斯圖爾特·羅素(Stuart Russell)是一位領(lǐng)先的AI研究人員，他從字面上撰寫了(以及合著)有關(guān)該主題的頂級教科書。在過去的幾年中，他還一直警告他的領(lǐng)域有可能發(fā)生災難性的錯誤。

在新書《人類兼容》中，他解釋了如何做。他指出，對人工智能系統(tǒng)的評估是根據(jù)它們在實現(xiàn)目標方面的出色程度：贏得電子游戲，寫人性化的文字，解決難題。如果他們采用了適合該目標的策略，那么他們將直接執(zhí)行該策略，而無需明確的人工指導。

但是通過這種方法，我們已經(jīng)為失敗做好了準備，因為我們賦予AI系統(tǒng)的“目標”并不是我們唯一關(guān)心的事情。想象一下一輛自動駕駛汽車，它具有從A點到B點的“目標”，但沒有意識到我們也關(guān)心沿途乘客和行人的生存?；蛘呤且环N節(jié)省醫(yī)療費用的系統(tǒng)，該系統(tǒng)可以區(qū)分黑人患者，因為它預期他們不太可能尋求所需的醫(yī)療服務。

人類關(guān)心很多事情：公平，法律，民主投入，我們的安全與繁榮，我們的自由。拉塞爾(Russell)在《人類兼容》一書中指出，人工智能系統(tǒng)只關(guān)心我們投入目標的一切。這意味著即將發(fā)生災難。

我在加州大學伯克利分校(UC Berkeley)遇到了拉塞爾(Russell)，他在那里領(lǐng)導著人類兼容AI中心，談論他的書以及先進人工智能帶來的風險。這是我們談話的記錄，內(nèi)容經(jīng)過了簡短和清晰的編輯。

要回答這個問題，我們必須了解：人工智能系統(tǒng)是如何設計的?他們在做什么?在[AI系統(tǒng)的標準模型]中，您將構(gòu)建旨在實現(xiàn)您放入程序中的特定目標的機器，算法等。

因此，如果它是國際象棋程序，那么您就給它一個擊敗對手，贏得比賽的目標。如果是自動駕駛汽車，乘客會提出目標：[例如，]我想去機場。

這樣聽起來就很好。當系統(tǒng)變得更加智能時，問題就來了。如果您輸入了錯誤的目標，那么追求該目標的系統(tǒng)可能會采取您非常不滿意的操作。

我們稱此為Midas國王問題。邁達斯國王明確了他的目標：我希望我接觸的一切都變成金子。他得到了他所要求的。不幸的是，其中包括他的食物，飲料和家人，他死于痛苦和饑餓。許多文化都有相同的故事。精靈給您三個愿望。因為我毀了世界，所以第三個愿望始終是“請取消前兩個愿望”。

不幸的是，使用比我們更智能，因此功能更強大的系統(tǒng)，您不一定會得到第二和第三個愿望。

因此，問題來自能力的增強，再加上我們無法完全正確地指定目標。我們能否將二氧化碳恢復到歷史水平，以便使氣候恢復平衡?聽起來像一個偉大的目標。好吧，最簡單的方法就是擺脫所有產(chǎn)生二氧化碳的東西，而這些東西恰好是人類。您想盡快治愈癌癥。聽起來不錯，對吧?但是，最快的方法是與數(shù)百萬或數(shù)十億人類同時進行醫(yī)學試驗。因此，您給每個人帶來癌癥，然后您會看到有效的治療方法。