智能機(jī)器災(zāi)難性地誤解人類的愿望是科幻小說中的一個(gè)常見說法，也許最能令人回味地用在艾薩克·阿西莫夫(Isaac Asimov)的機(jī)器人故事中，這些故事曲解了著名的“機(jī)器人三定律”。人工智能出現(xiàn)問題的想法與人類對(duì)技術(shù)的恐懼共鳴。但是，當(dāng)前關(guān)于超人AI的討論受到關(guān)于智能本質(zhì)的錯(cuò)誤直覺的困擾。

我們不需要一直回到艾薩克·阿西莫夫(Isaac Asimov)的路上-最近有很多關(guān)于這種恐懼的例子。參加《紐約時(shí)報(bào)》的操作編輯和計(jì)算機(jī)科學(xué)家Stuart Russell撰寫的新書“ Human Compatible”。羅素認(rèn)為，如果我們對(duì)人工智能的設(shè)計(jì)不謹(jǐn)慎，就會(huì)冒著創(chuàng)造“超智能”機(jī)器的風(fēng)險(xiǎn)，這些機(jī)器的目標(biāo)與我們自己的目標(biāo)不完全一致。

作為目標(biāo)不一致的一個(gè)例子，拉塞爾問道：“鑒于將二氧化碳濃度恢復(fù)到工業(yè)化前水平的工作，超級(jí)智能氣候控制系統(tǒng)認(rèn)為解決方案是將人口減少到零嗎?”我們將錯(cuò)誤的物鏡插入機(jī)器，它比我們更智能，我們會(huì)失去。”

羅素的觀點(diǎn)擴(kuò)展了哲學(xué)家尼克·博斯特羅姆(Nick Bostrom)的論點(diǎn)，后者將AI超級(jí)智能定義為“在幾乎每個(gè)領(lǐng)域，包括科學(xué)創(chuàng)造力，一般智慧和社交技能，其智慧都比人類最好的大腦要聰明得多。”與當(dāng)今最好的機(jī)器不同，后者Bostrom和Russell認(rèn)為，除了相對(duì)狹窄的領(lǐng)域(例如下棋或圍棋)以外，所有領(lǐng)域的人類智能水平都遠(yuǎn)遠(yuǎn)低于人類。

Bostrom，Russell和其他作家認(rèn)為，即使在可預(yù)見的將來出現(xiàn)這種超級(jí)智能機(jī)器的可能性很小，這也是一個(gè)如此巨大和潛在危險(xiǎn)的事件，我們現(xiàn)在應(yīng)該開始為此做好準(zhǔn)備。在博斯特羅姆看來，“機(jī)器超級(jí)智能的產(chǎn)生的一個(gè)可能的默認(rèn)結(jié)果就是生存災(zāi)難。”也就是說，人類將敬酒。

這些思想家(我們稱它們?yōu)?ldquo;超級(jí)情報(bào)”)推測(cè)，如果機(jī)器要獲得一般的人類智能，機(jī)器將很快成為超級(jí)情報(bào)。他們推測(cè)，具有一般智能的計(jì)算機(jī)將能夠快速讀取所有現(xiàn)有的書籍和文檔，從而吸收人類的全部知識(shí)。同樣，機(jī)器將能夠利用其邏輯能力進(jìn)行發(fā)現(xiàn)，從而增加其認(rèn)知能力。

人們猜測(cè)，這種機(jī)器不會(huì)受到人類煩惱的限制，例如思想遲緩，情緒低落，不合理的偏見和睡眠需求。取而代之的是，該機(jī)器將具有類似“純粹”的智能，而沒有任何限制人類的認(rèn)知缺陷。

假設(shè)似乎是這種AI可以超越人類智能的通用性和靈活性，同時(shí)無縫保留計(jì)算機(jī)的速度，精度和可編程性。這個(gè)想象中的機(jī)器將比任何人類都要聰明得多，在“一般智慧和社交技能”方面也要好得多，但與此同時(shí)，它將保留不受限制地使用其所有機(jī)械功能的機(jī)會(huì)。正如羅素的例子所示，它將缺乏人性化的常識(shí)。

這種預(yù)測(cè)的問題在于它們低估了一般的，人類水平的情報(bào)的復(fù)雜性。人類情報(bào)是一個(gè)高度集成的系統(tǒng)，它的許多屬性(包括情緒，欲望以及強(qiáng)烈的自我意識(shí)和自治能力)無法輕易分離。

同樣，如果創(chuàng)建了一般的智能AI(需要數(shù)十年，甚至幾個(gè)世紀(jì)的時(shí)間)，它的目標(biāo)就不會(huì)像我們的目標(biāo)那樣容易地“插入”或“統(tǒng)一”。它們寧可與其他品質(zhì)一起發(fā)展融入人類社會(huì)和文化，從而形成其智慧。機(jī)器實(shí)現(xiàn)其目標(biāo)的努力將受到常識(shí)，價(jià)值觀和社會(huì)判斷力的制約，而沒有這些知識(shí)，就不會(huì)存在一般的智慧。