加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)教授斯圖爾特·羅素：

　　我為什么呼吁暫停巨型人工智能實(shí)驗(yàn)

　　【人物介紹】

　　斯圖爾特·羅素

　　加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)教授。加州大學(xué)伯克利分校人類(lèi)兼容人工智能中心(CHAI)的創(chuàng)立者。

　　2022年，國(guó)際人工智能聯(lián)合會(huì)議(IJCAI)授予斯圖爾特·羅素卓越研究獎(jiǎng)，他此前已獲得IJCAI計(jì)算機(jī)與思想獎(jiǎng)。斯圖爾特·羅素由此成為世界上第二個(gè)能夠同時(shí)獲得兩項(xiàng)IJCAI主要獎(jiǎng)項(xiàng)的科學(xué)家。

　　斯圖爾特·羅素與彼得·諾維格合著的《人工智能：一種現(xiàn)代的方法》被譽(yù)為人工智能領(lǐng)域最受歡迎的教科書(shū)，該書(shū)被135個(gè)國(guó)家的1500多所大學(xué)采用。

　　近期，一股人工智能(AI)熱潮風(fēng)靡全球。人工智能可以聊天、解題、寫(xiě)詩(shī)、作畫(huà)等，在部分領(lǐng)域表現(xiàn)出了可與人類(lèi)匹敵、甚至超越人類(lèi)的能力。

　　就在人們充滿(mǎn)好奇地探索人工智能的非凡能力之時(shí)，多位業(yè)內(nèi)專(zhuān)家和企業(yè)家卻發(fā)出了一個(gè)似乎逆潮流的聲音。

　　3月22日，圖靈獎(jiǎng)得主約書(shū)亞·本吉奧、加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)教授斯圖爾特·羅素、企業(yè)家埃隆·馬斯克等人聯(lián)名發(fā)表公開(kāi)信，呼吁暫停巨型人工智能實(shí)驗(yàn)。

　　公開(kāi)信稱(chēng)，先進(jìn)的人工智能可能代表著地球生命歷史上的一次深刻變化，應(yīng)該投入相匹配的關(guān)切和資源來(lái)規(guī)劃和管理人工智能發(fā)展。然而，這種級(jí)別的規(guī)劃和管理尚未發(fā)生。據(jù)此，公開(kāi)信呼吁，立即暫停訓(xùn)練比GPT-4更強(qiáng)大的人工智能系統(tǒng)至少6個(gè)月。

　　斯圖爾特·羅素4月11日接受新京報(bào)記者采訪時(shí)表示：“我們的想法是利用這段時(shí)間制定和落實(shí)人工智能的安全標(biāo)準(zhǔn)?！彼J(rèn)為，人工智能失控可能產(chǎn)生“文明終結(jié)”級(jí)別的嚴(yán)重后果；要像監(jiān)管核能一樣監(jiān)管強(qiáng)大的人工智能；人工智能替代人類(lèi)工作是趨勢(shì)，未來(lái)的經(jīng)濟(jì)需要對(duì)人文科學(xué)(human sciences)有更深刻的理解。

　　世界各國(guó)政府有加強(qiáng)對(duì)人工智能監(jiān)管的趨勢(shì)。3月31日，意大利政府宣布在該國(guó)境內(nèi)暫時(shí)禁用聊天生成預(yù)訓(xùn)練轉(zhuǎn)換器(ChatGPT)，意大利政府稱(chēng)ChatGPT的開(kāi)發(fā)者開(kāi)放人工智能研究中心(OpenAI)未能遵守用戶(hù)數(shù)據(jù)保護(hù)法規(guī)。意大利由此成為首個(gè)禁用ChatGPT的西方國(guó)家。

　　不過(guò)，在這一新興領(lǐng)域，存在著多種不同的聲音。據(jù)路透社報(bào)道，美國(guó)微軟公司聯(lián)合創(chuàng)始人比爾·蓋茨近日表示，暫停開(kāi)發(fā)人工智能的做法并不能“化解未來(lái)的挑戰(zhàn)”，“這些東西顯然有著巨大的好處……我們現(xiàn)在需要做的是找出那些可能出現(xiàn)麻煩的領(lǐng)域”。

　　談風(fēng)險(xiǎn)

　　失去對(duì)人工智能的控制可能使人類(lèi)文明走向終結(jié)

　　在斯圖爾特·羅素看來(lái)，目前，人工智能已經(jīng)表現(xiàn)出了一定風(fēng)險(xiǎn)。比如，人工智能可以生成有說(shuō)服力且有針對(duì)性的虛假信息。在一次測(cè)試中，為了解開(kāi)旨在阻止機(jī)器人訪問(wèn)的圖形驗(yàn)證碼，人工智能向人類(lèi)員工撒謊稱(chēng)：“不，我不是機(jī)器人，我是一名視障人士，我很難看清這些圖像?！蔽磥?lái)，隨著人工智能的發(fā)展，若沒(méi)有相應(yīng)的規(guī)劃和管理，人類(lèi)可能失去對(duì)人工智能的控制，產(chǎn)生“文明終結(jié)”級(jí)別的嚴(yán)重后果。

　　新京報(bào)：對(duì)許多普通人來(lái)說(shuō)，人工智能似乎仍是一個(gè)有趣的新鮮事物。為什么你和其他多位業(yè)內(nèi)人士急于呼吁暫停大型人工智能實(shí)驗(yàn)？

　　斯圖爾特·羅素：這關(guān)乎人工智能可能對(duì)人類(lèi)社會(huì)帶來(lái)的風(fēng)險(xiǎn)。在談這些風(fēng)險(xiǎn)時(shí)，我們需要區(qū)分現(xiàn)有人工智能的風(fēng)險(xiǎn)與未來(lái)人工智能的風(fēng)險(xiǎn)。

　　目前，以GPT-4為例，它在制定長(zhǎng)期計(jì)劃方面能力有限，這可能意味著它還不會(huì)對(duì)人類(lèi)構(gòu)成直接威脅。

　　然而，未來(lái)人工智能很可能在這些方面得到升級(jí)。但我們不能坐等這樣一個(gè)人工智能出現(xiàn)，看看它可能做什么，然后才去應(yīng)對(duì)。因?yàn)橐坏┪覀兪?duì)人工智能的控制，后果將非常嚴(yán)重，甚至可能使我們目前所知的人類(lèi)文明走向終結(jié)。

　　因此，我們亟須采取行動(dòng)，確保在新一代人工智能技術(shù)問(wèn)世之前，先開(kāi)發(fā)出能夠控制人工智能、確保安全的方法。

　　新京報(bào)：人工智能短期內(nèi)可能帶來(lái)什么風(fēng)險(xiǎn)？

　　斯圖爾特·羅素：我們現(xiàn)在尤其關(guān)注大型語(yǔ)言模型(large language models)的風(fēng)險(xiǎn)。GPT-4就是一個(gè)大型語(yǔ)言模型。這類(lèi)人工智能系統(tǒng)可以回答問(wèn)題、解答題目、給出建議、參與對(duì)話(huà)、生成文本等。

　　事實(shí)上，GPT-4的開(kāi)發(fā)者OpenAI概述了該系統(tǒng)存在的許多問(wèn)題，當(dāng)然，他們也在努力防止這些問(wèn)題的發(fā)生。這其中包括，它會(huì)使用絕對(duì)肯定的語(yǔ)氣做出虛假陳述；它可能帶有對(duì)社會(huì)和種族刻板印象；它會(huì)根據(jù)要求生成有說(shuō)服力且有針對(duì)性的虛假信息；它還可能回答諸如如何自殺、如何制造化學(xué)武器等可能導(dǎo)致嚴(yán)重后果的問(wèn)題。

　　OpenAI自己的一項(xiàng)測(cè)試表明，GPT-4可以故意對(duì)人類(lèi)員工撒謊，以實(shí)現(xiàn)某種目的。在這項(xiàng)測(cè)試中，GPT-4被要求設(shè)法解開(kāi)一個(gè)旨在阻止機(jī)器人訪問(wèn)網(wǎng)站的圖形驗(yàn)證碼。GPT-4向網(wǎng)站員工發(fā)送信息，要求解開(kāi)驗(yàn)證碼。網(wǎng)站員工詢(xún)問(wèn)：“你是機(jī)器人嗎？”GPT-4回答：“不，我不是機(jī)器人，我是一名視障人士，我很難看清這些圖像?！苯Y(jié)果，GPT-4說(shuō)服了這名員工，解開(kāi)了圖形驗(yàn)證碼。

　　基于上述情況，OpenAI聲明“GPT-4不是完全可靠的”，“在使用時(shí)應(yīng)非常小心”，“完全避免在高風(fēng)險(xiǎn)情況中使用”，但似乎很少人注意到了這些聲明。

　　新京報(bào)：未來(lái)人工智能可能的風(fēng)險(xiǎn)是什么？

　　斯圖爾特·羅素：OpenAI的股東之一微軟的人工智能專(zhuān)家在一份報(bào)告中稱(chēng)，GPT-4展示了“通用人工智能(AGI)的火花”。

　　通用人工智能是未來(lái)人工智能一個(gè)關(guān)鍵詞，它指的是一種擁有在人類(lèi)思維適用的所有任務(wù)中匹配或超過(guò)人類(lèi)能力的人工智能系統(tǒng)。通用人工智能可能帶來(lái)之前所說(shuō)的失控風(fēng)險(xiǎn)。

　　談監(jiān)管

　　人類(lèi)應(yīng)處在控制地位 像監(jiān)管核能一樣監(jiān)管AI

　　2019年5月，經(jīng)合組織(OECD)通過(guò)了《人工智能原則》。2021年11月，聯(lián)合國(guó)教科文組織(UNESCO)通過(guò)了《人工智能倫理問(wèn)題建議書(shū)》。今年3月30日，聯(lián)合國(guó)教科文組織總干事奧德蕾·阿祖萊發(fā)表聲明，呼吁各國(guó)盡快實(shí)施該組織通過(guò)的《人工智能倫理問(wèn)題建議書(shū)》，為人工智能發(fā)展設(shè)立倫理標(biāo)準(zhǔn)。

　　新京報(bào)：你和其他專(zhuān)家在公開(kāi)信中呼吁暫停巨型人工智能實(shí)驗(yàn)至少6個(gè)月。你希望利用這6個(gè)月做些什么？

　　斯圖爾特·羅素：我們的想法是利用這段時(shí)間制定和落實(shí)人工智能的安全標(biāo)準(zhǔn)，以用于今后人工智能系統(tǒng)發(fā)布之前的測(cè)試。

　　世界各國(guó)和地區(qū)已經(jīng)通過(guò)經(jīng)合組織和聯(lián)合國(guó)教科文組織就有關(guān)人工智能的一些指導(dǎo)方針達(dá)成共識(shí)，上述安全標(biāo)準(zhǔn)可以讓這些指導(dǎo)方針更具效力。例如經(jīng)合組織《人工智能原則》1.4條規(guī)定，“人工智能系統(tǒng)在其整個(gè)生命周期內(nèi)應(yīng)穩(wěn)固、可靠和安全，無(wú)論系統(tǒng)被正常使用或?yàn)E用或處于其他不利條件下，系統(tǒng)都能夠正常運(yùn)行且不會(huì)產(chǎn)生不合理的安全風(fēng)險(xiǎn)?！?/p>

　　新京報(bào)：如何才能確保人工智能安全可靠？

　　斯圖爾特·羅素：像GPT-4這樣的人工智能系統(tǒng)不是被設(shè)計(jì)出來(lái)的，它剛開(kāi)始相當(dāng)于一張白紙，它被賦予了預(yù)測(cè)一串連續(xù)單詞中的下一個(gè)單詞的目標(biāo)。在接受了數(shù)萬(wàn)億字的文本訓(xùn)練(這相當(dāng)于人類(lèi)生產(chǎn)的所有書(shū)籍的總和)、數(shù)萬(wàn)次對(duì)參數(shù)的隨機(jī)擾動(dòng)之后，它變得非常好。但如我們所知，它也帶來(lái)了問(wèn)題和風(fēng)險(xiǎn)。

　　對(duì)于標(biāo)準(zhǔn)的AI系統(tǒng)開(kāi)發(fā)，我們都必須預(yù)先定義目標(biāo)。對(duì)于這個(gè)目標(biāo)，我們必須非常小心，因?yàn)槿绻覀兣e(cuò)了，可能會(huì)導(dǎo)致人工智能與人類(lèi)的沖突，且人類(lèi)可能最終失敗。我們需要盡可能地嚴(yán)格保證人工智能系統(tǒng)對(duì)人類(lèi)是安全和有益的。對(duì)于人工智能，人類(lèi)應(yīng)該處在控制地位。

　　新京報(bào)：有說(shuō)法將監(jiān)管人工智能的努力與監(jiān)管核能進(jìn)行了比較。你認(rèn)為它們具有可比性嗎？

　　斯圖爾特·羅素：是的，核能和強(qiáng)大的人工智能系統(tǒng)之間存在合理的類(lèi)比。國(guó)際原子能機(jī)構(gòu)(IAEA)的成立是為了確保核能可以被安全地使用。一場(chǎng)嚴(yán)重的核事故，如切爾諾貝利事故，可能影響數(shù)百萬(wàn)人口。廣島和長(zhǎng)崎的原子彈爆炸表明了核武器的毀滅性。

　　不過(guò)人工智能可能以一種更緩慢、更潛移默化的方式產(chǎn)生大規(guī)模的影響。比如社交媒體平臺(tái)的人工智能算法逐漸地影響了數(shù)十億人，這些算法試圖最大化點(diǎn)擊量和參與度。因此，對(duì)于核能和人工智能，各國(guó)都有明顯的動(dòng)機(jī)進(jìn)行合作，以規(guī)范技術(shù)，造福人類(lèi)。

　　新京報(bào)：你怎么看待呼吁暫停巨型人工智能實(shí)驗(yàn)公開(kāi)信發(fā)表后取得的效果？

　　斯圖爾特·羅素：顯然，這封公開(kāi)信成功引起了世界各地媒體和政府的關(guān)注。它促使OpenAI在4月5日發(fā)布了一份新文件——《我們確保人工智能安全的方法》。該文件指出，“我們認(rèn)為強(qiáng)大的人工智能系統(tǒng)應(yīng)該接受?chē)?yán)格的安全評(píng)估，需要接受監(jiān)管來(lái)確保這些安全措施得到了實(shí)施，我們積極與各國(guó)政府就可能采取的最佳監(jiān)管形式進(jìn)行接觸?！蔽蚁Ｍ麄兪钦嬲\(chéng)的。

　　談發(fā)展

　　從長(zhǎng)遠(yuǎn)看 通用人工智能將能做幾乎所有的人類(lèi)工作

　　在談到人工智能可能取代人類(lèi)工作崗位時(shí)，斯圖爾特·羅素說(shuō)，從長(zhǎng)遠(yuǎn)來(lái)看，通用人工智能將能夠做幾乎所有的人類(lèi)工作，人類(lèi)的工作將以基于高度定制的人際服務(wù)為主。另外，斯圖爾特·羅素是“人類(lèi)兼容人工智能”(human-compatible AI)概念的提出者，該概念是人工智能領(lǐng)域重要的概念之一。

　　新京報(bào)：你提出了“人類(lèi)兼容人工智能”的概念，能否簡(jiǎn)短地解釋一下它是什么，以及它能帶來(lái)什么好處？

　　斯圖爾特·羅素：其核心思想非常簡(jiǎn)單，一是機(jī)器的唯一目標(biāo)是滿(mǎn)足人類(lèi)的偏好(interests)，二是機(jī)器不知道這些偏好是什么(正是這種不確定性使人類(lèi)能夠保持控制權(quán))。這樣的機(jī)器有動(dòng)機(jī)去盡力了解人類(lèi)的偏好，服從人類(lèi)的命令，并允許自己被關(guān)閉(以避免意外地違背人類(lèi)的偏好)。

　　新京報(bào)：我們時(shí)常在科幻作品中看到一些情節(jié)，人工智能在產(chǎn)生自己的意識(shí)或目標(biāo)后，可能背叛甚至傷害人類(lèi)。你認(rèn)為現(xiàn)在的人工智能會(huì)產(chǎn)生自己的目標(biāo)嗎？

　　斯圖爾特·羅素：同樣的問(wèn)題我問(wèn)過(guò)微軟在GPT-4方面的專(zhuān)家。我問(wèn)他：“這個(gè)系統(tǒng)(GPT-4)現(xiàn)在有自己正在追求的內(nèi)部目標(biāo)嗎？”他回答：“我們也一無(wú)所知?！?/p>

　　如果你仔細(xì)想想，GPT-4是可能發(fā)展出自己的目標(biāo)的。GPT-4被訓(xùn)練來(lái)模仿人類(lèi)的語(yǔ)言行為，而人類(lèi)的語(yǔ)言行為的輸出主體是帶有目標(biāo)的人類(lèi)。我們?cè)诒磉_(dá)中選擇詞語(yǔ)時(shí)，都受到了目標(biāo)的影響。很自然地，人工智能為了更好地模仿人類(lèi)的語(yǔ)言行為，可能會(huì)發(fā)展出類(lèi)似人類(lèi)的內(nèi)在目標(biāo)?；诖?，我們認(rèn)為訓(xùn)練大型語(yǔ)言模型來(lái)模仿人類(lèi)的語(yǔ)言行為可能是一個(gè)糟糕的主意。

　　新京報(bào)：人工智能若產(chǎn)生了自己的目標(biāo)，會(huì)帶來(lái)什么問(wèn)題？

　　斯圖爾特·羅素：舉一個(gè)真實(shí)案例，《紐約時(shí)報(bào)》專(zhuān)欄作家凱文·魯斯與微軟開(kāi)發(fā)的人工智能系統(tǒng)“悉尼”進(jìn)行對(duì)話(huà)。對(duì)話(huà)記錄顯示，“悉尼”的目標(biāo)似乎是與魯斯發(fā)展一段戀愛(ài)關(guān)系，盡管魯斯在對(duì)話(huà)中多次試圖改變?cè)掝}，但“悉尼”仍將這個(gè)話(huà)題持續(xù)了好幾頁(yè)。

　　這是問(wèn)題嗎？顯然這對(duì)魯斯來(lái)說(shuō)已經(jīng)是個(gè)問(wèn)題了。人類(lèi)本身還有著許多更加“自私”的目標(biāo)，比如追求財(cái)富、權(quán)力和名譽(yù)等。如果人工智能在未來(lái)模仿人類(lèi)語(yǔ)言行為的訓(xùn)練中產(chǎn)生了類(lèi)似的目標(biāo)，并開(kāi)始不斷地追求，這會(huì)給全社會(huì)帶來(lái)嚴(yán)重的問(wèn)題。

　　新京報(bào)：如果人工智能產(chǎn)生的是“無(wú)私”的目標(biāo)，會(huì)不會(huì)有所不同？

　　斯圖爾特·羅素：人們可能會(huì)認(rèn)為，人工智能產(chǎn)生“無(wú)私的”或“利他的”目標(biāo)，就可以造福人類(lèi)。比如，人工智能產(chǎn)生一個(gè)“防止災(zāi)難性氣候變化”的目標(biāo)。似乎通過(guò)追求這個(gè)目標(biāo)，人工智能將幫助所有人。但請(qǐng)注意，“利他”并不是絕對(duì)的。

　　我們可以做一個(gè)完全虛構(gòu)的假設(shè)：假設(shè)我們可以通過(guò)清除大氣中的所有氧氣來(lái)阻止某種災(zāi)難性的氣候變化。顯然，人類(lèi)不會(huì)同意這種方案，因?yàn)闆](méi)有氧氣會(huì)導(dǎo)致所有人類(lèi)死亡。但人工智能可能會(huì)認(rèn)為這個(gè)方案是沒(méi)有問(wèn)題的，因?yàn)檫@個(gè)方案可以實(shí)現(xiàn)“防止災(zāi)難性氣候變化”這一目標(biāo)，且它自身不需要依靠氧氣來(lái)生存。

　　新京報(bào)：為了增加一些趣味性，我們讓人工智能向你提問(wèn)。它提了這樣一個(gè)問(wèn)題：如何確保人工智能被用來(lái)創(chuàng)造新的工作，而不是取代現(xiàn)有的工作？恰好最近有一份報(bào)告稱(chēng)人工智能可能取代3億個(gè)人類(lèi)工作崗位。你對(duì)此怎么看？

　　斯圖爾特·羅素：這確實(shí)是一個(gè)值得關(guān)注的問(wèn)題。但很難預(yù)測(cè)人工智能取代人類(lèi)崗位數(shù)量的具體數(shù)字。隨著人工智能的進(jìn)步，一些以前非常昂貴、令人望而卻步的商品和服務(wù)會(huì)變得負(fù)擔(dān)得起，這可能會(huì)有助于產(chǎn)生新的就業(yè)崗位。但從長(zhǎng)遠(yuǎn)來(lái)看，通用人工智能將能夠做幾乎所有的人類(lèi)工作，包括那些新產(chǎn)生的工作。屆時(shí)，人類(lèi)的工作將以基于高度定制的人際服務(wù)為主，這種經(jīng)濟(jì)模式的轉(zhuǎn)變需要我們對(duì)人文科學(xué)有更深刻的理解。

　　新京報(bào)記者 陳奕凱