朱瀅

（北京大學(xué)心理與認知科學(xué)學(xué)院，北京 100871）

怎樣面對來自人工智能的危脅？

朱瀅

（北京大學(xué)心理與認知科學(xué)學(xué)院，北京 100871）

谷歌公司研制的人工智能程序 （AlphaGo,阿爾法狗）2016年3月打敗了圍棋世界冠軍李世石，一石激起千層浪，人們紛紛議論人工智能正在趕超人類。我們應(yīng)當怎樣面對人工智能飛速的發(fā)展？本文綜述了一些看法和應(yīng)對辦法。簡要說來就是：機器意識 （machine consciousness）并不像人們認為的那么重要，阻止人工智能發(fā)展意識同阻止人工智能發(fā)展傷害人類的能力不是一回事；我們需要把人類的價值觀和倫理規(guī)則植入人工智能，為此人工智能的設(shè)計者和研究者要采取社會系統(tǒng)分析途徑 （social-systems analyses）來工作。

人工智能，機器意識，社會系統(tǒng)分析途徑。

近年來人工智能發(fā)展神速。無人駕駛汽車已在城市的馬路上進行實測檢驗，無人機已應(yīng)用于各經(jīng)濟領(lǐng)域和軍事領(lǐng)域，各種用途的工業(yè)機器人、特種機器人和服務(wù)機器人已進入工廠、戰(zhàn)爭與救災(zāi)現(xiàn)場、醫(yī)院、商場和家庭。2016年關(guān)于人工智能的頭條新聞是，谷歌公司研制的人工智能程序AlphaGo（人們戲稱其為 “阿爾法狗”）打敗了圍棋世界冠軍李世石，世人稱為人機大戰(zhàn)。由于圍棋的復(fù)雜程度遠勝于國際象棋，因此，這個戰(zhàn)績比1997年美國深藍計算機打敗國際象棋世界冠軍卡斯帕羅夫要輝煌得多。還有報道說，微軟公司已實現(xiàn)了與人同等水平的語音識別技術(shù)。

人工智能正以超出很多人想象的速度取得重大突破的事實，引發(fā)了人們對人工智能的擔憂。美國白宮2016年10月12日發(fā)布報告，討論聰明機器人可能具有的對人類的威脅。2016年11月在浙江烏鎮(zhèn)召開的世界互聯(lián)網(wǎng)大會上，人們也在熱議人工智能是否會威脅人類。受人尊敬的思想家比爾蓋茨和斯蒂芬霍金都表示了對人工智能會具有自我覺知（self-aware），具有意識 （consciousness）的憂慮。霍金說，人工智能可能是人類最大的災(zāi)難。如果不加以恰當管理，會思考的機器可能終結(jié)人類文明。未來人工智能可能開發(fā)出它自己的、與我們相違背的意愿。

但是，認知科學(xué)家戴維斯 （Davies,2016）指出，當我們憂慮人工智能時，機器意識 （machine consciousness）并不像人們認為的那么重要。我們必須認識到，阻止人工智能發(fā)展意識同阻止人工智能發(fā)展傷害人類的能力不是一回事。不要用人工智能發(fā)展意識的問題來掩蓋人工智能面臨的真正需要解決的現(xiàn)實迫切問題。

意識在人類認知 （human cognition）中的作用有不同的看法，有些研究者認為它很重要，有些研究者則認為它無足輕重。即使我們承認意識對人類的智力十分重要，那也不清楚它對人工智能是否重要。實際上，人工智能已經(jīng)足夠聰明地威脅我們而不需要意識，換句話說，危險的東西或過程可以是無意識的。例如，病毒沒有意識，也沒有智力，但它十分危險。再設(shè)想，如果一個人工智能的主要野心是制造愈來愈多的曲別針，它沒有道德原則但有超強的智力，那它就會追求控制世界的資源來達到它的目的，而人類就會無處躋身。還有，如果一個人工智能想要計算π（圓周率）的無窮位數(shù)，那它就會使用完地球上的所有物質(zhì)作為計算資源。這些過程是危險的，但不是因為它有意識，而是因為它沒有恰當?shù)膫惱碛^念。

當前，全世界正掀起發(fā)展人工智能的競爭，2016年10月在北京召開了世界機器人大會。第一個超級智慧的人工智能系統(tǒng)將由我們這一代建造，它會自我改進并開始按照它的意愿來改造世界。這樣的系統(tǒng)一旦建立，想要控制它是十分困難的。因此，我們要保證建造的首個超級智慧的人工智能系統(tǒng)對人類是友善的，它能擊敗任何惡意的人工智能，這需要我們更多地考慮該系統(tǒng)的目標，價值觀和倫理規(guī)則。

那么，怎樣把人類的價值觀和倫理規(guī)則植入人工智能，并且為它設(shè)立恰當?shù)哪繕四?克勞福德和卡洛 （Crawford&Calo,2016） 提出了人工智能的社會系統(tǒng)分析途徑 （Social-systems analyses）。他們指出，人工智能的設(shè)計者和研究者需要評估人工智能對社會、文化和政治環(huán)境的沖擊和影響，以及社會、文化和政治環(huán)境對人工智能的影響。他們對已有的一些研究從社會系統(tǒng)分析途徑進行了評估。

第一，人們以為，在作出預(yù)測和指導(dǎo)決策方面，人工智能將不比人類 （操作）系統(tǒng)差，但事實上相反，工程師們是過于樂觀地相信了人工智能覺察和減少人的偏見和歧視。有研究指出，人工智能系統(tǒng)的缺點不成比例地影響到由于種族、性別和社會經(jīng)濟背景的原因而形成的弱勢群體。例如，2013年谷歌開發(fā)了一款搜索人名的系統(tǒng)，它想把嫌犯的名字與標記有犯罪前科的人名作比對，以查明嫌犯的犯罪歷史。但結(jié)果表明，該系統(tǒng)查出黑人常用的名字比查出白人的名字多出25%。類似的例子還有，2016年5月一項調(diào)查發(fā)現(xiàn)，法官廣泛使用一個專用算法來幫助他們決定罪犯再次犯罪的風險，但結(jié)果表明，錯誤標記黑人被告兩倍多于白人被告。

第二，1967年著名的道德兩難問題——電車難題現(xiàn)在看來對無人駕駛汽車的研制幫助不大。電車難題是指，一輛失控的電車正在沿軌道向前滑行，前面有五個工人正在干活，而司機也可以拉杠桿重新定向，滑向另一軌道——該軌道上有一個人在干活?？藙诟５潞涂逭J為，電車難題權(quán)衡 “殺死決定” （kill decisions）的可能性為道德推理僅提供了一個狹窄的框架。我們在研制無人駕駛汽車時，要同時考慮廣泛的社會問題：大規(guī)模投資在自動汽車而不是公共交通的價值；在允許無人駕駛汽車上路以前，它應(yīng)該有多安全 （以及應(yīng)該使用什么樣的工具來確信它安全）；自動汽車對交通擁擠、環(huán)境和就業(yè)的潛在影響。我國新聞記者指出，研制無人駕駛汽車要考慮我國特有的復(fù)雜路況，還有，如果無人駕駛汽車出事，誰來負責？這就涉及到修訂有關(guān)法律的問題。

第三，2015年一項研究顯示，用來預(yù)測哪一類住院病人將會患有肺炎并發(fā)癥的一項機器學(xué)習技術(shù)在大多數(shù)情況下工作得很好。但它犯過一個嚴重的錯誤：它指示醫(yī)生將哮喘病人送回家，即使這樣的病人屬于醫(yī)院的高?；颊摺＿@是因為醫(yī)院自動地把哮喘病人送往重癥監(jiān)護室，這些病人很少有 “需要進一步護理”的記錄，因此機器學(xué)習技術(shù)也沒有這方面的訓(xùn)練。而社會系統(tǒng)分析將考慮醫(yī)院潛在的指導(dǎo)方針，以及影響病人記錄的一些其他因素，如醫(yī)療保險政策。

第四，一項算法產(chǎn)生的 “熱點圖”用來識別伊利諾的芝加哥地區(qū)哪些人最有可能涉及槍擊。2016年9月公布的一項研究指出，這樣的地圖是無效的：地圖增加了某些人被警察當作靶子的可能性，但并沒有降低犯罪。采取社會-系統(tǒng)的途徑來考慮這個問題，就會考慮 “熱點圖”賴以構(gòu)成的資料的社會和政治歷史。這可能要求咨詢社區(qū)的成員和權(quán)衡警察的報告數(shù)據(jù)。還要考慮由監(jiān)督委員會和法律機構(gòu)提供的一些調(diào)查結(jié)果。最后，還要評估警察的行為，即對警察是否也使用了類似的技術(shù)來識別某些公務(wù)員的瀆職行為或暴力行為。

社會系統(tǒng)分析途徑需要利用哲學(xué)、法律、社會學(xué)、人類學(xué)和科學(xué)技術(shù)研究的成果。它要研究社會的政治的和文化的價值與人工智能的交互影響。最后，我們還應(yīng)該認識到，人工智能是一種變更文化的技術(shù)！就像打字機的出現(xiàn)，鐵路的出現(xiàn)一樣，它們不僅僅是技術(shù)的突破，它們也帶來了文化的變革！

感謝陸巖女士對本文寫作的大力幫助。

Davies,J.(2016).Program good ethics into artificial intelligence. Nature,538,291.

Crawford,K.,&Calo,R.(2016).There is a blind sport in AI research.Nature,538,311-313

How do we do in the face of a real threat from AI?

Zhu Ying
(School of Psychological and Cognitive Science,Peking University,Beijing 100871)

Artificial intelligence(AI)programming AlphaGo has beated the world champion Go lee se-dol on March 2016,that makes us worry about AI to pose a real threat on human being in the future.How do we do in the face of a real threat from AI?This paper introduces some ideas and methods to deal with it:we need to know that machine consciousness in not as important as people think.We must realize that stopping an AI from developing consciousness is not the same as stopping it from developing the capacity to cause harm;we need to program good ethics into artificial intelligence by social-systems analyses.

artificial intelligence,machine consciousness,social-systems analyses.

B84-05

2016-12-7

朱 瀅，E-mail:zhuy@pku.edu.cn。