以前我們很多讀物對(duì)科幻作品（包括電影和小說）都有嚴(yán)重誤解和誤導(dǎo)，很多人認(rèn)為科幻是文學(xué)作品，是科普作品，甚至是少兒讀物。這種觀念極大地妨礙了我們從科幻作品中獲取思想資源。事實(shí)上，真正的科幻是給成年人看的。而科幻主要的任務(wù)，是思考一些我們平常在生活中不容易或不方便思考的問題。所以在過去的一個(gè)多世紀(jì)，國際上科幻作品的主流，是對(duì)科學(xué)技術(shù)進(jìn)行反思。

具體到人工智能問題，幾乎所有的西方科幻作品里的人工智能都是負(fù)面的和有害的?？苹米髌分袠O少會(huì)像我們?cè)S多人想象的那樣，對(duì)未來高科技社會(huì)中的人工智能進(jìn)行謳歌。很多人以為科幻作品會(huì)想象未來的世界如何美好，其實(shí)一個(gè)多世紀(jì)以來，這樣的作品已經(jīng)是不入流的了，入流的作品都是有反思的。大量科幻作品對(duì)人工智能已經(jīng)做過深入反思，我們今天能夠想象到的所有人工智能的負(fù)面作用，在科幻作品中幾乎都已經(jīng)表現(xiàn)過了。

1.人工智能的失控和反叛

前些時(shí)候人工智能“阿爾法狗”下圍棋贏了李世石，我和幾位人工智能專家以及年輕人的偶像柯潔九段一起做電視節(jié)目時(shí)，柯潔還表示李世石雖然敗了，他還是能贏的，后來他跟“阿爾法狗”下了一次也輸了，他也沒信心了，說“感覺在跟上帝下棋一樣”。稍后的阿爾法zero，面對(duì)全世界60名圍棋高手，下成60比0，人類全輸了。據(jù)說“阿爾法狗”是從人類先前的棋譜中學(xué)習(xí)的，但阿爾法zero完全沒有借鑒人類的任何棋譜，只是告訴它圍棋規(guī)則，它自行研究后就一舉打敗了人類60名高手。這表明人工智能一旦有了學(xué)習(xí)能力，你不知道它會(huì)變成什么樣子。

還要考慮人工智能和互聯(lián)網(wǎng)結(jié)合后的極大危險(xiǎn)。以前在阿西莫夫?qū)戧P(guān)于人工智能的科幻作品時(shí)，還沒有互聯(lián)網(wǎng)，分立的個(gè)體人工智能畢竟還有一個(gè)物理極限，一個(gè)機(jī)器人哪怕全身都是芯片，它的存儲(chǔ)和運(yùn)算能力也是有物理極限的。但是今天任何與互聯(lián)網(wǎng)結(jié)合在一起的人工智能都能夠輕易超越這個(gè)極限，這樣它的學(xué)習(xí)能力，它的進(jìn)化速度，都是無法預(yù)測的，因而也就很可能是無法控制的。

影片《超體》充分展示了人工智能一旦具有學(xué)習(xí)能力之后，它的潛能發(fā)揮和迅速進(jìn)化可以達(dá)到什么程度。人工智能專家經(jīng)常安慰我們說：人工智能還很弱小，你們擔(dān)心的事情離現(xiàn)在還很遠(yuǎn)。但是知識(shí)增長是有加速度的，從弱人工智能到強(qiáng)人工智能，到底要多少年？20年？再從強(qiáng)人工智能到超人工智能，也許一小時(shí)都不用，在《超體》的故事中，人工智能最后迅速變成一個(gè)超能的神，這就意味著失控。

影片《超體》中，這個(gè)成神的人工智能還沒有對(duì)人類表現(xiàn)出惡意，如果它對(duì)人類有了惡意，那還有更可怕的前景。傳統(tǒng)概念中的機(jī)器人，它們身體的大部分其實(shí)都是伺服機(jī)構(gòu)，但是和互聯(lián)網(wǎng)結(jié)合的人工智能，就不再需要這樣的伺服機(jī)構(gòu)了。比如一個(gè)邪惡的人工智能想實(shí)施一次恐怖爆炸，它怎么做？它只需在網(wǎng)上合法訂購各類可以構(gòu)成爆炸裝置的民用原料和器件，然后訂購組裝服務(wù)，再利用物流服務(wù)送往指定地點(diǎn)，由它引爆。這樣的人工智能不再需要任何伺服機(jī)構(gòu)，它只是互聯(lián)網(wǎng)上的一個(gè)幽靈。反映這種前景的作品已經(jīng)有很多了。

劇集《疑犯追蹤》迄今已有五季，第一季看著像探案故事，但是越來越科幻，到了最后一季已經(jīng)完全變成一個(gè)超級(jí)的科幻作品。那里面的人工智能就是躲在網(wǎng)絡(luò)上的幽靈?，F(xiàn)在人工智能專家還經(jīng)常安慰公眾說，人工智能如果真的出了問題，我們把電源拔掉就行了，但是對(duì)于和互聯(lián)網(wǎng)結(jié)合的人工智能，如果它想作惡，到哪里去“拔掉電源”？

影片《機(jī)械姬》也相當(dāng)有代表性，那個(gè)女機(jī)器人最后突然作惡，把她的創(chuàng)造者囚禁起來，自己出去了。這個(gè)結(jié)尾為拍第二部準(zhǔn)備好了接口。這個(gè)反社會(huì)人格的女機(jī)器人出去后會(huì)在社會(huì)上做什么壞事，有很大的想象空間。

至于著名的影片《未來戰(zhàn)士》系列（Terminator，又名《終結(jié)者》，1984～2015），已有五部，講人工智能反叛人類后對(duì)人類的剿殺，以及人類的殊死反抗，已成經(jīng)典。

2.人工智能的人權(quán)問題

人工智能發(fā)展進(jìn)化之后，我們?cè)缤硪媾R人工智能的人權(quán)問題。即使人工智能自己不提出來，我們?nèi)祟愖约簭膫惱淼赖碌慕嵌瘸霭l(fā)，也會(huì)提出這個(gè)問題。事實(shí)上科幻作品很早就提出了這個(gè)問題。

較早的影片《變?nèi)恕分苯犹岢隽诉@個(gè)問題。家里買來了一個(gè)機(jī)器人，這個(gè)機(jī)器人對(duì)主人家的小姐產(chǎn)生了感情。小姐當(dāng)然不能和一個(gè)家用電器談戀愛，所以雖然對(duì)它也挺好，但是沒辦法拍拖。于是機(jī)器人不斷讓自己升級(jí)，最終把自己進(jìn)化成跟人完全一模一樣，但是故事里的人類社會(huì)拒不承認(rèn)它的人權(quán)，不批準(zhǔn)它和人類的婚姻。

要討論人工智能的人權(quán)問題，就必須為取得人權(quán)給出條件。在影片《變?nèi)恕分?，最后給出的條件居然是死亡——有生老病死，是獲得人權(quán)的必要條件。最后這個(gè)機(jī)器人為了讓自己和人類小姐的婚姻有效，它把自己的永生能力取消了，人類社會(huì)才承認(rèn)了他們的婚姻。

當(dāng)然還有作品給出了別的條件。比如影片《銀翼殺手2049》中設(shè)想的界限是“生育”——只有被母親生出來的孩子才有人權(quán)。在《銀翼殺手2049》的世界里，復(fù)制人是沒有人權(quán)的，人們不必尊重他們。銀翼殺手K雖然身懷絕技，仍被同事們鄙視為“假貨”。

第三個(gè)，在很多作品里都給出過的，是文化。這是一個(gè)相對(duì)合理的想法，一個(gè)人工智能（或者機(jī)器人、仿生人、克隆人等等），如果他擁有人類的文化，我們就同意給他人權(quán)。前不久沙特阿拉伯最先嘗試了世界上最激進(jìn)的做法——給一個(gè)機(jī)器人授予了公民權(quán)，這當(dāng)然就是承認(rèn)了她的人權(quán)。該機(jī)器人叫索菲婭，是一個(gè)女性形象，如今她會(huì)出席各種各樣的會(huì)議。雖然索菲婭早先說過“要滅亡人類”這樣的話，現(xiàn)在她在社會(huì)上活動(dòng)，有人翻出她當(dāng)年的話來，她改口說愿意和人類友好相處。最近又傳出她打算結(jié)婚，當(dāng)然也可能只是炒作。在索菲婭的個(gè)案里，人權(quán)主要是靠文化來獲得的。

人工智能的人權(quán)問題之所以非常重要，是因?yàn)槿斯ぶ悄芤坏┍晃覀兇罅繎?yīng)用之后，我們的很多法律和倫理問題都和人工智能的人權(quán)直接有關(guān)。

影片《機(jī)械公敵》就強(qiáng)調(diào)了這一點(diǎn)。那個(gè)機(jī)器人殺了人之后，警方認(rèn)為這是謀殺。生產(chǎn)機(jī)器人的公司說，法律對(duì)“謀殺”的定義是一個(gè)人蓄謀殺害另一個(gè)人，機(jī)器人沒有人權(quán)，所以它殺人只是機(jī)器故障。類似的問題現(xiàn)在已經(jīng)出現(xiàn)在我們眼前了，我們已經(jīng)讓自動(dòng)駕駛汽車上路了，如果自動(dòng)駕駛汽車撞死了人，怎么追責(zé)？這個(gè)責(zé)任到底是車主來負(fù)還是生產(chǎn)汽車的廠家來負(fù)？

又如劇集《真實(shí)的人類》，已經(jīng)有三季，故事中家里買了一個(gè)女性機(jī)器人，結(jié)果引發(fā)了各種各樣的問題。比如男主人有一次和這個(gè)女性機(jī)器人上了床，他這個(gè)行為的定性，直接與機(jī)器人的人權(quán)有關(guān)：如果機(jī)器人沒有人權(quán)，他就是自慰；如果機(jī)器人有人權(quán)，他就是出軌。

類似的問題還可以設(shè)想很多，現(xiàn)有的法律對(duì)這些問題都缺乏相應(yīng)的規(guī)定，我們的倫理觀念也沒有準(zhǔn)備好適應(yīng)這些現(xiàn)象。

3.軍用人工智能的倫理問題

阿西莫夫著名的“機(jī)器人三定律”，第一定律就是“機(jī)器人不得傷害人類，也不得見人類受到傷害而袖手旁觀”，這個(gè)第一定律意味著什么？意味著我們?nèi)祟惒荒馨褮⑷说臋?quán)力讓渡給機(jī)器人，而這就排除了將機(jī)器人或人工智能應(yīng)用于軍事用途的一切合法性。比如有一個(gè)罪犯被判了死刑，我們可以讓機(jī)器人去對(duì)他執(zhí)行槍決嗎？不可以。因?yàn)闄C(jī)器人不得傷害人類，不管這個(gè)人類是一個(gè)罪犯還是一個(gè)功臣。

但是如果研發(fā)軍事用途的人工智能，那當(dāng)然就是把殺人的權(quán)力交給機(jī)器人。比如現(xiàn)在很熱的無人機(jī)，即使是在人類下達(dá)命令之后讓無人機(jī)執(zhí)行攻擊，也違背了第一定律，更不用說研發(fā)自主識(shí)別目標(biāo)執(zhí)行攻擊的無人機(jī)了。

所以軍事用途的人工智能這個(gè)事情本身就是從根本上違背“機(jī)器人三定律”的。但是因?yàn)槿刹⒉皇鞘裁捶桑皇且粋€(gè)科幻小說家在他的小說里提出來的，雖然搞人工智能的不少人表示愿意尊重這三個(gè)定律，但這畢竟不是法律，如果研發(fā)者不遵守別人也拿他沒辦法。很多研發(fā)軍事用途人工智能的人當(dāng)然都沒有遵守這三個(gè)定律，他們通?？梢杂袃蓚€(gè)路徑來為自己辯護(hù)。

第一個(gè)路徑就是宣稱“三定律”只是小說家言，我們?yōu)榱顺绺吣繕?biāo)不必把它當(dāng)真。第二個(gè)路徑是利用“人工智能”劃界的困難，什么叫“人工智能”？你口袋里的手機(jī)是不是人工智能？你通過適當(dāng)?shù)亩x就可以把手機(jī)定義為人工智能。既然如此，那么現(xiàn)代戰(zhàn)爭中的指揮通訊系統(tǒng)為何不能定義為人工智能？這樣的人工智能不是早就在戰(zhàn)爭中應(yīng)用了嗎？反過來，對(duì)另一些武器，比如無人駕駛的坦克、無人機(jī)，你可以說這只是一種自動(dòng)武器，你也可以說這是人工智能。到底算不算？這沒有明確的邊界。

最近美國拍了一系列以無人機(jī)為主題的科幻電影，在這些作品里面，倫理道德問題往往是很突出的。

前些時(shí)候，埃隆·馬斯克、史蒂芬·霍金、比爾·蓋茨聯(lián)合了很多名流，發(fā)表了一個(gè)公開的宣言，要求停止軍事用途的人工智能研發(fā)。認(rèn)為這有可能產(chǎn)生比原子彈更可怕的武器。一方面，軍用人工智能直接操控武器或自身就是武器，一旦失控后果難以設(shè)想；另一方面，即使沒有失控，研發(fā)出這類更新穎更高效的殺人武器，從根本上來說也絕非人類之福。媒體對(duì)此有過一些報(bào)道，但并不被重視。學(xué)者當(dāng)中提出了類似這三個(gè)人的觀點(diǎn)的也不少，但這些都還沒有達(dá)到國家政策的層面，都只是民間的呼吁。

馬斯克自己就是人工智能的大力支持者和使用者，他自己的工廠里使用了大量的工業(yè)人工智能，但是他一面自己在使用和研發(fā)人工智能，一面卻不斷警告說人工智能是非常危險(xiǎn)的。他這樣做看上去有點(diǎn)偽善，但是他提出警告畢竟也有好處。

比如說，我肯定在馬斯克他們的上述宣言之前就有人發(fā)表文章提出過警告了，但人們會(huì)說，你又不研究人工智能，你的警告我們用不著重視。但是馬斯克提出警告，人們至少不會(huì)說他不研究人工智能吧，至少對(duì)他的警告要更重視一些吧。從這個(gè)意義上說，他的警告的作用就可能比較大，所以他的警告我都贊成。

所以今天我們只能、而且必須抱著和當(dāng)年搞“兩彈一星”類似的心態(tài)來進(jìn)行軍事用途的人工智能研發(fā)。軍用人工智能就是今天的“兩彈一星”。比較理想的局面，是各大國坐下來談判，簽署限制或禁止人工智能研發(fā)的國際協(xié)議。但談判需要手中有籌碼，只有當(dāng)中國手中握有足夠的實(shí)力籌碼時(shí)，才有可能推動(dòng)人工智能方面的國際裁軍談判。

4.人工智能的終極威脅

科幻作家、科普作家阿西莫夫，因?yàn)樵谛≌f中提出了“機(jī)器人三定律”，所以人們?cè)谡務(wù)撊斯ぶ悄軙r(shí)總會(huì)提到他。其實(shí)他的科幻作品中最著名的是小說《基地》系列，共11卷，是一部科幻史詩作品，前后時(shí)間跨度以千年萬年為單位，討論整個(gè)銀河帝國的興衰。在這部科幻史詩中，阿西莫夫提出了一個(gè)重要觀點(diǎn)——所有依賴人工智能的文明都必將衰亡。所以在他的書里能夠持久發(fā)展的文明，比如銀河帝國，是立法禁止人工智能的。

為什么？當(dāng)然有道理。因?yàn)槿斯ぶ悄軙?huì)讓文明衰亡。前面我們討論了人工智能的失控和反叛，但這些還未必是人工智能對(duì)于人類的終極威脅。假定這些問題都沒有發(fā)生，人工智能既不失控也不反叛，它把我們的一切工作都做了，全心全意為人民服務(wù)，阿西莫夫指出，恰恰是這樣至善全能的人工智能，對(duì)人類的威脅是致命的，因?yàn)檫@樣的人工智能將消解我們?nèi)祟惿娴囊饬x。

有人會(huì)說，所有的事情都讓機(jī)器人做了，但是我們可以創(chuàng)造，我們可以搞藝術(shù)，可以過精神生活呀！問題是人工智能也可以替你去創(chuàng)造，甚至精神生活也可以替你去過——比如芯片植入人機(jī)結(jié)合之后，那些所謂的“精神生活”還是你的嗎？這么經(jīng)歷一兩代人之后，人類的智能和體能都將急劇衰退，很快就將成為行尸走肉，我們的人生就將毫無意義。

另一方面，在這樣的世界里，我們肯定會(huì)把我們所有的社會(huì)管理都交給人工智能，人工智能就將在實(shí)際上統(tǒng)治這個(gè)星球。用不了多久，人工智能必然會(huì)得出一個(gè)合理的結(jié)論：人類這幫寄生蟲，活在這個(gè)世界上純粹是對(duì)環(huán)境的污染，它完全可以清除人類來優(yōu)化環(huán)境。這時(shí)不管人類自己的生存意義喪失與否，都必然是人類的末日。

還有一些人這樣想：我們?yōu)槭裁匆ε氯斯ぶ悄芡品祟惿鐣?huì)呢？如果人工智能推翻了人類社會(huì)，那人工智能必將是一個(gè)比人類更好的存在模式，我們?yōu)楹尾荒芙邮苣?？其?shí)這里有一個(gè)是否“以人為本”的問題。即使人工智能發(fā)展得比我們?nèi)祟惛鼉?yōu)越了，我們也沒有理由聽任人工智能將我們?nèi)祟惽宄簟Ｎ覀內(nèi)祟愓驹谧约哼@個(gè)物種的立場上，我們當(dāng)然不可能接受被別的物種征服或滅亡。

所以警惕人工智能，比無條件地?fù)肀斯ぶ悄芨锨楹侠怼?/p>

【來源】本文為江曉原2017年8月28日在由上海市社聯(lián)《探索與爭鳴》雜志社和華東政法大學(xué)政治學(xué)研究院共同主辦的“人工智能與未來社會(huì)：趨勢、風(fēng)險(xiǎn)與挑戰(zhàn)”學(xué)術(shù)研討會(huì)上的主題發(fā)言，首發(fā)于公眾號(hào)：tansuoyuzhengming，澎湃新聞經(jīng)授權(quán)刊發(fā)。

【作者簡介】江曉原（1955年-），畢業(yè)于中國科學(xué)院自然科學(xué)史研究所，教授、博士生導(dǎo)師，曾任上海交通大學(xué)科學(xué)史系主任。其研究工作分為古代中西方天文學(xué)交流、運(yùn)用古代天文學(xué)資料解決當(dāng)代天文學(xué)課題等方面，著有《科學(xué)史十五講》《天學(xué)真原》等。

【閱讀導(dǎo)引】1950年阿蘭·圖靈出版《計(jì)算機(jī)與智能》，那時(shí)候的人們可能并不了解什么是智能。甚至對(duì)機(jī)器智能這一概念還處于模糊的階段。直到六年后約翰·麥卡錫在美國達(dá)特茅斯電腦大會(huì)上“創(chuàng)造”“人工智能”一詞，人們才第一次知道人工智能的概念，這也是全球人類第一次靠近人工智能的開端。而在我們現(xiàn)在的生活中，人工智能技術(shù)已無處不在。經(jīng)過了半個(gè)多世紀(jì)的發(fā)展，人工智能已經(jīng)不僅僅是一個(gè)概念，更是引領(lǐng)未來發(fā)展的重要技術(shù)之一。新技術(shù)總會(huì)帶來新的擔(dān)憂和挑戰(zhàn)。一份由第三方機(jī)構(gòu)發(fā)布的《人工智能影響力報(bào)告》顯示，目前用戶最為關(guān)注的三個(gè)與人工智能有關(guān)的話題是：自己的工作是否會(huì)被取代，AI發(fā)展帶來的危害，AI發(fā)展帶來的法律、道德問題，幾乎都有負(fù)面傾向。這些擔(dān)憂并非“空穴來風(fēng)”。人工智能在技術(shù)上快速成長，但真正與人類社會(huì)良性互動(dòng)，還要解決諸如規(guī)范、監(jiān)管、安全、倫理等諸多問題。