劉宇擎，張玉槐，段沛奇，施柏鑫，余肇飛，黃鐵軍，高文

（北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系，北京100871）

一、前言

強(qiáng)人工智能（AGI）可以由一套系統(tǒng)處理各種智能行為，而弱人工智能針對(duì)每種智能行為都需要新的獨(dú)立系統(tǒng)，這是兩者之間的根本性區(qū)別。僅依靠弱人工智能的算法改進(jìn)（而忽略系統(tǒng)更新）來(lái)實(shí)現(xiàn)AGI是不可能的 [1]。在認(rèn)知論方面，AGI強(qiáng)調(diào)意識(shí)的存在，突出價(jià)值觀和世界觀體系，認(rèn)為智能體可以擁有生物的本能。AGI不一定是類(lèi)人的。在外形上，AGI可以和人類(lèi)相似（共享一套生活法則），也可與人類(lèi)相差甚遠(yuǎn)（形成一套新的生活法則）；在思想上，AGI可以與人類(lèi)共用一套思維模式、道德準(zhǔn)則，也可擁有專(zhuān)屬體系的獨(dú)特推理方式，成為一類(lèi)“擁有靈魂的機(jī)器”。一般認(rèn)為，不同于當(dāng)前獲得廣泛應(yīng)用的人工神經(jīng)網(wǎng)絡(luò)，能夠更加精細(xì)解析動(dòng)物和人類(lèi)大腦的研究工作有望在未來(lái)20年內(nèi)逐步實(shí)現(xiàn)，以此構(gòu)建未來(lái)神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)；由此衍生的類(lèi)腦機(jī)有望成為AGI的物理實(shí)現(xiàn)平臺(tái) [2]。

AGI是人類(lèi)想要且正在創(chuàng)造的機(jī)器，但也可能通過(guò)社會(huì)操縱、新型戰(zhàn)爭(zhēng)、權(quán)力動(dòng)態(tài)變化等方式引發(fā)一些實(shí)質(zhì)性的問(wèn)題；起初會(huì)聽(tīng)從人類(lèi)的特定指令，但趨向于自主做出決定，這種決定是否會(huì)影響人類(lèi)的實(shí)際利益甚至是生命財(cái)產(chǎn)安全，未有明確答案。當(dāng)前，科學(xué)界針對(duì)AGI研究的討論非常激烈：現(xiàn)有的人工智能（AI）基本方法存在缺陷，必須走向具有理解力的AI，真正的AI還很遙遠(yuǎn) [3]；人類(lèi)距離研制出自主智能（即AGI）還需要數(shù)十年的努力，當(dāng)前面臨的是基礎(chǔ)問(wèn)題，在本質(zhì)上尚屬數(shù)學(xué)研究挑戰(zhàn) [4]；當(dāng)前AI技術(shù)所取得的進(jìn)展緣于弱人工智能，主流學(xué)術(shù)界并未將AGI作為發(fā)展方向，出于對(duì)AGI的擔(dān)憂(yōu)而不建議主動(dòng)開(kāi)展研究 [5]；人類(lèi)不能固步自封于弱人工智能，智能演化過(guò)程不可阻擋，大腦意識(shí)奧秘等終極科學(xué)問(wèn)題有待破解 [6]。因此，在危險(xiǎn)與機(jī)遇并存的AGI研究過(guò)程中，必須面向AI研究人員、程序開(kāi)發(fā)人員，制定有效的保障與行為準(zhǔn)則。

對(duì)AGI可能的安全性風(fēng)險(xiǎn)進(jìn)行評(píng)估并制定適宜對(duì)策，探討有效駕馭AGI并使之既造福于人類(lèi)又不對(duì)社會(huì)造成危害的舉措，已經(jīng)成為世界性的研究議題。例如，美國(guó)OpenAI團(tuán)隊(duì)2016年分析了AI發(fā)展過(guò)程中可能遇到的安全問(wèn)題 [7]，隨后美國(guó)政府成立了人工智能安全委員會(huì) [8]；歐盟設(shè)立了人工智能高級(jí)別專(zhuān)家組，爭(zhēng)取技術(shù)發(fā)展的話(huà)語(yǔ)權(quán)和規(guī)則制定權(quán) [9]。此外，AI也成為國(guó)防領(lǐng)域的重點(diǎn)關(guān)注對(duì)象，如采用AI手段提高防御系統(tǒng)能力，發(fā)展AI異常檢測(cè)技術(shù)用于防止隱私數(shù)據(jù)被惡意篡改，研究涉及多學(xué)科融合算法、自適應(yīng)態(tài)勢(shì)感知能力、人機(jī)信任等方面的AI理論與技術(shù) [10]。

也要注意到，針對(duì)AGI安全問(wèn)題，我國(guó)相比國(guó)際前沿進(jìn)展存在一定差距；國(guó)內(nèi)學(xué)術(shù)界、產(chǎn)業(yè)界較多專(zhuān)注于AI的發(fā)展，很少關(guān)注AGI安全性保障的價(jià)值和需求。本文從模型的不可解釋性、硬件與算法的不可靠性、自主意識(shí)的不可控性三方面對(duì)AGI的來(lái)源進(jìn)行剖析，從能力、動(dòng)機(jī)、行為3個(gè)維度對(duì)相應(yīng)安全風(fēng)險(xiǎn)進(jìn)行評(píng)估，分別從理論、應(yīng)用層面提出降低相關(guān)安全風(fēng)險(xiǎn)的發(fā)展建議。

二、強(qiáng)人工智能的安全風(fēng)險(xiǎn)來(lái)源

（一）模型的不可解釋性

在傳統(tǒng)AI方面， DeepFake [11]的欺騙效果已經(jīng)獲得廣泛認(rèn)可，有專(zhuān)門(mén)研究據(jù)此開(kāi)展梯度攻擊和防御。梯度攻擊的本質(zhì)在于，鑒于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的基本處理單元是紋理，故針對(duì)紋理產(chǎn)生不同的響應(yīng)來(lái)進(jìn)行不同的操作。在對(duì)抗生成網(wǎng)絡(luò) [12]的訓(xùn)練中存在目標(biāo)偏見(jiàn)現(xiàn)象，即“太難的東西就不生成了” [13]。

如果一個(gè)系統(tǒng)不可解釋?zhuān)瑒t無(wú)法確認(rèn)運(yùn)行過(guò)程是否會(huì)被其他因素干擾而影響其運(yùn)行目的。例如，基于類(lèi)腦機(jī)的診斷系統(tǒng)，對(duì)病人的病情進(jìn)行分析后作出了診斷，診斷結(jié)果的可靠性只能從統(tǒng)計(jì)學(xué)的角度去估計(jì)；由于無(wú)從得知模型是基于病人的哪些因素才做出的診斷，因而很難完全信任機(jī)器推斷出的結(jié)果。類(lèi)腦機(jī)是AGI的基本實(shí)現(xiàn)途徑之一 [14]；脈沖是類(lèi)腦機(jī)信號(hào)的載體；在對(duì)類(lèi)腦機(jī)進(jìn)行分析的時(shí)候，尚不確定是否存在一定的噪聲序列類(lèi)干擾分類(lèi)的結(jié)果（以疊加后波峰、波谷相位不改變?yōu)榍疤幔?。在AGI的訓(xùn)練過(guò)程中也可能有類(lèi)似的問(wèn)題，這種模式坍塌就會(huì)存在被惡意利用的風(fēng)險(xiǎn)。因此，模型的不可解釋性可能是AGI系統(tǒng)的潛在安全風(fēng)險(xiǎn)。

（二）算法和硬件的不可靠性

AGI的發(fā)展和應(yīng)用將對(duì)當(dāng)前的產(chǎn)業(yè)格局、居民生活方式構(gòu)成很大影響，而已有的AGI算法和硬件尚不能滿(mǎn)足安全可靠、契合預(yù)期的要求。

在設(shè)計(jì)算法的過(guò)程中，設(shè)計(jì)方案不成熟（如沒(méi)有考慮到所有可能出現(xiàn)的情況、軟件與硬件存在兼容性等）會(huì)導(dǎo)致系統(tǒng)崩潰。歐洲的運(yùn)載火箭發(fā)射，曾因高精度數(shù)據(jù)超過(guò)硬件支持的位數(shù)而造成任務(wù)失敗 [15]。

在AI專(zhuān)家系統(tǒng)服務(wù)社會(huì)時(shí)，系統(tǒng)所依賴(lài)的前提假設(shè)可能會(huì)在某些特殊情況下失效，從而造成系統(tǒng)崩潰。美國(guó)華爾街“閃電崩盤(pán)”交易事故因錯(cuò)誤的前提預(yù)設(shè)導(dǎo)致了股票價(jià)格設(shè)定的嚴(yán)重錯(cuò)誤，造成損失超過(guò)一萬(wàn)億美元，嚴(yán)重影響了美國(guó)證券市場(chǎng) [16]。

算法與硬件的信息安全性成為維護(hù)經(jīng)濟(jì)社會(huì)公共安全的重要保障。有新聞揭露，黑客利用系統(tǒng)漏洞從機(jī)構(gòu)和公司盜取個(gè)人信息、隱私數(shù)據(jù)，社會(huì)影響惡劣?？梢院侠硗普?，當(dāng)AGI廣泛用于生產(chǎn)生活后，很大可能受到黑客、惡意軟件的攻擊，產(chǎn)生數(shù)據(jù)泄露后果甚至危害公共安全。

（三）自主意識(shí)的不可控性

構(gòu)建初始智能體、有效進(jìn)化準(zhǔn)則，是能夠自我發(fā)展、自我迭代AGI系統(tǒng)設(shè)計(jì)的關(guān)鍵。人類(lèi)可以很好地控制初始智能，但是AGI可以自主設(shè)計(jì)進(jìn)化規(guī)則，這種設(shè)計(jì)進(jìn)化規(guī)則的效率可能足以碾壓人類(lèi)。自我發(fā)展后的AGI，在后續(xù)階段的發(fā)展效率將會(huì)更高，通過(guò)遞歸地自我改進(jìn)而使其遠(yuǎn)超人類(lèi)認(rèn)知。

具有自主意識(shí)的AGI具有潛在風(fēng)險(xiǎn)。不同于人腦，AGI的計(jì)算和分析能力在理論上是沒(méi)有邊界的，具有高效的數(shù)據(jù)收集、處理、分析能力，可理解看到、聽(tīng)到、接收到的所有信息。AGI被賦予自主意識(shí)后，可通過(guò)交流、溝通的方式進(jìn)行信息的分享與交換，顯著提高對(duì)世界的認(rèn)知、理解與改造效率。相應(yīng)地，人類(lèi)的各種活動(dòng)都有可能逐步被AI取代。由于自主意識(shí)的呈現(xiàn)，AGI的法律定位出現(xiàn)了模糊：將其視為有意識(shí)的主體，還是個(gè)人的私有財(cái)產(chǎn)？這可能在法律、倫理、政治層面引入分歧，從而引發(fā)難以預(yù)料的后果。

三、強(qiáng)人工智能的安全風(fēng)險(xiǎn)評(píng)估

（一）能力的風(fēng)險(xiǎn)評(píng)估

漢斯·莫拉維克提出了“人類(lèi)能力地形圖”觀點(diǎn) [17]，據(jù)此描述人類(lèi)和計(jì)算機(jī)的能力發(fā)展以及面臨各類(lèi)問(wèn)題的難度。在“人類(lèi)能力地形圖”中，海拔高度代表某項(xiàng)任務(wù)對(duì)于計(jì)算機(jī)的難度；不斷上漲的海平面表示計(jì)算機(jī)當(dāng)前能做的事情，海平面上升將有臨界點(diǎn)；當(dāng)計(jì)算機(jī)能夠自主設(shè)計(jì)智能時(shí)，即臨界點(diǎn)到達(dá)。在臨界點(diǎn)之前，算法設(shè)計(jì)主要由人類(lèi)來(lái)掌控；超過(guò)臨界點(diǎn)后，將由計(jì)算機(jī)來(lái)代替人類(lèi)研發(fā)智能，體現(xiàn)從數(shù)量到質(zhì)量的飛躍，相應(yīng)生產(chǎn)力與生活水平也將發(fā)生劇烈改變，

需要注意到，人類(lèi)依照一定的原理和經(jīng)驗(yàn)來(lái)構(gòu)建算法，而AI設(shè)計(jì)的算法將無(wú)法始終保證程序的可靠性。對(duì)于使用者來(lái)說(shuō)，當(dāng)前的AI類(lèi)似“黑盒”，無(wú)法或很難去探索內(nèi)在的運(yùn)行邏輯和決策 依據(jù)。

（二）動(dòng)機(jī)的風(fēng)險(xiǎn)評(píng)估

在人類(lèi)文明的發(fā)展過(guò)程中，人類(lèi)智慧及其產(chǎn)物極其珍貴。充分利用AI來(lái)提高生產(chǎn)力、創(chuàng)造新工具，可以相信生活因此更加美好。一些具有顛覆性特質(zhì)的技術(shù)都是源自微小的改進(jìn)或創(chuàng)新，但對(duì)生產(chǎn)力進(jìn)步起到顯著的促進(jìn)作用。然而，合理應(yīng)用AI帶來(lái)的生產(chǎn)力進(jìn)步和技術(shù)飛躍，而又不引入新的社會(huì)問(wèn)題，這是人類(lèi)應(yīng)當(dāng)高度關(guān)注的議題。例如，如何建造魯棒的AGI？如何掌控AI武器并避免陷入惡性軍備競(jìng)賽？如何讓AI的生產(chǎn)力應(yīng)用不會(huì)加劇社會(huì)分配的不平等現(xiàn)象？

就AI而言，在其能力弱小、可被人類(lèi)控制的階段，不必?fù)?dān)心對(duì)人類(lèi)造成危害。當(dāng)AI的各方面能力超過(guò)人類(lèi)、和人類(lèi)一樣擁有意識(shí)后，就很難判斷是否必然繼續(xù)聽(tīng)從人類(lèi)命令，這種情況稱(chēng)為“背叛轉(zhuǎn)折” [18]。AI是否具有人類(lèi)意識(shí)、依靠何種方式實(shí)現(xiàn)類(lèi)人意識(shí)，盡管尚屬未知，但同樣值得關(guān)注和研究。

（三）行為的風(fēng)險(xiǎn)評(píng)估

對(duì)AGI行為的監(jiān)督和控制，可視為一類(lèi)“委托-代理”問(wèn)題，即人類(lèi)是委托方， AGI系統(tǒng)是代理方。這與當(dāng)前人類(lèi)實(shí)體的“委托-代理”問(wèn)題性質(zhì)不同，即AGI可根據(jù)自己的分析能力、知識(shí)儲(chǔ)備來(lái)自行制定差異化的策略與行動(dòng)。因此，監(jiān)測(cè)AGI在研發(fā)初期的測(cè)試行為，并不能支持人類(lèi)合理推測(cè)AGI未來(lái)的可靠性。如此，行為主義方法可能失效。

四、強(qiáng)人工智能在理論及技術(shù)研究階段的風(fēng)險(xiǎn)防御策略

（一）完善理論基礎(chǔ)驗(yàn)證，探索模型的可解釋性

完善理論基礎(chǔ)驗(yàn)證、探索模型的可解釋性，是AGI正確性的構(gòu)建基礎(chǔ)，也是AGI安全的形式化保障。

應(yīng)以認(rèn)知神經(jīng)科學(xué)為基礎(chǔ)，探索AGI的模型設(shè)計(jì)。認(rèn)知神經(jīng)科學(xué)是基于大腦的生物結(jié)構(gòu)、人類(lèi)的認(rèn)知能力，研究腦構(gòu)造、探索腦運(yùn)行方式的學(xué)科；借鑒人腦結(jié)構(gòu)和運(yùn)行方式，可設(shè)計(jì)適當(dāng)?shù)腁GI模型。

應(yīng)以元學(xué)習(xí)為基礎(chǔ)，探索AGI的實(shí)現(xiàn)方法。元學(xué)習(xí)是學(xué)習(xí)“學(xué)習(xí)方法”的方法 [19]，可賦予AI思考和推理的能力；作為當(dāng)前深度學(xué)習(xí)的重點(diǎn)研究方向，旨在從數(shù)據(jù)中學(xué)習(xí)相關(guān)知識(shí)，將自動(dòng)學(xué)習(xí)新知識(shí)的能力賦予當(dāng)前的AI。對(duì)于當(dāng)前的AI，一項(xiàng)新的任務(wù)往往意味著從零學(xué)習(xí)新的知識(shí)，費(fèi)時(shí)且靈活性低。元學(xué)習(xí)則是經(jīng)驗(yàn)導(dǎo)向，基于過(guò)去的經(jīng)驗(yàn)去學(xué)習(xí)新任務(wù)的解決辦法，可使AI掌握更多技能、更好適應(yīng)復(fù)雜的實(shí)際環(huán)境。元學(xué)習(xí)作為半監(jiān)督、無(wú)監(jiān)督學(xué)習(xí)的實(shí)現(xiàn)方式之一，是模擬人類(lèi)學(xué)習(xí)過(guò)程的重要數(shù)學(xué)實(shí)現(xiàn)；尋求通過(guò)數(shù)學(xué)方法模擬人類(lèi)學(xué)習(xí)過(guò)程的手段，據(jù)此提高模型的可解釋性，探索讓AGI“學(xué)會(huì)學(xué)習(xí)”，像人類(lèi)一樣“產(chǎn)生自主意識(shí)”。

應(yīng)從數(shù)學(xué)的角度來(lái)探索深度學(xué)習(xí)的可解釋性。目前并沒(méi)有一套受到公認(rèn)、體系完整的用于解釋深度學(xué)習(xí)的理論框架，相關(guān)模型的可解釋性仍被視為復(fù)雜問(wèn)題。從數(shù)學(xué)角度探索深度學(xué)習(xí)的可解釋性，已有方法包括信息論、結(jié)構(gòu)表達(dá)、泛化能力、動(dòng)力學(xué)原理、流形學(xué)習(xí)等。后續(xù)，探索模型各個(gè)組成模塊的功能和貢獻(xiàn)、從語(yǔ)義角度對(duì)模型的架構(gòu)和功能進(jìn)行模式化分析，是AGI可解釋性研究需要重點(diǎn)關(guān)注的內(nèi)容。

（二）嚴(yán)格控制強(qiáng)人工智能的底層價(jià)值取向

AGI的底層價(jià)值取向需要通過(guò)相應(yīng)的規(guī)則、記憶來(lái)進(jìn)行限制和監(jiān)控。

應(yīng)設(shè)計(jì)明文規(guī)則，限制AI的行動(dòng)范圍。鑒于AI的復(fù)雜性、不可解釋性，很難從源代碼角度對(duì)其價(jià)值取向進(jìn)行限制和監(jiān)控。從行為角度對(duì)AGI的價(jià)值取向進(jìn)行限制，通過(guò)明文規(guī)則來(lái)限制AGI的行為能力和動(dòng)作權(quán)限，是重要的研究目標(biāo)。在元學(xué)習(xí)的過(guò)程中，可構(gòu)建底層的價(jià)值觀網(wǎng)絡(luò)來(lái)加速推理，指導(dǎo)行動(dòng)網(wǎng)絡(luò)采取行為。關(guān)于底層的價(jià)值觀網(wǎng)絡(luò)，算法具有復(fù)雜性，數(shù)據(jù)集存在不可控性，很難采取措施對(duì)其推理過(guò)程進(jìn)行限制。關(guān)于行動(dòng)網(wǎng)絡(luò)，可人為加入明文規(guī)則，確保在原子行動(dòng)上符合正確的價(jià)值觀（即針對(duì)每一個(gè)獨(dú)立動(dòng)作，限制錯(cuò)誤行為的出現(xiàn)）。

要應(yīng)用可信計(jì)算技術(shù)，監(jiān)控AI的行動(dòng)內(nèi)容?？尚庞?jì)算是一種針對(duì)惡意代碼、惡意攻擊的防御機(jī)制，可視為計(jì)算機(jī)的“免疫系統(tǒng)”；引入額外監(jiān)督，對(duì)計(jì)算機(jī)的各種行為建立完整、可信、可量化的評(píng)價(jià)機(jī)制，據(jù)此判斷各種行為是否符合人類(lèi)的預(yù)期、對(duì)不可信的行動(dòng)進(jìn)行防治；應(yīng)用于AI的行動(dòng)過(guò)程監(jiān)控，即可認(rèn)為具備正確價(jià)值觀的行為是合理可信的。監(jiān)控并分析AGI行為的運(yùn)行過(guò)程，通過(guò)時(shí)間序列來(lái)判斷當(dāng)前行為是否具備合理的價(jià)值取向；如不符合，采用外部干預(yù)的方式干擾或打斷AGI的當(dāng)前行動(dòng)，確保AGI不會(huì)做出違背價(jià)值觀的行為。

（三）實(shí)現(xiàn)技術(shù)的標(biāo)準(zhǔn)化

一是模型設(shè)計(jì)的標(biāo)準(zhǔn)化。當(dāng)前，深度學(xué)習(xí)和AI研究形成了一些獲得廣泛應(yīng)用的基礎(chǔ)模塊，如3×3規(guī)格CNN、線(xiàn)性整流函數(shù)、批量歸一化等，采用不同的基礎(chǔ)模塊可構(gòu)造出差異化的神經(jīng)網(wǎng)絡(luò)。對(duì)基礎(chǔ)模塊進(jìn)行標(biāo)準(zhǔn)化設(shè)計(jì)，一方面有利于統(tǒng)一接口和配置文件設(shè)計(jì)，使用通用的描述語(yǔ)言來(lái)表示神經(jīng)網(wǎng)絡(luò)過(guò)程，方便模型的遷移和部署；另一方面有利于采用硬件芯片、驅(qū)動(dòng)程序進(jìn)行針對(duì)性的加速處理。以CNN為例，統(tǒng)一計(jì)算設(shè)備架構(gòu)（CUDA）以及據(jù)此發(fā)展的深度神經(jīng)網(wǎng)絡(luò)庫(kù)（cuDNN），對(duì)于3×3規(guī)格的卷積計(jì)算采取加速措施，顯著提高了訓(xùn)練和推理的速度。

二是訓(xùn)練方法的標(biāo)準(zhǔn)化。訓(xùn)練是AI必不可少的環(huán)節(jié)，不同的網(wǎng)絡(luò)可通過(guò)不同的訓(xùn)練參數(shù)、優(yōu)化器、策略來(lái)求解權(quán)重。訓(xùn)練具有多樣性，一方面使得模型的復(fù)現(xiàn)性普遍較差，另一方面導(dǎo)致優(yōu)化器在迭代過(guò)程中無(wú)法得到硬件加速支持。訓(xùn)練方法標(biāo)準(zhǔn)化重在設(shè)計(jì)一套合理的訓(xùn)練框架，將不同的優(yōu)化器抽象成接口，對(duì)統(tǒng)一的接口進(jìn)行硬件層面的加速支持，據(jù)此提高模型的訓(xùn)練效率。

三是數(shù)據(jù)集的標(biāo)準(zhǔn)化。主要指各行業(yè)提出的公開(kāi)、標(biāo)準(zhǔn)、具有共識(shí)的數(shù)據(jù)集，面向公眾發(fā)布，用于模型的訓(xùn)練和測(cè)試。數(shù)據(jù)集的標(biāo)準(zhǔn)化，一方面可推動(dòng)數(shù)據(jù)的安全保障力度，另一方面可提高數(shù)據(jù)集的質(zhì)量水平。推進(jìn)各行業(yè)的標(biāo)準(zhǔn)數(shù)據(jù)集制定工作，形成公開(kāi)且高質(zhì)量的基準(zhǔn)，具有重要意義。

四是安全保障的標(biāo)準(zhǔn)化。AGI投入使用的必要前提是具有安全保障。應(yīng)發(fā)展通用、明確可執(zhí)行的標(biāo)準(zhǔn)來(lái)確保AGI設(shè)計(jì)、訓(xùn)練、運(yùn)行的安全性。相應(yīng)標(biāo)準(zhǔn)需具有良好的可擴(kuò)展性，以適應(yīng)AGI應(yīng)用的環(huán)境復(fù)雜性。對(duì)安全保障進(jìn)行標(biāo)準(zhǔn)化，針對(duì)不同階段特點(diǎn)設(shè)計(jì)對(duì)應(yīng)的方法，保障AGI的合理運(yùn)行，這是對(duì)抗相關(guān)風(fēng)險(xiǎn)的最有力保證。

五、強(qiáng)人工智能在應(yīng)用階段的風(fēng)險(xiǎn)防御策略

（一）預(yù)防人為造成的人工智能安全問(wèn)題

近年來(lái)，AI技術(shù)應(yīng)用于造假逐漸得到關(guān)注，如采用機(jī)器學(xué)習(xí)技術(shù)便捷制作出真假難辨的造假視頻（DeepFake）。有研究總結(jié)了傳統(tǒng)圖像取證、生理信號(hào)特征、圖像篡改痕跡、生成對(duì)抗網(wǎng)絡(luò)（GAN）圖像特征等檢測(cè)偽造技術(shù) [20]。目前在偽造圖像檢測(cè)方面的研究取得進(jìn)展，但新型偽造技術(shù)的出現(xiàn)給深度偽造的鑒別工作帶來(lái)了更大困難；只有盡可能建立技術(shù)優(yōu)勢(shì)，鑒別者才能贏得造假者。此外，可采用司法立法、新聞行業(yè)培訓(xùn)等輔助手段來(lái)應(yīng)對(duì)技術(shù)應(yīng)用伴生的安全問(wèn)題。

算法設(shè)計(jì)方面可能存在的疏漏也應(yīng)引起重視。盡管AI的應(yīng)用能力已經(jīng)獲得證明，但相應(yīng)算法設(shè)計(jì)難免“百密一疏”，應(yīng)將確保安全置于首位，特別是在自動(dòng)駕駛、遠(yuǎn)程醫(yī)療、工業(yè)制造等與人的生命安全直接相關(guān)的領(lǐng)域。已經(jīng)出現(xiàn)了民航飛機(jī)自動(dòng)駕駛系統(tǒng)存在錯(cuò)誤且操控權(quán)無(wú)法切換至人工操作而導(dǎo)致重大事故的案例。在進(jìn)一步發(fā)展AI技術(shù)并拓寬應(yīng)用范圍的背景下，必須從源頭納入安全問(wèn)題，防范系統(tǒng)、數(shù)據(jù)可能遭受惡意攻擊或者受到某些錯(cuò)誤信號(hào)干擾而可能造成的嚴(yán)重后果。

引入第三方組件可能會(huì)引發(fā)安全問(wèn)題。這既屬于傳統(tǒng)安全的范疇，也是影響AI安全性的重要因素。惡意的第三方組件，可能造成AI系統(tǒng)崩潰、系統(tǒng)權(quán)限被盜取等問(wèn)題。

（二）對(duì)強(qiáng)人工智能進(jìn)行動(dòng)機(jī)選擇

“背叛轉(zhuǎn)折”階段的AI已經(jīng)具有在各個(gè)領(lǐng)域都遠(yuǎn)超人類(lèi)的認(rèn)知能力，可稱(chēng)為超級(jí)AI [18]。基于超級(jí)AI可能會(huì)背叛人類(lèi)的合理猜想，人類(lèi)應(yīng)當(dāng)提前對(duì)智能體的動(dòng)機(jī)進(jìn)行選擇，全力制止不良結(jié)果的出現(xiàn)；應(yīng)使超級(jí)AI具有不對(duì)人類(lèi)造成危害的自發(fā)意愿。

針對(duì)動(dòng)機(jī)選擇問(wèn)題，當(dāng)前研究討論提出了直接規(guī)定、馴化、擴(kuò)增、間接規(guī)范4種應(yīng)對(duì)方式 [18]。①直接規(guī)定細(xì)分為基于規(guī)則、結(jié)果主義。基于規(guī)則方式的傳統(tǒng)描述即為“機(jī)器人三定律” [21]；就第一條“不能傷害人類(lèi)”而言，權(quán)衡對(duì)人類(lèi)的傷害、“傷害”“人類(lèi)”的定義、不考慮其他有情感動(dòng)物與數(shù)字大腦的原因等，都未闡釋清楚。為了制定一套復(fù)雜、詳細(xì)的規(guī)則并應(yīng)用于高度多樣化的情境，且強(qiáng)調(diào)第一次就成功，基于目前的條件來(lái)看不太可能。結(jié)果主義方式也面臨問(wèn)題，因?yàn)檫_(dá)到相同的結(jié)果有很多不同的途徑，計(jì)算機(jī)代碼必須精準(zhǔn)描述目標(biāo)。例如，AI目標(biāo)是讓人保持微笑，但讓人開(kāi)心、僅僅通過(guò)肌肉刺激來(lái)保持微笑，其狀態(tài)有著顯著不同。②馴化可視為自我限制 [18]，作為一種特殊的最終目標(biāo)，嘗試去塑造系統(tǒng)的動(dòng)機(jī)以限制其野心，最終令其自主地將行為限制在規(guī)定的范圍。③擴(kuò)增指基于動(dòng)機(jī)良好的已有智能體，通過(guò)改造來(lái)進(jìn)一步提升各項(xiàng)智能行為的方式，相應(yīng)劣勢(shì)在于很難保證動(dòng)機(jī)系統(tǒng)在認(rèn)知能力得到巨大提升后不被改變或破壞。④間接規(guī)范不同于直接規(guī)定，制定能夠產(chǎn)生標(biāo)準(zhǔn)的程序，讓AI自行推理規(guī)范的建立過(guò)程。

（三）為強(qiáng)人工智能賦予人類(lèi)價(jià)值觀

相比限制AI的能力，動(dòng)機(jī)選擇已經(jīng)在一定程度上提升了人類(lèi)控制AI的有效性，但仍面臨一些問(wèn)題。例如，AI可能面對(duì)無(wú)窮多種情況，不可能具體討論每一種情況下的對(duì)策，而人類(lèi)本身不可能持續(xù)監(jiān)視AI的動(dòng)機(jī)。可行的思路之一是將人類(lèi)的價(jià)值觀賦予AI（加載到AGI內(nèi)部），讓其自覺(jué)地執(zhí)行那些不對(duì)人類(lèi)構(gòu)成威脅的事件。無(wú)法將各種情況下的動(dòng)機(jī)系統(tǒng)均完整具象為可以查詢(xún)的表格（導(dǎo)致無(wú)窮大的表格），只能使用公式、規(guī)則等進(jìn)行更為抽象的表達(dá)。進(jìn)化算法可能是加載價(jià)值觀的可行途徑之一，隨機(jī)產(chǎn)生一些規(guī)則，通過(guò)評(píng)估函數(shù)進(jìn)行候選篩分（去掉得分低的、保留得分高的）。強(qiáng)化學(xué)習(xí)方法可使智能體的累積回報(bào)最大化，在驅(qū)動(dòng)智能體去學(xué)習(xí)處理各類(lèi)問(wèn)題的同時(shí)，進(jìn)行價(jià)值觀積累。

然而，人類(lèi)價(jià)值觀的積累過(guò)程是人類(lèi)相關(guān)基因機(jī)理經(jīng)歷成千上萬(wàn)年進(jìn)化的結(jié)果，模仿并復(fù)現(xiàn)這一過(guò)程非常困難；這一機(jī)理與人類(lèi)神經(jīng)認(rèn)知體系結(jié)構(gòu)相適應(yīng)，因而只能應(yīng)用于全腦仿真 [22]。全腦仿真的前提是大腦可被模擬、可以計(jì)算，面臨著掃描、翻譯、模擬3類(lèi)條件的制約 [18]，采用高通量顯微鏡、超級(jí)計(jì)算系統(tǒng)才能達(dá)到所需精確度。

（四）強(qiáng)人工智能?chē)?guó)際合作

AGI研究已經(jīng)成為國(guó)際性的關(guān)注點(diǎn)，集中全人類(lèi)的科技力量來(lái)推進(jìn)AGI的深化研究，才能使AGI更好服務(wù)人類(lèi)社會(huì)。相關(guān)研究和逐步應(yīng)用的過(guò)程，將面臨許多未知問(wèn)題。加強(qiáng)AGI國(guó)際合作、促進(jìn)研究成果共享，才能根本性地提高應(yīng)對(duì)突發(fā)情況的能力，也才能真正保障AGI的應(yīng)用落地和拓展。

目前，AGI國(guó)際合作的重要性已經(jīng)得到高度重視，一些國(guó)家和地區(qū)通過(guò)立法等形式為國(guó)際合作提供政策支持。例如，歐洲25個(gè)國(guó)家簽署了《人工智能合作宣言》 [23]，承諾開(kāi)展合作、促進(jìn)對(duì)話(huà)，爭(zhēng)取就各國(guó)之間的AI研究與應(yīng)用合作達(dá)成一致；還通過(guò)聯(lián)合聲明等方式促進(jìn)優(yōu)先領(lǐng)域的立法合作，包括數(shù)據(jù)保護(hù)、倫理標(biāo)準(zhǔn)、數(shù)據(jù)權(quán)利等重點(diǎn)問(wèn)題。這些做法都是我國(guó)開(kāi)展AGI國(guó)際合作的有益參照形式。

（五）強(qiáng)人工智能人才培養(yǎng)

人才培養(yǎng)是科學(xué)研究的基礎(chǔ)條件。AGI作為前沿科技方向，相應(yīng)人才培養(yǎng)的規(guī)模、速度、質(zhì)量顯然無(wú)法滿(mǎn)足領(lǐng)域發(fā)展需要；亟待加強(qiáng)人才培養(yǎng)，尤其是本土人才。在技術(shù)領(lǐng)域，優(yōu)化人才教育、培養(yǎng)、成長(zhǎng)周期方面的機(jī)制和環(huán)境，快速發(fā)展一批具有專(zhuān)業(yè)研究和開(kāi)發(fā)知識(shí)的專(zhuān)業(yè)人員；在管理領(lǐng)域，注重培養(yǎng)體現(xiàn)商業(yè)推廣和需求擴(kuò)展特征的企業(yè)家及運(yùn)營(yíng)人才；通過(guò)“產(chǎn)學(xué)研用”協(xié)同，為AGI的健康穩(wěn)定發(fā)展提供堅(jiān)實(shí)的人才保障。

六、結(jié)語(yǔ)

AGI的智慧與行為不能簡(jiǎn)單地與人類(lèi)劃等號(hào)，創(chuàng)造AGI的動(dòng)機(jī)是為了更好地造福人類(lèi)社會(huì)。對(duì)于人類(lèi)社會(huì)的隱私，應(yīng)控制AGI只能給人類(lèi)提供被動(dòng)的服務(wù)，而不是主動(dòng)的學(xué)習(xí)。如果AI進(jìn)化到一定水平后出現(xiàn)智能爆發(fā)，默認(rèn)后果必然是造成確定性災(zāi)難。面對(duì)這樣的潛在威脅，人類(lèi)應(yīng)持續(xù)關(guān)注并著力尋求應(yīng)對(duì)方法，堅(jiān)決避免這種默認(rèn)結(jié)局的出現(xiàn)；設(shè)計(jì)出受控制的智能爆發(fā)，設(shè)置必要的初始條件，在獲得人類(lèi)想要的特定結(jié)果的同時(shí)，至少保證結(jié)果始終處于人類(lèi)能接受的范圍。

著眼未來(lái)發(fā)展，建議持續(xù)關(guān)注AGI的技術(shù)演進(jìn)路線(xiàn)，對(duì)技術(shù)伴生的潛在安全風(fēng)險(xiǎn)提出動(dòng)態(tài)的應(yīng)對(duì)策略；參考國(guó)際性的AGI政策研討和制定過(guò)程，結(jié)合法律、倫理方面的前沿成果，更為及時(shí)、深刻地探討我國(guó)AGI政策的制定要素。