楊智杰

致命性自主武器系統(tǒng)足以構(gòu)成第三次武器革命的威脅——前兩次革命分別是火藥和核武器。這種技術(shù)一旦開發(fā)成功，將有可能把戰(zhàn)爭沖突升級至從未有過的規(guī)模，而且會達(dá)到人類難以控制的速度。

“我能和你們一起嗎？”2078年的天狼星6B行星上，手拿泰迪熊的小男孩孤零零地站在危機(jī)四伏的廢墟里對聯(lián)盟軍人求助，畫面溫情。但他們很快就發(fā)現(xiàn)，這個男孩竟然是由聯(lián)盟研制的電子殺人武器“尖叫者”（screamer）自我進(jìn)化而成的。故事從此刻開始緊張起來，原先用來絞殺敵人的小型機(jī)器人喬裝來到主人面前，它的武器鋸齒圓輪飛向了人類。

這是1995年好萊塢推出的電影《異形終結(jié)》的一幕。 從上世紀(jì)后期至今，《西部世界》《終結(jié)者》《我，機(jī)器人》等科幻電影和小說就開始展現(xiàn)人類設(shè)計并主導(dǎo)的“殺手機(jī)器人”最終成為反叛者，擁有獨立意識，從戰(zhàn)爭的輔助工具轉(zhuǎn)變?yōu)榕c人類為敵的殺戮者。

耶魯大學(xué)生物倫理學(xué)研究員瓦拉赫等人在《道德機(jī)器：如何教會機(jī)器人辨明是非》一書中提到，人工智能技術(shù)最有前途的應(yīng)用領(lǐng)域有三個：軍用機(jī)器人，以減少人力投入和傷亡;性愛機(jī)器人，滿足單身人士的生理需求以降低性犯罪率;工業(yè)機(jī)器人，以應(yīng)對人口老齡化帶來的用工荒。

然而，人們在享受機(jī)器人帶來的進(jìn)步的同時，也從未停止過擔(dān)心。尤其是在進(jìn)入21世紀(jì)的第二個十年以后， AlphaGo戰(zhàn)勝世界圍棋冠軍，國際知名技術(shù)公司開發(fā)的無人駕駛汽車紛紛上路……

隨著人工智能的不斷發(fā)展，人們對軍事領(lǐng)域“殺手機(jī)器人”的擔(dān)憂也由虛構(gòu)空間開始轉(zhuǎn)向了真實世界。

未來的無人戰(zhàn)爭

今年8月20日，在墨爾本舉行的2017國際人工智能聯(lián)合大會上，包括美國特斯拉電動汽車公司CEO伊隆·馬斯克、DeepMind聯(lián)合創(chuàng)始人穆斯塔法·蘇萊曼在內(nèi)的116位機(jī)器人和人工智能公司創(chuàng)始人發(fā)表公開信，呼吁聯(lián)合國在國際范圍內(nèi)禁止“致命性自主武器系統(tǒng)”的使用。

公開信指出，致命性自主武器系統(tǒng)足以構(gòu)成第三次武器革命的威脅——前兩次革命分別是火藥和核武器。這種技術(shù)一旦開發(fā)成功，將有可能把戰(zhàn)爭沖突升級至從未有過的規(guī)模，而且會達(dá)到人類難以控制的速度。公開信的簽署者們認(rèn)為，致命性自主武器可能成為獨裁者和恐怖分子殘害無辜的手段，或者被黑客挾持。

致命性自主武器系統(tǒng)實際上是一種軍用機(jī)器人，它可以不經(jīng)過人類干預(yù)，自主選擇和攻擊包括人員和裝備在內(nèi)的軍事目標(biāo)，所以也被叫做“殺手機(jī)器人”。目前，擁有“人格”的智能技術(shù)尚未被從科幻電影搬到現(xiàn)實中，但是與此有關(guān)的技術(shù)的確正在朝著這個方向發(fā)展。

當(dāng)然，無人武器系統(tǒng)并不等同于致命性自主武器，它還包括自動化武器和遙控武器。軍事科學(xué)院系統(tǒng)工程研究院曹華陽博士及其團(tuán)隊較早就開始關(guān)注這個領(lǐng)域的相關(guān)問題，他們在最近發(fā)表的論文《致命性自主武器系統(tǒng)的定義方法》中區(qū)分了“自動化”和“自主性”的概念。

自動化武器，以自足完備和獨立的方式運行，在設(shè)定好的可控環(huán)境中嚴(yán)格執(zhí)行預(yù)編程行動或序列。它們的攻擊目標(biāo)、攻擊決策以及攻擊方式都是由人類預(yù)先設(shè)定的。遙控武器，一般由戰(zhàn)區(qū)之外的操作員控制著進(jìn)行戰(zhàn)斗，可以被固定在一處，也可以自行移動。而自主性武器的特殊之處是，在某些關(guān)鍵性的能力（如決定人類的生命）方面，機(jī)器可能給出并執(zhí)行自己的決策，而不是按照人類預(yù)先設(shè)定好的程序或者人類遠(yuǎn)程的遙控來執(zhí)行。

實際上，目前的軍事武器技術(shù)已經(jīng)不止停留在自動化水平上。北京一名不愿透露姓名的軍事專家對《中國新聞周刊》介紹，在自動化時期，例如美軍艦艇上的“密集陣系統(tǒng)”，可以實現(xiàn)對攻擊范圍內(nèi)所有目標(biāo)無差別地發(fā)起自動打擊。而目前的人工智能技術(shù)已經(jīng)可以進(jìn)一步做到對目標(biāo)進(jìn)行識別，在武器系統(tǒng)內(nèi)對不同目標(biāo)采取不同反應(yīng)。

電影《終結(jié)者：創(chuàng)世紀(jì)》劇照。

例如，2016年8月，美軍測試了一款6旋翼小型無人機(jī)，該系統(tǒng)安裝了人工智能軟件，不需人類操縱即可自行搜尋并識別村莊里手持AK-47沖鋒槍的人。

據(jù)上述軍事專家介紹，具備無人特征的武器的初級形態(tài)是由人類全程遙控的，目前技術(shù)先進(jìn)的國家已經(jīng)掌握這一水平的技術(shù)，如遙控?zé)o人機(jī)、遙控炮臺、遙控戰(zhàn)車等。

自主程度中等的半自動武器，在面對一些簡單問題時，不需要人類指揮即可自行解決，只在面對復(fù)雜環(huán)境和關(guān)鍵問題時需要人類控制。當(dāng)前美國的SSV地面戰(zhàn)車、德國的MV4爆炸物處理機(jī)器人即可以實現(xiàn)這類效果。除此之外，軍事領(lǐng)域比較知名的半自動武器還有韓國三星生產(chǎn)的SGR-A1哨兵機(jī)器人、英國的Taranis無人機(jī)、俄羅斯的Uran-9坦克機(jī)器人、美國的Sea Hunter自主戰(zhàn)艦等。

自主程度最高的則是全自主武器，它可以自行在戰(zhàn)場上執(zhí)行完整的任務(wù)，但目前還沒有具備這種能力的武器系統(tǒng)出現(xiàn)。

伴隨著機(jī)器人武器的發(fā)展和擴(kuò)散，國外有軍事專家和機(jī)器人專家預(yù)測，在20到30年內(nèi)，人類就可以開發(fā)出號稱“殺手機(jī)器人”的全自主武器。

有人認(rèn)為，在未來，致命性自主武器系統(tǒng)如果應(yīng)用于戰(zhàn)爭，在軍事方面會起到許多正面作用。例如，降低己方士兵的風(fēng)險，降低人與人之間近距離戰(zhàn)爭的代價。此外，自主武器系統(tǒng)也省去了軍人的薪水、住房、養(yǎng)老、醫(yī)療等開銷，又在速度、準(zhǔn)確性上高于人類，而且不用休息。有別于人類戰(zhàn)斗員會在戰(zhàn)場上出現(xiàn)心理和情緒波動的特點，人工智能武器更穩(wěn)定，并且能夠抵達(dá)人類不可及之處，完成搜救和保護(hù)任務(wù)。

西安政治學(xué)院軍事法學(xué)系教授宋新平分析，致命性自主武器的運用，意味著自然人在武裝沖突中直接發(fā)揮的作用越來越小，武器所發(fā)揮的作用則越來越大，將影響并改變未來戰(zhàn)場的戰(zhàn)斗員構(gòu)成與戰(zhàn)斗能力的變化，特別是這種武器的集群式運用，對未來作戰(zhàn)的指揮體制、力量運用、供給保障等方面將產(chǎn)生革命性影響。endprint

爭議“殺手機(jī)器人”

但是，隨著致命性自主武器系統(tǒng)的發(fā)展，它所帶來的爭議也越來越強烈。

首先，有人擔(dān)憂，機(jī)器打仗使得人員傷亡大大減少，反過來又會降低戰(zhàn)爭發(fā)動的門檻，武裝沖突發(fā)生的機(jī)會會增加，而戰(zhàn)爭的人員損失將從戰(zhàn)斗員轉(zhuǎn)移到交火區(qū)域的平民。

其次，如同所有戰(zhàn)爭中的武器一樣，致命性自主武器系統(tǒng)要運用在戰(zhàn)爭中，必須符合《日內(nèi)瓦公約》，即國際人道法。反對者認(rèn)為，該武器系統(tǒng)違反國際人道法中的“區(qū)分原則”，即機(jī)器人武器很難做到和人類一樣區(qū)分平民與戰(zhàn)斗員、有戰(zhàn)斗能力的戰(zhàn)斗員和喪失戰(zhàn)斗能力的戰(zhàn)斗員（如傷者、病者及戰(zhàn)俘），以及作戰(zhàn)人員和攜帶輕武器從事非戰(zhàn)斗任務(wù)的人員。

在倫理方面，致命性自主武器運用于未來的武裝沖突中，這意味著將剝奪自然人生命的權(quán)利交給非自然人。有學(xué)者認(rèn)為，這是將人的生命和人格尊嚴(yán)交給機(jī)器來判定，不具有平等性，也是對人類生命權(quán)以及人格尊嚴(yán)的侮辱。

法律上的責(zé)任更是不能忽略。自主武器兼具“戰(zhàn)斗員”和“戰(zhàn)斗武器”兩種角色，如果它違背國際人道法，國際社會將面臨如何追究責(zé)任的問題，而被追究的主體應(yīng)該是設(shè)計者、制造者、操作者還是機(jī)器本身？

今年8月發(fā)出的公開信不是伊隆·馬斯克等人第一次對致命性自主武器系統(tǒng)提出警示。早在2015年，同樣在國際人工智能聯(lián)合大會上，物理學(xué)家斯蒂芬·霍金、蘋果聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克等1000多名人工智能領(lǐng)域?qū)＜衣?lián)合譴責(zé)人工智能時代的軍備競賽，呼吁禁止自主武器。容易引發(fā)軍備競賽、威脅世界和平，是反對者擔(dān)憂的原因之一。

但是，也有人認(rèn)為以上反對意見作為禁用致命性自主武器的理由站不住腳。研究人工智能哲學(xué)的復(fù)旦大學(xué)教授徐英瑾在《技術(shù)與正義：未來戰(zhàn)爭中的人工智能》一文中進(jìn)行了反駁。比如，對于“無人智能武器的出現(xiàn)，會使得殺戮變得更為容易，因此，也會使得軍事暴力在未來變得更為頻繁”的說法，徐英瑾提出，按照殺戮效率提高會對和平構(gòu)成威脅的邏輯，那是否為了降低殺戮效率，就制造盡量劣質(zhì)的槍支，鼓勵士兵降低擊中率？這顯然是荒謬的，相反，人工智能技術(shù)運用于軍事，會使得人類作戰(zhàn)意圖得到更精確的貫徹，可使得正義戰(zhàn)爭快速結(jié)束。

徐英瑾也不同意軍用機(jī)器人的殺戮無心理壓力的說法，他認(rèn)為，一些設(shè)計者會在軟件層面模擬出“憐憫”等人類情緒，故殺戮效率高并不等于濫殺無辜。

徐英瑾也不贊同自主武器系統(tǒng)會造成戰(zhàn)爭門檻降低的說法。他認(rèn)為，即使沒有致命性自主武器，西方軍事強國與弱國相比已經(jīng)擁有巨大的軍事優(yōu)勢，但是發(fā)動戰(zhàn)爭還要考慮各國憲法以及政治和經(jīng)濟(jì)因素。任何戰(zhàn)爭都無法避免，特別計較機(jī)器帶來的誤傷，是設(shè)置了雙重標(biāo)準(zhǔn)。相反，高度自主化技術(shù)可能還會減少誤傷。

正在海上進(jìn)行試驗的美國SeaHunter自主戰(zhàn)艦。

關(guān)于致命性自主武器的討論是伴隨著近些年人工智能技術(shù)的快速進(jìn)步而出現(xiàn)的。2012年，人權(quán)觀察組織發(fā)表《失去人性：反對殺人機(jī)器人》的報告，呼吁世界各國政府禁止全自主武器系統(tǒng)。同時，美國、英國、日本等國家也從2012年起對本國自主武器研發(fā)情況進(jìn)行討論和規(guī)定。聯(lián)合國《特定常規(guī)武器公約》締約國自2014年起，即以非正式專家會議的形式專門討論致命性自主武器系統(tǒng)。

人工智能公司、國際組織紛紛呼吁禁止致命性自主武器系統(tǒng)，但現(xiàn)狀是，至今國際社會仍然沒有就致命性自主武器系統(tǒng)問題達(dá)成統(tǒng)一認(rèn)識，甚至還沒有統(tǒng)一的定義。

據(jù)曹華陽等人分析，各國間存在分歧的根本原因在于各自的國家利益。智能化、無人化武器已經(jīng)在現(xiàn)代軍事行動中展現(xiàn)出特有的優(yōu)勢，美、英、以色列等技術(shù)先進(jìn)的國家不希望其自主武器系統(tǒng)相關(guān)裝備和技術(shù)的發(fā)展受到限制，因而傾向于將致命性自主武器限定為“未來的武器系統(tǒng)”，從而避免現(xiàn)有無人裝備受到軍備控制。

而自主武器系統(tǒng)技術(shù)門檻高、經(jīng)費投入大，中小發(fā)展中國家難以超越，為避免在未來戰(zhàn)爭中陷入有人裝備對抗無人系統(tǒng)的不利局面，它們則期望將致命性自主武器的范疇擴(kuò)大，并通過限制性條款制約此類武器的部署和應(yīng)用，古巴等國更是在致命性自主武器定義尚未明確的情況下就要求禁止該系統(tǒng)。

聯(lián)合國《特定常規(guī)武器公約》成員國已經(jīng)建立了一個致命性自主武器系統(tǒng)的政府專家小組，這個小組的第一次會議預(yù)定將于今年11月召開。伊隆·馬斯克等公開信簽署者希望專家小組努力尋求方法，防止這類武器的軍備競賽，保護(hù)平民免受武器濫用的傷害，避免這些技術(shù)給世界的未來帶來嚴(yán)重的后果。endprint