軍事科學(xué)院研究生院 彭 辛 陸軍邊海防學(xué)院 尼瓦扎提 孔維君／文

2019年3月10日，埃塞俄比亞航空一架波音737-MAX 8飛機，起飛僅6分鐘就墜毀，機上157人全部罹難，失事飛機的機齡不到4個月。這是繼2018年10月29日印尼獅航空難事故造成 189人罹難后，波音該機型發(fā)生的第二起空難，其機齡也只有3個月，且起飛僅13分鐘后便墜入了爪哇海。都是新機、事故都發(fā)生在起飛階段、墜毀前都發(fā)生了控制異常，這些相同的關(guān)聯(lián)因素，不由得使人試圖從事故中尋找內(nèi)在的原因。

波音737-MAX8因發(fā)動機位置的更改導(dǎo)致飛機機頭容易抬高。因此，它使用了一個自動防失速系統(tǒng)：MCAS（機動特性增強）。機頭裝了三個攻角傳感器，在飛機迎角過大時系統(tǒng)會自動下調(diào)機頭以進入它設(shè)定的安全狀態(tài)。獅航空難調(diào)查結(jié)論認為，機頭左側(cè)攻角傳感器故障，使MCAS錯誤地連續(xù)進入自殺式俯沖，一共26次，而獅航飛行員則努力拉了33次機頭，試圖拯救飛機，但最終人工操作沒能成功糾偏。2019年4月4日，埃塞俄比亞交通部公開了埃航空難調(diào)查報告：飛機連續(xù)出現(xiàn)上升和下降兩種姿態(tài)，飛行員多次執(zhí)行了飛機制造商提供的所有程序，但依然失去了對飛機的控制。隨后波音公司企業(yè)網(wǎng)站發(fā)布公司首席執(zhí)行官米倫伯格自事故發(fā)生以來的首次致歉聲明，其承認兩架客機墜毀前都出現(xiàn)特定傳感器讀數(shù)錯誤、促使客機飛行姿態(tài)矯正系統(tǒng)“錯誤啟動”。由此，我們不難發(fā)現(xiàn)，智能輔助系統(tǒng)在兩起空難中扮演了特殊的角色。隨著人工智能在我們生活領(lǐng)域的應(yīng)用越來越深入和廣泛，其帶來的安全問題也逐步顯現(xiàn)，如何進行有效應(yīng)對成了一個不得不思考的問題。

人工智能技術(shù)在應(yīng)用上的安全隱患

（一）弱化人的思維能力

隨著大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)的出現(xiàn)，人們在實際生活中遇到的數(shù)據(jù)越來越海量和紛繁復(fù)雜。通過機器學(xué)習(xí)，高效率地從巨量數(shù)據(jù)中獲取隱藏的、有效的、可理解的知識，已逐漸成為當(dāng)今人工智能技術(shù)發(fā)展的主要推動力。但與此同時必然帶來的是人類思維工作量的減輕，從而被動的弱化思維活動。在自動化裝置面前，飛行員的角色從操縱者轉(zhuǎn)變?yōu)橛^察者、監(jiān)督者和決策者，飛行控制過程在一定程度上對于飛行員是不透明的，一旦出現(xiàn)問題，飛行員無法憑自己的經(jīng)驗和能力從機器感知的大量數(shù)據(jù)中精確找出致命危險。甚至在人工智能保姆式的代辦下，飛行員也會很難形成某方面經(jīng)驗和能力。

（二）剝奪人的實踐能力

為了避免人為失誤，各行各業(yè)不斷引入自動化裝備。這些自動化裝備在設(shè)計之初便有一個普遍的準則，就是人是有可能犯錯的，但是執(zhí)行程序的機器是不可能犯錯的，所以在人犯錯的過程中，機器必須幫助人糾正自己的錯誤。這也就產(chǎn)生了獅航飛行員幾十次的與控制系統(tǒng)做斗爭，但依然沒有奪回控制權(quán)的問題，因為機器“執(zhí)拗”的認為人在執(zhí)行錯誤的操作。甚至在埃塞航飛行員發(fā)現(xiàn)了問題所在，斷開MCAS系統(tǒng)以后，控制權(quán)依然沒有交還給飛行員。

（三）影響設(shè)備的可靠性

自動化、智能化裝置往往強調(diào)方便高效，但在技術(shù)發(fā)展的初期卻往往與可靠性相背離。為什么前蘇聯(lián)乃至現(xiàn)在的俄羅斯，在武器裝備研制上，長期以來讓人感覺粗放、人機交互差？相對而言，高精尖的美軍裝備在實戰(zhàn)運用中也常常因故障頻發(fā)而備受詬病，這從兩國航母的發(fā)展上就能直觀說明。前者堅持使用低效但可靠性高的滑躍式甲板，而后者里程碑意義上的“福特”級航母，自2017年服役以來，平均400次電磁彈射就產(chǎn)生重大故障，遠低于4166次的作戰(zhàn)要求，甚至不能保證一整天的連續(xù)作戰(zhàn)。兩相對比，在實戰(zhàn)中孰優(yōu)孰劣，似乎還不好說。這樣的矛盾，在高技術(shù)發(fā)展領(lǐng)域一直相生相伴。雖然從長遠來看，發(fā)展自動化、智能化是大勢所趨。但是在人命關(guān)天的安全領(lǐng)域，安全的控制權(quán)至少不能完全交給機器，必須有人類自己的一片自留地。

安全問題產(chǎn)生的原因

（一）過度的智能化把人隔離在認知之外

“黑箱”是控制論中的一個概念，是指內(nèi)部結(jié)構(gòu)不清楚，只能通過外部觀察和試驗去認識其功能和特性的系統(tǒng)。研究黑箱的常用辦法就是找出其輸入、輸出關(guān)系，進而了解其內(nèi)部原理。人腦就是“黑箱”的典型代表，當(dāng)人完成一個思維活動時，外人也很難知道他是把什么樣的材料進行了怎樣的組合和提煉。而所謂人工智能，就是構(gòu)造一個人工系統(tǒng)，使其去完成以往需要人的智力才能勝任的工作，這就好比又制造了一個黑箱。開發(fā)者也許清楚其運作機理，但對于使用者來說，在其帶來方便性的同時，卻可能對其如何運作一無所知，甚至不知道其輸入、輸出了什么。波音737-MAX8的MCAS系統(tǒng)高度智能化，卻沒有安裝MCAS啟動顯示裝置，更不用說相關(guān)傳感器錯誤診斷和報警裝置，一旦發(fā)生故障，飛行員都找不到故障的原因，更不能從輸入、輸出數(shù)據(jù)中找到問題的根源并消除。在事故發(fā)生后，波音公司才準備將MCAS顯示器作為標配安裝。在人工智能系統(tǒng)中，你“不知道自己不知道什么”的窘境既會出現(xiàn)在設(shè)計者身上更會大大出現(xiàn)在使用者身上。雖然我們不追求也不可能把所有未知情況一網(wǎng)打盡，但一個成熟的智能輔助系統(tǒng)應(yīng)該從大量輸入的數(shù)據(jù)中告訴人類，現(xiàn)執(zhí)行的輸出結(jié)果其最可能的原因指向的是哪一類的輸入數(shù)據(jù)，也許做不到準確，但最起碼能夠提供操作者進行自主思維判斷的一些基本理論依據(jù)，不至使其迷失于大數(shù)據(jù)的洪流中。

（二）缺少故障容錯設(shè)計

在現(xiàn)代科技中，從安全上考慮，很多硬件設(shè)備即便損壞了，但都會有相應(yīng)的備用措施。如民航客機，不像單發(fā)戰(zhàn)斗機那樣，發(fā)動機損壞其人員可以跳傘逃生。客機載客如此眾多，就必然設(shè)計至少2個發(fā)動機，即使一個發(fā)動機空中停車，也能夠通過調(diào)整方向舵和飛行姿態(tài)的方式來保證飛機就近安全著陸。硬件的容錯度都這么高，但波音MCAS系統(tǒng)軟件，卻僅憑一處的錯誤，就判了整個硬件的死刑，這樣的智能化設(shè)計是不是舍本逐末？隨著人工智能技術(shù)的日益復(fù)雜，不可避免的會有很多潛在的技術(shù)漏洞尚未發(fā)現(xiàn)。這就要求在研發(fā)和生產(chǎn)過程中，要提前做好備份和保險措施，避免緊急情況下人工智能的失控。

（三）強人工智能的時代遠未到來

強人工智能是指能夠勝任人類所有工作的人工智能。乘坐過飛機的人應(yīng)該都有體會，類似于失事波音737-MAX8連續(xù)過山車式的爬升和俯沖行為，人肯定能感覺到強烈的不適感。但作為飛行輔助系統(tǒng)的MCAS卻依然能做出錯誤的判斷，并由自己不斷強化這個錯誤。由此可見現(xiàn)有的人工智能在抽象學(xué)習(xí)上仍難以突破瓶頸。也就是目前來說我們很多機器上的傳感器乃至系統(tǒng)都是專用式的，通過收集特定的數(shù)據(jù)而形成深層次的判斷，就比如MCAS系統(tǒng)通過收集飛機的飛行角度，而判斷飛機是否會因迎角過大而失速。但還遠遠沒有達到人工智能的無監(jiān)督學(xué)習(xí)或者半監(jiān)督學(xué)習(xí)能力，不能通過組合沒有標簽（特征）或者僅有部分標簽（特征）的底層特征，來發(fā)現(xiàn)事物的內(nèi)在規(guī)律，進而形成更加抽象的高層次判斷。如果飛機不僅能從飛行姿態(tài)，還能從飛機的高度、加速度、飛行階段；飛行員的奮力抗?fàn)帲簧踔脸丝腕@恐的尖叫等信息中判斷出飛機即將墜毀的狀態(tài)，那么這樣的事故是很容易避免的。只有人工智能的深度學(xué)習(xí)能力發(fā)展到能夠在飛行全程做到自動駕駛，并且能夠根據(jù)各種意外因素選擇最優(yōu)的飛行方式，才能夠說強人工智能時代已經(jīng)到來。

避免人工智能引發(fā)安全問題的思考

（一）使用系統(tǒng)工程的方法提高整體安全性

資料圖片

系統(tǒng)工程是“兩彈元勛”錢學(xué)森晚年重要的理論建樹，其本質(zhì)是研究局部和局部、局部和整體間相互聯(lián)系、相互制約的關(guān)系，是運用各種組織、管理和技術(shù)，使系統(tǒng)的整體與局部之間的關(guān)系協(xié)調(diào)并相互配合，以實現(xiàn)總體的最優(yōu)運行。從系統(tǒng)工程的角度出發(fā)，飛機的安全性是就整體而言的，系統(tǒng)中99.9%的部分是安全的，并不代表飛機是安全的；同樣，系統(tǒng)中每一個部分都有99.9%的可靠性，也不代表整個系統(tǒng)是安全的。波音737-MAX8雖然是一款“明星”機型，但其MCAS系統(tǒng)引起的墜毀，即因為單點的故障而影響整體的安全，充分說明其在系統(tǒng)設(shè)計上有嚴重的漏洞。系統(tǒng)的任意一部分和任意另一部分，都相互關(guān)聯(lián)，相互影響，相互制約。出現(xiàn)了錯誤，而各系統(tǒng)只讓其互相關(guān)聯(lián)更加放大，而不考慮其互相制約，通過綜合其他方面數(shù)據(jù)來降低報錯率，這無疑是系統(tǒng)設(shè)計上應(yīng)當(dāng)警醒的。這些就需要從系統(tǒng)工程的角度出發(fā)，從設(shè)備功能安全、環(huán)境適應(yīng)性檢測到故障時的行為等方面進行綜合考量，以避免可能導(dǎo)致系統(tǒng)性失效的錯誤和故障。

（二）實現(xiàn)強人工智能的機器學(xué)習(xí)

2017年虛擬機器人“微軟小冰”學(xué)習(xí)了自1920年以來中國近現(xiàn)代詩人的數(shù)萬首詩歌，而出版了現(xiàn)代詩集《陽光失了玻璃窗》，這是機器學(xué)習(xí)的一個成功范例。機器學(xué)習(xí)是研究一個系統(tǒng)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，重新組織已有知識結(jié)構(gòu)以不斷改善或獲取新的知識或技能，從而提高自身性能的能力。但是其未來前景還不僅在于從大量正確的例子中學(xué)習(xí)進而模仿，允許機器犯錯，并使其自己能糾正錯誤也許才是最重要的。獅航飛機空難前，其帶著攻角傳感器問題故障飛行了4次之多，事故前一天還出現(xiàn)過機頭持續(xù)下壓的危險狀況，直到飛行員關(guān)閉MCAS才安全降落。如果每一次飛行不僅能使飛機的操作系統(tǒng)能夠從摻雜著正確和錯誤的指令中形成正確起降的流程，還能從每一次正確指令糾正錯誤指令的行為中學(xué)習(xí)到如何排除故障，即自動對產(chǎn)生故障的系統(tǒng)進行修復(fù)、屏蔽，哪怕僅僅只是報錯，都能避免這樣慘劇的發(fā)生。就像人不可能不犯錯一樣，如果機器雖然犯了錯，但卻能夠比人類更迅速的判斷并糾正自己的錯誤，這才是機器學(xué)習(xí)中跨越性的一步。屆時，這個“會犯錯的機器”才可能是真正的強人工智能，即真正能推理和解決問題的智能機器。這樣的機器將被認為是有知覺的、有自我意識的，可以獨立思考問題并制定解決問題的最優(yōu)方案。

（三）給人類以最終裁量權(quán)

日本2007年出臺的《下一代機器人安全問題指導(dǎo)方針（草案）》，要求所有機器人在幫助人類的時候，要提前告知其行為可能的負面效果，讓人類來決定是否執(zhí)行。雖然在波音墜機事故中的MCAS系統(tǒng)，還沒有強大到能判斷它當(dāng)時的錯誤“行為”能導(dǎo)致墜機，更不用說在墜機前將飛機的控制權(quán)主動交給飛行員。但如果人工智能發(fā)展到了強人工智能階段，那就意味著人類能干的腦力活動，機器都能勝任，其可以像人類一樣獨立思考和決策，甚至有自己的價值觀和世界觀，即實現(xiàn)人類的“自由意志”和“個性”，某種意義上說，這誕生了一種新的文明。此時，如將人類的安全完全交給可能與我們意志有沖突的“自由意志”的機器，由其進行判斷和決定，那將是危險和不負責(zé)任的。在智能系統(tǒng)做出最終決定前征詢?nèi)说囊庖?，或者人保留在緊急時刻斷開人工智能而進行手工操作的權(quán)利，是安全的最后一道防線。人工智能與納米技術(shù)和基因工程一起被并稱為21世紀三大尖端技術(shù)，它無疑給我們打開了一扇通往絢麗未來的大門，但如果不加節(jié)制，誰又能保證打開的不是潘多拉魔盒呢？而受節(jié)制了的人工智能，又是真正意義上的“智能”嗎？霍金說過，強大人工智能的崛起，要么是人類歷史上最好的事，要么是最糟的，其本身是一種存在問題的趨勢，而這些問題必須在現(xiàn)在和將來得到解決。

綜上所述，埃塞航和獅航空難是巨大的悲劇，悲劇背后要求我們對人工智能技術(shù)心存敬畏。只有積極發(fā)揮其優(yōu)勢的一面，同時深刻認識其潛在隱患，從而大力提高人工智能的安全性，才更有利于促進科技的進步和時代的發(fā)展！