賈珍珍 劉楊鉞
算法安全問題的興起,本質(zhì)上是人工智能作為“智能時代”解決復(fù)雜問題的工具不斷深化發(fā)展,并嵌入人類社會的深刻進(jìn)程。美軍加快推進(jìn)深度學(xué)習(xí)技術(shù)走向應(yīng)用,自2017財年開始增加了三軍的深度學(xué)習(xí)研發(fā)項(xiàng)目,其中包括研發(fā)可用于低功耗平臺的嵌入式深度學(xué)習(xí)算法與稀疏數(shù)據(jù)分析的深度學(xué)習(xí)技術(shù),以及通過深度學(xué)習(xí)方法和人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)目標(biāo)分類等內(nèi)容。2017年底,剛成立半年的美軍“算法戰(zhàn)跨職能小組”就已開發(fā)出首批4套智能算法。然而,算法并非完美無缺,也存在漏洞與安全隱患。如美軍F-35戰(zhàn)機(jī)高度依賴控制系統(tǒng),在試驗(yàn)過程中曾暴露出的兩百余項(xiàng)問題幾乎都與軟件的算法高度關(guān)聯(lián)。與此同時,算法需要與實(shí)際相結(jié)合并不斷探尋才能發(fā)揮巨大潛力,而這個過程中涉及的算法安全問題將直接決定算法的最終應(yīng)用效果。因此,盡管算法通常是按照設(shè)定好的方式運(yùn)行,但由于在解決復(fù)雜問題時涉及大量變量因素,因此,一旦失控,就有可能做出“反常”行為。
隨著人工智能技術(shù)日益深度融入社會生活的各個方面,關(guān)于智能化算法可能引發(fā)的倫理、正義、安全等問題也開始受到關(guān)注。2020年9月《自然》雜志子刊《機(jī)器學(xué)習(xí)》便在其社論中提出警告,當(dāng)人們試圖用快速的技術(shù)和算法手段解決那些結(jié)構(gòu)性、復(fù)雜性的社會問題時,將可能帶來深遠(yuǎn)的負(fù)面影響。[1]凱西·奧尼爾則將具有內(nèi)在倫理缺陷的有害算法模型稱為“數(shù)字殺傷性武器”[2],這種隱性的、潛移默化的倫理風(fēng)險傷害性如此巨大,以至于有學(xué)者提出了“算法向善”的主張。[3]但總體來看,現(xiàn)有文獻(xiàn)大多聚焦于倫理層面,主要探討的是算法缺陷以及過度依賴算法可能導(dǎo)致的社會后果,而較少從國家安全的角度系統(tǒng)分析算法安全問題帶來的更深層次的風(fēng)險挑戰(zhàn)。鑒于此,本文將從算法安全的概念探討出發(fā),試圖分析算法安全問題給國家安全帶來的影響及其治理之道。
法蘭西科學(xué)院院士瑟格·阿比特博在《算法小時代:從數(shù)學(xué)到生活的歷變》中將算法定義為人類解決問題的方法、進(jìn)程及手段。[4]在這里,瑟格·阿比特博嘗試勾勒出一張俯瞰算法世界的地圖,以對話算法與人工智能共同定制的復(fù)雜時代。進(jìn)入20世紀(jì),算法開始與計算機(jī)充分耦合,其核心是建立問題模型與求解目標(biāo),并依據(jù)不同模式進(jìn)行設(shè)計。近年來,隨著智能化趨勢的來臨,算法更是成為人工智能發(fā)展的重要引擎。由此,算法、算法戰(zhàn)與算法安全等與算法相關(guān)的新技術(shù)和新概念也逐漸進(jìn)入公眾視野。
1.算法
“算法”一詞最早來源于公元9世紀(jì)的波斯數(shù)學(xué)家阿布阿卜杜拉·穆罕默德·伊本·穆薩·花賴子密的一本關(guān)于代數(shù)的系統(tǒng)著作《還原與對消的科學(xué)》,將他名字的拉丁語音譯“算法”(algorism),作為任何程序化運(yùn)算或自動運(yùn)算方法的統(tǒng)稱。[5]20世紀(jì),隨著計算科學(xué)的發(fā)展,人類能夠利用“算法”對數(shù)據(jù)信息進(jìn)行“計算”,以邏輯計算能力替代部分人類智能類活動,從而實(shí)現(xiàn)成為“一種有限、確定、有效并適合用計算機(jī)程序來實(shí)現(xiàn)的解決問題的方法。”[6]以AlphaGo為代表的基于聯(lián)結(jié)主義范式的神經(jīng)網(wǎng)絡(luò)技術(shù)的出現(xiàn),使得人們對算法的應(yīng)用關(guān)注度與日俱增。聯(lián)結(jié)主義(Connectionism)又可以稱為平行分布加工模型或人工神經(jīng)網(wǎng)絡(luò)(artificial neural networks),它是神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)平行分布式知識表征和計算的理論框架的總稱,致力于探究認(rèn)知或智能是如何從大量單一處理單元的相互作用中產(chǎn)生的。目前神經(jīng)網(wǎng)絡(luò)技術(shù)大多數(shù)采用“并行分布處理”(Parallel Distributed Processing,簡稱“PDP”)的計算方式,具有很高的運(yùn)算速度和學(xué)習(xí)能力,而這也使得其成為新一代智能算法的主要研究方向。2017年1月,DeepMind公司在德國慕尼黑的DLD創(chuàng)新大會上正式宣布將推出AlphaGo2.0,它將通過數(shù)學(xué)模型下的自我對局和深度學(xué)習(xí)以探索“學(xué)習(xí)”的極限。這種徹底“摒棄”人類棋譜,完全依賴算法自主演化的方式,將有可能引發(fā)智能社會的實(shí)質(zhì)性變革。
2.算法戰(zhàn)
從我國古代的各類兵法、陣法與戰(zhàn)法到一戰(zhàn)前德軍的數(shù)學(xué)公式推演和圖上作業(yè),從1914年提出的蘭徹斯特方程到美軍在海灣戰(zhàn)爭前的兵棋推演,戰(zhàn)爭始終需要“算法”。2013年4月,美國智庫“大西洋理事會”網(wǎng)絡(luò)治理倡議研究項(xiàng)目主任詹森·希利在一篇題為《“震網(wǎng)”病毒與“算法戰(zhàn)爭”的曙光》的文章中首次提到“算法戰(zhàn)”的概念。2016年9月,哈佛大學(xué)法學(xué)院在研究報告《戰(zhàn)爭算法問責(zé)》中,將“戰(zhàn)爭算法”定義為“通過電腦代碼表達(dá)、利用構(gòu)建系統(tǒng)實(shí)現(xiàn)以及能與戰(zhàn)爭相關(guān)的行動中運(yùn)作的算法”。[7]2017年4月26日,美國國防部正式提出“算法戰(zhàn)”的概念,并明確“算法戰(zhàn)”包含三個要素:針對關(guān)鍵任務(wù)需求的算法、與實(shí)現(xiàn)算法相匹配的計算資源、基于算法的各種智能化軍事應(yīng)用技術(shù)及系統(tǒng)。近年來,隨著現(xiàn)代戰(zhàn)爭加速向軍事智能化邁進(jìn),各國對算法在軍事領(lǐng)域的應(yīng)用關(guān)注度進(jìn)一步加強(qiáng),并紛紛加緊對“算法戰(zhàn)”的整體規(guī)劃與部署。美軍將“算法戰(zhàn)”作為第三次抵消戰(zhàn)略的關(guān)鍵技術(shù)支撐,試圖在占據(jù)技術(shù)優(yōu)勢的基礎(chǔ)上,全面拉開與其他國家的技術(shù)差距,從而為搶占新一輪軍事變革制高點(diǎn)奠定堅(jiān)實(shí)的技術(shù)基礎(chǔ)。美國防部副部長沃克則進(jìn)一步表示:“自主學(xué)習(xí)、機(jī)器輔助人員作戰(zhàn)、有人—無人作戰(zhàn)編組、網(wǎng)絡(luò)化半自主武器將是第三次抵消戰(zhàn)略重點(diǎn)發(fā)展的五大關(guān)鍵技術(shù)領(lǐng)域?!?/p>
3.算法安全
國家安全體系涉及政治、國土、軍事、經(jīng)濟(jì)、文化、社會、科技、網(wǎng)絡(luò)、生態(tài)、資源、核以及海外利益等多種領(lǐng)域安全。[8]算法安全屬于國家安全體系中的科技安全領(lǐng)域。根據(jù)科技安全的概念,可以將“算法安全”定義為算法體系完整有效、國家重點(diǎn)領(lǐng)域核心算法技術(shù)安全可控、國家核心利益和安全不受外部算法技術(shù)優(yōu)勢危害以及保障持續(xù)安全狀態(tài)的能力。2017年7月,美國哈佛大學(xué)肯尼迪學(xué)院貝爾佛科學(xué)與國際事務(wù)中心發(fā)布《人工智能與國家安全》研究報告。該報告詳細(xì)評估了以算法為核心的人工智能在軍事、信息和經(jīng)濟(jì)領(lǐng)域的巨大潛力,總結(jié)核、航空航天、網(wǎng)絡(luò)和生物技術(shù)四種變革性軍事技術(shù)發(fā)展的經(jīng)驗(yàn)教訓(xùn),并對人工智能與國家安全的關(guān)系進(jìn)行了系統(tǒng)分析。該報告認(rèn)為,以算法為核心的人工智能對國家安全的影響將滲透到戰(zhàn)略、組織、優(yōu)先事項(xiàng)和資源配置等方方面面,甚至可與核武器比肩,具體表現(xiàn)在:一是通過變革軍事優(yōu)勢影響國家安全;二是通過變革信息優(yōu)勢影響國家安全;三是通過變革經(jīng)濟(jì)優(yōu)勢影響國家安全。近年來,美國政府、美國國防部、美國各軍種及智庫更是先后發(fā)布十多份有關(guān)算法與人工智能安全的相關(guān)報告,從戰(zhàn)略性、全局性的高度對算法安全的影響進(jìn)行系統(tǒng)審視,體現(xiàn)出美國政府和軍方對算法安全的高度重視。
有人認(rèn)為,為了讓機(jī)器可以像人腦一樣學(xué)習(xí)和“舉一反三”,我們必須用簡單的計算單元重建人腦的復(fù)雜性。然而,為了真正實(shí)現(xiàn)這種復(fù)雜性,智能必須從這些基本計算單元的交互中涌現(xiàn),必須來自這些無意識的代理,就像是從無意識的神經(jīng)元中涌現(xiàn)出來一樣。[9]這里的關(guān)鍵問題是,以算法為基礎(chǔ)的計算機(jī)如何漸次突破,從“計算”逐步走向“智能”,從而完成“數(shù)據(jù)—信息—智能”的演變。
1.算法工具——第一臺電子計算機(jī)的誕生
回顧歷史,作為擁有智慧的生物,人類從野蠻逐漸走向文明,關(guān)鍵是學(xué)會了制造和利用各種工具。于是,當(dāng)人類發(fā)展到需要面對大規(guī)模的、傳統(tǒng)手段無法處理的數(shù)值計算問題時,算法工具出現(xiàn)了。第二次世界大戰(zhàn)期間,為解決大量的軍用數(shù)據(jù)計算難題,美國軍方發(fā)起ENIAC項(xiàng)目,該項(xiàng)目由賓夕法尼亞大學(xué)的莫奇利教授的研究小組主要負(fù)責(zé)研發(fā)。1946年2月14日,世界上第一臺電子計算機(jī)——ENIAC(The Electronic Numerical Integrator and Computer,簡稱ENIAC)問世,從此為人類打開了一扇通往“算法世界”的大門。到了智能技術(shù)高度發(fā)達(dá)的今天,計算機(jī)最基本的算法——有限字長二進(jìn)制數(shù)字依然沒有被取代,而人類物化的智能過程,也大都是建立在基本算法的基礎(chǔ)之上的。
隨著算法工具的不斷完善,算法在科學(xué)計算應(yīng)用中的能力不斷增強(qiáng)。1957年,任職于IBM公司的約翰·巴科斯和他的研究小組開發(fā)出第一個計算機(jī)高級程序語言——面向科學(xué)計算的高級程序語言FORTRAN(FORmula TRANslator),直到現(xiàn)在它仍然是計算機(jī)科學(xué)計算的主要工具。然而,由于這一階段技術(shù)條件的限制,算法任務(wù)在大部分情況下解決的都是“局部性”的問題,而對于更為復(fù)雜的“全局性”的問題,則表現(xiàn)得有些“難以適從”。
2.算法應(yīng)用——互聯(lián)網(wǎng)的普遍性影響
隨著計算機(jī)處理能力的進(jìn)一步提高,算法逐漸超越技術(shù)本身而從“象牙塔”似的計算機(jī)科學(xué)計算領(lǐng)域滲透到其他社會領(lǐng)域,并開始了計算機(jī)對社會多領(lǐng)域的普遍性影響階段。1969年,現(xiàn)代互聯(lián)網(wǎng)的先驅(qū)——阿帕網(wǎng)(Advanced Research Projects Agency Network,ARPANET)誕生。從一開始只為軍方和學(xué)術(shù)界服務(wù),到20世紀(jì)90年代向社會公眾開放,計算機(jī)在算法應(yīng)用上不再拘泥于單一自然屬性的數(shù)值表達(dá),而是將“眼光”投向社會實(shí)體對象。由于這一時期的算法工具在“輔助人類”執(zhí)行智能活動的過程中已經(jīng)慢慢遠(yuǎn)離相對“簡單”的數(shù)值計算領(lǐng)域,人們也不再稱其為“數(shù)據(jù)”,而是以“信息”代稱之。
此時,相關(guān)的算法應(yīng)用主要有兩類:一是直接借助互聯(lián)網(wǎng)或通過互聯(lián)網(wǎng)的延伸來實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)處理;二是利用互聯(lián)網(wǎng)進(jìn)行的非特定用戶的非結(jié)構(gòu)化信息處理。對于結(jié)構(gòu)化數(shù)據(jù)處理,其核心是通過若干數(shù)值邏輯算法組合而實(shí)現(xiàn)數(shù)據(jù)處理。[10]對于非特定用戶的非結(jié)構(gòu)化信息處理,其核心是通過建立信息流通的渠道,并對信息進(jìn)行適當(dāng)變化以實(shí)現(xiàn)信息處理。目前的算法應(yīng)用還只能算是非結(jié)構(gòu)化信息處理的初始階段,更為復(fù)雜的、多樣的、規(guī)范的算法應(yīng)用還將不斷孕育發(fā)展。
3.終極算法——全面智能的未來前景
康奈爾大學(xué)計算機(jī)科學(xué)系教授喬恩·克萊因伯格曾經(jīng)編寫過一套算法,這套算法能夠在一群人的只言片語間尋找線索,從而分辨出這群人中誰是真正的“影響者”,比如誰是擁有影響輿論走向、推動產(chǎn)品面市等杰出才能的個人。這種算法似乎有些令人難以置信。而即便如此,它依然只能算是一種“低智”的算法,即一種通過大數(shù)據(jù)統(tǒng)計相似性、關(guān)聯(lián)度等來探尋規(guī)律的算法方式。
佩德羅·多明戈斯則指出:“所有知識,無論是過去的、現(xiàn)在的還是未來的,都有可能通過單個通用學(xué)習(xí)算法來從數(shù)據(jù)中獲得。”[11]終極算法所要解決的將是借助大數(shù)據(jù)建立更多關(guān)于空間和時間這兩個維度上的全面融合化的功能,由此,人類將進(jìn)入全面智能社會。
人工智能本質(zhì)上是一種算法革命。從美軍近期公開的信息來看,2018年11月22日,美國《2019財年國防授權(quán)法案》批準(zhǔn)成立人工智能國家安全委員會,主要職責(zé)包括:考察軍事應(yīng)用中的風(fēng)險以及對國際法的影響;解決國家安全和國防中的一系列倫理道德問題;建立公開訓(xùn)練數(shù)據(jù)的標(biāo)準(zhǔn),推動公開訓(xùn)練數(shù)據(jù)的共享。[12]2019年2月11日,美國總統(tǒng)特朗普簽署“美國人工智能倡議”行政令,以促進(jìn)國家層面人工智能戰(zhàn)略的發(fā)展。對此,谷歌前CEO埃里克·施密特指出:“人工智能領(lǐng)域的‘衛(wèi)星事件’已經(jīng)發(fā)生?!倍谒惴ò踩矫?,則日益呈現(xiàn)出邏輯操縱的政治性、行為影響的顛覆性及場域滲透的隱蔽性等時代特征。
1.邏輯操縱的政治性
美國技術(shù)哲學(xué)家和政治家蘭登·溫納認(rèn)為:“技術(shù)不可避免地與制度化的權(quán)力和權(quán)威模式相聯(lián)系。當(dāng)恩格斯把紡紗工廠的機(jī)器描述得比任何資本家更為專制的時候,也同時印證現(xiàn)代技術(shù)正強(qiáng)烈地塑造了政治生活的觀點(diǎn)?!盵13]自2016年起,伴隨著西方政治中一系列“黑天鵝事件”,如2016年美國總統(tǒng)大選中,唐納德·特朗普競選團(tuán)隊(duì)和希拉里·克林頓競選團(tuán)隊(duì)都被指在競選中運(yùn)用了高度保密的算法,英國公民公投脫歐與臉書信息“靶向推送”的關(guān)聯(lián)等接連發(fā)生與持續(xù)發(fā)酵,蘭登·溫納“現(xiàn)代技術(shù)強(qiáng)烈地塑造了政治生活”的觀點(diǎn)再一次得到印證,有關(guān)算法安全的研究不再拘泥于自然科學(xué)領(lǐng)域,而是越來越多地轉(zhuǎn)移到對算法安全政治性問題的關(guān)注上。美國學(xué)者塔爾頓·吉萊斯皮提到:“我們需要對計算出來的公眾邏輯進(jìn)行審查,并密切關(guān)注應(yīng)該在何處以及在何種方式下,將它引入到人類的政治活動中從而產(chǎn)生影響?!盵14]這一觀點(diǎn)揭示出算法邏輯對社會公眾的政治性影響。有的學(xué)者提出“算法即權(quán)力”,認(rèn)為算法是在科學(xué)和計算的“合法性外衣”下,以“政治設(shè)計”嵌入的方式參與政治傳播的,且這種方式將潛移默化地影響著社會公眾的行為選擇。
2.行為影響的顛覆性
從系統(tǒng)科學(xué)的角度來看,人工智能技術(shù)中的算法安全問題可以看作是國家安全中具有顛覆性作用的序參量。傳統(tǒng)意義上的國家安全主要包含經(jīng)濟(jì)安全、環(huán)境安全、文化安全、科技安全、信息安全、人類安全等在內(nèi)的綜合安全。由于國家安全領(lǐng)域的安全問題涉及范圍廣、內(nèi)容復(fù)雜,安全要素相互累加形成的系統(tǒng)效應(yīng)(System Effects)已遠(yuǎn)遠(yuǎn)超出人們的理解范圍,這就為算法的介入與輔助決策提供了條件,而這種依賴性同時也為算法安全帶來了隱患。2018年10月和2019年3月,全球接連發(fā)生波音737-MAX8型客機(jī)墜毀事故,調(diào)查顯示,墜毀源于飛機(jī)自動化的“機(jī)動特性增強(qiáng)系統(tǒng)”(MCAS)識別了錯誤的迎角信號,從而持續(xù)發(fā)出讓機(jī)頭向下俯沖的指令并最終致使飛機(jī)失控。[15]原本旨在增強(qiáng)飛行安全性的智能算法系統(tǒng)卻成了“阿喀琉斯之踵”。算法安全從表象上看是一種技術(shù)安全問題,但其背后潛藏的算法行為邏輯,使其與傳統(tǒng)的安全問題相異,并有可能對國家安全帶來顛覆性影響。2018年宣布國家人工智能發(fā)展戰(zhàn)略的國家數(shù)量比上年增加了2倍多。[16]由此,將算法作為人工智能發(fā)展的關(guān)鍵領(lǐng)域,加強(qiáng)算法安全的戰(zhàn)略布局已逐漸成為國家競爭的新高地。
3.場域滲透的隱蔽性
法國社會學(xué)家皮埃爾·布迪厄從關(guān)系的角度思考,最早提出“場域”的概念,即在各種位置之間存在的客觀關(guān)系的一個網(wǎng)絡(luò),或一個架構(gòu)。在此基礎(chǔ)上,他進(jìn)一步指出:“任何一個場域,其發(fā)生發(fā)展都經(jīng)過了一個為自己的自主性而斗爭的歷程,這也是擺脫政治、經(jīng)濟(jì)等外部因素控制的過程?!盵17]從某種程度上來看,算法的演化和發(fā)展在無形中也形成了一種與物理空間、認(rèn)知空間充分交匯的“算法場域”。由于算法場域的隱蔽性,所有場域中的組織和個體都被納入算法分析的技術(shù)與安全治理體系中,公共空間與個體空間在場域中的空間邊界逐漸消融。[18]“社會各部分正廣泛而迅猛地采用數(shù)字技術(shù)和大數(shù)據(jù),這導(dǎo)致人工智能、自主系統(tǒng)和算法決策之間的無縫集成,影響了數(shù)以億計的人的生活?!盵19]為此,2018年2月,來自于14家頂尖人工智能研究與安全組織,包括新美國安全中心、電子前沿基金會、劍橋大學(xué)、牛津大學(xué)、非營利組織OpenAI的26名專家,共同撰寫了題為《人工智能的惡意使用:預(yù)測、預(yù)防和緩解》的研究報告,探討以算法安全為核心的人工智能在未來五年內(nèi)可能出現(xiàn)的安全威脅。
科技進(jìn)步與變革往往是國際體系深度調(diào)整的重要推動力量,也是國家安全內(nèi)涵變化發(fā)展的主要因素。隨著大數(shù)據(jù)、智能算法廣泛應(yīng)用于人類社會各個領(lǐng)域,“一代人之前依靠人工或紙張的工作(閱讀、購物、教育、交友、工業(yè)和科學(xué)研究、政治運(yùn)動、財務(wù)、政府檔案保管、監(jiān)視和軍事戰(zhàn)略)都經(jīng)過了計算領(lǐng)域的過濾篩選。人類活動變得越來越‘?dāng)?shù)據(jù)化’,成為一個‘可計量、可分析’系統(tǒng)的一部分”。[20]算法安全問題產(chǎn)生于算法應(yīng)用與社會各維度的互動進(jìn)程中,表現(xiàn)出權(quán)力結(jié)構(gòu)失衡、未知隱患增多、體系失能崩潰等一系列安全風(fēng)險。
智能算法的廣泛應(yīng)用將深刻改變國家間權(quán)力結(jié)構(gòu)對比,在軍事和經(jīng)濟(jì)領(lǐng)域掌握先進(jìn)算法的國家更容易形成對其他國家的權(quán)力“級差”。擁有大量數(shù)據(jù)資源、充足人才儲備、持續(xù)資本投入的國家和企業(yè)將在人工智能和算法領(lǐng)域獲得領(lǐng)先地位,從而成為國際社會公共產(chǎn)品的重要提供方甚至壟斷者,由此形成的話語權(quán)、影響力決定了公共產(chǎn)品的提供模式,而使用者則處于被動接受狀態(tài)。事實(shí)上,國家間權(quán)力轉(zhuǎn)移和權(quán)力格局變遷往往與技術(shù)環(huán)境變化密切相關(guān)。[21]人工智能技術(shù)帶來的權(quán)力結(jié)構(gòu)性效應(yīng)甚至可能更加顯著。根據(jù)麥肯錫的報告,到2030年人工智能技術(shù)將為全球經(jīng)濟(jì)帶來13萬億美元的貢獻(xiàn),全球經(jīng)濟(jì)增長率年均提升1.2%。但技術(shù)發(fā)達(dá)國家與發(fā)展中國家從中獲益差別較大,前者能獲得20%—25%的凈經(jīng)濟(jì)效益,后者則只有5%—15%。以瑞典和贊比亞為例,麥肯錫預(yù)計2025年瑞典因發(fā)展人工智能產(chǎn)生的經(jīng)濟(jì)增長率比贊比亞高3%,而這一差距到2030年將迅速擴(kuò)大到19%。[22]強(qiáng)者愈強(qiáng)、弱者愈弱的“馬太效應(yīng)”在算法時代將變得更加明顯。算法應(yīng)用同樣會對軍事實(shí)力帶來極大改變。在提升裝備性能、模擬仿真訓(xùn)練、獲取戰(zhàn)場信息、預(yù)測戰(zhàn)爭走勢、部署作戰(zhàn)規(guī)劃、完成作戰(zhàn)任務(wù)等軍事各環(huán)節(jié)各領(lǐng)域,算法都扮演著日益重要的角色。[23]現(xiàn)代戰(zhàn)爭的節(jié)奏和速度在不斷提升,觀察—調(diào)整—決策—行動的鏈路(OODA loop)反應(yīng)速度越快,就越能獲取戰(zhàn)場優(yōu)勢,而智能化算法則是加速的關(guān)鍵動力。[24]
不斷擴(kuò)大的算法鴻溝將為國家安全帶來嚴(yán)重挑戰(zhàn)。在算法開發(fā)和應(yīng)用上占據(jù)優(yōu)勢的技術(shù)發(fā)達(dá)國家將具有更多能力和渠道,以剝削、控制、威懾或訛詐技術(shù)上處于劣勢的國家。例如,無人機(jī)蜂群算法的發(fā)展成熟能使個體單元自行組織協(xié)作,完成復(fù)雜的軍事任務(wù),這種新的作戰(zhàn)模式“遠(yuǎn)遠(yuǎn)超過使用(傳統(tǒng))機(jī)動作戰(zhàn)方式的對手”。[25]在同等條件下,基于更快響應(yīng)速度和協(xié)同性算法的蜂群也能更好地實(shí)現(xiàn)軍事和戰(zhàn)略目的。技術(shù)弱國維護(hù)自身安全的能力將顯著下降,甚至有學(xué)者認(rèn)為人工智能帶來的權(quán)力極端分化會催生“科技帝國主義”并使進(jìn)攻性對外戰(zhàn)略成為普遍選擇。[26]算法鴻溝的另一項(xiàng)安全風(fēng)險在于制造“未知的不安全狀態(tài)”(unknown insecurity)。沃爾弗斯早已指出,客觀與主觀層面的國家安全并不必然重合,因?yàn)閲铱赡芨吖阑虻凸缹ζ淅?價值)造成損害的實(shí)際可能性。[27]正如在信息安全領(lǐng)域,“棱鏡門”事件曝光,才使得各國長期處在信息監(jiān)控和泄露的不安全狀態(tài)浮出水面。算法的應(yīng)用具普遍性也更具隱蔽性,因此算法能力差距導(dǎo)致的潛在或真實(shí)安全風(fēng)險不易為人覺察,很可能當(dāng)發(fā)現(xiàn)時已產(chǎn)生嚴(yán)重且不可逆的負(fù)面安全后果。上述作用機(jī)制——弱化安全能力、阻礙安全認(rèn)知——意味著“算法鴻溝”成為國家安全不得不面對的重要議題,國家間在算法能力上的系統(tǒng)性差距將深刻改寫國際政治安全面貌。
對科學(xué)技術(shù)的依賴本是人類社會歷史進(jìn)步的表現(xiàn),但與電力、內(nèi)燃機(jī)等技術(shù)的廣泛使用不同,智能化算法不僅是一項(xiàng)“賦能”的工具(enabler),而且在某種程度上是人的決策過程的替代物,日趨“獨(dú)立地”開展對復(fù)雜事務(wù)的評估與判斷工作。這使得算法及相關(guān)技術(shù)存在不容忽視的異化風(fēng)險,即科學(xué)技術(shù)“反過來成了壓抑、束縛、報復(fù)和否定主體的本質(zhì)力量,(成為)不利于人類生存和發(fā)展的一種異己性力量”。[28]有學(xué)者在20世紀(jì)80年代就對類似現(xiàn)象提出過預(yù)警:“新技術(shù)帶來新的自由和新的依賴。自由一開始更加顯而易見,而依賴可能并不明顯,這使得(依賴)更加糟糕,因?yàn)橹挥形C(jī)發(fā)生時它才被覺察?!盵29]
就算法依賴而言,其安全風(fēng)險可能來自至少以下幾方面:一是將決策交給算法可能帶來人的部分核心能力逐漸退化,當(dāng)算法不可用或被證明不可靠時可能喪失替代選擇。例如,在瞬息萬變的未來戰(zhàn)場,軍事指揮控制系統(tǒng)中的智能算法在加快戰(zhàn)爭速度的同時,也使得人工干預(yù)日益難以實(shí)現(xiàn)甚至被邊緣化——除非一方甘愿冒著被打敗的風(fēng)險而主動放慢決策速度。[30]但日趨依賴算法進(jìn)行戰(zhàn)斗決策的結(jié)果,很可能使指揮官應(yīng)變能力和指揮藝術(shù)逐漸退化。當(dāng)這種趨勢不斷發(fā)展和強(qiáng)化之后,如果在真實(shí)戰(zhàn)斗中突然出現(xiàn)算法系統(tǒng)崩潰等諸多難以預(yù)料的狀況時,優(yōu)秀或是合格的指揮人員可能一將難求。類似的風(fēng)險已在其他領(lǐng)域得到證明。有研究發(fā)現(xiàn),對定位和導(dǎo)航技術(shù)的依賴使人們無須依靠大腦進(jìn)行方位判斷,這不僅導(dǎo)致人們本身的方向感變?nèi)?,甚至造成大腦中的海馬體萎縮和智力衰退。[31]
算法依賴的第二層風(fēng)險在于,算法中蘊(yùn)含的偏見、歧視等可能固化下來,對社會造成持久性、長期性負(fù)面影響。一方面,算法開發(fā)設(shè)計人員的價值觀和倫理會不自覺地滲入其設(shè)計的程序或使用的數(shù)據(jù)。另一方面,算法日益復(fù)雜的技術(shù)“黑箱”狀態(tài),使得外部觀察者甚至程序本身設(shè)計者都難以完全掌握其運(yùn)算規(guī)則,導(dǎo)致算法偏見難以被發(fā)現(xiàn)并被永久性保留。[32]在一個著名的案例中,美國許多州的執(zhí)法機(jī)構(gòu)都使用了一種名為COMPAS的算法軟件,來評估被告人再發(fā)生犯罪的可能性,而調(diào)查發(fā)現(xiàn)這一算法預(yù)測黑人再犯罪的風(fēng)險遠(yuǎn)高于實(shí)際情況,也就是說,黑人相對于白人遭受了算法的不公平對待。[33]當(dāng)社會各領(lǐng)域全面依賴算法形成決策判斷而又對其中的偏見、歧視未加察覺時,其持續(xù)性的負(fù)面影響將構(gòu)成對國家安全的系統(tǒng)性威脅。
智能化算法本質(zhì)上依靠計算機(jī)代碼運(yùn)行,因此即使相對成熟的算法也可能包含不為人知的漏洞,易于遭受攻擊、欺騙或操控,這是因技術(shù)原因而無法避免的算法安全問題。算法漏洞通常在兩個層面出現(xiàn):一是代碼層面,即用于運(yùn)行算法、傳輸數(shù)據(jù)、執(zhí)行決策等各個環(huán)節(jié)的代碼存在漏洞或錯誤,導(dǎo)致惡意行為體加以利用并實(shí)現(xiàn)對算法系統(tǒng)的遠(yuǎn)程攻擊和操縱。二是邏輯層面,即算法本身的邏輯體系存在缺陷,在面對不同使用情境時出現(xiàn)不適應(yīng)性,或是被人為方式設(shè)置條件導(dǎo)致算法失效。在一項(xiàng)運(yùn)用人工智能算法識別圖像的實(shí)驗(yàn)里,研究人員將一張大熊貓圖片中加入極其細(xì)微的干擾因素,所合成的圖像盡管肉眼難辨差別,但卻讓計算機(jī)誤認(rèn)為是長臂猿的圖片。[34]由于算法有效性的邊界難以準(zhǔn)確預(yù)知,造成其失效的因素也無法全面把握,因此算法是否出錯、如何出錯、何時出錯似乎很容易處于人的判斷和控制范圍以外。
當(dāng)算法應(yīng)用于涉及國計民生或軍事領(lǐng)域的核心系統(tǒng)時,算法漏洞的安全風(fēng)險會呈指數(shù)級升高。2010年5月6日,美國股市突然出現(xiàn)異常波動,道瓊斯、納斯達(dá)克等指數(shù)在數(shù)分鐘內(nèi)暴跌約9%,導(dǎo)致近萬億美元瞬間蒸發(fā)。商品期貨交易委員會(CFTC)2014年的一份研究報告將這起事件稱為金融市場歷史上最激烈的動蕩之一。[35]造成這一現(xiàn)象的部分原因在于被交易者普遍使用的自動交易程序,這些程序原本用于捕捉市場瞬息萬變的動態(tài),但當(dāng)機(jī)器之間的互動超出算法承受或“理解”范圍時,就出現(xiàn)了意想不到的突發(fā)狀況乃至崩潰。有研究指出,這一事件說明“即使那些在99%以上時間都比人類處理得好的系統(tǒng),也可能偶然產(chǎn)生災(zāi)難性的、難以預(yù)料的失誤”。[36]這種失誤盡管不會時常出現(xiàn),但只要一發(fā)生就可能帶來難以想象的損失和災(zāi)難。算法應(yīng)用的本意是提升人類福祉——更加富裕、更加安全,但不為人知的算法漏洞可能轉(zhuǎn)瞬之間就使其所支撐的社會、經(jīng)濟(jì)、軍事等系統(tǒng)陷入崩塌。
進(jìn)一步看,算法漏洞的存在為戰(zhàn)略博弈對手提供了可資利用的攻擊渠道。由于智能算法需要依靠高質(zhì)量數(shù)據(jù)來進(jìn)行訓(xùn)練和學(xué)習(xí),因此對手可以針對性地篡改數(shù)據(jù)或提供虛假數(shù)據(jù)——即所謂的“數(shù)據(jù)污染”(data poisoning)——以使算法做出錯誤判斷。[37]例如,研究者在路邊“停車”標(biāo)識上貼上小塊膠帶或進(jìn)行其他細(xì)微改動(使得圖像識別算法的輸入數(shù)據(jù)受到“污染”),就能導(dǎo)致無人駕駛汽車識別錯誤。[38]在人工智能算法不斷進(jìn)步的同時,通過“數(shù)據(jù)污染”等形式欺騙或誘導(dǎo)算法的針對性方法——也被稱為逆向機(jī)器學(xué)習(xí)(adversarial machine learning)?!半S著人工智能滲透到生活的方方面面,從汽車駕駛、監(jiān)控系統(tǒng)分析,到面部身份識別,對這些系統(tǒng)的攻擊也變得愈加可能且危險?!盵39]逆向算法攻擊在軍事領(lǐng)域同樣意義深遠(yuǎn)。例如,無人機(jī)蜂群作戰(zhàn)被視為未來戰(zhàn)爭重要樣式之一,但假如支撐蜂群作戰(zhàn)的算法基礎(chǔ)(如協(xié)同飛行或目標(biāo)識別的算法)遭到攻擊和破壞,原本極具戰(zhàn)斗力的蜂群將立刻無用武之地。[40]而如果有核國家的戰(zhàn)略打擊系統(tǒng)面臨類似狀況,其安全后果更加不堪設(shè)想。
新技術(shù)的崛起蘊(yùn)含著改善人類社會的巨大潛力,也同時潛藏著難以預(yù)估的風(fēng)險與挑戰(zhàn)。在智能時代,算法的出現(xiàn)及在不同場景的應(yīng)用,讓人們關(guān)注技術(shù)機(jī)遇的同時,也提醒人們要警惕算法背后的安全隱患可能給國家安全帶來的巨大沖擊。近年來,隨著算法安全在各個領(lǐng)域影響的日益深化,加強(qiáng)算法安全治理已經(jīng)成為國際社會的共識。例如,美國關(guān)注算法對國家安全的影響,成立了人工智能國家安全委員會與“聯(lián)合人工智能中心”,并計劃通過一系列“國家任務(wù)倡議”將算法能力轉(zhuǎn)化為決策力和影響力;歐盟的立法建議書認(rèn)為人工智能需要倫理準(zhǔn)則,并呼吁制定相關(guān)的“機(jī)器人憲章”;聯(lián)合國發(fā)布了《機(jī)器人倫理初步報告草案》,強(qiáng)調(diào)機(jī)器人不僅需要尊重人類社會的倫理規(guī)范,而且需要將特定倫理準(zhǔn)則嵌入機(jī)器人系統(tǒng)中;我國也相繼頒布《新一代人工智能發(fā)展規(guī)劃》《促進(jìn)新一代人工智能產(chǎn)業(yè)發(fā)展三年行動計劃(2018—2020年)》等,對人工智能及算法的規(guī)范發(fā)展提出相關(guān)要求。
有關(guān)人工智能與算法發(fā)展可能帶來的安全擔(dān)憂并非一時興起。早在1951年,艾倫·圖靈就提出:“即使我們可以使機(jī)器屈服于人類,比如,可以在關(guān)鍵時刻關(guān)掉電源,然而作為一個物種,我們也應(yīng)當(dāng)感到極大的敬畏?!卑殡S著算法技術(shù)及其應(yīng)用突飛猛進(jìn)的發(fā)展,對于算法安全的擔(dān)憂更是不斷發(fā)酵。雷·庫茲韋爾提出“技術(shù)奇點(diǎn)”理論的兩個假設(shè):其一,雖然不同于人腦的結(jié)構(gòu),但機(jī)器人的演進(jìn)也可以在某一天擁有“類人智能”,這種智能與人類智能有許多相似的特征,甚至是“自我意識”也不例外;其二,按照計算機(jī)科技發(fā)展目前遵循的“摩爾定律”或別的規(guī)律,隨著計算機(jī)科技的不斷發(fā)展,終究有那么一天計算機(jī)的復(fù)雜度會達(dá)到和人類一個量級的水平,到那時,“類人智能”或“超人智能”就會從機(jī)器中自動涌現(xiàn)出來。
如果算法沒有得到有效控制或是被濫用,其帶來的安全影響將是難以預(yù)估的,提高算法風(fēng)險意識將是維護(hù)算法安全的必要前提。為此,一方面,應(yīng)明確算法開發(fā)過程中的安全原則,這主要包含技術(shù)方面和倫理方面。技術(shù)方面的核心是使算法的技術(shù)風(fēng)險能夠?yàn)槿祟愃刂?,主要表現(xiàn)在有關(guān)算法開發(fā)過程中的安全原則。如美國白宮報告書《為人工智能的未來做好準(zhǔn)備》中指出:“必須確保功能系統(tǒng)如下:一是可控性(governable);二是開放性、透明性、可理解性;三是能與人類共同有效地發(fā)揮功能;四是始終符合人類的價值觀及愿望?!痹趥惱矸矫妫鐨W洲議會法務(wù)委員會《關(guān)于機(jī)器人的民事規(guī)則向歐洲委員會所做提案的報告方案》中提到:“倫理指導(dǎo)方針的框架應(yīng)該依據(jù)歐盟基本權(quán)憲章中規(guī)定的人類尊嚴(yán)等原則。”英國下議院科學(xué)和技術(shù)委員會報告書《機(jī)器人和人工智能》中將“驗(yàn)證與穩(wěn)妥性確認(rèn)、決策的透明度、減少不公平現(xiàn)象、提升可解釋性、隱私及安全等”作為開發(fā)的基本原則。以上開發(fā)原則反映出國際社會有關(guān)算法風(fēng)險意識的提升,而這也應(yīng)作為我國算法開發(fā)指導(dǎo)方針制定工作的有力借鑒。另一方面,應(yīng)完善算法應(yīng)用過程中的法律法規(guī)。法律規(guī)制是風(fēng)險控制的重要方式,技術(shù)的合理應(yīng)用須借助于法律的有效規(guī)制。2017年7月,國務(wù)院印發(fā)的《新一代人工智能發(fā)展規(guī)劃》指出:“建立人工智能法律法規(guī)、倫理規(guī)范和政策體系,形成人工智能安全評估和管控能力。”[41]2019年1月1日,十三屆全國人大常委會第五次會議表決通過的《電子商務(wù)法》正式實(shí)施,其中第四十條規(guī)定,電子商務(wù)平臺經(jīng)營者應(yīng)當(dāng)提供自然搜索算法的結(jié)果,對于算法優(yōu)化或干預(yù)應(yīng)當(dāng)顯著標(biāo)明廣告。盡管如此,由于算法的自主迭代存在無限可能,現(xiàn)階段有關(guān)算法的法律法規(guī)仍然是滯后的,包括“確保算法的透明度、可解釋性”等原則的法制化還未實(shí)現(xiàn)。此外,應(yīng)重視開發(fā)和應(yīng)用算法的過程中風(fēng)險控制理念的法制化,從而避免算法可能造成的潛在危害,從而使算法能夠真正造福人類。
可以說,得算法人才者得天下。算法的技術(shù)突破與創(chuàng)造性應(yīng)用的關(guān)鍵在于高端算法專業(yè)人才的培養(yǎng)集聚。從各國發(fā)布的有關(guān)報告來看,對人才的爭奪和培養(yǎng)都是其推動算法發(fā)展的重要組成部分。美國在《國家人工智能研究與發(fā)展策略規(guī)劃》的“更好地把握國家人工智能研發(fā)人才需求”部分提出:“人工智能的發(fā)展需要一支強(qiáng)勁的人工智能研究人員團(tuán)體。要更好地了解目前和將來人工智能研發(fā)對人才的需要,以確保有足夠的人工智能專家應(yīng)對本計劃中概述的戰(zhàn)略研發(fā)領(lǐng)域。”[42]英國政府科學(xué)辦公室發(fā)布的《人工智能、未來決策面臨的機(jī)會和影響》中,對如何保持英國人工智能人才優(yōu)勢進(jìn)行了特別的說明。加拿大政府推出的《泛加拿大人工智能戰(zhàn)略》將增加加拿大優(yōu)秀人工智能研究人員和技術(shù)畢業(yè)生人數(shù)作為其戰(zhàn)略目標(biāo)之一。我國《新一代人工智能發(fā)展規(guī)劃》也明確指出,要把高端人才隊(duì)伍建設(shè)作為人工智能發(fā)展的重中之重。
綜合以上研究報告,我國在算法專業(yè)人才的培養(yǎng)上具備了一定的優(yōu)勢,特別是近些年來,我國在積極推動人工智能與算法相關(guān)基礎(chǔ)研究和算法學(xué)科設(shè)置方面取得了較大的成績。2018年4月,我國教育部出臺《高等學(xué)校人工智能創(chuàng)新行動計劃》,同年7月,包括清華大學(xué)在內(nèi)的26所高校聯(lián)合簽署的《關(guān)于設(shè)置人工智能專業(yè)建議書》提出設(shè)立人工智能本科專業(yè),以加強(qiáng)算法專業(yè)人才隊(duì)伍的建設(shè)。如今,在算法技術(shù)不斷滲透,算法安全形勢日益嚴(yán)峻的大環(huán)境下,一是要重視對算法復(fù)合型管理人才的吸納。算法安全可以說是一種集科學(xué)、技術(shù)與社會安全問題為一體的復(fù)雜系統(tǒng)工程,這已與過去那種簡單的技術(shù)問題有了明顯的不同。應(yīng)在把握國家算法研發(fā)人才需求的基礎(chǔ)上,依托國家重大人才工程,注重對具備包括算法技術(shù)創(chuàng)新研發(fā)能力、算法安全綜合工程能力、復(fù)雜社會化問題處理能力的算法的復(fù)合型管理人才的吸納。二是要重視對算法技術(shù)研發(fā)人員的安全管制。算法技術(shù)本身的安全性與可控性是確保算法安全的核心。為了避免由于算法系統(tǒng)的設(shè)計缺陷所帶來的“意外事故”,算法技術(shù)研發(fā)人員至少應(yīng)保證做到這樣兩點(diǎn),即算法系統(tǒng)在運(yùn)作的過程中不會出現(xiàn)預(yù)期之外的不良行為與后果;授權(quán)當(dāng)事人能夠在算法系統(tǒng)開始運(yùn)作后控制該系統(tǒng),且非授權(quán)當(dāng)事人無法蓄意操控。三是要重視對算法技術(shù)應(yīng)用開發(fā)人員的安全管制。算法通過代碼加以表達(dá)和闡釋,而其表達(dá)主體仍為算法技術(shù)應(yīng)用開發(fā)人員。據(jù)統(tǒng)計,80%的網(wǎng)絡(luò)安全事件不是由于外部的攻擊,而是來自內(nèi)部人員的誤操作和缺乏最基本的防護(hù)意識。[43]由于該類人員主要分布于高校、科研院所與企業(yè)當(dāng)中,因此,應(yīng)加強(qiáng)有關(guān)人才與技術(shù)的交流與合作,構(gòu)建起多方參與的算法安全治理體系,從而推動算法安全的有效治理。
行之有效的監(jiān)管體系,需要建立于技術(shù)與產(chǎn)業(yè)創(chuàng)新的基礎(chǔ)之上。然而,從目前國內(nèi)外有關(guān)算法監(jiān)管的規(guī)劃來看,主要是采取激勵性的政策,而尚未形成完善的算法監(jiān)管體系。如美國眾議院通過《自動駕駛法案》,對自動駕駛汽車提出包含“系統(tǒng)安全、網(wǎng)絡(luò)安全、人機(jī)交互、防撞性能”等在內(nèi)的12項(xiàng)安全要求。英國下議院科學(xué)和技術(shù)委員會在其發(fā)布的《機(jī)器人和人工智能》報告中,呼吁應(yīng)從“檢驗(yàn)和確認(rèn)、決策系統(tǒng)的透明化、偏見最小化、隱私與知情權(quán)、歸責(zé)制度與責(zé)任承擔(dān)等方面”加強(qiáng)對人工智能與算法安全的監(jiān)管。我國《新一代人工智能發(fā)展規(guī)劃》中提到“建立健全公開透明的人工智能監(jiān)管體系,實(shí)行設(shè)計問責(zé)和應(yīng)用監(jiān)督并重的雙層監(jiān)管結(jié)構(gòu),實(shí)現(xiàn)對人工智能算法設(shè)計、產(chǎn)品開發(fā)和成果應(yīng)用等的全流程監(jiān)管”。
因此,尋求技術(shù)創(chuàng)新與技術(shù)規(guī)制之間的平衡,對于算法監(jiān)管而言至關(guān)重要。一方面,在促進(jìn)算法技術(shù)與產(chǎn)業(yè)創(chuàng)新的基礎(chǔ)上,應(yīng)建立有關(guān)算法安全的技術(shù)標(biāo)準(zhǔn)體系。算法安全的技術(shù)標(biāo)準(zhǔn)的主要對象為算法技術(shù)的工程師與開發(fā)人員,它對于算法本身是否存在技術(shù)漏洞,進(jìn)而造成安全隱患具有重要作用。例如,算法是支撐無人駕駛技術(shù)決策最為關(guān)鍵的部分,目前主流自動駕駛公司普遍采用的實(shí)現(xiàn)方式是機(jī)器學(xué)習(xí)與人工智能算法。然而,近年來無人駕駛汽車頻頻出現(xiàn)的交通事故,反映出算法存在尚未解決的技術(shù)缺陷,而算法安全技術(shù)標(biāo)準(zhǔn)體系的建立將在一定程度上減少這些技術(shù)缺陷。2017年,德國倫理委員會專門針對無人駕駛算法設(shè)計提出了20條倫理指導(dǎo)意見,以緩解由于算法技術(shù)缺陷造成的安全威脅。另一方面,在算法技術(shù)標(biāo)準(zhǔn)之上,還應(yīng)制定嚴(yán)格的程序規(guī)范體系,以確保對算法安全的有效控制。隨著算法技術(shù)的興起,智能決策算法開始更多地參與到公共服務(wù)和社會管理之中。為確保對算法風(fēng)險的控制,對于算法在不同領(lǐng)域的應(yīng)用,還應(yīng)當(dāng)遵循嚴(yán)格的程序規(guī)范。例如,美國紐約出臺的《關(guān)于政府機(jī)構(gòu)使用自動化決策系統(tǒng)的當(dāng)?shù)胤ā访鞔_要求自動化決策工作組制定程序,確保政府向公眾提供“包括智能決策系統(tǒng)技術(shù)性信息在內(nèi)的相關(guān)信息”,使公眾可以有效獲悉智能決策算法的運(yùn)行原理以及政府對智能決策算法的使用方式,并確保政府向受決策算法影響的個人提供“做出決策的原因和依據(jù)”。[44]此外,由于算法運(yùn)行的共享特性或曰公共性[45],對算法安全的監(jiān)管僅依靠政府部門的控制顯然是不夠的,需要政府、市場以及公民社會各司其職,依據(jù)相應(yīng)的規(guī)范進(jìn)行綜合監(jiān)管,從而促進(jìn)算法安全監(jiān)管體系的形成與完善。