文森特·納瑞格特 陳雯潔

它們是世界上最高級(jí)的算法，它們的視覺識(shí)別能力比人類還厲害：深度神經(jīng)網(wǎng)絡(luò)只需一瞥便能識(shí)別各式各樣的物體、動(dòng)物、人臉、指示牌……人工智能技術(shù)正在掀起一場(chǎng)全方位的革命。

但這一成功的背后隱藏著一個(gè)漏洞，一個(gè)誰也沒有料到的驚人軟肋……盡管問題還未在大眾媒體上曝光，但近兩年來已有不少研究團(tuán)隊(duì)投入了救火行動(dòng)。究竟是什么問題？聽好了：這套無與倫比的算法會(huì)被莫名其妙的視錯(cuò)覺干擾，犯下低級(jí)錯(cuò)誤！

選取某物體的一張數(shù)碼照片，巧妙地改動(dòng)它的幾個(gè)像素值……人眼完全看不出修改前后的差別，可算法系統(tǒng)立刻就“看到”了另一個(gè)毫不相干的物體。一張稍作處理的熊貓照片，人工智能看到的卻是一只猴子，而且確定程度超過99%。把烏龜看成沖鋒槍，把滑雪者看成狗，把貓看成公交車，把喬治·克魯尼看成達(dá)斯汀·霍夫曼，把橙子看成直升飛機(jī)……此類案例不一而足。

更糟糕的是，據(jù)美國(guó)麻省理工學(xué)院機(jī)器學(xué)習(xí)理論家安德魯·伊利亞斯透露，“現(xiàn)在還沒有人能解釋這一現(xiàn)象”。必須承認(rèn)，信息科學(xué)家至今仍不能理解在這些極高維度的計(jì)算空間里究竟發(fā)生了什么。

這些超現(xiàn)實(shí)主義畫派風(fēng)格的“黑客”實(shí)驗(yàn)或許令人發(fā)笑。但你若是知道這些算法將被用于我們的日常生活，一定就笑不出來了。它們可能會(huì)把標(biāo)記“停”的交通指示牌看成“優(yōu)先通行”，把紅燈看成綠燈，把惡性腫瘤看成健康器官的一部分，把學(xué)校看成軍事打擊的目標(biāo)，把炸彈看成三明治，把恐怖分子看成執(zhí)法人員，把一起謀殺看成平常事件或者反過來……或許幾十年后的信息戰(zhàn)就是這個(gè)樣子？

極其簡(jiǎn)單的攻擊

在一些大學(xué)及行業(yè)巨頭——如谷歌或臉書——的實(shí)驗(yàn)室里進(jìn)行的最新研究顯示，上述風(fēng)險(xiǎn)確實(shí)存在。“最初的實(shí)驗(yàn)在嚴(yán)格控制的實(shí)驗(yàn)室條件下進(jìn)行，哪怕開放了目標(biāo)模型的所有內(nèi)部參數(shù)，計(jì)算時(shí)間還是很長(zhǎng)?！北壤麜r(shí)根特大學(xué)神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)專家喬納森·佩克介紹道，“但現(xiàn)在情況不一樣了，這種襲擊已經(jīng)變得輕而易舉。”

近幾個(gè)月的研究表明，這種細(xì)微的視錯(cuò)覺在現(xiàn)實(shí)應(yīng)用中仍然存在。例如用普通的智能手機(jī)在運(yùn)動(dòng)中拍照，在各種角度與光線條件下都會(huì)造成人工智能判斷錯(cuò)誤。美國(guó)的一個(gè)研究團(tuán)隊(duì)證實(shí)，在標(biāo)記“停”的交通指示牌上粘上一層貼紙，對(duì)標(biāo)記進(jìn)行精心篡改，人類駕駛員不會(huì)上當(dāng)，但卻能騙過所有自動(dòng)駕駛汽車。卡耐基梅隆大學(xué)的研究人員則借助印有圖案的眼鏡，把一個(gè)用于面部識(shí)別的人工智能程序騙得團(tuán)團(tuán)轉(zhuǎn)。

此類攻擊不但有可能出現(xiàn)在我們的日常生活中，而且實(shí)施者根本不需要侵入目標(biāo)系統(tǒng)?！霸谖易罱鼌⑴c的對(duì)某些形式的功擊的研究中，對(duì)手只需用幾張準(zhǔn)備好的圖片對(duì)相關(guān)算法進(jìn)行測(cè)試、觀察其反應(yīng)即可?！辟e夕法尼亞州立大學(xué)的尼古拉斯·帕佩爾諾表示。他利用這種方法騙過了亞馬遜和谷歌的人工智能機(jī)器人，確信度分別為96%和88%。而雪上加霜的是，針對(duì)某一種人工神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的攻擊通常也能干擾其他架構(gòu)的人工智能。

更何況現(xiàn)在每天都會(huì)增加一些新的攻擊形式！谷歌的一個(gè)團(tuán)隊(duì)剛剛研制出一種奇特而令人生畏的武器：一張貼紙。它十分顯眼，看起來毫無破壞性，可它能讓今天所有的人工智能相信，被它標(biāo)記過的物品或生物都是同一件東西——烤面包機(jī)。

軍備競(jìng)賽

面對(duì)上述威脅，信息技術(shù)領(lǐng)域的部分人員已經(jīng)積極行動(dòng)起來，尋找解決辦法?！叭藗兤鸪踉O(shè)計(jì)這些系統(tǒng)時(shí)，并沒有想到它們會(huì)面對(duì)對(duì)手。”尼古拉斯·帕佩爾諾提醒道。最近幾個(gè)月來，人們想出很多策略來檢測(cè)和清除此類惡意干擾，但暫時(shí)還沒有找到行之有效的辦法。研究人員幾乎無法從理論上證明人工神經(jīng)網(wǎng)絡(luò)運(yùn)行可靠，而且一直沒有找到被誤判的圖片的共同特點(diǎn)——去年秋天，加州大學(xué)伯克利分校的一個(gè)研究團(tuán)隊(duì)輕輕松松就騙過了目前提出的十種探測(cè)攻擊圖片的方法?！斑@段時(shí)間我們就像在進(jìn)行某種軍備競(jìng)賽：研究人員不斷提出新的保護(hù)方案，而其他人幾乎立刻就能攻破它們?！眴碳{森·佩克描述道。這是一場(chǎng)通常永遠(yuǎn)不會(huì)真正結(jié)束的小游戲。

人工智能的未來會(huì)系于此嗎？該漏洞會(huì)讓方興未艾的數(shù)碼革命完結(jié)嗎？那些投入數(shù)十億歐元的項(xiàng)目會(huì)因此中斷嗎？現(xiàn)在下結(jié)論還為時(shí)過早……喬納森·佩克認(rèn)為“風(fēng)險(xiǎn)實(shí)在太大，可能會(huì)減緩甚至終結(jié)自動(dòng)駕駛汽車的發(fā)展”。另一些研究人員將這個(gè)漏洞看作在關(guān)鍵應(yīng)用中使用人工智能之前所必須克服的一個(gè)挑戰(zhàn)。但所有人都同意，這個(gè)漏洞可能產(chǎn)生有益的刺激，推動(dòng)我們?cè)谑褂眠@些偶爾“行為詭異”的人工智能算法時(shí)，不斷尋求更可靠、更適宜的方式。

（許永軍薦自《新發(fā)現(xiàn)》）