林點(diǎn)，潘理，易平

（上海交通大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，上海 200240）

0 引言

機(jī)器學(xué)習(xí)的理論從20世紀(jì)中葉就已經(jīng)被提出和實(shí)踐，但是由于機(jī)能限制，當(dāng)時(shí)機(jī)器學(xué)習(xí)在復(fù)雜問(wèn)題上表現(xiàn)不盡如人意。而隨著計(jì)算機(jī)科學(xué)的不斷發(fā)展，計(jì)算機(jī)算力不斷提升，以及大數(shù)據(jù)時(shí)代的到來(lái)，限制機(jī)器學(xué)習(xí)發(fā)展的因素被逐個(gè)解決。1998年，Lecun[1]提出了卷積神經(jīng)網(wǎng)絡(luò)（CNN，convolutional neural network），并使用一種7層的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)LeNet-5成功解決了手寫數(shù)字識(shí)別的難題。這意味著機(jī)器學(xué)習(xí)可以解決以圖像識(shí)別為代表的復(fù)雜問(wèn)題。2012年，Krizhevsky等[2]提出了一種新的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)AlexNet，在ImageNet圖像識(shí)別競(jìng)賽上以高正確率獲得冠軍。從此以后，以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)概念被廣泛研究和應(yīng)用，各種新的網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練方法被提出，其圖像識(shí)別能力也不斷提高。

大量圍繞卷積神經(jīng)網(wǎng)絡(luò)的研究被開展，大量以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的應(yīng)用被開發(fā)，這引出了人們對(duì)其魯棒性的思考。對(duì)于神經(jīng)網(wǎng)絡(luò)而言，魯棒性意味著模型在面對(duì)異常輸入時(shí)仍有輸出正確結(jié)果的能力。對(duì)抗樣本[3]的發(fā)現(xiàn)讓所有神經(jīng)網(wǎng)絡(luò)暴露在被攻擊的風(fēng)險(xiǎn)中，研究者開始致力于提出抵抗對(duì)抗樣本的方法，這也是目前魯棒性研究的主要方向。

神經(jīng)網(wǎng)絡(luò)就是用計(jì)算機(jī)來(lái)模擬人腦神經(jīng)元，并將其相互連接構(gòu)建一個(gè)模擬神經(jīng)網(wǎng)絡(luò)，以此實(shí)現(xiàn)“類人工智能”。神經(jīng)網(wǎng)絡(luò)算法使計(jì)算機(jī)能夠在一定限度上模擬人類的記憶、運(yùn)算、推理和識(shí)別能力。顯然，提高神經(jīng)網(wǎng)絡(luò)與人腦的相似性是神經(jīng)網(wǎng)絡(luò)自誕生以來(lái)就始終追求的目標(biāo)。理論上，神經(jīng)網(wǎng)絡(luò)的判別結(jié)果應(yīng)當(dāng)以人類的判別結(jié)果為準(zhǔn)繩，本文提出“視覺(jué)魯棒性”的概念，以衡量神經(jīng)網(wǎng)絡(luò)與人類視覺(jué)的相似性。

本文致力于對(duì)神經(jīng)網(wǎng)絡(luò)的魯棒性做一個(gè)全面的討論。對(duì)抗魯棒性是目前研究的熱點(diǎn)，相關(guān)的學(xué)術(shù)論文和綜述討論也較多，但相關(guān)研究正逐漸陷入困境。視覺(jué)魯棒性是本文提出的用以區(qū)別傳統(tǒng)魯棒性的概念，并從神經(jīng)科學(xué)與人工智能兩個(gè)方向介紹其進(jìn)展。本文對(duì)神經(jīng)網(wǎng)絡(luò)魯棒性的發(fā)展現(xiàn)狀進(jìn)行總結(jié)，并對(duì)其發(fā)展趨勢(shì)進(jìn)行討論與展望。此外，本文關(guān)注的是圖像識(shí)別應(yīng)用場(chǎng)景下的魯棒性問(wèn)題，該應(yīng)用場(chǎng)景下所使用的網(wǎng)絡(luò)結(jié)構(gòu)絕大多數(shù)是卷積神經(jīng)網(wǎng)絡(luò)及其變體，如果不做額外說(shuō)明，本文提到的神經(jīng)網(wǎng)絡(luò)均指卷積神經(jīng)網(wǎng)絡(luò)。

1 神經(jīng)網(wǎng)絡(luò)魯棒性的研究現(xiàn)狀

1.1 對(duì)抗樣本和對(duì)抗魯棒性

Szegedy等[3]發(fā)現(xiàn)，可以給輸入圖像上添加精心設(shè)計(jì)過(guò)而人類無(wú)法察覺(jué)的擾動(dòng)，從而使神經(jīng)網(wǎng)絡(luò)模型發(fā)生誤判，被添加過(guò)擾動(dòng)的輸入稱作“對(duì)抗樣本”。對(duì)抗魯棒性是神經(jīng)網(wǎng)絡(luò)模型在對(duì)抗樣本攻擊下保持自身輸出正確結(jié)果的能力，一般使用對(duì)抗樣本的攻擊成功率來(lái)衡量神經(jīng)網(wǎng)絡(luò)模型的對(duì)抗魯棒性。

1.1.1 對(duì)抗樣本的生成方法

（1）白盒攻擊場(chǎng)景

白盒攻擊場(chǎng)景下，攻擊者擁有目標(biāo)模型的全部信息，包括訓(xùn)練集、模型參數(shù)、模型梯度、模型輸出等。Goodfellow等[4]提出了快速梯度符號(hào)法（FGSM，fast gradient sign method）算法，通過(guò)計(jì)算模型損失函數(shù)的梯度符號(hào)并依此為圖像添加擾動(dòng)，以最小化分類模型的損失函數(shù)。此后，研究者提出了C&W算法[5]、投影梯度下降（PGD，projected gradient descent）算法[6]等攻擊性和隱蔽性更強(qiáng)的算法。白盒攻擊方法的存在，反映了模型魯棒性上存在的重大缺陷，以至于攻擊者可以無(wú)視人類對(duì)圖像的視覺(jué)感知，只通過(guò)對(duì)梯度計(jì)算等數(shù)學(xué)方法使模型的判斷出現(xiàn)錯(cuò)誤，這是模型魯棒性研究的開端。

（2）黑盒攻擊場(chǎng)景

Papernot等[7]提出了“黑盒攻擊”的概念，使攻擊者能夠在不掌握目標(biāo)模型具體信息的情況下生成對(duì)抗樣本，并提供了兩種核心思路：基于對(duì)抗樣本遷移性的算法和基于查詢的算法。對(duì)抗樣本遷移性指一些對(duì)抗樣本能同時(shí)作用于不同神經(jīng)網(wǎng)絡(luò)模型的現(xiàn)象[3,4,7]，往往通過(guò)集成[8]的方法實(shí)現(xiàn)?；诓樵兊乃惴▌t在于利用從目標(biāo)模型接口查詢得到的信息[9]。相比白盒攻擊，黑盒攻擊更加貼合一些實(shí)用場(chǎng)景。黑盒攻擊算法的存在，說(shuō)明對(duì)抗魯棒性無(wú)法通過(guò)保密模型信息的方式實(shí)現(xiàn)，必須提出有效的方法提高模型自身的魯棒性。

1.1.2 對(duì)抗樣本的防御方法

提升對(duì)抗魯棒性，即防御對(duì)抗樣本有兩條基本的思路：其一是削弱對(duì)抗樣本的攻擊性，間接地提高模型防御對(duì)抗樣本的能力；其二是通過(guò)對(duì)抗訓(xùn)練、修改網(wǎng)絡(luò)結(jié)構(gòu)的方式直接提高神經(jīng)網(wǎng)絡(luò)模型的對(duì)抗魯棒性。對(duì)抗魯棒性提升方法如表1所示。

表1 對(duì)抗魯棒性提升方法比較Table 1 Comparison of adversarial robustness enhancement methods

（1）消除對(duì)抗擾動(dòng)

對(duì)抗擾動(dòng)在圖像上往往以高頻噪聲的方式呈現(xiàn)，所以采用降噪方法可以消除對(duì)抗擾動(dòng)，常見的方法有圖像壓縮[10]、去噪自編碼器[11]等。

（2）對(duì)抗樣本檢測(cè)

有研究者認(rèn)為，對(duì)抗樣本相比干凈樣本在特征層面具有顯著差異，可以據(jù)此識(shí)別出對(duì)抗樣本，如對(duì)降噪前后的樣本進(jìn)行比較[12]，或直接使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)[13]，但該方法對(duì)攻擊力較強(qiáng)的攻擊方法效果較差[14]。

（3）對(duì)抗訓(xùn)練

對(duì)抗訓(xùn)練[4]核心思想來(lái)源于數(shù)據(jù)增強(qiáng)[15]，將對(duì)抗樣本加入訓(xùn)練數(shù)據(jù)，改變訓(xùn)練集的數(shù)據(jù)分布，增強(qiáng)神經(jīng)網(wǎng)絡(luò)模型的魯棒性。Tsipras等[16]認(rèn)為對(duì)抗訓(xùn)練會(huì)提高模型魯棒性，但會(huì)降低模型精度。Xie等[17]提出，對(duì)抗訓(xùn)練可以提高模型的精度，但是由于對(duì)抗樣本具有與正常樣本不同的分布，所以應(yīng)在訓(xùn)練過(guò)程中給予兩類樣本不同的批標(biāo)準(zhǔn)化參數(shù)，且對(duì)抗訓(xùn)練要達(dá)到理想的魯棒性，所需的模型深度遠(yuǎn)遠(yuǎn)超出一般模型。

（4）生物啟發(fā)模型

相比神經(jīng)網(wǎng)絡(luò)，人類視覺(jué)更具有魯棒性，因此更接近人類視覺(jué)系統(tǒng)結(jié)構(gòu)的模型應(yīng)當(dāng)更具有魯棒性。Reddy等[18]在網(wǎng)絡(luò)結(jié)構(gòu)中加入了模擬人類視網(wǎng)膜和視皮層注視點(diǎn)的結(jié)構(gòu)。Kim等[19]提出了模擬人類大腦的循環(huán)反饋結(jié)構(gòu)的生物啟發(fā)模型。

1.2 針對(duì)常見圖像失真的魯棒性

對(duì)抗樣本必須有一個(gè)惡意的攻擊者人為地生成，而圖像失真則無(wú)處不在，如有損壓縮、噪聲、曝光異常、顏色失真、圖像旋轉(zhuǎn)等問(wèn)題，它們同樣會(huì)導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型出現(xiàn)誤判。

幾何變換失真包含圖像的平移、旋轉(zhuǎn)、縮放、翻轉(zhuǎn)、變形等，一般不改變圖像的像素值，但會(huì)改變圖像像素的分布情況。幾何不變性反映了一個(gè)模型接收經(jīng)過(guò)幾何變換后的輸入時(shí)保持自身輸出不變的能力[20]。卷積神經(jīng)網(wǎng)絡(luò)具有平移不變性，因?yàn)榫W(wǎng)絡(luò)中卷積層與池化層的特點(diǎn)決定了卷積神經(jīng)網(wǎng)絡(luò)可以保證在識(shí)別圖像中不同位置上的同一特征的一致性；同時(shí)，這一結(jié)構(gòu)特性使其無(wú)法對(duì)旋轉(zhuǎn)、縮放等變換保持不變性[21]。

膠囊網(wǎng)絡(luò)由Hinton等[22]提出，使用向量代替標(biāo)量作為一層的輸出，使模型具有更強(qiáng)的空間不變性。然而，由于膠囊層結(jié)構(gòu)本質(zhì)上屬于一種全連接結(jié)構(gòu)，當(dāng)神經(jīng)元數(shù)量增加時(shí)，參數(shù)數(shù)量會(huì)顯著增大，難以應(yīng)用于復(fù)雜數(shù)據(jù)集[23]。經(jīng)過(guò)若干版本的迭代，膠囊網(wǎng)絡(luò)的性能有了顯著提高[24-25]，考慮到其結(jié)構(gòu)本身具有的幾何不變性，它依舊是十分具有研究?jī)r(jià)值的網(wǎng)絡(luò)結(jié)構(gòu)。

像素?cái)_動(dòng)失真一般不改變像素的幾何分布，而是直接改變像素的數(shù)值。Hendrycks等[26]建立了一個(gè)失真圖像數(shù)據(jù)集，包含若干種常見的像素?cái)_動(dòng)失真，包括噪聲、模糊、天氣影響、數(shù)字化處理等，并提出了應(yīng)對(duì)這些失真的有效方法。

1.3 神經(jīng)網(wǎng)絡(luò)模型缺乏魯棒性的原因

對(duì)抗樣本的廣泛存在和遷移性說(shuō)明，目前幾乎所有的深度神經(jīng)網(wǎng)絡(luò)不具備足夠的魯棒性，且深度神經(jīng)網(wǎng)絡(luò)算法本身的不完善，很有可能是這種脆弱性的源頭。

理想中的分類模型往往是連續(xù)而平滑的——充分訓(xùn)練的模型會(huì)將相近的樣本判別為同一個(gè)分類。然而，Szegedy等[3]認(rèn)為，深度神經(jīng)網(wǎng)絡(luò)并不平滑，對(duì)抗樣本是輸入樣本的低維流形中的“不連續(xù)口袋”，且泛化良好的模型中不存在對(duì)抗樣本。但Goodfellow等[4]認(rèn)為，線性才是對(duì)抗樣本存在的原因，一個(gè)有著巨大輸入維數(shù)的神經(jīng)網(wǎng)絡(luò)會(huì)放大輸入的微小改變，最終導(dǎo)致輸出的巨大變化。這兩種觀點(diǎn)從模型的數(shù)學(xué)性質(zhì)角度討論其魯棒性，成為后來(lái)許多梯度掩蔽[27]防御方法的理論基礎(chǔ)，但簡(jiǎn)單地將魯棒性歸結(jié)于模型的線性與非線性，難以反映復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)的魯棒性本質(zhì)。因此，梯度掩蔽方法被認(rèn)為不可靠[28]。

McDaniel等[29]認(rèn)為對(duì)抗樣本源自機(jī)器模型分類邊界與真實(shí)數(shù)據(jù)邊界之間的差別，其原因是訓(xùn)練數(shù)據(jù)集與真實(shí)數(shù)據(jù)的偏差。這個(gè)觀點(diǎn)是文獻(xiàn)[3]中觀點(diǎn)的延伸，認(rèn)為模型魯棒性與泛化能力是相關(guān)的。

Stutz等[30]認(rèn)為，正常的輸入樣本存在于高維輸入空間的低維流形，而對(duì)抗樣本則處在流形之外，泛化問(wèn)題則討論的是模型對(duì)于流形上樣本的判別能力，對(duì)抗樣本問(wèn)題則相反。這個(gè)觀點(diǎn)區(qū)分了泛化能力和對(duì)抗魯棒性的概念。

Ilyas等[31]認(rèn)為，對(duì)抗樣本并不是一種錯(cuò)誤，而是一種非魯棒性的特征，如圖1所示。這些特征可以完全脫離原圖而存在，并以高置信度造成神經(jīng)網(wǎng)絡(luò)的錯(cuò)誤識(shí)別。對(duì)抗擾動(dòng)被視為一種可利用的特征，而神經(jīng)網(wǎng)絡(luò)模型似乎總是傾向于優(yōu)先提取對(duì)抗擾動(dòng)特征作為判別的基礎(chǔ)。

圖1 魯棒性特征與非魯棒性特征Figure 1 Robust feature and non-robust feature

將文獻(xiàn)[30]中的流形觀點(diǎn)與文獻(xiàn)[31]中的非魯棒性特征觀點(diǎn)結(jié)合，可以更加接近對(duì)抗樣本的本質(zhì)。深度神經(jīng)網(wǎng)絡(luò)提供端到端的識(shí)別模式，簡(jiǎn)化了特征工程的工作，這使人們無(wú)法解析海量參數(shù)的含義，也就無(wú)法準(zhǔn)確地得知深度神經(jīng)網(wǎng)絡(luò)究竟是以什么特征為依據(jù)進(jìn)行推理和判斷。

圖像識(shí)別任務(wù)的特點(diǎn)之一是輸入數(shù)據(jù)維數(shù)高，其中包含的必要信息量的維數(shù)小于輸入數(shù)據(jù)的維數(shù)，多出來(lái)的維數(shù)，存儲(chǔ)了不為人類所認(rèn)知的冗余信息，即文獻(xiàn)[31]中的非魯棒性特征?？紤]到總維數(shù)可能遠(yuǎn)大于流形維數(shù)，冗余信息也會(huì)對(duì)神經(jīng)網(wǎng)絡(luò)有重大影響。事實(shí)上，如果單純地討論神經(jīng)網(wǎng)絡(luò)模型對(duì)自然樣本的分類任務(wù)，這些冗余信息未必完全有害，甚至可能提高分類準(zhǔn)確率[32]，畢竟自然樣本中并不存在對(duì)抗樣本。但這些冗余信息是難以被人類所感知的，這就必然造成神經(jīng)網(wǎng)絡(luò)模型與人類認(rèn)知之間的分歧。神經(jīng)網(wǎng)絡(luò)的魯棒性或許體現(xiàn)在這種對(duì)于不同類型特征的認(rèn)知偏好中，即接近人類認(rèn)知偏好的模型更具有魯棒性。

1.4 神經(jīng)網(wǎng)絡(luò)魯棒性的研究困境

對(duì)抗樣本自提出以來(lái)就受到了廣泛的關(guān)注，以至于“魯棒性”的概念常常被用來(lái)特指“對(duì)抗魯棒性”。但是這一方向上的研究愈發(fā)陷入一種 “軍備競(jìng)賽”[33]。對(duì)抗訓(xùn)練和數(shù)據(jù)增強(qiáng)[15,34]方法依舊是最有效的能夠穩(wěn)定提高模型魯棒性的方法，但這類方法意味著大量時(shí)間和算力的消耗，也可能會(huì)導(dǎo)致模型在原始數(shù)據(jù)上欠擬合[35]，在許多場(chǎng)合下并不是一個(gè)優(yōu)先的選擇。

而其他方法則像是在走 “捷徑”，以低成本提高模型魯棒性，缺點(diǎn)是防御能力十分有限。以對(duì)抗樣本的降噪和檢測(cè)方法為例，這類方法總體可以分為兩類：基于特征工程的方法和基于深度學(xué)習(xí)的方法。前者嘗試用傳統(tǒng)的方法高效地尋找和排除對(duì)抗樣本的影響，但由于深度神經(jīng)網(wǎng)絡(luò)的復(fù)雜性和糟糕的可解釋性，這些方法很容易受到人類認(rèn)知局限性的影響而不能有效解決問(wèn)題，即非“深度”方法很難解決“深度”神經(jīng)網(wǎng)絡(luò)的問(wèn)題。后者使用深度學(xué)習(xí)模型的同時(shí)想要限制時(shí)間和算力上的開銷，但簡(jiǎn)單模型根本無(wú)法處理復(fù)雜的對(duì)抗樣本，而使用復(fù)雜模型來(lái)處理和識(shí)別對(duì)抗樣本，又成了另一種形式的對(duì)抗訓(xùn)練，此時(shí)討論回到了魯棒性和訓(xùn)練成本的權(quán)衡上。因此，魯棒性的研究需要探索一條新的道路。

2 視覺(jué)魯棒性

目前最有效的魯棒性提升的方法是數(shù)據(jù)增強(qiáng)，這和研究神經(jīng)網(wǎng)絡(luò)的出發(fā)點(diǎn)并不一致——神經(jīng)網(wǎng)絡(luò)本質(zhì)是為了模擬人類的大腦，從而使機(jī)器模型具備人類的認(rèn)知能力，但是人類并不需要通過(guò)數(shù)據(jù)增強(qiáng)來(lái)提高自己的認(rèn)知能力，因?yàn)槿祟惖膶W(xué)習(xí)天然具有魯棒性。討論視覺(jué)魯棒性時(shí)，并不是討論模型處理某類特殊輸入的能力，而是討論其與人類視覺(jué)的相似性：模型判斷與人類認(rèn)知相一致時(shí)體現(xiàn)出高魯棒性，反之則體現(xiàn)出低魯棒性。研究模型魯棒性的目的，是使模型具有和人類相近的判別能力。

視覺(jué)魯棒性與前文提到的魯棒性概念并不沖突，而是更進(jìn)一步的討論。例如，當(dāng)討論對(duì)抗魯棒性時(shí)，常常有一個(gè)前提條件，即對(duì)抗樣本中包含的擾動(dòng)是微小的，人類難以察覺(jué)這些擾動(dòng)。但是如果對(duì)抗擾動(dòng)幅度增大到人類可認(rèn)知的程度，甚至能夠改變圖像中一部分特征時(shí)，應(yīng)當(dāng)如何討論模型的魯棒性？例如，Hosseini等[36]在圖像的顏色空間進(jìn)行擾動(dòng)，生成了具有語(yǔ)義特征的對(duì)抗樣本，這樣的擾動(dòng)可以輕易被人類感知，但又沒(méi)有顯著改變圖像的分類特征。此時(shí)，如果脫離人類視覺(jué)系統(tǒng)本身的特點(diǎn)，只是從數(shù)學(xué)或計(jì)算機(jī)的角度討論和優(yōu)化模型的魯棒性，往往不能得出令人信服的結(jié)果。

這里給出視覺(jué)魯棒性的形式化定義。給定圖像分類模型F，人類標(biāo)注員H，輸入數(shù)據(jù)全體為D，則?x∈D，有

顯然，對(duì)于任意變換A，當(dāng)A(x)∈D，則

即對(duì)于任意可被標(biāo)注的輸入數(shù)據(jù)，具有視覺(jué)魯棒性的模型輸出應(yīng)當(dāng)與人類嚴(yán)格保持一致。視覺(jué)魯棒性的定義中不再限制變換的效果，且一旦數(shù)據(jù)的變化導(dǎo)致人類對(duì)數(shù)據(jù)的標(biāo)注發(fā)生改變時(shí)，模型相應(yīng)做出改變，如圖2所示。

圖2 一般魯棒模型（左）與視覺(jué)魯棒模型（右）的差異Figure 2 Difference between common robust model (left) and visual robust model (right)

進(jìn)一步地，考慮到視覺(jué)魯棒性的定義涉及人類的主觀判斷，可能在人類標(biāo)注員之間存在差異。例如，對(duì)于一張介于兩個(gè)分類之間的（非自然）圖像，不同的人可能做出不同的判斷?？梢赃M(jìn)一步優(yōu)化上述定義，使其符合現(xiàn)實(shí)情況。給定圖像分類模型F，人類標(biāo)注員H，輸入數(shù)據(jù)全體為D，則?x∈D，y為任意有效分類，E表示數(shù)學(xué)期望，對(duì)于給定的魯棒性閾值ε>，0有

其中，F(xiàn)(y|x)表示分類模型在輸入圖像x時(shí)在分類y上得出的置信度，H(y|x)表示人類標(biāo)注員將圖像x判斷為分類y的概率。在該定義下，一個(gè)具有魯棒性的模型對(duì)于任意輸入所給出的在有效分類下的置信度應(yīng)當(dāng)與人類的判斷結(jié)果在統(tǒng)計(jì)學(xué)上相近。

2.1 基于神經(jīng)科學(xué)的人類視覺(jué)系統(tǒng)研究進(jìn)展

1962年，Hubel等[37]提出了視覺(jué)皮層概念，并系統(tǒng)闡述了其作用機(jī)制。1992年，Goodale等[38]提出，大腦中存在“兩條通路”：視覺(jué)信號(hào)進(jìn)入大腦后，經(jīng)由初級(jí)視皮層處理，一部分會(huì)沿著大腦背側(cè)的通道傳到到頂葉皮層，稱為背側(cè)通路，又叫“where通路”，主要負(fù)責(zé)運(yùn)動(dòng)、空間位置識(shí)別等；另一部分則沿著腹側(cè)的通道傳導(dǎo)到下顳葉皮層(IT cortex, inferior temporal cortex)，稱為腹側(cè)通路，又叫“what通路”，主要負(fù)責(zé)物體識(shí)別、記憶等。

“what通路”大致經(jīng)過(guò)初級(jí)視皮層V1、次級(jí)視皮層V2、高級(jí)視皮層V4等腦區(qū)[38]，視覺(jué)信號(hào)傳輸過(guò)程中，大腦會(huì)逐層地由低到高地提取其中的各種特征，以供更高級(jí)的腦區(qū)進(jìn)行處理，如圖3所示。雖然上述描述非常簡(jiǎn)單，但大腦視覺(jué)皮層的復(fù)雜度遠(yuǎn)超常人想象，核磁共振的實(shí)驗(yàn)結(jié)果表明，視覺(jué)皮層中至少包含30個(gè)功能區(qū)域，每個(gè)區(qū)域都能夠獨(dú)立執(zhí)行特定的視覺(jué)處理任務(wù)[39]。目前，相關(guān)的神經(jīng)科學(xué)研究主要集中在少數(shù)較為初級(jí)的視皮層中，尚待進(jìn)一步發(fā)掘。

圖3 “what通路”涉及的主要區(qū)域及其大致功能Figure 3 Areas in “what pathway” and their general functions

下顳葉皮層是大腦中識(shí)別行為的核心區(qū)域，視覺(jué)信號(hào)經(jīng)過(guò)各個(gè)視覺(jué)皮層的處理之后會(huì)匯總到此處，進(jìn)行識(shí)別和記憶。其在微觀上可以分解為若干毫米級(jí)的區(qū)域，每一個(gè)小區(qū)域都會(huì)對(duì)物體的識(shí)別產(chǎn)生特定影響[40]。大腦對(duì)于視覺(jué)信號(hào)具有相當(dāng)強(qiáng)的高級(jí)特征提取能力。例如，人腦對(duì)于特定刺激有額外的強(qiáng)化，如人臉、身體、文字等[41]，因此人類可以快速地識(shí)別出面部圖像。Konkle等[42]發(fā)現(xiàn)，大腦會(huì)根據(jù)被識(shí)別物體在現(xiàn)實(shí)世界中的正常尺寸對(duì)物體進(jìn)行聚類分析，大小相近的物體會(huì)激活的腦區(qū)也較近。Kriegeskorte等[43]發(fā)現(xiàn)，下顳葉皮層對(duì)人臉和動(dòng)物具有相似的響應(yīng)模式，而對(duì)人造物和植物等則有另一種相似的響應(yīng)模式，說(shuō)明其可以分辨被識(shí)別物體的“活力程度”（animate or inanimate）。Proklova等[44]對(duì)此進(jìn)行了進(jìn)一步的研究，發(fā)現(xiàn)輪廓和紋理等初級(jí)視覺(jué)特征并不能完全解釋這一機(jī)制。

2.2 人腦視覺(jué)皮層與神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)相似性

從線性判別模型[45]，到神經(jīng)網(wǎng)絡(luò)模型[46]再到卷積神經(jīng)網(wǎng)絡(luò)[1]，機(jī)器學(xué)習(xí)算法在發(fā)展過(guò)程中不斷地提高自己與大腦視覺(jué)結(jié)構(gòu)的相似性。腦科學(xué)研究者也看到了這一相似性，開始嘗試從神經(jīng)網(wǎng)絡(luò)中獲取科研的靈感，來(lái)進(jìn)一步研究人腦視覺(jué)皮層。

Eickenberg等[47]與Horikawa等[48]分別嘗試使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)人類大腦的核磁共振信號(hào)進(jìn)行編碼，從而證明人腦的視覺(jué)神經(jīng)信號(hào)與卷積神經(jīng)網(wǎng)絡(luò)具有相關(guān)性。St-Yves等[49]研究了人腦視覺(jué)系統(tǒng)的感受野特征，提出人腦中也存在類似于卷積神經(jīng)網(wǎng)絡(luò)中不同尺寸的特征圖機(jī)制。Wen等[50]研究了人類動(dòng)態(tài)視覺(jué)的核磁共振影像與卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)性。Cadieu等[51]的研究表明，即使不是生物啟發(fā)模型，深度神經(jīng)網(wǎng)絡(luò)在視覺(jué)對(duì)象識(shí)別任務(wù)中的表現(xiàn)與IT皮層相當(dāng)。Bashivan等[52]構(gòu)造了卷積神經(jīng)網(wǎng)絡(luò)模型到人腦視覺(jué)皮層的映射，并成功通過(guò)神經(jīng)網(wǎng)絡(luò)模型構(gòu)造樣本控制了受試猴大腦中特定神經(jīng)元的激活。這些基于腦科學(xué)的研究說(shuō)明，人腦的視覺(jué)機(jī)制與卷積神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)、功能等各個(gè)方面確實(shí)具有一定的相似性，這為深度神經(jīng)網(wǎng)絡(luò)算法的進(jìn)一步發(fā)展提供了理論基礎(chǔ)。

2.3 對(duì)抗樣本與人類視覺(jué)

人類視覺(jué)比神經(jīng)網(wǎng)絡(luò)更具有魯棒性。例如，人類可以識(shí)別更加局部的圖像特征[53]，面對(duì)失真圖像也能保持比CNN更高的識(shí)別正確率[34]。對(duì)抗樣本是衡量神經(jīng)網(wǎng)絡(luò)模型魯棒性的重要工具，但在定義上與人類視覺(jué)不相容。Elsayed等[54]提出的觀點(diǎn)為對(duì)抗樣本的研究提供了一種新思路，他們拓展了傳統(tǒng)對(duì)于對(duì)抗樣本的定義，使之適用于人類視覺(jué)：對(duì)抗擾動(dòng)不再是人類無(wú)法察覺(jué)的，而是有可能對(duì)人類的認(rèn)知過(guò)程產(chǎn)生影響，此時(shí)必須考慮和研究對(duì)抗擾動(dòng)與人類視覺(jué)之間的互動(dòng)。他們根據(jù)這一定義，生成了多模型大擾動(dòng)的對(duì)抗樣本，發(fā)現(xiàn)有目標(biāo)的攻擊算法可能會(huì)導(dǎo)致人類對(duì)圖像的判斷受到影響[54]。

Zhou等[55]在人類與神經(jīng)網(wǎng)絡(luò)模型的認(rèn)知一致性上做了廣泛的實(shí)驗(yàn)。他們生成了無(wú)實(shí)際意義但會(huì)被神經(jīng)網(wǎng)絡(luò)模型以高置信度分類的“愚弄”圖像，并研究人類與機(jī)器模型的判斷，發(fā)現(xiàn)人類以顯著的高概率給出與機(jī)器模型相同的判斷；在純擾動(dòng)圖像和對(duì)抗樣本圖像的識(shí)別實(shí)驗(yàn)中，人類表現(xiàn)出與機(jī)器模型極高的一致性[55]。這一系列的實(shí)驗(yàn)說(shuō)明，人類視覺(jué)系統(tǒng)相比卷積神經(jīng)網(wǎng)絡(luò)模型，除了表現(xiàn)出極高的魯棒性之外，還能夠以一種近乎直覺(jué)的方式“理解”卷積神經(jīng)網(wǎng)絡(luò)模型的非魯棒性。

Santurkar等[56]基于經(jīng)過(guò)對(duì)抗訓(xùn)練的魯棒性模型進(jìn)行了圖像生成實(shí)驗(yàn)，他們使用PGD算法[6]分別對(duì)正常樣本、隨機(jī)初始化圖像、區(qū)域損壞圖像和草圖圖像等進(jìn)行有目標(biāo)的攻擊、優(yōu)化或轉(zhuǎn)換，成功在原始圖像上添加和生成了人類可識(shí)別的語(yǔ)義特征。這說(shuō)明，魯棒的神經(jīng)網(wǎng)絡(luò)模型能夠?qū)W習(xí)到更多接近于人類認(rèn)知的特征，魯棒模型的損失梯度與人類的感知一致[15]。

對(duì)抗樣本最初是專為神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)的攻擊手段，但當(dāng)允許其被人類所感知時(shí)，它能夠反映神經(jīng)網(wǎng)絡(luò)模型與人類視覺(jué)機(jī)制在某種限度上的一致性。這樣的研究突破了傳統(tǒng)上對(duì)于對(duì)抗樣本的研究?jī)H限于對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行形式化和數(shù)學(xué)化分析的范疇，而開始觸及基于神經(jīng)網(wǎng)絡(luò)的人工智能技術(shù)的本質(zhì)。神經(jīng)網(wǎng)絡(luò)模型和人類視覺(jué)都在圖像中學(xué)習(xí)可用的特征用于圖像識(shí)別，但生理機(jī)能的限制使人類與機(jī)器對(duì)特征的感知和選擇存在差異。神經(jīng)網(wǎng)絡(luò)模型魯棒性的提升意味著其對(duì)特征的選擇更加接近于人類，即從非魯棒性的特征轉(zhuǎn)向魯棒性的特征[31]。

2.4 神經(jīng)網(wǎng)絡(luò)的特征偏好

Ritter等[57]使用認(rèn)知心理學(xué)的研究方法研究人類與神經(jīng)網(wǎng)絡(luò)模型對(duì)于顏色特征與形狀特征的感知，實(shí)驗(yàn)結(jié)果說(shuō)明，在這兩個(gè)特征上，人類視覺(jué)與神經(jīng)網(wǎng)絡(luò)表現(xiàn)出一致性，都偏好于形狀特征。Hosseini等[58]則進(jìn)一步評(píng)估了CNN在顏色和形狀上的偏好，他們?cè)诒３中螤畹那疤嵯聦?duì)輸入圖像進(jìn)行不同的顏色處理，發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)并不是天然對(duì)形狀魯棒的，而是需要合適的數(shù)據(jù)集和訓(xùn)練的支撐。

相比顏色，圖像的紋理特征包含了更多更復(fù)雜的視覺(jué)信息。Geirhos等[59]對(duì)圖像進(jìn)行了去除顏色、去除紋理等變換，并交給人類和機(jī)器模型進(jìn)行判斷，發(fā)現(xiàn)顏色信息對(duì)二者的判斷并不造成太大影響，但在去除形狀信息的圖像上，人類的判斷準(zhǔn)確率遠(yuǎn)遠(yuǎn)高于機(jī)器模型，這說(shuō)明相比人類，機(jī)器模型極大地依賴于圖像的紋理信息。他們使用風(fēng)格遷移算法[60]，將不同圖像的紋理信息與形狀信息相融合，進(jìn)一步論證了人類在圖像識(shí)別中偏向于形狀特征，而機(jī)器模型更依賴紋理特征，并證明使用去紋理化的數(shù)據(jù)集可以改善機(jī)器模型的這一偏向，使機(jī)器模型更具有魯棒性[59]。

Wang等[61]的研究發(fā)現(xiàn)，CNN在圖像識(shí)別任務(wù)中注重高頻分量，而人類注重低頻分量和魯棒性，CNN對(duì)高頻特征的重視提升了其訓(xùn)練準(zhǔn)確率，但代價(jià)是魯棒性和泛化能力的降低，放棄高頻特征會(huì)導(dǎo)致準(zhǔn)確率下降，這和文獻(xiàn)[31]的觀點(diǎn)相通；通過(guò)研究普通模型和對(duì)抗魯棒性模型特征層的差異，發(fā)現(xiàn)對(duì)抗魯棒性模型的卷積核比普通模型更加平滑，說(shuō)明對(duì)抗魯棒的卷積模型不容易受到對(duì)抗擾動(dòng)的影響。

CNN對(duì)高頻紋理特征的偏好可能是其魯棒性較差的原因之一，研究者也嘗試改善這一特性。Shi等[62]認(rèn)為紋理特征會(huì)在小區(qū)域內(nèi)以高概率重復(fù)出現(xiàn)從而降低自信息率，提出信息丟棄方法來(lái)降低模型對(duì)紋理信息的獲取，實(shí)驗(yàn)證明，該方法可以提高模型對(duì)加性噪聲失真和對(duì)抗樣本的魯棒性。Li等[63]考慮到高頻紋理特征和低頻的形狀特征都在CNN的圖像識(shí)別中起到重要作用，任何偏見都會(huì)導(dǎo)致網(wǎng)絡(luò)的性能下降，所以提出形狀?紋理去偏見化的訓(xùn)練方法。他們使用風(fēng)格遷移算法[60]將兩個(gè)不同類型的圖像進(jìn)行混合，得到混合圖像作為訓(xùn)練數(shù)據(jù)；標(biāo)簽方面，不使用硬標(biāo)簽，而使用軟標(biāo)簽，同時(shí)標(biāo)識(shí)圖像的紋理信息和形狀信息的來(lái)源；該方法在ResNet模型和ImageNet數(shù)據(jù)集上同時(shí)提高了模型的分類正確率和對(duì)抗魯棒性[63]。

2.5 人類視覺(jué)系統(tǒng)的相對(duì)優(yōu)勢(shì)

相比人工神經(jīng)網(wǎng)絡(luò)，人類的視覺(jué)系統(tǒng)具有獨(dú)特的優(yōu)勢(shì)。

一是其精細(xì)的模塊劃分。初級(jí)視覺(jué)皮層提取出的特定視覺(jué)特征會(huì)以生物電的形式傳送到高級(jí)視覺(jué)皮層的特定位置，且僅激活特定腦區(qū)而不影響其他部位。這使大腦能夠?qū)π畔⑦M(jìn)行針對(duì)性揚(yáng)棄，提高處理效率，降低能耗。大腦對(duì)于一些較為低級(jí)的特征也有精細(xì)的處理，如顏色會(huì)在V1皮層進(jìn)行初步處理，而直到V4皮層才會(huì)生成對(duì)顏色色相的感知[64]。

二是人腦具有極強(qiáng)的抽象能力。大腦在進(jìn)行物體識(shí)別之前，會(huì)根據(jù)一定的特征對(duì)視覺(jué)信號(hào)進(jìn)行聚類分析，如前文提到的“現(xiàn)實(shí)世界尺寸[42]”或“活力程度[43]”，而這類特征是如何抽象出來(lái)的還尚待研究。人類對(duì)于臉的識(shí)別則是大腦抽象能力的集中體現(xiàn)，一個(gè)剛學(xué)會(huì)畫畫的孩子畫人臉時(shí)，往往會(huì)用抽象的線條來(lái)呈現(xiàn)，而其他人類不需要任何額外的辨認(rèn)即可知道這是一張臉，這是現(xiàn)在的神經(jīng)網(wǎng)絡(luò)所做不到的。

視覺(jué)皮層進(jìn)化出這些特征可能是對(duì)視覺(jué)系統(tǒng)本身的補(bǔ)償。人類視網(wǎng)膜中有兩類接收光信號(hào)的細(xì)胞（視錐細(xì)胞和視桿細(xì)胞），前者決定了在正常光線情況下的視覺(jué)分辨率。人類約有460萬(wàn)個(gè)視錐細(xì)胞，其中絕大多數(shù)集中在視網(wǎng)膜的中央凹處，其他部位則分布稀疏[65]，無(wú)法提供足夠的分辨能力。這一生理機(jī)能限制導(dǎo)致人類只能清晰地識(shí)別一小部分視野，而大腦則用強(qiáng)大的特征提取算法來(lái)優(yōu)化視覺(jué)。

2.6 關(guān)于神經(jīng)網(wǎng)絡(luò)魯棒性的進(jìn)一步討論

可以得出這樣一個(gè)結(jié)論：在圖像識(shí)別的應(yīng)用場(chǎng)景下，卷積神經(jīng)網(wǎng)絡(luò)傾向于學(xué)習(xí)高頻的紋理特征，而人類的生理特性決定了其對(duì)高頻特征不敏感，這使神經(jīng)網(wǎng)絡(luò)在認(rèn)知層面與人類存在偏差。而脆弱的高頻特征更容易被擾動(dòng)破壞，這是神經(jīng)網(wǎng)絡(luò)缺乏魯棒性的根本原因。

跳出圖像識(shí)別這一領(lǐng)域，再討論神經(jīng)網(wǎng)絡(luò)與人類的差異，會(huì)發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)應(yīng)用場(chǎng)景有一個(gè)特點(diǎn)：它擅長(zhǎng)完成對(duì)于人類來(lái)說(shuō)十分困難的計(jì)算和記憶任務(wù)，如下圍棋、語(yǔ)言翻譯等；而對(duì)于模式識(shí)別類問(wèn)題，如圖像識(shí)別、語(yǔ)音識(shí)別等，人類可以輕松完成這些任務(wù)，但神經(jīng)網(wǎng)絡(luò)的表現(xiàn)卻與人類有很大差距?？疾爝@兩類問(wèn)題的特點(diǎn)，會(huì)發(fā)現(xiàn)前者問(wèn)題雖然復(fù)雜，但是在有限和離散的輸入維度之內(nèi)進(jìn)行計(jì)算，如下圍棋只需要考慮每一步361個(gè)點(diǎn)的狀態(tài)，語(yǔ)言翻譯的場(chǎng)景下單詞的數(shù)量也是有限的，現(xiàn)有機(jī)器的算力足以應(yīng)對(duì)這些場(chǎng)景。而后者的輸入維度，以224×224像素的RGB圖像識(shí)別為例，假設(shè)每一個(gè)像素點(diǎn)的單個(gè)顏色深度是8位，那么整個(gè)輸入空間大小為256150528，近乎是無(wú)限的。人類由于本身生理機(jī)能的限制，只能獲取精度有限的視覺(jué)信息，但大腦的抽象能力使人類能輕易地掌握?qǐng)D像中物體所具有的高層次特征，而不至于被細(xì)節(jié)所誤導(dǎo)。但神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)決定了它必須接受和處理圖像中的每一個(gè)像素點(diǎn)，優(yōu)點(diǎn)是可以使用細(xì)節(jié)來(lái)提高自己的準(zhǔn)確度，缺點(diǎn)在于算力不足以支持細(xì)粒度分析的情況下，這些細(xì)節(jié)會(huì)導(dǎo)致其有效特征提取不足，對(duì)高級(jí)、抽象的特征缺乏感知，最終體現(xiàn)為魯棒性的缺失。

另外，神經(jīng)網(wǎng)絡(luò)的魯棒性與具體的應(yīng)用場(chǎng)景和目標(biāo)任務(wù)也有關(guān)。對(duì)于下圍棋這一任務(wù)而言，一方面其評(píng)價(jià)標(biāo)準(zhǔn)是客觀的，另一方面數(shù)據(jù)中幾乎所有的信息是有效的，此時(shí)神經(jīng)網(wǎng)絡(luò)強(qiáng)大的記憶和計(jì)算能力使其比人類具有更大的優(yōu)勢(shì)，所以基于神經(jīng)網(wǎng)絡(luò)的人工智能比人類更具有魯棒性。而復(fù)雜模式識(shí)別任務(wù)的評(píng)價(jià)標(biāo)準(zhǔn)較為主觀，神經(jīng)網(wǎng)絡(luò)在抽象能力方面的不足使其難以學(xué)習(xí)足夠的有效信息，從而表現(xiàn)為魯棒性的缺失。神經(jīng)網(wǎng)絡(luò)模型與人類視覺(jué)系統(tǒng)比較如表2所示。換言之，目前的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)足以勝任類似于下圍棋這樣的任務(wù)，但尚不能完美地解決復(fù)雜模式識(shí)別問(wèn)題，仍需要優(yōu)化和改進(jìn)。綜上所述，對(duì)于復(fù)雜模式識(shí)別問(wèn)題，要提高神經(jīng)網(wǎng)絡(luò)模型魯棒性，應(yīng)當(dāng)從抽象能力出發(fā)，讓神經(jīng)網(wǎng)絡(luò)能夠有效地學(xué)習(xí)魯棒的高級(jí)語(yǔ)義特征。

表2 神經(jīng)網(wǎng)絡(luò)模型與人類視覺(jué)系統(tǒng)比較Table 2 Comparison of neural network and human visual system

3 魯棒性研究展望

魯棒性的研究正處在一個(gè)交叉路口，其中一條路是繼續(xù)分析模型的數(shù)學(xué)性質(zhì)，建立新的更加復(fù)雜的數(shù)學(xué)模型來(lái)描述模型的魯棒性，這也是大多數(shù)人所走的路；另一條路則是從人類視覺(jué)系統(tǒng)中尋找靈感，這條路更加困難，但無(wú)可否認(rèn)的是，以往人工智能算法的重大革新正是設(shè)計(jì)出了與人類神經(jīng)系統(tǒng)更相似的模型[1,45-46]。在這一方向上，有互相交叉的兩條路徑：一是神經(jīng)科學(xué)的研究，直接從大腦結(jié)構(gòu)出發(fā)，討論人腦與神經(jīng)網(wǎng)絡(luò)的關(guān)系；另一條是以機(jī)器學(xué)習(xí)模型為基礎(chǔ)，先提出新的算法或模型結(jié)構(gòu)，再設(shè)計(jì)人類參與的心理學(xué)實(shí)驗(yàn)來(lái)評(píng)估模型或者算法的效果。事實(shí)上，由于人類的大腦很難被直接研究，目前神經(jīng)科學(xué)領(lǐng)域的研究要借助動(dòng)物實(shí)驗(yàn)。在腦科學(xué)的深入探索方面，人工智能學(xué)家受到的限制更少，可能在某些方面比腦科學(xué)家更有優(yōu)勢(shì)，甚至給予腦科學(xué)意想不到的啟發(fā)。

在這一方向上的研究，可以思考以下兩個(gè)問(wèn)題。

（1）先驗(yàn)還是后驗(yàn)

對(duì)于目前的神經(jīng)網(wǎng)絡(luò)模型，其訓(xùn)練的超參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)本身是先驗(yàn)的，訓(xùn)練得到的參數(shù)則是后驗(yàn)的。人類大腦具有復(fù)雜的結(jié)構(gòu)，每一個(gè)腦區(qū)又能夠分解成若干子功能分區(qū)，一個(gè)重要的課題就是研究在這些分區(qū)中，哪些結(jié)構(gòu)是由基因先天決定的，哪些能力是經(jīng)過(guò)后天學(xué)習(xí)獲得的。在這些問(wèn)題上，神經(jīng)科學(xué)在初級(jí)的特征提取方面有了初步的成果，但在高級(jí)特征的分類和識(shí)別上仍有待探索[49]。如果能用一定的方法將相關(guān)的結(jié)論運(yùn)用在神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)中，甚至做出進(jìn)一步優(yōu)化，必然能夠有效地提高神經(jīng)網(wǎng)絡(luò)的效率和魯棒性。He等[66]提出的ResNet網(wǎng)絡(luò)是一個(gè)典型的例子，其中的殘差結(jié)構(gòu)能夠讓網(wǎng)絡(luò)通過(guò)學(xué)習(xí)來(lái)降低不合理的網(wǎng)絡(luò)結(jié)構(gòu)帶來(lái)的負(fù)面影響。

（2）模塊化還是高耦合

目前的神經(jīng)網(wǎng)絡(luò)模型的一大特點(diǎn)是端到端的訓(xùn)練：輸入端無(wú)須進(jìn)行任何的特征提取，直接輸入經(jīng)過(guò)簡(jiǎn)單處理的原始數(shù)據(jù)，然后在輸出端獲取結(jié)果。這樣的好處是節(jié)省了大量人力成本，缺陷則是人們對(duì)訓(xùn)練得到的參數(shù)缺乏認(rèn)識(shí)，難以找到模型中的缺點(diǎn)并進(jìn)行改良。所有的數(shù)據(jù)和參數(shù)混在一起無(wú)法區(qū)分，這是高耦合的典型特征。如果能夠參考人腦視覺(jué)皮層中結(jié)構(gòu)特性，對(duì)神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)進(jìn)行模塊化的改進(jìn)，或許能夠提升模型的性能和可解釋性。Szegedy等[67]提出的Inception網(wǎng)絡(luò)結(jié)構(gòu)中使用不同大小的卷積核提取不同尺度的特征，具有類似的效果。

4 結(jié)束語(yǔ)

對(duì)于機(jī)器學(xué)習(xí)的研究，大致上可以分成3個(gè)方向：提升通用任務(wù)的性能、對(duì)特定任務(wù)進(jìn)行優(yōu)化、提升魯棒性。前兩個(gè)方向的研究，已經(jīng)在許多方面達(dá)成“超越人類”的效果，而魯棒性研究則一直是短板。大多數(shù)魯棒性研究的關(guān)注點(diǎn)在對(duì)抗魯棒性上，體現(xiàn)為各種攻擊方法和防御方法的“矛盾”之爭(zhēng)。對(duì)抗訓(xùn)練效果顯著，但由于其成本太高，無(wú)法推廣。

模型的視覺(jué)魯棒性是本文在傳統(tǒng)的魯棒性研究的基礎(chǔ)上提出的概念，研究人類視覺(jué)系統(tǒng)與神經(jīng)網(wǎng)絡(luò)模型的一致性，是對(duì)魯棒性更深入的討論。學(xué)術(shù)界對(duì)于魯棒性的研究尚未得出一個(gè)公認(rèn)的結(jié)論，但就目前的趨勢(shì)而言，相關(guān)研究最終要“以人為本”，回歸人類與模型的差異，而根本上的解決方法是提出更接近人類視覺(jué)機(jī)制的機(jī)器學(xué)習(xí)模型和算法?？偠灾?，對(duì)于魯棒性的研究是接下來(lái)機(jī)器學(xué)習(xí)算法研究的重中之重，需要研究者在這一領(lǐng)域更有創(chuàng)造性地工作。