多源遙感影像深度識別模型對抗攻擊魯棒性評估

孫浩，徐延杰，陳進(jìn)，雷琳，計(jì)科峰，匡綱要

1.國防科技大學(xué) 電子科學(xué)學(xué)院,長沙 410073;

2.北京市遙感信息研究所,北京 100192

1 引言

隨著成像方式的多樣化以及數(shù)據(jù)獲取能力的增強(qiáng)，空天地一體化對地觀測網(wǎng)已經(jīng)積累并將持續(xù)獲取大量不同時(shí)—空—譜尺度的多源（多光譜/高光譜、雷達(dá)、多時(shí)相、多角度等）遙感影像，例如目前中國高分重大專項(xiàng)數(shù)據(jù)中心日生產(chǎn)數(shù)據(jù)超過25 TB，數(shù)據(jù)存儲能力超過20 PB（童旭東，2016）；德國宇航中心（DLR）的多任務(wù)數(shù)據(jù)存儲已經(jīng)達(dá)到2 PB，歐洲航天局（ESA）的累積數(shù)據(jù)量在2020 年達(dá)到20 PB（Kurte 等，2017）。大規(guī)模多源遙感影像的持續(xù)獲取和不斷進(jìn)化的深度學(xué)習(xí)技術(shù)為推動(dòng)多源遙感影像智能解譯及應(yīng)用提供了良好的數(shù)據(jù)支撐和技術(shù)支撐（Cheng 等，2020；Zhu等，2020）?；谏疃壬窠?jīng)網(wǎng)絡(luò)的多源遙感影像目標(biāo)識別方法近年來取得巨大進(jìn)步，已經(jīng)達(dá)到或超越人類的認(rèn)知水平，并逐步在空天遙感情報(bào)偵察、無人作戰(zhàn)自主環(huán)境認(rèn)知、多模復(fù)合末制導(dǎo)等多個(gè)軍事場景中廣泛應(yīng)用。

然而，由于深度學(xué)習(xí)理論本身的不完備性（Szegedy 等，2014；Fawzi 等，2017）、深度識別網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)與優(yōu)化方法的強(qiáng)復(fù)用性、以及多源成像識別系統(tǒng)在復(fù)雜電磁環(huán)境中易受到各類干擾等多因素的影響，使得現(xiàn)有識別系統(tǒng)在對抗攻擊魯棒性方面評估不足，給其在軍事場景和安全敏感領(lǐng)域的深入應(yīng)用和廣泛部署帶來巨大隱患。作為一種信息計(jì)算組件，多源遙感影像深度識別系統(tǒng)可能不會按預(yù)期程序工作或成為攻擊者的目標(biāo)（Berghoff 等，2020；Sun 等，2021；Wiyatno 等，2019；Xu 等，2021；Yuan 等，2019）。對于意外故障和惡意對抗的魯棒性是決定識別算法在現(xiàn)實(shí)物理世界中成功與否的關(guān)鍵因素。

2 遙感影像深度識別系統(tǒng)安全風(fēng)險(xiǎn)

2.1 多源遙感影像深度學(xué)習(xí)理論不完備性

深度神經(jīng)網(wǎng)絡(luò)模型具有處理不同模態(tài)信息的能力，其在處理不同模態(tài)信息時(shí)模型結(jié)構(gòu)上的相似性及層次化的分析方法，為建立多源遙感影像特征表示模型提供了有力工具。深度神經(jīng)網(wǎng)絡(luò)已在多源遙感影像地物覆蓋信息提取、目標(biāo)檢測、場景分類及圖像檢索等多個(gè)方面獲得大量應(yīng)用（Cheng 等，2020；Zhu 等，2020）?？偨Y(jié)來看：基于深度神經(jīng)網(wǎng)絡(luò)的多源遙感數(shù)據(jù)分析的輸入數(shù)據(jù)通常包括原始圖像數(shù)據(jù)、多尺度圖像塊、對象分割結(jié)果、空間光譜濾波數(shù)據(jù)、空間地理信息等典型形式；深度網(wǎng)絡(luò)模型包括卷積神經(jīng)網(wǎng)絡(luò)、全連接神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)、深度自編碼器、深度置信網(wǎng)絡(luò)、對抗生成網(wǎng)絡(luò)等；網(wǎng)絡(luò)架構(gòu)包括單個(gè)識別網(wǎng)絡(luò)的多尺度與小目標(biāo)優(yōu)化、多源與多譜段分組網(wǎng)絡(luò)、多任務(wù)耦合分支網(wǎng)絡(luò)、學(xué)生教師蒸餾網(wǎng)絡(luò)、多網(wǎng)絡(luò)集成等結(jié)構(gòu)；并采用數(shù)據(jù)增廣、參數(shù)遷移、自監(jiān)督對比學(xué)習(xí)等策略解決大規(guī)模語義標(biāo)注數(shù)據(jù)缺乏條件下的網(wǎng)絡(luò)參數(shù)學(xué)習(xí)與優(yōu)化。

然而，現(xiàn)有的多源遙感影像深度語義學(xué)習(xí)方法只有在訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)均來自同一特征空間且具有相同分布這一普遍假設(shè)下才有效。復(fù)雜動(dòng)態(tài)對抗場景條件下，由于成像系統(tǒng)和成像過程引入的影像內(nèi)容降質(zhì)、地表時(shí)空變化造成的數(shù)據(jù)分布漂移、敵我偽裝與干擾等多種因素影響，上述假設(shè)往往因?yàn)檫^于嚴(yán)格而難以成立，造成模型泛化能力大幅度下降。深度識別模型預(yù)測的不確定性和分布外數(shù)據(jù)泛化能力等問題在理論上還有待進(jìn)一步深入研究。

多源遙感影像深度識別系統(tǒng)不能向操作人員解釋其決策過程。許多安全敏感領(lǐng)域的高風(fēng)險(xiǎn)意味著深度識別系統(tǒng)必須透明，以取得決策者的信任并便于進(jìn)行風(fēng)險(xiǎn)分析。然而現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)識別技術(shù)都是缺乏足夠透明性的黑盒，模型的可解釋性不足。此外，多源遙感影像深度識別網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)及參數(shù)優(yōu)化具有強(qiáng)通用性和高遷移性等特點(diǎn)，在工程上降低了惡意攻擊的難度。

2.2 多源遙感影像深度識別系統(tǒng)潛在攻擊面

面向高動(dòng)態(tài)復(fù)雜電磁對抗軍事應(yīng)用場景，基于深度神經(jīng)網(wǎng)絡(luò)計(jì)算模型的多源遙感影像智能化識別系統(tǒng)面臨著諸多安全性和可靠性的挑戰(zhàn)（孫浩 等，2021）。根據(jù)數(shù)據(jù)處理過程和信息流向來看，多源遙感影像目標(biāo)識別系統(tǒng)通常包括影像數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、深度識別模型訓(xùn)練與驗(yàn)證、深度識別模型推理與部署等關(guān)鍵步驟，每個(gè)步驟都可能面臨潛在攻擊，如圖1所示。（1）采集階段攻擊：攻擊者采用特定的方式對傳感器的數(shù)據(jù)采集環(huán)節(jié)進(jìn)行干擾，從系統(tǒng)輸入源頭發(fā)動(dòng)攻擊。例如光電成像系統(tǒng)中，攻擊者可以通過布置特定的數(shù)字反光陣列，進(jìn)行光路攻擊；在雷達(dá)成像系統(tǒng)中，攻擊者可以設(shè)置不同的干擾樣式進(jìn)行對抗壓制干擾和欺騙干擾。（2）預(yù)處理階段攻擊：多平臺傳感器采集的大規(guī)模原始影像數(shù)據(jù)在進(jìn)行目標(biāo)識別和信息提取前，還需要進(jìn)行一系列的校正和預(yù)處理操作，各種預(yù)處理過程中會產(chǎn)生新的安全風(fēng)險(xiǎn)。例如針對識別模型的重采樣攻擊，只有在特定空間分辨率時(shí)，攻擊的信息才會被發(fā)現(xiàn)。（3）模型訓(xùn)練階段攻擊：典型攻擊形式有數(shù)據(jù)投毒攻擊和后門攻擊。數(shù)據(jù)投毒攻擊是指在模型預(yù)訓(xùn)練過程中添加惡意樣本，或是在模型在線微調(diào)過程中設(shè)置混淆性場景，影響模型參數(shù)學(xué)習(xí)過程。后門攻擊通常采用預(yù)訓(xùn)練模型投毒或開源框架代碼修改等形式實(shí)現(xiàn)。（4）模型推理階段攻擊：針對數(shù)據(jù)建模在理論上存在的不完備性和模型學(xué)習(xí)過程中數(shù)據(jù)覆蓋的不全面性進(jìn)行攻擊，設(shè)計(jì)針對性算法，通過估計(jì)模型的梯度參數(shù)和決策邊界信息，迭代優(yōu)化實(shí)現(xiàn)模型攻擊。典型形式有逃避攻擊、模仿攻擊和模型逆向竊取攻擊等。逃避攻擊的代表性工作是針對深度神經(jīng)網(wǎng)絡(luò)的對抗樣本生成技術(shù)。（5）模型部署階段攻擊：典型攻擊形式有面向設(shè)備的硬件攻擊、操作系統(tǒng)攻擊和自動(dòng)化復(fù)合攻擊等。大量支持神經(jīng)網(wǎng)絡(luò)加速的開源軟硬件平臺的底層安全問題還沒有得到充分的驗(yàn)證，給系統(tǒng)部署帶來巨大安全風(fēng)險(xiǎn)。

圖1 多源遙感影像深度識別系統(tǒng)潛在攻擊面Fig.1 Attack surface for deep learning based multiple source remote sensing images recognition

3 多源遙感影像深度神經(jīng)網(wǎng)絡(luò)識別模型對抗樣本攻擊

3.1 深度識別模型對抗樣本攻擊

多源遙感影像深度識別系統(tǒng)潛在攻擊最常見的一種形式是針對深度神經(jīng)網(wǎng)絡(luò)模型的對抗樣本生成（Xu 等，2021；Berghoff 等，2020）?，F(xiàn)有研究表明：深度神經(jīng)網(wǎng)絡(luò)模型存在對抗脆弱性，對正常輸入的樣本圖像，添加人眼無法察覺的微小擾動(dòng)，可以造成模型以高置信度給出錯(cuò)誤預(yù)測。假設(shè)X表示輸入的訓(xùn)練影像數(shù)據(jù)集合，x表示其中的一個(gè)樣本，通常是張量數(shù)據(jù)形式，例如多波段光學(xué)遙感影像或不同極化方式的微波遙感影像，y表示x對應(yīng)的真實(shí)類別標(biāo)記，f(x；θ)表示參數(shù)為θ的深度神經(jīng)網(wǎng)絡(luò)。對抗樣本通常定義為x'，在欺騙目標(biāo)模型f的同時(shí)保持對抗樣本x'和正常樣本x之間的差異在距離測度d(·)下非常小，其中d(·)通常采用Lp范數(shù)距離。對抗樣本需同時(shí)滿足式（1）：

式中，ε是一個(gè)很小的常數(shù)，用于限制擾動(dòng)的幅度；表示深度神經(jīng)網(wǎng)絡(luò)模型的預(yù)測標(biāo)記，即=arg maxcf(x；θ)(c)，c是類別標(biāo)記索引。計(jì)算機(jī)視覺領(lǐng)域光學(xué)影像標(biāo)準(zhǔn)數(shù)據(jù)集上，為了防止人類感知到擾動(dòng)，通常限制擾動(dòng)常數(shù)ε在區(qū)間［1/255，8/255］范圍內(nèi)。對紅外遙感影像和微波遙感影像而言，擾動(dòng)范圍可以更大。圖2可以看出，只對合成孔徑雷達(dá)遙感影像添加了一個(gè)極小的擾動(dòng)（為了顯示效果，圖中的對抗噪聲進(jìn)行了尺度放大）就輕松騙過了神經(jīng)網(wǎng)絡(luò)識別模型，將合成孔徑雷達(dá)遙感影像車輛目標(biāo)類別由BTR70 識別為ZIL131。

圖2 遙感影像深度識別網(wǎng)絡(luò)對抗樣本示例Fig.2 Adversarial example for deep neural network based remote sensing image recognition

基于對抗樣本的攻擊通?？梢苑譃榘缀泄艉秃诤泄簦╓iyatno 等，2019）。白盒攻擊場景下，攻擊者已知待攻擊目標(biāo)模型的網(wǎng)絡(luò)結(jié)構(gòu)、權(quán)重參數(shù)、訓(xùn)練過程或訓(xùn)練數(shù)據(jù)的相關(guān)信息；黑盒攻擊場景下，攻擊者僅能獲取待攻擊目標(biāo)模型的外部輸出信息，無法得到模型內(nèi)部信息。對于軍事應(yīng)用和其他安全敏感領(lǐng)域來說，黑盒攻擊更具危險(xiǎn)性和現(xiàn)實(shí)性，因?yàn)槎鄶?shù)情況下，攻擊者很難獲取模型的內(nèi)部知識。評估深度神經(jīng)網(wǎng)絡(luò)模型對白盒攻擊的魯棒性是衡量模型在最壞情況下性能表現(xiàn)，同樣具有重要意義。

基于對抗樣本的攻擊在信息鏈路對抗中屬于模型推理階段攻擊，對抗樣本攻擊是逃避式攻擊的代表性形式。以多源遙感影像軍事偵察應(yīng)用場景為例，應(yīng)用流程上，首先是在數(shù)字域通過研究對抗樣本生成技術(shù)，尋找具有強(qiáng)對抗性、高遷移性的擾動(dòng)模式；然后在對應(yīng)的物理域?qū)崿F(xiàn)擾動(dòng)模式，并將擾動(dòng)模式合理地與待探測識別對象混合，實(shí)現(xiàn)智能化偽裝，達(dá)到自動(dòng)化反識別的目的。

3.2 對抗樣本攻擊基本原理與典型方法

對抗樣本生成方法近幾年發(fā)展迅速，研究成果非常豐富，但方法背后的基本原理變化不大。白盒攻擊方法的基本原理可歸類為基于梯度的優(yōu)化、基于受限約束的優(yōu)化、基于統(tǒng)計(jì)模型的對抗生成、基于敏感性分析的對抗生成等；黑盒攻擊方法的基本原理可歸類為梯度近似或決策邊界近似。此外諸如自監(jiān)督學(xué)習(xí)、因果學(xué)習(xí)和注意力機(jī)制等新型學(xué)習(xí)機(jī)制也不斷被引入到白盒優(yōu)化或黑盒近似問題的求解過程。

（1）快速梯度符號攻擊FGSM（Fast Gradient Sign Method）（Goodfellow 等，2015）：基本原理是對于一個(gè)給定輸入樣本，快速尋找一個(gè)擾動(dòng)方向，使得待攻擊模型的訓(xùn)練損失函數(shù)增大，以實(shí)現(xiàn)減小分類置信度和增大類別間的混淆度。需要注意的是理論上無法保證增加訓(xùn)練函數(shù)損失一定會導(dǎo)致誤分類。FGSM 首先計(jì)算損失函數(shù)對于輸入的梯度，然后對于梯度的符號向量乘以一個(gè)很小的常數(shù)ε產(chǎn)生擾動(dòng)。

式中，?xL(x，y)是損失函數(shù)對于輸入x的一階導(dǎo)數(shù)。對于深度神經(jīng)網(wǎng)絡(luò)，可以通過后向傳播算法計(jì)算。實(shí)際操作過程中，產(chǎn)生的對抗樣本必須在輸入空間范圍內(nèi)，需要進(jìn)行數(shù)值重映射。

（2）投影梯度下降攻擊PGD（Project Gradient Descent）（Madry 等，2018）：FGSM 方法的擴(kuò)展，給定輸入擾動(dòng)的約束，多次迭代，每次一小步，并且迭代后把擾動(dòng)重映射到原始數(shù)值區(qū)間。

式中，i是迭代次數(shù)索引，0 ＜α＜ε是迭代擾動(dòng)幅度，∏B(x，ε)表示約束擾動(dòng)范圍的重映射函數(shù)，PGD 在約束范圍內(nèi)隨機(jī)選擇一個(gè)初始化樣本點(diǎn)進(jìn)行迭代。

（3）C&W 攻擊（Carlini and Wagner Attacks）（Carlini 和Wagner，2017）：基于受限約束優(yōu)化的攻擊方案，通過求解經(jīng)驗(yàn)損失函數(shù)尋找潛在對抗樣本。

式中，Z(x')(i)表示表示對抗樣本輸入神經(jīng)網(wǎng)絡(luò)后logit 輸出，t表示目標(biāo)類別，κ表示對抗樣本的最小期望置信邊界，用于約束對抗擾動(dòng)幅度。

（4）深度欺騙攻擊DF（Deep Fool Algorithm）（Moosavi-Dezfooli 等，2016）：估計(jì)輸入樣本到多類分類器的最近決策邊界距離，該距離既可以作為模型魯棒性的度量，也可以用于最小擾動(dòng)方向。對于非線性多類神經(jīng)網(wǎng)絡(luò)，算法通過線性化每個(gè)類別的決策邊界，迭代擾動(dòng)輸入樣本，在多個(gè)網(wǎng)絡(luò)架構(gòu)攻擊中都取得了較好的攻擊效果。

（5）彈性網(wǎng)絡(luò)攻擊EAD（Elastic-Net Attack to Deep Neural Network）（Chen 等，2018）：基于約束條件下優(yōu)化搜索的彈性白盒攻擊，使用C&W 攻擊目標(biāo)函數(shù)，與之前采用L1或L2范數(shù)正則化項(xiàng)不同，加入彈性網(wǎng)絡(luò)正則化項(xiàng)，同時(shí)利用L1和L2范數(shù)進(jìn)行正則化。

（6）多類型決策估計(jì)攻擊HSJA（Hop Skip Jump Attack）（Chen 等，2020）：一種高效的決策近似黑盒攻擊方法，僅依賴對模型決策的訪問，估計(jì)決策邊界處的梯度方向，并設(shè)計(jì)一系列攻擊算法。迭代型算法，每個(gè)迭代步驟中包括3 項(xiàng)內(nèi)容：梯度方向估計(jì)、幾何級數(shù)步長搜索和二分法邊界搜索。

（7）自監(jiān)督擾動(dòng)攻擊SSP（Self Supervised Perturbation）（Naseer等，2020）：引入自監(jiān)督學(xué)習(xí)的新型攻擊方法，核心思想是特征層的失真造成決策錯(cuò)誤，無需標(biāo)記信息，具有跨任務(wù)、跨模型的強(qiáng)遷移特性。

3.3 對抗攻擊特征擾動(dòng)可解釋性

深度神經(jīng)網(wǎng)絡(luò)的可解釋性研究方法可分為可視化技術(shù)、模型蒸餾技術(shù)和內(nèi)部機(jī)制（Ras 等，2020）。本文關(guān)注基于可視化技術(shù)的深度神經(jīng)網(wǎng)絡(luò)對抗擾動(dòng)分析?？梢暬椒ㄋ枷胧欠治錾窠?jīng)網(wǎng)絡(luò)模型特征與決策間的關(guān)聯(lián)度?？梢暬椒ㄗ畛Ｒ姷慕忉屝问绞秋@著性圖，展示了輸入特征影響模型輸出的重要程度?？梢暬椒ㄖ饕譃閮纱箢悾夯诜聪騻鞑サ目梢暬突谡趽踅Y(jié)果分析的可視化。（1）基于反向傳播的可視化方法：基于網(wǎng)絡(luò)訓(xùn)練過程中從輸出回傳到輸入的梯度信息鑒別輸入特征的顯著性。常用的處理策略包括激活最大化、反卷積、類別激活圖、逐層相關(guān)性傳播等。（2）基于遮擋結(jié)果分析的可視化方法：通過對輸入圖像進(jìn)行特定方式的遮擋或者加噪，觀察輸出結(jié)果的變化，進(jìn)而評估輸入特征的顯著性，如圖3所示。

圖3 深度神經(jīng)網(wǎng)絡(luò)特征可視化技術(shù)Fig.3 Visualization techniques of deep neural network based feature analysis

采用基于反向傳播的梯度加權(quán)類別激活圖Grad-CAM（Gradient-weighted Class Activation Map）（Selvaraju 等，2017）方法對正常樣本和對抗樣本在不同模型、不同深度時(shí)的特征激活情況進(jìn)行可視化分析，以期得到更多對抗樣本欺騙網(wǎng)絡(luò)決策的直觀理解。類別激活圖CAM（Class Activation Map）（Zhou等，2016）通過在卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)中采用全局平均池化GAP（Global Average Pooling）實(shí)現(xiàn)，通常的配置是GAP（Conv）層→FC 層→softmax 層，全連接層FC 有C個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)代表一個(gè)類別。CAM 方法將來自卷積層Conv 的激活A(yù)與全連接層的權(quán)重wk，c結(jié)合構(gòu)建相關(guān)性得分圖，其中卷積層包括K個(gè)卷積濾波器。

Grad-CAM 采用網(wǎng)絡(luò)輸出對于最后一層卷積層的梯度實(shí)現(xiàn)類別激活圖，僅要求網(wǎng)絡(luò)預(yù)測的激活函數(shù)可微。對于神經(jīng)網(wǎng)絡(luò)最后一個(gè)卷積層的每幅特征圖Ak，計(jì)算類別c的梯度得分yc并進(jìn)行平均化得到特征圖Ak的重要性αk，c。

式中，Ak，i，j是m×n大小的特征圖Ak中位置坐標(biāo)為(i，j)的神經(jīng)元。

4 深度識別模型對抗攻擊魯棒性實(shí)驗(yàn)評估

4.1 數(shù)據(jù)集與實(shí)驗(yàn)配置

為了驗(yàn)證多源遙感影像深度神經(jīng)網(wǎng)絡(luò)識別模型的對抗脆弱性，本文實(shí)驗(yàn)采用微波遙感影像識別領(lǐng)域廣泛使用的MSTAR（Moving and Stationary Target Acquisition and Recognition）數(shù)據(jù)集（Ross等，1998）和光學(xué)遙感影像場景分類領(lǐng)域廣泛使用的UC-Merced 數(shù)據(jù)集（Yang 和Newsam，2010）。MSTAR 數(shù)據(jù)集典型目標(biāo)的SAR 影像切片與光學(xué)影像切片實(shí)例如圖4 所示（Blasch，2020）。本文實(shí)驗(yàn)中我們采用地面軍事車輛MSTAR-10 數(shù)據(jù)子集，目標(biāo)類別包括2S1、BMP2、BRDM_2、BTR60、BTR70、D7、T62、T72、ZIL131、ZSU_23_4。分辨率為0.3 m×0.3 m，共10 類，每類樣本數(shù)目不同，空間大小不同。按照文獻(xiàn)通用做法，俯仰角17°作為訓(xùn)練集，19°作為測試集。所有樣本上采樣變換后，中心裁剪為224×224 像素。UC-Merced 數(shù)據(jù)集覆蓋21 類光學(xué)遙感場景，每個(gè)類別包括100幅光學(xué)遙感影像樣本，樣本圖像空間大小為256×256像素。

圖4 MSTAR 數(shù)據(jù)集遙感影像樣例Fig.4 MSTAR data set exemplar imagery

圖5 為UC-Merced 數(shù)據(jù)集中21 個(gè)類別的代表性樣本示例。本文實(shí)驗(yàn)中UC-Merced 數(shù)據(jù)集每類樣本的訓(xùn)練集和測試集的比例為0.8∶0.2。

圖5 UC-Merced 數(shù)據(jù)集遙感影像樣例Fig.5 UC-Merced data set exemplar imagery

為了更加全面評估不同深度識別模型的對抗攻擊魯棒性，實(shí)驗(yàn)中選取了9 種廣泛使用的AlexNet、ResNet18、VGG16、Densenet201、Inceptionv3、GoogleNet、NASNet1_0、Mobilenet_v2、SqueezeNet架構(gòu)，覆蓋了手工設(shè)計(jì)深度網(wǎng)絡(luò)（AlexNet、ResNet18、VGG16、Densenet201、Inceptionv3、GoogleNet）、自動(dòng)搜索深度網(wǎng)絡(luò)（NASNet1_0）和輕量深度網(wǎng)絡(luò)（Mobilenet_v2、SqueezeNet）3 類典型深度神經(jīng)網(wǎng)絡(luò)識別架構(gòu)。為了避免不同識別模型實(shí)現(xiàn)方法和訓(xùn)練方法帶來的不一致性，我們選擇使用PyTorch標(biāo)準(zhǔn)庫中實(shí)現(xiàn)的模型架構(gòu)，采用同樣的學(xué)習(xí)策略進(jìn)行模型參數(shù)優(yōu)化。

對抗攻擊方法包括FGSM、PGD、DF、C&W、EAD 等5 類白盒攻擊方法和HSJA、SSP 兩類黑盒攻擊方法。實(shí)驗(yàn)中FGSM攻擊噪聲范數(shù)選用L∞，擾動(dòng)強(qiáng)度約束ε=0.3；PGD 攻擊噪聲范數(shù)選用L∞，擾動(dòng)強(qiáng)度約束ε=0.3，最大迭代次數(shù)設(shè)定為100；C&W 攻擊學(xué)習(xí)率0.01，最大迭代次數(shù)設(shè)定為100；DF 攻擊擾動(dòng)步長設(shè)定為10-6，最大迭代次數(shù)100；EAD 攻擊噪聲范數(shù)選用L2，學(xué)習(xí)率0.01，最大迭代次數(shù)100；HSJA 攻擊和SSP 攻擊噪聲范數(shù)選用L2，強(qiáng)度約束ε=0.3，最大迭代次數(shù)100。

區(qū)分兩類典型攻擊場景，開展非定向?qū)构艉投ㄏ驅(qū)构魞山M實(shí)驗(yàn)。在非定向?qū)构魧?shí)驗(yàn)中，主要實(shí)驗(yàn)?zāi)康氖球?yàn)證多類別平均意義下的多源遙感影像深度識別模型對抗攻擊魯棒性，并重點(diǎn)對比分析光學(xué)遙感影像和SAR 遙感影像深度識別模型對抗擾動(dòng)之間的相似性與差異性。在定向?qū)构魧?shí)驗(yàn)中，主要實(shí)驗(yàn)?zāi)康氖欠治錾疃茸R別模型特定類別的對抗魯棒性，進(jìn)一步細(xì)化分析不同類別間存在的對抗攻擊魯棒性不平衡問題。此外，我們還結(jié)合多隱層特征激活特性，嘗試?yán)斫鈱箻颖竟舻淖饔脵C(jī)理，從深度識別模型的可解釋性角度研究對抗攻擊魯棒性。

4.2 多源遙感影像深度識別模型非定向?qū)构?/h3>

表1 給出了在MSTAR 數(shù)據(jù)集上不同深度神經(jīng)網(wǎng)絡(luò)模型在原始無攻擊測試數(shù)據(jù)集、添加7種非定向攻擊對抗擾動(dòng)后的測試數(shù)據(jù)集上的識別率統(tǒng)計(jì)信息。不同測試數(shù)據(jù)條件下正確識別率前3名進(jìn)行了加粗顯示。在原始無攻擊測試數(shù)據(jù)集上，正確識別率較高的深度網(wǎng)絡(luò)有InceptionV3、ResNet18、VGG16，3 者都屬于手工設(shè)計(jì)大計(jì)算量網(wǎng)絡(luò)架構(gòu)。在存在對抗攻擊的測試數(shù)據(jù)集上，所有深度網(wǎng)絡(luò)模型的正確識別率都出現(xiàn)了30%—70%左右的大幅度下降，凸顯了深度識別模型的對抗脆弱性。DenseNet201 在7 組添加了不同對抗擾動(dòng)的測試數(shù)據(jù)上取得了6 組前3 的優(yōu)異表現(xiàn)，對不同攻擊方法的綜合魯棒性最優(yōu)。7 類攻擊方法中，5 類白盒攻擊方法的成功率優(yōu)于2類黑盒攻擊方法；基于梯度的PGD 白盒攻擊方法成功率最高；基于自監(jiān)督擾動(dòng)的SSP黑盒攻擊方法由于沒有利用梯度和決策邊界信息，對抗攻擊成功率最低。實(shí)驗(yàn)結(jié)果表明：對抗攻擊的成功率與深度識別模型的梯度信息或決策邊界信息緊密相關(guān)，梯度混淆和識別輸出信息查詢保護(hù)是提升深度識別模型對抗魯棒性的有效途徑。

表1 MSTAR數(shù)據(jù)集對抗攻擊統(tǒng)計(jì)結(jié)果Table 1 Adversarial attack results on MSTAR dataset

表2 給出了在UC-Merced 數(shù)據(jù)集上不同深度識別模型在原始無攻擊測試數(shù)據(jù)集、添加7 種非定向攻擊對抗擾動(dòng)后的測試數(shù)據(jù)集上的識別率統(tǒng)計(jì)信息。不同測試數(shù)據(jù)條件下正確識別率的前3名進(jìn)行了加粗顯示。在原始無攻擊測試數(shù)據(jù)集上，正確識別率較高的深度網(wǎng)絡(luò)有InceptionV3、DenseNet201、MobileNetV2、ResNet18 等。在存在對抗攻擊的測試數(shù)據(jù)集上，所有深度模型的正確識別率都出現(xiàn)了20%—90%左右的大幅度下降。手工設(shè)計(jì)網(wǎng)絡(luò)AlexNet、InceptionV3、DenseNet201在多組攻擊測試數(shù)據(jù)集上取得了不錯(cuò)的效果，對多種類型的對抗攻擊綜合魯棒性較好；特別是AlexNet在7組攻擊測試數(shù)據(jù)上有5組正確識別率進(jìn)入前3，反映出深度識別模型的結(jié)構(gòu)復(fù)雜度與對抗魯棒性是不同的屬性，兩者之間的關(guān)系還需要進(jìn)一步深入研究。

表2 UC-Merced數(shù)據(jù)集對抗攻擊統(tǒng)計(jì)結(jié)果Table 2 Adversarial attack results on UC-Merced dataset

綜合表1和表2的統(tǒng)計(jì)信息，可以看到：（1）覆蓋手工設(shè)計(jì)深度網(wǎng)絡(luò)、自動(dòng)搜索深度網(wǎng)絡(luò)和輕量化深度網(wǎng)絡(luò)的3 大類9 種典型深度卷積神經(jīng)識別網(wǎng)絡(luò)模型，無論是在無攻擊測試數(shù)據(jù)上還是在添加不同對抗擾動(dòng)的測試數(shù)據(jù)上，光學(xué)遙感影像多類別平均正確識別率均優(yōu)于SAR 遙感影像。一方面由于現(xiàn)有的主流網(wǎng)絡(luò)架構(gòu)都是基于光學(xué)影像應(yīng)用啟發(fā)，另一方面也反映出SAR 遙感影像解譯更加困難。（2）現(xiàn)有主流識別網(wǎng)絡(luò)模型都普遍存在對抗攻擊魯棒性較差的問題?，F(xiàn)有深度識別方法直接部署于實(shí)際系統(tǒng)時(shí)將面臨極大安全隱患，急需開展對抗環(huán)境下深度識別模型的魯棒正確識別率評估研究工作。手工設(shè)計(jì)網(wǎng)絡(luò)在抵御對抗攻擊方面，在光學(xué)遙感影像和SAR 遙感影像數(shù)據(jù)集上都普遍優(yōu)于自動(dòng)搜索網(wǎng)絡(luò)和輕量化網(wǎng)絡(luò)，反映出專家知識和領(lǐng)域經(jīng)驗(yàn)可以提升識別模型的對抗魯棒性。邊緣智能和端側(cè)智能常用的輕量識別網(wǎng)絡(luò)在抵御對抗攻擊方面效果較差。（3）各類攻擊方法中，白盒攻擊方法由于獲取的先驗(yàn)信息更多，所以攻擊效果普遍優(yōu)于黑盒攻擊方法。在視覺領(lǐng)域被用于對抗攻擊基準(zhǔn)的PGD 攻擊方法，在多源遙感影像數(shù)據(jù)集上同樣成功率較高，反映出梯度信息控制的重要性。（4）深度識別模型的多類別平均正確識別率與對抗攻擊魯棒性是兩個(gè)不同的屬性，在光學(xué)遙感影像和SAR 遙感影像數(shù)據(jù)集上沒有發(fā)現(xiàn)正確識別率和魯棒正確識別率兩者之間的明顯規(guī)律，需要設(shè)計(jì)新的評估體系評價(jià)深度識別模型的在對抗場景中的可用性。

圖6為多源遙感影像深度識別模型對抗擾動(dòng)的可視化結(jié)果，分別從MSTAR 數(shù)據(jù)集和UC-Merced數(shù)據(jù)集中選擇6 幅測試樣本影像，基于訓(xùn)練好的VGG16 深度識別網(wǎng)絡(luò)，采用不同對抗攻擊方法為測試樣本生成擾動(dòng)。由于對抗擾動(dòng)的絕對值很小，對于人類視覺不可區(qū)分，因此為了便于實(shí)驗(yàn)分析，我們對生成的擾動(dòng)圖像進(jìn)行了放大顯示?？梢钥吹?，無論是在光學(xué)遙感影像還是SAR 遙感影像上，大多數(shù)攻擊方法針對不同類別的對抗攻擊擾動(dòng)都在視覺上呈現(xiàn)出“噪聲”特性。對抗擾動(dòng)空間分布模式的在圖像內(nèi)容上的主要特性表現(xiàn)為紋理特性，這個(gè)現(xiàn)象與深度神經(jīng)網(wǎng)絡(luò)識別模型決策的“紋理偏好”具有關(guān)聯(lián)性。圖6（a）為MSTAR 數(shù)據(jù)集上的對抗擾動(dòng)示例，可以看到，對抗擾動(dòng)的分布區(qū)域和強(qiáng)度具有明顯的規(guī)律性，例如DF 擾動(dòng)和EAD 擾動(dòng)主要分布在圖像中顯著目標(biāo)區(qū)域，PGD擾動(dòng)則遍布整個(gè)圖像區(qū)域。

圖6 對抗擾動(dòng)可視化Fig.6 Visualization of adversarial perturbation

4.3 多源遙感影像深度識別模型定向?qū)构?/h3>

由于各個(gè)類別樣本數(shù)據(jù)量和類別區(qū)分難度的不同，多源遙感影像深度識別模型對每個(gè)類別的正確識別率并不相同，因此需要進(jìn)一步細(xì)化分析面向特定類別的對抗攻擊魯棒性，診斷深度識別模型的定向攻擊脆弱性。圖7（a）為無攻擊場景MSTAR 數(shù)據(jù)集上VGG16 模型的多類別識別混淆矩陣，圖7（b）為無攻擊場景UC-Merced 數(shù)據(jù)集上VGG16 模型的多類別識別混淆矩陣，其中類別名稱使用數(shù)字序號代替。圖7 中觀察得到：VGG16模型多類別正確識別率存在差異，部分類別間發(fā)生混淆的概率更大意味著更容易成為定向攻擊的目標(biāo)。MSTAR 數(shù)據(jù)集中2S1、BMP2（第1、2 類）正確識別率較低，易被誤識別為ZIL131、T72（第9、8 類）；UC-Merced 數(shù)據(jù)集中buildings、dense residential、intersection（第5、7、12 類）正確識別率較低，易被錯(cuò)誤識別為dense residential、medium residential、mobile home park（第7、13、14類）。

圖7 無對抗攻擊時(shí)VGG16模型識別正確率混淆矩陣（顏色越深代表錯(cuò)誤分類樣本數(shù)越多）Fig.7 Confusion matrix of VGG16 recognition accuracy（dark colors represent more classification errors）

圖8為多源遙感影像深度識別模型定向?qū)构魧?shí)驗(yàn)結(jié)果，在UC-Merced 數(shù)據(jù)集上，我們將場景目標(biāo)類別高速公路類別樣本圖像定向攻擊為建筑物類別。實(shí)驗(yàn)中以VGG16模型為例，采用PGD、DF和C&W 方法的定向形式進(jìn)行擾動(dòng)生成。為了觀察定向攻擊對抗樣本圖像和目標(biāo)類別無攻擊干凈樣本圖像的模型激活異同，理解定向攻擊的基本原理，采用Grad-CAM 方法對定向攻擊樣本和無攻擊樣本進(jìn)行顯著性可視化分析。實(shí)驗(yàn)中對VGG16識別模型的第3、8、15、22、29 層進(jìn)行激活可視化，各層的激活情況的變化反應(yīng)了對抗樣本對于網(wǎng)絡(luò)決策的影響。從第3層輸出可以看到，PGD對抗樣本使影像內(nèi)各元素界限變得模糊，對抗樣本激活圖中可見高速公路與樹木的界限被明顯弱化；C&W 對抗樣本則是隱匿了大量信息，使激活部分大大減少；DF 攻擊將樹木遮擋道路這一信息進(jìn)行了放大。對比第8、15、22、29層輸出可以看到原始影像激活以線性特征為主，激活區(qū)域較為連貫，而對抗樣本的激活逐漸趨向于突出激活個(gè)別點(diǎn)，與建筑物的激活情況逐層相似。定向攻擊樣本的特征激活特性與目標(biāo)類別正常樣本的特征激活特性在深度識別模型的低層特征中存在明顯差異，在中層特征中區(qū)分逐漸弱化，在高層特征中激活具有強(qiáng)相似性。下一步研究中，可以利用這種規(guī)律，設(shè)計(jì)多隱層特征激活診斷提升深度識別模型定向?qū)构舻聂敯粜浴?/p>

圖8 定向攻擊特征激活分析Fig.8 Feature activation of targeted adversarial attack

5 結(jié)論

深度神經(jīng)網(wǎng)絡(luò)模型具有處理不同模態(tài)信息的能力，其在處理不同模態(tài)信息時(shí)模型結(jié)構(gòu)上的相似性及層次化的分析方法，為建立多源遙感影像特征表示與語義識別模型提供了有力工具。然而，由于深度學(xué)習(xí)理論本身的不完備性、深度識別網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)與優(yōu)化方法的強(qiáng)復(fù)用性、以及多源成像識別系統(tǒng)在復(fù)雜電磁環(huán)境中易受到各類干擾等多因素的影響，使得現(xiàn)有識別系統(tǒng)在對抗魯棒性方面評估不足，給其在軍事場景和安全敏感領(lǐng)域的深入應(yīng)用和廣泛部署帶來巨大隱患。本文首先分析了多源遙感影像深度神經(jīng)網(wǎng)絡(luò)識別系統(tǒng)在理論上和應(yīng)用中的潛在安全風(fēng)險(xiǎn)；其次重點(diǎn)介紹了面向深度模型推理階段的對抗樣本攻擊形式，并在討論基本原理和可解釋性的基礎(chǔ)上，針對光學(xué)遙感影像和SAR 遙感影像開展了深度神經(jīng)網(wǎng)絡(luò)識別模型對抗攻擊實(shí)驗(yàn)，從對抗攻擊正確識別率和對抗擾動(dòng)可視化兩個(gè)方面評估對抗攻擊。

現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)識別模型存在巨大的安全隱患，對抗魯棒性普遍不足，模型準(zhǔn)確率與模型對抗攻擊魯棒性之間的關(guān)系還有待進(jìn)一步深入研究；在機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺和自然語言處理等領(lǐng)域?qū)构襞c防御已經(jīng)開展了大量研究，在多源遙感影像解譯領(lǐng)域需要引發(fā)重點(diǎn)關(guān)注。復(fù)雜電磁環(huán)境下新一代人工智能多源遙感影像識別系統(tǒng)需要融合來自不同模態(tài)傳感器的數(shù)據(jù)，開展基于領(lǐng)域知識圖譜嵌入、多粒度知識深度遷移、魯棒對抗樣本防御的多模型融合新方法研究，充分挖掘先驗(yàn)領(lǐng)域知識，建立模型驅(qū)動(dòng)的多任務(wù)深度學(xué)習(xí)模型，提升學(xué)習(xí)模型的可解釋性和透明性，提升識別系統(tǒng)在對抗場景中的準(zhǔn)確性和安全性。