李哲銘，張恒巍，馬軍強(qiáng)，王晉東，楊 博

（1.中國(guó)人民解放軍戰(zhàn)略支援部隊(duì)信息工程大學(xué)密碼工程學(xué)院，鄭州 450001；2.中國(guó)人民解放軍陸軍參謀部，北京 100000）

0 概述

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）已在圖像識(shí)別和圖像分類領(lǐng)域中得到廣泛應(yīng)用，并表現(xiàn)出良好的性能［1-3］。但是若在原始圖像中加入人類無(wú)法察覺的擾動(dòng)，由此形成的對(duì)抗樣本將影響CNN 的性能，從而導(dǎo)致模型分類錯(cuò)誤［4］。該現(xiàn)象給許多實(shí)際應(yīng)用系統(tǒng)帶來(lái)了安全隱患［5］，如人臉識(shí)別系統(tǒng)的識(shí)別錯(cuò)誤可能會(huì)導(dǎo)致準(zhǔn)入權(quán)限管理失效［6］，自動(dòng)駕駛車輛的識(shí)別錯(cuò)誤可能會(huì)造成嚴(yán)重的交通事故［7］等。因此，研究人員提出多種對(duì)抗樣本攻擊和防御的方法，以提高模型的魯棒性，從而促進(jìn)應(yīng)用系統(tǒng)的安全部署和穩(wěn)定使用。

現(xiàn)有的攻擊方法主要分為白盒攻擊和黑盒攻擊兩類。在白盒條件下，對(duì)抗樣本生成方法可以針對(duì)性地生成關(guān)于某個(gè)模型的對(duì)抗樣本，現(xiàn)有技術(shù)已經(jīng)具有較高的白盒攻擊成功率。但是，白盒攻擊需要攻擊者掌握更多的模型信息，這在現(xiàn)實(shí)世界中難以實(shí)現(xiàn)。在黑盒條件下，攻擊者只需要掌握較少模型信息便可實(shí)施攻擊［8］，因此，黑盒攻擊具有更強(qiáng)的實(shí)用性。研究表明［9］，對(duì)抗樣本具有良好的遷移特性，即針對(duì)某一模型生成的對(duì)抗樣本對(duì)其他模型也具有一定的攻擊效果。根據(jù)該性質(zhì)，文獻(xiàn)［10］通過引入動(dòng)量項(xiàng)、優(yōu)化梯度損失函數(shù)更新方向和加快收斂速度，提高對(duì)抗樣本的黑盒攻擊成功率。黑盒攻擊成功率低的主要原因是在對(duì)抗樣本生成過程中產(chǎn)生“過擬合”現(xiàn)象［11］，即針對(duì)已知模型生成的對(duì)抗樣本僅對(duì)該模型具有較強(qiáng)的攻擊成功率，但是攻擊其他模型的成功率較低。

本文提出基于平移隨機(jī)變換的對(duì)抗樣本生成方法。從數(shù)據(jù)增強(qiáng)角度，利用平移隨機(jī)變換方法優(yōu)化對(duì)抗樣本的生成過程。通過構(gòu)建概率模型，并對(duì)原始圖像進(jìn)行隨機(jī)變換操作，利用變換后的圖像生成對(duì)抗擾動(dòng)，同時(shí)逐步添加到原圖像上迭代生成對(duì)抗樣本，根據(jù)應(yīng)用場(chǎng)景設(shè)計(jì)單模型攻擊算法和集成模型攻擊算法，提高黑盒攻擊成功率。

1 相關(guān)研究

對(duì)抗樣本的攻擊和防御在一定意義上可以相互促進(jìn)。針對(duì)深度神經(jīng)網(wǎng)絡(luò)在對(duì)抗攻擊情況下表現(xiàn)出的脆弱性，對(duì)抗樣本既可以用于攻擊已訓(xùn)練好的模型，將攻擊成功率作為一種重要指標(biāo)來(lái)評(píng)價(jià)模型的魯棒性，同時(shí)可將對(duì)抗樣本作為訓(xùn)練數(shù)據(jù)來(lái)進(jìn)一步訓(xùn)練模型，提高模型對(duì)對(duì)抗樣本的識(shí)別能力，從而提高其對(duì)惡意攻擊的防御性能?，F(xiàn)有對(duì)抗樣本生成方法和防御方法相關(guān)研究的優(yōu)點(diǎn)和不足如表1 所示。

表1 對(duì)抗攻擊和對(duì)抗防御相關(guān)研究成果對(duì)比Table 1 Comparison of research results related to adversarial attack and adversarial defense

從表1 可以看出，現(xiàn)有的對(duì)抗樣本攻擊方法改進(jìn)主要從尋找優(yōu)化算法角度提高攻擊性能，如文獻(xiàn)［12］提出迭代快速梯度符號(hào)方法（Iterative Fast Gradient Sign Method，I-FGSM），通過將單步生成調(diào)整為多步迭代，細(xì)化對(duì)抗樣本生成過程中的損失函數(shù)更新過程。文獻(xiàn)［10］提出向量迭代快速梯度符號(hào)方法（Momentum Iterative Fast Gradient Sign Method，MI-FGSM），通過引入動(dòng)量項(xiàng)并穩(wěn)定損失函數(shù)的更新方向，以避免陷入局部最大值，從而使損失函數(shù)更快達(dá)到真實(shí)最優(yōu)解，進(jìn)一步提高生成對(duì)抗樣本的攻擊成功率。優(yōu)化算法可以更高效地生成對(duì)抗樣本，但同時(shí)會(huì)加劇對(duì)抗樣本與圖像分類模型的過度擬合。因此，本文從數(shù)據(jù)增強(qiáng)的角度提高對(duì)抗樣本的泛化攻擊能力，提高黑盒攻擊成功率。

2 背景知識(shí)

FGSM 是典型的對(duì)抗樣本生成方法。本文研究也是基于FGSM。因此，本節(jié)介紹FGSM 類中的幾種基本方法，定義x為輸入的原始干凈圖像，ytrue為該圖像對(duì)應(yīng)的真實(shí)標(biāo)簽，xadv為生成的對(duì)抗樣本。本文采用θ特征性地表示圖像分類模型的結(jié)構(gòu)、參數(shù)等信息。ε為加入對(duì)抗擾動(dòng)的最大擾動(dòng)值，L(x，ytrue；θ)為神經(jīng)網(wǎng)絡(luò)反向傳播過程中的損失函數(shù)。本文采用交叉熵?fù)p失函數(shù)。

2.1 快速梯度符號(hào)方法

快速梯度符號(hào)方法［15］是FGSM 類中的初始版本。該方法中通過計(jì)算輸入圖像x的損失函數(shù)梯度，并以單步的形式沿梯度方向添加擾動(dòng)，從而以最快的速度生成對(duì)抗樣本。該方法具有較高的黑盒攻擊成功率，由于損失函數(shù)單步變化不夠精確，因此，白盒攻擊成功率還有待提高，其過程如式（1）所示：

2.2 迭代快速梯度符號(hào)方法

針對(duì)FGSM 白盒攻擊成功率低的問題，迭代快速梯度符號(hào)方法（I-FGSM）［12］將FGSM 損失函數(shù)計(jì)算時(shí)的單步計(jì)算改為多步迭代計(jì)算。該方法的實(shí)現(xiàn)過程如式（2）所示：

2.3 動(dòng)量迭代快速梯度符號(hào)方法

實(shí)驗(yàn)結(jié)果表明，利用I-FGSM 優(yōu)化損失函數(shù)，損失函數(shù)容易陷入局部最優(yōu)值，這也是導(dǎo)致黑盒攻擊成功率降低的一個(gè)原因。針對(duì)該問題，動(dòng)量迭代快速梯度符號(hào)方法（MI-FGSM）［10］將衰減因子引入到對(duì)抗樣本生成過程中，使得損失函數(shù)在計(jì)算過程中保持前進(jìn)的慣性，以穩(wěn)定更新方向，從而突破損失函數(shù)的局部最大值，獲得真實(shí)的最優(yōu)解。MI-FGSM 實(shí)現(xiàn)過程如式（3）和式（4）所示：

其中：gt為在第t次迭代過程中累積的梯度值；μ為gt的衰減因子。在初始狀態(tài)令gt=0，=x。MI-FGSM保持了I-FGSM 的白盒攻擊成功率，同時(shí)提高了黑盒攻擊成功率。但該方法的黑盒攻擊成功率仍然不高。

3 基于平移隨機(jī)變換的生成方法

FGSM 類方法具有簡(jiǎn)潔易懂、生成效率高、可拓展性好等優(yōu)點(diǎn)，但其黑盒攻擊成功率較低。為此，本文利用數(shù)據(jù)增強(qiáng)技術(shù)，提出基于平移隨機(jī)變換的對(duì)抗樣本生成方法，通過將平移變換引入到對(duì)抗樣本的生成過程中，并將其作為數(shù)據(jù)增強(qiáng)的一種典型應(yīng)用，擴(kuò)展了對(duì)抗樣本生成過程中圖像輸入的多樣化，有效緩解在對(duì)抗樣本生成過程中存在的“過擬合”現(xiàn)象，從而提高攻擊方法的黑盒攻擊成功率。

對(duì)抗樣本生成方法通常采用單模型攻擊和集成模型攻擊。單模型攻擊是指將原始干凈圖像輸入到單個(gè)圖像分類模型中，以生成對(duì)抗樣本。集成模型攻擊是指將圖像同時(shí)輸入到多個(gè)圖像分類模型中，以生成對(duì)抗樣本。這兩種不同的攻擊方式具有不同的攻擊效果。單模型攻擊是針對(duì)某個(gè)單模型生成對(duì)抗樣本，再攻擊該模型和其他模型，攻擊自身時(shí)為白盒攻擊，攻擊其他模型時(shí)為黑盒攻擊，攻擊成功率可作為對(duì)抗樣本的評(píng)價(jià)指標(biāo)。由于集成模型攻擊采用多模型集成的方式，因此生成的對(duì)抗樣本可以學(xué)習(xí)到更多的模型信息，以降低對(duì)抗樣本對(duì)單模型的過擬合，從而提高對(duì)抗樣本的遷移性，因此黑盒攻擊成功率也更高。在實(shí)際應(yīng)用中，單模型攻擊只需要調(diào)用單個(gè)模型文件，占用的計(jì)算資源較少，以便對(duì)對(duì)抗樣本生成方法的優(yōu)劣進(jìn)行比較。而集成模型攻擊需要調(diào)用多個(gè)模型文件，消耗的時(shí)長(zhǎng)和占用的計(jì)算資源較多，但是可以生成遷移性更強(qiáng)的對(duì)抗樣本，因此，集成模型攻擊常用于進(jìn)一步提高對(duì)抗樣本的黑盒攻擊成功率。

3.1 目標(biāo)優(yōu)化問題

從攻擊角度分析，對(duì)抗樣本的目的是使圖像分類模型分類出錯(cuò)，即在不改變?nèi)搜劭杀孀R(shí)類別的基礎(chǔ)上，使圖像分類模型無(wú)法正常實(shí)現(xiàn)分類的功能。為此，本文將該問題建模為目標(biāo)優(yōu)化問題，如式（5）所示：

其中：ytrue為圖像對(duì)應(yīng)的真實(shí)標(biāo)簽；xadv為生成的對(duì)抗樣本；θ為圖像分類模型信息。該優(yōu)化問題的優(yōu)化目標(biāo)是使生成的對(duì)抗樣本相對(duì)于原標(biāo)簽類別的損失函數(shù)達(dá)到最大，以大幅提高分類出錯(cuò)的概率。針對(duì)原圖像標(biāo)簽生成的對(duì)抗樣本損失函數(shù)最大，在對(duì)抗攻擊的測(cè)試過程中，該圖像對(duì)應(yīng)其他標(biāo)簽類別的損失函數(shù)相對(duì)變小，分類就容易出錯(cuò)。

為提高攻擊成功率，對(duì)抗樣本需具有攻擊性和隱蔽性的特點(diǎn)。為有效衡量對(duì)抗擾動(dòng)的可感知性，本文對(duì)該優(yōu)化問題的約束條件進(jìn)行建模，如式（6）所示：

對(duì)抗樣本與輸入模型的原始圖像的差值為添加的對(duì)抗擾動(dòng)r=xadv-x，ε為最大擾動(dòng)值。一般用范數(shù)來(lái)度量對(duì)抗擾動(dòng)的距離尺度，通過無(wú)窮范數(shù)來(lái)限定加入的擾動(dòng)大小?；诖?，本文設(shè)計(jì)單模型攻擊算法和集成模型攻擊算法，以提升黑盒攻擊強(qiáng)度并檢驗(yàn)攻擊效果。

3.2 單模型攻擊算法

在FGSM 類生成方法中，黑盒攻擊成功率低的主要原因是對(duì)抗樣本與圖像分類模型發(fā)生了過擬合。研究發(fā)現(xiàn)［10］，對(duì)抗樣本生成過程與神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程有相似性，對(duì)抗樣本的遷移性可以與神經(jīng)網(wǎng)絡(luò)模型的泛化能力相對(duì)應(yīng)。因此，本文將提高模型泛化能力的方法引入到對(duì)抗樣本的生成過程中。在圖像分類模型的訓(xùn)練過程中，數(shù)據(jù)增強(qiáng)常被用于提高模型的泛化能力，同樣，可以將平移隨機(jī)變換作為數(shù)據(jù)增強(qiáng)的手段，應(yīng)用于對(duì)抗樣本的生成過程中，以提高對(duì)抗樣本的遷移性，從而有效提高對(duì)抗樣本的黑盒攻擊成功率。

本文將概率變換模型建模為平移隨機(jī)變換過程，并設(shè)置超參數(shù)變換概率p和最大平移距離D，以精準(zhǔn)控制生成過程，其平移隨機(jī)變換函數(shù)如式（7）所示：

在平移隨機(jī)變換函數(shù)T(·)中，圖像將在上、下、左、右四個(gè)方向上以概率p進(jìn)行最大平移距離為D像素的變換。因?yàn)榇俗儞Q過程是隨機(jī)的，所以能夠有效提高輸入圖像的多樣性，緩解過擬合現(xiàn)象。

在對(duì)單模型攻擊的過程中，基于此變換函數(shù)，本文優(yōu)化目標(biāo)函數(shù)式（5），新的目標(biāo)函數(shù)如式（8）所示：

本文提出將平移變換過程與MI-FGSM 相結(jié)合的TT-MI-FGSM 方法，其過程如式（9）和 式（10）所示：

基于以上研究，本文設(shè)計(jì)針對(duì)單模型攻擊的算法，具體過程如算法1 所示。

算法1單個(gè)分類模型攻擊算法（TT-MI-FGSM）

在該算法中，平移變換概率p可取0～1 之間的任意數(shù)值，表示平移變換概率逐漸變大。最大平移距離D表示在圖像平移過程中，允許移動(dòng)的像素最大值，例如，當(dāng)圖像大小為299×299×3（表示圖像的長(zhǎng)和寬分別為299 像素，RGB 三通道）時(shí)，D的像素值變化范圍為0～299。在D增大的過程中，對(duì)抗樣本的攻擊成功率會(huì)先增大后減小，這說明當(dāng)平移距離較大時(shí)，會(huì)影響圖像內(nèi)容與圖像標(biāo)簽的對(duì)應(yīng)關(guān)系，使得式（5）中的標(biāo)簽值失效。因此，在實(shí)驗(yàn)中應(yīng)選取合適的D，保證正常生成對(duì)抗樣本。圖像的最大擾動(dòng)值是指允許在原圖像上添加的最大擾動(dòng)，為保證對(duì)抗樣本在人眼視覺下不失真，通常將最大擾動(dòng)值設(shè)置在40 像素以下。最大迭代輪數(shù)T指在生成對(duì)抗樣本過程中的迭代次數(shù)，T越大，每輪添加的擾動(dòng)大小，即學(xué)習(xí)率越小，但也會(huì)占用更多的計(jì)算資源。衰減因子μ表示歷史動(dòng)量的作用程度，μ越大，表示歷史動(dòng)量影響越大。在模型攻擊實(shí)驗(yàn)部分，該研究按照文獻(xiàn)［9］中的規(guī)范將T設(shè)置為16，μ設(shè)置為1，此時(shí)方便與已有方法進(jìn)行對(duì)比，從而更好地體現(xiàn)出本文方法的成果優(yōu)勢(shì)。

從單個(gè)分類模型攻擊算法中可以看出，在對(duì)抗樣本的生成過程中，本文設(shè)置T輪迭代循環(huán)，在每輪開始時(shí)，都以p為變換概率、D為最大平移距離對(duì)輸入圖像進(jìn)行平移隨機(jī)變換，之后通過圖像標(biāo)簽與基于輸入圖像的邏輯值計(jì)算該圖像的交叉熵?fù)p失函數(shù)，并求得其梯度，由式（9）得到新一輪的累積梯度值，并根據(jù)式（10）更新對(duì)抗樣本，直到滿足迭代輪數(shù)要求，則完成迭代更新，輸出對(duì)抗樣本。當(dāng)去掉算法1的第4 個(gè)步驟時(shí)，該算法退化為MI-FGSM，這也體現(xiàn)該算法的便利性優(yōu)勢(shì)，當(dāng)?shù)啍?shù)T設(shè)置為1 時(shí)，該算法即可轉(zhuǎn)化為TT-I-FGSM 的單模型攻擊算法。

3.3 集成模型攻擊算法

在對(duì)抗樣本防御領(lǐng)域中，集成對(duì)抗訓(xùn)練的方法可以有效提高分類模型對(duì)對(duì)抗樣本的防御能力［19］。從模型訓(xùn)練角度，集成模型解決了模型訓(xùn)練過程中的擬合問題，提高了模型的泛化能力，從而有助于提高對(duì)抗樣本的防御能力。因此，在集成模型條件下的攻擊算法流程如圖1 所示，以進(jìn)一步緩解對(duì)抗樣本對(duì)分類模型的“依賴”，增加模型的多樣性，從而提高對(duì)抗樣本的泛化能力和黑盒攻擊成功率。

圖1 集成模型攻擊算法流程Fig.1 Procedure of integrated model attack algorithm

從圖1 可以看出，將原始干凈圖像輸入到對(duì)抗樣本生成系統(tǒng)后，首先根據(jù)概率模型進(jìn)行平移隨機(jī)變換，變換后出現(xiàn)的空白區(qū)域?qū)⒉捎醚a(bǔ)0 的方式實(shí)現(xiàn)邊界填充，得到299×299×3 的變換后圖像；將得到的圖像輸入到多個(gè)圖像分類模型中，并得到各模型的輸出邏輯值；根據(jù)加權(quán)平均后的邏輯值計(jì)算損失函數(shù)，并沿?fù)p失函數(shù)的梯度方向迭代更新，直到完成迭代，此時(shí)輸出對(duì)抗樣本圖像。

在對(duì)抗樣本生成過程中，本文在集成分類模型上利用TT-MI-FGSM 生成對(duì)抗樣本，如算法2 所示。

算法2集成分類模型攻擊算法（TT-MI-FGSM）

在算法2 中，超參數(shù)的意義及設(shè)置的取值范圍與單模型攻擊算法一致，而兩個(gè)算法之間的區(qū)別在于生成對(duì)抗樣本的同時(shí)將圖像輸入到多個(gè)圖像分類模型，并通過多模型輸出邏輯值并權(quán)重集成的方式，實(shí)現(xiàn)生成對(duì)抗樣本的目的。該算法可大幅提高黑盒攻擊成功率，但其生成的對(duì)抗樣本白盒攻擊成功率略有降低。

3.4 方法的可擴(kuò)展性

平移隨機(jī)變換作為數(shù)據(jù)增強(qiáng)的一種手段，可用于改進(jìn)FGSM 類方法的性能，并通過與I-FGSM 和MI-FGSM 的結(jié)合，提高對(duì)抗樣本的黑盒攻擊成功率。通過調(diào)整方法中的衰減因子μ、最大平移距離D以及平移變換概率p，實(shí)現(xiàn)與現(xiàn)有對(duì)抗樣本生成方法的轉(zhuǎn)化，體現(xiàn)了該方法的可擴(kuò)展性和便利性優(yōu)勢(shì)。不同對(duì)抗樣本生成方法之間的轉(zhuǎn)化關(guān)系如圖2所示。

圖2 不同對(duì)抗樣本生成方法之間的轉(zhuǎn)化關(guān)系Fig.2 Conversion relationship among different adversarial examples generation methods

當(dāng)衰減因子μ為0 時(shí)，TT-MI-FGSM 退化為TT-I-FGSM，MI-FGSM 退化為I-FGSM。當(dāng)μ不為0時(shí)，損失函數(shù)將在帶有動(dòng)量修正的過程中更新。當(dāng)平移變換概率p或最大平移距離D為0 時(shí)，TT-I-FGSM 退化為I-FGSM，TT-MI-FGSM 退化MI-FGSM。當(dāng)平移變換的概率p或最大平移距離D不為0 時(shí)，TT-MI-FGSM 將先按一定概率平移變換再進(jìn)行對(duì)抗樣本生成。

4 實(shí)驗(yàn)與結(jié)果分析

本文在Intel Core i9-10900K 上，利用python 3.8.5和Tensorflow 1.14.0 深度學(xué)習(xí)框架對(duì)比本文提出方法TT-I-FGSM、TT-MI-FGSM 與其他方法（I-FGSM［12］和MI-FGSM［10］）的攻擊成功率。目標(biāo)平臺(tái)的操作系統(tǒng)為Windows 10（專業(yè)版），內(nèi)存為64 GB，主頻為3.7 GHz。為提高對(duì)抗樣本生成效率，實(shí)驗(yàn)使用NVIDIA GeForce RTX 2080Ti GPU 加速完成計(jì)算過程。

4.1 實(shí)驗(yàn)設(shè)置

4.1.1 數(shù)據(jù)集

ImageNet數(shù)據(jù)集［23］是由斯坦福大學(xué)李飛飛教授帶領(lǐng)創(chuàng)建的計(jì)算機(jī)視覺數(shù)據(jù)集，是目前圖像識(shí)別領(lǐng)域最大的數(shù)據(jù)庫(kù)，也是評(píng)估圖像分類算法性能的基準(zhǔn)。該數(shù)據(jù)集中的每張圖片都被手工標(biāo)注類別，在對(duì)抗樣本的生成過程中，本文利用其標(biāo)簽以生成對(duì)抗樣本并進(jìn)行攻擊效果檢測(cè)，并從ImageNet 數(shù)據(jù)集驗(yàn)證集的每個(gè)類別中各隨機(jī)選擇圖片，利用這1 000 張分類正確的圖片進(jìn)行對(duì)抗樣本的生成。

4.1.2 分類模型

在實(shí)驗(yàn)中共使用7個(gè)分類模型，其中，4個(gè)正常訓(xùn)練分類模型分別是Inception-v3［24］（Inc-v3）、Inception-v4［25］（Inc-v4）、Inception-ResNet-v2［25］（IncRes-v2）和ResNetv2-101［26］（Res-101）；3個(gè)對(duì)抗訓(xùn)練分類模型［19］分別是ens3-adv-Inception-v3（Inc-v3ens3）、ens4-adv-Inception-v3（Incv3ens4）和ens-adv-Inception-ResNet-v2（IncRes-v2ens）。

4.1.3 基準(zhǔn)方法

為更好地評(píng)估本文方法的有效性，本文選擇另外兩種典型的對(duì)抗樣本生成方法（I-FGSM［13］和MI-FGSM［10］）作為對(duì)比基準(zhǔn)，與本文提出的TT-I-FGSM和TT-MI-FGSM 進(jìn)行對(duì)比分析。

4.1.4 超參數(shù)設(shè)置

為了方便攻擊成功率對(duì)比，本文按照動(dòng)量法［10］中的規(guī)范設(shè)置超參數(shù)，最大擾動(dòng)值ε=16 像素，迭代輪數(shù)T=10，步長(zhǎng)α=1.6，衰減因子μ=1.0。本文提出的超參數(shù)：平移變換概率p=0.5，最大平移距離D=11 像素。

4.2 單模型攻擊實(shí)驗(yàn)

本文在白盒和黑盒條件下對(duì)本文方法TT-I-FGSM和TT-MI-FGSM 和基準(zhǔn)方法進(jìn)行單模型攻擊測(cè)試。I-FGSM、TT-I-FGSM、MI-FGSM 和TT-MI-FGSM 方法分別在Inc-v3、Inc-v4、IncRes-v2 和Res-101 4 個(gè)正常訓(xùn)練模型上生成對(duì)抗樣本，并在7 個(gè)分類模型上（Incv3、Inc-v4、IncRes-v2、Res-101、Inc-v3ens3、Inc-v3ens4、IncRes-v2ens）進(jìn)行測(cè)試。不同對(duì)抗樣本生成方法的黑盒和白盒攻擊成功率如表2 所示。表中攻擊成功率為分類錯(cuò)誤的圖像數(shù)在圖像總數(shù)中所占的比例，*表示白盒攻擊。

表2 不同對(duì)抗樣本生成方法攻擊單個(gè)模型的成功率對(duì)比Table 2 Success rate of attack on a single model comparison among different adversarial examples generation methods %

從表2 可以看出，在白盒條件下，本文提出的方法TT-I-FGSM 和TT-MI-FGSM 在各模型上攻擊成功率保持在97.8%以上的水平。在黑盒條件下，TT-MI-FGSM在正常訓(xùn)練模型上提高了攻擊成功率，例如，在Inc-v3模型上生成的對(duì)抗樣本，攻擊IncRes-v2 模型時(shí)，TT-MI-FGSM 攻擊成功率比MI-FGSM 提高19.5 個(gè)百分點(diǎn)。此外，TT-MI-FGSM 在針對(duì)防御模型的黑盒攻擊中也表現(xiàn)出較高的攻擊性能，例如，在Res-101 模型上生成的對(duì)抗樣本，當(dāng)攻擊Inc-v3ens3模型時(shí)，TT-MI-FGSM 算法的攻擊成功率為33.6%，比MI-FGSM提高11.3 個(gè)百分點(diǎn)。因此，本文提出的TT-MI-FGSM方法可以有效提高對(duì)抗樣本的遷移性。

4.3 集成模型攻擊實(shí)驗(yàn)

集成模型通常對(duì)對(duì)抗樣本具有更好的防御能力。本文通過同時(shí)攻擊多個(gè)分類模型組成的集成模型來(lái)評(píng)估對(duì)抗樣本生成方法的性能。本文分別利用I-FGSM、TT-I-FGSM、MI-FGSM 和TT-MI-FGSM 同時(shí)攻擊具有相同權(quán)重的4個(gè)正常訓(xùn)練模型（Inc-v3、Inc-v4、IncRes-v2和Res-101）構(gòu)成的集成模型，并通過生成的對(duì)抗樣本分別在7 個(gè)圖像分類模型中測(cè)試得到攻擊成功率，實(shí)驗(yàn)結(jié)果如表3 所示。表中攻擊成功率為分類錯(cuò)誤的圖像數(shù)在圖像總數(shù)中所占的比例，*表示白盒攻擊。

表3 不同對(duì)抗樣本生成方法攻擊集成模型的成功率對(duì)比Table 3 Success rate of attack on intergated model comparison among different adversarial examples generation methods %

從表3 可以看出，TT-MI-FGSM 方法可在保持或提高白盒攻擊成功率的基礎(chǔ)上，較大幅度提高黑盒攻擊的成功率。例如，在Inc-v3、Inc-v4、IncRes-v2 和Res-101 4 個(gè)正常訓(xùn)練模型的白盒攻擊上，TT-I-FGSM 的攻擊成功率比I-FGSM提高了0.9個(gè)百分點(diǎn)。而在黑盒攻擊中，TT-MI-FGSM 比MI-FGSM 的攻擊成功率平均提高12.83個(gè)百分點(diǎn)。針對(duì)Inc-v3ens3模型的攻擊，TT-MI-FGSM的攻擊成功率為54.2%。

不同方法生成的對(duì)抗樣本圖片對(duì)比如圖3 所示，與原圖片相比，圖片進(jìn)行平移隨機(jī)變換后生成的對(duì)抗樣本，整體區(qū)域均添加了對(duì)抗擾動(dòng)，在人眼視覺上未出現(xiàn)肉眼可見的辨識(shí)偏差。

圖3 不同方法生成的對(duì)抗樣本圖片對(duì)比Fig.3 Comparison of adversarial examples images generated by different methods

4.4 超參數(shù)

本節(jié)重點(diǎn)分析在攻擊方法中各超參數(shù)對(duì)攻擊成功率的影響。本文運(yùn)用TT-I-FGSM 和TT-MI-FGSM攻擊相同權(quán)重的4 個(gè)正常訓(xùn)練模型（Inc-v3、Inc-v4、IncRes-v2 和Res-101）組成的集成模型，通過調(diào)整超參數(shù)設(shè)置，以消融實(shí)驗(yàn)的方式探究超參數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響。超參數(shù)主要有平移變換概率p、最大平移距離D、計(jì)算梯度時(shí)的迭代輪數(shù)T、圖像最大擾動(dòng)值ε。由于動(dòng)量項(xiàng)中的衰減因子μ只用于特征性地反映梯度的累積效應(yīng)，因此本文不對(duì)其進(jìn)行討論。

4.4.1 平移變換概率p對(duì)攻擊成功率的影響

其他超參數(shù)設(shè)置：最大擾動(dòng)值ε=16 像素，迭代輪數(shù)T=10，步長(zhǎng)α=1.6，衰減因子μ=1.0，最大平移距離D=11 像素，平移變換概率p從0 以0.1 的幅度增長(zhǎng)到1。當(dāng)p=0 時(shí)，表示不發(fā)生平移變換；當(dāng)p=1時(shí)，表示一定發(fā)生平移變換。隨平移變換概率p的遞增，白盒攻擊成功率和黑盒攻擊成功率變化情況如圖4 所示。其中，實(shí)線表示白盒攻擊成功率，虛線表示黑盒攻擊成功率。

圖4 平移變換概率與攻擊成功率關(guān)系Fig.4 Relationship between translation conversion probability and attack success rate

在白盒攻擊中，將生成的對(duì)抗樣本在4 個(gè)正常分類模型上進(jìn)行分類測(cè)試，TT-I-FGSM 和TT-MI-FGSM白盒攻擊成功率保持平穩(wěn)態(tài)勢(shì)，并可實(shí)現(xiàn)均值90%以上的攻擊成功率。在黑盒攻擊中，當(dāng)攻擊3 個(gè)對(duì)抗訓(xùn)練模型時(shí)，隨平移變換概率p的遞增，兩個(gè)方法的黑盒攻擊成功率也有了較大幅度的提高。TT-I-FGSM 的攻擊情況如圖4（a）所示，TT-MI-FGSM 的攻擊情況如圖4（b）所示。從圖4（a）和圖4（b）可以看出，兩折線圖變化趨勢(shì)大致相同，相比TT-I-FGSM，TT-MI-FGSM 能夠大幅提高黑盒攻擊成功率，這說明帶有動(dòng)量的平移隨機(jī)變換方法可以更好地提高對(duì)抗樣本的遷移性和黑盒攻擊成功率。同時(shí)，當(dāng)p值較小時(shí)，黑盒攻擊對(duì)概率p的變化更加敏感，即使略微增大平移變換概率，即可大幅提高攻擊成功率。這種現(xiàn)象表明平移變換有助于黑盒攻擊遷移性的提高。在對(duì)抗樣本生成方法設(shè)計(jì)中，當(dāng)利用對(duì)抗樣本的遷移性對(duì)黑盒模型進(jìn)行攻擊時(shí)，可以將平移變換概率設(shè)置為最大值，即p=1，具有最大的黑盒攻擊成功率，而此時(shí)白盒攻擊成功率仍能保持在較高水平。

4.4.2 最大平移距離D對(duì)攻擊成功率的影響

最大平移距離D是指在平移隨機(jī)變換過程中，圖像在上、下、左、右4個(gè)方向上的最大移動(dòng)距離。超參數(shù)設(shè)置：平移變換概率p=0.5，最大擾動(dòng)值ε=16 像素，迭代輪數(shù)T=10，步長(zhǎng)α=1.6，衰減因子μ=1.0。實(shí)驗(yàn)運(yùn)用TT-MI-FGSM 在2 個(gè)最大平移距離的區(qū)間范圍內(nèi)進(jìn)行測(cè)試，最大平移距離與攻擊成功率的關(guān)系如圖5 所示。

圖5 最大平移距離與攻擊成功率關(guān)系Fig.5 Relationship between maximum translation distance and attack success rate

最大平移距離D在0～280 像素范圍內(nèi)的攻擊成功率變化情況為：在0～40 像素范圍內(nèi)，TT-MI-FGSM的白盒攻擊成功率趨于穩(wěn)定，黑盒攻擊成功率快速提高，表明平移變換對(duì)提高對(duì)抗樣本遷移性有較好效果，能夠有效避免與生成模型的過擬合現(xiàn)象；在40～200 像素的區(qū)間范圍內(nèi)，白盒攻擊和黑盒攻擊的成功率均趨于穩(wěn)定；在D超過200 像素以后，黑盒攻擊和白盒攻擊的成功率均有所下降，在此過程中，隨著D的增大，出現(xiàn)了欠擬合現(xiàn)象，導(dǎo)致白盒攻擊和黑盒攻擊的成功率均下降。最大移動(dòng)距離D在0～35像素范圍內(nèi)的攻擊成功率變化情況如圖5（b）所示。當(dāng)D=11 像素時(shí)，黑盒攻擊成功率的局部最大值平均為45.3%，之后便波動(dòng)變化。因此，在進(jìn)行對(duì)抗樣本生成時(shí)，本文選用D=11 像素，此時(shí)既有效提高黑盒攻擊成功率，又保證了較高的白盒攻擊成功率。

4.4.3 最大擾動(dòng)值ε對(duì)攻擊成功率的影響

本文分別使用TT-I-FGSM 和TT-MI-FGSM 進(jìn)行白盒攻擊和黑盒攻擊。超參數(shù)設(shè)置：迭代輪數(shù)T=10，衰減因子μ=1.0，平移變換概率p=0.5，圖像最大擾動(dòng)值從4 像素開始，以4 為步長(zhǎng)增長(zhǎng)到32，最大擾動(dòng)值與攻擊成功率關(guān)系如圖6 所示。由α=ε/T可知，隨著最大擾動(dòng)值的增大，在迭代過程中的步長(zhǎng)α也逐漸增大。從圖6可以看出，最大擾動(dòng)值ε在4～16像素范圍內(nèi)，隨著擾動(dòng)值的增大，黑盒攻擊成功率得到顯著提高。在黑盒攻擊中，隨著ε的增大，TT-I-FGSM攻擊成功率基本不變，而加入動(dòng)量因子后TT-MI-FGSM的攻擊成功率仍保持了上升趨勢(shì)。

圖6 最大擾動(dòng)值與攻擊成功率關(guān)系Fig.6 Relationship between maximum disturbance values and attack success rate

最大擾動(dòng)值ε的增大會(huì)帶來(lái)擾動(dòng)因素的增長(zhǎng)，在生成的對(duì)抗樣本中噪點(diǎn)也會(huì)增多，其可視化對(duì)比圖如圖7 所示，當(dāng)ε=32 像素時(shí)，擾動(dòng)因素較大，容易被人眼識(shí)別出來(lái)。因此，在實(shí)際對(duì)抗樣本生成過程中，本文選擇ε=16 像素來(lái)生成對(duì)抗樣本，既具有較高的攻擊成功率，又能夠保證對(duì)抗樣本與原圖像的相似效果。

圖7 最大擾動(dòng)值對(duì)對(duì)抗樣本圖像的影響Fig.7 Influence of maximum disturbance values on adversarial examples image

4.4.4 迭代輪數(shù)T對(duì)攻擊成功率的影響

本文將迭代輪數(shù)從2 開始以4 為步長(zhǎng)增大，最大值為30。其他的超參數(shù)設(shè)置：最大擾動(dòng)值ε=16 像素，步長(zhǎng)α=1.6，衰減因子μ=1.0，平移變換概率p=0.5，最大平移距離D=11 像素。迭代輪數(shù)與攻擊成功率的關(guān)系如圖8 所示。從圖8（a）可以看出，隨著迭代輪數(shù)的增加，TT-I-FGSM 方法的白盒攻擊成功率有較大提高，黑盒攻擊的成功率則略微下降，其原因?yàn)殡S著迭代輪數(shù)增加，對(duì)抗樣本與分類模型的擬合得到加強(qiáng)、遷移性有所下降。從圖8（b）可以看出，隨迭代輪數(shù)的增加，TT-MI-FGSM 方法的黑盒攻擊成功率也得到有效加強(qiáng)，說明該方法與動(dòng)量法相結(jié)合具有更好的攻擊效果。迭代輪數(shù)的增加將消耗更多的計(jì)算資源，因此，本文選取迭代輪數(shù)T=10，既可以有效提高白盒攻擊和黑盒攻擊的成功率，又能夠保證對(duì)抗樣本的生成效率。

圖8 迭代輪數(shù)與攻擊成功率的關(guān)系Fig.8 Relationship between iteration number and attack success rate

在以上的超參數(shù)消融實(shí)驗(yàn)中，本文討論了平移變換概率p、最大平移距離D、最大迭代輪數(shù)T和圖像最大擾動(dòng)值ε的含義，并通過實(shí)驗(yàn)驗(yàn)證不同超參數(shù)對(duì)算法性能的影響。通過實(shí)驗(yàn)可以看出，平移變換概率p的增大可以提高對(duì)抗樣本的攻擊效果。因此，本文可使用最大平移變換概率來(lái)生成攻擊性強(qiáng)的對(duì)抗樣本。最大平移距離D的選取應(yīng)根據(jù)原始圖像的像素大小選擇數(shù)值，如在299×299×3 尺寸的圖像中，選取D=11 像素可以取得較好的攻擊效果。最大擾動(dòng)值可以提高攻擊方法的性能，同時(shí)也會(huì)造成擾動(dòng)過大，產(chǎn)生易被人眼識(shí)別的問題。迭代輪數(shù)的增大可以改進(jìn)黑盒攻擊效果，但由于會(huì)產(chǎn)生更多的計(jì)算開銷，因此在保持一定的對(duì)抗樣本生成效率時(shí)應(yīng)選擇適當(dāng)大小的迭代輪數(shù)，通常設(shè)置在20 以下。

5 結(jié)束語(yǔ)

本文提出一種基于平移隨機(jī)變換的對(duì)抗樣本生成方法TT-MI-FSGM。通過對(duì)原圖像進(jìn)行平移隨機(jī)變換，擴(kuò)展圖像分類模型的輸入多樣性，緩解對(duì)抗樣本生成過程中的過擬合現(xiàn)象，從而提高對(duì)抗樣本的黑盒攻擊成功率。此外，通過構(gòu)建集成模型攻擊算法，以生成遷移性更強(qiáng)的對(duì)抗樣本。實(shí)驗(yàn)結(jié)果表明，與I-FGSM相比，該方法在集成模型上的黑盒攻擊成功率平均提高了30.4個(gè)百分點(diǎn)。下一步將對(duì)物理世界中對(duì)抗樣本的實(shí)際應(yīng)用進(jìn)行研究，從而為神經(jīng)網(wǎng)絡(luò)模型的實(shí)際部署提供更有效的魯棒性測(cè)試方法。