錢亞冠 張錫敏 王 濱 顧釗銓 李 蔚 云本勝

①(浙江科技學(xué)院理學(xué)院/大數(shù)據(jù)學(xué)院 杭州 310023)

②(杭州?？低暰W(wǎng)絡(luò)與信息安全實(shí)驗(yàn)室 杭州 310052)

③(廣州大學(xué)網(wǎng)絡(luò)空間先進(jìn)技術(shù)研究院 廣州 510006)

1 引言

深度神經(jīng)網(wǎng)絡(luò)(DNN)在生物信息學(xué)[1,2]、語(yǔ)音識(shí)別[3,4]和計(jì)算機(jī)視覺[5,6]等領(lǐng)域獲得成功應(yīng)用的同時(shí)，研究者們發(fā)現(xiàn)DNN容易受到對(duì)抗樣本的攻擊[7]，即在自然圖像中添加微小的擾動(dòng)，可以欺騙DNN做出錯(cuò)誤預(yù)測(cè)。由于對(duì)抗樣本具有較好的隱蔽性，不易被人眼發(fā)現(xiàn)，給安全敏感的應(yīng)用帶來(lái)很大的破壞性。例如，在自動(dòng)駕駛領(lǐng)域，研究者們通過(guò)在道路交通標(biāo)志圖片上添加微小擾動(dòng)得到對(duì)抗樣本，導(dǎo)致采用DNN進(jìn)行道路交通標(biāo)志識(shí)別的自動(dòng)駕駛汽車做出錯(cuò)誤判斷，引起交通事故的發(fā)生[8]。自動(dòng)駕駛系統(tǒng)可能會(huì)遇到的道路交通標(biāo)志圖片及其對(duì)應(yīng)的對(duì)抗樣本，對(duì)于人眼來(lái)說(shuō)，兩張圖片是相同的，同為注意危險(xiǎn)標(biāo)志。而自動(dòng)駕駛系統(tǒng)中的DNN則把對(duì)抗樣本判斷為讓行標(biāo)志。這意味著難以察覺的擾動(dòng)有可能使一輛毫無(wú)故障的自動(dòng)駕駛汽車做出危險(xiǎn)的行為。因此，對(duì)于對(duì)抗樣本的防御研究具有現(xiàn)實(shí)意義。

自Szegedy等人[7]發(fā)現(xiàn)DNN中存在對(duì)抗樣本以來(lái)，研究者們提出了一系列對(duì)抗樣本的生成與防御方法。生成對(duì)抗樣本的過(guò)程通常被建模為一個(gè)有約束優(yōu)化的問(wèn)題，其目標(biāo)是在約束條件下最大化損失函數(shù)。現(xiàn)有的典型對(duì)抗樣本包括C&W[9], Deepfool[10],FGSM[11], PGD[12], M-DI2-FGSM[13]等。同時(shí)，研究者們提出了多種防御對(duì)抗樣本的方法，如防御蒸餾[14]、對(duì)抗訓(xùn)練[15]、強(qiáng)化網(wǎng)絡(luò)[16]及對(duì)抗樣本檢測(cè)[17]等。

在大部分防御方法被文獻(xiàn)[18]證實(shí)防御效果有限的情況下，對(duì)抗訓(xùn)練是少數(shù)被經(jīng)驗(yàn)證明為目前最為有效的防御方法。對(duì)抗訓(xùn)練最早由Szegedy等人[7]提出，通過(guò)將對(duì)抗樣本注入訓(xùn)練過(guò)程，以增強(qiáng)DNN的魯棒性。隨著研究的深入，Madry等人[13]將對(duì)抗訓(xùn)練形式化為由內(nèi)部最大化問(wèn)題和外部最小化問(wèn)題組成的鞍點(diǎn)問(wèn)題，即存在對(duì)抗樣本最大化損失函數(shù)的情況下，優(yōu)化模型參數(shù)實(shí)現(xiàn)損失函數(shù)最小化。按照Madry等人的鞍點(diǎn)理論，解決內(nèi)部最大化問(wèn)題需要更強(qiáng)的對(duì)抗樣本，他們提出了基于PGD(1階梯度投影)的對(duì)抗訓(xùn)練方法，實(shí)驗(yàn)證明能夠防御大部分1階梯度攻擊。但是1階梯度對(duì)于DNN的逼近能力有限，無(wú)法進(jìn)一步找到更強(qiáng)大的對(duì)抗樣本，因而也無(wú)法訓(xùn)練出更魯棒的DNN?；谶@個(gè)思路，本文提出于基于2階梯度的對(duì)抗樣本生成方法。與以往線性逼近方法不同，在輸入樣本的微小鄰域內(nèi)，對(duì)DNN損失函數(shù)進(jìn)行2階多項(xiàng)式逼近。本文提出的方法優(yōu)點(diǎn)是，利用Hesse矩陣可提取到損失函數(shù)在輸入鄰域內(nèi)的更多信息，從而更好地解決內(nèi)部最大化問(wèn)題。

本文分別從理論和實(shí)驗(yàn)角度證明了2階對(duì)抗樣本強(qiáng)于PGD對(duì)抗樣本。本文提出將對(duì)抗樣本的擾動(dòng)下界，即攻擊成功所需的最少擾動(dòng)，用于衡量不同對(duì)抗樣本的強(qiáng)度。計(jì)算結(jié)果顯示，2階對(duì)抗樣本的擾動(dòng)下界低于PGD，即2階對(duì)抗樣本攻擊成功所需的最少擾動(dòng)少于PGD，這意味著2階對(duì)抗樣本強(qiáng)于PGD。在MNIST和CIFAR10上的實(shí)驗(yàn)結(jié)果驗(yàn)證了本文的理論分析：(1) 相較于包括PGD在內(nèi)的現(xiàn)有典型對(duì)抗樣本，2階對(duì)抗樣本能夠在添加更少擾動(dòng)同時(shí)，達(dá)到更高的攻擊成功率；(2) 基于2階對(duì)抗樣本的對(duì)抗訓(xùn)練能夠防御現(xiàn)有的典型1階對(duì)抗攻擊。

2 預(yù)備知識(shí)

2.1 深度神經(jīng)網(wǎng)絡(luò)

2.2 對(duì)抗樣本

2.3 威脅模型

目前有很多對(duì)抗樣本的生成方法，但這些方法都是在一定的假設(shè)限制下進(jìn)行的[9]。由于對(duì)手的攻擊行為很大程度上決定了對(duì)抗樣本的強(qiáng)度。如果攻擊行為不被限制，對(duì)手甚至可以使用任意圖像替換給定的圖像，這就違背了對(duì)抗樣本的定義。為此，我們把這些攻擊行為定義為威脅模型，通常包含攻擊目標(biāo)和攻擊能力。

(1) 攻擊目標(biāo)

威脅模型中的攻擊目標(biāo)可以被定義為一個(gè)需要被檢測(cè)和防御的具體式子。在DNN中，對(duì)于攻擊目標(biāo)的劃分有利于我們明確這個(gè)具體式子。因此，威脅模型中，對(duì)于攻擊目標(biāo)的劃分至關(guān)重要?？梢詫⒐裟繕?biāo)具體劃分為2類，包括無(wú)目標(biāo)攻擊和有目標(biāo)攻擊。無(wú)目標(biāo)攻擊是指改變對(duì)抗樣本的類別至任意一個(gè)非正確類。有目標(biāo)攻擊是指改變對(duì)抗樣本的類別至指定的一個(gè)非正確類。正式地說(shuō)，有目標(biāo)攻擊是無(wú)目標(biāo)攻擊的一個(gè)子集，而對(duì)于對(duì)抗樣本的防御方法來(lái)說(shuō)，防御兩者的難易程度并不會(huì)有所區(qū)別。因此，本文提出的2階對(duì)抗樣本屬于目前更為主流的無(wú)目標(biāo)攻擊。

(2) 攻擊能力

對(duì)抗樣本還可以根據(jù)對(duì)手掌握目標(biāo)分類器信息的多少來(lái)定義攻擊能力，分為白箱攻擊和黑箱攻擊。白箱攻擊是指攻擊者幾乎知道關(guān)于DNN的所有信息，包括訓(xùn)練數(shù)據(jù)、激活函數(shù)、拓?fù)浣Y(jié)構(gòu)、權(quán)重系數(shù)等。黑箱攻擊則假設(shè)攻擊者無(wú)法獲得已訓(xùn)練的DNN內(nèi)部信息，僅能獲得模型的輸出，包含標(biāo)簽和置信度。因?yàn)樾枰莆漳繕?biāo)DNN的梯度信息，2階對(duì)抗樣本屬于白箱攻擊。

3 對(duì)抗訓(xùn)練防御方法

3.1 問(wèn)題的提出

目前最有效的對(duì)抗訓(xùn)練方法是由Madry等人[13]提出的PGD對(duì)抗訓(xùn)練。從優(yōu)化的觀點(diǎn)出發(fā)，對(duì)抗訓(xùn)練被定義為關(guān)于鞍點(diǎn)的優(yōu)化問(wèn)題：

可以發(fā)現(xiàn)式(3)是一個(gè)內(nèi)部最大化問(wèn)題和一個(gè)外部最小化問(wèn)題的組合。內(nèi)部最大化問(wèn)題是找到令DNN產(chǎn)生最大損失的對(duì)抗樣本。外部最小化問(wèn)題是在某種對(duì)抗攻擊下，尋找使對(duì)抗損失最小的模型參數(shù)。由此可見，對(duì)抗訓(xùn)練是模型精度和魯棒性之間的一種最佳平衡。Madry等人[13]認(rèn)為存在更強(qiáng)大的對(duì)抗樣本可以更好地解決內(nèi)部最大化問(wèn)題，從而訓(xùn)練出更加魯棒的DNN，但基于一階對(duì)抗樣本不能很好地解決這個(gè)問(wèn)題。為此，本文提出2階對(duì)抗樣本解決式(3)中的內(nèi)部最大化問(wèn)題。

3.2 2階對(duì)抗樣本

本節(jié)給出了一種對(duì)抗樣本的2階生成方法。我們將生成對(duì)抗樣本的過(guò)程定義為一個(gè)箱約束的優(yōu)化問(wèn)題：

圖1 C與優(yōu)化過(guò)程中交叉熵?fù)p失函數(shù)的關(guān)系

表1 基于2階對(duì)抗樣本的對(duì)抗訓(xùn)練算法

4 理論分析

5 實(shí)驗(yàn)

通過(guò)實(shí)驗(yàn)進(jìn)行驗(yàn)證：(1)相比于以C&W, Deepfool, FGSM, PGD以及M-DI2-FGSM為例的典型對(duì)抗樣本，2階對(duì)抗樣本在具有更高隱蔽性的同時(shí)具有更高攻擊成功率；(2)相比于PGD對(duì)抗訓(xùn)練，基于2階對(duì)抗訓(xùn)練抗御對(duì)當(dāng)前典型對(duì)抗樣本都具有魯棒性且具有更高的分類準(zhǔn)確率。

5.1 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)的數(shù)據(jù)集為MNIST和CIFAR10。MNIST是一個(gè)包含從數(shù)字0到9的10個(gè)類的手寫體數(shù)據(jù)集，共包含70000張手寫體數(shù)字圖像，每個(gè)圖像的大小為 2 8×28像素。實(shí)驗(yàn)選取60000張圖像作為訓(xùn)練數(shù)據(jù)，10000張圖像作為測(cè)試數(shù)據(jù)。CIFAR-10數(shù)據(jù)集由60000個(gè) 32×32彩色圖像組成，包含10個(gè)類。實(shí)驗(yàn)選取50000個(gè)圖像作為訓(xùn)練數(shù)據(jù)和10000圖像作為測(cè)試數(shù)據(jù)。訓(xùn)練集分為5個(gè)訓(xùn)練批次，每個(gè)批次有10000個(gè)圖像。對(duì)于MNIST我們使用精度為98.79%的標(biāo)準(zhǔn)LeNet網(wǎng)絡(luò)。對(duì)于CIFAR10我們使用精度為76.97%的標(biāo)準(zhǔn)AlexNet網(wǎng)絡(luò)。

5.2 評(píng)估指標(biāo)

實(shí)驗(yàn)使用4個(gè)評(píng)估指標(biāo)，包括?2，?∞，PSNR以及ASR。現(xiàn)有的研究普遍用?2的值來(lái)衡量全局添加的擾動(dòng)量，?∞來(lái)衡量局部(單個(gè)像素)添加的擾動(dòng)量。峰值信噪比(PSNR)作為最廣泛使用的評(píng)價(jià)圖片質(zhì)量的客觀度量，可以對(duì)對(duì)抗樣本的隱蔽性進(jìn)行有效評(píng)估。ASR稱為對(duì)抗樣本的攻擊成功率，目前被大多數(shù)文獻(xiàn)用于衡量攻擊能力。若生成對(duì)抗樣本的成功率不是100%，那么這些數(shù)據(jù)僅取了成功的那部分作為基數(shù)。

5.3 評(píng)估2階對(duì)抗樣本

本文采用機(jī)器學(xué)習(xí)模型攻防庫(kù)Cleverhans[19]中的C&W，Deepfool，F(xiàn)GSM，以及由原作者給出代碼的PGD和M-DI2-FGSM作比較實(shí)驗(yàn)。為保證評(píng)估的嚴(yán)謹(jǐn)性，實(shí)驗(yàn)采用相同模型架構(gòu)和測(cè)試數(shù)據(jù)集。其中，C&W的擾動(dòng)上限δ=0.3 ，ε=0.3，學(xué)習(xí)率為0.1；Deepfool的參數(shù)設(shè)置與C&W相同；而FGSM作為單步迭代法，ε=0.3；PGD作為FGSM的衍生方法，迭代擾動(dòng)固定為ε=0.3；M-DI2-FGSM中，ε=0.3。

實(shí)驗(yàn)中，從MNIST與CIFAR中隨機(jī)取出500張可以被DNN正確判斷的圖片進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果如表2所示。實(shí)驗(yàn)證明，在不同數(shù)據(jù)集中，相比于現(xiàn)有的典型攻擊方法，2階對(duì)抗樣本不但攻擊成功率更高，而且添加的擾動(dòng)更少。

表2 不同的對(duì)抗樣本在MNIST和CIFAR10的對(duì)比

5.4 對(duì)抗訓(xùn)練2階對(duì)抗樣本

本文分別采用自然樣例、2階對(duì)抗樣本，C&W,Deepfool, M-DI2-FGSM, FGSM以及PGD進(jìn)行攻擊和對(duì)抗訓(xùn)練，用于對(duì)比攻擊效果與防御效果。從MNIST與CIFAR10中隨機(jī)取出200張可以被初始模型正確判斷的圖片進(jìn)行測(cè)試。圖2是實(shí)驗(yàn)結(jié)果的熱力圖表示，橫軸表示各種方法產(chǎn)生的對(duì)抗樣本，縱軸表示用不同對(duì)抗樣本進(jìn)行對(duì)抗訓(xùn)練得到的對(duì)抗訓(xùn)練模型，圖中每一個(gè)數(shù)字代表某一個(gè)對(duì)抗訓(xùn)練模型對(duì)于某一類對(duì)抗樣本的分類準(zhǔn)確率。圖2的結(jié)果表明：(1)對(duì)抗訓(xùn)練產(chǎn)生的對(duì)抗訓(xùn)練模型對(duì)于特定攻擊具有魯棒性；(2)相比于PGD對(duì)抗訓(xùn)練，基于2階對(duì)抗樣本的對(duì)抗訓(xùn)練防御能夠防御現(xiàn)存典型1階對(duì)抗樣本，且具有更高的分類準(zhǔn)確率。

圖2 對(duì)抗訓(xùn)練DNN對(duì)于對(duì)抗樣本的分類準(zhǔn)確率

6 結(jié)束語(yǔ)

通過(guò)理論分析可知，2階對(duì)抗樣本的擾動(dòng)下界低于1階最強(qiáng)對(duì)抗樣本PGD，表明2階對(duì)抗樣本強(qiáng)于PGD，能夠更好地解決對(duì)抗訓(xùn)練的內(nèi)部最大化問(wèn)題。在MNIST和CIFAR10數(shù)據(jù)集上的實(shí)驗(yàn)表明，相較于現(xiàn)有的典型1階對(duì)抗樣本，2階對(duì)抗樣本擁有更高的攻擊成功率和更高的隱蔽性。相比于PGD對(duì)抗訓(xùn)練，基于2階對(duì)抗樣本的對(duì)抗訓(xùn)練防御能夠防御現(xiàn)存典型1階對(duì)抗樣本，且具有更高的分類準(zhǔn)確率。2階對(duì)抗樣本中參數(shù)經(jīng)驗(yàn)值的選取是通過(guò)大量實(shí)驗(yàn)得到的，將來(lái)對(duì)參數(shù)的選取機(jī)制有待進(jìn)一步研究。目前還未有研究者對(duì)對(duì)抗樣本的在線攻擊與線下攻擊進(jìn)行分析，在未來(lái)的工作中，我們將進(jìn)一步研究2階對(duì)抗樣本與其他對(duì)抗樣本在線攻擊與線下攻擊的不同特征。