面向?qū)箻颖竟舻囊苿幽繕朔烙?/h1>
2021-02-27 01:05:34王濱陳靚錢亞冠郭艷凱邵琦琦王佳敏
網(wǎng)絡與信息安全學報 2021年1期
王濱，陳靚，錢亞冠，郭艷凱，邵琦琦，王佳敏
面向?qū)箻颖竟舻囊苿幽繕朔烙?/p>
王濱1,2,3，陳靚1，錢亞冠1，郭艷凱1，邵琦琦1，王佳敏1
（1. 浙江科技學院大數(shù)據(jù)學院，浙江 杭州 310023； 2. 浙江大學電氣工程學院，浙江 杭州 310058；3. ?？低晹?shù)字技術有限公司網(wǎng)絡與信息安全實驗室，浙江 杭州 310058）
深度神經(jīng)網(wǎng)絡已被成功應用于圖像分類，但研究表明深度神經(jīng)網(wǎng)絡容易受到對抗樣本的攻擊。提出一種移動目標防御方法，通過Bayes-Stackelberg博弈策略動態(tài)切換模型，使攻擊者無法持續(xù)獲得一致信息，從而阻斷其構建對抗樣本。成員模型的差異性是提高移動目標防御效果的關鍵，將成員模型之間的梯度一致性作為度量，構建新的損失函數(shù)進行訓練，可有效提高成員模型之間的差異性。實驗結果表明，所提出的方法能夠提高圖像分類系統(tǒng)的移動目標防御性能，顯著降低對抗樣本的攻擊成功率。
對抗樣本；移動目標防御；Bayes-Stackelberg博弈
1 引言
隨著人工智能的發(fā)展，基于深度神經(jīng)網(wǎng)絡（DNN）的圖像分類技術被成功應用到多種任務中，如手寫字體識別[1]、自動監(jiān)控的對象分類[2]和自動駕駛[3]等。最近的研究表明，DNN存在嚴重的安全脆弱性，即在輸入圖像上添加一些精心設計的、不被人眼察覺的擾動，可欺騙DNN錯誤分類。這種添加了惡意擾動的樣本被稱為對抗樣本[4]。對抗樣本的出現(xiàn)限制了DNN在安全敏感領域的廣泛應用。為了更好地防御對抗樣本，研究人員提出對抗訓練防御方法[5]，將對抗樣本注入訓練數(shù)據(jù)，從而增強DNN的魯棒性。Madry等[6]將對抗訓練建模為最小?最大化對抗博弈，攻擊者生成對抗樣本最大化損失函數(shù)，而防守者在對抗樣本存在的情況下最小化損失函數(shù)，從而提高模型的魯棒性。
對抗訓練方法需要生成對抗樣本對分類模型進行數(shù)據(jù)增強。與對抗訓練防御對抗樣本不同，Sengupta等[7]借鑒移動目標防御[8]（MTD，moving target defense）的思想，將多個DNN模型構建成基于MTD的圖像分類系統(tǒng)，在運行過程中主動切換成員模型，以降低攻擊者的攻擊成功率，從而增強圖像分類系統(tǒng)的魯棒性。MTD主要是利用特定攻擊在不同的成員模型上的攻擊差異性，通過隨機切換成員模型以增加攻擊難度。但該工作的不足是：系統(tǒng)成員模型只使用簡單的訓練數(shù)據(jù)劃分，選擇不同的網(wǎng)絡結構和權重參數(shù)等方法，本文的實驗表明上述方法并不能有效地提高系統(tǒng)模型之間的差異性，因而實際的防御效果不佳。
本文圍繞如何提高模型之間的差異性這一關鍵問題，提出了差異性訓練方法，利用模型梯度之間的相關性來衡量模型差異性，以進一步改進MTD的性能。為此，構造新的損失函數(shù)，在成員模型的平均交叉熵損失的基礎上，增加模型差異性對數(shù)項，在最小化損失函數(shù)的同時，增大成員模型間的差異性。在此基礎上，再利用Bayes-Stackelberg博弈，獲得模型切換的最佳策略，從而有效地阻止對抗樣本攻擊。本文提出的改進移動目標防御被稱為DT-MTD（differential training MTD），并在ILSVRC2012[9]的競賽數(shù)據(jù)集上驗證了差異性訓練的有效性。實驗結果表明，相比于未使用差異性訓練的圖像分類系統(tǒng)，本文提出的DT-MTD可更進一步提高圖像分類系統(tǒng)的魯棒性。
2 預備知識
2.1 深度神經(jīng)網(wǎng)絡
2.2 對抗樣本和威脅模型
2.3 基于梯度生成對抗樣本
（1）FGSM
（2）PGD
（3）MI-FGSM
（4）M-DI2-FGSM
3 防御方法
本節(jié)介紹本文提出的差異性訓練方法，在此基礎上利用Bayes-Stackelberg博弈切換DNN，混淆攻擊者獲得的信息，使其難以選擇合適的代理模型，從而提高圖像分類系統(tǒng)的魯棒性。
3.1 差異性訓練
移動目標防御成功的關鍵是特定攻擊在圖像分類系統(tǒng)的成員模型上具有差異性，這種攻擊差異性的定義為
3.2 基于Bayes-Stackelberg博弈的模型切換
Stackelberg博弈[12]是一種非合作的、有先后次序的決策博弈，參與者包括先采取行動的領導者（leader）以及隨后啟動的跟隨者（follower）。領導者和跟隨者各自具有一個行動集合，參與者從集合中選擇一個行動形成策略。領導者首先發(fā)布一個混合策略，追隨者在領導者的策略下優(yōu)化自身收益，回應一個純策略。Bayes-Stackelberg博弈是將Stackelberg博弈擴展為多個類型的追隨者，適用于信息安全中的博弈建模。把它應用到DT-MTD中，求解得到貝葉斯?納什均衡，并將其作為最佳的模型切換策略。本文的領導者為圖像分類系統(tǒng)的防御者，追隨者為用戶（包括正常用戶和攻擊者），防御者和追隨者的目標都是最大化自己的收益。
4 實驗評估
4.1 實驗設置
本文實驗使用ILSVRC2012的競賽數(shù)據(jù)集，是ImageNet[14]的一個子集。將該數(shù)據(jù)集中的1.2×106張圖像作為訓練集，50 000張圖像作為驗證集，以及150 000張圖像作為測試集，包含1 000個類別標注，本文使用訓練集訓練DT-MTD的成員模型，在測試集上進行驗證，攻擊者使用測試集生成對抗樣本。實驗使用帶4個NVIDIA GeForce RTX 2080 Ti GPU的服務器，該服務器的操作系統(tǒng)是Ubuntu16.04.6 LTS，使用Python3.6、Ptorch1.2、PuLP2.1實現(xiàn)差異性訓練和DOBSS算法的求解。
實驗中的DT-MTD成員模型結構是{ GoogLeNet[15],VGG16[16],ResNet-50[17]}，利用算法1進行差異性訓練。表1是防御者與合法用戶在ILSVRC2012數(shù)據(jù)集的測試集上的收益，如表1中的 (91.3, 91.3)表示當防御者使用成員模型GoogLeNet對干凈圖像進行分類時，防御者的收益和用戶收益都是分類準確率91.3%。
算法1 差異性訓練算法
6) end for
7) end for
表1 防御者和合法用戶的博弈收益
根據(jù)假設的威脅模型，攻擊者知道DT-MTD的成員模型信息，可以構建出代理模型集合{ GoogLeNet，VGG16，ResNet-50 }。表2~表5是防御者和不同的攻擊者（FGSM 、PGD、MI-FGSM和M-DI2-FGSM）之間的收益矩陣。以攻擊者使用PGD生成對抗樣本為例，表3是防御者與PGD攻擊者的博弈收益。表3中數(shù)據(jù)(37.5, 62.5)表示攻擊者在代理模型GoogLeNet上使用PGD生成對抗樣本，攻擊成員分類模型VGG16時，防御者的收益為對抗樣本的分類準確率37.5%，攻擊者的收益是對抗樣本攻擊成功率62.5%。從表3還可以發(fā)現(xiàn)基于特定代理模型生成的對抗樣本，在不同成員模型上表現(xiàn)出攻擊差異性，如表3中的第3列，代理模型VGG16基于PGD生成的對抗樣本，對GoogLeNet的攻擊成功率為41.2%，而對ResNet-50的攻擊成功率為52.0%。這說明使用移動目標防御技術，切換成員模型可以降低攻擊者的攻擊成功率。
表2 防御者和FGSM攻擊者的博弈收益
表3 防御者和PGD攻擊者的博弈收益
表4 防御者和MI-FGSM攻擊者的博弈收益
表5 防御者和M-DI2-FGSM攻擊者的博弈收益
4.2 DT-MTD的魯棒性分析
對于4.1節(jié)中防御者和用戶的收益，可以通過求解式(11)得到防御者切換成員模型的策略和系統(tǒng)分類準確率。為了驗證DT-MTD的防御對抗樣本的有效性，在攻擊者出現(xiàn)的先驗概率下，將對抗樣本攻擊DT-MTD和單個成員模型的攻擊成功率進行對比，實驗結果如圖1所示，其中(a)、(b)、(c)和(d)分別對應攻擊者使用FGSM、PGD、MI-FGSM和M-DI2-FGSM生成的對抗樣本攻擊。
圖1 不同的攻擊者在不同概率下，使用DT-MTD的圖像分類系統(tǒng)與單個成員模型的攻擊成功率對比
Figure 1 Comparison of attack success rate of DT-MTD classification system with different attackers probability
4.3 參數(shù)λ對DT-MTD性能的影響
圖2 防御者的分類準確率λ與參數(shù)的關系
Figure 2 Relationship between defender's classification accuracy and parameter
表6 差異性訓練參數(shù)λ值(0,0.2,…,1)對圖像分類系統(tǒng)差分免疫的影響
5 結束語
本文首先介紹了深度學習安全問題領域的相關內(nèi)容，探討了圖像分類系統(tǒng)基于Bayes- Stackelberg博弈的移動目標防御，通過分析圖像分類系統(tǒng)的差分免疫，提出了差異性訓練成員模型方法。實驗表明，相比于成員模型未進行任何差異性處理，本文提出的差異性訓練可以顯著提高DNN的移動目標防御性能。未來的工作中，計劃將移動目標防御與已有的防御技術相結合，進一步探索深度學習模型的安全性研究。
[1]HOLI G, JAIN D K. Convolutional neural network approach for extraction and recognition of digits from bank cheque images[M]//Emerging Research in Electronics, Computer Science and Technology. 2019: 331-341.
[2]FOMIN I S, BAKHSHIEV A V. Research on convolutional neural network for object classification in outdoor video surveillance system[C]//International Conference on Neuroinformatics. 2019: 221-229.
[3]BUYVAL A, GABDULLIN A, LYUBIMOV M. Road sign detection and localization based on camera and lidar data[C]//Eleventh International Conference on Machine Vision (ICMV 2018). 2019: 1104125.
[4]SZEGEDY C, ZAREMBA W, SUTSKEVER I, et al. Intriguing properties of neural networks[J]. arXiv preprint arXiv:1312.6199, 2013.
[5]GOODFELLOW I J, SHLENS J, SZEGEDY C. Explaining and harnessing adversarial examples[J]. arXiv preprint arXiv:1412.6572, 2014.
[6]MADRY A, MAKELOV A, SCHMIDT L, et al. Towards deep learning models resistant to adversarial attacks[J]. arXiv preprint arXiv:1706.06083, 2017.
[7]SENGUPTA S, CHAKRABORTI T, KAMBHAMPATI S. MTDeep: moving target defense to boost the security of deep neural nets against adversarial attacks[M]. Proc GameSec, 2019.
[8]ZHUANG R, DELOACH S A, OU X. Towards a theory of moving target defense[C]//Proceedings of the First ACM Workshop on Moving Target Defense. 2014: 31-40.
[9]RUSSAKOVSKY O, DENG J, SU H, et al. ImageNet large scale visual recognition challenge[J]. International Journal of Computer Vision, 2015, 115(3): 211-252.
[10]DONG Y, LIAO F, PANG T, et al. Boosting adversarial attacks with momentum[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 9185-9193.
[11]XIE C, ZHANG Z, ZHOU Y, et al. Improving transferability of adversarial examples with input diversity[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 2730-2739.
[12]PARUCHURI P, PEARCE J P, TAMBE M, et al. An efficient heuristic approach for security against multiple adversaries[C]//In AAMAS. 2007.
[13]PARUCHURI P, PEARCE J P, MARECKI J, et al. Playing games for security: an efficient exact algorithm for solving Bayesian -Stackelberg games[C]//Proceedings of the 7th International Joint Conference on Autonomous Agents and Multiagent Systems- Volume 2. 2008: 895-902.
[14]DENG J, DONG W, SOCHER R, et al. ImageNet: a large-scale hierarchical image database[C]//IEEE Conference on Computer Vision & Pattern Recognition. IEEE, 2009.
[15]SZEGEDY C, LIU W, JIA Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 1-9.
[16]SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.
[17]HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 770-778.
Moving target defense against adversarial attacks
WANG Bin1,2,3, CHEN Liang1, QIAN Yaguan1, GUO Yankai1, SHAO Qiqi1, WANG Jiamin1
1. College of Science, Zhejiang University of Science and Technology, Hangzhou 310023, China 2. College of Electrical Engineering, Zhejiang University, Hangzhou 310058, China 3. Network and Information Security Laboratory, Hangzhou Hikvision Digital Technology Co., LTD, Hangzhou 310058, China
Deep neural network has been successfully applied to image classification, but recent research work shows that deep neural network is vulnerable to adversarial attacks. A moving target defense method was proposed by means of dynamic switching model with a Bayes-Stackelberg game strategy, which could prevent an attacker from continuously obtaining consistent information and thus blocked its construction of adversarial examples. To improve the defense effect of the proposed method, the gradient consistency among the member models was taken as a measure to construct a new loss function in training for improving the difference among the member models. Experimental results show that the proposed method can improve the moving target defense performance of the image classification system and significantly reduce the attack success rate against the adversarial examples.
adversarial examples, moving target defense, Bayes-Stackelberg game
TP393
A
10.11959/j.issn.2096?109x.2021012
2020?09?18；
2020?12?08
錢亞冠，qianyaguan@zust.edu.cn
國家重點研發(fā)計劃（2018YFB2100400）；國家電網(wǎng)公司總部科技項目（5700-202019187A-0-0-00）；2019年度杭州市領軍型創(chuàng)新團隊項目
TheNational Key R&D Program of China (2018YFB2100400), Science and Technology Project of State Grid Corporation of China (5700-202019187A-0-0-00), Hangzhou City Leading Innovation Team Project in 2019
王濱, 陳靚, 錢亞冠, 等. 面向?qū)箻颖竟舻囊苿幽繕朔烙鵞J]. 網(wǎng)絡與信息安全學報, 2021, 7(1): 113-120.
WANG B, CHEN L, QIAN Y G, et al. Moving target defense against adversarial attacks[J]. Chinese Journal of Network and Information Security, 2021, 7(1): 113-120.
王濱（1978?），男，山東泗水人，?？低晹?shù)字技術有限公司研究員，主要研究方向為人工智能安全、物聯(lián)網(wǎng)安全、密碼學等。
陳靚（1995? ），男，江蘇無錫人，浙江科技學院碩士生，主要研究方向為對抗深度學習、神經(jīng)網(wǎng)絡壓縮。
錢亞冠（1976?），男，浙江嵊州人，博士，浙江科技學院副教授，主要研究方向為人工智能安全、機器學習與大數(shù)據(jù)處理、對抗性機器學習。
郭艷凱（1994? ），男，河南駐馬店人，浙江科技學院碩士生，主要研究方向為深度學習圖像處理、對抗深度學習。
邵琦琦（1997?），女，浙江永嘉人，浙江科技學院碩士生，主要研究方向為深度學習安全。
王佳敏（1993?），女，浙江新沂人，浙江科技學院碩士生，主要研究方向為深度學習安全。
猜你喜歡
主編及編委會成員簡介城市建設理論研究（電子版）(2022年27期)2022-09-30 08:42:22 主編及編委會成員簡介城市建設理論研究（電子版）(2022年10期)2022-06-08 07:11:48 主編及編委會成員簡介城市建設理論研究（電子版）(2022年4期)2022-06-08 01:25:34 主編及編委會成員簡介城市建設理論研究（電子版）(2022年9期)2022-06-07 08:29:06 基于微分博弈的追逃問題最優(yōu)策略設計自動化學報(2021年8期)2021-09-28 07:20:18 螃蟹爬上“網(wǎng)” 收益落進兜今日農(nóng)業(yè)(2020年20期)2020-12-15 15:53:19 正面迎接批判愛你(2018年16期)2018-06-21 03:28:44 2015年理財“6宗最”誰能給你穩(wěn)穩(wěn)的收益金色年華(2016年1期)2016-02-28 01:38:19 東芝驚爆會計丑聞 憑空捏造1518億日元收益IT時代周刊(2015年8期)2015-11-11 05:50:38 有限次重復博弈下的網(wǎng)絡攻擊行為研究指揮與控制學報(2015年4期)2015-11-01 10:09:34
王濱，陳靚，錢亞冠，郭艷凱，邵琦琦，王佳敏
面向?qū)箻颖竟舻囊苿幽繕朔烙?/p>
王濱1,2,3，陳靚1，錢亞冠1，郭艷凱1，邵琦琦1，王佳敏1
（1. 浙江科技學院大數(shù)據(jù)學院，浙江 杭州 310023； 2. 浙江大學電氣工程學院，浙江 杭州 310058；3. ?？低晹?shù)字技術有限公司網(wǎng)絡與信息安全實驗室，浙江 杭州 310058）
深度神經(jīng)網(wǎng)絡已被成功應用于圖像分類，但研究表明深度神經(jīng)網(wǎng)絡容易受到對抗樣本的攻擊。提出一種移動目標防御方法，通過Bayes-Stackelberg博弈策略動態(tài)切換模型，使攻擊者無法持續(xù)獲得一致信息，從而阻斷其構建對抗樣本。成員模型的差異性是提高移動目標防御效果的關鍵，將成員模型之間的梯度一致性作為度量，構建新的損失函數(shù)進行訓練，可有效提高成員模型之間的差異性。實驗結果表明，所提出的方法能夠提高圖像分類系統(tǒng)的移動目標防御性能，顯著降低對抗樣本的攻擊成功率。
對抗樣本；移動目標防御；Bayes-Stackelberg博弈
1 引言
隨著人工智能的發(fā)展，基于深度神經(jīng)網(wǎng)絡（DNN）的圖像分類技術被成功應用到多種任務中，如手寫字體識別[1]、自動監(jiān)控的對象分類[2]和自動駕駛[3]等。最近的研究表明，DNN存在嚴重的安全脆弱性，即在輸入圖像上添加一些精心設計的、不被人眼察覺的擾動，可欺騙DNN錯誤分類。這種添加了惡意擾動的樣本被稱為對抗樣本[4]。對抗樣本的出現(xiàn)限制了DNN在安全敏感領域的廣泛應用。為了更好地防御對抗樣本，研究人員提出對抗訓練防御方法[5]，將對抗樣本注入訓練數(shù)據(jù)，從而增強DNN的魯棒性。Madry等[6]將對抗訓練建模為最小?最大化對抗博弈，攻擊者生成對抗樣本最大化損失函數(shù)，而防守者在對抗樣本存在的情況下最小化損失函數(shù)，從而提高模型的魯棒性。
對抗訓練方法需要生成對抗樣本對分類模型進行數(shù)據(jù)增強。與對抗訓練防御對抗樣本不同，Sengupta等[7]借鑒移動目標防御[8]（MTD，moving target defense）的思想，將多個DNN模型構建成基于MTD的圖像分類系統(tǒng)，在運行過程中主動切換成員模型，以降低攻擊者的攻擊成功率，從而增強圖像分類系統(tǒng)的魯棒性。MTD主要是利用特定攻擊在不同的成員模型上的攻擊差異性，通過隨機切換成員模型以增加攻擊難度。但該工作的不足是：系統(tǒng)成員模型只使用簡單的訓練數(shù)據(jù)劃分，選擇不同的網(wǎng)絡結構和權重參數(shù)等方法，本文的實驗表明上述方法并不能有效地提高系統(tǒng)模型之間的差異性，因而實際的防御效果不佳。
本文圍繞如何提高模型之間的差異性這一關鍵問題，提出了差異性訓練方法，利用模型梯度之間的相關性來衡量模型差異性，以進一步改進MTD的性能。為此，構造新的損失函數(shù)，在成員模型的平均交叉熵損失的基礎上，增加模型差異性對數(shù)項，在最小化損失函數(shù)的同時，增大成員模型間的差異性。在此基礎上，再利用Bayes-Stackelberg博弈，獲得模型切換的最佳策略，從而有效地阻止對抗樣本攻擊。本文提出的改進移動目標防御被稱為DT-MTD（differential training MTD），并在ILSVRC2012[9]的競賽數(shù)據(jù)集上驗證了差異性訓練的有效性。實驗結果表明，相比于未使用差異性訓練的圖像分類系統(tǒng)，本文提出的DT-MTD可更進一步提高圖像分類系統(tǒng)的魯棒性。
2 預備知識
2.1 深度神經(jīng)網(wǎng)絡
2.2 對抗樣本和威脅模型
2.3 基于梯度生成對抗樣本
（1）FGSM
（2）PGD
（3）MI-FGSM
（4）M-DI2-FGSM
3 防御方法
本節(jié)介紹本文提出的差異性訓練方法，在此基礎上利用Bayes-Stackelberg博弈切換DNN，混淆攻擊者獲得的信息，使其難以選擇合適的代理模型，從而提高圖像分類系統(tǒng)的魯棒性。
3.1 差異性訓練
移動目標防御成功的關鍵是特定攻擊在圖像分類系統(tǒng)的成員模型上具有差異性，這種攻擊差異性的定義為
3.2 基于Bayes-Stackelberg博弈的模型切換
Stackelberg博弈[12]是一種非合作的、有先后次序的決策博弈，參與者包括先采取行動的領導者（leader）以及隨后啟動的跟隨者（follower）。領導者和跟隨者各自具有一個行動集合，參與者從集合中選擇一個行動形成策略。領導者首先發(fā)布一個混合策略，追隨者在領導者的策略下優(yōu)化自身收益，回應一個純策略。Bayes-Stackelberg博弈是將Stackelberg博弈擴展為多個類型的追隨者，適用于信息安全中的博弈建模。把它應用到DT-MTD中，求解得到貝葉斯?納什均衡，并將其作為最佳的模型切換策略。本文的領導者為圖像分類系統(tǒng)的防御者，追隨者為用戶（包括正常用戶和攻擊者），防御者和追隨者的目標都是最大化自己的收益。
4 實驗評估
4.1 實驗設置
本文實驗使用ILSVRC2012的競賽數(shù)據(jù)集，是ImageNet[14]的一個子集。將該數(shù)據(jù)集中的1.2×106張圖像作為訓練集，50 000張圖像作為驗證集，以及150 000張圖像作為測試集，包含1 000個類別標注，本文使用訓練集訓練DT-MTD的成員模型，在測試集上進行驗證，攻擊者使用測試集生成對抗樣本。實驗使用帶4個NVIDIA GeForce RTX 2080 Ti GPU的服務器，該服務器的操作系統(tǒng)是Ubuntu16.04.6 LTS，使用Python3.6、Ptorch1.2、PuLP2.1實現(xiàn)差異性訓練和DOBSS算法的求解。
實驗中的DT-MTD成員模型結構是{ GoogLeNet[15],VGG16[16],ResNet-50[17]}，利用算法1進行差異性訓練。表1是防御者與合法用戶在ILSVRC2012數(shù)據(jù)集的測試集上的收益，如表1中的 (91.3, 91.3)表示當防御者使用成員模型GoogLeNet對干凈圖像進行分類時，防御者的收益和用戶收益都是分類準確率91.3%。
算法1 差異性訓練算法
6) end for
7) end for
表1 防御者和合法用戶的博弈收益
根據(jù)假設的威脅模型，攻擊者知道DT-MTD的成員模型信息，可以構建出代理模型集合{ GoogLeNet，VGG16，ResNet-50 }。表2~表5是防御者和不同的攻擊者（FGSM 、PGD、MI-FGSM和M-DI2-FGSM）之間的收益矩陣。以攻擊者使用PGD生成對抗樣本為例，表3是防御者與PGD攻擊者的博弈收益。表3中數(shù)據(jù)(37.5, 62.5)表示攻擊者在代理模型GoogLeNet上使用PGD生成對抗樣本，攻擊成員分類模型VGG16時，防御者的收益為對抗樣本的分類準確率37.5%，攻擊者的收益是對抗樣本攻擊成功率62.5%。從表3還可以發(fā)現(xiàn)基于特定代理模型生成的對抗樣本，在不同成員模型上表現(xiàn)出攻擊差異性，如表3中的第3列，代理模型VGG16基于PGD生成的對抗樣本，對GoogLeNet的攻擊成功率為41.2%，而對ResNet-50的攻擊成功率為52.0%。這說明使用移動目標防御技術，切換成員模型可以降低攻擊者的攻擊成功率。
表2 防御者和FGSM攻擊者的博弈收益
表3 防御者和PGD攻擊者的博弈收益
表4 防御者和MI-FGSM攻擊者的博弈收益
表5 防御者和M-DI2-FGSM攻擊者的博弈收益
4.2 DT-MTD的魯棒性分析
對于4.1節(jié)中防御者和用戶的收益，可以通過求解式(11)得到防御者切換成員模型的策略和系統(tǒng)分類準確率。為了驗證DT-MTD的防御對抗樣本的有效性，在攻擊者出現(xiàn)的先驗概率下，將對抗樣本攻擊DT-MTD和單個成員模型的攻擊成功率進行對比，實驗結果如圖1所示，其中(a)、(b)、(c)和(d)分別對應攻擊者使用FGSM、PGD、MI-FGSM和M-DI2-FGSM生成的對抗樣本攻擊。
圖1 不同的攻擊者在不同概率下，使用DT-MTD的圖像分類系統(tǒng)與單個成員模型的攻擊成功率對比
Figure 1 Comparison of attack success rate of DT-MTD classification system with different attackers probability
4.3 參數(shù)λ對DT-MTD性能的影響
圖2 防御者的分類準確率λ與參數(shù)的關系
Figure 2 Relationship between defender's classification accuracy and parameter
表6 差異性訓練參數(shù)λ值(0,0.2,…,1)對圖像分類系統(tǒng)差分免疫的影響
5 結束語
本文首先介紹了深度學習安全問題領域的相關內(nèi)容，探討了圖像分類系統(tǒng)基于Bayes- Stackelberg博弈的移動目標防御，通過分析圖像分類系統(tǒng)的差分免疫，提出了差異性訓練成員模型方法。實驗表明，相比于成員模型未進行任何差異性處理，本文提出的差異性訓練可以顯著提高DNN的移動目標防御性能。未來的工作中，計劃將移動目標防御與已有的防御技術相結合，進一步探索深度學習模型的安全性研究。
[1]HOLI G, JAIN D K. Convolutional neural network approach for extraction and recognition of digits from bank cheque images[M]//Emerging Research in Electronics, Computer Science and Technology. 2019: 331-341.
[2]FOMIN I S, BAKHSHIEV A V. Research on convolutional neural network for object classification in outdoor video surveillance system[C]//International Conference on Neuroinformatics. 2019: 221-229.
[3]BUYVAL A, GABDULLIN A, LYUBIMOV M. Road sign detection and localization based on camera and lidar data[C]//Eleventh International Conference on Machine Vision (ICMV 2018). 2019: 1104125.
[4]SZEGEDY C, ZAREMBA W, SUTSKEVER I, et al. Intriguing properties of neural networks[J]. arXiv preprint arXiv:1312.6199, 2013.
[5]GOODFELLOW I J, SHLENS J, SZEGEDY C. Explaining and harnessing adversarial examples[J]. arXiv preprint arXiv:1412.6572, 2014.
[6]MADRY A, MAKELOV A, SCHMIDT L, et al. Towards deep learning models resistant to adversarial attacks[J]. arXiv preprint arXiv:1706.06083, 2017.
[7]SENGUPTA S, CHAKRABORTI T, KAMBHAMPATI S. MTDeep: moving target defense to boost the security of deep neural nets against adversarial attacks[M]. Proc GameSec, 2019.
[8]ZHUANG R, DELOACH S A, OU X. Towards a theory of moving target defense[C]//Proceedings of the First ACM Workshop on Moving Target Defense. 2014: 31-40.
[9]RUSSAKOVSKY O, DENG J, SU H, et al. ImageNet large scale visual recognition challenge[J]. International Journal of Computer Vision, 2015, 115(3): 211-252.
[10]DONG Y, LIAO F, PANG T, et al. Boosting adversarial attacks with momentum[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 9185-9193.
[11]XIE C, ZHANG Z, ZHOU Y, et al. Improving transferability of adversarial examples with input diversity[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 2730-2739.
[12]PARUCHURI P, PEARCE J P, TAMBE M, et al. An efficient heuristic approach for security against multiple adversaries[C]//In AAMAS. 2007.
[13]PARUCHURI P, PEARCE J P, MARECKI J, et al. Playing games for security: an efficient exact algorithm for solving Bayesian -Stackelberg games[C]//Proceedings of the 7th International Joint Conference on Autonomous Agents and Multiagent Systems- Volume 2. 2008: 895-902.
[14]DENG J, DONG W, SOCHER R, et al. ImageNet: a large-scale hierarchical image database[C]//IEEE Conference on Computer Vision & Pattern Recognition. IEEE, 2009.
[15]SZEGEDY C, LIU W, JIA Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 1-9.
[16]SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.
[17]HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 770-778.
Moving target defense against adversarial attacks
WANG Bin1,2,3, CHEN Liang1, QIAN Yaguan1, GUO Yankai1, SHAO Qiqi1, WANG Jiamin1
1. College of Science, Zhejiang University of Science and Technology, Hangzhou 310023, China 2. College of Electrical Engineering, Zhejiang University, Hangzhou 310058, China 3. Network and Information Security Laboratory, Hangzhou Hikvision Digital Technology Co., LTD, Hangzhou 310058, China
Deep neural network has been successfully applied to image classification, but recent research work shows that deep neural network is vulnerable to adversarial attacks. A moving target defense method was proposed by means of dynamic switching model with a Bayes-Stackelberg game strategy, which could prevent an attacker from continuously obtaining consistent information and thus blocked its construction of adversarial examples. To improve the defense effect of the proposed method, the gradient consistency among the member models was taken as a measure to construct a new loss function in training for improving the difference among the member models. Experimental results show that the proposed method can improve the moving target defense performance of the image classification system and significantly reduce the attack success rate against the adversarial examples.
adversarial examples, moving target defense, Bayes-Stackelberg game
TP393
A
10.11959/j.issn.2096?109x.2021012
2020?09?18；
2020?12?08
錢亞冠，qianyaguan@zust.edu.cn
國家重點研發(fā)計劃（2018YFB2100400）；國家電網(wǎng)公司總部科技項目（5700-202019187A-0-0-00）；2019年度杭州市領軍型創(chuàng)新團隊項目
TheNational Key R&D Program of China (2018YFB2100400), Science and Technology Project of State Grid Corporation of China (5700-202019187A-0-0-00), Hangzhou City Leading Innovation Team Project in 2019
王濱, 陳靚, 錢亞冠, 等. 面向?qū)箻颖竟舻囊苿幽繕朔烙鵞J]. 網(wǎng)絡與信息安全學報, 2021, 7(1): 113-120.
WANG B, CHEN L, QIAN Y G, et al. Moving target defense against adversarial attacks[J]. Chinese Journal of Network and Information Security, 2021, 7(1): 113-120.
王濱（1978?），男，山東泗水人，?？低晹?shù)字技術有限公司研究員，主要研究方向為人工智能安全、物聯(lián)網(wǎng)安全、密碼學等。
陳靚（1995? ），男，江蘇無錫人，浙江科技學院碩士生，主要研究方向為對抗深度學習、神經(jīng)網(wǎng)絡壓縮。
錢亞冠（1976?），男，浙江嵊州人，博士，浙江科技學院副教授，主要研究方向為人工智能安全、機器學習與大數(shù)據(jù)處理、對抗性機器學習。
郭艷凱（1994? ），男，河南駐馬店人，浙江科技學院碩士生，主要研究方向為深度學習圖像處理、對抗深度學習。
邵琦琦（1997?），女，浙江永嘉人，浙江科技學院碩士生，主要研究方向為深度學習安全。
王佳敏（1993?），女，浙江新沂人，浙江科技學院碩士生，主要研究方向為深度學習安全。
猜你喜歡
城市建設理論研究（電子版）(2022年27期)2022-09-30 08:42:22
城市建設理論研究（電子版）(2022年10期)2022-06-08 07:11:48
城市建設理論研究（電子版）(2022年4期)2022-06-08 01:25:34
城市建設理論研究（電子版）(2022年9期)2022-06-07 08:29:06
自動化學報(2021年8期)2021-09-28 07:20:18
今日農(nóng)業(yè)(2020年20期)2020-12-15 15:53:19
愛你(2018年16期)2018-06-21 03:28:44
金色年華(2016年1期)2016-02-28 01:38:19
IT時代周刊(2015年8期)2015-11-11 05:50:38
指揮與控制學報(2015年4期)2015-11-01 10:09:34
