王 鑫，肖韜睿

（中國電子科技集團公司第十五研究所系統(tǒng)一部，北京 100083）

0 引 言

人臉識別（Face Recognition，F(xiàn)R）是一項重要的計算機視覺任務，廣泛用于解決身份驗證問題，人臉驗證（Face Verification，F(xiàn)V）是人臉識別的一個子任務，它可以判斷一對人臉圖像是否屬于同一身份［1］。在過去幾十年里，人臉驗證在移動支付、軍事、金融、監(jiān)控安全和邊境控制等各種應用場景中取得了巨大成就［2］。

深度神經(jīng)網(wǎng)絡（Deep-learning Neural Network，DNN）容易受到對抗樣本的影響，這些對抗樣本在圖像中添加了人類視覺無法察覺的微小擾動，以此來欺騙DNN 模型產生錯誤的預測［3］。對抗攻擊可以分為白盒攻擊和黑盒攻擊，白盒和黑盒是基于對攻擊者知識進行假設而區(qū)分出的2 種主要環(huán)境［4］。前者假設攻擊者可以訪問模型的參數(shù)值、體系結構、訓練方法、輸入、輸出和權重；而后者假設攻擊者只能訪問模型的輸入和輸出，但不知道有關模型的信息。

人臉屬性是表征人類面部特征的一系列生物特性，是現(xiàn)代安全系統(tǒng)中新興的軟生物識別技術之一。最近，基于生成對抗網(wǎng)絡（Generative Adversarial Network，GAN）的方法被用于操縱面部特征圖像，如StarGAN［5］、STGAN［6］和AttGAN［7］。本文提出一種有效的攻擊方法，稱為使用StarGAN 的語義對抗攻擊（SGAN-AA），旨在通過改變顯著面部特征來欺騙人臉驗證模型（FV 模型）。該方法除了通過修改每個輸入圖像的顯著面部特征來提高攻擊的可轉移性外，還可以有效地生成語義對抗樣本，這些特征會通過影響不同F(xiàn)V 模型的決策來欺騙這些模型。在白盒環(huán)境中，該方法使用基于目標人臉驗證（Target Face Verification，TFV）模型［8］的余弦相似度（Cosine Similarity，CS）［9］或可能性評分（Probability Score，PS）［10］來預測每個輸入圖像的最顯著屬性，然后通過特征空間中的StarGAN 模型來改變一個或多個屬性。注意力特征融合（Attention Feature Fusion，AFF）方法用于融合語義不一致的特征以生成逼真的圖像［11］。在黑盒環(huán)境中，SGAN-AA 依賴余弦相似度預測最顯著屬性，通過進行循環(huán)迭代順序地改變這些屬性直到生成對抗人臉圖像。

實證表明，預測最顯著屬性在成功攻擊中起著重要作用。SGAN-AA方法在黑盒環(huán)境中的攻擊成功率明顯優(yōu)于其他方法，并且在白盒環(huán)境中的假冒和躲閃攻擊中保持較高的攻擊成功率。

1 相關研究

1.1 對圖像的對抗攻擊

人們已經(jīng)提出了許多對抗樣本生成方法來欺騙不同的圖像分類模型，大多數(shù)研究都集中在通過向輸入圖像添加擾動來生成受限的對抗樣本。文獻［3］首先發(fā)現(xiàn)了圖像分類的對抗樣本的存在，該樣本將圖像少量部分轉換為不可檢測的，從而改變圖像的分類方式。文獻［12］提出了一種快速梯度符號方法（Fast Gradient Sign Method，F(xiàn)GSM），該方法使用神經(jīng)網(wǎng)絡的梯度來生成對抗樣本，但只是在每個像素上沿著梯度符號的方向應用了一步梯度更新。文獻［13］提出了一種基本迭代方法（Building Information Modeling，BIM），該方法將較小幅度的FGSM 擾動應用于多次迭代以提高攻擊成功率，并在每次迭代中修剪像素以避免大的變化。投影梯度下降（Projected Gradient Descent，PGD）［14］使合成的對抗樣本多樣化，是BIM方法的擴展。

1.2 對人臉識別的對抗攻擊

人們已經(jīng)提出了多種對抗攻擊來攻擊FR模型，可以分為3類：添加對抗擾動、操縱面部特征、物理攻擊。

第1 類攻擊方式是在特定區(qū)域添加人眼無法察覺的擾動來改變輸入圖像，文獻［15］提出了AdvFaces自動對抗方法，該方法通過生成對抗網(wǎng)絡在面部區(qū)域中產生最小擾動。第2 類是基于操縱面部特征，文獻［16］介紹了SemanticAdv，它可以通過改變單個面部特征來生成不受限制的對抗樣本。物理攻擊可以通過各種不同的工具產生，例如添加一些對抗面部裝飾、自然妝容和對抗補?。?7］，這些方法使攻擊在物理世界中更加危險。

2 人臉識別攻擊

2.1 問題定義

FV模型通過在數(shù)據(jù)集D（x，y）上訓練模型來識別輸入圖像，其中x是根據(jù)潛在分布采樣的人臉圖像，y是相應的真實標簽。根據(jù)f(x):x→y，該模型可以預測每個輸入人臉圖像的標簽，主要目標是生成與原始圖像x相似但能欺騙FV 模型的對抗人臉圖像xadv，即FV(xadv)=y' ≠y。

對抗攻擊分為2 種類型：躲閃攻擊和假冒攻擊［18］。躲閃攻擊（無目標攻擊）是為了欺騙目標模型，使得輸出是除原始身份之外的隨機身份；假冒攻擊（目標攻擊）通過將對抗人臉圖像識別為指定的目標身份來欺騙目標模型。生成一個xadv，躲閃攻擊使模型將xadv識別為不同的身份，使得FV(xadv)≠y，假冒攻擊使模型將xadv識別為目標身份，使得FV(xadv)=ytgt。

2.2 語義對抗攻擊

本文提出一種有效的攻擊方法SGAN-AA，該方法首先預測每個輸入圖像最顯著面部特征，然后在中間層生成xadv。該方法的白盒攻擊框架有2個步驟：

1）預測每個輸入圖像的最顯著屬性；

2）通過修改一個或多個最顯著屬性來生成xadv。

StarGAN 模型［5］由單個生成器G和鑒別器D組成，鑒別器經(jīng)過學習訓練將圖像從一個域轉換到另一個域，這些屬性通過使用StarGAN模型進行更改。

2.2.1 顯著屬性預測

SGAN-AA 使用余弦相似度CS 或可能性評分PS來檢測顯著屬性，相應的方法分別表示為SGANAA-CS 和SGAN-AA-PS。該方法應用CS 或PS 來預測最顯著屬性并比較它們的結果，然后在所有面部特征上重新訓練StarGAN 的G以用于顯著屬性的預測步驟。

1）余弦相似度CS。

SGAN-AA 通過計算TFV 模型［19］的輸出特征之間的余弦相似度來獲得顯著屬性，對于圖像屬性a=（a1，a2，…，aK），其中ai表示第i個屬性，K表示屬性總數(shù)。首先使用StarGAN 來改變輸入x的每個ai，以獲得圖像合成x*ai。然后通過TFV 模型提取合成圖像特征fx*ai和原始圖像特征fx，并計算它們的余弦相似度以得到Sai，即通過改變屬性ai來改變TFV輸出的變化程度。之后根據(jù)相似度分值按升序對a中的屬性進行排序，以獲得最顯著屬性C=（c1，c2，…，cK），其中ci是第i個排序的屬性，余弦相似度越小，屬性的顯著程度就越大。如式（1）所示，余弦相似度是一種測量2 個向量之間相似度的方法，范圍是從0到1。

2）可能性評分PS。

可能性評分法的基本思想是使用TFV 模型作為屬性預測模型（Att-Pred）來預測輸入的顯著屬性。對于輸入x中的每個屬性ai，使用Att-Pred 模型來獲得類可能性評分PS，如圖1 所示。如果在原始圖像x中發(fā)現(xiàn)a'i，則在合成圖像x*中去除它，所以本文方法使用StarGAN 模型來更改a'i以獲得x*a'i。輸入人臉圖像中的每個屬性對最終決策都有不同的影響，因此需要計算x和x*的a'i的概率值Pa'i以獲得變化程度，ΔPa'i表示在改變a'i以確定每個圖像x的最顯著屬性前后，圖像x中的概率值的變化程度。

圖1 FaceNet屬性預測模型輸出

其中：

這里，表示在改變屬性之后生成的圖像。

最后使用ΔPa'i按降序對屬性進行排序，以獲得最顯著屬性C，從而生成xadv，這些屬性代表了最佳的攻擊效果。

2.2.2 對抗人臉圖像生成

第2 步重點生成對抗人臉圖像，如圖2 所示。原始圖像和最顯著屬性被輸入編碼器（GE）以改變這些屬性，并從不同的層提取它們的特征，然后使用注意力特征融合框架（AFF 框架）來生成β并執(zhí)行特征之間的融合，之后將融合的特征發(fā)送到解碼器（GD）以獲得合成圖像。最后，TFV模型接收合成圖像和目標身份，以計算對抗損失并在特征級別優(yōu)化β值。為了生成xadv，SGAN-AA 使用單個或多個屬性應用2 種擾動，SGAN-AA-CS-M 和SGAN-AA-PS-M 分別表示CS和PS技術中用于多個屬性的方法。

圖2 SGAN-AA攻擊框架

1）對于單個屬性，在完成預測C=（c1，c2，…，cK）的第1 步后使用StarGAN 的生成器G，面部特征已經(jīng)在顯著屬性預測步驟中進行了訓練。G由編碼器GE和解碼GD器組成，如式（3）所示。GE獲取輸入圖像x和單個有效屬性c1并獲得中間層中的輸出特征，GD將該特征作為輸入并輸出合成圖像。

如圖2 所示，使用x作為具有顯著屬性c1的GE的輸入，然后從編碼器的conv層和殘差塊層中提取輸出特征，如式（4）和式（5）所示。

SGAN-AA 利用注意力特征融合AFF 方法來獲得融合的特征作為解碼器GD的輸入。注意力特征融合是一種基于多尺度通道注意力模塊（Multi-Scale Channel Attention Module，MS-CAM）將不同層次的特征組合在一起的框架，以克服輸入特征之間的語義不一致，生成更逼真的圖像。式（6）表示融合權重β，其中β∈［0，1］，是根據(jù)注意力特征融合中多尺度通道注意力模塊生成的注意力權重計算的，該方法會更新β的值，直到模型具有欺騙性。為了獲得更好的融合特征f*，在特征空間中應用插值，如式（7）所示。最后，解碼器GD將融合的特征f*作為輸入，并獲得合成的面部圖像x*作為輸出，如式（8）所示。

SGAN-AA通過特征級插值修改每個圖像的顯著屬性c1來獲得xadv，為了實現(xiàn)假冒攻擊，使用L2 損失函數(shù)來最小化xadv的人臉嵌入和目標圖像xtgt之間的距離，如式（9）所示。

對抗人臉圖像通過最大化特征空間中xadv和x之間的距離來躲閃攻擊，如下所示：

2）對于多個屬性，同樣使用StarGAN 的生成器G，但它在這種情況下用于更改特征空間中的多個顯著屬性C。在實驗中改變了2 個顯著屬性c1和c2，表示為獨熱向量，結果得到了變化較大的合成圖像。

2.2.3 黑盒環(huán)境中的SGAN-AA

為了進行成功的攻擊，需要2個步驟：

1）預測目標模型的最顯著屬性。這個步驟與白盒環(huán)境中的步驟類似，但只使用CS方法，因為它不需要訓練目標模型來預測屬性。

2）通過在迭代循環(huán)中用γ改變每個人臉圖像的最顯著屬性，進行線性搜索以找到影響生成的人臉圖像的最大γ值，直到輸出欺騙模型。

為了改變最顯著屬性C，SGAN-AA 使用StarGAN模型中的GE來獲得特征。但不同的是SGAN-AA 進行迭代循環(huán)，按照最顯著到最不顯著的順序來更改屬性，直到滿足對抗條件。這里使用具有變量γ值的雙線性插值來生成融合特征f*γi，根據(jù)置信度得分的變化進行線性搜索以找到最佳的γopt值。創(chuàng)建一個向量γ，它由從［0，1］中提取的100 個隨機值組成，該向量用于研究式（11）中每個值γ的影響，然后根據(jù)分數(shù)的變化來排列這些值。

對于假冒攻擊，選擇最佳的γopt值以減少生成人臉圖像的人臉嵌入與目標人臉圖像之間的距離。對于躲閃攻擊，選擇最佳的γopt值使生成人臉圖像的人臉嵌入和輸入的人臉圖像之間的距離最大。最后，用最優(yōu)γopt值來生成融合特征并將其反饋到解碼器，通過以下公式獲得x*：

為了保證生成的人臉圖像與原始人臉圖像保持語義相似，需要測量生成的人臉和輸入的人臉圖像之間的語義相似度sim，以過濾掉不真實的人臉圖像并控制其質量，當達到對抗標準并且語義相似度高于閾值th（sim＞th）時，就找到了對抗人臉圖像。重復上述步驟，在有序的顯著屬性中添加下一個顯著屬性，直到找到一個對抗樣本。

3 實驗設置

3.1 數(shù)據(jù)集

SGAN-AA 方法使用CelebA 數(shù)據(jù)集［20］來生成語義對抗人臉圖像，該數(shù)據(jù)集有202599 張人臉圖像，具有40 個人臉屬性和10177 個身份。實驗使用40 個面部特征來訓練StarGAN 模型，隨機選擇5000 個不同的身份作為原始圖像，并選擇5000 個相同的身份作為目標圖像。

3.2 目標人臉驗證模型

實驗選擇了6種最先進的FV 模型來評估SGANAA 的有效性，其中包含不同的模型架構和訓練損失函數(shù)，使用FaceNet［21］和ArcFace［19］作為白盒TFV 模型，這2個模型返回圖像的512維嵌入，此外還使用了另外2 種公開可用的模型SphereFace［22］和CosFace［23］進行評估，然后在不同的主干和損失函數(shù)下選擇訓練模型ResNet-101［24］和MobileFace［25］以驗證SGANAA在不同模型上的有效性，最后根據(jù)每個FV模型的誤報率（FPR）計算最佳閾值T。

3.3 基線

實驗采用了8 種基線方法來評估SGAN-AA，包括隨機選擇（Random Selection）方法，F(xiàn)GSM、BIM、PGD 和MI-FGSM 的典型一步攻擊方法，此外還包括人臉攻擊方法Sticker［26］和Face Mask［27］。SemanticAdv［16］的面部攻擊方法是與本文方法最相似的方法，也通過修改面部特征以生成對抗人臉圖像。對于Random Selection 方法，G1應用了4 個面部特征：頭發(fā)顏色、濃妝、性別和蒼白皮膚，而G2則應用微笑、微微張嘴、劉海、眼鏡和年輕；對于FGSM，將L2 攻擊的擾動設置為ε=0.2，將BIM 的迭代次數(shù)設置為20；對于像素值在［0，255］范圍內的PGD 和MI-FGSM，將擾動設置為ε=8。迭代次數(shù)為40，衰減因子μ=1.0。

3.4 評估指標

實驗使用幾個評估矩陣來評估在不同基線下的攻擊有效性，選擇攻擊成功率來評估SGAN-AA 生成的對抗人臉圖像，使用余弦相似度來測量圖像之間的相似度，并對每個TFV 模型使用閾值T來決定2 個身份之間的相似度是否匹配。在將特征歸一化為Ts=1-（T/2）之后，可以從歐幾里得閾值獲得余弦閾值Ts。

用于假冒攻擊的攻擊成功率計算如下：

其中ImagePairs 由SGAN-AA 生成的對抗人臉圖像和匹配的目標人臉組成。

用于躲閃攻擊的攻擊成功率計算如下：

其中ImagePairs 由SGAN-AA 生成的對抗人臉圖像和輸入面部圖像組成。

最后，計算均方誤差（MSE）和結構相似度指數(shù)測度（SSIM）以評估不同攻擊的原始人臉圖像x和對抗人臉圖像xadv之間的質量。

3.5 環(huán)境與細節(jié)

實驗使用Adam 優(yōu)化器，并在NVIDIARTX3090ti圖形處理器上進行，所有實驗的固定學習率為0.05，最多300次epochs。SGAN-AA 是使用PyTorch v1.7.0實現(xiàn)的，該方法訓練TFV模型以獲得每個屬性的類可能性評分PS。實驗基于具有不同身份的原始圖像和目標圖像執(zhí)行假冒攻擊，并基于具有相同身份的成對原始圖像執(zhí)行躲閃攻擊。所有選擇的人臉圖像都通過MTNN 檢測器來檢測并對齊，然后在112×112×3 像素范圍內得到調整后的圖像，但由于模型輸入的差異，每個模型內部將執(zhí)行特定的輸入。

4 實驗結果

為了驗證SGAN-AA 的有效性，實驗評估了該方法的對抗人臉圖像，并驗證其在不同的FV 模型下實現(xiàn)了更高的攻擊成功率，而且提高了對抗攻擊的可轉移性。黑盒環(huán)境下SGAN-AA 實現(xiàn)了高攻擊成功率，而且可以生成逼真、多樣化的對抗人臉圖像。表1 和表2 列出了各種方法的攻擊成功率，分別使用FaceNet 和ArcFace 模型生成對抗樣本進行假冒和躲閃攻擊。

表1 FaceNet模型生成對抗樣本進行攻擊（*表示白盒攻擊，粗體數(shù)字表示最高攻擊成功率）

表2 ArcFace模型生成對抗樣本進行攻擊（*表示白盒攻擊，粗體數(shù)字表示最高攻擊成功率）

4.1 白盒攻擊的比較

為了驗證SGAN-AA 方法的有效性，實驗首先將SGAN-AA 與白盒環(huán)境中的基線方法進行比較，在CelebA 數(shù)據(jù)集上使用FaceNet 和ArcFace 模型對這些基線方法進行訓練，然后計算每種方法的攻擊成功率。表1 中比較了SGAN-AA 和FaceNet 模型上白盒環(huán)境中的基線，用于假冒攻擊和躲閃攻擊。SGANAA 方法的所有變體都達到了近100%的攻擊成功率，證實了SGAN-AA 可以成功欺騙TFV 模型。表2中比較了SGAN-AA 和ArcFace 模型上白盒環(huán)境中的基線，用于假冒攻擊和躲閃攻擊。通過實驗得出結論，SGAN-AA 可以生成有效的對抗人臉圖像以在白盒環(huán)境中欺騙TFV模型。

4.2 黑盒攻擊的比較

大多數(shù)人臉識別系統(tǒng)不允許訪問神經(jīng)網(wǎng)絡的內部信息。在黑盒環(huán)境中，權重和網(wǎng)絡架構不包括在訓練過程中，因此有必要評估人臉識別在基于轉移和基于分數(shù)置信度的攻擊環(huán)境中的脆弱性。

4.2.1 可轉移性分析

不同模型之間的可轉移性是對抗樣本最重要的特性之一。為了驗證SGAN-AA 生成的對抗人臉圖像在2 個白盒模型下的可轉移性，實驗從FaceNet 和ArcFace模型生成的對抗人臉圖像中構建了一個數(shù)據(jù)集，然后評估5 種不同TFV 模型的攻擊成功率。觀察表1 可得，對于假冒攻擊，SGAN-AA 與各種基線相比實現(xiàn)了較高的攻擊成功率。相比之下，Sticker 和Face Mask 方法的攻擊成功率沒有超過17%，F(xiàn)GSM和BIM 方法在所有TFV 模型上表現(xiàn)出最弱的可轉移性，PGD、MI-FGSM、Random Selection 和SemanticAdv方法實現(xiàn)了比FGSM 和BIM 更好的可轉移性。這些攻擊的攻擊成功率在7.4%～32.4%之間，SGAN-AA 顯然優(yōu)于它們。

Random Selection 和SemanticAdv 方法也通過修改面部特征來進行對抗攻擊，但它們只改變隨機屬性或單個固定屬性，SGAN-AA-CS 對單個屬性的可轉移性在所有模型上都超過了其他方法。同樣，該方法在躲閃攻擊方面明顯優(yōu)于其他基線，如表1 所示，SGAN-AA-CS 針對SphereFace 生成的對抗人臉圖像比基線攻擊高出14.1～53.7個百分點。

如表2 所示，SGAN-AA 提高了ArcFace 模型生成的對抗人臉圖像相較于基線攻擊針對不同模型的可轉移性，主要原因是該方法改變了影響決策的最顯著屬性。SGAN-AA-CS 的主要優(yōu)點是它不需要為屬性預測任務訓練TFV模型，可以簡單高效地直接應用這些模型。MobileFace 由于權重較輕，容易受到Arc-Face 上生成的對抗人臉圖像的攻擊，而FaceNet 模型則很難轉移到其他模型。

4.2.2 基于分數(shù)置信度的攻擊比較

本文評估了基于分數(shù)置信度的SGAN-AA 黑盒攻擊的性能，以實驗驗證SGAN-AA 在黑盒環(huán)境中可以生成欺騙不同F(xiàn)V 模型的對抗圖像。實驗改進了SemanticAdv 方法（表示為ImSemanticAdv），以在隨機屬性選擇的基礎上向黑盒環(huán)境中添加多個屬性，然后將SGAN-AA 與ImSemanticAdv 進行比較，后者更改屬性的過程遵循相同的方法，即通過循環(huán)來改變隨機屬性直到達成對抗?；诜謹?shù)置信度的假冒和躲閃黑盒攻擊的主要結果如圖3 所示。SGAN-AA 在所有不同的模型中都優(yōu)于ImSemanticAdv，與ImSemanticAdv 相比，SGAN-AA 在假冒和躲閃攻擊下的平均攻擊成功率分別提高了13～29.8個百分點和9.9～54.7個百分點。因此，預測目標模型的最顯著屬性會提升攻擊的性能。

圖3 黑盒攻擊的平均攻擊成功率

5 結束語

本文提出了一種對抗攻擊方法SGAN-AA，用于在白盒和黑盒環(huán)境中生成語義對抗人臉圖像。在白盒環(huán)境中，SGAN-AA 首先通過TFV 預測每個輸入圖像的顯著屬性，并使用余弦相似度或可能性評分來確定最顯著屬性，然后使用特征空間中的StarGAN 模型來改變最顯著屬性。在黑盒環(huán)境中，SGAN-AA 循環(huán)更改有序的顯著屬性直到輸出對抗圖像，生成的對抗人臉圖像實現(xiàn)了良好的假冒和躲閃攻擊。結果表明，SGAN-AA 可以生成高質量且逼真的圖像，在白盒和黑盒環(huán)境中實現(xiàn)較高的攻擊成功率，并且表現(xiàn)出比許多常見的人臉攻擊方法更高的可轉移性。