面向人臉識別的口罩區(qū)域修復(fù)算法

李悅，錢亞冠，關(guān)曉惠，李蔚，王濱，顧釗銓

（1.浙江科技學(xué)院大數(shù)據(jù)學(xué)院，浙江 杭州 310023；2.浙江水利水電學(xué)院信息工程與藝術(shù)設(shè)計學(xué)院，浙江 杭州 310027；3.杭州?？低暰W(wǎng)絡(luò)與信息安全實驗室，浙江 杭州 310051；4.廣州大學(xué)網(wǎng)絡(luò)空間先進技術(shù)研究院，廣東 廣州 510006）

1 引言

基于深度學(xué)習(xí)的人臉識別技術(shù)已被廣泛應(yīng)用于金融、公安、教育等領(lǐng)域，其中 DeepFace[1]是應(yīng)用深度學(xué)習(xí)的經(jīng)典人臉識別算法，在 LFB（lable2 +aces in the wil2）[2]數(shù)據(jù)集上取得了97.35%的識別率，已經(jīng)接近人類的水平。最近提出的ArcFace[3]算法，則達(dá)到了99.8%的識別率。但目前的人臉識別算法在實際應(yīng)用中易受一些外部因素（如人臉遮擋、光照、面部表情、面部朝向等）的影響。其中，遮擋的影響最為顯著，可導(dǎo)致識別率降低10%左右[4]。

2020年年初，新型冠狀病毒肺炎疫情突然爆發(fā)，要求人們必須佩戴口罩進入公共場所。尤其在機場、火車站等需要計算機人臉識別的場所，口罩對人臉的遮擋必然會影響識別的效率和準(zhǔn)確率，而摘下口罩又會增加交叉感染的風(fēng)險。因此，如何在戴口罩的情況下實現(xiàn)高精度的人臉識別成為當(dāng)前急迫需要解決的問題。

事實上，遮擋條件下的人臉識別一直是該領(lǐng)域的研究熱點[5-6]。Bang等[7]提出了兩階段的重建方法：先檢測遮擋再恢復(fù)遮擋部分，這種聯(lián)合遮擋檢測和恢復(fù)方法可以產(chǎn)生有利于分類的良好全局特征。Zhang等[8]用去遮擋的自編碼網(wǎng)絡(luò)恢復(fù)被遮擋區(qū)域。Yuan等[9]利用3D重建修復(fù)人臉遮擋部位，但該方法需要與目標(biāo)身份相同的參考數(shù)據(jù)。Zhao等[6]以相同身份的人臉圖片為基礎(chǔ)，使用生成對抗網(wǎng)絡(luò)（generative a2versarial network，GAN）[10]生成無遮擋的人臉。Duan等[4]提出了 BoostGAN（boosting generative a2versarial network）先粗略后精細(xì)地恢復(fù)人臉。He等[11]提出一種人臉圖片編輯方法，通過屬性分類約束更加精確地修改人臉屬性。Iizuka等[12]和Li等[13]利用GAN，結(jié)合全局判別器與局部判別器，從整體以及局部區(qū)域判斷修復(fù)圖片的語義一致性。以全局判別器與局部判別器同時使用為基礎(chǔ)，ID-GAN（i2entity-2iversity generative a2versarial network）[14]將基于深度學(xué)習(xí)的識別器和基于GAN的判別器相結(jié)合，修復(fù)真實且保留身份的人臉。這類方法的缺陷是在生成遮擋區(qū)域邊緣時會失真。

但是這些方法并沒有專門針對口罩遮擋，因而去除口罩遮擋的效果不佳?？谡终趽趺娣e較大，鼻子以下的面部特征被掩蓋，可利用的特征關(guān)鍵點減少?？紤]人臉邊緣包含了大量的人臉結(jié)構(gòu)信息，如果以邊緣為基礎(chǔ)修復(fù)人臉，有可能產(chǎn)生更好的效果。因此，本文提出新的人臉口罩區(qū)域修復(fù)算法ID-EFCGAN（ID-e2ge to +ace con2itional generative a2versarial network），利用條件生成對抗網(wǎng)絡(luò)（con2itional generative a2versarial network，CGAN）[15]生成邊緣圖，在此基礎(chǔ)上再利用CGAN恢復(fù)被遮擋區(qū)域的人臉。為提升 ID-EFCGAN的性能，提出空間加權(quán)對抗損失和身份一致性損失訓(xùn)練上述網(wǎng)絡(luò)，其中身份一致性損失通過約束生成人臉與真實人臉有相似的特征表示，使生成人臉與真實人臉的身份信息一致，從而保證人臉識別效果。利用關(guān)鍵點信息構(gòu)建了兩個佩戴口罩的人臉數(shù)據(jù)集進行實驗，結(jié)果表明，佩戴口罩的人臉經(jīng)過本文的去遮擋處理后，可使 ArcFace的識別準(zhǔn)確率達(dá)到98.39%。

2 口罩遮擋下的人臉識別

針對佩戴口罩的人臉，本文不改變現(xiàn)有人臉識別算法，采取修復(fù)口罩遮擋部分的思路，提高人臉識別準(zhǔn)確率，具體過程如圖1所示。本文提出端到端的人臉修復(fù)模型ID-EFCGAN（以下簡稱ID-EFC），由邊緣生成網(wǎng)絡(luò)和區(qū)域填充網(wǎng)絡(luò)構(gòu)成，分為兩步去除口罩遮擋：（1）恢復(fù)人臉邊緣。對于戴口罩的人臉圖片，利用人臉關(guān)鍵點信息定位口罩，并生成口罩掩碼。借助口罩掩碼獲得口罩區(qū)域缺失的人臉圖像。利用邊緣生成網(wǎng)絡(luò)恢復(fù)口罩缺失區(qū)域的邊緣。（2）口罩缺失區(qū)域填充?；诨謴?fù)的邊緣圖，區(qū)域填充網(wǎng)絡(luò)還原遮擋區(qū)域的人臉。最后，利用已有的人臉識別算法對去除口罩遮擋的人臉進行識別。

圖1 去除口罩遮擋實現(xiàn)人臉識別的流程

邊緣生成網(wǎng)絡(luò)和區(qū)域填充網(wǎng)絡(luò)均采用 CGAN的結(jié)構(gòu)，由生成器和判別器組成。為方便后續(xù)描述，將邊緣生成網(wǎng)絡(luò)的生成器和判別器分別記為G1和D1，區(qū)域填充網(wǎng)絡(luò)的生成器和判別器分別記為G1和D1。用C表示人臉邊緣圖，X表示人臉圖，將戴口罩的人臉圖片記為Xwear，借助口罩掩碼獲得的口罩區(qū)域缺失的人臉圖記為Xmask，真實的無遮擋人臉圖記為Xgt，其灰度圖和邊緣圖分別記為Xgray和Cgt。

2.1 邊緣生成網(wǎng)絡(luò)

為了生成口罩區(qū)域的人臉邊緣，需先定位口罩并獲得口罩區(qū)域缺失的人臉圖。利用人臉關(guān)鍵點信息，結(jié)合先驗知識初步獲取口罩的位置和形狀。由于每張圖片中的頭部姿勢和臉部大小不同，在算法中對口罩形狀的大小以及角度進行自動調(diào)整。根據(jù)獲取的口罩位置和形狀信息，生成與人臉圖片同樣大小的口罩掩碼，記為M。該掩碼口罩區(qū)域像素值為1，其余區(qū)域像素值為0。相比用矩形框定位口罩，本文方法更加精準(zhǔn)，不會過度擴大遮擋面積。利用式（3）獲得口罩區(qū)域缺失的人臉圖Xmask。

其中，⊙為Ha2amar2乘積。

在獲得Xmask后，進一步利用邊緣生成網(wǎng)絡(luò)還原缺失區(qū)域的人臉邊緣，通過生成器G1與判別器D1的動態(tài)博弈，生成盡可能真實的無遮擋邊緣圖（如圖2所示）。具體步驟為：

圖2 邊緣生成網(wǎng)絡(luò)的結(jié)構(gòu)

（1）獲取Xmask的灰度圖和邊緣圖，分別記為Xgray_mask和Cmask，其中，邊緣圖利用Canny邊緣檢測器[16]獲??；

（2）將獲得的灰度圖Xgray_mask輸入生成器G1，邊緣圖Cmask作為生成器G1的條件，生成無遮擋的邊緣圖Cpre2；

（3）獲得無遮擋邊緣圖Cpre2后，判別器D1不僅判斷Cpre2是來自真實數(shù)據(jù)還是生成器G1，而且判斷生成的Cpre2與灰度圖Xgray是否匹配；

（4）利用式（4）獲得原始的無遮擋邊緣圖Cgt和Cpre2的組合，記為Ccomp：

Ccomp中的無遮擋區(qū)域的邊緣來自Cgt，遮擋區(qū)域的邊緣來自生成器的預(yù)測Cpre2。

2.2 區(qū)域填充網(wǎng)絡(luò)

在獲得組合邊緣圖Ccomp后，進一步利用區(qū)域填充網(wǎng)絡(luò)填充Ccomp生成人臉，通過生成器G2和判別器D2的動態(tài)博弈，生成盡可能真實的無遮擋人臉圖（如圖3所示）。具體過程為：

圖3 區(qū)域填充網(wǎng)絡(luò)的結(jié)構(gòu)

（1）將缺失的人臉圖Xmask和組合邊緣圖Ccomp輸入生成器G2，其中Ccomp作為生成器G2的條件，生成無遮擋的人臉圖片Xpre2；

（2）獲得無遮擋人臉圖Xpre2后，判別器D2不僅辨別出生成器G2“偽造”的Xpre2，而且判斷生成的Xpre2與邊緣圖Ccomp是否匹配；

（3）借助式（5）獲得原始的無遮擋人臉圖Xgt和Xpre2的組合，記為Xcomp：

Xcomp中的無遮擋區(qū)域來自Xgt，遮擋區(qū)域來自G2生成的Xpre2。在獲得無遮擋人臉圖片Xcomp后即可進行識別。

2.3 空間加權(quán)對抗損失

圖4（a）展示了遮擋區(qū)域與未遮擋區(qū)域?qū)箵p失函數(shù)的分布，可以看到兩個區(qū)域的分布存在差異，無差別地對待這兩個區(qū)域可能會影響生成圖片的質(zhì)量。為此，本文引入空間加權(quán)對抗損失?？紤]遮擋可看作大面積空間連續(xù)噪聲[5]，本文對口罩遮擋區(qū)域和未遮擋區(qū)域的對抗損失賦予不同的權(quán)重，定義空間加權(quán)對抗損失為：

其中，W稱為空間權(quán)重，大小為N×N的矩陣，其中每個元素表示相應(yīng)區(qū)域損失的權(quán)重。W中的元素僅有兩種取值，分別為口罩區(qū)域?qū)?yīng)的權(quán)重取值和未遮擋區(qū)域?qū)?yīng)的權(quán)重取值（如口罩區(qū)域?qū)?yīng)的權(quán)重均為 0.75，未遮擋區(qū)域?qū)?yīng)的權(quán)重均為1），該部分的具體取值將在實驗部分討論。引入空間加權(quán)對抗損失后，兩個區(qū)域的分布更加接近，如圖4(b)所示，這表明空間加權(quán)對抗損失更加合理地對待這兩個區(qū)域。

圖4 被口罩遮擋區(qū)域與無遮擋區(qū)域?qū)箵p失函數(shù)的分布

2.4 身份一致性損失

去除人臉口罩遮擋后的人臉識別準(zhǔn)確率取決于：

（1）生成的人臉要盡可能真實；

（2）生成人臉Xpre2與真實人臉Xgt的身份要一致。

為此，本文在GAN的結(jié)構(gòu)中引入一個訓(xùn)練好的識別網(wǎng)絡(luò)，用于計算身份一致性損失，度量生成人臉與真實人臉的身份特征之間的距離，使生成人臉與真實人臉在語義上更加相似：

其中，F(xiàn)為預(yù)訓(xùn)練好的人臉識別模型，提取身份判別所需的人臉特征；Xg′t和Xp′re2分別是經(jīng)過人臉檢測器MTCNN（multi-task convolutional neural network）[17]裁剪對齊后的真實人臉和生成人臉。通過最小化身份一致性損失，真實人臉的身份特征引導(dǎo)著人臉的生成，使得生成人臉在身份特征空間中逼近真實人臉，從而保留大量身份信息。

為了實現(xiàn)邊緣圖到人臉圖這兩種不同風(fēng)格圖像之間的轉(zhuǎn)換，本文引入感知損失[18]與風(fēng)格損失[19]，與本文設(shè)計的身份一致性損失、空間加權(quán)對抗損失加權(quán)求和作為總的損失函數(shù)訓(xùn)練區(qū)域填充網(wǎng)絡(luò)。風(fēng)格損失通過計算預(yù)訓(xùn)練網(wǎng)絡(luò)不同層特征圖之間的距離，衡量兩張圖片之間高級感知及語義差別：

其中，Ni是第i層激活映射的元素個數(shù)，φi是VGG-19網(wǎng)絡(luò)的第i層激活映射。風(fēng)格損失利用表示風(fēng)格特征的 Gram矩陣[20]，計算風(fēng)格特征之間的絕對誤差，衡量兩張圖片的風(fēng)格差異。風(fēng)格損失可以有效避免棋盤效應(yīng)，對于大小為Ci×Hj×Wj的特征映射，風(fēng)格損失函數(shù)定義為：

其中，是由激活映射iφ構(gòu)造的大小為jj C×C的Gram矩陣。

為了提高生成圖片的質(zhì)量，在區(qū)域填充網(wǎng)絡(luò)的損失函數(shù)中引入本文提出的空間加權(quán)對抗損失函數(shù)，對口罩區(qū)域的損失賦予與其他位置不同的權(quán)重。區(qū)域填充網(wǎng)絡(luò)的空間加權(quán)對抗損失：

最終得到區(qū)域填充網(wǎng)絡(luò)生成器G2和判別器D2的損失分別如下：

利用LG2訓(xùn)練區(qū)域填充網(wǎng)絡(luò)生成器G2，利用LD2訓(xùn)練區(qū)域填充網(wǎng)絡(luò)判別器D2。

3 實驗設(shè)置和效果評估

首先，定性和定量地分析生成圖片的質(zhì)量；然后，分析空間加權(quán)對抗損失的有效性；最后，從人臉識別的準(zhǔn)確率角度評估本文模型是否更好地保留了身份信息。

3.1 實驗設(shè)置

目前用于人臉識別的公共數(shù)據(jù)集主要有CASIA-BebFace[21]和 LFB[2]。CASIA-BebFace用于身份鑒定和人臉識別模型的訓(xùn)練和測試，包含10 575個身份的494 414張圖像，每張圖片的大小為250 2pi×250 2pi。LFB用于人臉識別模型的測試，包含5 749個身份的13 233張人臉圖像，絕大部分人僅有一張圖片，每張圖片的大小為250 2pi×250 2pi。但以上兩個數(shù)據(jù)集中的人臉均未戴口罩，為此本文借助關(guān)鍵點信息，將口罩添加到人臉圖片上，合成了兩個戴口罩的數(shù)據(jù)集 CASIABebFace mask和 LFB mask。CASIA-BebFace mask包含約42萬張圖片，其中34萬張用于訓(xùn)練，4萬張用于驗證，其余用于測試；LFB mask包含 13 170張人臉圖片，用于測試。測試集中的人臉身份均沒有在訓(xùn)練集中出現(xiàn)。

本文所有實驗均在4×GeForce RTX 2 080ti服務(wù)器上進行，生成器以參考文獻[18]為基礎(chǔ)構(gòu)建，判別器使用PatchGAN[22]，網(wǎng)絡(luò)的所有層都使用實例歸一化（instance normalization，IN）。實驗使用的人臉識別模型為ArcFace。

設(shè)置Can2y邊緣檢測器的參數(shù)σ為2，損失函數(shù)的權(quán)重分別為λa2v,1=1，λa2v,2=λp=0.1，λs=250，λi2=1。分兩個階段訓(xùn)練：第一階段，分別訓(xùn)練生成器G1和G2直到收斂，設(shè)置生成器G1和判別器D1的學(xué)習(xí)率分別為10-4和10-5，使用A2am優(yōu)化器優(yōu)化，設(shè)置參數(shù)β1=0，β2=0.9。第二階段，聯(lián)合訓(xùn)練生成器G1和G2，設(shè)置生成器和判別器的學(xué)習(xí)率分別為10-5和10-6。

3.2 生成圖片的質(zhì)量

本文分別展示邊緣生成網(wǎng)絡(luò)和區(qū)域填充網(wǎng)絡(luò)修復(fù)的邊緣圖（如圖5所示）和人臉圖（如圖6所示）。圖5中從左往右各列依次為真實的人臉圖Xgt、戴口罩的人臉圖Xwear、口罩區(qū)域缺失的人臉灰度圖Xgray_mask、口罩區(qū)域缺失的人臉邊緣圖Cmask、預(yù)測的人臉邊緣圖Cpre2、組合邊緣圖Ccomp和真實的人臉邊緣圖Cgt。圖6中從左往右各列依次為真實的人臉圖Xgt、戴口罩的人臉圖Xwear、口罩區(qū)域缺失的人臉圖Xmask、組合邊緣圖Ccomp、預(yù)測的人臉圖Xpre2和組合人臉圖Xcomp。從圖5和圖6可以看出，基于人臉邊緣圖恢復(fù)了被口罩遮擋的區(qū)域，并保留了原圖中未被遮擋的區(qū)域。

圖5 邊緣生成網(wǎng)絡(luò)生成的人臉邊緣圖示例

圖6 區(qū)域填充網(wǎng)絡(luò)生成的人臉圖示例

本文從視覺效果定性分析去除口罩后的圖片質(zhì)量。圖7和圖8展示了人臉頭部姿勢、光照和口罩樣式不同的人臉圖片。第一行是姿勢和光線不同的戴口罩人臉圖片，第二行是未戴口罩的真實人臉，第三行是 ID-EFC去除口罩后的人臉圖片，接近第二行的真實人臉。實驗結(jié)果表明，ID-EFC的有效性不受頭部姿勢、光照和口罩樣式的影響。盡管測試數(shù)據(jù)集和訓(xùn)練數(shù)據(jù)集中的人物身份無一相同，包括頭部姿勢、臉部大小和口罩的遮擋形狀也不相同，但ID-EFC仍能生成沒有虛假邊緣和區(qū)域的人臉圖片，恢復(fù)大部分細(xì)節(jié)，取得良好的視覺效果。

圖7 ID-EFC在CASIA-BebFace mask數(shù)據(jù)集上去口罩遮擋人臉示例

圖8 ID-EFC在LFB mask數(shù)據(jù)集上去口罩遮擋的人臉示例

本文以未引入空間加權(quán)對抗損失和身份一致性損失的模型為基準(zhǔn)模型，命名為EFCGAN（e2ge to +ace con2itional generative a2versarial network），簡稱為EFC，將其與ID-EFC進行實驗對比。圖9給出了各種模型在CASIA-BebFace mask數(shù)據(jù)集上去除口罩遮擋后的部分結(jié)果。圖9中第一行和最后一行分別為戴口罩的人臉Xwear和真實人臉Xgt，中間三行中從上往下依次為使用矩形掩碼訓(xùn)練的模型 EFCroc、使用本文口罩掩碼訓(xùn)練的模型EFCmask和ID-EFC去除口罩后的人臉?？梢钥闯?，使用 EFCroc得到的人臉不夠真實，容易產(chǎn)生虛假區(qū)域。使用EFCmask去遮擋的效果明顯提升，人臉變得真實，表明本文生成口罩掩碼的有效性。但EFCmask修復(fù)的人臉在嘴巴和鼻子等關(guān)鍵部位有些失真，因為該模型未充分考慮身份信息。相比之下，ID-EFC修復(fù)的鼻子和嘴巴部位更真實、自然，這是因為引入了身份一致性損失，有利于身份細(xì)節(jié)的恢復(fù)。

圖9 不同模型在CASIA-BebFace mask數(shù)據(jù)集上去除口罩的人臉示例

本文進一步用PSNR和SSIM這兩個常用的圖像質(zhì)量評價指標(biāo)定量分析修復(fù)圖片的質(zhì)量。各模型去除口罩遮擋后的圖片對應(yīng)的PSNR和SSIM見表1。從表1中的結(jié)果看，EFCroc的兩項指標(biāo)均為最低，ID-EFC的兩項指標(biāo)最高，而EFCmask的兩項指標(biāo)居中，說明ID-EFC生成的人臉圖片質(zhì)量最好，這與之前的定性分析結(jié)論是一致的。

表1 不同模型生成圖片的PSNR和SSIM

3.3 空間加權(quán)對抗損失的效果

下面將進一步驗證空間加權(quán)對抗損失對提升圖片質(zhì)量的效果，對比引入空間加權(quán)對抗損失La2v（包括La2v_1和La2v_2）前后 EFCmask模型在CASIA-BebFace mask和LFB mask上的PSNR和SSIM 值（見表2）。表2中引入La2v的 EFCmask模型修復(fù)圖片的PSNR和SSIM值均較高，說明La2v對提升圖片質(zhì)量有較好的效果。為了進一步研究口罩區(qū)域損失的權(quán)重取值對生成圖片質(zhì)量的影響，固定無遮擋區(qū)域的權(quán)重均為1，口罩區(qū)域的權(quán)值wmask分別取0.5、0.75、1、1.25和1.5，實驗結(jié)果如圖10所示。權(quán)重wmask取值為1時，表示模型 EFCmask的對抗損失沒有引入空間權(quán)重。從圖10可以看出，權(quán)重小于1時的PSNR高于權(quán)重大于1時的PSNR，并且在權(quán)重為0.75時，PSNR最高。因此，本文選取口罩區(qū)域?qū)箵p失的權(quán)重為 0.75，無遮擋區(qū)域?qū)箵p失的權(quán)重為1。

表2 空間加權(quán)對抗損失使用前后的結(jié)果對比

圖10 口罩區(qū)域?qū)箵p失權(quán)重取值對PSNR的影響

3.4 人臉識別效果

通過對比添加身份一致性損失Li2和空間加權(quán)對抗損失La2v（包括La2v_1和La2v_2）前后模型對遮擋下人臉識別的影響，證明ID-EFC能更好地保留身份信息。首先將人臉對齊裁剪成尺寸為112 2pi×112 2pi的圖片，用ArcFace提取裁剪對齊后的人臉特征，然后驗證成對人臉圖片是否屬于同一身份。成對圖片中一個是圖庫中未戴口罩的人臉，另一個是戴口罩的人臉或去除口罩遮擋的人臉。使用模型去除口罩后的人臉進行識別的準(zhǔn)確率見表3。

表3中最后一列，ArcFace在LFB數(shù)據(jù)集上的準(zhǔn)確率高達(dá)99.82%，但是當(dāng)人臉存在口罩遮擋，對遮擋人臉不進行任何處理，直接基于整張遮擋人臉進行識別時，其在LFB mask數(shù)據(jù)集上的準(zhǔn)確率只有94.26%，下降了5.56%，說明口罩遮擋的確會影響人臉識別準(zhǔn)確率。以ArcFace在LFB mask數(shù)據(jù)集上的準(zhǔn)確率94.26%為比較基準(zhǔn)，從左往右對比：ArcFace在EFCroc修復(fù)的人臉數(shù)據(jù)上的準(zhǔn)確率只有93.87%，低于直接識別整張遮擋人臉的準(zhǔn)確率（94.26%）；ArcFace在EFCmask修復(fù)的人臉數(shù)據(jù)上的準(zhǔn)確率為97.98%，較遮擋下人臉識別準(zhǔn)確率提高了 3.72%；EFCmask加入La2v后，準(zhǔn)確率提高了 3.8%；加入Li2后，準(zhǔn)確率提高了3.88%。而同時引入La2v和Li2后，ID-EFC將遮擋下人臉識別準(zhǔn)確率提升了 4.13%，最終準(zhǔn)確率為98.39%，說明 ID-EFC的模型能更好地保留身份信息。

表3 不同模型在LFW mask數(shù)據(jù)集上的人臉識別準(zhǔn)確率

圖11更直觀地展示了ArcFace在各個模型去除口罩后的人臉數(shù)據(jù)上進行人臉識別的 ROC曲線。GT和OCC分別表示無口罩遮擋和口罩遮擋下人臉識別的ROC曲線。隨著空間加權(quán)損失與身份一致性損失的加入，AUC值不斷增大，說明人臉識別的效果變好。通過AUC值可以發(fā)現(xiàn)，遮擋條件下，ID-EFC（EFCmask+La2v+Li2）對提高識別準(zhǔn)確率的效果最好。

圖11 在LFB mask數(shù)據(jù)集上人臉識別ROC曲線

本文通過比較不同模型修復(fù)的人臉的身份特征，進一步分析ID-EFC取得較好效果的原因。利用t-SNE[23]將512維的身份特征降至2維，觀察屬于同一身份特征的聚集性與可分性，可視化結(jié)果如圖12所示。圖12(a)(b)(c)分別表示口罩遮擋下的人臉、EFCmask修復(fù)的人臉和ID-EFC修復(fù)的人臉的身份特征。圖中同一形狀的點表示屬于同一個身份的特征。由圖12(a)可發(fā)現(xiàn)，口罩遮擋下不同身份的人臉在身份特征上存在重疊，因此即使性能優(yōu)良的 ArcFace也無法在遮擋的情況下保持高精度的準(zhǔn)確率。用EFCmask（如圖12(b)所示）去除遮擋后的人臉特征也仍然存在部分重疊。而ID-EFC（如圖12(c)所示）修復(fù)的人臉特征實現(xiàn)了最大的聚集度，容易根據(jù)身份特征對其進行分組，顯示了身份一致?lián)p失對提高口罩遮擋下人臉識別準(zhǔn)確率的有效性。

圖12 身份特征可視化

3.5 口罩類型對識別效果的影響

為了進一步研究不同類型的口罩遮擋對人臉識別的影響，本文分別測試不同類型口罩遮擋下的識別準(zhǔn)確率，結(jié)果見表4。本文使用黑、白和藍(lán)3種口罩，對人臉的遮擋面積分別約為40%、39%和37%，在這3種口罩遮擋下，ArcFace的識別準(zhǔn)確率分別為91.23%、95.77%和93.18%，見表4。其中遮擋面積為 40%的黑色口罩遮擋下的識別準(zhǔn)確率最低，說明該種口罩對人臉識別效果的影響較大。

表4 不同類型口罩遮擋下的人臉識別準(zhǔn)確率

為了進一步分析遮擋面積和口罩顏色對識別效果的影響，本文分別測試不同顏色和不同面積的口罩遮擋下的識別準(zhǔn)確率，結(jié)果見表5。

表5 不同面積和顏色的口罩遮擋下人臉識別準(zhǔn)確率

可以發(fā)現(xiàn)，在口罩顏色相同的條件下，識別準(zhǔn)確率隨著遮擋面積增加而逐漸下降，這說明遮擋面積對識別效果有一定的影響。除此之外，在遮擋面積相同的情況下，黑、白、藍(lán)3種口罩遮擋會對識別效果產(chǎn)生不同程度的影響，以 35%遮擋面積為例，黑、白、藍(lán)3種口罩遮擋下的識別準(zhǔn)確率分別為92.61%、96.24%和93.68%，說明黑色口罩遮擋對人臉識別模型性能的影響最為嚴(yán)重，藍(lán)色次之，白色最小。

4 結(jié)束語

本文提出了一個人臉口罩區(qū)域修復(fù)深度學(xué)習(xí)模型ID-EFC，并設(shè)計了空間加權(quán)對抗損失和身份一致性損失對其訓(xùn)練。實驗表明，空間加權(quán)對抗損失的引入能有效提升生成圖片的質(zhì)量；身份一致性損失的引入能更好地保留生成圖片的身份信息，這兩種損失在口罩區(qū)域的修復(fù)中起著重要作用。ID-EFC的應(yīng)用，可提高口罩遮擋下的人臉識別準(zhǔn)確率。此外，ID-EFC能夠處理不同頭部姿勢、光照和口罩樣式的人臉圖片，具有良好的泛化性能。下一步的工作是優(yōu)化現(xiàn)有模型，推廣到多種遮擋類型的人臉識別任務(wù)中。