基于人臉識(shí)別的人臉圖像質(zhì)量評(píng)估

王懷斌 王海濤 高凌飛 張魯洋 王海龍

摘 要：無約束場景下，低質(zhì)量的人臉圖像不僅浪費(fèi)計(jì)算資源而且降低系統(tǒng)識(shí)別率。針對(duì)此問題，提出一種基于人臉識(shí)別的人臉質(zhì)量評(píng)估方法對(duì)人臉圖像進(jìn)行預(yù)評(píng)估。以人臉識(shí)別系統(tǒng)特征提取網(wǎng)絡(luò)為基礎(chǔ)網(wǎng)絡(luò)在COX數(shù)據(jù)集上進(jìn)行微調(diào)，并使用微調(diào)后網(wǎng)絡(luò)對(duì)COX數(shù)據(jù)集進(jìn)行質(zhì)量分?jǐn)?shù)標(biāo)定。最后，結(jié)合基礎(chǔ)網(wǎng)絡(luò)及質(zhì)量預(yù)測網(wǎng)絡(luò)并以相應(yīng)損失函數(shù)在標(biāo)定數(shù)據(jù)上進(jìn)行回歸學(xué)習(xí)以獲取質(zhì)量評(píng)估模型。實(shí)驗(yàn)結(jié)果表明，該方法能夠有效區(qū)分不同質(zhì)量的人臉圖像并提升人臉識(shí)別系統(tǒng)性能。

關(guān)鍵詞：人臉質(zhì)量評(píng)估;質(zhì)量標(biāo)定;人臉圖像;人臉識(shí)別

Abstract：In unconstrained scenarios， low quality face images not only waste computing resources but also reduce the recognition rate of the system. To solve this problem， a face quality assessment method based on face recognition is proposed to pre-evaluate face images. The feature extraction network in the face recognition system is used as the basic network and the COX dataset is fine-tuned. Then the COX dataset is annotated with the quality score by the fine-tuned network. Finally， the basic network and the quality prediction network are combined and the corresponding loss function is used to conduct regression learning on the labeled data to obtain the quality evaluation model. Experimental results show that this method can effectively distinguish different quality face images and improve the performance of face recognition system.

Key words：face quality assessment; quality calibration; face image; face recognition

目前人臉識(shí)別系統(tǒng)已廣泛的應(yīng)用在生產(chǎn)生活當(dāng)中，其準(zhǔn)確率和可靠性越來越高。但是，在監(jiān)控等一些無約束的場景下，人臉識(shí)別系統(tǒng)往往需要處理一些無效的低質(zhì)量人臉圖像。這勢必浪費(fèi)部分計(jì)算資源對(duì)這些檢測到的無效人臉圖像進(jìn)行人臉識(shí)別系統(tǒng)相關(guān)處理。特別是當(dāng)人臉底庫較大時(shí)，這一過程耗費(fèi)計(jì)算資源較多。因此，通過對(duì)人臉識(shí)別系統(tǒng)的輸入圖像進(jìn)行預(yù)先的評(píng)估審查，有利于提升人臉識(shí)別系統(tǒng)的計(jì)算效率。

截至目前，對(duì)人臉圖像的質(zhì)量評(píng)估已有諸多研究，根據(jù)技術(shù)發(fā)展可主要分為基于深度學(xué)習(xí)的和非深度學(xué)習(xí)的，其中基于深度學(xué)習(xí)的FQA算法主要在2015年后開始出現(xiàn)并于最近占據(jù)主導(dǎo)地位[1]。傳統(tǒng)的非深度學(xué)習(xí)方法主要通過多因素融合和全局學(xué)習(xí)的方法進(jìn)行質(zhì)量評(píng)估。例如，Nasrollahi等人根據(jù)姿態(tài)、亮度、分辨率等分別進(jìn)行質(zhì)量評(píng)分，最后進(jìn)行加權(quán)融合獲得整體質(zhì)量分?jǐn)?shù)[2]。Liao等人使用Gabor濾波器的量值作為特征值，通過訓(xùn)練支持向量機(jī)（SVM）來預(yù)測質(zhì)量標(biāo)簽[3]?；谏疃葘W(xué)習(xí)的FQA論文主要發(fā)表于2019年和2020年[1]。這些研究類似于使用全局學(xué)習(xí)的非深度學(xué)習(xí)方法，不同的是特征提取器往往是復(fù)雜的深度網(wǎng)絡(luò)，例如文獻(xiàn)[4]、[5]和[11]依次使用AlexNet、GoogleNet以及SqueezeNet作為主干網(wǎng)絡(luò)。

上述研究使得人臉圖像質(zhì)量的評(píng)估誤差逐步降低，但是這些方法均關(guān)注于將質(zhì)量評(píng)估效果與人類視覺評(píng)估相關(guān)。不同于這些工作，基于人臉識(shí)別的質(zhì)量評(píng)估方法致力于質(zhì)量評(píng)估服務(wù)于人臉識(shí)別系統(tǒng)，進(jìn)而提升其運(yùn)行效率。一般而言，基于人類視覺的質(zhì)量評(píng)分與人臉識(shí)別效果正相關(guān)，但對(duì)部分人臉不能適用。因此，設(shè)計(jì)了一種可嵌入并適應(yīng)不同人臉識(shí)別系統(tǒng)的質(zhì)量評(píng)估方法用以提升人臉識(shí)別系統(tǒng)性能。

1 結(jié)合人臉識(shí)別的質(zhì)量分?jǐn)?shù)標(biāo)定方法

質(zhì)量評(píng)估模塊基于有監(jiān)督的學(xué)習(xí)方法在COX數(shù)據(jù)集上進(jìn)行訓(xùn)練，需要訓(xùn)練所需圖像的質(zhì)量標(biāo)簽作為監(jiān)督信號(hào)。而COX數(shù)據(jù)集是為評(píng)估人臉識(shí)別而收集的數(shù)據(jù)集，只有所屬身份的類別信息[6]。因此，首先進(jìn)行質(zhì)量分?jǐn)?shù)標(biāo)定以獲取與人臉識(shí)別系統(tǒng)性能相關(guān)的質(zhì)量分?jǐn)?shù)。

2 質(zhì)量評(píng)估網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)架構(gòu)及基礎(chǔ)特征提取網(wǎng)絡(luò)

質(zhì)量評(píng)估網(wǎng)絡(luò)基于人臉識(shí)別系統(tǒng)中特征提取網(wǎng)絡(luò)實(shí)現(xiàn)，圖3為質(zhì)量評(píng)估網(wǎng)路架構(gòu)及訓(xùn)練/測試示意圖。如圖所示，提出的質(zhì)量評(píng)估網(wǎng)絡(luò)主要分為兩部分，即基礎(chǔ)特征提取網(wǎng)絡(luò)和質(zhì)量回歸預(yù)測兩部分。具體而言，在實(shí)驗(yàn)部分所使用的人臉識(shí)別系統(tǒng)使用特征提取網(wǎng)絡(luò)為ResNet-101[7]，因此所有涉及特征提取的網(wǎng)絡(luò)均使用此網(wǎng)絡(luò)實(shí)現(xiàn)并保證模型參數(shù)相同，即質(zhì)量標(biāo)定、人臉識(shí)別系統(tǒng)以及質(zhì)量評(píng)估網(wǎng)絡(luò)中的特征提取模型為同一模型。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)在ubuntu16.04環(huán)境下基于python語言和tensorflow框架實(shí)現(xiàn)。主要硬件配置包括2.4 GHz CPU和64 GB RAM，在此基礎(chǔ)上使用了2塊英偉達(dá)1080TI加速訓(xùn)練。對(duì)第一階段基礎(chǔ)特征提取網(wǎng)絡(luò)的微調(diào)遵循文獻(xiàn)[8]的設(shè)置。對(duì)第二階段的質(zhì)量預(yù)測網(wǎng)絡(luò)的主要超參數(shù)配置為：優(yōu)化方法使用Adam，學(xué)習(xí)率為0.0001，batchsize為512;損失函數(shù)參數(shù)設(shè)置為：γ=1.6，μ=0.5。

3.2 人臉圖像質(zhì)量評(píng)估實(shí)驗(yàn)

真實(shí)監(jiān)控環(huán)境下低質(zhì)量人臉圖像的產(chǎn)生原因主要是運(yùn)動(dòng)模糊、對(duì)焦模糊以及姿態(tài)變化。使用基準(zhǔn)圖像模擬生成不同程度的運(yùn)動(dòng)、對(duì)焦模糊導(dǎo)致的低質(zhì)量圖像，另外選取一組姿態(tài)變化較大的監(jiān)控視頻人臉序列進(jìn)行質(zhì)量評(píng)估。圖4展示了不同質(zhì)量人臉圖像的相關(guān)數(shù)值結(jié)果，其中包括待評(píng)估圖像與基準(zhǔn)圖像距離、標(biāo)定分?jǐn)?shù)、文獻(xiàn)[9，10]中方法評(píng)估值以及所述質(zhì)量評(píng)估方法評(píng)估值。

由圖4中數(shù)值結(jié)果可知，質(zhì)量預(yù)測網(wǎng)絡(luò)在除標(biāo)定分?jǐn)?shù)較高或較低外的圖像上產(chǎn)生的質(zhì)量分?jǐn)?shù)基本與標(biāo)定分?jǐn)?shù)相一致。另外，對(duì)比同一個(gè)人的不同質(zhì)量圖像可知，低質(zhì)量的圖像具有更低的分?jǐn)?shù)，反之，高質(zhì)量圖像質(zhì)量分?jǐn)?shù)相對(duì)較高。對(duì)比最新的文獻(xiàn)[9]、[10]中方法，質(zhì)量預(yù)測網(wǎng)絡(luò)預(yù)測值具有更高的區(qū)分度。例如在運(yùn)動(dòng)模糊導(dǎo)致的低質(zhì)量圖像的評(píng)估中，質(zhì)量預(yù)測網(wǎng)絡(luò)預(yù)測值在質(zhì)量最優(yōu)和最差的圖像上的分布區(qū)間更大，質(zhì)量區(qū)分度更高（文獻(xiàn)[9]：0.61-0.49;文獻(xiàn)[10]：0.61-0.43;質(zhì)量預(yù)測網(wǎng)絡(luò)：0.73-0.37）。

為進(jìn)一步說明提出的質(zhì)量預(yù)測網(wǎng)絡(luò)具有更優(yōu)的性能，在COX數(shù)據(jù)集測試集（122709張人臉圖像）上進(jìn)行了質(zhì)量分?jǐn)?shù)統(tǒng)計(jì)，圖5為標(biāo)定分?jǐn)?shù)、文獻(xiàn)[9，10]以及質(zhì)量預(yù)測網(wǎng)絡(luò)預(yù)測的質(zhì)量分?jǐn)?shù)分布直方圖。由圖示可知，標(biāo)定分?jǐn)?shù)在（0，1）區(qū)間內(nèi)近似呈以期望值為0.5的正態(tài)分布。三種質(zhì)量評(píng)估方法中，相比標(biāo)定分?jǐn)?shù)的分布，文獻(xiàn)[10]獲得的質(zhì)量分?jǐn)?shù)整體較低，文獻(xiàn)[9]獲取的質(zhì)量分?jǐn)?shù)整體較高但更為集中，而所述質(zhì)量評(píng)估方法獲取的質(zhì)量分?jǐn)?shù)的分布更為接近標(biāo)定分?jǐn)?shù)的分布。因此，從質(zhì)量分?jǐn)?shù)分布來看，相較對(duì)比方法，質(zhì)量預(yù)測網(wǎng)絡(luò)對(duì)人臉質(zhì)量的評(píng)估分布更為合理，預(yù)測的質(zhì)量分?jǐn)?shù)與人臉識(shí)別系統(tǒng)相關(guān)度更高。

3.3 質(zhì)量評(píng)估對(duì)人臉識(shí)別系統(tǒng)的性能影響

鑒于提出的質(zhì)量評(píng)估方法目的在于提升人臉識(shí)別系統(tǒng)的性能，因此評(píng)估了加入質(zhì)量預(yù)測網(wǎng)絡(luò)后對(duì)人臉識(shí)別系統(tǒng)的性能影響。質(zhì)量評(píng)估模塊的負(fù)面影響主要在于部分可被人臉識(shí)別系統(tǒng)正確識(shí)別的人臉圖像被錯(cuò)誤的拒絕，因此引入FNMR（False non-match rate）指標(biāo)進(jìn)行衡量，F(xiàn)NMR指標(biāo)即被質(zhì)量評(píng)估模塊拒絕的樣本中可被正確識(shí)別的樣本占被拒絕樣本的比率。圖6為質(zhì)量模塊在不同拒絕率下的FNMR，從標(biāo)定分?jǐn)?shù)及三種方法的曲線變化可以看出，隨拒絕率的升高，F(xiàn)NMR逐步增加。對(duì)比其他方法，所述質(zhì)量評(píng)估方法更接近標(biāo)定分?jǐn)?shù)下的變化趨勢，且在幾乎全部拒絕率下質(zhì)量評(píng)估方法的FNMR值均小于最新的文獻(xiàn)[9，10]中方法。

4 結(jié) 論

提出了一種基于人臉識(shí)別的監(jiān)控視頻中人臉圖像質(zhì)量評(píng)估方法。不同于其他質(zhì)量評(píng)估方法，提出的評(píng)估方法旨在與人臉識(shí)別系統(tǒng)具有較高的相關(guān)度，能夠?qū)θ四樧R(shí)別系統(tǒng)的輸入圖像進(jìn)行預(yù)評(píng)估，進(jìn)而提升人臉識(shí)別系統(tǒng)效率?；诖四康?，首先使用人臉識(shí)別系統(tǒng)在訓(xùn)練集進(jìn)行微調(diào)后獲得基礎(chǔ)特征提取模型，然后以此模型對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行標(biāo)定，構(gòu)建新的用于質(zhì)量評(píng)估的數(shù)據(jù)集，最后通過使用精心設(shè)計(jì)的回歸網(wǎng)絡(luò)及損失函數(shù)在此數(shù)據(jù)集上進(jìn)行回歸訓(xùn)練獲取質(zhì)量預(yù)測模型。實(shí)驗(yàn)結(jié)果表明，基于人臉識(shí)別的質(zhì)量評(píng)估方法能夠準(zhǔn)確的評(píng)估人臉圖像并有助于提升通用人臉識(shí)別系統(tǒng)性能。

參考文獻(xiàn)

[1] SCHLETT T， RATHGEB C， HENNIGER O， et al. Face image quality assessment： a literature survey[J]. arXiv preprint arXiv：2009.01103， 2020.

[2] NASROLLAHI K， MOESLUND T. B. Extracting a good quality frontal face image from a low-resolution video sequence[J]// IEEE Trans. on Circuits and Systems for Video Technology （TCSVT）， 2011.

[3] LIAO P， LIN H， ZENG P， et al. Facial image quality assessment based on support vector machines[C]// International Conference on Biomedical Engineering & Biotechnology. IEEE Computer Society， 2012.

[4] ROSE J， BOURLAI T. Deep learning based estimation of facial attributes on challenging mobile phone face datasets[C]// ASONAM '19： International Conference on Advances in Social Networks Analysis and Mining，2019.

[5] YANG F， SHAO X， ZHANG L， et al. DFQA： deep face image quality assessment[M]// Image and Graphics. 2019.

[6] HUANG Z， SHAN S， WANG R， et al. A benchmark and comparative study of video-based face recognition on COX face database[J]. IEEE Transactions on Image Processing， 2015， 24（12）：5967-5981.

[7] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2016.

[8] DENG J， GUO J， XUE N ，et al. Arcface： additive angular margin loss for deep face recognition[C]// 2019 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE， 2019.

[9] HERNANDEZ-ORTEGA J， GALBALLY J， FIERREZ J， et al. FaceQnet： quality assessment for face recognition based on deep learning[C]// 2019 International Conference on Biometrics （ICB）. IEEE， 2020.

[10]HERNANDEZ-ORTEGA J， GALBALLY J， FIERREZ J， et al. Biometric quality： review and application to face recognition with faceQnet[J]. arXiv preprint arXiv：2006.03298， 2020.

[11]ROSE J， BOURLAI T. On designing a forensic toolkit for rapid detection of factors that impact face recognition performance when processing large scale face datasets[M]// Securing Social Identity in Mobile Platforms. Berlin：Springer， 2020.