顏繼東 李艷生

摘 要：為了解決戴口罩人臉識別率不高的問題，開展基于卷積神經(jīng)網(wǎng)絡(luò)的研究。本研究所用的數(shù)據(jù)集均為戴口罩的人臉圖像，總共1 016張圖片，其中測試樣本為305張，訓(xùn)練樣本為711張。本研究采用對比試驗(yàn)的方法，在初始卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)不變的情況下，修改每一個卷積層的卷積核數(shù)量，從后往前進(jìn)行對比，得出本研究最佳模型，人臉檢測準(zhǔn)確率約為99.74%。通過試驗(yàn)可以看出，卷積神經(jīng)網(wǎng)絡(luò)對戴口罩的人臉有很好的識別能力。

關(guān)鍵詞：人臉識別;卷積神經(jīng)網(wǎng)絡(luò);深度學(xué)習(xí)

中圖分類號：TP391 ? ?文獻(xiàn)標(biāo)志碼：A ? ?文章編號：1003-5168（2022）7-0010-05

DOI：10.19968/j.cnki.hnkj.1003-5168.2022.07.002

Abstract：In order to solve the problem of low face recognition rate with mask in the epidemic environment. This study is the convolution neural network based study of the problem. The data sets used in this experiment all use mask faces， with a total of 1 016 pictures， including 305 test samples and 711 training samples. The research process adopts the method of comparative experiment. Under the condition that the structure of the initial convolution neural network model remains unchanged， modify the number of convolution cores of each convolution layer， compare it from back to front， and get the best model in this experiment. The accuracy of face detection is about 99.74%. Through this experiment， it can be seen that the convolutional neural network has a good ability to recognize the face wearing mask.

Keywords： face recognition; convolutional neural network; deep learning

0 引言

神經(jīng)網(wǎng)絡(luò)是通過模仿人類大腦神經(jīng)元之間的生物信號傳遞機(jī)制而誕生的計算機(jī)交叉科學(xué)[1～2]。隨著技術(shù)的不斷發(fā)展，神經(jīng)網(wǎng)絡(luò)從淺層網(wǎng)絡(luò)發(fā)展到如今深度學(xué)習(xí)領(lǐng)域常用的卷積神經(jīng)網(wǎng)絡(luò)[3]。卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中是通過反向傳播算法[4]來實(shí)現(xiàn)學(xué)習(xí)的。反向傳播算法的提出，提高了卷積神經(jīng)網(wǎng)絡(luò)的使用率，促進(jìn)人工智能領(lǐng)域有了新的突破。在某些特定的任務(wù)上，人工智能表現(xiàn)出了幾乎超出人類極限水平，如人工智能程序AIphaGO在圍棋領(lǐng)域擊敗了世界圍棋冠軍柯潔。

深度學(xué)習(xí)的大規(guī)模應(yīng)用，使人工智能學(xué)科快速崛起，進(jìn)而誕生了一系列基于深度架構(gòu)的網(wǎng)絡(luò)模型，如LeNet、AlexNet、ZFNet、VGG、GoogLeNet、ResNet、DPRSNet、MobileNet等[5-12]一些非常不錯的網(wǎng)絡(luò)模型。

卷積神經(jīng)網(wǎng)絡(luò)可以解決傳統(tǒng)編程難以完成的任務(wù)，如人臉識別[13]、醫(yī)療行業(yè)問題[14-15]、自動駕駛問題等。目前，人臉識別是不同場合下應(yīng)用率最高的技術(shù)之一。隨著新型冠狀病毒肺炎疫情的持續(xù)，在轉(zhuǎn)乘火車等公共交通工具時，乘客會在閘機(jī)口反復(fù)摘下口罩進(jìn)行人臉識別，以完成身份認(rèn)證，而這極大地增加了感染病毒的可能性。因此，本研究在傳統(tǒng)人臉識別技術(shù)的基礎(chǔ)上，研究如何設(shè)計并實(shí)現(xiàn)戴口罩的人臉識別的深度學(xué)習(xí)模型。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的不同之處在于，卷積神經(jīng)網(wǎng)絡(luò)模型是由卷積層、池化層、全連接層和輸出層組成。本研究在此基礎(chǔ)上增加了BN層和Dropout層，用來提高模型性能。

1.1 卷積層

卷積層是利用多個卷積核對圖像進(jìn)行特征提取，卷積核的感受野越小，計算機(jī)運(yùn)算量越小，計算速度就越快。卷積運(yùn)算就是卷積核圈住部分圖像后，從左往右每層依次滾動進(jìn)行矩陣運(yùn)算。圖1是通過單通道對一個3×3卷積核的特征提取過程。

1.2 池化層

池化層采用局部相關(guān)性原理，從局部采樣得到新的元素值。本研究采用的池化方式為Max Pooling[16]，最大采樣是采樣局部最大的一個值。本研究采用的池化核為2×2，將圖像切分為2×2的小塊，再從中取最大值。圖2是一個4×4的矩陣進(jìn)行池化核為2×2的最大采樣運(yùn)算。

1.3 Dropout層

Dropout層通過隨機(jī)斷開神經(jīng)網(wǎng)絡(luò)中的連接，可以提高模型性能，提高模型的泛化能力。本研究采用的隨機(jī)斷開概率為0.5。Dropout層的實(shí)際作用如圖3所示。

2 CNN模型設(shè)計

為了方便試驗(yàn)測試，模型的所有卷積層初始核心數(shù)都設(shè)置為64，卷積核設(shè)置為3×3，激活函數(shù)設(shè)置為ReLU函數(shù)[17]，池化層設(shè)置為最大池化。

先設(shè)計一個由2個卷積層和1個池化層組成的基本結(jié)構(gòu)。本研究試驗(yàn)?zāi)Ｐ偷闹饕Y(jié)構(gòu)是通過重復(fù)以上的基本結(jié)構(gòu)得到的。本研究主結(jié)構(gòu)一共有6個卷積層、3個池化層，再接入Flatten層和Dense層用作輸出分類，最后適當(dāng)添加BN層[18]和Dropout層，得到準(zhǔn)確率更高的模型。本研究得到的最佳模型結(jié)構(gòu)如圖4所示。

2.1 數(shù)據(jù)采集

本研究采用的是自建數(shù)據(jù)集，一共5組人臉圖片，其中4組人臉圖片均來自網(wǎng)絡(luò)，1組用OpenCV軟件庫調(diào)用電腦攝像頭抓取獲得。剔除無效數(shù)據(jù)后共1 016張圖片，即每一組200張左右。部分樣例數(shù)據(jù)如圖5所示。

2.2 數(shù)據(jù)集處理

將較大圖片全部剪切為64 ppi×64 ppi的圖片;原尺寸小于64 ppi×64 ppi的圖片，將其短邊填充，使其成為64 ppi×64 ppi的正方形;并將所有圖像改為灰度圖像。

3 試驗(yàn)過程及結(jié)果分析

本研究的試驗(yàn)環(huán)境為Windows 10、Python3.8、tensorflow2.4.1，CPU是Intel（R） Core（TM）i5-9500，內(nèi)存為8G，顯卡為Intel（R） UHD Graphics 630。數(shù)據(jù)集總共1 016張64 ppi×64 ppi圖片，用其中的一部分當(dāng)作測試集，即測試樣本為305張，訓(xùn)練樣本為711張。學(xué)習(xí)率為0.001，batch為32，訓(xùn)練次數(shù)為130次。

試驗(yàn)中，通過更改各個卷積層的卷積核數(shù)量，訓(xùn)練對比后得出適用于本數(shù)據(jù)集的最佳模型。初始模型6個卷積層的卷積核數(shù)量都是64，就用6464-6464-6464來表示。

本試驗(yàn)從最后一位卷積層，即第6位卷積層開始進(jìn)行對比。用到的模型有6464-6464-6464、6464-6464-6496、6464-6464-64128。第一次試驗(yàn)對比，其他卷積層的參數(shù)保持不變，只更改最后一個卷積層的卷積核數(shù)量，分別為64、96、128。訓(xùn)練后的準(zhǔn)確率（TestAccuracy）和損失值（TestLoss）如圖6所示，其他數(shù)據(jù)見表1。通過對比，找到準(zhǔn)確率（TestAccuracy）最高、損失值（TestLoss）最低的一個模型，即模型6464-6464-6464。保留此模型數(shù)據(jù)，用來進(jìn)行第二次對比試驗(yàn)。第二次對比試驗(yàn)，對第5位進(jìn)行對比。以此類推，只保留每一位對比后數(shù)據(jù)最佳的卷積層，直到篩選到第1位為止。

第六次對比試驗(yàn)，從第1位卷積層開始進(jìn)行對比，用到的模型有6464-64128-9664、9664-64128-9664、12864-64128-9664。第六次試驗(yàn)對比其他卷積層的參數(shù)保持不變，只更改第1個卷積層的卷積核數(shù)量，分別是64、96、128。訓(xùn)練后的準(zhǔn)確率（TestAccuracy）和損失值（TestLoss）如圖7所示，其他數(shù)據(jù)見表2。

通過對比，找到準(zhǔn)確率（TestAccuracy）最高、損失值（TestLoss）最低的一個模型，即模型6464-64128-9664為本研究所有對比試驗(yàn)的最佳模型。

在試驗(yàn)過程中，增加了一些BN層和Dropout層，加速模型的收斂。通過更改模型卷積層的卷積核數(shù)量，發(fā)現(xiàn)在第1個卷積層和第4個卷積層中，當(dāng)卷積核數(shù)量是圖像像素倍數(shù)時，會有良好的收斂效果，否則可能會出現(xiàn)過擬合現(xiàn)象。

4 結(jié)語

試驗(yàn)通過調(diào)整卷積核數(shù)量、加入Dropout層、修改學(xué)習(xí)率等操作，得到了準(zhǔn)確率為99.74%、損失值為0.01的最佳模型。通過OpenCV調(diào)用電腦攝像頭發(fā)現(xiàn)，此模型不僅對戴口罩人臉有較高識別率，對無口罩人臉也有良好的識別能力。

通過上述試驗(yàn)可以看出，深度學(xué)習(xí)模型對本研究中的數(shù)據(jù)集有較好的分類能力，卷積神經(jīng)網(wǎng)絡(luò)對戴口罩的人臉有很好的識別能力，對戴口罩人臉的識別具有一定的參考價值，其模型可移植到樹莓派、手機(jī)等便攜式設(shè)備。

參考文獻(xiàn)：

[1] MCCULLOCH W S， PITTS W. A logical calculus of the ideas immanent in nervous activity[J]. The bulletin of mathematical biophysics，1943（4）：115-133.

[2] ROSENBLATT F.The perceptron：A probabilistic model for information storage andorganizationin the brain[J]. Psychological Review，1958（6）：386-408.

[3] 季長清，高志勇，秦靜，等.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類算法綜述[J/OL].計算機(jī)應(yīng)用，2021[2022-03-24].http：//kns.cnki.net/kcms/detail/51.1307.TP.2-021092-7.1733.024.html.

[4] RUMELHART D E， HINTON G E， WILLIAMS R J. Learning representations by back-propagating errors[J].Nature，1986（6088）：533-536.

[5] HE K，ZHANG X，REN S，et al.Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE transactions on pattern analysis and machine intelligence，2015（9）：1904-1916.

[6] KRIZHEVSKY A，SUTSKEVER I，HINTON G E.Imagenet classification with deep convolutional neural networks[J]. Advances in neural information processing systems，2012，25：1097-1105.

[7] ZEILER M D， FERGUS R.Visualizing and understanding convolutional networks[J].CoRR，2013.abs/1311.2091.

[8] SIMONYAN K，ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J].CoRR，2014.abs/1409.1556.

[9] SZEGEDY C，LIU W，JIA Y，et al. Going deeper with convolutions [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition.IEEE，2015：1-9.

[10] HE K，ZHANG X，REN S，et al. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition.IEEE， 2016：770-778.

[11] YAMADA Y， IWAMURA M， KISE K. Deep pyramidal residual networks with separated stochastic depth[J].CoRRect，2016.abs/1612.01230.

[12] HOWARD A G，ZHU M，CHEN B，et al. Mobilenets： Efficient convolutional neural networks for mobile vision applications[J].ar Xiv，2017.abs/1704.04861.

[13] 謝志華，江鵬，余新河，等.基于VGGNet和多譜帶循環(huán)網(wǎng)絡(luò)的高光譜人臉識別系統(tǒng)[J].計算機(jī)應(yīng)用，2019（2）：388-391.

[14] ZHANG L，WANG X，YANG D，et al. Generalizing deep learning for medical image segmentation to unseen domains via deep stacked transformation[J]. IEEE transactions on Medical Imaging，2020（7）：2531-2540.

[15] 孔令軍，王茜雯，包云超，等.基于深度學(xué)習(xí)的醫(yī)療圖像分割綜述[J].無線電通信技術(shù)，2021（2）：121-130.

[16] GRAHAM B. Fractional max-pooling[J].CoRR，2014.abs/1412.6071.

[17] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. Imagenet classification with deep convolutional neural networks[J]. Communicaticns of the ACM，2017（6）：84-90.

[18] IOFFE S， SZEGEDY C. Batch normalization： Accelerating deep network training by reducing internal covariate shift [C]// Proceedings of the 2015 International conference on machine learning. PMLR，2015：448-456.