基于全局深度分離卷積殘差網(wǎng)絡的高效人臉識別算法

陳希彤，盧 濤

武漢工程大學計算機科學與工程學院，湖北 武漢 430205

人臉識別作為生物特征識別技術(shù)，一直是計算機視覺領(lǐng)域和機器學習的研究熱點之一。它在政府機構(gòu)、軍隊、銀行、社會福利保障、電子商務、安全防務等領(lǐng)域有廣泛應用前景。近年來，卷積神經(jīng)網(wǎng)絡［1］（convolutional neural network，CNN）為人臉識別提供新的解決方案，但人臉識別應用仍有許多問題亟待解決。如在實際監(jiān)控場景下目標人臉距監(jiān)控設備較遠及受光照、表情與多姿勢變化等因素影響下［2］，要獲得滿意的識別效果，要求識別模型具備強大特征表達能力。高精度識別模型通常利用含多參數(shù)網(wǎng)絡來最大限度地學習更多特征，網(wǎng)絡訓練時間因參數(shù)增加呈指數(shù)上升，在有限計算資源條件下難以進行實時的人臉識別。而小型網(wǎng)絡實時性強，但算法性能有限。因此利用高性能的輕量級深度學習識別網(wǎng)絡來發(fā)展與實際應用更為緊密的人臉識別系統(tǒng)［3］顯得尤為重要。

現(xiàn)有的人臉識別算法可大致分為以下幾類：第一類方法是基于幾何特征的方法［4-5］，該方法主要根據(jù)人臉器官形狀和幾何關(guān)系描述出每個人臉圖像特征，對特征矢量進行比較，得出最佳匹配人臉。但基于幾何特征的識別方法難以提取待測人臉圖像的穩(wěn)定特征，易忽略較多人臉紋理信息，特別當圖像分辨率較低、識別目標姿態(tài)表情變化過大時，識別率會受到較大影響。第二類方法是基于相關(guān)匹配的方法［6-7］，其主要思想是將訓練集與測試集人臉圖像樣本逐一歸一化后進行互相關(guān)運算進行匹配，從而達到人臉識別的目的。該方法雖然充分考慮了人臉圖像的局部紋理細節(jié)信息，但僅對約束場景下的正面人臉有好的識別效果，且計算量較大，識別速度慢。第三類方法是基于深度學習的人臉識別算法，其憑借強大的非線性擬合能力，有效地模擬出大腦由淺入深認知事物的過程，受到了人工智能領(lǐng)域的高度重視，也日益成為目前主流的人臉識別方法。

2006年，Hinton等［8］在《Science》上首次提出了深度學習的概念。深度學習本質(zhì)上也是一種特征學習方法，相對于傳統(tǒng)方法需要有相關(guān)專業(yè)背景的專家設計特征表示方式，深度學習則是使用一種通用學習過程從數(shù)據(jù)中獲取各層特征，其過程可以看做把原始數(shù)據(jù)通過一些簡單的非線性的模型轉(zhuǎn)變成為更高層次的、更富語義信息的特征表達，經(jīng)過足夠多組合變換來擬合的復雜函數(shù)。例如VGGNet［9］為牛津大學計算機視覺組和Deep-Mind公司共同研發(fā)一種深度卷積網(wǎng)絡，探索了卷積神經(jīng)網(wǎng)絡的深度和其性能之間的關(guān)系，通過反復的堆疊的3×3小型卷積核和2×2的最大池化層，成功的構(gòu)建了16～19層網(wǎng)絡結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡，VGGFace利用VGGNet的16層網(wǎng)絡結(jié)構(gòu)，將網(wǎng)絡最后一層輸出作為特征，利用Triplet-Loss損失函數(shù)訓練進行人臉識別，該方法在較少的數(shù)據(jù)集訓練的基礎上達到了前人海量數(shù)據(jù)才能達到的識別效果。何凱明等［10］利用殘差學習的思想解決了VGGNet等傳統(tǒng)網(wǎng)絡在更深層網(wǎng)絡中因梯度消失無法訓練、信息丟失、損耗等問題，利用跳躍連接（skip connection）簡化訓練難度。Gao等［11］借鑒殘差學習方法，在保證網(wǎng)絡中層與層之間最大程度的信息傳輸?shù)那疤嵯?，將所有卷積層輸出密集連接起來，大大加強了特征之間的傳遞，在提高識別率的同時高效利用特征信息。為提升在移動設備上的識別精度，Chen等［12］提出一個模型大小僅為4 MB的小型識別網(wǎng)絡，使用逆殘差結(jié)構(gòu)（inverted residual block）結(jié)合ArcFace Loss加速實時人臉驗證，克服了人臉驗證上常見輕量級神經(jīng)網(wǎng)絡性能不足的缺點。

人臉識別系統(tǒng)不僅需要兼顧系統(tǒng)判別精度與實時性，還需要對不同輸入數(shù)據(jù)具有較好魯棒性。上述基于深度學習的識別研究重點大多在通過增加網(wǎng)絡深度或?qū)挾葥Q取網(wǎng)絡更強大性能，因此使用少量參數(shù)的小型識別網(wǎng)絡，提出不受限于機器資源和實時性等需求的高效人臉識別算法意義巨大。對此需要構(gòu)建一個針對不同場景的快速通用識別網(wǎng)絡，可以有效處理復雜場景下的人臉識別任務，準確提取目標所屬類別的特征信息，并在加速訓練過程的同時使網(wǎng)絡更快收斂，提高識別性能。綜合考慮上述問題，本文提出了一個基于全局深度分離卷積殘差網(wǎng)絡的高效人臉識別算法。

1 全局深度分離卷積殘差網(wǎng)絡

受到 GoogleNet［13］中 InceptionV3 模塊啟發(fā)，為解決深層網(wǎng)絡提取抽象性特征導致空間集中性降低這一問題，提出基于全局分離卷積（global separable convolution，GSC）與深度殘差學習模塊（Residual Block）相結(jié)合的高效識別網(wǎng)絡。將人臉圖像以隨機輸入方式放入深度殘差學習的網(wǎng)絡中，利用跳躍連接將學習到的淺層特征與深層特征融合，實現(xiàn)不同層次信息之間的交互，并結(jié)合全局深度分離卷積從多個獨立通道空間（spatial separation）中豐富多元特征的數(shù)量，提高特征的判別能力。本文定義訓練樣本為其中輸入測試人臉圖像為xi∈?m×n，N為圖片總個數(shù)，提出的網(wǎng)絡結(jié)構(gòu)如圖1所示。

網(wǎng)絡結(jié)構(gòu)共分為4個部分：第一部分為初始特征提取，用小尺度網(wǎng)絡（3×3卷積核，側(cè)重局部細節(jié)信息）取代傳統(tǒng)大尺度網(wǎng)絡（7×7的卷積核，注重全局細節(jié)信息）提取特征，初步減少模型參數(shù)量；第二部分構(gòu)建淺層殘差結(jié)構(gòu)進一步學習特征，簡化模型優(yōu)化難度；第三部分使用全局深度可分離卷積利用具有相互獨立空間的512組濾波器逐通道提取深層特征中每個節(jié)點的有效信息，取代多通道特征融合過程，進一步減少網(wǎng)絡計算時間；第四部分為識別部分，利用全連接層級聯(lián)Softmax分類器，輸出模型所預測類別Ci，最后計算損失反向傳播微調(diào)學習權(quán)重，優(yōu)化整體模型。

圖1 全局深度分離卷積殘差網(wǎng)絡結(jié)構(gòu)Fig.1 Structure of global deep separation convolutional and residual network

1.1 深度殘差學習

深度學習網(wǎng)絡深度的增加對網(wǎng)絡的分類效果有著重要影響，研究人員發(fā)現(xiàn)理論上增加大量的權(quán)重參數(shù)會在一定程度上促進網(wǎng)絡的識別性能，但當常規(guī)的卷積神經(jīng)網(wǎng)絡堆疊到一定層數(shù)時，往往會出現(xiàn)網(wǎng)絡梯度消失現(xiàn)象［14］，即網(wǎng)絡識別率不再上升，甚至越來越差，這是因為訓練深層網(wǎng)絡會產(chǎn)生梯度彌散/爆炸這一障礙。利用殘差學習的思想定義神經(jīng)網(wǎng)絡期望學習的目標為Y，設X為原始圖像輸入經(jīng)過卷積（convolution，Conv）、批量歸一化（batch normalization，BN）、非線性激活（Re-LU）、最大池化（Max pooling）操作后所得到的特征，F(xiàn)(X,Wi)為X經(jīng)過兩次3×3卷積所提取到的特征，Wi為所學習權(quán)重參數(shù)，將網(wǎng)絡需要學習的目標簡化為F(X,Wi)=Y-X。使用殘差學習模塊，有效緩解鏈式求導梯度值較小問題，優(yōu)化訓練過程。

1.2 全局分離卷積

對于人臉的驗證和識別，Wu等［15］已經(jīng)通過實驗觀察到，具有全局平均池化層結(jié)構(gòu)的神經(jīng)網(wǎng)絡比使用全連接層代替全局平均池化層的卷積神經(jīng)網(wǎng)絡識別效果更不準確，因為全局平均池化層沒有考慮深層特征映射中每個節(jié)點的空間信息，籠統(tǒng)的將深層全局信息平滑后加以使用，破壞了所學特征的語義與空間信息。雖然輸入人臉圖片中心點的池化區(qū)域與邊角池化區(qū)域大小一樣，但是中心點區(qū)域包含了面部重要五官特征，邊角區(qū)域只包含部分重要特征。因此每個像素區(qū)域?qū)W習的權(quán)重應該不同，但是平均池化層籠統(tǒng)的不同區(qū)域的權(quán)重設置為一樣，導致網(wǎng)絡識別效果下降。而可分離卷積與普通卷積操作不同之處在于每個通道使用不同濾波器單獨進行卷積操作后，再利用1×1的卷積核進行信息的融合，可分離卷積方法會優(yōu)先考慮特征區(qū)域的屬性，實現(xiàn)多通道特征堆疊與區(qū)域的分離。因此本文提出利用全局分離卷積取代一般深度學習識別網(wǎng)絡中的平均池化層，來提取深層特征中每個節(jié)點的有效信息，舍棄了多通道特征融合所帶來的冗余特征，減少模型整體的時間復雜度。針對實際場景的人臉識別，引入全局可分離卷積不僅可以減少網(wǎng)絡參數(shù)，并且可以更好的實現(xiàn)深層網(wǎng)絡整體區(qū)域特征的精煉。

1.3 損失函數(shù)

使用交叉熵損失函數(shù)（cross entropy loss）［16］作為網(wǎng)絡的損失函數(shù)，公式如下：

其中pi為真實類別標簽概率分布，pk=1，為網(wǎng)絡所預測標簽概率分布，設全連接層網(wǎng)絡輸出為θi，則有：

式（1）可改寫為：

網(wǎng)絡優(yōu)化過程中使用自適應矩估計（adaptive moment estimation，Adam）優(yōu)化算法來進行反向傳播。自適應矩估計算法利用梯度的一階矩估計和二階矩估計動態(tài)調(diào)整每個參數(shù)的學習率。它的優(yōu)點主要在于經(jīng)過偏置校正后，每一次迭代學習率都有個確定范圍，使得參數(shù)較為平穩(wěn)。此外增加了隨機梯度下降（stochastic gradient descent，SGD）優(yōu)化方式來進行實驗對比，網(wǎng)絡損失對比如圖2所示，由于不同網(wǎng)絡層數(shù)訓練時間大小有差異，因此分別配置相同網(wǎng)絡層數(shù)的網(wǎng)絡結(jié)構(gòu)進行損失比較從圖2中可以看出當訓練周期較小時，雖然整體收斂趨勢相同，但使用Adam優(yōu)化方法優(yōu)先達到較小損失值，訓練完畢后的損失值遠小于SGD優(yōu)化方法，證明了使用自適應矩估計優(yōu)化算法結(jié)合交叉熵損失函數(shù)的合理性。

圖2 不同優(yōu)化方式的訓練損失Fig.2 Training loss of different optimizing methods

綜上所述，基于全局深度分離卷積殘差網(wǎng)絡的人臉識別算法總結(jié)如下：

輸出：人臉圖像的類別屬性Ci。訓練部分：

2）根據(jù)公式（3）計算損失值，反向傳播微調(diào)學習權(quán)重，迭代直至訓練完畢，得到網(wǎng)絡權(quán)重模型。

2）根據(jù)訓練所獲得的權(quán)重模型提取人臉圖像的表達特征；

3）根據(jù)公式（2）輸出預測的類別標簽Ci，計算整體識別率。

2 結(jié)果與討論

2.1 實驗數(shù)據(jù)與參數(shù)

選取CASIA-Webface與Extend Yale-B人臉圖像數(shù)據(jù)庫為實驗樣本，使用識別率（Recognition Rate）評估不同網(wǎng)絡的識別性能。CASIA-Webface原始數(shù)據(jù)庫包含10 575類人，共有圖片494 414張。本實驗選取其中68人做為實驗對象，其中每人包含多種姿態(tài)圖片共240張（見圖3）。原始圖片大小為128×128像素，全部圖片分為2個部分，第一部分選取13 600張用于深度學習訓練，剩余2 720張用于分類測試。Extend Yale-B人臉數(shù)據(jù)庫包括38人共16 128張，每幅大小為192×168像素的灰度圖，有9種不同姿態(tài)和64種不同光照變化情況。在實驗中，選擇每人60張在不同光照變化下正面人臉圖像共2 280張人臉，隨機選取每類人35張共1 330張為訓練樣本，剩余950張為測試樣本。

本算法網(wǎng)絡為串聯(lián)網(wǎng)絡結(jié)構(gòu)，每個子網(wǎng)絡都需要進行150次整體樣本迭代訓練。本算法設置學習率逐步衰減，初始化學習率為0.001，每經(jīng)過20次整體迭代學習率減小為原來的1/3，權(quán)重衰減為0.000 1。為了避免網(wǎng)絡的過擬合，采用了殘差學習方法。在深度殘差學習網(wǎng)絡中，本文設置第一層子網(wǎng)絡步長為1，填充為1，后三層子網(wǎng)絡步長為2，填充為1，為避免所學殘差特征無法與后三層子網(wǎng)絡訓練所得特征無法融合，融合之前將殘差特征進行一次卷積核大小為3，步長為2的卷積進行特征圖下采樣操作。本實驗先將圖像輸入卷積層，進行最大池化操作提取初始特征，然后級聯(lián)基于深度殘差學習的全局分離卷積網(wǎng)絡，使用全連接層進行分類得出最終識別結(jié)果。

2.2 結(jié)果與分析

為了證明人臉數(shù)據(jù)集在本算法的網(wǎng)絡框架下能夠提取到有效魯棒性特征提高識別能力，本實驗將圖片在不同的識別框架下進行分類比較。對比實驗采用深度學習近年來著名的神經(jīng)網(wǎng)絡識別算法：深度卷積神經(jīng)識別網(wǎng)絡（VGGFace），深度殘差學習神經(jīng)識別網(wǎng)絡（ResNet34），密集連接卷積神經(jīng)識別網(wǎng)絡（DenseNet121），移動端上的快速卷積神經(jīng)識別網(wǎng)絡（MobileFaceNet）。本文中使用的對比算法VGGFace［9］的源代碼由論文作者Karen Simonyan 提供，ResNet34［10］的源代碼由論文作者Kaiming He提供，DenseNet121［11］的源代碼由論文作者 Gao Huang提供，MobileFaceNet［12］的源代碼由論文作者Sheng Chen提供。圖4分別給出了多姿態(tài)人臉數(shù)據(jù)集（CASIA-Webface）與受光照變化影響的人臉數(shù)據(jù)集（Extend Yale-B）在不同識別網(wǎng)絡框架下隨著訓練周期變化的識別率。

圖3 人臉數(shù)據(jù)庫樣本：（a）CASIA-Webface，（b）Extended Yale-BFig.3 Visual samples from face databases：（a）CASIA-webface，（b）Extended Yale-B

圖4 不同訓練周期的識別率：（a）CASIA-webface，（b）Extended Yale-BFig.4 Recognition rates of different periods training：（a）CASIA-webface，（b）Extended Yale-B

2.2.1 識別率對比 每組實驗均選取網(wǎng)絡最后一次迭代結(jié)果作為最終識別率。從圖4可以看出，其他算法識別率隨周期變化波動較大，本算法在兩種人臉圖像數(shù)據(jù)集中均獲得了最好識別效果。當訓練迭代次數(shù)較低時，本算法識別率就高于其他算法，在經(jīng)過40個訓練周期后識別率趨于平穩(wěn)，隨著訓練周期的增加依舊保持了良好的識別效果。在CASIA-Webface數(shù)據(jù)庫中與性能排名第二的算法ResNet34相比，識別率提升了2.9%，證明了算法在多姿態(tài)數(shù)據(jù)集中也具有較好性能。在Extend Yale-B數(shù)據(jù)庫中，VGGFace與DenseNet121算法識別率波動較大，本算法穩(wěn)定的識別率體現(xiàn)了對光照變化的魯棒性。

2.2.2 特征分布分析 為了進一步研究全局可分離卷積對網(wǎng)絡性能的影響，我們將經(jīng)過全局可分離卷積與平均池化操作后提取的特征向量降至二維進行可視化分析。首先從Extend Yale-B數(shù)據(jù)庫隨機選取7人，每人包含25張圖像，組成待測數(shù)據(jù)集，將兩種方法提取到的1 024維特征向量利用T-分布鄰域嵌入（T-distributed stochastic neighbor embedding，T-SNE）方法將人臉特征映射至二維空間，可視化對比結(jié)果如圖5所示，不同顏色代表不同類別。在使用全局可分離卷積時，同類圖像緊促映射到一起，且類間距離較大，當使用平均池化時，同類樣本間的聚類效果變差，不同類別樣本已不具有明顯區(qū)分性。

以上現(xiàn)象可從類內(nèi)方差與類間方差的統(tǒng)計角度進行量化解釋，借助LDA線性判別分析進行類內(nèi)與類間散度矩陣近似計算。

類內(nèi)散度矩陣定義如下：

圖5 可視化特征對比結(jié)果：（a）全局分離卷積，（b）平均池化（橫縱坐標表示類間的相對距離）Fig.5 Comparison results of visualized features：（a）global separable convolution，（b）average pool（abscissa and ordinate represent relative distance between inter-class）

表1給出了不同卷積操作下特征向量的類內(nèi)與類間方差結(jié)果。

表1 類內(nèi)方差與類間方差統(tǒng)計結(jié)果Tab.1 The intra-class and inter-class variance results

對于人臉識別問題，總期望類內(nèi)方差小，類間方差大來獲取更佳識別結(jié)果。根據(jù)表1計算結(jié)果可知，全局可分離卷積操作后類間方差與類內(nèi)方差比值更大，說明學習到的特征更具區(qū)分性，判別能力更強。相比平均池化方法，類內(nèi)方差大于類間方差，類間距離較近，難以正確區(qū)分各個類別。根據(jù)以上結(jié)果分析可得，基于全局可分離卷積的網(wǎng)絡通過獨立空間提取的特征能更有效地區(qū)分不同人臉圖像所含內(nèi)容。

2.2.3 算法效率對比分析 不同識別算法測試時間如表2所示，對比分析如下：DenseNet使用了密集連接的方法減少網(wǎng)絡每層計算量以及實現(xiàn)特征的高度復用。而本文算法采用深度全局可分離卷積結(jié)合殘差學習模塊，減少了復用特征的冗余程度，同時加速訓練初步特征提取流程。由于當前的深度學習框架對密集連接沒有良好的優(yōu)化方法，只能借助特征圖之間的反復拼接操作，將之前提取到的特征圖拼接后一并傳入下層網(wǎng)絡，因此在訓練的時候密集連接會占用大量內(nèi)存導致網(wǎng)絡性能的大幅度波動（見圖4），相比之下本算法在第45個訓練周期的時候就達到收斂狀態(tài)，loss值穩(wěn)定在0.000 1左右，識別率趨于平穩(wěn)。

VGGFace為深度網(wǎng)絡識別算法，采用加深卷積神經(jīng)網(wǎng)絡層數(shù)、增加模型參數(shù)量的方法來提升識別性能。該方法利用多尺度特征信息融合的方式雖然能夠提升標簽預測的精度，但是在網(wǎng)絡層數(shù)更深時，會出退化問題，容易導致訓練集準確率達到飽和，甚至下降。VGGFace全連接層特征維度為4 096，令計算時間開銷遠大于其他對比算法，此外該模型對光照變化大的圖片并不魯棒。本文算法通過構(gòu)建殘差學習網(wǎng)絡，提取具有不同深度語義信息的特征進行融合，不僅減小了網(wǎng)絡增加深度帶來的副作用，并結(jié)合全局可分離卷積減小了模型整體參數(shù)量，提升網(wǎng)絡整體性能。

表2 不同識別算法下平均每張圖片的測試時間Tab.2 Testing time（milliseconds per image）of different recognition algorithms ms

ResNet利用跳躍連接重復利用殘差信息使得網(wǎng)絡能具有更深層結(jié)構(gòu)，得到更好的識別效果，但隨著網(wǎng)絡結(jié)構(gòu)的加深，隨之帶來的是網(wǎng)絡中參數(shù)的增多，計算量的增大，測試時間將會變得更久，而在現(xiàn)實應用場景中，人臉識別任務更希望被更快速、更高效的方法來完成。本算法經(jīng)過大量實驗結(jié)果驗證得到結(jié)合全局可分離卷積的最佳殘差學習模塊層數(shù)，使用較少卷積網(wǎng)絡層數(shù)，利用更少的參數(shù)量減少運算時間，達到超過ResNet34網(wǎng)絡的識別性能。

MobileFaceNet為在移動設備上設計的輕量級識別網(wǎng)絡，在LFW數(shù)據(jù)集上的人臉驗證準確率達到99.28%，使用了逆殘差模塊，該模塊首先將輸入的低維壓縮表示的特征擴展到高維，使用輕量級深度卷積作為濾波器，隨后用線性卷積將特征投影回低維壓縮表示。由于該網(wǎng)絡使用1×1卷積核進行特征升維，逐元素計算促使運行時間逐步增加，且全連接層后又使用BN層進行特征歸一化，即使參數(shù)量減少到99萬個，但還是增加了模型的總測試時間。

綜上所述，本文算法相比其他算法能提取出更具判別能力的特征信息來區(qū)分不同類別的人臉圖像，識別效果更好，具有更短的測試時間。例如，對于傳統(tǒng)的深度網(wǎng)絡，本文的算法網(wǎng)絡結(jié)構(gòu)精簡，時間復雜度低；相較于密集連接復用特征信息的網(wǎng)絡，本文的算法在特征復用方面進行了優(yōu)化，避免了特征冗余導致的性能波動。本文實驗結(jié)果證明，使用基于全局深度分離卷積的殘差網(wǎng)絡有助于進行人臉圖像的高效識別。

3 結(jié) 語

考慮到實際場景中深度學習方法識別人臉圖像的局限性，使用全局分離卷積來提高深度殘差網(wǎng)絡對人臉圖像全局特征信息的保真能力，提高了識別效率，并通過結(jié)合殘差學習模塊得到精準的特征信息，達到了更好的識別效果。在CASIA-Webface與Extend Yale-B人臉數(shù)據(jù)集上的實驗結(jié)果表明：提出的基于全局深度分離卷積殘差學習網(wǎng)絡相較于前沿的識別網(wǎng)絡能更高效地進行人臉圖像的識別。