基于特征融合的人臉表情識別研究

高理想　高磊

摘? 要：針對現(xiàn)有的人臉表情識別方法易受到光照、噪聲等因素的影響導(dǎo)致識別率較低的問題，本文提出了一種基于特征融合的人臉表情識別方法。從兩方面對表情信息進(jìn)行描述，通過局部二值模式（Local Binary Pattern，LBP）和詞袋模型（Bag Of Words，BOW）分別對表情圖像進(jìn)行紋理特征和語義特征提取，然后將兩種特征進(jìn)行線性融合，最后使用支持向量機(jī)（Support Vector Machine，SVM）進(jìn)行表情分類識別。本文方法在JAFFE和CK+表情數(shù)據(jù)集上分別取得了98.76%和97.58%的識別率，驗證了所提出方法的有效性。

關(guān)鍵詞：人臉表情識別;LBP;BOW;特征融合;SVM

中圖分類號：TP391? ? ?文獻(xiàn)標(biāo)識碼：A

Research on Facial Expression Recognition Based on Feature Fusion

GAO Lixiang1，GAO Lei2，3

（1.Tianjin YunkeShixun Technology Co.，Ltd.，Tianjin 300401，China;

2.Tianjin Research and Development Department，Agricultural Bank of China，Tianjin 300000，China;

3.School of Artificial Intelligence，Hebei University of Technology，Tianjin 300401，China）

Abstract：This paper proposes a new facial expression recognition method based on feature fusion to solve the problem that the existing facial expression recognition methods are vulnerable to illumination，noise and other factors.The facial expression information is described from two aspects.Local Binary Pattern （LBP） and Bag of Words （BOW） are used to extract texture features and semantic features from facial expression images respectively and then are fused linearly.Finally，the expression is classified and recognized by Support Vector Machine （SVM）.The proposed method achieves 98.76% and 97.58% recognition rates on JAFFE and CK + expression datasets respectively，which verifies the effectiveness of the proposed method.

Keywords：facial expression recognition;LBP;BOW;feature fusion;SVM

1? ?引言（Introduction）

人臉表情可以直觀地反映人類的內(nèi)心活動，在人與人的交流中有著重要的作用，通過表情可以很好地傳達(dá)意圖，聽者更好地理解內(nèi)容。隨著人工智能研究的發(fā)展，人臉表情識別在教育[1]、醫(yī)療[2]、游戲[3]和輔助駕駛[4]等領(lǐng)域展現(xiàn)出了廣闊的應(yīng)用前景，逐漸成了計算機(jī)視覺領(lǐng)域的研究熱點(diǎn)。目前，常用的表情識別方法有基于紋理特征的方法、基于幾何特征的方法和基于語義特征的方法[5-7]。其中紋理特征是對面部的紋理信息進(jìn)行描述，如皺紋和皺眉等;幾何特征是對五官的形變量和面部關(guān)鍵點(diǎn)的位移量進(jìn)行描述;語義特征是通過對底層視覺特征的語義分析，將人臉表情的底層視覺信息轉(zhuǎn)化為高層的語義描述。常用的紋理特征提取算法有LBP[8]、Gabor濾波器[9]、LDN[10]等，紋理特征可以提取到豐富的面部紋理信息，但易受到光照和噪聲等因素的影響。Mistry等[11]使用LBP算法對人臉表情圖像進(jìn)行紋理特征提取。Gu等[12]使用Gabor濾波器對人臉表情圖像進(jìn)行紋理特征提取，并對特征進(jìn)行徑向編碼，形成魯棒性強(qiáng)的局部紋理特征。幾何特征提取先要對人臉各部位進(jìn)行特征點(diǎn)定位，其對外部環(huán)境因素的影響具有較強(qiáng)的魯棒性，但提取效果依賴于面部特征點(diǎn)定位的準(zhǔn)確性。胡步發(fā)等[13]提出了一種基于語義特征的人臉表情識別方法，通過層次分析法對人臉表情圖像進(jìn)行高層語義描述，建立語義特征向量，該方法在日本女性人臉表情數(shù)據(jù)庫JAFFE中取得了較好的識別效果。Harrati等[14]使用詞袋模型對人臉表情進(jìn)行語義特征提取，通過對視覺特征進(jìn)行聚類，形成多個聚簇中心，然后通過統(tǒng)計得到特征頻率直方圖，將其作為特征向量輸入到SVM中進(jìn)行表情分類。語義特征能夠?qū)D像的高層信息進(jìn)行語義描述，但是容易忽略低層的細(xì)節(jié)信息。

不同的特征提取方法有各自的優(yōu)勢，但同時也存在著不足，將特征進(jìn)行融合可以有效地將每種特征的優(yōu)缺點(diǎn)進(jìn)行互補(bǔ)，因此本文提出了一種基于特征融合的人臉表情識別方法。先對表情圖像進(jìn)行紋理特征和語義特征提取，然后對兩種種特征進(jìn)行線性融合，最后將融合的特征輸入SVM分類器進(jìn)行表情分類識別。實(shí)驗結(jié)果表明，該方法能夠?qū)θ四槺砬樾畔⑦M(jìn)行充分的提取，特征魯棒性強(qiáng)，能夠?qū)θ四槺砬檫M(jìn)行有效地識別。

2? ?相關(guān)算法描述（Relevant algorithms description）

2.1? ?LBP算法

LBP算法是一種局部紋理特征提取方法，由于其計算復(fù)雜度低并且特征提取效果較好，受到了諸多研究者的青睞。LBP算子定義在3×3的窗口內(nèi)，該算子以中心像素值為閾值，將相鄰的8個像素的灰度值與其進(jìn)行比較，若周圍的像素大于中心像素值，則該位置被標(biāo)記為1，反之為0，在3×3的鄰域內(nèi)，中心像素點(diǎn)周圍的8個像素點(diǎn)組成一個8位二進(jìn)制數(shù)，這個二進(jìn)制數(shù)就作為該鄰域的LBP編碼，將此二進(jìn)制數(shù)轉(zhuǎn)換為十進(jìn)制，得到的數(shù)值即為LBP值，用來表征該區(qū)域的紋理信息。LBP算法的計算公式如式（1）和式（2）所示：

（1）

（2）

其中，表示周圍像素點(diǎn)的個數(shù)，表示中心像素點(diǎn)的灰度值，表示周圍像素點(diǎn)的灰度值，為符號函數(shù)，LBP算法的編碼過程如圖1所示。

將圖像中每個像素點(diǎn)都經(jīng)過LBP算法處理之后，即可得到整幅圖像的LBP編碼值，形成LBP特征圖，如圖2所示為LBP算法處理效果圖。將LBP特征圖中的所有編碼值進(jìn)行統(tǒng)計，即可得到LBP統(tǒng)計直方圖，形成了對圖像的紋理特征描述的特征向量。

2.2? ?詞袋模型BOW

詞袋模型（Bag Of Words，BOW）最初應(yīng)用于文本處理領(lǐng)域，解決文檔的抽象表示和分類識別問題。Zhu等[15]將其引入到了計算機(jī)視覺領(lǐng)域用于圖像的表示，詞袋模型在文本和圖像處理上的對應(yīng)關(guān)系如圖3所示。在文本處理過程中，詞袋模型將單詞進(jìn)行聚類組合形成詞典，因此在圖像處理中將局部特征所代表的視覺單詞進(jìn)行集合即可組成一部視覺詞典，詞典中每個視覺詞匯及其出現(xiàn)的頻率可以代表圖像的視覺特征。

使用詞袋模型對人臉表情圖像進(jìn)行特征提取的一般步驟為：

（1）使用尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）[16]算法提取每幅人臉表情圖像的局部特征;

（2）使用k-means算法對SIFT特征進(jìn)行聚類，得到的聚類中心為個，也就是這個視覺單詞構(gòu)成了表情圖像的視覺詞典;

（3）對每幅表情圖像中視覺單詞出現(xiàn)的頻率進(jìn)行統(tǒng)計，最終將人臉表情圖像表示為視覺單詞頻率直方圖的形式，即該幅表情圖像的BOW特征。

由于在不同的表情圖像中，眼睛、鼻子和嘴巴這三個部位的差異較大，表明這三個區(qū)域的信息對于表情的表征貢獻(xiàn)較大[17]，因此，本文選取眼睛、鼻子、嘴巴這三個語義信息較為集中的區(qū)域作為特征提取的關(guān)鍵區(qū)域，使用詞袋模型對這三個關(guān)鍵區(qū)域進(jìn)行語義特征提取。為便于提取特征，本文將三個關(guān)鍵區(qū)域都?xì)w一化為41×130的圖像分塊。分別對三個區(qū)域提取SIFT特征，然后使用k-means算法對SIFT特征聚類，即可得到視覺詞典，聚類過程為：

首先從個特征中隨機(jī)取個元素作為個簇的初始聚類中心，根據(jù)其余元素到個簇中心的距離分別劃分到距離最近的簇。假設(shè)將樣本聚類成的簇為，則每個樣本與聚類中心之間的最小化平方誤差為：

（3）

其中，是簇的均值向量，也稱其為質(zhì)心，表達(dá)式為：

（4）

然后計算簇中所有元素的均值向量，得到新的個聚類中心，不停重復(fù)上述過程直到聚類結(jié)果不再變化。通過詞匯聚類得到詞典后，使用歐式距離來計算每個采樣點(diǎn)的SIFT特征向量與詞典中每個詞匯距離，并將其映射到與之距離最小的詞匯，最后統(tǒng)計映射的詞匯分布，得到表情圖像的視覺詞匯頻率直方圖，此直方圖即為表情圖像的詞袋模型語義特征。

2.3? ?基于特征融合的表情識別方法

鑒于單一特征對人臉表情信息的表征能力較弱，本文采用特征融合的方法進(jìn)行表情識別，為了充分結(jié)合每種特征的優(yōu)勢，本文使用線性融合的方式，即特征串聯(lián)的方式，對所提取的紋理特征和語義特征進(jìn)行組合，如圖4所示為本文方法流程圖。先對人臉表情圖像進(jìn)行LBP紋理特征和BOW語義特征提取，分別得到兩種特征向量，然后將兩個向量串聯(lián)形成一個可以表征表情詳細(xì)信息的特征向量，隨后將其輸入SVM分類器中分類識別，即可得到此圖像的所屬表情類別。

3? ?實(shí)驗結(jié)果與分析（Experimental results and analysis）

實(shí)驗中采用日本女性人臉表情數(shù)據(jù)庫JAFFE[18]和CK+[19]數(shù)據(jù)庫，部分圖像分別如圖5和圖6所示。本文選取JAFFE中全部表情圖像進(jìn)行實(shí)驗，選取CK+中312個圖像序列進(jìn)行實(shí)驗。實(shí)驗采用十折交叉驗證的方式進(jìn)行，即將全部表情圖像均分成10份，取其中9份進(jìn)行訓(xùn)練，另一份進(jìn)行測試，共進(jìn)行10次實(shí)驗，取實(shí)驗的平均結(jié)果作為最后的表情識別率。

表1為在不同的特征組合方式下，JAFFE和CK+庫中的表情識別率，從表中的實(shí)驗數(shù)據(jù)可以看出，將特征融合可以有效提高表情的識別率，驗證了本文方法的有效性。

表2和表3分別為在JAFFE和CK+上的識別率混淆矩陣，由表中的實(shí)驗數(shù)據(jù)可以看出，本文方法對每種的表情的識別率都能達(dá)到95%以上，說明本文多特征融合的方法可以對表情進(jìn)行有效地區(qū)分。

在JAFFE和CK+數(shù)據(jù)庫中，將本文方法與目前主流的人臉表情識別方法進(jìn)行了比較，包括GLTP、Gabor、LDN、CNN和WMDNN等方法。實(shí)驗結(jié)果如表4所示，可以看出，本文方法表情識別效果最為出色，識別率明顯高于其他幾種方法。

4? ?結(jié)論（Conclusion）

本文提出一種基于特征融合的人臉表情識別方法，分別對人臉表情圖像進(jìn)行紋理特征和語義特征提取，然后將兩種特征進(jìn)行線性融合，最后將融合的特征輸入到SVM分類器中進(jìn)行表情分類識別，在JAFFE和CK+數(shù)據(jù)庫中均取得了較好的識別效果。特征融合的方式能夠?qū)我惶卣鞯膬?yōu)缺點(diǎn)進(jìn)行有效互補(bǔ)，對人臉表情信息的提取更加完整，因此能夠取得較好的表情識別效果。但是由于特征融合方法步驟較為復(fù)雜，耗時較長，下一步的工作將考慮降低方法的計算復(fù)雜度，減少計算時間。

參考文獻(xiàn)（References）

[1] Zeng N，Zhang H，Song B，et al.Facial expression recognition via learning deep sparse autoencoders[J].Neurocomputing，2018，273（06）：643-649.

[2] Tsai H H，Chang Y C.Facial expression recognition using a combination of multiple facial features and support vector machine[J].Soft Computing，2018，22（13）：4389-4405.

[3] Elaiwat S，Bennamoun M，Boussaid F.A spatio-temporal RBM-based model for facial expression recognition[J].Pattern Recognition，2016，49（11）：152-161.

[4] 劉鵬，劉峰.融合臉部紅外信息與深度信息的駕駛員路怒表情識別方法[J].軟件導(dǎo)刊，2017，16（10）：198-201.

[5] Chen J，Takiguchi T，Ariki Y.Rotation-reversal invariant HOG cascade for facial expression recognition[J].Signal，Image and Video Processing，2017，11（8）：1485-1492.

[6] 易積政，毛峽，薛雨麗.基于特征點(diǎn)矢量與紋理形變能量參數(shù)融合的人臉表情識別[J].電子與信息學(xué)報，2013，35（10）：2403-2410.

[7] Ding Y，Zhao Q，Li B，et al.Facial expression recognition from image sequence based on LBP and Taylor expansion [J].IEEE Access，2017，5（3）：19409-19419.

[8] Ojala T，Pietik?inen M，M?enp?? T.Gray scale and rotation invariant texture classification with local binary patterns[C].European Conference on Computer Vision.Springer，Berlin，Heidelberg，2000：404-420.

[9] 龔安，曾雷.基于Gabor變換與改進(jìn)SLLE的人臉表情識別[J].計算機(jī)系統(tǒng)應(yīng)用，2017，26（9）：210-214.

[10] Rivera A R，Castillo J R，Chae O.Local directional number pattern for face analysis：Face and expression recognition[J].IEEE transactions on image processing，2013，22（5）：1740-1752.

[11] Mistry K，Zhang L，Sexton G，et al.Facial expression recongition using firefly-based feature optimization[C].2017 IEEE Congress on Evolutionary Computation（CEC）.IEEE，2017：1652-1658.

[12] Gu W，Xiang C，Venkatesh Y V，et al.Facial expression recognition using radial encoding of local Gabor features and classifier synthesis[J].Pattern recognition，2012，45（1）：80-91.

[13] 胡步發(fā)，黃銀成，陳炳興.基于層次分析法語義知識的人臉表情識別新方法[J].中國圖像圖形學(xué)報，2018，16（3）：420-426.

[14] Harrati N，Bouchrika I，Tari A，et al.Automated classification of facial expressions using bag of visual words and texture-based features[C].2015 16th International Conference on Sciences and Techniques of Automatic Control and Computer Engineering （STA）.IEEE，2015：363-367.

[15] Zhu Q，Zhong Y，Zhao B，et al.Bag-of-visual-words scene classifier with local and global features for high spatial resolution remote sensing imagery[J].IEEE Geoscience and Remote Sensing Letters，2016，13（6）：747-751.

[16] Berretti S，Del Bimbo A，Pala P，et al.A set of selected SIFT features for 3D facial expression recognition[C].2010 20th International Conference on Pattern Recognition.IEEE，2010：4125-4128.

[17] 孫曉，潘汀，任福繼.基于ROI-KNN卷積神經(jīng)網(wǎng)絡(luò)的面部表情識別[J].自動化學(xué)報，2016，42（6）：883-891.

[18] Lyons M，Akamatsu S，Kamachi M，et al.Coding facial expressions with gabor wavelets[C].Proceedings Third IEEE international conference on automatic face and gesture recognition.IEEE，1998：200-205.

[19] Lucey P，Cohn J F，Kanade T，et al.The extended cohn-kanade dataset （CK+）：A complete dataset for action unit and emotion-specified expression[C].2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition-Workshops.IEEE，2010：94-101.

[20] Holder R P，Tapamo J R.Improved gradient local ternary patterns for facial expression recognition[J].EURASIP Journal on Image and Video Processing，2017，17（1）：42-51.

[21] Lopes A T，Aguiar E，Souza A F，et al.Facial expression recognition with convolutional neural networks：coping with few data and the training sample order[J].Pattern Recognition，2017，61（8）：610-628.

[22] Yang B，Cao J，Ni R，et al.Facial expression recognition using weighted mixture deep neural network based on double-channel facial images[J].IEEE Access，2018，6（8）：4630-4640.

作者簡介：

高理想（1990-），男，本科，助理工程師.研究領(lǐng)域：系統(tǒng)集成，圖像處理.

高? 磊（1993-），男，碩士，助理工程師.研究領(lǐng)域：圖像處理，軟件開發(fā).