基于深度學(xué)習(xí)的面部表情識(shí)別研究

劉錦峰 黃江峰

摘? 要：面部表情能夠反映人的內(nèi)心情緒，在智慧課堂真實(shí)場景中識(shí)別學(xué)生面部表情從而獲知學(xué)生的學(xué)習(xí)狀態(tài)一直是研究的熱點(diǎn)與難點(diǎn)。文章對(duì)圖像進(jìn)行預(yù)處理，然后分別輸入到卷積神經(jīng)網(wǎng)絡(luò)層提取特征，并使用長短期記憶神經(jīng)網(wǎng)絡(luò)與提取到的特征融合。最后，將它們加權(quán)融合在一起，通過Softmax層對(duì)人臉表情進(jìn)行分類。分別使用JAFFE等4個(gè)數(shù)據(jù)集、智慧課堂真實(shí)場景驗(yàn)證模型準(zhǔn)確性，結(jié)果表明所提出的模型具有較強(qiáng)的泛化能力。

關(guān)鍵詞：人臉表情;CNN;LSTM;智慧課堂

中圖分類號(hào)：TP391.4;TP18? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2022）01-0086-04

Abstract： Facial expressions can reflect people’s inner emotions. It has always been a hot and difficult research topic to recognize students’ facial expressions in real scenes of smart classrooms to know their learning status. This paper preprocesses the images， then inputs them to the convolutional neural network （CNN） layer to extract the features， and uses the long and short-term memory （LSTM） neural network to fuse with the extracted features. Finally， they are weighted and fused together to classify facial expressions through a Softmax layer. The accuracy of the model is verified by using respectively 4 datasets including JAFFE and the real scene of the smart classrooms， and the results show that the proposed model has strong generalization ability.

Keywords： facial expression; CNN; LSTM; smart classroom

0? 引? 言

面部表情是人類表達(dá)情緒的最主要、最直接、最自然的通道[1]，也是用于情緒識(shí)別的一種重要依據(jù)[2]。隨著人工智能、深度學(xué)習(xí)、計(jì)算機(jī)視覺等新興技術(shù)的發(fā)展，計(jì)算機(jī)可以通過識(shí)別人們的外顯面部特征，獲取其內(nèi)隱的情緒狀態(tài)?；诖耍祟惷娌勘砬樽R(shí)別已被廣泛應(yīng)用于智能監(jiān)護(hù)、安全駕駛、刑偵檢測、人機(jī)交互、智慧教學(xué)等領(lǐng)域。以智慧教學(xué)為例，通過準(zhǔn)確感知學(xué)習(xí)者的情緒狀態(tài)，教師可以適時(shí)調(diào)整自己的教學(xué)策略，有效實(shí)施個(gè)性化教學(xué)，提升學(xué)習(xí)者學(xué)習(xí)效果。

歷經(jīng)了近60年的發(fā)展歷程，目前人臉識(shí)別的研究主要可分為以下四個(gè)階段[3]：一是基于模板匹配的算法、基于幾何結(jié)構(gòu)的算法等;二是奇異值分解法、隱馬爾克夫法、Eigenfaces特征法等;三是稀疏表示法、支持向量機(jī)（Support Vector Machines， SVM）、尺度不變特征變換（Scale-invariant Feature Transform， SIFT）、方向梯度直方圖（Histogram of Oriented Gradient， HOG）、局部二值模式（Local Binary Patterns， LBP）等;四是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNN）、長短期記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory， LSTM）等深度學(xué)習(xí)網(wǎng)絡(luò)。

傳統(tǒng)人臉識(shí)別方法在提取人臉特征時(shí)，容易受到復(fù)雜背景、光照變化、遮擋等情況的干擾，進(jìn)而導(dǎo)致識(shí)別率低。而深度學(xué)習(xí)通過大量樣本的訓(xùn)練學(xué)習(xí)，可以提取到更抽象、更深層次的特征，從而大大提高人臉識(shí)別準(zhǔn)確率。目前，越來越多的學(xué)者通過深度學(xué)習(xí)方法識(shí)別人臉表情，已成為計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)。

近些年，卷積神經(jīng)網(wǎng)絡(luò)為面部表情識(shí)別的突破性進(jìn)展起到了決定性作用[4，5]，但仍然存在一系列問題。針對(duì)使用CNN進(jìn)行面部表情識(shí)別時(shí)，難以對(duì)空間和時(shí)間信號(hào)進(jìn)行處理的問題，程換新等[6]創(chuàng)新采用了CNN和LSTM模型獲取實(shí)時(shí)環(huán)境或數(shù)據(jù)集中的圖像序列;針對(duì)人臉識(shí)別時(shí)表情區(qū)域特征表示力不足、參數(shù)量過大等問題，周麗芳等[7]設(shè)計(jì)了一個(gè)輕量化網(wǎng)絡(luò)模型BRNet，將二值卷積與傳統(tǒng)卷積并行運(yùn)算;針對(duì)微表情存在的數(shù)據(jù)集樣本少、面部肌肉運(yùn)動(dòng)幅度小等問題，陳湯慧等[8]采用了預(yù)處理階段放大微表情、改進(jìn)Mini-Xception網(wǎng)絡(luò)模型等策略;王濤等[9]將LBP特征和幾何特征融合，結(jié)合SVM進(jìn)行笑臉識(shí)別;呂秀麗等創(chuàng)新將改進(jìn)局部LBP和深度信念網(wǎng)絡(luò)（Depth Belief Net-work， DBN）結(jié)合進(jìn)行人臉識(shí)別[10]。本文主要研究在真實(shí)的智慧課堂環(huán)境下，創(chuàng)新使用雙通道CNN-LSTM模型對(duì)學(xué)生面部表情進(jìn)行識(shí)別。

1? 基于深度學(xué)習(xí)的面部表情識(shí)別

為提高真實(shí)智慧課堂環(huán)境下面部表情識(shí)別的效果，本文的面部表情識(shí)別主要分為以下三個(gè)流程：首先，對(duì)圖像進(jìn)行兩步預(yù)處理，分別是捕捉人臉紋理信息和面部微表情，生成LBP圖像;捕捉人臉邊緣和結(jié)構(gòu)特征，生成梯度圖像。然后，將預(yù)處理后的LBP圖像和梯度圖像分別輸入到CNN層提取特征，并使用LSTM與提取到的特征融合。最后，將它們加權(quán)融合在一起，通過Softmax層對(duì)人臉表情進(jìn)行分類，從而實(shí)現(xiàn)面部表情識(shí)別。算法流程如圖1所示。

1.1? 基于LBP和梯度的圖像預(yù)處理

為了更好提取嘴、鼻子、眼睛和其他關(guān)鍵區(qū)域的紋理特征，且對(duì)不同尺寸、灰度、旋轉(zhuǎn)都具有更強(qiáng)的適應(yīng)性和魯棒性，本文使用Ojala改進(jìn)的LBP算子，用任意大小的圓形鄰域替代原來3×3的正方形鄰域。

對(duì)于任意一個(gè)點(diǎn)（xc，yc），它的近鄰點(diǎn)（xp，yp）的表示為：

其中，R代表半徑，R代表樣本點(diǎn)個(gè)數(shù)。由于圓形LBP采用的樣本點(diǎn)可能不在像素坐標(biāo)上，則需要雙線性插值進(jìn)行近似處理：

圓形LBP圖像處理后的圖像能將原始圖像的細(xì)節(jié)還原，得到更多有用的特征點(diǎn)信息。

為了能夠更好突出人臉邊緣特征，本文采用高斯-拉普拉斯（LoG）算子進(jìn)行邊緣檢測，邊緣定位時(shí)結(jié)合了二階導(dǎo)數(shù)零交叉性質(zhì)。典型的二維高斯函數(shù)如式（4）所示：

其中，σ代表用于控制去噪的尺度因子，圖像平滑效果最好的時(shí)候σ值取1。

使用LoG算子時(shí)，首先需要對(duì)圖像低通濾波，也就是消除圖像中的噪聲，讓圖像變得光滑，具體實(shí)現(xiàn)過程是使用二維高斯函數(shù)與圖像進(jìn)行卷積運(yùn)算，如式（5）所示：

然后使用Laplacian算子對(duì)平滑后的圖像g（x，y）進(jìn)行二階導(dǎo)數(shù)運(yùn)算，見公式（6）：

梯度圖像處理后的圖像能更好保留面部的結(jié)構(gòu)和邊緣特征。

1.2? 基于CNN和LSTM的特征提取

通過上述步驟的圖像預(yù)處理，將處理后的LBP圖像和梯度圖像分別輸入由若干卷積層和池化層構(gòu)成的CNN中。其中，卷積層的作用是通過卷積核掃描輸入圖像數(shù)據(jù)，提取人臉圖像特征，計(jì)算過程見公式（8）， w代表卷積核權(quán)重系數(shù)，x代表輸入數(shù)據(jù)，b代表偏置，σ代表激活函數(shù)ReLU，ReLU能使模型較快地達(dá)到收斂的狀態(tài)，h代表運(yùn)算后的輸出結(jié)果：

池化層的作用是通過降低數(shù)據(jù)特征維度減少計(jì)算量，主要有平均值池化和最大值池化兩種方法，計(jì)算過程見公式（9），hi、hi-1分別代表池化后、池化前的特征數(shù)據(jù)。

接下來，將CNN層提取的人臉面部表情特征輸入LSTM單元，如圖2所示，主要目的是為了提取人臉面部表情的時(shí)序特征。LSTM單元本質(zhì)上是通過輸入門i、輸出門o，遺忘門f控制單元內(nèi)部信息的流動(dòng)。其中，遺忘門f決定丟棄哪些信息，計(jì)算過程見式（10）;輸入門i決定可以添加哪些信息m，計(jì)算過程見式（11），通過當(dāng)前的輸入和前一時(shí)刻的輸出，更新當(dāng)前單元狀態(tài)C，計(jì)算過程見式（12）;輸出門o決定輸出哪些信息，計(jì)算過程見式（13），通過學(xué)生當(dāng)前的表情和輸出門ot，可以得到學(xué)生以前的表情ht，計(jì)算過程見公式（14）。

在上述公式公式中，ht代表學(xué)生以前表情的輸出，xt代表智慧課堂圖像序列的輸入，bf、bt、bc、bo代表偏置，Wf、Wt、Wc、Wo代表權(quán)重系數(shù)，tanh代表雙曲正切激活函數(shù)，σ代表sigmoid激活函數(shù)。

1.3? 特征融合與基于Softmax函數(shù)的分類

接下來，將使用加權(quán)的方法將兩個(gè)通道上特征向量融合在一起，如式（15）所示：

其中pi代表融合后的特征，li代表圖像LBP特征，si代表圖像梯度特征，α為權(quán)重。最后，使用Softmax函數(shù)對(duì)融合后的特征經(jīng)過全連接層后進(jìn)行分類。

2? 實(shí)驗(yàn)與分析

2.1? 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)操作系統(tǒng)為Windows10 64位，處理器為AMD Ryzen 7 3800X型號(hào)，顯卡為GTX 1080 TITAN。編程環(huán)境為Python 3.0，使用的深度學(xué)習(xí)框架為TensorFlow和Keras。

2.2? CK+、FER2013、JAFFE和Oulu-CASIA數(shù)據(jù)集試驗(yàn)結(jié)果

（1）首先是評(píng)估權(quán)重α對(duì)四個(gè)數(shù)據(jù)集識(shí)別準(zhǔn)確率的影響，α的增加步長為0.1，當(dāng)α=0時(shí)，代表僅輸入LBP圖像，當(dāng)α=1時(shí)，代表僅輸入梯度圖像，實(shí)驗(yàn)結(jié)果表明，當(dāng)α=0.5時(shí)，識(shí)別準(zhǔn)確率最高。因此，本模型中α的取值為0.5。實(shí)驗(yàn)結(jié)果如表1所示。

（2）其次是基于FER2013數(shù)據(jù)集制作了混合矩陣，該數(shù)據(jù)集共有35 886張面部表情圖片，共包含了憤怒、厭惡、恐懼、中性、高興、驚訝、悲傷7種面部表情，包含了真實(shí)世界的遮擋、不平衡光照、不同姿勢等多種情況，相對(duì)而言難度更大。實(shí)驗(yàn)結(jié)果如表2所示，其中行為真實(shí)類別，列為預(yù)測類別，對(duì)角線為預(yù)測正確率，其余為預(yù)測錯(cuò)誤率。

2.3? 性能測試

為進(jìn)一步測試本模型在智慧課堂真實(shí)環(huán)境中的應(yīng)用效果，使用該模型對(duì)智慧課堂真實(shí)視頻的每幀畫面進(jìn)行表情識(shí)別。實(shí)驗(yàn)結(jié)果表明，在真實(shí)智慧課堂環(huán)境下，本文算法具有較好的識(shí)別準(zhǔn)確率，如圖3所示。

3? 結(jié)? 論

本文從特征提取、卷積神經(jīng)網(wǎng)絡(luò)兩個(gè)方面展開了人臉表情識(shí)別研究。通過LBP圖像和梯度圖像，有效提取了人臉紋理信息、面部微表情、人臉結(jié)構(gòu)和邊緣特征，通過結(jié)合CNN和LSTM構(gòu)建雙通道卷積神經(jīng)網(wǎng)絡(luò)，最后將它們加權(quán)融合在一起，使用Softmax進(jìn)行分類。在FER2013、JAFFE、CK+、Oulu-CASIA 和真實(shí)智慧課堂環(huán)境中均取得了較優(yōu)越的性能。

考慮到智慧課堂中的表情分布不平衡這一問題，比如厭惡、悲傷、恐懼之類的表情較少。未來，筆者將嘗試進(jìn)一步擴(kuò)大數(shù)據(jù)庫多樣性和規(guī)模，同時(shí)拓展對(duì)反映學(xué)生學(xué)習(xí)狀態(tài)的微表情識(shí)別的研究。

參考文獻(xiàn)：

[1]K ELTNER D， EKMAN P. Facial Expression of Emotion [M]. Handbook ofEmotions 3rd. New York： The Guilford Press， 2010： 173-183.

[2] Lancet T. Communication without Words[J]. University of East London， 1968， 24（23）： 1084-5.

[3]魏為民，孟繁星等.人臉表情識(shí)別綜述[J].上海電力大學(xué)學(xué)報(bào)，2021（12）：597-602.

[4]景晨凱，宋濤等.基于深度卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別技術(shù)綜述[J].計(jì)算機(jī)應(yīng)用與軟件，2018（1）：223-231.

[5]靳顯智，林霏等.基于CNN的面部表情識(shí)別算法[J].齊魯工業(yè)大學(xué)學(xué)報(bào)，2021（6）：64-69.

[6]程換新，王雪等.基于CNN和LSTM的人臉表情識(shí)別模型設(shè)計(jì)[J].電子測量技術(shù)，2021（9）：160-164.

[7]周麗芳，劉俊林等.深度二值卷積網(wǎng)絡(luò)的人臉表情識(shí)別方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2022（1）：1-12.

[8]陳湯慧，高美鳳.基于ME-Xception卷積神經(jīng)網(wǎng)絡(luò)的微表情識(shí)別[J].信號(hào)處理，2021（12）：1-12.

[9]王濤，彭欣榮等.基于幾何特征和LBP特征融合的笑臉識(shí)別算法的研究[J].電子測試，2021（12）：52-54.

[10]呂秀麗，黃兆昊等.基于改進(jìn)LBP和DBN的人臉識(shí)別算法研究[J].工業(yè)儀表與自動(dòng)化裝置，2021（5）：80-82.

作者簡介：劉錦峰（1982—），女，漢族，湖南婁底人，副教授，碩士，主要研究方向：高職教育、智能教育、電子商務(wù)。