結合注意力機制的面部表情識別方法研究

任志強　遲杏　朱煜君　劉型定　張欣

摘? 要： 傳統(tǒng)CNN對重要通道特征關注不足，制約面部表情識別準確率。文章將通道注意力機制應用到面部表情識別中，即將通道注意力模塊嵌入到卷積網(wǎng)絡中。在Fer2013和CK+表情數(shù)據(jù)集上的驗證結果表明，該方法有較高的識別率。

關鍵詞： 面部表情識別; 通道注意力機制; 卷積網(wǎng)絡; 表情數(shù)據(jù)集

中圖分類號：TP181? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）03-24-03

Abstract： Traditional CNN pays insufficient attention to important channel features， which restricts the accuracy of facial expression recognition. This paper applies the channel attention mechanism to facial expression recognition， i.e.， to embed the channel attention module in the convolution network. The verification results on Fer2013 and CK + expression data sets show that the proposed method has high recognition rate.

Key words： facial expression recognition; channel attention mechanism; convolution network;? expression data sets

0 引言

面部表情不僅可顯示交際者的情緒狀態(tài)，還可傳達交際者的深層思想和情感[1]。Mehrabian的研究表明，人際交往中面部表情所傳達的信息占比高達55%[2-3]。在醫(yī)療、教育等領域建立人臉表情分析系統(tǒng)具有重要意義[4]。

深度學習在面部表情識別中的應用多基于深度網(wǎng)絡，國內外許多學者研究了基于深度學習的面部表情識別方法。H. Sikkandar等[5]將改進的貓群算法應用于面部表情識別，取得良好識別效果。邵杰等[6]提出稠密人臉活躍度網(wǎng)絡，在Fer2013[7]上獲得了71% 的識別率。何俊等[8]改進殘差網(wǎng)絡，并引入遷移學習，在CK+[9]上實現(xiàn)較高識別率。

為了進一步提高面部表情識別的準確率，本文提出一種基于通道注意力的表情識別方法。將通道注意力機制引入殘差網(wǎng)絡，使網(wǎng)絡自動學習每個特征通道的重要性，提升對重要通道特征的關注度。然后設計全連接層，利用Softmax對全連接層的輸出進行分類。最后設計對比實驗，在公共數(shù)據(jù)集上進行訓練和測試，實驗結果表明了本文方法的有效性。

1 本文方法

1.1 基于通道注意力機制的面部表情識別網(wǎng)絡

本文創(chuàng)新點是將一種通道注意力機制引入殘差網(wǎng)絡的BasicBlock中，提出了一種新的表情識別網(wǎng)絡，本文將其命名為CAResNet20（CA含義是通道注意力），其結構如圖1。CAResNet20的主體結構是CABasicBlock，是BasicBlock和通道注意力機制的結合體。其結構如圖2。

CABasicBlock與BasicBlock最大的不同之處是：第二個ReLu激活函數(shù)的輸出后面接入了新的結構CAlayer，即本文引入的通道注意力機制。

1.2 通道注意力機制原理

CABasicBlock中的CAlayer，是實現(xiàn)通道注意力機制[10]的主要部分。其結構如圖3。

首先最左邊是經(jīng)過卷積、批歸一化（Batch Normalization）、激活等操作后得到的表情特征圖X，該特征圖有C個通道，我們希望通過注意力模塊來學習出每個通道的權重，從而產(chǎn)生通道域的注意力。這個注意力機制主要分為三部分：擠壓（Squeeze），激勵（Excitation），注意（Attention）。

Squeeze：是把每個輸入特征圖的空間維度從H*W壓縮到1，即將一個channel上的整個空間特征編碼為一個全局特征。這里通過CAlayer中的AdAvPool層（自適應平均池化）完成。Sequeeze過程的函數(shù)表達式如下：

其中，[xc]表示的是特征圖X中的某個通道特征，[zc]是通道特征壓縮后的結果，H和W表示特征圖的高和寬。

Excitation：學習不同channel之間的非線性關系，保證學習關系不互斥（因為這里有多個通道的全局描述特征）。這里通過CAlayer的FC、ReLu、FC、Sigmoid等層完成。Excitation過程的函數(shù)表達式如下：

其中，[z]是通道特征壓縮后的結果，[s]表示的是Sigmoid函數(shù)，[W1]和[W2]是為全局描述特征所生成的權重。為了降低模型復雜度，提升泛化能力，這里采用包含兩個全連接層的bottleneck結構，其中第一個FC層起到降維的作用，降維系數(shù)r是個超參數(shù)，這里我們選擇r=16，然后采用ReLu函數(shù)激活。最后的FC層恢復原始的維度。

Attention：將Excitation的輸出的權重看做是特征選擇后的每個特征通道的重要性，然后通過乘法逐通道加權到先前的特征上，完成在通道維度上的對原始特征的重標定。即實現(xiàn)注意力機制。Attention過程的函數(shù)表達式如下：

通道注意力機制的引入，使得CAResNet20可以更關注信息量最大的信道特性。具體來說，它可以通過學習自動獲取每個特征通道的重要性，然后根據(jù)重要性，增強有用的特征，抑制對當前任務無用的特征。

2 實驗

2.1 實驗平臺

本文基于Windows10操作系統(tǒng)，Pytorch版本為1.6，Python版本為3.8。顯卡為NVIDIA GeForce GTX2080Ti，顯存大小11GB。

2.2 實驗數(shù)據(jù)集

本文采用的數(shù)據(jù)集是Fer2013和CK+。

Fer2013面部表情數(shù)據(jù)集是2013 kaggle比賽的數(shù)據(jù)，有7種面部表情，分別是快樂（happy）、悲傷（sadness）、驚訝（surprise）、厭惡（disgust）、生氣（anger）、恐懼（fear），中性（neutral），對應的數(shù)字標簽為0-6。

CK+數(shù)據(jù)庫是Cohn Kanade數(shù)據(jù)集的擴展，Cohn Kanade數(shù)據(jù)集于2010年發(fā)布。CK+包含從123個對象中提取的593個視頻序列，有7種面部表情表，類別和Fer2013相同。

2.3 數(shù)據(jù)集處理

由于Fer2013數(shù)據(jù)集部分圖像質量較差，存在一定的誤差，本文對Fer2013表情數(shù)據(jù)集進行處理。對數(shù)據(jù)集進行十類投票（多了Contempt，unknown和非人臉三類），采用最大投票方式，去除了不確定的圖像，增加了Contempt類表情。對于CK+數(shù)據(jù)集，本文也做了相應處理。增加了Contempt類表情。為了實現(xiàn)訓練和測試，將訓練集和測試集的比例劃分為6：4。

2.4 實驗設計及結果分析

本文實驗參數(shù)的選擇如下：針對Fer2013，本文將訓練的epoch數(shù)量設置為60，訓練集的batchsize設置為128，測試集的batchsize設置為128，學習率為非固定。訓練階段引入數(shù)據(jù)增強的思想，擴充訓練集，損失函數(shù)為交叉熵損失函數(shù)，優(yōu)化器為SGD。針對CK+，本文將訓練的epoch數(shù)量設置為100，訓練集的batchsize設置為32，測試集的batchsize設置為32，學習率為非固定。訓練階段引入數(shù)據(jù)增強的思想，擴充訓練集，損失函數(shù)為交叉熵損失函數(shù)，優(yōu)化器為SGD。

為了驗證本文所提方法的有效性，將本文提出方法與主流方法進行實驗對比，對比結果如表1和表2所示。

由表1可知，在Fer2013的測試集上，本文方法的識別正確率最高，識別率為83.57%，相較于VGG19高出1.14%，相較于VGG16高出2%，AlexNet識別正確率最低。由表2可知，在CK+數(shù)據(jù)集上，本文方法的識別正確率最高，識別率為97.14%，相較于VGG19高出0.66%，相較于VGG16高出1.97%，AlexNet識別正確率最低。從結果可以看出，本文方法在兩個表情數(shù)據(jù)集上的識別精度都優(yōu)于其他傳統(tǒng)方法。驗證了本文方法的有效性。

3 總結

針對卷積神經(jīng)網(wǎng)絡對通道特征關注不足的問題，本文提出一種基于通道注意力機制的卷積神經(jīng)網(wǎng)絡表情識別方法。實驗結果表明，該算法在Fer2013和CK+數(shù)據(jù)集上獲得了較高的識別精度，優(yōu)于目前許多主流表情識別算法?？紤]到本文算法仍存在一些問題：如深層網(wǎng)絡結構和模型參數(shù)。如何優(yōu)化網(wǎng)絡結構，解決光照、遮擋、側臉等干擾因素將是下一步的研究重點。

參考文獻（References）：

[1] Pablo B， Nikhil C， Alessandra S. The FaceChannel： A Fast and Furious Deep Neural Network for Facial Expression Recognition[J]. SN Computer Science，2020，1（6）：1-10

[2] Zhong G Y， Liu G Y， Du X L. Facial Expression Recognition Method based on Convolution Neural Network[J]. Internat-ional Core Journal of Engineering，2021，7（5）：511-515

[3] Zhang Y， Yi W K. Research on Facial Expression Recognition Method Based on Bilinear Convolutional Neural Network[J].Journal of Physics： Conference Series，2021，1848（1）：012089

[4] Kong F Z. Facial expression recognition method based on deep convolutional neural network combined with improved LBP features[J]. Personal and Ubiquitous Computing，2019，23（3-4）：531-539

[5] Sikkandar H， Thiyagarajan R. Deep learning based facial expressionRecogni-tion using improved Cat Swarm Optimiz-ation[J]. Journal of Ambient Intelligence and Humanized Computing，2020，12（2）：3037-3053

[6] Shao J， Qian Y S. Three convolutional neural network models for facial express-ion recognition in the wild[J]. Neurocom-puting，2019，355：82-92

[7] 黨宏社，王淼，張選德.基于深度學習的面部表情識別方法綜述[J].科學技術與工程，2020，20（24）：9724-9732

[8] 何俊，劉躍，李倡洪，等.基于改進的深度殘差網(wǎng)絡的表情識別研究[J].計算機應用研究，2020，37（5）：1578-1581

[9] Hyun-Soon Lee， Bo-Yeong Kang. Continuous emotion estimation of facial expressions on JAFFE and CK+ datasets for human-robot interaction[J]. Intelligent Service Robotics，2020，13（1）：15-27

[10] Zhou Q， Zhou Z Y， Chunmiao C， et al. Grading of hepatocellular carcinoma using 3D SE-DenseNet in dynamic enhanced MR images[J].Computers in Biology and Medicine，2019，107：47-57