孫歌 王劍雄 歐琪等

摘要：面部表情是傳遞人類情感狀態(tài)最直觀的方式，通過分析面部表情，可以獲得某人在某時(shí)剖的精神和身體狀況。表情識(shí)別在人機(jī)通信、自動(dòng)駕駛、醫(yī)學(xué)等應(yīng)用領(lǐng)域有著重要的應(yīng)用價(jià)值，并且受到越來越多的關(guān)注。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，表情識(shí)別技術(shù)研究也從常規(guī)的圖像處理方法轉(zhuǎn)變?yōu)椴捎蒙疃葘W(xué)習(xí)的方法，但是由于樣本數(shù)量有限，以及硬件設(shè)備的限制，使得提高表情識(shí)別準(zhǔn)確率的方法受到了一定的限制。文章主要對(duì)改進(jìn)ALEXNET模型的表情識(shí)別算法進(jìn)行研究，由于ALEXNET在人臉面部表情識(shí)別中準(zhǔn)確率較低，因此在對(duì)ALEXNET網(wǎng)絡(luò)進(jìn)行深入研究的基礎(chǔ)上，通過修改卷積核的大小以及卷積層的數(shù)量，增加注意力機(jī)制和殘差塊．以提高網(wǎng)絡(luò)對(duì)人臉特征的提取能力，并將改進(jìn)后的AlcxNct模型應(yīng)用于CK+及jAFFE數(shù)據(jù)集，進(jìn)而在該數(shù)據(jù)集上取得了較好的識(shí)別準(zhǔn)確率。

關(guān)鍵詞：表情識(shí)別；AlcxNct；深度學(xué)習(xí)；卷積層

中圖法分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

１ 引言

隨著科學(xué)技術(shù)的進(jìn)步，深度神經(jīng)網(wǎng)絡(luò)現(xiàn)已被應(yīng)用于自動(dòng)面部表情識(shí)別，從實(shí)驗(yàn)室控制到野外環(huán)境，其應(yīng)用越來越廣闊。面部表情是人類最直接、最容易感知的信號(hào)之一，可以幫助人們更好地理解、表達(dá)情感和意圖。隨著社會(huì)自動(dòng)化機(jī)器人、醫(yī)學(xué)、駕駛員疲勞檢測(cè)等人機(jī)交互信息系統(tǒng)的發(fā)展，面部表情自動(dòng)分析已成為一種重要的技術(shù)手段，并受到廣泛的關(guān)注。機(jī)器可視化和機(jī)器學(xué)習(xí)方法也在發(fā)展，它們可以從面部表征中提取出有用的信息，從而實(shí)現(xiàn)對(duì)人臉的準(zhǔn)確識(shí)別。２０ 世紀(jì)初，ＥＫＭＡＮ 等［１］ 進(jìn)行跨文化分析，提出了６ 種主要情感，這些情感可以被界定為憤慨、憎恨、驚恐、愉快、悲痛和震驚，表明不論文化背景如何，人們對(duì)這些情況的感知方式都是一致的。

在當(dāng)今深度學(xué)習(xí)技術(shù)發(fā)展迅速的背景下，傳統(tǒng)分析方法和深度學(xué)習(xí)分析方法已經(jīng)是表情分析技術(shù)的２個(gè)重要方向。深度學(xué)習(xí)技術(shù)憑借自身強(qiáng)大的特征提取能力和自學(xué)習(xí)能力已在表情識(shí)別領(lǐng)域彰顯出巨大潛力。因此，在表情識(shí)別中應(yīng)用深度學(xué)習(xí)技術(shù)進(jìn)行特征提取取代手工特征提取已逐漸成為主流，也是當(dāng)今技術(shù)發(fā)展的必然要求。特別是在人臉表情識(shí)別方向，深度學(xué)習(xí)技術(shù)通過多層神經(jīng)網(wǎng)絡(luò)的組合，已能夠從人臉圖片中識(shí)別出當(dāng)前人類情緒，并對(duì)情緒種類加以分類。當(dāng)前較為流行的深度學(xué)習(xí)網(wǎng)絡(luò)有卷積神經(jīng)網(wǎng)絡(luò)［２］（ＣｏｎＶｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）、深度置信網(wǎng)絡(luò)［３］（Ｄｅｅｐ ＢｅｌｉｅｆＮｅｔｗｏｒｋｓ，ＤＢＮ）、殘差神經(jīng)網(wǎng)絡(luò)［４］（ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋｓ， ＲｅｓＮｅｔ） 和生成對(duì)抗網(wǎng)絡(luò)［５］（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ，ＧＡＮ）等。

２ 改進(jìn)的ＡｌｅｘＮｅｔ 網(wǎng)絡(luò)結(jié)構(gòu)

在ＩＳＶＲＣ２０１２ 上最為矚目的當(dāng)屬ＡｌｅｘＮｅｔ 神經(jīng)網(wǎng)絡(luò)模型。ＡｌｅｘＮｅｔ 的整體結(jié)構(gòu)總共分為８ 層，卷積層共５ 層和全連接層共３ 層，卷積核尺寸分別設(shè)定為１１×１１，５×５，３×３，３×３ 和３×３。ＡｌｅｘＮｅｔ 網(wǎng)絡(luò)雖然在圖像識(shí)別領(lǐng)域中取得了一定成績，但隨著神經(jīng)網(wǎng)絡(luò)的迭代和發(fā)展，ＡｌｅｘＮｅｔ 在應(yīng)用于圖像分析時(shí)也逐漸出現(xiàn)問題。尤其在表情分析領(lǐng)域中進(jìn)行表情提取時(shí)，它仍存在提取表情不準(zhǔn)確、表情種類分析準(zhǔn)確率不高的情況，本文在ＡｌｅｘＮｅｔ 網(wǎng)絡(luò)的基礎(chǔ)上提出了一種改進(jìn)的ＡｌｅｘＮｅｔ 網(wǎng)絡(luò)模型。該模型應(yīng)用ＣＮＮ 網(wǎng)絡(luò)的深層特征提取能力彌補(bǔ)了ＡｌｅｘＮｅｔ 網(wǎng)絡(luò)在某些情況下識(shí)別能力差、表情區(qū)分不清晰的短板，最終實(shí)現(xiàn)了更準(zhǔn)確、更迅速的表情識(shí)別［６～１２］ 。改進(jìn)前后的ＡｌｅｘＮｅｔ 網(wǎng)絡(luò)結(jié)構(gòu)圖如圖１、圖２ 所示。

圖２ 改進(jìn)后的網(wǎng)絡(luò)模型中包含６ 個(gè)卷積層、２ 個(gè)全連接層和１ 個(gè)ｓｏｆｔｍａｘ 輸出層，并且引入了自注意力機(jī)制和避免了梯度消失問題的殘差塊，從圖中可以看出，改進(jìn)前后的ＡｌｅｘＮｅｔ 網(wǎng)絡(luò)的組織結(jié)構(gòu)組成是相似的［１３～１４］ 。

首先，由于純?nèi)四槇D像是經(jīng)過裁剪之后才輸入網(wǎng)絡(luò)模型中，圖像尺寸較小且原有網(wǎng)絡(luò)卷積核尺寸過大、步長過長，特征提取效果較差，因此將原始ＡｌｅｘＮｅｔ 網(wǎng)絡(luò)第一層的１ｌ×１１ 卷積核改變?yōu)椋?個(gè)３×３ 卷積核的堆疊，步長從４ 減小到２。因?yàn)檩^小的卷積核提取的局部特征更細(xì)致，能夠提高網(wǎng)絡(luò)模型的分類結(jié)果，而采用２個(gè)堆疊的較小卷積核還可以有效利用非線性激活函數(shù)，并有效提升網(wǎng)絡(luò)的非線性表達(dá)能力，同時(shí)減少了網(wǎng)絡(luò)中的參數(shù)量。其次，因輸入圖像尺寸小、數(shù)據(jù)集樣本少且模型網(wǎng)絡(luò)層數(shù)較多，為更好地提升該模型的識(shí)別準(zhǔn)確率，故借鑒何凱明，張翔宇等在２０１５ 年提出的ＲｅｓＮｅｔ殘差網(wǎng)絡(luò)，在本模型中構(gòu)建殘差網(wǎng)絡(luò)塊，以盡量避免梯度消失的問題，在減少模型參數(shù)訓(xùn)練時(shí)間的同時(shí)，也提升了表情識(shí)別的準(zhǔn)確率。ＳＥ 注意力機(jī)制（Ｓｑｕｅｅｚｅ?ａｎｄ?Ｅｘｃｉｔａｔｉｏｎ Ｎｅｔｗｏｒｋｓ）在通道維度增加注意力機(jī)制，關(guān)鍵操作是ｓｑｕｅｅｚｅ 和ｅｘｃｉｔａｔｉｏｎ。原始表情圖像的數(shù)據(jù)被分割成多個(gè)像素塊，每個(gè)像素塊的權(quán)重相同，即在模型訓(xùn)練時(shí)的重要性是相同的，不僅影響訓(xùn)練時(shí)間，還影響模型參數(shù)的準(zhǔn)確性。故在模型開始部分引入自注意力機(jī)制，通過自動(dòng)學(xué)習(xí)的方式，使用另外一個(gè)新的神經(jīng)網(wǎng)絡(luò)，獲取當(dāng)前表情圖像中每個(gè)像素塊的重要程度，然后用這個(gè)重要程度去給每個(gè)像素特征賦予一個(gè)權(quán)重值，從而讓后續(xù)的神經(jīng)網(wǎng)絡(luò)重點(diǎn)關(guān)注某些像素特征，提升對(duì)當(dāng)前表情識(shí)別有用的特征圖的像素塊，并抑制對(duì)當(dāng)前識(shí)別任務(wù)用處不大的像素塊。表情類別差異微小的（如害怕、傷心、生氣）表情特征通常聚集于局部區(qū)域，不僅需要關(guān)注有益于表情分類的特征形態(tài)，還需要關(guān)注具體的局部特征。引入通道注意力機(jī)制實(shí)現(xiàn)通道權(quán)重判斷，進(jìn)而實(shí)現(xiàn)不同區(qū)域的權(quán)重分配。權(quán)重分配機(jī)制有效挖掘?qū)Ρ砬榉诸愑幸饬x的局部區(qū)域，學(xué)習(xí)強(qiáng)化實(shí)現(xiàn)局部特征的提取，引導(dǎo)網(wǎng)絡(luò)利用聚合特征進(jìn)行表情識(shí)別。通道注意力機(jī)制在通道上實(shí)現(xiàn)權(quán)重分配，特征圖上每一個(gè)通道表示一個(gè)檢測(cè)器，通道注意力機(jī)制關(guān)注最有意義的特征是什么形態(tài)。最后，為了將改進(jìn)的ＡｌｅｘＮｅｔ 模型應(yīng)用于７ 類表情分類任務(wù)中，將全連接層和ｓｏｆｔｍａｘ 層神經(jīng)元的個(gè)數(shù)分別設(shè)置為５１２ 和７。

將預(yù)處理的臉部表情輸入至改進(jìn)后的模型中，進(jìn)行模型訓(xùn)練和超參數(shù)調(diào)整，進(jìn)而獲得識(shí)別效果最好的模型結(jié)果。如圖３ 所示，通過實(shí)現(xiàn)自注意力機(jī)制的人臉關(guān)鍵點(diǎn)定位技術(shù)，將其輸入到訓(xùn)練好的模型中，輸出該圖像表情類別。

３ 混淆矩陣

優(yōu)秀的數(shù)據(jù)集是進(jìn)行實(shí)驗(yàn)的必要基礎(chǔ)，算法識(shí)別效果直接受數(shù)據(jù)標(biāo)注準(zhǔn)確度的影響。為更準(zhǔn)確地評(píng)估本文改進(jìn)模型識(shí)別能力，選取了ＪＡＦＦＥ 和ＣＫ＋數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)對(duì)照，可以更全面地了解改進(jìn)模型的識(shí)別能力和短板。通過在ＪＡＦＦＥ 和ＣＫ＋上構(gòu)建混淆矩陣，觀察二者對(duì)角線部分?jǐn)?shù)值的高低，并將其作為模型準(zhǔn)確率的評(píng)判標(biāo)準(zhǔn)，而矩陣中的其余部分則是模型的錯(cuò)誤率，即表情被誤分類為其他類別的可能性。ＪＡＦＦＥ上識(shí)別的混淆矩陣如表１ 所列。

ＪＡＦＦＥ 數(shù)據(jù)集中的圖像為日本女性面部表情，共含有２１３ 張表情圖片，每張圖片共有７０ 個(gè)不同表情，均由１０ 位女性各自７ 種不同表情構(gòu)成。ＣＫ＋數(shù)據(jù)集包含１２３ 個(gè)不同主題的５９３ 個(gè)序列，這些主題的年齡從１８ 歲到５０ 歲不等，具有各種性別和傳統(tǒng)。ＣＫ＋數(shù)據(jù)庫被認(rèn)為是最廣泛使用于實(shí)驗(yàn)室控制的面部表情分類數(shù)據(jù)庫，并用于大多數(shù)面部表情分類的方法。

ＣＫ＋上識(shí)別的混淆矩陣如表２ 所列。

在表１、表２ 的混淆矩陣對(duì)角線上可以明顯看到，高興表情的識(shí)別正確率均是最高的，因?yàn)榇朔N表情的表現(xiàn)方式大多是嘴角上揚(yáng)，在人類進(jìn)行日常交流時(shí)嘴角變化通常是他人的注意點(diǎn)，所以更容易被察覺到。

同時(shí)，在ＣＫ＋數(shù)據(jù)集中，識(shí)別率最高的是驚訝表情，同理，在人類日常交流中，他人睜大眼睛或者嘴巴張大容易被人察覺。

４ 結(jié)束語

本文主要使用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)對(duì)面部關(guān)鍵點(diǎn)進(jìn)行定位， 同時(shí)將面部關(guān)鍵點(diǎn)信息和ＡｌｅｘＮｅｔ 網(wǎng)絡(luò)模型相結(jié)合，以達(dá)到獲取表情信息目的。

由表１、表２ 可知，在２ 個(gè)數(shù)據(jù)集上高興表情的準(zhǔn)確率最高，因?yàn)楦吲d表情的表現(xiàn)是嘴角上揚(yáng)，可以看出對(duì)于其他幾類動(dòng)作不明顯的表情還有待研究。本實(shí)驗(yàn)雖然成功獲取關(guān)鍵點(diǎn)并同時(shí)估計(jì)出面部表情，但在具體不可控場(chǎng)景中（如超３０％圖像遮擋、圖像前后幀發(fā)生巨大變動(dòng)或背景干擾因素過多），會(huì)發(fā)生一定程度的誤判。由于采用ＣＮＮ 層次較多，同時(shí)涉及２ 次信息的輸入輸出，因此本實(shí)驗(yàn)實(shí)時(shí)性表現(xiàn)一般，但估計(jì)的精確性較高，如何綜合性平衡系統(tǒng)實(shí)時(shí)性和精確性是下一個(gè)研究的重中之重。

參考文獻(xiàn)：

［１］ ＥＫＭＡＮ Ｐ，Ｆｒｉｅｓｅｎ Ｗ Ｖ．Ｃｏｎｓｔａｎｔｓ ａｃｒｏｓｓ ｃｕｌｔｕｒｅｓ ｉｎ ｔｈｅ ｆａｃｅａｎｄ ｅｍｏｔｉｏｎ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ ｐｅｒｓｏｎａｌｉｔｙ ａｎｄ ｓｏｃｉａｌ ｐｓｙｃｈｏｌｏｇｙ，１９７１，１７（２）：１２４．

［２］ 張珂，馮曉晗，郭玉榮，等．圖像分類的深度卷積神經(jīng)網(wǎng)絡(luò)模型綜述［Ｊ］．中國圖像圖形學(xué)報(bào)，２０２１，２６（１０）：２３０５?２３２５．

［３］ 章新志．基于深度置信網(wǎng)絡(luò)的人臉識(shí)別算法研究［Ｄ］．南昌：華東交通大學(xué)，２０１９．

［４］ 韓玉．基于殘差模塊神經(jīng)網(wǎng)絡(luò)的人體行為檢測(cè)與識(shí)別研究［Ｄ］．包頭：內(nèi)蒙古科技大學(xué)，２０２２．

［５］ 范黎．基于生成對(duì)抗網(wǎng)絡(luò)的圖像數(shù)據(jù)增強(qiáng)技術(shù)研究及應(yīng)用［Ｄ］．杭州：浙江大學(xué)，２０２２．

［６］ ＹＵ Ｊ Ｘ，ＬＩＭ Ｋ Ｍ，ＬＥＥ Ｃ Ｐ．ＭｏＶＥ?ＣＮＮｓ： Ｍｏｄｅｌ ａＶｅｒａｇｉｎｇＥｎｓｅｍｂｌｅ ｏｆ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ ＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］． ＩＡＥＮＧ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆＣｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，２０２１，４８（３）：２２?３３．

［７］ ＷＯＯ Ｓ，ＰＡＲＫ Ｊ，ＬＥＥ Ｊ Ｙ，ｅｔ ａｌ．ＣＢＡＭ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＢｌｏｃｋＡｔｔｅｎｔｉｏｎ Ｍｏｄｕｌｅ ［ Ｊ ］． ＩＡＥＮＧ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆＣｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，２０１８：６?１６．

［８］ 于方軍，焦玉杰，孫麗君．人體關(guān)鍵點(diǎn)檢測(cè)及教學(xué)應(yīng)用之人臉表情識(shí)別［Ｊ］．中國信息技術(shù)教育，２０２３（１）：９６?９８．

［９］ 葉繼華，祝錦泰，江愛文，等．人臉表情識(shí)別綜述［Ｊ］．?dāng)?shù)據(jù)采集與處理，２０２０，３５（１）：２１?３４．

［１０］ 何俊，劉躍，李倡洪，等．基于改進(jìn)的深度殘差網(wǎng)絡(luò)的表情識(shí)別研究［Ｊ］．計(jì)算機(jī)應(yīng)用研究，２０２０，３７（５）：１５７８?１５８１．

［１１］ 呂方惠． 基于雙流卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)表情識(shí)別研究［Ｄ］．南京：南京郵電大學(xué)，２０２１．

［１２］ 楊旭，尚振宏．基于改進(jìn)ＡｌｅｘＮｅｔ 的人臉表情識(shí)別［Ｊ］．激光與光電子學(xué)進(jìn)展，２０２０， ５７（１４）：２４３＋２５０．

［１３］ 李珊． 基于深度學(xué)習(xí)的真實(shí)世界人臉表情識(shí)別研究［Ｄ］．北京：北京郵電大學(xué)，２０２１．

［１４］ 呂鵬，單劍鋒．基于多特征融合的人臉表情識(shí)別算法［Ｊ］．計(jì)算機(jī)技術(shù)與發(fā)展，２０２２，３２（１０）：１５１?１５５＋１８１．

作者簡介：

孫歌（１９９９—），碩士，研究方向：人工智能。

王劍雄（１９７５—），碩士，教授，研究方向：人工智能（ 通信作者）。