陳子健 朱曉亮

(1.華中師范大學(xué) 國(guó)家數(shù)字化學(xué)習(xí)工程技術(shù)研究中心，湖北武漢 430079；2.貴州財(cái)經(jīng)大學(xué) 信息學(xué)院，貴州貴陽(yáng) 550025)

學(xué)習(xí)者情緒不僅作用于認(rèn)知加工過(guò)程中的注意、記憶、決策等各個(gè)環(huán)節(jié)，而且影響學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)和興趣[1]。準(zhǔn)確感知學(xué)習(xí)者的情緒狀態(tài)，對(duì)實(shí)施個(gè)性化教育，提升學(xué)習(xí)績(jī)效都尤為重要。在傳統(tǒng)的課堂教學(xué)環(huán)境中，教學(xué)經(jīng)驗(yàn)豐富的教師善于通過(guò)情緒外部表現(xiàn)（如，面部表情、姿態(tài)表情和語(yǔ)調(diào)表情），來(lái)判斷學(xué)生的情緒狀態(tài)，以輔助自己的教學(xué)決策。但是在互聯(lián)網(wǎng)、人工智能、大數(shù)據(jù)等技術(shù)裹挾下的科技革命正在沖擊著傳統(tǒng)教育的生態(tài)[2]，當(dāng)前的教學(xué)環(huán)境已不再局限于學(xué)校的課堂教學(xué)，虛擬的數(shù)字化學(xué)習(xí)環(huán)境，正在成為當(dāng)前教育生態(tài)的重要組成部分。

賦予數(shù)字化學(xué)習(xí)環(huán)境中的計(jì)算機(jī)識(shí)別、理解和表達(dá)情緒的能力，成為情感計(jì)算、人工智能、人機(jī)交互等多個(gè)研究領(lǐng)域共同追逐的目標(biāo)。雖然這是一項(xiàng)挑戰(zhàn)性的工作，但是在計(jì)算機(jī)視覺(jué)、人工智能、情感計(jì)算等新興技術(shù)的支撐下，這一目標(biāo)正在日益變成現(xiàn)實(shí)。計(jì)算機(jī)可以通過(guò)識(shí)別學(xué)習(xí)者外顯的面部表情，來(lái)判斷學(xué)習(xí)者內(nèi)隱的情緒狀態(tài)，從而獲得識(shí)別、理解學(xué)習(xí)者情緒的能力，在此基礎(chǔ)上，可以進(jìn)一步實(shí)現(xiàn)計(jì)算機(jī)與學(xué)習(xí)者的情緒交互。

一、學(xué)習(xí)者情緒識(shí)別適用的情緒表征方法

與情緒（Emotion）相關(guān)的術(shù)語(yǔ)，主要有情感（Affect）、感受或感情（Feeling）。嚴(yán)格來(lái)講，情感是情緒、感受或感情這類(lèi)現(xiàn)象的籠統(tǒng)稱(chēng)謂。情緒特指情感性反應(yīng)的過(guò)程，側(cè)重指向非常短暫但強(qiáng)烈的體驗(yàn)。感受或感情指的是情緒的主觀(guān)體驗(yàn)，是情感性反應(yīng)的內(nèi)容。確定情緒的表征方法是學(xué)習(xí)者情緒識(shí)別的前提。

目前，情緒心理學(xué)研究領(lǐng)域采用的情緒表征方法，大致可分為兩類(lèi)：分類(lèi)表征方法和維度表征方法。分類(lèi)表征方法將情緒分為幾種彼此獨(dú)立、有限的基本情緒；復(fù)合情緒由基本情緒變化混合而成。基本情緒也是在日常生活中發(fā)生頻率最高的情緒類(lèi)別。美國(guó)心理學(xué)家Paul Ekman 通過(guò)研究發(fā)現(xiàn)：六種基本情緒（高興、生氣、驚訝、恐懼、厭惡和悲傷）的面部表情、生理和行為反應(yīng)具有跨文化一致性[3]。因此，這六種基本情緒也就成為情緒識(shí)別領(lǐng)域廣泛研究的對(duì)象。維度表征方法則將情緒視為高度相關(guān)的連續(xù)體，并用某個(gè)維度空間中的點(diǎn)來(lái)表征情緒。在情緒識(shí)別領(lǐng)域，采用維度表征方法的研究者，大多數(shù)采用效價(jià)性和喚醒度兩個(gè)維度表征情緒。效價(jià)性用于表示情緒是正向還是負(fù)向，變化范圍從“不高興”到“高興”；喚醒度則用于表示興奮或冷淡的程度，其變化范圍從“瞌睡”或“厭倦”到“特別興奮”。

分類(lèi)表征方法和維度表征方法各有優(yōu)缺點(diǎn)（如表1所示），適用于不同的領(lǐng)域。分類(lèi)表征方法簡(jiǎn)潔、易懂，更符合人們的日常體驗(yàn)，也有利于對(duì)特定情緒類(lèi)別進(jìn)行檢測(cè)和識(shí)別，但也存在難以處理復(fù)合情緒的問(wèn)題。維度表征方法可以在幾個(gè)連續(xù)的刻度上，對(duì)情緒進(jìn)行標(biāo)定，有利于機(jī)器情感模擬。但機(jī)器情感模擬，也需要解決情緒和維度空間坐標(biāo)之間的相互轉(zhuǎn)換問(wèn)題。另外，心理學(xué)的研究表明，維度之間存在相互關(guān)聯(lián)，特別是在描述每個(gè)維度的值中存在著重復(fù)和內(nèi)部關(guān)聯(lián)性上[4-5]。學(xué)習(xí)者情緒識(shí)別更適合采用分類(lèi)的情緒表征方法，因?yàn)槠渲饕繕?biāo)是識(shí)別出頻率較高、影響學(xué)習(xí)績(jī)效的情緒類(lèi)別，從而為教學(xué)決策提供依據(jù)。

表1 兩種情緒表征方法的對(duì)比

二、基于面部表情的學(xué)習(xí)者情緒識(shí)別的適切性

一個(gè)完整的情緒體驗(yàn)過(guò)程，由認(rèn)知層面上的主觀(guān)體驗(yàn)、生理層面上的生理喚醒、表達(dá)層面上的外顯行為這三種層面的活動(dòng)共同構(gòu)成[6]。相應(yīng)地，情緒識(shí)別的研究者主要通過(guò)主觀(guān)體驗(yàn)測(cè)量、生理測(cè)量、外顯行為分析三種方式開(kāi)展相關(guān)研究。主觀(guān)體驗(yàn)測(cè)量是用標(biāo)準(zhǔn)化的量表來(lái)測(cè)量被試者的情緒體驗(yàn)，難以保證結(jié)果的客觀(guān)性，這種事后測(cè)量的方式也無(wú)法實(shí)現(xiàn)實(shí)時(shí)性的情緒測(cè)量。通過(guò)生理測(cè)量識(shí)別情緒是借助心電儀、肌電儀、皮膚電反應(yīng)儀、腦電儀等專(zhuān)用設(shè)備，監(jiān)測(cè)被試的生理信號(hào)，利用不同情緒在生理信號(hào)方面的差異實(shí)現(xiàn)情緒識(shí)別。但是，生理測(cè)量并不適用于學(xué)習(xí)者的情緒識(shí)別，因?yàn)楸O(jiān)測(cè)學(xué)習(xí)者生理信號(hào)通常需要通過(guò)傳感器與學(xué)習(xí)者皮膚進(jìn)行物理連接，這樣會(huì)對(duì)學(xué)習(xí)者造成干擾，并且需要較為昂貴的專(zhuān)業(yè)設(shè)備。這種方式多用于實(shí)驗(yàn)室情境，難以推廣應(yīng)用。目前，一些穿戴式智能設(shè)備也可以監(jiān)測(cè)部分生理信號(hào)，例如，智能手環(huán)和智能手表可以采用光電測(cè)量心率，但其準(zhǔn)確性容易受汗水、膚色、光照和晃動(dòng)等因素影響。這兩款產(chǎn)品的設(shè)計(jì)初衷也僅針對(duì)戶(hù)外健身和醫(yī)療保健，難以監(jiān)測(cè)學(xué)習(xí)者情緒識(shí)別所需的其它生理信號(hào)。

情緒的外顯行為包括語(yǔ)音表情、姿勢(shì)表情和面部表情。基于語(yǔ)音表情的情緒識(shí)別是從語(yǔ)音參數(shù)中提取聲學(xué)特征用于情緒識(shí)別，但是相關(guān)研究顯示，部分情緒的語(yǔ)音表情的聲學(xué)特征并不存在顯著差異性。例如，難以通過(guò)語(yǔ)音表情分辨害怕和驚喜、厭倦和悲傷[7]。用于表達(dá)情緒的身體姿態(tài)稱(chēng)為姿態(tài)表情，例如，緊握的拳頭、耷拉的腦袋?；谧藨B(tài)表情的情緒識(shí)別面臨的問(wèn)題是，學(xué)術(shù)界對(duì)于姿態(tài)表情是否與特定的情緒存在一一對(duì)應(yīng)關(guān)系尚存在爭(zhēng)議。情緒研究的先驅(qū)Darwin 認(rèn)為，有些身體運(yùn)動(dòng)與姿態(tài)會(huì)對(duì)應(yīng)特定的情緒[8]；而情緒研究的代表人物Paul Ekman則認(rèn)為，姿態(tài)表情僅能提供情緒強(qiáng)度信息，特定的姿態(tài)表情和情緒間不存在一一對(duì)應(yīng)關(guān)系[9]。例如，緊握的拳頭可以用于表達(dá)憤怒，也可用于表達(dá)興奮、激動(dòng)。

面部表情是表達(dá)情緒的最主要、最自然和最直接的通道[10]。心理學(xué)家Mehrabian 通過(guò)研究發(fā)現(xiàn)：情緒表達(dá)=7%的言詞+38%的語(yǔ)音表情+55%的面部表情[11]。因此，面部表情也是用于情緒識(shí)別的一種主要數(shù)據(jù)類(lèi)型。Scherer 等分別對(duì)基于語(yǔ)音表情和基于面部表情的基本情緒識(shí)別方法的正確率做了統(tǒng)計(jì)對(duì)比分析，如表2所示。基于面部表情的情緒識(shí)別方法的平均正確率，比基于語(yǔ)音表情的情緒識(shí)別方法的平均正確率高大約15%。作為一種在特定情境中的情緒識(shí)別，基于面部表情的學(xué)習(xí)者情緒識(shí)別，有其自身的優(yōu)勢(shì)：（1）面部表情是表達(dá)情緒的最主要通道，能客觀(guān)反映學(xué)習(xí)者真實(shí)的情緒狀態(tài)；（2）基于面部表情的情緒識(shí)別可以實(shí)現(xiàn)無(wú)接觸式的數(shù)據(jù)采集，可最大限度地減少對(duì)學(xué)習(xí)者的干擾；（3）面部表情數(shù)據(jù)采集可以通過(guò)低成本的攝像頭實(shí)現(xiàn)，也便于整合到各類(lèi)智慧學(xué)習(xí)系統(tǒng)中，有助于技術(shù)的推廣應(yīng)用。

部分研究者融合面部表情和其它多種類(lèi)型數(shù)據(jù)識(shí)別學(xué)習(xí)者情緒，以期提高識(shí)別準(zhǔn)確率，但是這種基于多種類(lèi)型數(shù)據(jù)的學(xué)習(xí)者情緒識(shí)別方法，能夠普及應(yīng)有的前提是降低對(duì)學(xué)習(xí)者的干擾和技術(shù)的應(yīng)用門(mén)檻，否則只能局限于實(shí)驗(yàn)室情境。

表2 通過(guò)面部表情和語(yǔ)音信號(hào)識(shí)別基本情緒的正確率對(duì)比[12]

三、情緒面部表情識(shí)別的研究現(xiàn)狀

基于面部表情的學(xué)習(xí)者情緒識(shí)別，是通過(guò)對(duì)學(xué)習(xí)過(guò)程中的面部表情的檢測(cè)和識(shí)別，來(lái)獲取學(xué)習(xí)者的情緒狀態(tài)信息的。面部表情識(shí)別包括人臉檢測(cè)、表情特征提取、表情分類(lèi)三個(gè)核心環(huán)節(jié)，其中人臉檢測(cè)算法和分類(lèi)算法已經(jīng)相對(duì)成熟，當(dāng)前研究的重點(diǎn)主要在于如何有效地提取面部表情特征。在學(xué)習(xí)者情緒面部表情識(shí)別的相關(guān)研究中，部分研究是借助工具軟件提取面部特征，如：Microsoft Kinect Face Tracker[13]、CERT（Computer Expression Recognition Toolbox）[14]、FaceTracker（源自NevenVision 公司的面部特征跟蹤SDK）[15]等。但是這類(lèi)工具軟件并不是專(zhuān)門(mén)針對(duì)面部表情識(shí)別開(kāi)發(fā)的，或者在性能上還達(dá)不到要求。到目前為止，我們還沒(méi)有發(fā)現(xiàn)功能完善的適用于學(xué)習(xí)者面部表情識(shí)別的工具軟件。

雖然，國(guó)內(nèi)外研究者在面部表情特征提取方面做了大量探索性工作，但是，面部表情特征提取受到諸多因素的影響，如個(gè)體差異、環(huán)境、姿態(tài)等。目前，面部表情的特征提取算法還處在不斷的探索和研究階段。因此，本文重點(diǎn)對(duì)面部表情識(shí)別領(lǐng)域的特征提取算法進(jìn)行了梳理和分類(lèi)，來(lái)分析不同類(lèi)別算法的特點(diǎn)及局限性，以期為探索適合學(xué)習(xí)者面部表情特征提取算法提供借鑒，從而推動(dòng)學(xué)習(xí)者面部表情識(shí)別的發(fā)展和應(yīng)用。

（一）傳統(tǒng)的計(jì)算機(jī)視覺(jué)方法

1.基于靜態(tài)圖像的表情識(shí)別

基于靜態(tài)圖像表情識(shí)別的特征提取算法，大致可分為兩類(lèi)：幾何特征提取和外觀(guān)特征提取。幾何特征是指通過(guò)測(cè)量距離、形變、曲率和其它幾何屬性來(lái)表征面部表情，代表性的方法包括：主動(dòng)形狀模型（Active Shape Models，ASM）和主動(dòng)外觀(guān)模型（ActiveAppearance Models，AAM）。ASM 通過(guò)對(duì)訓(xùn)練樣本的面部特征點(diǎn)組成的形狀向量進(jìn)行統(tǒng)計(jì)建模，同時(shí)，利用特征點(diǎn)所在輪廓線(xiàn)方向上的灰度信息，建立起反映灰度分布規(guī)律的局部灰度模型。在搜索面部表情特征點(diǎn)位置的過(guò)程中，局部灰度模型作為目標(biāo)函數(shù)，用于確定特征點(diǎn)的移動(dòng)方向和位置，通過(guò)迭代方式，確定特征點(diǎn)最優(yōu)位置，最終得到由特征點(diǎn)組成面部表情幾何形狀（如圖1所示）。

圖1 面部表情的幾何特征表征示意圖

AAM 是對(duì)ASM 的改進(jìn)，其建立了全局灰度模型用于特征點(diǎn)搜索，以提升精確度。另外，尺度不變特征轉(zhuǎn)換（Scale-Invariant Feature Transform，SIFT）作為一種局部特征描述算子，也可以在面部圖像中檢測(cè)出特征點(diǎn)，通過(guò)求解特征點(diǎn)及其有關(guān)角度和方向，來(lái)提取面部表情幾何特征。Wang、江河等采用ASM 提取面部幾何特征，并利用支持向量機(jī)作為分類(lèi)器，來(lái)檢測(cè)學(xué)習(xí)者是否產(chǎn)生困惑[16-17]。韓麗等利用AAM 檢測(cè)面部特征點(diǎn)，然后依據(jù)特征點(diǎn)，自定義表情特征，識(shí)別傾聽(tīng)、疑惑、理解、抗拒和不屑五種面部表情，用于教學(xué)效果的評(píng)價(jià)[18]。

總的來(lái)看，基于靜態(tài)圖像幾何特征的面部表情識(shí)別，只利用了面部器官的幾何形變信息，忽視了面部的紋理、皺褶等蘊(yùn)含的信息，所以，對(duì)于面部肌肉運(yùn)動(dòng)幅度小的自然面部表情，識(shí)別準(zhǔn)確度較低。

外觀(guān)特征提取是指基于圖像像素的特征提取，采用領(lǐng)域?qū)＜以O(shè)計(jì)的圖像特征描述算子，從像素所蘊(yùn)含的信息中提取面部表情特征，反映的是面部表情底層的信息。常見(jiàn)的特征描述算子有：Gabor 小波、局部二值模式（Local Binary Patterns，LBP）、方向梯度直方圖（Histogram of Gradient，HOG）等。Gabor 小波變換是利用一組濾波器對(duì)表情圖像進(jìn)行濾波，檢測(cè)多尺度、多方向的面部局部紋理特征，而且對(duì)于表情圖像的光照變化不敏感。LBP 以中心像素的灰度值作為閾值，通過(guò)閾值標(biāo)記中心點(diǎn)像素與其鄰域像素之間差別的方式，來(lái)提取圖像紋理特征，具有旋轉(zhuǎn)不變性和灰度不變性等優(yōu)點(diǎn)。HOG 首先對(duì)圖像進(jìn)行分割，然后計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域（Cell 和Block）的方向梯度直方圖，來(lái)提取面部表情特征。

較為經(jīng)典的案例有：Whitehall 等利用Gabor 小波變換提取面部外觀(guān)特征，檢測(cè)學(xué)習(xí)者專(zhuān)注度[19]。Happy 等提取學(xué)習(xí)者面部表情的LBP 特征，檢測(cè)學(xué)習(xí)者的警覺(jué)程度和情緒狀態(tài)[20]。童瑩從對(duì)傳統(tǒng)的HOG特征出發(fā)，提出了空間多尺度HOG 特征[21]，但忽略了特征之間空間排列信息的缺點(diǎn)。從這些研究中可以看到，外觀(guān)特征是從底層像素中提取特征，適用于低強(qiáng)度的自然面部表情和微表情的檢測(cè)與識(shí)別。但是外觀(guān)特征提取方法本身也存在局限性，比如，Gabor 小波變換需要計(jì)算大量的小波核函數(shù)，產(chǎn)生的高維特征向量不利于算法實(shí)時(shí)性，也易造成了信息冗余。LBP 特征提取也存在計(jì)算量大的問(wèn)題，同時(shí)受鄰域灰度值變化影響較大，對(duì)噪聲敏感。

總體來(lái)說(shuō)，外觀(guān)特征提取在面部表情識(shí)別領(lǐng)域仍具有重要應(yīng)用，主要針對(duì)現(xiàn)有的外觀(guān)特征提取算法進(jìn)行改進(jìn)，或是與其它類(lèi)型的特征提取算法進(jìn)行融合。

2.基于動(dòng)態(tài)圖像序列的表情識(shí)別

面部表情的產(chǎn)生是一個(gè)動(dòng)態(tài)過(guò)程，基于動(dòng)態(tài)圖像序列的表情識(shí)別提取動(dòng)態(tài)特征識(shí)別面部表情，大致可分為光流特征、幾何動(dòng)態(tài)特征和外觀(guān)動(dòng)態(tài)特征三類(lèi)。面部表情光流特征是利用序列圖像間像素強(qiáng)度的時(shí)域變化和相關(guān)性，來(lái)確定像素點(diǎn)的“運(yùn)動(dòng)”，用于表征臉部形變和變化趨勢(shì)。Anderson 等在人臉跟蹤的基礎(chǔ)上提取面部光流特征，識(shí)別視頻中的六種基本情緒面部表情[22]；Liu 等則提出了主方向平均光流特征這個(gè)概念，具體來(lái)說(shuō)，在微表情視頻序列中抽取主方向，對(duì)面部區(qū)域進(jìn)行分割，并計(jì)算分塊中的平均光流特征，再對(duì)微表情進(jìn)行識(shí)別[23]。但是，光照不均和臉部非剛性運(yùn)動(dòng)等因素，都將影響面部表情光流特征的提取，建立可靠、快速、魯棒的光流算法，仍然面臨很大的挑戰(zhàn)。

幾何動(dòng)態(tài)特征以面部特征點(diǎn)定位為基礎(chǔ)，具體來(lái)說(shuō)，需構(gòu)建面部表情的幾何形狀特征描述，跟蹤幾何形狀的時(shí)域變化，實(shí)現(xiàn)面部表情識(shí)別。Tie 等通過(guò)多個(gè)粒子過(guò)濾器跟蹤視頻中的26 個(gè)面部特征點(diǎn)，構(gòu)建了人臉網(wǎng)狀模型，提取形變特征識(shí)別面部表情[24]。Cheon 等提出差分AAM，并結(jié)合流型學(xué)習(xí)（Manifold Learning）跟蹤面部幾何形狀的變化，用于識(shí)別面部表情[25]。Pantic 等利用粒子濾波器跟蹤視頻中15 個(gè)面部特征點(diǎn)，并結(jié)合時(shí)序規(guī)則檢測(cè)面部動(dòng)作編碼系統(tǒng)（FACS）中的27 個(gè)面 部動(dòng)作單元（Facial ActionUnits，AU），依據(jù)FACS 中定義的特定表情和AU的映射關(guān)系識(shí)別表情[26]。Niese 等則融合光流特征和幾何特征，識(shí)別六種基本情緒面部表情[27]。雖然，幾何特征對(duì)靜態(tài)圖像表情的識(shí)別準(zhǔn)確率較低，但幾何動(dòng)態(tài)特征具有可以跟蹤面部形變過(guò)程的特點(diǎn)，計(jì)算量小，對(duì)光照變化不敏感，常用于圖像序列的表情識(shí)別。

為了表征臉部皺紋、溝紋、皮膚紋理的細(xì)微動(dòng)態(tài)變化，一些研究者嘗試將二維靜態(tài)圖像外觀(guān)特征描述算子擴(kuò)展到三維空間，用于提取面部表情的外觀(guān)動(dòng)態(tài)特征。例如，采用LBP-TOP（Local Binary Pattern Histograms from Three Orthogonal Planes）特征描述算子，提取面部表情的動(dòng)態(tài)外觀(guān)特征。動(dòng)態(tài)圖像序列除了二維靜態(tài)圖像的X，Y 兩個(gè)維度，還有一個(gè)時(shí)間維度T。LBP-TOP 特征描述算子在X-Y 平面上計(jì)算LBP 值，用于表征表情圖像幀的紋理特征；在XT 和Y-T 計(jì)算LBP 值，用于表征紋理的動(dòng)態(tài)變化。例如，Zhao 等、Wang 等分別采用LBP-TOP 特征識(shí)別基本情緒面部表情和微表情[28-29]。相關(guān)研究中類(lèi)似的動(dòng)態(tài)外觀(guān)特征描述算子還有3D-HOG[30-31]、LPQTOP[32-33]、3D-SIFT[34]等。但是這類(lèi)外觀(guān)動(dòng)態(tài)特征描述算子在學(xué)界還存在爭(zhēng)議，相關(guān)研究顯示，這種人工設(shè)計(jì)的特征描述算子，很難提取到面部表情圖像幀之間的時(shí)域特征[35-36]。

（二）深度學(xué)習(xí)的方法

深度學(xué)習(xí)（Deep Learning，DL）作為人工智能領(lǐng)域重要的機(jī)器學(xué)習(xí)算法，已經(jīng)在語(yǔ)音識(shí)別、圖像識(shí)別、自然語(yǔ)言處理等諸多領(lǐng)域，取得了突破性進(jìn)展，受到了學(xué)術(shù)界和工業(yè)界的高度關(guān)注。傳統(tǒng)的機(jī)器學(xué)習(xí)依賴(lài)于人工特征提取，特征的選擇對(duì)機(jī)器學(xué)習(xí)算法的性能存在巨大的影響?？梢哉f(shuō)，深度學(xué)習(xí)賦予計(jì)算機(jī)表征學(xué)習(xí)（Representation Learning）的能力，即計(jì)算機(jī)可以自我構(gòu)建對(duì)事物的描述，形成概念，從而實(shí)現(xiàn)特征的自動(dòng)提取（特征學(xué)習(xí)）[37]。利用深度學(xué)習(xí)提取面部表情特征的方式與人的視覺(jué)系統(tǒng)的信息處理方式相一致，即，首先提取低層的特征，然后逐層地將低層特征組合成高層特征。

1.基于靜態(tài)圖像的表情識(shí)別

用于靜態(tài)圖像面部表情識(shí)別的深度學(xué)習(xí)代表性算法是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）。一個(gè)基本的CNN 由卷積層、池化層和全連接層組成。卷積層通過(guò)內(nèi)部包含的多個(gè)卷積核（濾波器），在輸入圖像上進(jìn)行特征提取；池化層則被用于降低數(shù)據(jù)維度。CNN 的首層卷積層提取圖像低階特征，比如，邊、角、曲線(xiàn)等，后續(xù)卷積層在前一層卷積層提取到的特征基礎(chǔ)上，進(jìn)一步提取特征。通過(guò)卷積層與池化層的堆疊，實(shí)現(xiàn)高階特征提取，最后通過(guò)全連接層連接分類(lèi)器。CNN 的架構(gòu)設(shè)計(jì)是圖像識(shí)別任務(wù)中的核心環(huán)節(jié)，其中AlexNet 和VGGNet 是兩種在往年的ImageNet 大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽中獲得冠軍的CNN 架構(gòu)，如圖2所示。這兩種網(wǎng)絡(luò)架構(gòu)在圖像識(shí)別領(lǐng)域仍具有廣泛的應(yīng)用前景，在靜態(tài)圖像面部表情識(shí)別領(lǐng)域尤為突出。利用CNN 識(shí)別面部表情的流程，如圖3所示。

圖2 兩個(gè)廣泛應(yīng)用的CNN 模型的網(wǎng)絡(luò)結(jié)構(gòu)

圖3 CNN 識(shí)別面部表情流程圖（圖中表情實(shí)例來(lái)自數(shù)據(jù)集CAS（ME）2）

研究者提出了各種不同的基于CNN 的面部表情識(shí)別方法。例如，Hamester 等設(shè)計(jì)雙通道的CNN識(shí)別面部表情，其中一個(gè)CNN 子網(wǎng)的第一層采用預(yù)置權(quán)重的Gabor 濾波作為卷積自編碼器，兩個(gè)CNN 子網(wǎng)提取的特征在融合后被用于識(shí)別面部表情[38]。Liu 等提出由多個(gè)CNN 子網(wǎng)組成的集成式CNN，用于面部表情特征自動(dòng)提取和分類(lèi)[39]。Liu Y 等則融合人工設(shè)計(jì)的特征（CBP，中心二值模式）和CNN 自動(dòng)提取的特征識(shí)別面部表情[40]。曹曉明等則融合靜態(tài)圖像的面部表情、腦電波和學(xué)習(xí)日志三種模態(tài)數(shù)據(jù)，訓(xùn)練CNN 模型判斷學(xué)習(xí)者參與度[41]。但是，已有研究在所設(shè)計(jì)的CNN 中所有卷積核的權(quán)值系數(shù)是隨機(jī)初始化的，需要在標(biāo)注的樣本數(shù)據(jù)集上訓(xùn)練CNN 模型，調(diào)節(jié)卷積核的權(quán)值系數(shù)，才能有效地提取面部表情特征，因此，需要大量的訓(xùn)練數(shù)據(jù)用于模型的訓(xùn)練。

2.基于動(dòng)態(tài)圖像序列的表情識(shí)別

利用深度學(xué)習(xí)方法識(shí)別動(dòng)態(tài)圖像序列的面部表情，不僅需要提取單幀圖像的空域特征，而且還需要提取圖像幀之間的時(shí)域特征。單幀圖像的空域特征提取可以通過(guò)CNN 實(shí)現(xiàn)，而提取序列時(shí)域特征的代表性算法則是循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）。RNN 的基本結(jié)構(gòu)也是由輸入層、隱藏層和輸出層構(gòu)成，不過(guò)隱藏層中每個(gè)神經(jīng)元的輸入，除了當(dāng)前時(shí)刻的信息輸入外，還有著前一時(shí)刻該神經(jīng)元的輸出，所圖4所示。RNN 的這種架構(gòu)，使其具有類(lèi)似人的記憶功能，對(duì)處理時(shí)間序列數(shù)據(jù)具有獨(dú)特的優(yōu)勢(shì)。建構(gòu)CNN-RNN網(wǎng)絡(luò)，同時(shí)提取面部表情的空域和時(shí)域特征，可以提升識(shí)別的準(zhǔn)確性。Ebrahimi 等利用CNN 提取面部表情序列幀的空域特征，然后將所有幀的空域特征送入RNN，提取表情序列的時(shí)域特征，結(jié)合空時(shí)域特征識(shí)別面部表情[42]。Zhang 等從表情圖像序列中選擇代表幀圖像，利用CNN提取代表幀的空域特征，同時(shí)利用RNN 提取所有表情序列幀的面部特征點(diǎn)的時(shí)域特征，最后融合兩種特征識(shí)別面部表情[43]。

圖4 循環(huán)神經(jīng)網(wǎng)絡(luò)示意圖

RNN 模型的訓(xùn)練采用BPTT（Back-Propagation Through Time）算法反向傳播誤差，通過(guò)隨機(jī)梯度下降（Stochastic Gradient Descent）算法調(diào)節(jié)網(wǎng)絡(luò)參數(shù)，使得損失函數(shù)值達(dá)到最小。但是隨著序列長(zhǎng)度增大，RNN 在訓(xùn)練過(guò)程中會(huì)出現(xiàn)梯度消失問(wèn)題，從而喪失學(xué)習(xí)序列時(shí)域特征的能力。為了解決這一問(wèn)題，長(zhǎng)短時(shí) 記 憶 網(wǎng) 絡(luò)（Long Short Term Memory Networks，LSTM）對(duì)RNN 的神經(jīng)元進(jìn)行進(jìn)一步改造，增加記憶單元（Memory Cell）存儲(chǔ)每個(gè)時(shí)間點(diǎn)的神經(jīng)元狀態(tài)值，并通過(guò)“遺忘門(mén)”、“輸出門(mén)”、“輸入門(mén)”，對(duì)記憶單元中的信息，進(jìn)行移除或添加操作。LSTM 的記憶單元，使得網(wǎng)絡(luò)訓(xùn)練時(shí)的誤差以常數(shù)形式在網(wǎng)絡(luò)中傳遞，防止梯度消失，從而實(shí)現(xiàn)對(duì)長(zhǎng)序列數(shù)據(jù)的特征學(xué)習(xí)。實(shí)際的案例有卿粼波等將CNN 學(xué)習(xí)到的面部表情空域特征輸入LSTM 網(wǎng)絡(luò)，學(xué)習(xí)面部表情時(shí)域特征，識(shí)別群體情緒面部表情[44]。Kim 等則利用CNNLSTM 學(xué)習(xí)到的空時(shí)域特征，識(shí)別微表情[45]。

四、存在的問(wèn)題與提升路徑

（一）學(xué)習(xí)者情緒面部表情識(shí)別研究現(xiàn)存問(wèn)題

因?yàn)榛厩榫w是日常生活中發(fā)生頻率最高的情緒類(lèi)別，所以，目前情緒面部表情識(shí)別研究領(lǐng)域，主要關(guān)注于基本情緒面部表情的識(shí)別研究，商業(yè)與娛樂(lè)是其主要的目標(biāo)應(yīng)用領(lǐng)域?；厩榫w只是人類(lèi)情緒類(lèi)別中的冰山一角，并不是學(xué)習(xí)情境中發(fā)生頻率高的情緒類(lèi)別。但是，由于受基本情緒理論的影響，部分學(xué)習(xí)者情緒面部表情識(shí)別的相關(guān)研究，多為針對(duì)基本情緒面部表情的識(shí)別[46-48]。而實(shí)際上，研究者通過(guò)統(tǒng)計(jì)分析發(fā)現(xiàn)，在學(xué)習(xí)情境中出現(xiàn)頻率較高的情緒類(lèi)別并不是基本情緒，而是疑惑、厭倦和挫敗等情緒類(lèi)別[49-50]。因此，學(xué)習(xí)者情緒面部表情識(shí)別，應(yīng)重點(diǎn)研究這幾類(lèi)發(fā)生頻率較高的情緒識(shí)別，以及提高識(shí)別的準(zhǔn)確率，為優(yōu)化學(xué)習(xí)支撐服務(wù)提供依據(jù)。

現(xiàn)有相關(guān)研究中的面部表情，可分為兩種類(lèi)型：扮演的面部表情和自然的面部表情。因?yàn)槊娌勘砬樽R(shí)別研究需要大量的面部表情樣本數(shù)據(jù)，而較大規(guī)模地采集學(xué)習(xí)者情緒自然面部表情的難度較大。所以，部分研究者招募學(xué)生，以學(xué)習(xí)者情緒面部表情原型為基礎(chǔ)，在實(shí)驗(yàn)室情境中扮演相應(yīng)的面部表情，形成供研究使用的表情數(shù)據(jù)集。例如，Kaliouby 等的研究就是識(shí)別六類(lèi)扮演的學(xué)習(xí)者情緒面部表情[51]。Lin等在研究學(xué)習(xí)者情緒面部表情識(shí)別時(shí)，在扮演的面部表情數(shù)據(jù)集上驗(yàn)證模型效果[52]。首先，學(xué)習(xí)者扮演的面部表情通常肌肉運(yùn)動(dòng)幅度大，特征較明顯，持續(xù)時(shí)間可控；而學(xué)習(xí)者情緒自然面部表情則呈現(xiàn)肌肉運(yùn)動(dòng)幅度小、特征不明顯、持續(xù)時(shí)間短的特點(diǎn)。其次，扮演的面部表情和自然的面部表情在時(shí)間和空間模式上也存在差別[53]。在早期的探索性研究階段，為了推進(jìn)相關(guān)研究的開(kāi)展，研究識(shí)別扮演的學(xué)習(xí)者情緒面部表情無(wú)可厚非，但從推動(dòng)研究應(yīng)用的角度，后續(xù)應(yīng)該著重研究自然的學(xué)習(xí)者情緒面部表情識(shí)別。

針對(duì)學(xué)習(xí)者情緒面部表情的識(shí)別問(wèn)題，不同研究者提出不同的識(shí)別算法，構(gòu)建面部表情識(shí)別模型，并通過(guò)實(shí)驗(yàn)對(duì)模型的性能進(jìn)行評(píng)估。大多數(shù)的相關(guān)研究，主要采用識(shí)別準(zhǔn)確率評(píng)估模型的性能，但是，當(dāng)測(cè)試數(shù)據(jù)集中于不同類(lèi)別的表情樣本并呈現(xiàn)分布不均勻時(shí)，僅僅使用準(zhǔn)確率并不能全面客觀(guān)地評(píng)估模型的性能。例如，由90%的正樣本和10%的負(fù)樣本組成的測(cè)試數(shù)據(jù)集，即使模型將所有的樣本都識(shí)別為正樣本，識(shí)別的準(zhǔn)確率也只達(dá)到90%。因此，在評(píng)估學(xué)習(xí)者情緒面部表情識(shí)別模型時(shí)，應(yīng)該采用多種評(píng)價(jià)指標(biāo)，全面評(píng)估模型的性能，比如，混淆矩陣、ROC 曲線(xiàn)等。另外，現(xiàn)有相關(guān)研究采用研究者自己創(chuàng)建的面部表情數(shù)據(jù)集，測(cè)試評(píng)估模型的性能，同時(shí)，創(chuàng)建的數(shù)據(jù)集并未公開(kāi)發(fā)布。這樣使得不同研究的識(shí)別方法無(wú)法在同一數(shù)據(jù)集上比較并識(shí)別性能，研究結(jié)果的可重復(fù)性受到限制，這不利于學(xué)習(xí)者情緒面部表情識(shí)別研究的發(fā)展。

（二）學(xué)習(xí)者情緒面部表情識(shí)別研究的提升路徑

1．面部表情數(shù)據(jù)庫(kù)的共建共享

創(chuàng)建大規(guī)模的自然學(xué)習(xí)者情緒面部表情數(shù)據(jù)庫(kù)，是推動(dòng)學(xué)習(xí)者情緒面部表情識(shí)別研究和應(yīng)用的關(guān)鍵環(huán)節(jié)。首先，數(shù)據(jù)庫(kù)的創(chuàng)建應(yīng)有助于不同識(shí)別算法采用相同的數(shù)據(jù)集測(cè)試和評(píng)估模型的性能，能比較不同方法的優(yōu)劣，從而促進(jìn)學(xué)習(xí)者情緒面部表情識(shí)別的發(fā)展。其次，基于深度學(xué)習(xí)方法的面部表情識(shí)別，已經(jīng)表現(xiàn)出優(yōu)秀的性能，但其本質(zhì)上是一種數(shù)據(jù)驅(qū)動(dòng)的識(shí)別方法，在構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)中，存在許多訓(xùn)練參數(shù)，需要通過(guò)大量的表情樣本數(shù)據(jù)，來(lái)調(diào)節(jié)網(wǎng)絡(luò)參數(shù)（又稱(chēng)模型訓(xùn)練）。大規(guī)模的自然學(xué)習(xí)者情緒面部表情數(shù)據(jù)庫(kù)的創(chuàng)建，是一項(xiàng)耗時(shí)耗力的工程，數(shù)據(jù)的采集和預(yù)處理、數(shù)據(jù)標(biāo)注等都需要花費(fèi)大量的人力和物力。共建共享的創(chuàng)建方式，可以更快地推進(jìn)數(shù)據(jù)庫(kù)的創(chuàng)建，擴(kuò)充數(shù)據(jù)庫(kù)的容量，更好地為相關(guān)研究提供大數(shù)據(jù)的支持。

2．融合多種特征的識(shí)別方法

真實(shí)學(xué)習(xí)情境中的自然學(xué)習(xí)者情緒面部表情，通常面部肌肉運(yùn)動(dòng)幅度小，特征表現(xiàn)不明顯，具有部分微表情的特性。單一類(lèi)型特征表征的識(shí)別方法，準(zhǔn)確率較低，難以滿(mǎn)足實(shí)用性要求。面部表情產(chǎn)生時(shí)會(huì)伴隨著眉毛、眼睛、鼻子、嘴巴等單個(gè)或多個(gè)面部器官的形變（即幾何特征），同時(shí)也伴隨有臉部皺紋、溝紋、紋理等的變化（即外觀(guān)特征）?？梢?jiàn)，面部表情的產(chǎn)生是一個(gè)動(dòng)態(tài)的過(guò)程，其經(jīng)歷開(kāi)始、峰值和結(jié)束三個(gè)階段。因此，面部表情不僅帶有空間域特征，還具有時(shí)間域特征。針對(duì)自然學(xué)習(xí)者情緒面部表情特征所表現(xiàn)出的復(fù)雜而不明的特點(diǎn)，我們需要提取多種類(lèi)型的面部表情特征進(jìn)行表征，全面地獲取面部表情的特征信息，才能有效地提升面部表情識(shí)別的準(zhǔn)確性，推動(dòng)學(xué)習(xí)者情緒面部表情識(shí)別技術(shù)的實(shí)用化。

3．結(jié)合人工設(shè)計(jì)特征和自動(dòng)學(xué)習(xí)特征的識(shí)別方法

特征提取是學(xué)習(xí)者情緒面部表情識(shí)別的核心步驟，包括人工設(shè)計(jì)特征和自動(dòng)學(xué)習(xí)特征兩種類(lèi)型方法。人工設(shè)計(jì)特征是指通過(guò)設(shè)計(jì)特征描述算子，顯式地提取表情特征；自動(dòng)學(xué)習(xí)特征則是利用深度學(xué)習(xí)的方法，從面部表情樣本中逐層學(xué)習(xí)表情特征，最終得到抽象的表情特征。兩種方法都有其優(yōu)點(diǎn)和局限性，人工設(shè)計(jì)特征利用特征描述算子，直接從表情實(shí)例中計(jì)算并提取特征，提取的特征可解釋性強(qiáng)；但是，提取的特征的好壞，依賴(lài)于專(zhuān)業(yè)知識(shí)、經(jīng)驗(yàn)和運(yùn)氣，全面提取表情特征信息的難度較大。自動(dòng)學(xué)習(xí)特征能從大量表情訓(xùn)練樣本中，挖掘出用于表情識(shí)別的有效的、抽象的、深層次的特征；但是，這種方法需要足夠多的訓(xùn)練樣本數(shù)據(jù)，才能實(shí)現(xiàn)有效的特征提取。因此，結(jié)合人工設(shè)計(jì)特征和自動(dòng)學(xué)習(xí)特征兩種特征的提取方法，取長(zhǎng)補(bǔ)短，融合兩種方法的優(yōu)勢(shì)，是促進(jìn)學(xué)習(xí)者情緒面部表情識(shí)別發(fā)展的可選途徑。

五、思考與展望

以計(jì)算機(jī)視覺(jué)、人工智能、情感計(jì)算等新興技術(shù)為支撐，計(jì)算機(jī)可以通過(guò)識(shí)別學(xué)習(xí)者外顯的面部表情的方式，來(lái)判斷學(xué)習(xí)者內(nèi)隱的情緒狀態(tài)，從而獲取識(shí)別、理解學(xué)習(xí)者情緒的能力。本研究在對(duì)情緒心理學(xué)研究領(lǐng)域的兩類(lèi)情緒表征方法，進(jìn)行對(duì)比分析的基礎(chǔ)上，確定學(xué)習(xí)者情緒識(shí)別適用的表征方法，并對(duì)基于面部表情的學(xué)習(xí)者情緒識(shí)別的適切性進(jìn)行闡述。

當(dāng)前，學(xué)習(xí)者面部表情識(shí)別研究的核心問(wèn)題，是如何有效提取面部表情的特征。因此，本研究將面部表情的特征提取方法，分為傳統(tǒng)的計(jì)算機(jī)視覺(jué)方法和深度學(xué)習(xí)方法兩大類(lèi)，梳理不同特征提取方法的特點(diǎn)及局限性，可以為探索適合學(xué)習(xí)者面部表情識(shí)別的特征與提取算法提供借鑒，從而推動(dòng)學(xué)習(xí)者面部表情識(shí)別研究的發(fā)展和應(yīng)用。針對(duì)學(xué)習(xí)者情緒面部表情識(shí)別相關(guān)研究中存在的問(wèn)題，后續(xù)研究應(yīng)該更為關(guān)注在學(xué)習(xí)情境中發(fā)生頻率較高的情緒面部表情識(shí)別，而非對(duì)基本情緒面部表情的識(shí)別；應(yīng)該關(guān)注真實(shí)情境中自然面部表情識(shí)別，而非實(shí)驗(yàn)室情境中扮演的面部表情識(shí)別；應(yīng)該結(jié)合基于專(zhuān)家知識(shí)的人工設(shè)計(jì)特征方法和數(shù)據(jù)驅(qū)動(dòng)的自動(dòng)學(xué)習(xí)特征方法，全面有效地提取學(xué)習(xí)者面部表情的本質(zhì)特征，從而提升識(shí)別的準(zhǔn)確性。

賦予計(jì)算機(jī)識(shí)別學(xué)習(xí)者情緒面部表情的能力，是一項(xiàng)充滿(mǎn)挑戰(zhàn)性的任務(wù)，但也具有廣闊的應(yīng)用前景。盡管當(dāng)前的研究還處于探索階段，一些研發(fā)的技術(shù)應(yīng)用也還不夠完善，但是隨著研究的繼續(xù)深入和相關(guān)技術(shù)的成熟，勢(shì)必將對(duì)教育產(chǎn)生深遠(yuǎn)影響。對(duì)于課堂教學(xué)環(huán)境，面部表情識(shí)別可以用于監(jiān)測(cè)學(xué)習(xí)者情緒狀態(tài)，幫助教師進(jìn)行教學(xué)決策，輔助教學(xué)效果的評(píng)價(jià)。而對(duì)于在線(xiàn)學(xué)習(xí)環(huán)境和各種智能教學(xué)系統(tǒng)，面部表情識(shí)別也有著廣泛的應(yīng)用前景：（1）能夠完善學(xué)習(xí)者模型的構(gòu)建，使之不僅包括學(xué)習(xí)者基本信息和認(rèn)知層面的屬性特征，還能涵蓋學(xué)習(xí)者情緒狀態(tài)屬性，為實(shí)施智能化、個(gè)性化的教學(xué)提供依據(jù)；（2）能夠通過(guò)面部表情監(jiān)測(cè)學(xué)習(xí)者情緒狀態(tài)，并以此為依據(jù)實(shí)現(xiàn)機(jī)器情感模擬，解決學(xué)習(xí)過(guò)程中的情感缺失問(wèn)題；（3）能夠豐富學(xué)習(xí)行為分析的途徑，可以與學(xué)習(xí)平臺(tái)的日志數(shù)據(jù)相結(jié)合，共同分析學(xué)習(xí)者行為。

學(xué)習(xí)者情緒作為一項(xiàng)重要的教學(xué)反饋信息，得到國(guó)內(nèi)外研究者的普遍重視。在學(xué)習(xí)過(guò)程中，通過(guò)面部表情識(shí)別，實(shí)時(shí)地獲取“知識(shí)點(diǎn)—情緒”形式的反饋信息，判斷學(xué)習(xí)者對(duì)當(dāng)前學(xué)習(xí)內(nèi)容是否感興趣、是否理解，有助于智慧教學(xué)系統(tǒng)的構(gòu)建。基于面部表情的學(xué)習(xí)者情緒識(shí)別研究的應(yīng)用，依賴(lài)于準(zhǔn)確、實(shí)時(shí)、魯棒的面部表情識(shí)別算法設(shè)計(jì)。未來(lái)研究的趨勢(shì)，首先，將繼續(xù)探究從人臉圖像中有效地提取表情本質(zhì)特征的方法，縮小面部表情的類(lèi)內(nèi)特征差異和擴(kuò)大類(lèi)間特征差異，以提高識(shí)別的準(zhǔn)確性。其次，繼續(xù)探究魯棒的（Robust）面部表情特征提取算法的設(shè)計(jì)，降低環(huán)境及個(gè)體差異、面部遮擋等因素對(duì)面部表情特征提取的干擾。再次，未來(lái)將繼續(xù)探究實(shí)時(shí)性的面部表情識(shí)別與算法設(shè)計(jì)，提升學(xué)習(xí)者面部表情檢測(cè)和識(shí)別速度，滿(mǎn)足實(shí)時(shí)性需求。最后，融合多種模態(tài)的數(shù)據(jù)識(shí)別學(xué)習(xí)者情緒，也是重要的研究方向之一。例如，融合頭部姿態(tài)估計(jì)、視線(xiàn)跟蹤、面部表情、生理信號(hào)，來(lái)識(shí)別學(xué)習(xí)者情緒。但基于融合多模態(tài)數(shù)據(jù)的學(xué)習(xí)者情緒識(shí)別研究的應(yīng)用，需要依賴(lài)于數(shù)據(jù)采集與監(jiān)測(cè)技術(shù)的發(fā)展，需要降低數(shù)據(jù)采集、監(jiān)測(cè)技術(shù)的應(yīng)用門(mén)檻，并減少對(duì)學(xué)習(xí)者的干擾。