張原溥

1 引言

隨著網(wǎng)絡(luò)媒體的飛速發(fā)展，大量用戶已經(jīng)習(xí)慣用視頻通話來與親朋好友交流，從而產(chǎn)生了龐大的數(shù)據(jù)量和各種各樣的微表情。這些微表情不僅表達了用戶本人的思想感情，還帶有極高的社會價值。為此，分析這些微表情中蘊藏的情感已經(jīng)成為當下研究熱點之一。

人工神經(jīng)網(wǎng)絡(luò)[1]是對人腦神經(jīng)元網(wǎng)絡(luò)進行信息處理以達到抽象的目的，由大量的節(jié)點（或稱神經(jīng)元）相互聯(lián)接構(gòu)成。前饋神經(jīng)網(wǎng)絡(luò)FNN[2]就是最簡單的人工神經(jīng)網(wǎng)絡(luò)之一，它由輸入層、輸出層及隱含層三種層構(gòu)成。它可以接受輸入并進行輸出，但由于各層之間沒有反饋，F(xiàn)NN沒有記憶功能，處理數(shù)據(jù)時只能使用當前時刻信息，這樣便不能將捕獲到的微表情保留下來供以后使用。為了改進這一缺點，Jordan和Elman率先提出了循環(huán)反饋的神經(jīng)網(wǎng)絡(luò)RNN[3]。1997年Hochreiter&Schmidhuber提出了用長短期記憶單元LSTM[5]來改進傳統(tǒng)的RNN模式，才有效解決了梯度消失與梯度爆炸的問題。針對以上神經(jīng)網(wǎng)絡(luò)的優(yōu)劣勢，本文提出基于LSTM的微表情分析模型——雙門LSTM模型，以提高對微表情的情感分析能力。

本文具體章節(jié)安排如下：第二節(jié)介紹了FNN、RNN與LSTM的運作機制，尋找差異并比對了各自的優(yōu)缺點；第三節(jié)闡述了自己的雙門LSTM模型，并介紹其工作原理；第四節(jié)將雙門LSTM模型運用到情感分析當中，實現(xiàn)長短時記憶網(wǎng)絡(luò)模型在一段微表情片段中的應(yīng)用，針對微表情小視頻對人進行情感分析；第五節(jié)進行實驗，進一步改進雙門LSTM模型；第六節(jié)總結(jié)歸納實驗結(jié)果，并在人工神經(jīng)網(wǎng)絡(luò)知識的基礎(chǔ)下整理模型，得出情感分析的最終優(yōu)化方法，同時說明自己的局限性，指出后續(xù)的工作方向。

2 相關(guān)工作

FNN是傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，又叫前饋神經(jīng)網(wǎng)絡(luò)，F(xiàn)NN在輸入層處接收前一層的輸出，并在輸出層處輸出給下一層。但由于FNN每個神經(jīng)元只與前一層的神經(jīng)元相連[2]，導(dǎo)致了各層間沒有反饋。針對FNN的無法記憶的問題，Jordan和Elman率先提出了循環(huán)反饋的神經(jīng)網(wǎng)絡(luò)RNN[3]。隱含層能夠保存并利用歷史信息來輔助處理當前數(shù)據(jù)，可以將信息持久化，這也導(dǎo)致了梯度的不斷減小甚至于消失[6]，這種現(xiàn)象也被稱為梯度爆炸。

Hochreiter & Schimidhuber提出了用長短期記憶單元LSTM改進傳統(tǒng)的RNN模式，普通的RNN的重復(fù)模塊結(jié)構(gòu)非常簡單，只有一個tanh層[7]。調(diào)節(jié)門由一個Sigmoid神經(jīng)網(wǎng)絡(luò)層和一個元素級相乘操作組成[8]。雖然LSTM有很好的利用長距離歷史信息的能力，但是它畢竟只能夠利用一種數(shù)據(jù)。針對這一缺陷，本文提出了雙門LSTM模型。

圖1 雙門LSTM示意圖

3 雙門LSTM模型

與普通LSTM單元類似，雙門LSTM單元也同樣由輸入門、輸出門、遺忘門以及記憶單元組成。但是雙門LSTM門的個數(shù)卻要多一些：雙門LSTM模型擁有2個輸入門、2個遺忘門，但它的輸出門也只有1個。

由圖1我們可以觀察到雙門LSTM模型也是由輸入層、輸出層及隱含層構(gòu)成。

（1）首先我們根據(jù)傳統(tǒng)RNN公式1計算出當前記憶單元候選值，與當前時刻輸入值和上一時刻輸出值有關(guān)：

（2）第二步我們計算輸入門的值it。輸入門用于控制我們要更新哪些信息，控制當前信息對記憶單元造成的影響。需要注意的是，輸入門的計算還與上一時刻記憶單元的值有關(guān)：

（3）第三步計算遺忘門的值ft。遺忘門決定我們要從當前歷史信息中扔掉哪些信息，控制歷史信息對當前記憶單元狀態(tài)值的影響：

（4）第四步計算當前記憶單元狀態(tài)值ct，當前時刻記憶單元狀態(tài)值取決于上一時刻的記憶單元狀態(tài)值ct-1與候選記憶單元狀態(tài)值，并受遺忘門與輸入門兩部分進行調(diào)節(jié)：

（5）第五步計算輸出門ot，用于控制記憶單元狀態(tài)值的輸出：

（6）最后計算當前時刻LSTM單元的輸出：

其中xt、yt分別對應(yīng)這一時刻x、y方向上的輸入，ht-1對應(yīng)上一時刻的輸ht-1x、

4 基于LSTM的模型的應(yīng)用

長短期記憶網(wǎng)絡(luò)LSTM在許多方面都取得了不錯的效果，例如翻譯語言、制機器人以及語音識別等。然而普通的LSTM由于只有一個輸入門，只能固定的獲得一種信息，并不能很好的分析情感，尤其是微表情這種人們可能刻意掩的信息。此模型優(yōu)勢在于遺忘門在不斷遺忘一些已失去效用的微表情，從而控制歷史信息對當前時刻分析的影響，既充分利用了歷史信息又不至于失去效用的歷史信息積累過多。再結(jié)合輸入門每一刻輸入的微表情數(shù)據(jù)信息，LSTM便可分析出人的情感。因為結(jié)合生活經(jīng)驗與對微表情的觀察，我們可以知道人的面部在產(chǎn)生微表情時，他的身體可能會同時產(chǎn)生一些不由自主的動作，例如抖肩、揉鼻子、眼睛向兩側(cè)看等等。這樣的肢體語言為我們多提供了一種信息，恰好可以輔助我們分析情感?；谏鲜鏊悸?，本文提出了雙門LSTM模型運用于情感分析，該雙門LSTM模型的優(yōu)勢便在于此。它通過對微表情與肢體語言兩種信息的分析處理，并將其綜合起來，得出了更為準確的情感數(shù)據(jù)。改進了普通LSTM模型只能運用一種信息的不足。

表1 隱含層數(shù)目與誤差的關(guān)系

5 實驗

為了驗證基于LSTM模型的雙門LSTM的有效性并進一步改進該模型，本文使用The Extended Cohn-Kanade Dataset(CK+)數(shù)據(jù)庫[9]，并采用監(jiān)督學(xué)習(xí)的方式（因為雙門LSTM模型的樣本類別是已知的，即微表情和肢體語言兩類），將雙門LSTM模型做了不同的改變并進行了對比。顯而易見的是，最優(yōu)的雙門LSTM模型便是實際圖像能夠與目標圖像（即理論上誤差最小的圖像）收斂。雙門LSTM模型的圖像扔難以收斂，且誤差一直在上下振蕩。隨著隱含層數(shù)的增多，雙門LSTM模型最初的誤差逐漸降低，并且收斂所需的訓(xùn)練次數(shù)也越來越少，即越來越容易收斂，最后將在目標圖像附近波動。實驗數(shù)據(jù)整理如表1：

結(jié)合表1可知，隱含層數(shù)較少時，圖像難以收斂，誤差較大且不斷振蕩；隱含層數(shù)增多時，圖像收斂所需的訓(xùn)練次數(shù)越來越少，誤差減??；隱含層數(shù)目多到一定值時，即使再增加隱含層，誤差也不能再次下降，而是在一定范圍內(nèi)波動。因此選擇隱含層數(shù)較多的雙門LSTM模型將更有利于分析情感。

6 總結(jié)與展望

本文將普通的LSTM延伸到雙門的LSTM模型上，從而得以同時運用微表情與肢體語言兩種信息，以便更好地分析人的情感，同時進行了實驗對比，得出了隱含層數(shù)與誤差之間的關(guān)系，明白選擇隱含層數(shù)較多的雙門LSTM模型將更有利于分析情感，進一步優(yōu)化了雙門LSTM模型。

由于時間與技術(shù)的原因，本文并沒有實際做實驗去比對普通LSTM與雙門LSTM模型的誤差曲線，僅僅是從理論分析上比較了一下，認為同時運用兩種數(shù)據(jù)的雙門LSTM模型的分析將更加準確。同時，雙門LSTM模型的具體實現(xiàn)也亟待解決。下一步的工作也將從這兩個角度展開，以便更好地處理有關(guān)微表情片段的情感分析問題。