林巧民，潘 敏

(1.南京郵電大學(xué) 計(jì)算機(jī)學(xué)院，江蘇 南京 210023；2.南京郵電大學(xué) 教育科學(xué)與技術(shù)學(xué)院，江蘇 南京 210003)

0 引 言

情感是伴隨著認(rèn)知和意識(shí)過(guò)程的生理以及心理狀態(tài)[1]，在人際交往中起著非常重要的作用。近年來(lái)國(guó)內(nèi)外許多研究人員針對(duì)情緒識(shí)別已經(jīng)做出了很多的研究，從單一模態(tài)情緒識(shí)別[2]到多模態(tài)情緒識(shí)別[3]，這些研究大多都是區(qū)分六種基本的面部表情。王蓓等[4]提出了一種基于決策層融合機(jī)制的人臉表情和語(yǔ)音多模態(tài)方法，取得了一定的融合效果。Zeng等[5]提出了一種基于多流隱馬爾可夫模型(multistream hidden Markov，HMM)的人臉表情和語(yǔ)音多模態(tài)方法，融合后取得了72.42%的識(shí)別率。Wang等[6]采用核交叉模型因子分析方法對(duì)語(yǔ)音模態(tài)和人臉表情模態(tài)進(jìn)行特征降維和特征融合。然而對(duì)于相同的面部表情，表情強(qiáng)烈程度不同，表現(xiàn)出的情感狀態(tài)也會(huì)不一樣。如憤怒的表情程度可分為生氣和到憤怒之間的不同等級(jí)。生氣表示一種略微憤怒，程度較輕；憤怒則表示人處于一種非常生氣的狀態(tài)。面部表情強(qiáng)度估計(jì)是情緒識(shí)別的一種延伸，對(duì)其進(jìn)行相關(guān)研究的人員相對(duì)較少。Mahoor等[7]使用二元分類器的6級(jí)分類來(lái)進(jìn)行層次劃分，他們從嬰兒面部圖像的幾個(gè)代表性行動(dòng)單元評(píng)估了AU強(qiáng)度。但是，無(wú)法避免類之間的類重疊，這使得這些方法的魯棒性較差。在Delannoy等[8]的研究中，他們使用基于圖像的分類方法用于三個(gè)級(jí)別(低，中和高)的強(qiáng)度估計(jì)。從以上研究中能夠觀察到表情的層劃分都是預(yù)先設(shè)置的，于是文中提出了一種基于模糊聚類的表情層次細(xì)分方法，該方法采用了一種聚類融合算法，可以不用提前設(shè)定強(qiáng)度等級(jí)就可以自動(dòng)獲得強(qiáng)度等級(jí)。

隨著互聯(lián)網(wǎng)相關(guān)汽車行業(yè)的快速發(fā)展，行業(yè)中的缺陷也逐漸暴露出來(lái)。如乘客的安全問(wèn)題，尤其是女性乘客的安全問(wèn)題。夜晚打車出行的顧客，一旦出現(xiàn)問(wèn)題，人身安全將無(wú)法得到保證，因此對(duì)于司機(jī)的情緒監(jiān)控就尤為重要。除此之外，也可應(yīng)用于公交司機(jī)的情緒檢測(cè)。公交是人們?nèi)粘Ｉ钪斜夭豢缮俚慕煌üぞ撸绻凰緳C(jī)的情緒處于一種極端情緒中，將會(huì)對(duì)眾多乘客的生命安全造成極大的威脅。反之，乘客如果情緒失控影響司機(jī)駕駛也會(huì)帶來(lái)嚴(yán)重的交通事故。為了解決這一問(wèn)題，網(wǎng)約車公司和公交公司可以在合法的車輛上裝載攝像，將情緒分析技術(shù)與系統(tǒng)設(shè)備相結(jié)合，應(yīng)用于檢測(cè)駕駛途中司機(jī)的情緒變化或者司機(jī)的“憤怒”情緒。情緒分析技術(shù)能夠從獲取的視頻中自動(dòng)分析情緒類別，再此基礎(chǔ)上將情緒強(qiáng)度解析出來(lái)。當(dāng)粗粒度的情緒類別獲取之后，如果確定是“憤怒”情緒也不會(huì)立刻就提醒后臺(tái)，而是當(dāng)“憤怒”情緒強(qiáng)度超過(guò)設(shè)定的情緒強(qiáng)度閾值時(shí)，才會(huì)提醒后臺(tái)關(guān)注此車輛的相關(guān)信息，提高后臺(tái)工作人員的工作效率，保障乘客的人生安全[9]。

1 面部表情特征提取和分類識(shí)別

情感信息的提取能夠通過(guò)“生理信號(hào)”進(jìn)行分析、判別，這種方式應(yīng)用在非醫(yī)學(xué)領(lǐng)域?qū)O大地增加了實(shí)驗(yàn)的難度。反之，通過(guò)對(duì)人臉的檢測(cè)和分析，極大地提高了實(shí)驗(yàn)的可行性。目前流行的人臉檢測(cè)技術(shù)為卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)和VJ(viola-jones，VJ)算法，文中采用的傳統(tǒng)的VJ算法[10]已經(jīng)可以滿足需求。VJ算法主要用于人臉的檢測(cè)和定位，在預(yù)處理階段將圖像中與面部無(wú)關(guān)的背景刪除。

特征提取技術(shù)中有兩種比較常用的技術(shù)是PCA(主成分分析)和LDA(線性判別分析)，這兩種方法常用于人臉識(shí)別的研究。PCA和LDA的不同之處在于前者主要的任務(wù)是降維，而后者是加強(qiáng)區(qū)分從不同類別中獲得特征。雙向主成分分析(bi-directional principal component analysis，BDPCA)[11]和最小平方線性判別分析(least-square linear discriminant analysis，LSLDA)[12]是對(duì)PCA和LDA的一種改進(jìn)，算法性能得到了提升，對(duì)于人臉識(shí)別的準(zhǔn)確率也有所提升。PCA可以把可能具有相關(guān)性的高維變量合成線性無(wú)關(guān)的低維變量，稱為主成分(principal components)。新的低維數(shù)據(jù)集會(huì)盡可能保留原始數(shù)據(jù)的變量，但是計(jì)算比較復(fù)雜。BDPCA優(yōu)于PCA在于它可以在圖像的行和列方向上找到最優(yōu)投影子空間，而無(wú)需矩陣進(jìn)行矢量變換，也不會(huì)產(chǎn)生協(xié)方差矩陣，減少了處理時(shí)間。將BDPCA算法和LSLDA算法進(jìn)行融合，先以BDPCA算法對(duì)預(yù)處理后的圖像進(jìn)行降維處理，然后將BDPCA的輸出作為L(zhǎng)SLDA的輸入，得出投影子空間。

從LSLDA階段得到的面部特征傳送到高斯核映射，并通過(guò)核映射形成核矩陣。核矩陣中存儲(chǔ)了一些在高維空間中數(shù)據(jù)的相似信息。面部特征同樣也傳送到拉普拉斯圖映射中，并通過(guò)拉普拉斯映射形成了拉普拉斯矩陣。拉普拉斯矩陣中存儲(chǔ)了在低維空間中數(shù)據(jù)的關(guān)系信息。OKLC模塊表示一種優(yōu)化的k-均值拉普拉斯聚類[13]，為了獲得VOKLC(最優(yōu)的核拉普拉斯聚類)，需要OKLC模塊找到核函數(shù)和拉普拉斯矩陣的最優(yōu)系數(shù)。在測(cè)試階段，為了獲得用于測(cè)試數(shù)據(jù)的核矩陣和拉普拉斯矩陣，在LSLDA階段提取到的測(cè)試特征進(jìn)行映射。測(cè)試數(shù)據(jù)的兩個(gè)矩陣訓(xùn)練階段使用加性模型[14]和從OKLC模塊的最優(yōu)系數(shù)進(jìn)行合并。最后通過(guò)RBF分類器對(duì)特征進(jìn)行分類識(shí)別。表情識(shí)別系統(tǒng)框圖如圖1所示。

2 表情強(qiáng)度層次劃分

對(duì)于同一種面部表情來(lái)說(shuō),強(qiáng)烈程度不同,反映出的情感狀態(tài)也會(huì)不同。當(dāng)粗粒度情緒被識(shí)別之后，從RBF情緒識(shí)別分類器末端選擇了200幀被標(biāo)記為“憤怒”的連續(xù)圖像樣本，這200幀包含了不同強(qiáng)度等級(jí)的“憤怒”。人的憤怒情緒雖然是在很短的時(shí)間內(nèi)產(chǎn)生的，但是也是有過(guò)程的，因此該采樣樣本體現(xiàn)了憤怒情緒的發(fā)展以及生成過(guò)程。文中將對(duì)這200幀連續(xù)圖像進(jìn)行強(qiáng)度等級(jí)劃分。

圖1 表情識(shí)別系統(tǒng)框圖

聚類分析是很多分類的基礎(chǔ)，目的是從樣本數(shù)據(jù)中找出本質(zhì)聯(lián)系，從而鑒別出這些樣本從屬于不同的聚類。在數(shù)據(jù)處理方面將模糊均值聚類和減法聚類進(jìn)行融合對(duì)數(shù)據(jù)進(jìn)行處理，解決模糊C聚類對(duì)于初始值設(shè)定敏感并且容易陷入局部最優(yōu)解的問(wèn)題。所以文中提出了一種模糊聚類的表情層次細(xì)分方法來(lái)對(duì)已識(shí)別的情緒進(jìn)行細(xì)分以對(duì)應(yīng)不同強(qiáng)度的情感狀態(tài)。首先用融合聚類算法對(duì)樣本進(jìn)行聚類，得到不同的聚類中心。接著把聚類后的數(shù)據(jù)由MATLAB中的ANIFS(自適應(yīng)神經(jīng)模糊推理系統(tǒng))進(jìn)行訓(xùn)練，最后將“憤怒”進(jìn)行層次上的劃分[15-16]。

2.1 模糊C均值(FCM)聚類算法

FCM算法[17-18]也是一種聚類算法，它是基于劃分的。其核心算法是將被劃分為不同聚類的對(duì)象之間的相似度減為最小，而相同聚類之間的相似度增加到最大。對(duì)普通C均值聚類算法的改進(jìn)方法之一有模糊C均值。C均值的算法思想是將提供的數(shù)據(jù)進(jìn)行硬性劃分，一個(gè)樣本將會(huì)精確地歸屬某一個(gè)聚類，F(xiàn)CM將模糊地對(duì)數(shù)據(jù)進(jìn)行劃分，樣本屬于某一類聚類的程度由隸屬度來(lái)表示，一般記為μA(x)，其自變量的取值范圍是可能歸屬于集合A的全部對(duì)象(也就是說(shuō)，集合A在所有空間)，取值區(qū)間為[0,1]。其中μA(x)=1表示x全部屬于集合A(x∈A)。在空間X={x}定義的隸屬度函數(shù)定義了一個(gè)模糊集合A，或定義在域X={x}上的模糊子集。對(duì)于有限個(gè)對(duì)象(x1,x2,…,xn)，模糊集合可以表示為：

A={μA(xi),xi∈X}

(1)

以上描述了模糊集這一概念，可以了解到一個(gè)元素歸屬于某個(gè)模糊集不再像C均值一樣是硬性分類。可以假設(shè)由聚類形成的簇為模糊集，那么屬于聚類的每一個(gè)樣本點(diǎn)的隸屬度在區(qū)間[0,1]中。在對(duì)數(shù)據(jù)集的隸屬度進(jìn)行歸一化處理后，總和為1:

其中，c表示聚類個(gè)數(shù)；uij表示隸屬于聚類ci的第j個(gè)樣本的隸屬度。

那么，F(xiàn)CM的目標(biāo)函數(shù)為：

(2)

其中，0≤uij≤1；ci為模糊組i的聚類中心；dij=‖ci-xj‖為第i個(gè)簇中心ci與數(shù)據(jù)點(diǎn)xj之間的距離；m>1為權(quán)重指數(shù)。

聚類中心ci的計(jì)算公式如下：

(3)

用式4更新隸屬度：

(4)

算法步驟描述如下：

(1)m為指定參數(shù)，C為聚類中心數(shù)，ε為最大迭代次數(shù)以及迭代停止誤差；

(2)對(duì)聚類中心C進(jìn)行初始化；

(3)計(jì)算初始距離矩陣D，由dij組成；

(4)根據(jù)式4來(lái)更新隸屬度，得到隸屬度矩陣U，如果距離為0，則將該點(diǎn)和對(duì)應(yīng)類的隸屬度設(shè)置為1，其余的設(shè)置為0；

(5)按式3更新聚類中心；

(6)重新計(jì)算距離矩陣，并根據(jù)式2計(jì)算目標(biāo)函數(shù)；

(7)如果與上一級(jí)的目標(biāo)函數(shù)的絕對(duì)差小于迭代停止誤差或迭代次數(shù)達(dá)到最大，那么就立刻停止，否則轉(zhuǎn)步驟4，同樣也可以判斷用前后兩個(gè)隸屬度矩陣差；

(8)對(duì)應(yīng)聚類的隸屬度哪一個(gè)最大，則將樣本點(diǎn)劃分到哪一個(gè)聚類。

2.2 FCM與減法聚類融合的模糊聚類

FCM在對(duì)數(shù)據(jù)進(jìn)行模糊聚類時(shí)，它對(duì)初始值的設(shè)定十分敏感，初始值的設(shè)置不佳將會(huì)使最終結(jié)果處于局部最優(yōu)解狀況，針對(duì)這一問(wèn)題引入了減法聚類。在FCM進(jìn)行聚類之前，引入減法聚類來(lái)設(shè)定FCM的初始值，不僅能獲得一開始的聚類個(gè)數(shù)，而且能提高聚類速度，從而解決局部最優(yōu)解的問(wèn)題[19]。

基于密度的聚類算法的一種方式有減法聚類，其算法原理是把每個(gè)數(shù)據(jù)點(diǎn)都當(dāng)作一個(gè)聚類中心，計(jì)算每個(gè)數(shù)據(jù)點(diǎn)成為聚類中心的概率的方法是按照每一個(gè)數(shù)據(jù)點(diǎn)周邊的數(shù)據(jù)點(diǎn)密度來(lái)計(jì)算。被選做聚類中心的數(shù)據(jù)點(diǎn)的特征是其在周圍的數(shù)據(jù)點(diǎn)中具備最高的數(shù)據(jù)點(diǎn)密度，并且排除那些離該數(shù)據(jù)點(diǎn)相近的數(shù)據(jù)點(diǎn)成為聚類中心的可能[20]；當(dāng)選擇了第一個(gè)數(shù)據(jù)中心以后，采用與上述一致的方法，從可能成為聚類中心的其他數(shù)據(jù)點(diǎn)中選擇出下一個(gè)聚類中心。直到全部剩下的數(shù)據(jù)點(diǎn)成為聚類中心的概率低于設(shè)置的閾值。融合基本過(guò)程如下：

(1)假定所有的數(shù)據(jù)點(diǎn)都在一個(gè)單位超立方體內(nèi)，即各維的坐標(biāo)都在0～1之間，定義數(shù)據(jù)點(diǎn)xi的密度指標(biāo)為：

(5)

這個(gè)數(shù)據(jù)點(diǎn)的密度范圍由半徑ra決定，在這個(gè)數(shù)據(jù)點(diǎn)密度范圍內(nèi)的點(diǎn)對(duì)密度影響較大；反之在此數(shù)據(jù)點(diǎn)密度范圍外的點(diǎn)對(duì)密度影響較小。算出每個(gè)數(shù)據(jù)點(diǎn)的密度之后，第一個(gè)聚類中心為密度最高的那個(gè)數(shù)據(jù)點(diǎn)，將這個(gè)數(shù)據(jù)點(diǎn)記作xi。

(2)把Dxi設(shè)為它的密度時(shí)，其他數(shù)據(jù)點(diǎn)密度根據(jù)Dxi依次由式6修正為:

(6)

其中，rb是一個(gè)常數(shù)，它定義的密度范圍顯著減小，一般情況下大于ra。之后繼續(xù)重復(fù)上面的步驟，直到剩下的可能作為聚類中心的數(shù)據(jù)點(diǎn)的概率小于設(shè)定的某個(gè)閾值。

(3)初始化模糊隸屬度矩陣U(0)。

(4)對(duì)每一步用式3算出c個(gè)聚類中心ci。

(5)在第t步更新隸屬度矩陣U(t)：如果對(duì)任意的k,j存在dkj(b)>0,那么得:

(6)‖u(b+1)-u(b)‖≤ε，則停止；否則令t=t+1并返回步驟4。

3 實(shí)驗(yàn)結(jié)果與分析

前面已經(jīng)用eNTERFACE’05數(shù)據(jù)庫(kù)作為第一部分情緒識(shí)別階段的訓(xùn)練集和測(cè)試集，這節(jié)繼續(xù)用該數(shù)據(jù)庫(kù)對(duì)情緒強(qiáng)度層次劃分的性能進(jìn)行評(píng)估。該數(shù)據(jù)庫(kù)共記錄了1 293個(gè)成人的人臉表情樣本，包含了最常見的6種情緒：高興、悲傷、厭惡、生氣、恐懼、驚訝。接著在擴(kuò)展的Cohn-Kanade數(shù)據(jù)集(Ck+)上對(duì)強(qiáng)度劃分性能進(jìn)行評(píng)估。最后，文中招募了10名志愿者分別采樣了20秒的視頻，讓志愿者通過(guò)觀看視頻的方式產(chǎn)生憤怒的情緒，情緒由平緩到極端憤怒。

3.1 在eNTERFACE’05數(shù)據(jù)庫(kù)的評(píng)估

eNTERFACE’05數(shù)據(jù)庫(kù)是一個(gè)同時(shí)記錄人臉表情模態(tài)和語(yǔ)音模態(tài)的雙模態(tài)情感數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)共記錄了1 293個(gè)成人的人臉表情和語(yǔ)音數(shù)據(jù)樣本。圖2為eNTERFACE’05數(shù)據(jù)庫(kù)各種人臉表情樣本。

圖2 eNTERFACE’05數(shù)據(jù)庫(kù)各種人臉表情樣本

從第2節(jié)中的RBF神經(jīng)網(wǎng)絡(luò)分類器末端選擇75%被標(biāo)記為“憤怒”的表情作為訓(xùn)練樣本，這多幀圖像包含了不同強(qiáng)度等級(jí)的“憤怒”。首先用融合聚類算法對(duì)樣本進(jìn)行聚類，之后再將訓(xùn)練樣本進(jìn)行分類處理。接著將聚類后的數(shù)據(jù)由MATLAB中提供的自適應(yīng)推理系統(tǒng)來(lái)進(jìn)行訓(xùn)練，對(duì)面部表情“憤怒”進(jìn)行層次劃分。在實(shí)驗(yàn)過(guò)程中還可以得到每一個(gè)樣本點(diǎn)到聚類中心的距離，當(dāng)聚類中心最終確定以后，就可以對(duì)‘憤怒’表情進(jìn)行層次劃分。d1表示樣本點(diǎn)到第一個(gè)聚類中心的距離，d2表示樣本點(diǎn)到第二個(gè)聚類中心的距離，依此類推，dn表示樣本點(diǎn)到第n個(gè)聚類中心的距離。將L=d1/(d1+d2+…+dn)表示為憤怒的等級(jí)。憤怒等級(jí)劃分流程如圖3所示。

圖3 “憤怒”等級(jí)劃分系統(tǒng)框圖

訓(xùn)練結(jié)果和擬合圖如圖4和圖5所示，訓(xùn)練誤差為0.002 339 2。

圖4 “憤怒”表情訓(xùn)練誤差

圖5 “憤怒”表情訓(xùn)練擬合

將數(shù)據(jù)庫(kù)剩余的25%被標(biāo)記“憤怒”的圖像輸入到ANFIS系統(tǒng)中進(jìn)行檢驗(yàn)。訓(xùn)練樣本受到檢驗(yàn)樣本的擬合，由圖可知，兩者基本是相互符合的，*在圓圈內(nèi)表示沒有出現(xiàn)過(guò)擬合的現(xiàn)象，準(zhǔn)確率達(dá)到81%。

3.2 在Ck+情緒數(shù)據(jù)庫(kù)上的評(píng)估

文中采用Ck+人臉表情識(shí)別數(shù)據(jù)庫(kù)作為測(cè)試集，這個(gè)數(shù)據(jù)庫(kù)包括123個(gè)主題和593個(gè)圖像序列。在這593個(gè)圖像序列中，有327個(gè)圖像序列有情緒標(biāo)簽。選取其中75%的憤怒情緒作為訓(xùn)練集，剩下的25%作為測(cè)試集。這個(gè)數(shù)據(jù)庫(kù)比較適合本次實(shí)驗(yàn)，因?yàn)樗羞B續(xù)的“憤怒”表情，并且已經(jīng)標(biāo)注了情緒，為本次實(shí)驗(yàn)提供了便利。圖6為Ck+數(shù)據(jù)庫(kù)中一位受試者“憤怒”表情的部分連續(xù)圖。

由圖6可以觀察到受試者的憤怒情緒程度越來(lái)越高，對(duì)應(yīng)的憤怒強(qiáng)度指數(shù)也越來(lái)越大。這符合人體情緒的生成過(guò)程。Ck+數(shù)據(jù)庫(kù)中的數(shù)據(jù)分為不同的主題，規(guī)律性較好，通過(guò)測(cè)評(píng)準(zhǔn)確率可達(dá)83%。

圖6 CK+數(shù)據(jù)庫(kù)上的情緒強(qiáng)度走勢(shì)

3.3 隨機(jī)采樣對(duì)情緒層次劃分的評(píng)估

對(duì)于測(cè)試集，選擇招募10個(gè)年齡和性別都不相同的志愿者錄制了10段視頻。視頻的前半部分是“生氣”的表情，后半部分是“憤怒”的表情。前半部分是提供的“憤怒”程度較低的測(cè)試圖像幀數(shù)，后半部分是“憤怒”程度較明顯的測(cè)試圖像幀數(shù)。其中二位志愿者的測(cè)試結(jié)果如圖7所示。

圖7 憤怒的測(cè)試結(jié)果

從志愿者錄制的“憤怒”視頻中截取三幀圖片測(cè)試，結(jié)果如圖7所示，較準(zhǔn)確地描述出了被測(cè)試者的憤怒程度。表1顯示了在三個(gè)不同的數(shù)據(jù)集上的準(zhǔn)確率，其中Ck+數(shù)據(jù)集上的準(zhǔn)確率最高。

表1 三種數(shù)據(jù)庫(kù)識(shí)別結(jié)果

4 結(jié)束語(yǔ)

面部表情細(xì)分方法的研究對(duì)于解決交通安全隱患問(wèn)題具有重要的研究?jī)r(jià)值，此方法可以應(yīng)用于網(wǎng)約車行業(yè)的乘客的安全問(wèn)題，尤其針對(duì)夜間打車乘客的安全問(wèn)題和公交乘客的安全問(wèn)題，通過(guò)監(jiān)測(cè)駕駛員的情緒程度，能夠?qū)Τ丝推鸬揭欢ǖ谋Ｗo(hù)效果。文中提出了一種基于模糊聚類的表情層次方法，首先通過(guò)BDPCA+LSLDB提取視頻中的圖片特征，用RBF神經(jīng)網(wǎng)絡(luò)識(shí)別出情緒。在此基礎(chǔ)上，將模糊聚類中的減法聚類和模糊C-均值聚類相結(jié)合，這樣開始的聚類個(gè)數(shù)不僅可以自動(dòng)獲得，聚類的速度還能夠得到提高，解決局部最優(yōu)解這個(gè)問(wèn)題。再通過(guò)ANFIS系統(tǒng)對(duì)識(shí)別出的情緒類型進(jìn)行進(jìn)一步的細(xì)分。接著通過(guò)兩個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集檢測(cè)該方法的可行性。實(shí)驗(yàn)結(jié)果表明，在兩個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上，該方法能夠較好地劃分情緒層次和估計(jì)情緒強(qiáng)度，采集得到的數(shù)據(jù)庫(kù)在準(zhǔn)確率上比標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)略低。