齊興斌，趙 麗，李雪梅，田 濤

(1.山西大學(xué) 計(jì)算機(jī)工程系，山西 太原 030013；2.北京航空航天大學(xué) 計(jì)算機(jī)學(xué)院，北京 100083；3.北京師范大學(xué) 教育信息技術(shù)協(xié)同創(chuàng)新中心，北京 100875)

視頻檢索中基于GMM聚類的無(wú)監(jiān)督情感場(chǎng)景檢測(cè)

齊興斌1，趙 麗2，李雪梅1，田 濤3

(1.山西大學(xué) 計(jì)算機(jī)工程系，山西 太原 030013；2.北京航空航天大學(xué) 計(jì)算機(jī)學(xué)院，北京 100083；3.北京師范大學(xué) 教育信息技術(shù)協(xié)同創(chuàng)新中心，北京 100875)

為了高效地從視頻中檢索出激動(dòng)人心的場(chǎng)面，提出了一種基于高斯混合模型的無(wú)監(jiān)督情感場(chǎng)景檢測(cè)方法。首先，從面部選取42個(gè)特征點(diǎn)，并定義10種面部特征；然后，利用高斯混合模型將視頻的幀劃分為多個(gè)聚類；最后，利用每一幀的面部表情分類結(jié)果將情感場(chǎng)景劃分為單個(gè)聚類，并通過(guò)場(chǎng)景集成和刪除完成檢測(cè)。在生活記錄視頻和MMI人臉表情數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明，該方法的檢測(cè)率、分類率分別高達(dá)98%，95%，檢測(cè)5分鐘左右的情感場(chǎng)景視頻僅需0.138 s，性能優(yōu)于幾種較為先進(jìn)的檢測(cè)方法。

視頻檢索；情感場(chǎng)景檢測(cè)；面部表情識(shí)別；無(wú)監(jiān)督；高斯混合模型

生活記錄視頻[1]有著較為嚴(yán)重的問(wèn)題，即難以輕松有效地從大量的視頻數(shù)據(jù)中檢索出有用的場(chǎng)景畫面。因此，有價(jià)值的生活記錄視頻并不能經(jīng)常得到使用。為了解決該問(wèn)題，本文提出了一種對(duì)于生活記錄視頻檢索有效且令人印象深刻的場(chǎng)景檢測(cè)方法。令人印象深刻的場(chǎng)景通常都是有用的，因?yàn)閺纳钣涗浺曨l檢索中檢索出來(lái)都作為重要事件來(lái)使用。生活記錄視頻通常包含人，他們的情緒變化會(huì)改變令人印象深刻的場(chǎng)景。因此，本文基于人臉表情識(shí)別提出了一種情感場(chǎng)景檢測(cè)(ESD)方法，因?yàn)榍榫w可以從面部表情來(lái)估計(jì)。

近來(lái)面部表情識(shí)別[2]被廣泛地研究，并應(yīng)用到視頻場(chǎng)景檢測(cè)中[3]，但大多數(shù)現(xiàn)有的方法側(cè)重于識(shí)別典型的面部表情[4](例如憤怒、厭惡、恐懼、快樂(lè)、悲傷和驚奇)。然而在生活記錄視頻中，那些更復(fù)雜和/或微妙的面部表情，例如，微微一笑、充滿微笑和苦笑都可以觀察到[5]。因?yàn)榇蠖鄶?shù)現(xiàn)有的方法需要預(yù)定義的面部表情[6]，這使得有用的場(chǎng)景難以被檢測(cè)，包括各種各樣生活記錄視頻的面部表情。

文獻(xiàn)[7]提出了一種基于人臉表情識(shí)別的生活記錄視頻的情感場(chǎng)景檢測(cè)方法，該方法能夠檢測(cè)不同的面部表情但是面部表情必須被提前指定?？紤]到要檢測(cè)出各種情緒的場(chǎng)景，因此所有的面部表情很難預(yù)先確定，此外，大量較為麻煩的練習(xí)數(shù)據(jù)，都需要構(gòu)建一個(gè)面部表情識(shí)別模型。

本文方法中，面部表情識(shí)別模型是基于使用高斯混合模型[8]的無(wú)監(jiān)督聚類方法構(gòu)建的。由于本文方法是無(wú)監(jiān)督的，它不需要同時(shí)要求學(xué)習(xí)的數(shù)據(jù)和面部表情的預(yù)定義。此外，利用人臉表情識(shí)別中幾個(gè)人臉特征點(diǎn)的唯一位置關(guān)系，并通過(guò)引入分層情感場(chǎng)景集成方法顯示出本文提出的情感場(chǎng)景檢測(cè)方法是完全有效的。通過(guò)一些情感場(chǎng)景檢測(cè)實(shí)驗(yàn)，可發(fā)現(xiàn)本文方法的靈活性和有效性。

1 面部特征

1.1 面部特征點(diǎn)

1.2 面部特征值

使用面部特征點(diǎn)來(lái)定義以下10種面部特征，從而檢測(cè)在不同面部表情外觀下面部特征點(diǎn)的區(qū)別。

這個(gè)特性值是基于利用最小二乘法從左右眉毛上的面部特征點(diǎn)上得到兩行的梯度a1和ar。通過(guò)式(1)可獲得該特征值。

(1)

使用眉毛和眼睛上側(cè)之間的人臉特征點(diǎn)的平均距離，并通過(guò)式(2)來(lái)獲得該特征值。

(2)

式中，lN是一張人臉大小的差異歸一化因子。它被定義為左眼和右眼的中心點(diǎn)之間的距離，lN=‖p27-p28‖。

這個(gè)特征值是在4個(gè)人臉特征點(diǎn)p5,p6,p16和p15圍成的區(qū)域中通過(guò)式(3)得到的，并且p15位于眉毛和眼睛的內(nèi)角形成的區(qū)域。

(3)

通過(guò)歸一化的兩個(gè)八邊形所表示的左眼和右眼的區(qū)域，特征值由式(4)來(lái)定義。

(4)

基于眼睛頂部和底部點(diǎn)之間的距離與眼睛左側(cè)和右側(cè)點(diǎn)之間的距離比，這個(gè)特征值定義為

(5)

這個(gè)特征值是在由嘴巴周圍的8個(gè)面部特征點(diǎn)所圍成的一個(gè)八邊形區(qū)域中，定義為

(6)

類似于第6個(gè)特征值，這個(gè)特征值是通過(guò)嘴巴內(nèi)圈內(nèi)8個(gè)面部特征點(diǎn)而形成的八邊形區(qū)域，定義為

(7)

基于嘴巴周圍頂部和底部點(diǎn)之間的距離與嘴巴周圍左側(cè)和右側(cè)點(diǎn)之間的距離比，定義為

(8)

類似于第8個(gè)特征值，這個(gè)特征值是基于嘴巴內(nèi)圈頂部和底部點(diǎn)之間的距離與嘴巴內(nèi)圈左側(cè)和右側(cè)點(diǎn)之間的距離比，定義為

(9)

10)垂直于嘴角的位置

此特征值代表嘴角的位置高度，定義為

2 人臉表情識(shí)別模型

大多數(shù)現(xiàn)有的面部識(shí)別方法都是基于監(jiān)督學(xué)習(xí)的[11-12]，監(jiān)督學(xué)習(xí)通常需要大量的訓(xùn)練數(shù)據(jù)。本文提出了一種無(wú)監(jiān)督人臉表情識(shí)別模型，以消除預(yù)定義的面部表情和準(zhǔn)備訓(xùn)練數(shù)據(jù)。

2.1 特征向量

(11)

(12)

(13)

式中，m是用于構(gòu)造新的特征向量的主成分的數(shù)目，因此Xi是m維向量。對(duì)于每個(gè)j≤m，ljk是第j個(gè)主分量的第k個(gè)分量的量。

2.2 高斯混合模型

面部表情識(shí)別模型是通過(guò)基于高斯混合模型使用特征向量的聚類算法構(gòu)建的，聚類通過(guò)期望最大化(ExpectationMaximization，EM)算法[14]構(gòu)成。在視頻的每個(gè)幀被分配到聚類，聚類對(duì)應(yīng)一個(gè)特定的面部表情，從而生成的K聚類對(duì)應(yīng)的幀劃分為K種面部表情。

該聚類算法如算法1所示，本文在初始化步驟中給出隨機(jī)值參數(shù)值ξ,μ和M，閾值ε設(shè)置為10-3。

算法1，即基于高斯混合模型的聚類算法，具體描述如下：

1)初始化ξk,μk和Mk，分別表示混合系數(shù)、平均矢量和第k個(gè)高斯分布的方差-協(xié)方差矩陣。

t←1，其中t為步數(shù)。

(14)

(15)

3)(M步驟)分別根據(jù)方程(16)、(17)和(18)更新ξ,μ和M。

(16)

(17)

(18)

4)如果式(19)條件滿足，則轉(zhuǎn)到步驟5)。否則，t←t+1，回到步驟2)。

(19)

式中：ε是終止條件的閾值，并且

(20)

5)根據(jù)式(21)分配給每個(gè)幀的集群CK(Xi)。

(21)

3 情感場(chǎng)景檢測(cè)

通過(guò)使用第2章中所示的面部表情識(shí)別模型，將一個(gè)視頻的幀劃分為K個(gè)聚類[15](即劃分為K種面部表情)。利用每一幀的面部表情分類結(jié)果將情感場(chǎng)景劃分為單個(gè)聚類，因?yàn)槟承╊愋偷拿娌勘砬榭梢詮囊粋€(gè)視頻中通過(guò)分析單個(gè)聚類進(jìn)行檢測(cè)。

(22)

對(duì)于場(chǎng)景Si，如果Si和Si-1之間的距離小于閾值θ，則Si-1被集成為Si，如圖1a所示。如果Si和Si+1之間的距離小于閾值θ，則Si+1被集成為Si。

圖1 場(chǎng)景集成和刪除

情感場(chǎng)景的集成和刪除過(guò)程一直重復(fù)進(jìn)行，直到?jīng)]有更多的場(chǎng)景可以被用來(lái)集成或刪除，在視頻中包含著多個(gè)面部表情的情況下，上述情感場(chǎng)景檢測(cè)分到每個(gè)聚類中，詳細(xì)的檢測(cè)算法如算法2所示。

算法2，即情感場(chǎng)景檢測(cè)算法，其偽代碼如下：

結(jié)束條件

結(jié)束條件

如果v=1，那么

完成場(chǎng)景檢測(cè)(沒(méi)有情感場(chǎng)景輸出)。

或者

轉(zhuǎn)到步驟6)。

結(jié)束條件

結(jié)束條件

6) 如果p=v，那么

i從1到v

結(jié)束條件

完成場(chǎng)景檢測(cè)。

或者

p←p+1并且回到步驟5)。

結(jié)束條件

7)更新S中元素的索引，如下所示：

4 實(shí)驗(yàn)

4.1 生活記錄視頻

實(shí)驗(yàn)通過(guò)5位研究對(duì)象來(lái)準(zhǔn)備了5個(gè)生活記錄視頻(稱為研究對(duì)象A、B、C、D和E)，所有研究對(duì)象都是男性大學(xué)生。對(duì)于所有研究對(duì)象，都通過(guò)打牌場(chǎng)景記錄為生活記錄視頻。每個(gè)生活記錄視頻的長(zhǎng)度、大小和幀速率分辨為5 min、640×480像素、25 f/s(幀/秒)，從每個(gè)視頻中每10幀挑選出1幀，每個(gè)視頻共750幀。

由于大多數(shù)生活記錄視頻中觀察到的面部表情都是微笑[16]，設(shè)定聚類K的大小為2，即通過(guò)生活記錄視頻的幀分成笑容和非微笑來(lái)檢測(cè)微笑的場(chǎng)景。圖2a和2b所示為情感幀圖像示例，圖2c和2d所示為非情感幀圖像示例。

情感場(chǎng)景檢測(cè)精度的閾值θ如圖3所示，對(duì)于大多數(shù)的受試者，閾值θ越小，檢測(cè)精度越低。當(dāng)θ值較小時(shí)，檢測(cè)結(jié)果中會(huì)出現(xiàn)許多無(wú)用的場(chǎng)景，導(dǎo)致精度降低。此外，θ值較大時(shí)，檢測(cè)結(jié)果可能會(huì)忽略許多有用的場(chǎng)景，因此，θ=25適合大多數(shù)的受試者。

圖2 情感幀及非情感幀

圖3 對(duì)于每個(gè)受試者情感場(chǎng)景檢測(cè)的精度

當(dāng)θ=25時(shí)，除了受試者E，所有受試者檢測(cè)精度都在0.9以上，甚至最高可達(dá)0.996?？紤]到本文方法不需要訓(xùn)練數(shù)據(jù)，并且在該實(shí)驗(yàn)中所用的視頻包含各種類型的笑容，因此檢測(cè)精度應(yīng)該是相當(dāng)不錯(cuò)的。

受試者E的檢測(cè)精度比其他受試者都相對(duì)較低，這是因?yàn)槭茉囌逧的臉有時(shí)會(huì)用其雙手遮擋，這種情況下很難精確地檢測(cè)面部特征點(diǎn)，故無(wú)法很好地辨別面部表情。

4.2MMI表情數(shù)據(jù)庫(kù)

使用MMI人臉表情數(shù)據(jù)庫(kù)[17]進(jìn)行了一次情感的場(chǎng)景檢測(cè)實(shí)驗(yàn)，該數(shù)據(jù)集包含29個(gè)受驗(yàn)者，年齡在18～63歲之間，有男性和女性的短片。實(shí)驗(yàn)從MMI數(shù)據(jù)集中選取100個(gè)實(shí)例(即視頻剪輯)。由于實(shí)驗(yàn)使用的視頻包含一種無(wú)表情及6個(gè)面部表情，聚類K設(shè)定為7，表1所示為實(shí)際的訓(xùn)練和測(cè)試序列，表2所示為檢測(cè)到的訓(xùn)練和測(cè)試序列平均數(shù)，表3所示為測(cè)試序列的正確和錯(cuò)誤分類。

表1 實(shí)際的訓(xùn)練和測(cè)試序列

表2 檢測(cè)到的訓(xùn)練和測(cè)試序列

表3 測(cè)試序列的分類結(jié)果

從表2可以看出，分別有1個(gè)憤怒和1個(gè)驚訝表情沒(méi)有檢測(cè)到，主要由于這兩種表情的特征點(diǎn)受表情影響而不規(guī)則，檢測(cè)到的訓(xùn)練和測(cè)試序列總數(shù)為98，而實(shí)際的訓(xùn)練和測(cè)試總數(shù)為100，檢測(cè)正確率為98%。

從表3可以看出，分類階段，所有惡心、幸福、悲傷和驚訝表情的分類都準(zhǔn)確，由于憤怒與恐懼、恐懼與驚訝易混淆，一個(gè)憤怒場(chǎng)景被誤分類為恐懼，一個(gè)恐懼場(chǎng)景被誤分類為驚訝，40個(gè)測(cè)試表情中產(chǎn)生了2個(gè)錯(cuò)誤分類，正確分類率為95%。

此外，使用處理器為XeonW3580(主頻為3.33GHz)內(nèi)存為8Gbyte的計(jì)算機(jī)測(cè)試了檢測(cè)模型的用時(shí)，“功能”、“主成分”、 “聚類”和“檢測(cè)”的處理時(shí)間分別對(duì)應(yīng)于計(jì)算面部特征、進(jìn)行主成分分析得到特征向量、通過(guò)聚類分類每個(gè)幀的面部表情、檢測(cè)情感場(chǎng)景，“總數(shù)”表示整個(gè)處理時(shí)間，表4所示為本文模型各個(gè)階段的耗時(shí)情況。

表4 各個(gè)階段的耗時(shí) s

提取人臉特征和集群的特征矢量的時(shí)間構(gòu)成了處理時(shí)間的很大一部分，然而，該方法非常有效，從表4可以看出，檢測(cè)平均5min長(zhǎng)的情感場(chǎng)景視頻僅需0.138s，表明本文方法有望應(yīng)用于大規(guī)模視頻數(shù)據(jù)庫(kù)。

4.3 性能比較

實(shí)驗(yàn)將本文方法的檢測(cè)率、分類率和總耗時(shí)與其他幾種較好的檢測(cè)方法進(jìn)行比較，包括Gabor多方向特征融合(GMDFF)[2]、文獻(xiàn)[7]提出的面部特征選取方法、基于稀疏表示的KCCA方法(SRC-KCCA)[13]、文獻(xiàn)[15]提出的霍夫森林(HoughForest，HF)方法，比較結(jié)果如表5所示，其中，實(shí)驗(yàn)設(shè)置與4.2節(jié)相同，各個(gè)比較方法的參數(shù)設(shè)置均參考各自所在文獻(xiàn)。

表5 各方法的性能比較

從表5可以看出，相比其他幾種方法，本文方法取得了更高的檢測(cè)率和分類率，相比文獻(xiàn)[15]方法，本文方法耗時(shí)較高，霍夫森林方法通過(guò)構(gòu)建隨機(jī)森林尋找目標(biāo)，相比傳統(tǒng)的分類方法更偏向判別式，可在訓(xùn)練階段減少耗時(shí)，未來(lái)也會(huì)考慮在本文方法中引入該方法，相比其他幾種方法，本文方法取得了更好的耗時(shí)。文獻(xiàn)[7]方法通常需要提前限定面部表情才能取得較好的檢測(cè)結(jié)果，故檢測(cè)率、分類率低于上述所有比較方法。在提高檢測(cè)率和分類的情況下，仍然能保持較低的耗時(shí)，表明了本文方法的優(yōu)越性。

5 結(jié)束語(yǔ)

本文提出了一種基于高斯混合模型的視頻情感場(chǎng)景檢測(cè)方法，通過(guò)引入無(wú)監(jiān)督的方式，構(gòu)建一個(gè)面部表情模型，在沒(méi)有訓(xùn)練數(shù)據(jù)和面部表情預(yù)定義的情況下可以檢測(cè)出不同的情感場(chǎng)景。此外，本文方法由于簡(jiǎn)單的面部特征和低計(jì)算量的現(xiàn)場(chǎng)檢測(cè)算法顯得非常有效。實(shí)驗(yàn)結(jié)果表明，相比其他幾種較新的檢測(cè)方法，本文方法取得了更高的檢測(cè)率和分類率，同時(shí)僅需很少的總耗時(shí)。

未來(lái)會(huì)將本文方法與其他新穎技術(shù)相結(jié)合，并使用更多的生活記錄視頻數(shù)據(jù)集、更多的受驗(yàn)者、更廣泛的面部表情評(píng)估本文方法。此外，由于情感場(chǎng)景檢測(cè)精度不夠，計(jì)劃通過(guò)改善面部特征值的質(zhì)量，提高面部表情識(shí)別模型的性能以提高檢測(cè)精度。

[1]LEEMW，KHANAM，KIMTS.Asingletri-axialaccelerometer-basedreal-timepersonallifelogsystemcapableofhumanactivityrecognitionandexerciseinformationgeneration[J].PersonalandUbiquitousComputing， 2011， 15(8)： 887-898.

[2]劉帥師， 田彥濤， 萬(wàn)川.基于Gabor多方向特征融合與分塊直方圖的人臉表情識(shí)別方法[J].自動(dòng)化學(xué)報(bào)， 2012， 37(12)： 1455-1463.

[3]李春芝， 陳曉華.白化散度差矩陣的獨(dú)立元分析應(yīng)用于表情識(shí)別[J].計(jì)算機(jī)應(yīng)用研究， 2011， 28(11)： 4361-4363.

[4]胡敏， 朱弘， 王曉華， 等.基于梯度Gabor直方圖特征的表情識(shí)別方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013， 25(12)： 1856-1861.

[5]TIANY，KANADET，COHNJF.Facialexpressionrecognition[M].London：Springer， 2011.

[6]VALSTARMF，MEHUM，JIANGB，etal.Meta-analysisofthefirstfacialexpressionrecognitionchallenge[J].IEEETrans.Systems，Man.，andCybernetics，PartB：Cybernetics，2012， 42(4)： 966-979.

[7]NOMIYAH，MORIKUNIA，HOCHINT.Emotionalvideoscenedetectionfromlifelogvideosusingfacialfeatureselection[C]//Proc.4thInternationalConferenceonAppliedHumanFactorsandErgonomics.[S.l.]：IEEEPress，2012： 8500-8509.

[8]袁少鋒， 王士同.基于多元混合高斯分布的多分類人臉識(shí)別方法[J].計(jì)算機(jī)應(yīng)用研究， 2013， 30(9)： 2868-2871.[9]梁榮華， 葉錢煒， 古輝， 等.特征點(diǎn)自動(dòng)標(biāo)定的顱面復(fù)原及其評(píng)估方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2013， 25(3)： 322-330.

[10]TANPY，IBRAHIMH，BHARGAVY，etal.Implementationofbandpassfilterforhomomorphicfilteringtechnique[J].InternationalJournalofComputerScience， 2013， 1(5)：1-6.

[11]DELFM，BOSZORMENYIL.State-of-the-artandfuturechallengesinvideoscenedetection：asurvey[J].MultimediaSystems， 2013， 19(5)： 427-454.[12]胡步發(fā)， 黃銀成， 陳炳興.基于層次分析法語(yǔ)義知識(shí)的人臉表情識(shí)別新方法[J].中國(guó)圖象圖形學(xué)報(bào)， 2011， 16(3)： 420-426.[13]周曉彥， 鄭文明， 辛明海.基于稀疏表示的KCCA方法及在表情識(shí)別中的應(yīng)用[J].模式識(shí)別與人工智能， 2013， 26(7)： 660-666.

[14]趙玥， 蘇劍波.一種用于人臉識(shí)別的矢量三角形局部特征模式[J].電子學(xué)報(bào)， 2013， 40(11)： 2309-2314.

[15]FANELLIG，YAOA，NOELPL，etal.Houghforest-basedfacialexpressionrecognitionfromvideosequences[M].Heidelberg：SpringerBerlin， 2012.

[16]KELLYP，DOHERTYA，BERRYE，etal.Canweusedigitallife-logimagestoinvestigateactiveandsedentarytravelbehaviour?resultsfromapilotstudy[J].InternationalJournalofBehavioralNutritionandPhysicalActivity， 2011， 8(1)： 44-57.

[17]FANGT，ZHAOX，OCEGUEDAO，etal.3D/4Dfacialexpressionanalysis：anadvancedannotatedfacemodelapproach[J].ImageandVisionComputing， 2012， 30(10)： 738-749.

齊興斌(1976— )，碩士，講師，主研視頻檢索、圖像處理；

趙 麗(1980— )，女，碩士，講師，主研視頻檢索、中文信息處理，本文通信作者；

李雪梅(1962— )，女，教授，主研多媒體、視頻處理等；

田 濤(1980— )，碩士，工程師，主研視頻檢索、機(jī)器學(xué)習(xí)等。

責(zé)任編輯：閆雯雯

Unsupervised ESD Method Based on GMM Clustering in Video Retrieval

QI Xingbin1, ZHAO Li2, LI Xuemei1, TIAN Tao3

(1.SchoolofComputer,ShanxiUniversity,Taiyuan030013,China; 2.SchoolofComputerScienceandTechnology,BeijingUniversityofAeronauticsandAstronautics,Beijing100083,China; 3.Collaborative&InnovationCenterforEducationInformationTechnology,BeijingNormalUniversity,Beijing100875,China)

For the purpose of an efficient retrieval of impressive scenes from videos, an emotional scene detection method based on Gaussian mixture model is proposed.Firstly, 42 feature points are selected from facial, and 10 features are defined.Then, Gaussian mixture model is used to divide video into multiple clusters.Finally, emotion scene is divided into single cluster by using facial expression classification results of each frame, and scene integrating and deleting is used to finish detecting.Experimental results on life record video and MMI face expression database show that the detecting and classification rate of proposed method can achieve 98% and 95% respectively.It takes only 0.138 seconds in detecting emotion scene video with five minutes.Proposed method has better performance than several advanced detecting methods.

video retrieval; emotional scene detection; facial expression recognition; unsupervised; Gaussian mixture model

國(guó)家自然科學(xué)基金項(xiàng)目(61202163)；山西省自然科學(xué)基金項(xiàng)目(2013011017-2)；山西省科技攻關(guān)項(xiàng)目(20130313015-1)

TP391

A

10.16280/j.videoe.2015.05.032

2014-07-05

【本文獻(xiàn)信息】齊興斌，趙麗，李雪梅，等.視頻檢索中基于GMM聚類的無(wú)監(jiān)督情感場(chǎng)景檢測(cè)[J].電視技術(shù),2015，39(5).