基于樹結(jié)構(gòu)分層隨機(jī)森林在非約束環(huán)境下的頭部姿態(tài)估計

劉袁緣陳靚影俞 侃覃 杰陳超原

①(文華學(xué)院 武漢 430074)

②(華中師范大學(xué)國家數(shù)字化學(xué)習(xí)工程研究中心 武漢 430079)

③(武漢華中數(shù)控股份有限公司紅外事業(yè)部 430074)

樹結(jié)構(gòu)分層隨機(jī)森林是在每一個分支層上有選擇性的級聯(lián)子森林。當(dāng)?shù)竭_(dá)下一分支層時，它需要做出判斷加載哪一顆子森林。因為在不同水平角度下豎直角度的估計投票仍滿足高斯模型分布，所以我們提出一個自適應(yīng)高斯混合模型來投票最終的頭部姿態(tài)。改進(jìn)公式C(P)得到：

基于樹結(jié)構(gòu)分層隨機(jī)森林在非約束環(huán)境下的頭部姿態(tài)估計

劉袁緣①②陳靚影*②俞 侃①覃 杰③陳超原①

①(文華學(xué)院 武漢 430074)

②(華中師范大學(xué)國家數(shù)字化學(xué)習(xí)工程研究中心 武漢 430079)

③(武漢華中數(shù)控股份有限公司紅外事業(yè)部 430074)

頭部姿態(tài)估計是人類行為和注意力的關(guān)鍵，受到光照、噪聲、身份、遮擋等許多因素的影響。為了提高非約束環(huán)境下的估計準(zhǔn)確率和魯棒性，該論文提出了樹結(jié)構(gòu)分層隨機(jī)森林在非約束環(huán)境下的多類頭部姿態(tài)估計。首先，為了消除不同環(huán)境的噪聲影響，提取人臉區(qū)域的組合紋理特征，對人臉區(qū)域進(jìn)行積極人臉子區(qū)域的分類，分類結(jié)果作為樹結(jié)構(gòu)分層隨機(jī)森林的先驗知識輸入；其次，提出了一種樹結(jié)構(gòu)分層隨機(jī)森林算法，分層估計多自由度下的頭部姿態(tài)；再次，為了增強(qiáng)算法的分類能力，使用自適應(yīng)高斯混合模型作為多層次子森林葉子節(jié)點的投票模型。在多個公共數(shù)據(jù)集上的多種非約束實驗環(huán)境下進(jìn)行頭部姿態(tài)估計，最終實驗結(jié)果表明所提算法在不同質(zhì)量的圖像上都有很好的估計準(zhǔn)確率和魯棒性。

頭部姿態(tài)估計；非約束環(huán)境；樹結(jié)構(gòu)分層隨機(jī)森林；人臉積極子區(qū)域先驗分類；自適應(yīng)高斯混合模型

1 引言

頭部姿態(tài)是研究人類行為和注意力的關(guān)鍵[1]。因此，在許多智能系統(tǒng)中非約束環(huán)境下的頭部姿態(tài)估計是檢測人類身份和行為的重要環(huán)節(jié)。但是非約束環(huán)境中的投影幾何形變、背景光照變化、前景遮擋問題和低分辨率等因素的影響，使得頭部姿態(tài)的多自由度估計一直是一個富有挑戰(zhàn)性的領(lǐng)域[2]。已有的一些頭部姿態(tài)估計方法根據(jù)特征選擇的不同，大致可以分為基于局部特征的方法和基于全局處理的方法。前者依賴于局部點特征的提取，后者則是對整個人臉區(qū)域進(jìn)行處理?；诰植刻卣鞯姆椒ㄍǔＯ忍崛∪四樀奶卣鼽c，如眼睛點、眉毛點以及嘴角等，它主要適用于高精度的系統(tǒng)和人臉的高分辨率圖像[3]。對于非約束的環(huán)境下，有很強(qiáng)的局限性。而基于全局的方法的優(yōu)勢是只需要處理整個人臉的圖像區(qū)域而不需要提取局部的點特征，適用于低質(zhì)量低分辨率的圖像估計?；谌值姆椒ㄖ饕怯脵C(jī)器學(xué)習(xí)和模式識別的算法，如模板匹配算法、多分類器陣列算法[4]、SVM[5]、隨機(jī)森林[6]、Adoboost等。

隨機(jī)森林[7]因為具有快速處理大數(shù)據(jù)的訓(xùn)練能力和高效的在線計算能力，成為近年來機(jī)器視覺中處理大數(shù)據(jù)量的熱門方法之一。最近，隨機(jī)森林已經(jīng)應(yīng)用于實時的2D頭部姿態(tài)的估計和分類[8]以及3D圖像的頭部姿態(tài)識別[9-11]。文獻(xiàn)[6]提出了條件隨機(jī)森林來檢測2D頭部姿態(tài)估計和人臉特征點。其在水平自由度的5個旋轉(zhuǎn)角度可達(dá)到識別率72.3%。文獻(xiàn)[4]使用組合回歸和分類隨機(jī)森林的算法，獲得了較好的估計效果。但是對環(huán)境的要求都有一定的限制性。為了在非約束環(huán)境下進(jìn)行多類頭部姿態(tài)的準(zhǔn)確估計，本文提出了樹結(jié)構(gòu)分層隨機(jī)森林算法，用于非約束環(huán)境下頭部姿態(tài)的多自由度的魯棒估計。

樹結(jié)構(gòu)的分層概率模型是文獻(xiàn)[12]提出的，已經(jīng)證明了它的高效率和高準(zhǔn)確率，許多文獻(xiàn)也已經(jīng)用它進(jìn)行多目標(biāo)跟蹤和情感計算。樹結(jié)構(gòu)的分層概率模型每一層節(jié)點概率是其上一層節(jié)點概率和分支選擇概率的結(jié)果，即每一個子層都收到其父層的影響。每次計算樹的概率時，只需要用相關(guān)分支上的節(jié)點概率，而不需要計算整棵樹所有節(jié)點的概率。因此引入樹結(jié)構(gòu)分層隨機(jī)森林具有更高的效率和準(zhǔn)確率。

本文的創(chuàng)新點如下：(1)積極人臉子區(qū)域的先驗分類可以消除不同環(huán)境下的噪聲影響；(2)一種樹結(jié)構(gòu)的多層隨機(jī)森林算法的提出，提高了非約束環(huán)境下多類頭部姿態(tài)估計的準(zhǔn)確率和效率；(3)自適應(yīng)高斯混合模型作為多層次子森林葉子節(jié)點的投票模型使得分類結(jié)果具有更強(qiáng)的魯棒性。

2 基于樹結(jié)構(gòu)分層隨機(jī)森林對頭部姿態(tài)的估計

為了更好地在非約束環(huán)境下對多自由度的頭部姿態(tài)進(jìn)行估計，本文提出了基于樹結(jié)構(gòu)分層隨機(jī)森林的多層估計算法。算法如圖1所示，分為3個階段。第1階段，為了消除非約束復(fù)雜背景的干擾，我們提取了人臉積極的子區(qū)域塊作為分層隨機(jī)森林的先驗輸入；第2個階段本文提出樹結(jié)構(gòu)分層隨機(jī)森林來估計水平頭部姿態(tài)，級聯(lián)分布的兩個子層次為S-1和S-2；第3個階段在水平頭部姿態(tài)估計結(jié)果的條件下進(jìn)行豎直方向的頭部姿態(tài)估計，其中級聯(lián)分布的兩個子層為S-3和S-4。最終在S-4子層得到25對頭部姿態(tài)的估計結(jié)果。

2.1 人臉子區(qū)域的先驗分類

對于頭部姿態(tài)估計有兩個難點，一個是正確提取人臉區(qū)域，一個是非約束背景的影響。在非約束背景中提取人臉的前景目標(biāo)區(qū)域，首先要去除背景信息的干擾，包括頭發(fā)、遮擋、背景、光照等。因此，我們將人臉子區(qū)域分為兩個子區(qū)域：人臉積極子區(qū)域和干擾子區(qū)域。人臉積極子區(qū)域是去除噪聲的區(qū)域，對頭部姿態(tài)的估計有積極的影響，反之為干擾區(qū)域，如圖2所示，并將分類結(jié)果作為頭部姿態(tài)估計的先驗知識。

為了去除干擾子區(qū)域塊對頭部姿態(tài)的影響，我們用Haar特征檢測到的人臉區(qū)域進(jìn)行人臉積極子區(qū)域塊的先驗分類。如圖3所示。首先，對人臉區(qū)域隨機(jī)提取200個子區(qū)域塊，并提取每個子區(qū)域塊的Gabor特征符。然后，我們用分類隨機(jī)森林[4]離線訓(xùn)練人臉積極子區(qū)域和干擾子區(qū)域類，并用1和0 分別進(jìn)行標(biāo)注。分類隨機(jī)森林的計算過程是每顆決策樹迭代的過程， 森林中的每一棵樹T都是由標(biāo)注好的隨機(jī)提取的數(shù)據(jù)集訓(xùn)練生成。當(dāng)測試數(shù)據(jù)P通過樹的根節(jié)點到達(dá)其葉子節(jié)點時，存儲在葉子結(jié)點的概率密度p(c=k|lt(P))將判斷測試數(shù)據(jù)P的類別信息。對于每個葉子結(jié)點的子區(qū)域塊的分類概率直接作為頭部姿態(tài)估計的先驗輸入，僅僅對分類結(jié)果為1的人臉積極子區(qū)域塊進(jìn)行頭部姿態(tài)的估計。

2.2 樹結(jié)構(gòu)分層隨機(jī)森林的訓(xùn)練

圖1 基于樹結(jié)構(gòu)分層隨機(jī)森林的頭部姿態(tài)估計算法流程圖

圖2 人臉積極子區(qū)域和背景干擾子區(qū)域

圖3 人臉積極子區(qū)域的先驗分類

圖4 樹結(jié)構(gòu)分布的多層概率模型

樹結(jié)構(gòu)是一種級聯(lián)式的多層概率分布模型，它的當(dāng)前葉子節(jié)點概率[p1,…,pi]是它上一層節(jié)點概率的[a1,a2,…,ak]在其相關(guān)分支bji上的結(jié)果[9]。圖4中，i 表示葉子節(jié)點的序號，k 是它上一層節(jié)點的序號，j表示該分支號?？梢娫跇浣Y(jié)構(gòu)分布的概率模型中，每一個子層只與它的父層有關(guān)。因此，樹結(jié)構(gòu)分布的多層概率模型中，只需要計算子層中當(dāng)前子樹的概率模型和它父層的先驗概率模型，而不需要計算隨機(jī)森林中所有樹的概率模型。所以，樹結(jié)構(gòu)的分層概率模型可以提供更好的準(zhǔn)確率和效率。

為了構(gòu)建樹結(jié)構(gòu)分層隨機(jī)森林來估計多自由度的頭部姿態(tài)，我們需要：

(4)定義存儲在葉子結(jié)點的自適應(yīng)投票模型。

級連標(biāo)注 訓(xùn)練的過程是監(jiān)督的，森林中每一棵樹T的建立都是在不同的數(shù)據(jù)集中隨機(jī)訓(xùn)練而成T={Tt}。對每一張人臉圖像，我們隨機(jī)提取人臉子區(qū)域塊集的組合特征：。其中，表示Gabor特征，它的空間維度是35×31×31。為原始的灰度值，它的空間維度是31×31。ci表示頭部姿態(tài)類的標(biāo)注：

(2)定義二進(jìn)制測試φ；

(3)定義級聯(lián)式樹結(jié)構(gòu)隨機(jī)森林的測度

二進(jìn)制測試 二進(jìn)制測試是在子集中不斷地逼近類標(biāo)注不確定性純度的過程，最終將訓(xùn)練集分裂成2個子集。隨機(jī)樹的生長就是一個由二進(jìn)制測試創(chuàng)建子節(jié)點的迭代過程。我們定義二進(jìn)制測試φ為

其中，R1,R2是人臉子區(qū)域中的兩個隨機(jī)選取的矩形子塊，If(j)是上一部分定義好的特征通道，τ是閾值。開始測試，當(dāng)測試結(jié)果大于τ時，生成右子節(jié)點，反之生成左子節(jié)點。

樹狀條件測度H(P|aj) 在這部分，測度H(P|aj)定義為連續(xù)子區(qū)域的熵。

其中p(ci|aj,Pn)表示人臉子區(qū)域塊 Pn在分層隨機(jī)森林的第 j 層第aj子森林中屬于頭部姿態(tài)類ci的概率，|P|是頭部姿態(tài)類為ci的人臉子區(qū)域塊的數(shù)量。選擇最佳分裂申請，它可以使得信息增益(IG)估計函數(shù)最大wL, wR是數(shù)據(jù)集 PL(通過上述二進(jìn)制測試到達(dá)左子集的數(shù)量)PR(通過上述二進(jìn)制測試到達(dá)右子集的數(shù)量)的樣本數(shù)量和總數(shù)據(jù)集 P 的比率。

葉子 如果信息增益(IG)低于預(yù)先設(shè)定的閾值或者樹的最大深度達(dá)到時，生產(chǎn)一個葉子節(jié)點。在每一個葉子結(jié)點中，包括了頭部姿態(tài)的分類概率和連續(xù)頭部姿態(tài)分布參數(shù)，其滿足一個高斯概率分布模型。

當(dāng)一個子區(qū)域塊到達(dá)子森林的葉子節(jié)點時，我們用類決策模型C(P)加載下一個子森林樹。

其中，p(ci|aj,P)是森林中的第 j 層中子森林 aj的條件下的估計概率，它由下一節(jié)所述的自適應(yīng)高斯混合模型計算得到。最終的頭部姿態(tài)由自適應(yīng)混合高斯模型進(jìn)行投票分類。

自適應(yīng)高斯混合模型 存儲在葉子的概率p(c=k|P)具有判斷測試子區(qū)域塊屬于頭部姿態(tài)類k的信息。隨機(jī)森林的葉子結(jié)點l存儲符合多項式高斯分布。

樹結(jié)構(gòu)分層隨機(jī)森林是在每一個分支層上有選擇性的級聯(lián)子森林。當(dāng)?shù)竭_(dá)下一分支層時，它需要做出判斷加載哪一顆子森林。因為在不同水平角度下豎直角度的估計投票仍滿足高斯模型分布，所以我們提出一個自適應(yīng)高斯混合模型來投票最終的頭部姿態(tài)。改進(jìn)公式C(P)得到：

i是樹結(jié)構(gòu)分層隨機(jī)森林的子分支，j是分支i的子節(jié)點，k是子區(qū)域塊達(dá)到的葉子結(jié)點中存儲的標(biāo)注姿態(tài)。

2.3 基于樹結(jié)構(gòu)分層隨機(jī)森林的水平頭部姿態(tài)估計

由于水平自由度旋轉(zhuǎn)包含更多的頭部姿態(tài)信息，如眼睛、鼻尖和嘴角的信息，因此我們將其作為樹結(jié)構(gòu)分層隨機(jī)森林估計頭部姿態(tài)的第1層和第2層，如圖5所示。如2.2節(jié)訓(xùn)練樹結(jié)構(gòu)分層隨機(jī)森林的子森林。首先，量化訓(xùn)練數(shù)據(jù)在水平子層S-1和S-2的相關(guān)頭部姿態(tài)子集“左”，“正面”，“右”和“正左”，“左中”，“正面”，“右中”，“正右”，并分別用標(biāo)注“-1, 0, 1”和“-2, -1, 0, 1, 2”代替真實的頭部姿態(tài)旋轉(zhuǎn)角度-90°～90°。然后將估計結(jié)果(水平旋轉(zhuǎn)角度)a 作為豎直估計的父層概率模型 p(ci| a)。

2.4 基于樹結(jié)構(gòu)分層隨機(jī)森林的豎直頭部姿態(tài)估計

圖5 水平方向的分層頭部姿態(tài)估計

樹結(jié)構(gòu)分層隨機(jī)森林級聯(lián)第3層S-3和第4層S-4，在水平自由度的估計條件下進(jìn)行豎直自由度的頭部姿態(tài)估計。由于缺少更多的人臉信息，豎直自由度估計是頭部姿態(tài)估計領(lǐng)域的一個難點。文獻(xiàn)[8]用隨機(jī)森林同時訓(xùn)練和測試水平和豎直自由度的頭部姿態(tài)。本文則提出了一個樹結(jié)構(gòu)分層隨機(jī)森林方法來分層估計水平和豎直多自由度的頭部姿態(tài)。我們將水平自由度的估計結(jié)果作為豎直自由度的估計條件輸入，然后對每一個分支樹進(jìn)行3類豎直頭部姿態(tài)估計，最后對左子類和右子類再次進(jìn)行細(xì)化估計角度，最終估計出5類豎直頭部姿態(tài)。級聯(lián)細(xì)化算法的流程結(jié)構(gòu)如圖6所示。其中a 為水平方向的估計結(jié)果，級聯(lián)分支估計為豎直估計中3類角度的粗糙估計結(jié)果，最終細(xì)化估計為豎直估計中的最終細(xì)化估計結(jié)果。由于2.3節(jié)中水平估計的結(jié)果為5類水平旋轉(zhuǎn)角度，因此圖6由5棵相同的獨立子森林構(gòu)成。在這個階段，我們最終可以檢測25個離散的頭部運動角度，檢測結(jié)果表示為 {90°,90°}, {90°,45°},…,{0°,0°},…,{-45°,-90°},{-90°,-90°}。

圖6 豎直方向的分層頭部姿態(tài)估計

3 樹結(jié)構(gòu)分層隨機(jī)森林的多層概率模型

隨機(jī)森林的目標(biāo)是通過葉子結(jié)點構(gòu)建人臉子區(qū)域塊P的類概率估計p(ci|P)[6]， 樹結(jié)構(gòu)分層隨機(jī)森林模型的目標(biāo)則是構(gòu)建樹結(jié)構(gòu)分層的先驗條件概率估計p(ci|α,P)，本文改進(jìn)隨機(jī)森林的概率模型為

式中，α是上一層估計的概率結(jié)果。

為了學(xué)習(xí)p(ci,α|P)，訓(xùn)練集α被分裂為不相交的離散子集aj。因此，式(6)可改寫為

先驗概率p(ci|aj,p)可以在每一個訓(xùn)練子集aj中用改層的子隨機(jī)森林T(aj)學(xué)習(xí)得到。同樣地，概率p(α|P)可以在所有的訓(xùn)練集a上用隨機(jī)森林學(xué)習(xí)得到。最終，得到不同分支上的多層概率模型為

其中l(wèi)t,aj表示子區(qū)域塊P在樹 Tt∈T(aj)中到達(dá)的葉子結(jié)點。離散值kj由∑jkj=Tt和式(12)計算得到。

4 實驗

為了測試在非約束環(huán)境下的估計結(jié)果，我們在Pointing’04頭部姿態(tài)數(shù)據(jù)庫[13]，LFW數(shù)據(jù)庫[14]以及實驗室實時采集的數(shù)據(jù)集上測試本文的方法。Pointing’04頭部姿態(tài)數(shù)據(jù)庫是包括15個人的兩種不同表情的頭部姿態(tài)數(shù)據(jù)庫，共有2790張圖片。LFW數(shù)據(jù)庫包含5749個不同個體的人臉圖片，這些圖片都是自然狀態(tài)下收集的，包括不同的姿態(tài)、光照、分辨率、質(zhì)量、表情、性別、種族等。我們實驗室的實時數(shù)據(jù)集收集了20個不同人的不同姿態(tài)、表情、遮擋的圖片，其中包括10個男性，10個女性，每個人包括25個頭部姿態(tài)，總共500張圖片。本文數(shù)據(jù)集的標(biāo)注方法參考LFW數(shù)據(jù)庫[14]的標(biāo)注方法。實驗過程中，數(shù)據(jù)集被分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集。訓(xùn)練集采用Pointing’04數(shù)據(jù)庫中的2100張圖片，LFW中12000張圖片以及實驗室數(shù)據(jù)庫的300張圖片。測試集包括Pointing’04數(shù)據(jù)庫中剩余的690張圖片，LFW數(shù)據(jù)庫的1500張圖片和實驗室采集的實時數(shù)據(jù)庫的200張圖片。所有圖片都是在包括遮擋、低分辨率、性別、背景干擾、種族等非約束的環(huán)境中采集的，估計結(jié)果如圖7所示。第1行為加入噪聲遮擋的Pointing’04頭部姿態(tài)數(shù)據(jù)庫的估計結(jié)果，第2行為自然環(huán)境下實驗室數(shù)據(jù)集的估計結(jié)果，第3行為LFW數(shù)據(jù)庫的估計結(jié)果。估計結(jié)果實時地顯示在圖片中，實驗結(jié)果表明本文方法對于非約束環(huán)境下具有更好的魯棒性。

4.1 訓(xùn)練

圖7 本文方法在非約束環(huán)境下的估計結(jié)果

圖8 樹的數(shù)量、最大深度、分裂次數(shù)對估計結(jié)果的誤差分析

為了訓(xùn)練，需要對隨機(jī)森林的一些預(yù)設(shè)參數(shù)進(jìn)行分析。圖8描述了樹的數(shù)量、最大深度和分裂次數(shù)對估計結(jié)果的誤差分析曲線。估計誤差隨著樹數(shù)量的增加，樹的最大深度增加以及分裂次數(shù)的增加而減少，當(dāng)參數(shù)值增加到一定程度，對誤差估計率的影響很小。因此，本文選擇樹的最大深度為15，每一個節(jié)點的隨機(jī)分裂次數(shù)是2000，分裂閾值為25，人臉大小歸一化為125125×，人臉子區(qū)域塊大小為3030×。訓(xùn)練時，首先以分層結(jié)構(gòu)的方式從所有的數(shù)據(jù)集中選擇子集，每186張圖片組成一個子集訓(xùn)練成一棵樹。樹結(jié)構(gòu)分層森林包括4層，第1層水平自由度有15顆隨機(jī)樹，第2層水平自由度有10顆隨機(jī)樹，第3層豎直自由度有15課隨機(jī)樹，最后一層豎直自由度有25顆隨機(jī)樹。且每一層的訓(xùn)練都是上一層條件分支的結(jié)果。

4.2 測試

測試數(shù)據(jù)集包括Pointing’04頭部姿態(tài)數(shù)據(jù)庫中沒有用于訓(xùn)練的840張圖片，1500張LFW數(shù)據(jù)庫圖片，以及200實驗室數(shù)據(jù)集。測試參數(shù)選擇包括隨機(jī)森林的參數(shù)(與訓(xùn)練保持一致)、子森林的樹分支數(shù)，自適應(yīng)高斯混合模型參數(shù)。由于圖像Gabor特征包含了方向信息，對于光照和旋轉(zhuǎn)具有很好的魯棒性。我們從測試圖片中稠密提取200個人臉積極子區(qū)域，并提取子區(qū)域的Gabor特征進(jìn)行測試。

由于樹結(jié)構(gòu)分層隨機(jī)森林實際上是將隨機(jī)森林以樹狀結(jié)構(gòu)條件模型進(jìn)行重新分布，因此它具有更高的搜索決策效率和準(zhǔn)確率。為了比較本文方法與隨機(jī)森林的估計能力，圖9描述了隨機(jī)森林進(jìn)行頭部姿態(tài)估計的所有的估計概率投票分布，圖10～圖12描述了本文方法對頭部姿態(tài)的估計概率分布。如圖所示，隨機(jī)森林的概率分布在不同的姿態(tài)類上有高度的重合，而本文方法在最終的概率分布上基本沒有重合。可見，本文方法提高了時間和空間資源的利用率，同時消除了水平自由度旋轉(zhuǎn)和豎直自由度旋轉(zhuǎn)的干擾，具有更強(qiáng)的區(qū)分力和分類能力。

4.3 估計準(zhǔn)確率比較和分析

為了更好地比較樹結(jié)構(gòu)分層隨機(jī)森林和隨機(jī)森林算法，兩個算法的測試過程選擇相同的測試圖片，相同的特征參數(shù)。實驗結(jié)果如表1所示，其中列D描述樹結(jié)構(gòu)分層隨機(jī)森林算法的估計準(zhǔn)確率，列R描述隨機(jī)算法的估計準(zhǔn)確率。每個方格均為離散的不重復(fù)的45°×45°區(qū)域。樹結(jié)構(gòu)分層隨機(jī)森林算法的平均準(zhǔn)確率可以達(dá)到71.83%，而隨機(jī)森林只能達(dá)到62.23%。

4.4 樹結(jié)構(gòu)分層隨機(jī)森林的級聯(lián)層數(shù)分析

圖9 隨機(jī)森林不同姿態(tài)類上的估計概率投票分布

圖10 樹結(jié)構(gòu)分層隨機(jī)森林在水平方向上的估計概率投票分布

圖11 樹結(jié)構(gòu)分層隨機(jī)森林的豎直自由度下的估計概率投票分布

圖12 樹結(jié)構(gòu)分層隨機(jī)森林的最終概率投票分布

表1 隨機(jī)森林(R)和本文算法(D)的估計準(zhǔn)確率(%)

圖13 樹結(jié)構(gòu)分層隨機(jī)森林的估計準(zhǔn)確率與級聯(lián)子樹層的關(guān)系

圖13顯示估計準(zhǔn)確率與級聯(lián)層數(shù)的關(guān)系，S-0表示為1層樹分布的25類頭部姿態(tài)估計準(zhǔn)確率為62.23%, S-2為2層樹分布的估計準(zhǔn)確率上升為67.72%, S-3為增加3層樹分布后得到的25類頭部姿態(tài)估計準(zhǔn)確率上升為70.11%, S-4為增加4層數(shù)分布的25類估計準(zhǔn)確率提高到71.38%。

4.5 估計準(zhǔn)確率

表2給出了一些不同分類算法的比較實驗結(jié)果。結(jié)果顯示本文分層算法對兩個自由度下的25類頭部姿態(tài)估計有最佳的估計效果。

表2 不同算法的準(zhǔn)確率比較

4.6 實時性比較

所有的實驗都是基于硬件PC Intel(R)Core (TM) i5-2400 CPU@ 3.10 GHz, 32 bit的系統(tǒng)，軟件為Microsoft Visual Studio2010++平臺。隨機(jī)選擇數(shù)據(jù)庫中的200張圖片，計算它們的平均運行時間。表3描述了本文算法和最新算法的平均運行時間μ的比較。本文算法的運行時間最短。

表3 本文算法與隨機(jī)森林算法的運行時間比較(s)

5 結(jié)束語

本文提出了一種能提高魯棒性和準(zhǔn)確性的頭部姿態(tài)估計方法，對于非約束環(huán)境下的兩個自由度旋轉(zhuǎn)的多類頭部姿態(tài)估計有較好的效果。首先，為了消除不同環(huán)境的噪聲影響，我們提取人臉區(qū)域的組合紋理特征，對人臉區(qū)域進(jìn)行積極人臉子區(qū)域的分類，分類結(jié)果作為樹結(jié)構(gòu)分層隨機(jī)森林的先驗知識輸入；第二，提出了一種樹結(jié)構(gòu)分層隨機(jī)森林算法，分層估計多自由度下的頭部姿態(tài)；第三，為了增強(qiáng)算法的分類能力，本文使用自適應(yīng)高斯混合模型作為多層次子森林葉子節(jié)點的投票模型。最后3個不同數(shù)據(jù)集上的測試實驗表明本文方法比現(xiàn)有的先進(jìn)算法具有更好的估計準(zhǔn)確率和實時性。下一步我們將針對大場景下的多人頭部姿態(tài)估計，建立估計模型，對于頭發(fā)和眼睛的遮擋建立更加魯棒的特征模型。

[1] Zhang M, Li K, and Liu Y. Head pose estimation from low-resolution image with Hough forest[C]. 2010 IEEE Chinese Conference on Pattern Recognition (CCPR), Chongqing, China, 2010: 1-5.

[2] Cai Q, Sankaranarayanan A, Zhang Q, et al.. Real time head pose tracking from multiple cameras with a generic model[C]. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), San Francisco, CA, 2010: 25-32.

[3] Martinovi A, Mathias M, Weissenberg J, et al.. A Threelayered Approach to Facade Parsing[M]. Computer Vision-ECCV 2012, Springer Berlin Heidelberg, Florence, Italy, 2012: 416-429.

[4] Guo G, Fu Y, Dyer C R, et al.. Head pose estimation: Classification or regression?[C]. 19th IEEE International Conference on Pattern Recognition, Tampa, FL, USA, 2008: 1-4.

[5] Murphy-Chutorian E and Trivedi M M. Head pose estimation in computer vision: a survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(4): 607-626.

[6] Dantone M, Gall J, Fanelli G, et al.. Real-time facial feature detection using conditional regression forests[C]. 25th IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Providence, Rhode Island, 2012: 2578-2585.

[7] Breiman L. Random forests[J]. Machine Learning, 2001, 45(1): 5-32.

[8] Huang C, Ding X, and Fang C. Head pose estimation based on random forests for multiclass classification[C]. 20th IEEE International Conference on Pattern Recognition (ICPR), Istanbul, Turkey, 2010: 934-937.

[9] Fanelli G, Gall J, and Van Gool L. Real time head pose estimation with random regression forests[C]. 24th IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Colorado Springs, 2011: 617-624.

[10] Fanelli G, Weise T, Gall J, et al.. Real Time Head PoseEstimation from Consumer Depth Cameras[M]. England, Pattern Recognition, Springer Berlin Heidelberg, 2011: 101-110.

[11] Li Y, Wang S, and Ding X. Person-independent head pose estimation based on random forest regression[C]. 17th IEEE International Conference on Image Processing (ICIP), Hong Kong, China, 2010: 1521-1524.

[12] Minka T. The dirichlet-tree distribution[OL]. http://www. stat. cmu. edu/minka/papers/dirichlet/minka-dirtree. pdf, 1999.

[13] Gourier N, Hall D, and Crowley J L. Estimating face orientation from robust detection of salient facial structures[C]. FG Net Workshop on Visual Observation of Deictic Gestures, Cambridge, UK: FGnet (IST–2000–26434), 2004: 1-9.

[14] Huang G B, Mattar M, Berg T, et al.. Labeled faces in the wild: a database forstudying face recognition in unconstrained environments[C]. Workshop on Faces in ‘Real-Life’ Images: Detection, Alignment, and Recognition, Marseille, France, 2008: 1-14.

[15] Yang H and Patras I. Privileged information-based conditional regression forest for facial feature detection[C]. 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG), Shanghai, China, 2013: 1-6.

[16] Ba S O and Odobez J M. Multiperson visual focus of attention from head pose and meeting contextual cues[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(1): 101-116.

劉袁緣： 女，1984年生，碩士，講師，研究方向為計算機(jī)視覺與模式識別、圖像處理.

陳靚影： 女，1973年生，博士，教授，研究方向為計算機(jī)視覺與模式識別、圖像處理.

俞 侃： 男，1978年生，博士，副教授，研究方向為光學(xué)圖像處理.

Head Pose Estimation Based on Tree-structure Cascaded Random Forests in Unconstrained Environment

Liu Yuan-yuan①②Chen Jing-ying②Yu Kan①Q(mào)in Jie③Chen Chao-yuan①①(Wenhua College, Wuhan 430074, China)
②(National Engineering Research Center for E-Learning, Central China Normal University, Wuhan 430079, China)
③(Wuhan Huazhong Numerical Control Co., Ltd, Wuhan 430074, China)

Head pose estimation is an important evaluating indicator of human attention, which depends on many factors, such as illumination, noise, identification, occlusion and so on. In order to enhance estimation efficiency and accuracy, this paper presents tree-structure cascaded random forests to estimate head pose in different quality images. First, in order to eliminate the influence of different environment noise, combined texture features in random forests for positive facial patch classification are extracted, which will be the privileged inputs to estimate head pose. Second, a coarse-to-fine approach is proposed to estimate head pose both in the yaw and pitch, which is called tree-structure cascaded random forests. Third, an adaptive Gaussian mixture model is used to enhance discriminate vote energy in the tree distribution. This framework is evaluated in unconstrained environmental datasets. The experiments show that the proposed approach has a remarkable and robust performance in different quality images.

Head pose estimation; Unconstrained environment; Tree-structure cascaded random forests; Positive facial patch privileged classification; Adaptive Gaussian mixture model

TP391.4

A

1009-5896(2015)03-0543-09

10.11999/JEIT140433

2014-04-13收到，2014-07-25改回

國家自然科學(xué)青年基金(61205062)，湖北省自然科學(xué)基金(2012FFB 02701)和華中科技大學(xué)文華學(xué)院青年基金(J0200540102)資助課題

*通信作者：陳靚影 chenjy@mail.ccnu.edu.cn