動態(tài)時間規(guī)整優(yōu)化局部分塊匹配的人臉識別

徐屹

湖南工業(yè)職業(yè)技術(shù)學(xué)院信息工程系，長沙 410208

動態(tài)時間規(guī)整優(yōu)化局部分塊匹配的人臉識別

徐屹

湖南工業(yè)職業(yè)技術(shù)學(xué)院信息工程系，長沙 410208

針對現(xiàn)實人臉識別中姿勢、光照、表情變化及遮擋等嚴(yán)重影響識別性能的問題，提出了一種基于動態(tài)時間規(guī)整優(yōu)化局部分塊匹配的戶外人臉識別算法。將人臉圖像劃分成若干大小相等且互不重疊的局部小塊；借助于光柵掃描順序?qū)⒏鱾€小塊按照前額、眼睛、鼻子、嘴巴和下巴的順序連接成一個單一序列；計算查詢?nèi)四樑c注冊人臉之間圖像到類的距離，利用動態(tài)時間規(guī)整的設(shè)計思想尋找查詢序列與所有注冊序列之間的最佳對齊方式。在三個公開人臉數(shù)據(jù)庫LFW、AR及YouTube上的實驗驗證了該方法的有效性及可靠性，實驗結(jié)果表明，相比其他幾種較為先進的人臉識別方法，該方法取得了更高的識別率，此外，該方法無需任何訓(xùn)練過程，計算成本低。

人臉識別；動態(tài)時間規(guī)整；局部分塊匹配；查詢?nèi)四?；探針圖像

近年來，非約束條件下的人臉識別（FR）[1]引起了學(xué)者們廣泛的興趣，許多人臉識別方法在處理約束條件人臉識別時取得了很好的識別效果，然而，由于姿勢、光照、表情變化或遮擋常有發(fā)生，這種非限制條件人臉識別已成為一項更具挑戰(zhàn)的任務(wù)[2]。

戶外標(biāo)記人臉（Labeled Face of Wild，LFW）數(shù)據(jù)集[3]公開后，學(xué)者們提出了一些新的用于提高非限制條件下人臉識別性能的方法，例如，文獻[4]提出利用三塊局部二值模式（Local Binary Pattern，LBP）和四塊LBP特征對中心像素周圍的相鄰圖像塊之間的相似性進行編碼，從而采集到互補于LBP特征的信息，文獻[5]將每個人臉圖像描述成可視化的多區(qū)域概率直方圖，有效地改進了光照變化人臉識別問題。為了解決光照、表情、姿態(tài)變化人臉識別問題，文獻[6]提出使用無監(jiān)督學(xué)習(xí)方法對每個人臉圖像的微觀結(jié)構(gòu)進行編碼。針對在劇烈光照變化情況下無法獲得足夠的特征描述信息的問題，基于梯度幅值自相似性，文獻[7]提出了稱為梯度邊緣幅值模式（Pattern of Edge Gradient，POEM）的判別性特征描述符，取得了很好的識別效果，但是，一定程度上增加了計算開銷。為了更好地改善姿態(tài)、表情變化對識別的影響，文獻[8]采用了生物激發(fā)視覺表示，文獻[9]提出使用屬性和相似分類器輸出作為人臉識別的中層特征，文獻[10]使用最接近給定查詢圖像的秩作為這個查詢圖像的描述符。文獻[11]提出了基于距離的邏輯判別和基于距離的最近鄰度量方法，文獻[12]提出了余弦相似性度量學(xué)習(xí)方法，最近，文獻[13]提出了“關(guān)聯(lián)預(yù)測”模型，利用帶有較大個人內(nèi)部變化的附加通用數(shù)據(jù)集來測量兩幅圖像之間的相似性，緩解了場景變化對識別效果的影響。上述各方法均取得了良好的識別效果，但是，當(dāng)應(yīng)用于帶有較大的姿勢、光照、表情及場景變化的戶外人臉識別中時，各方法并不能取得令人滿意的結(jié)果[14]。

基于上述分析，為了更好地解決帶有光照、表情、姿態(tài)變化及面部遮擋的人臉識別問題，提出了一種基于動態(tài)時間規(guī)整（DTW）[15]的局部分塊匹配人臉識別方法。首先將圖像劃分成子塊，然后以光柵掃描順序重新形成一個序列，在這種方式下，人臉由包含臉部特征順序信息的塊序列表示，本文方法計算查詢?nèi)四樅妥匀四樦g圖像到類的距離，尋找查詢序列和所有注冊序列之間的最佳對齊方式。實驗結(jié)果驗證了本文方法的有效性及可靠性。該研究為FR應(yīng)用提供了一種有效的候選方法，所提模型與現(xiàn)實世界FR應(yīng)用的各種圖像描述符和特征提取方法均兼容。

1 方法提出

1.1 圖像表示

將圖像劃分成M個不重疊子塊，大小為d像素× d′像素，然后依光柵掃描順序重新將這些子塊聯(lián)接成一個單一序列。人臉由前額、眼睛、鼻子、嘴巴和下巴這樣的自然順序組成，盡管有遮擋和不精確注冊，這個順序是不變的。人臉圖像以塊序列表示，其中塊位置順序（即人臉特征的順序）可作為時間信息，因此，處理FR問題可以使用時間序列分析技術(shù)。

Fi表示第i塊，通過相鄰兩個塊對應(yīng)像素的值相減計算差異塊▽Fi，即

其中，(x，y)是一個像素點的坐標(biāo)。

這些由空間連續(xù)塊產(chǎn)生的差異塊能增強人臉序列內(nèi)的順序信息，這與所提模型是兼容的。此外，從宏觀角度來講，當(dāng)每個塊的大小非常小時，每個塊就是一個像素點，差異塊▽Fi實際上可以認(rèn)為是相鄰像素Fi+1與Fi的近似一階導(dǎo)數(shù)，因為一階導(dǎo)數(shù)操作對邊緣敏感，如眼睛、鼻子、嘴巴這些能夠表示詳細紋理區(qū)域的顯著臉部特征就會增強。圖1所示為本文方法的圖像表示框架。本文方法將差異塊的灰度值作為特征，相比使用原始塊，相同類的距離分布和不同類的距離分布分離更大。

1.2 動態(tài)圖像類規(guī)整

圖1 本文方法的圖像表示

通過定義序列之間的距離度量來實現(xiàn)人臉匹配，通常，如果兩個序列彼此類似，則期望更小的距離。使用DTW計算兩個時間序列之間的距離，例如，對于兩個序列A=(3，1，10，5，6)和B=(3，2，1，10，5)，它們之間的歐氏距離是，對于這兩個近似序列來說這個值有些大，然而，如果忽略B中的“2”，用A中“1，10，5”匹配B中“1，10，5”，不使用按位匹配，A和B之間的距離會大幅減小。DTW基于這個思想計算兩個序列之間的距離，以最小的整體成本尋找它們之間的最優(yōu)對齊方式。匹配期間要考慮順序信息，因此，不允許有交叉匹配（如A中的“3”匹配B中的“2”，而A中的“1”匹配B中的“3”）。對于FR，這非常合理，因為臉部特征的順序不能逆轉(zhuǎn)。

借助于DTW的設(shè)計思想，本文方法試圖找到人臉序列之間的最佳對齊方式，降低遮擋塊的影響，將兩個序列之間的對齊方式擴展成一個序列和給定類序列集之間的對齊方式。包含M個塊的探針圖像表示為P={p1，…，pm，…，pM}，其中，pm是前文提到的差異塊，包含K幅圖像的給定類的圖庫集表示為G={G1，…，Gk，…，GK}，其中，每個Gk={gk1，…，gkn，…，gkN}是包含N個塊的一幅圖庫圖像，gkn指的是類似pm的塊向量。DTW和本文方法的對齊方式如圖2所示，規(guī)整在兩個方向上執(zhí)行：（1）按照時間維度（維持順序信息）將探針序列P對齊到給定類的圖庫序列集G；（2）在每個時間步P的每個塊沿著類內(nèi)維度匹配到所有圖庫序列中最相似的塊。其中，箭頭指示每個塊的對齊方式，虛線標(biāo)記了圖像和圖庫圖像集之間的最佳規(guī)整路徑。

圖2 DTW（左）和本文方法（右）的對齊方式說明

規(guī)整路徑W表示的是T個時間步的P和G之間的對齊方式，定義為W={w1，w2，…，wT}。第t個元素wt是一個索引三元組{mt，nt，kt}，表示的是塊pmt匹配到塊gktnt，其中，mt∈{1，2，…，M}，nt∈{1，2，…，N}，kt∈{1，2，…，K}?？紤]到FR的內(nèi)容，W滿足下列4個約束：

邊界約束：m1=1，n1=1，mT=M，nT=N。路徑起始于匹配p1到gk11，以匹配pM到gkTN結(jié)束，從1到T，k可以是1到K之間的任意值，因為探針塊可與圖庫中任意K幅圖像的塊匹配。

連續(xù)性約束：mt-mt-1≤1，nt-nt-1≤1，每執(zhí)行一步路徑的索引增加1，探針和圖庫圖像中的所有塊都會處理到。

單調(diào)性約束：mt-1≤mt，nt-1≤nt，路徑保存時間順序，且單調(diào)增加。

窗口約束：|mt-nt|≤l，其中，l∈N+是窗口長度，探針塊不應(yīng)該與距離太遠的塊匹配（如眼睛不能匹配到嘴），長度為l的窗口能限制規(guī)整路徑在一個合適的范圍內(nèi)。

創(chuàng)建一個局部距離矩陣C∈RM×N×K，其中，每個元素Cm，n，k存儲歐氏距離，稱為局部成本，pm和gkn之間：Cm，n，k=||pm-gkn||2，W的整體成本定義如下：

最優(yōu)對齊方式（即最優(yōu)規(guī)整路徑）W*是S(W)最小的路徑，P和G之間的圖像到類之間的距離即為簡化的W*整體成本：

計算DDTW(P，G)能夠測試所有可能的規(guī)整路徑，但是計算成本很高，值得慶幸的是，動態(tài)規(guī)劃（DP）可以有效地求解式（3）。創(chuàng)建一個三維累積矩陣C∈RM×N×K，元素Dm，n，k存儲子問題的成本，即分配一個m個塊的序列到一個有n個塊的序列集，匹配第m個塊pm到第k個圖庫圖像的塊，DDTW(P，G)的計算基于一系列子問題的結(jié)果，D可遞歸計算為：

其中，初始化將D擴展為一個(M+1)×(N+1)×K的矩陣，設(shè)置D0，0，k=0，D0，n，k=Dm，0，k=∞，×表示笛卡爾積操作，因此，DDTW(P，G)可由下式得到：

然后探針圖像P分類到距離最短的類，未對式（4）的第一項的k作任何約束，因為在每個時間步，探針塊可與圖庫中任意K幅圖像的塊匹配。

本文方法能從所有可能的規(guī)整組合中找到整體成本最小的對齊方式，因此，整體距離主要依賴于人臉最相似的部分，這與視覺感官也是一致的。圖3解釋了圖像到類的規(guī)整，圖3（a）中，遮擋的人臉屬于類2，但當(dāng)使用圖像到圖像距離時會被錯誤分類（最近鄰屬于類1），盡管圖像到圖像距離比類2的每個單個圖庫圖像大，但是圖像到類距離小，能夠產(chǎn)生正確分類。如圖3（b）所示，每一步中，探針圖像的每個塊與圖庫圖像最相似的塊匹配，圖像到類距離計算主要基于這些成對的最相似的塊（匹配的塊用相同顏色表示）。

算法1總結(jié)了計算探針圖像與類之間距離的過程，時間復(fù)雜度為O(lmax(M，N)K)，其中l(wèi)＜＜M（l通常設(shè)置為max(M，N)的10%）。當(dāng)每個類的圖庫圖像數(shù)目有限時，K相對較小，因此可以非常有效地獲得規(guī)整距離。MATLAB實現(xiàn)取平均0.05 s計算一幅圖像與類之間的距離，使用大約200個塊的序列，相比基于重構(gòu)的方法，使用所有注冊圖像表示測試圖像，本文方法獨立計算探針圖像與每個注冊類之間的距離。因此，在實際FR應(yīng)用中，可以并行地產(chǎn)生距離矩陣，還可以增加更新注冊數(shù)據(jù)庫。

圖3 圖像到類的規(guī)整

2 實驗

為了評估本文方法的性能，在三個公開數(shù)據(jù)庫LFW[3]、AR[10]和YouTube數(shù)據(jù)庫[15]上進行了實驗。所有的實驗均在8 GB內(nèi)存Intel?CoreTM3.10 GHz Windows XP機器上完成，編程環(huán)境為MATLAB 7.0。

2.1 子塊大小的影響

這部分研究不同子塊大小對本文方法識別性能的影響，從LFW中取400幅未遮擋圖像作為圖像集，分別包含從0%到50%級別遮擋的6個探針集用于測試，所有圖像都裁剪為80×60大小，子塊大小從3×3到10×10，劃分后，圖像剩余的部分忽略不計。簡單起見，將探針圖像和圖庫圖像劃分成相同數(shù)目的子塊，即M=N，識別結(jié)果如圖4所示。

圖4 塊大小函數(shù)的識別率

從圖4可以看出，當(dāng)塊大小等于或者小于6×5時，每個識別率曲線都沒有大幅波動。盡管存在遮擋比率，本文方法在適當(dāng)范圍內(nèi)對子塊大小的魯棒性更好。相對較小的塊產(chǎn)生的識別率更好，因為它們能比大塊提供更靈活的空間信息，然而，如果塊太小，計算和內(nèi)存成本都會增加。根據(jù)這一結(jié)果，建議使用塊大小在4×4至6×5之間。該實驗中，根據(jù)圖像大小，LFW數(shù)據(jù)庫使用的塊大小為6×5，AR數(shù)據(jù)庫和YouTube人臉數(shù)據(jù)庫使用的塊大小為5×5。

2.2 LFW數(shù)據(jù)集

將所提基于DTW的局部分塊匹配方法與其他幾種具有代表性的匹配方法進行了比較，包括使用特征臉作為特征的線性SVM[2]（LSVM）、基于稀疏表示的重構(gòu)（SRC）[16]、基于樸素貝葉斯最近鄰的塊匹配（NBNN）[11]、基準(zhǔn)的最近鄰（NN）分類器[4]。NBNN也是一種基于塊匹配的方法，分別使用原始塊和差異塊進行測試，給出了最佳結(jié)果。選擇LFW數(shù)據(jù)庫的100個對象，每個對象8幅圖像，對于每個對象，分別選擇K=1，2，3，4幅無遮擋圖像作為圖庫集，另外4幅有合成遮擋的圖像作為探針集。每個測試圖庫集與探針集無重復(fù)圖像，所有圖像均裁剪成90×65大小。各方法的參數(shù)設(shè)置分別參照各自所在文獻，如圖5所示為每個人不同圖庫數(shù)目下各個方法的識別率。

從圖5可以看出，起始階段（遮擋水平≤10%）SRC的性能略優(yōu)于本文方法，然而，當(dāng)遮擋增加時，性能急劇下降。基于塊匹配的方法NBNN和本文方法整體上執(zhí)行效果優(yōu)于其他幾種方法。當(dāng)每個人僅有一幅圖庫圖像可用(K=1)時，本文方法中圖像到類的距離等于圖像到圖像的距離，仍能對所有級別的遮擋獲得最佳識別率，因為它通過規(guī)整并考慮面部特征的順序，能找到圖庫和探針圖像之間的最優(yōu)對齊方式。綜合4幅圖可看出，不論K取何值，本文方法取得的識別效果均優(yōu)于其他各個方法。

2.3 AR數(shù)據(jù)集

這部分在有實際偽裝的AR數(shù)據(jù)庫上測試本文方法，使用AR數(shù)據(jù)庫的一個包含各種光照條件、表情變化和遮擋的子集（包含50位男性50位女性），使用未遮擋的帶有各種表情的正面視圖圖像作為圖庫圖像（每人8幅圖像），對于每個對象，從中分別選擇K=1，2，4，6，8幅圖像作為圖庫集，使用包含太陽鏡（覆蓋圖像的30%）和圍巾（覆蓋圖像的50%）的兩個分離集作為測試集，所有圖像均裁剪為80×60大小，圖6所示為各方法的識別結(jié)果。

從圖6可以看出，當(dāng)可用的圖庫圖像較少時，識別率呈下降趨勢，本文方法的性能穩(wěn)定且顯著優(yōu)于其他方法，甚至在K=1時，本文方法在太陽鏡集和圍巾集遮擋情況下的識別率可分別高達90%和83%。

圖5 在FRGC數(shù)據(jù)庫上每個人不同圖庫圖像數(shù)目的識別率

圖6 AR數(shù)據(jù)庫上的識別結(jié)果

在同樣的實驗設(shè)置下，還使用每人8幅圖庫圖像對本文方法與較為先進的幾種人臉識別方法進行了比較，所有方法僅使用灰度值特征，識別結(jié)果如表1所示，針對各個方法，自己作了實驗，各方法的參數(shù)設(shè)置均參考各自所在文獻。

表1 AR數(shù)據(jù)庫上每人有8幅圖庫圖像的識別率

從表1可以看出，相比其他幾種方法，本文方法能獲得與這些方法相當(dāng)甚至更好的識別率。而在識別效率上，本文方法的識別速率約為SRC方法的15倍。在圍巾集這種幾乎遮擋住一半人臉的數(shù)據(jù)集上，本文方法僅對2%的圖像誤分類，就目前所知，這是在圍巾集上僅使用灰度值作為特征時得到的最好的結(jié)果。

表2中列出了各方法在平均精度、標(biāo)準(zhǔn)差、曲線下方面積（AUC）和等差率（EER）方面的數(shù)據(jù)。

從表2可以看出，在各個方法中，本文方法的平均精度最高，最低的標(biāo)準(zhǔn)差體現(xiàn)了本文方法識別性能的穩(wěn)定性，曲線下方面積最大，等差率最小，表明本文方法更加優(yōu)越。

表2 各方法在AR人臉數(shù)據(jù)集上的識別結(jié)果（平均精度±標(biāo)準(zhǔn)差（std）、AUC和EER）

2.4 YouTube數(shù)據(jù)集

在YouTube數(shù)據(jù)集上，考慮到所有人臉圖像都經(jīng)固定的檢測臉部關(guān)鍵點對齊過，所以將從一個視頻剪輯所有幀中提取出的平均特征，圖像均剪裁為80×60大小，本文方法的分塊大小為5×5，并將本文方法與其他幾種較為先進的方法進行了比較，針對各個方法，自己作了實驗，各方法的參數(shù)設(shè)置均參考各自所在文獻，表3中列出了各方法在平均精度、標(biāo)準(zhǔn)差、曲線下方面積（AUC）和等差率（EER）方面的數(shù)據(jù)。

表3 各方法在YouTube人臉數(shù)據(jù)集上的識別結(jié)果（平均精度±標(biāo)準(zhǔn)差（std）、AUC和EER）

從表3可以看出，相比其他幾種方法，本文方法在AUC和平均精度方面性能均為最高，且EER最低，再次驗證了本文方法的優(yōu)越性。

3 結(jié)論

該文提出了一種基于DTW優(yōu)化局部分塊匹配的人臉識別方法，在三個人臉數(shù)據(jù)庫上的大量實驗表明，本文方法能獲得比其他方法更好的性能。在每個人僅有一幅圖庫圖像可利用的極端情況下，本文方法仍能得到良好的執(zhí)行效果。本文方法能直接處理原始數(shù)據(jù)，不需要任何訓(xùn)練過程，這些優(yōu)點使其更適用于現(xiàn)實場景。

所提模型非常靈活，可采用如LBP和Gabor之類的其他圖像描述符，未來會將所提模型與更復(fù)雜的特征提取算法結(jié)合，進行大量的實驗，進一步提高人臉識別率。

[1]張楠.低秩鑒別分析與回歸分類方法研究[D].南京：南京理工大學(xué)，2012.

[2]陳長軍，詹永照，文傳軍.支持向量描述鑒別分析及在人臉識別中的應(yīng)用[J].計算機應(yīng)用研究，2010，27（2）：488-490.

[3]Huang G B，Mattar M，Berg T，et al.Labeled faces in the wild：a database for studying face recognition in unconstrained environments[C]//Workshop on Faces in'Real-Life' Images：Detection，Alignment，and Recognition，2008.

[4]王憲，張彥，慕鑫，等.基于改進的LBP人臉識別算法[J].光電工程，2012，39（7）：109-114.

[5]趙海英，馮月萍.應(yīng)用Gabor濾波器和局部邊緣概率直方圖的全局紋理方向性度量[J].光學(xué)精密工程，2010，18（7）：1668-1674.

[6]皋軍，孫長銀，王士同.具有模糊聚類功能的雙向二維無監(jiān)督特征提取方法[J].自動化學(xué)報，2012，38（4）：549-562.

[7]楊利平，葉洪偉.人臉識別的相對梯度方向邊緣幅值模式[J].光學(xué)精密工程，2013，21（4）：1101-1109.

[8]Cox D，Pinto N.Beyond simple features：a large-scale feature search approach to unconstrained face recognition[C]// 2011 IEEE International Conference on Automatic Face& Gesture Recognition and Workshops（FG 2011），2011：8-15.

[9]楊傳振，朱玉全，陳耿.一種基于粗糙集屬性約簡的多分類器集成方法[J].計算機應(yīng)用研究，2012，29（5）：1648-1650.

[10]黃榮兵，郎方年，施展.基于Log-Gabor小波和二維半監(jiān)督判別分析的人臉圖像檢索[J].計算機應(yīng)用研究，2012，29（1）：393-396.

[11]Guillaumin M，Verbeek J，Schmid C.Is that you?Metric learning approaches for face identification[C]//2009 IEEE 12th International Conference on Computer Vision，2009：498-505.

[12]高全學(xué)，謝德燕，徐輝，等.融合局部結(jié)構(gòu)和差異信息的監(jiān)督特征提取算法[J].自動化學(xué)報，2010，36（8）：1107-1114.

[13]Yin Q，Tang X，Sun J.An associate-predict model for face recognition[C]//2011 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），2011：497-504.

[14]周旭東，陳曉紅，陳松燦.半配對半監(jiān)督場景下的低分辨率人臉識別[J].計算機研究與發(fā)展，2012，49（11）：2328-2333.

[15]劉廣征.基于視頻與文本信息的說話者人臉標(biāo)注[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2010.

[16]楊榮根，任明武，楊靜宇.基于稀疏表示的人臉識別方法[J].計算機科學(xué)，2010，37（9）：267-269.

XU Yi

Department of Information Engineering,Hunan Industry Polytechnic,Changsha 410208,China

Large variation of pose,illustration,expression and occlusion in truly face recognition will seriously impact recognition performance,for which Local Partition Matching（LPM）algorithm optimized by Dynamic Time Warping（DTW）is proposed.Face image is divided into many non-overlapping patches with same size.All patches are combined to be a unique sequence sorting by forehead,eyes,nose,mouth and chin by using raster scan sequence.Distance from image to class between query face and register faces is calculated,and idea of DTW is used to find the best alignment between query sequence and all register sequences.The effectiveness and reliability of proposed method have been verified by experiments on the three common databases LFW,AR and YouTube.Experimental results show that proposed method has higher recognition accuracy than several advanced face recognition methods.Besides,it has lower cost without any training process.

face recognition;dynamic time warping;local partitioned matching;query face;probe image

A

TP391

10.3778/j.issn.1002-8331.1310-0293

XU Yi.Local partition matching optimized by DTW for face recognition.Computer Engineering and Applications, 2014,50（6）：165-170.

徐屹（1980—），男，講師，主要研究領(lǐng)域為智能控制、模式識別。

2013-10-23

2013-12-13

1002-8331（2014）06-0165-06