基于協(xié)方差矩陣表示的圖像集匹配

詹增榮　曾青松

摘 要 提出了一種圖像集合匹配方法，該方法通過(guò)協(xié)方差矩陣對(duì)圖像集合建模，利用對(duì)稱(chēng)正定的非奇異協(xié)方差矩陣構(gòu)成黎曼流形上的子空間，將圖像集的匹配轉(zhuǎn)化為黎曼流形上的點(diǎn)的匹配問(wèn)題.在ETH80和HondaUCSD數(shù)據(jù)庫(kù)分別進(jìn)行了基于圖像集合的對(duì)象識(shí)別和人臉識(shí)別實(shí)驗(yàn)，分別達(dá)到96%和95.9%的識(shí)別率.

關(guān)鍵詞 集合匹配；人臉識(shí)別；模式識(shí)別

中圖分類(lèi)號(hào) TP391.41 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1000-2537（2015）04-0074-06

Abstract An image set matching method is proposed， in which the problem of the image set matching is formulated as matching points lying on the Riemannian manifold spanned by symmetric positive definite （SPD）， i.e. nonsingular covariance matrices. The similarity between two image sets is converted into the distance between two points in the Riemannian manifold. The proposed method is evaluated in set-based object classification and face recognition tasks， extensive experimental results show that the proposed method outperforms other state of the art set-based object matching and face recognition methods with recognition rate of 96% and 955% in the ETH80 object database and HondaUCSD video database， respectively.

Key words set matching； face recognition； pattern recognition

對(duì)象識(shí)別是模式識(shí)別領(lǐng)域中非常重要的應(yīng)用之一.隨著攝像機(jī)的廣泛應(yīng)用，人們可以輕易地獲取關(guān)注對(duì)象的大批量監(jiān)控圖像，這一背景促進(jìn)了人們從單一圖像為輸入[1]轉(zhuǎn)向以圖像集合為輸入[2-4]的對(duì)象識(shí)別應(yīng)用研究.

以圖像集合為研究對(duì)象的匹配方法能夠利用多幅圖像提供的信息獲得更好的匹配性能[5].這一類(lèi)問(wèn)題的研究一般通過(guò)對(duì)單幅圖像提取特征，然后合成多幅圖像的特征組成一個(gè)圖像特征集合，建立圖像集合的模型，通過(guò)計(jì)算模型對(duì)之間的距離來(lái)度量?jī)蓚€(gè)集合的相似性[6].在實(shí)際應(yīng)用中，獲取的圖像集中通常含有噪聲，會(huì)影響模型的描述能力，因此所構(gòu)建的模型應(yīng)該要有一定的魯棒性，或者低秩描述[7]來(lái)表示一個(gè)圖像集合.

一般地，可考慮使用子空間或流形來(lái)表達(dá)一個(gè)圖像集合[8].經(jīng)典的互子空間（Mutual subspace method： MSM）方法[4]將圖像集投影到低維線(xiàn)性子空間，通過(guò)計(jì)算圖像序列生成的子空間之間的主角來(lái)度量?jī)蓚€(gè)子空間之間相似性，這一方法被廣泛地?cái)U(kuò)展.流形-流形距離（Manifold-Manifold Distance： MMD）[9]擴(kuò)展了子空間距離，將整個(gè)非線(xiàn)性流形劃分成多個(gè)局部模型[10]，綜合考慮成對(duì)的局部模型之間的距離來(lái)度量?jī)蓚€(gè)流形的相似性.作為MMD的擴(kuò)展，通過(guò)用流形來(lái)描述每一個(gè)集合，流形鑒別分析[11]（Manifold Discriminant Analysis： MDA）通過(guò)多流形學(xué)習(xí)解決有監(jiān)督的流形間距離計(jì)算問(wèn)題.仿射子空間方法，如基于仿射包的圖像集距離[12]（Affine Hull-based Image Set Distance： AHISD），通過(guò)兩個(gè)仿射包中距離最近的兩個(gè)點(diǎn)之間的幾何距離來(lái)度量集合之間的相似性.為了克服AHISD方法由于不加任何額外約束條件，直接搜索最近鄰的點(diǎn)，導(dǎo)致離群點(diǎn)的干擾嚴(yán)重影響分類(lèi)的精確度的缺陷，借助稀疏表達(dá)的方法，通過(guò)稀疏逼近最近鄰點(diǎn)[13]（Sparse Approximated Nearest Points：SANP）可以更加精確地度量?jī)蓚€(gè)仿射包之間的相似性.

本文從圖像集合的整體特征模型出發(fā)，考慮到正定的對(duì)稱(chēng)矩陣構(gòu)成黎曼流形上的子空間，使用圖像的特征向量構(gòu)成圖像集合的特征矩陣，然后計(jì)算特征矩陣的協(xié)方差來(lái)建模圖像集合.通過(guò)定義協(xié)方差矩陣對(duì)之間的對(duì)數(shù)距離來(lái)度量?jī)蓚€(gè)圖像集合的相似性，有效地將黎曼流形上的度量轉(zhuǎn)換為歐式空間上的度量，應(yīng)用核Fisher 判別分析（Kernel Fisher Discriminant Analysis： KFDA）[14]進(jìn)行分類(lèi).

1 圖像集合的特征描述

1.1 單幅圖像的特征描述

給定一個(gè)固定位置的攝像機(jī)，由于場(chǎng)景的光照、觀(guān)測(cè)對(duì)象的姿態(tài)變化，連續(xù)獲取的圖像之間存在很大的差異，但是它們之間也存在很大的相關(guān)性.因此，需要對(duì)觀(guān)測(cè)對(duì)象的圖像進(jìn)行特征提取，以盡可能地消除外界因素的影響.提取圖像特征最簡(jiǎn)單的辦法是將圖像進(jìn)行灰度變換、直方圖均衡化，然后將圖像的像素值逐列堆疊成一個(gè)向量來(lái)表示，也可使用其他的圖像特征提取方法對(duì)整個(gè)圖像提取局部特征，如局部二值模式[15]（Local Binary Patterns，LBP）、尺度不變特征變換（Scale-Invariant Feature Transform：SIFT）.LBP是一種有效的紋理描述算子，度量和提取圖像局部的紋理信息，對(duì)光照具有不變性，SIFT是一種檢測(cè)局部特征的算法，通過(guò)求一幅圖像中的特征點(diǎn)，一般也稱(chēng)為興趣點(diǎn)（interest points）或者角點(diǎn)（corner points），及其有關(guān)尺度（scale）和方向（orientation）的描述子得到圖像的特征描述.

1.2 圖像集合的表達(dá)

在得到單幅圖像的向量化特征描述基礎(chǔ)上，對(duì)于圖像集合，一種簡(jiǎn)單的處理方法是將這些向量作為矩陣的列，通過(guò)一個(gè)矩陣來(lái)表示，計(jì)算基于矩陣分解的特征，建立特征模型，然后定義兩個(gè)模型之間的相似度.基于矩陣描述的方法的主要優(yōu)點(diǎn)是可以利用已有的成熟的矩陣分解技術(shù)，圖像集之間的相似性轉(zhuǎn)化為兩個(gè)矩陣之間的相似性的度量.

由于圖像集合的元素?cái)?shù)量不確定，直接計(jì)算兩個(gè)尺度不一致的特征矩陣的相似性有一定的困難.考慮到矩陣的協(xié)方差體現(xiàn)了變量之間的二階統(tǒng)計(jì)特性，反映了集合中各圖像之間的相關(guān)性，因而可以通過(guò)計(jì)算特征矩陣的協(xié)方差來(lái)建模一個(gè)圖像集合得到大小一致的協(xié)方差矩陣.進(jìn)一步，由于正定對(duì)稱(chēng)矩陣構(gòu)成黎曼流形的子空間，每一個(gè)矩陣可以理解為流形上的一個(gè)點(diǎn)，非奇異協(xié)方差矩陣是對(duì)稱(chēng)正定矩陣，所以使用協(xié)方差矩陣描述一個(gè)圖像集，可以將圖像集合的相似性計(jì)算轉(zhuǎn)換為計(jì)算流形上兩個(gè)點(diǎn)之間的距離[6].

將圖像集合的協(xié)方差矩陣當(dāng)成黎曼流形上的點(diǎn)，可以解釋為：存在一個(gè)非線(xiàn)性映射函數(shù)將圖像集合X投影到特征空間，表示為協(xié)方差矩陣模型cov（X），這個(gè)函數(shù)描述為：φ：X→cov（X）∈F，其中X∈RD×N.

2 基于核判別分析的圖像集匹配

2.1 核判別分析

線(xiàn)性判別分析（Linear Discriminant Analysis，LDA），也稱(chēng)為Fisher判別分析（Fisher Discriminant Analysis，F(xiàn)DA）是一種有監(jiān)督的判別分析方法，其主要思想是將高維的模式樣本投影到最佳鑒別矢量空間，以達(dá)到抽取分類(lèi)信息和壓縮特征空間維數(shù)的效果.它能夠保證投影后模式樣本在新的空間中有最小的類(lèi)內(nèi)距離和最大的類(lèi)間距離，即模式在該空間中有最佳的可分離性.LDA被廣泛的應(yīng)用，但是LDA沒(méi)有包含高階的統(tǒng)計(jì)量，無(wú)法很好地對(duì)非線(xiàn)性分布的數(shù)據(jù)進(jìn)行分類(lèi).

核技巧是處理非線(xiàn)性數(shù)據(jù)的有效方法之一，KFDA是核函數(shù)和線(xiàn)性判別分析相結(jié)合的產(chǎn)物，它能有效地對(duì)非線(xiàn)性分布的數(shù)據(jù)進(jìn)行分類(lèi)，首先通過(guò)一個(gè)非線(xiàn)性映射函數(shù)：RD→F，將RD空間中的原始訓(xùn)練樣本變換到某一高維的特征空間（可能是無(wú)線(xiàn)維的）以獲得數(shù)據(jù)分布的更加豐富的表示，然后在特征空間中執(zhí)行線(xiàn)性判別分析，找出使類(lèi)間散度最大而類(lèi)內(nèi)散度最小的投影方向進(jìn)行分類(lèi).

2.2 核函數(shù)的選擇

在KFDA中，核函數(shù)的選擇直接影響到分類(lèi)效果.理論上要求選擇的核函數(shù)需要只要滿(mǎn)足Mercer條件即可，但不同核函數(shù)分類(lèi)器的性能完全不同.較常用的核函數(shù)有：線(xiàn)性核函數(shù)、多項(xiàng)式核函數(shù)、高斯徑向基核函數(shù)等.本文結(jié)合圖像集合的協(xié)方差模型表示這一特定的條件選擇核函數(shù)，充分利用協(xié)方差矩陣的正對(duì)稱(chēng)性簡(jiǎn)化核矩陣的計(jì)算.

3 仿真實(shí)驗(yàn)

本節(jié)討論在ETH80對(duì)象分類(lèi)數(shù)據(jù)庫(kù)上進(jìn)行基于集合的對(duì)象匹配和在加利福尼亞大學(xué)圣迭戈分校臉部追蹤視頻數(shù)據(jù)庫(kù)（HondaUCSD Video Database）上執(zhí)行基于集合的人臉識(shí)別實(shí)驗(yàn).所有的實(shí)驗(yàn)都使用最近鄰分類(lèi)器進(jìn)行分類(lèi).

3.1 數(shù)據(jù)庫(kù)

如圖1（a）所示，ETH80數(shù)據(jù)庫(kù)包含蘋(píng)果、小汽車(chē)、牛、杯子、狗、馬、梨和西紅柿8類(lèi)對(duì)象的不同視角和實(shí)例的靜態(tài)圖像.如圖1（b）所示，每個(gè)類(lèi)別包含10個(gè)不同的實(shí)例.每個(gè)實(shí)例包含不同視角下的41張圖片.

實(shí)驗(yàn)中，將每一個(gè)體全部41張圖像合成為一個(gè)圖像集合，整個(gè)數(shù)據(jù)庫(kù)包含80個(gè)圖像集合，每個(gè)類(lèi)別有10個(gè)圖像集合.測(cè)試中，將每一個(gè)體的10個(gè)集合隨機(jī)地劃分為兩組，每組5個(gè)集合，分別用于訓(xùn)練和和測(cè)試.實(shí)驗(yàn)中，從集合的41張圖像中隨機(jī)選擇30個(gè)視角的圖像用于構(gòu)造隨機(jī)實(shí)驗(yàn).

HondaUCSD數(shù)據(jù)庫(kù)的視頻在室內(nèi)錄制，包含人的不同姿態(tài)和表情變化，是一個(gè)用于做人臉識(shí)別跟蹤/識(shí)別的標(biāo)準(zhǔn)視頻數(shù)據(jù)庫(kù)，共包含19個(gè)人的59 段視頻，每個(gè)人有2～3段獨(dú)立錄制的視頻.該數(shù)據(jù)庫(kù)每個(gè)視頻包含300～500幀，且被分割成多個(gè)視頻片段，每個(gè)片段包含大約60幀.本文采用Viola[18]檢測(cè)算子從每一幀中檢測(cè)人臉組件.圖2給出了檢測(cè)到的人臉示意圖.實(shí)驗(yàn)中，每個(gè)人選擇一段視頻做訓(xùn)練，其余的視頻做測(cè)試.每次隨機(jī)實(shí)驗(yàn)，從視頻中隨機(jī)選擇30幀構(gòu)成測(cè)試圖像集.

3.2 算法比較

本文與在第1節(jié)中提到的另外5種基于集合的匹配方法進(jìn)行了對(duì)比.這些方法包括：MSM[4]，MMD[9]，MDA[11]，AHISD[12]和SANP[13].

比較實(shí)驗(yàn)基于原始文獻(xiàn)公布的Matlab代碼實(shí)現(xiàn)的算法，適當(dāng)調(diào)節(jié)算法的參數(shù)取最優(yōu)的結(jié)果.在MSM和MMD算法中，使用主成份分析方法獲得子空間，PCA比率參數(shù)設(shè)置為0.95.MMD和MDA方法采用原始文獻(xiàn)的參數(shù)設(shè)置，歐式距離與幾何距離比值設(shè)置為2.0，鄰域大小設(shè)置為默認(rèn)值12.本文使用AHISD的線(xiàn)性版本，SANP算法使用文獻(xiàn)相同的參數(shù)設(shè)置求解凸優(yōu)化問(wèn)題.

表1列出了ETH80數(shù)據(jù)庫(kù)上各種算法識(shí)別率的均值和方差.實(shí)驗(yàn)結(jié)果顯示，在ETH80數(shù)據(jù)庫(kù)上，MSM，MMD，MDA，AHISD和SANP算法取得基本一致的結(jié)果，在本文設(shè)定的實(shí)驗(yàn)條件下，本文的算法結(jié)果優(yōu)于其他幾個(gè)算法，平均識(shí)別率達(dá)到96%.這可能與本文采用協(xié)方差矩陣對(duì)圖像的特征矩陣進(jìn)行建模有關(guān)，圖像特征矩陣的協(xié)方差矩陣考慮到了特征向量的二階特征，并且考慮了圖像集的整體相關(guān)性，因此能夠有效地消除單張圖像特征不穩(wěn)定對(duì)識(shí)別結(jié)果的影響，提高了圖像集合模型的穩(wěn)定性.圖3給出了5次隨機(jī)實(shí)驗(yàn)的識(shí)別率的對(duì)比.如圖3所示，每一次隨機(jī)實(shí)驗(yàn)中，本文提出的方法都穩(wěn)定地高于其他算法.

ETH80數(shù)據(jù)庫(kù)每類(lèi)物體僅僅包含41張圖像，實(shí)驗(yàn)中我們從這41張圖像中隨機(jī)選擇30張構(gòu)成圖像子集，雖然這些圖像是從不同視角拍攝，但是它們是離散的，不能很好地滿(mǎn)足MDA和MMD等算法中的流形分布假設(shè)，從另一個(gè)側(cè)面也說(shuō)明了本文采用的協(xié)方差模型能夠彌補(bǔ)這種缺陷.另外SANP和AHISD兩個(gè)算法都是基于近鄰比較的方法，圖像集合中被比較的圖像由于視角的不匹配或者缺失嚴(yán)重地影響識(shí)別結(jié)果.

表2列出了HondaUCSD數(shù)據(jù)庫(kù)上各種算法識(shí)別率的均值、方差.實(shí)驗(yàn)結(jié)果顯示，本文提出方法識(shí)別率達(dá)到了95.90%，僅次于SANP算法，但是高于其他經(jīng)典的算法，進(jìn)一步驗(yàn)證了本文提出的算法能達(dá)到較好的識(shí)別效果.圖4給出了這5次隨機(jī)實(shí)驗(yàn)的識(shí)別率的對(duì)比.

4 結(jié)論

圖像集合匹配中的核心問(wèn)題是如何對(duì)圖像集合建模并比較兩個(gè)模型的相似性，本文通過(guò)計(jì)算圖像集合中單張圖像的特征向量構(gòu)成的協(xié)方差矩陣來(lái)建立圖像集合的協(xié)方差表差，該方法充分利用了協(xié)方差矩陣能夠提取集合中所有元素的二階特征，因而可以獲得比一階特征更好的描述能力.

比較兩個(gè)集合，可以考慮將圖像集合嵌入到黎曼流形，把圖像集表示成流形上的一個(gè)點(diǎn).本文利用了協(xié)方差矩陣是對(duì)稱(chēng)正定的特征，而對(duì)稱(chēng)正定矩陣張成黎曼流形的子空間，從而實(shí)現(xiàn)將一個(gè)圖像集合表示成黎曼流形上的點(diǎn).傳統(tǒng)的基于歐式度量的學(xué)習(xí)算法不能直接用于流形上點(diǎn)的分類(lèi)，本文為解決這個(gè)問(wèn)題通過(guò)計(jì)算矩陣的對(duì)數(shù)，構(gòu)造一個(gè)黎曼核，從而把黎曼流形上的點(diǎn)的匹配投影到歐幾里德空間，進(jìn)而使用經(jīng)典的KFDA方法進(jìn)行分類(lèi).本文的圖像集合建模方法有效地解決了將非歐式空間的度量轉(zhuǎn)換為歐式空間的度量，從而可以結(jié)合歐式空間已有的分類(lèi)方法實(shí)現(xiàn)分類(lèi)，后續(xù)將進(jìn)一步結(jié)合圖模型做深入的研究.

參考文獻(xiàn)：

[1] 王科俊， 段勝利， 馮偉興，等. 單訓(xùn)練樣本人臉識(shí)別技術(shù)綜述[J]. 模式識(shí)別與人工智能，2008，21（5）：635-642.

[2] 嚴(yán) 嚴(yán)， 章毓晉. 基于視頻的人臉識(shí)別研究進(jìn)展[J]. 計(jì)算機(jī)學(xué)報(bào)， 2009，32（5）：878-886.

[3] BARR J R， BOWYER K W， FLYNN P J， et al. Face recognition from video： a review[J]. Int J Patt Recog Artif Intell， 2012，26（5）.

[4] YAMAGUCHI O， FUKUI K， MAEDA K I. Face recognition using temporal image sequence[C]//3rd International Conference on Face & Gesture Recognition （FG ′98）.Nara， Japan：IEEE Computer Society，1998：318-323.

[5] ZENG Q S， LAI J H， WANG C D. Multi-local model image set matching based on domain description [J]. Patt Recog， 2014，47（2）：694-704.

[6] 曾青松. 黎曼流形上的保局投影在圖像集匹配中的應(yīng)用[J]. 中國(guó)圖象圖形學(xué)報(bào)， 2014，19（3）：414-420.

[7] 呂 煊， 王志成， 趙衛(wèi)東， 等. 一種基于低秩描述的圖像集分類(lèi)方法[J]. 同濟(jì)大學(xué)學(xué)報(bào)： 自然科學(xué)版， 2013，41（2）：271-276.

[8] 章毓晉， 程正東， 譚華春. 基于子空間的人臉識(shí)別[M].北京：清華大學(xué)出版社， 2009.

[9] WANG R P， SHAN S G， CHEN X L， et al. Manifold-manifold distance with application to face recognition based on image set[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Anchorage， Alaska， USA：IEEE，2008.

[10] WANG R， SHAN S， CHEN X， et al. Maximal linear embedding for dimensionality reduction[J]. IEEE Trans Patt Anal Machine Intell， 2011，33（9）：1776-1792.

[11] WANG R P， CHEN X L. Manifold discriminant analysis[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognit. Miami， Florida， USA：IEEE，2009.

[12] CEVIKALP H， TRIGGS B. Face recognition based on image sets[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.San Francisco， CA， USA：IEEE Computer Society，2010.

[13] HU Y， MIAN A S， OWENS R. Face recognition using sparse approximated nearest points between image sets[J]. IEEE Trans Pattern Anal Machine Intell， 2012，34（10）：1992-2004.

[14] BAUDAT G， ANOUAR F. Generalized discriminant analysis using a kernel approach[J]. Neural Comput， 2000，12（10）：2385-2404.

[15] AHONEN T， HADID A， PIETIKAINEN M. Face description with local binary patterns： application to face recognition[J]. IEEE Trans Patt Anal Machine Intell， 2006，28（12）：2037-2041.

[16] WANG R， GUO H， DAVIS L S， et al. Covariance discriminative learning： a natural and efficient approach to image set classification[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Providence， RI， USA：IEEE，2012.

[17] ARSIGNY V， FILLARD P， PENNEC X， et al. Geometric means in a novel vector space structure on symmetric positive-definite matrices[J]. SIAM Matrix Anal Appl， 2007，29（1）：328-347.

[18] VIOLA P， JONES M J. Robust real-time face detection[J]. Int J Comput Vision， 2004，57（2）：137-154.

（編輯 陳笑梅）