用于人臉識別的類內(nèi)低秩子空間學(xué)習(xí)

蔡雨虹，吳小俊

江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214122

面對圖像特征中普遍存在的維數(shù)爆炸和信息冗余問題，學(xué)習(xí)一個判別緊湊的數(shù)據(jù)表示在模式識別中是一個非常關(guān)鍵的問題。已經(jīng)得到廣泛應(yīng)用的稀疏表示（sparse representation-based classification，SRC）[1]，其核心思想是樣本能夠被同類樣本線性表示。通過應(yīng)用l1范數(shù)約束，將訓(xùn)練數(shù)據(jù)視為過完備字典，能夠有效地得到數(shù)據(jù)的稀疏系數(shù)來作為數(shù)據(jù)表示。除了基于表示學(xué)習(xí)的諸多方法[1-2]，各種基于投影的特征提取方法也能得到良好的數(shù)據(jù)表示。其中最知名的方法之一就是主成分分析（principal component analysis，PCA），該方法尋找一個能保持最主要特征的投影。另外局部保持投影（locality preserving projection，LPP）[3]和鄰域保留投影（neighborhood preserving embedding，NPE）[4]也是非常常用的方法。

上述提到的方法都屬于無監(jiān)督學(xué)習(xí)，而絕大多數(shù)情況下標簽信息可以讓得到的數(shù)據(jù)表示更適合進行分類。在監(jiān)督學(xué)習(xí)中，最小二乘回歸（least square regression，LSR）是一個簡單且有效的方法，其核心思想在于學(xué)習(xí)從原始數(shù)據(jù)到標簽空間的線性投影，最終得到原始數(shù)據(jù)的回歸向量作為其在標簽空間的數(shù)據(jù)表示。在模式識別領(lǐng)域出于LSR在計算量和解釋性上的優(yōu)勢，已經(jīng)提出許多基于LSR的方法。

原始的LSR 直接學(xué)習(xí)從數(shù)據(jù)到嚴格的0-1 標簽矩陣的線性投影。Xiang等提出了以ε-拖動為基礎(chǔ)的判別最小乘回歸（discriminative least squares regression，DLSR）[5]。其后，提出了很多基于DLSR的算法。分組重定向最小二乘回歸（groupwise retargeted least-squares regression，GReLSR）[6]約束同類樣本回歸目標在被拖動的同時擁有類似的偏移量。通過引入流形學(xué)習(xí)，正則化標簽松弛（regularized label relaxation,RLR）[7]模型構(gòu)建基于流形的近鄰圖，與由ε-拖動得到的松弛標簽共同約束線性投影的學(xué)習(xí)，從而使得到的投影結(jié)果可以保持數(shù)據(jù)的局部幾何關(guān)系。雙重松弛回歸（double relaxed regression，DRR）[8]中指出了單個回歸矩陣可能無法提供靈活的投影，提出使用兩個投影矩陣來完成圖正則項。

上述方法的共同點在于都是基于ε-拖動技術(shù)，實際上ε-拖動技術(shù)雖然可以增大不同類別間的差異，但是也會對同類別間的相似性造成破壞[9]。通過引入約束項，這種情況可能得到緩解。比如GReLSR中約束同類擁有相同的偏移量，RLR 中引入流形約束使同類樣本回歸目標盡可能相似。但是GReLSR并未實質(zhì)上解決同類邊距增大的問題，而基于圖的方法則普遍使用固定的輸入圖，比如0-1加權(quán)以及熱核方法[7-8]，這導(dǎo)致此類方法非常依賴于初始輸入圖的質(zhì)量。

對于這個問題，實際上有許多基于子空間學(xué)習(xí)和字典學(xué)習(xí)的方法直接使用二元標簽矩陣來學(xué)習(xí)分類投影[10-11]。而這些方法實質(zhì)上是在進行標簽空間投影之前，對原始數(shù)據(jù)進行初步編碼從而避免從高維數(shù)據(jù)到標簽空間的直接投影，以達到增強整體的分類效果的目的。Zhang 等人提出的局部約束的投影字典對學(xué)習(xí)（locality-constrained projective dictionary learning，LCPDL）[12]，學(xué)習(xí)塊對角表示的同時學(xué)習(xí)溝通表示系數(shù)與標簽的魯棒判別分類器。為了將投影學(xué)習(xí)與探索標簽信息的任務(wù)結(jié)合，Meng 等人提出聯(lián)合優(yōu)化子空間學(xué)習(xí)和分類問題的約束判別投影學(xué)習(xí)（constrained discriminative projection learning，CDPL）[13]，其使用低秩約束學(xué)習(xí)魯棒的子空間以連接原始視覺特征和目標輸出。

結(jié)合這一觀察，本文提出了類內(nèi)低秩的子空間學(xué)習(xí)方法（intra-class low-rank subspace learning，ICLRSL）。ICLRSL 在原始數(shù)據(jù)空間和標簽空間之間學(xué)習(xí)一個低秩的中間子空間，從而產(chǎn)生一個擁有高類內(nèi)相關(guān)性的中間特征。因為最終的回歸目標是原始的二元標簽矩陣，其同類別間天然擁有高度的相關(guān)性，所以類內(nèi)低秩的中間特征能夠作為數(shù)據(jù)與二元標簽之間的聯(lián)系，使分類效果得到改善。在數(shù)個公開人臉數(shù)據(jù)集上的實驗結(jié)果驗證了該算法的有效性。

1 相關(guān)工作

1.1 最小二乘回歸

作為一種被廣泛使用的數(shù)學(xué)工具，最小二乘回歸從給定的一組來自c類的訓(xùn)練樣本X∈Rm×n及其對應(yīng)的標簽，學(xué)習(xí)從原始數(shù)據(jù)空間到標簽空間的線性投影W∈Rc×m，其目標函數(shù)被定義為：

其中，H∈Rc×n是從樣本標簽得到的0-1 二元標簽矩陣，其中1 的位置標示了對應(yīng)樣本的類別。為了避免直接擬合嚴格的0-1 標簽矩陣并使其更符合分類任務(wù)的要求，DLSR[5]引入ε-拖動技術(shù)來完成對標簽矩陣的松弛，其模型如下：

其中，⊙是哈達馬積運算符，而M是一個非負的拖動量矩陣。B是由1 和-1 構(gòu)成的常量矩陣，標明了標簽矩陣的拖動方向，其被定義為：

從該定義可以看出，DLSR將不同類別的回歸目標沿著相反的方向移動，從而使不同類別回歸目標邊距大于1。但是，這種對標簽矩陣的拖動也增大了同類樣本回歸目標之間的距離，即無法保證同類回歸目標的相似性。

1.2 子空間學(xué)習(xí)

基于LSR的子空間學(xué)習(xí)方法往往不考慮對標簽的松弛，而是對原始樣本數(shù)據(jù)進行進一步的編碼。在對原始樣本數(shù)據(jù)編碼的過程中，將冗余或者噪聲剔除從而得到判別的子空間特征。與此同時此類方法學(xué)習(xí)分類器，來獲得從特征空間到標簽空間的投影。

魯棒潛在子空間學(xué)習(xí)（robust latent subspace learning，RLSL）[11]從原始樣本中學(xué)習(xí)一個潛在子空間投影并且在此過程中分離出稀疏噪聲。在進行潛在子空間學(xué)習(xí)的同時，學(xué)習(xí)從特征空間到標簽空間的分類器，其目標函數(shù)被定義為：

其中，Q∈Rm×d為潛在子空間的投影矩陣，其將原始數(shù)據(jù)投影到潛在子空間，從而得到干凈的數(shù)據(jù)表示QTX。W∈Rc×d為分類器，其將干凈特征QTX投影到標簽空間。其潛在子空間可視為連接原始數(shù)據(jù)空間和標簽空間的橋梁，因此在一定程度上提高對樣本的分類能力。

類似的，CDPL[13]中也嘗試學(xué)習(xí)子空間來溝通原始數(shù)據(jù)與標簽信息，與RLSL相比，CDPL引入了額外的子空間約束來增強子空間的魯棒性：

其中，施加在Z∈Rn×n上的低秩約束使學(xué)習(xí)到的子空間同時關(guān)注全局結(jié)構(gòu)，而稀疏約束和局部性約束則將局部結(jié)構(gòu)也納入其中。但是，這些子空間學(xué)習(xí)方法都沒有關(guān)注作為回歸目標的標簽矩陣天然所擁有的結(jié)構(gòu)，從獲取判別子空間特征的角度，這種天然結(jié)構(gòu)性可能對整體的分類效果有利。

2 類內(nèi)低秩子空間學(xué)習(xí)算法

2.1 目標函數(shù)

鑒于標簽拖動技術(shù)在增大異類差異的同時也會增大同類回歸目標的差異，因此本文使用子空間學(xué)習(xí)的形式并進一步提出類內(nèi)低秩子空間學(xué)習(xí)算法?；谧涌臻g學(xué)習(xí)的LSR可以視為在原始樣本空間和標簽空間之間引入了一個中間子空間，這在一定程度上降低了單個轉(zhuǎn)換矩陣在投影上的壓力，其一般模型為：

值得注意的是，對于每一類樣本都擁有相同的回歸目標，比如對于第i類都有回歸目標[0,…,1,…,0]，其中第i個位置為1其余為0。這意味著在同一類別當中，由標簽矩陣H給出的樣本回歸目標之間具有很高的相關(guān)性，換句話說，對應(yīng)的標簽矩陣是低秩的。這是作為回歸目標的標簽矩陣自身所具備的一個很重要的屬性?；谶@一觀察，本文所提出的類內(nèi)低秩子空間學(xué)習(xí)ICLRSL算法模型如下:

其中，Q和W分別是原始數(shù)據(jù)空間到中間特征子空間、特征子空間到標簽子空間的變換矩陣，λ1、λ2和λ3為正則化參數(shù)。

模型（7）中加在子空間投影矩陣Q的約束||Q||2,1，有利于模型關(guān)注更重要的特征。在實際應(yīng)用中，由于原始樣本數(shù)據(jù)中往往包含大量冗余和噪聲信息，許多特征對于分類是無益的，因此稀疏性能給特征提取帶來不錯的收益。根據(jù)已有的工作[5,15]，l2,1范數(shù)良好的行稀疏特性能夠為特征選擇提供更好的可解釋性。通過l2,1范數(shù)約束，模型（7）可以自適應(yīng)地將大投影權(quán)重分配給更重要的特征，即具備類內(nèi)低秩性質(zhì)的特征。

2.2 算法優(yōu)化求解

本文使用增廣拉格朗日乘子法（alternating direction multipliers method,ADMM）[16]來解決式（7）的優(yōu)化問題。為便于求解，定義R=WQT和A=QTX，則式（7）被改寫為：

根據(jù)ADMM 算法，式（10）中變量可以被交替更新，即更新一個變量的時候固定其他變量。直到回歸條件滿足時迭代停止。每次更新變量時迭代過程如下：

更新變量R，此時固定其他變量，將其視為常量，則式（10）中與變量R相關(guān)的優(yōu)化問題為：

更新變量W，其他變量可視為常量，則式（10）中與變量W相關(guān)的優(yōu)化問題為：

同樣設(shè)置上式對W的偏導(dǎo)為0，可得到變量W的解析解為：

更新變量Q，其他變量可視為常量，因此式（10）與變量Q相關(guān)的優(yōu)化問題為：

關(guān)于Q的優(yōu)化問題是一個標準的l2,1范數(shù)最小化問題[17]，通過設(shè)置式（15）目標函數(shù)對Q的偏導(dǎo)為0，可以得到：

上式可通過奇異值軟閾值算子[18]對變量Ai進行更新。

更新拉格朗日乘子T1、T2和參數(shù)μ如下：

優(yōu)化算法的詳細流程如下：

算法1用ADMM求解ICLRSL算法優(yōu)化問題

通過優(yōu)化算法得到轉(zhuǎn)換矩陣R后，可直接利用R來分別得到訓(xùn)練樣本和測試樣本在標簽空間的投影。給定測試樣本y，可得到對應(yīng)的回歸向量為Ry。隨后，結(jié)合訓(xùn)練樣本的投影RX，本文應(yīng)用最近鄰（nearest neighbor，NN）分類器來完成對測試樣本標簽的預(yù)測:

3 實驗及分析

為了驗證所提出算法的有效性，本文分別在AR[19]、Extended Yale B[20-21]、CMU PIE[22]、FRGC[23]四個公開人臉數(shù)據(jù)集上進行了對比實驗。實驗中本文將所提出的算法與DLSR[5]、ReLSR（retargeted least-squares regression）[24]、GReLSR[6]、RLR[7]、DRR[8]、RLSL[11]、標簽一致KSVD（label consistent KSVD，LC-KSVD）[25]、LCPDL[12]和CDPL[13]進行對比，其中DLSR、ReLSR、GReLSR、RLR 和DRR 是基于標簽松弛技術(shù)的方法，RLR和DRR采用了熱核方法的加權(quán)圖進行約束。而在RLSL、LC-KSVD 和LCPDL 三個方法中使用的是原始二元標簽矩陣。

實驗中所有樣本數(shù)據(jù)均被歸一化到[0,1]。對于實驗中涉及參數(shù)選擇問題，所有方法均使用交叉驗證確定最佳數(shù)值組合。實驗中訓(xùn)練樣本和測試樣本的劃分，除了FRGC 數(shù)據(jù)集，均采用隨機從每類選取數(shù)個樣本作為訓(xùn)練樣本其余作為測試樣本的方式。對于FRGC數(shù)據(jù)集，直接使用劃定的訓(xùn)練集和測試集來進行實驗。每個參與比較的方法都重復(fù)10次取平均值作為最終結(jié)果。本文所提出方法的MATLAB代碼可以從https://github.com/cymir/ICLRSL下載。

本文實驗均在CPU為Intel core i5-4460@3.20 GHz，內(nèi)存為12.0 GB，操作系統(tǒng)為Windows 7 64 bit，Matlab版本為Matlab R2015a環(huán)境下進行。

3.1 人臉數(shù)據(jù)集實驗結(jié)果及分析

（1）AR 數(shù)據(jù)集[19]。原始的AR 數(shù)據(jù)集包含4 000多張彩色圖像，分別對應(yīng)126 個人的面部（70 位男性和56 位女性），并且包含不同的表情、光照條件和遮擋物（墨鏡和圍巾）。在本文實驗中，選取了由50 位女性和50 位男性受試者的2 600 張圖像組成的子集。AR 數(shù)據(jù)集部分示例圖像如圖1（a）所示。對于每個圖像，使用隨機投影方法進行降維，最后得到的特征維數(shù)為540維。對于這個數(shù)據(jù)集，每類隨機選取了4、6、8、10 個樣本作為訓(xùn)練樣本，剩余樣本則作為測試樣本。本文比較了所提出的方法以及上述提到的算法在此數(shù)據(jù)集上的識別率，最后得到的實驗結(jié)果如表1所示。

表1 各算法在AR數(shù)據(jù)集上的識別率Table 1 Classification accuracy of different algorithms on AR dataset 單位：%

圖1 4個數(shù)據(jù)集部分樣本示例Fig.1 Some samples in 4 datasets

（2）Extended Yale B 數(shù)據(jù)集[20-21]。Extended Yale B數(shù)據(jù)集采集了38 名人員的2 414 張正面彩色圖像。每一個實驗對象最多有64 張圖像，最少有59 張圖像。所有圖像大小都被調(diào)整為32×32。實驗環(huán)境嚴格控制不同的光照條件，部分示例圖像如圖1（b）所示。每類隨機選取了15、20、25、30 個樣本作為訓(xùn)練樣本，其余樣本則作為測試樣本。在此數(shù)據(jù)集上的實驗結(jié)果如表2所示。

表2 各算法在Extended Yale B數(shù)據(jù)集上的識別率Table 2 Classification accuracy of different algorithms on Extended Yale B dataset 單位：%

（3）CMU PIE 數(shù)據(jù)集[22]。CMU PIE 數(shù)據(jù)集包含68 個人的41 368 張圖像，包含13 種不同姿態(tài)、43 種不同光照條件和4種不同表情。實驗中選取了CMU PIE在模式識別當中被廣泛使用的一個子集，其中包含5 個近似正面的姿勢，以及全部的光照情況和表情。這個子集包含11 554個圖像，對于每個人有170張圖像，所有圖像都大小被規(guī)格化為32×32。CMU PIE 部分示例圖像如圖1（c）所示。對每個人隨機選擇10、15、20、25個圖像作為訓(xùn)練樣本，而剩余的其他圖像作為測試集。在這個數(shù)據(jù)集上的分類結(jié)果見表3。

表3 各算法在CMU PIE數(shù)據(jù)集上的識別率Table 3 Classification accuracy of different algorithms on CMU PIE dataset 單位：%

（4）FRGC 數(shù)據(jù)集[23]。實驗中使用的子集包含220 個人的4 400 張圖像，對于每個人各有10 張圖像被分別劃分為訓(xùn)練集和測試集。該子集包括一些分辨率較低、模糊和嚴重照明變化的圖像，這些圖像是在不同的極端條件下收集的，部分示例圖像如圖1（d）所示。實驗中將每個圖像大小從原始高維圖像調(diào)整為32×32，并直接使用數(shù)據(jù)集預(yù)先劃分的訓(xùn)練集和測試集進行實驗。最后的識別率結(jié)果如表4所示。

表4 各算法在FRGC數(shù)據(jù)集上的識別率Table 4 Classification accuracy of different algorithms on FRGC dataset 單位：%

從上述表格列出的實驗結(jié)果可以看出，在不同的人臉數(shù)據(jù)集上，本文所提出的ICLRSL方法都能得到最佳的識別效果。并且可以觀察到，相比使用松弛標簽的DLSR 方法，以其為基礎(chǔ)提出的GReLSR、RLR 和DRR 在AR 和FRGC 數(shù)據(jù)集上帶來了比較明顯的識別率提升，這說明在其基礎(chǔ)上做出的類內(nèi)相似性約束在某些情況下能夠抑制ε-拖動技術(shù)帶來的同類回歸目標的差異。但是也可以觀察到在CMU PIE 上，部分情況下，識別率的提升很小甚至沒有提升。而本文方法在所有數(shù)據(jù)集上都比采用ε-拖動技術(shù)的DLSR有更高的效果。

除了上述可以觀察到的情況以外，還可以從實驗結(jié)果中注意到，基于原始二元標簽矩陣的方法RLSL 和LCPDL 在部分情況下?lián)碛谐綐撕炈沙诜椒ǖ姆诸愋Ч?。這說明對數(shù)據(jù)進行初步編碼確實能夠在一定程度上提高整體性能。另外，也可以注意到在部分數(shù)據(jù)集上，LC-KSVD、LCDPL 和CDPL擁有相比之下較差的分類結(jié)果，這可能是由于對于初步編碼施加的約束在此數(shù)據(jù)集上并不合適而導(dǎo)致編碼丟失了判別性?；谝陨嫌懻摚疚乃岢龅腎CLRSL能夠在數(shù)據(jù)集上取得最佳的效果，這也說明子空間的類內(nèi)低秩約束能夠取得判別的對數(shù)據(jù)的初步表示。

另外，實驗中對不同訓(xùn)練集大小的情況也進行了對比實驗，從實驗結(jié)果可以很直觀地看出，隨著訓(xùn)練集的增大，所有方法的識別率都有所上升。而在不同的訓(xùn)練集大小下，ICLRSL算法始終可以得到不錯的結(jié)果。

3.2 子空間維數(shù)對實驗結(jié)果的影響

除了模型中λ1、λ2和λ3這3個參數(shù)以外，子空間維數(shù)d同樣也會對實驗結(jié)果產(chǎn)生影響。從文獻[11]中可知，一般情況下，最優(yōu)子空間維數(shù)通常位于類別數(shù)c附近。為了研究維數(shù)所帶來的影響，圍繞d的取值進行了實驗。圖2給出了在涉及的不同數(shù)據(jù)集上，在不同子空間維數(shù)取值的情況下，識別率的變化情況。

從圖2 可以觀察到，在子空間維數(shù)d＞c之后，識別率基本上達到了一個穩(wěn)定值。此時再增大子空間維數(shù)，識別率不再發(fā)生大幅變動，而是在穩(wěn)定值附近輕微地浮動。因此在本文的實驗中，為了實驗結(jié)果的穩(wěn)定將子空間維數(shù)d設(shè)置為類別數(shù)2c。

圖2 不同子空間維數(shù)下的識別率Fig.2 Classification accuracies versus dimensionality of subspace

3.3 消融實驗

為了研究所提出的ICLRSL 算法中采用的約束項對模型的影響，本節(jié)對其進行了消融實驗。算法涉及的約束項主要包括類內(nèi)低秩約束項自適應(yīng)特征選擇約束項||Q||2,1。

對于類內(nèi)低秩約束項，其目的是使模型在進行標簽空間投影前學(xué)習(xí)一個類內(nèi)低秩的中間特征。為了驗證其效果，在ICLRSL 模型的基礎(chǔ)上移除該項，得到以下模型：

對于自適應(yīng)特征選擇項，其目的是希望利用稀疏約束以應(yīng)對冗余信息。結(jié)合之前的低秩約束，達到從復(fù)雜數(shù)據(jù)中選擇類內(nèi)低秩的特征。為了驗證其效果，在模型中移除該項，則有如下模型：

同時，為了研究原始線性回歸和引入子空間學(xué)習(xí)的作用，模型（1）和模型（5）也被用于實驗對比。

消融實驗在本文涉及的4個人臉數(shù)據(jù)集上進行，對于AR、Extended Yale B 和CMU PIE 數(shù)據(jù)集分別選取訓(xùn)練集大小為10、30、25 個樣本，對于FRGC 數(shù)據(jù)集則與之前相同，最后的實驗結(jié)果如表5所示。

表5 消融實驗結(jié)果Table 5 Experimental results of ablation study 單位：%

從表5 可以看出，在所有數(shù)據(jù)集上，本文所提出的方法都能取得最好的結(jié)果。同時可以注意到模型（21）和模型（22）所代表的是所提出方法的兩個不同的約束項，其得到的實驗結(jié)果表示這兩個約束項單獨使用時在不同數(shù)據(jù)集上各有優(yōu)劣，并且都要略差于所提出的同時使用兩種約束項的ICLRSL 算法。這是因為類內(nèi)低秩約束項在一定程度上指明了特征提取的目標，也就是自適應(yīng)特征選擇項需要分配更大的重要特征。而自適應(yīng)特征選擇項則從冗余信息中提取出相對數(shù)據(jù)全體相對稀疏的重要特征。這兩個約束項可以說是缺一不可的。

模型（5）代表的是兩種約束項都不使用的情況，與只使用一種約束項的情況在不同數(shù)據(jù)集上相比也是各有勝負，這從另外一個角度說明了兩個約束項共同存在的必要性。因為類內(nèi)低秩的特征相對于全體特征而言是稀疏的，只使用任何一項約束都可能使模型提取到不夠判別的特征。

另外，對于原始線性回歸和引入子空間學(xué)習(xí)的模型（5），從實驗結(jié)果可以看到，在AR、Extended Yale B和FRGC數(shù)據(jù)集上，后者都擁有更高的識別效果，這在一定程度上說明使用兩個投影矩陣相比一個的情況可能得到更靈活的投影和更判別的數(shù)據(jù)表示。而在Extended Yale B數(shù)據(jù)集上，原始線性回歸的識別效果要比模型（5）稍好，考慮到此數(shù)據(jù)集相較而言更為簡單，這意味著直接使用單個投影矩陣也能獲得很好的數(shù)據(jù)表示。在另外3 個更復(fù)雜數(shù)據(jù)集上的結(jié)果也從側(cè)面說明了這一點。

4 結(jié)論

本文提出了一種類內(nèi)低秩的子空間學(xué)習(xí)方法ICLRSL。不同于LSR 直接學(xué)習(xí)從原始數(shù)據(jù)空間到標簽空間的線性投影，ICLRSL學(xué)習(xí)一個類內(nèi)低秩的子空間作為原始數(shù)據(jù)空間到標簽之間的變換從而提升整體的分類效果。中間子空間的引入，使得整個投影過程中會首先得到一個類內(nèi)低秩的中間特征，這與最終標簽的類內(nèi)高度相關(guān)性是一致的。并且，l2,1自適應(yīng)特征選擇約束的引入使得模型能從冗余信息中分配給重要特征更大的權(quán)重。因此，本文提出的ICLRSL 通過子空間學(xué)習(xí)和特征選擇可以最后得到判別的回歸向量作為新的數(shù)據(jù)表示。本文在四個公開數(shù)據(jù)集上驗證了所提出方法的有效性。