王學(xué)軍,王文劍,2,曹飛龍

(1.山西大學(xué) 計算機(jī)與信息技術(shù)學(xué)院, 太原 030006； 2.計算智能與中文信息處理教育部重點實驗室，太原 030006 3.中國計量大學(xué) 理學(xué)院, 杭州 310018)

基于自步學(xué)習(xí)的加權(quán)稀疏表示人臉識別方法

王學(xué)軍1,王文劍1,2*,曹飛龍3

(1.山西大學(xué) 計算機(jī)與信息技術(shù)學(xué)院, 太原 030006； 2.計算智能與中文信息處理教育部重點實驗室，太原 030006 3.中國計量大學(xué) 理學(xué)院, 杭州 310018)

近年來基于稀疏表示的分類方法(SRC)成為了一個新的熱點問題，在人臉識別領(lǐng)域取得了很大的成功。但基于稀疏表示的方法在重建待測樣本時，有可能會利用與待測樣本相差較大的訓(xùn)練樣本，并且沒有考慮到表示系數(shù)的局部信息，從而導(dǎo)致分類結(jié)果不穩(wěn)定。提出一種基于自步學(xué)習(xí)的加權(quán)稀疏表示算法SPL-WSRC，在字典中有效剔除與待測樣本相差較大的訓(xùn)練樣本，并利用加權(quán)手段考慮樣本間的局部信息，以提高分類精度和穩(wěn)定性。通過3個典型的人臉數(shù)據(jù)集中的實驗，實驗結(jié)果表明,所提算法優(yōu)于原稀疏表示算法SRC，特別是當(dāng)訓(xùn)練樣本足夠多時,效果更明顯。

基于稀疏表示的分類方法；分類；自步學(xué)習(xí); 加權(quán)系數(shù)；人臉識別

0 引言

人臉識別作為模式識別中最為典型的方向，已廣泛應(yīng)用于銀行監(jiān)控系統(tǒng)、自動門衛(wèi)系統(tǒng)、公安系統(tǒng)中的罪犯身份識別等領(lǐng)域[1]。然而，人臉圖像受表情變化、光照及遮擋等因素影響，使得其在應(yīng)用中受到限制。為了提高人臉識別的準(zhǔn)確率，一般要先進(jìn)行人臉圖片的預(yù)處理，主要有人臉檢測和人臉矯正，人臉檢測的方法有基于特征的方法、基于知識的方法[2]、模板匹配法[3]等；人臉矯正主要通過旋轉(zhuǎn)、縮放和鏡像變化[4-5]等。然后進(jìn)行特征提取，將數(shù)據(jù)投影到低維特征子空間，如主成分分析[6]、二維主成分分析[7]、線性判別分析[8]、拉普拉斯特征映射[9]等，另一個最關(guān)鍵的是構(gòu)造分類器，如支持向量機(jī)[10]、神經(jīng)網(wǎng)絡(luò)[11]等,目前最廣泛分類器就是最近鄰分類器[12]。但是，利用訓(xùn)練數(shù)據(jù)中最近的樣本去判斷待測數(shù)據(jù)的類別，這并不魯棒，容易受到噪聲的影響。最近特征子空間[13-15]作為最近鄰的推廣，其會用到同一類的所有訓(xùn)練數(shù)據(jù)去逼近待測數(shù)據(jù)，哪一類的逼近誤差最小，從而判斷待測數(shù)據(jù)的類別。但是當(dāng)不同類中的數(shù)據(jù)高度相關(guān)時，最近特征子空間的方法可能失效。為了解決這個問題，提出了基于稀疏表示的分類方法(Sparse Representation based Classifier, SRC)[16]。不同于最近特征子空間的方法，SRC用所有類別的訓(xùn)練數(shù)據(jù)去共同表示待測數(shù)據(jù)，并對待測樣本的表示系數(shù)進(jìn)行稀疏編碼，這使得SRC算法在識別人臉數(shù)據(jù)時，可以克服噪聲或遮擋嚴(yán)重等不利影響，促進(jìn)了基于稀疏表示人臉識別的研究。Elhamifar等[17]利用結(jié)構(gòu)稀疏表示提出了更為魯棒的分類方法，Gao等[18]提出了稀疏表示的核學(xué)習(xí)版本，Wang等[19]提出了局部約束的稀疏表示方法，Liu等[20]提出了非負(fù)約束的稀疏表示方法。但基于稀疏表示的分類方法存在一個弊端，當(dāng)用訓(xùn)練樣本重建待測樣本時，有時會利用到與待測樣本相差較大的訓(xùn)練樣本，導(dǎo)致分類結(jié)果較差。

自步學(xué)習(xí)[21]是一種來源于人類學(xué)習(xí)機(jī)制的方法，人們對于知識的攝取都是由易到難，同樣在機(jī)器學(xué)習(xí)中，也可以利用這一思想，讓算法循序漸進(jìn)地學(xué)習(xí)。通過每個訓(xùn)練樣本的訓(xùn)練誤差來刻畫難易程度，給定某個閾值，當(dāng)訓(xùn)練誤差大于閾值時，此樣本為“困難”樣本，反之則為“簡單”樣本。先通過“簡單”樣本確定算法參數(shù)，再增大閾值，重新劃分“簡單”樣本和“困難”樣本，更新算法參數(shù)，這樣反復(fù)進(jìn)行下去,直到收斂。Zhao等[22]提出了自步學(xué)習(xí)的矩陣分解方法并從優(yōu)化的目標(biāo)函數(shù)對其進(jìn)行解釋[23]。 Kumar等[21]提出了隱含變量模型的自步學(xué)習(xí)方法。李豪等[24]提出了基于進(jìn)化多目標(biāo)優(yōu)化的自步學(xué)習(xí)方法。本文將自步學(xué)習(xí)與加權(quán)稀疏表示算法相結(jié)合，通過圖像之間的歐氏距離刻畫樣本的難易程度，循序漸進(jìn)地表示待測樣本，可以有效剔除字典中與待測樣本相差較大的訓(xùn)練樣本，避免重建待測樣本時利用差距較大的訓(xùn)練樣本，同時利用稀疏系數(shù)加權(quán)考慮樣本間的局部信息提高識別的精度和穩(wěn)定性，從而提出基于自步學(xué)習(xí)的加權(quán)稀疏表示算法。

1 背景知識

1.1 基于稀疏表示分類器

基于稀疏表示分類器可以當(dāng)作廣義的最近特征子空間方法。假設(shè)屬于C類的待測樣本只由其所屬類的所有訓(xùn)練樣本表示，而其他類別不參加表示。其公式表示如下：

y=Xα0

(1)

(2)

s.t.y=Xα

其中‖·‖0為l0范數(shù)，表示向量α中非零元素的個數(shù)。但求解此問題是一個NP-hard問題[25]。壓縮感知理論[26-27]揭示了當(dāng)向量α足夠稀疏時，最小化l0問題等同于l1最小化問題：

(3)

s.t.y=Xα

當(dāng)考慮遮擋或噪聲的情況，其可以擴(kuò)展成以下形式:

(4)

與其他的人臉識別方法相比，特征提取方法對基于稀疏表示的人臉識別已不那么重要。如果數(shù)據(jù)的特征維數(shù)足夠大，即使是隨機(jī)投影或下采樣這種簡單的提取特征方法，也可以獲得較好結(jié)果，所以本文實驗中利用下采樣這種特征提取方法。

1.2 自步學(xué)習(xí)

自步學(xué)習(xí)的思想來源于人類學(xué)習(xí)機(jī)制，人類的學(xué)習(xí)過程都是由易到難的過程，所以在機(jī)器學(xué)習(xí)模型中也可以引入這樣的機(jī)制。對于n個訓(xùn)練樣本，利用損失值的大小刻畫樣本的難易程度，用L(yi,f(xi,w))表示損失函數(shù)，yi為真實值，f(xi,w)為學(xué)習(xí)器估計值，w為學(xué)習(xí)器中的參數(shù)，xi為訓(xùn)練樣本。引入一個權(quán)值變量v=[v1,v2,…,vn]T，自步學(xué)習(xí)的數(shù)學(xué)模型如下：

(5)

2 基于自步學(xué)習(xí)的加權(quán)稀疏表示分類

基于稀疏表示的分類器在重建待測樣本時，有時會用到與待測樣本相差較大的訓(xùn)練樣本，導(dǎo)致識別精度下降。為了有效避免這一情況，本文在基于稀疏表示分類算法中利用自步學(xué)習(xí)機(jī)制，讓其表示過程從易到難逐步進(jìn)行。為此在訓(xùn)練樣本中定義“簡單”樣本和“困難”樣本，這樣在重建待測樣本時，不會用到“困難”樣本，從而克服基于稀疏表示的這一弊端。 不同于自步學(xué)習(xí)利用損失函數(shù)的定義方式，本文利用圖像之間的距離來刻畫難易程度，在訓(xùn)練樣本中通過加權(quán)的方式，挑選“簡單”樣本，如果訓(xùn)練樣本與待測樣本的距離大于某一閾值，則權(quán)值為0,反之為1，從而保證在表示待測樣本時不會用到相差較大的訓(xùn)練樣本。

基于稀疏表示的分類方法往往會丟失局部信息，Yu等[32]提出在一些特定的假設(shè)之下局部信息比稀疏性更為重要，因此在稀疏編碼過程中利用加權(quán)稀疏表示方法，其既能保留測試樣本和其較近訓(xùn)練樣本的相似性又能找到稀疏表示[33]。

通過這兩點提出了基于自步學(xué)習(xí)的加權(quán)稀疏表示分類方法，主要包括兩個步驟：首先要求出自步學(xué)習(xí)的加權(quán)稀疏系數(shù)α，然后根據(jù)稀疏系數(shù)α進(jìn)行分類。本文將所有訓(xùn)練樣本構(gòu)成字典X=[X1，X2，…，XC]∈Rm×n，定義加權(quán)矩陣W∈Rn×n，自步學(xué)習(xí)矩陣V∈Rn×n，W、V均是一對角矩陣，其數(shù)學(xué)模型如下：

(6)

s.t.y=XVα

(7)

其中diag(W)表示W(wǎng)對角元素構(gòu)成的向量。

k=1,2,…,C,i=1,2,…,nc

這種加權(quán)可以更好地說明測試樣本和訓(xùn)練樣本之間的相似性。

自步學(xué)習(xí)矩陣V根據(jù)待測和訓(xùn)練樣本間距離是否大于閾值λ構(gòu)造，V的對角元素vii表示如下：

(8)

參數(shù)λ相當(dāng)于自步學(xué)習(xí)中的“年齡”參數(shù)。其直觀理解為當(dāng)待測樣本與訓(xùn)練樣本不相似時，會把其當(dāng)作“困難”樣本從而不參與稀疏表示。隨著參數(shù)λ的增加，“困難”樣本會逐漸被選進(jìn)字典參與表示。這種循序漸進(jìn)的表示可以有效避免利用相差較大的訓(xùn)練樣本?；谧圆綄W(xué)習(xí)的加權(quán)稀疏系數(shù)α的求解過程如算法1所示。

算法1 求解自步學(xué)習(xí)的加權(quán)稀疏系數(shù)α。

輸入 訓(xùn)練圖片所構(gòu)成矩陣X，待測圖片y，變量σ、λ、ε和μ>1。

輸出 自步學(xué)習(xí)的加權(quán)稀疏系數(shù)α。

While not convergence do

1)

2)

通過優(yōu)化下式，對待測圖片進(jìn)行編碼

3)

4)

更新參數(shù)λ=μλ。

5)

end while

求得自步學(xué)習(xí)的加權(quán)稀疏系數(shù)α后，基于自步學(xué)習(xí)的加權(quán)稀疏表示分類算法如下：

算法2 SPL-WSRC(Self-Paced Learning Weight Sparse Representation based Classifier)。

輸入 訓(xùn)練圖片所構(gòu)成矩陣X，待測圖片y。

輸出 待測圖片y的類別。

1)

將矩陣X每列和待測圖片y標(biāo)準(zhǔn)化。

2)

通過算法1求自步學(xué)習(xí)的加權(quán)稀疏系數(shù)α。

3)

計算殘差ri=‖y-Xiαi‖2，其中αi對應(yīng)矩陣中Xi的系數(shù)。

4)

注意，算法1中第2)步在優(yōu)化式(6)時，要做一個等價的變形，令β=Wα。

s.t.y=XV(W)-1β

這樣可以直接利用求解式(3)的優(yōu)化方法，本文SRC和SPL-WSRC算法中求解最小化問題均采用同倫算法[29]。

3 實驗及參數(shù)設(shè)置

本文所有實驗在Windows下Matlab (2014b)版本，處理器為Intel Xeon E5-2630 2.4 GHz、內(nèi)存為64 GB的PC上執(zhí)行。相對于SRC算法，SPL-WSRC算法涉及更多的參數(shù)主要有λ、σ、μ和n。其中“年齡”參數(shù)λ控制選入樣本的“難易”程度，主要由數(shù)據(jù)集中樣本間的歐氏距離確定，設(shè)定較大的初值λ,這樣保證最初選入較多的樣本,如果樣本選擇過少，會降低算法識別精度。另一個重要參數(shù)是最大迭代次數(shù)n，實驗顯示通常迭代5或6次即能得到穩(wěn)定結(jié)果，σ和μ設(shè)定參照了前人的工作[19,30]。本文實驗中λ=1 600，σ=1.5，μ=1.1，ε=10-4，最大迭代次數(shù)n=5。在求解式(6)時用到了SPAMS工具包[31-32]中mexLassoWeighted函數(shù)。

本文選擇AR[36]、Feret[37]和Cropped YaleB[38]3個典型的人臉數(shù)據(jù)集進(jìn)行比較實驗。如表1所示：AR數(shù)據(jù)集包括50個男性和50個女性的人臉圖片，每個人均有26張圖片，其中圖片包括光照、表情、偽裝(戴墨鏡、圍巾)等變化情況。Feret數(shù)據(jù)集包含14 051張多姿態(tài)，多光照的人臉圖像，是人臉識別領(lǐng)域應(yīng)用廣泛的人臉數(shù)據(jù)庫之一，而本文選擇了Feret數(shù)據(jù)集的一個子集，包含72個人，每人只有6張正面圖片，這樣可以考察每個人人臉圖片較少時，算法性能情況。Cropped YaleB數(shù)據(jù)集包含38個人的人臉，每個人有65張圖片，人臉圖片是在不同光照下采集的。

表1 實驗中各人臉數(shù)據(jù)集中的屬性及特點Tab. 1 Attributes and characteristics of face database in the experiments

比較實驗中除本文方法外還有最近鄰分類器(Nearest Neighbor, NN)、基于稀疏表示的分類器(Sparse Representation based Classifier, SRC)、加權(quán)稀疏表示分類器(Weight Sparse Representation based Classifier, WSRC)，其中WSRC只考慮樣本間的局部信息，并沒有引入自步學(xué)習(xí)的思想。本文對每個數(shù)據(jù)集設(shè)置3個實驗：第一個實驗利用下采樣的特征提取方式在不同維數(shù)下對4個算法進(jìn)行比較，將數(shù)據(jù)集中編號為奇數(shù)的圖片作為訓(xùn)練樣本，編號為偶數(shù)的圖片作為測試樣本。這樣AR、Feret和Cropped YaleB分別有1 300、216、1 254張訓(xùn)練圖片，1 300、216、1 216張測試圖片。第2個實驗則固定人臉圖片下采樣的大小，均為20×15這樣數(shù)據(jù)維數(shù)均為300；然后將3個數(shù)據(jù)集中每個人的圖片隨機(jī)分成兩部分，一部分作為訓(xùn)練集，另一部分用于測試，隨機(jī)進(jìn)行10次實驗，取其均值、標(biāo)準(zhǔn)差以及平均測試時間進(jìn)行比較。第三個實驗則對不同“年齡”參數(shù)λ進(jìn)行分析。

3.1 實驗一

圖1～3展示了不同數(shù)據(jù)集中4種算法在不同特征維數(shù)下識別率的變化。

圖1 AR數(shù)據(jù)集中各算法在不同維數(shù)下的識別率比較Fig. 1 Recognition rate versus different dimensionality on AR

采用下采樣的特征提取方式，圖片下采樣為10×5、15×10、20×15、25×20、30×25，對應(yīng)維數(shù)為50、150、300、500、750?？梢钥闯?種算法的識別率均隨著特征維數(shù)增加而增加，當(dāng)維數(shù)達(dá)到500時，所有數(shù)據(jù)集中的識別率基本趨于平穩(wěn)，即使特征維數(shù)繼續(xù)增加，識別率變化不大。SRC、WSRC、SPL-WSRC 3個算法的識別效果在3個數(shù)據(jù)集上均要明顯優(yōu)于NN算法。只考慮樣本間局部信息的WSRC算法性能介于SRC和SPL-WSRC算法之間。

圖2 Feret數(shù)據(jù)集中各算法在不同維數(shù)下的識別率比較Fig. 2 Recognition rate versus different dimensionality on Feret

圖3 Cropped YaleB數(shù)據(jù)集中各算法在不同維數(shù)下的識別率比較Fig. 3 Recognition rate versus different dimensionality on Cropped YaleB

從圖1～3可以看出，在AR和Cropped YaleB數(shù)據(jù)集下SPL-WSRC算法在所有維數(shù)下均取得最高識別率，而在Feret數(shù)據(jù)集中當(dāng)維數(shù)取50時，SRC、WSRC和SPL-WSRC算法識別率相同，均為82.41%，但隨著維數(shù)的不斷增加，SPL-WSRC算法的識別率才逐漸優(yōu)于SRC、WSRC算法。AR和Feret數(shù)據(jù)集中表示SPL-WSRC的線段與表示SRC、WSRC的線段間距離較小，而在Cropped YaleB中兩者之間的距離較大，所以說SPL-WSRC算法在Cropped YaleB下的提升效果最為明顯。

為了更為直觀地理解所提算法的優(yōu)勢，以AR數(shù)據(jù)集中第21個人編號為12的人臉圖片為例，當(dāng)維數(shù)取300，奇數(shù)編號訓(xùn)練，偶數(shù)編號測試時，SRC算法會將其識別為第22個人如圖4,而SPL-WSRC算法仍能正確識別。這張人臉圖片在SRC和SPL-WSRC算法下所求得的稀疏系數(shù)如圖5所示。橫坐標(biāo)用方框所框區(qū)間是261～273，最理想的情況就是系數(shù)α的非零值全部落入此區(qū)間，這是因為第21個人的待測人臉圖片應(yīng)該由第21個人的所有訓(xùn)練圖片表示，每個人有13張訓(xùn)練圖片，這樣前20人的訓(xùn)練圖片構(gòu)成矩陣中第1～260列，第21人的所有訓(xùn)練圖片對應(yīng)261～273列。盡管SRC算法和SPL-WSRC算法均沒有出現(xiàn)此情況。但從圖中可以看到，在表示待測樣本時，SRC算法用到其他類別訓(xùn)練樣本9張(非方框區(qū)間的非零值個數(shù))，SPL-WSRC算法只用到了5張，并且提高了所屬類別訓(xùn)練樣本的表示比重(方框區(qū)間內(nèi)非零值變大)。這也正是SPL-WSRC算法能夠提高識別率和穩(wěn)定性的關(guān)鍵。

圖4 SRC算法第21人識別為第22人Fig. 4 The 21th person is identified as the 22nd person in AR by SRC

圖5 AR數(shù)據(jù)集中不同算法求得的稀疏系數(shù)αFig. 5 Sparse coefficients α of different algorithms for AR

3.2 實驗二

實驗二中，每人的訓(xùn)練樣本隨機(jī)選擇，但其選擇個數(shù)固定為t，對應(yīng)每人的測試樣本數(shù)分別為26-t、6-t、65-t。表2、3分別展示了AR、Feret和Cropped YaleB數(shù)據(jù)集在t取值不同時，不同算法10次實驗的平均測試精度和平均測試時間(表中±部分表示標(biāo)準(zhǔn)差)。表2中加粗部分表示最好的識別結(jié)果。在AR數(shù)據(jù)集中SPL-WSRC算法精度上優(yōu)于SRC、WSRC算法，并且標(biāo)準(zhǔn)差更小。當(dāng)訓(xùn)練樣本數(shù)為16時，SPL-WSRC相較于SRC、WSRC算法識別精度分別高了1.26%、0.82%，而當(dāng)訓(xùn)練樣本數(shù)為10、12、14時，其識別率相較于SRC分別高了0.5%、0.91%、1.01%,相較于WSRC分別高了0.29%、0.51%、0.92%。而在平均測試時間上，由于SPL-WSRC算法是一種循序漸進(jìn)的表示過程，所以運(yùn)行時間較長。

Feret中當(dāng)每人訓(xùn)練樣本數(shù)為 2 時，SPL-WSRC算法的識別率要低于SRC算法，但高于WSRC算法。當(dāng)訓(xùn)練樣本數(shù)增加時，SPL-WSRC和WSRC算法才逐漸優(yōu)于SRC算法。當(dāng)訓(xùn)練樣本數(shù)分別為3、4、5時，SPL-WSRC算法相較于SRC算法的識別率分別高了0.8%、1.01%、1.23%，相對于WSRC識別率分別高了0.45%、0.85%、1.02%。針對這一情況，圖6給出了SRC和SPL-WSRC算法下求得的稀疏系數(shù)α，此時待測圖片是Feret數(shù)據(jù)集中第23個人編號為5的人臉圖片,維數(shù)取300，每人編號為1、2的人臉圖片構(gòu)成訓(xùn)練集。盡管SRC表示待測樣本時用到其他類別訓(xùn)練樣本9張，SPL-WSRC算法僅為5張，但也剔除了其所屬類別的訓(xùn)練樣本，導(dǎo)致SPL-WSRC錯誤識別，而SRC識別正確。

在Cropped YaleB數(shù)據(jù)集下SPL-WSRC算法優(yōu)于SRC和WSRC算法，當(dāng)訓(xùn)練樣本數(shù)分別為25、30、35、40時，SPL-WSRC的識別率要比SRC算法分別高1.17%、2.41%、2.9%、2.82%，比WSRC算法分別高0.98%、1.72%、1.84%、1.94%。相較于前兩個數(shù)據(jù)集，所提算法的優(yōu)勢更為明顯。

表2 各算法隨訓(xùn)練樣本數(shù)變化的測試精度比較Tab. 2 Comparison of test accuracy for different algorithms with different number of training samples

表3 各算法隨訓(xùn)練樣本數(shù)變化的測試時間比較 sTab. 3 Comparison of test time for different algorithms with different number of training samples s

從實驗結(jié)果可以看出，本文所提SPL-WSRC算法在多數(shù)情況下識別率及標(biāo)準(zhǔn)差均優(yōu)于NN、SRC和WSRC算法，只有在Feret數(shù)據(jù)集中當(dāng)每人訓(xùn)練樣本很少時，SPL-WSRC算法稍差于SRC算法，但仍然優(yōu)于只考慮加權(quán)的WSRC算法。

在Cropped YaleB數(shù)據(jù)集中SPL-WSRC算法識別率提升效果最為明顯。與此同時，對于這3個人臉數(shù)據(jù)集，當(dāng)每個人的訓(xùn)練樣本數(shù)增加時，SPL-WSRC算法相較于SRC算法識別精度的提高值更大。這是因為當(dāng)每類訓(xùn)練樣本很少時，依然按照由簡到難的方式學(xué)習(xí)，有很大概率剔除一些相對重要的樣本從而影響識別精度，而當(dāng)訓(xùn)練樣本充足時，會避免這一情況。因此，本文所提算法更適用于訓(xùn)練樣本較多的情況，有利于SPL-WSRC算法進(jìn)行樣本篩選。

3.3 實驗三

在SPL-WSRC中，“年齡”參數(shù)λ決定著“困難”樣本的選擇，其對最終結(jié)果影響較大，AR、Feret和Cropped YaleB中編號為奇數(shù)的圖片作為訓(xùn)練集，編號為偶數(shù)的為測試集，圖片均下采樣為25×20，當(dāng)其他參數(shù)選取一致時，識別率與參數(shù)λ的關(guān)系如表4，可以看到當(dāng)其取值較小時，識別精度很低，這是由于一開始字典中很多樣本被當(dāng)作“困難”樣本被剔除，過多的樣本剔除降低了字典的表示能力; 但隨著參數(shù)λ的不斷增加，三個數(shù)據(jù)集中識別率不斷上升，均在λ=1 600時，達(dá)到最優(yōu)。而當(dāng)λ繼續(xù)增加時，SPL-WSRC算法性能有所下降，并與WSRC算法性能相近，這是因為當(dāng)λ取值較大時，會將所有樣本當(dāng)作“簡單”樣本參與表示，從而失去了自步學(xué)習(xí)的意義。

表4 3個人臉數(shù)據(jù)集中SPL-WSRC 在不同λ取值下識別率比較 %Tab. 4 Recognition rate of SPL-WSRC under different values of λ on three face databases %

4 結(jié)語

針對基于稀疏表示的分類方法存在的弊端，本文在自步學(xué)習(xí)和加權(quán)方法的啟發(fā)下，提出了基于自步學(xué)習(xí)的加權(quán)稀疏表示分類算法，其可以有效剔除與待測樣本相差較大的訓(xùn)練樣本，避免重建待測樣本時利用差距較大的訓(xùn)練樣本，并且在表示系數(shù)上加權(quán)可以有效考慮樣本間的局部信息。 通過3個特點各異的人臉數(shù)據(jù)集，驗證了SPL-WSRC相對于NN、SRC和WSRC算法，可以有效提高人臉識別的精度和穩(wěn)定性，特別是當(dāng)訓(xùn)練樣本較多時，提高效果更為明顯，但SPL-WSRC算法在運(yùn)行時間上并不占優(yōu)。未來工作中會在其他SRC的改進(jìn)算法引入自步學(xué)習(xí)思想，如加核學(xué)習(xí)、局部約束、魯棒稀疏編碼等，進(jìn)一步研究自步學(xué)習(xí)對于算法性能的提升。

圖6 Feret數(shù)據(jù)集中不同算法求得的稀疏系數(shù)αFig. 6 Sparse coefficients α of different algorithms for Feret

References)

[1] 梁路宏, 艾海舟, 徐光祐,等. 人臉檢測研究綜述[J]. 計算機(jī)學(xué)報, 2002, 25(5):449-458.(LIANG L H, AI H Z, XU G Y, et al. A survey of human face detection[J]. Chinese Journal of Computers, 2002, 25(5):449-458.)

[2] YANG G, HUANG T S. Human face detection in a complex background[J]. Pattern Recognition, 1994, 27(1):53-63.

[3] SAKAI T, NAGAO M, FUJIBAYASHI S. Line extraction and pattern detection in a photograph[J]. Pattern Recognition, 1969, 1(3):233-236.

[4] ROWLEY H, BALUJA S, KANADE T. Neural network-based face detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(1):23-38.

[5] KARUNGARU S, FUKUMI M, AKAMATSU N. Human face detection in visual scenes using neural networks[J]. Advances in Neural Information Processing Systems, 1997, 8(6):995-1000.

[6] TURCK M A, PENTLAND A P. Face recognition using eigenfaces[C]// Proceedings of the 1991 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 1991:586-591.

[7] 陳伏兵, 陳秀宏, 高秀梅,等. 二維主成分分析方法的推廣及其在人臉識別中的應(yīng)用[J]. 計算機(jī)應(yīng)用, 2005, 25(8):1767-1770. (CHEN F B, CHEN X H, GAO X M, et al. Generalization of 2DPCA and its application in face recogniiton[J]. Journal of Computer Applications, 2005, 25(8):1767-1770.)

[8] BELHUMEUR P N, HESPANHA J, KRIEGMAN D J. Eigenfaces vs. Fisherfaces: recognition using class specific linear projection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996, 19(7):711-720.

[9] HE X, YAN S, HU Y, et al. Face recognition using Laplacian faces[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(3):328-340.

[10] OSUNA E, FREUND R, GIROSIT F. Training support vector machines: an application to face detection[C]// Proceedings of the 1997 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 1997:130-136.

[11] MENG J E, WU S, LU J. Face recognition using Radial Basis Function (RBF) neural networks[C]//Proceedings of the 1999 IEEE Conference on Decision and Control. Piscataway, NJ: IEEE, 1999:2162-2167.

[12] COVER T, HART P. Nearest neighbor pattern classification[J].IEEE Transactions on Information Theory, 1967, 13(1):21-27.

[13] SHAN S, GAO W, ZHAO D. Face identification from a single example image based on Face-Specific Subspace (FSS)[C]// Proceedings of the 2002 IEEE International Conference on Acoustics, Speech, and Signal Processing. Piscataway, NJ: IEEE, 2002:2125-2128.

[14] SHAN S, GAO W, ZHAO X, et al. Novel face recognition based on individual eigen-subspaces[C]// Proceedings of the 2000 IEEE International Conference on Signal Processing. Piscataway, NJ: IEEE, 2000: 1522-1525.

[15] LIU X, CHEN T, KUMAR B V K V. Face authentication for multiple subjects using eigenflow[J]. Pattern Recognition, 2003, 36(2):313-328.

[16] WRIGHT J, YANG A Y, GANESH A, et al. Robust face recognition via sparse representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 31(2): 210-227.

[17] ELHAMIFAR, VIDAL R. Robust classification using structured sparse representation[C]// Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2011:1873-1879.

[18] GAO S, TSANG W H, CHIA L T. Kernel sparse representation for image classification and face recognition[C]// Proceedings of the 11th European Conference on Computer Vision. Berlin: Springer, 2010: 1-14.

[19] WANG J, YANG J, YU K, et al. Locality-constrained linear coding for image classification[C]// Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2010: 3360-3367.

[20] LIU Y, WU F, ZHANG Z, et al. Sparse representation using nonnegative curds and whey[C]// Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2010:3578-3585.

[21] KUMAR M P, PACKER B, KOLLER D. Self-paced learning for latent variable models[C]// Proceedings of the 23rd International Conference on Neural Information Processing Systems. Vancouver: Curran Associates Inc., 2010: 1189-1197.

[22] ZHAO Q, MENG D Y, LU J, et al. Self-paced learning for matrix factorization[C]// Proceedings of the 2015 AAAI Conference on Artificial Intelligence. Menlo Park, CA: AAAI, 2015:3196-3202.

[23] MENG D Y, ZHAO Q. What objective does self-paced learning indeed optimize?[EB/OL].[2016- 11- 20]. http://lanl.arxiv.org/pdf/1511.06049.pdf.

[24] 李豪, 公茂果. 基于進(jìn)化多目標(biāo)優(yōu)化的自步學(xué)習(xí)方法研究[EB/OL]. [2017- 04- 27]. http://www.paper.edu.cn/releasepaper/content/201704-670. (LI H, GONG M G. Research on self-paced learning based on evolutionary multi-objective optimization[EB/OL]. [2017- 04- 27].http://www.paper.edu.cn/releasepaper/content/201704-670.)

[25] AMALDI E, KANN V. On the approximability of minimizing nonzero variables or unsatisfied relations in linear systems[J]. Theoretical Computer Science, 1998, 209(1/2):237-260.

[26] DONOHO D L. For most large underdetermined systems of linear equations the minimal L1-norm solution is also the sparsest solution[J]. Communications on Pure and Applied Mathematics, 2006, 59(6): 797-829.

[27] CANDES E J, ROMBERG J K, TAO T. Stable signal recovery from incomplete and inaccurate measurements[J]. Communications on Pure and Applied Mathematics, 2005, 59(8): 1207-1223.

[28] KOJIMA M, MEGIDDO N, MIZUNO S. Theoretical convergence of large-step primal—dual interior point algorithms for linear programming[J]. Mathematical Programming, 1993, 59(1):1-21.

[29] OSBOME M R, PRESNELL B, TURLACH B A. A new approach to variable selection in least squares problems[J]. IMA Journal of Numerical Analysis, 2000, 20(3):389-403.

[30] BERTSEKAS D P. Constrained Optimization and Lagrange Multiplier Methods[M]. New York: Athena Scientific, 1982: 383-392.

[31] GORSKI J, PFEUFFER F, KLAMROTH K. Biconvex sets and optimization with biconvex functions: a survey and extensions[J]. Mathematical Methods of Operations Research, 2007, 66(3): 373-407.

[32] YU K, ZHANG T, GONG Y. Nonlinear learning using local coordinate coding[C]// Proceedings of the 22nd International Conference on Neural Information Processing Systems. Vancouver: Curran Associates Inc. 2009:2223-2231.

[33] LU C Y, MIN H, GUI J, et al. Face recognition via weighted sparse representation[J]. Journal of Visual Communication and Image Representation, 2013, 24(2): 111-116.

[34] MAIRAL J, BACH F, PONCE J, et al. Online dictionary learning for sparse coding[C]// Proceedings of the 26th Annual International Conference on Machine Learning. New York: ACM, 2009:689-696.

[35] MAIRAL J, BACH F, PONCE J, et al. Online learning for matrix factorization and sparse coding[J]. Journal of Machine Learning Research, 2009, 11(1): 19-60.

[36] MARTINEZ A M. The AR face database[EB/OL]. [2016- 11- 20].https://www.researchgate.net/publication/243651904_The_AR_face_database.

[37] PHILLIPS P J, WECHSLER H, HUANG J, et al. The FERET database and evaluation procedure for face-recognition algorithms[J]. Image and Vision Computing, 1998, 16(5):295-306.

[38] LEE K C, HO J, KRIEGMAN D J. Acquiring linear subspaces for face recognition under variable lighting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(5):684-698.

This work is partially supported by the National Natural Science Foundation of China (61673249, 61672477, 61503229), the Research Project Supported by Shanxi Scholarship Council of China (2016- 004).

WANGXuejun, born in 1989, Ph. D. candidate. His research interests include machine learning, image processing.

WANGWenjian, born in 1968, Ph. D., professor. Her research interests include computation intelligence, data mining.

CAOFeilong, born in 1965, Ph. D., professor. His research interests include neural network, computation intelligence.

Weightedsparserepresentationbasedonself-pacedlearningforfacerecognition

WANG Xuejun1，WANG Wenjian1,2*，CAO Feilong3

(1.CollegeofComputerandInformationTechnology,ShanxiUniversity,TaiyuanShanxi030006,China;2.KeyLaboratoryofComputationalIntelligenceandChineseInformationProcessingofMinistryofEducation,TaiyuanShanxi030006,China;3.CollegeofScience,ChinaJiliangUniversity,HangzhouZhejiang310018,China)

In recent years, Sparse Representation based Classifier (SRC) has become a hot issue which has been great successful in face recognition. However, when the SRC reconstructed test samples, it is possible to use the training samples with large difference from the test samples, meanwhile, SRC tends to lose locality information and thus produces unstable classification results. A Self-Paced Learning Weighted Sparse Representation based Classifier (SPL-WSRC) was proposed. It could effectively eliminate the training samples with large difference from the test samples. In addition, locality information between the samples was considered by weighting to improve the classification accuracy and stability. The experimental results on three classical face databases show that the proposed SPL-WSRC algorithm is better than the original SRC algorithm. The effect is more obvious, especially when the training samples are enough.

Sparse Representation based Classifier (SRC); classification; self-paced learning; weighting coefficient; face recognition

2017- 05- 16;

2017- 07- 05。

國家自然基金資助項目(61673249, 61672477, 61503229);山西省回國留學(xué)人員科研資助項目(2016- 004)。

王學(xué)軍(1989—)，男，河北邢臺人，博士研究生，主要研究方向：機(jī)器學(xué)習(xí)、圖像處理； 王文劍(1968—)，女，山西太原人，教授，博士，CCF高級會員，主要研究方向：計算智能、數(shù)據(jù)挖掘； 曹飛龍(1965—)，男，浙江仙居人，教授，博士，主要研究方向：神經(jīng)網(wǎng)絡(luò)、計算智能。

1001- 9081(2017)11- 3145- 07

10.11772/j.issn.1001- 9081.2017.11.3145

(*通信作者電子郵箱wjwang@sxu.edu.cn)

TP391.41

A