王永茂 徐正光 趙 珊

①(北京科技大學(xué)自動(dòng)化學(xué)院 北京 100083)

②(河南理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 焦作 454000)

1 引言

降維是高維數(shù)據(jù)壓縮、可視化和分類(lèi)的重要預(yù)處理手段之一。PCA(Principle Component Analysis), FDA(Fisher Discriminant Analysis)[1]是最流行的降維方法，但其本質(zhì)上是線(xiàn)性的，不能有效描述高維數(shù)據(jù)的非線(xiàn)性變化?；诹餍蔚姆蔷€(xiàn)性降維方法是近年來(lái)興起的一類(lèi)降維方法，等距映射(ISOMAP)[2]，局部線(xiàn)性嵌入(Locally Linear Embedding, LLE)[3]和拉普拉斯映射(Laplacian Eigenmap, LE)[4]是其典型代表，它們通過(guò)在降維過(guò)程中保持?jǐn)?shù)據(jù)的局部信息來(lái)學(xué)習(xí)非線(xiàn)性流形結(jié)構(gòu)，但是基于流形的降維方法的一大缺陷是不能直接映射新的測(cè)試點(diǎn)[5]，為了解決這一問(wèn)題，許多學(xué)者先后提出局部保形投影(Locality Preserving Projection,LPP)[6]，近鄰保形嵌入(Neighborhood Preserving Embedding, NPE)[7]等基于流形的線(xiàn)性降維算法，它們分別為L(zhǎng)E算法與LLE算法的線(xiàn)性逼近。盡管LPP, NPE在降維過(guò)程中能夠保持?jǐn)?shù)據(jù)的局部信息，但在降維過(guò)程中未利用數(shù)據(jù)的類(lèi)別信息，是一種無(wú)監(jiān)督的降維方法，而傳統(tǒng)的FDA是一種有監(jiān)督的線(xiàn)性降維方法，在降維過(guò)程中不能保持?jǐn)?shù)據(jù)的局部信息。為此，文獻(xiàn)[8]將LPP的基本思想引入到FDA中提出了LFDA(Local Fisher Discrimiant Analysis)算法，在人臉識(shí)別[9]、人耳識(shí)別[10]等領(lǐng)域取得了較好的效果。然而LFDA在處理高維數(shù)據(jù)時(shí)仍有一些不足：(1)LFDA未考慮不同類(lèi)別數(shù)據(jù)間的近鄰關(guān)系，相距較遠(yuǎn)的不同類(lèi)別間的數(shù)據(jù)在類(lèi)間離差度量時(shí)占據(jù)較大比重，以致在處理某些數(shù)據(jù)時(shí)得不到正確的最優(yōu)投影方向[11]；(2)為描述數(shù)據(jù)的局部信息，LFDA需要尋找數(shù)據(jù)的近鄰點(diǎn)，同其他基于流形的降維算法一樣，近鄰點(diǎn)個(gè)數(shù)的選擇對(duì)于最優(yōu)的投影方向影響較大[12]。

為了解決LFDA存在的不足，本文提出了一種新的局部鑒別分析方法：基于自適應(yīng)近鄰圖嵌入的局部鑒別投影(neighborhood graph embedding based Local Adaptive Discriminant Projection,LADP)算法，根據(jù)數(shù)據(jù)分布自適應(yīng)構(gòu)造描述局部信息的類(lèi)內(nèi)與類(lèi)間近鄰圖，避免了近鄰點(diǎn)個(gè)數(shù)對(duì)于投影子空間的影響，在得到的低維子空間內(nèi)，使得相同類(lèi)別的近鄰點(diǎn)盡量靠近，而不同類(lèi)別的近鄰點(diǎn)盡量分離。

2 局部Fisher鑒別分析(LFDA)

2.1 通用圖嵌入框架

許多降維方法可以利用通用圖嵌入框架進(jìn)行解釋[13]，其形式化描述如下：由n個(gè)樣本組成的樣本集記作X=[x1,x2,…,xn]D×n，樣本xi是一個(gè)D維向量，li∈L={1,2,…,Nc}為樣本xi的類(lèi)別標(biāo)號(hào)，Nc為類(lèi)別總數(shù)，nl定義為第l類(lèi)樣本個(gè)數(shù)。線(xiàn)性降維是按照某種最優(yōu)化標(biāo)準(zhǔn)得到一個(gè)D×d變換矩陣V，將樣本集X投影到低維空間得到Y(jié)=VTX=[y1,y2,…,yn]d×n，其中yi是xi的低維投影，維數(shù)為d，且d＜D。在此框架中優(yōu)化準(zhǔn)則通?？梢员硎緸?/p>

2.2 LFDA的權(quán)值矩陣

在LFDA中，權(quán)值矩陣Ww和Wb定義為

Aij是樣本xi和xj之間的一種相似性度量，xi和xj差別越小，Aij值越大，反之越小，這里用高斯函數(shù)定義Aij，即

其中Nk(xj)表示樣本xj同類(lèi)別的k個(gè)近鄰點(diǎn)集合，從式(2)和式(3)可以看出，LFDA中的權(quán)值體現(xiàn)了鑒別信息與局部信息，與xi和xj是否同類(lèi)以及是否相鄰有關(guān)。

在式(3)權(quán)值矩陣的定義下，式(1)中VTX(Db-Wb)XTV對(duì)應(yīng)為L(zhǎng)FDA算法中的局部類(lèi)間離差矩陣，由不同類(lèi)別的所有樣本點(diǎn)以及同類(lèi)別近鄰點(diǎn)決定，VTX(Dw-Ww)XTV對(duì)應(yīng)為L(zhǎng)FDA算法中的局部類(lèi)內(nèi)離差矩陣，僅由同類(lèi)別的近鄰點(diǎn)決定。

2.3 LFDA的不足

在LFDA中，最優(yōu)投影方向依賴(lài)于近鄰點(diǎn)個(gè)數(shù)k值的選擇；同時(shí)在計(jì)算類(lèi)間離散度時(shí)，未考慮不同類(lèi)別數(shù)據(jù)之間的近鄰關(guān)系，對(duì)于某些數(shù)據(jù)，LFDA得不到正確的最優(yōu)投影方向，下面通過(guò)兩個(gè)例子加以說(shuō)明。

圖1 人工數(shù)據(jù) 1

(1)不考慮不同類(lèi)別數(shù)據(jù)之間的近鄰關(guān)系對(duì)于最優(yōu)的投影方向的影響 在圖1中，聚類(lèi)A與聚類(lèi)B的距離小于聚類(lèi)A與聚類(lèi)C的距離，顯然最優(yōu)的投影方向應(yīng)該為垂直方向，但LFDA在類(lèi)間離差度計(jì)算中所有不同類(lèi)別的數(shù)據(jù)點(diǎn)間的距離的系數(shù)都是相同的，均為1/n，距離越大在類(lèi)間離差度所占的比重也越大，因此，在圖1中，AC之間的距離占主導(dǎo)地位，在水平投影方向上AC之間的距離要大于在垂直方向上的投影，因此得到的最優(yōu)投影方向?yàn)樗椒较?。相反，如果考慮不同類(lèi)別數(shù)據(jù)之間的近鄰關(guān)系，這時(shí)C中的數(shù)據(jù)點(diǎn)就不會(huì)成為A中數(shù)據(jù)點(diǎn)的近鄰點(diǎn)，類(lèi)間離差度僅由類(lèi)間近鄰點(diǎn)決定，這時(shí)，應(yīng)該使得AB兩個(gè)聚類(lèi)有最大分離程度，顯然在垂直方向上滿(mǎn)足要求。因此在定義權(quán)值矩陣時(shí)需要考慮不同類(lèi)別數(shù)據(jù)之間的近鄰關(guān)系。

(2)近鄰點(diǎn)個(gè)數(shù)k的選擇對(duì)于最優(yōu)投影方法的影響 很顯然，對(duì)于圖 2(a)～圖 2(d)中的人工數(shù)據(jù)，最優(yōu)的投影方向均為水平方向，但是數(shù)據(jù)與其距離最遠(yuǎn)的數(shù)據(jù)點(diǎn)之間的距離隨著垂直方向上方差的增加而不斷增大，因?yàn)閿?shù)據(jù)點(diǎn)與不同類(lèi)別的數(shù)據(jù)點(diǎn)之間的權(quán)值均相等，因此與最遠(yuǎn)端的數(shù)據(jù)點(diǎn)之間的距離在類(lèi)間離差度的計(jì)算中占有比較大的比重，又因?yàn)樵诖怪狈较虻姆讲钸h(yuǎn)大于水平方向上的方差，因此投影方向隨著方差的增加而逐漸向垂直方向靠近，這時(shí)就需要增加類(lèi)內(nèi)近鄰點(diǎn)的個(gè)數(shù)，也就是k值來(lái)抵消遠(yuǎn)端數(shù)據(jù)點(diǎn)在類(lèi)間離差度中所占的比重，圖3為對(duì)于圖2(d)中的數(shù)據(jù)，投影方向隨近鄰點(diǎn)個(gè)數(shù)k的變化情況，圖中的直線(xiàn)代表不同近鄰點(diǎn)個(gè)數(shù)k對(duì)應(yīng)的最優(yōu)投影方向。

從圖 3可以看出隨著k值的增加，投影方向逐漸向水平方向靠近。因此近鄰點(diǎn)個(gè)數(shù)k對(duì)于最優(yōu)的投影方向有較大的影響，需要根據(jù)數(shù)據(jù)的分布自適應(yīng)確定數(shù)據(jù)之間的近鄰關(guān)系。

3 基于自適應(yīng)近鄰圖嵌入的局部鑒別分析算法

基于上節(jié)提到的LFDA的不足，本文提出一種新的局部鑒別分析算法：基于自適應(yīng)近鄰圖嵌入的局部鑒別投影算法(LADP)。LADP算法的步驟如下：

步驟 1 根據(jù)數(shù)據(jù)分布特性以及數(shù)據(jù)間的相似度自適應(yīng)計(jì)算數(shù)據(jù)類(lèi)內(nèi)以及類(lèi)間的近鄰點(diǎn)；

步驟 2 根據(jù)數(shù)據(jù)的類(lèi)內(nèi)類(lèi)間近鄰點(diǎn)的個(gè)數(shù)定義局部類(lèi)內(nèi)與類(lèi)間離差矩陣中的權(quán)值矩陣；

圖2 人工數(shù)據(jù)2

圖3 LFDA在不同k值下的最優(yōu)投影方向?qū)Ρ?/p>

步驟 3 最大化局部類(lèi)間離差度最小化局部類(lèi)內(nèi)離差度，得到最優(yōu)子空間。

3.1 自適應(yīng)近鄰點(diǎn)計(jì)算

首先根據(jù)式(4)計(jì)算樣本xi與所有其他樣本之間的平均相似度AS(xi)。

其中參數(shù)β取式(5)定義的所有樣本之間的歐式距離的平均值。

接著，根據(jù)式(6)和式(7)自適應(yīng)確定xi的類(lèi)內(nèi)近鄰點(diǎn)集合Nw(xi)以及xi的類(lèi)間近鄰點(diǎn)集合Nb(xi)。

根據(jù)式(6)和式(7)的定義，Nw(xi)為相似度大于平均相似度的與xi同類(lèi)別的樣本集合，Nb(xi)是相似度大于平均相似度的與xi不同類(lèi)別的樣本集合。

3.2 權(quán)值矩陣

這里，依據(jù)樣本的類(lèi)內(nèi)類(lèi)間近鄰點(diǎn)的個(gè)數(shù)定義式(1)中的權(quán)值矩陣Ww和Wb：

其中kw(i)為樣本點(diǎn)xi同類(lèi)別的近鄰點(diǎn)的個(gè)數(shù)，其值為類(lèi)內(nèi)近鄰點(diǎn)集合Nw(xi)中樣本點(diǎn)的個(gè)數(shù)，kb(i)為樣本點(diǎn)xi不同類(lèi)別的近鄰的個(gè)數(shù)，其值為類(lèi)間近鄰點(diǎn)集合Nb(xi)中樣本點(diǎn)的個(gè)數(shù)。

3.3 最優(yōu)嵌入

為提高算法的靈活性，與式(1)優(yōu)化準(zhǔn)則不同，在本文采用的優(yōu)化準(zhǔn)則中，類(lèi)間離差度與類(lèi)內(nèi)離差度所占的比重不同。

最大化式(1)等價(jià)于：

其中Lb=Db-Wb。

在約束條件VTXDwXTV=I下，最小化式(10)等價(jià)于最大化式(12)：

因此，由式(11)和式(12)，最優(yōu)化問(wèn)題變?yōu)?/p>

其中0≤α≤1為調(diào)節(jié)參數(shù)，令B=αLb+(1-α)·Ww，式(13)變?yōu)?/p>

式(14)的最優(yōu)化問(wèn)題轉(zhuǎn)換為廣義特征向量的求解：

令v1,v2,…,vd為式(15)最大的d個(gè)特征值對(duì)應(yīng)的特征向量，則最優(yōu)的變換矩陣為V=[v1,v2,…,vd]D×d。

3.4 時(shí)間復(fù)雜度分析

LFDA與LADP算法的時(shí)間復(fù)雜度主要由兩個(gè)方面決定：(1)類(lèi)內(nèi)類(lèi)間近鄰點(diǎn)的計(jì)算；(2)廣義特征向量的求解。

在LFDA算法中，類(lèi)內(nèi)類(lèi)間近鄰點(diǎn)計(jì)算的時(shí)間復(fù)雜度為O(Dn2+kn2)，其中O(Dn2)代表計(jì)算任意兩個(gè)樣本的歐式距離的時(shí)間復(fù)雜度，D為樣本的維數(shù)，n為樣本的個(gè)數(shù)，O(kn2)代表尋找同類(lèi)別k個(gè)近鄰點(diǎn)的時(shí)間復(fù)雜度，又有局部類(lèi)內(nèi)類(lèi)間離差矩陣均為D×D矩陣，求解廣義特征向量的時(shí)間復(fù)雜度為O(D3)，可知 LFDA算法的時(shí)間復(fù)雜度為O(Dn2+kn2+D3)，由于k遠(yuǎn)小于樣本維數(shù)D和樣本個(gè)數(shù)n,O(kn2)的變化趨勢(shì)遠(yuǎn)小于O(Dn2)與O(D3)，所以 LFDA算法的時(shí)間復(fù)雜度近似于O(Dn2+D3)。LADP與LFDA區(qū)別在于自適應(yīng)確定類(lèi)內(nèi)類(lèi)間近鄰點(diǎn)，計(jì)算任意兩個(gè)樣本的相似度的時(shí)間復(fù)雜度為O(Dn2)，得到每一個(gè)樣本的平均相似度的時(shí)間復(fù)雜度為O(n2)，與平均相似度進(jìn)行比較確定類(lèi)內(nèi)和類(lèi)間近鄰點(diǎn)集合的時(shí)間復(fù)雜度為O(n2)，求解廣義特征向量的時(shí)間復(fù)雜度為O(D3)，所以L(fǎng)ADP算法的時(shí)間復(fù)雜度為O(Dn2+2n2+D3)，由于O(2n2)的變化趨勢(shì)遠(yuǎn)小于O(Dn2)與O(D3)，LADP算法的時(shí)間復(fù)雜度近似于O(Dn2+D3)。因此LADP與LFDA的時(shí)間復(fù)雜度相當(dāng)，僅由樣本的個(gè)數(shù)n和維數(shù)D決定。

4 實(shí)驗(yàn)與結(jié)果

為了評(píng)估算法的性能，我們?cè)O(shè)計(jì)兩類(lèi)實(shí)驗(yàn)，實(shí)驗(yàn)1將LADP應(yīng)用分類(lèi)任務(wù)，比較LADP與經(jīng)典的PCA, FDA以及LFDA等算法的分類(lèi)性能；實(shí)驗(yàn)2通過(guò)低維特征抽取時(shí)間比較LFDA與LADP算法的運(yùn)算效率。

4.1 分類(lèi)識(shí)別

為了驗(yàn)證本文提出的LADP算法在分類(lèi)識(shí)別任務(wù)中的有效性，本文在ORL人臉庫(kù)，COIL20圖像庫(kù)以及ISOLET語(yǔ)音庫(kù)上進(jìn)行實(shí)驗(yàn)，比較LADP算法與 PCA[1], FDA[1], LFDA[8]等算法的分類(lèi)識(shí)別性能。

4.1.1數(shù)據(jù)集介紹ORL人臉庫(kù)是由英國(guó)劍橋大學(xué)建立，共有40個(gè)人，每人10張圖像，共有400張人臉圖像，圖像的面部表情和面部細(xì)節(jié)有著不同程度的變化，人臉姿勢(shì)也有相當(dāng)?shù)某潭茸兓?，比較充分地反映了同一人不同人臉圖像的變化和差異，圖4是ORL人臉庫(kù)的部分樣本。COIL20圖像庫(kù)由20個(gè)物體的1440幅圖像組成，每一個(gè)物體旋轉(zhuǎn)一周每隔5°采集一幅圖像共有72幅圖像，圖5是COIL20圖像庫(kù)中的部分樣本。ORL人臉庫(kù)以及COIL20圖像庫(kù)中的圖像經(jīng)剪切后大小均為 32×32，用一個(gè)1024維的向量表示。ISOLET語(yǔ)音庫(kù)是UCI機(jī)器學(xué)習(xí)數(shù)據(jù)集中的一個(gè)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)，由30個(gè)人的1560個(gè)語(yǔ)音樣本組成，采集每個(gè)人誦讀26個(gè)字母的語(yǔ)音各 2次共 52個(gè)語(yǔ)音樣本，每一個(gè)語(yǔ)音樣本用一個(gè)617維的向量表示。

圖4 ORL人臉數(shù)據(jù)庫(kù)中的部分人臉圖像

圖5 COIL20圖像庫(kù)中的部分樣本圖

4.1.2調(diào)節(jié)參數(shù)α選擇本節(jié)討論 LADP算法中類(lèi)內(nèi)和類(lèi)間離散度的調(diào)節(jié)參數(shù)α對(duì)于識(shí)別性能的影響。這里采用交叉驗(yàn)證方法進(jìn)行調(diào)節(jié)參數(shù)α的選擇。在ORL人臉庫(kù)，COIL20圖像庫(kù)以及ISOLET語(yǔ)音庫(kù)上分別隨機(jī)選擇4幅圖像作為訓(xùn)練樣本，其余所有圖像作為測(cè)試樣本，進(jìn)行 10次重復(fù)試驗(yàn)，取10次的平均識(shí)別率，圖6顯示了在調(diào)節(jié)參數(shù)α不同取值的情況下，LADP算法的平均識(shí)別率?？梢钥闯觯{(diào)節(jié)參數(shù)α對(duì)于識(shí)別性能有較大的影響，α的值越大，識(shí)別性能越好，在后續(xù)的實(shí)驗(yàn)中取α=0.9。

圖6 平均識(shí)別率隨調(diào)節(jié)參數(shù)α的變化情況

4.1.3識(shí)別性能比較本節(jié)分別在 ORL人臉庫(kù)，COIL20圖像庫(kù)以及ISOLET語(yǔ)音庫(kù)對(duì)比本文提出的LADP算法與PCA, FDA, LFDA等算法的識(shí)別性能，使用最近鄰分類(lèi)器完成分類(lèi)識(shí)別。在實(shí)驗(yàn)中，從每類(lèi)圖像中隨機(jī)選取i張圖像作為訓(xùn)練集，剩下的作為測(cè)試集，重復(fù)進(jìn)行10次，共獲得10對(duì)不同的訓(xùn)練集和測(cè)試集，用iTrain表示不同數(shù)量的訓(xùn)練樣本數(shù)，取10次實(shí)驗(yàn)的平均識(shí)別率。圖7～圖9分別為ORL人臉庫(kù)，COIL20圖像庫(kù)以及ISOLET語(yǔ)音庫(kù)上的平均最高識(shí)別率。

4.1.4討論

(1)由于實(shí)驗(yàn)所用的樣本的維數(shù)很高，其存在的冗余信息可能影響圖像的識(shí)別率，從實(shí)驗(yàn)結(jié)果也驗(yàn)證了這一點(diǎn)，在PCA, FDA, LFDA以及LADP等降維算法得到的低維子空間內(nèi)的識(shí)別率高于在原始空間內(nèi)的識(shí)別率；

(2)FDA, LFDA以及LADP的識(shí)別率高于PCA方法，這是因?yàn)镕DA, LFDA以及LADP在尋找最優(yōu)子空間的過(guò)程中利用了數(shù)據(jù)的鑒別信息，而PCA尋找的最優(yōu)子空間其重構(gòu)誤差最小，沒(méi)有考慮有利于分類(lèi)的鑒別信息；

(3)LFDA與 LADP在降維的過(guò)程中能夠保持?jǐn)?shù)據(jù)的局部信息，尤其在訓(xùn)練樣本不足的情況下，其性能要優(yōu)于全局降維方法FDA；

圖7 ORL人臉數(shù)據(jù)庫(kù)上平均最高識(shí)別率

圖8 COIL20圖像庫(kù)上的平均最高識(shí)別率

圖9 ISOLET語(yǔ)音庫(kù)上的平均最高識(shí)別率

(4)LADP的識(shí)別率是最高的，這主要取決于以下幾個(gè)方面：(a)LADP充分考慮類(lèi)內(nèi)近鄰以及類(lèi)間近鄰點(diǎn)對(duì)于分類(lèi)結(jié)果的影響；(b)自適應(yīng)確定類(lèi)內(nèi)以及類(lèi)間近鄰點(diǎn)的個(gè)數(shù)，避免了近鄰點(diǎn)個(gè)數(shù)對(duì)于分類(lèi)結(jié)構(gòu)的影響；(c)在定義目標(biāo)函數(shù)時(shí)，類(lèi)內(nèi)離差度與類(lèi)間離差度所占比重不同。

4.2 低維特征抽取時(shí)間比較

本節(jié)利用低維特征抽取所花費(fèi)的時(shí)間來(lái)比較LFDA與LADP算法的效率。LFDA與LADP算法采用 matlab7.0編寫(xiě)，在配置主頻為 2.93 GHz的CPU(Intel酷睿2雙核E7500)以及2 G內(nèi)存的計(jì)算機(jī)上運(yùn)行。在 ORL人臉庫(kù)，COIL20圖像庫(kù)以及ISOLET語(yǔ)音庫(kù)上分別隨機(jī)選擇4幅圖像作為訓(xùn)練樣本，其余所有圖像作為測(cè)試樣本，表1為L(zhǎng)FDA與LADP算法進(jìn)行低維特征抽取所花費(fèi)時(shí)間?？梢钥闯鯨FDA與LADP算法進(jìn)行低維特征抽取所花費(fèi)的時(shí)間相當(dāng)，也就是說(shuō)LADP算法在提高識(shí)別性能的同時(shí)算法的執(zhí)行時(shí)間并沒(méi)有增加。

表1 低維特征抽取時(shí)間(s)

5 結(jié)束語(yǔ)

在分析了LFDA算法不足的基礎(chǔ)上，本文提出了一種新的基于局部保持的鑒別分析方法：基于自適應(yīng)近鄰圖嵌入的鑒別投影方法，自適應(yīng)計(jì)算數(shù)據(jù)的近鄰點(diǎn)集合，不僅能夠很好保持流行的局部結(jié)構(gòu)，同時(shí)也能夠保持?jǐn)?shù)據(jù)的鑒別信息，在人工數(shù)據(jù)以及標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)上均取得了較好的效果。LADP本質(zhì)上是一種線(xiàn)性降維方法，在應(yīng)用LADP算法時(shí)，需要將圖像的2維結(jié)構(gòu)轉(zhuǎn)換為向量形式，這就容易出現(xiàn)小樣本問(wèn)題，基于張量表示的LADP算法是下一步研究的重點(diǎn)。

[1]Martinez A and Kak A. PCA versus LDA[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001, 23(2): 228-233.

[2]Tenenbaum J, Silva V, and Langford J. A global geometric framework for nonlinear dimensionality reduction[J].Science,2000, 290(5500): 2319-2323.

[3]Roweis S and Saul L. Nonlinear dimensionality reduction by locally linear embedding[J].Science, 2000, 290(5500):2323-2326.

[4]Belkin M and Niyogi P. Laplacian eigenmaps for dimensionality reduction and data representation[J].Neural Computation, 2003, 15(6): 1373-1396.

[5]張大尉, 朱善安. 基于核鄰域保持判別嵌入的人臉識(shí)別[J]. 浙江大學(xué)學(xué)報(bào)(工學(xué)版), 2011, 45(10): 1842-1847.

Zhang Da-wei and Zhu Shan-an. Face recognition based on kernel neighborhood preserving discriminant embedding[J].Journal of Zhejiang University(Engineering Science), 2011,45(10): 1842-1847.

[6]He Xiao-fei and Niyogi P. Locality preserving projections[C].Proceedings of the 16th Advances in Neural Information Processing Systems, Vancouver, 2003: 153-160.

[7]He Xiao-fei, Cai Deng, Yan Shui-cheng,et al.. Neighborhood preserving embedding[C]. Proceedings of the 10th IEEE International Conference on Computer Vision, Beijing, 2005:1208-1213.

[8]Sugiyama M. Dimensionality reduction of multimodal labeled data by local fisher discriminant analysis[J].Journal of Machine Learning Research, 2007, 8(5): 1027-1061.

[9]Huang Hong, Feng Hai-liang, and Peng Cheng-yu. Complete local Fisher discriminant analysis with Laplacian score ranking for face recognition[J].Neurocomputing, 2012, 89(7):64-77.

[10]Huang Hong, Liu Jiamin, Feng Hailiang,et al.. Ear recognition based on uncorrelated local Fisher discriminant analysis[J].Neurocomputing, 2011, 74(17): 3103-3113.

[11]謝鈞, 劉劍. 一種新的局部判別投影方法[J]. 計(jì)算機(jī)學(xué)報(bào),2011, 34(11): 2243-2250.

Xie Jun and Liu Jian. A new local discriminant projection method[J].Chinese Journal of Computers, 2011, 34(11):2243-2250.

[12]Raducanu B and Dornaika F. A supervised non-linear dimensionality reduction approach for manifold learning[J].Pattern Recognition, 2012, 45(6): 2432-2444.

[13]俞璐, 謝鈞, 朱磊. 一種基于目標(biāo)空間的局部判別投影方法[J].電子與信息學(xué)報(bào), 2011, 33(10): 2390-2395.

Yu Lu, Xie Jun, and Zhu Lei. A local discriminant projection method based on objective space[J].Journal of Electronics&Information Technology, 2011, 33(10): 2390-2395.