周渝皓 張玉 趙東生

摘要：典型相關分析是多視圖特征學習領域的研究熱點，然而監(jiān)督信息的缺失使其難以學習強鑒別力的相關特征，為此本文提出了一種新的鑒別相關特征學習方法，即標簽散布相關分析（Label Scatter Correlation Analysis，LSCA）。該方法借助類標簽信息，最大化了視圖間類內相關性，并且最小化了視圖間類間相關性和視圖內類內散布，進而學習的相關特征在最大化相關性同時，盡可能的保留了類標簽的鑒別力和散布結構。良好的實驗結果已經顯示該方法在圖像識別中的有效性。

關鍵詞：特征學習;相關分析;多視圖數據處理;圖像識別

中圖分類號：TP311? ? ? 文獻標識碼：A

文章編號：1009-3044（2019）21-0200-04

開放科學（資源服務）標識碼（OSID）：

Abstract： Canonical correlation analysis （CCA） is a hot research in multi-view feature learning. However， due to the lack of supervised information， CCA is difficult to obtain correlation features with well discrimination power. To solve this issue， we propose a novel discriminant correlation feature learning method， i.e. label scatter correlation analysis （LSCA）. By means of class label information， the method maximizes intra-class correlations between different views， and minimizes between-view inter-class correlations and within-view intra-class scatters. Thus correlation features learned by our method not only consider the maximum of between-view correlations but also further preserve the discrimination power of class labels and the scatter structures. Encouraging experimental results has showed the effectiveness of the method.

Keywords： Feature Learning; Correlation analysis; multi-view data processing; image recognition

1 引言

多視圖特征學習是模式識別和機器視覺的熱門研究課題，其中最具代表性的是典型相關分析（Canonical Correlation Analysis，CCA）[1]。CCA是用來解決兩個隨機變量之間相關性的統(tǒng)計學方法，目前已經廣泛應用于過程控制[2]、多特征融合[3]、圖像檢索[4]、文本分析與檢索[5]、信號處理[6]等多個領域。

CCA通過最大化相關準則能夠求解出多視圖數據的相關投影方向，進而獲得低維一致子空間中的相關特征。Sun等人[7]首次將CCA用于模式識別，并在多視圖圖像識別任務中獲得了良好的實驗結果。CCA本身是一種線性特征學習方法，因此難以很好地揭示原始數據間的非線性關系。為了掌握原始高維數據的非線性信息，相關特征學習經常借助圖理論的優(yōu)勢來探索數據的局部幾何結構。局部保持CCA（LPCCA）[8]將原始高維數據的局部鄰域關系嵌入到相關分析理論，進而獲得盡量保留局部幾何信息的非線性相關特征。為了進一步增強非線性相關特征的鑒別力，Wang等人[9]提出了一種替代LPCCA（ALPCCA）的方法，并在人臉識別和多特征分類中驗證了該方法的有效性。借助正則化技術，異構結構融合（HSF）方法[10]自然地將CCA和局部保持投影（LPP）[11]結合在一起，并試圖從原始數據中捕獲和保存非線性的局部幾何結構。這些方法在數據可視化、姿態(tài)估計、形狀分析、紅外目標分析等方面都取得了成功。然而，缺乏監(jiān)督信息限制了它在識別分類任務中的鑒別力。

監(jiān)督信息也是一種非常重要的鑒別信息，利用它可以對信息進行更好的分類和分析。鑒別CCA（DCCA）[12]是一種典型的監(jiān)督特征學習方法，通過約束視圖間鑒別相關性來學習鑒別相關特征?；诒O(jiān)督信息的相關特征學習方法一般僅考慮了視圖間的相關監(jiān)督信息，而忽略了視圖內的鑒別散布結構。為此，本文提出了一種新的鑒別相關特征學習方法，即標簽散布相關分析（Label Scatter Correlation Analysis，LSCA）。該方法在類標簽信息的指導下，最大化了視圖間類內相關性，同時最小化了視圖間類間相關性和視圖內類內散布結構，從而獲得了類分離性更高、鑒別性更強的相關特征。為了評估LSCA方法，在兩個常用的圖像數據集上設計一些針對性實驗，大量的實驗結果能夠給出一個合理的觀察：提出的方法是一種有效的特征學習方法。

其余部分組織如下，第二節(jié)簡要回顧了CCA，第三節(jié)詳細描述了LSCA方法，在第四節(jié)中給出實驗結果和相應的分析，第五節(jié)討論了LSCA的本質以及對本文的總結。

2 典型相關分析

假設[X=x1，x2，...，xN∈Rdx × N]和[Y=y1，y2，...，yN∈Rdy × N]是同一目標的兩個視圖的數據集， 其中[dx]，[dy]是樣本[x]和[y]的維數，[N]為樣本數，同時[xi，yii=1，2，...，N]是對應同一目標的樣本對。CCA旨在優(yōu)化相關準則來求解相關投影方向[α∈Rdx × 1]和[β∈Rdy × 1]，進而使得相關特征[αTX]和[βTY]擁有最大的相關性，其中CCA的相關準則能夠表示為

其中[Sxy=1Ni=1Nxi-xyi-yT]為數據集[X]和[Y]的協(xié)方差矩陣，[Sxx=1Ni=1Nxi-xxi-xT]（or[Syy=1Ni=1Nyi-yyi-yT]）是數據集[X]（或[Y]）的方差。正如文獻[13]指出，[Sxy]揭示了視圖間的相關性，而[Sxx]和[Syy]反映了視圖內數據的總體散布信息，然而該相關性和總散布結構沒有監(jiān)督信息的指導，難以借助類標簽的信息有效增強相關的鑒別力。

3 標簽散布相關分析方法

由于CCA僅僅只利用了成對的樣本信息，無法使用監(jiān)督信息來增強鑒別力，為此本文提出了LSCA方法，該方法能借助類標簽信息，構建有效的鑒別相關分析理論，進而獲得強鑒別力的相關特征。

首先，利用類標簽信息指導了視圖間類內和類間相關性的構建。具體而言，視圖間類內相關性[αTRβ]能夠構建為

同樣視圖間類間相關性[αTHβ]可以表述為：

為了增強視圖內的類聚集性，進一步構建了基于類標簽的視圖內類內散布。以數據集[X]為例，視圖內類內散布可以構建為

則數據集[Y]的視圖內類內散布為：

LSCA方法在最大化視圖間類內相關性的同時，最小化了視圖間類間相關性和視圖內類內散布，因此LSCA方法的相關準則可以構建為

其中[η]為平衡參數，用于平衡[cw]和[cb]的相對重要性。為了便于模型的分析和優(yōu)化求解，進一步對公式（6）進行推導。視圖間類內相關性能夠進一步等價推導為

其中帶有類標簽的數據集X能夠重新表述為[X=x11，…，x1n1，…，xc1，…，xcnc]，對應的類指示向量為，[Ini×ni∈Rni×ni]的矩陣元素全為1，[Λ=In1×n1...Ini×ni...Inc×nc∈Rn×n]是一個對角的對稱半正定矩陣，且秩為[c]。

類似公式（7），視圖間類間相關性同樣能夠進一步推導為：

視圖內的類內相關關系定義如下：

通過求解上述的廣義特征值問題，可以獲得前[d]個最大特征值對應的特征向量[{α1，α2，...，αd}]和[{β1，β2，...，βd}]，進而可以構建數據集[X]和[Y]對應的相關投影矩陣，即[A=α1，α2，...，αdT∈Rdx×d]和[B=β1，β2，...，βdT∈Rdy×d]，并獲得數據集[X]和[Y]對應相關特征[ATX]和[BTY]。

4 實驗的結果和分析

為了驗證提出方法的有效性，在AR圖像數據集和XM2VTS圖像數據集設計了針對性實驗。AR圖像數據集包含126人的正面圖像，這些圖像具有不同表情、照明條件和遮擋等。在該實驗部分，我們選擇AR圖像的一個常用子集，該子集由120人的每人14幅無遮擋圖像組成。XM2VTS數據庫中包含295人的2360幅面部圖像，圖像中人臉的角度、表情和眼鏡等各不相同。從本質上而言，這兩個數據集屬于單模態(tài)數據集。為此借助模態(tài)策略[13]獲取了每幅圖像兩個視圖數據。具體而言，利用Coiflets和Daubechies小波變換方法來獲取每幅圖像的兩個視圖數據，隨后使用主成分分析將視圖數據的維數約減到100維，以減少小樣本問題。在實驗部分，LSCA方法和CCA、DCCA進行了對比分析。對于所有方法，在這兩個數據集上都是每類隨機選擇q （q=3， 4， 5， 6）幅圖像用于訓練，剩余圖像作為測試圖像，并且獨立運行10次樣本隨機試驗，在表1和表2中展示了平均識別率。此外，所有方法都是使用了基于歐式距離的最近鄰分離器[13]來獲得而最終的實驗結果，并且展示的是所有可能維數下的最優(yōu)識別率。

CCA僅僅利用了成對的樣本信息，且無法有效地利用監(jiān)督信息，進而難以獲得強鑒別力的相關特征，然而LSCA和DCCA都屬于監(jiān)督相關學習方法，借助監(jiān)督信息進一步增強了相關特征的類分離性，并且CCA在表1和表2中也顯示出了最低識別率。當實驗采用少量訓練圖像進行實驗時，使用LSCA獲得的平均識別率與DCCA和CCA獲得平均識別率相差不大。隨著訓練圖像的增加，LSCA，DCCA，CCA的識別率都呈現(xiàn)增加的趨勢。與DCCA相比，LSCA不僅考慮了視圖間的監(jiān)督相關信息，而且進一步約束了視圖內類內散布結構，這是LSCA表1和表2上擁有更好識別性能的重要原因。

5 結束語

多視圖特征學習的核心任務是為多視圖數據學習線性或非線性的投影方向，將原始高維數據投影到低維空間，并且低維特征能夠盡量保留原來數據的有效信息，進而更利于數據的進一步處理。CCA是基于相關分析理論的多視圖特征學習方法，該方法本身是一種無監(jiān)督的方法，難以有效利用類標簽的優(yōu)勢來增強相關特征的鑒別力，為此，本文提出了一種新的LSCA方法。LSCA在類標簽的指導下構建了視圖間類內相關性、視圖間類間相關性以及視圖內類內散布，進而形成了LSCA的相關優(yōu)化模型，并在理論上進一步推導出了該模型的解析解，獲得了強鑒別力的相關特征。為了驗證提出方法的有效性，在兩個常用的圖像數據集上設計了針對性實驗，良好的實驗結果已經揭示了LSCA的有效性。

參考文獻：

[1] Hardoon D R， Szedmak S， Shawe-Taylor J. Canonical correlation analysis： An overview with application to learning methods[J]. Neural computation， 2004， 16（12）： 2639-2664.

[2] Liu Y， Liu B， Zhao X， et al. A mixture of variational canonical correlation analysis for nonlinear and quality-relevant process monitoring[J]. IEEE Transactions on Industrial Electronics， 2018， 65（8）： 6478-6486.

[3] Chen J， Wang G， Giannakis G B. Graph multiview canonical correlation analysis[J]. IEEE Transactions on Signal Processing， 2019.

[4] X.Y. Wang， L.L. Liang， W.Y. Li， et al.， A new SVM-based relevance feedback image retrieval using probabilistic feature and weighted kernel function， J. Vis.Commun[J]. Image Represent，2016，38：256–275.

[5] X.Z. Gao， Q.S. Sun， H.T. Xu， Multiple instance learning via semi-supervised Laplacian TSVM， Neural Process. Lett. 46 （2017） 219–232.

[6] M. Borga， Learning multidimensional signal processing，Link?ping studies in science and technology， Dissertations， vol.531， Department of Electrical Engineering， Link?ping University， Link?ping， Sweden， 1998.

[7] Q.-S. Sun， S.-G. Zeng， Y. Liu， P.-A. Heng， and D.-S. Xia， “A new method of feature fusion and its application in image recognition，”Pattern Recognit.， vol. 36， no. 12， pp. 2437–2448， Dec. 2005.

[8] T. Sun， S. Chen， Locality preserving CCA with applications to data visualization and pose estimation， Image Vis. Comput. 25 （5） （2007） 531–543.

[9] F. Wang， D. Zhang， A new locality-preserving canonical correlation analysis algorithm for multi-view dimensionality reduction， Neural Process. Lett. 37 （2）（2013） 135–146.

[10] G. Lin， G. Fan， X. Kang， et al.， Heterogeneous feature structure fusion for classifification， Pattern Recogn. 53 （1） （2016） 1–11.

[11] X. He， S. Yan， Y. Hu， et al.， Face recognition using Laplacianfaces， IEEE Trans.Pattern Anal. Mach. Intell. 27 （2005） 328–340.

[12] T. Sun， S. Chen， J. Yang， et al.， A supervised combined feature extraction method for recognition， in： Proceedings of the IEEE International Conference on Data Mining， 2008， pp. 1043–1048.

[13] Su S， Ge H， Tong Y. Multi-graph embedding discriminative correlation feature learning for image recognition[J]. Signal Processing： Image Communication， 2018， 60： 173-182.

【通聯(lián)編輯：梁書】