基于結(jié)構(gòu)化多視圖稀疏限定的監(jiān)督特征選擇算法研究

史彩娟，段昌鈺，谷志斌

?

基于結(jié)構(gòu)化多視圖稀疏限定的監(jiān)督特征選擇算法研究

史彩娟，段昌鈺，谷志斌

(華北理工大學(xué)，河北 唐山 063210)

為了有效利用多視圖數(shù)據(jù)信息提升監(jiān)督特征選擇的性能，構(gòu)建了一種結(jié)構(gòu)化多視圖稀疏限定，并基于該稀疏限定提出了一種監(jiān)督特征選擇方法，即結(jié)構(gòu)化多視圖監(jiān)督特征選擇方法(SMSFS)。該方法在特征選擇過(guò)程中能夠同時(shí)考慮不同視圖特征的重要性以及同一視圖中不同特征的重要性，從而有效的結(jié)合多視圖數(shù)據(jù)信息，提升監(jiān)督特征選擇的性能。SMSFS目標(biāo)函數(shù)是非凸的，設(shè)計(jì)了一個(gè)有效的迭代算法對(duì)目標(biāo)函數(shù)進(jìn)行求解。將所提結(jié)構(gòu)化多視圖監(jiān)督特征選擇方法SMSFS應(yīng)用到了圖像標(biāo)注任務(wù)，在NUS-WIDE和MSRA-MM2.0圖像數(shù)據(jù)庫(kù)上進(jìn)行了實(shí)驗(yàn)，并與其他特征選擇算法進(jìn)行了比較，實(shí)驗(yàn)結(jié)果表明該算法能夠有效結(jié)合多視圖數(shù)據(jù)信息，提升特征選擇性能。

多視圖學(xué)習(xí)；結(jié)構(gòu)化稀疏限定；監(jiān)督特征選擇

近年，隨著信息技術(shù)以及計(jì)算機(jī)視覺技術(shù)的迅猛發(fā)展，圖像、視頻等數(shù)據(jù)被表示為不同類型的特征，如形狀特征、顏色特征、紋理特征等。每一種類型的特征都是從某一特定空間對(duì)圖像及視頻數(shù)據(jù)進(jìn)行了描述，傳統(tǒng)上把這種由不同類型特征組成的數(shù)據(jù)稱為多視圖數(shù)據(jù)[1]。然而，這些多視圖數(shù)據(jù)中包含許多不相關(guān)特征，甚至是噪聲，因此，如何有效去除多余特征及噪聲，從而降低“維數(shù)災(zāi)難”的特征選擇技術(shù)成為當(dāng)前的研究熱點(diǎn)。面對(duì)多視圖數(shù)據(jù)，傳統(tǒng)的單一視圖特征選擇算法已不能獲得較好的特征選擇效果，許多多視圖特征選擇方法被廣泛研究和提出。其中，最直接的方法就是將多視圖特征直接串接成一個(gè)長(zhǎng)的特征向量，然后采用單一視圖特征選擇方法進(jìn)行特征選擇[2-3]。該方法思路簡(jiǎn)單，但將多視圖特征直接串接為一個(gè)長(zhǎng)向量之后再進(jìn)行特征選擇，破壞了不同視圖特征間的潛在關(guān)聯(lián)，同時(shí)也缺乏物理解釋，使特征選擇的性能受到了影響。

近年來(lái)，多視圖學(xué)習(xí)被廣泛應(yīng)用到特征選擇算法之中，利用不同視圖之間的互補(bǔ)性及一致性來(lái)提升特征選擇的性能[1,4-5]。然而，現(xiàn)有的多視圖特征選擇方法基本上是將一個(gè)視圖數(shù)據(jù)看作一個(gè)整體，在特征選擇過(guò)程中僅僅考慮每一個(gè)視圖特征整體的重要性，而忽略了同一視圖中不同特征的重要性，使特征選擇性能受到影響。如果在多視圖稀疏特征選擇過(guò)程中，不僅考慮每一個(gè)視圖的重要性，選擇最具判別性的視圖特征外，同時(shí)考慮同一視圖中每一個(gè)特征的重要性，必將能夠更好地結(jié)合多視圖數(shù)據(jù)信息，從而提升特征選擇的性能。文獻(xiàn)[6]提出了組1范數(shù)(1-范數(shù))，能夠很好地判定同一視圖中不同特征的重要性。文 獻(xiàn)[7]通過(guò)引入組1范數(shù)(1-范數(shù))提出了一種稀疏多模態(tài)學(xué)習(xí)方法來(lái)整合多視圖異質(zhì)特征。文獻(xiàn)[8]基于1范數(shù)(1-范數(shù))提出了一種新的非監(jiān)督深度稀疏特征選擇方法，特征選擇性能得到了提升。

因此，為了更好地利用多視圖數(shù)據(jù)信息，本文提出了一種基于結(jié)構(gòu)化多視圖稀疏限定的監(jiān)督特征選擇算法，即結(jié)構(gòu)化多視圖監(jiān)督特征選擇(structured multi-view supervised feature selection，SMSFS)。結(jié)構(gòu)化多視圖稀疏限定能夠使SMSFS在特征選擇過(guò)程中不僅考慮每一個(gè)視圖的重要性，同時(shí)考慮同一視圖中不同特征的重要性。SMSFS算法被應(yīng)用到了圖像標(biāo)注任務(wù)中，并在圖像數(shù)據(jù)庫(kù)NUS-WIDE[9]和MSRA-MM 2.0[10]上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明該算法優(yōu)于其他特征選擇算法，能夠更好地結(jié)合多視圖數(shù)據(jù)信息來(lái)提升特征選擇的性能。

1 相關(guān)工作

本文相關(guān)工作為多視圖學(xué)習(xí)和結(jié)構(gòu)化稀疏限定。

1.1 多視圖學(xué)習(xí)

現(xiàn)實(shí)中存在許多多視圖數(shù)據(jù)，如圖像經(jīng)常被表示為形狀、顏色、紋理等不同的視覺特征，視頻被表示為視覺特征及聲音特征，網(wǎng)頁(yè)被表示為網(wǎng)頁(yè)內(nèi)容及相關(guān)鏈接等等。每一個(gè)視圖數(shù)據(jù)都具有一定的特征空間，具有特定的物理意義和統(tǒng)計(jì)特性。近年，多視圖學(xué)習(xí)得到廣泛研究，能夠揭示多視圖數(shù)據(jù)間的關(guān)聯(lián)及有效地結(jié)合不同視圖數(shù)據(jù)間的信息。根據(jù)多視圖間信息結(jié)合方式的不同，可以將現(xiàn)有的多視圖學(xué)習(xí)算法大致分成3類：①將多視圖數(shù)據(jù)直接串接為一個(gè)特征向量，然后采用單一視圖方法的多視圖學(xué)習(xí)算法[11-12]。該算法實(shí)現(xiàn)簡(jiǎn)單，但不能有效揭示不同視圖特征之間的關(guān)聯(lián)及補(bǔ)充信息，既沒有考慮不同視圖特征的重要性，也沒有考慮同一視圖中不同特征的重要性。②將每一個(gè)視圖特征看成一個(gè)整體，將同一視圖中的所有特征賦予相同的系數(shù)。雖然該算法能夠很好的利用不同視圖特征之間的關(guān)聯(lián)性和互補(bǔ)性[13-16]，但沒有考慮同一視圖特征中不同特征的重要性。③在學(xué)習(xí)過(guò)程中能夠同時(shí)考慮不同視圖的重要性以及同一視圖中不同特征的重要性[7-8]。

1.2 結(jié)構(gòu)化稀疏限定

近年來(lái)，多種結(jié)構(gòu)化稀疏限定被廣泛研究并被應(yīng)用到特征選擇算法之中。文獻(xiàn)[17]對(duì)現(xiàn)有的特征選擇方法進(jìn)行了綜述，根據(jù)所采用的兩種不同的結(jié)構(gòu)化稀疏限定1范數(shù)(LASSO)[18]和l，p(0<≤1)矩陣范數(shù)[17]，將特征選擇方法分成了基于向量的特征選擇方法和基于矩陣的特征選擇方法。1范數(shù)作為懲罰項(xiàng)對(duì)特征選擇系數(shù)施以約束，能夠使被選擇的特征盡可能稀疏，使訓(xùn)練的模型具有稀疏性和可解釋性，因此被廣泛應(yīng)用到特征選擇方法中。對(duì)于l,p(0<≤1)矩陣范數(shù)，當(dāng)=2，=1，即為2,1范數(shù)[19]。NIE等[20]將2,1范數(shù)應(yīng)用到了特征選擇之中，該限定能夠保證在特征選擇過(guò)程中充分考慮不同特征之間的關(guān)聯(lián)，聯(lián)合的選取特征。WANG和CHEN[21]提出了2,p(0<≤1)矩陣范數(shù)，并指出當(dāng)=1/2時(shí)，即2,1/2矩陣范數(shù)具有最好的性能。文 獻(xiàn)[2]基于2,1/2矩陣范數(shù)提出了一種圖拉普拉斯半監(jiān)督稀疏特征選擇方法。

2 SMSFS算法

本節(jié)提出一個(gè)新的基于結(jié)構(gòu)化多視圖稀疏限定的監(jiān)督特征選擇框架，既結(jié)構(gòu)化多視圖監(jiān)督特征選擇(structured multi-view supervised feature selection，SMSFS)。首先介紹結(jié)構(gòu)化多視圖稀疏限定，然后提出了SMSFS算法，最后給出求解目標(biāo)函數(shù)的迭代算法。

2.1 結(jié)構(gòu)化多視圖稀疏限定

映射矩陣的組1-范數(shù)(1范數(shù))定義為

映射矩陣的2,1/2矩陣范數(shù)定義為

因此，由2,1/2范數(shù)和1-范數(shù)構(gòu)建的用于特征選擇的結(jié)構(gòu)化多視圖稀疏限定可以表示為

結(jié)構(gòu)化多視圖稀疏限定中1-范數(shù)強(qiáng)調(diào)每一個(gè)視圖的重要性，而2,1/2矩陣范數(shù)可以很好地考慮不同特征的重要性。因此，結(jié)構(gòu)化多視圖稀疏限定能夠保證在特征選擇的過(guò)程中不僅考慮每一個(gè)視圖的重要性，同時(shí)考慮每一個(gè)視圖中不同特征的重要性，更好地結(jié)合多視圖數(shù)據(jù)信息，從而達(dá)到很好的特征選擇性能。

2.2 SMSFS算法

特征選擇框架一般可以表示為求解下面的最小化經(jīng)驗(yàn)誤差

本文損失函數(shù)選擇最簡(jiǎn)單的最小二乘函數(shù)，正則項(xiàng)為結(jié)構(gòu)化多視圖稀疏限定，因此，本文提出的結(jié)構(gòu)化多視圖監(jiān)督特征選擇算法SMSFS的目標(biāo)函數(shù)可以表示為

2.3 優(yōu)化求解

由于2,1/2范數(shù)是非凸的，因此本文提出的結(jié)構(gòu)化多視圖監(jiān)督特征選擇框架式(5)也是非凸的，下面提出了一個(gè)有效迭代方法來(lái)求解目標(biāo)函數(shù)。

此時(shí)目標(biāo)函數(shù)式(5)可以寫成

因此，可得到

算法1. SMSFS 算法給出了求解目標(biāo)函數(shù)式(5)的迭代算法。

②重復(fù)計(jì)算對(duì)角矩陣

對(duì)于g(1≤≤)，

=+1；

直到收斂；

3 實(shí) 驗(yàn)

將SMSFS算法應(yīng)用到圖像標(biāo)注任務(wù)中，并在兩個(gè)大規(guī)模圖像數(shù)據(jù)庫(kù)NUS-WIDE[9]和MSRA- MM 2.0[10]上進(jìn)行了實(shí)驗(yàn)。

3.1 數(shù)據(jù)庫(kù)及實(shí)驗(yàn)設(shè)置

NUS-WIDE數(shù)據(jù)庫(kù)包含269 648幅圖像，81個(gè)概念；MSRA-MM2.0數(shù)據(jù)庫(kù)包含50 000幅圖像，100個(gè)概念。實(shí)驗(yàn)中對(duì)于兩個(gè)數(shù)據(jù)庫(kù)，均選用144維的顏色相關(guān)圖、128維的小波紋理和73維(NUS-WIDE數(shù)據(jù)庫(kù))或者75維(MSRA-MM2.0數(shù)據(jù)庫(kù))的邊緣方向直方圖和3種底層視覺特征作為圖像的3種視圖特征。

實(shí)驗(yàn)中隨機(jī)采樣3 000個(gè)圖像形成訓(xùn)練數(shù)據(jù)集，剩余數(shù)據(jù)作為測(cè)試集。隨機(jī)進(jìn)行10次試驗(yàn)，將10次結(jié)果平均作為最終的標(biāo)注結(jié)果。目標(biāo)函數(shù)式(5)中的正則化參數(shù)和設(shè)定為{0.00001，0.001，0.1，1，10，1000，100000}，采用交叉驗(yàn)證方法記錄最好結(jié)果。

實(shí)驗(yàn)中將算法SMSFS與算法SMML[6]和SFUS[3]進(jìn)行了比較。采用3種評(píng)估準(zhǔn)則來(lái)評(píng)價(jià)算法性能，即平均準(zhǔn)確率均值(mean average precision，MAP)，ROC曲線下面積AUC的兩種情況MicroAUC和MacroAUC。

3.2 與其他特征選擇算法的性能比較

實(shí)驗(yàn)中將本文算法SMSFS與另外兩種監(jiān)督特征選擇算法SFUS和SMML進(jìn)行了比較，在兩個(gè)數(shù)據(jù)庫(kù)上進(jìn)行了實(shí)驗(yàn)，結(jié)果見表1，最好結(jié)果用黑體標(biāo)識(shí)。

表1 不同特征選擇方法性能比較

從表1可以看出，無(wú)論是基于MAP，還是MacroAUC和MicroAUC，本文算法SMSFS性能優(yōu)于SFUS和SMML算法，說(shuō)明SMSFS算法能夠利用結(jié)構(gòu)化多視圖稀疏限定有效的結(jié)合多視圖數(shù)據(jù)信息，從而選取更具判別性的稀疏特征，獲得更好的特性選擇性能。

3.3 選擇特征個(gè)數(shù)的影響

本實(shí)驗(yàn)驗(yàn)證所選特征數(shù)目對(duì)標(biāo)注性能的影響。設(shè)定所選特征數(shù)目分別為100、150、200、250和300以及全部特征(對(duì)于NUS-WIDE數(shù)據(jù)庫(kù)是345維，對(duì)于MSRA-MM數(shù)據(jù)庫(kù)是347維)。采用MAP作為評(píng)估準(zhǔn)則，實(shí)驗(yàn)結(jié)果如圖1所示。

圖1顯示了算法SMSFS標(biāo)注性能隨著所選特征數(shù)目變化而變化的情況。從圖1可以看出：①當(dāng)所選用的特征數(shù)很少時(shí)(如特征數(shù)為100)對(duì)應(yīng)的MAP要低于不進(jìn)行特征選擇時(shí)(特征數(shù)為345或347)的MAP。這歸因于選擇的特征數(shù)很少時(shí)，一些有用信息被丟失。②當(dāng)采用所有底層視覺特征(特征數(shù)為345或347)的時(shí)候，標(biāo)注性能并不是最好，說(shuō)明最初的底層視覺特征中包含一些冗余特征，影響了標(biāo)注性能。③在兩個(gè)數(shù)據(jù)庫(kù)上，3種算法達(dá)到最好性能時(shí)所選用的特征數(shù)目均為250，但是算法SMSFS性能優(yōu)于另外兩種算法。因此，與另外兩種特征選擇算法相比，本文算法SMSFS能夠有效結(jié)合多視圖數(shù)據(jù)信息，選取更具判別性的特征，從而獲得最好的特征選擇性能，降低噪聲影響。

圖1 性能MAP隨著選擇特征數(shù)目的變化而變化情況

3.4 參數(shù)敏感性測(cè)試

在目標(biāo)函數(shù)式(5)中存在兩個(gè)正則化參數(shù)和，本節(jié)通過(guò)交叉驗(yàn)證的方式驗(yàn)證這兩個(gè)正則化參數(shù)對(duì)特征選擇性能的影響，其大小設(shè)定為{0.00001，0.001，0.1，1，10，1000，10000}。采用MAP作為評(píng)估準(zhǔn)則，實(shí)驗(yàn)結(jié)果如圖2所示。

從圖2可以看出，不同的和組合對(duì)應(yīng)不同的MAP結(jié)果，該算法對(duì)于參數(shù)和比較敏感。對(duì)于NUS-WIDE數(shù)據(jù)庫(kù)，當(dāng)=1000、=10時(shí)具有最好的性能；對(duì)于MSRA-MM數(shù)據(jù)庫(kù)，當(dāng)==10時(shí)性能最好。

圖2 正則化參數(shù)敏感性分析

4 結(jié)束語(yǔ)

本文提出了一個(gè)新的基于結(jié)構(gòu)化多視圖稀疏限定的監(jiān)督特征選擇算法SMSFS。本文算法能夠在特征選擇過(guò)程中同時(shí)考慮不同視圖的重要性以及同一視圖中不同特征的重要性，有效結(jié)合多視圖數(shù)據(jù)信息，從而提升特征選擇的性能。其目標(biāo)函數(shù)是非凸的，本文設(shè)計(jì)了一個(gè)有效的迭代算法對(duì)目標(biāo)函數(shù)進(jìn)行求解。將該算法應(yīng)用到了圖像標(biāo)注任務(wù)中，并在兩個(gè)圖像數(shù)據(jù)庫(kù)上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明該算法優(yōu)于現(xiàn)有的特征選擇算法，很好地實(shí)現(xiàn)了特征選擇。

[1] FENG Y F, XIAO J, ZHUANG Y T, et al. Adaptive unsupervised multi-view feature selection for visual concept recognition [C]//11th IEEE Asian Conference on Computer Vision (ACCV), 2012. New York: IEEE Press, 2012: 343-357.

[2] SHI C J, RUAN Q Q, AN G Y, et al. Sparse feature selection based on graph Laplacian for web image annotation [J]. Image and Vision Computing, 2014, 32(3): 189-201.

[3] MA Z G, NIE F P, YANG Y, et al. Web image annotation via subspace-sparsity collaborated feature selection [J]. IEEE Transactions on Multimedia, 2012, 14(4): 1021-1030.

[4] SHI C J, RUAN Q Q, AN G Y, et al. Semi-supervised sparse feature selection based on multi-view laplacian regularization [J]. Image and Vision Computing, 2015, 33(41): 1-10.

[5] XU X X, LI W, XU D, et al. Co-labeling for multi-view weakly labeled learning [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2016, 38(6): 1113-1125.

[6] WANG H, NIE F P, HUANG H, et al. Identifying disease sensitive and quantitative trait-relevant biomarkers from multidimensional heterogeneous imaging genetics data via sparse multimodal multitask learning [J]. Bioinformatics, 2012, 28(12): 1127-1136.

[7] WANG H, NIE F P, HUANG H, et al. Heterogeneous visual features fusion via sparse multimodal machine [C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2013. New York: IEEE Press, 2013: 3097-3102.

[8] CONG Y, WANG S, FAN B J, et al. UDSFS: unsupervised deep sparse feature selection [J]. Neurocomputing, 2016, 196: 150-158.

[9] CHUN T, TANG JH, HONG R, et al. NUS-WIDE: a real-world web image dataset from National University of Singapore [C]//Proceeding of the ACM International Coference on Image and Video Retrieval (CIVR), 2009. New York: ACM Press, 2009: 1-9.

[10] LI H, WANG M, HUA X S. MSRA-MM2. 0: a large-scale web multimedia dataset [C]//IEEE International Conference on Data Mining Workshops (ICDMW), 2009. New York: IEEE Press, 2009: 164-169.

[11] MA Z G, NIE F P, YANG Y, et al. Discriminating joint feature analysis for multimedia data understanding [J]. IEEE Transactions on Multimedia, 2012, 14(6): 1662-1672.

[12] LIU W F, TAO D C, Multiview hessian regularization for image annotation [J]. IEEE Transactions on Image Processing, 2013, 22(7): 2676-2687.

[13] WANG S P, GUO W Z. Sparse multi-graph embedding for multimodal feature representation [J]. IEEE Transactions on Multimedia, 2017, 19(7): 1454-1466.

[14] XUE X W, NIE F P, WANG S, et al. Multi-view correlated feature learning by uncovering shared component [EP/OL]. [2-18-01-10]. https://aaai.org/ ocs/index.php/AAAI/AAAI17/paper/view/14439.

[15] JING X Y, WU FI, DONG X W, et al. Semi-supervised multi-view correlation feature learning with application to webpage classification [EP/OL]. [2018-01-20]. https://aaai.org/ocs/index.php/AAAI/AAAI17/paper/view/14582.

[16] SHI C J, RUAN Q Q, AN G Y, et al. Semi-supervised sparse feature selection based on multi-view laplacian regularization [J]. Image and Vision Computing, 2015, 41(C): 1-10.

[17] GUI J, SUN Z N, JI S W, et al. Feature selection based on structured sparsity: a comprehensive study [J]. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(7): 1490-1507.

[18] SCH?LKOPF B, PLATT J, HOFMANN T. Sparse multinomial logistic regression via bayesian1regularisation [C]//Advances in Neural Information Processing Systems 19: Proceedings of the 2006 Conference. New York: MIT Press, 2006: 209-216.

[19] DING C, ZHOU D, HE X F, et al.1-PCA: rotational invariant1-norm principal component analysis for robust subspace factorization [C]//ICML’06 Proceedings of the 23rd International Conference on Machine Learning (ICML), 2006. New York: ACM Press, 2006: 281-288.

[20] NIE F P, XU D, HUNG T, et al. Flexible manifold embedding: A framework for semi-supervised and unsupervised dimension reduction [J]. IEEE Transactions on Image Processing. 2010, 19 (7): 1921-1932.

[21] WANG L P, CHEN S G.2, pmatrix norm and its application in feature selection [EP/OL]. [2018-01-08].

https://www.researchgate.net/publication/301850380_l_2p_Matrix_Norm_and_Its_Application_in_Feature_Selection.

Research of Supervised Feature Selection Algorithm Based on Structured Multi-View Sparse Regularization

sHI caijuan, DUANChangyu, GU Zhibing

(North China University of Science and Technology, Tangshan Hebei 063210, China)

In order to effectively utiliz the multi-view data information and enhance the feature selection performance, the structured multi-view sparse regularization was constructed, based on which a novel supervised feature selection method, namely structured multi-view supervised feature selection (SMSFS), was proposed. SMSFS could simultaneously consider the importance of each view features and the importance of individual feature in each view to combine the multi-view data information effectively in the feature selection process, and then to boost the supervised feature selection performance. Because theobjective function of SMSFS is non-convex, an effective iterative algorithm was proposed to solve the objective function. The proposed structured multi-view supervised feature selection method SMSFS was applied into image annotation task and extensive experiments were performed on NUS-WIDE and MSRA-MM2.0 image datasets. The proposed method SMSFS was compared with other feature selection methods and the experimental results demonstrated the effectiveness of SMSFS, which means that it could effectively utilize the multi-view data information to boost the feature selection performance.

multi-view learning; structured sparse regularization; supervised feature selection

TP 391.4

10.11996/JG.j.2095-302X.2018061036

A

2095-302X(2018)06-1036-06

2018-04-16；

2018-07-24

國(guó)家自然科學(xué)基金項(xiàng)目(61502143)；河北省自然科學(xué)基金面上項(xiàng)目(F2016209165)；華北理工大學(xué)杰出青年基金項(xiàng)目(JQ201715)；華北理工大學(xué)博士科研啟動(dòng)基金(201510)；河北省高等學(xué)?？茖W(xué)技術(shù)研究項(xiàng)目(QN2018115)

史彩娟(1977-)，女，河北豐潤(rùn)人，副教授，博士。主要研究方向?yàn)閳D像處理與分析、多媒體內(nèi)容分析、計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)等。E-mail：scj-blue@163.com