基于改進局部線性嵌入算法的故障特征提取方法

胡峰， 蘇訊， 劉偉， 吳雨川， 范良志

(武漢紡織大學(xué)機械工程與自動化學(xué)院,武漢430074)

摘要：針對局部線性嵌入算法在故障特征提取中易受異常特征值、鄰域大小和嵌入維數(shù)等因素影響的問題,對局部線性嵌入方法的重構(gòu)權(quán)值估計模型、鄰域大小和嵌入維數(shù)估計模型進行改進。用互相關(guān)熵取代歐式距離用于向量相似度測量，提出基于互相關(guān)熵的重構(gòu)權(quán)值估計模型，并且采用拉格朗日展開式和拉格朗日乘子法進行模型簡化降低計算復(fù)雜度，達到降低異常特征值對特征提取精度影響的目的。應(yīng)用Ncut準(zhǔn)則建立鄰域大小和嵌入維數(shù)的估計模型，實現(xiàn)參數(shù)的自動選取。將改進的局部線性嵌入方法應(yīng)用于軸承故障特征提取，并與其它方法進行比較，結(jié)果表明推薦方法的特征提取精度更高。

關(guān)鍵詞：故障;特征提取;互相關(guān)熵;局部線形嵌入;嵌入維數(shù)

中圖分類號:TH17文獻標(biāo)志碼：A

基金項目：國家自然科學(xué)

收稿日期：2014-11-25修改稿收到日期：2015-03-05

Fault feature extraction based on improved locally linear embedding

HUFeng,SUXun,LIUWei,WUYu-chuan,FANLiang-zhi(School of Mechanical Science and Automation, Wuhan Textile University, Wuhan 430074, China)

Abstract:The performance of locally linear embedding (LLE) for fault feature extraction is influenced by noise, embedding dimension and neighborhood size. Here, it was improved with a new estimation model of weight coefficients and a new estimation model of neighborhood sizes and embedding dimension. Cross-correntropy was used to replace Euclidean distance to measure similarity of vectors. An estimation model of weight coefficients was created based on cross-correntropy. At the same time, the model was simplified with Lagrange method to overcome computation difficulties. The model of weight coefficients based on cross-correntropy improved the performance of LLE and reduced the influence of noise on fault feature extraction. Ncut criterion was employed to choose neighborhood sizes and embedding dimension. A model for choosing their parameters in an automatic way was created. The improved LLE was employed in fault feature extraction of rolling bearings. The test results for fault diagnosis of rolling ball bearings showed that compared with other approaches, the proposed approach is more effective to extract fault features from vibration signals of rolling bearings and to enhance the classification of failure patterns.

Key words:fault; feature extraction; cross-correntropy; LLE; embedding dimension

在沒有先驗知識條件下，應(yīng)用時域和頻域方法能夠從信號中提取大量故障特征組成原始特征集。原始特征集中存在大量冗余和無關(guān)特征，不能直接用于分類。局部線性嵌入(LLE)算法能夠快速、有效地從特征集中提取故障本質(zhì)特征，剔出冗余和無關(guān)特征，被廣泛得到應(yīng)用[1-3]。但是，現(xiàn)有LLE算法存在：易被異常特征值干擾和基于鄰域拓撲保持原理的鄰域和嵌入維數(shù)估計方法不能滿足分類任務(wù)需求[4-5]的問題。

針對上述問題, 本文利用互相關(guān)熵改進重構(gòu)權(quán)值估計模型；應(yīng)用Ncut準(zhǔn)則建立鄰域大小和嵌入維數(shù)的估計模型，達到提高故障特征提取精度的目的。

1LLE算法

LLE算法假設(shè)局部數(shù)據(jù)結(jié)構(gòu)是線性的，流形上任一點可以用它最近鄰點的線形組合來表示。LLE算法描述如下[6-10]：

步驟1搜索高維空間中任一個樣本點xi(l)的k個最近鄰點,i為樣本點的個數(shù)i=1,2,…,N；l為每個樣本點的維數(shù)，l=1,2,…,D。

步驟2用k個最近鄰點對xi進行重構(gòu)，使重構(gòu)誤差函數(shù)最小。

(1)

步驟3由xi的權(quán)值矩陣W和鄰域xij(j=1,2,…,k)計算xi在低維嵌入空間的輸出向量yi。

為了使輸出向量在低維空間盡量保持高維空間的拓撲結(jié)構(gòu)，代價函數(shù)必須最小。

(2)

式中:yij(j=1,2,…,k)為yi的k個鄰近點，且必須滿足

(3)

式中:I是單位矩陣。在計算式(2)的最優(yōu)解時，ε(Y)可寫成

(4)

式中:M是一個N×N的對稱矩陣，其表達式為

M=(I-W)T(I-W)

(5)

式(2)最小解為矩陣M的d個最小特征值所對應(yīng)的特征向量構(gòu)成的矩陣Y，則Y的列向量維數(shù)為d。

2改進的LLE算法

2.1基于互相關(guān)熵的重構(gòu)權(quán)值估計

(6)

(7)

式中:Kσ為一個帶寬為σ的高斯核，如式(7)所示。核帶寬控制觀察窗的大小，能起到一個放大鏡的作用。在觀察窗中進行兩個隨機向量間的相似度測量，能避免向量xij中的異常值對重構(gòu)權(quán)值估計精度的影響。將式(7)代入式(6)得

(8)

(9)

式中高斯核帶寬σ采用Silverman準(zhǔn)則[9]估計

(10)

wij=argmaxVσ

(11)

重構(gòu)權(quán)值矩陣wij將用于計算低維空間的輸出向量yi，計算方法與現(xiàn)有的LLE方法相同。

(12)

令

(13)

利用拉格朗日定理,對e-r2在δ=1處展開,舍去高階項,僅保留二次項

e-r2=e-1(r-2)2

(14)

將式(8)、式(9)、式(13)和式(14)代入式(12),對權(quán)值wit和λ求偏微分,其中t=1,2,…,k

(15)

(16)

式(9)代入式(15)得

(17)

通過式(16)和式(17)即可求出權(quán)值矩陣W。

2.2鄰域和嵌入維數(shù)的估計

基于鄰域拓撲保持原理的鄰域和嵌入維數(shù)估計方法不能滿足分類任務(wù)的需求，如：T&C、MRRE和LCMC方法[11-12]等。LCMC方法相對于前兩種方法而言，無需人工設(shè)置折中系數(shù)而被廣泛應(yīng)用。

圖1　鄰域拓撲保持原理缺陷示意圖 Fig.1 Drawback of neighborhood topology preservation

在高維空間中，集合α和β分別是xA和xB的鄰域。α和β分別屬于類A和類B，如圖1(a)所示。yA，yA1，yA2，yB，yB1是高維數(shù)據(jù)點xA，xA1，xA2，xB，xB1在低維空間的嵌入結(jié)果。η和θ是yA和yB的鄰域，如圖1(b)所示。在低維空間中，yA1和yA2不是yA的鄰域，使LLE算法的鄰域拓撲保持性能下降。但是,yA1并不會影響類A的分類精度。因此，基于鄰域拓撲保持的鄰域和嵌入維數(shù)估計方法不能滿足分類需求。相較于鄰域拓撲保持原理，Ncut準(zhǔn)則更適合分類任務(wù)的鄰域和嵌入維數(shù)估計。

將低維嵌入結(jié)果構(gòu)造成一個賦權(quán)圖G=(V,E,S)，V為頂點集合，E為邊集合，S為邊的權(quán)值。樣本點xi∈V，i=1,2,…,N。如果邊(xi,xj)∈E，則邊的權(quán)值[10]

(18)

式中：d(xi,xj)是頂點xi和xj間的歐式距離，σi(σj)是頂點xi(xj)與鄰域點的平均距離。如果邊(xi,xj)?E，則S=0。由式(18)可知S∈[0,1]，使不同維度空間計算得到的邊權(quán)值具有可比性，進一步使衡量類可分性的Ncut值在不同子空間具有可比性。

設(shè)頂點能劃分為K類，Ci是頂點屬于類i的集合，則Ncut準(zhǔn)則[13-15]為

(19)

式中：d(xi)=∑xt∈CiS(xi,xt)。當(dāng)類Ci的邊界點與其它類的邊界點相距越遠時，式(19)的分子越??；當(dāng)類Ci內(nèi)的數(shù)據(jù)點相互越靠近時，邊的權(quán)值S越大，式(19)的分母越大。Ncut值越小時，類可分性越好。假設(shè)新樣本xi∈Ci的鄰域點為xil，l=1,2,…,k，其中xik?Ci，其余屬于Ci。令xir∈α，yir∈β，r=1,2,…,k-1，xi與鄰域間的權(quán)值為wil，鄰域點在低維空間的投影為yil。當(dāng)wil不變時，集合β中各點間相比于集合α中各點更加相互靠近，β中各點與yik間距離比α與xik間距離更遠，則通過公式[16]

yi=∑wijyij

(20)

計算得到的xi的投影yi就越靠近β，yi被劃分為類Ci的可能性越大。

3實驗研究

3.1實驗對象

為了驗證推薦算法的有效性，選擇美國Case Western Reserve University電氣工程實驗室提供的SKF6205型深溝球軸承在正常和不同故障狀態(tài)下的振動信號數(shù)據(jù)進行分析研究。

3.2原始特征集

表1　實驗一結(jié)果

表2　實驗二結(jié)果

3.3對比研究

(1) 實驗一

選取正常狀態(tài)、滾珠故障、內(nèi)圈故障和外圈故障等4種狀態(tài)下的軸承振動信號。信號采樣頻率為48 kHz，轉(zhuǎn)速1 750 r/min，故障尺寸0.036 cm。每種狀態(tài)樣本數(shù)為29，樣本長度為16 384，計算原始特征集。首先,在每種狀態(tài)中隨機選取15個樣本組成訓(xùn)練樣本集,分別使用局部線形嵌入算法(LLE)，等距映射算法(ISOMAP)和基于互相關(guān)熵的局部線性嵌入算法(CCLLE)進行降維，使用LCMC方法和Ncut準(zhǔn)則自動選取嵌入維數(shù)和鄰域；然后，將結(jié)果用于訓(xùn)練概率神經(jīng)網(wǎng)絡(luò)分類器;接下來,在高維空間找出每個剩余樣本在訓(xùn)練樣本集中的鄰域，用式(1)計算權(quán)值，用式(20)計算低維投影；最后，將低維投影輸入概率神經(jīng)網(wǎng)絡(luò)分類器分類，識別正確率見表1。

(2)實驗二

選取正常狀態(tài)、外圈故障尺寸為0.018 cm、0.036 cm和0.053 cm的軸承振動信號，信號采樣頻率48 kHz，轉(zhuǎn)速1 730 r/min，每個樣本的長度為16 384。實驗步驟和實驗一相同。分類器分類結(jié)果見表2。

(3)實驗結(jié)果分析

在表1中，應(yīng)用Ncut方法優(yōu)化嵌入維數(shù)和鄰域，3種方法的平均分類正確率分別為85.71%，85.71%和91.07%，應(yīng)用LCMC方法優(yōu)化嵌入維數(shù)和鄰域，3種方法的平均分類正確率分別為64.29%，64.29%和66.07%。在表2中，應(yīng)用Ncut方法優(yōu)化嵌入維數(shù)和鄰域，3種方法的平均分類正確率分別為98.21%，100%和100%，應(yīng)用LCMC方法優(yōu)化嵌入維數(shù)和鄰域，3種方法的平均分類正確率分別為96.43%，94.64%和98.22%。對比兩組數(shù)發(fā)現(xiàn)：Ncut方法的辨識正確率高于LCMC方法，說明使用Ncut方法優(yōu)化嵌入維數(shù)和鄰域后，能夠增大訓(xùn)練樣本在低維空間的類可分性，促使新樣本點的低維投影能向自身所在類靠近，達到增加分類正確率的目的。同時說明Ncut方法比LCMC方法更適合分類任務(wù)的嵌入維數(shù)和鄰域的優(yōu)化。

在嵌入維數(shù)和鄰域優(yōu)化方法相同的情況下，通過表1發(fā)現(xiàn)：CCLLE方法的正確率分別為91.07%和66.07%，高于ISOMAP方法與LLE方法的85.71%和64.29%；通過表2發(fā)現(xiàn)： CCLLE方法的正確率分別為100%和98.22%，高于LLE方法的98.21%和96.43%,好于ISOMAP方法的100%和94.64%，說明CCLLE方法的特征提取精度高于LLE方法和ISOMAP方法。使用LCMC方法優(yōu)化CCLLE和LLE方法的嵌入維數(shù)和鄰域，發(fā)現(xiàn)兩種方法參數(shù)的優(yōu)化結(jié)果相同。此時，CCLLE方法的平均分類正確率為66.07%和98.22%，高于LLE方法的平均分類率64.29%和96.43%，說明采用互相關(guān)熵的權(quán)值估計方法能夠消除異常特征值的影響，提高LLE方法的故障特征提取精度。

4結(jié)論

應(yīng)用互相關(guān)熵取代歐式距離用于重構(gòu)權(quán)值的估計，能夠有效降低奇異值對權(quán)值估計精度的影響?；贜cut準(zhǔn)則的嵌入維數(shù)和鄰域大小選擇方法能夠有效的進行參數(shù)選擇。將上述方法應(yīng)用于軸承故障診斷，能夠提高軸承故障特征的提取精度。

參考文獻

[1]栗茂林，王孫安，梁霖. 利用非線性流形學(xué)習(xí)的軸承早期故障特征提取方法[J].西安交通大學(xué)學(xué)報，2010，44(5)：45-49.

LI Mao-lin, WANG Sun-an, LIANG Lin. Feature extraction for incipient fault diagnosis of rolling bearings based on nonlinear manifold learnging[J]. Journal of Xian JiaoTong University, 2010，44(5)：45-49.

[2]張紹輝，李巍華.可變近鄰參數(shù)的局部線性嵌入算法及其在軸承狀態(tài)識別中的應(yīng)用[J].機械工程學(xué)報，2013，49(1):81-87.

ZHANG Shao-hui, LI Wei-hua. Variable nearest neighbor locally linear embedding and applications in bearing condition recognition[J].Journal of Mechanical Engineering, 2013, 49(1): 81-87.

[3]李鋒，田大慶，王家序,等.基于有監(jiān)督增量式局部線性嵌入的故障辨識[J].振動與沖擊,2013,32(23):82-88.

LI Feng, TIAN Da-qing, WANG Jia-xu, et al. Fault identification method based on supervised incremental locally linear embedding[J]. Journal of Vibration and Shock,2013， 32(23)：82-88.

[4]Lee J A, Verleysen M. Quality assessment of dimensionality reduction: Rank-based criteria[J]. Neurocomputing, 2009, 72：1431-1443.

[5]Meng D, Leung Y, Xu Zong-ben. A new quality assessment criterion for nonlinear dimensionality reduction[J]. Neurocomputing, 2011, 74：941-948.

[6]SaulL R. Nonlinear dimensionality reduction by locally linear embedding[J]. Science，2000，290(5500)：2323-2326.

[7]PietikSinen K O. Selection of the optimal parameter value for the locally linear embedding algorithm[C]//Fisrt Internat. Conf. on Fuzzy Systems and Knowledge Discovery，2002.

[8]Daza-Santacoloma G, Castellanoes D G, Principe J C. Locally linear embedding based on correntropy measure for visualization and classification[J]. Neurocomputing, 2012, 80: 19-30.

[9]Genaro D S, German C D, Principe J C. Functional data representation using correntropy locally linear embedding[C]//IEEE International Workshop on Machine Learning for Signal Processing, Kittila, Finland, 2010: 7-12.

[10]閻慶，梁棟，張晶晶. 基于Fisher變換的植物葉片圖像識別監(jiān)督LLE算法[J]. 農(nóng)業(yè)機械學(xué)報，2012，43(9)：179-183.

YAN Qing, LIANG Dong, ZHANG Jing-jing. Recognition method of plant leaves based on fisher projection-supervised LLE algorithm [J].Transactions of the Chinese Society for Agricultural Machinery, 2012，43(9)：179-183.

[11]Chen L. Local multidimensional scaling for nonlinear dimension reduction graph layout and proximity analysis[D]. Philadelphia:University of Pennsylvania, 2006.

[12]Lee J A, Verleysen M. Quality assessment of dimensionality reduction: Rank-based criteria[J].Neurocomputing. 2009,72 : 1431-1443.

[13]Shi Jian-bo, Malik J. Normalized cuts and image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(8): 888-905.

[14]Nascimento M C V, de Carvalho A C P L F. Spectral methods for graph clustering-A survey[J]. European Journal of Operational Research, 2011, 211: 221-231.

[15]Tabatabaei S S, Coates M, Rabbat M. GANC: Greedy agglomerative normalized cut for graph clustering [J]. Pattern Recognition, 2012, 45: 831-843.

[16]Nichols J M，Bucholtz F，Nousain B. Automated，rapid classification of signals using locally linear embedding[J]. Expert Systems with Applications, 2011, 38：13472-13474.

第一作者張濟民男，博士，博士生導(dǎo)師，1969年生

通信作者張琴女，碩士生，1990年生