朱敏,許愛強(qiáng),李睿峰,戴金玲
海軍航空大學(xué),煙臺(tái) 264001
模塊級(jí)故障診斷屬于航空裝備三級(jí)維修體系中的中繼級(jí)維修范疇,是提升航空保障能力的關(guān)鍵環(huán)節(jié)。航空電子設(shè)備各模塊間交聯(lián)關(guān)系復(fù)雜[1-3],難以對(duì)各故障建立嚴(yán)格的數(shù)學(xué)模型,這對(duì)故障診斷帶來了極大的挑戰(zhàn)[4-5]。
基于數(shù)據(jù)驅(qū)動(dòng)的方法為解決上述問題提供了良好的思路。其中,深度學(xué)習(xí)與基于核方法的學(xué)習(xí)算法在航空電子部件的故障診斷中得到了最廣泛的關(guān)注。前者主要適用于故障樣本充足、計(jì)算資源豐富的情況,因此應(yīng)用范圍較為狹小,在電路元件級(jí)診斷中較為常見,文獻(xiàn)[6-7]用深度置信網(wǎng)絡(luò)(DBN)自動(dòng)提取模擬電路的抽象故障特征,極大地提高了診斷正確率;考慮到神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間長(zhǎng)以及固有的人為經(jīng)驗(yàn)依賴性,文獻(xiàn)[8]結(jié)合數(shù)據(jù)壓縮和自編碼技術(shù),提出了一種基于改進(jìn)人工神經(jīng)網(wǎng)絡(luò)的航天器電信號(hào)分類方法。后者在小樣本條件下尤為適用[9],在文獻(xiàn)[10-11]中,支持向量機(jī)(SVM)與核極限學(xué)習(xí)機(jī)(KELM)分別被運(yùn)用于電子系統(tǒng)的故障診斷,展現(xiàn)了較強(qiáng)的統(tǒng)計(jì)學(xué)習(xí)能力。此外,從診斷方法的角度看,為使航空電子設(shè)備的診斷結(jié)論更加可靠,將多個(gè)分類器的結(jié)果進(jìn)行信息融合是另一個(gè)重要的研究方向[12];從診斷對(duì)象的角度看,作為航空電子設(shè)備在服役中后期的主要故障類型,間歇故障的診斷正受到越來越多的關(guān)注,將成為復(fù)雜電子設(shè)備故障診斷的新方向[13];從診斷的基礎(chǔ)看,當(dāng)前航空電子設(shè)備很少考慮故障診斷的測(cè)試需求,直接導(dǎo)致特征參數(shù)獲取困難,因此,測(cè)試性設(shè)計(jì)技術(shù)也依然是研究的重點(diǎn)[14]。
實(shí)際應(yīng)用中,航空電子部件的樣本規(guī)模一般很小[11],因此,基于核方法的學(xué)習(xí)算法更有前景。在該類方法中,核函數(shù)及其參數(shù)的選取將嚴(yán)重制約方法的性能[15-16]。大量研究表明,多核學(xué)習(xí)(Multiple Kernel Learning, MKL)可增強(qiáng)決策函數(shù)的可解釋性,且比單核模型具備更優(yōu)的性能[17-18]。文獻(xiàn)[19-20]分別在模擬電路、局域網(wǎng)的故障診斷中嘗試運(yùn)用MKL,在多種復(fù)雜故障情形下驗(yàn)證了MKL對(duì)提升診斷精度的有效性。文獻(xiàn)[21]提出了一種更有效的MKL方法,稱作SimpleMKL,通過簡(jiǎn)單的子梯度下降方法求解MKL問題,提高了MKL的實(shí)用性。但在MKL的框架里,基核權(quán)重被不加判別地應(yīng)用于整個(gè)輸入空間,忽視了基核在不同樣本上可用性的差異。針對(duì)該問題,局部算法被引入到MKL中,稱之為局部多核學(xué)習(xí)(Localized MKL,LMKL)。
近年來,國(guó)內(nèi)外學(xué)者對(duì)LMKL進(jìn)行了廣泛的研究,大致可分為兩類。一類為每一個(gè)樣本學(xué)習(xí)一組獨(dú)立的基核權(quán)重,稱之為面向樣本的LMKL(Sample-based Localized MKL,S-LMKL)模型[22-23]。針對(duì)S-LMKL中局部權(quán)重的優(yōu)化形式二次非凸的問題,文獻(xiàn)[24]中G?nen和Alpaydin通過一系列參數(shù)化的門模型(Gating Model)去局部地?cái)M合核參數(shù);文獻(xiàn)[25]則著重研究了SVM分類框架下,對(duì)基核權(quán)重施加不同的范數(shù)約束對(duì)LMKL的影響。另一類是由Yang等[26]最初提出的基于分組的LMKL(Group-based Localized MKL,G-LMKL)模型,該方法首先根據(jù)樣本相似性進(jìn)行聚類,再為每個(gè)聚類學(xué)習(xí)一組基核權(quán)重,繼承了S-LMKL的局部特征自適應(yīng)表達(dá)能力,還有效約減了計(jì)算量,避免了過擬合?;谖墨I(xiàn)[26]的思想,文獻(xiàn)[27]將聚類過程嵌入LMKL的訓(xùn)練中,提出了基于動(dòng)態(tài)聚類的G-LMKL模型;文獻(xiàn)[11]則引入近鄰傳播聚類來挖掘局部特征信息,由于事先不需指定聚類數(shù)目,使得G-LMKL對(duì)于不同規(guī)模的樣本均具有較好的實(shí)用性。
G-LMKL克服了S-LMKL面臨的主要風(fēng)險(xiǎn),并且可以通過控制聚類數(shù)量來控制計(jì)算復(fù)雜性,更具靈活性。然而,G-LMKL中簡(jiǎn)單的“硬聚類”并不足以有效描述樣本間的多樣性,在同一聚類的內(nèi)部基核的可用性顯然也存在差異。出于這樣的考慮,針對(duì)航空電子設(shè)備故障樣本的采集困難性、分布復(fù)雜性以及本身固有的不確定性,提出一種小樣本條件下融合隸屬度信息的局部多核超限學(xué)習(xí)機(jī)模型(Fuzzy Clustering Localized Multi-Kernel Extreme Learning Machine,F(xiàn)C-LMKELM),其主要貢獻(xiàn)在于:
1) 不同于現(xiàn)有的基于SVM的G-LMKL,受2015年提出的多核超限學(xué)習(xí)機(jī)(MK-ELM)[28]和文獻(xiàn)[11]啟發(fā),本文將G-LMKL與ELM結(jié)合,從理論上給出了G-LMK-ELM的形式化表達(dá)。
2) 不同于已有的基于“硬聚類”的G-LMKL,基于模糊C均值聚類結(jié)果,本文的核權(quán)重將由樣本落入各聚類的概率以及為每個(gè)聚類分配的核權(quán)重共同決定。在繼承一般G-LMKL算法局部特征自適應(yīng)能力和計(jì)算復(fù)雜性約減能力的同時(shí),還進(jìn)一步挖掘類內(nèi)多樣性,有利于提高診斷精度。
3) 針對(duì)局部權(quán)重優(yōu)化形式的二次非凸問題,通過剖析G-LMK-ELM的初始優(yōu)化問題及其對(duì)偶優(yōu)化問題之間的關(guān)系,搭建了面向初始-對(duì)偶混合優(yōu)化問題的參數(shù)三階段交替更新策略。
(1)
式中:βq∈R|φq(·)|×m為基于第q個(gè)基核的輸出權(quán)重;|φq(·)|為第q個(gè)基核誘導(dǎo)的特征空間維數(shù),m為類別數(shù)量;yi=[yi1,yi2,…,yim]T和ξi=[ξi1,ξi2,…,ξim]T分別為與xi對(duì)應(yīng)的理想輸出向量和誤差向量;C為正則化因子。
在該問題的Lagrange函數(shù)中分別對(duì)βq和ξi求偏導(dǎo),并令結(jié)果等于0,可以進(jìn)一步獲得其對(duì)偶優(yōu)化形式,即
(2)
式中:αi為L(zhǎng)agrange乘子,對(duì)應(yīng)于ELM的模型參數(shù),并且有αi=[αi1,αi2,…,αim]T,α=[α1,α2,…,αn]T。
求解上述對(duì)偶優(yōu)化問題,得到以下決策函數(shù)
(3)
本節(jié)運(yùn)用模糊C均值聚類方法(FCM)[29]對(duì)數(shù)據(jù)集進(jìn)行模糊劃分,進(jìn)而達(dá)到挖掘樣本局部分布特征的目的。不同于硬聚類方法,模糊C均值聚類可以獲取每個(gè)故障樣本對(duì)于各個(gè)聚類的隸屬度,將該隸屬度信息作為先驗(yàn)知識(shí)融入G-LMK-ELM的局部核權(quán)重的優(yōu)化中,有利于增強(qiáng)診斷模型的解釋性,提高其診斷精度。
在FCM中,對(duì)樣本的模糊劃分可以表示成一個(gè)隸屬度矩陣U=[uij](1≤i≤n,1≤j≤C),且U滿足:
(4)
式中:μij為第i個(gè)數(shù)據(jù)關(guān)于第j個(gè)聚類的隸屬度,uij越大,則第i個(gè)數(shù)據(jù)落入第j個(gè)聚類的概率越大。FCM算法的具體實(shí)施流程描述如下:
步驟2更新聚類中心
步驟3更新隸屬度矩陣
(5)
(6)
式(5)和式(6)對(duì)應(yīng)的基于隸屬度信息的FC-LMKL-ELM優(yōu)化問題可以等效為式(7)所示的初始-對(duì)偶混合優(yōu)化問題
(7)
證明:
步驟1由表達(dá)式(5)到表達(dá)式(7)
初始優(yōu)化問題(5)對(duì)應(yīng)的Lagrange函數(shù)為
在Lagrange函數(shù)中對(duì)ξi求偏導(dǎo),并令結(jié)果等于0,有
將該結(jié)果代入Lagrange函數(shù)中,得到式(7)。
步驟2由表達(dá)式(7)到表達(dá)式(6)
將表達(dá)式(7)重新寫為
(8)
(9)
將式(9)代入式(7)中,整理后可式(6)。
證畢。
為了求解融合隸屬度的FC-LMKELM模型,針對(duì)式(7)定義的優(yōu)化問題,提出一種3階段的參數(shù)交替優(yōu)化策略。
1) 固定γ,優(yōu)化α
(10)
圖1 增廣矩陣K′
Fig.1 Augmentation matrixK′
對(duì)式(10)的α′求偏導(dǎo),并令結(jié)果等于0,可得
α′=(K′+I″/C)-1y′
(11)
2) 給定α、γ,計(jì)算βq和fq(xi)
(12)
不妨用fq(·)表示第q個(gè)基核導(dǎo)出的子分類器的輸出函數(shù),則樣本xi基于fq(·)的輸出向量為
(13)
3) 固定α、fq(xi),更新γ
(14)
種不同的局部權(quán)重更新方式。
1)l1-范數(shù)約束
基于直流線路參數(shù)的50Hz諧波放大評(píng)估方法//李曉華,吳立珠,丁曉兵,張冬怡,吳嘉琪,蔡澤祥//(6):146
2)lp-范數(shù)約束
式(14)在lp-范數(shù)約束下的Lagrange函數(shù)表示為
(15)
(16)
聯(lián)合lp-范數(shù)約束條件和式(16),可得
(17)
特別地,當(dāng)p=2時(shí),有
(18)
(19)
決策模型的圖形解釋如圖2所示。
在融合隸屬度的FC-LMKELM模型中,不妨設(shè)測(cè)試樣本的模型輸出f(z)={f(1)(z),f(2)(z),…,f(m)(z)},其中,f(l)(z)對(duì)應(yīng)于第l個(gè)節(jié)點(diǎn)的輸出值,則z的故障模式判定為
(20)
融合隸屬度的FC-MKELM模型整體框架總結(jié)如圖3所示。
圖2 FC-LMKELM的決策模型
Fig.2 Decision-making model of FC-LMKELM
圖3 FC-MKELM模型的流程圖
Fig.3 Flowchart of FC-MKELM model
為方便表示,不妨將采用l1-范數(shù)和l2-范數(shù)約束時(shí)的FC-LMKELM分別記為l1-FC-LMKELM和l2-FC-LMKELM。根據(jù)圖4將所提方法的實(shí)施流程總結(jié)如下:
步驟4通過式(13)計(jì)算fq(xi)。
所有算法均在MATLAB 2018a上運(yùn)行,實(shí)驗(yàn)電腦配置為:Windows 7操作系統(tǒng),Inter Core i7-4770 CPU,3.4 GHz主頻和8 GB RAM。
本節(jié)通過人造數(shù)據(jù)集Gauss4證明FC-LMKELM的有效性。由于Gauss4具有明顯的類內(nèi)局部結(jié)構(gòu),因此常用其進(jìn)行局部算法的性能驗(yàn)證[11,24]。該數(shù)據(jù)集包含2種類別,每個(gè)類別服從2個(gè)不同的高斯分布,每個(gè)分布產(chǎn)生300個(gè)樣本,共1 200個(gè)樣本。與文獻(xiàn)[11,24]一致,每種分布的先驗(yàn)概率、均值、協(xié)方差為
ρ11=0.25,ρ12=0.25,ρ21=0.25,ρ22=0.25
實(shí)驗(yàn)共進(jìn)行20次,每次隨機(jī)選擇600個(gè)樣本用于訓(xùn)練,400個(gè)樣本用于測(cè)試,設(shè)置所提方法的聚類數(shù)量為4。將所提方法與SimpleMKL[21]、M1-LCMKELM[11]、M2-LCMKELM[11]、S-LMKL-softmax[24]、S-LMKL-sigmoid[24]比較。參考文獻(xiàn)[11,24]中的配置,上述所有方法均以線性核、參數(shù)是2的多項(xiàng)式核、參數(shù)是1的高斯核作為基核;F1分?jǐn)?shù)是統(tǒng)計(jì)學(xué)中衡量二分類模型精確度的重要指標(biāo)[30],本節(jié)將之與分類準(zhǔn)確率以及文獻(xiàn)[31]中的G-mean作為評(píng)價(jià)分類性能的3大指標(biāo),其值以“均值±標(biāo)準(zhǔn)差”的形式記錄于表1中。
由表1可知,與其他方法相比,在l1-范數(shù)和l2-范數(shù)約束下,F(xiàn)C-LMKELM可以實(shí)現(xiàn)最優(yōu)的分類性能。其原因在于:
表1 實(shí)驗(yàn)1中各指標(biāo)值Table 1 Index values in experiment 1
1) SimpleMKL沒有考慮樣本的局部特征信息,因此在所有方法中,其分類性能最差。
2) 與2種常見的S-LMKL方法相比,LCMKELM和FC-LMKELM將基核權(quán)重?cái)M合到樣本所屬聚類而非每個(gè)樣本上,一定程度上抑制了過學(xué)習(xí)問題,分類精度得以提升;與2種基于硬聚類的LCMKELM方法相比,隸屬度信息的融入使FC-LMKELM得以有效描述聚類內(nèi)部樣本間的多樣性,因此,即便與診斷性能更佳的M2-LCMKELM相比,在不同范數(shù)約束下,診斷精度也分別提升了0.35%和1.10%。
為更直觀地展現(xiàn)FC-LMKELM相較于其他方法的優(yōu)勢(shì),選取l2-FC-LMKELM、SimpleMKL、S-LMKL-softmax與M1-LCMKELM的受試者工作特征曲線(ROC)繪制于圖4中。由圖4可知,l2-FC-LMKELM的曲線下方面積(AUC)依次大于M1-LCMKELM、S-LMKL-softmax和SimpleMKL,這進(jìn)一步驗(yàn)證了所提方法的性能。
圖4 4種方法的ROC曲線
Fig.4 ROC curves of 4 methods
為說明聚類數(shù)量對(duì)算法精度的影響,隨機(jī)選擇600個(gè)樣本用于訓(xùn)練,400個(gè)樣本用于測(cè)試,設(shè)置不同的聚類數(shù)量后,其測(cè)試結(jié)果如表2所示。
表2 不同聚類數(shù)目時(shí)的分類準(zhǔn)確率
由表2可知:當(dāng)聚類數(shù)量為1時(shí),診斷精度處于較低水平;隨著聚類數(shù)量增加,模型診斷精度出現(xiàn)不同程度的提高,但最佳的聚類數(shù)量與輸入空間的局部結(jié)構(gòu)有關(guān),并無明確的規(guī)律可循,當(dāng)聚類數(shù)量取值不當(dāng)時(shí),測(cè)試精度甚至?xí)霈F(xiàn)下降;當(dāng)聚類數(shù)量增加到訓(xùn)練樣本數(shù)量時(shí),本文方法演變?yōu)镾-LMKL-ELM,泛化性能有所降低。
某型機(jī)前端接收機(jī)組成如圖5所示,本節(jié)以其為例,驗(yàn)證FC-LMKELM的有效性。自動(dòng)測(cè)試系統(tǒng)(ATS)對(duì)其進(jìn)行12項(xiàng)測(cè)試:5個(gè)頻點(diǎn)的靈敏度、動(dòng)態(tài)范圍,以及兩項(xiàng)射頻增益。用F0、F1、F2、F3分別表示正常模式、放大單元故障、微波單元1故障和微波單元2故障。ATS對(duì)每種模式采集48組樣本,共得到192組樣本,將之均分后形成訓(xùn)練集和測(cè)試集。基于廠家維護(hù)保養(yǎng)手冊(cè)中的測(cè)量方法,利用ATS的標(biāo)準(zhǔn)信號(hào)源、功率計(jì)和頻譜儀對(duì)每種模式采集48組樣本,共獲得特征數(shù)為12、樣本數(shù)為192的原始數(shù)據(jù)集,對(duì)該數(shù)據(jù)集按特征進(jìn)行Z-score標(biāo)準(zhǔn)化預(yù)處理,然后將之均分為訓(xùn)練集和測(cè)試集。運(yùn)用t分布隨機(jī)鄰域嵌入(t-SNE)算法[32]將訓(xùn)練集的96個(gè)樣本降維到三維空間中,如圖6所示。顯然,不同故障模式的樣本間重疊嚴(yán)重,同一故障模式的樣本分布也并不集中,這對(duì)分類算法性能提出了較高的要求。
圖5 前端接收機(jī)
Fig.5 Front-end receiver
圖6 訓(xùn)練集的三維可視化圖
Fig.6 3-D visualization of training set
基于該訓(xùn)練集,以線性核、參數(shù)為2的多項(xiàng)式核、參數(shù)分別為[2,10,20,30,40,50]的高斯核作為基核(共8個(gè)),運(yùn)用FC-LMKELM進(jìn)行診斷。首先對(duì)訓(xùn)練樣本進(jìn)行模糊C均值聚類,經(jīng)試驗(yàn),當(dāng)聚類數(shù)為4時(shí)可達(dá)到最佳性能,其隸屬度矩陣如表3所示。
基于表3所示的隸屬度信息,按照第3節(jié)中的步驟3~步驟6執(zhí)行迭代更新過程,在不同的范數(shù)約束下,F(xiàn)C-LMKELM的學(xué)習(xí)曲線如圖7所示。
表3 診斷數(shù)據(jù)的隸屬度矩陣Table 3 Membership matrix of diagnosis dataset
圖7 FC-LMKELM的學(xué)習(xí)曲線
Fig.7 Learning curves of FC-LMKELM
圖9以混淆矩陣的形式直觀地展示了FC-LMKELM與SimpleMKL、S-LMKL-softmax、S-LMKL-sigmoid、M2-LCMKELM的診斷效果。
圖8 FC-LMKELM的局部權(quán)重分布
圖9 不同方法的混淆矩陣
Fig.9 Confusion matrices of different methods
表4 各方法的指標(biāo)值Table 4 Index values for different method
表4對(duì)各方法的精度指標(biāo)進(jìn)行了總結(jié)。由圖9和表4可知:
1) FC-LMKELM在避免漏警與抑制虛警方面表現(xiàn)優(yōu)異,尤其是l2-FC-LMKELM,實(shí)現(xiàn)了0漏警,0虛警。
2) 兩種S-LMKL方法的測(cè)試診斷精度遠(yuǎn)遠(yuǎn)低于訓(xùn)練診斷精度,顯然發(fā)生了嚴(yán)重的過擬合,其原因在于為每一個(gè)樣本點(diǎn)學(xué)習(xí)獨(dú)立的基核權(quán)重導(dǎo)致了算法泛化性能嚴(yán)重下降。與之相對(duì)的是M2-LCMKELM,通過“硬聚類”的方式將局部權(quán)重關(guān)聯(lián)至所屬聚類而非各個(gè)樣本上,既關(guān)注了局部特征又防止了過學(xué)習(xí),泛化性能得以提升。
3) 由于融合了各個(gè)樣本對(duì)群組的隸屬度信息,相比于M2-LCMKELM,這種“軟聚類”的方式使FC-LMKELM的泛化性能得到了進(jìn)一步的提升;l2-FC-LMKELM的診斷準(zhǔn)確性比l1-FC-LMKELM高,原因在于后者的基核權(quán)重具有稀疏性(見圖8),可能帶來有用信息的損失。相比其他4種非“軟聚類”方法,在測(cè)試精度方面,l1-FC-LMKELM分別提升了4.16%、6.99%、4.16%和1.04%;l2-FC-LMKELM則分別提升了5.20%、8.03%、5.20%和2.08%。
從另一個(gè)角度看,本節(jié)以文獻(xiàn)[28]中給出的適用于多分類問題的F1的推廣形式微觀F1(Micro-F1)、宏觀F1(Macro-F1)以及G-mean作為診斷方法的精確性評(píng)價(jià)指標(biāo),基于圖9的直觀結(jié)果將這3大指標(biāo)統(tǒng)計(jì)于表5中,從中可知FC-LMKELM仍然表現(xiàn)最佳。
最后,為了探究所提方法的時(shí)效性,重復(fù)10次實(shí)驗(yàn),表6以“均值±標(biāo)準(zhǔn)差”的形式統(tǒng)計(jì)了各方法的時(shí)間開銷。
表5 各方法的F1分?jǐn)?shù)和G-meanTable 5 F1 score and G-mean of different methods
表6 不同方法的時(shí)間開銷Table 6 Time cost for different method
由表6可知:① 在訓(xùn)練時(shí)間上,盡管FC-LMKELM要略長(zhǎng)于其他方法,尤其在l1-范數(shù)約束下,每次迭代中加入的解線性規(guī)劃過程更多地延長(zhǎng)了訓(xùn)練時(shí)間,但需要注意的是,正如圖7所示,只需極少的迭代步數(shù)FC-LMKELM就能快速收斂,因此訓(xùn)練時(shí)間開銷實(shí)際上是可控的;② 在測(cè)試時(shí)間上,F(xiàn)C-LMKELM與其他方法基本相同,均可實(shí)現(xiàn)實(shí)時(shí)輸出;③ 作為線下診斷方法,以少量時(shí)間開銷來?yè)Q取更多的精確性上的提高是值得的;此外,航空電子部件的診斷多數(shù)情況下在小樣本條件下進(jìn)行,時(shí)間花費(fèi)不會(huì)過多,因此FC-LMKELM是有效的。
面向航空電子部件模塊級(jí)故障診斷問題,提出一種融合隸屬度信息的FC-LMKELM診斷方法。以某型機(jī)前端接收機(jī)的ATS測(cè)試數(shù)據(jù)為例,驗(yàn)證了所提方法的有效性,可以得到以下結(jié)論:
1) 在診斷精度方面,相比于MKL方法和3種非“軟聚類”的LMKL方法,F(xiàn)C-LMKELM能夠有效避免漏警、抑制虛警并提升診斷精確度。對(duì)于某型機(jī)前端接收機(jī),l1-FC-LMKELM和l2-FC-LMKELM比其他方法的平均值分別提高了4.09%和5.13%。
2) 在時(shí)間開銷方面,相比于MKL方法和3種非“軟聚類”的LMKL方法,F(xiàn)C-LMKELM訓(xùn)練時(shí)間稍長(zhǎng),但較少的迭代次數(shù)確保了時(shí)間開銷的可控性;在測(cè)試時(shí)間上各方法基本在同一水平。
3) 聚類數(shù)量對(duì)所提方法的性能有很大的影響,并且沒有明確的規(guī)律可循,需要依據(jù)具體的數(shù)據(jù)進(jìn)行驗(yàn)證后確定。在訓(xùn)練過程中融入聚類數(shù)量自適應(yīng)變化的“軟聚類”方法是下一步的研究方向。