基于偽標(biāo)簽的弱監(jiān)督遷移學(xué)習(xí)模型

侯鑫燁，董增壽，劉鑫

(1.太原科技大學(xué)電子信息工程學(xué)院，山西太原 030024；2.陽泉市區(qū)域創(chuàng)新促進中心，山西陽泉 045000)

0 前言

近年來，采用深度學(xué)習(xí)算法的智能故障診斷技術(shù)在制造業(yè)中得到了廣泛應(yīng)用，取代了耗時的人工分析方法，提高了故障診斷效率[1-3]。然而，研究者發(fā)現(xiàn)，深度學(xué)習(xí)方法只有當(dāng)有足夠的標(biāo)記訓(xùn)練數(shù)據(jù)且訓(xùn)練和測試數(shù)據(jù)服從相同分布，深度學(xué)習(xí)方法才能很好地工作，當(dāng)訓(xùn)練集和測試集來自不同工況或者不同機器時，深度學(xué)習(xí)方法的作用可能會下降甚至無效。遷移學(xué)習(xí)法旨在解決這類跨域問題，試圖利用一個域的知識解決另一個域新的相關(guān)任務(wù)[4]。

許多學(xué)者嘗試?yán)脭?shù)據(jù)建立域不變模型，最小化特征空間分布差異。ZHANG等[5]提出的方法實現(xiàn)了滾動軸承故障診斷的端到端深度模型，但模型中沒有用到遷移學(xué)習(xí)算法。一些利用最大平均差異(MMD)[6-7]的遷移神經(jīng)網(wǎng)絡(luò)模型在轉(zhuǎn)移任務(wù)上可取得良好的效果，但學(xué)習(xí)過程中會出現(xiàn)梯度消失和爆炸。ARJOVSKY等[8]提出了一種適用于變速旋轉(zhuǎn)機械故障診斷的深度半監(jiān)督域泛化網(wǎng)絡(luò)DSDGN，引入Wasserstein解決了梯度消失的問題。但上述研究方法存在一定的局限性：它們的研究對象是同一臺機器上使用的軸承的遷移學(xué)習(xí)任務(wù)，僅從一種操作條件遷移到另一種操作條件；實際機器中使用的軸承帶標(biāo)記的數(shù)據(jù)很少，當(dāng)目標(biāo)域缺乏標(biāo)簽信息時，目標(biāo)域中的未標(biāo)記數(shù)據(jù)不能用于充分訓(xùn)練智能診斷模型。

為此，本文作者提出一種基于偽標(biāo)簽的弱監(jiān)督遷移學(xué)習(xí)模型WSTLPL。該方法通過構(gòu)建帶有偽標(biāo)簽的目標(biāo)域數(shù)據(jù)集，幫助帶標(biāo)簽的源域數(shù)據(jù)一起訓(xùn)練WSTLPL模型，Wasserstein度量用于計算源域和目標(biāo)域的分布差異；通過迭代學(xué)習(xí)，一維卷積神經(jīng)網(wǎng)絡(luò)(1D-CNN)便可學(xué)習(xí)到可遷移特征，實現(xiàn)域自適應(yīng)。該模型中利用原始振動信號作為輸入，自適應(yīng)學(xué)習(xí)故障特征。在CWRU、IMS、MPC數(shù)據(jù)集上進行實驗，證明了該模型具有更好的遷移效果。

1 理論基礎(chǔ)

1.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)中，域是學(xué)習(xí)的主體[9-10]，主要指相應(yīng)的數(shù)據(jù)空間和數(shù)據(jù)分布。假設(shè)源域和目標(biāo)域分別Ds和Dt，它們的特征空間相同、數(shù)據(jù)分布不同。遷移學(xué)習(xí)目標(biāo)就是從帶標(biāo)簽的源數(shù)據(jù){Xs,Yt}中學(xué)習(xí)一個分類器并遷移到未標(biāo)記的數(shù)據(jù){Xt}中進行預(yù)測?；谔卣鞯挠蜃赃m應(yīng)方法是遷移學(xué)習(xí)的一類，可將2個域映射到1個域不變的特征空間以減少源域與目標(biāo)域的差異。

1.2 Wasserstein距離

Wasserstein距離為評價標(biāo)準(zhǔn)，用于度量源域數(shù)據(jù)分布和目標(biāo)域數(shù)據(jù)分布的距離。假設(shè)一個度量空間(M,ρ)，ρ(x,y)為距離函數(shù)，x、y為集合M上的樣本，P、Q為M上的任意2個概率分布，其p階的Wasserstein距離[11-12]定義為

(1)

其中：π(x,y)為從位置x到位置y的遷移策略；∏(P,Q)為集合M×M上以P、Q為邊緣分布的聯(lián)合分布。p=1和p=2為最有效的2個階數(shù)，相比于W2、W1距離更靈活，更容易約束，通過Kantorovich-Rubinstein對偶[12]構(gòu)造，W1可以表示為

(2)

2 WSTLPL模型

WSTLPL模型如圖1所示，用一個域共享神經(jīng)網(wǎng)絡(luò)從源域和目標(biāo)域的原始振動數(shù)據(jù)中提取可傳遞的特征。然后，通過域自適應(yīng)網(wǎng)絡(luò)減少學(xué)習(xí)到的可轉(zhuǎn)移特征的分布差異。最后，給目標(biāo)域中未標(biāo)記的樣本分配偽標(biāo)簽，幫助訓(xùn)練域共享網(wǎng)絡(luò)。

圖1 WSTLPL網(wǎng)絡(luò)結(jié)構(gòu)

2.1 域共享網(wǎng)絡(luò)

域共享網(wǎng)絡(luò)由卷積層、池化層、全連接層組成，其參數(shù)如表1所示。卷積層對輸入矩陣進行卷積操作，提取輸入矩陣不同的特征。池化層對提取的特征壓縮映射，獲得主要特征。

表1 域共享網(wǎng)絡(luò)參數(shù)

用于圖像分類的典型卷積層包含輸入圖像I和核K，二維卷積[13]定義如下：

(3)

由于數(shù)據(jù)是一維振動信號，因此在每個卷積層中用一維卷積。令m=1時，得到一維卷積，則上式就可以寫成如下形式:

(4)

全連接層輸出定義為

yl=φ(Wlyl-1+bl)

(5)

其中：Wl為上一層與當(dāng)前層的權(quán)重矩陣;yl-1為上一層的輸出;bl為當(dāng)前層的偏置。

2.2 域自適應(yīng)網(wǎng)絡(luò)

域自適應(yīng)網(wǎng)絡(luò)也由卷積神經(jīng)網(wǎng)絡(luò)組成，幫助域共享網(wǎng)絡(luò)學(xué)習(xí)可遷移特征，其參數(shù)如表2所示。為減少從不同域數(shù)據(jù)中學(xué)習(xí)到的可轉(zhuǎn)移特征的分布差異，域自適應(yīng)網(wǎng)絡(luò)通過最大最小化學(xué)習(xí)到的可轉(zhuǎn)移特征的Wasserstein距離來訓(xùn)練域共享神經(jīng)網(wǎng)絡(luò)的參數(shù)，計算公式如下：

表2 域自適應(yīng)網(wǎng)絡(luò)參數(shù)

(6)

2.3 學(xué)習(xí)策略

在弱監(jiān)督訓(xùn)練前，先進行預(yù)訓(xùn)練。根據(jù)表1和表2的網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建WSTLPL網(wǎng)絡(luò)，將源域數(shù)據(jù)集劃分成訓(xùn)練、驗證、測試3個數(shù)據(jù)集，然后將訓(xùn)練集輸入該網(wǎng)絡(luò)，利用式(7)計算Softmax輸出的預(yù)測標(biāo)簽與真實標(biāo)簽的交叉熵?fù)p失，利用BP算法訓(xùn)練網(wǎng)絡(luò)參數(shù)。

(7)

其中：n為樣本個數(shù)；K為樣本種類；F為Softmax輸出值；Y為樣本的真實標(biāo)簽。

由于目標(biāo)域中的樣本缺乏標(biāo)簽信息，不能直接用于訓(xùn)練模型，所以引入偽標(biāo)簽學(xué)習(xí)[14-15]。預(yù)訓(xùn)練結(jié)束后，取目標(biāo)域中小批次樣本作為輸入進行預(yù)測，并將這批次樣本打?qū)?yīng)的偽標(biāo)簽。通過公式(8)計算目標(biāo)域樣本的預(yù)測標(biāo)簽和偽標(biāo)簽之間的誤差，并反傳回網(wǎng)絡(luò)訓(xùn)練網(wǎng)絡(luò)參數(shù)。最后將打偽標(biāo)簽的目標(biāo)域數(shù)據(jù)和帶標(biāo)簽的源域數(shù)據(jù)混合，作為新的數(shù)據(jù)集對網(wǎng)絡(luò)進行訓(xùn)練。

(8)

結(jié)合公式(6)—(8)，最終的優(yōu)化目標(biāo)表示為

minLc+αLp+LD

(9)

其中：α∈(0,1)為平衡系數(shù)。

3 實驗結(jié)果與分析

為驗證模型效果，分兩部分進行研究：(1)與現(xiàn)有學(xué)習(xí)算法的對比實驗；(2)討論系數(shù)α對WSTLPL模型的影響。實驗在Tensorflow框架下進行，計算機配置為Intel(R)Xeon(R)CPU E5-2660、中央處理器CPU的主頻為2.20 GHz，32 GB內(nèi)存GTX1080Ti GPU。深度學(xué)習(xí)網(wǎng)絡(luò)都由ADAM優(yōu)化，學(xué)習(xí)率設(shè)為0.001、衰減率為0.99、實驗訓(xùn)練次數(shù)為10 000、預(yù)訓(xùn)練次數(shù)為2 000。

3.1 數(shù)據(jù)集介紹

實驗用到3個數(shù)據(jù)集：西儲大學(xué)軸承數(shù)據(jù)集CRWU、辛辛那提大學(xué)軸承壽命數(shù)據(jù)集IMS、多級離心泵數(shù)據(jù)集MCP，以實現(xiàn)不同機器軸承知識的遷移學(xué)習(xí)。每個數(shù)據(jù)集都包含正常、外圈故障、內(nèi)圈故障、滾動體故障4種狀態(tài),每個狀態(tài)500個樣本。由于數(shù)據(jù)分布隨著工作條件的不同而變化，則根據(jù)工作條件，將它分成不同的域，如表3所示。

表3 數(shù)據(jù)集描述

3.2 與現(xiàn)有學(xué)習(xí)算法的對比實驗

將CRWU、IMS、MCP數(shù)據(jù)集分別作為源域或目標(biāo)域，共有6個遷移任務(wù)實驗。在每個實驗中，訓(xùn)練數(shù)據(jù)集包括來自源域數(shù)據(jù)的所有標(biāo)記數(shù)據(jù)樣本和來自目標(biāo)域的1/2的未標(biāo)記數(shù)據(jù)樣本，目標(biāo)域的另1/2數(shù)據(jù)樣本用于測試。如表4所示，將WSTLPL模型在不同遷移任務(wù)的識別率與CNN、TCA[16]、DDC[17]作對比，分別在6個遷移實驗中進行驗證，其中：A-B表示源域A向目標(biāo)域B遷移，其他遷移任務(wù)類似。從表4可以看出：所提模型的平均識別率達88.72%，在4種方法中最高；CNN沒有遷移能力，平均識別率為55.16%；TCA由于不能提取樣本深層特征，識別率僅為33.20%，不適合域差異大的遷移任務(wù)；DDC方法通過最小化MMD減小分布差異，識別率達76.36%，比WSTLPL小，比其他方法高。該結(jié)果證明了Wasserstein引導(dǎo)的域自適應(yīng)和偽標(biāo)簽學(xué)習(xí)的有效性。

表4 不同方法的識別率 單位：%

3.3 系數(shù)α對WSTLPL模型的影響

在遷移任務(wù)C-A中研究系數(shù)α對WSTLPL模型的影響。設(shè)一個參數(shù)i，其值分別取 0、0.05、0.1、0.15、0.2、0.3，令α=i，依次輸入WSTLPL模型的識別率，結(jié)果如圖2所示?？芍篧STLPL的分類準(zhǔn)確率隨α的增大而先增大后減?。沪?0時，準(zhǔn)確率很低；當(dāng)α=0.15時，WSTLPL的分類準(zhǔn)確率達到最高；當(dāng)α=0.2時，準(zhǔn)確率迅速下降。因此，當(dāng)α為0.15左右時，模型分類效果好。

圖2 系數(shù)α對WSTLPL模型的影響

3.4 遷移效果

利用Wasserstein距離來度量WSTLPL模型的遷移效果。圖3所示為各遷移任務(wù)在弱監(jiān)督訓(xùn)練時，源域和目標(biāo)域特征分布的Wasserstein距離變化情況?？芍涸谌醣O(jiān)督訓(xùn)練開始時，Wasserstein距離很大，隨著迭代次數(shù)的增加，Wasserstein距離減小，并趨于平穩(wěn)。結(jié)果表明：WSTLPL模型可以很好地減少學(xué)習(xí)到的分布差異，提高了模型的泛化能力。

圖3 WSTLPL模型不同遷移任務(wù)時Wasserstein距離的變化

4 結(jié)論

針對遷移學(xué)習(xí)中目標(biāo)域標(biāo)記樣本不足，且源域和目標(biāo)域數(shù)據(jù)分布差異大時，訓(xùn)練出的模型存在泛化能力弱的問題，提出一種基于偽標(biāo)簽的半監(jiān)督遷移學(xué)習(xí)模型WSTLPL。在CWRU、IMS、MCP 3個數(shù)據(jù)集的遷移任務(wù)中進行實驗對比，結(jié)果表明WSTLPL模型具有更高的識別率，并且通過觀察Wasserstein距離的變化趨勢，證明了WSTLPL模型可以減少源域和目標(biāo)域的特征分布差異，模型遷移效果顯著。