周 勃，曾勁松，劉國寧，馬光巖

（鄭州大學機械與動力工程學院，河南 鄭州 450001）

1 引言

滾動軸承是旋轉(zhuǎn)機械中廣泛使用的關(guān)鍵零件之一，由于復(fù)雜的工作環(huán)境和多變的工況極易產(chǎn)生故障，帶來嚴重的安全隱患［1］。根據(jù)不完全統(tǒng)計，大約有三分之一的旋轉(zhuǎn)機械故障是由軸承故障引起的，因此對軸承故障信息檢測和診斷對保障機械設(shè)備正常運行具有重要意義。

常見的軸承故障智能診斷方法常采用人工的選取軸承振動信號特征然后再利用傳統(tǒng)機器學習方法對故障類型進行模式識別和分類，但是往往需要對振動信號做復(fù)雜的信號處理以獲取相對滿意的特征，難以達到較好的分類精度。近年來，有諸多學者嘗試將深度學習技術(shù)引入故障診斷領(lǐng)域。深度學習作為機器學習的重要分支之一［2］，在復(fù)雜特征提取方面具有傳統(tǒng)機器學習方法不可比擬的優(yōu)勢，更能充分利用數(shù)據(jù)，可以自動學習到數(shù)據(jù)中的深層隱藏表示，從而避免了繁瑣的特征工程。史光宇將軸承振動的一維振動信號順序采樣并重構(gòu)成二維灰度圖作為卷積神經(jīng)網(wǎng)絡(luò)（CNN）的輸入，有監(jiān)督的對軸承進行智能故障診斷［3］。文獻［4］構(gòu)建了一種殘差學習的深度一維卷積自編碼器，可以無監(jiān)督的對齒輪箱故障進行診斷。文獻［5］通過堆疊LSTM可以自動分層提取原始時間信號中固有的特征，對滾動軸承診斷并取得了不錯效果。文獻［6］則將CNN模型改進，提出了SECNN模型，通過自適應(yīng)調(diào)整模型提取的特征通道維權(quán)重，提升了故障診斷的準確率。以上方法表明深度學習方法在軸承故障診斷方向具有很強的可行性，但是均未考慮到深度模型在訓(xùn)練過程中可能存在的梯度彌散現(xiàn)象，且在故障特征的提取能力方面仍有很大的提升空間，為了進一步提升故障診斷模型的綜合性能，提出了一種基于CKAM-Resnet的軸承故障診斷模型，大大增強了對故障特征的提取能力，同時使模型更容易訓(xùn)練。

2 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)（Residual Networks，Resnet）由何凱明提出，通過在網(wǎng)絡(luò)中加入短路連接（Shortcut Connection），有效解地決了深層神經(jīng)網(wǎng)絡(luò)模型的退化問題［7］。殘差網(wǎng)絡(luò)的基本結(jié)構(gòu)是由若干個殘差塊堆疊而成，如圖1所示。基本思想是模型的內(nèi)部結(jié)構(gòu)至少要保有恒等映射的能力。殘差網(wǎng)絡(luò)直接把恒等映射作為網(wǎng)絡(luò)的一部分，將網(wǎng)絡(luò)設(shè)計為H(x) =F(x) +x，把問題轉(zhuǎn)變?yōu)槿デ蠼庖粋€殘差映射函數(shù)F(x) =H(x) -x，若使得F(x) = 0就構(gòu)成了一個恒等映射，如果新添加的層可以被訓(xùn)練成恒等映射H(x) =x，則加深后的新網(wǎng)絡(luò)至少不會導(dǎo)致性能下降，擬合殘差比擬合恒等映射更為簡單，且殘差映射更容易被優(yōu)化。

圖1 殘差塊結(jié)構(gòu)Fig.1 Residual Block Structure

假設(shè)殘差神經(jīng)網(wǎng)絡(luò)有L個殘差塊堆疊而成，用x(l)表示第l個殘差塊的輸入，x(l+1)表示該殘差塊的輸出。則第l個殘差塊的輸出可以推導(dǎo)出為：

遞歸可以得到第L個殘差塊的輸出：

其中{}代表第l個殘差塊中所有層的權(quán)值矩陣，假定第L個殘差塊的誤差為L，對于網(wǎng)絡(luò)第l個殘差塊根據(jù)鏈式求導(dǎo)法則由（2）計算梯度為：

由式（3）可以觀察到，第一個偏導(dǎo)項不涉及任何權(quán)值層，能保證信息直接傳遞到任意一個比它淺的l層，而括號中第二個偏導(dǎo)項在訓(xùn)練過程中不會始終保持為-1，意味著梯度不可能一直為0，反向傳播過程中鏈式求導(dǎo)從連乘變成連加，可以有效的避免梯度消失和梯度彌散現(xiàn)象。

3 卷積核注意力機制（CKAM）

在神經(jīng)科學領(lǐng)域，動物的視覺皮層的神經(jīng)元的感受野的大小可以根據(jù)外界刺激的不同自適應(yīng)的改變，實驗發(fā)現(xiàn)神經(jīng)元的大小并不是固定的而是受刺激調(diào)節(jié)的［8］。選擇性核卷積（Selective Kernel Convolution，SK卷積）的運作方式與之類似，將注意力機制應(yīng)用于不同尺度的卷積核中，采用門控思想來控制信息的流動以達到神經(jīng)元接受刺激而自適應(yīng)的改變感受野的目的，實現(xiàn)了卷積核的注意力機制（Convolution Kernel Attention Mechanism，CKAM）。其核心思想就是用多尺度特征匯總的信息來跨通道的地指導(dǎo)如何分配側(cè)重使用哪個卷積核的表征。

以二維選擇性核卷積為例，其結(jié)構(gòu)，如圖2所示。選擇性核卷積由分裂（split），融合（fuse）和選擇（select）三種運算組成，X代表輸入的任意特征圖。首先進行分裂（split）運算，在2個分支的情況下，（多分支與之類似），分別使用大小為（3×3）和（5×5）的卷積核對輸入的特征圖X進行卷積，得到分裂后大小相同且含有不同尺度信息的特征圖?和?。融合（Fuse）運算通過元素求和匯集了多分支的信息，其中U是融合后的特征圖，即：

圖2 選擇性核卷積操作Fig.2 Selective Kernel Convolution Operation

式（5）顯示了全局均值池化的操作，Sc代表第c個通道經(jīng)過該操作后的結(jié)果。U經(jīng)過全局均值池化后得到含有融合多分支空間信息后的特征s（s∈RC×1），特征s經(jīng)過全連接被壓縮成低維緊湊特征z（z∈Rd×1）來指導(dǎo)特征的自適應(yīng)選取，其中δ表示：

ReLU激活函數(shù)，B表示批量歸一化操作，W表示全連接層的權(quán)值矩陣，其中W∈Rd×c。選擇（select）運算則是對緊湊特征z通過兩個分支的軟注意力（Soft Attention）矩陣［9］A和B(A，B∈RC×d)）進行仿射變換，并對A，B對應(yīng)的通道維度進行softmax操作，最終可以得到含有2 個分支不同尺度卷積核的通道權(quán)重：wA，wB（wA=[a1，a2，…，ac]，wB=[b1，b2，…，bc]），其中Ac和Bc分別是軟注意力矩陣A，B中第c個通道的軟注意力向量，ac和bc分別為經(jīng)過softmax后兩個分支第c個通道上的權(quán)重大小。

接著將wA，wB分別與輸入特征圖X分裂出的特征圖?和?進行元素相乘得到不同卷積核大小的2個分支通道權(quán)重調(diào)整后的特征圖，并把2 個特征圖再一次融合得到最終的特征V。（V=[V1，V2，…，Vc]，V∈RH×W），其中由式（8）可以得到最終特征圖在通道c上的特征）。

最終經(jīng)選擇性核卷積得到特征圖V與普通卷積操作得到的特征圖相比匯集了更為豐富的不同感受野的空間融合信息。

4 基于CKAM-Resnet故障診斷模型

針對滾動軸承振動信號的特點，將選擇性核卷積可以獲取更為豐富的不同感受野的空間融合特征的特點與殘差網(wǎng)絡(luò)可以避免解決梯度消失/彌散且容易訓(xùn)練的優(yōu)勢相結(jié)合構(gòu)建出了一種基于CKAM-Resnet的滾動軸承故障診斷模型。

CKAM-Resnet 的模型結(jié)構(gòu)借鑒了殘差網(wǎng)絡(luò)的思想，將選擇性核卷積設(shè)計成了塊的結(jié)構(gòu)，模型由堆疊的一維選擇性核卷積塊（1D-SKBlock，SK塊）構(gòu)成，如圖3所示。模型的具體結(jié)構(gòu)，如圖4所示。為了提取軸承振動信號的短時特征，第一層卷積層采用步長為15，寬為128 的一維寬卷積核，后接（1×2）的一維最大池化層，將輸入的特征圖縮小的同時加大了深度，模型各層激活函數(shù)均采用線性整流函數(shù)（Relu），并且每一個卷積和池化層后均引入BN 層（Batch Normalization）［10］加快模型訓(xùn)練過程的收斂減輕過擬合。經(jīng)池化后的特征圖接著通過3個SK塊，其中每經(jīng)過一個SK 塊都會將輸入的特征圖通道數(shù)加倍的同時使特征圖大小減半，為減小模型參數(shù)量提升計算速度，每個SK卷積層的分裂運算均采用2分支的一維卷積，卷積核大小分別是（1×3）和（1×7）。SK塊后采用一維全局池化層對空間信息進行了求和，使模型對輸入的空間變換更具有穩(wěn)定性，并進一步減少了模型參數(shù)量，最后經(jīng)過線性層，引入dropout機制防止模型出現(xiàn)過擬合，將輸出特征降維到10，并經(jīng)過Softmax層輸出預(yù)測概率值。模型的具體結(jié)構(gòu)參數(shù)設(shè)置，如表1所示。

表1 網(wǎng)絡(luò)模型具體參數(shù)Tab.1 Network Model Specific Parameters

圖3 一維選擇性核卷積塊（1D-SKBlock）Fig.3 1D Selective Kernel Convolution Block

圖4 CKAM-Resnet故障診斷模型結(jié)構(gòu)Fig.4 CKAM-Resnet Fault Diagnosis Model Structure

5 實驗過程及結(jié)果分析

實驗采用的滾動軸承振動數(shù)據(jù)來自美國凱斯西儲大學（Case Western Reserve University，CWRU）軸承數(shù)據(jù)中心經(jīng)軸承數(shù)據(jù)采集系統(tǒng)測試得到的公開數(shù)據(jù)集［11］。該軸承數(shù)據(jù)采集系統(tǒng)由電機，轉(zhuǎn)矩傳感器，功率計及電子控制設(shè)備組成，軸承引入的故障均為由電火花加工而成的單一故障，損傷直徑分別為0.007in，0.014in，0.021in（1in=25.4mm），分別位于軸承內(nèi)圈、滾珠和外圈部位。

為驗證提出的故障診斷模型對滾動軸承的故障診斷的實際效果，實驗采用采樣頻率為12kHz，電機負載分別為1、2，3hp條件下（1hp≈0.735kW），電機轉(zhuǎn)速分別為1772r/min，1750r/min，1730r/min，型號為SKF6205-2RS的驅(qū)動端軸承的振動數(shù)據(jù)。按軸承損傷位置和直徑的不同，將軸承振動數(shù)據(jù)劃分為包括正常狀態(tài)在內(nèi)的10種狀態(tài)標簽，并將2048個采樣點數(shù)劃分為一個樣本，根據(jù)不同負載情況，將數(shù)據(jù)集分劃為訓(xùn)練集、驗證集和測試集。為了防止訓(xùn)練集的樣本過少導(dǎo)致模型過擬合，對數(shù)據(jù)集利用重疊采樣的數(shù)據(jù)增強技術(shù)進行了擴充［12］，并采用z-score標準化對輸入的樣本數(shù)據(jù)進行了預(yù)處理。最終每種負載情況下每種故障類型均有400個樣本作為訓(xùn)練集，50個樣本作為驗證集，50個樣本作為測試集。單種負載下具體實驗數(shù)據(jù)集詳情，如表2所示。

表2 實驗數(shù)據(jù)集Tab.2 Experimental Data Set

5.1 模型設(shè)置

仿真實驗在開源深度學習框架PyTorch下實現(xiàn)，為了節(jié)省內(nèi)存和加快計算數(shù)據(jù)讀取速度，對實驗數(shù)據(jù)采用批量（batch）處理。對提出的模型在訓(xùn)練集上訓(xùn)練的同時在驗證集進行驗證，根據(jù)模型在驗證集上的收斂情況合理設(shè)置模型超參數(shù)。

在模型沒有過擬合的前提下，設(shè)置批處理大?。˙atch Size）為128，Dropout層丟棄概率設(shè)置為0.5，采用多分類交叉熵損失函數(shù)（Cross Entropy Loss）作為模型訓(xùn)練的損失函數(shù)。為了加快訓(xùn)練并使模型盡可能的收斂到全局最優(yōu)解，訓(xùn)練過程采用學習率動態(tài)調(diào)整策略，初始學習率設(shè)置為0.001，每經(jīng)過10輪訓(xùn)練，學習率衰減為原來的0.8倍，最終經(jīng)過50輪迭代學習率衰減至0.0003，學習率在訓(xùn)練過程中的變化，如圖5所示。

圖5 模型訓(xùn)練過程中學習率的變化Fig.5 Changes in Learning Rate During Model Training

5.2 恒定負載下的故障診斷

為了驗證CKAM-Resnet在恒定負載下的診斷性能，在電機負載為1hp，2hp和3hp的條件下分別進行實驗。以負載1hp情況為例，模型在訓(xùn)練過程中在的訓(xùn)練集和驗證集的誤差（loss）變化曲線，如圖6所示?？梢杂^察到模型的loss曲線經(jīng)過50輪左右訓(xùn)練基本達到收斂。保存經(jīng)訓(xùn)練收斂后的模型，將訓(xùn)練集樣本輸入模型進行測試，得到最終故障診斷結(jié)果，為了保證結(jié)果的穩(wěn)定性，在不同負載下分別對模型均進行20次實驗，考慮到偶然因素可能對結(jié)果造成的影響，將經(jīng)模型診斷后得到的實驗結(jié)果中去掉一個最高值和一個最低值后的平均準確率作為最終測試結(jié)果。模型在負載為1hp、2hp、3hp下分別用測試集進行測試得到的混淆矩陣，如圖7～圖9所示。

圖6 模型訓(xùn)練過程中l(wèi)oss變化Fig.6 Loss Changes During Model Training

圖7 負載1hp實驗結(jié)果的混淆矩陣Fig.7 Confusion Matrix of Experimental Results Under 1hp Load

圖8 負載2hp實驗結(jié)果的混淆矩陣Fig.8 Confusion Matrix of Experimental Results Under 2hp Load

圖9 負載3hp下實驗結(jié)果的混淆矩陣Fig.9 Confusion Matrix of Experimental Results Under 3hp Load

Cohen’s kappa系數(shù)是一種評估模型預(yù)測結(jié)果和真實類別是否一致的指標，其值越大說明模型預(yù)測結(jié)果與真實分類結(jié)果一致性越好。同時采用Cohen’s kappa系數(shù)評估CKAM-Resnet在3種負載條件下的分類效果，其中Cohen’s kappa系數(shù)的計算公式，如式（9）所示。

p0，pe的計算公式，如式（10），式（11）所示。其中，n為待測試的樣本總數(shù)，g為故障的類別總數(shù)；fij表示真實類別標簽為i，預(yù)測標簽為j的樣本個數(shù)，fi·，f·i分別表示真實標簽為i的所有測試樣本個數(shù)和預(yù)測標簽為i的所有測試樣本個數(shù)。

經(jīng)實驗，模型在三種負載情況下實驗得到的Cohen’s kappa系數(shù)，如表3所示。

表3 不同負載下CKAM-Resnet的Cohen’s kappa系數(shù)Tab.3 Cohen’s Kappa Coefficient of CKAM-Resnet Under Different Loads

為了驗證提出方法的優(yōu)越性，對比實驗選取人工特征+MLP（多層感知機），EMD+SVM，MLP，LSTM（長短期記憶網(wǎng)絡(luò)），1DCNN（一維卷積神經(jīng)網(wǎng)絡(luò)），1D-Resnet（一維殘差網(wǎng)絡(luò)）這6種故障診斷方法，其中手動特征+SVM方法選取了每段樣本的時域特征（均值，方差，峰峰值，有效值，峭度，偏度，峰值因子，脈沖因子，波形因子，裕度因子，峭度因子，偏度因子）和頻域特征（重心頻率，均方頻率，均方根頻率，頻率方差，頻率標準差）組成的17維特征向量輸入到MLP中進行分類；EMD+SVM 方法通過EMD 分解把每個振動信號樣本分解為若干個IMF（本征模函數(shù)）分量，并計算各IMF分量與原始信號的皮爾遜相關(guān)系數(shù)，選取最大的4個IMF分量分別提取其時域和頻域特征（與人工特征+MLP方法選取的特征一致）共68 個特征并將其輸入到SVM 進行故障分類；LSTM方法采用4層結(jié)構(gòu)，隱藏層神經(jīng)元個數(shù)分別為256，128，64，10；MLP方法則是直接將原始訓(xùn)練數(shù)據(jù)和標簽輸入，每層神經(jīng)元個數(shù)分別為2048，1024，256，10；1D-CNN，1D-Resnet采用4層結(jié)構(gòu)，卷積層均采用大小為（1×3）卷積核且每層采用的卷積核數(shù)目及激活函數(shù)均與本模型保持一致，分別為8，16，32，64，每個卷層后積均接有（1×2）最大池化層，線性層神經(jīng)元分別為1600，512，最后由經(jīng)過Softmax層輸出分10類分類結(jié)果，其中1D-Resnet則是在1D-CNN的基礎(chǔ)上增加了短路連接。以上實驗均在模型正常收斂情況下進行。經(jīng)過實驗得到不同故障診斷方法的故障診斷準確率（Accuracy），如表4所示。

表4 不同負載下不同故障診斷方法的準確率Tab.4 The Accuracy of Different Fault Diagnosis Methods Under Different Loads

5.3 不同模型結(jié)構(gòu)的可視化分析實驗

為了驗證CKAM-Resnet模型結(jié)構(gòu)對特征提取的有效性，引入流形學習中t-SNE非線性降維方法將輸入數(shù)據(jù)經(jīng)過模型后每一層輸出的高維特征中的冗余特征消除以留下能反映高維特征本質(zhì)的低維特征，并聚類可視化以便更直觀的顯示模型提取到的特征的分布情況。將模型的每個SK塊提取到的高維特征利用t-SNE降到二維并聚類可視化，同時與不采用SK卷積和殘差結(jié)構(gòu)后的模型（記作模型A）和僅采用SK卷積的模型（記作模型B），在相同位置輸出特征的降維后的聚類圖進行對比，如圖4所示。實驗選擇在1hp的負載下進行，所有超參數(shù)選取策略均與恒定負載下故障診斷實驗保持一致，對三種結(jié)構(gòu)的模型采用同一批次的數(shù)據(jù)同時進行訓(xùn)練，最終三種結(jié)構(gòu)的模型均正常收斂，提取三種模型在位置1，2，3處輸出的特征采用t-SNE技術(shù)降維并聚類可視化的結(jié)果，如圖10～圖12所示。

圖10 模型A各層輸出特征t-SNE聚類效果圖Fig.10 The Output Feature t-SNE Clustering Effect Diagram of Each Layer of Model A

圖11 模型B各層輸出特征t-SNE聚類效果圖Fig.11 The Output Feature t-SNE Clustering Effect Diagram of Each Layer of Model B

圖12 CKAM-Resnet各層輸出特征t-SNE聚類效果圖Fig.12 CKAM-Resnet Output Feature t-SNE Clustering Effect Diagram of Each Layer

5.4 結(jié)果分析

5.4.1 恒定負載下的故障診斷結(jié)果分析

由不同負載下故障診斷實驗得到的混淆矩陣和Cohen’s kappa系數(shù)可以觀察到，提出的基于CKAM-Resnet模型在三種負載情況下均有著0.995以上的k值，說明模型分類結(jié)果與真實類別的一致性較好，模型在各個類別上都取到了較高的分類準確率（均達到了99%以上），每一類型的故障樣本基本都被正確分類，對不同故障類型整體誤判率較低。

由不同故障診斷方法的對比實驗結(jié)果可以看到，CKAMResnet模型在三種負載狀況下的故障診斷的平均準確率達到了99.81%，其中人工特征+MLP與EMD+SVM方法在三種負載下的平均準確率分別為85.50%和91.74%，以上兩種方法都是基于特征工程，特征選取的好壞直接決定了故障診斷的實際效果。MLP與LSTM，1D-CNN，1D-Resnet作為端到端的方法和CKAM-Resnet都是直接將原始信號作為模型的輸入，其中MLP方法僅達到了81.1%的平均準確率，低于人工特征+MLP方法，這是由于缺少特征工程，MLP難以直接從原始信號中提取合適的特征，而LSTM方法雖然能一定程度上利用時序信息但其特征提取能力仍弱于1DCNN，1D-Resnet以及CKAM-Resnet，在三種負載狀況下僅達到了89.74%的平均準確率。1D-Resnet由于引入了短路連接，相對提升了模型綜合的性能，診斷效果優(yōu)于未引入短路連接的1DCNN。而CKAM-Resnet模型結(jié)合了殘差結(jié)構(gòu)和卷積核注意力機制，對軸承故障特征的自適應(yīng)提取能力更強，在三種負載下的故障診斷的平均準確率達到了99.81%，均優(yōu)于其他故障診斷方法。

5.4.2 可視化結(jié)果分析

由三種模型在位置1，2，3處提取到特征的t-SNE 降維聚類效果圖上可以觀察到，由于模型整體層數(shù)的加深，三種模型對故障樣本的分類能力均得到了提升，不同故障類型的樣本簇從混疊的狀態(tài)逐漸分離，說明三種模型對故障特征均有一定的提取能力。從三種模型在同一特征輸出位置的整體聚類效果來看，未采用殘差結(jié)構(gòu)和SK卷積的模型A最差，只采用SK卷積的模型B次之，而二者均采用的CKAM-Resnet模型最優(yōu)。從聚類圖上可以觀察到在最后一個特征輸出位置處，CKAM-Resnet基本將不同故障類型的樣本簇分離，并且無論是類內(nèi)緊湊度還是類間的分離程度均優(yōu)于其他兩種結(jié)構(gòu)的模型，這說明殘差結(jié)構(gòu)與卷積核注意力機制的引入可以有效的增強模型在恒定負載下的對滾動軸承不同類型故障特征的提取能力，較明顯的提升了最終故障診斷的效果。

6 結(jié)論

針對一般軸承智能診斷模型特征提取能力不足，提出了一種基于CKAM-Resnet端對端的故障診斷模型。采用凱斯西儲大學軸承振動數(shù)據(jù)集對模型在恒定負載下的診斷性能進行實驗并與其他軸承故障診斷的方法進行對比，結(jié)果表明CKAM-Resnet故障模型具有更高的診斷準確率。利用t-SNE非線性降維并將模型關(guān)鍵層輸出特征降維并聚類可視化實驗分析得到，CKAMResnet模型可以更有效提取到滾動軸承振動信號中的深層故障特征。這里僅對恒定負載情況下進行了實驗并驗證了CKAMResnet模型在恒定工況條件下對軸承故障診斷的可行性，但對于復(fù)雜工況條件下的故障診斷有待進一步探究。