基于自注意力CNN-BiLSTM的滾動(dòng)軸承剩余使用壽命預(yù)測

惠憬明,王健,吳雙,黃永明,王梓齊

(1.內(nèi)蒙古霍煤鴻駿鋁電有限責(zé)任公司,內(nèi)蒙古 通遼 029200;2.湖南中融匯智信息科技股份有限公司,長沙 410221;3.浙江大學(xué) 控制科學(xué)與工程學(xué)院,杭州 310027)

滾動(dòng)軸承是旋轉(zhuǎn)機(jī)械設(shè)備的重要部件,如風(fēng)電機(jī)組的齒輪箱和發(fā)電機(jī)軸承[1]、高速列車的軸箱軸承[2]、碼垛機(jī)器人和扒渣機(jī)器人中的伺服電機(jī)軸承[3]等。滾動(dòng)軸承的運(yùn)行狀態(tài)直接影響著機(jī)械設(shè)備的性能、可靠性,軸承是部分設(shè)備的故障多發(fā)點(diǎn):據(jù)統(tǒng)計(jì),軸承故障占風(fēng)電機(jī)組齒輪箱和發(fā)電機(jī)總故障的21%和41%[4],約50%的感應(yīng)電動(dòng)機(jī)故障由軸承引起[5];因此,有必要對滾動(dòng)軸承的運(yùn)行狀態(tài)進(jìn)行監(jiān)測以預(yù)防相關(guān)故障的發(fā)生。故障預(yù)測與健康管理(Prognostic and Health Management,PHM)是對設(shè)備運(yùn)行狀態(tài)進(jìn)行診斷、評估、預(yù)測以及對設(shè)備的使用計(jì)劃、維修資源等進(jìn)行管理的多學(xué)科交叉技術(shù)[6]。剩余使用壽命(Remaining Useful Life,RUL)預(yù)測是PHM的核心技術(shù),目的是預(yù)測設(shè)備的健康情況以減小突發(fā)故障造成的損失,最終實(shí)現(xiàn)預(yù)測性維修[7]?，F(xiàn)階段滾動(dòng)軸承RUL預(yù)測方法可分為失效機(jī)理法和數(shù)據(jù)驅(qū)動(dòng)法兩大類:失效機(jī)理法[8]根據(jù)機(jī)械運(yùn)行原理和故障失效機(jī)理進(jìn)行理論或試驗(yàn)建模,但在機(jī)械結(jié)構(gòu)復(fù)雜,運(yùn)行工況多變,失效模式多等不利條件下建立準(zhǔn)確的機(jī)理模型難度較大;數(shù)據(jù)驅(qū)動(dòng)法[9]基于歷史監(jiān)測數(shù)據(jù)建立數(shù)據(jù)驅(qū)動(dòng)預(yù)測模型以學(xué)習(xí)設(shè)備的退化行為,適應(yīng)性和易用性較強(qiáng)。

由于較強(qiáng)的特征提取和非線性映射能力,基于深度學(xué)習(xí)的數(shù)據(jù)驅(qū)動(dòng)滾動(dòng)軸承RUL預(yù)測方法近年來得到了廣泛的研究與應(yīng)用,特別是卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)和長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory, LSTM):文獻(xiàn)[10]使用自編碼網(wǎng)絡(luò)提取特征,使用時(shí)間注意力CNN實(shí)現(xiàn)滾動(dòng)軸承的RUL預(yù)測;文獻(xiàn)[11]將1D-CNN與2D-CNN融合以充分提取軸承振動(dòng)信號(hào)的時(shí)頻域退化特征并實(shí)現(xiàn)RUL預(yù)測;文獻(xiàn)[12]直接將原始振動(dòng)信號(hào)輸入雙向長短期記憶網(wǎng)絡(luò)(Bidirectional LSTM,BiLSTM)提取特征,并使用注意力機(jī)制對特征分配不同的權(quán)重以提升預(yù)測精度;文獻(xiàn)[13]提出了一種基于LSTM的軸承RUL預(yù)測方法,并改進(jìn)了訓(xùn)練過程中的Dropout模塊以提高精度。

軸承的振動(dòng)信號(hào)屬于一維時(shí)間序列數(shù)據(jù),信號(hào)隨時(shí)間變化的趨勢蘊(yùn)含著退化信息,對于RUL預(yù)測有著重要作用。由于振動(dòng)信號(hào)的非平穩(wěn)性、噪聲等問題,通常需要根據(jù)振動(dòng)數(shù)據(jù)計(jì)算不同的時(shí)域指標(biāo)作為RUL預(yù)測模型的輸入。在同一時(shí)間窗的多維時(shí)域指標(biāo)數(shù)據(jù)中蘊(yùn)含著反映指標(biāo)間關(guān)聯(lián)關(guān)系的空間信息,同樣有助于RUL預(yù)測。在常用的深度學(xué)習(xí)算法中,LSTM適合處理和提取時(shí)序數(shù)據(jù)中的趨勢、周期性等時(shí)間特征信息,而CNN對多維數(shù)據(jù)中空間特征信息的提取能力較強(qiáng)。因此,本文將CNN與LSTM結(jié)合使用,分別提取并綜合利用多維時(shí)序數(shù)據(jù)中的空間信息和退化信息以提升軸承RUL的預(yù)測精度。另一方面,深度神經(jīng)網(wǎng)絡(luò)提取的不同特征對RUL預(yù)測的貢獻(xiàn)通常是不同的,有必要對高價(jià)值的特征分配更大的權(quán)重,使模型更關(guān)注這些重要信息從而提升整體性能。因此,本文在CNN-LSTM網(wǎng)絡(luò)的基礎(chǔ)上引入自注意力機(jī)制并進(jìn)行針對性改進(jìn),利用特征與輸出間的相關(guān)性進(jìn)行權(quán)重的自適應(yīng)分配,使模型生成更穩(wěn)定的特征重要度,更趨向于收斂至全局最優(yōu),實(shí)現(xiàn)更精確的滾動(dòng)軸承剩余使用壽命預(yù)測。

1 理論背景

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一類含有卷積運(yùn)算,具有多層深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)[14],其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,主要由卷積層、池化層、全連接層3個(gè)部分組成。

圖1 卷積神經(jīng)網(wǎng)絡(luò)示意圖

卷積層利用卷積核進(jìn)行特征提取,包括權(quán)重、偏置參數(shù);池化層通過降低數(shù)據(jù)的分辨率聚合特征信息,從而控制參數(shù)量和過擬合,本質(zhì)上屬于降采樣操作。實(shí)際應(yīng)用中,CNN通常會(huì)串連并交替使用多個(gè)卷積層和池化層,從而提取更豐富的特征。

1.2 長短期記憶網(wǎng)絡(luò)

長短期記憶網(wǎng)絡(luò)是一類特殊的遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN),能夠有效改善常規(guī)RNN面臨的梯度消失、長周期依賴等問題[15]。LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 長短期記憶神經(jīng)網(wǎng)絡(luò)示意圖

LSTM由輸入門、遺忘門和輸出門構(gòu)成:輸入門使用Sigmoid函數(shù)控制新信息的輸入,遺忘門控制信息的保留和遺忘,輸出門則控制記憶單元中信息的輸出。

BiLSTM是LSTM的一種改進(jìn)結(jié)構(gòu),包括前向LSTM和后向LSTM兩部分,可以從正反2個(gè)方向提取時(shí)間序列數(shù)據(jù)的雙向特征,從而得到更好的效果。BiLSTM的結(jié)構(gòu)如圖3所示:BiLSTM的輸出向量ht由前向LSTM的輸出向量hf和后向LSTM輸出向量hb兩部分連接而成。

圖3 雙向長短期記憶神經(jīng)網(wǎng)絡(luò)示意圖

2 基于自注意力CNN-BiLSTM的滾動(dòng)軸承RUL預(yù)測方法

2.1 自注意力機(jī)制

注意力機(jī)制是一類模擬人腦關(guān)注機(jī)制的算法,核心思想是根據(jù)數(shù)據(jù)的概率分布,變量的相互關(guān)系等以權(quán)重等形式突出輸入數(shù)據(jù)中與輸出任務(wù)關(guān)聯(lián)性更大的部分[16],從而抽取更加重要和關(guān)鍵的信息以提升網(wǎng)絡(luò)模型整體的性能。注意力機(jī)制分為位置注意力、輸入序列注意力、自注意力、協(xié)同注意力等不同的類型。本文重點(diǎn)研究自注意力機(jī)制,其僅從輸入自身中提取信息而不使用其他額外信息,具備參數(shù)少,計(jì)算速度快等優(yōu)點(diǎn)[17],更適合實(shí)際工程應(yīng)用。

自注意力機(jī)制的結(jié)構(gòu)如圖4所示:首先,輸入數(shù)據(jù)分別通過3個(gè)線性層計(jì)算得到查詢矩陣Q、鍵矩陣K和值矩陣V;然后,將Q和K的轉(zhuǎn)置相乘,除以縮放因子后經(jīng)Softmax運(yùn)算得到自注意力權(quán)重矩陣A;最后,將V和A相乘得到自注意力加權(quán)后的結(jié)果。也可僅使用2個(gè)線性層得到矩陣Q和K,并直接將輸入與A相乘后輸出。

圖4 自注意力機(jī)制的結(jié)構(gòu)

自注意力機(jī)制的計(jì)算過程可表示為

(1)

式中:Aattn(h)為輸入h經(jīng)自注意力加權(quán)后的結(jié)果,即自注意力機(jī)制的輸出;dk為縮放因子,用于控制矩陣乘積的結(jié)果不會(huì)過大。

2.2 新型自注意力CNN模塊

針對滾動(dòng)軸承RUL預(yù)測的特點(diǎn),本文對已有的卷積注意力模塊(Convolutional Block Attention Module,CBAM)[18]進(jìn)行改進(jìn),提出了一種新型自注意力CNN模塊。

卷積注意力模塊針對圖像分類問題提出,模塊中串連使用了通道注意力和空間注意力且注意力機(jī)制主要依賴池化操作,這是由于圖像特征集中分布于一些局部區(qū)域,池化有助于去除冗余信息從而更關(guān)注局部的重要信息,然而,對于滾動(dòng)軸承RUL預(yù)測問題,輸入是“指標(biāo)-時(shí)間窗”的二維數(shù)據(jù)、特征分布較廣泛,針對局部區(qū)域的池化操作難以提取特征間的遠(yuǎn)程依賴關(guān)系,容易丟失重要信息。因此,本文在CBAM的基本結(jié)構(gòu)上進(jìn)行改進(jìn),提出了一種新型自注意力CNN模塊:

1)由于軸承振動(dòng)信號(hào)時(shí)域指標(biāo)數(shù)據(jù)中不包含多通道信息,新型模塊僅使用CBAM中的空間注意力機(jī)制,從而降低了網(wǎng)絡(luò)的復(fù)雜度。

2)相比池化操作,自注意力機(jī)制具備全局的感受野,經(jīng)自注意力加權(quán)后的輸出考慮了所有特征的信息,能夠?qū)崿F(xiàn)不同位置特征間的直接點(diǎn)乘融合且不受特征間距離的影響,從而能夠得到更全局的特征提取效果。因此新型模塊使用自注意力機(jī)制替代CBAM中基于池化的注意力機(jī)制。

新型自注意力CNN模塊的結(jié)構(gòu)如圖5所示:首先,自注意力CNN通過2個(gè)卷積層分別計(jì)算輸入數(shù)據(jù)的卷積特征fA和fC;然后,將特征fA輸入僅含有矩陣Q和K的自注意力機(jī)制,計(jì)算得到權(quán)重矩陣A并與fA相乘,得到加權(quán)后的特征fB;最后,將fB和fC相加后輸出。

圖5 新型自注意力CNN模塊的結(jié)構(gòu)

2.3 網(wǎng)絡(luò)整體結(jié)構(gòu)和RUL預(yù)測流程

自注意力CNN-BiLSTM網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖6所示,使用該網(wǎng)絡(luò)進(jìn)行滾動(dòng)軸承RUL預(yù)測的具體流程如下:

圖6 自注意力CNN-BiLSTM網(wǎng)絡(luò)結(jié)構(gòu)

1)根據(jù)給定的時(shí)間窗長度劃分軸承一維振動(dòng)數(shù)據(jù),計(jì)算時(shí)間窗內(nèi)振動(dòng)數(shù)據(jù)的不同時(shí)域指標(biāo),得到用于軸承RUL預(yù)測的數(shù)據(jù)集。

2)將數(shù)據(jù)集劃分為訓(xùn)練集和測試集,設(shè)置網(wǎng)絡(luò)中不同功能層的超參數(shù)后,進(jìn)行模型訓(xùn)練。

3)將測試數(shù)據(jù)輸入訓(xùn)練好的模型,自注意力CNN模塊提取輸入數(shù)據(jù)中相同時(shí)間窗內(nèi)各時(shí)域指標(biāo)間的空間特征信息并進(jìn)行自注意力加權(quán)以強(qiáng)化特征提取效果。

4)BiLSTM層提取不同時(shí)間窗內(nèi)加權(quán)空間特征構(gòu)成的時(shí)序數(shù)據(jù)中的退化特征信息,經(jīng)全連接層后輸出軸承RUL的預(yù)測值。

5)根據(jù)軸承RUL的真實(shí)值和預(yù)測值計(jì)算RUL預(yù)測的各類評價(jià)指標(biāo),評估模型性能。

3 試驗(yàn)分析

3.1 數(shù)據(jù)描述

本文使用的數(shù)據(jù)集為IEEE PHM 2012數(shù)據(jù)挑戰(zhàn)賽中提供的FEMTO-ST滾動(dòng)軸承全壽命數(shù)據(jù)集[19],該數(shù)據(jù)集包含3種不同運(yùn)行工況(表1):對于工況1,采用軸承1-2,1-3和1-5的數(shù)據(jù)進(jìn)行訓(xùn)練,軸承1-1的數(shù)據(jù)進(jìn)行測試;對于工況2,采用軸承2-1,2-4和2-7的數(shù)據(jù)進(jìn)行訓(xùn)練,軸承2-6的數(shù)據(jù)進(jìn)行測試;對于工況3,采用軸承3-1和3-2的數(shù)據(jù)進(jìn)行訓(xùn)練,軸承3-3的數(shù)據(jù)進(jìn)行測試。

表1 軸承運(yùn)行工況

軸承1-1的全壽命振動(dòng)數(shù)據(jù)如圖7所示:按照振動(dòng)水平可將軸承的生命周期粗略分為4個(gè)階段:正常工作階段,信號(hào)的幅值較低;早期退化階段,信號(hào)的振幅逐漸增大,此時(shí)可以開始RUL預(yù)測工作;中期退化階段,信號(hào)的振幅持續(xù)增大;后期退化階段,信號(hào)的振幅顯著增大,此時(shí)軸承已經(jīng)失效。

圖7 軸承1-1的全壽命振動(dòng)數(shù)據(jù)

3.2 建立RUL預(yù)測模型

本文使用10個(gè)振動(dòng)信號(hào)時(shí)域指標(biāo)作為RUL預(yù)測模型的輸入,見表2。其中,xi為軸承的一維振動(dòng)信號(hào),N為時(shí)間窗的長度。

表2 軸承振動(dòng)信號(hào)時(shí)域指標(biāo)

設(shè)置時(shí)間窗長度為200 s,對原始軸承振動(dòng)數(shù)據(jù)進(jìn)行劃分并根據(jù)表2計(jì)算時(shí)域指標(biāo),得到維度為20×10的輸入數(shù)據(jù)。試驗(yàn)中對時(shí)域指標(biāo)和RUL值均進(jìn)行了量綱一化。

除本文所提自注意力CNN-BiLSTM方法外,選擇CNN,BiLSTM以及不含自注意力機(jī)制的CNN-BiLSTM模型作為對比方法,各模型的結(jié)構(gòu)和超參數(shù)如下:

1)CNN模型,使用2D-CNN,卷積核尺寸依次為3-5-3,濾波器數(shù)量為10,使用核尺寸為2的平均池化,全連接層的尺寸為60-32-16-1。

2)BiLSTM模型,隱含層及輸出尺寸為16,全連接層的尺寸為32-16-8-1。

3)CNN-BiLSTM模型,使用1D-CNN,卷積核尺寸為1,濾波器數(shù)量依次為10-20-40,BiLSTM層的隱含層及輸出尺寸為16,全連接層的尺寸為32-16-8-1。

4)自注意力CNN-BiLSTM模型,使用1D-CNN,卷積核尺寸為1,濾波器數(shù)量依次為10-20-40,BiLSTM層的隱含層及輸出尺寸為16,自注意力的縮放因子dk為4,線性層的尺寸為40-20,全連接層的尺寸為32-16-8-1。

所有模型訓(xùn)練過程中的損失函數(shù)都設(shè)置為均方誤差,選用Adam優(yōu)化器且參數(shù)選取默認(rèn)值,學(xué)習(xí)率設(shè)置為0.001。試驗(yàn)的軟件環(huán)境為torch 1.6和Python 3.8,模型僅使用CPU進(jìn)行訓(xùn)練,CPU型號(hào)為i7-8550U,內(nèi)存為16 GB。

3.3 試驗(yàn)結(jié)果

在不同的工況下,分別進(jìn)行上述4個(gè)模型的訓(xùn)練和測試。不同模型的RUL預(yù)測值如圖8所示:

(a) 工況1

1)對于工況1,在測試集前段,CNN和BiLSTM的預(yù)測精度接近,測試集中段時(shí)BiLSTM的精度優(yōu)于CNN,說明時(shí)序數(shù)據(jù)中的退化特征價(jià)值相對較大;CNN-BiLSTM在測試集中、后段的精度顯著優(yōu)于BiLSTM,說明時(shí)空特征的融合在一定程度上改善了RUL預(yù)測精度;而在引入自注意力機(jī)制后,模型精度在整個(gè)測試集上均得到了改善,說明自注意力加權(quán)改善了網(wǎng)絡(luò)的特征提取能力,且自注意力CNN-BiLSTM模型在測試集中、后段進(jìn)行了更多的提前預(yù)測(RUL的預(yù)測值小于真實(shí)值),有利于實(shí)際應(yīng)用中開展預(yù)測性維修,體現(xiàn)了自注意力機(jī)制在軸承RUL預(yù)測問題上的有效性。

2)對于工況2,在測試集前段,自注意力CNN-BiLSTM模型的預(yù)測值基本能夠反映RUL真實(shí)值的趨勢,精度顯著優(yōu)于其他3類模型;但在測試集的第500～900 s,各模型均出現(xiàn)了不同程度的RUL高估情況。

3)對于工況3,在測試集前段,CNN-BiLSTM的誤差較大,CNN和BiLSTM則在測試集中、后段時(shí)誤差較大;除測試集第250 s附近樣本上的誤差相對較大以外,自注意力CNN-BiLSTM模型的整體精度優(yōu)于其他3類模型,體現(xiàn)了該方法的適應(yīng)性。

值得注意的是,不同模型在工況2和工況3上的精度普遍低于工況1,RUL預(yù)測值的波動(dòng)幅度也相對較大,該現(xiàn)象與后2個(gè)工況中使用的訓(xùn)練數(shù)據(jù)較少,模型訓(xùn)練不充分直接相關(guān)。

使用均方根誤差I(lǐng)RMSE、平均絕對誤差I(lǐng)MAE和評分函數(shù)IS這3個(gè)指標(biāo)對模型的RUL預(yù)測結(jié)果進(jìn)行定量評估。IRMSE和IMAE越低,說明RUL的預(yù)測值與真實(shí)值之間的誤差越小;IS越高則說明模型的RUL預(yù)測效果越好且更傾向于做出超前預(yù)測。各指標(biāo)的定義為

(2)

(3)

(4)

(5)

(6)

上述4個(gè)模型在不同運(yùn)行工況上的評價(jià)指標(biāo)見表3:在不同運(yùn)行工況下,自注意力CNN-BiLSTM模型的各項(xiàng)性能指標(biāo)均優(yōu)于其他模型,特別是IS指標(biāo),說明其在軸承RUL預(yù)測問題上的性能更優(yōu);與圖9中的結(jié)果一致,各模型在工況2,3上的性能指標(biāo)相比工況1均有不同幅度的下降。除訓(xùn)練數(shù)據(jù)較少等建模方面的因素以外,從軸承運(yùn)行機(jī)理的角度分析,工況2,3的徑向載荷相比工況1更大,導(dǎo)致振動(dòng)信號(hào)的振幅增大,平穩(wěn)性降低,噪聲水平升高,同時(shí)也將顯著加速軸承失效,增加了RUL預(yù)測的難度。

表3 不同運(yùn)行工況下各預(yù)測模型的評價(jià)指標(biāo)

4 結(jié)束語

本文提出了一種基于自注意力CNN-BiLSTM的滾動(dòng)軸承RUL預(yù)測方法,改進(jìn)的自注意力CNN模塊可提取振動(dòng)信號(hào)不同時(shí)域指標(biāo)間的空間特征并進(jìn)行自注意力加權(quán)以強(qiáng)化特征提取效果,BiLSTM模塊則可以提取時(shí)序數(shù)據(jù)中的退化特征。FEMTO-ST滾動(dòng)軸承全壽命數(shù)據(jù)集的試驗(yàn)結(jié)果表明自注意力CNN-BiLSTM模型在RUL預(yù)測誤差和評分函數(shù)上均優(yōu)于其他對比方法且更傾向于做出超前預(yù)測,模型結(jié)構(gòu)也較為簡單,有利于滾動(dòng)軸承RUL預(yù)測的工程實(shí)踐。

自注意力CNN-BiLSTM模型的局限性在于僅對空間特征進(jìn)行了自注意力加權(quán),且在少樣本、高載荷等場景下的性能欠佳;未來將進(jìn)一步研究自注意力機(jī)制與時(shí)序退化特征的結(jié)合以提升特征提取能力,并引入少樣本學(xué)習(xí)、遷移學(xué)習(xí)等策略改善模型在特殊場景下的性能。