劉月峰，張小燕，郭威，邊浩東，何瀅婕

（內(nèi)蒙古科技大學(xué)信息工程學(xué)院，內(nèi)蒙古包頭 014010）

0 引言

預(yù)測和健康管理（Prognostics and Health Management，PHM）系統(tǒng)能夠為設(shè)備的故障預(yù)測提供重要依據(jù)，剩余使用壽命（Remaining Useful Life，RUL）預(yù)測作為PHM 的重要組成部分，對于維護(hù)設(shè)備的正常運(yùn)行至關(guān)重要。通過準(zhǔn)確的RUL 預(yù)測，可以提前設(shè)計維護(hù)方案來保持設(shè)備的正常工作狀態(tài)，避免突發(fā)事故造成的巨大經(jīng)濟(jì)損失。通常將RUL 的預(yù)測方法大致分為基于模型的方法［1］、數(shù)據(jù)驅(qū)動方法［2］和混合方法［3］三類?；谀Ｐ偷姆椒?，通常需要構(gòu)建數(shù)學(xué)模型來描述設(shè)備的退化過程，但隨著工業(yè)的迅速發(fā)展，機(jī)械系統(tǒng)復(fù)雜程度越來越高，設(shè)備相互之間的聯(lián)系也日趨復(fù)雜，建立準(zhǔn)確的模型變得不太現(xiàn)實，并且基于模型的設(shè)計方法其靈活性以及可移植性較差。混合方法是基于模型與數(shù)據(jù)驅(qū)動方法的結(jié)合體，想要同時利用兩個方法的優(yōu)勢且規(guī)避其缺點依然存在較大的挑戰(zhàn)。因此，使用數(shù)據(jù)驅(qū)動方法來預(yù)測RUL 受到越來越多學(xué)者的關(guān)注。數(shù)據(jù)驅(qū)動方法經(jīng)常用于預(yù)測系統(tǒng)的RUL，其預(yù)測結(jié)果能很好地表現(xiàn)設(shè)備健康狀況，其中，特征集的有效構(gòu)造是影響數(shù)據(jù)驅(qū)動方法效果的關(guān)鍵因素之一。當(dāng)前主流的傳感器選擇策略包括：刪除值為恒定的傳感器數(shù)據(jù)，選擇剩余數(shù)據(jù)組成新的數(shù)據(jù)集［4-8］；依據(jù)相關(guān)系數(shù)選擇傳感器數(shù)據(jù)［9-10］；使用單調(diào)性、可預(yù)測性以及趨勢性來選擇有代表性的傳感器數(shù)據(jù)［11］；通過分析單調(diào)性和相關(guān)性來實現(xiàn)傳感器的選擇［12-13］。選取合適的傳感器數(shù)據(jù)后，相應(yīng)方法的選擇也決定了最終的預(yù)測效果。在數(shù)據(jù)驅(qū)動方法中，很多機(jī)器學(xué)習(xí)方法在RUL 預(yù)測中有不錯的表現(xiàn)：Ompusunggu 等［14］提出利用卡爾曼濾波（Kalman Filter，KF）進(jìn)行自動變速器離合器RUL 預(yù)測；Javed 等［15］使用極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）來預(yù)測鋰電池的RUL；Wu 等［16］使用隨機(jī)森林（Random Forest，RF）方法用于診斷發(fā)動機(jī)轉(zhuǎn)子的故障情況。目前，深度學(xué)習(xí)方法也被廣泛用于處理狀態(tài)監(jiān)測數(shù)據(jù)以預(yù)測工業(yè)系統(tǒng)的RUL，其中，長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)利用3 個控制門來傳遞長期時序特征信息。Wu 等［17］使用香草LSTM 預(yù)測發(fā)動機(jī)的RUL；李京峰等［18］利用LSTM 與深度置信網(wǎng)絡(luò)（Deep Belief Network，DBN）的組合用于預(yù)測航空發(fā)動機(jī)的RUL。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）擁有很強(qiáng)的學(xué)習(xí)能力，能夠很好地提取數(shù)據(jù)局部特征，如Li 等［19］首次使用多層CNN 用于預(yù)測軸承的RUL。雙向長短期記憶（Bidirectional Long Short-Term Memory，Bi-LSTM）網(wǎng)絡(luò)是LSTM 的進(jìn)一步優(yōu)化，利用雙層反向的LSTM 來對時序數(shù)據(jù)進(jìn)行處理，獲得更多有用的提取特征。Al-Dulaimi 等［4］通過將一維卷積神經(jīng)網(wǎng)絡(luò)（One-Dimensional Convolutional Neural Network，1D-CNN）和LSTM 以及Bi-LSTM 組合用于預(yù)測渦輪風(fēng)扇發(fā)動機(jī)的RUL；Liu 等［20］將Bi-LSTM 和CNN 進(jìn)行合理組合用于預(yù)測發(fā)動機(jī)的RUL。時序卷積網(wǎng)絡(luò)（Temporal Convolutional Network，TCN）是一種特殊的卷積神經(jīng)網(wǎng)絡(luò)也被用于預(yù)測發(fā)動機(jī)RUL，利用因果卷積、擴(kuò)張卷積以及殘差連接來提取特征。朱霖等［21］利用遺傳算法和時序卷積網(wǎng)絡(luò)的組合來預(yù)測渦扇發(fā)動機(jī)RUL。這些網(wǎng)絡(luò)的共同特點是都將重點放在最后一個時間步上，但是也許在其他時間步中學(xué)習(xí)的特征也會對最終的RUL 預(yù)測有不同程度的貢獻(xiàn)。因此，將不同權(quán)重分配給不同時間步下各種特征就顯得尤為重要。目前，注意力機(jī)制能夠很好地解決這一問題，即為不同特征提供不同的注意力權(quán)重，這使得注意力機(jī)制受到學(xué)者的廣泛關(guān)注。Liu等［22］提出注意力機(jī)制直接加權(quán)輸入特征，使得網(wǎng)絡(luò)在訓(xùn)練中動態(tài)地將注意力放在那些重要特征上；Jiang 等［23］將注意力機(jī)制與時間卷積網(wǎng)絡(luò)結(jié)合用于預(yù)測渦輪發(fā)動機(jī)的RUL，時間卷積網(wǎng)絡(luò)的輸出作為注意力機(jī)制的輸入可以更好地加權(quán)關(guān)鍵特征；Das 等［24］將注意力機(jī)制與深度LSTM 相結(jié)合用于預(yù)測發(fā)動機(jī)的RUL，運(yùn)用注意力機(jī)制來權(quán)衡較早的時間步長用于RUL 預(yù)測。

綜上所述，本文提出了一種優(yōu)化混合模型來預(yù)測航空發(fā)動機(jī)的RUL，采用融合多路徑特征預(yù)測RUL 的思想，選擇三種不同的路徑提取特征：第一，將原始數(shù)據(jù)的均值和趨勢系數(shù)輸入全連接網(wǎng)絡(luò)獲得第1 條路徑的提取特征；第二，原始數(shù)據(jù)經(jīng)過Bi-LSTM 學(xué)習(xí)，Bi-LSTM 輸出數(shù)據(jù)再經(jīng)過注意力機(jī)制給予重要輸出特征更大的權(quán)重，獲得第2 條路徑的提取特征；第三，將注意力機(jī)制直接作用于輸入數(shù)據(jù)，加權(quán)特征再輸入CNN 與Bi-LSTM 中，使得CNN 與Bi-LSTM 模型訓(xùn)練過程中把注意力集中在重要特征上，獲得第3 條路徑的提取特征。將以上輸出特征融合在一起作為輸入傳給全連接網(wǎng)絡(luò)用于預(yù)測航空發(fā)動機(jī)的RUL。所提方法通過商用模塊化航空推進(jìn)系統(tǒng)仿真（Company-Modular Aero-Propulsion System Simulation，C-MAPSS）數(shù)據(jù)集進(jìn)行驗證，同其他RUL 預(yù)測方法相比具有較高的準(zhǔn)確性。本文的主要貢獻(xiàn)包括：

1）提出了基于優(yōu)化混合模型框架，前置注意力機(jī)制作用于輸入數(shù)據(jù)，經(jīng)過CNN 與Bi-LSTM 可以學(xué)習(xí)更重要特征。注意力機(jī)制置于Bi-LSTM 之后可以更好地關(guān)注網(wǎng)絡(luò)輸出的關(guān)鍵特征，以獲得更多有效特征。

2）C-MAPSS 數(shù)據(jù)集擁有多種傳感器的測量數(shù)據(jù)，從數(shù)據(jù)集中選取不同傳感器的數(shù)據(jù)可能對RUL 預(yù)測產(chǎn)生較大的影響，所以本文從不同角度選擇傳感器數(shù)據(jù)，探究其對模型預(yù)測的影響程度。

3）使用C-MAPSS 數(shù)據(jù)集來評估本文方法的有效性，結(jié)果顯示，該方法比其他方法具有較高的RUL 預(yù)測性能。

1 優(yōu)化混合模型的RUL預(yù)測方法

本文提出了一種優(yōu)化混合方法來預(yù)測航空發(fā)動機(jī)的RUL，該模型由3 個并行路徑組成，如圖1 所示。第一條路徑，提取原始數(shù)據(jù)的均值和趨勢系數(shù)，提取特征輸入全連接網(wǎng)絡(luò)；第二條路徑，原始數(shù)據(jù)經(jīng)過Bi-LSTM 網(wǎng)絡(luò)學(xué)習(xí)，然后將注意力機(jī)制作用于Bi-LSTM 輸出數(shù)據(jù)，能夠從大量提取特征中加權(quán)關(guān)鍵特征；第三條路徑，注意力機(jī)制作用于原始傳感器數(shù)據(jù)，對原始數(shù)據(jù)進(jìn)行特征加權(quán)，加權(quán)處理的特征再經(jīng)過CNN 和Bi-LSTM，學(xué)習(xí)數(shù)據(jù)的局部特征和長期依賴性。通過3 條并行路徑分別處理原始數(shù)據(jù)獲得特征的不同表現(xiàn)形式，將3 條路徑的輸出特征經(jīng)過concatenate 函數(shù)進(jìn)行特征融合后輸入至全連接網(wǎng)絡(luò)進(jìn)一步預(yù)測航空發(fā)動機(jī)的RUL。

圖1 模型結(jié)構(gòu)Fig.1 Model structure

1.1 全連接網(wǎng)絡(luò)與手工特征提取

本文提取了原始傳感器數(shù)據(jù)的手工特征（Handcrafted Features），具體包括數(shù)據(jù)的均值和趨勢系數(shù)，并將獲得的數(shù)據(jù)經(jīng)過全連接網(wǎng)絡(luò)可以提取更多的抽象特征。平均值能夠表示傳感器數(shù)據(jù)的大小，相應(yīng)的趨勢系數(shù)則表示傳感器數(shù)據(jù)的退化趨勢，并且提取特征的優(yōu)勢已經(jīng)在文獻(xiàn)［25-26］上得到驗證，能夠為RUL 預(yù)測提供幫助，以提高網(wǎng)絡(luò)的預(yù)測精度，如圖2 所示。

圖2 特征提取示意圖Fig.2 Schematic diagram of feature extraction

1.2 Bi-LSTM與后置注意力機(jī)制

將原始特征經(jīng)過歸一化和滑動時間窗處理后傳入Bi-LSTM 進(jìn)行初步的特征學(xué)習(xí)，Bi-LSTM 獲得的提取特征作為注意力機(jī)制的輸入數(shù)據(jù)，注意力機(jī)制可以為網(wǎng)絡(luò)輸出的重要特征分配更大的權(quán)重，有助于提高RUL 預(yù)測的準(zhǔn)確性，具體流程如圖3 所示。

圖3 Bi-LSTM與后置注意力機(jī)制Fig.3 Bi-LSTM and post-attention mechanism

為了最大化利用輸入數(shù)據(jù)，學(xué)習(xí)特征的雙向長期依賴關(guān)系，本文使用Bi-LSTM 網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí)，Bi-LSTM 在傳統(tǒng)的LSTM 基礎(chǔ)之上被提出，已經(jīng)在很多領(lǐng)域被證明比單向的LSTM 更具有優(yōu)勢，例如：自然語言處理和語音識別等。Bi-LSTM 包括兩層LSTM 且兩層的信息傳遞方向相反（正方向和反方向），最終的輸出序列是兩層結(jié)果的結(jié)合。在時刻t處，Bi-LSTM 模型計算正反兩個方向的值（和），最終的輸出hb是兩個值的結(jié)合。由于前向傳播與反向傳播的表達(dá)公式相同，所以只表示了前向傳播過程的公式以及最終的輸出結(jié)果，具體由式（1）～（7）所示：

注意力機(jī)制的提出是受人類視覺的啟發(fā)，在圖像信息處理過程中，人會有選擇地注意信息中的某些區(qū)域，對圖像的不同區(qū)域給予不同的重視程度，即不同區(qū)域分配的權(quán)重不同。目前，注意力機(jī)制被廣泛應(yīng)用于許多領(lǐng)域，如自然語言處理和時間序列預(yù)測等。

為了更準(zhǔn)確地預(yù)測航空發(fā)動機(jī)的RUL，本文引入注意力機(jī)制為不同時間步長的特征分配不一樣的權(quán)重，將更大的權(quán)重分配給重要特征。一個數(shù)據(jù)樣本通過Bi-LSTM 網(wǎng)絡(luò)獲得的特征表達(dá)為F=，T 表示進(jìn)行轉(zhuǎn)置運(yùn)算?；谧⒁饬C(jī)制，在時間步長i輸出特征的重要性表達(dá)為：

其中：W和b分別用于表示權(quán)重以及偏置，Ui代表特征的得分函數(shù)，計算特征的得分后，對其使用softmax 函數(shù)實現(xiàn)歸一化，表達(dá)式如下所示：

最終通過注意力輸出的特征表示為：

其中：B={t1，t2，…，td}，?代表乘法運(yùn)算。

1.3 前置注意力機(jī)制與CNN和Bi-LSTM

將原始數(shù)據(jù)輸入注意力機(jī)制可以給予數(shù)據(jù)中關(guān)鍵特征更大的權(quán)重，輸出的加權(quán)數(shù)據(jù)傳入到CNN 中提取數(shù)據(jù)的局部特征，再將數(shù)據(jù)傳輸?shù)紹i-LSTM 網(wǎng)絡(luò)中學(xué)習(xí)數(shù)據(jù)之間的長期依賴關(guān)系。前置注意力機(jī)制能夠使得CNN 與Bi-LSTM 網(wǎng)絡(luò)在訓(xùn)練過程中動態(tài)地將更多注意力集中在更重要的特征上，從而使得網(wǎng)絡(luò)學(xué)習(xí)的特征是具有代表性的，輸出的結(jié)果能夠很好地表示輸入數(shù)據(jù)特征，為下一步RUL 的準(zhǔn)確預(yù)測提供了堅實的基礎(chǔ)，具體流程如圖4 所示。

圖4 前置注意力機(jī)制與CNN+Bi-LSTMFig.4 Pre-attention mechanism and CNN+Bi-LSTM

由于輸入數(shù)據(jù)的信息量巨大，如果每個數(shù)據(jù)在網(wǎng)絡(luò)中擁有相同的重視程度，模型對數(shù)據(jù)的學(xué)習(xí)效果會受到制約。為了能給預(yù)測模型提供更多重要的輸入特征，提出了使用注意力機(jī)制進(jìn)行原始特征加權(quán)，對不同特征給予不同的權(quán)重，在大量的輸入數(shù)據(jù)中聚焦學(xué)習(xí)關(guān)鍵的數(shù)據(jù)，減少對其他數(shù)據(jù)的學(xué)習(xí)，能解決網(wǎng)絡(luò)信息過載導(dǎo)致學(xué)習(xí)效率下降的問題，幫助提高模型RUL 的預(yù)測準(zhǔn)確性。一個數(shù)據(jù)樣本的輸入特征表示為X={X1，X2，…，Xd}T，T 表示轉(zhuǎn)置運(yùn)算。基于注意力機(jī)制，在時間步長i原始數(shù)據(jù)Xi的重要程度表達(dá)為：

其中：W和b分別用于表示權(quán)重以及偏置，φ(·)能夠代表特征的得分函數(shù)，獲得Xi特征的得分后，對其使用softmax 函數(shù)實現(xiàn)歸一化，表達(dá)式如下所示：

最終通過注意力輸出的特征表示為：

其中：C={s1，s2，…，sd}，?代表乘法運(yùn)算。

CNN 最先被應(yīng)用于圖像處理領(lǐng)域，近些年也被廣泛用于處理時序問題。在本模型中，CNN 置于注意力機(jī)制之后提取數(shù)據(jù)的空間特征，該網(wǎng)絡(luò)中分別包含了卷積層和池化層，其中，卷積層中利用多個過濾器提取數(shù)據(jù)的空間特征，池化層的作用在于選擇最重要的信息。在卷積層中，輸入的數(shù)據(jù)通過與過濾器卷積來生成包含許多局部特征的特征圖。卷積之后得到的特征圖繼續(xù)經(jīng)過池化層執(zhí)行下采樣，模型中池化層采用最大池化。經(jīng)過CNN 學(xué)習(xí)后，為了捕獲特征之間的雙向長時間依賴性，Bi-LSTM 被用于池化層之后進(jìn)一步學(xué)習(xí)數(shù)據(jù)，使用Bi-LSTM 的作用是能夠處理兩個方向的時間序列，作為正向的信息流LSTM 可以進(jìn)行預(yù)測，而反向的LSTM能使預(yù)測更加平滑。

2 實驗研究與結(jié)果討論

2.1 數(shù)據(jù)集描述

本文使用由美國國家航空航天局（National Aeronautics and Space Administration，NASA）提供的航空發(fā)動機(jī)仿真公開數(shù)據(jù)集來評估方法的有效性，其中，C-MAPSS 數(shù)據(jù)集包含4 個子集，每個子集包含訓(xùn)練和測試集，訓(xùn)練集的傳感器測量值記錄運(yùn)行開始時間到最終故障整個過程，在測試集中僅記錄到故障發(fā)生以前的持續(xù)時間。RUL 文件記錄了測試集中的真實RUL，用于評估預(yù)測RUL 方法的準(zhǔn)確性。4 個數(shù)據(jù)集中包含兩種故障模式，F(xiàn)D001 和FD002 是由高壓壓縮機(jī)（High Pressure Compressor，HPC）引起退化，而FD003 和FD004 由于HPC 和風(fēng)扇作用引起退化。每個數(shù)據(jù)集共有26列，分別包括1 列發(fā)動機(jī)號、1 列循環(huán)數(shù)、3 列操作條件以及21 列傳感器測量數(shù)據(jù)，具體描述見表1。

表1 C-MAPSS數(shù)據(jù)集的描述Tab.1 Description of C-MAPSS datasets

2.2 數(shù)據(jù)預(yù)處理

本文使用的FD001～FD004 數(shù)據(jù)集，由于傳感器與發(fā)動機(jī)的差異導(dǎo)致它們的物理特征各異，為了提升模型預(yù)測的精確度以及提高訓(xùn)練的收斂速度，通常對原始輸入數(shù)據(jù)采取歸一化處理，將原始數(shù)據(jù)的大小歸一化在［0，1］：

2.3 滑動時間窗處理

經(jīng)過數(shù)據(jù)歸一化處理后，將原始數(shù)據(jù)經(jīng)過滑動時間窗（winsize）處理，生成網(wǎng)絡(luò)的輸入數(shù)據(jù)，經(jīng)過時間窗口處理后的輸入數(shù)據(jù)可以表示為N=[X1，X2，…，Xn]，窗口處理沿著時間維度，不同數(shù)據(jù)點之間的相關(guān)性對時序問題來說非常重要。為了捕獲這些相關(guān)性，使用時間窗口處理能夠?qū)⒍鄠€數(shù)據(jù)的關(guān)聯(lián)封裝在滑動窗口中，并且使用滑動窗口對原始數(shù)據(jù)進(jìn)行處理，能夠?qū)崿F(xiàn)數(shù)據(jù)的擴(kuò)充。因為設(shè)置較短的滑動步幅能夠增加輸入樣本的數(shù)量和降低訓(xùn)練過擬合的風(fēng)險，因此本文將滑動步幅L設(shè)置為1。為了方便顯示，如圖5 所示將滑動窗口的長度設(shè)為2，滑動步幅設(shè)為1，在實際情況下，會根據(jù)輸入數(shù)據(jù)來選取適當(dāng)?shù)臅r間窗長度。一些學(xué)者研究表明，時間窗口的長度越大其包含的數(shù)據(jù)信息越多，有助于提高模型的預(yù)測性能；但時間窗長度太長，可能會增加模型的復(fù)雜性。因此，在選取時間窗長度時會綜合考量。

圖5 滑動時間窗口處理Fig.5 Sliding time window processing

2.4 評價指標(biāo)

本文使用均方根誤差（Root Mean Square Error，RMSE）和得分（Score）函數(shù)兩個指標(biāo)用于評估模型的RUL 預(yù)測性能。指標(biāo)RMSE 可以用于評估模型RUL 估計的準(zhǔn)確性，公式如下所示：

其中：d=RUL預(yù)測-RUL真實，RUL預(yù)測代表模型估計的RUL 值，RUL真實代表真實的RUL 值，n是測試數(shù)據(jù)的數(shù)量。

另一個廣泛使用的度量指標(biāo)是不對稱得分函數(shù)，它能夠評判模型RUL 的預(yù)測性能，不管是早期預(yù)測或是后期預(yù)測都有相對應(yīng)的得分表達(dá)式。模型最好能夠進(jìn)行早期預(yù)測，即得到的預(yù)測RUL 值小于真實RUL 值，這樣能在發(fā)動機(jī)發(fā)生故障之前進(jìn)行維護(hù)。公式如下所示：

兩個評價指標(biāo)的具體圖像如圖6 所示。

圖6 兩個評價指標(biāo)的結(jié)果圖Fig.6 Result diagram of two evaluation indicators

2.5 模型的參數(shù)設(shè)置

對C-MAPSS 數(shù)據(jù)集經(jīng)過歸一化處理后，輸入的數(shù)據(jù)范圍在［0，1］，通過規(guī)范化處理后，將原始數(shù)據(jù)經(jīng)過滑動時間窗處理，生成網(wǎng)絡(luò)的輸入數(shù)據(jù)，由于數(shù)據(jù)量巨大，因此，選擇小批量（batch size）進(jìn)行模型訓(xùn)練。在訓(xùn)練過程中，將數(shù)據(jù)集分為訓(xùn)練集和驗證集，選擇20%作為驗證集，80%作為訓(xùn)練集，為了避免過擬合現(xiàn)象，將dropout 技術(shù)應(yīng)用于模型，如表2 給出了模型參數(shù)詳情。

表2 參數(shù)設(shè)置Tab.2 Parameter setting

由于選取不同大小的時間窗對模型訓(xùn)練效果有較大影響，因此為整個實驗選擇合適的時間窗很重要。本文根據(jù)最常用的時間窗大小采用對比擇優(yōu)的選取方法，winsize ∈{20，30，40，50，60}。在實驗訓(xùn) 練的過程 中，F(xiàn)D001～FD004 選取不同時間窗的實驗結(jié)果如圖7 所示。

圖7 時間窗大小和RMSE的關(guān)系Fig.7 Relationship between time window size and RMSE

2.6 依據(jù)不同角度選取傳感器

學(xué)習(xí)所有傳感器的測量數(shù)據(jù)會增加模型復(fù)雜度，為了減少數(shù)據(jù)量和提高模型學(xué)習(xí)的準(zhǔn)確度，研究者通常會刪除一些傳感器數(shù)據(jù)，根據(jù)不同角度選取傳感器數(shù)據(jù)。由于不同數(shù)據(jù)攜帶的信息各異，因此，合理選擇傳感器變得十分重要，它很可能會影響模型學(xué)習(xí)的準(zhǔn)確度。本次實驗刪除值為恒定的傳感器數(shù)據(jù)，以傳感器S2、S3、S4、S7、S8、S9、S11、S12、S13、S14、S15、S17、S20 和S21 為數(shù)據(jù)集進(jìn)行模型訓(xùn)練，并進(jìn)行模型參數(shù)的調(diào)整；然后根據(jù)其他三種角度選取傳感器數(shù)據(jù)，即依據(jù)相關(guān)性、單調(diào)性和相關(guān)性的線性組合，以及單調(diào)性、可預(yù)測性和趨勢性的線性組合選取傳感器，并通過實驗來驗證選擇不同傳感器對實驗結(jié)果的影響程度。

1）相關(guān)性。

文獻(xiàn)［10］通過分析傳感器數(shù)據(jù)的相關(guān)性，分別依據(jù)相關(guān)性為0%、30%和60%進(jìn)行劃分，其中，6 個傳感器數(shù)據(jù)的相關(guān)性為0%，7 個傳感器數(shù)據(jù)的相關(guān)性小于30%，9 個傳感器數(shù)據(jù)的相關(guān)性小于60%，具體傳感器的選擇情況如表3所示。

表3 傳感器的選擇結(jié)果Tab.3 Sensor selection results

為了減少本模型預(yù)測性能的隨機(jī)性，本文進(jìn)行了多次實驗，并使用RMSE 和Score 的均值作為實驗的最終結(jié)果，實驗結(jié)果如表4 所示。

表4 刪除相關(guān)性選擇傳感器后的RMSE和Score實驗結(jié)果Tab.4 RMSE and Score experimental results with correlation selected sensors

2）單調(diào)性和相關(guān)性的線性組合。

文獻(xiàn)［12-13］通過計算每個傳感器數(shù)據(jù)的單調(diào)性和相關(guān)性，將兩者進(jìn)行線性組合選取其值超過閾值的傳感器，最終選擇傳感器S2、S3、S4、S7、S8、S11、S12、S13、S15、S17、S20 和S21。為了減少模型實驗結(jié)果的隨機(jī)性，本文使用RMSE 和Score 多次實驗的平均值作為最終結(jié)果，實驗結(jié)果如表5 所示。

3）單調(diào)性、可預(yù)測性和趨勢性的線性組合。

文獻(xiàn)［11］通過使用單調(diào)性、可預(yù)測性和趨勢性的3 個指標(biāo)進(jìn)行線性組合來選取有意義的傳感器，最終選擇傳感器S2、S3、S4、S7、S11、S12、S15、S17、S20 和S21，實驗結(jié)果如表5所示。

表5 兩種線性組合的RMSE和Score實驗結(jié)果Tab.5 RMSE and Score experimental results of two linear combinations

為了減少數(shù)據(jù)量和獲得更好的實驗結(jié)果，需要根據(jù)不同標(biāo)準(zhǔn)選取傳感器作為網(wǎng)絡(luò)的輸入數(shù)據(jù)。由于傳輸給網(wǎng)絡(luò)的數(shù)據(jù)不同，導(dǎo)致網(wǎng)絡(luò)的學(xué)習(xí)情況也存在較大差異。從以上實驗可以看出選擇不同傳感器數(shù)據(jù)對最終的結(jié)果會產(chǎn)生較大的影響。因此，合理挑選傳感器變得非常重要。如果依據(jù)相關(guān)系數(shù)選擇傳感器，則刪除相關(guān)性為0%的傳感器數(shù)據(jù)，得到的實驗效果較好，而相比其他選取傳感器的方法，實驗結(jié)果顯示刪除恒定值的傳感器測量數(shù)據(jù)，剩余傳感器數(shù)據(jù)組成新的數(shù)據(jù)集獲得的實驗結(jié)果是最優(yōu)的。

2.7 結(jié)果與分析

1）消融實驗。

為了驗證提出模型的有效性，對本文方法進(jìn)行了消融研究。具體來說，本文將組成模型的3 條路徑分別進(jìn)行模型訓(xùn)練，即特征提取與全連接網(wǎng)絡(luò)的組合（Path1），Bi-LSTM 與后置注意力機(jī)制的組合（Path2）以及前置注意力機(jī)制與CNN 和Bi-LSTM 的組合（Path3），分別查看網(wǎng)絡(luò)的預(yù)測效果，由于模型訓(xùn)練存在隨機(jī)性，因此進(jìn)行多次實驗獲取平均值?？傮w來說，特征提取與全連接網(wǎng)絡(luò)的組合（Path1）在FD002 和FD004獲得的RMSE 和Score 結(jié)果相較另外兩種網(wǎng)絡(luò)組合有更好的表現(xiàn)。最終結(jié)果表明，將3 個路徑輸出特征進(jìn)行融合輸入全連接網(wǎng)絡(luò)來預(yù)測RUL 獲得了較好的結(jié)果。消融實驗的結(jié)果如表6 所示。

表6 消融實驗的RMSE和Score結(jié)果Tab.6 RMSE and Score results of ablation experiments

2）同其他方法的比較。

C-MAPSS 數(shù)據(jù)集作為預(yù)測RUL 的基準(zhǔn)數(shù)據(jù)集，許多方法均使用該數(shù)據(jù)集驗證方法的有效性。將本文方法與其他一些RUL 預(yù)測方法進(jìn)行比較來驗證本文方法的有效性。由于模型預(yù)測結(jié)果存在一定的隨機(jī)性，進(jìn)行了多次實驗，獲得RMSE 和Score 的平均結(jié)果。如表7 所示同其他方法相比，本文方法整體獲得了不錯的結(jié)果。從表7 中可以看出，本文方法比受限玻爾茲曼機(jī)（Restricted Boltzmann Machine，RBM）+LSTM 組合在FD003 獲得的RMSE 結(jié)果稍差一些，但與其他方法相比，本文方法在所有子集中RMSE 預(yù)測精確度均得到了顯著提高，這意味著提出的模型預(yù)測航空發(fā)動機(jī)RUL 非常接近實際RUL。由于飛機(jī)系統(tǒng)對發(fā)動機(jī)可靠性的要求很高，較高的RUL 預(yù)測準(zhǔn)確度意味著能及時進(jìn)行設(shè)備維護(hù)，提高飛機(jī)系統(tǒng)的安全性。在表7 中，F(xiàn)D003 上使用特征注意的雙向門控循環(huán)單元卷積神經(jīng)網(wǎng)絡(luò)（feature-Attention based bidirectional Gated recurrent unit Convolutional Neural Network，AGCNN）獲得的Score 比本文方法有較好的表現(xiàn)，混合深度神經(jīng)網(wǎng)絡(luò)（Hybrid Deep Neural Network，HDNN）在4 個數(shù)據(jù)集上獲得的Score 均較低；但總體來說本文方法在Score 指標(biāo)上獲得了更好的結(jié)果，尤其是在FD002 和FD004 數(shù)據(jù)集上預(yù)測準(zhǔn)確性與其他方法相比有較大提升。實驗結(jié)果證明所提方法在RUL 預(yù)測中能夠提供更準(zhǔn)確的預(yù)測結(jié)果。

表7 不同方法之間的Score和RMSE比較Tab.7 Comparison of Score and RMSE of different methods

選取某次實驗結(jié)果，4 個數(shù)據(jù)集的預(yù)測RUL 如圖8 所示。對于這4 個數(shù)據(jù)集，預(yù)測RUL 與真實RUL 非常匹配，這表明所提方法的可行性。由于FD001 和FD003 數(shù)據(jù)集運(yùn)行條件單一且發(fā)動機(jī)數(shù)量較少，因此FD001 和FD003 的預(yù)測性能相比FD002 和FD004 更好。

圖8 航空發(fā)動機(jī)RUL預(yù)測結(jié)果Fig.8 Aero-engine RUL prediction results

如圖9 展示了本文方法在FD001～FD004 測試集中誤差分布直方圖，橫坐標(biāo)代表預(yù)測RUL 值與真實RUL 值之間的誤差，縱坐標(biāo)代表相應(yīng)誤差區(qū)域所對應(yīng)的發(fā)動機(jī)數(shù)量。其中，F(xiàn)D001 和FD003 真實RUL 與預(yù)測RUL 的誤差集中在［-20，20］，而FD002 和FD004 誤差值集中分布于［-30，30］。依據(jù)表1 可以了解FD002 和FD004 屬于復(fù)雜數(shù)據(jù)集，均擁有6 個操作條件，因此模型預(yù)測具有更大的挑戰(zhàn)。從式（16）可以看出Score 函數(shù)對模型滯后預(yù)測懲罰更大，即預(yù)測RUL 與真實RUL 差值大于零且誤差越大獲得的Score 懲罰就越高，從圖中能夠看出所提模型預(yù)測RUL 與真實RUL 大于零的誤差區(qū)間較小并且引擎數(shù)量較少，因此獲得了較低的Score 值。

圖9 預(yù)測誤差分布直方圖Fig.9 Prediction error distribution histogram

3 結(jié)語

本文提出了一種優(yōu)化混合模型來預(yù)測航空發(fā)動機(jī)的RUL。由于本模型擁有3 條并行路徑，通過消融實驗分別驗證每條路徑的預(yù)測能力，并且說明將3 條路徑進(jìn)行特征融合對于航空發(fā)動機(jī)RUL 預(yù)測的有效性。第一條路徑，提取數(shù)據(jù)的均值和趨勢系數(shù)傳入全連接網(wǎng)絡(luò)獲得更多抽象特征，經(jīng)過消融實驗表明此路徑在FD002 和FD004 數(shù)據(jù)集上獲得的RUL 預(yù)測結(jié)果準(zhǔn)確性較高；第二條路徑，將注意力機(jī)制作用于Bi-LSTM 網(wǎng)絡(luò)之后，為重要的輸出特征加大權(quán)重；第三條路徑，前置注意力機(jī)制來加權(quán)不同時間步下的原始數(shù)據(jù)，加權(quán)處理的數(shù)據(jù)輸入CNN 和Bi-LSTM 網(wǎng)絡(luò)中，實驗結(jié)果顯示此路徑在FD001 和FD003 數(shù)據(jù)集上獲得的RUL 預(yù)測結(jié)果準(zhǔn)確性較高。將上述3 條并行路徑進(jìn)行特征融合作為全連接網(wǎng)絡(luò)的輸入來預(yù)測RUL，最終得到的預(yù)測RUL 準(zhǔn)確性較高。由于滑動時間窗口大小對RUL 預(yù)測非常重要，本文分別探究了選取不同值對模型預(yù)測結(jié)果的影響。此外，不同傳感器數(shù)據(jù)攜帶的特征存在差異，可能會導(dǎo)致模型學(xué)習(xí)效果存在差異，所以本文依據(jù)不同角度選取傳感器進(jìn)行模型訓(xùn)練，結(jié)果顯示刪除恒定的傳感器測量數(shù)據(jù)，剩余傳感器數(shù)據(jù)組成新的數(shù)據(jù)集獲得的實驗結(jié)果是最好的。本文方法同各種RUL 預(yù)測方法進(jìn)行了比較，使用兩種流行的評價指標(biāo)進(jìn)行對比實驗，結(jié)果證明本文方法的RUL 預(yù)測準(zhǔn)確性較高。雖然本方法獲得了良好的實驗結(jié)果，但仍有進(jìn)一步優(yōu)化的空間，例如：改善復(fù)雜運(yùn)行條件下方法預(yù)測的穩(wěn)定性將是未來的研究方向。目前使用的訓(xùn)練和測試數(shù)據(jù)均是在相同環(huán)境下獲得的，但如果訓(xùn)練和測試數(shù)據(jù)是在不同的工作條件下收集的，則可能會降低方法的預(yù)測性能。因此，使用遷移學(xué)習(xí)方法提高模型的預(yù)測能力將作為下一步研究方向。利用3 條路徑提取特征，計算量和計算負(fù)擔(dān)相應(yīng)會有一定的增加，但是為了獲得更好的預(yù)測精度，犧牲了一定的計算量，所以下一步將考慮引入模型壓縮等技術(shù)來減少計算量。