張其霄，董 鵬，王科文，盧 葦

（海軍工程大學(xué)管理工程與裝備經(jīng)濟(jì)系，武漢 430033）

0 引言

航空發(fā)動機作為重要的航空裝備，是一個十分復(fù)雜的系統(tǒng)，且航空發(fā)動機一般在高溫、高壓、高轉(zhuǎn)速、高負(fù)荷等復(fù)雜條件下長時間運行，因此，保證航空發(fā)動機安全性和可靠性十分必要。其中，發(fā)動機的預(yù)測與健康管理（prognostics and health management，PHM）是一個有效的解決方案。剩余使用壽命（remaining useful life，RUL）預(yù)測是PHM 研究領(lǐng)域中的關(guān)鍵任務(wù)，目標(biāo)是根據(jù)設(shè)備健康狀態(tài)的數(shù)據(jù)，預(yù)測設(shè)備的剩余使用時間。航空發(fā)動機的剩余壽命預(yù)測主要方法可分為3 類：基于物理模型的預(yù)測方法、基于數(shù)據(jù)驅(qū)動的預(yù)測方法和混合預(yù)測方法。由于發(fā)動機結(jié)構(gòu)復(fù)雜，難以建立精確的物理模型來進(jìn)行描述，因此，基于發(fā)動機監(jiān)控數(shù)據(jù)的數(shù)據(jù)驅(qū)動模型是有效的研究方法，成為眾多學(xué)者們的研究熱點。

基于數(shù)據(jù)驅(qū)動的RUL 預(yù)測方法不依賴于物理失效模型，而是基于數(shù)據(jù)分析和挖掘，提取反映系統(tǒng)健康狀態(tài)的特征，繼而借助于人工智能等算法實現(xiàn)剩余壽命預(yù)測。常見的數(shù)據(jù)驅(qū)動方法可分為兩類：基于數(shù)理統(tǒng)計和基于機器學(xué)習(xí)的方法。典型的數(shù)理統(tǒng)計模型如馬爾科夫、自回歸移動平滑（AMRA）、維納過程等。相較于統(tǒng)計模型，近年來，基于機器學(xué)習(xí)方法的研究與應(yīng)用更為廣泛，典型算法有人工神經(jīng)網(wǎng)絡(luò)、支持向量機、深度學(xué)習(xí)等。KHELIF等人基于支持向量回歸（support vectorregerssion，SVR）對渦輪發(fā)動機進(jìn)行了剩余壽命預(yù)測；也有學(xué)者利用多層感知機（multi-layerperceptron，MLP）進(jìn)行剩余壽命預(yù)測的研究?，F(xiàn)有的機器學(xué)習(xí)方法在一定程度上嚴(yán)重地依賴于專家經(jīng)驗，依靠人工來提取特征，在面對海量數(shù)據(jù)時性能一般。

深度學(xué)習(xí)是機器學(xué)習(xí)的一個組成部分，隨著計算機性能的提升、數(shù)據(jù)積累和深度神經(jīng)網(wǎng)絡(luò)理論完善與發(fā)展，訓(xùn)練深層網(wǎng)絡(luò)成為了一個重要發(fā)展方向。依賴深層網(wǎng)絡(luò)提取特征和處理非線性表達(dá)，深度學(xué)習(xí)在許多傳統(tǒng)機器學(xué)習(xí)難題領(lǐng)域取得了重大突破，但深度學(xué)習(xí)在健康評估和剩余壽命預(yù)測的應(yīng)用仍在探索階段。BABU G S 首先利用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）進(jìn)行了剩余壽命預(yù)測。在LSTM 的應(yīng)用中，ZHENG S 在2017 年首先利用LSTM 網(wǎng)絡(luò)對渦輪發(fā)動機進(jìn)行了剩余壽命預(yù)測；LI X 則利用LSTM 的變體BiLSTM 研究剩余壽命預(yù)測問題；李京峰運用深度置信網(wǎng)絡(luò)對LSTM 進(jìn)行優(yōu)化，對渦輪發(fā)動機進(jìn)行了剩余壽命預(yù)測；HE K則將（bidirectional handshaking LSTM，BHSLSTM）應(yīng)用于剩余壽命預(yù)測研究。

雖然以上的幾種深度學(xué)習(xí)方法在PHM 領(lǐng)域中已經(jīng)有了一定的應(yīng)用，但是在運用深度學(xué)習(xí)進(jìn)行剩余壽命預(yù)測時，對超參數(shù)的確定主要根據(jù)經(jīng)驗或者手工優(yōu)化，參數(shù)優(yōu)化效率較低，在預(yù)測準(zhǔn)確率上仍然有提升的空間。

因此，依據(jù)深度學(xué)習(xí)算法和優(yōu)化算法，提出一種基于貝葉斯優(yōu)化LSTM 模型的發(fā)動機剩余壽命預(yù)測方法。利用貝葉斯優(yōu)化算法優(yōu)化LSTM 網(wǎng)絡(luò)，選擇隱藏層數(shù)和初始學(xué)習(xí)率作為優(yōu)化的超參數(shù)，將使用該組超參數(shù)在驗證集上的RSME 作為目標(biāo)函數(shù)?；谀繕?biāo)函數(shù)的過去評估結(jié)果建立替代函數(shù)找到最小化目標(biāo)函數(shù)的值，并作為超參數(shù)。利用貝葉斯優(yōu)化的LSTM 函數(shù)對發(fā)動機剩余壽命進(jìn)行預(yù)測，利用NASA 數(shù)據(jù)集對方法進(jìn)行驗證。

1 基本算法

1.1 LSTM 算法

長短期記憶網(wǎng)絡(luò)（long short term memory，LSTM）是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的變體之一，是針對RNN自身所存在的長期依賴問題和模型訓(xùn)練中存在梯度消失、爆炸等問題所專門設(shè)計出來的一種時間循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。LSTM 的核心思想就是在一般RNN 單元結(jié)構(gòu)設(shè)的基礎(chǔ)上增加3 種類型的“門”，通過門限機制來控制傳輸狀態(tài)，保留長期記憶和忘掉無用記憶，以保留最重要信息。這3 種門分別為：遺忘門、輸入門和輸出門，示意圖如圖1 所示。

圖1 LSTM 示意圖

LSTM 網(wǎng)絡(luò)模型搭構(gòu)完畢后，可以運用時間反向傳播（BPTT）算法來對LSTM 網(wǎng)絡(luò)進(jìn)行訓(xùn)練，來得到LSTM 的相關(guān)參數(shù)。

1.2 貝葉斯優(yōu)化算法

貝葉斯優(yōu)化算法使用概率模型代理擬合原始代價的目標(biāo)函數(shù)，根據(jù)后驗概率分布構(gòu)造采集函數(shù)，選擇下一個最優(yōu)評估點。文中概率模型選擇運用高斯過程回歸，采集函數(shù)選擇運用提升概率函數(shù)。

貝葉斯優(yōu)化過程如圖2 所示。

圖2 貝葉斯優(yōu)化過程圖

1.2.1 高斯過程回歸

高斯過程是貝葉斯優(yōu)化的運用中應(yīng)用最為普遍的概率模型。作為多元高斯概率分布的一般范化，高斯過程主要是由均值函數(shù)與半正定的協(xié)方差函數(shù)組成，即：

其中，f（x）為目標(biāo)函數(shù)值，φ（*）為分布函數(shù)，μ（x）、σ（x）分別為高斯過程回歸概率模型的均值和方差，α 為超參數(shù)，以探索最大值空間。α=0 使得值收斂于f（x），避免出現(xiàn)局部最優(yōu)。

利用貝葉斯優(yōu)化LSTM 進(jìn)行預(yù)測的一般步驟為：

1）設(shè)定待優(yōu)化參數(shù)范圍，優(yōu)化目標(biāo)為RMSE；

2）利用貝葉斯對LSTM 的隱藏層和初始學(xué)習(xí)率進(jìn)行優(yōu)化；

3）返回優(yōu)化的RMSE 最小值及對應(yīng)LSTM 模型的超參數(shù)；

4）將貝葉斯優(yōu)化LSTM 模型的超參數(shù)作為最終LSTM 模型的參數(shù)。

2 基于貝葉斯優(yōu)化LSTM 的剩余壽命預(yù)測方法

基于貝葉斯優(yōu)化LSTM 網(wǎng)絡(luò)構(gòu)建發(fā)動機剩余壽命預(yù)測模型，該模型在LSTM 網(wǎng)絡(luò)的基礎(chǔ)上，使用貝葉斯優(yōu)化算法對LSTM 網(wǎng)絡(luò)的超參數(shù)進(jìn)行優(yōu)化，提高預(yù)測的準(zhǔn)確度。主要對初始學(xué)習(xí)率和隱藏層數(shù)兩個超參數(shù)進(jìn)行貝葉斯優(yōu)化，優(yōu)化超參數(shù)的約束條件如表1 所示。

表1 超參數(shù)約束條件

運用貝葉斯優(yōu)化LSTM 網(wǎng)絡(luò)超參數(shù)，進(jìn)而應(yīng)用LSTM 網(wǎng)絡(luò)對航空發(fā)動機進(jìn)行剩余壽命預(yù)測，其具體實現(xiàn)流程如圖3 所示。

圖3 具體實現(xiàn)流程圖

3 實例分析

3.1 數(shù)據(jù)集介紹

驗證實驗數(shù)據(jù)集來自于NASA 的渦扇發(fā)動機退化數(shù)據(jù)集（C-MAPSS），該數(shù)據(jù)集記錄了每臺發(fā)動機在采樣時間產(chǎn)生的數(shù)據(jù)樣本，記錄了從健康到故障的性能退化過程。數(shù)據(jù)集包含1 個時間數(shù)據(jù)，3 個操作模式和21 個傳感器數(shù)據(jù)。具體傳感器名稱如表2 所示。數(shù)據(jù)集包括訓(xùn)練集、測試集和測試集標(biāo)簽。以該數(shù)據(jù)集為例，測算貝葉斯優(yōu)化LSTM 算法的性能，并與其他算法進(jìn)行對比分析。

表2 傳感器信息表

3.2 數(shù)據(jù)預(yù)處理

3.2.1 刪除常量參數(shù)

雖然訓(xùn)練集與測試集一共記錄渦扇發(fā)動機的21種傳感器數(shù)據(jù)，但其中有一部分傳感器是常數(shù)量，不隨樣本或時間變化。換言之，這些常量參數(shù)對于航空發(fā)動機剩余壽命預(yù)測不起作用，對于模型訓(xùn)練也沒有幫助。同時，參考其他研究中的做法，方便進(jìn)行對比分析，對常量參數(shù)進(jìn)行了刪除操作，只選取變量傳感器數(shù)據(jù)作為輸入來對模型進(jìn)行訓(xùn)練和驗證。

3.2.2 數(shù)據(jù)標(biāo)準(zhǔn)化

然后，對傳感器數(shù)據(jù)進(jìn)行了數(shù)據(jù)標(biāo)準(zhǔn)化，方便不同量綱的數(shù)據(jù)進(jìn)行分析。數(shù)據(jù)標(biāo)準(zhǔn)化的一般處理方法主要有Min-max 和Z-score 兩種方法。主要采取Z-score 方法對傳感器數(shù)據(jù)進(jìn)行數(shù)據(jù)歸一化。Z-score 表達(dá)式如下：

3.2.3 設(shè)置訓(xùn)練集標(biāo)簽

下面先各按各個樣本的大小順序進(jìn)行排列。如圖4 所示，可以發(fā)現(xiàn)大部分樣本在125 以上。因為在系統(tǒng)前期，發(fā)動機狀態(tài)比較穩(wěn)定，退化較慢。為更快訓(xùn)練算法，按照一般做法對系統(tǒng)前期的數(shù)據(jù)進(jìn)行裁剪，選取選取快要發(fā)生故障的樣本數(shù)據(jù)，以125 對樣本進(jìn)行裁剪。

圖4 樣本數(shù)據(jù)排序圖

3.3 設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)

構(gòu)建基于貝葉斯優(yōu)化的LSTM 網(wǎng)絡(luò)，LSTM 網(wǎng)絡(luò)包含1 個LSTM 層、1 個池化層和兩個全連接層。其中，LSTM 網(wǎng)絡(luò)結(jié)構(gòu)超參數(shù)中初始學(xué)習(xí)率和隱藏層數(shù)由貝葉斯優(yōu)化迭代選優(yōu)，其他參數(shù)如表3 所示。貝葉斯優(yōu)化針對初始學(xué)習(xí)率和隱藏層數(shù)進(jìn)行迭代尋優(yōu)，迭代次數(shù)設(shè)置為10。

表3 LSTM 網(wǎng)絡(luò)參數(shù)表

3.4 評價指標(biāo)

模型評價的常用性能評價指標(biāo)主要有均方根誤差（root mean squared error，RMSE）和評分函數(shù)（Score）兩種方法。主要采用均方根誤差（RMSE）來對航空發(fā)動機剩余壽命預(yù)測模型的性能進(jìn)行評價。RMSE 的表達(dá)式如下所示：

3.5 實驗結(jié)果

首先利用貝葉斯優(yōu)化算法對LSTM 算法的超參數(shù)進(jìn)行了優(yōu)化，經(jīng)過迭代擇優(yōu)，找到了LSTM 超參數(shù)最優(yōu)解，當(dāng)初始學(xué)習(xí)率為0.010 177，隱藏層數(shù)為756 時，RMSE 最小，為15.188。具體貝葉斯優(yōu)化過程如圖5 所示。

圖5 貝葉斯優(yōu)化過程圖

然后隨機選取6 個發(fā)動機，對其剩余壽命預(yù)測情況進(jìn)行觀察，如下頁圖6 所示，貝葉斯優(yōu)化LSTM算法對于航空發(fā)動機剩余壽命預(yù)測效果較好。

圖6 發(fā)動機剩余壽命預(yù)測情況

3.6 對比分析

為了進(jìn)一步說明預(yù)測方法的可行性和有效性，選取其他6 種預(yù)測方法，與同樣數(shù)據(jù)集的研究結(jié)果進(jìn)行對比分析，以充分評估貝葉斯優(yōu)化LSTM 算法的效果。6 種方法同樣使用RMSE 作為評價指標(biāo)，具體對比結(jié)果如下頁表4 所示。

由表4 可見，與MLP 和SVM 等機器學(xué)習(xí)算法相比，貝葉斯優(yōu)化LSTM 結(jié)果更好，CNN 等常規(guī)深度學(xué)習(xí)模型也取得了更好的結(jié)果。和Bi-LSTM 、BHSLSTM 和LSTM 等優(yōu)化算法相比，RMSE 評價結(jié)果分別提升了9.595%、19.128%和5.898%。這是因為利用貝葉斯優(yōu)化算法對超參數(shù)進(jìn)行了迭代擇優(yōu)，克服了手工調(diào)整的弊端，能更好地利用深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行預(yù)測。因此，在航空發(fā)動機剩余壽命預(yù)測上取得更好的結(jié)果。

表4 RMSE 對比分析表

4 結(jié)論

航空發(fā)動機作為最重要的航空器部件，實時監(jiān)控健康狀態(tài)、準(zhǔn)確預(yù)測剩余壽命，能有效提高航空器的可靠性和安全性，并為制定維修策略提供參考依據(jù)。根據(jù)深度學(xué)習(xí)和優(yōu)化算法，提出了貝葉斯優(yōu)化LSTM 算法的航空發(fā)動機剩余壽命預(yù)測方法。方法利用貝葉斯優(yōu)化算法優(yōu)化LSTM 網(wǎng)絡(luò)的隱藏層數(shù)和初始學(xué)習(xí)率，將使用該組超參數(shù)在驗證集上的RSME 作為目標(biāo)函數(shù)；基于目標(biāo)函數(shù)過去的評估結(jié)果建立替代函數(shù)找到最小化目標(biāo)函數(shù)的值，并作為超參數(shù)；利用貝葉斯優(yōu)化的LSTM 函數(shù)對發(fā)動機剩余壽命進(jìn)行預(yù)測，然后通過NASA 公開數(shù)據(jù)集對該方法進(jìn)行了驗證。通過與其他6 種算法的比較可以得出，貝葉斯優(yōu)化LSTM 算法能更好地進(jìn)行參數(shù)優(yōu)化，具有更高的預(yù)測精度，在航空發(fā)動機進(jìn)行剩余壽命預(yù)測方面應(yīng)用效果較好。