萬(wàn)曉凡，徐澤宇，張營(yíng)

（210037 江蘇省 南京市 南京林業(yè)大學(xué)）

0 引言

剩余使用壽命預(yù)測(cè)經(jīng)過(guò)多年的發(fā)展，現(xiàn)主要以失效物理模型和數(shù)據(jù)驅(qū)動(dòng)的方法[1]為主。盡管數(shù)據(jù)驅(qū)動(dòng)法比較適合設(shè)備的剩余壽命預(yù)測(cè)，但是航空發(fā)動(dòng)機(jī)衰退曲線的變化無(wú)明顯規(guī)律，所以結(jié)果不準(zhǔn)確。失效物理模型就是通過(guò)采集設(shè)備的歷史衰退數(shù)據(jù)建立預(yù)測(cè)模型，但該方法對(duì)預(yù)測(cè)對(duì)象的假設(shè)條件較高且不適用于不相同線性的轉(zhuǎn)換。由此，依賴數(shù)據(jù)建模的相似性預(yù)測(cè)和機(jī)器學(xué)習(xí)預(yù)測(cè)更被研究者所接受[2-3]。張妍[4]等提出運(yùn)用相似性進(jìn)行剩余壽命預(yù)測(cè)適用于單退化量，但航空發(fā)動(dòng)機(jī)運(yùn)行環(huán)境多變且多傳感器，不能保證樣本后期相似程度變化小。

機(jī)器學(xué)習(xí)一般包括人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）和支持向量機(jī)，若在兩者的基礎(chǔ)之上進(jìn)行算法優(yōu)化則預(yù)測(cè)效果更佳。近年來(lái)，深度學(xué)習(xí)在機(jī)器學(xué)習(xí)領(lǐng)域一直是熱點(diǎn)，長(zhǎng)短記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）和雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（Bi-directional Long-Short Term Memory，Bi-LSTM）在壽命預(yù)測(cè)領(lǐng)域發(fā)揮了重要作用。馬忠[5]等在CNN 的基礎(chǔ)上，使用不同的一維卷積核提取序列趨勢(shì)信息特征來(lái)更好地得到航空發(fā)動(dòng)機(jī)工作過(guò)程中各個(gè)變量與剩余壽命之間的關(guān)系進(jìn)行預(yù)測(cè)；曲星宇[6]等使用RNN-LSTM對(duì)故障進(jìn)行診斷，優(yōu)化了網(wǎng)絡(luò)訓(xùn)練的魯棒性和容錯(cuò)性，但只憑借設(shè)備振動(dòng)噪聲信號(hào)而對(duì)設(shè)備傳感器數(shù)據(jù)的忽略，其結(jié)果缺乏一定的嚴(yán)謹(jǐn)性；申彥斌[7]等提出一種基于Bi-LSTM 神經(jīng)網(wǎng)絡(luò)用于軸承剩余使用壽命預(yù)測(cè)研究，該方法進(jìn)一步提升了模型的預(yù)測(cè)準(zhǔn)確率及泛化能力。

基于以上研究，本文提出在深度學(xué)習(xí)的基礎(chǔ)上，收集多個(gè)傳感器和飛行參數(shù)，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，以根據(jù)時(shí)序數(shù)據(jù)或序列數(shù)據(jù)來(lái)預(yù)測(cè)數(shù)值。使用雙向長(zhǎng)短期記憶 (Bi-directional Long Short-Term Memory，Bi-LSTM) 網(wǎng)絡(luò)，對(duì)網(wǎng)絡(luò)中的初始化函數(shù)和優(yōu)化器進(jìn)行一定調(diào)整，旨在根據(jù)發(fā)動(dòng)機(jī)中各種傳感器的時(shí)序數(shù)據(jù)來(lái)預(yù)測(cè)發(fā)動(dòng)機(jī)的剩余使用壽命（預(yù)測(cè)性維護(hù)，以周期為單位度量）。最后，從NASA提供的航空發(fā)動(dòng)機(jī)渦輪風(fēng)扇發(fā)動(dòng)機(jī)退化仿真數(shù)據(jù)集進(jìn)行驗(yàn)證，表明Bi-LSTM 預(yù)測(cè)效果較為理想。

1 Bi-LSTM 相關(guān)內(nèi)容

1.1 Bi-LSTM 運(yùn)行原理

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）是深度學(xué)習(xí)算法之一，其輸入為一類序列（sequence）后，經(jīng)過(guò)不斷迭代和神經(jīng)節(jié)點(diǎn)間鏈?zhǔn)竭B接最后輸出。因?yàn)檠h(huán)神經(jīng)網(wǎng)絡(luò)自身具有記憶特性和共享參數(shù)等特點(diǎn)，利于參數(shù)挖掘和權(quán)重的合理分配，所以在非線性的序列學(xué)習(xí)上效果良好[8]。但RNN 并非完美無(wú)缺，若輸入過(guò)長(zhǎng)，RNN 在不斷循環(huán)的過(guò)程中就會(huì)有梯度爆炸產(chǎn)生。總之，RNN 在信息輸入間距太遠(yuǎn)情況下提取特征能力不盡如人意。長(zhǎng)短記憶神經(jīng)網(wǎng)絡(luò)（LSTM）是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）改進(jìn)而來(lái)，其實(shí)LSTM 與RNN 相比增添了記憶功能，LSTM 多了輸入門、遺忘門和輸出門由此控制循環(huán)信息量。

無(wú)論是RNN 還是LSTM，都依靠前段時(shí)間的輸入經(jīng)過(guò)訓(xùn)練得出后段時(shí)間的輸出，但是輸出結(jié)果有時(shí)不僅僅由前段信息決定，還可能和未來(lái)息息相關(guān)[9]。要想前后時(shí)刻同時(shí)操作，需要兩相反方向的LSTM 疊加操作。Bi-LSTM 不僅克服了RNN 梯度爆炸問(wèn)題，同時(shí)還擁有LSTM 推算優(yōu)點(diǎn)[8]。Bi-LSTM 原理如圖1 所示。

圖1 Bi-LSTM 工作原理Fig.1 Working principle of Bi-LSTM

如圖1 所示，把輸入分為4 部分進(jìn)行編碼，前向傳播得到的組合為（AL1，AL2，AL3，AL4），反向傳播得到的組合是（AR1，AR2，AR3，AR4）。最后，將前后組合兩兩拼接得到4 個(gè)新組合（AL1，AR1）（AL2，AR2）（AL3，AR3）（AL4，AR4），即為（A1，A2，A3，A4）。

從圖1 中還可以看出，Bi-LSTM 相較于LSTM工作原理沒(méi)有什么較大的差異，和LSTM 一樣有輸入門、遺忘門和輸出門。

首先是遺忘門流程。輸入一串信息后，信息內(nèi)容并非都是重要的，若能去除不重要的信息會(huì)有利于網(wǎng)絡(luò)訓(xùn)練，這一步的操作就由遺忘門完成。ht-1為上一隱藏層狀態(tài)值，它和現(xiàn)輸入值xt一起進(jìn)入隱藏層。激活函數(shù)sigmoid 為σ，它決定去留的信息。因?yàn)槠渲涤驗(yàn)? 到1，當(dāng)信息值趨于0 時(shí)丟棄，趨于1 時(shí)保留。遺忘門公式如式（1）：

式中：w——權(quán)重；b——權(quán)重偏置。

其次為輸入門操作。負(fù)責(zé)保留信息的存放。得到候選值kt，然后通過(guò)遺忘門和輸入門舍去信息得到當(dāng)前信息ct，具體操作如式（2）—式（3）：

式中：it——輸入門。

最后為輸出操作。通過(guò)sigmoid 確定信息要輸出的內(nèi)容，再將輸出信息同tanh 相乘確定要輸出的部分，具體操作如下：

1.2 Bi-LSTM 過(guò)擬合優(yōu)化

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中會(huì)產(chǎn)生訓(xùn)練誤差及測(cè)試誤差，若兩者在訓(xùn)練整個(gè)過(guò)程中誤差相差不大且兩者誤差值都很小，說(shuō)明預(yù)測(cè)模型構(gòu)建良好；若兩者相差過(guò)大，也就是俗稱的過(guò)擬合[10-11]，這表示模型構(gòu)建效果不佳，意思就是模型極度依賴現(xiàn)有的數(shù)據(jù)建模，一旦出現(xiàn)全新的數(shù)據(jù)將會(huì)影響預(yù)測(cè)的效果。

出現(xiàn)過(guò)擬合問(wèn)題有2 種解決方法：一是數(shù)據(jù)量過(guò)少需增加訓(xùn)練集，但是該方法成本較高；二是通過(guò)Dropout 層進(jìn)行優(yōu)化。

Dropout 能改善過(guò)擬合問(wèn)題的原理就是一定幾率的、隨機(jī)和暫時(shí)地停止部分神經(jīng)元的訓(xùn)練（如圖2 所示），也就是斷開(kāi)神經(jīng)元的連接，該方法在文獻(xiàn)[12]中提出。

圖2 Dropout 工作原理Fig.2 Working principle of Dropout

在網(wǎng)絡(luò)模型訓(xùn)練的過(guò)程中，不一定要全部的神經(jīng)元都參與工作，可以讓部分神經(jīng)元不參與訓(xùn)練過(guò)程，在每次訓(xùn)練時(shí)隨機(jī)斷開(kāi)部分神經(jīng)元的連接，這樣可以提高網(wǎng)絡(luò)的泛化能力。正常情況下在Dropout 層（丟棄率）設(shè)置為0.5 上下。

1.3 RMSprop 優(yōu)化器

深度學(xué)習(xí)中會(huì)引入損失函數(shù)（Loss Function），損失函數(shù)越小表示訓(xùn)練結(jié)果越好，最小化（或最大化）任何數(shù)學(xué)表達(dá)式的過(guò)程稱為優(yōu)化。目前，使用較廣泛的優(yōu)化算法是梯度下降（Gradient Descent，SGD）。RMSprop 優(yōu)化算法是在SGD 基礎(chǔ)上演變而來(lái)，是自適應(yīng)學(xué)習(xí)的一種。將其與Momentum 優(yōu)化算法對(duì)比發(fā)現(xiàn)，RMSprop 能更好地調(diào)整損失函數(shù)更新擺動(dòng)幅度過(guò)大問(wèn)題，同時(shí)收斂速度也有加快[13]。圖3 所示為二者優(yōu)化路線對(duì)比（左側(cè)虛線為Momentum，右側(cè)實(shí)線為RMSprop）?？煽闯鯮MSprop 幅度更小，因?yàn)樗鼘⑽⒎制椒郊訖?quán)平均數(shù)使用在權(quán)重和偏置的梯度上。

圖3 Momentum 與RMSprop 優(yōu)化路線對(duì)比Fig.3 Comparison of optimized routes between Momentum and RMSprop

2 案例證明

2.1 Bi-LSTM 預(yù)測(cè)模型

基于Bi-LSTM搭建預(yù)測(cè)流程框架，如圖4所示，訓(xùn)練集預(yù)處理后由輸入層輸入，經(jīng)過(guò)隱藏層和輸出層輸出結(jié)果。

圖4 基于Bi-LSTM 搭建的預(yù)測(cè)流程圖Fig.4 Forecast flow chart based on Bi-LSTM

將數(shù)據(jù)分為若干部分，一部分組成訓(xùn)練集（Train），剩下組成測(cè)試集（Test），如圖5 所示。其中訓(xùn)練集在神經(jīng)網(wǎng)絡(luò)的運(yùn)作下進(jìn)行數(shù)據(jù)建模并分出一部分進(jìn)行效果檢測(cè)和參數(shù)調(diào)整。建模完成后，將測(cè)試集輸入模型得出結(jié)果。

圖5 訓(xùn)練集與測(cè)試集Fig.5 Training set and test set

2.2 案例數(shù)據(jù)來(lái)源

本文實(shí)驗(yàn)數(shù)據(jù)來(lái)自NASA 的渦扇發(fā)動(dòng)機(jī)退化模擬數(shù)據(jù)集（C-MAPSS）中的FD001，該數(shù)據(jù)包含100 個(gè)不完整序列，每個(gè)序列的末尾為相應(yīng)的剩余使用壽命值，數(shù)據(jù)集為26 位數(shù)據(jù)，其中6～26 為傳感器，其他為飛行高度和循環(huán)次數(shù)。文獻(xiàn)[2]對(duì)21 個(gè)傳感器數(shù)據(jù)有詳細(xì)介紹。將數(shù)據(jù)集劃分成訓(xùn)練集（Train）和測(cè)試集（Test），其中訓(xùn)練集表示發(fā)動(dòng)機(jī)從工作到失效整個(gè)過(guò)程數(shù)據(jù)，測(cè)試集為壽命結(jié)束前過(guò)程的整個(gè)數(shù)據(jù)，前者通過(guò)訓(xùn)練找尋規(guī)律，后者進(jìn)行測(cè)試驗(yàn)證。

2.3 數(shù)據(jù)處理

數(shù)據(jù)歸一化（標(biāo)準(zhǔn)化）是對(duì)數(shù)據(jù)進(jìn)行挖掘，因?yàn)樵u(píng)價(jià)指標(biāo)不同，量綱也不同，由此會(huì)對(duì)分析造成一定影響，歸一化后的數(shù)據(jù)，各項(xiàng)指標(biāo)數(shù)量級(jí)相同，可進(jìn)行綜合對(duì)比。

本文數(shù)據(jù)集數(shù)據(jù)多，所以采取是z-score 標(biāo)準(zhǔn)化，這種方法給予原始數(shù)據(jù)的均值（mean）和標(biāo)準(zhǔn)差（standard deviation）進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化[14-15]。經(jīng)過(guò)處理的數(shù)據(jù)符合標(biāo)準(zhǔn)正態(tài)分布，即均值為0，標(biāo)準(zhǔn)差為1。轉(zhuǎn)換函數(shù)公式為：

式中：u——樣本均值；σ——樣本的標(biāo)準(zhǔn)差。

2.4 性能評(píng)價(jià)標(biāo)準(zhǔn)

為了測(cè)評(píng)模型訓(xùn)練效果，本文會(huì)采用均方根誤差（root mean squared error,RMSE）作為評(píng)價(jià)指標(biāo)，其能夠良好反應(yīng)目標(biāo)值與預(yù)測(cè)值存在多少誤差[16]，計(jì)算公式為：

2.5 預(yù)測(cè)結(jié)果分析及對(duì)比

本模型實(shí)驗(yàn)在Corei5-10300H，8-GB RAM，NVIDIA GTX 1650 GPU 環(huán)境下進(jìn)行，操作系統(tǒng)為Windows 10，仿真軟件為MATLAB 2019a。設(shè)置丟棄率為0.5，否則會(huì)出現(xiàn)過(guò)擬合。優(yōu)化器為RMSprop，激活函數(shù)為Sigmoid，權(quán)重初始函數(shù)為Glorot，每批大小為20，最大迭代次數(shù)為300 次。

預(yù)測(cè)結(jié)果的RMSE 如圖6 所示。誤差（Error）為預(yù)測(cè)值減去真實(shí)值得到。由圖6 可見(jiàn)，RMSE 為17.943 3，除了極少誤差值落在兩側(cè)，部分誤差集于(-10，0]且分布緊湊，結(jié)果比較理想。

圖6 預(yù)測(cè)結(jié)果的RMSEFig.6 RMSE of predicted result

為證明使用RMSprop 算法的Bi-LSTM 預(yù)測(cè)在隨機(jī)情況下的誤差表現(xiàn)，在同樣的條件下進(jìn)行5 次訓(xùn)練得到RMSE，并且LSTM 網(wǎng)絡(luò)進(jìn)行對(duì)比，結(jié)果如圖7 所示。圖7 中，上者為L(zhǎng)STM，下者為Bi-LSTM，可以看出下者比上者平均低約2.5%。

圖7 Bi-LSTM 和LSTM 隨機(jī)RMSE 對(duì)比Fig.7 Bi-LSTM and LSTM random RMSE comparison

還可通過(guò)抽取樣本在神經(jīng)網(wǎng)絡(luò)中的預(yù)測(cè)結(jié)果圖，如圖8 所示為隨機(jī)樣本抽查效果圖，可以看出，Bi-LSTM 樣本預(yù)測(cè)剩余使用壽命（Remaining Useful Life，RUL）與真實(shí)RUL 線大致貼合。

圖8 Bi-LSTM 樣本預(yù)測(cè)圖Fig.8 Sample prediction graph of Bi-LSTM

綜合以上對(duì)比結(jié)果可以看出，RMSprop 優(yōu)化算法的Bi-LSTM 整體預(yù)測(cè)效果要優(yōu)于LSTM。但有時(shí)會(huì)出現(xiàn)較大波動(dòng)，因?yàn)楹娇瞻l(fā)動(dòng)機(jī)在多種故障下的規(guī)律難以捉摸，故在單工況下對(duì)其預(yù)測(cè)較為準(zhǔn)確。

3 結(jié)語(yǔ)

本文總結(jié)了Bi-LSTM以及一些參數(shù)的特點(diǎn)后，提出基于該網(wǎng)絡(luò)的預(yù)測(cè)模型。通過(guò)航空發(fā)動(dòng)機(jī)數(shù)據(jù)進(jìn)行驗(yàn)證，結(jié)果表明，單工況下基于RMSprop 優(yōu)化算法的Bi-LSTM 預(yù)測(cè)模型對(duì)航空發(fā)動(dòng)機(jī)的剩余壽命預(yù)測(cè)相對(duì)于LSTM 預(yù)測(cè)模型要更加準(zhǔn)確。