孫毅剛 劉凱捷

摘要：為了提高航電系統(tǒng)設(shè)備故障率預(yù)測的精度，本文提出了一種基于粒子群算法優(yōu)化的長短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）預(yù)測方法。首先該模型以歷史故障率序列作為輸入，然后通過粒子群算法（PSO）對長短期記憶數(shù)據(jù)網(wǎng)絡(luò)中的關(guān)鍵參數(shù)進(jìn)行迭代優(yōu)化，最后依據(jù)優(yōu)化參數(shù)建立PSO-LSTM預(yù)測模型并進(jìn)行故障率時(shí)間序列預(yù)測。主要解決了傳統(tǒng)依據(jù)個(gè)體經(jīng)驗(yàn)選取模型參數(shù)而導(dǎo)致的低擬合度、低預(yù)測精度和低效的問題。通過與典型預(yù)測模型的仿真數(shù)據(jù)進(jìn)行對比，驗(yàn)證了所提出的PSOLSTM預(yù)測模型在航電系統(tǒng)設(shè)備故障率時(shí)間序列預(yù)測中具有更高的預(yù)測精度。

關(guān)鍵詞：長短期記憶神經(jīng)網(wǎng)絡(luò)；粒子群算法；循環(huán)神經(jīng)網(wǎng)絡(luò)；預(yù)測；可靠性

中圖分類號：V240.2文獻(xiàn)標(biāo)識碼：ADOI：10.19452/j.issn1007-5453.2021.05.003

隨著航空技術(shù)的發(fā)展和科技水平的不斷提高，飛機(jī)的航電系統(tǒng)也越來越復(fù)雜，隨之帶來的是更高的可靠性和安全性需求，有效地預(yù)測使用階段的故障率是十分重要的[1-2]，同時(shí)故障率對指導(dǎo)備件貯存策略也有非常重要的作用[3]。

目前，對于故障率預(yù)測國內(nèi)外學(xué)者開展了大量的研究，探索出多種預(yù)測方法，也取得了一定的成果，如支持向量機(jī)（SVM）[4]、奇異譜分解（SSD）[5]、差分自回歸移動(dòng)平均（ARIMA）[6]等?，F(xiàn)有的研究主要集中在元器件級別和子系統(tǒng)級別，如參考文獻(xiàn)[6]主要研究的是針對高溫下鋁電解電容器電容值下降的問題，建立的兩種模型預(yù)測誤差均在可接受范圍內(nèi)，且均能有效地提取預(yù)測數(shù)據(jù)中的時(shí)間序列信息；如參考文獻(xiàn)[7]的研究是面向柴油機(jī)的燃油系統(tǒng)，基于鍵合圖理論建立的柴油機(jī)燃油模型具有較高的精度和實(shí)時(shí)性，系統(tǒng)參數(shù)預(yù)測精度均控制在4%以內(nèi)，這一類型的系統(tǒng)通過建模能夠被很好地?cái)M合和預(yù)測。

面對航空電子系統(tǒng)設(shè)備數(shù)據(jù)規(guī)模的倍數(shù)級增長以及系統(tǒng)內(nèi)非線性關(guān)系復(fù)雜的耦合，尤其是航空電子系統(tǒng)設(shè)備及其所包含的元器件種類及數(shù)量均較多，每種元器件發(fā)生故障的模式又各不相同，所造成影響較為復(fù)雜，深度學(xué)習(xí)技術(shù)逐漸地應(yīng)用于時(shí)序數(shù)據(jù)的研究。深度學(xué)習(xí)的基礎(chǔ)主要就是依托大量的原始數(shù)據(jù)進(jìn)行學(xué)習(xí)，對算法模型進(jìn)行訓(xùn)練，使算法自主學(xué)習(xí)，提取特征挖掘內(nèi)在聯(lián)系與規(guī)律。參考文獻(xiàn)[8]中對各種航空機(jī)電系統(tǒng)預(yù)測算法模型進(jìn)行了對比，得出神經(jīng)網(wǎng)絡(luò)針對此類問題適用性較好的結(jié)論，尤其是對非線性及非平穩(wěn)過程復(fù)雜系統(tǒng)的適用性。在神經(jīng)網(wǎng)絡(luò)的眾多模型中，循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）因?yàn)槠渖窠?jīng)元的輸出不僅與此刻的輸入有關(guān)，而且與上一時(shí)刻神經(jīng)元的輸出也有關(guān)系，這使其比較適合處理時(shí)序數(shù)據(jù)。長短期記憶神經(jīng)網(wǎng)絡(luò)（long short term memory，LSTM）是一種RNN的改進(jìn)版，可更好地學(xué)習(xí)記憶較長時(shí)間跨度的歷史數(shù)據(jù)的信息，被廣泛地應(yīng)用于多方面的研究中，如船舶軌跡分類[9]、語言處理[10]、電價(jià)與股價(jià)預(yù)測、蓄電池壽命預(yù)測[11]、腦電情感識別以及醫(yī)學(xué)中手術(shù)病例數(shù)據(jù)分析等[12]。LSTM模型的擬合程度與預(yù)測精度不止與模型結(jié)構(gòu)有關(guān)，更加取決于模型參數(shù)的設(shè)置，而模型參數(shù)往往是依靠人為經(jīng)驗(yàn)來確定的，經(jīng)驗(yàn)則受人的個(gè)體差異影響巨大，從而導(dǎo)致預(yù)測精度與用時(shí)相差甚遠(yuǎn)。鑒于此，本文提出了一種基于粒子群算法（particle swarm optimization，PSO）優(yōu)化的LSTM預(yù)測方法，利用粒子群算法在不斷迭代過程中找出LSTM模型的最優(yōu)參數(shù)，而后根據(jù)最優(yōu)參數(shù)建立LSTM預(yù)測模型，通過與傳統(tǒng)的預(yù)測模型對比，本文所提出的預(yù)測模型在預(yù)測中展示了優(yōu)越的性能。

1 LSTM算法

LSTM神經(jīng)網(wǎng)絡(luò)是一種循環(huán)神經(jīng)網(wǎng)絡(luò)的改進(jìn)版本，是一種門控RNN，可有效避免傳統(tǒng)網(wǎng)絡(luò)中梯度消失與梯度爆炸的問題。RNN在處理非線性時(shí)間序列問題時(shí)雖然有效，但是隨著訓(xùn)練數(shù)據(jù)的時(shí)間間隔不斷增長，RNN學(xué)習(xí)能力會(huì)變?nèi)?，模型?huì)隨著時(shí)間間隔的增大而忘記之前數(shù)據(jù)的規(guī)律，長期依賴的學(xué)習(xí)能力差，從而出現(xiàn)梯度下降現(xiàn)象[13]。航電系統(tǒng)的故障率數(shù)據(jù)的預(yù)測需要對較長周期的故障率數(shù)據(jù)進(jìn)行訓(xùn)練，從而找到其中的映射關(guān)系進(jìn)行預(yù)測，所以RNN處理此問題難以達(dá)到較為理想的效果。

LSTM神經(jīng)網(wǎng)絡(luò)可以很好地解決上述問題。LSTM引入了“門”結(jié)構(gòu)來加強(qiáng)控制信息在細(xì)胞間的傳遞與溝通的能力。主體結(jié)構(gòu)擁有三個(gè)門，即輸入門（Input Gate）、輸出門（Output Gate）和遺忘門（Forget Gate），內(nèi)部結(jié)構(gòu)如圖1所示。在t時(shí)刻，神經(jīng)元的輸入包括：t-1時(shí)刻隱藏層的狀態(tài)變量ht-1、t-1時(shí)刻記憶單元的狀態(tài)變量ct-1和t時(shí)刻的輸入變量xt。之后經(jīng)過三門結(jié)構(gòu)的模型單元的輸出包括：t時(shí)刻的輸出變量xt和t時(shí)刻記憶單元狀態(tài)變量ct。

在粒子群算法中，通常是單一地把訓(xùn)練集樣本的真實(shí)值與預(yù)測值之間的相對誤差或測試集樣本真實(shí)值與預(yù)測值之間的相對誤差作為適應(yīng)度函數(shù)，而此模型取兩者的平均值可同時(shí)驗(yàn)證模型是否過擬合。

（4）由粒子的初始適應(yīng)度值確定粒子的全局最優(yōu)位置Gbest與局部最優(yōu)位置Pbest，并將之作為歷史最佳位置。根據(jù)算法更新粒子的速度與位置，計(jì)算對應(yīng)的粒子適應(yīng)度，并與局部和全局最優(yōu)解進(jìn)行比較更新，提高準(zhǔn)確率。

（5）判斷是否滿足終止條件（粒子的適應(yīng)度值隨著迭代趨于穩(wěn)定或達(dá)到最大迭代次數(shù)），若滿足終止條件，將最優(yōu)參數(shù)值賦予PSO-LSTM模型，否則返回（4）。

（6）由最優(yōu)參數(shù)值構(gòu)建的PSO-LSTM預(yù)測模型得到測試集的預(yù)測結(jié)果，依據(jù)評價(jià)指標(biāo)進(jìn)行分析總結(jié)。

2.3模型評價(jià)度量指標(biāo)

式中：yt和ft分別為t時(shí)刻故障率時(shí)間序列的真實(shí)值和模型預(yù)測值，T為數(shù)據(jù)點(diǎn)個(gè)數(shù)。

3仿真分析

試驗(yàn)數(shù)據(jù)來自某航空公司在運(yùn)營波音737自2007年1月至2015年12月間三種航空通信系統(tǒng)電子設(shè)備的月度故障率數(shù)據(jù)，選取了2007—2014年的數(shù)據(jù)作為訓(xùn)練集，選取了2015年全年的數(shù)據(jù)作為測試集。

軟件平臺(tái)為Jupyter Notebook，編程環(huán)境在TensorFlow框架下使用Python語言編程實(shí)現(xiàn)。

3.1單預(yù)測模型

一般依據(jù)經(jīng)驗(yàn)選取參數(shù)建立的LSTM預(yù)測模型效果的差別，主要是因?yàn)槿伺c人之間的個(gè)體認(rèn)知差異選取的參數(shù)區(qū)別較大而產(chǎn)生的，為將此誤差影響降到最低，采取的方法如下：首先應(yīng)用本文前文提出的方法建立故障率時(shí)間序列的LSTM預(yù)測模型，模型結(jié)構(gòu)由輸入層、一個(gè)隱藏層和輸出層組成，網(wǎng)絡(luò)權(quán)重更新選用Adam算法，隱藏層激活函數(shù)為tanh函數(shù)，訓(xùn)練次數(shù)為500。以設(shè)備一故障率數(shù)據(jù)為例，圖2展示了相同參數(shù)下不同學(xué)習(xí)率（lr=0.01，0.0075，0.005， 0.0025，0.001）訓(xùn)練模型的損失變化。可以看出在lr=0.0075時(shí)訓(xùn)練集的損失較為最小，因此最終選定lr=0.0075進(jìn)行LSTM預(yù)測模型訓(xùn)練。

為了驗(yàn)證LSTM預(yù)測模型的預(yù)測性能，建立了RNN單預(yù)測模型進(jìn)行對照。參數(shù)設(shè)置為初始學(xué)習(xí)率為0.01，隱藏層神經(jīng)元個(gè)數(shù)為16，訓(xùn)練次數(shù)為100，激活函數(shù)選用Relu函數(shù)。預(yù)測結(jié)果誤差見表1。用同樣的方法對設(shè)備2和設(shè)備3的故障率數(shù)據(jù)進(jìn)行預(yù)測，各設(shè)備數(shù)據(jù)通過不同預(yù)測模型的預(yù)測結(jié)果誤差評價(jià)見表1。

從表1中可以看出，設(shè)備一的RNN預(yù)測模型的RMSE值比初步優(yōu)選的LSTM預(yù)測模型在前2個(gè)月、前4個(gè)月、前6個(gè)月、前8個(gè)月、前10個(gè)月和前12個(gè)月分別高出7.26%、6.00%、35.97%、20.72%、10.10%、6.45%，LSTM預(yù)測模型訓(xùn)練集擬合結(jié)果的RMSE值也低于RNN預(yù)測模型。設(shè)備二的預(yù)測中除一個(gè)點(diǎn)（8個(gè)月）的RNN預(yù)測結(jié)果的RMSE值低于LSTM預(yù)測模型，其余均是LSTM模型預(yù)測精度較高，測試集整體的LSTM模型預(yù)測結(jié)果的RMSE值比RNN預(yù)測模型低了14.67%。設(shè)備三的故障率預(yù)測中，測試集和訓(xùn)練集的LSTM模型預(yù)測結(jié)果的RMSE值均低于RNN預(yù)測模型。綜合來看，三個(gè)設(shè)備的預(yù)測結(jié)果中無論是部分月份還是整體年份的預(yù)測結(jié)果LSTM預(yù)測模型的預(yù)測精度均更高，整體預(yù)測精度比RNN預(yù)測模型分別高出6.45%、14.67%和15.74%，擬合效果更好。

3.2 PSO-LSTM預(yù)測模型

為了提高單一LSTM預(yù)測模型的預(yù)測精度，同時(shí)為了縮短預(yù)測模型參數(shù)選取的時(shí)間，利用PSO算法對LSTM模型中的兩個(gè)關(guān)鍵參數(shù)隱藏層神經(jīng)元個(gè)數(shù)m與學(xué)習(xí)率lr進(jìn)行優(yōu)化，依據(jù)本文2.2節(jié)的步驟，初始粒子通過式（7）、式（8）更新粒子速度與位置，再利用式（10）計(jì)算粒子的適應(yīng)度值，并與局部最優(yōu)解和全局最優(yōu)解進(jìn)行比較，判斷是否更新局部最優(yōu)解和全局最優(yōu)解，直至滿足終止條件，獲得最優(yōu)參數(shù)。模型參數(shù)設(shè)置如下：種群數(shù)量pop=20，迭代次數(shù)Tmax=100，慣性權(quán)重ω為=0.8，學(xué)習(xí)因子c1=2，c2=2；依據(jù)本文3.1節(jié)訓(xùn)練LSTM網(wǎng)絡(luò)模型的結(jié)果，確定隱藏層神經(jīng)元個(gè)數(shù)的取值范圍為m∈[1，64]；學(xué)習(xí)率的取值范圍為lr∈[0.001，0.01]。以設(shè)備一故障率數(shù)據(jù)為例，粒子適應(yīng)度隨迭代次數(shù)增加的變化規(guī)律如圖3所示，粒子適應(yīng)度最終穩(wěn)定在0.75。

隱藏層神經(jīng)元個(gè)數(shù)m和學(xué)習(xí)率lr隨模型迭代次數(shù)的變化規(guī)律如圖4所示，預(yù)測模型的參數(shù)尋優(yōu)最終結(jié)果為m= 32，lr=0.0071。用同樣的方法對設(shè)備2和設(shè)備3的故障率數(shù)據(jù)進(jìn)行預(yù)測，各設(shè)備數(shù)據(jù)通過不同預(yù)測模型的預(yù)測結(jié)果誤差評價(jià)見表2。

分析可知，三個(gè)設(shè)備均為通信系統(tǒng)電子設(shè)備，故障特性相似程度較高，同時(shí)在三個(gè)設(shè)備的故障率預(yù)測中，LSTM模型的預(yù)測精度不論是在訓(xùn)練集的擬合上還是在測試集的預(yù)測上效果都優(yōu)于RNN預(yù)測模型，尤其是測試集的預(yù)測結(jié)果，通過粒子群算法優(yōu)化后的預(yù)測模型相較于單一RNN預(yù)測模型和LSTM預(yù)測模型的RMSE值分別降低了21.05%和15.73%、26.00%和13.28%、25.93%和12.09%，可見PSOLSTM模型在處理故障率時(shí)間序列問題時(shí)有著更高的預(yù)測精度，同時(shí)也體現(xiàn)出通過粒子群算法優(yōu)化LSTM預(yù)測模型的關(guān)鍵參數(shù)對預(yù)測精度影響的有效性。

4結(jié)論

針對航電系統(tǒng)設(shè)備復(fù)雜的故障率時(shí)間序列預(yù)測問題，本文提出了一種基于PSO-LSTM網(wǎng)絡(luò)模型的預(yù)測方法，包括對模型的訓(xùn)練、預(yù)測和參數(shù)優(yōu)選等，得到以下結(jié)論：

（1）與典型的循環(huán)神經(jīng)網(wǎng)絡(luò)模型相比較，LSTM神經(jīng)網(wǎng)絡(luò)利用其獨(dú)特的門控結(jié)構(gòu)，對長時(shí)間跨度的非線性時(shí)間序列具有較強(qiáng)的學(xué)習(xí)能力，使得LSTM預(yù)測模型的擬合效果和預(yù)測精度整體更優(yōu)。

（2）利用粒子群優(yōu)化算法對LSTM預(yù)測模型的關(guān)鍵參數(shù)進(jìn)行優(yōu)化，避免依據(jù)經(jīng)驗(yàn)選取參數(shù)帶來對模型預(yù)測性能的影響。

（3）本文提出的PSO-LSTM預(yù)測模型在航電系統(tǒng)設(shè)備故障率時(shí)間序列方面有較高的預(yù)測精度，可以逐步整合到子系統(tǒng)層次，進(jìn)行更加系統(tǒng)化的故障率時(shí)間序列預(yù)測，以期建設(shè)成完整的故障率預(yù)測系統(tǒng)。

參考文獻(xiàn)

[1]王鑫，吳際，劉超，等.基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的故障時(shí)間序列預(yù)測[J].北京航空航天大學(xué)學(xué)報(bào)，2018，44（4）：772-784. Wang Xin，Wu Ji，Liu Chao，et al.Exploring LSTM based recurrent neural network for failure time series prediction[J]. Journal of Beijing University of Aeronautics and Astronautics，2018，44（4）：772-784.（in Chinese）

[2]張寶珍，王萍.飛機(jī)PHM技術(shù)發(fā)展近況及在F-35應(yīng)用中遇到的問題及挑戰(zhàn)[J].航空科學(xué)技術(shù)，2020，31（7）：18-26. Zhang Baozhen， Wang Ping. Recent development of aircraft PHM technology and problems and challenges encountered in the application on F-35[J]. Aeronautical Science & Technology， 2020，31（7）：18-26.（in Chinese）

[3]李瑞瑩，康銳.基于神經(jīng)網(wǎng)絡(luò)的故障率預(yù)測方法[J].航空學(xué)報(bào)， 2008，29（2）：357-363. Li Ruiying， Kang Rui. Department of systems engineering of engineering technology. [J]. Acta Aeronautics et Astronautics Sinica，2008，29（2）：357-363.（in Chinese）

[4]鞠建波，胡勝林，祝超，等.一種改進(jìn)的支持向量機(jī)回歸故障預(yù)測方法[J].電光與控制，2018，25（1）：6-9. Ju Jianbo， Hu Shenglin， Zhu Chao， et al. A fault prediction method based on improved SVM algorithm[J]. Electronics Optics & Control，2018，25（1）：6-9.（in Chinese）

[5]舒文婷，程軍圣，黃祝慶，等.基于GP-SSD的旋轉(zhuǎn)機(jī)械復(fù)合故障特征提取方法[J].電子測量與儀器學(xué)報(bào)，2018，32（5）：17-24. Shu Wenting， Cheng Junsheng， Huang Zhuqing， et al. Feature extraction of compound faults of rotating machinery based on GP-SSD[J].Journal of Electronic Measurement and Instrumentation，2018，32（5）：17-24.（in Chinese）

[6]張?zhí)铮藸栱?基于時(shí)間序列分析的電容器退化模型[J].上海交通大學(xué)學(xué)報(bào)，2019，53（11）：1316-1325. Zhang Tian，Pan Ershun. Degradation modeling of capacitors based on time series analysis[J]. Journal of Shanghai Jiaotong University， 2019，53（11）：1316-1325.（in Chinese）

[7]黃林，程剛，朱國情.關(guān)于柴油機(jī)熱力系統(tǒng)故障優(yōu)化預(yù)測仿真[J].計(jì)算機(jī)仿真，2019，36（3）：426-431. Huang Lin， Cheng Gang， Zhu Guoqing. Modeling and fault simulation of diesel fuel system based on bond graph theory[J]. Computer Simulation，2019，36（3）：426-431.（in Chinese）

[8]王紅，楊占才，靳小波，等.航空機(jī)電系統(tǒng)先進(jìn)診斷與預(yù)測技術(shù)研究[J].航空科學(xué)技術(shù)，2020，31（7）：40-47. Wang Hong， Yang Zhancai， Jin Xiaobo， et al.Research on advanced diagnosis and prognosis technology of aeronautical electromechanical system[J]. Aeronautical Science & Technology， 2020，31（7）：40-47.（in Chinese）

[9]崔彤彤，王桂玲，高晶.基于1DCNN-LSTM的船舶軌跡分類方法[J].計(jì)算機(jī)科學(xué)，2020，47（9）：175-184. Cui Tongtong，Wang Guiling，Gao Jing. Ship trajectory classification method based on 1DCNN-LSTM[J]. Computer Science，2020，47（9）：175-184.（in Chinese）

[10]胡超文，鄔昌興，楊亞連.基于擴(kuò)展的S-LSTM的文本蘊(yùn)含識別[J].計(jì)算機(jī)研究與發(fā)展，2020，57（7）：1481-1489. Hu Chaowen，Wu Changxing，Yang Yalian. Extended S-LSTM based textual entailment recognition[J]. Journal of Computer Research and Development，2020，57（7）：1481-1489.（in Chinese）

[11]成庶，甘沁潔，趙明，等.鎘鎳蓄電池壽命預(yù)測的PF-LSTM建模方法研究[J].鐵道科學(xué)與工程學(xué)報(bào)，2020，17（7）：1825-1832. Cheng Shu， Gan Qinjie， Zhao Ming， et al. PF-LSTM modeling method for life prediction of Ni-Cd battery[J].Journal of Railway Science and Engineering，2020，17（7）：1825-1832.（in Chinese）

[12]盧淑祺，竇志成，文繼榮.手術(shù)病例中結(jié)構(gòu)化數(shù)據(jù)抽取研究[J].計(jì)算機(jī)學(xué)報(bào)，2019，42（12）：2754-2768. Lu Shuqi， Dou Zhicheng， Wen Jirong. Research on structural data extraction in surgical cases[J]. Chinese Journal of Computers，2019，42（12）：2754-2768.（in Chinese）

[13]王永志，劉博，李鈺.一種基于LSTM神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測方法[J].實(shí)驗(yàn)室研究與探索，2020，39（5）：41-45. Wang Yongzhi，Liu Bo，Li Yu. A power load data prediction method based on LSTM neural network model[J].Research and Exploration in Laboratory，2020，39（5）：41-45.（in Chinese）

[14]劉曉.基于學(xué)習(xí)自動(dòng)機(jī)的容噪模式分類[J].航空科學(xué)技術(shù)， 2020，31（10）：75-80. Liu Xiao. Noise-tolerant pattern classification based on learning automata[J]. Aeronautical Science & Technology， 2020，31（10）：75-80.（in Chinese）

作者簡介

孫毅剛（1963-）男，博士，教授。主要研究方向：航空電子電氣測試與適航驗(yàn)證。

Tel：15379346484

劉凱捷（1996-）男，碩士研究生。主要研究方向：航空電子電氣系統(tǒng)驗(yàn)證

Tel：15379346484E-mail：kaijie_66@163.com

Failure Rate of Avionics System Forecasting Based on PSO-LSTM Network

Sun Yigang，Liu Kaijie*

Civil Aviation University of China，Tianjin 300300，China

Abstract： In order to improve the accuracy of civil aviation avionics，this paper proposes a forecasting method based on long-short memery neural network optimized by PSO. Firstly，the model takes failure rate sequences as input. Then， the PSO is used to optimize the key relevant parameters in the LSTM. Finally，the combined PSO-LSTM model is constructed by key parameters to predict failure rate of civil aviation avionics. The model solves the problem of low goodness of fit， low prediction accuracy and inefficiency caused by selecting parameters based on experience. Compared with the simulation data of typical prediction algorithms，the PSO-LSTM model method proposed in this paper can effectively improve the prediction accuracy in predicting failure rate of civil aviation avionics.

Key Words： lLSTM； PSO； recurrent neural network； prediction； reliability