改進LSTM 的脫軌系數(shù)預(yù)測方法

張 卜，劉怡伶，張文靜，劉學(xué)文

（上海工程技術(shù)大學(xué)機械與汽車工程學(xué)院，上海 201620）

0 引言

隨著社會經(jīng)濟的不斷發(fā)展和鐵路技術(shù)的不斷提升，輪軌列車的運行速度至今已達到每小時500 多公里，運載重量也在逐漸增加，但隨之而來的列車運行安全成為最棘手的問題之一，其中最為危險的工況就是脫軌。

在軌道交通建設(shè)領(lǐng)域，輪軌之間的作用研究自始至終是車輛—基礎(chǔ)耦合動力學(xué)的核心所在。理清輪軌在不同工況、不同運行狀態(tài)等條件下的接觸狀態(tài)，是研究輪軌作用的焦點問題。隨著深度學(xué)習(xí)理論的迅速發(fā)展，除直接以理論方法研究脫軌機理外，也可以通過深度學(xué)習(xí)方法挖掘大數(shù)據(jù)中的潛在規(guī)律，Sitton 等建立多個BP 網(wǎng)絡(luò)分別加以訓(xùn)練，網(wǎng)絡(luò)收斂后將預(yù)測結(jié)果與驗證集進行比較，根據(jù)網(wǎng)絡(luò)性能表現(xiàn)對它們賦予權(quán)重，將多個帶權(quán)重的BP 網(wǎng)絡(luò)組成投票系統(tǒng)以預(yù)測貨沖擊對軌、橋帶來的破壞；Samira 等和Serdar 等在神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，建立一種新的預(yù)測模型，用于列車脫軌事故風(fēng)險評估；Dindar 等設(shè)計一種由貝葉斯分類器（NB）組成的網(wǎng)絡(luò)，該網(wǎng)絡(luò)上層NB 的分類結(jié)果會成為下一層NB 的輸入，可對因極端天氣造成的脫軌事故進行準(zhǔn)確分類；Zhang 等利用深層信念網(wǎng)絡(luò)（Deep Belief Network，DBN）對列車運行安全性進行預(yù)測，并且考慮乘客舒適性；張俊甲等利用附加權(quán)重法對BP 神經(jīng)網(wǎng)絡(luò)進行改進，克服了傳統(tǒng)BP 網(wǎng)絡(luò)學(xué)習(xí)率調(diào)節(jié)困難的缺點，得到一種能夠有效預(yù)測脫軌系數(shù)的網(wǎng)絡(luò)模型；陳皓等建立基于BR網(wǎng)絡(luò)的NARX 網(wǎng)絡(luò)預(yù)測模型以預(yù)測列車脫軌系數(shù)，解決了傳統(tǒng)BP 網(wǎng)絡(luò)預(yù)測脫軌系數(shù)成本高、精度低的問題；楊桐等采用T-snake 模型分析輪軌接觸圖像，推算出輪軌相對橫向位移量，結(jié)合遺傳算法優(yōu)化小波神經(jīng)網(wǎng)絡(luò)，對相對位移、速度、加速度以及輪重減載率和脫軌系數(shù)間的映射進行建模。

列車運行時所產(chǎn)生的各項數(shù)據(jù)按照被采樣的先后順序記錄下來，是典型的時間序列。時間序列的特殊性在于其中的各樣例不是孤立的，之前的樣例會影響后面樣例的狀態(tài)，長短時記憶神經(jīng)網(wǎng)絡(luò)（LSTM）所具有的循環(huán)結(jié)構(gòu)使它能夠掌握樣例間的關(guān)聯(lián)性。陳渝等采用LSTM 對醫(yī)院門診量數(shù)據(jù)進行建模，取得了較好的預(yù)測精度；李彬等借助隨機梯度下降法對LSTM 進行優(yōu)化，對風(fēng)力發(fā)電功率概率進行預(yù)測，得出一種能夠預(yù)測未來200h 風(fēng)電功率概率函數(shù)的神經(jīng)網(wǎng)絡(luò)；Ugurlu 等以均值絕對誤差（MAE）和均方根誤差（RMSE）作為性能度量，使用LSTM 精確預(yù)測了電價的價格滯后現(xiàn)象。

要想保證深度學(xué)習(xí)效果，需要準(zhǔn)備大量的訓(xùn)練數(shù)據(jù)，然而列車實車試驗成本高昂，鐵路日常運營中收集到的數(shù)據(jù)，一般研究機構(gòu)也難以獲得，通過仿真方法獲取數(shù)據(jù)集是解決該難題的方法之一。近年來，仿真軟件的性能逐步提升，其中SIMPACK 在多體動力學(xué)，尤其是輪軌接觸方面的仿真效果非常好。陳楊在多體系統(tǒng)動力學(xué)軟件SIMPACK 中建立了整車動力學(xué)仿真模型，并對輪軌接觸面和懸掛系統(tǒng)做了處理，加入了軌道不平順激勵模型，得到了較為真實的仿真場景，利用仿真研究了各向不平順對蛇形失穩(wěn)臨界速度的影響；王海濤在SIMPACK 中建立了車—線—隧剛?cè)狁詈蟿恿W(xué)模型，利用仿真與實測數(shù)據(jù)研究了車輪抬升力，車輪踏面磨耗數(shù)與隧道壁振幅等參數(shù)對列車運行的影響；何銀川在SIMPACK 中建立了馱背運輸車輛系統(tǒng)振動模型，根據(jù)仿真分析了臨界速度、曲線通過能力和懸架對垂向穩(wěn)定性的影響，并且做了實際試驗，與仿真結(jié)果是相吻合的；姚常偉通過FLUENT、ANSYS 和SIMPACK 等仿真軟件對受側(cè)風(fēng)影響的列車模型進行了仿真，仿真結(jié)果與通過理論計算得到的風(fēng)載荷對車輛的影響是等效的。

上述科研成果都能證明SIMPACK 多體動力學(xué)仿真軟件在研究輪軌接觸方面的可靠性，因此借助仿真工具得到數(shù)據(jù)集，再利用深度學(xué)習(xí)方法分析數(shù)據(jù)，從而得到關(guān)鍵參數(shù)與列車輪軌狀態(tài)之間的關(guān)系是可行的。

本研究采用SIMPACK 仿真軟件收集列車通過彎道時的各項參數(shù)，包括最大脫軌系數(shù)、最大橫向振動加速度、橫向重心偏移量、車速、彎道半徑和軌道超高，組成訓(xùn)練數(shù)據(jù)集。

循環(huán)神經(jīng)網(wǎng)絡(luò)，特別是其中的長短時記憶神經(jīng)網(wǎng)絡(luò)已被諸多研究證實適用于處理時間序列數(shù)據(jù)，因此本研究也將以長短時記憶神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)模型。但是一方面，長短時記憶網(wǎng)絡(luò)訓(xùn)練過程對學(xué)習(xí)率非常敏感，學(xué)習(xí)率的調(diào)整往往要根據(jù)學(xué)者的經(jīng)驗或反復(fù)嘗試才得以確定，這樣調(diào)參不僅要耗費大量時間，也未必能達到最優(yōu)效果；另一方面，得益于長短時記憶網(wǎng)絡(luò)強大的學(xué)習(xí)能力，網(wǎng)絡(luò)可以高效地從訓(xùn)練集中找到屬性與標(biāo)記之間的映射，但是訓(xùn)練后的網(wǎng)絡(luò)在測試集上的表現(xiàn)往往不如訓(xùn)練集，也即發(fā)生了過擬合現(xiàn)象。針對這兩種情況，本研究提出使用簡便、有效的動態(tài)學(xué)習(xí)率和Dropout 方法針對學(xué)習(xí)率和網(wǎng)絡(luò)結(jié)構(gòu)進行優(yōu)化，將經(jīng)過改進的長短時記憶神經(jīng)網(wǎng)絡(luò)用于列車通過彎道時的脫軌系數(shù)預(yù)測。實驗結(jié)果表明，改進的長短時記憶神經(jīng)網(wǎng)絡(luò)能夠較好地預(yù)測脫軌系數(shù)隨工況變化趨勢，為進一步的脫軌系數(shù)預(yù)測研究提供了支持。

1 長短時記憶神經(jīng)網(wǎng)絡(luò)（LSTM）

1.1 LSTM 神經(jīng)網(wǎng)絡(luò)

LSTM 神經(jīng)網(wǎng)絡(luò)改良于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），除了與RNN 相同的外部循環(huán)外，還有本身節(jié)點間的自循環(huán)。自循環(huán)由遺忘門、輸入門和輸出門控制，這三者可根據(jù)當(dāng)前時刻的輸入從隱層中刪除、添加、提取信息，改善了RNN 長期依賴導(dǎo)致梯度消失和梯度爆炸的問題，圖1 展示了LSTM 的單元結(jié)構(gòu)。

Fig.1 Unit structure of LSTM圖1 LSTM 的單元結(jié)構(gòu)

輸入門根據(jù)

x

、輸入門的輸入偏置

b

和

h

決定計算當(dāng)前時刻輸出的狀態(tài)

c

(，可用式（2）計算。其中，

U

為單元體輸入門的輸入權(quán)重，

W

為單元體輸入門的循環(huán)權(quán)重，Sigmoid 為激活函數(shù)，則：

1.2 動態(tài)學(xué)習(xí)率方法

神經(jīng)網(wǎng)絡(luò)的權(quán)重更新離不開梯度下降法，傳統(tǒng)的梯度下降方法如式（5）所示。其中，

W

為第

i

次更新時的權(quán)重，

η

為學(xué)習(xí)率，

L

為損失函數(shù)的值。

學(xué)習(xí)率

η

的取值對網(wǎng)絡(luò)訓(xùn)練效果影響很大，取值過大會導(dǎo)致更新跳過最優(yōu)權(quán)重，或是損失函數(shù)震蕩，網(wǎng)絡(luò)難以收斂，取值過小會導(dǎo)致網(wǎng)絡(luò)收斂慢、訓(xùn)練效率差。為解決該問題可以引入動態(tài)學(xué)習(xí)率方法，每輪訓(xùn)練都根據(jù)當(dāng)前損失函數(shù)的梯度Δ

L

重新分配下一輪訓(xùn)練的學(xué)習(xí)率，其計算方法如式（6）所示。

動態(tài)學(xué)習(xí)率可按式（7）推導(dǎo)，可以看出，隨著訓(xùn)練輪數(shù)的增加，動態(tài)學(xué)習(xí)率會越來越小，防止越過最優(yōu)解，但當(dāng)Δ

L

≤0 時，即網(wǎng)絡(luò)尚未出現(xiàn)收斂趨勢時，動態(tài)學(xué)習(xí)率的降低速度會變慢，以保證網(wǎng)絡(luò)訓(xùn)練效率。若學(xué)習(xí)率過低，會引發(fā)梯度消失問題，因此

η

不會小于0.01 。

1.3 Dropout 方法

Fig.2 Principle of dropout圖2 Dropout 原理

2 數(shù)據(jù)集準(zhǔn)備

2.1 SIMPACK 仿真場景

該仿真場景中包含模型與線路兩個部分，其中模型中有17個剛體、1個車身、2個構(gòu)架、4 組輪對、8個軸箱和2個搖枕。其中，車身、構(gòu)架和輪對考慮到了前后伸縮、左右晃動、上下浮動以及點頭、搖頭和翻滾6個自由度，軸箱考慮點頭，只有1個自由度，搖枕與車身剛性連接，不考慮其自由度，故該模型共有50個自由度。該模型包含54個力元，因只考慮單節(jié)車輛，故沒有車鉤力，其中軸套與構(gòu)架間使用43 號力元，一系懸掛中的彈簧使用85 號力元，一二系懸掛中的阻尼以及蛇形減振器選用6 號力元，二系懸掛的兩個剪切彈簧使用79 號力元，車架與搖枕之間用13 號力元作為緩沖器以防止二者碰撞，輪軌接觸力元采用78 號力元并考慮到了它的非線性特性，該模型如圖1 所示。

Fig.3 SIMPACK simulation model圖3 SIMPACK 仿真模型

車輛行駛線路包括：直線—過渡曲線—彎道—過渡曲線—直線，列車在直線的行駛狀態(tài)不是研究重點，故設(shè)置為10m，過渡曲線用線性過渡，長度為10m，彎道的長度為500m，半徑可調(diào)。引入的軌道水平不平順激勵參考美國6 級譜，式（8）是其譜密度分析式，各參數(shù)如表1 所示。

Table 1 Parameter values of the six-order spectrum of the US orbit表1 美國軌道六級譜的參數(shù)值

2.2 數(shù)據(jù)集及其預(yù)處理

列車在彎道上的脫軌系數(shù)，會受到線路、車速等眾多因素的影響，本文將重點放在車速、重心橫向偏移量、半徑和超高上，研究這三者對脫軌系數(shù)的影響。通過不同條件下的仿真實驗，提取車速、半徑、超高、重心橫向偏移量作為屬性，對應(yīng)的脫軌系數(shù)作為標(biāo)記，共得到如表2 所示的1 269 條樣例。其中，超高按照式（9）計算，一般應(yīng)該按5mm的整倍數(shù)設(shè)置，且按照國家標(biāo)準(zhǔn)一般不能超過120～150mm，但為了在仿真中能得到盡可能大的脫軌系數(shù)，暫不考慮這些限制。

Table 2 Derailment coefficient data set表2 脫軌系數(shù)數(shù)據(jù)集

3 脫軌系數(shù)預(yù)測

3.1 評價標(biāo)準(zhǔn)

為了評估模型最終在測試集上的表現(xiàn)，采用均方根誤差（RMSE）作為評價標(biāo)準(zhǔn)，如式（10）所示，其為各條樣例預(yù)測值和真實值偏差的平方之和的平方根，反映了預(yù)測值偏離真實值的程度，當(dāng)預(yù)測值出現(xiàn)較大誤差時，會導(dǎo)致RMSE 激增，故RMSE 能夠較為全面地反映預(yù)測的精確程度。

3.2 實驗結(jié)果與分析

將數(shù)據(jù)集的前890條作為訓(xùn)練集，其余作為測試集。初始學(xué)習(xí)率為0.01，循環(huán)次數(shù)500次，batch_size 為20，keep_prob 參數(shù)決定了dropout 層保留輸出權(quán)重的概率，設(shè)置為0.9、0.8、0.7，即單元有10%、20%、30%的概率失活，分別進行訓(xùn)練，選取測試結(jié)果較好的一種作為最終參數(shù)。3 種使用不同keep_prob 參數(shù)的LSTM 在訓(xùn)練集上都有不錯的表現(xiàn)，圖4 展示了500 輪訓(xùn)練中，損失函數(shù)值變化曲線。

Fig.4 Loss function in training圖4 訓(xùn)練中的損失函數(shù)

幾種不同Keep_Prob 參數(shù)下的LSTM 在測試集上的RMSE 如表3 所示。傳統(tǒng)的LSTM 雖然在訓(xùn)練集上表現(xiàn)優(yōu)異，但在測試集上的誤差反而較大，出現(xiàn)了過擬合現(xiàn)象。引入Dropout 方法，設(shè)置keep_prob 為0.9 和0.8 時，過擬合現(xiàn)象有所改善，但進一步減少保留輸出權(quán)重的概率時，測試集上的誤差再次增加，出現(xiàn)了欠擬合趨勢。因此，最后選取Keep_Prob 參數(shù)為0.8。

Table 3 Prediction errors of different keep_prob parameter networks表3 不同keep_prob 參數(shù)網(wǎng)絡(luò)的預(yù)測誤差

最終測試結(jié)果如圖5 所示，模型經(jīng)過優(yōu)化后有著較好的擬合精度，預(yù)測曲線雖然未和真實值完全重合，但是模型準(zhǔn)確預(yù)測出了脫軌系數(shù)隨工況的變化趨勢。其中，在113 號樣例附近，模型準(zhǔn)確地預(yù)測出了因為車速突然下降而導(dǎo)致的脫軌系數(shù)斷崖式下跌，在其他位置模型也把握住了車速越高、彎道半徑越小，則脫軌系數(shù)越大的特點，這一特點在測試集和訓(xùn)練集上都相同，說明模型具有了較好的泛化性能?？傮w而言，雖然預(yù)測值和真實值之間有一定誤差，但均方根誤差控制在了0.01 以內(nèi)，與未經(jīng)優(yōu)化的LSTM預(yù)測結(jié)果相比，改善較大，RMSE 減小近24%，對于預(yù)測脫軌系數(shù)的變化趨勢有一定參考價值。

Fig.5 Prediction results of 2 kinds of LSTM圖5 兩種LSTM 預(yù)測結(jié)果

4 結(jié)語

列車脫軌系數(shù)是評價列車運行安全的重要參考，影響著軌道運輸?shù)脑O(shè)計、實驗、運維等方方面面。本研究針對在彎道上受重心偏移量影響的列車脫軌系數(shù)，使用深度學(xué)習(xí)方法，建立長短時記憶神經(jīng)網(wǎng)絡(luò)進行脫軌系數(shù)預(yù)測。為了解決模型學(xué)習(xí)率調(diào)整困難的問題，引入了動態(tài)學(xué)習(xí)率方法，為了解決過擬合問題，使用了Dropout 方法。驗證集表明，雖然在預(yù)測精度上仍有可以改善的地方，但通過優(yōu)化，模型在驗證集上的RMSE 減小了23.9%，不僅較好地預(yù)測出脫軌系數(shù)變化趨勢，也把握住了脫軌系數(shù)驟然變化情況?？傮w而言，這種優(yōu)化的長短時記憶網(wǎng)絡(luò)時間序列預(yù)測方法能應(yīng)用在脫軌系數(shù)預(yù)測上，能夠為鐵路安全運營提供數(shù)據(jù)支持。下一步研究將考慮更多因素對脫軌系數(shù)的影響，比如車輪抬升量、車鉤力及橫風(fēng)等，并嘗試采用其他優(yōu)化方法以建立更加準(zhǔn)確的預(yù)測方法，進一步挖掘列車運行數(shù)據(jù)的實用價值。