融合自注意力機(jī)制的Conv-LSTM邊坡位移預(yù)測方法

鄭海青 趙越磊 宗廣昌 孫曉云 靳 強(qiáng)

(1.石家莊鐵道大學(xué)電氣與電子工程學(xué)院,河北 石家莊 050043;2.河北金隅鼎鑫水泥有限公司,河北 石家莊 050200)

位移作為表征邊坡穩(wěn)定性程度的重要指標(biāo)[1-2],對其進(jìn)行實(shí)時(shí)可靠地監(jiān)測、預(yù)計(jì),對于及時(shí)了解邊坡安全狀態(tài)、準(zhǔn)確地進(jìn)行變形估計(jì)具有重要意義。

近年來,不少學(xué)者對邊坡位移預(yù)測方法進(jìn)行了研究,涌現(xiàn)出了一批理論和方法[3]。如基于經(jīng)驗(yàn)公式建立的蠕變理論[4-5],主要利用巖土力學(xué)相關(guān)公式進(jìn)行運(yùn)算,無法對邊坡位移影響因素的復(fù)雜性和多變性進(jìn)行研究?；谌渥兝碚摰倪吰骂A(yù)測方法主要是針對滑坡現(xiàn)象,但巖質(zhì)邊坡的變形破壞機(jī)理有別于滑坡,變形量較小,傳統(tǒng)的經(jīng)驗(yàn)預(yù)報(bào)模型對于巖質(zhì)邊坡適用性不強(qiáng)。由于統(tǒng)計(jì)學(xué)模型[6]可以解決經(jīng)驗(yàn)公式無法結(jié)合邊坡位移影響因素以實(shí)現(xiàn)預(yù)測的問題,晏凱等[7]采用自回歸求和滑動(dòng)平均模型(Autoregressive Integrated Moving Average,ARIMA)和Holt-Winters方法分別建立了邊坡位移預(yù)測模型,試驗(yàn)結(jié)果表明預(yù)測效果很好,但兩種模型的普適性較差且只適用于短時(shí)預(yù)測。為了得到更理想的預(yù)測效果,學(xué)者們提出了基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的邊坡位移預(yù)測模型[8-9],利用其出色的非線性映射能力來提高預(yù)測精度。ZHANG等[10]建立了基于長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)的邊坡位移預(yù)測模型,并對LSTM網(wǎng)絡(luò)內(nèi)部的超參數(shù)進(jìn)行優(yōu)化從而獲得較好的預(yù)測效果,但運(yùn)算時(shí)間較長,時(shí)效性較差;GUO等[11]將多個(gè)稀疏自編碼器的誤差進(jìn)行融合,并與LSTM相結(jié)合對機(jī)械故障時(shí)間序列進(jìn)行了預(yù)測;VIDAL等[12]建立了CNN-LSTM混合模型對金價(jià)的波動(dòng)進(jìn)行預(yù)測,相對于LSTM模型,混合模型預(yù)測精度有了一定程度提高。以上預(yù)測模型主要采用組合模型以提高模型的預(yù)測精度,很少考慮在結(jié)構(gòu)上對模型進(jìn)行優(yōu)化。

由于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)在提取特征的過程中,池化層主要通過降低數(shù)據(jù)維度和減少參數(shù)量對特征進(jìn)行壓縮,已有研究結(jié)果表明,在某些特定的任務(wù)中,去掉池化層能有效提高網(wǎng)絡(luò)的性能。ZHANG等[13]利用卷積—長短期記憶網(wǎng)絡(luò)(Conv-LSTM)和全連通長短期記憶網(wǎng)絡(luò)(FC-LSTM)進(jìn)行人體動(dòng)作識別,識別效果較好。AI等[14]采用Conv-LSTM預(yù)測方法來解決預(yù)測中空間相關(guān)性和時(shí)間相關(guān)性問題。CICEK等[15]利用Conv-LSTM模型預(yù)測智能手機(jī)剩余電池容量,結(jié)果表明,Conv-LSTM模型的預(yù)測效果相對于CNN-LSTM模型有一定的優(yōu)勢。

開采中的礦山邊坡變形受各種因素影響,基于邊坡變形監(jiān)測數(shù)據(jù),并結(jié)合工程現(xiàn)場的主要影響因素,建立多因素的位移預(yù)測模型,有助于實(shí)現(xiàn)對邊坡變形規(guī)律的可靠分析。本研究搭建了融合自注意力機(jī)制的Conv-LSTM位移預(yù)測模型,對河北金隅鼎鑫水泥有限公司某開采中的礦山邊坡進(jìn)行位移預(yù)測,針對去掉池化層后可能引起的過擬合問題,引入Dropout正則化方法對模型進(jìn)行優(yōu)化;為充分提取邊坡位移時(shí)序中的關(guān)系特征,引入了自注意力機(jī)制。

1 融合自注意力機(jī)制的Conv-LSTM 預(yù)測模型構(gòu)建

自注意力機(jī)制(Self-Attention Mechanism)是TREISMAN和GELADE于2014年提出的一種模擬人腦注意力機(jī)制的概率模型,能有效捕捉數(shù)據(jù)的動(dòng)態(tài)變化特征,使得相關(guān)性分析更加準(zhǔn)確。

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在處理預(yù)測問題時(shí),每次只會(huì)采用獨(dú)立的數(shù)據(jù)向量,沒有一個(gè)類似“記憶”的概念,用來處理和“記憶”有關(guān)的各種任務(wù)。循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)的提出,在一定程度上解決了上述問題,但處理長期依賴性問題時(shí)容易出現(xiàn)梯度消失的問題。長期短期記憶網(wǎng)絡(luò)(LSTM)引入了門控結(jié)構(gòu)使網(wǎng)絡(luò)不僅能記憶過去的信息,同時(shí)還能選擇性地忘記一些不重要的信息從而實(shí)現(xiàn)對長序列的建模。本研究建立了一種融合自注意力機(jī)制的Conv-LSTM位移預(yù)測模型,對采集的邊坡位移時(shí)間序列進(jìn)行建模分析,網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 融合自注意力機(jī)制的Conv-LSTM位移預(yù)測模型Fig.1 Displacement prediction model based on Conv-LSTM and self-attention mechanism

在試驗(yàn)中采集到的每條數(shù)據(jù)記錄包括當(dāng)日最低溫度、最高溫度、濕度、降水量和位移值,因此預(yù)測模型的輸入為由最低溫度、最高溫度、濕度、降水量和位移值構(gòu)成的向量,該向量先經(jīng)過卷積層進(jìn)行特征提取,然后經(jīng)過自注意力機(jī)制層提取數(shù)據(jù)內(nèi)部特征,最后,將提取到的特征輸入LSTM模型進(jìn)行位移時(shí)間序列預(yù)測。

圖1中自注意力機(jī)制采用多頭注意力機(jī)制,其原理是將多個(gè)點(diǎn)積注意力機(jī)制的計(jì)算結(jié)果進(jìn)行拼接,圖2為其數(shù)據(jù)處理示意圖,同一輸入向量X經(jīng)過兩次點(diǎn)積注意力機(jī)制處理,就會(huì)得到兩組權(quán)重矩陣和兩組Q、K、V矩陣。如果輸入向量X經(jīng)過h次點(diǎn)乘注意力機(jī)制計(jì)算,再將h次的結(jié)果進(jìn)行拼接,就得到了多頭注意力機(jī)制模型的輸出[16]。

圖2 多頭注意力機(jī)制數(shù)據(jù)處理過程示意Fig.2 Schematic of data processing procedure of multi-head attention mechanism

自注意力機(jī)制能夠很充分地提取特征,得到句子中每個(gè)單詞之間的關(guān)系,應(yīng)用到邊坡位移預(yù)測方面能夠有效地提取數(shù)據(jù)集中元素的前后關(guān)系。另外,自注意力機(jī)制在計(jì)算過程中,相比于卷積層提取特征的過程,可以有效降低計(jì)算量,減少模型訓(xùn)練的時(shí)間成本。

2 試驗(yàn)結(jié)果分析

2.1 數(shù)據(jù)獲取

試驗(yàn)采用的數(shù)據(jù)來自河北金隅鼎鑫水泥有限公司礦山邊坡位移監(jiān)測項(xiàng)目。工程現(xiàn)場點(diǎn)位布置如圖3所示。該工程在礦山的5個(gè)橫斷坡面上共設(shè)置了13個(gè)監(jiān)測位點(diǎn),呈網(wǎng)格化分布,有利于分析坡體的整體穩(wěn)定性。

圖3 工程現(xiàn)場點(diǎn)位布置示意Fig.3 Schematic of the layout of engineering site points

結(jié)合工程現(xiàn)場所在地理位置,通過對采集數(shù)據(jù)進(jìn)行相關(guān)性分析,并參考現(xiàn)場工作人員的經(jīng)驗(yàn),得出影響該處邊坡位移的主要因素有溫度、空氣濕度和降水量。因此,本研究將最低溫度、最高溫度、濕度、降水量和歷史位移值5個(gè)參數(shù)作為預(yù)測模型的輸入。選取監(jiān)測點(diǎn)G102在2019年6月1日—2020年7月14日所測數(shù)據(jù)(表1)作為樣本集進(jìn)行試驗(yàn)。

表1 監(jiān)測點(diǎn)G102的部分?jǐn)?shù)據(jù)Table 1 Some data of monitoring point G102

2.2 數(shù)據(jù)預(yù)處理

為消除奇異樣本帶來的訓(xùn)練時(shí)間增大問題,采用極大極小歸一化方法對數(shù)據(jù)進(jìn)行預(yù)處理,即:

式中,x為原始數(shù)據(jù);x′為歸一化后的數(shù)據(jù);max(x)為樣本中的最大值;min(x)為樣本中的最小值。

采用均方根誤差(Root Mean Square Error,RMSE)、均方誤差(Mean Square Error,MSE)、平均絕對百分比誤差(Mean Absolute Percentage Error,MAPE)和對稱平均絕對百分比誤差(Symmetric Mean Absolute Percentage Error,SMAPE)作為模型評價(jià)指標(biāo),各指標(biāo)計(jì)算公式分別為

2.3 預(yù)測結(jié)果

通過對采集到的邊坡數(shù)據(jù)樣本進(jìn)行分析,并對比不同卷積層層數(shù)、卷積核大小及LSTM層數(shù)對預(yù)測結(jié)果的影響,確定了邊坡位移預(yù)測模型的結(jié)構(gòu),如圖4所示。為改善去掉池化層后可能引起的過擬合問題,引入了Dropout正則化方法。

圖4 融合自注意力機(jī)制的邊坡位移預(yù)測模型結(jié)構(gòu)Fig.4 Structure of slope displacement prediction model based on self-attention mechanism

試驗(yàn)中的主要超參數(shù)設(shè)置見表2。5種模型預(yù)測結(jié)果見表3,引入自注意力機(jī)制的Conv-LSTM模型的預(yù)測結(jié)果如圖5所示,預(yù)測誤差曲線如圖6所示,可以看出預(yù)測模型的最大誤差為0.05左右。

表2 主要超參數(shù)設(shè)置Table 1 Setting of main hyper-parameters

表3 不同模型預(yù)測結(jié)果Table 3 Prediction results of different models

圖5 融合自注意力機(jī)制的Conv-LSTM模型預(yù)測結(jié)果Fig.5 Prediction results of Conv-LSTM model combined with self-attention mechanism

圖6 預(yù)測誤差曲線Fig.6 Curves of prediction error

由表3可知:傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)運(yùn)行時(shí)間最短,但預(yù)測結(jié)果較差;引入自注意力機(jī)制的Conv-LSTM模型的平均絕對百分比誤差僅為0.441,與Conv-LSTM模型相比降低了約1個(gè)百分點(diǎn),與CNN-LSTM模型相比降低了將近3個(gè)百分點(diǎn)。同時(shí),引入自注意力機(jī)制的Conv-LSTM模型的預(yù)測均方根誤差僅為0.029,可見其擬合程度較好,而Conv-LSTM模型為0.101,CNN-LSTM模型為0.197。在運(yùn)行時(shí)間方面,引入自注意力機(jī)制的Conv-LSTM模型的運(yùn)行時(shí)間相比Conv-LSTM模型進(jìn)一步縮短,節(jié)約了時(shí)間成本,模型的泛化性能得到了進(jìn)一步提升。

綜上分析可知:引入自注意力機(jī)制的Conv-LSTM預(yù)測模型獲得了較好的預(yù)測結(jié)果,而且時(shí)間成本較低,其平均絕對誤差與 CNN-LSTM模型相比降低了將近3個(gè)百分點(diǎn)。引入的多頭注意力機(jī)制擴(kuò)展了模型集中于不同位置的能力,使模型的泛化能力得到了一定的提升。

3 結(jié) 論

(1)通過對河北金隅鼎鑫水泥廠采集到的邊坡位移序列進(jìn)行分析,在Conv-LSTM邊坡位移預(yù)測模型的基礎(chǔ)上,引入自注意力機(jī)制,關(guān)注位移時(shí)序中關(guān)鍵特征,建立了融合自注意力機(jī)制的Conv-LSTM邊坡位移預(yù)測模型。

(2)通過自注意力機(jī)制提取了邊坡位移時(shí)間序列中的關(guān)鍵時(shí)序元素內(nèi)部特征,并與BP神經(jīng)網(wǎng)絡(luò)模型、CNN-LSTM預(yù)測模型、LSTM預(yù)測模型及 Conv-LSTM預(yù)測模型相比,所提出的模型預(yù)測精度最好,且運(yùn)算速度較快。

(3)所提出的預(yù)測模型雖然具有一定的自適應(yīng)能力,但仍存在對初始的學(xué)習(xí)率不夠魯棒的問題,在某些情況下依然可能陷入局部最優(yōu)解,下一步可根據(jù)方差的潛在散度動(dòng)態(tài)地打開或關(guān)閉學(xué)習(xí)率,從而提升模型的魯棒性。