基于優(yōu)化算法的CNN-BiLSTM-attention的月徑流量預測

朱 豪,胡 圓 昭,尹 明 財,賈 慧,張 濟 世

(1.蘭州交通大學 環(huán)境與市政工程學院,甘肅 蘭州 730070; 2.中建新疆建工集團第一建筑工程有限公司,新疆 烏魯木齊 830000)

0 引 言

徑流研究是水文預測研究的主要研究內(nèi)容之一,提高徑流研究的預測精度有助于城市防洪、水力發(fā)電和優(yōu)化配置水資源。徑流形成的過程主要受到大氣壓強、大氣降水、溫度、環(huán)境地形和人類行為等多重因素的影響[1],導致對徑流時間序列研究的過程,具有模糊性和復雜的不確定性,對其形成過程難以用確定精準的模型進行準確的描述。近年來,卷積神經(jīng)網(wǎng)絡[2](Convolutional Neural Network,CNN)得到廣大學者的青睞,具有局部連接和權值共享的特征,可以有效地減少冗雜的訓練次數(shù),使得時間序列數(shù)據(jù)更便于訓練。長短期記憶網(wǎng)絡[3](Long Short-Term Memory Networks,LSTM)是通過門控機制控制信息的傳遞路徑,并對經(jīng)過門控機制的信息有選擇保留或者剔除以保證時間序列的預測效果,而雙向長短期記憶網(wǎng)絡[4](Bi-directional Long Short-Term Memory,BiLSTM)擁有兩個普通的LSTM組成,分別運用過去和未來的信息,其預測效果優(yōu)于單向LSTM模型。由于水文徑流序列的復雜性和難以尋優(yōu)模型的超參數(shù),需要進行復雜的訓練和龐大的工作量,所以單一的模型模擬徑流形成的過程較差。因此,迫切需要一種輔助優(yōu)化模型,能夠選取建立水文模型的相對最優(yōu)參數(shù),借此提高模型的預測精度。為此不少學者運用了貝葉斯優(yōu)化算法[5-6]、鯨魚優(yōu)化算法[7]、海洋捕食者算法[8]、免疫粒子群算法[9]以及麻雀搜索算法[10]等方法,以此輔助模型的超參數(shù)選優(yōu),極大地提高了模型的預測精度。其中麻雀搜索算法模擬了麻雀的捕食和反捕食的行為,便于操作,參數(shù)調(diào)節(jié)較少,與其他優(yōu)化算法相比較,該算法的收斂速度和搜索的精度具有一定的優(yōu)勢;而基于螢火蟲改進的麻雀搜索算法(Firefly Algorithm,Sparrow Search Algorithm,FA-SSA)[11-12]是在麻雀搜索算法的基礎上,利用螢火蟲的擾動進一步對麻雀搜索的位置優(yōu)化更新,提高搜索性,以此提高算法的尋優(yōu)性能。

為解決非線性、隨機性、不穩(wěn)定性以及復雜的時空特性對徑流量時間序列的影響,本文提出了基于CNN-BiLSTM-attention-FA-SSA的月徑流預測模型。其中卷積神經(jīng)網(wǎng)絡(CNN)可以有效提取月徑流量時間序列的局部特征,attention可以有效優(yōu)化BiLSTM模型的權重,BiLSTM可以同時通過正反兩個方向深度提取月徑流時間數(shù)據(jù)的深層時間特征,FA-SSA優(yōu)化算法為CNN和BiLSTM提供最優(yōu)超參數(shù)的數(shù)量保障。選取1959年1月至2020年7月漢口站的徑流數(shù)據(jù)進行模擬驗證,以消融的方式研究不同方法對月徑流量的預測效果,研究結果可為發(fā)展徑流量預報方法和水資源管理提供科學參考。

1 數(shù)據(jù)資料

漢口水文站是控制長江干流在漢江入?yún)R后水情變化的高精度水文站,是長江干流的重要控制站,同時也是長江流域和全國設立最早的近代水文站。本文選取徑流數(shù)據(jù)為漢口水文站1959年1月至2020年7月的月徑流數(shù)據(jù),氣象資料選取57 583,57 399,57 483,57 494,58 402,58 407和57 378等6個站點1959年1月至2020年7月的平均降水、平均氣溫、平均氣壓、平均相對濕度、小型蒸發(fā)量、平均風速和日照時數(shù)的日數(shù)據(jù)。6個氣象站的氣象數(shù)據(jù)來源于國家氣象科學數(shù)據(jù)中心,月徑流資料來源于漢口水文站的觀測數(shù)據(jù)。將日氣象數(shù)據(jù)統(tǒng)計成逐月數(shù)據(jù),對于數(shù)據(jù)中部分缺失的少量數(shù)據(jù)采用樣條函數(shù)插值處理。

2 研究方法

2.1 卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)[13-15](Convolutional Neural Networks,CNN)是一種深度學習的神經(jīng)網(wǎng)絡模型,處理大量數(shù)據(jù)信息時具有自動分層提取的能力,通過卷積核減少神經(jīng)網(wǎng)絡的參數(shù),可以有效防止模型過擬合和提高網(wǎng)絡模型的計算速度。CNN主要用于分類問題和回歸分析,由卷積層、池化層、全連接層、輸入層和輸出層構成(見圖1)。

圖1 卷積神經(jīng)網(wǎng)絡結構Fig.1 Structure of convolutional neural network

卷積運算類似于二維權重數(shù)組,采用相同步長對輸入的數(shù)據(jù)滑動截取,然后相乘求和;再經(jīng)過非線性激活函數(shù)進行非線性組合,作為池化層的輸入;隨后池化層對特征進行降維,按照一定的池化窗口大小,檢索輸入數(shù)據(jù),提取出重要特征,減少網(wǎng)絡參數(shù)。全連接層主要負責卷積層和池化層得出的特征進行整合并連接到輸出層。通過堆疊并在多個神經(jīng)元的全連接層添加非線性激活函數(shù),可以提高卷積神經(jīng)網(wǎng)絡的非線性擬合能力。

2.2 雙向長短期記憶網(wǎng)絡

長短期記憶網(wǎng)絡(Long-Short Term Memory,LSTM)[16-17]是一種特殊的反饋神經(jīng)網(wǎng)絡,神經(jīng)元以累加功能和門控機制的特殊隱層單元為基礎,下一刻將上一步傳遞的信息產(chǎn)生一個權值并聯(lián)接到自身,以復制自身狀態(tài)的真實值并累積外部輸入信號,適合用于處理大量時間序列數(shù)據(jù)相關的深度學習問題。

LSTM由輸入層、隱含層和輸出層組成,采用門控機制有選擇地控制信息,更真實地表征和模擬內(nèi)部的特征規(guī)律,將需要的長期記憶信息和短期記憶信息組合在一起,組成新的神經(jīng)單元,控制網(wǎng)絡信息的傳輸[18-20]。門控機制由遺忘門、輸入門和輸出門組成,分別對應著忘記、選擇性記憶和輸出的處理過程。

如圖2所示,通過遺忘門(圖2的①部分)舍棄上個單元不需要的信息,輸入門(圖2的②部分)控制長短期的信息存儲,輸出門(圖2的③部分)控制輸入門信息的最終輸出,其具體公式為

圖2 長短期記憶網(wǎng)絡結構Fig.2 Structure of long and short term memory network

ft=σ(Wf·[ht-1,xt]+bf)

(1)

(2)

it=σ(Wi·[ht-1,xt]+bi)

(3)

(4)

(5)

ot=σ(Wo·[ht-1,xt]+bo)

(6)

ht=ot·tanh(ct)

(7)

y=σ(Wy·ht+by)

(8)

式中:ot為xt和ht-1對ht的影響系數(shù);ht為隱層單元的輸出;y為預測輸出值;Wo為權重;bo為闕值。

BiLSTM[21]是由兩個普通的LSTM構成,單向LSTM只能通過從過去到未來的方向挖掘時間序列數(shù)據(jù)的特征信息,無法挖掘從未來到過去的時間序列數(shù)據(jù)信息,可能導致徑流量預測模型的學習效率低,影響模型的預測精度。BiLSTM通過兩個方向來挖掘時間序列數(shù)據(jù)信息,促使BiLSTM不僅能夠利用過去時刻的氣象數(shù)據(jù)和水文數(shù)據(jù)的信息,還能學習未來時刻的時間序列的特征,不斷提高神經(jīng)網(wǎng)絡預測模型學習能力和時間序列數(shù)據(jù)的利用率,借此提高模型的預測精度。

2.3 注意力機制

注意力機制(attention)來源于人類視覺的信號處理機制。當人類將絕大部分的注意力資源集中在重點圖像的區(qū)域時,會自動屏蔽其他可見的信息。針對注意力機制的原理,眾多學者將注意力機制廣泛應用于各行各業(yè)[22]。attention機制將氣象數(shù)據(jù)和水文數(shù)據(jù)的不同特征對于徑流量預測結果影響的大小,作為賦予神經(jīng)網(wǎng)絡隱藏單元權重大小的依據(jù),使對預測結果有突出影響的因素獲得更高關注,為后續(xù)數(shù)據(jù)處理提供依據(jù),極大減少資源的浪費,可以輔助提高模型的預測精度[23]。

ei=tanh(Whi+b)

(9)

(10)

(11)

式中:W和b分別為權重和闕值;hi為CNN輸出的隱藏單元狀態(tài)值,得出每個隱藏單元狀態(tài)值的得分ei,再通過式(10)對注意力機制的得分進行歸一化處理,最終將ei和ai進行加權求和,得出隱藏層狀態(tài)值ct。

2.4 基于螢火蟲改進的麻雀搜索算法

螢火蟲算法(Firefly Algorithm,FA)的主要思想是利用螢火蟲的光亮作為一個信號系統(tǒng),始終是亮度較高的吸引著亮度較低的螢火蟲,亮度較低的螢火蟲通過光的亮度更新螢火蟲的位置,而亮度隨著距離的增加而減弱[24]。

麻雀搜索算法(Sparrow Search Algorithm,SSA)是受到麻雀捕食生活習性的啟發(fā)而提出的優(yōu)化算法。麻雀捕食過程中由發(fā)現(xiàn)者、加入者、警示者3部分構成[25]。該算法中適應度較高的發(fā)現(xiàn)者會搜索出豐富食物的局部區(qū)域,加入者將引導種群的搜索和捕食;加入者為提高適應度會跟隨發(fā)現(xiàn)者覓食,而種群內(nèi)麻雀的加入者能量越低,加入者的覓食位置就越差,當警示者發(fā)現(xiàn)危險時會警示麻雀種群,則會發(fā)生反捕食行為。

基于螢火蟲改進的麻雀搜索算法的原理是在麻雀搜索算法后,對麻雀進行螢火蟲擾動,所有麻雀借助螢火蟲的擾動方式而進行位置更新,提高其搜索性,擾動后的麻雀與擾動前的麻雀相比,如果其效果更優(yōu)則更新麻雀的位置。其算法流程如下:

步驟1:初始化種群,迭代次數(shù),初始化捕食者和加入者比例。

步驟2:計算適應度值,并排序。

步驟3:麻雀更新捕食者位置。

步驟4:麻雀更新加入者位置。

步驟5:麻雀更新警戒者位置。

步驟6:計算適應度值并更新麻雀位置。

步驟7:利用螢火蟲擾動更新麻雀位置。

步驟8:計算適應度值并更新麻雀位置。

步驟9:是否滿足停止條件,滿足則退出,輸出結果;否則,重復執(zhí)行步驟2～8。

3 模型構建及評估機制

文中月降水量預測的時間序列選取統(tǒng)計成逐月資料的平均降水、平均氣溫、平均氣壓、平均相對濕度、小型蒸發(fā)量、平均風速和日照時數(shù)以及歷史的月徑流資料作為協(xié)變量。本文以CNN-BiLSTM-attention徑流量預測模型為例構建模型,其中構建的CNN-BiLSTM-attention-FA-SSA模型屬于全耦合深度學習模型,基于螢火蟲改進的麻雀搜索算法優(yōu)化的超參數(shù)分別為:卷積核個數(shù)、BiLSTM隱藏層神經(jīng)元個數(shù)、全連接隱藏層神經(jīng)元個數(shù)、dropout層、批量大小和學習速率。由于BiLSTM中的隱含層對輸出變量的影響是相同的,但現(xiàn)實情況并非如此,為改變這種現(xiàn)象,通過引入attention機制,計算每個輸出隱含層與不同輸入隱含層的相似度,再通過使用soft-max計算每個隱含層對輸出變量的貢獻,得到每個隱含層的貢獻度,最后通過不同隱含層的貢獻度加權求和,得出新的輸出隱含層的值,而這個過程就是attention機制引入BiLSTM模型的作用。

為防止模型發(fā)生過擬合現(xiàn)象,一般通過3種方法對模型進行修正:① 增加數(shù)據(jù)集的數(shù)量長度,文中收取近60 a的月數(shù)據(jù),無法再延長數(shù)據(jù)長度;② 減少模型的復雜程度,通過適當減少隱含層的層數(shù)或者神經(jīng)元的個數(shù),可以有效防止模型過擬合;③ 添加正則項dropout。dropout可以對原來網(wǎng)絡進行修剪,得到參數(shù)規(guī)模較小的網(wǎng)絡,該網(wǎng)絡不易發(fā)生過擬合現(xiàn)象,最后對訓練過程中所有的小網(wǎng)絡進行集成,從而減小泛化誤差。

文中模型構建的數(shù)據(jù)主要分為訓練集和測試集兩部分,其中1959年1月至2002年8月為訓練集,共計512個月;2002年9月至2020年7月為測試集,共計203個月。以漢口水文站月徑流資料為變量,對漢口站月徑流量進行預測,其步驟如下。

步驟1:機器深度學習的過程中,為避免不必要的誤差和增加模型的運行速度,將全部的樣本數(shù)據(jù)統(tǒng)一歸一化處理。

步驟2:初始化模型參數(shù),將數(shù)據(jù)樣本劃分為訓練集和測試集,并將訓練的樣本數(shù)據(jù)設置目標變量與協(xié)變量,機器深度學習其特征變化。對于BiLSTM模型的設置參數(shù)為:BiLSTM模型的層數(shù)為2層,dropout=0.5,hidden size=400,input size=64。隱含層節(jié)點為對于CNN模型的設置變量為:channel=3,stride=1,padding=1,激活函數(shù)均為Relu。

步驟3:CNN模型對數(shù)據(jù)進行提取和降維。將劃分好的數(shù)據(jù)集輸入卷積神經(jīng)網(wǎng)絡,進入卷積神經(jīng)網(wǎng)絡的卷積層,卷積層上眾多特征面的神經(jīng)元,對數(shù)據(jù)進行特征提取,而卷積層提取的數(shù)據(jù)通過激活函數(shù)處理,再次傳遞給池化層,池化層中眾多的特征面上的神經(jīng)元,對首次提取特征的數(shù)據(jù)進行二次局部特征提取、簡化數(shù)據(jù)并利用每個神經(jīng)元采樣,對輸入的數(shù)據(jù)進行層次提取,最后將提取的局部信息進行整合,為進一步利用BiLSTM提取深層時間特征奠定基礎。

步驟4:引入attention機制。CNN所提取的信息作為新輸入變量傳入LSTM,再通過深度學習的正向傳播和反向傳播,利用attention機制計算LSTM隱含層的權重,對各時間序列點的隱藏層狀態(tài)相對應的門權重和偏置矩陣進行傳播,根據(jù)預測值與實際值之間的誤差不斷調(diào)整優(yōu)化,再通過誤差更新attention 機制優(yōu)化的門權重值和偏置值,最終獲得適合、穩(wěn)定的深度學習模型。在BiLSTM的隱藏層內(nèi)加入attention機制,進一步深入學習雙向徑流時序變化規(guī)律,精準捕獲關鍵信息,防止BiLSTM的輸出層的數(shù)據(jù)泛化。

步驟5:運用螢火蟲改進的麻雀搜索算法選取CNN-BiLSTM-attention徑流量預測模型的最優(yōu)參數(shù)。其中螢火蟲改進的麻雀搜索算法的超參數(shù)設置上邊界為(128,600,300,0.5,128,0.001),下邊界為(32,100,100,0.1,16,0.000 1),pop=5,MaxIter=50,dim=6,其中邊界里的數(shù)據(jù)分別表示卷積核個數(shù)、BiLSTM隱藏層神經(jīng)元個數(shù)、全連接隱藏層神經(jīng)元個數(shù)、dropout層、批量大小和學習速率。

步驟6:借助FA-SSA算法,選取CNN-BiLSTM-attention的最優(yōu)參數(shù)并帶入徑流量預測模型,利用漢口水文站的徑流數(shù)據(jù)進行驗證。

步驟7:輸出預測結果數(shù)據(jù),并進行反歸一化處理得到徑流預測值。

步驟8:模型評估。文中選用擬合系數(shù)R2、平均絕對誤差MAE和均方誤差MSE作為評價模型性能的依據(jù),判別模型的預測性能,計算相關公式[26-28]為

(12)

(13)

(14)

4 實際應用分析

4.1 氣象因子的相關性分析

漢口水文站徑流量與氣象因子的變化關系如圖3和圖4所示。由圖3可知,年際變化內(nèi),徑流量與降水量和氣溫變化具有較好的同步性,徑流與降水和氣溫之間均呈現(xiàn)出正向關系,降水量的大小直接影響其徑流的變化,而與降水相比,氣溫對徑流變化的影響較小。由圖4分析可知,在年內(nèi)變化中,徑流、降水、氣溫三者間存在著顯著的正向關系,其變化具有一定的時滯性,但是整體隨著氣溫與降水的增長,徑流也隨之增長,反之,則減小。

圖3 徑流量與氣象因子年際變化關系Fig.3 Interannual variation relationship between meteorological factors and runoff

圖4 徑流量與氣象因子年內(nèi)變化關系Fig.4 Annual variation relationship between meteorological factors and runoff

文中選取了平均降水、平均氣溫、平均地溫、平均氣壓、平均相對濕度、小型蒸發(fā)量、平均風速和日照時數(shù)等8個氣象因子以及歷史徑流量的資料探究徑流量的預測情況,為更好地研究氣象因子對徑流量預測研究的影響大小,采用線性回歸方法,衡量每個氣象因子對徑流量預測的影響程度。

如圖5所示,平均降水、平均氣溫、平均地溫等8個氣象因子與徑流量呈現(xiàn)正相關的關系,其中平均降水、平均溫度和平均氣壓是影響徑流量預測的最主要特征因子,相關系數(shù)分別為0.763,0.747和0.739,而剩余的氣象因子對徑流量的影響程度較小。通過氣象因子與徑流量的相關性分析的實驗數(shù)據(jù),說明文中選取的8個氣象因子不同程度上影響了徑流量的預測,并無多余的冗雜特征變量。

圖5 氣象因子與徑流量的相關性分析Fig.5 Correlation analysis between meteorological factors and runoff

4.2 模型對比分析

為更好地驗證CNN-BiLSTM-attention徑流量預測組合模型的預測性能,文中選取了BiLSTM、CNN、CNN-BiLSTM和BiLSTM-attention模型與CNN-BiLSTM-attention徑流量預測模型進行對比驗證實驗。為減少模型訓練過程中出現(xiàn)偶然性的因素,將模型進行多組訓練學習,最終將每種模型訓練效果最優(yōu)的一組記錄下來,結果如表1 所列。

表1 多種徑流預測模型的對比分析Tab.1 Comparative analysis of various runoff prediction models

由表1可知:CNN+BiLSTM+attention徑流量預測模型的MSE、MAE和R2三項評估指標,均優(yōu)于其余4種模型,該方法的MSE為0.009,與BiLSTM、BiLSTM-attention、CNN和CNN-BiLSTM 4種模型相比較,MSE分別下降了30.4%,30.3%,20.3%和8.2%;該方法的MAE為0.068,與其他4種模型相比,分別下降了16.2%,19.6%,12.6%和0.6%;CNN-BiLSTM-attention模型的決定系數(shù)為0.768,與其他4種模型相比,分別提升了15.2%,15.1%,8.3%和2.8%。由此說明,CNN-BiLSTM-attention模型比其他徑流量預測模型更適合多元時間序列的預測,有效提高了徑流量時間序列的預測精度。

從單一模型來看,CNN徑流量預測模型整體性能的要求較高于BiLSTM徑流量預測模型,也只能揭示CNN模型比BiLSTM模型更適合于漢口水文站的徑流預測;BiLSTM-attention的MAE、MSE和R2略高于BiLSTM模型,但從實驗數(shù)據(jù)結果來看,attention 機制在BiLSTM里深入學習雙向徑流時序變化規(guī)律的作用并不是很強;CNN-BiLSTM模型通過卷積神經(jīng)網(wǎng)絡對數(shù)據(jù)的提取和降維,BiLSTM可以有效提取輸入信息,較大程度上提高了模型的預測精度和真實值的擬合程度;與BiLSTM-attention模型相比,CNN-BiLSTM-attention模型自從加入卷積神經(jīng)網(wǎng)絡對數(shù)據(jù)進行提取和降維之后,attention的有效捕捉關鍵時刻信息的能力明顯提升。

卷積神經(jīng)網(wǎng)絡、雙向長短期記憶網(wǎng)絡和注意力機制的組合構建了CNN-BiLSTM-attention徑流量預測模型,極大發(fā)揮了卷積神經(jīng)網(wǎng)絡的數(shù)據(jù)提取和降維能力、雙向長短期記憶網(wǎng)絡的多元長時間序列的持續(xù)學習能力以及attention有效捕捉關鍵時刻信息的能力,從而提高了CNN-BiLSTM-attention模型的徑流量預測精度,增強徑流量時序特征變化的學習能力和提升了與真實值的擬合能力。圖6為CNN-BiLSTM-attention和其他4種模型徑流預測效果圖,從圖中可以看出CNN-BiLSTM-attention 的預測精度和擬合的效果好于其他4種模型。整體來說,圖中的5種模型在2002～2015年的整體模擬效果較好,而2016～2020年的漢口徑流量模擬效果較差,其主要原因可能是:模型的訓練集主要負責學習和探索輸入變量和徑流量的特征規(guī)律,數(shù)據(jù)量越大,模型所掌握的特征規(guī)律以及輸入變量和徑流量的內(nèi)在關系也會越強,故測試集中輸入變量對徑流量的預測效果也會更好,但是由于輸入的氣象因子和徑流量的關系也會發(fā)生改變,離訓練集時間年限較遠的測試集,徑流量的預測效果會稍微差一點,再加上人類活動和數(shù)據(jù)集的特殊極值點的影響,故2016～2020年的峰值模型明顯變小,與2002～2015年相比,其預測效果相對較差。

圖6 多種徑流量預測效果Fig.6 Renderings of various runoff forecasts

4.3 優(yōu)化算法對比分析

4.3.1優(yōu)化算法參數(shù)選優(yōu)

為驗證基于螢火蟲改進的麻雀搜索算法(FA-SSA)的優(yōu)越性,選取了研究體系較為成熟和流行的貝葉斯優(yōu)化算法(Bayesian Optimization Algorit,BOA)[29]和灰狼算法(Grey Wolf Optimization,GWO)[30]對比研究。FA-SSA的超參數(shù)設置為pop=5,MaxIter=100,dim=6和上下邊界值,邊界值中分別表示的是卷積核個數(shù)、BiLSTM隱藏層神經(jīng)元個數(shù)、全連接隱藏層神經(jīng)元個數(shù)、dropout層、批量大小和學習速率,其中上邊界為(128,600,300,0.5,128,0.001),下邊界為(32,100,100,0.1,16,0.0001)。GWO的超參數(shù)設置為pack size=5,min values =[32,100,100,0.1,16,0.0001],max values =[128,600,300,0.5,128,0.001],iterations=50。BOA的超參數(shù)設置為channel:(32,128),隱藏層神經(jīng)元hidden size1:(100,600),全連接隱藏層神經(jīng)元hidden size2:(100,300),dropout:(0.1,0.5),batch size:(8,128),learning rate:(0.0001,0.001),每個括號里的數(shù)值表示設置超參數(shù)的最小值和最大值。

FA-SSA優(yōu)化算法隨著大量時間的深度學習,如圖7所示,最優(yōu)適應度值約為0.0076時的參數(shù)為該算法的最優(yōu)參數(shù),其最優(yōu)參數(shù)值分別為channel=64.67,hidden size1=572.28,hidden size2=286.32,dropout=0.48,batch size=21.03,learning rate =0.000 97。

圖7 FA-SSA的適應度曲線Fig.7 Fitness curve of FA-SSA

由于篇幅原因,只能展示一部分貝葉斯優(yōu)化算法的參數(shù)優(yōu)化數(shù)據(jù),如表2所列。其中加粗的是貝葉斯優(yōu)化算法中獲取最優(yōu)的參數(shù)優(yōu)化數(shù)據(jù),文中選取幾組中channel最大的一組參數(shù)優(yōu)化數(shù)據(jù),即表2的41組數(shù)據(jù),優(yōu)化參數(shù)為channel=127.90,hidden size1=239.60,hidden size2=199.70,dropout=0.35,batch size=8.88,learning rate =0.000 54。通過灰狼優(yōu)化算法的深度學習,GWO獲取的最優(yōu)參數(shù)為channel=63.06,hidden size1=209.35,hidden size2=146.78,dropout=0.20,batch size=16.82,learning rate =0.000 81。FA-SSA、BAO和GWO 3種優(yōu)化算法獲取的最優(yōu)參數(shù),代入相應的算法程序,得到3種徑流預測效果圖(見圖8)。

表2 貝葉斯優(yōu)化算法參數(shù)優(yōu)化分析Tab.2 Parameter optimization analysis of Bayesian optimization algorithm

圖8 基于優(yōu)化算法的CNN-BiLSTM-attention模型效果Fig.8 Effect of CNN-BiLSTM-attention model based on optimization algorithm

4.3.2優(yōu)化算法對比分析

如表3所列,CNN-BiLSTM-attention徑流預測模型的3種優(yōu)化算法同樣運用MSE、MAE和R23項評估指標來檢驗經(jīng)優(yōu)化算法優(yōu)化之后的CNN-BiLSTM-attention模型的預測性能。由表3可知,FA-SSA-CNN-BiLSTM-attention的預測效果優(yōu)于CNN-BiLSTM-attention模型、GWO-CNN-BiLSTM-attention模型和BOA-CNN-BiLSTM-attention徑流預測組合模型,而GWO-CNN-BiLSTM-attention模型和BOA-CNN-BiLSTM-attention模型的徑流預測性能整體略低于未加優(yōu)化的CNN-BiLSTM-attention徑流預測模型,其中4種模型的MSE和MAE的數(shù)值近似相等,相差不大。FA-SSA-CNN-BiLSTM-attention模型的R2為0.801,與CNN-BiLSTM-attention模型以及GWO和BOA優(yōu)化的CNN-BiLSTM-attention 3種模型相比較,分別提升了4.39%,5.25%和 5.94%。由此說明基于螢火蟲的麻雀搜索算法的CNN-BiLSTM-attention徑流量預測模型在測試期擁有較高的擬合精度,能夠充分挖掘徑流量時間序列的特性。如圖8所示,FA-SSA-CNN-BiLSTM-attention模型徑流量的預測效果明顯優(yōu)于灰狼算法和貝葉斯優(yōu)化算法,表現(xiàn)出優(yōu)于其他兩種優(yōu)化算法模型的穩(wěn)定性和泛化能力。

表3 多種輔助優(yōu)化算法的預測結果Tab.3 Prediction results of various auxiliary optimization algorithms

5 結 論

文中構建了BiLSTM、CNN、CNN-BiLSTM和BiLSTM-attention與CNN-BiLSTM-attention的基礎徑流量預測模型,隨后構建了基于FA-SSA優(yōu)化算法、GWO優(yōu)化算法和BOA優(yōu)化算法的CNN-BiLSTM-attention徑流預測組合模型,以漢口水文站的月徑流量數(shù)據(jù)驗證模型的預測性能,結果如下:① 以隨機森林為基礎的特征量重要度(feature importance)模型表征的結果可以發(fā)現(xiàn),平均氣壓、平均溫度和平均降水是影響徑流量預測最主要的特征因子,而其余氣象因子對徑流量預測的影響較小。② 從漢口水文站的應用來看,BiLSTM、CNN、CNN-BiLSTM、BiLSTM-attention與CNN-BiLSTM-attention四種模型都具有較好的預測效果,決定系數(shù)均大于0.65,其中CNN-BiLSTM-attention組合模型的徑流預測效果為最佳,決定系數(shù)為0.768,通過模型對比分析發(fā)現(xiàn)BiLSTM和attention兩種方法只有配合CNN使用時,BiLSTM和attention才能更有效地提取和捕捉關鍵信息,從而獲得更好的預測效果。③ 選取3種優(yōu)化算法的CNN-BiLSTM-attention最優(yōu)超參數(shù)并將其代入訓練,FA-SSA-CNN-BiLSTM-attentio的預測效果最佳,所需要的運算時間遠高于其他兩種模型,而BOA-CNN-BiLSTM-attention和GWO-CNN-BiLSTM-attention的擬合能力和泛化能力均低于未經(jīng)優(yōu)化的CNN-BiLSTM-attention徑流預測組合模型。

從數(shù)值結果上看,本文提出的FA-SSA-CNN-BiLSTM-attention模型與目前較為流行的徑流量預測模型相比,具有優(yōu)異的預測效果和較高的實質(zhì)性應用效果,其相關的方法和理論對徑流量預測精度的提高具有現(xiàn)實的意義。對于漢口水文站的研究,若要得到更具完整和代表性的結論,還需要在日后的研究中獲取更多水文站點的徑流量數(shù)據(jù),進一步驗證模型的穩(wěn)定性、數(shù)據(jù)擬合和泛化能力。