短期電力負荷預測算法中LSTM網(wǎng)絡(luò)改進與優(yōu)化探究

摘 要： 在短期電力負荷預測算法中，對LSTM網(wǎng)絡(luò)加以改進和優(yōu)化，基于已有的LSTM神經(jīng)網(wǎng)絡(luò)，利用強化學習理念，借助簡單化的Inception網(wǎng)絡(luò)結(jié)構(gòu)，搭建起隱藏狀態(tài)矩陣，從而達到LSTM網(wǎng)絡(luò)的優(yōu)化與改進，對應搭建起短期電力負荷預測模型，經(jīng)過數(shù)據(jù)對比得出，經(jīng)過優(yōu)化的LSTM網(wǎng)絡(luò)模型能更高效地獲取依賴信息，可以確保短期負荷預測的精準。

關(guān)鍵詞：短期電力負荷;預測算法;LSTM網(wǎng)絡(luò);改進;優(yōu)化

0 前言

電力負荷預測應開發(fā)高質(zhì)量的負荷預測數(shù)據(jù)模型，借助此模型能充分地輔助各種網(wǎng)絡(luò)系統(tǒng)，隨著現(xiàn)代信息科技的發(fā)展，負荷預測已經(jīng)從傳統(tǒng)的單一預測法轉(zhuǎn)向灰色預測、人工神經(jīng)網(wǎng)絡(luò)以及LSTM模糊預測方向發(fā)展，此研究則以組合預測法為參照，以強化學習的方式來優(yōu)化、改進LSTM算法，深入剖析了LSTM改進方式以及成效。

1 LSTM網(wǎng)絡(luò)內(nèi)涵與特征

LSTM為建立在RNN基礎(chǔ)上的優(yōu)化模型，憑借引進門與單元的理念來化解遠距離傳輸?shù)膯栴}，此網(wǎng)絡(luò)有著超強的環(huán)境適應能力，可以妥善地適應各種條件、各種環(huán)境，其單元結(jié)構(gòu)圖如下圖1所示。

各個神經(jīng)單元內(nèi)部都包括：遺忘門、輸入門、輸出門幾個門控結(jié)構(gòu)，用來控制數(shù)據(jù)的出入，不同的門控結(jié)構(gòu)發(fā)揮不同的功能，遺忘門主要肩負著丟棄、保留前一刻的有效數(shù)據(jù)于CtCt內(nèi)，輸入門則負責把目前每一刻的有效數(shù)據(jù)存儲于Ct中，輸出門決定了神經(jīng)單元輸出中Ct的信息。

不同于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法，LSTM網(wǎng)絡(luò)實際運用中體現(xiàn)出超強的自適應學習能力，針對于一些復雜的樣本數(shù)據(jù)，此網(wǎng)絡(luò)也體現(xiàn)出超強的擬合效果。此網(wǎng)絡(luò)借助門控結(jié)構(gòu)能高效地控制因為時間增加所造成的梯度消失的問題。同時，因為選擇了三個輸入值、兩個輸入值的當前時刻的記憶模塊，使得這一模型實際運用中體現(xiàn)出超強的泛化能力。

然而，事實證明，LSTM網(wǎng)絡(luò)現(xiàn)實的運用中體現(xiàn)出多種問題和不足，最顯著的問題為：LSTM網(wǎng)絡(luò)主要依賴于梯度下降法來實現(xiàn)權(quán)重更新，從而使得模型的收斂速度偏慢，進而導致梯度發(fā)散的現(xiàn)象，從而導致系統(tǒng)更可能走向局部極小值，同時，沒有更為合適的辦法來確定模型的隱含層節(jié)點的各項參數(shù)，例如：節(jié)點數(shù)目、學習率以及迭代系數(shù)等。

2 預測模型的設(shè)計與優(yōu)化

建立在強化學習的LSTM模型結(jié)構(gòu)采取如下圖2所示的設(shè)計圖。

第一層：輸入層。主要把歷史負荷數(shù)據(jù)，從x1，x2---xt都全盤輸入網(wǎng)絡(luò)模型，來加以訓練。

第二層：此層為LSTM層，參照強化學習，搭建隱藏狀態(tài)矩陣H，動態(tài)學習網(wǎng)絡(luò)輸入負荷數(shù)據(jù)中的長期依賴。

第三層：Inception網(wǎng)絡(luò)層，采取層次性的并行的一維卷積分支，對所傳輸?shù)呢摵蓴?shù)據(jù)加以剖析、處理，而且還能將所分析、處理的數(shù)據(jù)結(jié)果加以合并，最終形成張量。

第四層：全連接輸出層。因為預測結(jié)果會傳出個數(shù)相匹配的神經(jīng)元結(jié)構(gòu)，所傳出的結(jié)果：電力負荷預測結(jié)果輸出矩陣L。

在以強化學習為基礎(chǔ)的LSTM網(wǎng)絡(luò)模型內(nèi)，主要依托于動態(tài)跳躍LSTM在語言處理層面所展現(xiàn)出的序列數(shù)據(jù)處理的優(yōu)勢，以強化學習來擇選最優(yōu)依賴，對應深入剖析電力負荷的周期性性質(zhì)、特征，經(jīng)過優(yōu)化升級的LSTM模型結(jié)構(gòu)如下圖3所示。

上圖中所展示的經(jīng)過優(yōu)化升級后的LSTM模型，可以看到：在t-1時的隱藏狀態(tài)出現(xiàn)一定的浮動和調(diào)整，細胞候選狀態(tài)Ct-k和Ct-1內(nèi)，隱藏狀態(tài)ht-k和ht-1間，參照預測效果來擇取最優(yōu)依賴。同樣，選擇經(jīng)改進的LSTM模型充當Inception節(jié)點輸入模塊的短期電力負荷預測模型。此模型的核心為：策略梯度代理，時間步長t中，代理和環(huán)境st交互則勢必會從整體上決定LSTM的單元動作。基于目前所選的模型性能可以充當更新代理參數(shù)的獎勵，其中代理環(huán)境、動作與獎勵這幾個關(guān)鍵點的具體特點為：

第一，環(huán)境。主要包括來自于輸入xt和前狀態(tài)ht-1構(gòu)建起環(huán)境，一般用如下公式來表示：

第二，動作。參照環(huán)境St來確定對后方LSTM單元影響最佳的狀態(tài)，構(gòu)建一個保留最近K狀態(tài)，也就是形成一個狀態(tài)集合Sk，具體公式如下：

上式中，softmax（）用戶能轉(zhuǎn)換向量，使其變成：概率分布P，MLP（）則屬于多層感知器能轉(zhuǎn)換數(shù)據(jù)，使得St轉(zhuǎn)換為K維度的向量。

第二，獎勵。獎勵函數(shù)擇取多種最佳跳過動作，開展預測模型的學習、訓練，擇取最佳跳過的方式來實現(xiàn)對短期電力負荷預測模型性能的優(yōu)化與提升的目標，整個算法內(nèi)的獎勵函數(shù)采用以下公式設(shè)計：

被優(yōu)化升級的LSTM模型的短期電力負荷預測模型主要依托于被簡單設(shè)計的Inception網(wǎng)絡(luò)結(jié)構(gòu)，借助時間步長向量，打造出隱藏性的狀態(tài)矩陣，打造出一組優(yōu)化特征。所以，即便目前的狀態(tài)屬于不正確的隱藏狀態(tài)向量，經(jīng)1-D初始模塊，以及級聯(lián)濾波器來隱藏狀態(tài)向量后，也能獲得一個鎖定將來的短時內(nèi)的預測數(shù)據(jù)。

3 預測模型的實驗

3.1 實驗數(shù)據(jù)

此實驗選擇了江門地區(qū)10年時間內(nèi)，以h為時間計量的電網(wǎng)總負荷數(shù)據(jù)，試驗程序的底層選擇高級框架結(jié)構(gòu)，以鏈接庫為基礎(chǔ)，試驗數(shù)據(jù)結(jié)果主要選擇平均絕對百分比誤差來作為試驗效果的評價參照。

3.2 實驗的實施與結(jié)果剖析

此實驗根據(jù)特定比例，以隨機的方式來劃分數(shù)據(jù)，具體為：模型訓練集、模型測試集，前者的數(shù)據(jù)多數(shù)用在短期負荷預測模型的學習、訓練，后者的數(shù)據(jù)則承擔著短期負荷預測模型的測試、驗證，經(jīng)反復實驗最后獲得了模型結(jié)構(gòu)參數(shù)，將此參數(shù)與此研究所對應的LSTM網(wǎng)絡(luò)模型相比，發(fā)現(xiàn)LSTM網(wǎng)絡(luò)模型更具優(yōu)勢，能高效地捕捉長效信息，而且能發(fā)揮超強的預測功能。

4 結(jié)語

借助深度學習神經(jīng)網(wǎng)絡(luò)系統(tǒng)，深層次地剖析、挖掘電力負荷的相關(guān)數(shù)據(jù)，從而搭建起一個短期的電力負荷預測模型，對未來某一時期的電力負荷加以預測，能夠妥善提高預測性能，也能提升負荷的預測精度，從而更好地輔助電力系統(tǒng)來高效地開展各項工作。

參考文獻：

[1] 熊和金，徐華中編著.灰色控制[M].國防工業(yè)出版社，2005

[2] 牛東曉等.電力負荷預測技術(shù)及其應用[M].中國電力出版社，2009

[3] 康重慶.電力系統(tǒng)負荷預測[M].中國電力出版社，2016

[4] 王婷.基于LSTM深度網(wǎng)絡(luò)的電力負荷預測[D].山西大學，2020

作者簡介：陳林（1982—），男，工程師，技師，長期從事電網(wǎng)調(diào)度運行及管理工作。