黃元行 劉曉波 范津瑋 熊焱 葉琦

摘 要：為提高非平穩(wěn)性電力負荷的預(yù)測精度以及充分挖掘歷史負荷數(shù)據(jù)的時序特征，本文提出了基于注意力（Attention）機制和經(jīng)驗?zāi)B(tài)分解（EMD）以及門控循環(huán)神經(jīng)網(wǎng)絡(luò)（GRU）組合的負荷預(yù)測方法。首先使用EMD對原始負荷數(shù)據(jù)進行EMD分解，繼而得到有限個具有本征模態(tài)函數(shù)（IMF）的分量;然后考慮到各分量間的相關(guān)性，使用多層GRU網(wǎng)絡(luò)對IMF分量進行多輸入多輸出預(yù)測，同時引入注意力機制，深入挖掘歷史負荷數(shù)據(jù)的時序相關(guān)性特征;最后對多層神經(jīng)網(wǎng)絡(luò)輸出的有限個分量預(yù)測結(jié)果進行重構(gòu)得到最終的負荷預(yù)測值。算例分析采用貴州電網(wǎng)某地實際負荷數(shù)據(jù)，經(jīng)過與不同模型進行預(yù)測誤差分析和對比，本文所提方法能夠有效提高預(yù)測精度。

關(guān)鍵詞： 電力負荷預(yù)測; 經(jīng)驗?zāi)B(tài)分解; 門控循環(huán)神經(jīng)網(wǎng)絡(luò); 注意力機制

文章編號： 2095-2163（2021）03-0033-06 中圖分類號： TP18 文獻標志碼： A

【Abstract】In order to improve the prediction accuracy of non-stationary electric load and fully exploit the time-series characteristics of historical load data， this paper proposes a method of load prediction based on a combination of Attention mechanism and empirical modal decomposition （EMD） and gated recurrent unit （GRU）. Firstly， EMD is used to decompose the original load data， and then some components with intrinsic modal functions （IMFs） are obtained; subsequently， considering the correlation among these components， a multi-layer GRU network is used to predict the IMF components with multiple inputs and multiple outputs， and the Attention mechanism is also introduced to deeply explore the time-series correlation characteristics of the historical load data; finally， the results of load prediction are obtained by reconstructing the finite components from the multilayer neural network. The actual load data of a place in Guizhou power grid are used to the simulative analysis， and the prediction errors of different models are compared， which shows the proposed method could effectively improve the prediction accuracy.

【Key words】 power load forecasting; empirical modal decomposition; gated recurrent unit; Attention mechanism

0 引 言

隨著智能電網(wǎng)的發(fā)展，配電側(cè)用電負荷呈現(xiàn)多元化，電網(wǎng)負荷波動性和尖峰性較為明顯，其對電網(wǎng)的調(diào)度和運行規(guī)劃提出了更高的要求。因此，準確而實時的負荷預(yù)測有助于電網(wǎng)的經(jīng)濟和可靠運行。同時隨著調(diào)度系統(tǒng)對負荷的采集頻率和數(shù)據(jù)準確性也不斷提升，為負荷特性分析和負荷預(yù)測提供了高質(zhì)量、海量化的數(shù)據(jù)基礎(chǔ)[1]。

過去由于預(yù)測算法的限制以及計算機并行處理的能力和電力負荷大數(shù)據(jù)的不足，負荷預(yù)測通常采用經(jīng)典的預(yù)測方法如回歸分析法[2]、時間序列法[3]和傳統(tǒng)的負荷求導(dǎo)法、指數(shù)平滑法[4]、卡爾曼濾波法[5]以及灰色預(yù)測法[6]等。近年來，隨著計算機和智能算法的發(fā)展，以小波分析法、支持向量機、專家系統(tǒng)以及人工神經(jīng)網(wǎng)絡(luò)為代表的智能預(yù)測方法使得負荷預(yù)測的精度越來越高。文獻[7]通過循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）將上一時刻的神經(jīng)元狀態(tài)值輸入當前神經(jīng)元，實現(xiàn)了時間序列數(shù)據(jù)的挖掘，但是循環(huán)神經(jīng)網(wǎng)絡(luò)無法對長時序數(shù)據(jù)進行特征提取。文獻[8]通過長短期記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory， LSTM）網(wǎng)絡(luò)有效解決了RNN梯度消失問題且可以有效地處理和挖掘長時間序列的有效信息，但是單一的LSTM網(wǎng)絡(luò)在數(shù)據(jù)特征提取上效果不明顯。文獻[9]先通過卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNN）提取特征向量，將特征向量以時序序列方式構(gòu)造并作為門控循環(huán)神經(jīng)網(wǎng)絡(luò)（Gated Recurrent Unit， GRU）輸入數(shù)據(jù)從而提高預(yù)測精度，但是CNN對單變量的負荷數(shù)據(jù)特征提取不明顯?？紤]到負荷數(shù)據(jù)的非平穩(wěn)性特點，文獻[10]通過經(jīng)驗?zāi)B(tài)分解（Empirical Mode Decomposition， EMD）對原始數(shù)據(jù)進行分解得到有限個本征模態(tài)（Intrinsic Mode Function， IMF）分量，然后再對每個分量進行LSTM模型預(yù)測，但是單獨的分量重構(gòu)未考慮到分量間的相關(guān)性。文獻[11]使用了注意力機制與LSTM結(jié)合，利用注意力機制對歷史數(shù)據(jù)進行側(cè)重點的學(xué)習(xí)，增強網(wǎng)絡(luò)的關(guān)注點。以上文獻算法較于單一，在處理非平穩(wěn)性負荷數(shù)據(jù)時有所不足。

為了減小直接對非平穩(wěn)性時序數(shù)據(jù)直接預(yù)測所帶來的誤差，本文首先使用EMD對數(shù)據(jù)進行分解，得到有限個平穩(wěn)性IMF分量;為了減少超參數(shù)設(shè)置，提高訓(xùn)練效率，同時考慮到由原始負荷數(shù)據(jù)進行EMD分解得到的每個IMF分量之間存在一定相關(guān)性，使用GRU網(wǎng)絡(luò)對所有IMF分量進行多輸入多輸出預(yù)測;為了提高GRU網(wǎng)絡(luò)對歷史數(shù)據(jù)特征的學(xué)習(xí)能力，在GRU網(wǎng)絡(luò)中引入注意力機制重點關(guān)注歷史數(shù)據(jù)的時序相關(guān)性特征;最后對輸出的IMF分量預(yù)測結(jié)果進行重構(gòu)，得到最終的負荷預(yù)測結(jié)果。本文選取了GRU模型、EMD-GRU模型以及本文提出的含注意力機制的EMD-GRU模型進行實驗誤差分析，經(jīng)過算例分析表明，本文所提含注意力機制的EMD-GRU模型能夠有效提高負荷預(yù)測精度。

1 原理分析

1.1 EMD基本原理

經(jīng)驗?zāi)B(tài)分解（EMD）是一種新的自適應(yīng)處理非平穩(wěn)信號分析方法，適用于處理非線性、非平穩(wěn)性的時間序列數(shù)據(jù)。短期的電力負荷數(shù)據(jù)常呈現(xiàn)非線性、非平穩(wěn)性等特點，受影響因素較多，波動性較大，將其看作是標準的非平穩(wěn)性時間序列數(shù)據(jù)，使用EMD對其進行分解可以得到不同時間尺度的平穩(wěn)性分量。對時間序列數(shù)據(jù)x（t）進行經(jīng)驗?zāi)B(tài)分解包含有以下幾個步驟：

（1）找出原始數(shù)據(jù)x（t）的所有極大值點，并使用三次樣條插值函數(shù)擬合出原始數(shù)據(jù)的上包絡(luò)線US（t），并使用同樣的方法找出原始數(shù)據(jù)的下包絡(luò)線VS（t），并運算求出均值包絡(luò)線m1。具體公式為：

（2） 使用原始信號減去均值包絡(luò)線得到中間信號c1（t）。具體公式為：

（3）判斷該中間信號是否滿足IMF的2個條件，即：

① 在整個數(shù)據(jù)段內(nèi)，極值點的個數(shù)和過零點的個數(shù)必須相等或相差最多不能超過一個。

② 在任意時刻，由局部極大值點形成的上包絡(luò)線和由局部極小值點形成的下包絡(luò)線的平均值為零。

如果滿足這兩個條件，該信號就是一個IMF分量;如果不滿足，則以該信號為基礎(chǔ)，重新做（1）～（3）的分析。

（4）當中間信號滿足2個條件時，令c1（t）=IMF1，用原始信號減IMF1，作為新的原始信號。具體公式為：

（5）重復(fù)通過（1）～（4）的分析，可以得到IMF2，以此類推，完成EMD分解。最終得到n個IMF分量和一個殘余分量rn。具體公式為：

1.2 GRU基本原理

為了解決傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練長序列數(shù)據(jù)時產(chǎn)生的梯度消失以及梯度爆炸問題，長短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）通過在循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)元中加入輸入門、輸出門和遺忘門來控制存儲單元中的信息，從而提高網(wǎng)絡(luò)的記憶能力[12]。但是在面對大量數(shù)據(jù)時，LSTM需要設(shè)置的參數(shù)較多，訓(xùn)練時間長，收斂速度慢。

門控循環(huán)神經(jīng)網(wǎng)絡(luò)（GRU）是LSTM的一個變體[13]。相較于具有3個門的LSTM，GRU只有2個門：更新門和重置門。使用更新門代替了LSTM中的輸入門和遺忘門。這樣的設(shè)計結(jié)構(gòu)使得GRU參數(shù)設(shè)置減少，收斂速度更快，有效提高了訓(xùn)練效率[14]。GRU網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。對圖1中的結(jié)構(gòu)闡析，擬做研究分述如下。

（1）更新門：決定了前一時刻有多少狀態(tài)歷史信息被保留到當前狀態(tài)中，同時決定了保留多少當前時刻的候選狀態(tài)信息。此時需用到的公式為：

（2）重置門：決定了當前時刻的狀態(tài)對上一時刻網(wǎng)絡(luò)狀態(tài)的依賴程度，此時需用到的公式為：

在此基礎(chǔ)上，研究推導(dǎo)可得候選隱藏狀態(tài)的數(shù)學(xué)公式為：

其中，tanh為激活函數(shù);Wc、bc為隱藏狀態(tài)單元的權(quán)重矩陣、偏置。

最終，可得當前時刻的網(wǎng)絡(luò)狀態(tài)輸出為：

1.3 Attention機制

Attention機制的本質(zhì)是模仿人類視覺注意力的資源分配機制，特定時刻人的大腦只會將注意力集中在某一重點關(guān)注的區(qū)域[15]，從而減少對其他區(qū)域的關(guān)注。這樣的關(guān)注方式可以減少資源損耗，從重點需要的區(qū)域獲取更有用的特征信息，提高任務(wù)效率。從網(wǎng)絡(luò)結(jié)構(gòu)上來說，注意力機制通過對數(shù)據(jù)輸入進行關(guān)注，學(xué)習(xí)出一個對數(shù)據(jù)特征的權(quán)重分布，再把學(xué)習(xí)到的權(quán)重施加到原來的數(shù)據(jù)特征上，為后續(xù)對數(shù)據(jù)的處理能夠提供一個突出的特征影響，使重點特征得到更大的關(guān)注。Attention機制的模型結(jié)構(gòu)如圖2所示。

2 含注意力機制的EMD-GRU預(yù)測模型

2.1 輸入數(shù)據(jù)處理

為了便于模型的訓(xùn)練，本文先對輸入數(shù)據(jù)進行處理，由于所使用的數(shù)據(jù)無缺失、異常等問題，現(xiàn)只需對輸入數(shù)據(jù)進行MinMaxScaler歸一化處理，公式為：

2.2 含注意力機制的GRU網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

本文設(shè)計使用了2層GRU網(wǎng)絡(luò)，并在GRU層后加入注意力層，而后通過一個全連接層輸出全部分量的預(yù)測結(jié)果。含注意力機制的多層GRU網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

基于keras的GRU模型參數(shù)設(shè)置為：2層GRU網(wǎng)絡(luò)，每層網(wǎng)絡(luò)神經(jīng)元數(shù)目為128個，激活函數(shù)使用修正線性單元（ReLU），并采用100次epochs迭代訓(xùn)練，損失函數(shù)采用均方誤差MSE，梯度優(yōu)化函數(shù)使用Adam可以更快收斂，并提高準確率。

2.3 含注意力機制的EMD-GRU模型預(yù)測流程

本文采用含注意力機制的EMD-GRU模型，EMD部分對數(shù)據(jù)進行分解，把非平穩(wěn)性數(shù)據(jù)分解成多個平穩(wěn)性分量;GRU對負荷數(shù)據(jù)進行多輸入多輸出短期預(yù)測，同時使用Attention機制進行歷史數(shù)據(jù)學(xué)習(xí)，選擇負荷數(shù)據(jù)的歷史時序狀態(tài)特征，增加網(wǎng)絡(luò)對歷史時序特征的關(guān)注。對此預(yù)測流程，可做分述如下。

（1）先對原始數(shù)據(jù)進行歸一化，使數(shù)據(jù)分布在[0，1]區(qū)間，以便后續(xù)模型的訓(xùn)練。

（2） 對歸一化的數(shù)據(jù)進行EMD分解，分解成有限個不同頻率的IMF分量和一個趨勢分量。

（3） 本文在大量的歷史負荷數(shù)據(jù)的基礎(chǔ)上，同時考慮到每個分量之間的相關(guān)性，對所有分量建立了2層GRU神經(jīng)網(wǎng)絡(luò)模型。為了深入挖掘歷史負荷曲線特征，在GRU模型中加入Attention機制進行歷史數(shù)據(jù)的時序狀態(tài)特征學(xué)習(xí)，獲取歷史時序狀態(tài)權(quán)重，為預(yù)測提供關(guān)鍵信息。

（4） 根據(jù)得到的每個IMF分量預(yù)測數(shù)據(jù)進行重構(gòu)獲得最終的負荷預(yù)測結(jié)果。

含注意力機制的EMD-GRU預(yù)測模型流程圖如圖4所示。

2.4 評價指標

本文選取均方根誤差（RMSE）、平均絕對百分誤差（MAPE）來評價模型的預(yù)測準確性。其公式分別為：

3 算例分析

選取貴州某地電網(wǎng)2019年10月27日至2020年10月25日電力負荷數(shù)據(jù)作為數(shù)據(jù)集，采樣時間間隔為10 min，總計364天，有52 560個數(shù)據(jù)。同時劃分2019年10月27日至2020年10月18日的12個月數(shù)據(jù)為訓(xùn)練集，用于模型的訓(xùn)練，調(diào)整模型的權(quán)重。以2020年10月19 ～ 25日一個星期數(shù)據(jù)作為測試集，用于評估模型的預(yù)測精度?；诖藙t在同一數(shù)據(jù)集下，分別采用GRU、EMD-GRU和含注意力機制的EMD-GRU三個模型進行負荷預(yù)測，并對3個模型進行評價。

3.1 數(shù)據(jù)展示

算例分析使用的2019年10月27日到2020年10月25日實際負荷數(shù)據(jù)如圖5所示。從圖5中可以看出，該地區(qū)2020年負荷基本穩(wěn)定在均值800 MW。在一年的負荷趨勢中，11月和12月具有最大值，尖峰性較為明顯;在2月中達到最小值，這是由于2月處于春節(jié)假期，并且2020年由于疫情影響，企業(yè)還未復(fù)工復(fù)產(chǎn)，因此總體負荷偏小;到3月以后疫情控制有利，企業(yè)逐漸開始有序復(fù)工復(fù)產(chǎn)，總體負荷逐漸增加;4～10月期間總體負荷較為穩(wěn)定。

3.2 EMD分解結(jié)果

負荷數(shù)據(jù)經(jīng)過EMD分解以后得到13個IMF分量和一個趨勢RES分量，各分量如圖6所示。從圖6中可以看出每個IMF分量頻率都是從高頻到低頻分布，同時高頻分量的周期性比較明顯，而低頻分量具有一定的趨勢性。在RES分量中，分量變化趨勢從高到低，這與原始負荷數(shù)據(jù)整體負荷從高到低變化趨勢相符。

3.3 含注意力機制的EMD-GRU模型預(yù)測結(jié)果

為了更好地體現(xiàn)出模型預(yù)測的效果，把作為比較的GRU和不含注意力機制的EMD-GRU模型預(yù)測結(jié)果也進行疊加得到不同模型的預(yù)測曲線圖，其中含有注意力機制的EMD-GRU模型縮寫為AT-EMD-GRU。3個模型6月1日一天的預(yù)測結(jié)果見圖7。由圖7中可以看出，含有注意力機制的EMD-GRU模型預(yù)測的結(jié)果與實際值更接近，更能擬合真實值，具有更好的預(yù)測精度。

不同模型預(yù)測七天的指標對比結(jié)果見表1。從指標對比可以看出，含有注意力機制的EMD-GRU模型（AT-EMD-GRU）預(yù)測誤差比其他模型更小。在7日均誤差中，含注意力機制的EMD-GRU模型在RMSE、MAPE誤差指標中相對于GRU模型分別降低了2.64 MW和0.22%;相對于EMD-GRU模型分別降低了1.37 MW和0.05%。同時從每日的誤差指標中也可以看出，使用EMD-GRU模型預(yù)測的誤差要比直接使用GRU預(yù)測的誤差有很大降低，加上注意力機制的EMD-GRU模型預(yù)測誤差又比EMD-GRU模型預(yù)測誤差有了小幅的降低，這表明注意力機制在重要時間特征上發(fā)揮了作用。

圖8為含注意力機制的EMD-GRU模型預(yù)測一個星期的誤差。從圖8中可以看出，一周內(nèi)最大RMSE為18.89 MW，最小RMSE為13.6 MW，最大MAPE為2.07%，最小MAPE為1.3%。最大誤差出現(xiàn)在星期天，最小誤差出現(xiàn)在星期六。另外，周一至周五預(yù)測誤差相差不大，而周末預(yù)測誤差相對較大。這與實際負荷變化中工作日負荷變化規(guī)律性較強而休息日負荷波動較大的情況相吻合。

4 結(jié)束語

為了有效處理非平穩(wěn)性負荷數(shù)據(jù)以及進一步提高負荷預(yù)測的精度，本文提出了含注意力機制的EMD-GRU負荷預(yù)測方法。模型首先對原始數(shù)據(jù)進行了EMD分解，然后再對平穩(wěn)性的IMF分量進行預(yù)測，降低了直接對非平穩(wěn)性負荷數(shù)據(jù)進行預(yù)測帶來的誤差;構(gòu)建多層GRU網(wǎng)絡(luò)并加入了Attention機制，深入挖掘當前數(shù)據(jù)與歷史數(shù)據(jù)在關(guān)鍵時間上的相關(guān)性特征，進一步提高預(yù)測精度;使用貴州某地實際負荷數(shù)據(jù)進行實例分析并與3個不同模型進行指標對比，驗證了本文所提方法的有效性。

參考文獻

[1]陸繼翔，張琪培，楊志宏，等. 基于CNN-LSTM混合神經(jīng)網(wǎng)絡(luò)模型的短期負荷預(yù)測方法[J]. 電力系統(tǒng)自動化，2019，43（8）：131-137.

[2] 李春濤，李嘯驄，袁輝，等. 基于改進灰色模型的短期負荷預(yù)測[J]. 電氣開關(guān)，2017，55（2）：11-13，96.

[3] 楊正瓴，張廣濤，林孔元. 時間序列法短期負荷預(yù)測準確度上限估計[J]. 電力系統(tǒng)及其自動化學(xué)報，2004（2）：36-39.

[4] CHARLTON N， SINGLETON C. A refined parametric model for short term load forecasting[J]. International Journal of Forecasting，2014，30（2）：364-368.

[5] QIU Xueheng，REN Ye，SUGANTHAN P N，et al. Empirical mode decomposition based ensemble deep learning for load demand time series forecasting[J]. Applied Soft Computing，2017，54：246-255.

[6] 趙峰，孫波，張承慧. 基于多變量相空間重構(gòu)和卡爾曼濾波的冷熱電聯(lián)供系統(tǒng)負荷預(yù)測方法[J]. 中國電機工程學(xué)報，2016，36（2）：399-406.

[7] ZHENG J，XU J A，ZHANG C A，et al. Electric load forecasting in smart grids using long-short-term-memory based recurrent neural network [C]// 2017 51st Annual Conference on Information Sciences and Systems （CISS）. Baltimore， MD，USA：IEEE，2017：1-6.

[8] 陳卓，孫龍祥. 基于深度學(xué)習(xí)LSTM網(wǎng)絡(luò)的短期電力負荷預(yù)測方法[J]. 電子技術(shù)，2018，47（1）：39-41.

[9] 張立峰，劉旭. 基于CNN-GRU神經(jīng)網(wǎng)絡(luò)的短期負荷預(yù)測[J]. 電力科學(xué)與工程，2020，36（11）：53-57.

[10]任成國，肖兒良，簡獻忠，等. EMD-LSTM算法在短期電力負荷預(yù)測中的應(yīng)用[J]. ?電力科學(xué)與工程，2019，35（8）：12-16.

[11]彭文，王金睿，尹山青. 電力市場中基于Attention-LSTM的短期負荷預(yù)測模型[J]. ?電網(wǎng)技術(shù)，2019，43（5）：1745-1751.

[12]李鵬，何帥，韓鵬飛，等. 基于長短期記憶的實時電價條件下智能電網(wǎng)短期負荷預(yù)測[J]. 電網(wǎng)技術(shù)，2018，42（12）：4045-4052.

[13]鄧帶雨，李堅，張真源，等. 基于EEMD-GRU-MLR的短期電力負荷預(yù)測[J]. 電網(wǎng)技術(shù)，2020，44（2）：593-602.

[14]朱偉，孫運全，錢堯，等. 基于CEEMD-GRU模型的短期電力負荷預(yù)測方法[J/OL]. 電測與儀表：1-8[2020-07-28]. http：//kns.cnki.net/kcms/detail/23.1202.TH.20200727.1613.026.html.

[15]趙兵，王增平，紀維佳，等. 基于注意力機制的CNN-GRU短期電力負荷預(yù)測方法[J]. 電網(wǎng)技術(shù)，2019，43（12）：4370-4376.