自注意力CNN-LSTM短期電力負荷預測

摘 要：本文研究電力負荷隨機性問題，提出構(gòu)建基于CNN-LSTM與自注意力機制的短期電力負荷預測模型。在CNN-LSTM混合模型中引入自注意力機制，根據(jù)電力負荷時間序列特性對原有均方誤差法進行優(yōu)化，采用加權(quán)均方誤差法設計損失函數(shù)。為了防止模型過擬合，提高穩(wěn)定性，引入Adam優(yōu)化器與正則化系數(shù)，保證數(shù)據(jù)精準。為了驗證方案有效性，本文設計試驗，并對比4種模型。試驗結(jié)果表明本文設計模型預測值與真實值誤差最小。在CNN-LSTM模型中引入自注意力機制的方案能夠提高預測精度，為電網(wǎng)電力穩(wěn)定運行提供技術(shù)支持。

關(guān)鍵詞：CNN-LSTM；自注意力機制；短期電力負荷；預測模型

中圖分類號：TM 74 " " " " " 文獻標志碼：A

隨著智能電網(wǎng)和大數(shù)據(jù)技術(shù)的發(fā)展，短期電力負荷預測是保障電力系統(tǒng)穩(wěn)定運行的關(guān)鍵環(huán)節(jié)。應用模型多數(shù)為單一模型，電力負荷的時間序列數(shù)據(jù)比較復雜，但是傳統(tǒng)模型捕捉并提取時間序列中關(guān)鍵時間步的能力仍然存在不足。因此，本文提出結(jié)合自注意力機制的CNN-LSTM模型，引入自注意力機制動態(tài)調(diào)整時間步權(quán)重，提高模型對重要特征的捕捉能力，提升預測精度和穩(wěn)定性。

1 數(shù)據(jù)處理

本文以短期電力負荷預測為主要目標，對現(xiàn)有的CNN-LSTM算法進行優(yōu)化，引入自注意力機制[1]。為保證數(shù)據(jù)具有典型性，須優(yōu)先對數(shù)據(jù)進行處理，具體步驟包括數(shù)據(jù)收集與清洗、數(shù)據(jù)歸一化和數(shù)據(jù)集劃分。

1.1 數(shù)據(jù)收集與清洗

利用智能電表和氣象站等多源數(shù)據(jù)獲取電力負荷數(shù)據(jù)和相關(guān)氣象數(shù)據(jù)，保證數(shù)據(jù)的時間戳一致。在清洗數(shù)據(jù)的過程中，檢測并填補缺失值，采用K近鄰填補法（K-Nearest Neighbors，KNN），并利用三σ原則去除異常值。KNN計算過程如公式（1）所示。

（1）

式中：xi為缺失值；k為最近鄰的數(shù)量；xNj為第k個最近鄰的值。

在實際電力負荷數(shù)據(jù)中，設備故障、通信中斷等因素可能會導致部分數(shù)據(jù)缺失。計算缺失值與其最近鄰的已知值之間的平均值能夠有效恢復缺失的數(shù)據(jù)，保證數(shù)據(jù)的完整性和一致性。

1.2 數(shù)據(jù)歸一化

本文采用min-max歸一化方法對收集的數(shù)據(jù)進行歸一化處理，將數(shù)據(jù)縮放至[0，1]。歸一化處理過程如公式（2）所示。

（2）

式中：x'為歸一化后數(shù)據(jù)值；x為原始數(shù)據(jù)值；xmin、xmax分別為數(shù)據(jù)最小值和最大值。

在電力負荷預測中，不同特征（例如溫度、濕度和電力負荷等）可能有不同的量綱和范圍。采用min-max歸一化方法將數(shù)據(jù)縮放至[0， 1]，消除不同特征量綱之間的差異，能夠加快模型訓練的收斂速度，避免產(chǎn)生不均衡影響，提高模型的穩(wěn)定性。

1.3 數(shù)據(jù)集劃分

根據(jù)時間順序?qū)?shù)據(jù)分為訓練集、驗證集和測試集，訓練集占比70%，驗證集占比15%，測試集占比15%。為了保證模型的泛化能力，采用時間序列交叉驗證方法，利用滾動窗口技術(shù)生成多個訓練和驗證集，避免數(shù)據(jù)泄漏。滾動窗口技術(shù)計算過程如公式（3）所示。

Dt={xt-w，xt-w+1，...，xt-1}→yt " " " " " " " "（3）

式中：Dt為時間點的數(shù)據(jù)窗口；xt-w為距離當前時間點t往前w個時間步的數(shù)據(jù)點，即窗口的起始點；xt-w+1為距離當前時間點t往前（w-1）個時間步的數(shù)據(jù)點；xt-1為距離當前時間點t往前1個時間步的數(shù)據(jù)點；xt-w，xt-w+1，...，xt-1為從t-w時刻到t-1時刻的輸入數(shù)據(jù)序列；yt為預測目標。

2 模型構(gòu)建

2.1 CNN-LSTM模型設計

在短期電力負荷預測中，結(jié)合卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks， CNN）與長短期記憶網(wǎng)絡（Long Short-Term Memory，LSTM）的混合模型，利用特征提取和時間序列建模信息高效預測。技術(shù)路線：利用CNN從原始電力負荷數(shù)據(jù)中提取局部特征，再利用LSTM捕捉時間序列的長期依賴關(guān)系。

CNN層主要包括多個卷積層和池化層，能夠提取多尺度特征。每個卷積層采用批量歸一化方法，利用激活函數(shù)ReLU加快訓練速度，提高模型穩(wěn)定性。卷積核設置為3*3，通道數(shù)逐層增加（例如32、64和128），以提取更高層次的特征[2]。每個卷積層后接池化層，池化為2*2，以縮小特征圖尺寸，降低過擬合風險。針對特征提取環(huán)節(jié)，對輸入的每一個時間步xt進行卷積操作，得到特征映射ht，如公式（4）所示。

ht=ReLU（Conv（xt，W ）+b） " " " " " " " （4）

式中：Conv（·）為卷積操作；W、b分別為卷積核和偏置參數(shù)。

在電力負荷預測中，電力負荷數(shù)據(jù)通常具有周期性特征。卷積操作可以有效提取這些局部特征，提高模型對電力負荷變化規(guī)律的捕捉能力。利用展平操作將特征提取后的結(jié)果形成一維向量，輸入LSTM層[3]。

LSTM層采用雙層結(jié)構(gòu)來提高對長短期依賴的建模能力。每層包括64個隱層單元，以捕捉時間序列中的長短期依賴關(guān)系。LSTM層利用激活函數(shù)tanh和Sigmoid，實現(xiàn)非線性表達功能。為了防止過擬合，在LSTM層后應用Dropout技術(shù)，將丟棄率設為0.5。

2.2 自注意力機制引入

為提高CNN-LSTM模型對關(guān)鍵時間步的關(guān)注度，進一步提升預測精度，引入自注意力機制。自注意力機制能夠動態(tài)計算輸入序列中不同時間步的重要性權(quán)重，提高模型對重要特征的捕捉能力[4]。計算每個時間步的注意力得分，利用tanh和Softmax函數(shù)將輸入序列的每個時間步（LSTM層輸出的隱藏狀態(tài)）的得分轉(zhuǎn)換為概率分布，如公式（5）所示。

（5）

式中：αt為第t個時間步的注意力權(quán)重；exp（·）為指數(shù)函數(shù)；et為第t個時間步的注意力得分；T為序列的總長度；i為求和索引，取值為[1，T]；ei為第i個時間步的注意力得分。

在電力負荷預測中，不同時間步的數(shù)據(jù)對預測結(jié)果的影響可能不同。例如在高峰負荷時段，電網(wǎng)的運行壓力最大，預測結(jié)果不準確會導致電力供應不足或過度調(diào)度，影響電網(wǎng)穩(wěn)定性，造成一定經(jīng)濟損失。在低谷負荷時段，電力需求較低，但是同樣需要準確預測，以優(yōu)化發(fā)電資源配置，減少浪費，降低運行成本。引入自注意力機制，模型能夠更好地識別并關(guān)注在電力負荷時間序列中的關(guān)鍵時間步，提高了對復雜時間依賴關(guān)系的建模能力和預測精度。在模型訓練過程中，自注意力機制與CNN-LSTM結(jié)構(gòu)聯(lián)合進行優(yōu)化，保證模型在實際應用中的有效性和魯棒性。

2.3 模型訓練與優(yōu)化

2.3.1 損失函數(shù)設計

在短期電力負荷預測模型中，損失函數(shù)的設計對模型性能有重要影響。本文使用均方誤差（Mean Squared Error，MSE）作為主要損失函數(shù)，保證預測值與真實值之間的偏差最小。在這個步驟中，利用MSE對每個預測誤差進行平方處理，在訓練過程中優(yōu)先修正嚴重偏離預測的結(jié)果，提高模型整體的預測準確性[5]。根據(jù)電力負荷數(shù)據(jù)的時間序列特性和不同時間段的負荷重要性，引入加權(quán)均方誤差（Weighted Mean Squared Error， WMSE）。WMSE在傳統(tǒng)MSE的基礎上為不同時間段的數(shù)據(jù)賦予不同的權(quán)重，以提高模型在關(guān)鍵時段的預測精度。WMSE的計算過程如公式（6）所示。

（6）

式中：yi和分別為第i個觀測值的真實值和預測值。

在高峰負荷時段的數(shù)據(jù)對整體負荷預測的重要性較高，可以賦予較大的權(quán)重，以保證模型在這些關(guān)鍵時段的預測能力更強。

2.3.2 模型優(yōu)化方法

在短期電力負荷預測模型的訓練過程中，選擇適當?shù)膬?yōu)化方法十分重要。本文采用Adam（Adaptive Moment Estimation）優(yōu)化器和正則化方法來優(yōu)化模型。

Adam優(yōu)化器是一種基于一階梯度的隨機優(yōu)化方法，結(jié)合動量法和RMSProp的優(yōu)點，在大規(guī)模數(shù)據(jù)和高維度空間中性能表現(xiàn)良好。Adam優(yōu)化器計算梯度的一階和二階矩估計來動態(tài)調(diào)整每個參數(shù)的學習率，其具有自適應性，能夠根據(jù)數(shù)據(jù)的動態(tài)特性調(diào)整學習率，加快收斂速度并提高模型穩(wěn)定性[6]。

為了防止模型過擬合，本文采用L2正則化技術(shù)。L2正則化在損失函數(shù)中添加權(quán)重衰減項來抑制模型參數(shù)過度增長，如公式（7）所示。

（7）

式中：Loss為總損失函數(shù)值；MSE為均方誤差值；λ為正則化系數(shù)，控制正則化項的影響程度；m為參數(shù)總數(shù)；θj為模型參數(shù)。對參數(shù)施加懲罰項，正則化項，能夠防止模型在訓練數(shù)據(jù)中過度擬合，使模型在新數(shù)據(jù)中的表現(xiàn)更加穩(wěn)健。

3 應用測試

3.1 環(huán)境搭建

在測試過程中，采用Python編程語言，利用TensorFlow框架搭建模型。硬件平臺選擇基于NVIDIA Tesla V100 GPU的高性能計算服務器，操作系統(tǒng)為Ubuntu 18.04 LTS。Python版本為3.8，并安裝必要的科學計算庫，包括Numerical Python、Pandas和Matplotlib等。數(shù)據(jù)來自美國加利福尼亞州公開的歷史電力負荷數(shù)據(jù)，數(shù)據(jù)按日頻率記錄，時間跨度為1 a。構(gòu)建數(shù)據(jù)處理流水線，利用Pandas進行數(shù)據(jù)清洗與特征工程。將電力負荷數(shù)據(jù)按時間序列分割為訓練集、驗證集和測試集并進行歸一化處理，以加快模型訓練的收斂速度。在模型構(gòu)建方面，使用TensorFlow和Keras搭建CNN-LSTM模型架構(gòu)，并引入自注意力機制以提高對時序特征的捕捉能力。

為保證試驗的可重復性，所有隨機種子均設定為固定值。在模型訓練過程中，使用Adam優(yōu)化器，將初始學習率設為0.001，批量大小為64。為了防止過擬合，采用早停機制和L2正則化。記錄每個輪次（epoch）損失函數(shù)值和驗證集的性能指標，繪制損失函數(shù)曲線和預測結(jié)果圖進行可視化分析。為證明研究效果，配置不同模型框架，設置超參數(shù)，對比模型見表1。

3.2 測試結(jié)果

在測試階段選擇傳統(tǒng)LSTM模型、CNN-LSTM模型、GRU-CNN模型以及結(jié)合自注意力機制的CNN-LSTM模型進行對比試驗。不同模型預測值與真實值的對比如圖1所示，模型評估指標包括MSE、均方根誤差（Root Mean Squared Error，RMSE）和平均絕對誤差（Mean Absolute Error，MAE），模型評估結(jié)果見表2。

根據(jù)圖1、表2，能夠直觀地比較各模型的預測性能，驗證結(jié)合自注意力機制的CNN-LSTM模型在短期電力負荷預測中的優(yōu)越性。傳統(tǒng)LSTM模型的MSE為23.45，RMSE為4.84，MAE為3.76，CNN-LSTM模型的MSE、RMSE和MAE分別降至18.32、4.28和3.21。GRU-CNN模型在這3個指標方面進一步優(yōu)化，MSE為16.94，RMSE 為4.11，MAE 為3.05。結(jié)合自注意力機制的CNN-LSTM模型表現(xiàn)最佳，MSE為15.78，RMSE為3.97，MAE為2.89。由圖1可知，結(jié)合自注意力機制的CNN-LSTM模型在各個時間點的預測值與實際值之間的誤差最小，曲線擬合效果比其他模型更好。說明引入自注意力機制后，模型能夠更加精準地捕捉電力負荷時間序列中的關(guān)鍵特征，提高預測精度。

根據(jù)比較結(jié)果得到以下3個結(jié)論。1） 當處理復雜的電力負荷數(shù)據(jù)時，傳統(tǒng)的LSTM模型能夠捕捉時間序列中的長短期依賴關(guān)系，但是其對局部特征的提取能力較弱。2）CNN-LSTM模型結(jié)合卷積層和LSTM層提高了特征提取和時序建模的能力，但是仍然存在一定的局限性。在引入GRU層后，GRU-CNN模型進一步提升了對時序數(shù)據(jù)的建模能力，但是其性能提升幅度有限。3）結(jié)合自注意力機制的CNN-LSTM模型能夠動態(tài)計算輸入序列中不同時間步的重要性權(quán)重，增強了對關(guān)鍵時間步的關(guān)注度，預測性能最優(yōu)。

4 結(jié)語

隨著電力系統(tǒng)的不斷優(yōu)化，影響電力負荷的因素逐漸增多，為避免復雜因素影響負荷預測精度，須對預測模型進行持續(xù)優(yōu)化。在電力終端負荷預測中引入自注意力機制的CNN-LSTM模型具有一定優(yōu)勢，不僅能夠提高特征提取精度，降低誤差，還能夠應對復雜的時間序列，提升模型泛化能力，為智能電網(wǎng)的高效運行提供保障。

參考文獻

[1]戴雯菊，嚴煉.改進神經(jīng)網(wǎng)絡下的電力負荷短期預測方法[J].自動化應用，2024，65（14）：178-179，182.

[2]王振勛，王大虎.基于添加Dropout層的CNN-LSTM網(wǎng)絡短期負荷預測[J].科技與創(chuàng)新，2024（6）：28-30.

[3]張紅穎，賈一超，汪江志，等.考慮注意力機制的CNN-LSTM高滲透風電并網(wǎng)暫態(tài)電壓穩(wěn)定性研究[J].可再生能源，2024，42（3）：398-406.

[4]方正剛.基于通道融合的Res-CNN-LSTM電網(wǎng)虛假數(shù)據(jù)注入攻擊檢測[J].電氣技術(shù)，2024，25（3）：11-17，62.

[5]何勝林，龍琛，鄭靜，等.基于多尺度分段的長時間序列預測方法[J].深圳大學學報（理工版），2024，41（2）：232-240.

[6]史含笑，王雷春.結(jié)合LSTM和自注意力機制的圖卷積網(wǎng)絡短期電力負荷預測[J].計算機應用，2024，44（1）：311-317.