焦齡霄 周凱 張子熙 韓飛 時(shí)偉君 洪葉 羅朝豐

doi： 10.11835/j.issn.1000-582X.2023.218

收稿日期：2023-03-20

網(wǎng)絡(luò)出版日期：2023-12-07

基金項(xiàng)目：國網(wǎng)湖北電力公司科技項(xiàng)目（521520220006）。

Foundation：Supported by State Grid Hubei Electric Power Company Technology Project（521520220006）.

作者簡介：焦齡霄（1999—），女，主要從事電力負(fù)荷預(yù)測研究，（E-mail）13012183731@163.com。

摘要：電力負(fù)荷具有時(shí)空多變的特性，受眾多因素的影響，在短期負(fù)荷預(yù)測中較多的輸入特征會造成維度災(zāi)難，導(dǎo)致模型預(yù)測性能不佳，因此選擇合理的輸入特征集至關(guān)重要。文章提出一種新的短期負(fù)荷預(yù)測特征選擇方法——mRMR-IPSO雙階段法。利用最大相關(guān)最小冗余（max-relevance and min-redundancy，mRMR）判據(jù)對原始特征進(jìn)行排序，考慮輸入特征與輸出特征之間相關(guān)性和輸入特征間冗余性，篩選掉一些排序靠后的特征，初選出對預(yù)測效果影響顯著的特征子集；采用基于改進(jìn)的粒子群優(yōu)化算法（improved particle swarm optimization，IPSO）的搜索策略，以LightGBM模型的預(yù)測精度為適應(yīng)度函數(shù)，對初選特征子集進(jìn)行精選，得到最優(yōu)特征子集。算例結(jié)果表明，所提方法能在對原始特征集大幅降維的情況下提升預(yù)測精度。

關(guān)鍵詞：特征選擇；負(fù)荷預(yù)測；最大相關(guān)最小冗余；改進(jìn)的粒子群優(yōu)化算法；LightGBM

中圖分類號：TM715??????????? 文獻(xiàn)標(biāo)志碼：A????? ???? 文章編號：1000-582X（2024）05-098-12

Dual-stage feature selection for short-term load forecasting based on mRMR-IPSO

JIAO Lingxiao1， ZHOU Kai1， ZHANG Zixi1， HAN Fei1， SHI Weijun1， HONG Ye1， LUO Chaofeng2

（1. State Grid Hubei Extra High Voltage Company， Wuhan 430000， P. R. China; 2. State Grid Zhejiang Electric Power Co.， Ltd. Huzhou Power Supply Company， Huzhou 313000， Zhejiang， P. R. China）

Abstract： Power load exhibits characteristics of temporal and spatial variation and is affected by various factors. In short-term load forecasting， an excessive number of input features can cause dimensionality disasters and lead to poor model prediction performance. Therefore， selecting a reasonable input feature set is crucial. This article proposes a novel feature selection method for short-term load forecasting–the mRMR-IPSO two-stage method. The max-relevance and min-redundancy （mRMR） criterion is employed to rank the original features， considering both the correlation between input and output features and the redundancy among input features. This process filters out less impactful features ranked lower and initially selects these significantly influencing the prediction. Then， an improved particle swarm optimization （IPSO） algorithm-based search strategy is adopted. The prediction accuracy of the LightGBM model is used as the fitness function during the search， facilitating the selection of primary feature subsets and obtaining optimal feature subsets. Calculation examples show that the proposed method improves prediction accuracy while substantially reducing the original feature set.

Keywords： feature selection; load forecasting; max-relevance and min-redundancy; improved particle swarm optimization algorithm; LightGBM

電力負(fù)荷受氣象條件、經(jīng)濟(jì)因素和日類型等多種因素的影響，具有時(shí)空多變的特性，新能源的接入和電力市場的發(fā)展增加了負(fù)荷不確定性[1]。因此，需要設(shè)置多種類型的輸入特征集來充分挖掘多源數(shù)據(jù)信息以應(yīng)對電力負(fù)荷的波動(dòng)性和隨機(jī)性。但大量的輸入特征將加重模型的收斂負(fù)擔(dān)，導(dǎo)致模型預(yù)測性能的下降，進(jìn)行合理的特征選擇十分必要。

目前，短期負(fù)荷預(yù)測特征選擇方法主要可以分為過濾（filter）法、包裝（wrapper）法和嵌入（embedded）法。過濾法[2-8]以數(shù)據(jù)本身的統(tǒng)計(jì)特性來衡量特征重要性并確定選擇的特征，時(shí)間復(fù)雜度低。丁堅(jiān)勇等[2]基于Fisher信息進(jìn)行特征選擇；張振中等[3]根據(jù)最大互信息系數(shù)選出特征子集；徐先峰等[4]提出一種基于MIC（maximal information coefficient）的特征篩選策略；谷云東等[5]根據(jù)互信息和特征歸因值選出最終特征子集；劉倩倩等[6]基于Person相關(guān)系數(shù)實(shí)現(xiàn)特征優(yōu)選，但是PCC（pearson correlation coefficient）多用于線性關(guān)系的度量，難以度量負(fù)荷這類非線性變量；楊秀等[7]基于Copula函數(shù)對相關(guān)性進(jìn)行定量計(jì)算；Abedinia等[8]提出考慮變量間相關(guān)、冗余和協(xié)同關(guān)系的特征選擇方法。過濾法雖然時(shí)間復(fù)雜度低，但需要預(yù)先設(shè)定選擇特征的閾值，因此其特征選擇的主觀性可能會對模型性能產(chǎn)生影響。包裝法[9-10]從原始特征集中選擇出使最終任務(wù)模型性能最佳的特征子集，如嚴(yán)雪穎等[9]提出基于遺傳算法的搜索策略。包裝法直接以模型性能為評價(jià)指標(biāo)，所選特征集預(yù)測性能良好，但由于原始特征集的數(shù)量通常較多，其時(shí)間復(fù)雜度要遠(yuǎn)高于過濾法。嵌入法[11-12]包括基于樹模型的特征選擇和基于模型中懲罰項(xiàng)的特征選擇，如孫超等[11]調(diào)用XGBoost模型訓(xùn)練中的權(quán)重和增益信息用于特征選擇，朱凌建等[12]利用L1正則化將不重要的特征篩除。過濾法、包裝法和嵌入法都各有優(yōu)缺點(diǎn)，為充分利用其優(yōu)勢，一些學(xué)者提出了混合特征選擇方法。Hu等[13]結(jié)合點(diǎn)互信息與螢火蟲算法確定最優(yōu)特征子集，鄭睿程等[14]提出了一種將正交化最大信息系數(shù)、特征協(xié)同與隨機(jī)森林遞歸消除相結(jié)合的混合特征選擇方法。

為解決短期負(fù)荷預(yù)測原始特征集繁多冗余的問題，實(shí)現(xiàn)短期負(fù)荷預(yù)測特征降維與預(yù)測精度的提升。筆者根據(jù)負(fù)荷特性建立考慮多種因素的原始特征集，提出了一種基于最大相關(guān)最小冗余（max-relevance and min-redundancy，mRMR）與改進(jìn)粒子群算法（improved particle swarm optimization，IPSO）結(jié)合的雙階段特征選擇方法。在第一階段，考慮相關(guān)性和冗余性采用mRMR對特征進(jìn)行篩選，降低后續(xù)搜索時(shí)間復(fù)雜度；在第二階段，以IPSO為最優(yōu)特征子集搜索策略，精選最優(yōu)特征子集，實(shí)現(xiàn)預(yù)測精度提升。以實(shí)際負(fù)荷數(shù)據(jù)集作為算例，驗(yàn)證了所提方法的可行性和優(yōu)越性。

1 基于mRMR的特征選擇

1.1 mRMR

互信息（mutal information， MI）作為一種有效的信息度量方法，不僅能夠衡量變量間的線性關(guān)系，而且能很好地評估非線性關(guān)系[15]。

將2個(gè)隨機(jī)變量x和y之間的互信息定義為

，??? （1）

式中：p（x）和p（y）分別為隨機(jī)變量x和y的概率密度；p（x，y）為隨機(jī)變量x和y的聯(lián)合概率密度。

最大相關(guān)性和最小冗余性的定義分別為

；??? （2）

。??? （3）

式中：S為特征集；|S|為特征集中的特征數(shù)目；y為目標(biāo)變量；I（xi;y）為特征i和目標(biāo)變量y之間的互信息；D為特征集中特征與目標(biāo)變量y之間互信息的均值；I（xi;xj）為特征i和特征j之間的互信息；R為特征集中各特征之間的互信息。

對式（2）和式（3）組合，得到最大相關(guān)最小冗余準(zhǔn)則[16]：

。??? （4）

1.2 基于mRMR的特征選擇流程

文章在特征初選階段以mRMR為特征選擇的評價(jià)準(zhǔn)則，采用增量搜索選擇特征。設(shè)原始特征集為So，其中共包含N個(gè)特征，第n次特征選擇后的已選特征集為Sn，則mRMR特征選擇具體有以下3個(gè)步驟。

1）第1次特征選擇，計(jì)算xi∈So時(shí)與目標(biāo)變量y的相關(guān)性，選擇相關(guān)性最大的特征s1，將s1加入已選特征集S1。

。??? （5）

2）第n次特征選擇，對xi∈So-Sn-1計(jì)算其最大相關(guān)最小冗余Φ值，選擇Φ值最大的特征sn，將sn加入已選特征集Sn-1，構(gòu)成新已選特征集Sn。

，??? （6）

。??? （7）

3）重復(fù)步驟2），直到已選特征集Sn中特征數(shù)目達(dá)到設(shè)定的初選特征總數(shù)，得到初選特征子集Sf=Sn。

基于mRMR的特征選擇流程如圖1所示。

基于mRMR的短期負(fù)荷預(yù)測特征選擇既考慮了特征變量與目標(biāo)變量之間的相關(guān)性，又避免了特征變量間的冗余信息，能夠快速篩選出與負(fù)荷相關(guān)聯(lián)的特征，達(dá)到特征降維的目的。但是這種過濾法獨(dú)立于后續(xù)的負(fù)荷預(yù)測模型，所選特征子集可能對負(fù)荷預(yù)測模型性能產(chǎn)生影響，因此需要結(jié)合模型性能來進(jìn)一步對特征進(jìn)行精選。

2 基于改進(jìn)粒子群優(yōu)化算法的特征選擇

2.1 粒子群優(yōu)化算法

粒子群優(yōu)化（PSO）算法中，每個(gè)個(gè)體都被稱作粒子，粒子的位置則代表一個(gè)可行解，解的適應(yīng)度值由適應(yīng)性函數(shù)確定，粒子通過不斷迭代更新搜索的方向和距離，搜索得到最優(yōu)解[17]為

。??? （8）

粒子位置的更新方法[18]為

，??? （9）

式中：xin+1為第n+1次迭代時(shí)粒子i的位置；vin+1為第n+1次迭代時(shí)粒子i的速度；ω為慣性權(quán)重因子；c1和c2分別為個(gè)體和種群學(xué)習(xí)因子；r1和r2分別為[0，1]的隨機(jī)數(shù)；和分別為第t次迭代時(shí)的個(gè)體最優(yōu)解和種群全局最優(yōu)解。

2.2 改進(jìn)粒子群算法

標(biāo)準(zhǔn)PSO算法粒子群進(jìn)化后期存在早熟、易陷入局部最優(yōu)的問題。為了增強(qiáng)PSO算法的全局搜索能力，提高特征選擇的性能，引入萊維飛行（Lévy flight）、非線性變化慣性權(quán)重與時(shí)變學(xué)習(xí)因子來改進(jìn)PSO算法。

2.2.1 萊維飛行策略

萊維飛行是一種隨機(jī)搜索方法，它服從萊維分布和重尾分布，能實(shí)現(xiàn)短距搜索和偶爾長距的搜索相間的行走方式，具有良好的全局搜索能力[18]。

筆者結(jié)合萊維飛行提出一種Gbest調(diào)整策略，使粒子能夠通過隨機(jī)游走進(jìn)行新的搜索，提高粒子群開發(fā)能力。Gbest調(diào)整策略為

，??? （10）

，??? （11）

式中：⊕為點(diǎn)對點(diǎn)乘法；α為步長控制量；LLevy（λ）為隨機(jī)搜索路徑。

2.2.2 非線性變化慣性權(quán)重

ω會影響粒子尋優(yōu)能力，采用非線性遞減的方式改進(jìn)慣性權(quán)重。非線性變化慣性權(quán)重更新公式為

，??? （12）

式中：ωmax和ωmin分別為ω的最大值和最小值；Tmax為最大迭代次數(shù)。

2.2.3 時(shí)變學(xué)習(xí)因子

學(xué)習(xí)因子c1和c2對粒子尋優(yōu)能力也有重要影響，采用時(shí)變學(xué)習(xí)因子代替原有學(xué)習(xí)因子常量。時(shí)變學(xué)習(xí)因子為

，??? （13）

，??? （14）

式中：c1max和c1min分別為c1的最大值和最小值；c2max和c2min分別為c2的最大值和最小值。

IPSO算法的偽代碼如表1所示。

初始化粒子的速度vi和位置xi

計(jì)算粒子適應(yīng)度pi

個(gè)體最優(yōu)解pbest，i=pi

end for

gbest = min{pbest，i}

while t < max_iter

for i = 1 to N

根據(jù)式（12）～式（14）更新ω和c1、c2 10

11

12

13

14

15

16

17

18??? 根據(jù)式（8）～式（11）更新粒子的速度vi和位置xi

計(jì)算粒子適應(yīng)度fit（xi）

if fit（xi） < fit（pbest，i）

pbest，i = xi

if fit（pbest，i） < fit（gbest）

gbest = pbest，i

end for

end while

輸出 gbest

2.3 基于IPSO的特征選擇流程

輕梯度提升機(jī)（light gradient boosting machine，LightGBM）不僅具有訓(xùn)練效果好、不易過擬合等優(yōu)點(diǎn)，且較其他模型具有更快的訓(xùn)練速度和更低的內(nèi)存開銷[19]，因此在IPSO特征選擇階段選用LightGBM模型為預(yù)測模型。在特征精選階段以IPSO算法為最優(yōu)特征搜索策略，以LightGBM短期負(fù)荷預(yù)測模型5折交叉驗(yàn)證的預(yù)測精度為指標(biāo)進(jìn)行特征精選?；贗PSO的特征選擇具體有以下4個(gè)步驟。

1）對初選特征子集Sf進(jìn)行二進(jìn)制編碼，1表示該特征被選中，0則表示該特征未被選擇，隨機(jī)產(chǎn)生初始化種群。

2）計(jì)算種群中每個(gè)個(gè)體的適應(yīng)度值，特征選擇的目標(biāo)是以最少的特征數(shù)量獲得最好的預(yù)測性能，因此文中結(jié)合LightGBM模型的預(yù)測精度和所選特征數(shù)目，構(gòu)造適應(yīng)度函數(shù)為

，??? （15）

，??? （16）

式中：f（x）為對粒子x的適應(yīng)度函數(shù)；λ為權(quán)重因子；EMAPE為預(yù)測模型精度評價(jià)指標(biāo)平均絕對百分百誤差；Ns為選擇特征數(shù)量；T為參與評價(jià)的樣本總數(shù)；yt和分別表示t時(shí)刻負(fù)荷的真實(shí)值和預(yù)測值。

3）更新粒子慣性權(quán)重ω和學(xué)習(xí)因子c1、c2，更新Gbest和Pbest，計(jì)算更新粒子飛行速度和位置。

4）重復(fù)步驟2）和3），直到達(dá)到最大迭代次數(shù)，得到最終精選特征子集。

基于IPSO的特征選擇流程如圖2所示。

3 mRMR-IPSO雙階段特征選擇

由于負(fù)荷受多方面因素影響，構(gòu)建的負(fù)荷數(shù)據(jù)集十分龐大，涉及特征數(shù)量眾多，且短期負(fù)荷預(yù)測對預(yù)測模型精度要求較高，因此需要找到一種既能快速選擇特征，又能滿足精度要求的特征選擇方法?；趍RMR的特征選擇方法雖然能夠?qū)崿F(xiàn)關(guān)聯(lián)特征的快速篩選，但所選特征子集的精度難以保證；基于IPSO的特征選擇方法能夠有效篩選出預(yù)測精度較高的特征子集，但對于短期負(fù)荷預(yù)測這種高維度的原始特征集，直接應(yīng)用該方法耗時(shí)巨大，難以滿足實(shí)際工程的需求。

結(jié)合過濾法和包裝法的優(yōu)勢，提出mRMR-IPSO雙階段特征選擇方法，流程如圖3所示。

mRMR-IPSO雙階段特征選擇方法具體步驟如下：

1）根據(jù)短期負(fù)荷預(yù)測數(shù)據(jù)集特點(diǎn)，選取合適的原始特征集So。

2）進(jìn)行數(shù)據(jù)預(yù)處理，采用min-max標(biāo)準(zhǔn)化對數(shù)據(jù)進(jìn)行預(yù)處理以消除量綱不同的影響。

3）采用基于mRMR的短期負(fù)荷預(yù)測特征選擇，快速篩選與負(fù)荷相關(guān)聯(lián)的特征，得到初選特征子集Sf。

4）采用基于IPSO的短期負(fù)荷預(yù)測特征選擇，對初選特征子集進(jìn)行精選，得到精選特征子集Se。

4 短期負(fù)荷預(yù)測原始特征集的構(gòu)建

以澳大利亞某地區(qū)多維負(fù)荷數(shù)據(jù)為樣本，數(shù)據(jù)集包含了該地區(qū)2006—2010年5年內(nèi)的負(fù)荷及溫度信息，每30 min采樣一次。綜合文獻(xiàn)[4， 9， 13]，從日歷規(guī)則特征、天氣影響特征和歷史負(fù)荷特征3個(gè)方面構(gòu)建日前短期負(fù)荷預(yù)測原始特征集。

4.1 日歷規(guī)則特征

該地區(qū)2006—2010年的負(fù)荷曲線如圖4（a）所示，2006年4月連續(xù)4周的負(fù)荷曲線如圖4（b）所示?？梢钥闯?，負(fù)荷在各年和各周基本都呈現(xiàn)出相似的周期變化規(guī)律。

該地區(qū)2006年4月一周內(nèi)7天的負(fù)荷曲線如圖4（c）所示。從圖中可以看出，日負(fù)荷的變化趨勢大致相同，但周一到周五的負(fù)荷明顯高于周六和周日的負(fù)荷，這是由于人們的工作和休息習(xí)慣導(dǎo)致的。

結(jié)合上述分析，選取了待預(yù)測的時(shí)刻、對應(yīng)的月份、當(dāng)月第幾日、當(dāng)周第幾日以及是否為工作日這5個(gè)特征作為日歷規(guī)則特征。

4.2 天氣影響特征

該地區(qū)2010年負(fù)荷與溫度的關(guān)系如圖5所示。從圖中可以看出，當(dāng)溫度從0 ℃上升到15 ℃時(shí)，負(fù)荷逐漸減?。划?dāng)溫度從15 ℃上升到40 ℃時(shí)，負(fù)荷逐漸上升。值得注意的是，溫度還具有累積效應(yīng)，連續(xù)多日的高溫或低溫與某一日單獨(dú)的高溫或低溫對負(fù)荷的影響有很大差異，因此在構(gòu)建溫度特征時(shí)，需對其加以考慮。

結(jié)合上述分析，研究選取了時(shí)間段[t-24， t]的日內(nèi)平均溫度Tavg（t）、日內(nèi)最高溫度Tmax（t）、日內(nèi)最低溫度Tmin（t）和滯后溫度Th為天氣影響特征。滯后溫度Th=T（t-h）代表h小時(shí)前的溫度。

同時(shí)為反應(yīng)溫度變量的變化趨勢，引入溫度的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)作為特征。其計(jì)算公式為

，??? （17）

。??? （18）

4.3 歷史負(fù)荷特征

歷史負(fù)荷變量與溫度變量均為連續(xù)性變量，選擇的歷史負(fù)荷特征與溫度特征類似，不再多加贅述。

最終構(gòu)造的短期負(fù)荷預(yù)測原始特征集如表2所示，共包含了87個(gè)特征。

表2 短期負(fù)荷預(yù)測原始特征集

Table 2 Original feature set for short-term load forecasting

特征類型?????? 特征名??? 數(shù)量

日歷規(guī)則特征?????? Chour、Cmonth、Cday、Cweek、Cwow?? 5

天氣影響特征?????? Th，h∈{0，0.5，…，23.5}；T24d，d∈{1，2，…，7}；Tavg（t）；Tmax（t）；Tmin（t）；；????? 60

歷史負(fù)荷特征?????? L24d， d∈{1，2，…，7}；Lavg（t-24d）， d∈{1，2，…，7}；Lmax（t-24d） ，d∈{1，2，…，7}；Lmin（t-24d）， d∈{1，2，…，7}；L-24d， d∈{2，3，…，7}；， d∈{2，3，…，7}????? 22

日歷規(guī)則特征中，Chour用0～23.5表示時(shí)刻，Cmonth用1～12表示月份，Cday用1～31表示當(dāng)月第幾日，Cweek用1～7表示當(dāng)周第幾天，Cwow用0或1表示工作日或非工作日；天氣影響特征中，Th表示預(yù)測時(shí)刻前h小時(shí)溫度，T24d表示預(yù)測日前d天該時(shí)刻溫度，Tavg（t）、Tmax（t）和Tmin（t）分別表示時(shí)間段[t-24，t]的日內(nèi)平均溫度、日內(nèi)最高溫度和日內(nèi)最低溫度，和分別表示預(yù)測時(shí)刻溫度的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)；歷史負(fù)荷特征中，L24d表示預(yù)測日前d天該時(shí)刻負(fù)荷，Lavg（t-24d）、Lmax（t-24d）和Lmin（t-24d）分別表示時(shí)間段[t-24d-24， t-24d]的日內(nèi)平均負(fù)荷、日內(nèi)最高負(fù)荷和日內(nèi)最低負(fù)荷，L-24d和分別表示預(yù)測日前d天該時(shí)刻負(fù)荷的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)。

5 算例分析

5.1 實(shí)驗(yàn)數(shù)據(jù)和平臺

以澳大利亞某地區(qū)2006—2010年5年的負(fù)荷數(shù)據(jù)和氣象數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)集，以前4年的數(shù)據(jù)為訓(xùn)練集，以最后1年的數(shù)據(jù)為測試集，進(jìn)行特征選擇和日前短期負(fù)荷預(yù)測。

5.2 實(shí)驗(yàn)評價(jià)指標(biāo)

為驗(yàn)證所提特征選擇方法的有效性，采用5折交叉驗(yàn)證的方式，驗(yàn)證測試集的預(yù)測精度，采用平均絕對百分誤差EMAPE和均方根誤差ERMSE作為預(yù)測模型的評價(jià)指標(biāo)，EMAPE如式（16）所示，ERMSE如式（19）所示。

。??? （19）

5.3 參數(shù)設(shè)置

在mRMR特征選擇階段設(shè)定初選特征子集中特征數(shù)目Nt為40；在IPSO特征選擇階段，參考文獻(xiàn)[20]設(shè)置IPSO算法參數(shù)如下：粒子種群規(guī)模為10，最大迭代次數(shù)Tmax為50次，慣性權(quán)重最大值ωmax為0.9，最小值ωmin為0.4，學(xué)習(xí)因子c1的最大值c1max和最小值c1min分別為2.5和0.5，c2的最大值c2max和最小值c2min分別為2.5和0.5，適應(yīng)度函數(shù)中的權(quán)重因子λ為0.75；采用網(wǎng)格搜索法設(shè)置LightGBM超參數(shù)如下：樹深度為7，學(xué)習(xí)率為0.1，葉子數(shù)為30，特征抽樣比為0.8，正則化參數(shù)分別為0.09和0。

5.4 IPSO算法性能分析

為驗(yàn)證所提IPSO算法在短期負(fù)荷預(yù)測特征選擇上的尋優(yōu)性能，采用標(biāo)準(zhǔn)PSO算法和遺傳算法（genetic algorithm，GA）進(jìn)行對比。3種算法的迭代曲線如圖6所示。

分析圖6可得，改進(jìn)的PSO算法較標(biāo)準(zhǔn)PSO算法和GA算法表現(xiàn)最優(yōu)。與GA算法相比，IPSO算法收斂速度稍慢，但其尋優(yōu)結(jié)果明顯優(yōu)于GA算法；與標(biāo)準(zhǔn)PSO算法相比，標(biāo)準(zhǔn)PSO算法出現(xiàn)了早熟收斂的情況，而IPSO算法通過引入萊維飛行、非線性變化慣性權(quán)重與時(shí)變學(xué)習(xí)因子增強(qiáng)了算法的全局尋優(yōu)能力，使粒子群能夠跳出局部搜索，有更好的全局收斂性。

每次迭代后，粒子群中最優(yōu)個(gè)體的預(yù)測誤差EMAPE和所選特征數(shù)量NS的變化情況如圖7所示。

從圖7中可以看出，在迭代過程中預(yù)測誤差和特征數(shù)量都在不斷更新變化，在迭代開始時(shí)，所選特征數(shù)量較多且模型預(yù)測精度不佳，而隨著粒子種群的迭代，所選特征的數(shù)量和預(yù)測誤差都在不斷縮小，最終得到了特征數(shù)量最少且預(yù)測誤差最低的最優(yōu)特征子集。

5.5 不同特征選擇方法對比

5.5.1 與過濾式特征選擇方法對比

為驗(yàn)證所提特征選擇方法的優(yōu)越性，采用PCC、MI、ReliefF和mRMR這4種過濾式特征選擇方法進(jìn)行對比測試，并采用LightGBM預(yù)測模型進(jìn)行日前短期負(fù)荷預(yù)測。采用過濾式特征選擇方法時(shí)，根據(jù)所選方法對原始特征集中特征進(jìn)行降序排序，得到初選特征子集，然后從初選特征子集中按順序選出前n（個(gè)特征構(gòu)成相繼的特征子集，基于LightGBM算法根據(jù)交叉驗(yàn)證精度得到對應(yīng)的最優(yōu)特征子集。不同特征選擇方法的特征選擇結(jié)果和預(yù)測效果如表3所示。

表3 過濾法的特征選擇結(jié)果及預(yù)測效果

Table 3 Feature selection results and forecast results of filter

特征選擇方法?????? 特征數(shù)量?????? 特征子集?????? EMAPE/%???? ERMSE/MW

PCC 40??? Chour；Cwow；Th， h∈{8，8.5，…，17.5}；L24d， d∈{1，2，…，7}；Lavg（t-24d）， d∈{2，7}；Lmax（t-24d），d∈{1，2，7}；Lmin（t-24d）， d∈{1，2，7}；， d∈{2，3，7}????? 2.84 373.388

MI?? 39??? Chour；Th， h∈{0，0.5，1，1.5，11，…，16}；Tavg（t）；L24d， d∈{1，2，…，7}；Lavg（t-24d）， d∈{7}；Lmax（t-24d）， d∈{7}；Lmin（t-24d）， d∈{7}???? 2.77 361.758

ReliefF??? 24??? Chour；Cweek；Cwow；Th， h∈{0，0.5，1，1.5，9，9.5，10，10.5}；L24d， d∈{1，2，…，7}；， d∈{2，3，7}；， d∈{7}?????? 2.20 297.782

mRMR??? 29??? Chour；Cmonth；Cday；Cweek；Cwow；Th， h∈{0，10.5，22.5}；T24d， d∈{2}；；；L24d， d∈{1，2，…，7}；Lavg（t-24d）， d∈{2，7}；Lmax（t-24d）， d∈{2，3，7}；Lmin（t-24d）， d∈{7}；， d∈{3，7}；， d∈{2，3，7}?????? 2.15 285.101

mRMR-IPSO? 17??? Chour；Cmonth；Cday；Cweek；Cwow；Th， h∈{0，22.5}；T24d， d∈{3，6}；；；L24d， d∈{1，3，4}；Lmax（t-24d）， d∈{7}；，d∈{2}?? 1.99 265.956

從表3中可知：

1）所用對比方法中，只有mRMR與mRMR-IPSO完整地選擇出了所有的日歷規(guī)則特征，其他方法均漏選了某些日歷規(guī)則特征。而預(yù)測結(jié)果也表明日歷規(guī)則特征的重要性。

2）天氣影響特征在各方法所選特征子集中均占有較大比重，PCC、MI和ReliefF所選天氣影響特征存在嚴(yán)重的冗余現(xiàn)象，mRMR減少了冗余特征，mRMR-IPSO僅選擇出了少量的天氣影響特征，但仍然達(dá)到了最優(yōu)的預(yù)測精度。

3）所有過濾法均選擇了前一周相應(yīng)時(shí)刻的歷史負(fù)荷變量。PCC選擇的歷史負(fù)荷特征冗余現(xiàn)象嚴(yán)重，這是因?yàn)镻CC不適用于非線性關(guān)系的衡量。mRMR-IPSO所選歷史負(fù)荷特征最少。

4）在過濾法中mRMR性能最優(yōu)，這是因?yàn)閙RMR既考慮了變量間相關(guān)性，又最大限度地減少了冗余變量，而mRMR-IPSO在mRMR的基礎(chǔ)上對變量進(jìn)行了精選，所選特征維數(shù)較mRMR減少了41.4%，特征子集數(shù)量最少，且預(yù)測精度最高。

所提mRMR-IPSO短期負(fù)荷預(yù)測特征選擇方法所選的特征子集維數(shù)在所有方法中是最少的，只有17維，比原始特征集減少了80.4%，預(yù)測誤差EMAPE為1.99%，ERMSE為265.956 MW，較PCC特征選擇預(yù)測誤差減少了29.9%，預(yù)測性能最優(yōu)。mRMR-IPSO在測試集中一周內(nèi)的預(yù)測結(jié)果及誤差如圖8所示，除在負(fù)荷高峰時(shí)段預(yù)測誤差稍大外，其他時(shí)段預(yù)測誤差基本都在1.5%以內(nèi)，預(yù)測性能優(yōu)良。

為進(jìn)一步比較各特征選擇方法在不同預(yù)測場景下的預(yù)測性能，基于不同特征選擇方法在2010年各月份的預(yù)測結(jié)果如圖9所示。

從圖9可以看出，夏季（12月、1月、2月）的預(yù)測誤差最大，冬季（6月、7月、8月）次之，春秋兩季預(yù)測誤差最小。這是由于夏季和冬季負(fù)荷受溫度影響波動(dòng)較大導(dǎo)致的。而mRMR-IPSO不論在哪一月份均都有最佳的表現(xiàn)，在5月預(yù)測誤差最低僅為1.20%，且在最難預(yù)測的1月，預(yù)測誤差也只有3.05%，預(yù)測精度較PCC提升了41.8%，這體現(xiàn)了mRMR-IPSO在負(fù)荷波動(dòng)較大情況下的預(yù)測優(yōu)勢，體現(xiàn)了該方法的穩(wěn)定性。

5.5.2 與混合式特征選擇方法對比

為驗(yàn)證所提2階段特征選擇的階段結(jié)合有效性，采用包裝法中的基于LightGBM模型的遞歸特征消除法（recursive feature elimination， RFE）、前向序列選擇法（sequential forward selection， SFS）和IPSO特征選擇法結(jié)合上文所采用的過濾式特征選擇方法組成2階段混合特征選擇方法，進(jìn)行對比測試，其中RFE方法可以自動(dòng)得出最優(yōu)特征子集數(shù)目，SFS需要預(yù)先指定選擇特征數(shù)目，設(shè)定為17，與mRMR-IPSO選擇特征數(shù)目一致。基于上述特征選擇方法，采用LightGBM模型預(yù)測得到預(yù)測結(jié)果如表4所示。

從表4中可知，包裝法與過濾法結(jié)合的特征選擇方法能有效提升預(yù)測性能，其中IPSO在包裝法中表現(xiàn)最佳，與各過濾法結(jié)合時(shí)都較單一過濾法有更好的表現(xiàn)。在混合法中，過濾法的選擇也對預(yù)測性能有重大影響，PCC和MI在單一過濾法中表現(xiàn)不佳，因此與包裝法結(jié)合后雖然性能有一定提升，預(yù)測效果仍然不及其他混合法。mRMR-IPSO將過濾法和包裝法中2種最優(yōu)的方法結(jié)合在一起，在混合法中得出了最優(yōu)的預(yù)測效果。需要指出的是，雖然mRMR-SFS也表現(xiàn)出了較高的預(yù)測精度，但是由于SFS是一種貪心算法，訓(xùn)練耗時(shí)巨大，且在對比試驗(yàn)中該方法所選特征數(shù)量是根據(jù)mRMR-IPSO所選特征數(shù)目提前設(shè)定的，而在實(shí)際應(yīng)用中，最優(yōu)特征子集的數(shù)量通常都是未知的，mRMR-IPSO和mRMR-SFS相比，不僅訓(xùn)練耗時(shí)短，且能夠自動(dòng)選擇最佳特征子集數(shù)目，性能更優(yōu)越。

5.6 其他預(yù)測模型預(yù)測結(jié)果

為驗(yàn)證所提特征選擇方法的普適性，采用短期負(fù)荷預(yù)測常用的深度置信網(wǎng)絡(luò)（deep belief network，DBN）和隨機(jī)森林（random forest，RF）預(yù)測模型來進(jìn)行對比測試，特征選擇方法采用過濾法中效果最佳的mRMR特征選擇方法和混合法中效果最佳的mRMR-SFS特征選擇方法，采用不同預(yù)測模型的預(yù)測結(jié)果如表5所示。

從表5中可知，在不同模型下，mRMR-IPSO選出的特征子集預(yù)測精度都是最優(yōu)的，這表明了該方法具有一定的穩(wěn)定性，能夠適用于不同的預(yù)測模型。

6 結(jié)? 論

文章進(jìn)行了短期負(fù)荷預(yù)測特征選擇研究，提出了一種mRMR-IPSO短期負(fù)荷預(yù)測特征選擇方法，通過mRMR對原始特征集進(jìn)行初選，采用改進(jìn)的PSO對初選特征子集進(jìn)行精選，得到最優(yōu)特征子集。基于數(shù)據(jù)集進(jìn)行算例仿真，驗(yàn)證了所提方法的有效性，得到結(jié)論如下：

1）mRMR-IPSO特征選擇方法既考慮了變量間相關(guān)性與冗余性，又考慮了特征選擇對預(yù)測精度的影響，mRMR過濾法快速初選特征，IPSO法實(shí)現(xiàn)預(yù)測精度的提升，實(shí)現(xiàn)了特征選擇時(shí)間復(fù)雜度與預(yù)測精度的平衡。

2）mRMR-IPSO特征選擇方法能夠在對原始特征集進(jìn)行大幅降維的情況下，選出最優(yōu)的特征子集，且預(yù)測精度優(yōu)于其他過濾特征選擇方法和混合特征選擇方法，在各個(gè)場景下均具有很高的預(yù)測精度。

3）mRMR-IPSO特征選擇方法對其他短期負(fù)荷預(yù)測模型同樣適用，較其他特征選擇方法，在不同預(yù)測模型上表現(xiàn)同樣最優(yōu)。

參考文獻(xiàn)

［1］? 林涵， 郝正航， 郭家鵬， 等. 基于TCA-CNN-LSTM的短期負(fù)荷預(yù)測研究[J].電測與儀表， 2023， 60（8）：73-80.

Lin Han， Hao Z H， Guo J P， et al. Research on short-term load forecasting based on TCA-CNN-LSTM[J]. Electrical Measurement & Instrumentation， 2023， 60（8）：73-80. （in Chinese）

［2］? 丁堅(jiān)勇， 朱炳翔， 田世明， 等. 改進(jìn)F-score特征選擇的MPSO-BP神經(jīng)網(wǎng)絡(luò)短期負(fù)荷預(yù)測[J]. 電測與儀表， 2018， 55（15）： 36-41.

Ding J Y， Zhu B X， Tian S M， et al. Short-term load forecasting of MPSO-BP neural network based on improved F-score feature selection[J]. Electrical Measurement & Instrumentation， 2018， 55（15）： 36-41. （in Chinese）

［3］? 張振中， 郭傅傲， 劉大明， 等. 基于最大互信息系數(shù)和小波分解的多模型集成短期負(fù)荷預(yù)測[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2021， 38（5）： 82-87.

Zhang Z Z， Guo F A， Liu D M， et al. Multi-model integrated short-term load prediction based on maximum mutual information coefficient and wavelet decomposition[J]. Computer Applications and Software， 2021， 38（5）： 82-87. （in Chinese）

［4］? 徐先峰， 趙依， 劉狀壯， 等. 用于短期電力負(fù)荷預(yù)測的日負(fù)荷特性分類及特征集重構(gòu)策略[J]. 電網(wǎng)技術(shù)， 2022，46（4）：1548-1556.

Xu X F， Zhao Y， Liu Z Z， et al. Daily load characteristic classification and feature set reconstruction strategy for short-term power load forecasting [J]. Power System Technology， 2022，46（4）：1548-1556. （in Chinese）

［5］? 谷云東， 劉浩. 基于最優(yōu)特征組合改進(jìn)極限梯度提升的負(fù)荷預(yù)測[J]. 計(jì)算機(jī)應(yīng)用研究， 2021， 38（9）： 2767-2772.

Gu Y D， Liu H. Load forecasting based on optimal feature combination improved XGBoost[J]. Application Research of Computers， 2021， 38（9）： 2767-2772. （in Chinese）

［6］? 劉倩倩， 劉鈺山， 溫?zé)铈茫?等. 基于PCC-LSTM模型的短期負(fù)荷預(yù)測方法[J]. 北京航空航天大學(xué)學(xué)報(bào)， 2022， 48（12）： 2529-2536.

Liu Q Q， Liu Y S， Wen Y T， et al. Short-term load forecasting method based on PCC-LSTM model[J]. Journal of Beijing University of Aeronautics and Astronautics， 2022， 48（12）： 2529-2536. （in Chinese）

［7］? 楊秀， 陳斌超， 朱蘭， 等. 基于相關(guān)性分析和長短期記憶網(wǎng)絡(luò)分位數(shù)回歸的短期公共樓宇負(fù)荷概率密度預(yù)測[J]. 電網(wǎng)技術(shù)， 2019， 43（9）： 3061-3071.

Yang X， Chen B C， Zhu L， et al. Short-term public building load probability density prediction based on correlation analysis and long-and short-term memory network quantile regression[J]. Power System Technology， 2019， 43（9）： 3061-3071.???????? （in Chinese）

［8］? Abedinia O， Amjady N， Zareipour H. A new feature selection technique for load and price forecast of electrical power systems[J]. IEEE Transactions on Power Systems， 2017， 32（1）： 62-74.

［9］? 嚴(yán)雪穎， 秦川， 鞠平， 等. 負(fù)荷功率模型的最優(yōu)特征選擇研究[J]. 電力工程技術(shù)， 2021， 40（3）： 84-91.

Yan X Y， Qin C， Ju P， et al. Optimal feature selection of load power models [J]. Electric Power Engineering Technology， 2021， 40（3）： 84-91.（in Chinese）

［10］? Jiang P， Liu F， Song Y L. A hybrid forecasting model based on date-framework strategy and improved feature selection technology for short-term load forecasting[J]. Energy， 2017， 119： 694-709.

［11］? 孫超， 呂奇， 朱思曈， 等. 基于雙層XGBoost算法考慮多特征影響的超短期電力負(fù)荷預(yù)測[J]. 高電壓技術(shù)， 2021， 47（8）： 2885-2898.

Sun C， Lü Q， Zhu S T， et al. Ultra-short-term power load forecasting based on two-layer XGBoost algorithm considering the influence of multiple features[J]. High Voltage Engineering， 2021， 47（8）： 2885-2898. （in Chinese）

［12］? 朱凌建， 荀子涵， 王裕鑫， 等. 基于CNN-Bi LSTM的短期電力負(fù)荷預(yù)測[J]. 電網(wǎng)技術(shù)， 2021， 45（11）： 4532-4539.

Zhu L J， Xun Z H， Wang Y X， et al. Short-term power load forecasting based on CNN-BiLSTM[J]. Power System Technology， 2021， 45（11）： 4532-4539. （in Chinese）

［13］? Hu Z Y， Bao Y K， Xiong T， et al. Hybrid filter-wrapper feature selection for short-term load forecasting[J]. Engineering Applications of Artificial Intelligence， 2015， 40： 17-27.

［14］? 鄭睿程， 顧潔， 金之儉， 等. 數(shù)據(jù)驅(qū)動(dòng)與預(yù)測誤差驅(qū)動(dòng)融合的短期負(fù)荷預(yù)測輸入變量選擇方法研究[J]. 中國電機(jī)工程學(xué)報(bào)， 2020， 40（2）： 487-500.

Zheng R C， Gu J， Jin Z J， et al. Research on short-term load forecasting variable selection based on fusion of data driven method and forecast error driven method[J]. Proceedings of the CSEE， 2020， 40（2）： 487-500. （in Chinese）

［15］? 李揚(yáng)， 顧雪平. 基于改進(jìn)最大相關(guān)最小冗余判據(jù)的暫態(tài)穩(wěn)定評估特征選擇[J]. 中國電機(jī)工程學(xué)報(bào)， 2013， 33（34）： 179-186， 27.

Li Y， Gu X P. Feature selection for transient stability assessment based on improved maximal relevance and minimal redundancy criterion[J]. Proceedings of the CSEE， 2013， 33（34）： 179-186， 27. （in Chinese）

［16］? Peng H C， Long F H， Ding C. Feature selection based on mutual information： criteria of max-dependency， max-relevance， and Min-redundancy[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2005， 27（8）： 1226-1238.

［17］? Kennedy J， Eberhart R. Particle swarm optimization[C]//Proceedings of ICNN'95-International Conference on Neural Networks. IEEE， 2002： 1942-1948.

［18］? Yadav S， Ekbal A， Saha S. Feature selection for entity extraction from multiple biomedical corpora： a PSO-based approach[J]. Soft Computing， 2018， 22（20）： 6881-6904.

［19］? Zhang Y Y， Zhu C F， Wang Q R. LightGBM-based model for metro passenger volume forecasting[J]. IET Intelligent Transport Systems， 2020， 14（13）： 1815-1823.

［20］? 王生亮， 劉根友. 一種非線性動(dòng)態(tài)自適應(yīng)慣性權(quán)重PSO算法[J]. 計(jì)算機(jī)仿真， 2021， 38（4）： 249-253， 451.

Wang S L， Liu G Y. A nonlinear dynamic adaptive inertial weight particle swarm optimization[J]. Computer Simulation， 2021， 38（4）： 249-253， 451. （in Chinese）

（編輯? 詹燕平）