基于縱向聯(lián)邦學習的短期風電功率協(xié)同預測方法

趙寒亭，張 耀，霍 巍，王建學，吳 峰，張 衡

（1.西安交通大學電氣工程學院,陜西省西安市 710049；2.大航有能電氣有限公司,江蘇省揚中市 212211）

0 引言

風電對改善能源結(jié)構(gòu)及減少溫室氣體排放的意義重大,但風電功率的波動性、間歇性和隨機性卻會對電力系統(tǒng)的可靠性及電能質(zhì)量造成不可忽視的影響［1］。開發(fā)一種先進的風電功率預測方法,以提高風電功率的預測精度是減少風電波動性、間歇性和隨機性對電力系統(tǒng)運行影響,增強電網(wǎng)消納風電能力的一種較為有效的解決方案［2］。

近年來,國內(nèi)外學者做了大量工作,開發(fā)了許多基于時間序列分析、機器學習和深度學習方法的風電功率預測模型。典型代表有支持向量機［3］、隨機森 林［4］、XGBoost 模 型［4-5］、多 層 感 知 機（multi-layer perceptron,MLP）、門控循環(huán)單元（gated recurrent unit,GRU）以及長短期記憶（long short-term memory,LSTM）網(wǎng)絡(luò)等模型［6］。根據(jù)風電預測終端用戶的具體需求,以上方法既可以提供點預測結(jié)果,也可以提供區(qū)間預測結(jié)果。

為了進一步提高風電功率預測的準確性,近年來一些研究利用了風力資源具有時空相關(guān)性這一重要特征,將相鄰風電場站的相關(guān)數(shù)據(jù)信息納入待預測場站的風電功率預測模型之中,以此來進一步提高待預測場站的風電功率預測精度［7-13］。此類考慮時空相關(guān)性的風電功率預測研究主要集中在兩個方面。一是分析和論證了同一地區(qū)的風電場站之間存在潛在的時空相關(guān)性,提出了針對性的建模預測方法［9-10］。二是證實和量化了利用相鄰場站數(shù)據(jù)可以提高風電功率預測精度,特別是在具有特定主導風型和風向的地區(qū),此效益將更為顯著［11-12］。上述工作為合理利用風力資源的時空相關(guān)性、提高風電功率預測精度做出了重要貢獻。

上述研究都是基于一個假設(shè),即待預測場站可以完全獲得鄰近場站的相關(guān)數(shù)據(jù)信息。從技術(shù)上看,通過先進量測技術(shù)和通信技術(shù),可以實現(xiàn)從鄰近場站到待預測場站的數(shù)據(jù)采集和傳輸工作。然而在現(xiàn)實情況中,同一地區(qū)的不同場站可能分屬不同的發(fā)電集團。由于商業(yè)競爭關(guān)系和數(shù)據(jù)安全方面的考量,不同發(fā)電集團之間通常并不愿意彼此交換數(shù)據(jù),這阻礙了上述研究的推廣應用。此外,傳統(tǒng)的風電功率預測模型都是通過集中式訓練來完成參數(shù)估計。當預測模型包含越來越多的相鄰場站數(shù)據(jù)時,將會導致超大規(guī)模的預測模型估計問題。對于此類大規(guī)模預測模型而言,無論是數(shù)據(jù)的收集匯總,還是模型的參數(shù)估計,都將變得十分困難。

采用聯(lián)邦學習機制來開發(fā)新型分布式預測方法,是應對上述挑戰(zhàn)的一種可行思路。借助聯(lián)邦學習機制,可以在保證各參與方數(shù)據(jù)隱私安全的基礎(chǔ)上,間接利用其他鄰近場站的相關(guān)數(shù)據(jù),從而打破數(shù)據(jù)孤島,實現(xiàn)多方協(xié)作、共同建立并訓練預測模型的目標［14-15］,所提方法不僅可以提高待預測場站的風電功率預測精度,還可以提高預測模型的訓練效率。

到目前為止,聯(lián)邦學習主要從數(shù)據(jù)并行和模型并行兩方面開發(fā)了機器學習算法的分布式實現(xiàn)方式［14-15］,在負荷預測和新能源預測等領(lǐng)域得到了有效應用。文獻［16］基于長短期時間序列網(wǎng)絡(luò),提出了一種面向行業(yè)用戶讀表數(shù)據(jù)保護的聯(lián)邦學習負荷預測框架。文獻［17］提出了一種基于聯(lián)邦學習的分布式訓練框架,并利用該框架對電力計量數(shù)據(jù)進行分析。文獻［18］基于深度學習、變分貝葉斯推斷和聯(lián)邦學習,提出了一種太陽輻照度概率預測模型。文獻［19］提出了一種將聯(lián)邦學習和深度強化學習相結(jié)合的預測方案,用于超短期風電功率預測。文獻［20］基于LSTM 網(wǎng)絡(luò),提出了一種基于聯(lián)邦學習機制的短期風電功率預測方法。上述研究表明將聯(lián)邦學習方法應用在電力系統(tǒng)領(lǐng)域的可行性和實用性,但其具體思想還未廣泛應用到風電功率預測之中。因此,基于聯(lián)邦學習的風電功率分布式協(xié)同預測方法值得進一步開展研究。

1 基于改進嶺回歸的風電協(xié)調(diào)預測模型

1.1 預測模型的符號與定義

假設(shè)某個地區(qū)有L個風電場站,并用si表示該地區(qū)的風電場站,其中i=1,2,…,L,記該地區(qū)所有風電場站構(gòu)成的集合為Ε,則有:

位于同一地區(qū)的各個風電場站分屬不同的發(fā)電集團,假設(shè)共有G個發(fā)電集團,其中,第g個發(fā)電集團擁有Lg個風電場站,所構(gòu)成的子集記為Eg,其中g(shù)=1,2,…,G,Eg的具體形式如下:

由上述有關(guān)定義可知:

在附錄A 中,本文對上述的集合化關(guān)系定義進行了詳細的舉例說明。最后,本文對G個發(fā)電集團進行分類,具體如下:

1）待預測對象:指需要對其風電功率進行預測的發(fā)電集團,其索引記為?,? 可取1,2,…,G中的某一個值；

2）輔助合作者:指在聯(lián)邦學習過程中,向待預測對象提供相關(guān)數(shù)據(jù)信息,幫助待預測對象提高預測精度的相鄰其他發(fā)電集團。

需要注意的是,本文所提出的預測模型主要用于提升待預測對象的風電功率預測精度。如果需要提高某一輔助合作者的預測精度,則需要將該輔助合作者視為待預測對象,然后再應用本文方法。

1.2 基于嶺回歸的風電功率協(xié)同預測模型

假設(shè)在任意時刻t,待預測對象? 的風電功率y?,t是各個輸入特征的線性函數(shù),如式（5）所示。式（5）的右側(cè)項包含兩類輸入特征,第1 類是來自待預測對 象? 的 本 地 輸 入 特 征x?,t,第2 類 是 來 自G-1 個輔助合作者的離站輸入特征xg,t(g≠?)。

式中:xg,t∈Rng為發(fā)電集團g在t時刻的輸入特征向量,其中ng為相應的向量維度的大小；θg∈Rng為發(fā)電集團g的擬合參數(shù)向量；ε(t)表示擬合誤差。

在式（5）中,通過使用相鄰場站的相關(guān)數(shù)據(jù)來更好地捕獲風力資源的時空相關(guān)性及時空傳播變化情況［12-13］,從 而 提 高 待 預 測 對 象? 的 風 電 功 率 預 測精度。

為了消除輸入特征之間的多重共線性現(xiàn)象,防止預測模型過擬合,提高預測模型的泛化能力,本文采用改進的最小二乘估計法,即嶺回歸模型［21］進行建模分析,進而求解出相應的擬合參數(shù)向量θg。給定M個歷史樣本,其對應的嶺回歸優(yōu)化問題如下所示:

在實際應用時,各風電場站首先需要采用“前向選擇”或“后向選擇”算法進行輸入特征篩選,挑選出有助于提升風電功率預測精度的輸入特征集合,然后再參與聯(lián)邦學習過程。關(guān)于選取嶺回歸模型的詳細原因、式（5）和式（6）的詳細推導過程以及xg,t、θg、的具體構(gòu)造方法,均在附錄B 中給出。

1.3 基于改進k近鄰和深度學習方法的嶺回歸模型

1.2 節(jié)介紹的標準嶺回歸模型是一種全局的線性回歸模型,然而風電預測中所使用的數(shù)據(jù)樣本點在空間中通常呈現(xiàn)出非線性分布的特點。因此,在采用標準嶺回歸模型進行風電預測時,不一定能夠很好地擬合所有的樣本點,在實際應用中可能出現(xiàn)“欠擬合”現(xiàn)象,導致模型泛化能力不足、預測可靠性較差。針對上述問題,考慮從兩方面對嶺回歸協(xié)同預測模型進行改進,具體如下。

1）改進措施1:將全局的非線性回歸問題劃分為若干個局部區(qū)域的線性回歸問題,從而提升線性模型的擬合效果。其具體思路是首先,根據(jù)待預測樣本點的特征屬性,從訓練集中篩選出屬性相近的部分樣本點,構(gòu)成相應的子訓練集；然后,使用子訓練集來訓練模型并得到相應的擬合系數(shù)；最后,對待預測樣本點進行預測。

改進措施1 忽略了與待預測樣本點距離較遠的訓練集樣本,只使用待預測樣本點局部鄰域內(nèi)的訓練集樣本進行模型的訓練。對于不同的待預測樣本點,所選出的子訓練集往往是不同的,故訓練得到的擬合系數(shù)也不同。這樣便可以針對不同的待預測樣本點作出相應的局部調(diào)整,從而改善欠擬合現(xiàn)象,提高預測精度。

由于k近鄰（k-nearst neighbor,KNN）算法簡單易行,在篩選相似樣本時準確度較高且對異常值不敏感,本文使用KNN 算法對訓練樣本進行預篩選。

傳統(tǒng)KNN 算法需要遍歷計算待預測樣本點與訓練數(shù)據(jù)集中的每個歷史樣本點之間的距離,其計算量較大。為了提高KNN 算法的搜索效率,本文采用kd 樹（k-dimensional tree）方法來實現(xiàn)對訓練數(shù)據(jù)的快速KNN 搜索。kd 樹的使用過程分為兩個步驟；一是構(gòu)造kd 樹,即使用特殊的二叉樹結(jié)構(gòu)來存儲訓練數(shù)據(jù)；二是利用kd 樹進行快速KNN 搜索,即根據(jù)待預測樣本點的特征屬性,搜索過程會被限制在訓練集樣本空間的局部區(qū)域上,省去了對其余大部分訓練樣本的搜索,大幅度地減少了歐氏距離的計算次數(shù)以及搜索時的計算量,可以顯著提高計算效率。關(guān)于本文所采用的kd 樹,其更多內(nèi)容介紹請參考文獻［22］。

2）改進措施2:在輸入特征中增添非線性成分,以提升擬合效果,實現(xiàn)更精準的預測。其具體思路是讓每個參與聯(lián)邦學習的風電場站都預先采用學習能力和擬合能力更強的深度學習方法進行訓練和預測；然后,再將其功率預測結(jié)果和輸入特征納入基于嶺回歸的風電功率協(xié)同預測模型之中,以此來進一步提升預測精度。

改進嶺回歸模型所對應的優(yōu)化問題與式（6）的形式完全相同,如下所示:

式中:Xg∈Rm×ng和y?∈Rm為對應于待預測樣本點的子訓練集,其中Xg中包含了各場站原有的輸入特征以及來自深度學習方法的功率預測結(jié)果,m為子訓練集的樣本數(shù)。

2 基于聯(lián)邦學習的分布式訓練與預測

2.1 聯(lián)邦學習概述

聯(lián)邦學習是一種分布式機器學習方法,解決了不同數(shù)據(jù)擁有方在不交換隱私數(shù)據(jù)的情況下進行聯(lián)合建模和多方協(xié)作的問題。針對不同參與方的數(shù)據(jù)在樣本空間和特征空間的重疊情況,主流研究一般將聯(lián)邦學習分為“橫向聯(lián)邦學習”“縱向聯(lián)邦學習”和“聯(lián)邦遷移學習”［14］。其中,“縱向聯(lián)邦學習”適用于各參與方的樣本空間相同但特征空間不同的數(shù)據(jù)場景。

在本文的應用場景中,由于各發(fā)電集團均有各自在相同歷史時間段的數(shù)據(jù)集,即各發(fā)電集團的數(shù)據(jù)集在時間范圍上是重合的,故各發(fā)電集團的樣本空間相同。由于不同發(fā)電集團的數(shù)據(jù)集主要采集的是來自不同地理位置的數(shù)值天氣預報信息和風功率觀測信息,屬于不同的空間特征,故各發(fā)電集團的特征空間不相同。為了充分利用風力資源的時空相關(guān)性,本文所提方法希望在預測模型中考慮來自不同地理位置上的輸入特征,通過“特征聯(lián)合”（即縱向聯(lián)邦學習）實現(xiàn)特征增強,最終提高預測精度。因此,本文所提方法屬于“縱向聯(lián)邦學習”。

在1.3 節(jié)中,給出了改進嶺回歸模型所對應的優(yōu)化問題（式（7））。盡管風電場站為不同的發(fā)電集團所擁有,但它們可以通過相互合作來提高預測質(zhì)量。為了保證各參與方的數(shù)據(jù)隱私安全,本文將借助縱向聯(lián)邦學習機制,開發(fā)預測模型的相關(guān)優(yōu)化算法,推導出優(yōu)化問題（式（7））的迭代求解框架。在迭代框架下,依據(jù)求解最優(yōu)模型的需要,對嶺回歸模型做縱向劃分,將原本的大規(guī)模優(yōu)化、預測問題分解為大量的小規(guī)模子問題,且每個子問題都可由相應的參與方在本地進行邊緣計算。在此基礎(chǔ)上,總結(jié)出改進嶺回歸模型的分布式訓練過程和分布式預測過程,從而解決不同數(shù)據(jù)擁有方在不交換機密數(shù)據(jù)的情況下進行多方協(xié)作的問題。

在上述過程中,需要引入一個“中央?yún)f(xié)調(diào)者”,可以由政府部門或可信任的電網(wǎng)調(diào)度機構(gòu)擔任,負責監(jiān)督和協(xié)調(diào)分布式訓練及預測過程。下面分別介紹在聯(lián)邦學習機制下,如何以分布式方式開展訓練樣本預篩選以及協(xié)同模型的訓練和預測過程。

2.2 訓練樣本預篩選的分布式實現(xiàn)過程

如1.3 節(jié)所述,當采用KNN 算法對基于嶺回歸的協(xié)同預測模型進行改進時,需要在訓練預測模型之前增加樣本預篩選過程。傳統(tǒng)方法需要收集匯總所有發(fā)電集團的樣本數(shù)據(jù),然后計算樣本距離,完成樣本篩選。這種集中式解決方案不僅難以滿足數(shù)據(jù)隱私保護的要求,還需要占用大量的通信帶寬和存儲空間。為了解決上述挑戰(zhàn),本文提出了樣本預篩選的一種分布式實現(xiàn)方法,具體流程如下。

步驟1:各發(fā)電集團首先利用本地數(shù)據(jù)集來構(gòu)造kd 樹。針對待預測時刻t,各發(fā)電集團首先獲取各自在t時刻的輸入特征向量xg,t∈Rng,然后根據(jù)待預測樣本點的特征屬性,利用kd 樹進行快速KNN搜索,篩選得到距離最近的m個樣本點,并將對應的樣本索引集合Λg發(fā)送給中央?yún)f(xié)調(diào)者。

步驟2:中央?yún)f(xié)調(diào)者收集匯總來自各發(fā)電集團的樣本索引集合Λg,然后求并集得到所有需要計算歐氏距離的樣本索引集合Λ,即

隨后,中央?yún)f(xié)調(diào)者將樣本索引集合Λ返回給各發(fā)電集團。

步驟3:各發(fā)電集團接收來自中央?yún)f(xié)調(diào)者的樣本索引集合Λ,然后計算待預測樣本xg,t與訓練集中各相應樣本點xg,j(j∈Λ)之間的“局部”歐氏距離,組成向量dg∈R|Λ|,如式（9）所示。

式中:|Λ|表示集合Λ中所含元素的個數(shù)。

最后,各發(fā)電集團將自己計算出的“局部”歐氏距離向量dg∈R|Λ|發(fā)送給中央?yún)f(xié)調(diào)者。

步驟4:中央?yún)f(xié)調(diào)者收集匯總來自各發(fā)電集團的“局部”歐氏距離向量dg∈R||Λ,計算“全局”歐氏距離向量d∈R||Λ,如式（10）所示。然后,中央?yún)f(xié)調(diào)者挑選出“全局”歐氏距離最小的m個樣本點,并將對應的樣本索引返回給各發(fā)電集團。

步驟5:各發(fā)電集團接收來自中央?yún)f(xié)調(diào)者的樣本索引信息,從各自的訓練數(shù)據(jù)集中篩選出對應的m個歷史樣本點,構(gòu)成各自的子訓練集Xg∈Rm×ng以及y?∈Rm。

通過上述5 個步驟,實現(xiàn)了訓練樣本的分布式預篩選過程,相應過程如圖1 所示。

圖1 訓練樣本預篩選的分布式實現(xiàn)過程Fig.1 Distributed implementation process of training sample pre-screening

在該過程中,各發(fā)電集團可利用kd 樹進行快速KNN 搜索,無須遍歷整個訓練數(shù)據(jù)集,可以顯著提升計算效率。此外,各發(fā)電集團與中央?yún)f(xié)調(diào)者之間只需要交換距離向量dg∈R|Λ|和樣本索引,無須傳輸各發(fā)電集團的歷史數(shù)據(jù)集,故在滿足數(shù)據(jù)隱私保護要求的同時,顯著減少了通信傳輸和存儲空間的需求。

2.3 嶺回歸模型的迭代求解算法框架

在完成了訓練樣本的預篩選后,可采用同步梯度下降（synchronous gradient descent,SGD）算法［21］來求解優(yōu)化問題（式（7））,從而獲得各發(fā)電集團的擬合參數(shù)向量θg(g=1,2,…,G)。采用SGD 算法求解嶺回歸模型的具體過程如下:

1）首先寫出改進嶺回歸模型（式（7））所對應的目標函數(shù)J(θ):

式中:θ=[θT1,θT2,…,θTG]T為各發(fā)電集團參數(shù)向量構(gòu)成的堆疊向量。

2）計算目標函數(shù)J(θ)關(guān)于擬合參數(shù)向量θk的梯度向量表達式,具體公式如下:

式中:k=1,2,…,G表示參與聯(lián)邦學習過程的各發(fā)電集團。

3）利用梯度計算結(jié)果,對各擬合參數(shù)向量進行更新,具體公式如下:

式中:n∈N 為迭代次數(shù)；η為SGD 算法中參數(shù)更新的步長（也被稱為學習率）。

4）計算擬合參數(shù)向量的相對變化Δθ(n)k∈R,具體公式如下:

根據(jù)Δθ(n)k的數(shù)值大小,可以判斷能否終止訓練迭代過程。

2.4 嶺回歸模型的分布式訓練方法

步驟1:各發(fā)電集團收集原始數(shù)據(jù),并在本地統(tǒng)一進行參數(shù)初始化,具體包括以下4 個部分。

1）對擬合參數(shù)向量θk進行隨機初始化,使其服從正態(tài)分布,即θ(0)k～N(0,1)；

2）設(shè)置相同的正則化系數(shù)λ及學習率η；

3）設(shè)置相同的最大迭代次數(shù),并將迭代計數(shù)器n歸零,即設(shè)置n=0；

4）設(shè)置相同的擬合參數(shù)向量允許誤差ε,并將Δθk的初值設(shè)置為正無窮大,即Δθ(0)k=+∞。

步驟2:各發(fā)電集團利用本地數(shù)據(jù)以及當前的擬合參數(shù)向量θ(n)k進行計算。其中,待預測對象? 計算X?θ(n)?-y?∈Rm,而提供輔助信息的相鄰發(fā)電集團計算Xgθ(n)g∈Rm(g=1,2,…,G；g≠?),然后各發(fā)電集團將計算結(jié)果發(fā)送給中央?yún)f(xié)調(diào)者。

步驟3:中央?yún)f(xié)調(diào)者收集匯總來自各發(fā)電集團的計算結(jié)果,并將這些計算結(jié)果進行加和,求和結(jié)果記為S(n)∈Rm,其具體表達式如式（15）所示。

接著,中央?yún)f(xié)調(diào)者將得到的求和結(jié)果S(n)∈Rm返回給各發(fā)電集團。

步驟4:各發(fā)電集團接收來自中央?yún)f(xié)調(diào)者的求和結(jié)果S(n),并結(jié)合本地數(shù)據(jù)以及相關(guān)參數(shù)值,繼續(xù)進行本地計算,具體包括以下4 個部分。

1）利用式（16）計算本地梯度向量；

2）利用式（13）更新本地擬合參數(shù)向量θ(n)k；

3）利用式（14）計算Δθ(n)k；

4）迭代計數(shù)器加1,即設(shè)置n:=n+1。

步驟5:判斷是否可以結(jié)束聯(lián)邦學習的迭代過程,具體準則如下。

1）若對各發(fā)電集團而言,均有Δθ(n)k<ε,則可以提前終止聯(lián)邦學習的迭代過程；

2）若迭代計數(shù)器n的數(shù)值達到了最大迭代次數(shù),則終止聯(lián)邦學習的迭代過程。

在步驟5 后,若迭代尚未終止則返回步驟2,繼續(xù)迭代,直到滿足迭代終止條件。改進嶺回歸模型的分布式訓練過程如圖2 所示。

圖2 改進嶺回歸模型的分布式訓練過程Fig.2 Distributed training process of improved ridge regression model

從圖2 可以看出,與傳統(tǒng)的集中式訓練方法相比,本文提出的基于聯(lián)邦學習機制的分布式訓練方法具有以下3 個優(yōu)點:

1）利用梯度向量可拆分計算的特點,將原始的大規(guī)模優(yōu)化問題分解為大量的小規(guī)模子問題,且每個子問題都可在每個發(fā)電集團本地進行邊緣計算。因此,不再需要大規(guī)模收集和處理數(shù)據(jù),降低了通信負擔和計算壓力,提高了模型的訓練效率；

2）各發(fā)電集團的隱私數(shù)據(jù)信息（包括風電功率歷史數(shù)據(jù)、各類氣象特征及模型擬合參數(shù)）只在本地計算時使用,并未發(fā)生傳輸或轉(zhuǎn)移。在分布式訓練結(jié)束后,各發(fā)電集團只能得到各自對應的擬合參數(shù)結(jié)果,無法獲知其他參與者的隱私數(shù)據(jù)信息；

3）雖然各發(fā)電集團之間存在競爭關(guān)系,但在預測模型的分布式訓練過程中,它們彼此無須交換任何數(shù)據(jù)。它們只與中央?yún)f(xié)調(diào)者交換SGD 算法迭代過程的中間計算結(jié)果,屬于可共享的非隱私數(shù)據(jù)信息。因此,可以滿足數(shù)據(jù)隱私保護的要求。

2.5 嶺回歸模型的分布式預測方法

在完成分布式訓練后,各發(fā)電集團可以獲得各自對應的擬合參數(shù),接下來對待預測對象? 的風電功率進行預測,相應的分布式預測過程如下。

步驟1:各發(fā)電集團基于待預測時刻t的輸入特征向量xg,t∈Rng,結(jié)合分布式訓練得到的擬合參數(shù)向量θg∈Rng,在本地進行計算,得到“局部”預測結(jié)果θTgxg,t∈R,并將其發(fā)送給中央?yún)f(xié)調(diào)者。

步驟2:中央?yún)f(xié)調(diào)者收集來自各發(fā)電集團的“局部”預測結(jié)果,并將所有“局部”結(jié)果加和,得到的求和結(jié)果即為待預測對象? 在t時刻的風電功率預測值,其具體計算公式如式（17）所示。

最后,中央?yún)f(xié)調(diào)者將該預測結(jié)果y??,t∈R 返回給待預測對象? 即可。上述分布式預測過程見圖3。

圖3 改進嶺回歸模型的分布式預測過程Fig.3 Distributed forecasting process of improved ridge regression model

3 算例分析

3.1 數(shù)據(jù)集簡介

2014 年全球新能源預測競賽（GEFCom2014）提供了可用于風電預測的公開數(shù)據(jù)集［23］,它包含了10 個風電場站的歷史數(shù)據(jù),時間跨度自2012 年1 月1 日到2013 年12 月1 日,時間分辨率為1 h。各風電場站的歷史數(shù)據(jù)組成如下:

1）4 個輸入特征:距離地面10 m 處的緯度風速U10和經(jīng)度風速V10,以及距離地面100 m 處的緯度風速U100和經(jīng)度風速V100；

2）1 個輸出特征:經(jīng)過風電場站裝機容量歸一化后的風電功率測量值P；

10 個風電場站均位于澳大利亞,但由于數(shù)據(jù)安全和商業(yè)競爭的考慮,GEFCom2014 組委會沒有對外披露它們的裝機容量及經(jīng)緯度信息［23］。

3.2 利用相關(guān)性分析尋找協(xié)同預測的合作伙伴

本文選擇相關(guān)性分析法作為先驗手段,篩選出了兩組可參與聯(lián)邦學習的最佳合作小組,詳細過程見附錄C。第1 組是1 號、7 號和8 號場站,記為A組；第2 組是4 號、5 號和6 號場站,記為B 組。

3.3 所提模型預測效果的評估結(jié)果

對于3.2 節(jié)確定的兩組場站,以A 組場站為例（B 組與之相同）,假設(shè)其包含的3 個場站分屬3 個不同的發(fā)電集團,且這些發(fā)電集團愿意通過參與聯(lián)邦學習來提升預測精度。下面將以上述兩組場站為例,對提出的協(xié)同預測模型進行算例分析。

在模型評估過程中,對于學習率η、正則化系數(shù)λ以及最鄰近樣本數(shù)m等超參數(shù),均采用網(wǎng)格化搜索及10 折交叉驗證法來確定其合適取值。

3.3.1 生成預測模型的輸入特征

借助氣象學知識,利用緯度風速U和經(jīng)度風速V可以生成風速Ws和風向Wd。此外,根據(jù)風能利用的貝茲理論以及時間序列預測中的季節(jié)性特征,還可以生成其他輸入特征。附錄D 表D1 總結(jié)了所提風電預測模型的全部可用輸入特征。

3.3.2 定義預測模型、預測方式及評估指標

為了方便模型的區(qū)分和比較,將1.2 節(jié)提出的嶺回歸模型命名為“標準嶺回歸模型”,將1.3 節(jié)提出的嶺回歸模型命名為“改進嶺回歸模型”。

為了合理評價預測模型的優(yōu)缺點,定義以下兩種預測方式:1）“獨立預測方式”,僅使用待預測對象的相關(guān)特征信息,在待預測對象本地進行預測模型的訓練和預測；2）“聯(lián)邦預測方式”,待預測對象和輔助合作者相互協(xié)作,使用待預測對象和輔助合作者的相關(guān)特征信息進行預測模型的訓練和預測。

本文將數(shù)據(jù)集按時間段劃分為訓練集和測試集,取2012-01-01 至2013-09-21 的數(shù)據(jù)作為訓練集,用于模型訓練；取2013-09-22 至2013-12-01 的數(shù)據(jù)作為測試集,用于模型性能評估。在進行超參數(shù)尋優(yōu)或輸入特征篩選時,本文采用了10 折交叉驗證法,將訓練集等分為10 個子集,對模型獨立重復地進行10 次訓練和驗證。在每次訓練時,取其中9 個子集對模型進行訓練,留1 個子集作為驗證集,對訓練好的模型進行檢驗。

本節(jié)采用均方根誤差（RMSE）以及平均絕對誤差（MAE）作為預測模型性能的衡量標準,計算公式分別如式（18）和式（19）所示。預測模型在測試集上的RMSE 及MAE 越小,其預測精度越高。

3.3.3 聯(lián)邦預測方式和獨立預測方式的比較

在本節(jié),使用標準嶺回歸模型,比較其在聯(lián)邦預測方式和獨立預測方式下的預測結(jié)果,以驗證聯(lián)邦預測方式在提升預測精度方面的優(yōu)越性。

對于A 組（或B 組）,每次選取組內(nèi)1 個風電場站作為待預測對象,其余風電場站作為輔助合作者,在兩種不同的預測方式下分別進行測試,記錄測試集上的RMSE 及MAE,結(jié)果如表1 所示。

表1 標準嶺回歸模型在兩種預測方式下的預測性能比較Table 1 Comparison of forecasting performance of standard ridge regression model with two forecasting methods

由表1 可以看出,各場站在獨立預測方式下的預測誤差RMSE 及MAE 均較大,而采用聯(lián)邦預測方式后,各場站的預測誤差都有了一定程度下降,預測精度都有所提升。其中,提升效果最顯著的是1 號 場 站,其RMSE 改 良 率 達 到25.64%,MAE 改 良率達到28.10%。由此可見,相比于傳統(tǒng)的獨立預測方式,聯(lián)邦預測方式充分利用了其他鄰近場站的數(shù)據(jù)信息,彌補了單一場站數(shù)據(jù)特征不夠全面的缺陷,較好地捕獲了風電場站之間的時空相關(guān)性,從而減少了風電預測誤差,增強了模型的泛化能力。

以1 號場站作為待預測對象,其在兩種預測方式下的部分預測結(jié)果見附錄D 圖D1。從圖D1 可以看出,采用聯(lián)邦預測方式能夠更好地捕獲風電功率變化趨勢,也能夠明顯縮小預測曲線與真實曲線之間的差距。因此,聯(lián)邦學習預測模型比傳統(tǒng)的獨立預測模型在提升預測精度方面更具優(yōu)勢。

3.3.4 改進嶺回歸模型的預測效果

3.3.3 節(jié)驗證了聯(lián)邦預測方式比獨立預測方式更有效,下面在聯(lián)邦預測方式下,針對本文提出的基于改進嶺回歸的協(xié)同預測模型,驗證1.3 節(jié)提出的兩種改進措施的有效性。

表2 比較了使用KNN 算法改進前后,嶺回歸協(xié)同預測模型在測試集上的RMSE 及MAE。由表2可以看出,在聯(lián)邦預測方式下,相比于標準嶺回歸模型,采用KNN 算法進行改進可以進一步減少預測誤差,提高預測精度。其中,改善效果最顯著的仍然是1 號風電場站,其RMSE 改良率達到了11.72%,MAE 改良率達到了16.36%。對于7 號場站,當采用KNN 算法進行改進時,其預測精度也有了較為明顯的提升。由此可見,基于KNN 算法改進的嶺回歸模型能夠有效改善預測模型的欠擬合現(xiàn)象,進一步提高風電功率預測精度。

表2 嶺回歸模型在使用KNN 算法改進前后的性能比較Table 2 Comparison of performance of ridge regression model before and after using KNN algorithm

接下來,在使用KNN 算法進行改進的基礎(chǔ)上,驗證改進措施2（詳見1.3 節(jié)）的有效性,結(jié)果見附錄D 表D2。選取的深度學習方法包括MLP、GRU 以及LSTM 網(wǎng)絡(luò),所選模型中的超參數(shù)均經(jīng)過網(wǎng)格化搜索及交叉驗證法進行調(diào)優(yōu)。從表D2 中可以看出,采用改進措施2 后,進一步減少了各風電場站的預測誤差,提高了預測精度。其中,改善效果最顯著的是6 號場站,其RMSE 改良率達到了6.74%,MAE改良率達到了9.23%。這表明,在使用KNN 算法進行改進的基礎(chǔ)上,使用改進措施2 能夠進一步提高預測精度。

圖4 展示了以1 號場站為待預測對象時,改進嶺回歸模型和標準嶺回歸模型在相同時段的部分預測結(jié)果。從圖4 可以看出,改進后的風電功率預測曲線更加貼近真實曲線,預測效果更好。

圖4 1 號場站在嶺回歸模型改進前后的預測結(jié)果對比Fig.4 Comparison of forecasting results of wind farm 1 before and after improvement of ridge regression model

3.3.5 本文方法和深度學習方法的比較

3.3.4 節(jié)驗證了1.3 節(jié)提出的兩種改進措施的有效性,下面將本文提出的改進嶺回歸協(xié)同預測模型和已有深度學習方法的預測結(jié)果進行比較,以驗證本文所提方法的優(yōu)越性。采用的深度學習方法包括MLP、GRU 以及LSTM 網(wǎng)絡(luò),均使用單一場站的本地數(shù)據(jù)進行訓練和預測,選出其中表現(xiàn)最好的模型進行展示,結(jié)果見附錄D 表D3。從表D3 中可以看出,和單一場站使用已有深度學習方法的預測結(jié)果相比,本文提出的改進嶺回歸協(xié)同預測模型在提升預測精度方面具有一定的優(yōu)勢,其中改善效果最顯著的是1 號場站,其余場站也均有一定幅度的提升。

3.3.6 協(xié)同預測模型的應用場景拓展

前面的算例分析部分均是以單個場站來代表單個發(fā)電集團,本節(jié)將對改進嶺回歸模型的應用場景進行拓展,考慮一個發(fā)電集團內(nèi)含有多個場站的實際情況,進而說明本文方法的有效性和普適性。

觀 察 附 錄C 圖C1 可 以 看 出,A 組 場 站（1 號、7 號、8 號）和C 組場站（3 號、9 號）之間的相關(guān)性較為明顯,B 組場站（4 號、5 號、6 號）和D 組場站（2 號、10 號）之間的相關(guān)性較為明顯。因此,考慮將上述4 組場站視為4 個發(fā)電集團,A 組可與C 組進行協(xié)作,B 組可與D 組進行協(xié)作。

表3 比較了各組場站之間協(xié)作或不協(xié)作時,各組場站的總風電功率預測結(jié)果?？梢钥闯?采用本文提出的改進嶺回歸協(xié)同預測模型后,各組場站的預測精度均得到了明顯的提高,驗證了本文所提方法的有效性和普適性。

表3 各組場站在不同預測方式下的風電功率預測結(jié)果Table 3 Wind power forecasting results of each group of stations with different forecasting methods

3.4 改進嶺回歸模型的計算性能評估結(jié)果

3.4.1 模型計算精度的評估結(jié)果

為了使用其他鄰近場站的數(shù)據(jù)信息,傳統(tǒng)預測方法需要首先將各方數(shù)據(jù)匯聚到一起,然后再經(jīng)過“集中式訓練”得到最優(yōu)預測模型,在本文中稱為“集中式求解”。與之相對,本文提出的協(xié)同預測模型借助縱向聯(lián)邦學習機制,采用了“分布式訓練”框架,以此來解決不同數(shù)據(jù)擁有方在不交換機密數(shù)據(jù)的情況下進行協(xié)作的問題,在本文中稱為“分布式求解”。附錄D 表D4 比較了改進嶺回歸模型在集中式和分布式求解方法下的預測結(jié)果。從表D4 可以看出,改進嶺回歸模型在分布式方法下的預測結(jié)果與集中式方法完全一致,從而驗證了分布式方法預測結(jié)果的可靠性與穩(wěn)健性。

3.4.2 模型總耗時的評估結(jié)果

考慮從兩個方面評估模型的總耗時,一是固定數(shù)據(jù)集大小,不斷增加參與聯(lián)邦學習的風電場站數(shù)目；二是固定風電場站數(shù)目,不斷擴大數(shù)據(jù)集的規(guī)模。在上述條件下,讓改進嶺回歸模型分別在集中式和分布式求解方法下完成一次訓練和預測,統(tǒng)計相應的模型總耗時,結(jié)果如附錄D 圖D2 所示。從圖D2 中可以看出,當所涉及的風電場站總數(shù)增多或數(shù)據(jù)集規(guī)模變龐大時,集中式求解方法的總耗時會顯著增加,而分布式求解方法的總耗時卻始終維持在較低水平。產(chǎn)生該現(xiàn)象的主要原因是分布式求解方法采用的是并行計算,故計算耗時通常比集中式方法要少。因此,在合作對象眾多或數(shù)據(jù)量龐大的情況下,分布式求解方法通過并行計算可以獲得較短的耗時,比集中式方法更具優(yōu)勢。

4 結(jié)語

針對短期風電功率預測問題,本文提出了一種基于聯(lián)邦學習機制并使用改進KNN 算法的嶺回歸協(xié)同預測模型,設(shè)計了相應的分布式訓練和預測方法。在聯(lián)邦學習機制下,該協(xié)同預測模型以分布式方式間接利用了鄰近其他風電場站的相關(guān)數(shù)據(jù)信息,在確保隱私數(shù)據(jù)安全的前提下,有效提高了風電功率預測精度,同時提升了預測模型的求解效率。本文通過實際算例驗證了所提方法的有效性,由算例結(jié)果可以看出:

1）采用聯(lián)邦學習機制,通過與鄰近場站相互協(xié)作,以分布式方式間接利用鄰近場站的數(shù)據(jù)信息,能夠有效提高風電功率預測精度。

2）采用KNN 算法,根據(jù)待預測樣本的屬性來篩選訓練樣本,能夠進一步減少預測誤差,提高風電功率預測精度,增強模型的泛化能力。

3）在面對大規(guī)模的預測問題時,與傳統(tǒng)的集中式求解方法相比,采用分布式求解方法能夠保證計算結(jié)果的準確性,同時顯著地減少計算耗時。

最后需要指出,本文所提出的預測模型一次只能針對一個待預測對象進行預測,目前還無法實現(xiàn)同時對多個待預測對象進行預測,這部分改進工作是未來研究的潛在方向之一。

附錄見本刊網(wǎng)絡(luò)版（http：//www.aeps-info.com/aeps/ch/index.aspx），掃英文摘要后二維碼可以閱讀網(wǎng)絡(luò)全文。