嚴(yán)文君，劉俊勇

（四川大學(xué)電氣工程學(xué)院，成都 610065）

在國(guó)家“碳達(dá)峰”和“碳中和”雙碳目標(biāo)下，高效、清潔、低碳成為我國(guó)乃至世界能源發(fā)展的主流方向，以太陽(yáng)能、風(fēng)能為代表的新能源將主導(dǎo)未來(lái)可再生能源的發(fā)展[1]。微電網(wǎng)MG（microgrid）可以協(xié)調(diào)控制分布式電源，依托互聯(lián)電力系統(tǒng)實(shí)現(xiàn)大范圍能源優(yōu)化配置，是新能源就地消納和并網(wǎng)遠(yuǎn)送的主要模式[2-3]。但是傳統(tǒng)單一微電網(wǎng)集成各類新能源發(fā)電系統(tǒng)的能力有限，將區(qū)域內(nèi)的多個(gè)微電網(wǎng)通過(guò)相關(guān)協(xié)議互聯(lián)形成多微電網(wǎng)系統(tǒng)，有助于區(qū)域間不同能源互補(bǔ)，實(shí)現(xiàn)高比例新能源消納，提高互聯(lián)網(wǎng)絡(luò)系統(tǒng)的經(jīng)濟(jì)效益[4]。

目前，國(guó)內(nèi)外相關(guān)領(lǐng)域?qū)W者對(duì)于多微電網(wǎng)互聯(lián)系統(tǒng)開(kāi)展了諸多研究，大多集中在如何實(shí)現(xiàn)優(yōu)化調(diào)度[5-7]、能量控制[8-9]等方面。隨著電力市場(chǎng)逐步改革開(kāi)放，微電網(wǎng)作為獨(dú)立利益主體被允許參與電力市場(chǎng)進(jìn)行電力交易，在此背景下，研究多微電網(wǎng)參與下的電力市場(chǎng)交易運(yùn)行機(jī)制顯得十分必要[10]。多微電網(wǎng)市場(chǎng)中各參與主體間利益不同，且存在錯(cuò)綜復(fù)雜的多元化交易博弈行為，基于此，文獻(xiàn)[11]引入以價(jià)格為博弈手段的伯特蘭德博弈對(duì)不同主體進(jìn)行博弈行為分析，但是將其運(yùn)用于多微電網(wǎng)各主體競(jìng)爭(zhēng)博弈行為時(shí)，需要假設(shè)分布式電能出力沒(méi)有上限約束，該約束條件與實(shí)際情況不符。古諾博弈以產(chǎn)量作為博弈手段，多被用于分析多發(fā)電商地位相等的市場(chǎng)競(jìng)價(jià)行為[12]，文獻(xiàn)[13]收集各發(fā)電商競(jìng)爭(zhēng)對(duì)手的報(bào)價(jià)策略和市場(chǎng)交易信息，通過(guò)古諾博弈對(duì)信息不斷進(jìn)行迭代，幫助發(fā)電商制定最優(yōu)決策方案。主從博弈[14]是剖析決策者與響應(yīng)者之間存在先后決策順序的有效模型，文獻(xiàn)[15]根據(jù)負(fù)荷和電源雙重特性，分別建立購(gòu)售電雙方支付函數(shù)，建立多虛擬電廠參與電力市場(chǎng)時(shí)的雙層模型，上層建立多虛擬電廠主從博弈競(jìng)價(jià)模型，制定直接交易電量策略，下層考慮各虛擬電廠總成本最低得到最優(yōu)響應(yīng)功率。傳統(tǒng)電力市場(chǎng)博弈模型，各主體都有各自的優(yōu)化目標(biāo)函數(shù)，需要滿足各自利益最優(yōu)來(lái)達(dá)到納什均衡，但互聯(lián)微電網(wǎng)復(fù)雜的系統(tǒng)結(jié)構(gòu)和數(shù)學(xué)模型以及全局信息獲取不足等因素，為納什均衡求解帶來(lái)了諸多困難，使模型收斂效率較低且不穩(wěn)定[16]。

基于數(shù)據(jù)驅(qū)動(dòng)的深度強(qiáng)化學(xué)習(xí)方法其具有從高維度、非線性狀態(tài)空間中提取高階數(shù)據(jù)的挖掘能力，為求解復(fù)雜博弈模型提供了思路[17]。文獻(xiàn)[18]建立了運(yùn)營(yíng)商和多虛擬電廠的一主多從博弈模型，通過(guò)Kriging元模型模擬虛擬電廠能量?jī)?nèi)部管理行為，根據(jù)動(dòng)態(tài)定價(jià)合理安排內(nèi)部各分布式能源出力；文獻(xiàn)[19]中各發(fā)電商不需要獲取競(jìng)爭(zhēng)對(duì)手的利潤(rùn)函數(shù)等信息，在不完全信息博弈過(guò)程中，通過(guò)Qlearning方法對(duì)發(fā)電歷史數(shù)據(jù)和自身的經(jīng)驗(yàn)來(lái)進(jìn)行訓(xùn)練學(xué)習(xí)，從而確定最優(yōu)的行動(dòng)策略；文獻(xiàn)[20]針對(duì)日前電力市場(chǎng)中發(fā)電商投標(biāo)人的競(jìng)價(jià)問(wèn)題，采用多智能體深度確定性策略梯度方法逼近各發(fā)電商博弈行為的納什均衡，為各發(fā)電商制定最優(yōu)競(jìng)價(jià)策略。

鑒于以上問(wèn)題，本文提出了基于圖卷積神經(jīng)網(wǎng)絡(luò)與長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)GCN-LSTM（graph convolution neural network-long short-term memory network）時(shí)空預(yù)測(cè)算法的多微電網(wǎng)市場(chǎng)主從博弈均衡策略，并證明了包含多微電網(wǎng)市場(chǎng)各參與主體主從博弈模型存在納什均衡解。為了更好地實(shí)現(xiàn)兩階段主從博弈模型求解，通過(guò)圖卷積神經(jīng)網(wǎng)絡(luò)提取到的市場(chǎng)交易信息構(gòu)成時(shí)間序列數(shù)據(jù)輸入長(zhǎng)短時(shí)循環(huán)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，確定市場(chǎng)各主體最優(yōu)報(bào)價(jià)策略并下發(fā)到微電網(wǎng)實(shí)時(shí)調(diào)控層，根據(jù)報(bào)價(jià)策略進(jìn)行微電網(wǎng)內(nèi)報(bào)價(jià)及設(shè)備出力調(diào)整，并將調(diào)控結(jié)果反饋給決策層，通過(guò)兩階段相互迭代求解多微電網(wǎng)市場(chǎng)最優(yōu)報(bào)價(jià)策略，實(shí)現(xiàn)多微電網(wǎng)市場(chǎng)主從博弈均衡運(yùn)行優(yōu)化。最后，通過(guò)算例分析表明，所提方法有優(yōu)越的能源整合和盈利能力，通過(guò)改變多微電網(wǎng)市場(chǎng)內(nèi)部多種新能源互補(bǔ)配置，更好地適應(yīng)市場(chǎng)環(huán)境的改變。

1 基于深度強(qiáng)化學(xué)習(xí)的多微電網(wǎng)市場(chǎng)博弈運(yùn)行架構(gòu)

1.1 基于GCN-LSTM的多微電網(wǎng)市場(chǎng)時(shí)空預(yù)測(cè)方法

利用圖卷積神經(jīng)網(wǎng)絡(luò)將多微電網(wǎng)互聯(lián)電力市場(chǎng)空間聯(lián)絡(luò)拓?fù)鋱D抽象為圖模型G=（V，E），各個(gè)微電網(wǎng)被抽象為圖模型中的節(jié)點(diǎn)集合V，并對(duì)其編號(hào)①、②、…、⑧。以各微電網(wǎng)內(nèi)分布式電源出力、負(fù)荷需求量以及日前邊際電價(jià)等信息作為相應(yīng)圖節(jié)點(diǎn)的特征向量，將連接各個(gè)微電網(wǎng)的聯(lián)絡(luò)線抽象為圖模型中的邊集合E，通過(guò)邊集合實(shí)現(xiàn)市場(chǎng)信息、價(jià)格、能源調(diào)控配置等數(shù)據(jù)在各節(jié)點(diǎn)間的信息傳遞。如圖1所示，GCN-layer提取多微電網(wǎng)空間特征主要以某節(jié)點(diǎn)為中心，對(duì)相鄰節(jié)點(diǎn)信息進(jìn)行提取，單層GCN只能取一階相鄰節(jié)點(diǎn)數(shù)據(jù)，比如以節(jié)點(diǎn)①為中心提取相鄰節(jié)點(diǎn)②、③、④、⑤的特征數(shù)據(jù)，由此通過(guò)堆疊卷積神經(jīng)網(wǎng)絡(luò)卷積層數(shù)獲取全局整體節(jié)點(diǎn)特征數(shù)據(jù)[21]。

通過(guò)建立GCN圖模型對(duì)多微電網(wǎng)互聯(lián)電力市場(chǎng)進(jìn)行描述，體現(xiàn)出各微電網(wǎng)分布式電源出力、負(fù)荷需求量以及日前邊際電價(jià)等信息，受到地理環(huán)境、社會(huì)生活生產(chǎn)規(guī)律而體現(xiàn)出一定的周期性、規(guī)律性和關(guān)聯(lián)性關(guān)系，以此通過(guò)對(duì)多微電網(wǎng)市場(chǎng)歷史狀態(tài)進(jìn)行分析計(jì)算實(shí)現(xiàn)對(duì)未來(lái)電力市場(chǎng)狀態(tài)預(yù)測(cè)。本文通過(guò)圖卷積神經(jīng)網(wǎng)絡(luò)GCN（graph convolu?tion neural network）和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM（long short-term memory network）相結(jié)合構(gòu)建多微電網(wǎng)市場(chǎng)時(shí)空預(yù)測(cè)算法。LSTM主要被用于長(zhǎng)序列數(shù)據(jù)訓(xùn)練，圖1中LSTMCell為長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的1個(gè)神經(jīng)元，其包含4個(gè)神經(jīng)網(wǎng)絡(luò)層，并通過(guò)遺忘門、記憶門和輸出門實(shí)現(xiàn)神經(jīng)元中信息的刪減和增加。LSTM運(yùn)算機(jī)理本文不再贅述，見(jiàn)文獻(xiàn)[22]。

圖1 GCN-LSTM時(shí)空預(yù)測(cè)算法結(jié)構(gòu)Fig.1 Structure of GCN-LSTM spatial-temporal prediction algorithm

1.2 多互聯(lián)微電網(wǎng)市場(chǎng)兩階段博弈運(yùn)行機(jī)制

多微電網(wǎng)主要包括的各主體：多微電網(wǎng)市場(chǎng)運(yùn)營(yíng)商、微電網(wǎng)分布式發(fā)電設(shè)備、負(fù)荷聚合商和儲(chǔ)能設(shè)備，多微電網(wǎng)市場(chǎng)運(yùn)營(yíng)商負(fù)責(zé)多微電網(wǎng)各主體交易與運(yùn)營(yíng)管理；分布式電源作為源側(cè)，通過(guò)分布式風(fēng)電、微型燃?xì)廨啓C(jī)等分布式發(fā)電設(shè)備為微電網(wǎng)內(nèi)外提供穩(wěn)定可靠的電力；負(fù)荷聚合商包括固定負(fù)荷、可平移負(fù)荷及可削減負(fù)荷等，通過(guò)有償調(diào)節(jié)用能行為參與互動(dòng)響應(yīng)，充分調(diào)動(dòng)可控負(fù)荷的積極性。儲(chǔ)能設(shè)備通過(guò)充放電來(lái)補(bǔ)償分布式發(fā)電出力波動(dòng)性和不可控性，增強(qiáng)微電網(wǎng)接納分布式能源發(fā)電能力和提高能源利用效率。

如圖2多微電網(wǎng)市場(chǎng)兩階段運(yùn)行架構(gòu)所示，在多微電網(wǎng)電力市場(chǎng)中，各微電網(wǎng)作為統(tǒng)一主體參與配網(wǎng)側(cè)電力市場(chǎng)進(jìn)行交易，微電網(wǎng)運(yùn)營(yíng)商聚合自身服務(wù)范圍內(nèi)的靈活性資源，綜合分析外部不完全市場(chǎng)交易信息以及自身源荷運(yùn)行數(shù)據(jù)，確定最優(yōu)運(yùn)行策略，促進(jìn)多微電網(wǎng)市場(chǎng)能量供需平衡。多微電網(wǎng)互聯(lián)系統(tǒng)分布式調(diào)度機(jī)制主要包括兩個(gè)階段：市場(chǎng)報(bào)價(jià)決策階段和微電網(wǎng)實(shí)時(shí)調(diào)控階段。各微電網(wǎng)運(yùn)營(yíng)商在前一天上報(bào)未來(lái)24 h的發(fā)電量和報(bào)價(jià)情況，配電網(wǎng)交易中心對(duì)報(bào)價(jià)信息和系統(tǒng)運(yùn)行參數(shù)進(jìn)行綜合分析，以各微電網(wǎng)整體凈效益最大化為目標(biāo)，確定各微電網(wǎng)中標(biāo)電量和中標(biāo)價(jià)格。各微電網(wǎng)運(yùn)營(yíng)商據(jù)此優(yōu)化下一階段報(bào)價(jià)策略，多微電網(wǎng)市場(chǎng)報(bào)價(jià)階段和出清階段存在順序銜接關(guān)系，經(jīng)過(guò)兩階段循環(huán)交互，實(shí)現(xiàn)多微電網(wǎng)市場(chǎng)運(yùn)行優(yōu)化。

圖2 多微電網(wǎng)市場(chǎng)兩階段運(yùn)行架構(gòu)Fig.2 Two-stage operation framework for multimicrogrid market

2 多微電網(wǎng)市場(chǎng)兩階段主從博弈模型

2.1 多微電網(wǎng)市場(chǎng)報(bào)價(jià)決策模型

本文微電網(wǎng)內(nèi)電源出力主要以風(fēng)電出力為基準(zhǔn)場(chǎng)景，階段一為多微電網(wǎng)市場(chǎng)報(bào)價(jià)階段，各微電網(wǎng)根據(jù)自身機(jī)組運(yùn)行特性和市場(chǎng)交易規(guī)則以自身凈效益最大化為優(yōu)化目標(biāo)進(jìn)行報(bào)價(jià)，其優(yōu)化目標(biāo)函數(shù)表達(dá)式為

式中：為第k個(gè)微電網(wǎng)在t時(shí)段的凈效益函數(shù)；T為時(shí)間段，取T=24；為t時(shí)段第k個(gè)微電網(wǎng)的電能交易效益；L k,t為t時(shí)段第k個(gè)微電網(wǎng)用戶的效用函數(shù)；為t時(shí)段第k個(gè)微電網(wǎng)儲(chǔ)能系統(tǒng)的充放電成本，各表達(dá)式具體形式為

式中：、分別為t時(shí)段多微電網(wǎng)市場(chǎng)的內(nèi)部預(yù)測(cè)購(gòu)電價(jià)和售電價(jià)；、分別為t時(shí)段第k個(gè)微電網(wǎng)的購(gòu)電量和售電量。

式中：νe、αe為用戶消費(fèi)電能所獲得的滿意度系數(shù)；H為t時(shí)段微電網(wǎng)內(nèi)負(fù)荷響應(yīng)時(shí)間的集合；λe為削峰填谷單價(jià)；為t時(shí)段第k個(gè)微電網(wǎng)的預(yù)測(cè)負(fù)荷需求量；Δt為響應(yīng)的時(shí)間長(zhǎng)度；為在時(shí)刻t上報(bào)的可平移電負(fù)荷和可削減電負(fù)荷。

階段一的約束條件主要包括功率平衡約束、微電網(wǎng)與配電網(wǎng)之間功率交互功率約束、儲(chǔ)能設(shè)備充放電功率約束等，具體約束表達(dá)式如下：

式中：與分別為微電網(wǎng)在t時(shí)段的購(gòu)、售電功率的最大值；D k,t為狀態(tài)系數(shù)；為購(gòu)電狀態(tài)系數(shù)，購(gòu)電時(shí)取1，未購(gòu)電時(shí)取0；為售電系數(shù)，售電時(shí)取1，未售電時(shí)取0；分別為儲(chǔ)能裝置k在t時(shí)刻最大充放電功率；為充放電后、充放電前的儲(chǔ)能量；為儲(chǔ)能裝置充電狀態(tài)系數(shù)，充電時(shí)取1，未充電時(shí)取0；表示儲(chǔ)能裝置放電狀態(tài)系數(shù)，放電時(shí)取1，未放電時(shí)取0；ηe,d表示儲(chǔ)能裝置放電量系數(shù)；ηe,c表示儲(chǔ)能裝置放電量系數(shù)；分別為儲(chǔ)能系統(tǒng)的儲(chǔ)能量上下限。

2.2 多微電網(wǎng)市場(chǎng)實(shí)時(shí)調(diào)控主從博弈模型

在微電網(wǎng)實(shí)時(shí)調(diào)控階段，微電網(wǎng)運(yùn)營(yíng)商在考慮上層決策方案的前提下，結(jié)合自身內(nèi)部多余電量和負(fù)荷需求，以降低設(shè)備調(diào)控運(yùn)行成本為目標(biāo)，優(yōu)化微電網(wǎng)設(shè)備出力情況，目標(biāo)函數(shù)為

式中：A為實(shí)時(shí)調(diào)控時(shí)間尺度；M為分布式電源設(shè)備數(shù)量；ΔCG,up為分布式發(fā)電設(shè)備實(shí)時(shí)調(diào)控上調(diào)成本；ΔCG,down為分布式發(fā)電設(shè)備實(shí)時(shí)調(diào)控下調(diào)成本；ΔCESS為儲(chǔ)能設(shè)備實(shí)時(shí)調(diào)控成本；ΔCM為實(shí)時(shí)交易成本；分別為分布式發(fā)電設(shè)備i在t時(shí)刻的上調(diào)功率、上調(diào)單位功率成本；分別為分布式發(fā)電設(shè)備i在t時(shí)刻的下調(diào)功率和下調(diào)單位功率成本分別為儲(chǔ)能設(shè)備t時(shí)刻充放電調(diào)控功率；分別為微電網(wǎng)向外電網(wǎng)購(gòu)電和售電調(diào)整量；λM為調(diào)整電價(jià)。

為保證多微電網(wǎng)市場(chǎng)在兩階段主從博弈模型下安全運(yùn)行，需要對(duì)各微電網(wǎng)進(jìn)行安全校核。為此，結(jié)合微電網(wǎng)網(wǎng)絡(luò)約束條件，建立多微電網(wǎng)市場(chǎng)優(yōu)化運(yùn)行約束。

考慮微電網(wǎng)內(nèi)部各節(jié)點(diǎn)之間的線路功率傳輸約束，其支路潮流[23]形式為

式中：PIN,t、QIN,t分別為t時(shí)刻節(jié)點(diǎn)i的注入有功、無(wú)功功率；θij,t為t時(shí)刻節(jié)點(diǎn)ij間的相角差；N(i)為所有與節(jié)點(diǎn)i相連的節(jié)點(diǎn)集合；V j,t為t時(shí)刻節(jié)點(diǎn)j的電壓幅值；Vi,t為t時(shí)刻節(jié)點(diǎn)i的電壓幅值；gij、b ij分別為支路ij的電導(dǎo)和電納；PDGi,t、PLi,t、QDGi,t與QLi,t為t時(shí)刻分布式電源和負(fù)荷的有功、無(wú)功功率。

網(wǎng)絡(luò)安全運(yùn)行的功率傳輸需滿足的約束為

式中：P i,t為在t時(shí)刻支路i功率；為支路i最大傳輸功率。若通過(guò)支路i的潮流滿足式（9）的約束，則完成網(wǎng)絡(luò)安全驗(yàn)證，并執(zhí)行經(jīng)濟(jì)最優(yōu)策略計(jì)劃；若不滿足，則需要進(jìn)行阻塞管理措施?？紤]以上約束情況，通過(guò)計(jì)算支路i、的潮流變化靈敏度a P,i和aQ,i對(duì)功率進(jìn)行進(jìn)一步調(diào)整，調(diào)控功率表達(dá)式為

式中：Ng為微電網(wǎng)節(jié)點(diǎn)個(gè)數(shù)；ΔP i、ΔQi為節(jié)點(diǎn)i注入有功、無(wú)功調(diào)控功率。靈敏度的求解過(guò)程見(jiàn)文獻(xiàn)[24]。

3 模型求解

3.1 基于GCN-LSTM的報(bào)價(jià)策略流程

本文基于GCN-LSTM深度強(qiáng)化學(xué)習(xí)方法的多微電網(wǎng)階段一報(bào)價(jià)策略確定流程如圖3所示。

圖3 多微電網(wǎng)市場(chǎng)階段一報(bào)價(jià)策略流程Fig.3 Flow chart of quotation strategy at Stage 1 in multi-microgrid market

（1）生成狀態(tài)空間。將微電網(wǎng)發(fā)電設(shè)備出力和電價(jià)區(qū)間劃分為x段，每一段生成對(duì)應(yīng)的電量狀態(tài)空間P及電價(jià)價(jià)狀態(tài)空間S。

（2）生成策略π及選擇報(bào)價(jià)曲線。報(bào)價(jià)策略初值設(shè)置為各報(bào)價(jià)曲線的選擇概率相同，隨著交互迭代進(jìn)行，以輪盤賭的方式在報(bào)價(jià)狀態(tài)空間中隨機(jī)選取一條報(bào)價(jià)曲線并執(zhí)行。

（3）確定中標(biāo)電量p與電價(jià)s。根據(jù)所有微電網(wǎng)的報(bào)價(jià)信息，統(tǒng)籌分析各微電網(wǎng)效益，并將該中標(biāo)結(jié)果反饋給各微電網(wǎng)進(jìn)行實(shí)時(shí)調(diào)控。

（4）策略π更新評(píng)價(jià)。平均策略和當(dāng)前策略下得到的期望值評(píng)判策略優(yōu)劣。

3.2 納什均衡證明

本文納什均衡存在證明過(guò)程如下。

階段二微電網(wǎng)市場(chǎng)調(diào)控運(yùn)行優(yōu)化問(wèn)題可以描述為一個(gè)領(lǐng)導(dǎo)者（交易中心）與多個(gè)跟隨者（微電網(wǎng)運(yùn)營(yíng)商）間的一主多從的Stackelberg博弈問(wèn)題，微電網(wǎng)運(yùn)營(yíng)商通過(guò)響應(yīng)交易中心的價(jià)格信號(hào)確定其內(nèi)部最優(yōu)出力策略和負(fù)荷需求策略。

1）Stackelberg均衡存在條件一

由第2.1、2.2小節(jié)所建立的模型可知，微電網(wǎng)中各參與主體的博弈策略集合均需要滿足約束式，即滿足Stackelberg均衡存在條件一：每個(gè)參與者的策略集合都是非空且緊凸。

2）Stackelberg均衡存在條件二

在領(lǐng)導(dǎo)者（交易中心）的報(bào)價(jià)決策確定的條件下，對(duì)目標(biāo)函數(shù)式（6）分別求關(guān)于的一階偏導(dǎo)數(shù)方程，令其方程等于0，可以得到理論上的最優(yōu)值。即當(dāng)領(lǐng)導(dǎo)者的策略給定以后，所有跟隨者均存在唯一最優(yōu)解，滿足Stackelberg均衡存在條件二。

3）Stackelberg均衡存在條件三

階段一的各微電網(wǎng)市場(chǎng)效益函數(shù)（1）是在策略狀態(tài)空間內(nèi)的分段函數(shù)，且在每一個(gè)子定義域空間內(nèi)是凸函數(shù)。因此，效益函數(shù)存在局部最優(yōu)購(gòu)售電價(jià)求得局部最優(yōu)值，通過(guò)比較收益值大小，即可得到全局最優(yōu)效益，滿足Stackelberg均衡存在且唯一的條件之三。

綜上可知，本文提出的多主體主從博弈模型，存在唯一的Stakelberg均衡。

3.3 多微電網(wǎng)市場(chǎng)兩階段模型求解

鑒于多微電網(wǎng)市場(chǎng)兩階段中的決策問(wèn)題均屬于大規(guī)模非線性優(yōu)化問(wèn)題，且優(yōu)化目標(biāo)函數(shù)是二次函數(shù)，采用深度強(qiáng)化學(xué)習(xí)可以實(shí)現(xiàn)結(jié)果準(zhǔn)確的前提下的算法簡(jiǎn)化，因此，本文通過(guò)二次規(guī)劃結(jié)合深度學(xué)習(xí)訓(xùn)練方法求解，搜索Stackelberg最優(yōu)均衡策略，具體求解步驟如下。

階段一市場(chǎng)報(bào)價(jià)決策階段：

步驟1調(diào)取多微電網(wǎng)市場(chǎng)數(shù)據(jù)信息通過(guò)GCN-LSTM進(jìn)行數(shù)據(jù)挖掘優(yōu)化新能源、負(fù)荷及儲(chǔ)能設(shè)備預(yù)測(cè)信息（多微電網(wǎng)內(nèi)部購(gòu)售價(jià)、配電網(wǎng)市場(chǎng)購(gòu)售價(jià)、新能源出力、負(fù)荷需求、儲(chǔ)能計(jì)劃等），輸入訓(xùn)練模型參數(shù)；

步驟2初始化滾動(dòng)優(yōu)化訓(xùn)練模型，確定報(bào)價(jià)策略，并更新策略因子；

步驟3判斷是否滿足停止準(zhǔn)則，若滿足，則得到第一階段市場(chǎng)報(bào)價(jià)策略最優(yōu)解；若不滿足，則再一次進(jìn)行滾動(dòng)訓(xùn)練，返回步驟2，直至收斂。

階段二微電網(wǎng)實(shí)時(shí)調(diào)控階段：

步驟1微電網(wǎng)運(yùn)營(yíng)商收集微電網(wǎng)上報(bào)的下一時(shí)段新能源出力預(yù)測(cè)值、階段1滾動(dòng)優(yōu)化后確定下一時(shí)段微電網(wǎng)市場(chǎng)預(yù)測(cè)信息，輸入訓(xùn)練模型參數(shù)；

步驟2初始化微電網(wǎng)運(yùn)營(yíng)商相關(guān)參數(shù)；

步驟3微電網(wǎng)運(yùn)營(yíng)商接收交易中心的價(jià)格信號(hào)，根據(jù)其定價(jià)進(jìn)行二次規(guī)劃；

步驟4微電網(wǎng)運(yùn)營(yíng)商接收反饋的功率信號(hào)，供用關(guān)系計(jì)算其收益，進(jìn)行訓(xùn)練、動(dòng)作、評(píng)價(jià)，實(shí)現(xiàn)滾動(dòng)優(yōu)化更新；

步驟5求解相鄰兩次各博弈方當(dāng)前策略，判斷是否達(dá)到最優(yōu)策略均衡；

步驟6若滿足最優(yōu)策略組合則輸出結(jié)果，若不滿足，則返回步驟3，直至該策略組合收斂到均衡點(diǎn)。

4 算例分析

4.1 算例設(shè)計(jì)及基礎(chǔ)數(shù)據(jù)

本文將IEEE 33節(jié)點(diǎn)系統(tǒng)分解為3個(gè)微電網(wǎng)區(qū)域，其中節(jié)點(diǎn)1、節(jié)點(diǎn)6、節(jié)點(diǎn)22為連接節(jié)點(diǎn)，其具體劃分范圍如圖4所示。兩區(qū)域微電網(wǎng)間聯(lián)絡(luò)線傳輸極限為10 MW。各微電網(wǎng)設(shè)備容量配置及節(jié)點(diǎn)位置如表1所示，儲(chǔ)能設(shè)備相關(guān)參數(shù)最大和最小荷電狀態(tài)SOCmin和SOCmax如表2所示。多微電網(wǎng)市場(chǎng)設(shè)定各微電網(wǎng)的初始報(bào)價(jià)等于配電網(wǎng)市場(chǎng)節(jié)點(diǎn)邊際電價(jià)，設(shè)為0.078 3USD/（kW·h），競(jìng)價(jià)功率范圍設(shè)為0~3 MW，其他設(shè)備參數(shù)設(shè)置詳見(jiàn)文獻(xiàn)[25]。

圖4 多微電網(wǎng)市場(chǎng)IEEE 33節(jié)點(diǎn)系統(tǒng)拓?fù)銯ig.4 Topology of IEEE 33-node system in multi-microgrid market

表1 分布式設(shè)備容量配置及節(jié)點(diǎn)位置Tab.1 Capacity configuration of distributed equipment and location of nodes

表2 儲(chǔ)能設(shè)備相關(guān)參數(shù)Tab.2 Related parameters of energy storage equipment

設(shè)置學(xué)習(xí)率為0.001，設(shè)置含兩層GCN網(wǎng)絡(luò)（22，72×192）、（22，76×96），其中22為節(jié)點(diǎn)數(shù)，76為批訓(xùn)練大小，22×96為L(zhǎng)STM網(wǎng)絡(luò)隱狀態(tài)維度，全連接層輸出維度設(shè)置為1，選擇adam作為優(yōu)化訓(xùn)練器。軟件采用Python編程語(yǔ)言，硬件采用CPU i7-10700，顯卡為RTX 2060，在Windows10環(huán)境實(shí)現(xiàn)模擬測(cè)試。

4.2 算例結(jié)果分析

通過(guò)GCN-LSTM算法對(duì)各個(gè)微電網(wǎng)新能源出力、負(fù)荷等信息進(jìn)行預(yù)測(cè)，掌握市場(chǎng)供需情況，如圖5所示。選取10：00—11：00段進(jìn)行競(jìng)價(jià)分析，各微電網(wǎng)運(yùn)營(yíng)商在GCN-LSTM方法預(yù)測(cè)結(jié)果基礎(chǔ)上，更準(zhǔn)確地掌握了市場(chǎng)動(dòng)態(tài)，僅在5次競(jìng)價(jià)后市場(chǎng)達(dá)到均衡，且各微電網(wǎng)運(yùn)營(yíng)商報(bào)價(jià)均高于市場(chǎng)的節(jié)點(diǎn)邊際電價(jià)，微電網(wǎng)運(yùn)營(yíng)商1報(bào)價(jià)最高為0.082 9$/（kW·h）；微電網(wǎng)運(yùn)營(yíng)商3報(bào)價(jià)次之為0.080$/（kW·h）；微電網(wǎng)運(yùn)營(yíng)商2報(bào)價(jià)最低，為0.078 5$/（kW·h），如圖6所示。以上價(jià)格為此時(shí)段的市場(chǎng)出清電價(jià)。

圖5 各微電網(wǎng)典型日24 h源荷預(yù)測(cè)情況Fig.5 Source and load prediction of each microgrid in 24 h on typical day

圖6 多微電網(wǎng)市場(chǎng)競(jìng)價(jià)曲線Fig.6 Bidding curve in multi-microgrid market

基于階段一決策優(yōu)化結(jié)果，不平衡的微電網(wǎng)參與到多區(qū)域微電網(wǎng)市場(chǎng)主從博弈優(yōu)化運(yùn)行中，如圖7所示，從各微電網(wǎng)整體趨勢(shì)上看，各個(gè)微電網(wǎng)的分布式電源出力與負(fù)荷情況各有不同，各微電網(wǎng)與外部電網(wǎng)進(jìn)行電量交互情況也存在差異。圖7中與配電網(wǎng)市場(chǎng)交互電量正值為微電網(wǎng)向外賣電來(lái)獲取經(jīng)濟(jì)收益，交互負(fù)值為從外界電網(wǎng)購(gòu)電來(lái)滿足自身負(fù)荷需求；儲(chǔ)能正值為給自身充電，負(fù)值為向外放電。從圖7中可以看出MG1大部分時(shí)間都在向外界輸送電量，例如，在0時(shí)段至7時(shí)間段內(nèi)，MG1多向外輸送電量，為MG2、MG3儲(chǔ)能設(shè)備充電，并滿足當(dāng)?shù)刎?fù)荷需求，其原因主要是MG1內(nèi)風(fēng)電和光伏裝機(jī)容量較大，風(fēng)電和光伏機(jī)組出力在較好滿足本區(qū)域微電網(wǎng)的負(fù)荷需求基礎(chǔ)上，將過(guò)剩的電量向外界輸送獲取經(jīng)濟(jì)收益；MG2、MG3則更多的需要從外界購(gòu)電來(lái)滿足各自區(qū)域內(nèi)的負(fù)荷需求。在大部分的時(shí)間內(nèi)，各個(gè)微電網(wǎng)市場(chǎng)之間都是在互補(bǔ)支撐運(yùn)行，體現(xiàn)本文所提方法在對(duì)多微電網(wǎng)市場(chǎng)協(xié)調(diào)博弈競(jìng)爭(zhēng)方面的優(yōu)勢(shì)。

圖7 各微電網(wǎng)主從博弈實(shí)時(shí)調(diào)控優(yōu)化情況Fig.7 Real-time scheduling and optimization of masterslave game of each microgrid

在階段一確定了市場(chǎng)各主體最優(yōu)決策策略，各微電網(wǎng)通過(guò)本文所提主從博弈模型進(jìn)行實(shí)時(shí)調(diào)控，其實(shí)時(shí)調(diào)控效果如圖8所示，除了在時(shí)段8本文所提實(shí)時(shí)調(diào)控出力與實(shí)際出力出現(xiàn)較大偏差，其余時(shí)段均實(shí)現(xiàn)了較高準(zhǔn)確度實(shí)時(shí)調(diào)控，滿足了多微電網(wǎng)市場(chǎng)功率調(diào)控能夠跟隨微電網(wǎng)市場(chǎng)實(shí)際調(diào)控需求。

圖8 多微電網(wǎng)市場(chǎng)整體功率實(shí)時(shí)調(diào)控效果對(duì)比Fig.8 Comparison of real-time scheduling effect on overall power in multi-microgrid market

為了驗(yàn)證本文所提方法帶來(lái)的收益增加，對(duì)兩種方案下的各微電網(wǎng)經(jīng)濟(jì)收益做出了對(duì)比，方案1為多微電網(wǎng)市場(chǎng)主從博弈機(jī)制；方案2為各微電網(wǎng)僅以合作模式參與市場(chǎng)，如表3所示。各微電網(wǎng)運(yùn)行收益方面，方案1收益均高于方案2，方案1能更準(zhǔn)確的把握市場(chǎng)運(yùn)行狀態(tài)，更精確制定各微電網(wǎng)內(nèi)調(diào)控策略，降低各分布式設(shè)備調(diào)控成本。

表3 不同方案下的效益Tab.3 Benefits in different schemes

文中所提方法與其他預(yù)測(cè)算法的價(jià)格預(yù)測(cè)結(jié)果對(duì)比情況如表4所示，其中RMSE表示預(yù)測(cè)值與實(shí)際值均方根誤差、MAE表示預(yù)測(cè)值與實(shí)際平均絕對(duì)誤差、R2表示預(yù)測(cè)值與實(shí)際值的相似程度。由表4可以看出文中所提方法RMSE、MAE的計(jì)算值較其他兩種算法均有下降，R2有明顯提升，驗(yàn)證了本文所提方法的有效性和準(zhǔn)確性。

表4 文中所提預(yù)測(cè)算法與其他算法的價(jià)格預(yù)測(cè)結(jié)果Tab.4 Price prediction results of the proposed prediction algorithm and other algorithms

5 結(jié)語(yǔ)

本文提出了提出基于GCN-LSTM時(shí)空預(yù)測(cè)算法的多微電網(wǎng)市場(chǎng)主從博弈均衡運(yùn)行優(yōu)化方法，該方法在一定程度上解決了傳統(tǒng)博弈論方法存在高維度、非線性的問(wèn)題，也有助于各微電網(wǎng)制定最優(yōu)的報(bào)價(jià)決策策略。將多微電網(wǎng)市場(chǎng)中各主體間的相互作用構(gòu)建兩階段滾動(dòng)優(yōu)化模型，通過(guò)兩階段模型相互迭代求解確定了多微電網(wǎng)市場(chǎng)最優(yōu)報(bào)價(jià)策略，實(shí)現(xiàn)多微電網(wǎng)市場(chǎng)博弈均衡運(yùn)行優(yōu)化。最后通過(guò)算例分析表明，本文所提方法能有效的提高了新能源消納率，增加微電網(wǎng)市場(chǎng)各競(jìng)價(jià)微電網(wǎng)經(jīng)濟(jì)效益。