王 波，王紅霞，姚良忠，董旭柱，馬恒瑞，馬富齊

（1. 武漢大學(xué)電氣與自動化工程學(xué)院，湖北省武漢市 430072；2. 青海大學(xué)新能源光伏產(chǎn)業(yè)研究中心，青海省西寧市 810016）

0 引言

隨著能源轉(zhuǎn)型和信息化建設(shè)的推進［1］，電力系統(tǒng)中源網(wǎng)儲荷各環(huán)節(jié)深度交互，多元異質(zhì)能量流和由數(shù)據(jù)構(gòu)成的信息流深度耦合，其分析必須由傳統(tǒng)的孤立分析方式向各環(huán)節(jié)的協(xié)同分析轉(zhuǎn)變［1-2］。在此背景下，以數(shù)字化為抓手，以數(shù)據(jù)為核心生產(chǎn)要素，通過多模態(tài)數(shù)據(jù)融合技術(shù)實現(xiàn)多種異質(zhì)網(wǎng)絡(luò)協(xié)同分析、提高系統(tǒng)中各環(huán)節(jié)可觀可控性，是提升電力系統(tǒng)運行安全性及可靠性的有效途徑。

從數(shù)據(jù)感知的角度來看，電力物聯(lián)網(wǎng)［3］和數(shù)字電網(wǎng)［4］的建設(shè)使得電力系統(tǒng)中的數(shù)據(jù)具有新的形態(tài):一方面，電力系統(tǒng)內(nèi)大量布置的各種類型的傳感器將產(chǎn)生海量與電力業(yè)務(wù)相關(guān)的數(shù)據(jù)，涉及到電力、非電力等不同的來源，且以數(shù)字、圖像、文本等不同的形式表示；另一方面，大數(shù)據(jù)、云平臺等技術(shù)的發(fā)展使得不同領(lǐng)域、業(yè)務(wù)之間的數(shù)據(jù)壁壘被打通，數(shù)據(jù)共享更為便利，與電力業(yè)務(wù)相關(guān)的數(shù)據(jù)來源將更加廣泛和多元，電力系統(tǒng)中的數(shù)據(jù)將呈現(xiàn)空（衛(wèi)星遙感）-天（無人機巡檢）-地（各類電力量測系統(tǒng)）-海（海上風(fēng)電）全覆蓋和全采集的局面，其多類型、多結(jié)構(gòu)以及多來源的形態(tài)（多模態(tài)形態(tài)）為應(yīng)對電力系統(tǒng)的各類挑戰(zhàn)［5-6］提供了全面有效的數(shù)據(jù)基礎(chǔ)。

從數(shù)據(jù)利用和融合的角度來看，對多模態(tài)數(shù)據(jù)進行關(guān)聯(lián)和綜合分析，實現(xiàn)各個環(huán)節(jié)各類場景的準(zhǔn)確、統(tǒng)一和全面感知（即數(shù)據(jù)融合），是實現(xiàn)電力系統(tǒng)全可觀和全可控的重要基礎(chǔ)支撐。但目前多模態(tài)數(shù)據(jù)融合仍處于初級階段:一方面，當(dāng)前多模態(tài)數(shù)據(jù)融合所涉及的數(shù)據(jù)類型較為單一，數(shù)據(jù)處理手段仍不成熟，以單一的結(jié)構(gòu)化數(shù)據(jù)和較為簡單的決策級融合為主［7-8］，難以適應(yīng)跨類型、高精度數(shù)據(jù)分析的要求；另一方面，當(dāng)前多模態(tài)數(shù)據(jù)融合多集中于相同的域內(nèi)，涉及范圍較為有限，如針對“源”的出力預(yù)測［9-10］、針對“網(wǎng)”的穩(wěn)定性分析［11-12］等，對跨能源域、信息域等不同網(wǎng)間的融合分析不足［13-15］?？梢?，現(xiàn)有多模態(tài)數(shù)據(jù)融合及利用的概念、技術(shù)手段和跨域支撐能力有限，須進一步發(fā)掘其作為重要生產(chǎn)要素的潛在價值［1］。

基于此，本文首先對電力系統(tǒng)多模態(tài)數(shù)據(jù)的概念進行剖析，將多模態(tài)數(shù)據(jù)融合擴展到網(wǎng)內(nèi)融合和網(wǎng)間融合。然后，基于對研究方法及場景的總結(jié)，對2 類融合的融合模式進行劃分，對存在的關(guān)鍵問題進行總結(jié)，并給出了相應(yīng)的解決思路。最后，對本文所做工作進行了總結(jié)，并對電力系統(tǒng)多模態(tài)數(shù)據(jù)融合進行了展望。

1 電力系統(tǒng)多模態(tài)數(shù)據(jù)及多模態(tài)數(shù)據(jù)融合

電力物聯(lián)網(wǎng)和數(shù)字電網(wǎng)建設(shè)下，電力系統(tǒng)中的數(shù)據(jù)為多模態(tài)數(shù)據(jù)，對多模態(tài)數(shù)據(jù)進行融合利用是發(fā)揮其核心生產(chǎn)要素作用的關(guān)鍵?；诖耍菊轮饕卮鹨韵? 個問題:1）什么是電力系統(tǒng)多模態(tài)數(shù)據(jù)？2）電力系統(tǒng)為什么要進行多模態(tài)數(shù)據(jù)融合？3）電力系統(tǒng)多模態(tài)數(shù)據(jù)融合體系是什么？

1.1 電力系統(tǒng)多模態(tài)數(shù)據(jù)

模態(tài)是指某種事物發(fā)生或經(jīng)歷的方式，即每一種信息的來源或者形態(tài)都可稱為一種模態(tài)［16-17］，電力系統(tǒng)多模態(tài)數(shù)據(jù)就是與電力業(yè)務(wù)相關(guān)的，來自不同領(lǐng)域、不同環(huán)節(jié)，具有不同形式、結(jié)構(gòu)的數(shù)據(jù)，如圖1 所示。本節(jié)將從數(shù)據(jù)來源、數(shù)據(jù)類型和數(shù)據(jù)結(jié)構(gòu)3 個方面對電力系統(tǒng)多模態(tài)數(shù)據(jù)進行描述。

圖1 電力系統(tǒng)多模態(tài)數(shù)據(jù)Fig.1 Multi-modal data of power systems

1.1.1 多模態(tài)數(shù)據(jù)的來源

電力系統(tǒng)多模態(tài)數(shù)據(jù)具有廣泛的來源。從電力系統(tǒng)內(nèi)部來說，其不斷發(fā)展使得傳感器數(shù)量和類型大大增加，業(yè)務(wù)之間的互聯(lián)互通進一步增強，極大地擴展了數(shù)據(jù)的來源；從電力系統(tǒng)外部來說，廣泛接入的新能源、電動汽車等使得電力系統(tǒng)的開放性進一步增加，來自交通系統(tǒng)、衛(wèi)星遙感系統(tǒng)、天氣系統(tǒng)、社會系統(tǒng)等外部系統(tǒng)的數(shù)據(jù)進一步豐富了電力系統(tǒng)數(shù)據(jù)的來源。

與此同時，從網(wǎng)的角度來看，與電網(wǎng)具有能量交互的多種能源網(wǎng)和與電網(wǎng)具有信息交互的各類信息網(wǎng)在網(wǎng)絡(luò)結(jié)構(gòu)、功能控制等方面與電網(wǎng)有著深度耦合關(guān)系。具體地說，電網(wǎng)作為整個能源鏈樞紐及能源變革核心環(huán)節(jié)，通過天然氣管道、熱力管道等與天然氣網(wǎng)、熱力網(wǎng)等不同的能源網(wǎng)相耦合［18］，通過電動汽車充電樁與交通網(wǎng)耦合［19］，通過信息控制與能源供給關(guān)系與其自身的信息網(wǎng)耦合［20-21］?？梢?，能源轉(zhuǎn)型下的電網(wǎng)是多網(wǎng)耦合的電網(wǎng)，將不同的網(wǎng)絡(luò)抽象為具有不同結(jié)構(gòu)、屬性和運行數(shù)據(jù)的網(wǎng)絡(luò)數(shù)據(jù)，并通過網(wǎng)絡(luò)數(shù)據(jù)的分析實現(xiàn)網(wǎng)絡(luò)耦合關(guān)系的挖掘，具有重要意義。

1.1.2 多模態(tài)數(shù)據(jù)的類型

從數(shù)據(jù)類型來看，電力系統(tǒng)多模態(tài)數(shù)據(jù)具有多種數(shù)據(jù)類型，本文參照文獻［22］從業(yè)務(wù)領(lǐng)域角度將多模態(tài)數(shù)據(jù)分為規(guī)劃運行數(shù)據(jù)、運營數(shù)據(jù)、管理數(shù)據(jù)、非電能源數(shù)據(jù)以及非能源數(shù)據(jù)，如圖1 所示。同時，還可根據(jù)時間尺度將多模態(tài)數(shù)據(jù)劃分為歷史數(shù)據(jù)和實時數(shù)據(jù)；根據(jù)數(shù)據(jù)來源將多模態(tài)數(shù)據(jù)劃分為仿真數(shù)據(jù)和量測數(shù)據(jù)。

1.1.3 多模態(tài)數(shù)據(jù)的結(jié)構(gòu)

電力系統(tǒng)多模態(tài)數(shù)據(jù)的結(jié)構(gòu)十分豐富，包括:1）結(jié)構(gòu)化數(shù)據(jù)，如來自電力系統(tǒng)的電氣量、來自社會系統(tǒng)的經(jīng)濟數(shù)據(jù)以及來自天氣系統(tǒng)的氣象參量等；2）非結(jié)構(gòu)化數(shù)據(jù)，如各種圖像、視頻以及試驗文本數(shù)據(jù)等；3）半結(jié)構(gòu)化數(shù)據(jù)，如網(wǎng)頁數(shù)據(jù)［23-24］等。

綜上，電力系統(tǒng)多模態(tài)數(shù)據(jù)在數(shù)據(jù)來源、數(shù)據(jù)類型以及數(shù)據(jù)結(jié)構(gòu)上具有廣泛和多元的特點，其可能來自不同的領(lǐng)域，承擔(dān)著不同的角色，且以不同的結(jié)構(gòu)、形式進行表征，包含著十分豐富的知識，需要進行有效分析和利用，從而發(fā)揮其核心生產(chǎn)要素作用。

1.2 電力系統(tǒng)多模態(tài)數(shù)據(jù)融合

1.2.1 多模態(tài)數(shù)據(jù)融合的目的及意義

對電力系統(tǒng)豐富的多模態(tài)數(shù)據(jù)進行有效融合是發(fā)揮其核心生產(chǎn)要素作用的關(guān)鍵之一。

一方面，多模態(tài)數(shù)據(jù)融合將助力源網(wǎng)儲荷各個環(huán)節(jié)各類場景的準(zhǔn)確和全面性分析，如源端的風(fēng)電［9］、光伏出力預(yù)測［10］，網(wǎng)中的輸電線路狀態(tài)監(jiān)測［25］，儲端的儲能電池荷電狀態(tài)感知［26］以及荷端的負(fù)荷預(yù)測［27］等。將多模態(tài)數(shù)據(jù)進行融合能夠使其相互補充和增強，從而有效提高目標(biāo)感知的精確性。同時，當(dāng)某一類或幾類數(shù)據(jù)由于感知終端老化、通信故障等出現(xiàn)偏差時，仍有其他數(shù)據(jù)作為補充，使得感知方法仍然有效，能夠一定程度上提高感知的容錯性［7-8，28］。

另一方面，多模態(tài)數(shù)據(jù)融合將助力復(fù)雜網(wǎng)絡(luò)耦合關(guān)系的分析。能源轉(zhuǎn)型及數(shù)字化背景下，電力系統(tǒng)是源網(wǎng)荷儲深度耦合，各種能源網(wǎng)、交通網(wǎng)、信息網(wǎng)高度交互的電力系統(tǒng)，其在結(jié)構(gòu)、運行方式以及交互關(guān)系上更加復(fù)雜，傳統(tǒng)孤立的網(wǎng)絡(luò)分析方法不再適用。因此，充分利用來自不同網(wǎng)絡(luò)的多模態(tài)數(shù)據(jù)，從全局統(tǒng)一的角度將復(fù)雜的依賴關(guān)系映射至數(shù)據(jù)融合及分析中，從而充分挖掘網(wǎng)絡(luò)之間的依賴和耦合關(guān)系，有利于多網(wǎng)之間的協(xié)同。

綜上，多模態(tài)數(shù)據(jù)融合以多模態(tài)數(shù)據(jù)為基礎(chǔ)，以對被分析對象的整體性、統(tǒng)一性和全局性分析為實現(xiàn)途徑，通過源網(wǎng)荷儲各環(huán)節(jié)的高精確性、高容錯性分析以及多網(wǎng)之間的有效協(xié)同，實現(xiàn)電力系統(tǒng)全面可觀可控的整體目標(biāo)。

1.2.2 電力系統(tǒng)多模態(tài)數(shù)據(jù)融合框架

根據(jù)數(shù)據(jù)形式以及融合目的，本文將電力系統(tǒng)多模態(tài)數(shù)據(jù)融合分為網(wǎng)內(nèi)融合和網(wǎng)間融合。其中，網(wǎng)內(nèi)融合的定義為:以多種類型、結(jié)構(gòu)或來源的多模態(tài)數(shù)據(jù)為輸入，通過對其進行綜合分析，實現(xiàn)對源網(wǎng)儲荷各個環(huán)節(jié)、各類場景的準(zhǔn)確、統(tǒng)一和全面的描述性、預(yù)測性和決策性分析的手段或方法。網(wǎng)間融合的定義為:以網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)屬性及網(wǎng)絡(luò)運行數(shù)據(jù)等多模態(tài)網(wǎng)絡(luò)數(shù)據(jù)為輸入，通過對其進行綜合分析，實現(xiàn)網(wǎng)絡(luò)間的關(guān)聯(lián)及協(xié)同運行分析。網(wǎng)間融合主要包括以電網(wǎng)為主的能源網(wǎng)、交通網(wǎng)、信息網(wǎng)中的2 類及以上網(wǎng)絡(luò)的融合分析。其中，能源網(wǎng)包括電網(wǎng)、熱網(wǎng)、天然氣網(wǎng)等，由于各個網(wǎng)絡(luò)的能量類型、能量流動方式以及時間尺度等屬性具有差異性，故稱為異質(zhì)能源網(wǎng)。

以上通過數(shù)據(jù)融合實現(xiàn)目標(biāo)的過程可稱為目標(biāo)感知過程，電力系統(tǒng)多模態(tài)數(shù)據(jù)融合如圖2 所示。本文將對網(wǎng)內(nèi)融合和網(wǎng)間融合的融合模式、研究現(xiàn)狀以及所存在的關(guān)鍵問題進行總結(jié)，并給出相應(yīng)的解決思路。

圖2 電力系統(tǒng)多模態(tài)數(shù)據(jù)融合Fig.2 Multi-modal date fusion of power system

2 網(wǎng)內(nèi)融合

電力系統(tǒng)中的網(wǎng)內(nèi)多模態(tài)數(shù)據(jù)融合是多方面、全方位的數(shù)據(jù)融合。目前，網(wǎng)內(nèi)多模態(tài)數(shù)據(jù)融合已有初步應(yīng)用［8］，但仍有一些特殊問題需要進一步研究。本章首先對網(wǎng)內(nèi)融合模式進行描述，然后對現(xiàn)有網(wǎng)內(nèi)融合存在的關(guān)鍵問題進行總結(jié)，并給出相應(yīng)的技術(shù)解決框架。

2.1 網(wǎng)內(nèi)融合模式

從融合的層次來看，網(wǎng)內(nèi)多模態(tài)數(shù)據(jù)融合可分為數(shù)據(jù)級、特征級和決策級［7-8，28］3 類。需要指出的是，各層次融合之間沒有明顯的界限，在應(yīng)用過程中可能會根據(jù)需要對不同的融合模式進行組合。

2.1.1 數(shù)據(jù)級融合

如附錄A 圖A1 所示，數(shù)據(jù)級融合是數(shù)據(jù)層次的融合，其首先對多模態(tài)數(shù)據(jù)進行融合，然后基于融合后的數(shù)據(jù)進行特征提取和目標(biāo)感知。融合過程中可根據(jù)數(shù)據(jù)類型、融合場景等選擇較為簡單的數(shù)據(jù)拼接［9］或是較為復(fù)雜的點估計［29］等，融合后也可使用不同的方法進行進一步的特征提取及目標(biāo)感知，但在數(shù)據(jù)層次進行融合是數(shù)據(jù)級融合的共同特征。

數(shù)據(jù)級融合往往要求融合的數(shù)據(jù)具有相同的數(shù)據(jù)格式，如基于數(shù)據(jù)級融合對結(jié)構(gòu)化的廣域測量系統(tǒng)（wide area measurement system，WAMS）和數(shù)據(jù)采 集 與 監(jiān) 控（supervisory control and data acquisition，SCADA）系統(tǒng)數(shù)據(jù)進行融合，從而實現(xiàn)電網(wǎng)的狀態(tài)評估［29］；對非結(jié)構(gòu)化的電力設(shè)備可見光和紅外圖像數(shù)據(jù)［30］進行融合，從而實現(xiàn)細節(jié)清晰、分辨率較高的電力設(shè)備圖像呈現(xiàn)。與此同時，數(shù)據(jù)級融合信息損失量較低，適用于數(shù)據(jù)質(zhì)量較高、感知精確性要求較高的場合。

2.1.2 特征級融合

如附錄A 圖A2 所示，特征級融合是特征層次的融合，其首先依據(jù)數(shù)據(jù)特征、物理含義及融合目標(biāo)等對多模態(tài)數(shù)據(jù)進行特征提??；然后，對不同的特征進行融合；最后，對融合后的特征進行進一步分析，獲得對目標(biāo)對象的統(tǒng)一解釋。其中，特征提取、特征融合及目標(biāo)感知方法因數(shù)據(jù)格式、場景、融合目的及精確性要求等不同而不同［8，28］，如針對圖像數(shù)據(jù)提取其紋理、動態(tài)特征，針對結(jié)構(gòu)化電流數(shù)據(jù)提取其小波、信息熵特征等。

相較于數(shù)據(jù)級融合，特征級融合在特征層次進行融合，其信息損失量較大，精確性較低，但適用范圍較廣，可用于同構(gòu)數(shù)據(jù)和異構(gòu)數(shù)據(jù)的融合。同構(gòu)數(shù)據(jù)融合包括基于電流幅值畸變度、故障能值等電氣量特征以及開關(guān)量信息特征融合的電網(wǎng)故障診斷［31］等；異構(gòu)數(shù)據(jù)的融合包括基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）特征的非結(jié)構(gòu)化覆冰圖像和結(jié)構(gòu)化應(yīng)力數(shù)據(jù)融合［7］等。

2.1.3 決策級融合

如附錄A 圖A3 所示，決策級融合是決策層次的融合，其通過對不同決策結(jié)果的綜合實現(xiàn)多模態(tài)數(shù)據(jù)的融合，可以是對同一組模態(tài)數(shù)據(jù)、不同決策結(jié)果的融合［32］（見圖A3（a）），也可以是對不同模態(tài)數(shù)據(jù)、不同決策結(jié)果的融合［33］（見圖A3（b））。

該層次的融合可看作是一種投票機制，每類數(shù)據(jù)源或決策方式先獨自做出決策，然后以特定的融合機制對所有決策進行綜合，得到最終的結(jié)果，如基于層次分析法的電網(wǎng)狀態(tài)感知、基于貝葉斯網(wǎng)絡(luò)的故障檢測等。決策級融合對數(shù)據(jù)的采樣頻率、數(shù)據(jù)結(jié)構(gòu)等要求較低，適用范圍廣泛，但其信息損失量較大，精確率較低。

2.2 網(wǎng)內(nèi)融合關(guān)鍵技術(shù)問題

基于2.1 節(jié)所述的3 個層次的融合模式，目前電力系統(tǒng)中的網(wǎng)內(nèi)融合已取得初步的應(yīng)用成果，但是隨著電力系統(tǒng)中多模態(tài)數(shù)據(jù)的數(shù)據(jù)形式、數(shù)據(jù)來源以及數(shù)據(jù)結(jié)構(gòu)的不斷豐富，仍存在多結(jié)構(gòu)融合和多時間尺度融合2 個關(guān)鍵問題待解決。

2.2.1 多結(jié)構(gòu)融合

電力系統(tǒng)多模態(tài)數(shù)據(jù)是具有多種結(jié)構(gòu)的多模態(tài)數(shù)據(jù)，包括來自不同領(lǐng)域、不同業(yè)務(wù)的結(jié)構(gòu)化時間序列數(shù)據(jù)，非結(jié)構(gòu)化圖像、視頻及文本數(shù)據(jù)等。如何對具有不同形式的多結(jié)構(gòu)化數(shù)據(jù)進行有效融合，是需要研究的關(guān)鍵技術(shù)問題。

目前，電力多模態(tài)數(shù)據(jù)融合多集中在對結(jié)構(gòu)化數(shù)據(jù)的融合方面，其融合數(shù)據(jù)源主要包括來自WAMS、SCADA 系統(tǒng)、配電自動化等系統(tǒng)的電氣量和開關(guān)量數(shù)據(jù)［29，32，34］，以及來自各類傳感器的微氣象［7］和狀態(tài)監(jiān)測參量［35］等。盡管這些數(shù)據(jù)在物理意義和量綱上不同，但由于數(shù)據(jù)形式相同，可以看作是同一坐標(biāo)體系下的參量，融合難度相對較小。

多結(jié)構(gòu)數(shù)據(jù)融合以結(jié)構(gòu)形式、物理意義不同的數(shù)據(jù)為輸入，由于各參量的表征空間不同，難以進行統(tǒng)一描述，融合難度大，故目前電力多結(jié)構(gòu)數(shù)據(jù)融合正在起步階段，且以融合難度最小、信息損失量最大的決策級融合為主［25，33］，跨類型、多維度的數(shù)據(jù)分析技術(shù)薄弱，狀態(tài)量間的關(guān)聯(lián)分析挖掘能力不足。以輸電線路的覆冰監(jiān)測為例［7］，當(dāng)前的技術(shù)手段以單獨的傳感器數(shù)據(jù)［36-37］或圖像數(shù)據(jù)［38］輸入感知為主，少有基于2 類數(shù)據(jù)融合的感知方法，感知的精確性和容錯性均無法保證。同時，在某些情況下，單一結(jié)構(gòu)的數(shù)據(jù)僅描述目標(biāo)某一維度的特征，無法獨自做出決策，故必須進行較為底層的特征級融合。如基于紅外圖像的絕緣子污穢等級感知中，溫度、濕度條件與泄漏電流的熱效應(yīng)存在復(fù)雜的非線性關(guān)系，故用紅外圖像進行污穢等級感知時，需要對紅外圖像、溫度、濕度等多結(jié)構(gòu)化數(shù)據(jù)進行融合，單獨基于紅外圖像的感知精確性較低，單獨基于氣象數(shù)據(jù)的感知無效［7］。

因此，對多結(jié)構(gòu)化數(shù)據(jù)進行有效的、較為底層的融合，從而充分挖掘不同向量空間的信息，使不同結(jié)構(gòu)的數(shù)據(jù)相互補充和增強，是電力系統(tǒng)多模態(tài)數(shù)據(jù)融合需要研究的關(guān)鍵技術(shù)問題之一。

2.2.2 多時間尺度融合

不同的感知終端或者數(shù)據(jù)采集系統(tǒng)具有不同的采樣頻率，其產(chǎn)生的多模態(tài)數(shù)據(jù)具有多時間尺度，無法直接進行融合。在電力系統(tǒng)的穩(wěn)定性分析中［29］，WAMS 可提供有效數(shù)據(jù)基礎(chǔ)，即具有50～100 幀/s刷新頻率的高采樣率同步數(shù)據(jù)［39］，但其在實際應(yīng)用中部署有限，提供的數(shù)據(jù)量也有限，須通過融合SCADA 系統(tǒng)數(shù)據(jù)進行有效增強，從而實現(xiàn)電網(wǎng)的全面可觀。然而，SCADA 系統(tǒng)數(shù)據(jù)的刷新頻率為0.1～5.0 幀/s 且不帶時標(biāo)，2 類數(shù)據(jù)具有時間尺度上的差異，難以直接進行融合。

現(xiàn)有多模態(tài)融合多針對具有相同尺度的數(shù)據(jù)［40］，或采用點估計［39］、插值［41-42］等方法對低采樣率的數(shù)據(jù)進行補全并進一步分析，其面臨的問題為:高頻重構(gòu)法僅適用于電壓、電流等結(jié)構(gòu)化多模態(tài)數(shù)據(jù)的融合，而現(xiàn)有電力系統(tǒng)多模態(tài)數(shù)據(jù)已不僅限于結(jié)構(gòu)化數(shù)據(jù)，各種圖像、文本等非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生進一步擴展了多模態(tài)數(shù)據(jù)融合的內(nèi)涵，結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)融合以及非結(jié)構(gòu)化數(shù)據(jù)間的融合使得高頻重構(gòu)法不再適用。

因此，需要進一步研究不同時間尺度下結(jié)構(gòu)化數(shù)據(jù)融合、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)融合以及非結(jié)構(gòu)化數(shù)據(jù)融合問題。

2.3 網(wǎng)內(nèi)融合技術(shù)框架

針對上述多結(jié)構(gòu)融合和多時間尺度問題，本文提出如圖3 所示的網(wǎng)內(nèi)融合技術(shù)框架，其主要包含多源異構(gòu)數(shù)據(jù)輸入、時間尺度對齊、特征提取、特征同化、特征融合及分析和分析結(jié)果6 個部分。

圖3 網(wǎng)內(nèi)融合技術(shù)框架Fig.3 Framework of intra-network fusion technology

1）多源異構(gòu)數(shù)據(jù)輸入:電力系統(tǒng)的網(wǎng)內(nèi)融合輸入為多源異構(gòu)的輸入，其在數(shù)據(jù)結(jié)構(gòu)、時間尺度上都具有多種形式。

2）時間尺度對齊:針對結(jié)構(gòu)化數(shù)據(jù)的對齊，仍以高采樣率的數(shù)據(jù)為基礎(chǔ)，采用點估計或插值的方法進行高頻重構(gòu)；針對非結(jié)構(gòu)化或異構(gòu)的多模態(tài)數(shù)據(jù)，可采用時間對齊法，即以低采樣頻率為基準(zhǔn)，選取同一或相近采樣時刻的高采樣數(shù)據(jù)與之對齊，從而進行有效的融合。本文僅給出初步的思路，多結(jié)構(gòu)數(shù)據(jù)在時間尺度上的對齊仍需要根據(jù)具體情況進行研究。

3）特征提取:特征提取為根據(jù)多模態(tài)數(shù)據(jù)的格式、物理含義以及融合目的對數(shù)據(jù)進行分析的過程。根據(jù)特征提取網(wǎng)絡(luò)是否有明確的物理含義，本文將其分為2 類，即手工特征提取網(wǎng)絡(luò)和深度特征提取網(wǎng)絡(luò)。前者所提取的特征具有明確的物理含義，如對時間序列提取均值、最大值、最小值特征，對圖像提取顏色、邊角特征［43］等；后者多以特定的目標(biāo)函數(shù)指導(dǎo)網(wǎng)絡(luò)進行特征提取，所提取的特征物理含義尚不明確，如用CNN 對圖像數(shù)據(jù)進行特征提?。?］，用長短期記憶（long short-term memory，LSTM）網(wǎng)絡(luò)對時間序列進行特征提?。?］等。

4）特征同化:經(jīng)過不同特征提取后得到的多模態(tài)特征具有不同的特征描述空間，無法直接進行特征融合，因此需要將各個特征映射至同一空間或同一坐標(biāo)系，即對異構(gòu)特征向量進行同化，然后在公共子空間/子坐標(biāo)系進行特征融合。

5）本文提出2 種異類特征同化的思路:（1）分別對每種參量提取特征后，將特征向量映射至同一公共子空間，然后在公共子空間對特征向量進行融合，如圖4（a）所示；（2）以其中一種特征向量為基準(zhǔn)，將其他特征向量映射至該特征向量所在的空間，然后對同一向量空間的特征向量進行融合，如圖4（b）所示。

圖4 特征同化Fig.4 Feature assimilation

6）特征融合及分析:特征融合及分析階段是對多模態(tài)特征進行融合，并基于融合特征進一步分析，從而獲得對目標(biāo)的全面感知的過程。特征融合涉及到融合策略、融合權(quán)重以及因果關(guān)系等多方面的技術(shù)要點，需要充分考慮融合目的進行選擇，如文獻［43］采用多決策器融合的方式，文獻［44］采用基于權(quán)重的特征拼接方式，文獻［45］采用將多模態(tài)特征作為支持向量回歸（support vector regression，SVR）輸入的高維映射方式。

3 網(wǎng)間融合

網(wǎng)間融合適用于任意2 種及以上耦合網(wǎng)絡(luò)的關(guān)聯(lián)和協(xié)同關(guān)系分析。參考網(wǎng)內(nèi)融合模式的劃分方式，本章首先將網(wǎng)間融合的融合模式分為基于數(shù)學(xué)模型、基于拓?fù)浣Y(jié)構(gòu)和基于數(shù)據(jù)驅(qū)動3 類，該分類方式可大致覆蓋網(wǎng)間融合的主要場景；然后，從多能流耦合下的多屬性問題和信息物理社會融合問題方面對電力系統(tǒng)網(wǎng)間融合存在的關(guān)鍵技術(shù)問題進行總結(jié)，并給出相應(yīng)的解決思路。

3.1 網(wǎng)間融合模式

3.1.1 基于數(shù)學(xué)模型的融合

如附錄A 圖A4 所示，基于數(shù)學(xué)模型的網(wǎng)絡(luò)融合在多能網(wǎng)絡(luò)運行［18，46-47］、調(diào)度［48-49］等方面均有應(yīng)用，其本質(zhì)上是一個最優(yōu)求解問題，主要包括約束構(gòu)建和目標(biāo)求解2 個部分，而網(wǎng)間融合主要通過約束函數(shù)的構(gòu)建實現(xiàn)。具體地說，在模型建立過程中，首先根據(jù)融合目標(biāo)建立表征各個子網(wǎng)絡(luò)特性的約束條件，如針對優(yōu)化調(diào)度［48-49］問題，多以調(diào)度經(jīng)濟性最優(yōu)為目標(biāo)函數(shù)，子網(wǎng)絡(luò)約束條件包括電網(wǎng)潮流方程、天然氣網(wǎng)流量連續(xù)性方程、熱網(wǎng)溫降方程等。然后，通過建立不同網(wǎng)絡(luò)間的耦合關(guān)系約束條件實現(xiàn)網(wǎng)間融合，如通過能量樞紐（energy hub，EH）［50-51］抽象描述不同能量間的轉(zhuǎn)換關(guān)系，從而實現(xiàn)不同能量子網(wǎng)絡(luò)約束的耦合。最后，通過對目標(biāo)函數(shù)的求解實現(xiàn)網(wǎng)絡(luò)間的多網(wǎng)融合目標(biāo)，即在上述約束條件下求解出最優(yōu)解。

3.1.2 基于拓?fù)浣Y(jié)構(gòu)的融合

如附錄A 圖A5 所示，基于拓?fù)浣Y(jié)構(gòu)的網(wǎng)間融合方法將不同網(wǎng)絡(luò)及其相互間的耦合關(guān)系抽象為由節(jié)點和邊構(gòu)成的圖［52-54］或相互依存網(wǎng)絡(luò)［55-57］，并以此為分析對象進行目標(biāo)感知。具體地說，其主要包含2 個步驟。步驟1 為網(wǎng)絡(luò)構(gòu)建，該過程需要對不同子系統(tǒng)中的節(jié)點和邊進行定義，如電網(wǎng)中可選擇變電站為節(jié)點，連接變電站的輸電線路為邊；天然氣網(wǎng)中天然氣站為節(jié)點，天然氣管道為邊等。節(jié)點和邊的定義即為網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的確定。在此基礎(chǔ)上，步驟2 充分考慮節(jié)點和邊的屬性（如電網(wǎng)節(jié)點具有有功功率、無功功率、電壓幅值、電壓相角屬性，熱力網(wǎng)節(jié)點具有節(jié)點熱功率、供熱溫度、輸出溫度屬性等），通過關(guān)聯(lián)關(guān)系（如圖卷積神經(jīng)網(wǎng)絡(luò)［52］、關(guān)聯(lián)特性矩陣［53-54］）、結(jié)構(gòu)特性（如度數(shù)、介數(shù)）以及網(wǎng)絡(luò)失效機理（如最大聯(lián)通子集）［55-57］等對其進行脆弱性、彈性以及穩(wěn)定性等方面的分析。

3.1.3 基于數(shù)據(jù)驅(qū)動方法的融合

如附錄A 圖A6 所示，基于數(shù)據(jù)驅(qū)動方法的網(wǎng)間融合［58-62］采用各個網(wǎng)絡(luò)運行產(chǎn)生的數(shù)據(jù)進行網(wǎng)絡(luò)表征，如在電網(wǎng)中用各節(jié)點電壓電流及功率數(shù)據(jù)等進行電網(wǎng)表征，在氣網(wǎng)中用節(jié)點流量進行氣網(wǎng)表征等；然后，以不同的網(wǎng)絡(luò)表征作為輸入，通過大數(shù)據(jù)統(tǒng)計［58］、機器學(xué)習(xí)及深度學(xué)習(xí)［59］等方法對不同的網(wǎng)絡(luò)運行數(shù)據(jù)進行綜合分析，在進行多網(wǎng)數(shù)據(jù)融合的同時實現(xiàn)脆弱性評估［58］、穩(wěn)定性分析［59-60］以及運行優(yōu)化［61］等。

3.2 網(wǎng)間融合關(guān)鍵技術(shù)問題

基于3.1 節(jié)所述的3 個層次的融合模式，目前電力系統(tǒng)中的網(wǎng)間融合已取得初步的應(yīng)用成果，但仍存在多屬性問題和信息物理社會融合這2 個關(guān)鍵問題有待解決。

3.2.1 多網(wǎng)耦合下的多屬性問題

能源轉(zhuǎn)型背景下，電網(wǎng)與熱網(wǎng)/氣網(wǎng)等多種能源、具有動態(tài)特性的交通網(wǎng)以及具有控制功能的信息網(wǎng)相互耦合，而不同網(wǎng)絡(luò)中節(jié)點的多屬性特點是多網(wǎng)融合需要考慮的關(guān)鍵問題之一。以電網(wǎng)為例，電網(wǎng)中源網(wǎng)荷儲各個環(huán)節(jié)深度交互，同一節(jié)點可能同時具有源荷儲等多種屬性，如電動汽車充光儲一體化電站［63］同時具有源荷儲的特性；光伏用戶在不同時空呈現(xiàn)出不同的源荷特性［64］等。不同節(jié)點在不同時刻或場景下的不同屬性使得電網(wǎng)本身的規(guī)劃、運行、調(diào)度等難以以確定的特性進行。更進一步，新能源的出力具有不確定性和間歇性，使得新能源接入節(jié)點的源特性具有不確定性，進一步加劇了節(jié)點的多屬性特性。同時，電網(wǎng)中節(jié)點的多屬性特性使得電網(wǎng)與氣網(wǎng)、熱網(wǎng)等其他能流網(wǎng)絡(luò)的耦合具有多種形態(tài)，不同時空下的不同節(jié)點屬性組合使得多能流潮流分布［65］、網(wǎng)絡(luò)結(jié)構(gòu)屬性等具有不確定性和多樣性［66］，不同能流系統(tǒng)構(gòu)成的融合網(wǎng)絡(luò)分析困難，而熱網(wǎng)、氣網(wǎng)等不同能源網(wǎng)中源節(jié)點的出力特性、荷節(jié)點的多樣化用能特性以及信息網(wǎng)中節(jié)點的控制性、業(yè)務(wù)特殊性等，進一步加劇了多網(wǎng)耦合中節(jié)點的多屬性特性。

而現(xiàn)有3 類融合模式多以確定性屬性為前提，對網(wǎng)絡(luò)中節(jié)點的多屬性特性及網(wǎng)絡(luò)間不確定耦合關(guān)系考慮不足，故需要針對多網(wǎng)耦合下的多屬性問題進一步深入研究。

3.2.2 信息物理社會融合問題

隨著能源互聯(lián)網(wǎng)和電力物聯(lián)網(wǎng)的快速發(fā)展，能源的信息、物理網(wǎng)的耦合進一步加深。針對能源的信息物理融合，現(xiàn)有研究已從耦合模型建立、風(fēng)險演化機理與協(xié)同優(yōu)化控制等方面［67］進行了相關(guān)的研究，并在故障傳播［53-54］、脆弱性［55］、安全性［68］分析等方面進行了應(yīng)用。但是，隨著大量具有社會屬性的用戶接入能源的物理網(wǎng)，信息物理耦合網(wǎng)絡(luò)具有明顯的社會特性，其從用能偏好、市場行為等多方面對多網(wǎng)融合產(chǎn)生影響，而現(xiàn)有對能源網(wǎng)的社會特性或能源的信息物理社會融合研究多停留在概念提出階段，無法適應(yīng)信息物理社會深度耦合現(xiàn)象。

本文主要從用戶角度考慮信息物理網(wǎng)的社會特性，具體地說，用戶作為具有多元社會特性的節(jié)點與能源網(wǎng)和信息網(wǎng)相耦合，使得能源的信息物理網(wǎng)具有社會特性，其主要體現(xiàn)在以下幾個方面:1）多元性，能源轉(zhuǎn)型背景下用戶的用能需求擴展到電、氣、熱等多個方面，使得能源的生產(chǎn)、消費和服務(wù)呈現(xiàn)多元化的業(yè)態(tài)和商業(yè)模式［69］；2）互動性，電動汽車［70］、柔性負(fù)荷［71］等新型電力用戶具有靈活需求響應(yīng)、與電網(wǎng)互動［72］的特點，而電動汽車與柔性負(fù)荷本身受用戶特性的影響；3）群體性，用戶的用能習(xí)慣、方式等存在緊密耦合和影響［73］，與社會生產(chǎn)、生活等密切相關(guān)，如新冠疫情期間被封鎖的地區(qū)大量工業(yè)負(fù)荷驟減，居民用電增加［74］；4）個體性，用戶可能同時承擔(dān)供應(yīng)商、儲能以及負(fù)荷等角色［75］，其角色的承擔(dān)受個體的心理、生活及輿論等多方面的影響［76］。

可見，電力系統(tǒng)中用戶節(jié)點具有多元社會屬性，其在信息物理耦合網(wǎng)中的接入使得信息物理網(wǎng)具有明顯的社會特性。因此，需要充分考慮節(jié)點的社會屬性，構(gòu)建具有社會特性的信息物理網(wǎng)，實現(xiàn)信息物理社會的融合。

3.3 網(wǎng)間融合技術(shù)框架

針對3.2 節(jié)所述多網(wǎng)耦合下的多屬性問題和信息物理社會融合問題，提出如圖5 所示的網(wǎng)間融合技術(shù)框架，其通過多屬性節(jié)點建模、關(guān)聯(lián)關(guān)系建模以及網(wǎng)絡(luò)融合分析為網(wǎng)間融合提供技術(shù)思路。

圖5 網(wǎng)間融合技術(shù)框架Fig.5 Framework of inter-network fusion technology

1）多屬性節(jié)點建模:能源轉(zhuǎn)型和數(shù)字電網(wǎng)的發(fā)展使得各類網(wǎng)中的節(jié)點具有多重屬性。具體地說，能源網(wǎng)的節(jié)點具有多重源、荷、儲以及多元社會特性；信息網(wǎng)的節(jié)點具有多類業(yè)務(wù)性、控制特性等多重屬性。故在對多耦合網(wǎng)絡(luò)進行建模時，網(wǎng)絡(luò)中的節(jié)點應(yīng)包含上述特性，可用集合表征，且集合中每個元素可以是子屬性集合、方程描述以及語言描述等。需要指出的是，由于多元社會特性多表現(xiàn)在負(fù)荷節(jié)點上，故將多元社會特性作為荷屬性下的子屬性，具體表現(xiàn)為集群特性、用能的政策影響性、周期性等。

2）關(guān)聯(lián)關(guān)系建模:基于多屬性的節(jié)點建模，采用能量集線器［50］對不同的能量轉(zhuǎn)換進行描述，根據(jù)需求采用社團［66］對具有相近屬性的節(jié)點進行描述，并充分考慮信息關(guān)聯(lián)和結(jié)構(gòu)關(guān)聯(lián)情況，采用基于拓?fù)浣Y(jié)構(gòu)的網(wǎng)間融合模式對耦合網(wǎng)絡(luò)進行描述。同時，基于該描述結(jié)果可進行某些場景下的網(wǎng)絡(luò)融合分析，如3.1.2 節(jié)所述網(wǎng)絡(luò)彈性分析等。

3）融合分析:基于上述多屬性節(jié)點建模和關(guān)聯(lián)關(guān)系建模過程，電力系統(tǒng)中具有耦合關(guān)系的異質(zhì)網(wǎng)絡(luò)被描述為由多屬性節(jié)點和關(guān)聯(lián)關(guān)系描述的拓?fù)鋱D或網(wǎng)絡(luò)，可根據(jù)不同的網(wǎng)間融合需求采用數(shù)據(jù)驅(qū)動或數(shù)學(xué)建模的方法進行融合分析，如采用各個節(jié)點在不同時刻的動態(tài)屬性值進行網(wǎng)絡(luò)的動態(tài)狀態(tài)評估，同時考慮不同節(jié)點的動態(tài)屬性（如電網(wǎng)中風(fēng)電接入節(jié)點在不同時刻的風(fēng)功率預(yù)測值、熱網(wǎng)中不同季節(jié)的能源需求波動較大等）和靜態(tài)屬性（如負(fù)荷的用能偏好描述等）進行電力調(diào)度等。

綜上，上述網(wǎng)間融合框架通過對節(jié)點的多屬性描述方式應(yīng)對網(wǎng)絡(luò)多屬性和社會性問題，然后根據(jù)融合目標(biāo)采用上述融合模式進一步分析。值得注意的是，當(dāng)網(wǎng)絡(luò)中的節(jié)點、邊以及網(wǎng)絡(luò)間的耦合關(guān)系均被進行不確定性分析后，上述基于特定屬性的網(wǎng)間融合模式需要進行分階段分析或相應(yīng)的改進，并根據(jù)具體問題提出解決方案。

4 結(jié)語

能源轉(zhuǎn)型背景下，多種異質(zhì)網(wǎng)絡(luò)間和源網(wǎng)荷儲各環(huán)節(jié)間的深度融合為多模態(tài)數(shù)據(jù)融合提供了物理基礎(chǔ)；電力物聯(lián)網(wǎng)和數(shù)字化建設(shè)為多模態(tài)數(shù)據(jù)融合提供了數(shù)據(jù)基礎(chǔ)；能源產(chǎn)業(yè)鏈的智能化發(fā)展為多模態(tài)數(shù)據(jù)融合提供了應(yīng)用基礎(chǔ)。本文對電力系統(tǒng)多模態(tài)數(shù)據(jù)融合的概念、融合模式和關(guān)鍵技術(shù)問題進行了分析，并給出了針對關(guān)鍵問題的技術(shù)解決路線，主要結(jié)論如下。

1）多模態(tài)數(shù)據(jù)和多模態(tài)數(shù)據(jù)融合具有新的內(nèi)涵和外延:電力系統(tǒng)多模態(tài)數(shù)據(jù)包括傳統(tǒng)意義上的多模態(tài)數(shù)據(jù)和網(wǎng)絡(luò)多模態(tài)數(shù)據(jù)；多模態(tài)數(shù)據(jù)融合的類型擴展到了網(wǎng)內(nèi)和網(wǎng)間融合。

2）多模態(tài)數(shù)據(jù)融合的融合模式劃分和選擇:根據(jù)融合層次，網(wǎng)內(nèi)融合可劃分為數(shù)據(jù)級、特征級和決策級融合；根據(jù)融合技術(shù)手段，網(wǎng)間融合可劃分為基于數(shù)學(xué)模型、基于拓?fù)浣Y(jié)構(gòu)和基于數(shù)據(jù)驅(qū)動。融合模式的選擇需考慮數(shù)據(jù)類型、融合目的以及融合精度要求等。

3）多模態(tài)數(shù)據(jù)融合的特殊關(guān)鍵技術(shù)問題有待解決:針對網(wǎng)內(nèi)融合，多結(jié)構(gòu)融合和多時間尺度融合等仍需進一步研究；針對網(wǎng)間融合，多網(wǎng)耦合下的多屬性問題、信息物理社會融等問題仍需進一步探究。

4）本文針對網(wǎng)內(nèi)融合和網(wǎng)間融合存在的問題，提出了相應(yīng)的技術(shù)解決路線，在實際中仍需根據(jù)具體問題進一步研究。

未來電力系統(tǒng)多模態(tài)數(shù)據(jù)融合的數(shù)據(jù)基礎(chǔ)將更加豐富，技術(shù)手段更為成熟和有效，應(yīng)用場景更加廣泛和復(fù)雜，多模態(tài)數(shù)據(jù)融合將在源網(wǎng)荷儲各個環(huán)節(jié)的有效感知和多網(wǎng)間有效協(xié)同上發(fā)揮作用，不斷提升電力系統(tǒng)的運行安全性及可控。本文限于篇幅，僅對數(shù)據(jù)的分析應(yīng)用進行了分析，多模態(tài)數(shù)據(jù)的采集、通信以及存儲等方面也是電力系統(tǒng)多模態(tài)數(shù)據(jù)融合需要關(guān)注的內(nèi)容。

附錄見本刊網(wǎng)絡(luò)版（http：//www.aeps-info.com/aeps/ch/index.aspx），掃英文摘要后二維碼可以閱讀網(wǎng)絡(luò)全文。