基于快照技術的場景化數(shù)據(jù)管理的研究

吳京京，丁捷，蔣小龍，孫榮西，王景燕

(南瑞集團公司(國網(wǎng)電力科學研究院)南瑞研究院, 江蘇， 南京 211106)

0 引言

為滿足智能電網(wǎng)一體化運行的需求，基于云計算及大數(shù)據(jù)等理念設計的調(diào)度控制系統(tǒng)云平臺應運而生[1]。調(diào)度控制系統(tǒng)云平臺的建設需要接入包括全業(yè)務各專業(yè)系統(tǒng)內(nèi)的業(yè)務數(shù)據(jù)，從而為后續(xù)各級應用提供基礎數(shù)據(jù)支撐[2]。目前系統(tǒng)間數(shù)據(jù)交互方式種類繁多、流向復雜交錯。隨著調(diào)度控制系統(tǒng)云平臺的逐步開展，大大提高了數(shù)據(jù)集成工作的難度。因此，有必要從全局角度對所有數(shù)據(jù)傳輸任務的運行狀態(tài)進行實時監(jiān)視，從而提高數(shù)據(jù)集成的流程規(guī)范化及開發(fā)效率。

為了能夠應對龐大的數(shù)據(jù)快照管理，實現(xiàn)電力系統(tǒng)場景化數(shù)據(jù)管理功能的深化和應用，本文開展了基于快照技術的調(diào)控云端場景化數(shù)據(jù)管理的研究?？煺找话惚欢x為一組文件或目錄在某個指定的時間節(jié)點的副本?？煺占夹g實現(xiàn)了在短暫的時間段內(nèi)大量數(shù)據(jù)的備份，并且能夠不對應用系統(tǒng)的性能造成嚴重的影響。當備份的文件目錄被移動或者進行寫操作時，通過快照技術實現(xiàn)數(shù)據(jù)的存儲，可以保證數(shù)據(jù)的完整性，不會導致備份失敗?？煺占夹g目前普遍應用在存儲網(wǎng)絡行業(yè)領域，主要是在高性能計算、人工智能技術及應用方面實施快照管理技術[3]。本文將該技術引入調(diào)度控制系統(tǒng)用做數(shù)據(jù)管理，實現(xiàn)了對大量全業(yè)務實時數(shù)據(jù)的秒級存儲，對實現(xiàn)電網(wǎng)及設備畫像分析提供了更加精準的實時數(shù)據(jù)源。

目前，調(diào)度系統(tǒng)的數(shù)據(jù)管理模式主要有2種：一種是直接在Ⅰ、Ⅱ區(qū)進行源端數(shù)據(jù)管理，再將數(shù)據(jù)分析結果上傳到云端，結合Ⅲ區(qū)數(shù)據(jù)進行展示；一種是Ⅲ區(qū)同步Ⅰ、Ⅱ區(qū)數(shù)據(jù)后，再在Ⅲ區(qū)進行數(shù)據(jù)管理。并將分析結果上傳到云端展示。本文提出的基于快照技術的場景化數(shù)據(jù)管理方法是將源端數(shù)據(jù)直接上傳到云端，結合Ⅲ區(qū)OMS/PMS系統(tǒng)數(shù)據(jù)及云端氣象、環(huán)保節(jié)能等共享平臺數(shù)據(jù)，分不同的場景在云端進行統(tǒng)一數(shù)據(jù)管理、分析。該數(shù)據(jù)管理方法同時涵蓋了源端及云端幾乎全網(wǎng)全業(yè)務各個場景的數(shù)據(jù)。數(shù)據(jù)更加多元化，覆蓋范圍更加廣泛，真正實現(xiàn)了對海量數(shù)據(jù)的統(tǒng)一管理分析。以大數(shù)據(jù)分析的視角，從時間、空間、對象等多維度展現(xiàn)設備或電網(wǎng)相關聯(lián)的全維度數(shù)據(jù)規(guī)律，從而為調(diào)控生產(chǎn)人員更好地監(jiān)測、預防與決策提供服務支撐，實現(xiàn)電力系統(tǒng)場景化數(shù)據(jù)的深度分析。

1 場景化數(shù)據(jù)管理

場景化數(shù)據(jù)管理是系統(tǒng)實現(xiàn)特定環(huán)境下完整數(shù)據(jù)的存儲和管理的公共工具，便于調(diào)控生產(chǎn)人員使用指定場景的數(shù)據(jù)開展分析和研究。通過利用數(shù)據(jù)關鍵特征，對電網(wǎng)歷史運行狀況的事后分析、評價、反演，找出薄弱環(huán)節(jié)，提出優(yōu)化策略，指導后續(xù)電網(wǎng)運行優(yōu)化，為電網(wǎng)的規(guī)劃建設提供參考。同時結合調(diào)度專業(yè)知識，運用深度學習技術，對多時間尺度下場景數(shù)據(jù)中特征信息的關聯(lián)對比分析和深度挖掘，實現(xiàn)對電網(wǎng)當前狀態(tài)及發(fā)展趨勢的描述，給出電網(wǎng)異動和優(yōu)化運行輔助決策[4]。

典型的場景化數(shù)據(jù)包括省、地、縣三級調(diào)度機構的全業(yè)務系統(tǒng)數(shù)據(jù)，涉及了EMS數(shù)據(jù)、OMS/PMS數(shù)據(jù)、保信數(shù)據(jù)、DMS數(shù)據(jù)、電能計量數(shù)據(jù)、輸變電監(jiān)測數(shù)據(jù)、WAMS數(shù)據(jù)、氣象數(shù)據(jù)、環(huán)保節(jié)能數(shù)據(jù)等，其中，EMS依托省調(diào)已經(jīng)建成的模型數(shù)據(jù)中心系統(tǒng)，OMS/PMS系統(tǒng)接入設備臺帳并實現(xiàn)與EMS一次設備模型的對應，其他系統(tǒng)數(shù)據(jù)接入依據(jù)名稱等對應關系。其結構如圖1所示。

圖1 場景化數(shù)據(jù)

場景化數(shù)據(jù)按照業(yè)務數(shù)據(jù)分類包括結構化數(shù)據(jù)、半結構化數(shù)據(jù)和非結構化數(shù)據(jù)。其公共管理功能包括多種類型數(shù)據(jù)(集)及其組合的定時生成、觸發(fā)生成、刪除、查詢、共享、對比等[5]，如表1所示。

表1中，模型數(shù)據(jù)是系統(tǒng)的模型和靜態(tài)參數(shù)信息。商用庫模型數(shù)據(jù)快照的生成和管理通過模型多版本功能實現(xiàn)，場景化數(shù)據(jù)管理提供根據(jù)指定時間查詢最近斷面內(nèi)模型數(shù)據(jù)的接口。多數(shù)應用會使用到的實時庫模型數(shù)據(jù)快照，通過定時全量讀取，或者增量響應模型變化讀取實時庫數(shù)據(jù)的方式生成。

表1 場景化數(shù)據(jù)內(nèi)容分類

實時數(shù)據(jù)是應用的數(shù)據(jù)信息，實時數(shù)據(jù)的來源包括即時讀取實時庫的記錄數(shù)據(jù)和應用程序在運行中產(chǎn)生的內(nèi)存數(shù)據(jù)，可以是全表記錄或者是某張表的某幾個字段的值。實時數(shù)據(jù)斷面通常按一定配置規(guī)則定時保存，在一定情況下也會由應用程序觸發(fā)進行保存(實時性更強)。

由于遙測變化數(shù)據(jù)的數(shù)據(jù)量巨大，采取對常態(tài)數(shù)據(jù)滾動壓縮存儲、對指定時段數(shù)據(jù)永久轉存，并統(tǒng)一解壓讀取。

2 關鍵技術

數(shù)據(jù)快照是對匯集、融合后的全網(wǎng)全業(yè)務數(shù)據(jù)同一時間斷面的數(shù)據(jù)進行切片后的全斷面數(shù)據(jù)，快照管理功能具備對全省范圍內(nèi)省、地、縣三級調(diào)度機構全業(yè)務系統(tǒng)數(shù)據(jù)進行快照生成、快照存儲、快照管理、快照對比功能。其中，源端生成的數(shù)據(jù)通過Kafka上傳到云端進行統(tǒng)一存儲管理。首先，高級應用在調(diào)度控制系統(tǒng)Ⅰ、Ⅱ區(qū)進行分析計算，將結果等信息通過快速生成管理工具，觸發(fā)式保存成壓縮文件和參數(shù)信息。同時，在源端的快速生成管理工具還提供定時保存計算值等信息的功能。

其次，通過廣播的形式，將生成的文件及參數(shù)信息由消息從Ⅰ、Ⅱ區(qū)穿過隔離發(fā)送到Ⅲ區(qū)，再由Ⅲ區(qū)通過Kafka上送到云端。存儲過程如圖2所示。

2.1 快照生成

利用基于同一時間斷面，集中將同一時刻的模型、實時以及非結構化數(shù)據(jù)，在快照的基礎上進一步分析反應電網(wǎng)及設備當前運行狀態(tài)?？煺盏纳蓪崿F(xiàn)了在歷史電網(wǎng)狀態(tài)分析中參照歷史時刻的模型及參數(shù)的功能，解決了采用歷史運行數(shù)據(jù)對應當前模型及參數(shù)進行電網(wǎng)分析出現(xiàn)偏差的問題[6]。將同一時刻的全業(yè)務數(shù)據(jù)生成在文件中，解決了無法支撐所有數(shù)據(jù)匯集的問題。

圖2 源端數(shù)據(jù)快照存儲過程示意圖

快照生成包含實時數(shù)據(jù)快照、模型快照、非結構化數(shù)據(jù)快照等。其中實時數(shù)據(jù)快照生成，通過定時/觸發(fā)保存實時數(shù)據(jù)，或采用大數(shù)據(jù)SQL引擎讀取指定時刻的歷史運行數(shù)據(jù)來完成。模型快照生成，通過定時/觸發(fā)(全量)或響應模型的變化(增量)從關系庫中讀取數(shù)據(jù)來完成。非結構化數(shù)據(jù)快照生成，通過定時/觸發(fā)(全量)或響應非結構化數(shù)據(jù)的變化(增量)，通過分布式文件服務系統(tǒng)讀取非結構化數(shù)據(jù)文件來完成。其中，實時數(shù)據(jù)快照生成流程示意見圖3。

圖3 實時數(shù)據(jù)快照生成流程示意圖

2.2 快照存儲

采用分布式文件系統(tǒng)恢復海量數(shù)據(jù)的快照的存儲，通過E格式文件的方式將電網(wǎng)全息數(shù)據(jù)生成多個文件，不同業(yè)務數(shù)據(jù)采用統(tǒng)一時標，時標相同的業(yè)務快照文件存儲在同一目錄下作為一個完整的全網(wǎng)全業(yè)務快照[7]。

快照通過采用帶時間戳的文件存儲方式，保存在關系數(shù)據(jù)庫中。實現(xiàn)了多活配置快照存儲，在海量數(shù)據(jù)的前提下，大大優(yōu)化了存儲所占帶寬資源，縮短保存時間以及減少數(shù)據(jù)占用的調(diào)控系統(tǒng)空間，提升了服務性能[8]。實現(xiàn)了支持多元化的數(shù)據(jù)類型的存儲?？煺沾鎯κ疽鈭D如圖4所示。

圖4 快照存儲示意圖

模型快照存儲采用多版本的關系數(shù)據(jù)庫實現(xiàn)。系統(tǒng)周期性定時存儲全網(wǎng)模型，同時定時刷新，每隔一段時間讀取一次模型，其周期及讀取時間間隔都可自動設置，并且當模型有變化時，將變化的表以增量的形式保存下來。

2.3 快照管理

快照的管理通過云端的快照管理工具來實現(xiàn)。快照管理工具對電網(wǎng)快照及設備畫像進行查詢、分析、管理，檢查數(shù)據(jù)有無損壞是否可靠等，實現(xiàn)了直接查詢展示電力系統(tǒng)場景化數(shù)據(jù)，避免下裝數(shù)據(jù)，減少對運行系統(tǒng)的影響。并且通過數(shù)據(jù)分析，定期刪除不需要的數(shù)據(jù)，減少調(diào)控系統(tǒng)資源的占用。

根據(jù)不同的請求類型，完成快照管理的請求任務，不同的操作類型對應不同的內(nèi)部函數(shù)進行處理，并最終調(diào)用數(shù)據(jù)層的快照處理功能子模塊。形成返回結果后,返回到服務總線，最終到達客戶端，并由客戶端根據(jù)不同的請求函數(shù)生成結構化結果返回?？煺展芾砹鞒淌疽鈭D如圖5所示。

圖5 快照管理流程示意圖

2.4 快照讀取

以時間線為軸，在任意時間斷面，以讀取斷面的時間點之前最近的靜態(tài)快照及其之后所有變化的動態(tài)快照組合生成完整的快照。大大縮短了對海量數(shù)據(jù)讀取的時間，以及減少了所占調(diào)控系統(tǒng)的資源。為智能分析電網(wǎng)快照及設備畫像提供了支撐。圖6是快照讀取示意圖。

實時數(shù)據(jù)快照可直接讀取存儲的斷面文件；模型快照將變化的增量模型快照下裝到內(nèi)存庫，與關系庫中保存的時間點最近的全網(wǎng)模型快照拼接成此刻斷面的完整模型；非結構化數(shù)據(jù)快照可將增量文件與時間點之前最近的全量文件拼接成此刻斷面的完整文件?？煺兆x取流程如圖7所示。

圖6 快照讀取示意圖

圖7 快照讀取流程示意圖

3 應用案例

目前，該數(shù)據(jù)管理方案已應用于某省調(diào)控云系統(tǒng)平臺上，為實現(xiàn)對電網(wǎng)及設備運行狀態(tài)的自畫像提供了數(shù)據(jù)基礎，從而實現(xiàn)從傳統(tǒng)的物理建模發(fā)展到數(shù)據(jù)驅動，進而演化為調(diào)度實時運行控制提供知識引導。

傳統(tǒng)的數(shù)據(jù)管理及基于快照技術的場景化數(shù)據(jù)管理方法的對比如表2所示。

表2 數(shù)據(jù)管理方法對比

傳統(tǒng)的數(shù)據(jù)管理方法首先在Ⅰ、Ⅱ區(qū)存儲數(shù)據(jù)，每個斷面的時間間隔為60 s，在源端完成數(shù)據(jù)管理及分析，并將分析后得到的結果上傳至云端展示。故云端存儲的是分析后的計量數(shù)據(jù)。所能夠展示的數(shù)據(jù)量小，覆蓋的數(shù)據(jù)范圍窄。并且，云端展示的畫面信息是受到網(wǎng)絡傳輸延時影響的滯后的數(shù)據(jù)源。數(shù)據(jù)的新鮮度低；本文所采用的基于快照技術的場景化數(shù)據(jù)管理方法，是采用快照技術快速存儲斷面，每個斷面的時間間隔為10 s，并將源端數(shù)據(jù)直接上傳至云端，由云端進行統(tǒng)一的數(shù)據(jù)分析管理，實時性更強，減少了網(wǎng)絡延時誤差。數(shù)據(jù)管理幾分析所包含了源端及云端的數(shù)據(jù)，數(shù)據(jù)量大，覆蓋范圍廣。

由于傳統(tǒng)的斷面數(shù)據(jù)包含EMS源端數(shù)據(jù)，場景化數(shù)據(jù)包含了EMS、OMS、PMS、共享平臺、視頻系統(tǒng)、電量系統(tǒng)等多元化數(shù)據(jù)，云端的數(shù)據(jù)斷面覆蓋范圍明顯增大，每個斷面約為傳統(tǒng)斷面大小的100倍。

4 總結

隨著智能電網(wǎng)調(diào)控云系統(tǒng)的產(chǎn)生和發(fā)展，全業(yè)務的海量數(shù)據(jù)已經(jīng)轉變?yōu)橐环N基礎資源。省地全網(wǎng)、全口徑、全業(yè)務的模型、參數(shù)、環(huán)境與運行數(shù)據(jù)等越來越多的數(shù)據(jù)逐步形成了電網(wǎng)整體的連續(xù)運行數(shù)據(jù)快照。傳統(tǒng)的數(shù)據(jù)管理方法已無法對省地海量數(shù)據(jù)建立設備或局部電網(wǎng)的運行狀態(tài)畫像分析模型。本文開展了基于快照技術的電力系統(tǒng)場景化數(shù)據(jù)管理方法的研究，開發(fā)了相應軟件以應對龐大的數(shù)據(jù)管理，實現(xiàn)電力系統(tǒng)場景化數(shù)據(jù)管理功能的深化和應用。

目前，本文提出的數(shù)據(jù)管理工具可以通過用戶配置按時間段定期清除所存儲的斷面文件。但是，由于數(shù)據(jù)分析、反演，需要保留一定時期的大量數(shù)據(jù)，所以后續(xù)該數(shù)據(jù)管理方法還有待提升和完善?？稍O計更加靈活的方式自動清除斷面文件。例如，可配置定期清除無數(shù)據(jù)變化，無天氣變化，節(jié)假日變化等信息的數(shù)據(jù)?；诳煺占夹g的場景化數(shù)據(jù)管理方法的應用價值還可以進一步挖掘，以充分利用現(xiàn)有的數(shù)據(jù)源，更好地為各業(yè)務提供服務。