康鵬 劉康 湯瑋 劉旭 張光輝

摘要：目前電網(wǎng)調(diào)度平臺(tái)的數(shù)據(jù)分析存在數(shù)據(jù)冗余、系統(tǒng)處理成本高等問題，為了解決這些問題，本文中進(jìn)行了調(diào)度平臺(tái)全景調(diào)控統(tǒng)一數(shù)據(jù)模型的構(gòu)建與研究，介紹了調(diào)度自動(dòng)化平臺(tái)架構(gòu)，以及調(diào)度平臺(tái)數(shù)據(jù)自動(dòng)化識(shí)別、分析關(guān)鍵技術(shù)，實(shí)現(xiàn)了調(diào)度平臺(tái)各類異構(gòu)數(shù)據(jù)的快速處理，為調(diào)度平臺(tái)的應(yīng)用提供了必要的技術(shù)支撐手段。

關(guān)鍵詞：調(diào)度平臺(tái);自動(dòng)化;Map Reduce;ETL

中圖分類號(hào)：TP301.6

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1001-5922（2020）12-0037-04

南方電網(wǎng)具有交直流混合運(yùn)行、距離遠(yuǎn)、容量大等特點(diǎn)，在電網(wǎng)的發(fā)展和技術(shù)進(jìn)步的同時(shí)，電力系統(tǒng)中的各種問題逐漸暴露。一方面，隨著用電需求的逐漸增大，電力系統(tǒng)逐漸復(fù)雜，電力系統(tǒng)在安全運(yùn)行過程中面臨的壓力越來越大，為了適應(yīng)科學(xué)發(fā)展理念，電力系統(tǒng)需要不斷進(jìn)行資源的優(yōu)化配置，實(shí)現(xiàn)發(fā)電過程中的節(jié)能減排，還要面對(duì)各種復(fù)雜的環(huán)境因素等，目前的電力系統(tǒng)迫切需要革新;另一方面，隨著電網(wǎng)的逐步擴(kuò)大，其運(yùn)行過程中所產(chǎn)生的數(shù)據(jù)也在不斷增加，合理分析和處理大規(guī)模的數(shù)據(jù)，提高電網(wǎng)的運(yùn)行效率是目前電力系統(tǒng)發(fā)展中的重大課題。

在解決上述問題的過程中，人們開發(fā)設(shè)計(jì)了可以自動(dòng)進(jìn)行電力調(diào)度的平臺(tái)，基于計(jì)算機(jī)、數(shù)據(jù)庫(kù)以及各種類型電力電子等相關(guān)技術(shù)的支持構(gòu)建智能自動(dòng)化操作系統(tǒng)，而與各項(xiàng)技術(shù)突飛猛進(jìn)式發(fā)展以及優(yōu)化相伴隨，這種自動(dòng)化調(diào)度平臺(tái)必須提高自身的專業(yè)度以及運(yùn)作效率，通過對(duì)新技術(shù)、新手段等的合理與有效利用，在相關(guān)設(shè)備與工具的支持下為電網(wǎng)調(diào)度及監(jiān)控工作的順利與健康開展提供切實(shí)有效的手段。但是，數(shù)據(jù)的不斷累積，目前調(diào)度平臺(tái)在數(shù)據(jù)分析方面也面臨以下問題。①數(shù)據(jù)表現(xiàn)出程度不一的冗余性，且這一冗余問題存在的范圍比較廣泛，如量測(cè)設(shè)備內(nèi)部、不同的量測(cè)裝備之間以及具有相鄰關(guān)系的子站之間均或多或少地受到數(shù)據(jù)冗余情況的困擾。②在進(jìn)行數(shù)據(jù)的處理與分析之時(shí)，所采用的方法依舊以常規(guī)形式的數(shù)據(jù)存儲(chǔ)以及管理為主，同時(shí)，所采用的基礎(chǔ)架構(gòu)主要還是大型服務(wù)器，它們往往需要支付較高的費(fèi)用才可獲得，在存儲(chǔ)硬件上，所采用的是磁盤陣列，無法保證較好的系統(tǒng)擴(kuò)展性，且同樣不具備價(jià)格優(yōu)勢(shì)。在此背景下，就調(diào)度平臺(tái)中所需要的海量數(shù)據(jù)而言，急需挖掘并引入新的計(jì)算技術(shù)實(shí)現(xiàn)對(duì)上述問題的解決[1]如劉曉明等研究了基于全景監(jiān)測(cè)暨運(yùn)維調(diào)度平臺(tái)的手持設(shè)備，金剛基于規(guī)則設(shè)計(jì)了用戶全景視圖。

因此，本文構(gòu)建調(diào)度平臺(tái)的全景調(diào)控統(tǒng)一數(shù)據(jù)模型，基于Map Reduce的數(shù)據(jù)運(yùn)算技術(shù)、ETL的多源異構(gòu)數(shù)據(jù)處理技術(shù)實(shí)現(xiàn)調(diào)度平臺(tái)的數(shù)據(jù)自動(dòng)化識(shí)別、分析。

1 調(diào)度自動(dòng)化平臺(tái)架構(gòu)

遵循“統(tǒng)一調(diào)度、分級(jí)管理”的劃分與管理原則，可以將電網(wǎng)調(diào)度控制機(jī)構(gòu)由上至下劃分為國(guó)調(diào)、網(wǎng)調(diào)、省調(diào)、地調(diào)以及縣調(diào)5個(gè)不同的等級(jí)。此處用上級(jí)調(diào)度控制中心來代表調(diào)度自動(dòng)化平臺(tái)的主站，它由在各個(gè)安全區(qū)分布的子系統(tǒng)共同組成，主要包括計(jì)算機(jī)硬件、計(jì)算機(jī)軟件以及相應(yīng)的通信設(shè)備等組件，在監(jiān)視并分析各項(xiàng)數(shù)據(jù)信息的同時(shí)，還將對(duì)數(shù)據(jù)的處理與儲(chǔ)存任務(wù)承擔(dān)起來，同時(shí)，根據(jù)各項(xiàng)信息準(zhǔn)確、有效下達(dá)調(diào)度控制命令。表1所示為主站業(yè)務(wù)子系統(tǒng)域的安全分區(qū)以及區(qū)域內(nèi)所包含的業(yè)務(wù)系統(tǒng)。

以業(yè)務(wù)所表現(xiàn)出來的不同的重要程度為依據(jù)，調(diào)度自動(dòng)化主站可劃分為不同的安全區(qū)域，各區(qū)域中有其相應(yīng)的業(yè)務(wù)系統(tǒng)，表1所示的I區(qū)、Ⅱ區(qū)之間進(jìn)行了防火墻的設(shè)立，目的在于實(shí)現(xiàn)邏輯層面的隔離。在縱向上，不同類型的業(yè)務(wù)系統(tǒng)會(huì)在交換機(jī)中被劃分到不同的虛擬局域網(wǎng)中，在對(duì)信息進(jìn)行分類的同時(shí)執(zhí)行對(duì)流量的控制任務(wù)，同時(shí)，基于縱向加密裝置與防火墻的支持同實(shí)時(shí)與非實(shí)時(shí)的VPN通道建立連接[4-5]，以此實(shí)現(xiàn)同遠(yuǎn)方子站之間的實(shí)時(shí)、有效通信。

在調(diào)度自動(dòng)化系統(tǒng)內(nèi)部，經(jīng)由子站傳輸給主站的各類數(shù)據(jù)在從路由器接人之后，需要在表1所示的I區(qū)經(jīng)過縱向認(rèn)證裝置，以此實(shí)現(xiàn)同對(duì)應(yīng)區(qū)域交換機(jī)的連接，這是一個(gè)必要條件，而在表l所示II區(qū)，其與交換機(jī)的連接又需要經(jīng)過防火墻過濾，這也是一個(gè)必要條件。2個(gè)必要條件的存在要求內(nèi)部網(wǎng)絡(luò)對(duì)雙星型接線的百兆或千兆帶寬的以太網(wǎng)予以采用。

2 調(diào)度平臺(tái)數(shù)據(jù)自動(dòng)化識(shí)別、分析關(guān)鍵技術(shù)

2.1全景調(diào)控統(tǒng)一數(shù)據(jù)模型

就電力調(diào)度控制系統(tǒng)而言，其大數(shù)據(jù)來源相對(duì)廣泛，包括SCADA、EMS等不下10套應(yīng)用系統(tǒng)，每一套系統(tǒng)均具有不依賴于其他系統(tǒng)獨(dú)自運(yùn)行、不對(duì)其他系統(tǒng)產(chǎn)生干擾的能力，不同系統(tǒng)集中了不同來源多種類型的數(shù)據(jù)，具有自己的獨(dú)立性，各應(yīng)用系統(tǒng)之間的數(shù)據(jù)口徑并不一樣，這就信息的共享以及數(shù)據(jù)潛在價(jià)值的挖掘與發(fā)揮來說并不是有利條件。而另一方面，各系統(tǒng)中還擁有十分大的數(shù)據(jù)量，這存在顯而易見的覆蓋有效信息的風(fēng)險(xiǎn)與不足。與調(diào)控多元異構(gòu)數(shù)據(jù)所具有的相應(yīng)特征以及大數(shù)據(jù)具備的數(shù)據(jù)層面的特征相結(jié)合，調(diào)控大數(shù)據(jù)表現(xiàn)出很明顯的數(shù)據(jù)量大、數(shù)據(jù)類型多、價(jià)值密度低、真實(shí)性可以保證等特點(diǎn)。

為了做好電力調(diào)度自動(dòng)化工作，在數(shù)據(jù)處理過程中，首先要有規(guī)范統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)，執(zhí)行對(duì)電力調(diào)度自動(dòng)化系統(tǒng)中各項(xiàng)數(shù)據(jù)信息的統(tǒng)一任務(wù)，同時(shí)，為不同變電站信息類型同數(shù)據(jù)之間的相互對(duì)應(yīng)提供可靠保證，使每一項(xiàng)涉及的到的數(shù)據(jù)信息在上傳之時(shí)均能實(shí)現(xiàn)對(duì)電力企業(yè)相應(yīng)需求的有效滿足，統(tǒng)一于國(guó)家電網(wǎng)發(fā)布的對(duì)應(yīng)數(shù)據(jù)。只有將這些工作做好、做實(shí)，電力調(diào)度自動(dòng)化系統(tǒng)中的數(shù)據(jù)信息的匯報(bào)以及分析等效率才能得到切實(shí)有效的保證，系統(tǒng)在使用過程中才具有安全性可言。文章設(shè)計(jì)了電網(wǎng)調(diào)度自動(dòng)化平臺(tái)中設(shè)計(jì)了調(diào)控全景數(shù)據(jù)模型，實(shí)現(xiàn)了調(diào)控大數(shù)據(jù)統(tǒng)一管理、組織，模型的框架如圖1所示。

根據(jù)圖1，構(gòu)成該調(diào)控全景數(shù)據(jù)核心數(shù)據(jù)模型的分別有SCADA、WAMS、EMS等，它們的獲取相對(duì)方便，可通過對(duì)各個(gè)應(yīng)用系統(tǒng)中的相關(guān)信息與數(shù)據(jù)模型進(jìn)行融合來完成獲取任務(wù)。

建立全景調(diào)控統(tǒng)一數(shù)據(jù)模型之后，數(shù)據(jù)分析任務(wù)的實(shí)現(xiàn)便可通過以Hadoop為基礎(chǔ)的調(diào)控大數(shù)據(jù)系統(tǒng)來完成，分層次來看，即分別將以Map Reduce為基礎(chǔ)的數(shù)據(jù)運(yùn)算技術(shù)、以ETL為基礎(chǔ)的多元異構(gòu)數(shù)據(jù)處理技術(shù)以及以HDFS與HBase為基礎(chǔ)的數(shù)據(jù)存儲(chǔ)技術(shù)作為對(duì)數(shù)據(jù)進(jìn)行處理、對(duì)數(shù)據(jù)進(jìn)行集成以及對(duì)數(shù)據(jù)進(jìn)行調(diào)控的處理、集成以及存儲(chǔ)框架。

2.2 基于Map Reduce的數(shù)據(jù)處理框架

作為一個(gè)能夠?yàn)榇髷?shù)據(jù)集的計(jì)算工作提供便利的分布式平臺(tái)，Hadoop可以在集群中采用并行的工作方式將計(jì)算速度提升，縮短計(jì)算時(shí)間。NameNode與DataNode共同構(gòu)成Hadoop集群，前者的任務(wù)在于對(duì)資源進(jìn)行調(diào)度，同時(shí)，執(zhí)行對(duì)文件目錄結(jié)構(gòu)的管理操作;后者功能則體現(xiàn)在對(duì)數(shù)據(jù)存儲(chǔ)的管理之上。而作為Hadoop中的一個(gè)子項(xiàng)目，MapReduce的作用為并行計(jì)算大數(shù)據(jù)集，它能夠提供有足夠效率的并行計(jì)算能力以及并不復(fù)雜的通用并行算法設(shè)計(jì)環(huán)境，這于電力設(shè)備的故障診斷而言是非常方便的。圖2所示為MapReduce的工作流程示意圖。

在數(shù)據(jù)的分割、負(fù)載均衡以及容錯(cuò)處理等問題上，MapReduce運(yùn)行模式極具優(yōu)勢(shì)，這些任務(wù)可通過MapReduce自動(dòng)完成。在對(duì)MapReduce程序進(jìn)行設(shè)計(jì)之時(shí)，所需做的工作比較簡(jiǎn)單，具體地，分解數(shù)據(jù)并行計(jì)算問題，將它們用許多可以并行執(zhí)行的子問題表示出來，同時(shí)，進(jìn)行相應(yīng)Map與Reduce函數(shù)的設(shè)計(jì)，保證程序可以良好地在分布式系統(tǒng)上運(yùn)行。在一個(gè)MapReduce模型中，輸入的數(shù)據(jù)文件可以被分割為很多有著相同大小的數(shù)據(jù)片段，它們會(huì)由Hadoop集群中的不同存儲(chǔ)節(jié)點(diǎn)保存下來，并經(jīng)過之前所設(shè)計(jì)好的Map函數(shù)得到相應(yīng)的運(yùn)算結(jié)果，在排序與合并等一系列操作之后，相同的key值運(yùn)算結(jié)果會(huì)向相同的Reduce函數(shù)傳送，并統(tǒng)一接受數(shù)據(jù)的歸并處理。最終，以Reduce函數(shù)結(jié)果作為依據(jù)，在分布式集群上完成對(duì)各項(xiàng)結(jié)果數(shù)據(jù)的保存。如此一來，很多計(jì)算的執(zhí)行效率都得到了有效的保證，它們還彰顯出可以拓展的特點(diǎn)，在大規(guī)模數(shù)據(jù)的計(jì)算上體現(xiàn)出更加明顯的優(yōu)勢(shì)[6-7]。

MapReduce模型Map任務(wù)將每個(gè)系統(tǒng)一段時(shí)間內(nèi)的歷史數(shù)據(jù)和該時(shí)間段內(nèi)實(shí)時(shí)數(shù)據(jù)作為輸入，經(jīng)過數(shù)據(jù)的篩選、檢驗(yàn)等過程生成映射數(shù)據(jù)對(duì)，等所有Map任務(wù)完成后，系統(tǒng)會(huì)生成若干個(gè)Reduce任務(wù)，將相同的數(shù)據(jù)進(jìn)行總結(jié)，更新平臺(tái)數(shù)據(jù)庫(kù)[8]。

2.3基于ETL的多源異構(gòu)數(shù)據(jù)處理技術(shù)

服務(wù)器端主要由接口層、統(tǒng)一數(shù)據(jù)模型管理模塊以及ETL執(zhí)行引擎構(gòu)成，用于調(diào)控多源異構(gòu)數(shù)據(jù)ETL處理的實(shí)現(xiàn)。在服務(wù)器端各個(gè)組成部分中，接口層的功能在于提供數(shù)據(jù)操作的接口，用戶可在這些接口的支持下完成相應(yīng)任務(wù)，如對(duì)ETL流程的設(shè)計(jì)等。統(tǒng)一數(shù)據(jù)模型管理模塊在ETL框架中所發(fā)揮的作用是基礎(chǔ)性的，它對(duì)數(shù)據(jù)的模式、數(shù)據(jù)的結(jié)構(gòu)等進(jìn)行清晰地描述，可以為元數(shù)據(jù)提供存儲(chǔ)以及訪問等相關(guān)服務(wù)。另外，作為ETL框架的核心模塊，ETL執(zhí)行引擎對(duì)流程解析以及執(zhí)行2個(gè)環(huán)節(jié)均有涉及。若數(shù)據(jù)屬于小量的結(jié)構(gòu)化數(shù)據(jù)類型，可選擇利用本地計(jì)算機(jī)實(shí)施ETL流程;若數(shù)據(jù)屬于大量的結(jié)構(gòu)化數(shù)據(jù)或者非結(jié)構(gòu)化數(shù)據(jù)，則需要通過以Hadoop大數(shù)據(jù)分析平臺(tái)為基礎(chǔ)的MapReduce技術(shù)對(duì)ETL中的數(shù)據(jù)轉(zhuǎn)換以及解析等各類問題進(jìn)行處理。MapReduce對(duì)并行數(shù)據(jù)ETL的主要方法如下。

1）抽取有用數(shù)據(jù)：結(jié)合數(shù)據(jù)源所表現(xiàn)出來的特點(diǎn)，將其加載至能夠進(jìn)行業(yè)務(wù)系統(tǒng)運(yùn)行的對(duì)應(yīng)數(shù)據(jù)庫(kù)中。在訪問數(shù)據(jù)文件之時(shí)不會(huì)對(duì)數(shù)據(jù)庫(kù)有所涉及，數(shù)據(jù)的加載大致與數(shù)據(jù)文件的MapReduce讀取相類似。 2）清洗與轉(zhuǎn)換需要的數(shù)據(jù);訪問各個(gè)數(shù)據(jù)，將與修補(bǔ)數(shù)據(jù)源中不一樣、無法保證完整性以及準(zhǔn)確性的數(shù)據(jù)剔除出去，實(shí)現(xiàn)對(duì)數(shù)據(jù)類型以及粒度的有效轉(zhuǎn)換。之后，通過MapReduce的并行操作來處理各個(gè)文件中涉及到的全部數(shù)據(jù)，在MapReduce中添加檢查數(shù)據(jù)格式的函數(shù)指令，達(dá)到不完整、不一致、噪音處理各項(xiàng)數(shù)據(jù)的目的，基于此，實(shí)現(xiàn)對(duì)數(shù)據(jù)的清洗、不一致轉(zhuǎn)換以及商務(wù)規(guī)則計(jì)算等。偽代碼如下：

3）數(shù)據(jù)裝載：數(shù)據(jù)抽取、清洗轉(zhuǎn)換之后進(jìn)行數(shù)據(jù)裝載，關(guān)鍵代碼如下：

3 結(jié)語(yǔ)

在電網(wǎng)運(yùn)行過程中，電網(wǎng)調(diào)度發(fā)揮著核心作用，目前，我國(guó)電網(wǎng)將堅(jiān)強(qiáng)、智能的電網(wǎng)建設(shè)作為總的發(fā)展目標(biāo)，這使得電網(wǎng)調(diào)度自動(dòng)化的研究成為一個(gè)必然趨勢(shì)。文章在分析了電網(wǎng)智能調(diào)度平臺(tái)的總體結(jié)構(gòu)之后，主要對(duì)調(diào)度平臺(tái)的數(shù)據(jù)自動(dòng)化識(shí)別分析進(jìn)行研究，提出了全景調(diào)控統(tǒng)一數(shù)據(jù)模型及基于Map Reduce的數(shù)據(jù)運(yùn)算技術(shù)、ETL的多源異構(gòu)數(shù)據(jù)處理技術(shù)的數(shù)據(jù)集成框架，實(shí)現(xiàn)了調(diào)度平臺(tái)各類異構(gòu)數(shù)據(jù)的快速處理，為調(diào)度平臺(tái)的應(yīng)用提供了必要的技術(shù)支撐手段。

參考文獻(xiàn)

[1]曲朝陽(yáng)，朱莉，張士林.基于Hadoop的廣域測(cè)量系統(tǒng)數(shù)據(jù)處理[J].電力系統(tǒng)自動(dòng)化，2013，37（04）：92-97.

[2]劉曉明，王娟，葛健.基于全景監(jiān)測(cè)暨運(yùn)維調(diào)度平臺(tái)的手持設(shè)備應(yīng)用研究[J].自動(dòng)化應(yīng)用，2017，（11）：131-132+134.

[3]金剛.基于規(guī)則的用戶全景視圖的設(shè)計(jì)與實(shí)現(xiàn)[D].上海：上海交通大學(xué)，2015.

[4]李紅.電力調(diào)度自動(dòng)化網(wǎng)絡(luò)運(yùn)維平臺(tái)的設(shè)計(jì)與應(yīng)用[J].機(jī)電工程技術(shù)，2019，48（06）：205-206+259.

[5]羅小杰.一體化技術(shù)在電力調(diào)度自動(dòng)化系統(tǒng)的應(yīng)用[J].電子技術(shù)與軟件工程，2017（ 20）：115.

[6]曲朝陽(yáng)，陳帥，楊帆，等，基于云計(jì)算技術(shù)的電力大數(shù)據(jù)預(yù)處理屬性約簡(jiǎn)方法[J].電力系統(tǒng)自動(dòng)化，2014，38（08）：67-71.

[7]王波，王懷彬，張超.基于MapReduce的頻繁模式挖掘算法的優(yōu)化[J].天津理工大學(xué)學(xué)報(bào)，2018，34（01）：6-11.

[8]肖文，胡娟，周曉峰.基于MapReduce計(jì)算模型的并行關(guān)聯(lián)規(guī)則挖掘算法研究綜述[J].計(jì)算機(jī)應(yīng)用研究，2018，35（01）：13-23.