宋曉川,鄭寬昀,李俊臣,武文廣,胡 威

(1.國網(wǎng)陜西省電力有限公司,陜西 西安 710000;2.南瑞集團(tuán)(國網(wǎng)電力科學(xué)研究院)有限公司,江蘇 南京 211000)

智能電網(wǎng)建設(shè)的迅速開展,將會引入大量的智能電表、電網(wǎng)友好型設(shè)備等終端,從而使電力電能能夠進(jìn)行雙向交互,為智能電網(wǎng)提供海量數(shù)據(jù),但同時也給數(shù)據(jù)管理、分析和響應(yīng)技術(shù)帶來極大的挑戰(zhàn)[1]。以往電力電能計(jì)量信息依靠人工采集的傳統(tǒng)方式,然后再對信息數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析和錄入等操作[2],不僅效率低且容易出現(xiàn)錯誤,增加校對過程又會使效率再度降低,對后續(xù)電能生產(chǎn)計(jì)劃的制定也產(chǎn)生不小影響,且電表僅能顯示一段時間的電量,需要工作人員定期采集[3-4]。因此推進(jìn)電力電能計(jì)量信息采集系統(tǒng)發(fā)展是電力行業(yè)發(fā)展的關(guān)鍵,但是現(xiàn)有電力電能計(jì)量信息采集方式效率層面還不夠完善,需要進(jìn)一步深入探討。

云計(jì)算的出現(xiàn)為信息技術(shù)的發(fā)展開辟了新通道[5-6]。面對電能信息大數(shù)據(jù)時代,文獻(xiàn)[7]提出基于ATT7022E和STM32的電力數(shù)據(jù)采集系統(tǒng),但該系統(tǒng)元素過多,需要的存儲空間大,且多余元素會造成空間浪費(fèi)。文獻(xiàn)[8]提出基于Spark的發(fā)電機(jī)電能計(jì)量與分析自動化系統(tǒng),但該系統(tǒng)在約簡過程中容易丟失部分屬性,導(dǎo)致信息隨之丟失。而偏序約簡算法解決了上述難題,利用其并行化特征直接約簡電能計(jì)量信息數(shù)據(jù)集,使約簡效率和準(zhǔn)確率大幅提升。因此本文提出基于云計(jì)算的電力電能計(jì)量信息采集系統(tǒng)設(shè)計(jì),該系統(tǒng)的創(chuàng)新點(diǎn)是配合使用偏序約簡算法進(jìn)行電能數(shù)據(jù)約簡預(yù)處理,為電力行業(yè)自動化的發(fā)展建立技術(shù)基礎(chǔ)。

1 云計(jì)算下電力電能計(jì)量信息采集系統(tǒng)

國家電網(wǎng)已建立了與電能信息采集相關(guān)的一系列系統(tǒng),主要負(fù)責(zé)采集不同用戶用電情況下的電力電能計(jì)量信息[9]。已有的運(yùn)行體系缺乏整體統(tǒng)一協(xié)調(diào),各部門與專業(yè)之間相互協(xié)作。對個別業(yè)務(wù)有特殊要求時,未考慮個別數(shù)據(jù)采集頻率標(biāo)準(zhǔn),不能實(shí)現(xiàn)數(shù)據(jù)實(shí)時共享,限制了系統(tǒng)的應(yīng)用范圍。對比現(xiàn)有國網(wǎng)系統(tǒng),所提出的信息采集系統(tǒng)整體框架可以減少很多中間環(huán)節(jié),具有更加高效快捷的特點(diǎn)。

1.1 電力電能計(jì)量信息采集系統(tǒng)硬件設(shè)計(jì)

云計(jì)算的關(guān)鍵技術(shù)是將大量的電力電能計(jì)量信息資源集中到虛擬化平臺上,為不同的電力用戶提供豐富的平臺服務(wù),同時又能在不占用計(jì)算機(jī)內(nèi)存空間的前提下存儲海量信息數(shù)據(jù),滿足電力用戶對存儲空間的需求。云計(jì)算是一種強(qiáng)大的管理平臺技術(shù),不僅是一種網(wǎng)絡(luò)技術(shù),它還是一種集成了分布式存儲技術(shù)、編程技術(shù)和虛擬技術(shù)的綜合技術(shù)[10-11]。且云計(jì)算的應(yīng)用成本較低,功能更加豐富,能夠?yàn)楫?dāng)前電力電能計(jì)量信息采集做出貢獻(xiàn)。

基于云計(jì)算的電力電能計(jì)量信息采集系統(tǒng)硬件設(shè)計(jì)整體架構(gòu)圖如圖1所示。

圖1 基于云計(jì)算的信息采集整體架構(gòu)圖

由圖1可知,信息采集的整體架構(gòu)共有四層,分別為處理層、操作平臺、數(shù)據(jù)管理層以及數(shù)據(jù)采集層,具體介紹如下：

(1)數(shù)據(jù)采集層采集電能計(jì)量裝置中各種數(shù)據(jù),通過電力電能檢測裝置和電力電能計(jì)量檢測設(shè)備以及各種傳感器實(shí)現(xiàn),包括底層數(shù)據(jù)的采集,輸出電力電能計(jì)量,實(shí)現(xiàn)測量、記錄和發(fā)送各種電量,如發(fā)電量、供電量和用電量等。不同型號專變終端和用戶設(shè)備等均可作為計(jì)量設(shè)備被使用。

(2)數(shù)據(jù)管理層負(fù)責(zé)實(shí)時數(shù)據(jù)如何接入和研究參數(shù)等,以及通過偏序約簡算法對電力電能計(jì)量信息數(shù)據(jù)的預(yù)處理。偏序約簡算法是把相同內(nèi)容的序列視為一個約束動作,根據(jù)數(shù)據(jù)管理層中攻擊者截獲的信息,判斷已等效的約束動作是否達(dá)到冗余狀態(tài),然后約簡此刻狀態(tài)空間。偏序約簡算法以同一動作序列建立等價(jià)關(guān)系,在一定程度上可以減少安全協(xié)議狀態(tài)空間,提高約簡速度和檢測效率。偏序約簡算法計(jì)算公式為

Syj=Pij+Qij

(1)

式中：Pij為偏序約簡狀態(tài)遷移節(jié)點(diǎn);Qij為偏約簡狀態(tài)后繼節(jié)點(diǎn)。根據(jù)式(1)可計(jì)算出偏序約簡狀態(tài)空間內(nèi)最佳約簡效果,實(shí)現(xiàn)電力電能計(jì)量信息數(shù)據(jù)的預(yù)處理。

(3)操作平臺分為五個模塊,具體如下所示：①分布式文件系統(tǒng)可實(shí)現(xiàn)電力電能計(jì)量信息的存儲,該系統(tǒng)擴(kuò)展性高,能夠靈活配置業(yè)務(wù)。②海量實(shí)時數(shù)據(jù)管理系統(tǒng)基于云計(jì)算實(shí)現(xiàn)存儲和管理大量實(shí)時數(shù)據(jù),目前通用數(shù)據(jù)庫存儲和處理實(shí)時用電信息數(shù)據(jù)時具有局限性,而該系統(tǒng)通過簡化數(shù)據(jù)模型、擴(kuò)展分布式存儲資源解決上述問題,以保證整體流程順暢運(yùn)行。系統(tǒng)采用內(nèi)存和磁盤組合存儲的分布式數(shù)據(jù)處理思想,電力電能計(jì)量信息為實(shí)時數(shù)據(jù),使用內(nèi)存存儲實(shí)現(xiàn)信息存儲與檢索,首先通過實(shí)時數(shù)據(jù)庫對其進(jìn)行實(shí)時處理存儲,形成歷史數(shù)據(jù)文件塊,再通過并行計(jì)算系統(tǒng)分割和壓縮文件塊,最終實(shí)現(xiàn)數(shù)據(jù)存儲;存儲用戶與重要負(fù)荷電表數(shù)據(jù)文件采用磁盤存儲方式,存儲采用文件與數(shù)據(jù)結(jié)合方式實(shí)現(xiàn),檢索技術(shù)使用哈希表數(shù)據(jù)結(jié)構(gòu)。③并行計(jì)算系統(tǒng)使用MapReduce并行模式完成用電信息的統(tǒng)計(jì)與分析。④分布式并發(fā)控制系統(tǒng)實(shí)現(xiàn)即時刷新數(shù)據(jù)。⑤平臺安全管理系統(tǒng)負(fù)責(zé)管理整個操作平臺的安全,具體功能為系統(tǒng)、用戶和權(quán)限管理,以及報(bào)警等安全監(jiān)測功能。

(4)處理層分為能力模塊、服務(wù)模塊、應(yīng)用模塊以及終端采集和通信模塊,具體如下所示：①能力模塊含有搜索引擎和并行計(jì)算工作引擎,分別負(fù)責(zé)文檔存儲、索引、搜索和電力系統(tǒng)的計(jì)算與應(yīng)用,為數(shù)據(jù)搜索和電力系統(tǒng)業(yè)務(wù)應(yīng)用提供技術(shù)基礎(chǔ)。②服務(wù)模塊提供數(shù)據(jù)訪問接口以及數(shù)據(jù)查詢和監(jiān)控訪問等服務(wù),多種接口均可封裝為不同訪問方式,適用范圍廣。③應(yīng)用模塊。采用云計(jì)算信息平臺,實(shí)現(xiàn)電力電能計(jì)量信息采集等功能,應(yīng)用在電力系統(tǒng)為建設(shè)智能電網(wǎng)提供技術(shù)支持。④終端采集和通信模塊。主要包括主站服務(wù)器、信息采集基站和兩臺終端。主站服務(wù)器也叫總部服務(wù)器,主要負(fù)責(zé)存儲和處理數(shù)據(jù);信息采集基站也叫中轉(zhuǎn)站,主要負(fù)責(zé)匯總采集的信息;兩個終端包括用戶智能化費(fèi)控計(jì)量裝置和電力線路上的電壓與電流采集裝置。

海量電力電能計(jì)量信息采集系統(tǒng)硬件部分的底層數(shù)據(jù)利用模糊特征采集方法獲取[12],在云計(jì)算的環(huán)境下可得利用采集方法獲取的統(tǒng)計(jì)變量TJB計(jì)算公式如下：

TJB=Sjz×(gml-glm)

(2)

式中：Sjz為云計(jì)算結(jié)構(gòu)數(shù)據(jù)組;gml與glm均為云計(jì)算關(guān)聯(lián)特征量。在云計(jì)算技術(shù)下,利用式(2)可得到電力電能計(jì)量信息采集系統(tǒng)的統(tǒng)計(jì)結(jié)果。根據(jù)智能電網(wǎng)全覆蓋、全服務(wù)和全費(fèi)控制的要求,必須對上述四種硬件配置進(jìn)行合理的配置。

1.2 電力電能計(jì)量信息采集系統(tǒng)軟件設(shè)計(jì)

基于采集到的海量電力電能計(jì)量信息采集系統(tǒng)軟件,使用偏序約簡方法進(jìn)行預(yù)處理。偏序約簡方法主要是當(dāng)有兩個獨(dú)立事件最終導(dǎo)致同一個結(jié)果時,只對其中一個事件進(jìn)行分析處理。給出電力電能計(jì)量信息采集系統(tǒng)軟件部分屬性偏序約簡算法的具體步驟：

步驟一：在電力系統(tǒng)設(shè)定一個三元組：

X=(U,W,V)

(3)

式中：X為運(yùn)行狀態(tài);X與U均為集合;X包含全部狀態(tài);U包含全部對象,也稱為論域;W=C∪{D},D?C,其中D和C分別描述兩種屬性,前者為決策,后者為條件;其中：

(4)

式中：V描述屬性w的值域,即?w∈W,Vw∈VO,VO為初始屬性值域。此三元組也稱電力系統(tǒng)信息決策表。

步驟二：使用上述定義決策表Vci∈U,VDi∈C(i∈[1,n],i為正整數(shù)),條件屬性為ci,Vci描述中間轉(zhuǎn)換狀態(tài),VDi描述終止?fàn)顟B(tài),初始狀態(tài)設(shè)為O,VDi通過變換O得到,該變換經(jīng)過所有變遷關(guān)系c1,c2,…,cn實(shí)現(xiàn)。

步驟三：若一個狀態(tài)量內(nèi)有多個對象,經(jīng)過變換后它們的狀態(tài)量也為同一個,但變換中狀態(tài)量不同。決策表中的對象擁有一樣的狀態(tài)值或者在一個范圍內(nèi)都可以稱狀態(tài)量相同。變換通過經(jīng)過變遷關(guān)系ci+1,ci+2,…,ci+n實(shí)現(xiàn),設(shè)有ui∈U滿足以上條件變換。

步驟四：經(jīng)過一個或相同的多個變遷關(guān)系變換后,這些對象依然為同一個狀態(tài)量,上述條件成立則去掉其他冗余對象只保留其中一個對象。

給出一個偏序約簡算法的定理：依靠D劃分等價(jià)類{D1,D2,…,Di},Di={u1,u2,…,ui}(t∈Z),對象為決策表中的數(shù)據(jù)。假設(shè)在一個等價(jià)類內(nèi)有不止一個數(shù)據(jù)分片DSk(k=1,2,…,n),則對這些DSk進(jìn)行約簡,得到的結(jié)果就為最后的約簡結(jié)果,表達(dá)式如式(5)所示：

(5)

式中：Wk為在第k個數(shù)據(jù)分片內(nèi)求出的約簡屬性集;Wkj為通過第k個數(shù)據(jù)分片求出的第j個屬性,j=1,2,…,r。

根據(jù)偏序約簡算法的定理,設(shè)該決策表內(nèi)有n個包含m個條件屬性和一個決策屬性D的對象,該決策表如表1所示。

表1 電力系統(tǒng)信息決策表

并行化是MapReduce模型突出的優(yōu)點(diǎn),與偏序約簡算法的特點(diǎn)相結(jié)合能夠根據(jù)決策屬性的取值將電力電能計(jì)量信息集進(jìn)行等價(jià)類劃分,然后約簡其中各對象。算法能獨(dú)立處理并發(fā)事件,MapReduce模型擁有很多map函數(shù),它們可以使約簡同時獨(dú)立開展。設(shè)E的值有k種,則E的分割等價(jià)類如式(6)所示：

(6)

式中：Ecmi為第i個屬性上第m個對象的值。

等價(jià)類內(nèi)含有電力數(shù)據(jù)集,對其使用map函數(shù)完成約簡過程。

使用map函數(shù)偏序約簡算法的具體步驟如下：

步驟一：將數(shù)據(jù)集中的記錄分別作為一個對象,對其從初始狀態(tài)經(jīng)過變遷關(guān)系轉(zhuǎn)換成決策狀態(tài)。

步驟二：若步驟一中處理結(jié)果為單個對象,則求其經(jīng)歷狀態(tài)集合,否則求所有對象的經(jīng)歷狀態(tài)并集。

步驟三：統(tǒng)計(jì)上述結(jié)果,若存在步驟二中的情形,解碼中間狀態(tài)量的集合并輸出,得到對應(yīng)的最終結(jié)果;若不存在,則以上結(jié)果就為全部條件屬性。由此完成電力電能計(jì)量信息采集系統(tǒng)軟件設(shè)計(jì),結(jié)合硬件部分,設(shè)計(jì)基于云計(jì)算的電力電能計(jì)量信息采集系統(tǒng)。

2 實(shí)驗(yàn)分析

將本文系統(tǒng)應(yīng)用于某供電區(qū)域,分別驗(yàn)證本文系統(tǒng)的電力電能計(jì)量信息采集情況和查詢功能,并對本文系統(tǒng)信息預(yù)處理效率進(jìn)行實(shí)驗(yàn)分析,以及對實(shí)現(xiàn)本文系統(tǒng)信息存儲的分布式文件系統(tǒng)的工作性能進(jìn)行實(shí)驗(yàn)分析。

對該供電區(qū)域使用本文系統(tǒng)采集的月度電量進(jìn)行查詢記錄,分別查詢供電量、售電量與用電量,查詢結(jié)果如表2所示。

表2 某區(qū)域月度電量查詢表 億kW·h

通過表2可知,應(yīng)用本文系統(tǒng)能夠準(zhǔn)確采集和查詢電力電能計(jì)量信息,滿足電力系統(tǒng)自動化要求,提供記錄分析與查詢服務(wù),大幅度提升工作效率,推進(jìn)電力行業(yè)發(fā)展進(jìn)程。

在該供電區(qū)域中選取4組采集到的電力電能計(jì)量信息數(shù)據(jù),數(shù)據(jù)規(guī)模相同,編號從1到4,比較不同節(jié)點(diǎn)數(shù)的信息預(yù)處理加速比性能,4組信息數(shù)據(jù)中選取不同節(jié)點(diǎn)數(shù)的約簡時間對比結(jié)果如圖2所示。

圖2 不同節(jié)點(diǎn)數(shù)約簡效率對比

由圖2中可知,本文系統(tǒng)的信息預(yù)處理約簡效率隨節(jié)點(diǎn)數(shù)的增加而增加,但由于每個節(jié)點(diǎn)間存在線程調(diào)度等開銷,導(dǎo)致效率不能達(dá)到理想狀態(tài),不呈線性增加。不過由此可以推測出當(dāng)數(shù)據(jù)規(guī)模較大時,節(jié)點(diǎn)數(shù)隨之增加,便可以使信息預(yù)處理的約簡時間大大縮短,表明使用本文系統(tǒng)進(jìn)行數(shù)據(jù)預(yù)處理在時間效率上有極大的優(yōu)勢。

本文系統(tǒng)實(shí)現(xiàn)信息采集過程中,采用Hadoop分布式文件系統(tǒng)(HDFS)完成電力電能計(jì)量信息的有效存儲,為此從分布式文件系統(tǒng)的運(yùn)行時間和吞吐量兩個工作性能指標(biāo)來衡量本文系統(tǒng)的信息存儲優(yōu)勢。其中相同數(shù)據(jù)采集過程中的不同操作所用的運(yùn)行時間可準(zhǔn)確反映采集效率的高低,采集效率是綜合電力電能計(jì)量信息采集的重要指標(biāo)之一,為了更好地匹配電力電能計(jì)量信息采集的可靠性能與準(zhǔn)確性能,需要對分布式文件系統(tǒng)文件大小與運(yùn)行時間的關(guān)系進(jìn)行驗(yàn)證,分布式文件系統(tǒng)運(yùn)行時間對比結(jié)果如圖3所示。

圖3 分布式文件系統(tǒng)運(yùn)行時間

由圖3可知,HDFS處理數(shù)據(jù)的時間隨著文件增大越來越少,尤其讀能力較為優(yōu)越。主要原因?yàn)镠DFS的處理模式為單次寫而多次讀,從而大量節(jié)省信息數(shù)據(jù)傳輸時間。

基準(zhǔn)測試從吞吐量單方面進(jìn)行,吞吐量是衡量電力電能計(jì)量信息采集的重要工作性能指標(biāo)之一,基于對電力用戶的測試,根據(jù)信息采集過程中用戶的HDFS覆蓋數(shù)量確定覆蓋范圍,計(jì)算吞吐量是否有效,若沒有錯誤或意外測試結(jié)果,說明吞吐量良好,其中吞吐量越大表明工作性能越好,計(jì)算公式如下：

(7)

式中：Aa為分布式文件系統(tǒng)信息采集列表;Hh為用戶集合;Bb為項(xiàng)目總集合。分別測試不同大小文件的讀、寫操作吞吐量,其中大文件為一個3 GB的文件,小文件為10 000個單個大小為300 kB的文件。分布式文件系統(tǒng)吞吐量對比結(jié)果如圖4所示。

圖4 分布式文件系統(tǒng)吞吐量

由圖4可知,HDFS讀操作性能較好,且處理大文件比小文件工作性更好?？蛻舳藬?shù)量的變化對HDFS影響較大,使系統(tǒng)性能出現(xiàn)波動,但隨著客戶端數(shù)量逐漸增加,吞吐量也逐漸呈穩(wěn)定升高趨勢,證明HDFS具有較高的讀、寫操作能力,其中處理大文件的讀操作能力最好,寫操作能力相比之下較低,也從側(cè)面說明HDFS適用于計(jì)算復(fù)雜度不高的文件,當(dāng)復(fù)雜度較高時寫操作可能會出現(xiàn)一定延遲。

3 結(jié) 論

設(shè)計(jì)基于云計(jì)算的電力電能計(jì)量信息采集系統(tǒng),通過檢測裝置采集信息數(shù)據(jù),偏序約簡算法再對采集到的信息進(jìn)行預(yù)處理。大量的電能數(shù)據(jù)占用存儲空間,讀取和錄入效率越來越低,因此本文設(shè)計(jì)一種新的電力電能計(jì)量信息采集系統(tǒng),實(shí)現(xiàn)電能信息的整體管理。通過實(shí)驗(yàn)證明本文系統(tǒng)能自動采集電力電能計(jì)量信息,且能準(zhǔn)確提供信息查詢服務(wù)。在數(shù)據(jù)預(yù)處理實(shí)驗(yàn)中,本文所采用的偏序約簡算法的工作效率隨節(jié)點(diǎn)數(shù)量的增加而升高,實(shí)驗(yàn)選取的節(jié)點(diǎn)數(shù)中15個節(jié)點(diǎn)的算法時間性能最好。分布式文件系統(tǒng)性能實(shí)驗(yàn)中,驗(yàn)證了文件越大此系統(tǒng)的工作效率越高,且工作性能越好;讀性能優(yōu)于寫性能,均有較高的可擴(kuò)展性,因此電力電能計(jì)量信息采集系統(tǒng)適合高吞吐量、文件較大且計(jì)算復(fù)雜度較低的電力電能計(jì)量信息數(shù)據(jù),為電力電能計(jì)量信息的采集系統(tǒng)提供了技術(shù)支持,從根本上節(jié)約人工與時間成本。

電力電能計(jì)量信息采集系統(tǒng)設(shè)計(jì)工作還在不斷發(fā)展中,對于未來的研究,可以針對該系統(tǒng)采集電力電能信息的準(zhǔn)確率和效率做更加深入的探討。