云計算視野中的電力大數(shù)據(jù)分析技術(shù)與應(yīng)用

高騫 徐超 楊俊義 張飛 顧姝姝

摘 要：21世紀以來智能電網(wǎng)迅猛發(fā)展，與此同時也帶來了數(shù)量龐大、種類繁多的海量數(shù)據(jù)，傳統(tǒng)的電力數(shù)據(jù)處理系統(tǒng)已經(jīng)不能滿足當前的實際需求。云計算作為一種基于互聯(lián)網(wǎng)的服務(wù)模式，通過虛擬化技術(shù)，以其可異構(gòu)計算資源、海量數(shù)據(jù)的存儲和管理能力、快速高效的計算分析能力、易于動態(tài)擴展等特點給電力大數(shù)據(jù)分析帶來了新的理念與思路?；诨A(chǔ)圖表、SVG和地圖的可視化方法則充分運用了電力大數(shù)據(jù)，借助這些新技術(shù)和新方法，電力數(shù)據(jù)分析與應(yīng)用的平臺也在不斷發(fā)展和提高。

關(guān)鍵詞：云計算 數(shù)據(jù)分析 數(shù)據(jù)應(yīng)用 電力大數(shù)據(jù)

電能自十八世紀發(fā)明以來，與我們的生活休戚相關(guān)。一方面電能提高了居民生活質(zhì)量，另一方面對促進國家經(jīng)濟發(fā)展、加強國防建設(shè)、推進社會和諧等都產(chǎn)生了深遠的影響。電能的應(yīng)用程度也成為衡量一個國家發(fā)展水平的重要標準之一。在進入21世紀以來，電能進入了高速、全面、系統(tǒng)的發(fā)展時期，智能電網(wǎng)的概念應(yīng)運而生，智能電網(wǎng)建設(shè)的熱潮在各個國家如火如荼地進行著。但隨著智能電網(wǎng)爆發(fā)式的增長，各類監(jiān)測數(shù)據(jù)不斷擴大，種類不斷增多，價值不斷提高，現(xiàn)有的傳統(tǒng)電力數(shù)據(jù)處理系統(tǒng)無法滿足這種需求。而云計算的出現(xiàn)，如同第三次革命浪潮一般，徹底改變了我們的生活方式和生產(chǎn)方式，也給電力數(shù)據(jù)的分析與處理帶來了全新的理念和思路。

在云計算的技術(shù)支撐之下，電網(wǎng)系統(tǒng)的數(shù)據(jù)收集、數(shù)據(jù)監(jiān)測、數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用都實現(xiàn)了大數(shù)據(jù)式的革新和升級，在這個全新的高性能的平臺上，能夠解決很多以往電力大數(shù)據(jù)發(fā)展遇到的問題，并開展全面的應(yīng)用服務(wù)。

一、云計算在海量電力大數(shù)據(jù)分析上的優(yōu)勢

云計算是一種通過網(wǎng)絡(luò)來提供的虛擬化服務(wù)，因此它與互聯(lián)網(wǎng)是密不可分的。云計算可以充分利用各種硬件和軟件資源如存儲設(shè)備、網(wǎng)絡(luò)系統(tǒng)、服務(wù)器等，是一種可以為各種互聯(lián)網(wǎng)應(yīng)用提供基礎(chǔ)架構(gòu)服務(wù)、硬件服務(wù)、平臺服務(wù)、存儲服務(wù)和軟件服務(wù)的系統(tǒng)。在中國，云計算也受到了越來越多的重視?？傮w來說，云計算技術(shù)的優(yōu)勢非常明顯，結(jié)合本文主題，主要從以下幾個層面來研究：

（一）可異構(gòu)計算資源

在傳統(tǒng)的數(shù)據(jù)平臺上，由于各類資源都需要有統(tǒng)一的接口，因此傳統(tǒng)數(shù)據(jù)分析具有同構(gòu)性的技術(shù)特點，但召集資源信息異常繁雜，一致接口則是很能達到的一種狀態(tài)。而云計算可以采用一些虛擬化技術(shù)如計算、存儲等，將計算機服務(wù)器等不同組織上的零散、無序的資源匯總整合，從而為數(shù)據(jù)收集、分析和應(yīng)用提供了全新的思路和技術(shù)支撐。

（二）海量數(shù)據(jù)的存儲和管理能力

我們知道電網(wǎng)中的數(shù)據(jù)數(shù)量大、種類大，因此處理電網(wǎng)大數(shù)據(jù)的平臺也必須達到相應(yīng)的數(shù)據(jù)管理能力。傳統(tǒng)數(shù)據(jù)存儲容量有限，存儲狀態(tài)不夠穩(wěn)定，數(shù)據(jù)有丟失和排列失序的可能，想對這些數(shù)據(jù)進行管理和分析，實操起來難度非常大。而云計算則完全不同，在虛擬化技術(shù)的支持下，大量混亂無序的資源得到了分門別類的歸集和識別，狀態(tài)穩(wěn)定、獲取簡便、處理起來能夠?qū)崿F(xiàn)智能化，受一些客觀因素的影響變少，根據(jù)不同的指令，實現(xiàn)不同的功能和服務(wù)模式。

（三）快速高效的計算分析能力

分析速度快慢，解讀效率高底是衡量數(shù)據(jù)挖掘與分析能力的重要指標。對于電力系統(tǒng)來說，海量的電力大數(shù)據(jù)需要通過復(fù)雜繁瑣的計算方法來進行有效評估，并產(chǎn)生預(yù)警機制。云計算智能化的并行計算模式，能夠最大程度的節(jié)約成本提高效率，從而實現(xiàn)電力大數(shù)據(jù)分析與應(yīng)用的基本需求和高參數(shù)需求。

（四）易于動態(tài)擴展

傳統(tǒng)的電力數(shù)據(jù)分析平臺，只有通過購置更換更新的核心部件，才能夠提升相關(guān)數(shù)據(jù)分析能力，同時這種擴展也是有限制的，一旦升至上限就要完全更換設(shè)備。而云計算與傳統(tǒng)電力數(shù)據(jù)分析平臺則是完全不同的原理，并不受制于設(shè)備和硬件等條件的參數(shù)限制。從理論上來講，云計算是沒有空間限制的，可以實現(xiàn)無限擴展。這個擴展并不需要更換原有設(shè)備，只需要增加相關(guān)設(shè)備即可。動態(tài)擴展的成本本、效率高，實用價值大大提高。

通過以上對云計算技術(shù)的優(yōu)勢分析，我們可以看到傳統(tǒng)數(shù)據(jù)分析平臺已經(jīng)不再能夠適應(yīng)現(xiàn)代數(shù)據(jù)分析的需求了。隨著智能電網(wǎng)系統(tǒng)的全面發(fā)展與革新，大數(shù)據(jù)的收集、分析和應(yīng)用的需求越來越大。要想解決在發(fā)展中遇到的問題，充分利用電力大數(shù)據(jù)來解決問題，就必須采用云計算技術(shù)。

二、電力大數(shù)據(jù)的主要分析技術(shù)

大數(shù)據(jù)分析技術(shù)種類較多，在此結(jié)合電力行業(yè)的實際，主要介紹三種電力大數(shù)據(jù)的分析技術(shù)。

（一）Hadoop

Hadoop是在電力大數(shù)據(jù)分析中較為常見的一種技術(shù)，如今已經(jīng)發(fā)展成為一個大數(shù)據(jù)相關(guān)的龐大的軟件生態(tài)系統(tǒng)。Hadoop對待大型數(shù)據(jù)的處理方法，主要是采用編程模型來進行計算和分析，這種大數(shù)據(jù)式的處理框架效率高、速度高。Hadoop以單一服務(wù)器擴展至千百萬個機器，架構(gòu)安全，可用度高，服務(wù)高效。其用戶在前期也不用花費太多的時間和金錢，就能夠從事數(shù)據(jù)開發(fā)和處理的相關(guān)工作。在電力大數(shù)據(jù)的分析實踐中，我們可以發(fā)現(xiàn)對Hadoop的應(yīng)用是比較廣泛的，也主要是用于處理批量的離線數(shù)據(jù)。在對實時大數(shù)據(jù)的處理過程中，Hadoop則顯示出其不能快速響應(yīng)的缺陷，因此需要其它數(shù)據(jù)分析技術(shù)給予補充。

（二）Spark

Spark技術(shù)相較前兩者，它是一個新技術(shù)新思路。Spark與第一種Hadoop有類似之處，開發(fā)者是UCBerkeleyAMPlab，其計算框架與MapReduce能用，基于MapReduce實現(xiàn)分布式計算?？梢赃@樣說，Hadoop所具有的優(yōu)點，Spark都具有。而Spark又具有前者所不具有的一些優(yōu)勢，即它將中間處理的結(jié)果保存在內(nèi)存中以便于下次計算時能夠快速的讀取數(shù)據(jù)，減少了頻繁讀取HDFS帶來的I/O方面的開銷。因此，Spark在迭代計算方面的處理性能比MapReduce高出一個數(shù)量級。

（三）Storm

Storm自2011年8月成為正式開源以來，受到了很多用戶的喜愛和追捧。而在實踐過程中，Storm也確實表現(xiàn)出驚人的業(yè)務(wù)處理、數(shù)據(jù)流處理和服務(wù)支撐能力。Storm既表現(xiàn)出跟Hadoop一樣的穩(wěn)定的離線數(shù)據(jù)處理能力，也能夠輕松應(yīng)對實時大數(shù)據(jù)的分析處理工作，可以達到一秒鐘處理百萬消息的速度。當今很多電子商務(wù)巨頭也采用Storm應(yīng)用來處理實時數(shù)據(jù)變化。

總體來說，電力大數(shù)據(jù)平臺的研究系統(tǒng)化不強，研究類別也不多，相對來說對Hadoop的大數(shù)據(jù)的離線批處理研究的比較多，但仍然存在較多的問題。云計算技術(shù)正好能彌補傳統(tǒng)電力數(shù)據(jù)分析系統(tǒng)的缺陷。

三、電力大數(shù)據(jù)的可視化應(yīng)用

電力大數(shù)據(jù)的獲取是為了更好的應(yīng)用數(shù)據(jù)，讓枯燥的數(shù)據(jù)反映出問題和趨勢，并提供解決問題的方案。這也就是電力大數(shù)據(jù)可視化所要研究的問題。可視化研究的關(guān)鍵，是在龐大的數(shù)據(jù)海洋中發(fā)現(xiàn)規(guī)律、尋找聯(lián)系、歸整指標，并采用科學合理的方式進行直觀展示。當前電力大數(shù)據(jù)可視化的方法主要基礎(chǔ)圖表法、基于SVG的可視化法和基于地圖的可視化法。

（一）基礎(chǔ)圖表可視化方法

最基礎(chǔ)的可視化展示手段，就是通過圖形、表格的方式來展示數(shù)據(jù)。人們在獲取數(shù)據(jù)時，能夠在最快的時間內(nèi)發(fā)現(xiàn)問題所在，并利用數(shù)據(jù)所體現(xiàn)出的規(guī)律特征來解決問題。在可視化系統(tǒng)的實現(xiàn)過程中，主要使用了表格、折線圖以及柱狀圖三種可視化展示方法。表格主要用于記錄詳細的數(shù)據(jù)，用戶可以通過查找來獲取數(shù)據(jù)資源。拆線圖主要應(yīng)用于時間序列數(shù)據(jù)，描述在某個時間間隔下連續(xù)數(shù)據(jù)隨時間變化趨勢。而柱狀圖顧名思義采用的是通過柱體的長度，按照不同標準排列起來，來展示相關(guān)數(shù)值差異。

（二）基于SVG的可視化方法

SVG的文件主要通過顏色顯示的方式來代表不同的電力數(shù)據(jù)。采用這一方法必須掌握某區(qū)域內(nèi)電力數(shù)據(jù)的基本情況，結(jié)合具體的指標參數(shù)，對各區(qū)域的地力數(shù)據(jù)進行顏色賦值，不同的顏色、深淺程度代表不同的電力數(shù)據(jù)情況。這樣一來，不同區(qū)域的電力數(shù)據(jù)差異一目了然。以中國地圖為例，如果需要了解在某一時間區(qū)間內(nèi)不同省市的用電人數(shù)情況，則可以通過色塊的方式在地圖上有非常直觀的呈現(xiàn)。而如果你想調(diào)用某一具體數(shù)據(jù)，則可以通過SVG文件來實現(xiàn)控制功能，查看各類型數(shù)據(jù)資源都非常方便和穩(wěn)定。

（三）基于地圖的可視化

以用戶用電量為例，傳統(tǒng)數(shù)據(jù)顯示法就是直觀的統(tǒng)計數(shù)據(jù)，而基于地圖的可視化可以將數(shù)據(jù)引入到地圖中去，并結(jié)合色彩、圖形等個性化地展示不同地區(qū)的用電量數(shù)據(jù)特點，方便用戶直觀地看看到數(shù)據(jù)以及不同區(qū)域之間的數(shù)據(jù)對比。同時，基于地圖的可視化也可以做的十分精細，可以具體到某一個用戶甚至某一個用電設(shè)備。在數(shù)據(jù)統(tǒng)計時，也可以選取某一種類的用電設(shè)備，如空調(diào)，可以實現(xiàn)及時查看各類數(shù)據(jù)。目前主要會選擇高德地圖、百度地圖等地圖工具。

電力設(shè)備狀態(tài)的監(jiān)測分為數(shù)據(jù)采集、數(shù)據(jù)分析和狀態(tài)評估三個階段。隨著信息時代的不斷發(fā)展，電力數(shù)據(jù)的數(shù)量不斷提高，數(shù)據(jù)采集工作量很大。但最為核心的技術(shù)還是數(shù)據(jù)分析。云計算在當前數(shù)據(jù)資源的發(fā)展態(tài)勢下顯現(xiàn)了一定的優(yōu)勢，本文結(jié)合云計算技術(shù)，提出了基于云計算的海量電力數(shù)據(jù)分析平臺技術(shù)，并引入了三種可視化的方法，分別是基礎(chǔ)圖表可視化、SVG可視化以及地圖可視化。云計算技術(shù)在電力行業(yè)有著廣闊的發(fā)展前景，未來的研究中還需持續(xù)關(guān)注、不斷創(chuàng)新。

參考文獻：

[1]楊莉.用大數(shù)據(jù)助力互聯(lián)網(wǎng)金融高效監(jiān)管[J].人民論壇，2018（15）.

[2]熊里.基于云平臺的電力大數(shù)據(jù)多角度可視化分析與研究[D].華北電力大學，2017.

[3]劉燕.電力大數(shù)據(jù)可視化融合[D].華北電力大學，2017.

[4]馬曉丹.電力大數(shù)據(jù)平臺下數(shù)據(jù)分析與挖掘研究與應(yīng)用[D].華北電力大學，2016.

[5]曾文靜.Storm在電力大數(shù)據(jù)分析平臺中的研究與應(yīng)用[D].華北電力大學，2016.

[6]謝然.社交關(guān)系與大數(shù)據(jù)的結(jié)合，催生真正的互聯(lián)網(wǎng)與金融領(lǐng)導(dǎo)者[J].互聯(lián)網(wǎng)周刊，2015（1）：22—25.

[7]邵夢.大數(shù)據(jù)如何顛覆傳統(tǒng)金融？[J].徽商，2015（1）：68—68.

[8]孫藝新.電力大數(shù)據(jù)應(yīng)用模式與前景分析[J].中國電力企業(yè)管理，2015（9）：22—24.

[9]毛羽豐.基于云計算的海量電力數(shù)據(jù)分析系統(tǒng)設(shè)計與實現(xiàn)[D].北京交通大學，2015.

[10]楊佳琦.互聯(lián)網(wǎng)金融模式及發(fā)展研究[J].電子商務(wù)，2014（4）：1—2.

〔本文系國家自然科學基金資助項目“基于agent與眾包數(shù)據(jù)獲取服務(wù)的企業(yè)決策支持關(guān)鍵方法研究”（項目編號：71471083）、國家自然科學基金資助項目“互聯(lián)網(wǎng)環(huán)境下信息產(chǎn)品與服務(wù)的多途徑價值創(chuàng)新關(guān)鍵支撐方法與建模研究”（項目編號：71771118）、江蘇省自然科學基金“基于眾包模式的數(shù)據(jù)獲取與決策支持關(guān)鍵方法與技術(shù)研究”（項目編號：BK20151388）研究成果〕

（高騫、徐超，國網(wǎng)江蘇省電力有限公司。楊俊義，國網(wǎng)江蘇省電力公司電力經(jīng)濟技術(shù)研究院。張飛，國網(wǎng)江蘇省電力公司淮安供電公司。顧姝姝，南京大學商學院）