智能電網(wǎng)建設(shè)中云計算大數(shù)據(jù)處理技術(shù)的運用分析

尹君 繆剛 桑遙 李太華

【摘要】 隨著社會的發(fā)展，電力系統(tǒng)越來越龐大，這使得電力數(shù)據(jù)的分析與處理越來越復(fù)雜，需要引入現(xiàn)代數(shù)據(jù)科技以使電力系統(tǒng)在新時代獲得快速發(fā)展，進(jìn)而更好的為人們生產(chǎn)生活服務(wù)。本文以云計算技術(shù)為視角，對智能電網(wǎng)大數(shù)據(jù)處理進(jìn)行詳細(xì)分析。

【關(guān)鍵詞】 智能電網(wǎng) 云計算 大數(shù)據(jù)處理

智能電網(wǎng)是電力系統(tǒng)發(fā)展的趨勢，是在融合傳統(tǒng)電力技術(shù)與現(xiàn)代自動化技術(shù)的基礎(chǔ)上對電力系統(tǒng)多個環(huán)節(jié)采集大量數(shù)據(jù)，并進(jìn)行挖掘、分析與決策，從而達(dá)到提升電力系統(tǒng)服務(wù)質(zhì)量，增強電網(wǎng)運行穩(wěn)定性與可靠性。隨著電力系統(tǒng)共的不斷發(fā)展，現(xiàn)代自動化技術(shù)不斷應(yīng)用到其中，進(jìn)而產(chǎn)生海量數(shù)據(jù)，即電力大數(shù)據(jù)。

從目前的電力系統(tǒng)大數(shù)據(jù)分析技術(shù)的運用情況來看，多數(shù)系統(tǒng)時基于數(shù)據(jù)庫的，但其可伸縮性差，分析速度慢，難以適應(yīng)智能電網(wǎng)要求，因此在這種情況下，引入云計算技術(shù)能夠取得良好效果。

一、電力系統(tǒng)大數(shù)據(jù)特征及云計算分析

1.1電力大數(shù)據(jù)特征

電力大數(shù)據(jù)主要涉及發(fā)電、配電、輸電、營銷及管理等各環(huán)節(jié)所產(chǎn)生的大數(shù)據(jù)，這些數(shù)據(jù)最終匯聚到數(shù)據(jù)中心進(jìn)行統(tǒng)一存儲管理。

一般來說，電力大數(shù)據(jù)具備以下主要特征：一是數(shù)據(jù)體量大，智能電網(wǎng)中各環(huán)節(jié)所傳輸入數(shù)據(jù)中心的數(shù)據(jù)規(guī)模成指數(shù)級激增，通常會達(dá)到TB甚至PB量級；二是數(shù)據(jù)種類繁多，通常涉及到整個電網(wǎng)中的所有環(huán)節(jié)的數(shù)據(jù)，比如傳統(tǒng)結(jié)構(gòu)性數(shù)據(jù)以及營銷、管理、服務(wù)等非結(jié)構(gòu)化數(shù)據(jù)等；三是數(shù)據(jù)采集、傳輸、處理速度快；四是電力大數(shù)據(jù)通常蘊含用戶用電信息，這對于智能電網(wǎng)的合理規(guī)劃和安排十分關(guān)鍵；五是跨行業(yè)間數(shù)據(jù)交互頻繁。

1.2云計算優(yōu)勢

對于云計算的概念界定來看，學(xué)術(shù)界及自動化、智能網(wǎng)絡(luò)等領(lǐng)域?qū)υ朴嬎憔哂幸韵露x：云計算是一種全新的大規(guī)模分布式計算模式，起源于互聯(lián)網(wǎng)公司對大量計算機與存儲資源的需求以及對可仲縮、高性能、高可用等特征的追求。云計算技術(shù)對于智能電網(wǎng)大數(shù)據(jù)處理而言具有突出的優(yōu)勢。云計算聚合了大量分布、異構(gòu)的資源，能夠向電力用戶提供海量的數(shù)據(jù)存儲與計算能力。此外，云計算還提供了橫向伸縮與動態(tài)負(fù)載均衡能力，這無疑極大的提升了智能電網(wǎng)大數(shù)據(jù)存儲和處理的效率和質(zhì)量。

二、電力大數(shù)據(jù)分析系統(tǒng)體系結(jié)構(gòu)

從本質(zhì)上來講，智能電網(wǎng)的大數(shù)據(jù)系統(tǒng)實時從電力系統(tǒng)多環(huán)節(jié)的傳感器與智能電表中采集數(shù)據(jù)資料，運用云計算技術(shù)進(jìn)行加工處理，并快速準(zhǔn)確的提供給用戶查詢。因此基于云計算的智能電網(wǎng)大數(shù)據(jù)系統(tǒng)結(jié)構(gòu)包括以下主要模塊：①分布式文件系統(tǒng)模塊，用于智能電網(wǎng)大數(shù)據(jù)持久性存儲；②Hadoop分布式系統(tǒng)基礎(chǔ)框架；③基于Hadoop平臺的數(shù)據(jù)倉庫系統(tǒng)Hive，對電力大數(shù)據(jù)進(jìn)行分析計算；④監(jiān)控工具與運行調(diào)度工具；⑤開發(fā)工具集包括SQL翻譯、并行ETL工具、索引管理、任務(wù)管理等工具。

三、關(guān)鍵技術(shù)

3.1基于網(wǎng)格文件的多維索引

對智能電力大數(shù)據(jù)系統(tǒng)中Hive而言，其自身存在一定的缺點，比如較弱的索引支持，這將導(dǎo)致浪費CPU進(jìn)而影響大數(shù)據(jù)分析性能。Hive自身卻又具備多維區(qū)間查詢特征，而且查詢維度較為固定，因此在此基礎(chǔ)上引入索引技術(shù)來過濾無關(guān)數(shù)據(jù)將明顯提升云計算對大數(shù)據(jù)的處理性能。對于智能電網(wǎng)的電力大數(shù)據(jù)特征，且考慮到Hive的弱索引支持，可引入或設(shè)計基于網(wǎng)格文件的分布式多維索引，用于提高Hive的索引性能。

3.2基于查詢重寫的SQL到HQL自動翻譯工具

Hive的查詢語言HQL是SQL的一個子集，具有顯著的語法差異。在智能電網(wǎng)的大數(shù)據(jù)存儲與處理中，電力大數(shù)據(jù)中存在大量的SQL語句，這些語句中很大比例使用了多項HQL不支持的SQL特性，這使得該語句在向云計算遷移時需要進(jìn)行必要的翻譯，但是又因為HQL與SQL之間的不兼容，導(dǎo)致這些語句需要經(jīng)過人工翻譯，這必然極大的加大了工作量，而且還容易出現(xiàn)差錯。在這種情況下，引入自動翻譯工具QMapper，能夠使SQL語句經(jīng)過翻譯得到多個等價的HQL語句，然后通過JOIN優(yōu)化器統(tǒng)計與反饋，完成最終的轉(zhuǎn)換結(jié)果。

3.3支持?jǐn)?shù)據(jù)更新的混合存儲模型

在智能電網(wǎng)大數(shù)據(jù)系統(tǒng)中，云計算技術(shù)所涉及的Hive不支持?jǐn)?shù)據(jù)更新與刪除，智能重寫完整數(shù)據(jù)表文件，但是實際工作中，對數(shù)據(jù)的更新與刪除操作較多，這無疑會造成較多的困難。在此基礎(chǔ)上，可設(shè)計一種混合型存儲架構(gòu)，由主表與附表組成，其中主表用于存儲，附表則用于存儲對主表中數(shù)據(jù)的更改信息。設(shè)計的這種混合型存儲架構(gòu)在原生HQL的基礎(chǔ)上增加了對大數(shù)據(jù)的數(shù)據(jù)更新和語意刪除功能，而且當(dāng)需要讀取數(shù)據(jù)時，則接口同時訪問主表與附表。隨著存儲數(shù)據(jù)的不斷增大，一旦主表定期更新之后，附表數(shù)據(jù)被清空。

參 考 文 獻(xiàn)

[1]黃智鑫.基于云計算的智能電網(wǎng)調(diào)度系統(tǒng)的研究[D].天津理工大學(xué).2014.1

[2]孟祥萍，周來.云計算技術(shù)在未來智能電網(wǎng)信息處理平臺中的應(yīng)用[J].計算機測量與控制.2015.10

[3]陳杰，張躍宇.云計算在智能電網(wǎng)中的應(yīng)用及其安全問題研究[J].中興通訊技術(shù).2012.6