史冀

摘要：工業(yè)和信息化部發(fā)布了《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃（2016-2020年）》。參照該規(guī)劃指導(dǎo)思想、發(fā)展目標(biāo)、重點(diǎn)任務(wù)、重大工程、保障措施等內(nèi)容，聚焦電力大數(shù)據(jù)與大電網(wǎng)智能監(jiān)控領(lǐng)域，以期促進(jìn)大數(shù)據(jù)技術(shù)在全球能源互聯(lián)網(wǎng)建設(shè)中的深度應(yīng)用和創(chuàng)新發(fā)展

關(guān)鍵詞：電力大數(shù)據(jù);大電網(wǎng);智能;監(jiān)控

1智能電網(wǎng)大數(shù)據(jù)及其特點(diǎn)

1.1智能電網(wǎng)中的大數(shù)據(jù)

智能電網(wǎng)數(shù)據(jù)的處理不是單一的存在，它有著自身獨(dú)特的特點(diǎn)，大體上可把這種往來數(shù)據(jù)分割為3類：一類是在電網(wǎng)的運(yùn)作狀態(tài)下，利用設(shè)備來檢測(cè)和監(jiān)測(cè)數(shù)據(jù);二類是把電字的銷售，還有價(jià)格及電量，根據(jù)不同情況、不同客戶做出數(shù)據(jù)判別，后進(jìn)行整理;三類是電力企業(yè)數(shù)據(jù)的管理。

1.2智能電網(wǎng)中的大數(shù)據(jù)特點(diǎn)

智能電網(wǎng)中的大數(shù)據(jù)具備“4V”特征，即規(guī)模大（Volume）、類型多（Variety）、價(jià)值密度低（Value）和變化快（Velocity）。

2大數(shù)據(jù)處理技術(shù)

2.1大數(shù)據(jù)處理的價(jià)值

大數(shù)據(jù)的存在價(jià)值在這些年來，被廣泛用于商業(yè)、科技等領(lǐng)域，儼然成為了社會(huì)的重要角色之一。法國執(zhí)政黨在2013年5月，法國投資大數(shù)據(jù)產(chǎn)業(yè)的金額高達(dá)1.6億歐元。法國政府預(yù)測(cè)大數(shù)據(jù)對(duì)將來的科技與經(jīng)濟(jì)發(fā)展有著前所未有的深遠(yuǎn)影響。大數(shù)據(jù)目前已廣泛應(yīng)用于我國及世界各國，如京東每天新增的交易數(shù)據(jù)達(dá)8TB;大數(shù)據(jù)分析平臺(tái)日處理數(shù)據(jù)量高達(dá)90PB，這個(gè)平臺(tái)處理量相當(dāng)于美國納斯達(dá)克交易所一個(gè)星期的數(shù)據(jù)處理量;再者就是沃爾瑪曾經(jīng)是最早運(yùn)用大數(shù)據(jù)來分析并獲得受益的企業(yè)之一，其曾創(chuàng)造了“啤酒與尿布”的不可取代的神話，現(xiàn)如今的沃爾瑪處理100萬件交易需要1h，存入的數(shù)據(jù)大約2.5PB在數(shù)據(jù)庫中，這些數(shù)據(jù)量是美國國會(huì)圖書館的167倍;微軟花了20年，耗費(fèi)數(shù)百萬美元完成的Office拼寫檢查功能，谷歌公司則利用大數(shù)據(jù)統(tǒng)計(jì)分析直接實(shí)現(xiàn)。

2.2并行數(shù)據(jù)庫

并行數(shù)據(jù)庫（如Oracle等）主要功能為存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)。

2.3云計(jì)算數(shù)據(jù)

由于電力系統(tǒng)中海量數(shù)據(jù)的云集，大數(shù)據(jù)借助云計(jì)算高效的計(jì)算功能，對(duì)智能電網(wǎng)中的數(shù)據(jù)進(jìn)行解析，使其能呈現(xiàn)數(shù)據(jù)分布情況，了解一手資料，做出合理的應(yīng)對(duì)方案。

2.4云計(jì)算在智能電網(wǎng)中的應(yīng)用

云計(jì)算運(yùn)用其高效的服務(wù)技術(shù)、多樣化的監(jiān)測(cè)系統(tǒng)、可靠的實(shí)時(shí)獲取數(shù)據(jù)，將智能電網(wǎng)中的記錄數(shù)據(jù)進(jìn)行整理分析，降低其缺失率，能夠更為精準(zhǔn)地捕捉數(shù)據(jù)技術(shù)難點(diǎn)，將復(fù)雜性化為簡(jiǎn)化。

3數(shù)據(jù)的采集

3.1存儲(chǔ)在傳統(tǒng)數(shù)據(jù)庫中的電網(wǎng)數(shù)據(jù)采集

集群部署階段安裝的Sqoop服務(wù)提供了數(shù)據(jù)轉(zhuǎn)化的功能，該服務(wù)可以將存儲(chǔ)在數(shù)據(jù)庫中的電網(wǎng)數(shù)據(jù)抽取到分布式的存儲(chǔ)架構(gòu)HDFS中，已有的數(shù)據(jù)就可以很方便地被拉取到集群中。為便于后期對(duì)數(shù)據(jù)進(jìn)行分布和挖掘，我們可將抽取到HDFS中的數(shù)據(jù)導(dǎo)入Hive中。Hive針對(duì)表中數(shù)據(jù)提供了一種類sql查詢和分析語法，只要掌握簡(jiǎn)單的sql語法即可對(duì)海量的數(shù)據(jù)進(jìn)行分析，而不必掌握復(fù)雜的大數(shù)據(jù)技術(shù)。

3.2網(wǎng)絡(luò)中的電網(wǎng)數(shù)據(jù)采集

Internet上有許多電力企業(yè)用戶的行為數(shù)據(jù)，這些數(shù)據(jù)中蘊(yùn)含著豐富的價(jià)值，采集和分析這些數(shù)據(jù)也成為企業(yè)發(fā)展的重要內(nèi)容。目前網(wǎng)絡(luò)上的數(shù)據(jù)主要通過專業(yè)的爬蟲團(tuán)隊(duì)從個(gè)網(wǎng)站上爬取，爬取的數(shù)據(jù)大多數(shù)是非結(jié)構(gòu)化的。爬取到的網(wǎng)絡(luò)數(shù)據(jù)先將其上傳到HDFS中，針對(duì)這些非結(jié)構(gòu)化的數(shù)據(jù)可將其導(dǎo)入HBase表中，HBase對(duì)非結(jié)構(gòu)化的數(shù)據(jù)提供了一種列式存儲(chǔ)的分布式技術(shù)，該技術(shù)不但方便存儲(chǔ)復(fù)雜的數(shù)據(jù)，且因其列式存儲(chǔ)的特點(diǎn)，非常利于大量數(shù)據(jù)的壓縮存儲(chǔ)。

4數(shù)據(jù)的分析和挖掘

數(shù)據(jù)的采集和存儲(chǔ)是大數(shù)據(jù)應(yīng)用的前提，對(duì)大數(shù)據(jù)進(jìn)行分析和挖掘，找出數(shù)據(jù)中蘊(yùn)藏的規(guī)律來指導(dǎo)企業(yè)的規(guī)劃和發(fā)展才是我們的最終目的。目前，對(duì)存儲(chǔ)在分布式架構(gòu)中的海量數(shù)據(jù)已經(jīng)集成了一套數(shù)據(jù)分析和挖掘的組件：

數(shù)據(jù)預(yù)處理階段，Hive提供的類sql功能可用于數(shù)據(jù)的過濾和清洗，初步篩選數(shù)據(jù)，減少數(shù)據(jù)的處理量以提高數(shù)據(jù)的處理速度。數(shù)據(jù)的分析和挖掘階段，mahout框架提供了一系列數(shù)據(jù)挖掘相關(guān)的算法，如分類算法、聚類算法、協(xié)同過濾算法、模式挖掘算法等，可針對(duì)數(shù)據(jù)運(yùn)用相應(yīng)的算法，挖掘數(shù)據(jù)中的規(guī)律，為商業(yè)活動(dòng)提供指導(dǎo)。機(jī)器學(xué)習(xí)階段，Spark的MLlib包中提供了一系列機(jī)器學(xué)習(xí)的模塊，包括樸素貝葉斯、SVM、隨機(jī)森林等，深度學(xué)習(xí)數(shù)據(jù)中蘊(yùn)藏的規(guī)律，利于對(duì)企業(yè)的發(fā)展做預(yù)測(cè)。

5數(shù)據(jù)的應(yīng)用

通過大數(shù)據(jù)技術(shù)對(duì)智能電網(wǎng)海量數(shù)據(jù)的分析和挖掘所獲得的規(guī)律，可以指導(dǎo)決策者在企業(yè)運(yùn)營中做出更加合理的決策。如根據(jù)分析所得的結(jié)果，調(diào)整時(shí)間段的供電量，減少資源的浪費(fèi)。通過這一系列的科技手段，既有效的提升了電力部門的績(jī)效，又降低電力信息管理的成本，相應(yīng)的也減少了電力系統(tǒng)運(yùn)行帶來的環(huán)境污染。尤其是智能電網(wǎng)的大數(shù)據(jù)技術(shù)已經(jīng)發(fā)展成為促進(jìn)電力系統(tǒng)發(fā)展的重要因素。大數(shù)據(jù)技術(shù)不僅可以協(xié)助智能電網(wǎng)進(jìn)行用戶數(shù)據(jù)采集，該可以借助大數(shù)據(jù)的挖掘分類技術(shù)，將這些信息分門別類，發(fā)送到各個(gè)不同的部門以減輕工作人員的工作壓力，或借助大數(shù)據(jù)可視化技術(shù)，在紛亂復(fù)雜的海量數(shù)據(jù)中，實(shí)現(xiàn)的智能在線監(jiān)控、可視化調(diào)度、趨勢(shì)分析、預(yù)測(cè)與報(bào)警、事件應(yīng)急處理和輔助決策等智能應(yīng)用。

6重點(diǎn)任務(wù)和重大工程

促進(jìn)大數(shù)據(jù)與智慧能源系統(tǒng)的新機(jī)理新體制與標(biāo)準(zhǔn)體系建立大電網(wǎng)智能監(jiān)控的信息流形態(tài)、功能架構(gòu)及標(biāo)準(zhǔn)，大電網(wǎng)智能監(jiān)控的能量流形態(tài)、功能架構(gòu)及標(biāo)準(zhǔn)，多能流融合建模仿真及分析方法。大電網(wǎng)智能監(jiān)控的信息流和能量流融合及交互機(jī)制，抽象與統(tǒng)一，耦合特性建模、仿真和安全特性分析。形成巨型能源互聯(lián)系統(tǒng)的綜合能量管理系統(tǒng)框架及標(biāo)準(zhǔn)體系。強(qiáng)化大數(shù)據(jù)與智慧能源系統(tǒng)的全景狀態(tài)感知智能傳感產(chǎn)品研發(fā)大電網(wǎng)綜合環(huán)境監(jiān)測(cè)技術(shù)，在已有的廣域同步測(cè)量技術(shù)基礎(chǔ)上，針對(duì)不同工況和場(chǎng)景態(tài)勢(shì)評(píng)估與控制需求，提出能源互聯(lián)網(wǎng)所涉及的各種電源側(cè)、電網(wǎng)側(cè)、負(fù)荷側(cè)、環(huán)境等信息廣域同步測(cè)量方案。智能測(cè)量終端對(duì)設(shè)備狀態(tài)、系統(tǒng)安全水平、潛伏故障及風(fēng)險(xiǎn)具有智能分析與診斷，并支持實(shí)時(shí)數(shù)據(jù)的遠(yuǎn)傳。

7數(shù)據(jù)與智慧能源系統(tǒng)的時(shí)空一體化信息組網(wǎng)技術(shù)攻關(guān)

由于能源互聯(lián)網(wǎng)的廣域、緊急和工業(yè)控制對(duì)空間和時(shí)間的要求苛刻，需要采用高安全、高可靠的大顆粒業(yè)務(wù)傳輸模式。分布式高精度全景同步錄波數(shù)據(jù)融合與反演技術(shù)，高性能大電網(wǎng)智能監(jiān)控時(shí)空一體化特種通信和組網(wǎng)技術(shù)，面向大電網(wǎng)智能監(jiān)控的智能云端協(xié)作關(guān)鍵技術(shù)及系統(tǒng)。同時(shí)采用分層分域（核心、骨干、接入）、大容量低時(shí)延的網(wǎng)絡(luò)架構(gòu)。推進(jìn)大數(shù)據(jù)與巨型電網(wǎng)智能監(jiān)控系統(tǒng)的新型軟件平臺(tái)建設(shè)針對(duì)巨型能源互聯(lián)系統(tǒng)的智能管控問題，突破可信云計(jì)算服務(wù)器和安全技術(shù)，研究可信網(wǎng)絡(luò)和可信實(shí)體框架，大電網(wǎng)可持續(xù)演化的智能化軟件理論、方法和技術(shù)，大電網(wǎng)智能駕駛系統(tǒng)的軟件體系結(jié)構(gòu)和支撐技術(shù)，面向大電網(wǎng)調(diào)控的智能化集成化軟件互操作平臺(tái)。

8結(jié)束語

做好智慧能源系統(tǒng)的大數(shù)據(jù)宏觀產(chǎn)業(yè)布局和頂層框架設(shè)計(jì)，促進(jìn)智慧能源系統(tǒng)信息采集、網(wǎng)絡(luò)通訊、大數(shù)據(jù)平臺(tái)、智慧應(yīng)用和人機(jī)交互等產(chǎn)業(yè)鏈的龍頭企業(yè)和創(chuàng)新型中小企業(yè)。推動(dòng)電力大數(shù)據(jù)基礎(chǔ)設(shè)施和支撐服務(wù)平臺(tái)建設(shè)，完善大數(shù)據(jù)智能分析和綜合服務(wù)體系。創(chuàng)造良好的電力大數(shù)據(jù)和智慧能源產(chǎn)業(yè)發(fā)展環(huán)境，推動(dòng)建立智慧能源系統(tǒng)良好生態(tài)體系。助力“一帶一路”“互聯(lián)網(wǎng)+”和全球能源互聯(lián)網(wǎng)建設(shè)。

參考文獻(xiàn)

[1]唐聰嵐，盧繼平，謝應(yīng)昭，張露.基于改進(jìn)數(shù)據(jù)流在線分割的超短期負(fù)荷預(yù)測(cè)[J].電網(wǎng)技術(shù).2014（07）.

[2]于恒友，劉波，彭子平.基于HBase的輸電線路綜合數(shù)據(jù)存儲(chǔ)方案設(shè)計(jì)[J].電力科學(xué)與技術(shù)學(xué)報(bào).2014（02）.