能源互聯(lián)網(wǎng)大數(shù)據(jù)分析技術(shù)綜述

董華彪 沈陽(yáng)工學(xué)院

能源互聯(lián)網(wǎng)大數(shù)據(jù)分析技術(shù)綜述

董華彪 沈陽(yáng)工學(xué)院

能源互聯(lián)網(wǎng)這一概念是全球能源互聯(lián)網(wǎng)技術(shù)領(lǐng)軍企業(yè)遠(yuǎn)景能源所率先提出，遠(yuǎn)景能源認(rèn)為能源的市場(chǎng)化、民主化、去中心化、智能化、物聯(lián)化等趨勢(shì)將注定要顛覆現(xiàn)有的能源行業(yè)。隨著能源互聯(lián)網(wǎng)的發(fā)展，越來(lái)越多的數(shù)據(jù)被采集和存儲(chǔ)，以至于信息種類繁多，信息量巨大，而且要求信息具有實(shí)時(shí)性，因此，大數(shù)據(jù)分析技術(shù)在能源互聯(lián)網(wǎng)中被廣泛應(yīng)用。本文通過(guò)對(duì)能源互聯(lián)網(wǎng)大數(shù)據(jù)概念的分析，敘述了能互聯(lián)網(wǎng)大數(shù)據(jù)分析技術(shù)，為能源互聯(lián)網(wǎng)安全穩(wěn)定的發(fā)展提供了重要的依據(jù)。

能源互聯(lián)網(wǎng) 大數(shù)據(jù)分析 數(shù)據(jù)挖掘

前言：迫于環(huán)境保護(hù)的壓力，可再生能源被相繼開(kāi)發(fā)，雖然再生能源具有可再生性并且不會(huì)對(duì)自然環(huán)境進(jìn)行破壞，但是大多數(shù)都具有不穩(wěn)定性，在此背景之下，能源互聯(lián)網(wǎng)被提出。能源互聯(lián)網(wǎng)以大電網(wǎng)為“主干網(wǎng)”，以微網(wǎng)、分布式能源等能量自治單元為“局域網(wǎng)”，通過(guò)開(kāi)放對(duì)等的信息一能源一體化架構(gòu)實(shí)現(xiàn)能源的雙向按需傳輸和動(dòng)態(tài)平衡使用。能源互聯(lián)網(wǎng)開(kāi)放、互聯(lián)、分享等特征決定了其信息實(shí)時(shí)性要求更高，因此離不開(kāi)大數(shù)據(jù)分析技術(shù)的應(yīng)用。

1 能源互聯(lián)網(wǎng)大數(shù)據(jù)概念

大數(shù)據(jù)技術(shù)以“4V”為其主要特點(diǎn)，即數(shù)據(jù)容量大（volume）、數(shù)據(jù)類型繁多（variety）、商業(yè)價(jià)值高（value）、處理速度快（velocity）。大數(shù)據(jù)分析處理過(guò)程主要包含數(shù)據(jù)采集、數(shù)據(jù)導(dǎo)入和預(yù)處理、數(shù)據(jù)統(tǒng)計(jì)和分析以及數(shù)據(jù)挖掘。數(shù)據(jù)采集一塊依賴因特網(wǎng)和物聯(lián)網(wǎng)技術(shù)，使用嵌入式傳感器對(duì)數(shù)據(jù)進(jìn)行采集，結(jié)果應(yīng)用于各個(gè)監(jiān)測(cè)系統(tǒng)中。為了實(shí)現(xiàn)數(shù)據(jù)分析，需要將采集結(jié)果進(jìn)行導(dǎo)入，導(dǎo)入時(shí)還要進(jìn)行預(yù)處理，因?yàn)橛捎谝恍┎豢煽沟囊蛩赜绊?，?huì)使得數(shù)據(jù)錯(cuò)漏和丟失，因此需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。數(shù)據(jù)的統(tǒng)計(jì)和分析包括分類、聚類和關(guān)聯(lián)技術(shù)。大數(shù)據(jù)分析結(jié)果被用于數(shù)據(jù)挖掘，因?yàn)榉治鰞H僅是以數(shù)據(jù)為中心進(jìn)行處理，得到的結(jié)果不能被人們所理解。因此需要以數(shù)據(jù)挖掘?yàn)槟康倪M(jìn)行指導(dǎo)，對(duì)分析結(jié)果進(jìn)行精煉和提取，轉(zhuǎn)換為人們所能理解的語(yǔ)義形式。

2 能源互聯(lián)網(wǎng)大數(shù)據(jù)分析技術(shù)

2.1 大數(shù)據(jù)處理平臺(tái)

大數(shù)據(jù)系統(tǒng)需要非常大的數(shù)據(jù)處理、傳輸輸和存儲(chǔ)能力。目前的云計(jì)算平臺(tái)是最符合要求的計(jì)算設(shè)施。云平臺(tái)具有一定的可伸縮性，最大限度的利用自身的計(jì)算能力，降低成本，節(jié)省開(kāi)支。同時(shí)云平臺(tái)還具有安全性，可以保障用戶信息不被泄露。面對(duì)龐大的數(shù)據(jù)量，單臺(tái)計(jì)算機(jī)難以勝任，促使人們研究分布式并行計(jì)算方法，通過(guò)并行方法，許多單機(jī)難以完成的任務(wù)都能夠在可接受時(shí)間內(nèi)完成。在因特網(wǎng)中，數(shù)據(jù)流動(dòng)性非常大，許多任務(wù)會(huì)不斷產(chǎn)生新的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理框架不能夠勝任，因此利用流計(jì)算來(lái)處理流數(shù)據(jù)，數(shù)據(jù)只需要進(jìn)行一次性處理，隨到隨處理，使用完成后無(wú)需或者只要部分存儲(chǔ)。如此龐大的計(jì)算量，對(duì)數(shù)據(jù)的處理速度有很高的要求。有人提出將數(shù)據(jù)全部駐留在內(nèi)存中運(yùn)行。CPU直接內(nèi)存讀取，因?yàn)閮?nèi)存數(shù)據(jù)讀寫速度遠(yuǎn)高于硬盤讀取速度，計(jì)算性能大幅度提高，大大提高實(shí)時(shí)系統(tǒng)的性能?？梢暬瘮?shù)據(jù)處理技術(shù)是將數(shù)據(jù)轉(zhuǎn)化為圖形和圖像在屏幕顯示并且進(jìn)行交互處理，有助于觀察者進(jìn)行系統(tǒng)穩(wěn)態(tài)、暫態(tài)判斷和整體運(yùn)行感知。

3 大數(shù)據(jù)分析算法

大數(shù)據(jù)挖掘算法大多采用并行化的思想。關(guān)聯(lián)分析是挖掘數(shù)據(jù)庫(kù)中兩個(gè)或多個(gè)變量之間存在的關(guān)系。經(jīng)典的關(guān)聯(lián)算法為Apriori算法，但是它存在著缺陷，因此FP-growth算法被提出，它解決了Apriori算法中長(zhǎng)頻繁項(xiàng)搜索子項(xiàng)數(shù)量巨大的問(wèn)題，而且在效率上遠(yuǎn)高于Apriori算法。分布式聚類算法可以發(fā)現(xiàn)設(shè)備的故障和狀態(tài)異常，將正常狀態(tài)和故障狀態(tài)區(qū)分。聚類以樣本之間的相似度為基礎(chǔ)，通過(guò)不同的距離計(jì)算方式達(dá)到不同的分類效果。在能源互聯(lián)網(wǎng)中數(shù)據(jù)采集量巨大，聚類需要分布式運(yùn)行，以達(dá)到減少計(jì)算時(shí)間的目的。在形成具體的分類標(biāo)準(zhǔn)和準(zhǔn)則之后，可以用分布式分類算法分類。分類包含訓(xùn)練和分類兩個(gè)過(guò)程，和聚類相比，分類更具有更明確的目標(biāo)。分類算法也需要并行化實(shí)現(xiàn)，相較于傳統(tǒng)的數(shù)據(jù)挖掘方法，優(yōu)勢(shì)明顯。

結(jié)語(yǔ)：隨著采集手段和技術(shù)的不斷豐富，越來(lái)越多的能源互聯(lián)網(wǎng)業(yè)務(wù)的大數(shù)據(jù)被采集和存儲(chǔ)，因此大數(shù)據(jù)分析技術(shù)是能源互聯(lián)網(wǎng)不可或缺的基礎(chǔ)技術(shù)。大數(shù)據(jù)分析技術(shù)擁有很大的改進(jìn)和研究空間，因?yàn)樵跀?shù)據(jù)收集和處理中工作量很大，分析計(jì)算也比較復(fù)雜，因此需要不斷的實(shí)踐和應(yīng)用，逐步完善和改善大數(shù)據(jù)分析技術(shù)。在能源互聯(lián)網(wǎng)中，應(yīng)該充分利用大數(shù)據(jù)的“4V”特點(diǎn)和優(yōu)勢(shì)，將其發(fā)展成一個(gè)具有實(shí)時(shí)性或者準(zhǔn)實(shí)時(shí)性的職能型分析工具。

[1]張東霞，邱才明，王曉蓉等.全球能源互聯(lián)網(wǎng)中的大數(shù)據(jù)應(yīng)用研究[J].電力信息與通信技術(shù)，2016，12(03):20-24.

[2]李洋，何寶靈，劉海濤等.面向全球能源互聯(lián)網(wǎng)的分布式電源云服務(wù)與大數(shù)據(jù)分析平臺(tái)研究[J].電力信息與通信技術(shù)，2016，05(03):30-36.

[3]楊佩，蔡皓，裘洪彬等.面向能源互聯(lián)網(wǎng)的大數(shù)據(jù)關(guān)鍵技術(shù)研究[J].電力信息與通信技術(shù)，2016，06(04):9-12.

董華彪（1979——），男，遼寧鞍山人，專業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)、研究方向：數(shù)據(jù)挖掘技術(shù)