于莉

（河南理工大學，河南 焦作 454000）

0 引言

隨著計算機技術的不斷發(fā)展，各行各業(yè)都進入了計算機時代，而大數(shù)據(jù)技術也逐漸滲透進了各行各業(yè)。作為國家命脈的電網(wǎng)則變得越來越龐大復雜，數(shù)據(jù)也越來越多，如何對這些數(shù)據(jù)進行有效的整合和利用，就需要我們現(xiàn)在的大數(shù)據(jù)技術。在電力系統(tǒng)的發(fā)、輸、變、配、用五個方面之中，配電網(wǎng)可以算是數(shù)據(jù)流通最繁忙的環(huán)節(jié)[1]。因此，就需要針對大數(shù)據(jù)在配電網(wǎng)中的應用做進一步的探究。

1 大數(shù)據(jù)與大數(shù)據(jù)技術

大數(shù)據(jù)，最早是指在一定時間內(nèi)無法用我們平常所用的軟件進行捕捉、處理和管理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)不能用我們平常概率論理論中所用的隨機分析法，即抽樣調(diào)查來分析，而是需要對所有的數(shù)據(jù)進行綜合分析處理[2]。大數(shù)據(jù)有其獨特之處——5V，即Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。大數(shù)據(jù)技術則是伴隨著大數(shù)據(jù)時代而來的一些新技術，通俗一點是指大數(shù)據(jù)的應用技術，涵蓋了主要包括各式各樣的大數(shù)據(jù)平臺、大數(shù)據(jù)指數(shù)體系等一系列的大數(shù)據(jù)應用技術。而從大數(shù)據(jù)的生命周期周期來看，則主要包括了四個方面的核心技術：

（1）大數(shù)據(jù)采集階段。即是對日常生活中各種來源的，無論是結(jié)構(gòu)化的還是非結(jié)構(gòu)化的海量的數(shù)據(jù)進行的采集，其主要技術包括：數(shù)據(jù)庫采集（傳統(tǒng)的MySQL和Oracle，現(xiàn)主流的Sqoop和ETL）、網(wǎng)絡數(shù)據(jù)采集（基于Python的網(wǎng)絡爬蟲技術）、文件采集和處理技術（Flume、基于ELK的日志采集和增量采集）。

（2）大數(shù)據(jù)預處理階段。主要指的是為了提高數(shù)據(jù)質(zhì)量，需要對采集的數(shù)據(jù)進行“清洗、補充、合并、規(guī)范化處理”等操作。其主要技術包括：數(shù)據(jù)清理（指的是利用ETL等工具，對遺留、噪音以及不一致的數(shù)據(jù)進行處理）、數(shù)據(jù)集成（將不同源的數(shù)據(jù)，合并存放到統(tǒng)一的數(shù)據(jù)庫之中）、數(shù)據(jù)轉(zhuǎn)換（對抽取出來的存在不一致的數(shù)據(jù)，進行處理）、數(shù)據(jù)規(guī)約（是指在保持數(shù)據(jù)原貌的基礎上，最大限度的簡化數(shù)據(jù)數(shù)量）。

（3）大數(shù)據(jù)存儲階段。是指以數(shù)據(jù)庫的形式，采用存儲器，將采集到的數(shù)據(jù)存儲起來的過程，主要包括：大數(shù)據(jù)一體機、基于Hadoop的技術擴展和封裝、基于MPP架構(gòu)的新型數(shù)據(jù)庫集群等技術。

（4）大數(shù)據(jù)分析階段。最后則是對處理過的大數(shù)據(jù)進行分析，主要采用可視化分析、數(shù)據(jù)挖掘算法、預測性分析、語義引擎、數(shù)據(jù)質(zhì)量管理對海量的數(shù)據(jù)進行萃取、提煉和分析。

2 大數(shù)據(jù)在智能配電網(wǎng)中的應用

2.1 基于大數(shù)據(jù)的有源配電網(wǎng)規(guī)劃的負荷預測

隨著計算機技術的飛速發(fā)展與電網(wǎng)結(jié)構(gòu)的日益龐大，傳統(tǒng)的配電系統(tǒng)已經(jīng)遠遠不能滿足現(xiàn)如今龐大的負荷需求，為了解決這個極富挑戰(zhàn)性的問題，人們就把計算機技術，尤其是大數(shù)據(jù)技術應用在了配電網(wǎng)中產(chǎn)生了智能配電網(wǎng)[3]，主要就表現(xiàn)就是將一些大數(shù)據(jù)領域的一些技術與算法（如蟻群算法、量子算法、遺傳算法）應用在有源配電網(wǎng)規(guī)劃的負荷預測中，通過將計算機技術有機的應用于配電網(wǎng)的負荷預測中，不斷地完善負荷數(shù)據(jù)的來源渠道，加強對數(shù)據(jù)的存儲與整合分析能力，從而大大降低了工作人員的勞動強度。

2.2 基于大數(shù)據(jù)的配電網(wǎng)運行狀態(tài)評估與預警

眾所周知，配電源的運行狀態(tài)在配電系統(tǒng)中起著至關重要的作用，而基于大數(shù)據(jù)的配電網(wǎng)運行狀態(tài)評估與預警主要包括五個部分：安全性評價（主要包括頻率和節(jié)點電壓水平，變壓器及線路的負載率）、供電能力評價（主要包括容載比，負荷轉(zhuǎn)移能力）、可靠性和供電質(zhì)量（主要包括負荷點故障率，電壓合格率，電壓偏移，平均停電頻率，波形畸變率等）、經(jīng)濟性評價（線損率，設備利用率等）、故障辨識與風險指標（配網(wǎng)設備故障率、DG故障率、指標計算等）[4]。

采用大數(shù)據(jù)技術對配電網(wǎng)的各個方面進行數(shù)據(jù)收集與分析計算，計算出配電網(wǎng)運行的風險系數(shù)，然后預測未來可能出現(xiàn)的故障及危險情況，然后將信息反饋給工作與科研人員，對風險進行評估，進一步提出解決方案，盡最大可能降低配電網(wǎng)中可能出現(xiàn)的風險[5]。

2.3 基于大數(shù)據(jù)的有源配電網(wǎng)電能質(zhì)量檢測與評估

隨著分布式電源更新與發(fā)展的速度越來越快，我國乃至全世界的配電網(wǎng)都逐漸形成了大大小小的不同規(guī)模。在這些配電網(wǎng)中，由于系統(tǒng)參數(shù)（電壓、電流、頻率）的波動，我國電網(wǎng)受到了不同程度的沖擊。因此，我們可以利用配電網(wǎng)的大數(shù)據(jù)，制定科學化、合理化的配電方案。

2.4 基于大數(shù)據(jù)的配電網(wǎng)數(shù)據(jù)融合的停電優(yōu)化

停電優(yōu)化是在計量自動化、剩余電量采集裝置、電網(wǎng)檢查與維修裝置的基于上不斷優(yōu)化升級而得來的，需要利用現(xiàn)有的較為先進的大數(shù)據(jù)技術對配電網(wǎng)的數(shù)據(jù)等資料進行有效的整合分析，最后會形成較為科學的一套理論體系，根據(jù)形成的理論體系，可以將停電的時機，停電的成本在盡可能的情況下降到一個較低的水平[6]。

2.5 基于大數(shù)據(jù)的不良數(shù)據(jù)檢測與辨識方法

不良數(shù)據(jù)辨識就是找出配電大數(shù)據(jù)里是否存在不良數(shù)據(jù)，配電網(wǎng)發(fā)展至今，有傳統(tǒng)的方法來檢測與辨識不良數(shù)據(jù)（如模糊數(shù)學法、間隙統(tǒng)計法等），但這些傳統(tǒng)的方法局限性很大，但曾經(jīng)也發(fā)揮過非常重要的作用。也有現(xiàn)代的方法來進行檢測與辨識（如加權殘差法、非二次準則法、估計辨識法等）這些現(xiàn)代的方法則更適合日益龐大的配電網(wǎng)。

配電網(wǎng)的大數(shù)據(jù)在經(jīng)過不斷的更新發(fā)展之后，來源渠道多變，數(shù)據(jù)源也非常多變。因此，這些不同來源的數(shù)據(jù)可以相互監(jiān)督和審核，能夠有效地發(fā)現(xiàn)不良數(shù)據(jù)，更好的反映系統(tǒng)的狀態(tài)，而對于檢測與辨識方法，主要有三種：不同數(shù)據(jù)系統(tǒng)間審核（對配電網(wǎng)中來源非常廣泛的數(shù)據(jù)進行相互審核）、對電度量測量的監(jiān)督審核（電度量與測量數(shù)據(jù)主要由配電網(wǎng)大數(shù)據(jù)來進行精細劃分,因此可以用這兩者來審核不良數(shù)據(jù)）、對不同數(shù)據(jù)結(jié)構(gòu)間的審核（配電網(wǎng)中的多種數(shù)據(jù)結(jié)構(gòu)可以進行相互修改）。

3 大數(shù)據(jù)技術在智能配電網(wǎng)中新的機遇與挑戰(zhàn)

智能配電網(wǎng)中呈現(xiàn)出來的大數(shù)據(jù)蘊藏著無數(shù)的信息，隨之帶來的就是無與倫比的巨大的商業(yè)和社會價值。因此，充分挖掘這些隱藏的價值是大數(shù)據(jù)技術在智能配電網(wǎng)中的一個重要機遇。通過對配電網(wǎng)及用戶的深度數(shù)據(jù)采集和大數(shù)據(jù)挖掘[7]，就能實現(xiàn)用電智能化管理，大大提高管理和決策水平，也能使用戶在線進行交互，實時的對電價做出響應[8]。

但同時我們也必須清晰的認識到大數(shù)據(jù)在智能配電網(wǎng)中也正在遭遇著挑戰(zhàn)，主要包括：數(shù)據(jù)質(zhì)量的挑戰(zhàn)（現(xiàn)在的大數(shù)據(jù)準備性差，完整度不高，會影響決策）、多數(shù)據(jù)融合的挑戰(zhàn)（電力生產(chǎn)各個環(huán)節(jié)的數(shù)據(jù)相對獨立，不能有機的進行融合以更好的被使用）、數(shù)據(jù)可視化信息傳遞的挑戰(zhàn)（配電大數(shù)據(jù)中蘊藏的有關電力生產(chǎn)和服務經(jīng)濟社會發(fā)展的規(guī)律一般比較難易發(fā)現(xiàn)）、大數(shù)據(jù)存儲與處理的挑戰(zhàn)（電力大數(shù)據(jù)對數(shù)據(jù)的存儲與計算能力要求很高）。

4 結(jié)語

將大數(shù)據(jù)技術應用在智能配電網(wǎng)中，是一種全新的概念和解決問題的理論。盡管現(xiàn)在仍處于初步階段，但顯示出了配電大數(shù)據(jù)中擁有的巨大能量，也預示了未來的趨勢。大數(shù)據(jù)在智能配電網(wǎng)中的應用，給配電網(wǎng)帶來的是全新的工作以及商業(yè)模式，它也必將對促進電力工業(yè)轉(zhuǎn)型升級、促進節(jié)能環(huán)保有重要意義。