基于大數(shù)據(jù)平臺的電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域研究

毋毅+趙康

摘要：通過研究電網(wǎng)統(tǒng)一數(shù)據(jù)中心全業(yè)務(wù)數(shù)據(jù)分析域平臺，使用大數(shù)據(jù)技術(shù)，對電網(wǎng)核心業(yè)務(wù)系統(tǒng)進行數(shù)據(jù)采集監(jiān)測和清洗分析，建立統(tǒng)一數(shù)據(jù)模型、統(tǒng)一分析服務(wù)、統(tǒng)一決策中心，以實現(xiàn)智慧電網(wǎng)全業(yè)務(wù)統(tǒng)一數(shù)據(jù)分析域。

關(guān)鍵詞：大數(shù)據(jù)平臺；電網(wǎng)統(tǒng)一數(shù)據(jù)中心；全業(yè)務(wù)；數(shù)據(jù)分析域

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2016）34-0015-03

數(shù)據(jù)分析域是全業(yè)務(wù)、全類型、全時間維度電網(wǎng)數(shù)據(jù)的匯集中心，是為電網(wǎng)公司各類分析決策類應(yīng)用提供完備的數(shù)據(jù)資源、高效的分析計算能力及統(tǒng)一的運行環(huán)境，改變過去分析型應(yīng)用數(shù)據(jù)反復(fù)提取、冗余存儲的局面，實現(xiàn)“搬數(shù)據(jù)”向“搬計算”的轉(zhuǎn)變，支撐企業(yè)級數(shù)據(jù)分析應(yīng)用的全面開展。

1 電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域平臺的作用

基于大數(shù)據(jù)平臺的電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域主要完成ERP、生產(chǎn)、營銷、調(diào)度等核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)的提取清洗、實時采集類、分析決策類相關(guān)應(yīng)用遷移遷移改造；完成統(tǒng)一數(shù)據(jù)模型及主數(shù)據(jù)標準驗證；完成統(tǒng)一分析服務(wù)建設(shè)等工作，建成全業(yè)務(wù)統(tǒng)一數(shù)據(jù)分析域。

2 電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域平臺接入的業(yè)務(wù)數(shù)據(jù)

2.1內(nèi)部業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入

基于電網(wǎng)公司總部數(shù)據(jù)字典統(tǒng)一梳理成果，以業(yè)務(wù)系統(tǒng)實際情況，結(jié)合統(tǒng)一數(shù)據(jù)分析服務(wù)、采集監(jiān)測與分析決策等問題，遵循統(tǒng)一數(shù)據(jù)集成接口規(guī)范，統(tǒng)一數(shù)據(jù)模型（SG-CIM3.0、數(shù)據(jù)倉庫模型），梳理ERP、財務(wù)管控、營銷業(yè)務(wù)、營銷稽查監(jiān)控系統(tǒng)、營銷檔案管理、營銷移動作業(yè)、一體化繳費接入管理、PMS2.0、OMS、電能質(zhì)量在線監(jiān)測、資產(chǎn)全壽命、省級計量中心生產(chǎn)調(diào)度、供電電壓自動采集、科技與信息化項目管理、項目過程管理、電力市場交易、IMS、TMS、電動汽車智能、干部管理、信息客戶服務(wù)管理、應(yīng)急預(yù)案管理、車輛調(diào)度管理、經(jīng)濟法律、輸變電GPMS、雙流雙控等業(yè)務(wù)系統(tǒng)，全量接入數(shù)據(jù)分析域，對于不符合SG-CIM3.0及主數(shù)據(jù)標準的相關(guān)業(yè)務(wù)數(shù)據(jù)進行清洗轉(zhuǎn)換，完成數(shù)據(jù)流轉(zhuǎn)至數(shù)據(jù)倉庫的接口開發(fā)，為各類分析應(yīng)用的實現(xiàn)提供完備的數(shù)據(jù)資源。

2.2外部數(shù)據(jù)統(tǒng)一采集

基于大數(shù)據(jù)平臺，根據(jù)大數(shù)據(jù)分析應(yīng)用業(yè)務(wù)，完成經(jīng)濟、氣象、征信等外部數(shù)據(jù)采集。

3 電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域平臺分析服務(wù)功能設(shè)計

3.1統(tǒng)一分析服務(wù)

基于統(tǒng)一分析服務(wù)功能，開展低電壓實時監(jiān)測、負荷預(yù)測及防竊電分析、配網(wǎng)故障量監(jiān)測分析、臨時用電超期未辦理合規(guī)性監(jiān)測場景四個應(yīng)用建設(shè)。

3.1.1配電網(wǎng)低電壓實時監(jiān)測

配網(wǎng)低電壓監(jiān)測主要針對目前電網(wǎng)設(shè)備發(fā)生低電壓的程度，從低電壓臺區(qū)和低電壓用戶兩個方面監(jiān)測低電壓的場景研發(fā)。運用數(shù)據(jù)分析域上多源異構(gòu)數(shù)據(jù)集成等數(shù)據(jù)存儲技術(shù)，實時計算技術(shù)，統(tǒng)計分析出低電壓的區(qū)域分布情況、涉及臺區(qū)情況、低電壓出現(xiàn)頻率等，及時將發(fā)現(xiàn)的問題通知到相關(guān)部門，由相關(guān)部門對低電壓臺區(qū)或用戶進行現(xiàn)場核實，查找出詳細原因，提出改造措施，消除低電壓情況。

3.1.2用戶側(cè)負荷預(yù)測及竊電行為分析場景

用戶側(cè)負荷預(yù)測及竊電行為分析功能可以提取客戶信息、用電量信息、用電負荷、事件異常等數(shù)據(jù)，從用電概況、負荷預(yù)測分析、負荷特性分析、防竊電預(yù)警分析等方面，選取相關(guān)性最高的影響因素，利用數(shù)據(jù)挖掘算法構(gòu)建負荷預(yù)測模型、負荷特性分析模型、防竊電預(yù)警模型。

3.1.3配網(wǎng)設(shè)備狀態(tài)監(jiān)測分析場景

通過提取設(shè)備臺賬、用電負荷、用戶檔案等數(shù)據(jù)，從配變設(shè)備基本概況、配變故障量預(yù)測分析及配變重過載的深化研究等方面，選取相關(guān)性最高的影響因素，利用數(shù)據(jù)挖掘算法構(gòu)建故障量預(yù)測模型、農(nóng)網(wǎng)配變重過載預(yù)測模型、迎峰度冬重過載預(yù)測模型實現(xiàn)配網(wǎng)設(shè)備狀態(tài)監(jiān)測分析場景。

3.1.4臨時用電超期未辦理合規(guī)性監(jiān)測

通過提取臨時用電數(shù)據(jù)，從“退費條件后是否按時退費給用戶”和“轉(zhuǎn)收入條件后是否按時進行轉(zhuǎn)收入”兩個維度，按單位、按月、按異動項目類型，總體展示臨時接電用戶目前總體情況及明細數(shù)據(jù)，并通過提醒、告警等方式監(jiān)測各單位未及時退費項目、未及時轉(zhuǎn)收入項目的情況，提醒相關(guān)人員及時處理，避免造成的合同糾紛或企業(yè)損失，有效提升公司臨時用電業(yè)務(wù)合法性、合規(guī)性。

3.2采集監(jiān)測與分析決策類應(yīng)用遷移改造

3.2.1用電信息采集系統(tǒng)遷移改造

采用分布式消息隊列+分布式流計算方式，完成用電信息采集數(shù)據(jù)訪問接口的設(shè)計開發(fā)，實時同步用電信息采集數(shù)據(jù)，并基于大數(shù)據(jù)平臺，實現(xiàn)實時采集數(shù)據(jù)的統(tǒng)一對外共享，為用電信息采集系統(tǒng)前端應(yīng)用及營銷業(yè)務(wù)、生產(chǎn)管理等系統(tǒng)，提供統(tǒng)一、高效的采集數(shù)據(jù)訪問服提升用電信息采集數(shù)據(jù)的共享服務(wù)能力。

3.2.2輸變電在線監(jiān)測系統(tǒng)遷移改造

通過輸變電狀態(tài)監(jiān)測數(shù)據(jù)在線計算、離線計算等程序設(shè)計研發(fā)，同時完成數(shù)據(jù)訪問接口的設(shè)計研發(fā)，實現(xiàn)輸變電狀態(tài)監(jiān)測信息的采集和在線處理，為輸變電設(shè)備狀態(tài)監(jiān)測提供靈活可擴展的數(shù)據(jù)存儲和分析能力，實現(xiàn)通過大數(shù)據(jù)平臺，統(tǒng)一對外提供高效的輸變電設(shè)備狀態(tài)采集數(shù)據(jù)服務(wù)。

3.2.3同期線損系統(tǒng)遷移改造

基于數(shù)據(jù)分析域，通過分析線損系統(tǒng)現(xiàn)有大數(shù)據(jù)計算框架與大數(shù)據(jù)平臺技術(shù)路線的差異，開展同期線損系統(tǒng)中電量與線損大數(shù)據(jù)計算區(qū)功能融入大數(shù)據(jù)平臺的研究及開發(fā)，將線損系統(tǒng)Cassandra存儲改為HBase存儲，對已實現(xiàn)的電量與線損分布式計算服務(wù)和提供的電量與線損結(jié)果查詢服務(wù)接口進行改造，完成同期線損遷移改造方案、存儲模型設(shè)計，實現(xiàn)線損相關(guān)存儲、計算組件的遷移改造及數(shù)據(jù)遷移。

3.2.4配電網(wǎng)運營分析應(yīng)用遷移改造

利用大數(shù)據(jù)平臺，結(jié)合用電信息采集數(shù)據(jù)遷移，完成配電網(wǎng)運營分析應(yīng)用優(yōu)化改造，優(yōu)化并提升數(shù)據(jù)提取、傳輸以及單體設(shè)備計算能力。結(jié)合配電網(wǎng)運營分析應(yīng)用的數(shù)據(jù)模型成果，基于大數(shù)據(jù)平臺完成數(shù)據(jù)緩沖表、接口表/中間表、計算結(jié)果表的模型設(shè)計。根據(jù)PMS、營銷、調(diào)度等數(shù)據(jù)接入需求，基于大數(shù)據(jù)平臺，完成PMS2.0、營銷業(yè)務(wù)系統(tǒng)檔案數(shù)據(jù)定期同步接口開發(fā)，完成調(diào)度數(shù)據(jù)采集及解析程序開發(fā)。

3.3統(tǒng)一數(shù)據(jù)模型與主數(shù)據(jù)標準驗證

基于統(tǒng)一數(shù)據(jù)模型設(shè)計成果，在數(shù)據(jù)分析域上驗證數(shù)據(jù)倉庫模型。結(jié)合數(shù)據(jù)提取清洗及統(tǒng)一分析服務(wù)建設(shè)需求，開展人員組織、財務(wù)、物資、項目、電網(wǎng)、資產(chǎn)、客戶等主題域的數(shù)據(jù)模型的差異性比對，對數(shù)據(jù)倉庫模型進行完善及優(yōu)化。將數(shù)據(jù)倉庫模型部署至數(shù)據(jù)分析域中，并按不同業(yè)務(wù)域模型規(guī)范將ODS的數(shù)據(jù)存放至數(shù)據(jù)倉庫中，支撐分析應(yīng)用場景建設(shè)。

4 電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域平臺技術(shù)架構(gòu)

根據(jù)統(tǒng)一數(shù)據(jù)中心總體架構(gòu)設(shè)計，數(shù)據(jù)分析域是全業(yè)務(wù)、全類型、全時間維度數(shù)據(jù)的匯集中心，是為各類分析決策類應(yīng)用提供完備的數(shù)據(jù)資源、高效的分析計算能力及統(tǒng)一的運行環(huán)境，改變過去分析型應(yīng)用數(shù)據(jù)反復(fù)提取、冗余存儲的局面，實現(xiàn)“搬數(shù)據(jù)”向“搬計算”的轉(zhuǎn)變，支撐企業(yè)級數(shù)據(jù)分析應(yīng)用的全面開展。

根據(jù)統(tǒng)一數(shù)據(jù)中心數(shù)據(jù)分析域總體架構(gòu)要求，結(jié)合電力數(shù)據(jù)中心、大數(shù)據(jù)平臺的實際建設(shè)情況，設(shè)計電力數(shù)據(jù)分析域系統(tǒng)架構(gòu)，包括數(shù)據(jù)接入、數(shù)據(jù)存儲、數(shù)據(jù)計算、統(tǒng)一分析服務(wù)、系統(tǒng)管理等5個層次。

平臺通過分布式消息隊列、ETL、Sqoop、API等各種技術(shù)手段，提取結(jié)構(gòu)化非實時數(shù)據(jù)、實時數(shù)據(jù)、外部數(shù)據(jù)，對各類數(shù)據(jù)按照統(tǒng)一數(shù)據(jù)規(guī)范進行標準化及關(guān)聯(lián)，并按不同時效性的計算及應(yīng)用需求，分類進行數(shù)據(jù)存儲、流轉(zhuǎn)及管理。

5 電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域平臺采用的開發(fā)技術(shù)

數(shù)據(jù)分析域的數(shù)據(jù)抽方面取采用大數(shù)據(jù)平臺數(shù)據(jù)加載工具（基于Sqoop優(yōu)化封裝）+文件導(dǎo)入方式。業(yè)務(wù)系統(tǒng)存量數(shù)據(jù)接入ODS區(qū)，涉及業(yè)務(wù)系統(tǒng)數(shù)據(jù)提取至緩沖區(qū)、緩沖區(qū)數(shù)據(jù)提取至統(tǒng)一視圖區(qū)。

大數(shù)據(jù)平臺數(shù)據(jù)加載組件，基于Sqoop工具優(yōu)化封裝，支持關(guān)系型數(shù)據(jù)庫與大數(shù)據(jù)平臺中的分布式數(shù)據(jù)庫之間的數(shù)據(jù)提取。對于ODS數(shù)據(jù)加載至數(shù)據(jù)倉庫/數(shù)據(jù)集市，采用大數(shù)據(jù)平臺中的數(shù)據(jù)加載組件（基于Sqoop優(yōu)化封裝）。對于ODS緩沖區(qū)、ODS視圖區(qū)、數(shù)據(jù)倉庫、數(shù)據(jù)集市之間的數(shù)據(jù)清洗轉(zhuǎn)換，采用大數(shù)據(jù)平臺數(shù)據(jù)提取組件（基于Kettle優(yōu)化封裝）實現(xiàn)。提取工具（基于Kettle優(yōu)化封裝）基礎(chǔ)功能包括數(shù)據(jù)獲取、數(shù)據(jù)清洗轉(zhuǎn)換、數(shù)據(jù)加載、任務(wù)管理等，支持內(nèi)部所有異構(gòu)系統(tǒng)、多數(shù)據(jù)類型、不同數(shù)據(jù)提取方式的數(shù)據(jù)采集，對多種數(shù)據(jù)庫、套裝軟件、封閉式主機、EAI軟件、文本等數(shù)據(jù)批量提取，實現(xiàn)對數(shù)據(jù)高效提取、傳輸和分發(fā)，滿足對數(shù)據(jù)提取和數(shù)據(jù)清洗功能。

電信息等實時類數(shù)據(jù)采集，采用大數(shù)據(jù)平臺消息隊列組件（基于Kafka優(yōu)化封裝）+流計算組件（基于Storm優(yōu)化封裝），實現(xiàn)生產(chǎn)實時數(shù)據(jù)的高效采集、計算和存儲。消息隊列組件（基于Kafka優(yōu)化封裝）用于接收來自前端不同實時源的數(shù)據(jù)，后端則采用流計算組件（基于Storm優(yōu)化封裝）技術(shù)對實時數(shù)據(jù)進行保存及分析。

外部數(shù)據(jù)采集主要有3種模式，一是線下手工采集，然后文件導(dǎo)入大數(shù)據(jù)平臺；二是通過外部接口采集；三是通過數(shù)據(jù)爬取程序采集。

數(shù)據(jù)倉庫存采用基于Hadoop HIVE+Impala組件優(yōu)化封裝的分布式數(shù)據(jù)倉庫，存放按業(yè)務(wù)主題進行劃分、歸類的歷史數(shù)據(jù)。數(shù)據(jù)集市的數(shù)據(jù)由數(shù)據(jù)倉庫的數(shù)據(jù)經(jīng)過轉(zhuǎn)換后形成，直接支撐前端的應(yīng)用需求。數(shù)據(jù)集市，采用基于開源PostgreSQL優(yōu)化封裝的分布式關(guān)系型數(shù)據(jù)庫。在數(shù)據(jù)集市應(yīng)用中，對于實時性要求不高的結(jié)果數(shù)據(jù)查詢，將通過訪問PostgreSQL實現(xiàn)；對于實時性要求高的即時查詢應(yīng)用，則直接通過Impala訪問HIVE的明細數(shù)據(jù)。

面向海量規(guī)模的實時采集類數(shù)據(jù)，采用基于Hadoop Hbase優(yōu)化封裝，Hbase是基于Hadoop的NoSQL大數(shù)據(jù)平臺分布式列式數(shù)據(jù)庫作為存儲媒介。為大數(shù)據(jù)提供實時的讀/寫操作，能夠利用HDFS的分布式處理模式，并通過MapReduce獲取強大的離線處理或批量處理能力，同時能夠融合key/value存儲模式，以實現(xiàn)實時查詢能力。熱點數(shù)據(jù)存儲在基于Redis優(yōu)化封裝的大數(shù)據(jù)平臺內(nèi)存數(shù)據(jù)庫中，以供快速讀取、應(yīng)用。

分析服務(wù)，采用大數(shù)據(jù)平臺自助式分析工具。大數(shù)據(jù)平臺自助式分析工具提供易用、快速、靈活的可視化設(shè)計器和豐富多樣化的可視化控件，結(jié)合數(shù)據(jù)建模發(fā)布的數(shù)據(jù)主題和數(shù)據(jù)挖掘發(fā)布的業(yè)務(wù)挖掘模型，業(yè)務(wù)人員可自定義配置分析界面。

數(shù)據(jù)分析域的系統(tǒng)管理，采用數(shù)據(jù)管理服務(wù)平臺實現(xiàn)，根據(jù)各類擴展需求，對數(shù)據(jù)管理服務(wù)平臺進行增強開發(fā)，以適應(yīng)統(tǒng)一數(shù)據(jù)中心分析域的系統(tǒng)管理要求。

6 結(jié)束語

通過對大數(shù)據(jù)技術(shù)的研究和應(yīng)用，開發(fā)部署電網(wǎng)統(tǒng)一數(shù)據(jù)中心全業(yè)務(wù)數(shù)據(jù)分析域平臺，能夠有效支撐電網(wǎng)配、變、過載、預(yù)警、分析等場景應(yīng)用，為數(shù)據(jù)分析人員提供數(shù)據(jù)挖掘模型構(gòu)建能力，滿足電網(wǎng)各類業(yè)務(wù)應(yīng)用的大數(shù)據(jù)分析、挖掘需求。

參考文獻：

[1] 陳毅波，陳乾，眭建新.基于大數(shù)據(jù)技術(shù)的電網(wǎng)運營分析決策系統(tǒng)研究[J].電力信息與通信技術(shù)，2015，13（8）：128-131.

[2] 王忻.基于大數(shù)據(jù)技術(shù)的電力公司運營系統(tǒng)研究[J].商，2016（4）：214-214.

[3] 趙云山，劉煥煥.大數(shù)據(jù)技術(shù)在電力行業(yè)的應(yīng)用研究[J].電力行業(yè)信息化年會，2013（30）：57-62.

[4] 段軍紅，張乃丹，趙博，閆曉斌.電力大數(shù)據(jù)基礎(chǔ)體系架構(gòu)與應(yīng)用研究[J].電力信息與通信技術(shù)，2015，13（2）：92-95.

[5] 刁柏青，步萬峰.構(gòu)建集中統(tǒng)一的電網(wǎng)集團數(shù)據(jù)中心[J].電力信息與通信技術(shù)，2004，2（10）：57-59.

[6] 姚強，楊志武.基于集中數(shù)據(jù)中心的統(tǒng)一數(shù)據(jù)發(fā)布平臺建設(shè)分析[J].內(nèi)蒙古電力技術(shù)，2010，28（3）：3-5.

[7] 秦小強.電力大數(shù)據(jù)基礎(chǔ)體系架構(gòu)與應(yīng)用淺述[J].工程技術(shù)：引文版，2016（1）：11-11.

[8] 劉陽.淺析大數(shù)據(jù)背景下電力行業(yè)數(shù)據(jù)應(yīng)用[J].華東科技：學(xué)術(shù)版，2015（5）：244-244.