基于大數(shù)據(jù)平臺的信息系統(tǒng)深化應(yīng)用開發(fā)設(shè)計(jì)及實(shí)現(xiàn)

劉明碩+吳軍英

摘 要：大數(shù)據(jù)具有數(shù)據(jù)體量巨大、數(shù)據(jù)類型多樣、處理速度快、價(jià)值密度低等特點(diǎn)。隨著“十二五”信息化建設(shè)的發(fā)展，電力公司四大數(shù)據(jù)中心和各類業(yè)務(wù)系統(tǒng)存儲了數(shù)百T的數(shù)據(jù)。該文首先介紹了大數(shù)據(jù)和大數(shù)據(jù)平臺的概念，在此基礎(chǔ)上分析大數(shù)據(jù)技術(shù)在電力企業(yè)中的應(yīng)用場景。最后，設(shè)計(jì)并實(shí)現(xiàn)了基于大數(shù)據(jù)平臺的信息系統(tǒng)深化應(yīng)用。

關(guān)鍵詞：大數(shù)據(jù) Hadoop 數(shù)據(jù)分析 應(yīng)用場景

中圖分類號：TP27 文獻(xiàn)標(biāo)識碼：A 文章編號：1674-098X（2017）02（c）-0151-02

1 大數(shù)據(jù)平臺概述

隨著信息技術(shù)的高速發(fā)展，云計(jì)算、物聯(lián)網(wǎng)、移動應(yīng)用、社交網(wǎng)絡(luò)等紛紛得到空前的發(fā)展，全球數(shù)據(jù)信息量呈指數(shù)式爆炸增長之勢。數(shù)據(jù)作為企業(yè)、社會和國家層面的重要戰(zhàn)略資源，被社會各個(gè)領(lǐng)域所重視，相繼開始其數(shù)據(jù)的挖掘應(yīng)用進(jìn)程，學(xué)術(shù)界、商界、政府、企業(yè)等都將不可避免地進(jìn)入“大數(shù)據(jù)時(shí)代”。

大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的5V特點(diǎn)（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價(jià)值）、Veracity（真實(shí)性）[1]。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。

大數(shù)據(jù)平臺中應(yīng)用最廣泛的是Hadoop架構(gòu)，Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS[2]。

2 應(yīng)用場景設(shè)計(jì)

該項(xiàng)目涉及的基于大數(shù)據(jù)分析場景主要包括電網(wǎng)規(guī)劃研究、市場售電量預(yù)測分析、配變重過載預(yù)警分析3個(gè)主題場景的設(shè)計(jì)研發(fā)。其中，電網(wǎng)規(guī)劃研究包括：電網(wǎng)運(yùn)行情況分析、電網(wǎng)薄弱環(huán)節(jié)監(jiān)測。市場售電量預(yù)測分析包括：售電量特性監(jiān)測分析、售電量預(yù)測分析。配變重過載預(yù)警分析包括：短期配變重過載預(yù)警分析、中期配變重過載預(yù)警分析。

2.1 電網(wǎng)規(guī)劃研究

通過分析省市縣三級社會經(jīng)濟(jì)數(shù)據(jù)，對電網(wǎng)運(yùn)行情況進(jìn)行分析，展示各級供電分區(qū)與市轄縣級供電分區(qū)等不同口徑的供電指標(biāo)；結(jié)合電網(wǎng)規(guī)模線路數(shù)據(jù)，提供多維度報(bào)表數(shù)據(jù)。結(jié)合各電壓等級電網(wǎng)結(jié)構(gòu)數(shù)據(jù)，以及變電站、配電臺區(qū)、線路等基礎(chǔ)數(shù)據(jù)，進(jìn)行電網(wǎng)現(xiàn)狀分析，同時(shí)提供關(guān)鍵指標(biāo)和報(bào)表數(shù)據(jù)導(dǎo)出功能，供進(jìn)一步詳細(xì)分析，從規(guī)劃設(shè)計(jì)、建設(shè)改造等環(huán)節(jié)入手，優(yōu)化電網(wǎng)運(yùn)行方式，為電網(wǎng)規(guī)劃提供支撐依據(jù)。

通過分析電網(wǎng)設(shè)備負(fù)載、重過載以及線路卡脖子等相關(guān)信息，實(shí)施電網(wǎng)薄弱環(huán)節(jié)監(jiān)測。依托電網(wǎng)關(guān)鍵運(yùn)行指標(biāo)計(jì)算結(jié)果，分析電網(wǎng)薄弱環(huán)節(jié)，對不同區(qū)域的電網(wǎng)運(yùn)行情況進(jìn)行評價(jià)，及時(shí)發(fā)現(xiàn)電網(wǎng)運(yùn)行問題，提升輸、配電網(wǎng)的計(jì)算分析能力，支撐規(guī)劃部門發(fā)現(xiàn)電網(wǎng)存在問題，合理分配電網(wǎng)設(shè)施下一步投資方向。

2.2 市場售電量預(yù)測分析

針對售電量特性監(jiān)測開展分析。利用營銷基礎(chǔ)數(shù)據(jù)平臺、用電信息采集系統(tǒng)、營銷檔案系統(tǒng)等系統(tǒng)，以及營銷大數(shù)據(jù)存儲技術(shù)，結(jié)合相關(guān)負(fù)荷特性指標(biāo)，基于從時(shí)間、高低壓用戶（含大客戶及高風(fēng)險(xiǎn)客戶）、行業(yè)及用電類別等多個(gè)維度進(jìn)行建模、詳細(xì)剖析和監(jiān)測月均負(fù)荷及日負(fù)荷情況，分析全省范圍的負(fù)荷分布情況。同時(shí)，對永久性減容銷戶、暫停/恢復(fù)、客戶群、電能替代、氣象、分布式電源、自備電廠、大用戶直購電等影響因素進(jìn)行關(guān)聯(lián)分析和負(fù)荷監(jiān)測。

同時(shí)對售電量預(yù)測進(jìn)行分析。以售電量影響因素分析結(jié)果為基礎(chǔ)，構(gòu)建售電量預(yù)測模型和用電趨勢預(yù)測模型，按照日期類型（如節(jié)假日及特殊假期）進(jìn)行區(qū)別預(yù)測，同時(shí)針對大用戶、氣象敏感度用戶群、面臨淘汰的高耗能行業(yè)、政策電價(jià)用電用戶等進(jìn)行售電預(yù)測，并對預(yù)測結(jié)果進(jìn)行持續(xù)跟蹤，發(fā)現(xiàn)偏差后及時(shí)修正。通過負(fù)荷監(jiān)測，預(yù)測各地區(qū)短期售電量，對負(fù)荷數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，支撐有序用電執(zhí)行效果評估。

2.3 配變重過載預(yù)警分析

基于大數(shù)據(jù)挖掘技術(shù)的配變重過載預(yù)測分析，能夠更加準(zhǔn)確，運(yùn)用回歸算法，構(gòu)建重過載預(yù)警模型，建設(shè)每周預(yù)報(bào)（短期）、迎峰度夏、農(nóng)排專題（中期）分析場景，實(shí)現(xiàn)短期和中期配變重過載情況預(yù)測。場景將對全市及各區(qū)持續(xù)發(fā)生的配變持續(xù)重過載情況進(jìn)行跟蹤分析，重點(diǎn)監(jiān)測特定時(shí)段及區(qū)域的配變負(fù)載（如采暖期間負(fù)荷突然增加），對異常數(shù)據(jù)進(jìn)行捕獲和鉆取分析（如配變?nèi)萘繑?shù)據(jù)不準(zhǔn)確）。同時(shí)，對短期（周）及中期（年）的重過載情況進(jìn)行預(yù)測，并與實(shí)際發(fā)生情況進(jìn)行比對。

3 系統(tǒng)架構(gòu)設(shè)計(jì)及實(shí)現(xiàn)

此項(xiàng)目基于Hadoop框架進(jìn)行設(shè)計(jì)開發(fā)，Hadoop框架中有MapReduce、Hbase和HDFS三大核心設(shè)計(jì)。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。概念“Map（映射）”和“Reduce（歸約）”，是它們的主要思想，可以把一個(gè)復(fù)雜的任務(wù)劃分為若干個(gè)簡單的任務(wù)分發(fā)給網(wǎng)絡(luò)上的多個(gè)節(jié)點(diǎn)同時(shí)處理。HBase-Hadoop Database，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，HBase在Hadoop之上提供了類似于Bigtable的能力，利用HBase技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。HDFS是一個(gè)主從結(jié)構(gòu)，一個(gè)HDFS集群是由一個(gè)名字節(jié)點(diǎn)，它是一個(gè)管理文件命名空間和調(diào)節(jié)客戶端訪問文件的主服務(wù)器。HDFS的高容錯性、高吞吐量等特點(diǎn)使得HDFS適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。

3.1 系統(tǒng)架構(gòu)

大數(shù)據(jù)平臺為業(yè)務(wù)系統(tǒng)大數(shù)據(jù)應(yīng)用開發(fā)、運(yùn)行提供統(tǒng)一的平臺支撐。其總體架構(gòu)包括數(shù)據(jù)整合、數(shù)據(jù)存儲、數(shù)據(jù)計(jì)算、數(shù)據(jù)分析、平臺服務(wù)、安全管理、配置管理等模塊，并提供各種形式的服務(wù)對業(yè)務(wù)應(yīng)用提供支撐。大數(shù)據(jù)平臺總體架構(gòu)圖如圖1所示。

數(shù)據(jù)整合：通過數(shù)據(jù)抽?。‥TL）、實(shí)時(shí)數(shù)據(jù)采集、文件數(shù)據(jù)采集、數(shù)據(jù)庫實(shí)時(shí)復(fù)制等多種技術(shù)從外部數(shù)據(jù)源抽取和采集結(jié)構(gòu)化數(shù)據(jù)（關(guān)系數(shù)據(jù)庫記錄）、半結(jié)構(gòu)化數(shù)據(jù)（日志、郵件等）、非結(jié)構(gòu)化數(shù)據(jù)（文件、視頻、音頻、網(wǎng)絡(luò)數(shù)據(jù)流等）到大數(shù)據(jù)平臺的hive庫中。

數(shù)據(jù)存儲：負(fù)責(zé)進(jìn)行大數(shù)據(jù)的存儲，針對全數(shù)據(jù)類型和多樣計(jì)算需求，以海量規(guī)模存儲、快速查詢讀取為特征，存儲來自外部數(shù)據(jù)源的各類數(shù)據(jù)，支撐數(shù)據(jù)處理層的高級應(yīng)用。通常情況下，非結(jié)構(gòu)化數(shù)據(jù)存儲在分布式文件系統(tǒng)HDFS中，半結(jié)構(gòu)化數(shù)據(jù)采用列式數(shù)據(jù)庫或鍵值數(shù)據(jù)庫，結(jié)構(gòu)化數(shù)據(jù)采用行式存儲數(shù)據(jù)庫存儲，實(shí)時(shí)性高、計(jì)算性能要求高的數(shù)據(jù)存儲在內(nèi)存數(shù)據(jù)庫或?qū)崟r(shí)數(shù)據(jù)庫。

數(shù)據(jù)計(jì)算：對多樣化的大數(shù)據(jù)提供流計(jì)算、批量計(jì)算、內(nèi)存計(jì)算、查詢計(jì)算等計(jì)算功能，允許對分布式存儲的數(shù)據(jù)文件或內(nèi)存數(shù)據(jù)進(jìn)行查詢和計(jì)算。通過Storm流計(jì)算技術(shù)提供實(shí)時(shí)分析處理的計(jì)算能力，實(shí)現(xiàn)實(shí)時(shí)決策、預(yù)警等。通過離線計(jì)算提供落地?cái)?shù)據(jù)的計(jì)算能力，實(shí)現(xiàn)數(shù)據(jù)的批量處理。

數(shù)據(jù)分析：基于Hadoop技術(shù)對多樣化的大數(shù)據(jù)進(jìn)行加工、處理、分析、挖掘，產(chǎn)生新的業(yè)務(wù)價(jià)值，發(fā)現(xiàn)業(yè)務(wù)發(fā)展方向，提供業(yè)務(wù)決策依據(jù)。

平臺服務(wù)：將底層數(shù)據(jù)分析工具、組件等能力封裝后為業(yè)務(wù)系統(tǒng)的大數(shù)據(jù)應(yīng)用提供平臺服務(wù)支撐，包含存儲服務(wù)、計(jì)算服務(wù)、分析服務(wù)、展現(xiàn)服務(wù)等。

3.2 技術(shù)架構(gòu)

大數(shù)據(jù)平臺技術(shù)組件以集成成熟開源產(chǎn)品為主，并對現(xiàn)有可重用的SG-ERP組件進(jìn)行提升改造，相關(guān)生產(chǎn)應(yīng)用可適時(shí)遷移至大數(shù)據(jù)平臺。

大數(shù)據(jù)平臺技術(shù)架構(gòu)包含數(shù)據(jù)整合、數(shù)據(jù)存儲、數(shù)據(jù)計(jì)算、數(shù)據(jù)分析、平臺服務(wù)5個(gè)層次，在數(shù)據(jù)整合方面，融合實(shí)時(shí)消息隊(duì)列、數(shù)據(jù)抽取、日志采集、服務(wù)接口等技術(shù)，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)的快速接入；在數(shù)據(jù)存儲方面，采用關(guān)系數(shù)數(shù)據(jù)庫、分布式文件系統(tǒng)、分布式列式數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫等存儲技術(shù)，滿足海量數(shù)據(jù)實(shí)時(shí)、準(zhǔn)實(shí)時(shí)存儲需求；在數(shù)據(jù)計(jì)算方面，提供流計(jì)算、批量計(jì)量、內(nèi)存計(jì)算等數(shù)據(jù)處理技術(shù)；在數(shù)據(jù)分析方面，采用開源挖掘工具R語言、Mahout，并構(gòu)建分布式數(shù)據(jù)挖掘算法庫；同時(shí)，完善智能分析決策平臺的分析模型設(shè)計(jì)器，構(gòu)建統(tǒng)一的分析建模能力和運(yùn)行引擎。在平臺服務(wù)方面，提供統(tǒng)一的存儲、計(jì)算、分析、展現(xiàn)等服務(wù)。

4 結(jié)語

隨著電力企業(yè)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)量的不斷增大，以及業(yè)務(wù)部門數(shù)據(jù)價(jià)值挖掘需求的持續(xù)增長，迫切需要用好大數(shù)據(jù)平臺這一數(shù)據(jù)分析和挖掘技術(shù)手段，充分地分析企業(yè)信息數(shù)據(jù)資源，從而可以增強(qiáng)企業(yè)的價(jià)值創(chuàng)造力和核心競爭力，為用戶提供更優(yōu)質(zhì)的服務(wù)。

參考文獻(xiàn)

[1] 肖廣娣，凌云.大數(shù)據(jù)時(shí)代信息安全分析[J].電腦知識與技術(shù)，2013（9）：7937-7938.

[2] 林清瀅.基于Hadoop的云計(jì)算模型[J].現(xiàn)代計(jì)算機(jī)，2010（7）：114-115.