施永益 凌衛(wèi)家 夏洪濤 成敬 周趙悅
摘 要:隨著電力大數(shù)據(jù)的發(fā)展,在運(yùn)營監(jiān)測工作中引入量化分析技術(shù),實(shí)現(xiàn)數(shù)據(jù)化的工作方式,也成為運(yùn)營監(jiān)測工作的趨勢。而由于電力公司業(yè)務(wù)復(fù)雜性和公司數(shù)據(jù)化狀況的局限性,電力大數(shù)據(jù)的實(shí)際應(yīng)用在一定時期內(nèi)還將存在多種多樣的障礙題,因此需要一個具有一定普遍意義的方法論,為這類應(yīng)用研究提供依據(jù)。本文以運(yùn)營監(jiān)測數(shù)據(jù)分析為中心,基于電力公司的業(yè)務(wù)和數(shù)據(jù),從業(yè)務(wù)應(yīng)用場景分析、分析方案設(shè)計(jì)、數(shù)據(jù)通道設(shè)計(jì)、數(shù)據(jù)分析、業(yè)務(wù)分析等幾個方面描述一個切合電力公司數(shù)據(jù)化生產(chǎn)經(jīng)營發(fā)展?fàn)顩r的數(shù)據(jù)應(yīng)用方法論。
關(guān)鍵詞:數(shù)據(jù)分析 數(shù)據(jù)應(yīng)用 方法論 電力大數(shù)據(jù) 運(yùn)營監(jiān)測
隨著國網(wǎng)公司資產(chǎn)和業(yè)務(wù)規(guī)模擴(kuò)大,電力運(yùn)營監(jiān)測(控)部門僅僅依靠基于指標(biāo)數(shù)據(jù)統(tǒng)計(jì)輔助業(yè)務(wù)分析,通過經(jīng)驗(yàn)閾值實(shí)現(xiàn)異動監(jiān)測的傳統(tǒng)工作方式已經(jīng)難以應(yīng)對運(yùn)監(jiān)工作要求。近年來,電力業(yè)務(wù)數(shù)據(jù)不僅體量劇增,實(shí)時性提高,并且來源多樣,結(jié)構(gòu)化程度不一,且數(shù)據(jù)間關(guān)系錯綜復(fù)雜,形成了電力大數(shù)據(jù)?;诖髷?shù)據(jù)分析的運(yùn)監(jiān)工作,關(guān)鍵在于匯集各業(yè)務(wù)的關(guān)鍵數(shù)據(jù),結(jié)合實(shí)際應(yīng)用需求建立數(shù)據(jù)分析模型,為當(dāng)前業(yè)務(wù)指標(biāo)提供支撐和指導(dǎo)。這個過程也就是數(shù)據(jù)化運(yùn)監(jiān)工作的典型方式。本文基于運(yùn)監(jiān)工作特點(diǎn)和電力大數(shù)據(jù)實(shí)踐探索提出在運(yùn)監(jiān)工作中開展電力大數(shù)據(jù)應(yīng)用的方法論,該方法論旨在為電力公司開展運(yùn)監(jiān)大數(shù)據(jù)分析應(yīng)用工作提供技術(shù)路線和實(shí)施依據(jù),著重對電力公司大數(shù)據(jù)現(xiàn)狀中存在的難點(diǎn)進(jìn)行分析。
一、電力公司數(shù)據(jù)應(yīng)用工作基本導(dǎo)向
借鑒于企業(yè)信息化工作過程中面對的困難,數(shù)據(jù)化的進(jìn)程同樣首先面臨著長遠(yuǎn)目標(biāo)和當(dāng)前急需解決問題的矛盾。本文認(rèn)為,基于當(dāng)前電力公司中迫切的應(yīng)用需求與薄弱的數(shù)據(jù)基礎(chǔ)之間的普遍矛盾現(xiàn)狀,業(yè)務(wù)應(yīng)用是電力公司開展數(shù)據(jù)應(yīng)用研究的基本導(dǎo)向。電力數(shù)據(jù)應(yīng)用研究以數(shù)據(jù)挖掘的三個基本支撐為總體原則,即具有實(shí)際應(yīng)用意義的業(yè)務(wù)、完備的數(shù)據(jù)、正確的數(shù)據(jù)分析方法。
二、基本流程
本方法論所遵循的流程,以CRISP-DM提出的數(shù)據(jù)挖掘分析標(biāo)準(zhǔn)流程為基礎(chǔ),并結(jié)合了電力公司組織運(yùn)營特點(diǎn)。這是一個數(shù)據(jù)為核心的往復(fù)的過程。在上述業(yè)務(wù)、數(shù)據(jù)、方法三個方面的支撐下,首先以解決業(yè)務(wù)中的實(shí)際問題為目的,據(jù)此提出數(shù)據(jù)需求,打通一定范圍的數(shù)據(jù)通道,實(shí)現(xiàn)局部的數(shù)據(jù)融合、貫通,開展數(shù)據(jù)挖掘分析,再將分析結(jié)果返回業(yè)務(wù),解決實(shí)際問題,實(shí)現(xiàn)業(yè)務(wù)閉環(huán)。
三、人員角色
一個電力大數(shù)據(jù)運(yùn)營監(jiān)測應(yīng)用研究,主要研究環(huán)節(jié)有確定分析場景目標(biāo)、制定數(shù)據(jù)分析方案、數(shù)據(jù)通道獲取、數(shù)據(jù)挖掘分析、業(yè)務(wù)分析等;參與的人數(shù)可以視研究規(guī)模、人員能力構(gòu)成而定,但至少需要以下角色:業(yè)務(wù)專家、數(shù)據(jù)管理技術(shù)人員、數(shù)據(jù)挖掘分析人員、運(yùn)營監(jiān)測(控)人員。在研究工作的不同環(huán)節(jié),分別由不同的角色擔(dān)任主導(dǎo)。
四、確定場景分析目標(biāo)
這一過程的階段性目標(biāo)是制定具有業(yè)務(wù)價值并切實(shí)可行的分析目標(biāo)。主要內(nèi)容有:基于業(yè)務(wù)現(xiàn)狀和規(guī)劃進(jìn)行業(yè)務(wù)需求討論,從對目前和未來工作的意義、持續(xù)分析價值、分析機(jī)制清晰程度等方面對分析方向進(jìn)行評估;基于數(shù)據(jù)來源進(jìn)行數(shù)據(jù)條件分析,從數(shù)據(jù)可獲取性、數(shù)據(jù)時間跨度和數(shù)據(jù)量及質(zhì)量、可持續(xù)獲取行等方面進(jìn)行評估。通過對業(yè)務(wù)和數(shù)據(jù)的反復(fù)討論分析,逐步細(xì)化和明確,落實(shí)業(yè)務(wù)需求并確定相關(guān)數(shù)據(jù)條件,從而確定切實(shí)可行并具有當(dāng)前和未來價值的分析目標(biāo)。
五、制定數(shù)據(jù)分析方案
制定數(shù)據(jù)方案的依據(jù)是針對需求目標(biāo)的業(yè)務(wù)邏輯、從業(yè)務(wù)邏輯中產(chǎn)生數(shù)據(jù)邏輯,主要解決的問題有:提取業(yè)務(wù)邏輯并細(xì)化至可執(zhí)行的步驟、基于業(yè)務(wù)邏輯建立數(shù)據(jù)邏輯。
六、確定數(shù)據(jù)通道、獲取數(shù)據(jù)
數(shù)據(jù)通道的貫通確保數(shù)據(jù)分析人員能夠真正獲得所需的數(shù)據(jù)。鑒于目前公司尚未形成公司級的數(shù)據(jù)支撐通道,這是整個項(xiàng)目中難度最大的環(huán)節(jié),其關(guān)鍵在于以下四個層面:管理層面,解決共享權(quán)限、存儲空間和權(quán)限等問題;業(yè)務(wù)層面,在提取使用數(shù)據(jù)前充分了解其業(yè)務(wù)內(nèi)容及業(yè)務(wù)相關(guān)的數(shù)據(jù)特點(diǎn)和數(shù)據(jù)關(guān)系;技術(shù)層面,從業(yè)務(wù)系統(tǒng)實(shí)施、維護(hù)人員的技術(shù)支持、網(wǎng)絡(luò)數(shù)據(jù)抓取技術(shù)等技術(shù)層面解決各種來源和種類數(shù)據(jù)流動過程中的實(shí)際問題;執(zhí)行層面,進(jìn)行數(shù)據(jù)的獲取和存儲,其中涉及到不同單位的協(xié)作。
七、數(shù)據(jù)分析
經(jīng)過前述步驟制定了切實(shí)可行的分析目標(biāo),提取業(yè)務(wù)邏輯,映射到數(shù)據(jù)邏輯,并獲取到數(shù)據(jù),以供分析人員取用。至此,可以進(jìn)入數(shù)據(jù)分析階段。從廣義上來說,數(shù)據(jù)的準(zhǔn)備(清洗、探索、預(yù)處理)、模型構(gòu)建等均為數(shù)據(jù)分析中的不同環(huán)節(jié)。對電力大數(shù)據(jù)應(yīng)用研究而言,這些環(huán)節(jié)也是必不可少的。
1.工具選擇。工具的選擇與組合使用,與具體任務(wù)、工具運(yùn)行環(huán)境有關(guān),也與承擔(dān)人員組成相關(guān)。因此,在選擇數(shù)據(jù)處理與分析工具時要作綜合考慮這幾個方面,以期合理高效搭配。
2.數(shù)據(jù)準(zhǔn)備。這一階段通過更為系統(tǒng)科學(xué)的方法,進(jìn)一步檢查數(shù)據(jù)質(zhì)量,并對數(shù)據(jù)進(jìn)行清洗整理,使其能夠滿足分析工作的要求。主要包括對各項(xiàng)數(shù)據(jù)分別進(jìn)行抽取、清洗,根據(jù)數(shù)據(jù)業(yè)務(wù)內(nèi)容檢查數(shù)據(jù)的唯一性、完整性、數(shù)據(jù)范圍、區(qū)間、有效性、數(shù)據(jù)維度等,并進(jìn)行數(shù)據(jù)的整合、一致性校驗(yàn)等;隨后為后續(xù)分析準(zhǔn)備有效數(shù)據(jù)集,如:數(shù)據(jù)離散化、數(shù)據(jù)聚集、屬性再構(gòu)、標(biāo)準(zhǔn)化、數(shù)據(jù)量化等數(shù)據(jù)轉(zhuǎn)換處理;數(shù)據(jù)規(guī)約消減;數(shù)據(jù)變量計(jì)算等。
3.模型構(gòu)建。模型的構(gòu)建基于對業(yè)務(wù)目標(biāo)和數(shù)據(jù)的理解、實(shí)際的數(shù)據(jù)質(zhì)量、數(shù)據(jù)清洗和處理效果,采用選定的數(shù)據(jù)分析方法構(gòu)建和評估模型,并可能需要根據(jù)模型表現(xiàn)和結(jié)果,返回?cái)?shù)據(jù)預(yù)處理甚至數(shù)據(jù)清洗過程,進(jìn)行調(diào)整、反復(fù);若有必要,還可能需要返回?cái)?shù)據(jù)抽取過程,對數(shù)據(jù)的抽取進(jìn)行補(bǔ)充、修正。直至確定模型。
3.1模型構(gòu)建技術(shù)的選擇。技術(shù)方法選擇的總體原則是:依據(jù)具體的業(yè)務(wù)目標(biāo)、支撐該目標(biāo)的業(yè)務(wù)邏輯、實(shí)際的數(shù)據(jù)條件,其基本路線如下圖所示。
技術(shù)選擇與數(shù)據(jù)準(zhǔn)備是交互的過程。一項(xiàng)分析任務(wù)往往被拆解為多個問題,根據(jù)每個問題的性質(zhì),結(jié)合各種技術(shù)方法的適用條件為其進(jìn)行選擇;同時,由于不同的技術(shù)方法往往對數(shù)據(jù)的結(jié)構(gòu)和條件具有自己的要求,因此常常需要在這一階段有針對性地再作更多數(shù)據(jù)準(zhǔn)備處理工作。
3.2.電力數(shù)據(jù)常用的數(shù)據(jù)挖掘分析方法。電力數(shù)據(jù)有自己的特點(diǎn)。首先,電力數(shù)據(jù)常常具有相當(dāng)明顯的時間規(guī)律性,例如用電負(fù)荷數(shù)據(jù);更主要地,電力服務(wù)業(yè)務(wù)線長,數(shù)據(jù)門類繁多,內(nèi)容浩瀚紛繁,數(shù)據(jù)關(guān)系更是錯綜復(fù)雜,因此更多的是研究多變量之間的關(guān)系。常用的分析方法包括:統(tǒng)計(jì)描述、對應(yīng)分析、相關(guān)性分析、因子分析降維、主成分分析降維、聚類分析、判別分析、時間序列分析、方差分析和各類回歸,以及決策樹、神經(jīng)網(wǎng)絡(luò)等等。數(shù)據(jù)挖掘分析人員將在研究的不同階段根據(jù)掌握的分析目標(biāo)、數(shù)據(jù)情況進(jìn)行選擇和調(diào)整,直至最終確定模型。
八、業(yè)務(wù)分析
將模型結(jié)果返回業(yè)務(wù)環(huán)境,即在具體應(yīng)用場景中對模型計(jì)算結(jié)果進(jìn)行業(yè)務(wù)解釋。據(jù)此提出對業(yè)務(wù)的指導(dǎo)、對決策的建議,從而實(shí)現(xiàn)項(xiàng)目從業(yè)務(wù)回歸業(yè)務(wù)的閉環(huán)路徑。
九、結(jié)語
本文所提出的電力大數(shù)據(jù)運(yùn)營監(jiān)測應(yīng)用方法論,從電力公司現(xiàn)狀出發(fā),響應(yīng)電力業(yè)務(wù)和電力大數(shù)據(jù)蓬勃發(fā)展形勢對運(yùn)監(jiān)工作提出的需求和挑戰(zhàn),以科學(xué)的數(shù)據(jù)挖掘分析方法為依據(jù),并結(jié)合電力公司目前以及未來一段時間內(nèi)將仍然存在的實(shí)際狀況,充分地考慮到其中在管理、業(yè)務(wù)、技術(shù)等不同層面造成的難點(diǎn),因此具有一定的可推廣性和可沿用價值。但由于各具體供電單位的實(shí)際情況不同、各項(xiàng)研究的目標(biāo)和數(shù)據(jù)條件不同、人員技術(shù)組成不同,在運(yùn)用時需要加以適當(dāng)?shù)恼{(diào)整,以便取得最為切合實(shí)際的研究效果。
參考文獻(xiàn):
[1]隋春明, 宋磊. 電網(wǎng)運(yùn)營監(jiān)測(控)信息支撐系統(tǒng)的應(yīng)用[J]. 吉林電力, 2015, 43(3):38-40.
[2]范玉順. i時代信息化戰(zhàn)略管理方法[M]. 北京: 清華大學(xué)出版社, 2015.
[3]CRISP-DM Consortium, “CRISP-DM 1.0. Step-by-Step Data Mining Guide,” 1.0 Edition, SPSS, 2000.