邵世暢 陳光

摘 要：電網(wǎng)調(diào)度運(yùn)行業(yè)務(wù)建設(shè)信息化與運(yùn)行電網(wǎng)的過(guò)程中，電力數(shù)據(jù)系統(tǒng)產(chǎn)生的大部分?jǐn)?shù)據(jù)只能被刪減或更改，數(shù)據(jù)之下隱藏的更深層次的關(guān)系無(wú)法被察覺。本文根據(jù)數(shù)據(jù)挖掘與構(gòu)建決策分析系統(tǒng)的幾個(gè)關(guān)鍵技術(shù)展開了分析，對(duì)基于數(shù)據(jù)挖掘的電力系統(tǒng)數(shù)據(jù)分析與決策系統(tǒng)具有參考意義。

關(guān)鍵詞：數(shù)據(jù)挖掘;電網(wǎng)系統(tǒng)數(shù)據(jù);決策系統(tǒng)

引言

數(shù)據(jù)挖掘是發(fā)現(xiàn)數(shù)據(jù)庫(kù)知識(shí)的關(guān)鍵技術(shù)，現(xiàn)如今，在國(guó)際的研究領(lǐng)域被頻繁使用，因?yàn)閿?shù)據(jù)挖掘可以將人工智能與數(shù)據(jù)庫(kù)技術(shù)相融合，在數(shù)據(jù)庫(kù)中挖掘出最有用的知識(shí)。由于數(shù)字化技術(shù)在電力系統(tǒng)中被大量使用，各個(gè)管理信息系統(tǒng)也隨之在電力系統(tǒng)中形成了大量的數(shù)據(jù)，基于此，我們要對(duì)以往的統(tǒng)計(jì)分析法進(jìn)行改進(jìn)，否則無(wú)法對(duì)越來(lái)越多數(shù)據(jù)的分析。

1.數(shù)據(jù)挖掘

1.1數(shù)據(jù)挖掘的基本原理

作為一種新型的信息處理技術(shù)，數(shù)據(jù)挖掘成為了發(fā)現(xiàn)數(shù)據(jù)庫(kù)中深層知識(shí)的關(guān)鍵技術(shù)，所謂數(shù)據(jù)挖掘，就是在數(shù)據(jù)庫(kù)中汲取出深層次的有利信息的過(guò)程。其挖掘的數(shù)據(jù)是多種多樣的，來(lái)，我國(guó)信息技術(shù)飛速發(fā)展，數(shù)據(jù)挖掘作為其中的一個(gè)產(chǎn)物，結(jié)合了多個(gè)學(xué)科的知識(shí)，包括計(jì)算機(jī)學(xué)、統(tǒng)計(jì)學(xué)、智能監(jiān)控、數(shù)據(jù)庫(kù)與深度學(xué)習(xí)等，此外，數(shù)據(jù)挖掘技術(shù)還和可視化技術(shù)、信息科學(xué)與心理學(xué)有所關(guān)聯(lián)[1]。

1.2數(shù)據(jù)挖掘系統(tǒng)

數(shù)據(jù)庫(kù)、知識(shí)庫(kù)、數(shù)據(jù)庫(kù)服務(wù)器、數(shù)據(jù)挖掘引擎、挖掘算法及人機(jī)交互界面等模塊組成在數(shù)據(jù)挖掘系統(tǒng)中，數(shù)據(jù)挖掘系統(tǒng)才可以被稱為完整，此外，數(shù)據(jù)挖掘系統(tǒng)中還包括對(duì)中間數(shù)據(jù)的清理、集成與過(guò)濾。在事物的設(shè)計(jì)上，數(shù)據(jù)庫(kù)具有儲(chǔ)存運(yùn)行實(shí)時(shí)數(shù)據(jù)的功能，在主題設(shè)計(jì)上，數(shù)據(jù)倉(cāng)庫(kù)具有儲(chǔ)存歷史數(shù)據(jù)的功能。如果從數(shù)據(jù)量上來(lái)看，數(shù)據(jù)庫(kù)的數(shù)據(jù)量小于數(shù)據(jù)倉(cāng)庫(kù)。無(wú)論是數(shù)據(jù)庫(kù)還是數(shù)據(jù)倉(cāng)庫(kù)，二者的服務(wù)器都是由一臺(tái)會(huì)多臺(tái)計(jì)算機(jī)組成的，其目的是為了形成一個(gè)向上的數(shù)據(jù)接口，將這個(gè)接口提供給底層的數(shù)據(jù)庫(kù)或數(shù)據(jù)庫(kù)群，保證數(shù)據(jù)庫(kù)中的數(shù)據(jù)可以隨時(shí)被調(diào)用。數(shù)據(jù)挖掘過(guò)程中接觸到的專業(yè)知識(shí)與規(guī)則、技術(shù)人員的經(jīng)驗(yàn)常識(shí)等主要放置在知識(shí)庫(kù)中，在搜索數(shù)據(jù)的過(guò)程中具有輔助的作用。數(shù)據(jù)挖掘引擎是數(shù)據(jù)挖掘系統(tǒng)中的重要組成部分，能夠?qū)⒅R(shí)庫(kù)與使用者聯(lián)系起來(lái)。數(shù)據(jù)挖掘引擎通常由不同的模塊組成，這些模塊具有不同的功能，可以用來(lái)聚類分析、特征化、偏差分析等。使用興趣程度作為模式評(píng)估的標(biāo)準(zhǔn)，能夠探索出真正有趣的代表知識(shí)的模式[2]。人工智能與計(jì)算機(jī)的結(jié)合能夠幫助使用者與數(shù)據(jù)挖掘系統(tǒng)進(jìn)行互動(dòng)，其可視化界面還可以幫助用戶查詢數(shù)據(jù)與制定計(jì)劃，此外，用戶還可以通過(guò)數(shù)據(jù)挖掘系統(tǒng)瀏覽數(shù)據(jù)系統(tǒng)的實(shí)時(shí)狀態(tài)。

2.構(gòu)建決策電力數(shù)據(jù)分析系統(tǒng)的幾個(gè)關(guān)鍵技術(shù)

2.1數(shù)據(jù)的變換與清洗

在數(shù)據(jù)從業(yè)系統(tǒng)或數(shù)據(jù)來(lái)源被提取出來(lái)時(shí)，應(yīng)該及時(shí)對(duì)其進(jìn)行變換與清洗，然后再將其放置在數(shù)據(jù)庫(kù)中，這是數(shù)據(jù)倉(cāng)庫(kù)要遵守的最基本的原則。關(guān)于如何將數(shù)據(jù)變換，可以使用兩種方法，分別為手工編程與使用專門的工具對(duì)數(shù)據(jù)進(jìn)行變換。相比手工編程來(lái)說(shuō)，使用專門的工作相對(duì)來(lái)說(shuō)比較容易操作，對(duì)人力資源的要求也不高，但這種方法有使用不靈活等缺點(diǎn)。相比專門工具的不靈活性，手工編程較為靈活，但操作復(fù)雜，因此在現(xiàn)實(shí)的使用過(guò)程中，往往將這兩種方法相融合，在使用專門的工具轉(zhuǎn)換數(shù)據(jù)時(shí)，增加手工編程的方法。由于這兩種方法都是在數(shù)據(jù)傳送的過(guò)程中對(duì)數(shù)據(jù)進(jìn)行變換與清洗，所以通?？梢栽跇I(yè)務(wù)相對(duì)不擁擠、服務(wù)器使用較輕松的晚間使用。但相對(duì)于數(shù)據(jù)量龐大的OLTP 系統(tǒng)，就需要較長(zhǎng)的業(yè)務(wù)處理時(shí)間，這時(shí)業(yè)余的空閑時(shí)間就不能夠滿足業(yè)務(wù)處理。業(yè)余的空閑時(shí)間非常少，我們很難在很短的時(shí)間內(nèi)完成對(duì)數(shù)據(jù)進(jìn)行匯總計(jì)算、備份、傳送等，由此可見，在數(shù)據(jù)傳送過(guò)程中進(jìn)行清洗尤為重要，能夠大大的影響數(shù)據(jù)傳送的效率。

2.1.1計(jì)算列方法：此方法主要針對(duì)簡(jiǎn)單變換

為了不影響數(shù)據(jù)傳送的效率，我們可以在數(shù)據(jù)傳送的過(guò)程中，將初始數(shù)據(jù)直接導(dǎo)入，在數(shù)據(jù)倉(cāng)庫(kù)中構(gòu)建計(jì)算列，對(duì)數(shù)據(jù)進(jìn)行透明轉(zhuǎn)換。

2.1.2視圖法：此方法主要針對(duì)清潔和集成

與計(jì)算列方法相同，視圖法也是在傳送的過(guò)程中，直接將初始數(shù)據(jù)導(dǎo)入。在清潔方面，為了構(gòu)建原始數(shù)據(jù)與清潔數(shù)據(jù)的相對(duì)關(guān)聯(lián)，我們可以構(gòu)建一張新的表。在集成方面，可以通過(guò)試圖將原始數(shù)據(jù)集成，之后在視圖上構(gòu)建數(shù)據(jù)立方體。

2.2存儲(chǔ)格式的選擇

多維 OLAP（MO-LAP）、關(guān)系 OLAP（ROLAP）與混合 OLAP（HOLAP）為數(shù)據(jù)立方體的三種存儲(chǔ)方式?，F(xiàn)如今，根據(jù)相關(guān)參考文獻(xiàn)中不相同的存儲(chǔ)方式對(duì)性能的影響，并沒有定量的標(biāo)準(zhǔn)，通常只有相對(duì)定性的標(biāo)準(zhǔn)。文章中，我們通過(guò)實(shí)際操作的經(jīng)驗(yàn)，提供了在不同情況下不同存儲(chǔ)格式大致的性能指標(biāo)[3]。

作為事先計(jì)算好的數(shù)據(jù)匯總，聚合能夠改善查詢響應(yīng)時(shí)間，并需要其他的存儲(chǔ)空間。如果全部預(yù)先計(jì)算各個(gè)維度各個(gè)層次的單元值，將這時(shí)的聚合空間定義為100 %，此時(shí)的查詢時(shí)間最短，聚合空間最大。如果不對(duì)各維度各層次的單元之進(jìn)行遇見計(jì)算，查詢時(shí)間則最長(zhǎng)。聚合百分比=100 *（MAX-CUR）/（MAX-M IN），因此我們可以通過(guò)定義性能的提升來(lái)定義聚合百分比。

多維存儲(chǔ)模式能夠讓分區(qū)的聚合與其源數(shù)據(jù)的復(fù)本以多維結(jié)構(gòu)在分析服務(wù)器計(jì)算機(jī)上被存儲(chǔ)。關(guān)系存儲(chǔ)模式能夠讓分區(qū)的聚合在關(guān)系數(shù)據(jù)庫(kù)的表中被存儲(chǔ)。關(guān)系存儲(chǔ)模式的查詢響應(yīng)通常情況下要慢與其他兩種存儲(chǔ)模式?；旌洗鎯?chǔ)模式將多維存儲(chǔ)模式與關(guān)系存儲(chǔ)模式進(jìn)行了結(jié)合?？偠灾?，多維存儲(chǔ)模式通過(guò)為了縮短查詢時(shí)間，犧牲了存儲(chǔ)空間，關(guān)系存儲(chǔ)模式為了減少空間，犧牲了查詢時(shí)間，混合存儲(chǔ)模式則折中與這兩種存儲(chǔ)模式，對(duì)二者性能在量化指標(biāo)的差異不明確。根據(jù)實(shí)踐的經(jīng)驗(yàn)，文章可以提供一個(gè)相近的量化指標(biāo)：選擇一個(gè)大約 2G的表，整體上看，多維存儲(chǔ)模式所需要的存儲(chǔ)空間大于關(guān)系存儲(chǔ)模式與混合存儲(chǔ)模式。當(dāng)聚合數(shù)增高的時(shí)候，關(guān)系存儲(chǔ)模式就需要更大的存儲(chǔ)空間，這是因?yàn)殛P(guān)系存儲(chǔ)模式本身對(duì)查詢時(shí)間沒有較高的要求。當(dāng)對(duì)性能要求比較高時(shí)，存儲(chǔ)額外信息所需要的空間大概接近多維存儲(chǔ)模式。同樣選擇一個(gè)大約 2G 的表進(jìn)行測(cè)試，多維存儲(chǔ)模式將原始數(shù)據(jù)導(dǎo)入本地，處理時(shí)間就比較短，而在聚合小于 30 %的情況下，關(guān)系存儲(chǔ)模式的處理時(shí)間比多維存儲(chǔ)模式短，但處理時(shí)間也隨著聚合數(shù)的增加而不斷上升。

結(jié)語(yǔ)

構(gòu)建穩(wěn)定的電力數(shù)據(jù)分析系統(tǒng)，可以解決數(shù)據(jù)來(lái)源巨大的問(wèn)題，電力數(shù)據(jù)分析系統(tǒng)能夠根據(jù)不同的數(shù)據(jù)主題構(gòu)建不同的數(shù)據(jù)集合，方便搜索查詢，構(gòu)建決策電力數(shù)據(jù)分析系統(tǒng)的幾個(gè)關(guān)鍵技術(shù)還將再實(shí)踐中進(jìn)一步改善。

參考文獻(xiàn)

[1]胡政，柳進(jìn)，胡林獻(xiàn).電網(wǎng)高峰負(fù)荷分析決策平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J].電網(wǎng)技術(shù)，2005（06）：58-62.

[2]劉涌，侯志儉，蔣傳文.數(shù)據(jù)倉(cāng)庫(kù)技術(shù)在配網(wǎng)自動(dòng)化中的應(yīng)用[J].華東電力，2005（01）：62-64.

[3]楊靜.基于數(shù)據(jù)倉(cāng)庫(kù)決策分析的電力系統(tǒng)應(yīng)用研究[J].微機(jī)發(fā)展，2002（05）：31-33.