基于大數(shù)據(jù)背景下提高供電局?jǐn)?shù)據(jù)質(zhì)量對(duì)策分析

李志華　李華軍

摘要：隨著電網(wǎng)智能化的發(fā)展，電力信息系統(tǒng)變得更為復(fù)雜，其數(shù)據(jù)也隨之增大，從而引起了各種的數(shù)據(jù)質(zhì)量問題，嚴(yán)重阻礙了電力信息系統(tǒng)的使用。文章闡述了電力大數(shù)據(jù)的特點(diǎn)以及影響數(shù)據(jù)質(zhì)量的因素，并在此基礎(chǔ)上提出了相應(yīng)的對(duì)策。

關(guān)鍵詞：大數(shù)據(jù)；數(shù)據(jù)質(zhì)量；供電局；電網(wǎng)智能化；電力信息系統(tǒng) 文獻(xiàn)標(biāo)識(shí)碼：A

中圖分類號(hào)：TP315 文章編號(hào)：1009-2374（2016）30-0177-03 DOI：10.13535/j.cnki.11-4406/n.2016.30.087

隨著信息技術(shù)在電網(wǎng)中的應(yīng)用，電網(wǎng)產(chǎn)生的數(shù)據(jù)量和類型也急劇增加。面對(duì)逐漸復(fù)雜的數(shù)據(jù)資源，數(shù)據(jù)質(zhì)量問題也隨之增多，比如系統(tǒng)內(nèi)/外的問題、核對(duì)標(biāo)準(zhǔn)的問題等，這些問題嚴(yán)重影響了電力信息系統(tǒng)的應(yīng)用與推廣，比較典型的例子就是電力營銷信息管理系統(tǒng)用電客戶檔案的數(shù)據(jù)質(zhì)量問題。電網(wǎng)企業(yè)在需要進(jìn)行停電檢修或電網(wǎng)故障導(dǎo)致停電時(shí)都會(huì)電話或短信通知客戶，如果營銷系統(tǒng)里記錄的用電客戶的聯(lián)系電話缺失或者不準(zhǔn)確，電力客服就無法及時(shí)準(zhǔn)確地通知到客戶，從而對(duì)用電客戶的生產(chǎn)、生活造成不良影響。諸如此類的問題在電力資產(chǎn)管理系統(tǒng)，安全生產(chǎn)管理系統(tǒng)也一樣存在。

隨著電力營銷、生產(chǎn)、資產(chǎn)等主業(yè)務(wù)信息系統(tǒng)都采取了“大集中”模式，數(shù)據(jù)質(zhì)量的問題也逐步凸顯。為了解決這些數(shù)據(jù)質(zhì)量問題，供電系統(tǒng)逐漸引用了大數(shù)據(jù)技術(shù)。所以這對(duì)這些大數(shù)據(jù)和大數(shù)據(jù)技術(shù)，供電局應(yīng)引入有效、可行方法，來提高數(shù)據(jù)質(zhì)量。

1 電力大數(shù)據(jù)特征

目前，電力大數(shù)據(jù)指的是大數(shù)據(jù)的理論、技術(shù)以及思想在電力行業(yè)中的實(shí)踐，它提供了從數(shù)據(jù)的采集一直到最后的展示較為完善的解決方案。

1.1 價(jià)值密度比較低

一般而言，數(shù)據(jù)的價(jià)值是取決于在大量的數(shù)據(jù)中挖掘有效的信息。比如，在輸變電設(shè)備的檢測系統(tǒng)中，采集的大部分?jǐn)?shù)據(jù)是正常的，僅有少量的不正常，但是這些非正常的數(shù)據(jù)是對(duì)設(shè)備狀態(tài)檢測的關(guān)鍵性數(shù)據(jù)。

1.2 具有交互的特點(diǎn)

目前，電網(wǎng)企業(yè)正朝以用戶為核心的方向進(jìn)行轉(zhuǎn)變，用戶對(duì)供電系統(tǒng)服務(wù)質(zhì)量的滿意程度將會(huì)是很重要的考核指標(biāo)，所以，供電系統(tǒng)可以根據(jù)數(shù)據(jù)的分析與挖掘，對(duì)用戶的需求進(jìn)行了解，來提高更高質(zhì)量的服務(wù)。此外，交互特點(diǎn)還表現(xiàn)在用戶在用電的高峰期會(huì)向電網(wǎng)進(jìn)行供電。

1.3 處理的速度較快

在對(duì)數(shù)據(jù)進(jìn)行決策時(shí)，對(duì)能夠?qū)崟r(shí)與在線處理的要求逐漸提高，因此必須提高對(duì)數(shù)據(jù)進(jìn)行處理的速度，符合決策的要求，在極短的時(shí)間內(nèi)對(duì)大量數(shù)據(jù)進(jìn)行相關(guān)分析。

1.4 類型繁多

主要包括非結(jié)構(gòu)化、半結(jié)構(gòu)化和結(jié)構(gòu)化。信息系統(tǒng)的建立加快了半結(jié)構(gòu)化類型數(shù)據(jù)的增多，比如視頻、音頻以及圖片等。另外，電網(wǎng)企業(yè)還要必備能源和氣象等外部數(shù)據(jù)，才能保證供電的可靠性。

1.5 體量龐大

已經(jīng)從TB級(jí)升到PB級(jí)。信息化的電網(wǎng)的建立使數(shù)據(jù)可以進(jìn)行實(shí)時(shí)的收集與傳輸，間隔僅為秒級(jí)，使數(shù)據(jù)量呈指數(shù)增長。但是對(duì)大量數(shù)據(jù)的應(yīng)用與存儲(chǔ)技術(shù)還不完善，數(shù)據(jù)的價(jià)值不能得到良好的挖掘。

2 數(shù)據(jù)質(zhì)量的影響因素

影響供電行業(yè)數(shù)據(jù)質(zhì)量的原因非常多，而依據(jù)數(shù)據(jù)產(chǎn)生的節(jié)點(diǎn)與時(shí)間，能夠把這些因素歸為以下三類：

2.1 數(shù)據(jù)的導(dǎo)入過程

該過程一般指的是利用集成、接口或手工等方式把數(shù)據(jù)輸入對(duì)應(yīng)倉庫的這一程序。這一程序?qū)?shù)據(jù)產(chǎn)生的作用主要體現(xiàn)在：（1）人工方式的錄入方式，會(huì)因?yàn)橐恍]辦法預(yù)防的原因，而導(dǎo)致結(jié)果難以預(yù)測；（2）對(duì)系統(tǒng)進(jìn)行重建或升級(jí)維護(hù)時(shí)，經(jīng)常會(huì)對(duì)舊系統(tǒng)進(jìn)行淘汰或者合并，因此整頓數(shù)據(jù)與原來的數(shù)據(jù)之間的轉(zhuǎn)換問題較為復(fù)雜，面臨著嚴(yán)峻的挑戰(zhàn)；（3）對(duì)原來的數(shù)據(jù)進(jìn)行轉(zhuǎn)換時(shí)，沒有可以依靠的源系統(tǒng)的元數(shù)據(jù)，為源數(shù)據(jù)自身并不完備；（4）業(yè)務(wù)系統(tǒng)前臺(tái)操作員錄入不規(guī)范或系統(tǒng)對(duì)錄入的數(shù)據(jù)未作校驗(yàn)，導(dǎo)致業(yè)務(wù)單據(jù)流程歸檔后，保存到后臺(tái)數(shù)據(jù)庫的原始數(shù)據(jù)就存在數(shù)據(jù)質(zhì)量問題。

2.2 導(dǎo)致數(shù)據(jù)變壞的過程

會(huì)導(dǎo)致數(shù)據(jù)產(chǎn)生損壞的原因有很多：（1）不能對(duì)變化地對(duì)數(shù)據(jù)進(jìn)行捕獲，各個(gè)系統(tǒng)間通常具有很多的接口，在對(duì)接口進(jìn)行修改時(shí)，通常不會(huì)把對(duì)它產(chǎn)生影響的統(tǒng)一修改；（2）在專業(yè)知識(shí)或者人員流失后，新來人員對(duì)數(shù)據(jù)的意義進(jìn)行準(zhǔn)確的分析比較困難；（3）數(shù)據(jù)的處理過程是一個(gè)自動(dòng)化的操作，可能會(huì)發(fā)生某些驗(yàn)證界面很難涵蓋數(shù)據(jù)的所有特點(diǎn)，也可能是因?yàn)樾阅苌系脑驅(qū)⑵淦帘瘟?，所以一旦出現(xiàn)錯(cuò)誤，在將大量的數(shù)據(jù)反饋給客戶的時(shí)候，將會(huì)被責(zé)怪，用戶對(duì)數(shù)據(jù)質(zhì)量的感知度也會(huì)降低。

2.3 系統(tǒng)內(nèi)部過程

系統(tǒng)自身在對(duì)數(shù)據(jù)進(jìn)行整理分析的時(shí)候也會(huì)對(duì)其質(zhì)量產(chǎn)生一定的影響，主要是對(duì)數(shù)據(jù)進(jìn)行處理、清洗和清除的過程。第一，在對(duì)數(shù)據(jù)進(jìn)行處理過程中，一旦處理程序發(fā)生變化，就會(huì)導(dǎo)致質(zhì)量問題的出現(xiàn)，而新產(chǎn)生的對(duì)數(shù)據(jù)進(jìn)行采集的程序同樣會(huì)導(dǎo)致類似的現(xiàn)象，此外，如果在不對(duì)的時(shí)間發(fā)生突發(fā)事件，打破數(shù)據(jù)應(yīng)有的狀態(tài)，那么正確的程序也會(huì)導(dǎo)致不正確結(jié)果的出現(xiàn)，而該問題較為隱蔽，不易被查出；第二，對(duì)數(shù)據(jù)進(jìn)行清洗的過程，導(dǎo)致危險(xiǎn)發(fā)生的原因一般在于數(shù)據(jù)質(zhì)量本身的內(nèi)部相關(guān)性與復(fù)雜性。在解決了某一問題后，也許會(huì)導(dǎo)致很多類似或者其他有關(guān)數(shù)據(jù)的問題的出現(xiàn)。數(shù)據(jù)清洗的自動(dòng)化是由計(jì)算機(jī)程序操控的，而程序本身存在bug，對(duì)大量數(shù)據(jù)的記錄產(chǎn)生一定的影響，數(shù)據(jù)質(zhì)量的說明書不能體現(xiàn)實(shí)際數(shù)據(jù)的需要，因此清洗的結(jié)果也許會(huì)與理論上的模型相符合，但對(duì)實(shí)際使用而言依舊是不對(duì)的；第三，對(duì)數(shù)據(jù)進(jìn)行清除的過程，該過程可能會(huì)不小心對(duì)其他有關(guān)數(shù)據(jù)也進(jìn)行了清除。

3 提高數(shù)據(jù)質(zhì)量的對(duì)策

3.1 建立完善的數(shù)據(jù)質(zhì)量保障體系

建立一個(gè)可行、有效、系統(tǒng)的數(shù)據(jù)質(zhì)量的保障體系，應(yīng)該使其具備這六大特點(diǎn)：（1）能夠?qū)?shù)據(jù)質(zhì)量進(jìn)行較為全面的管理；（2）可以控制數(shù)據(jù)質(zhì)量的所有程序；（3）活動(dòng)要取得授權(quán)后才能進(jìn)行；（4）建立規(guī)范的數(shù)據(jù)質(zhì)量的可操作文檔，保證數(shù)據(jù)質(zhì)量全過程能夠被檢查；（5）必須對(duì)其進(jìn)行不斷改進(jìn)：數(shù)據(jù)質(zhì)量問題的出現(xiàn)是不可避免的，但及時(shí)對(duì)其糾正、預(yù)防再犯才是關(guān)鍵的環(huán)節(jié)；（6）要尤其關(guān)注對(duì)出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)進(jìn)行收集，并建立完善的數(shù)據(jù)質(zhì)量知識(shí)庫。

3.2 對(duì)數(shù)據(jù)質(zhì)量進(jìn)行檢查

該過程指的是對(duì)數(shù)據(jù)倉庫中的數(shù)據(jù)質(zhì)量是否具有問題進(jìn)行檢查，如果有問題，還要鑒定該問題級(jí)別。其目的是認(rèn)識(shí)錯(cuò)誤，并評(píng)估對(duì)它的影響程度。主要包括以下項(xiàng)目：

3.2.1 檢查接口數(shù)據(jù)。提供接口數(shù)據(jù)時(shí)，其形式有文件和數(shù)據(jù)表兩種類型，所以主要針對(duì)這兩種類型進(jìn)行檢查。檢查接口數(shù)據(jù)的及時(shí)性和完整性，找出問題所在，確保數(shù)據(jù)在入庫前沒有顯著的數(shù)據(jù)質(zhì)量上的潛在問題。尤其是對(duì)于電子化移交的相關(guān)數(shù)據(jù)推送接口，一定要對(duì)數(shù)據(jù)推送的接口規(guī)范做嚴(yán)格的審查，加強(qiáng)對(duì)推送數(shù)據(jù)正確性、一致性、及時(shí)性、完整性的校驗(yàn)。

其中對(duì)接口文件的檢查主要是對(duì)格式、大小、傳送量、記錄長度等進(jìn)行檢查；對(duì)接口表的檢查主要是對(duì)其屬性和時(shí)間等進(jìn)行檢查；對(duì)于其他方式的接口，依據(jù)接口的具體情況進(jìn)行。

3.2.2 檢查數(shù)據(jù)倉庫。該過程一般指的是對(duì)數(shù)據(jù)倉庫中數(shù)據(jù)的正確性、一致性、及時(shí)性、完整性進(jìn)行檢查，來確保倉庫內(nèi)數(shù)據(jù)質(zhì)量的良好。鑒于電網(wǎng)信息系統(tǒng)的復(fù)雜性及海量數(shù)據(jù)，數(shù)據(jù)質(zhì)量的提高是一項(xiàng)長期的周期性工作，需要定期對(duì)數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行檢查，并不斷完善數(shù)據(jù)檢查腳本。

3.2.3 檢查指定指標(biāo)。該項(xiàng)檢查主要是對(duì)數(shù)據(jù)的正確性進(jìn)行質(zhì)量方面的檢查；確保數(shù)據(jù)可以根據(jù)業(yè)務(wù)的實(shí)際狀況進(jìn)行體現(xiàn)。因此制定相關(guān)數(shù)據(jù)質(zhì)量考核指標(biāo)，提高數(shù)據(jù)質(zhì)量，對(duì)于電力公司業(yè)務(wù)開展及服務(wù)質(zhì)量的提升具有積極作用。

3.3 控制數(shù)據(jù)質(zhì)量問題

對(duì)數(shù)據(jù)質(zhì)量進(jìn)行的控制是通過某些方法對(duì)已經(jīng)出現(xiàn)質(zhì)量問題的數(shù)據(jù)實(shí)施處理的過程。若發(fā)現(xiàn)有些問題是因?yàn)橄到y(tǒng)引起的，就要改變數(shù)據(jù)倉庫?？刂频膬?nèi)容主要包括以下方面：

3.3.1 質(zhì)量問題的處理程序。該流程主要分為：（1）數(shù)據(jù)質(zhì)量管理員對(duì)質(zhì)量問題的屬性進(jìn)行判別，并執(zhí)行相應(yīng)的處理流程；（2）各個(gè)業(yè)務(wù)系統(tǒng)的代表提供實(shí)際情況，結(jié)合自身的經(jīng)驗(yàn)，協(xié)助質(zhì)量人員明確引起錯(cuò)誤發(fā)生的最根本原因；（3）責(zé)任歸屬業(yè)務(wù)系統(tǒng)的代表應(yīng)當(dāng)協(xié)助對(duì)應(yīng)的業(yè)務(wù)系統(tǒng)修改相應(yīng)的系統(tǒng)，完成后發(fā)業(yè)務(wù)系統(tǒng)變更通知到數(shù)據(jù)倉庫系統(tǒng)，而后數(shù)據(jù)倉庫系統(tǒng)依據(jù)變更通知進(jìn)入系統(tǒng)變更處理程序；（4）將已經(jīng)產(chǎn)生錯(cuò)誤的數(shù)據(jù)，啟動(dòng)錯(cuò)誤數(shù)據(jù)的維護(hù)流程。

3.3.2 錯(cuò)誤數(shù)據(jù)維護(hù)程序。在數(shù)據(jù)倉庫系統(tǒng)中，因?yàn)闅v史性的因素引起的新數(shù)據(jù)庫中的數(shù)據(jù)錯(cuò)誤，必須進(jìn)行維護(hù)。對(duì)這種錯(cuò)誤性的數(shù)據(jù)的維護(hù)應(yīng)該征得質(zhì)量管理員或主管部門的意見，在維護(hù)工作完成后還要上交相應(yīng)的報(bào)告，管理員對(duì)其進(jìn)行檢查與驗(yàn)證。

3.3.3 數(shù)據(jù)倉庫系統(tǒng)變更程序。在業(yè)務(wù)環(huán)境變化的挑戰(zhàn)面前，供電局對(duì)應(yīng)業(yè)務(wù)的信息系統(tǒng)也一直在發(fā)生變化，那么數(shù)據(jù)倉庫也一定在時(shí)刻的變更過程中。變更數(shù)據(jù)倉庫系統(tǒng)的程序一般在技術(shù)與管理兩個(gè)層面來使上述事件的處理程序規(guī)范化。

3.4 預(yù)防數(shù)據(jù)質(zhì)量問題

3.4.1 數(shù)據(jù)質(zhì)量測試。數(shù)據(jù)倉庫對(duì)大量數(shù)據(jù)的輸入進(jìn)行處理后，也會(huì)給出大量的結(jié)果，其中的存儲(chǔ)量也非常之大，給數(shù)據(jù)倉庫系統(tǒng)的測試帶來了巨大的壓力。值得注意的是，應(yīng)該尤其強(qiáng)化測試流程的管理。

為確保數(shù)據(jù)的質(zhì)量，管理員應(yīng)當(dāng)重視所有的檢測過程，尤其是數(shù)據(jù)倉庫系統(tǒng)中的測試方案和報(bào)告均需要質(zhì)量管理員的檢查通過。而檢測方案中應(yīng)該包括數(shù)據(jù)質(zhì)量的檢測、對(duì)所有方案的檢驗(yàn)，還應(yīng)向質(zhì)量部門和倉庫研發(fā)組上交相應(yīng)的報(bào)告，此外，對(duì)于未通過的方案必須修改后重新提交。質(zhì)量管理人員檢查所有的報(bào)告，完畢后向研發(fā)、質(zhì)量小組上交報(bào)告，不能通過檢查的報(bào)告，即為未通過。

3.4.2 統(tǒng)計(jì)口徑差異控制程序。統(tǒng)計(jì)口徑作為管理元數(shù)據(jù)的重要組分，對(duì)倉庫體系有著十分重要的價(jià)值。系統(tǒng)間統(tǒng)計(jì)口徑的區(qū)別會(huì)對(duì)倉庫體系的運(yùn)行產(chǎn)生一定程度的影響，所以控制好口徑的一致性是對(duì)數(shù)據(jù)質(zhì)量問題進(jìn)行預(yù)防的基礎(chǔ)措施。

在對(duì)統(tǒng)計(jì)口徑差異進(jìn)行控制時(shí)，質(zhì)量管理人員在收到問題報(bào)告之后，應(yīng)該判斷是否有文檔明確規(guī)定的統(tǒng)計(jì)口徑，假如不是，應(yīng)該交給質(zhì)量小組進(jìn)行協(xié)調(diào)。而質(zhì)量小組包括了所有業(yè)務(wù)的代表，質(zhì)量管理人員要要求相關(guān)人員提供各自對(duì)統(tǒng)計(jì)口徑的定義或理解以及計(jì)算方式，并明確使用或者關(guān)注該統(tǒng)計(jì)口徑的業(yè)務(wù)部門。

3.4.3 檢查管理程序。該項(xiàng)程序主要是對(duì)管理機(jī)構(gòu)、流程和標(biāo)準(zhǔn)、質(zhì)量管理進(jìn)行檢查。較為系統(tǒng)的管理標(biāo)準(zhǔn)、流程、機(jī)構(gòu)和操作過程，能夠確保數(shù)據(jù)的質(zhì)量，讓數(shù)據(jù)庫在所用情況下均依照制定的原則順利運(yùn)維。

總之，要提高數(shù)據(jù)的質(zhì)量，應(yīng)以數(shù)據(jù)規(guī)劃為指導(dǎo)，以業(yè)務(wù)規(guī)則庫為基礎(chǔ)，從數(shù)據(jù)的元定義做起，對(duì)供電系統(tǒng)的主數(shù)據(jù)、業(yè)務(wù)處理數(shù)據(jù)進(jìn)行系統(tǒng)地整理和檢查；同時(shí)構(gòu)建實(shí)用化的考核指標(biāo)體系，建設(shè)可以包含所有主營業(yè)務(wù)系統(tǒng)的統(tǒng)一數(shù)據(jù)質(zhì)量管理平臺(tái)，從大量的數(shù)據(jù)中獲取有效的信息，充分提高整個(gè)供電系統(tǒng)的數(shù)據(jù)質(zhì)量。

4 結(jié)語

在大數(shù)據(jù)技術(shù)飛速發(fā)展的當(dāng)今時(shí)代，電力系統(tǒng)的發(fā)展也將更加智能化，朝著高效、可靠的方向變化。目前針對(duì)這種大數(shù)據(jù)進(jìn)行分析與處理必須具備一套與之配套的質(zhì)量管理體制。因此為提高數(shù)據(jù)質(zhì)量的水平，應(yīng)該積極開展數(shù)據(jù)質(zhì)量管理的研究方法，以便更好地促進(jìn)電力的發(fā)展。

參考文獻(xiàn)

[1] 徐光年，劉鴻寧，馮朝力，陳振，郭陽.供電公司中的大數(shù)據(jù)應(yīng)用概述[J].湖北電力，2015，（4）.

[2] 江疆，黃劍文，楊秋勇.基于廣東電網(wǎng)大數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理方法[J].現(xiàn)代計(jì)算機(jī)（專業(yè)版），2016，（7）.

[3] 楊通國.智能電網(wǎng)大數(shù)據(jù)技術(shù)的發(fā)展策略分析及研究[J].科技展望，2016，（14）.