數(shù)據(jù)倉庫技術(shù)在通信管理系統(tǒng)中的應用

摘 要：智能化是目前世界電力發(fā)展的新趨勢。隨著智能電網(wǎng)地不斷深化與發(fā)展，電力通信資源管理系統(tǒng)的智能水平也得到了相應的提高。文章首先論述了數(shù)據(jù)倉庫技術(shù)，然后介紹了數(shù)據(jù)倉庫的功能結(jié)構(gòu)和網(wǎng)絡結(jié)構(gòu)，最后介紹了該技術(shù)在通信管理系統(tǒng)中的實現(xiàn)。

關(guān)鍵詞：智能電網(wǎng)；管理系統(tǒng)；數(shù)據(jù)倉庫

引言

電網(wǎng)智能化是目前世界電力發(fā)展的新趨勢，電力通信網(wǎng)作為智能電網(wǎng)必不可少的技術(shù)支撐手段貫穿于智能電網(wǎng)的各個環(huán)節(jié)。通信專業(yè)必須提高通信網(wǎng)絡及其管理系統(tǒng)的智能化水平才能更好地適應和支撐這一要求，通信智能管理系統(tǒng)是實現(xiàn)通信專業(yè)智能化管理的關(guān)鍵和重點。

通信資源智能管理系統(tǒng)是基于圖形技術(shù)、工作流技術(shù)、GIS技術(shù)和數(shù)據(jù)庫等技術(shù)，對現(xiàn)有的各類網(wǎng)管系統(tǒng)和應用系統(tǒng)進行整合集成，統(tǒng)一編碼規(guī)范、統(tǒng)一界面、統(tǒng)一平臺，形成一套完整、科學的電力通信管理系統(tǒng)，實現(xiàn)電力通信各個業(yè)務環(huán)節(jié)的全過程網(wǎng)絡化、自動化與一體化管理，實現(xiàn)規(guī)范的基于設(shè)備和電路圖形化的通信運行管理及完備的工作流運作機制，并通過對整合集成的企業(yè)通信數(shù)據(jù)信息進行分析挖掘，為領(lǐng)導層決策提供高可信的信息支持。

1 現(xiàn)狀分析與建立數(shù)據(jù)倉庫的意義

電力通信管理不僅要管理各種相關(guān)通信設(shè)施，而且要負責通信專業(yè)的協(xié)調(diào)管理工作，不僅資產(chǎn)設(shè)備眾多，而且業(yè)務管理流程也相對比較復雜，是一個典型的資金密集和技術(shù)密集高度結(jié)合的職能管理部門，經(jīng)過近幾年的信息化建設(shè)，電力通信業(yè)務應用了各類專業(yè)網(wǎng)管系統(tǒng)（SDH光傳輸設(shè)備系統(tǒng)、 SDH微波系統(tǒng)、電源設(shè)備管理系統(tǒng)、數(shù)字同步網(wǎng)管理系統(tǒng)、寬帶數(shù)據(jù)網(wǎng)管理系統(tǒng)、程控設(shè)備管理系統(tǒng)、電信生產(chǎn)調(diào)度/計費管理系統(tǒng)、人力資源管理系統(tǒng)和遠光財務系統(tǒng)等）。

這些信息系統(tǒng)在建設(shè)時，大都是針對不同的業(yè)務需求在不同的階段分步實施的。這種方法的好處是分期投資、見效快，但由此帶來的問題是各子系統(tǒng)都是針對特定的應用由不同的廠商開發(fā)的，不同子系統(tǒng)之間存在著功能設(shè)計重復、信息存儲冗余甚至相互之間數(shù)據(jù)不一致的問題，導致信息孤島的出現(xiàn)。不同部門不同子系統(tǒng)之間難以實現(xiàn)數(shù)據(jù)共享，查詢非常不方便。

因此，對現(xiàn)有各類業(yè)務數(shù)據(jù)進行整合集成，建立數(shù)據(jù)倉庫，提高業(yè)務數(shù)據(jù)的綜合利用率和共享程度，可以說已是電力通信部門下一步的信息系統(tǒng)建設(shè)的一個重要方向。

2 數(shù)據(jù)集成的目標

異構(gòu)數(shù)據(jù)源的數(shù)據(jù)整合和集成的目標是為企業(yè)綜合應用系統(tǒng)提供集成的、統(tǒng)一的、安全的、快捷的信息查詢、數(shù)據(jù)挖掘和決策支持服務。為了滿足這個需求條件，整合、集成后的數(shù)據(jù)必須達到一定的集成性、完整性、一致性和訪問安全性的目標。

集成性：企業(yè)各種原先孤立的業(yè)務信息系統(tǒng)數(shù)據(jù)經(jīng)過整合、集成后，應該達到查詢一個綜合信息不必再到各個業(yè)務系統(tǒng)進行分別查詢和人工處理，只要在整合、集成后的數(shù)據(jù)信息倉庫中就可以直接訪問到，即整合、集成后的綜合信息倉庫的數(shù)據(jù)是各異構(gòu)業(yè)務數(shù)據(jù)的有機集成和關(guān)聯(lián)存儲（整合、發(fā)掘出各業(yè)務數(shù)據(jù)間的內(nèi)在關(guān)聯(lián)關(guān)系），而不是簡單、孤立的堆放在一個數(shù)據(jù)庫系統(tǒng)里。

完整性：包括數(shù)據(jù)完整性和約束完整性兩方面。數(shù)據(jù)完整性是指完整提取數(shù)據(jù)本身，約束完整性，約束是指數(shù)據(jù)與數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，是唯一表征數(shù)據(jù)間邏輯的特征。保證約束的完整性是良好的數(shù)據(jù)發(fā)布和交換的前提，可以方便數(shù)據(jù)處理過程，提高效率。

一致性：不同業(yè)務信息資源之間存在著語義上的區(qū)別。這些語義上的不同會引起各種不完整甚至錯誤信息的產(chǎn)生，從簡單的名字語義沖突（不同的名字代表相同的概念），到復雜的結(jié)構(gòu)語義沖突（不同的模型表達同樣的信息）。語義沖突會帶來數(shù)據(jù)集成結(jié)果的冗余，干擾數(shù)據(jù)處理、發(fā)布和交換。整合、集成后的數(shù)據(jù)應該根據(jù)一定的數(shù)據(jù)轉(zhuǎn)換模式和商業(yè)規(guī)則進行統(tǒng)一數(shù)據(jù)結(jié)構(gòu)和字段語義編碼轉(zhuǎn)換。

訪問安全性：由于數(shù)據(jù)庫資源可能歸屬不同的單位，各業(yè)務數(shù)據(jù)系統(tǒng)有著各自的用戶權(quán)限管理模式，訪問和安全管理很不方便，不能集中、統(tǒng)一管理，所以保證在訪問異構(gòu)數(shù)據(jù)源數(shù)據(jù)基礎(chǔ)上保障原有數(shù)據(jù)庫的權(quán)限不被侵犯，實現(xiàn)對原有數(shù)據(jù)源訪問權(quán)限的隔離和控制，就需要設(shè)計基于整合、集成后的綜合信息倉庫的統(tǒng)一的用戶安全管理模式來解決此問題。

3 數(shù)據(jù)倉庫技術(shù)

實現(xiàn)信息集成的一個非常有效的技術(shù)工具是數(shù)據(jù)倉庫管理系統(tǒng)。通過數(shù)據(jù)倉庫相關(guān)技術(shù)和工具，可以很方便地對企業(yè)現(xiàn)有異構(gòu)系統(tǒng)數(shù)據(jù)進行整合集成，使他們以一致的方式表現(xiàn)，將分散在企業(yè)內(nèi)外部的各種數(shù)據(jù)源進行抽取、清理并整合集成到主題（業(yè)務指標）導向的中央數(shù)據(jù)庫（數(shù)據(jù)倉庫）系統(tǒng)中。

“數(shù)據(jù)倉庫是面向主題的、集成的、時變的、非易失的數(shù)據(jù)集合，支持管理部門的決策過程“，這個簡短而又全面的定義指出了數(shù)據(jù)倉庫的主要特征. 所謂面向主題，指的是數(shù)據(jù)倉庫建庫時應排除對于決策無用的數(shù)據(jù)，只有于分析主題一致的數(shù)據(jù)才整理收集進來。而構(gòu)造數(shù)據(jù)倉庫通常需要將多個異種數(shù)據(jù)源，如各類網(wǎng)管系統(tǒng)后臺數(shù)據(jù)庫或MIS系統(tǒng)后臺庫或已有的數(shù)據(jù)文件等集成在一起，且通常需要使用數(shù)據(jù)清理和數(shù)據(jù)集成技術(shù)，確保命名約定、編碼結(jié)構(gòu)、屬性度量等的一致性，這是所謂“集成的“的真實含義。數(shù)據(jù)倉庫應用體系機構(gòu)如圖：

圖1 數(shù)據(jù)倉庫應用體系機構(gòu)

4 數(shù)據(jù)倉庫的設(shè)計實施

4.1 概念模型設(shè)計

建立數(shù)據(jù)倉庫前必須首先設(shè)計好企業(yè)級數(shù)據(jù)倉庫的概念模型，然后才能按照該模型實施獨立的數(shù)據(jù)集市。其設(shè)計過程分為：

（1）可將按照通信運行、通信維護、工作票、備品備件以及其它業(yè)務申請等帶有較強獨立性的業(yè)務流，按照決策層、管理層、業(yè)務運作層進行分解，形成電力通信管理業(yè)務模型。

（2）針對各級別部門分別繪出數(shù)據(jù)流程圖，從而搞清楚部門之間、部門內(nèi)部以及部門與外數(shù)據(jù)源的信息流，進行各管理業(yè)務的輸入、存儲、輸出流的量化分析。

（3）調(diào)研不同層次的用戶所提出的業(yè)務需求，確定要提供什么樣的事實。結(jié)合前面對數(shù)據(jù)流和用戶視圖等的分析，可以列基本的數(shù)據(jù)集市以及相關(guān)維度，從而可以形成以數(shù)據(jù)集市為行、維度為列的數(shù)據(jù)倉庫總線結(jié)構(gòu)矩陣。

按照以上論述并結(jié)合電力通信管理的特點，所設(shè)計的模型有：

（1）設(shè)備維護類，如配置信息；（2）設(shè)備運行類，如告警信息；（3）網(wǎng)絡運行類，如帶寬利用率；（4）業(yè)務類，如業(yè)務運行分析；（5）資產(chǎn)管理分析，如備品備件；（6）人力資源分析；（7）其它類，如管理制度完備性分析。

4.2 邏輯模型設(shè)計

邏輯模型設(shè)計是每個當前要裝載的主題的邏輯實現(xiàn)進行定義，并將相關(guān)內(nèi)容記錄在數(shù)據(jù)倉庫的元數(shù)據(jù)中，包括： 適當?shù)牧６葎澐?、合理的?shù)據(jù)分割策略、適當?shù)谋韯澐?、定義合適的數(shù)據(jù)來源等。主要需要完成如下工作：

（1）分析主題域，確定當前要裝載的主題。在進行設(shè)計時，對概念模型設(shè)計步驟中確定的幾個基本主題域進行分析，并選擇首先要實施的主題域。如果所選擇的主題域很大并且很復雜，可以針對它的一個有意義的子集來進行開發(fā)。

（2）確定粒度層次劃分。通過估算數(shù)據(jù)行數(shù)等信息，來確定是采用單一粒度還是多重粒度，以及粒度劃分的層次。

（3）確定數(shù)據(jù)分割策略。選擇適當?shù)臄?shù)據(jù)分割的標準，一般要考慮以下幾方面因素：數(shù)據(jù)量（而非記錄行數(shù)）、數(shù)據(jù)分析處理的實際情況、簡單易行以及粒度劃分策略等。要考慮到所選擇的數(shù)據(jù)分割標準應是自然的、易于實施的；同時也要考慮數(shù)據(jù)分割的標準與粒度劃分層次是適應的。

（4）關(guān)系模式定義。對選定的當前實施的主題進行模式劃分，形成多個表，并確定各個表的關(guān)系模式。

4.3 物理模型設(shè)計

物理模型設(shè)計要確定數(shù)據(jù)的存儲結(jié)構(gòu)，確定索引策略，確定數(shù)據(jù)存放位置，確定存儲分配。為了更好的優(yōu)化存取時間和空間效率。必須了解數(shù)據(jù)環(huán)境、數(shù)據(jù)的使用頻度、使用方式、數(shù)據(jù)規(guī)模以及響應時間要求等。還必須了解外部存儲設(shè)備的特性，如分塊原則，塊大小的規(guī)定，設(shè)備的I/O特性等。

（1）權(quán)衡存取時間、存儲空間利用率和維護代價三個方面因素來確定數(shù)據(jù)的存儲結(jié)構(gòu)。

（2）考慮對各個數(shù)據(jù)存儲建立專用的、復雜的索引，以獲得最高的存取效率。

（3）按數(shù)據(jù)的重要程度、使用頻率以及對響應時間的要求進行分類，并將不同類的數(shù)據(jù)分別存儲在不同的存儲設(shè)備中。重要程度高、經(jīng)常存取并對響應時間要求高的數(shù)據(jù)就存放在硬盤上；存取頻率低或?qū)Υ嫒№憫獣r間要求低的數(shù)據(jù)則可以放在磁帶上。

（4）確定存儲分配。

4.4 數(shù)據(jù)倉庫生成

數(shù)據(jù)倉庫生成就是完成接口設(shè)計，數(shù)據(jù)裝入。這一步工作的成果是，數(shù)據(jù)已經(jīng)裝入到數(shù)據(jù)倉庫中，可以在其上建立數(shù)據(jù)倉庫的應用。

（1）接口設(shè)計，在接口建立的過程中必須考慮到：從面向應用和操作的環(huán)境生成完整的數(shù)據(jù)；數(shù)據(jù)的基于時間的轉(zhuǎn)換；數(shù)據(jù)的凝聚；對現(xiàn)有記錄系統(tǒng)的有效掃描，以便以后進行追加等。接口設(shè)計應該滿足高效性、保存完整的文檔記錄、靈活性、完整性。

（2）數(shù)據(jù)裝入，在數(shù)據(jù)裝入前必須確定數(shù)據(jù)裝入的次序、清除無效或錯誤數(shù)據(jù)、數(shù)據(jù)“老化”、數(shù)據(jù)粒度管理、數(shù)據(jù)刷新等。在數(shù)據(jù)裝入前要完成數(shù)據(jù)變換，具體方法有手工編制程序和使用專用數(shù)據(jù)變換工具。

在數(shù)據(jù)倉庫的生成過程中，對數(shù)據(jù)的清洗、過濾主要采用：

（1）計算列方法：該方法主要針對簡單變換。在傳送過程中直接將原始數(shù)據(jù)導入，在數(shù)據(jù)倉庫中建立計算列進行透明轉(zhuǎn)換，這樣不影響數(shù)據(jù)傳送的效率。

（2）視圖法：該方法主要針對清潔和集成。視圖法同樣是在傳送時直接導入。對于清潔，可以再建一張額外的表，建立原始數(shù)據(jù)和清潔數(shù)據(jù)的對應關(guān)系。對于集成，可以將原始數(shù)據(jù)通過視圖集成，然后在視圖上建立數(shù)據(jù)立方體。

數(shù)據(jù)倉庫的生成包含事實表的建立和維表的建立。其中事實表就是數(shù)據(jù)倉庫從資源管理系統(tǒng)中的基本數(shù)據(jù)中提煉出一些對對管理者決策分析有用的數(shù)據(jù)，作為事實表中的相應記錄。維表則是參考概念模型的需求所建立的日期維、設(shè)備維、業(yè)務維、運行維等各種不同視角所需的信息表。

4.5 數(shù)據(jù)倉庫運行與維護

建立企業(yè)的體系化環(huán)境，不僅包括建立起操作型和分析型的數(shù)據(jù)環(huán)境，還應包括在這一數(shù)據(jù)環(huán)境中建立起企業(yè)的各種應用。數(shù)據(jù)倉庫裝入數(shù)據(jù)之后，管理數(shù)據(jù)倉庫的一些日?；顒樱缢⑿聰?shù)據(jù)倉庫的當前詳細數(shù)據(jù)、將過時的數(shù)據(jù)轉(zhuǎn)化成歷史數(shù)據(jù)、清除不再使用的數(shù)據(jù)、調(diào)整粒度級別等。

維護數(shù)據(jù)倉庫的工作主要是管理日常數(shù)據(jù)裝入的工作，包括刷新數(shù)據(jù)倉庫的當前詳細數(shù)據(jù)，將過時的數(shù)據(jù)轉(zhuǎn)化成歷史數(shù)據(jù).清除不再使用的數(shù)據(jù)，管理元數(shù)據(jù)，等等；另外，如何利用接口定期從操作型環(huán)境向數(shù)據(jù)倉庫追加數(shù)據(jù)，確定數(shù)據(jù)倉庫的數(shù)據(jù)刷新頻率，等等。

數(shù)據(jù)倉庫的開發(fā)是逐步完善的原型法的開發(fā)方法，要在系統(tǒng)運行或使用中，不斷地理解需求，改善系統(tǒng)，不斷地考慮新的需求，完善系統(tǒng)。

5 電力通信管理系統(tǒng)數(shù)據(jù)倉庫的建立

在具體構(gòu)建數(shù)據(jù)倉庫時，并不是要面面俱到，而是必須圍繞電力通信業(yè)務領(lǐng)導層關(guān)注的、針對未來電力通信管理決策支持對基礎(chǔ)數(shù)據(jù)需求的角度來組織構(gòu)建。要充分結(jié)合通信管理現(xiàn)有的各類網(wǎng)管系統(tǒng)和MIS子系統(tǒng)的基本應用現(xiàn)狀和已有的基礎(chǔ)數(shù)據(jù)來構(gòu)建。

電力通信系統(tǒng)數(shù)據(jù)倉庫的建立按照概念模型設(shè)計、邏輯模型設(shè)計、物理模型設(shè)計、數(shù)據(jù)倉庫生成、數(shù)據(jù)倉庫運行與維護五個步驟，完成數(shù)據(jù)倉庫的建立。下面詳細介紹建立數(shù)據(jù)倉庫的全過程：

（1）在項目實施前期針對已有存量數(shù)據(jù)和工程資料、已有系統(tǒng)數(shù)據(jù)等進行數(shù)據(jù)比對、異常數(shù)據(jù)分析工作、數(shù)據(jù)一致性規(guī)范等數(shù)據(jù)清洗工作。

（2）在數(shù)據(jù)清洗完成后，對資料、動態(tài)數(shù)據(jù)和原有系統(tǒng)數(shù)據(jù)進行數(shù)據(jù)合并，實現(xiàn)數(shù)據(jù)集成。

（3）對數(shù)據(jù)進行合理的數(shù)據(jù)轉(zhuǎn)化工作，包括數(shù)據(jù)模型規(guī)范轉(zhuǎn)化、資源標準命名轉(zhuǎn)化。

（4）對數(shù)據(jù)進行合理設(shè)計并進行編碼，以實現(xiàn)數(shù)據(jù)消減。

建成的電力通信系統(tǒng)數(shù)據(jù)倉庫總體邏輯系統(tǒng)架構(gòu)可劃分為三個層次：數(shù)據(jù)層、應用層、表示層，實現(xiàn)對整個電力通信資源管理系統(tǒng)的商務智能及決策支持系統(tǒng)前后端所有操作、流程管理。

圖2電力通信系統(tǒng)數(shù)據(jù)倉庫系統(tǒng)構(gòu)架

6 結(jié)束語

建立數(shù)據(jù)倉庫有助于更有針對性的集中收集保存核心基礎(chǔ)業(yè)務數(shù)據(jù)信息。業(yè)務系統(tǒng)運行生成的業(yè)務數(shù)據(jù)往往是海量的、細節(jié)的，而且存在冗余、標準不一甚至矛盾等現(xiàn)象，把它們收集堆積在一起并沒有什么意義。但如果站在更高的高度，站在主管領(lǐng)導這關(guān)注的角度，站在企業(yè)未來決策支持對基礎(chǔ)數(shù)據(jù)需求的角度，重新審視這些數(shù)據(jù)，將其中有用的數(shù)據(jù)抽取出來，并通過一定的變換整理再整合集成在一起，以更有利于查詢、檢索和統(tǒng)計分析的方式統(tǒng)一存放在一個數(shù)據(jù)中心點（數(shù)據(jù)倉庫），這對提高業(yè)務數(shù)據(jù)的綜合利用率和可共享性，為主管部門決策支持服務將具有極為重要的意義。建立數(shù)據(jù)倉庫有助于電力通信管理實現(xiàn)統(tǒng)一的數(shù)據(jù)信息標準規(guī)范和業(yè)務系統(tǒng)規(guī)范提供良好的經(jīng)驗和參考依據(jù)。

參考文獻

[1]黃小桃，焦群.電力系統(tǒng)通信綜合網(wǎng)管系統(tǒng)設(shè)計[J].電力系統(tǒng)通信，2000（6）：33-37.

[2]陶邦勝.基于CORBA的統(tǒng)一數(shù)據(jù)采集平臺[J].電力系統(tǒng)通信，2010，31（213）： 53-56.

[3]楊君，劉云.基于MapX的通信資源管理系統(tǒng)的設(shè)計與實現(xiàn)[J].中國數(shù)據(jù)通信，2003（5）：75-79.

[4][美]厄曼.陳維軍，等譯. Oracle9i PL/SQL程序設(shè)計[M].北京：機械工業(yè)出版社， 2009.

作者簡介：王慧卿（1973，3-），女，山西太原人，高級工程師，從事電力通信運行管理及資源管理系統(tǒng)維護工作。