何家穎
(中國電信股份有限公司佛山分公司,廣東 佛山 528000)
近年來,隨著企業(yè)信息化進(jìn)程的不斷深化發(fā)展,企業(yè)級(jí)服務(wù)集成、數(shù)據(jù)集成技術(shù)成為業(yè)界關(guān)注的重點(diǎn),并逐漸在較多的大型企業(yè)中得到了具體應(yīng)用及實(shí)踐驗(yàn)證。本文以電信運(yùn)營商為例提出了一種數(shù)據(jù)總線體系架構(gòu),該體系在電信企業(yè)數(shù)據(jù)集成及業(yè)務(wù)支撐方面得到了較好的實(shí)際應(yīng)用。
在電信企業(yè)IT系統(tǒng)集約化運(yùn)營的大趨勢(shì)下,其數(shù)據(jù)應(yīng)用規(guī)劃、引用一般存在以下共性問題:
(1)各電信運(yùn)營商目前已基本建立起集約化的BOSS系統(tǒng),業(yè)務(wù)數(shù)據(jù)模型也逐步趨于統(tǒng)一,但數(shù)據(jù)集成的需求仍然處于運(yùn)營支撐核心位置,體現(xiàn)在:
1)BOSS的數(shù)據(jù)模型一般是以業(yè)務(wù)支撐系統(tǒng)執(zhí)行效率為依歸進(jìn)行設(shè)計(jì),雖然已采用OO技術(shù)及模塊化技術(shù)進(jìn)行架構(gòu),但就數(shù)據(jù)粒度來說,離直接應(yīng)用于快速的市場(chǎng)營銷分析、客戶關(guān)系分析、渠道支撐等的數(shù)據(jù)展現(xiàn)要求仍有一定距離,需要進(jìn)一步進(jìn)行集成、提煉。
2)電信BOSS系統(tǒng)一般就運(yùn)營方式會(huì)細(xì)分為BSS(業(yè)務(wù)支撐系統(tǒng))、OSS(運(yùn)營支撐系統(tǒng))等子系統(tǒng),由于全業(yè)務(wù)運(yùn)營的數(shù)據(jù)分析支撐有較多重要工作需要對(duì)各子系統(tǒng)數(shù)據(jù)進(jìn)行綜合分析,并要求得到企業(yè)運(yùn)營情況的一些更高層次的統(tǒng)一視圖,例如樓盤小區(qū)各產(chǎn)品占有率報(bào)表 (需BSS系統(tǒng)提供)、小區(qū)各類網(wǎng)絡(luò)資源覆蓋情況及業(yè)務(wù)能力情況報(bào)表 (需OSS系統(tǒng)提供)等,因此需要通過EAI(企業(yè)應(yīng)用集成)及EDB(企業(yè)數(shù)據(jù)總線)等技術(shù)對(duì)跨系統(tǒng)的數(shù)據(jù)進(jìn)行融合、提煉及加載。
(2)由于各電信運(yùn)營商之間競(jìng)爭激烈,市場(chǎng)前端人員對(duì)電信產(chǎn)品的關(guān)鍵營銷數(shù)據(jù),如市場(chǎng)份額占有情況、產(chǎn)品營銷情況、終端銷售等指標(biāo)數(shù)的提供有更高的時(shí)限要求,目前取數(shù)頻率從一個(gè)月、一個(gè)星期逐步變成了每天、甚至每小時(shí)。在企業(yè)數(shù)據(jù)支撐人力成本有限的情況下,傳統(tǒng)的技術(shù)人員手工數(shù)據(jù)支撐方式已經(jīng)無法滿足前端營銷人員逐步提高的數(shù)據(jù)提取精度及時(shí)效要求。
企業(yè)數(shù)據(jù)總線體系(Enterprise Data Bus)為一邏輯數(shù)據(jù)服務(wù)線路提供體系,其設(shè)計(jì)的總體目標(biāo)是:對(duì)內(nèi)統(tǒng)一規(guī)范數(shù)據(jù)元素及數(shù)據(jù)傳輸、存儲(chǔ)方式,對(duì)外提供統(tǒng)一接口的數(shù)據(jù)服務(wù)及訪問規(guī)范,并對(duì)數(shù)據(jù)應(yīng)用方式及安全性實(shí)施控制。
圖1為一應(yīng)用于電信業(yè)的企業(yè)級(jí)數(shù)據(jù)總線規(guī)劃架構(gòu)圖。為有效對(duì)數(shù)據(jù)進(jìn)行定義,以及對(duì)數(shù)據(jù)傳輸方式、存儲(chǔ)方式以及數(shù)據(jù)服務(wù)提供接口進(jìn)行規(guī)劃,該數(shù)據(jù)總線體系主要?jiǎng)澐譃椤霸磾?shù)據(jù)層”、“數(shù)據(jù)集成層”、“應(yīng)用層”等三個(gè)邏輯層。
圖1 一種電信企業(yè)級(jí)數(shù)據(jù)總線的架構(gòu)圖
3.1.1 源數(shù)據(jù)層
在本文的架構(gòu)體系中,源數(shù)據(jù)層為數(shù)據(jù)總線體系與眾多的數(shù)據(jù)提供系統(tǒng)的接口層。由圖1可見,源數(shù)據(jù)層采用一種星型的、松耦合的結(jié)構(gòu)方式連接電信企業(yè)各核心系統(tǒng)及一些自定義數(shù)據(jù)源。其中,業(yè)務(wù)支撐系統(tǒng)(BSS)主要提供與業(yè)務(wù)受理、客戶信息相關(guān)的企業(yè)運(yùn)營分析源數(shù)據(jù),以及用戶帳單、清單等的基礎(chǔ)清單信息;運(yùn)營支撐系統(tǒng)(OSS)主要提供網(wǎng)元、網(wǎng)絡(luò)資源信息、資源覆蓋能力、線路及施工信息等的網(wǎng)絡(luò)運(yùn)營支撐數(shù)據(jù)。值得一提的是,雖然目前各電信運(yùn)營商已逐步構(gòu)建起以省一級(jí)甚至以集團(tuán)一級(jí)進(jìn)行規(guī)劃的BOSS系統(tǒng)及數(shù)據(jù)模型,但由于各地運(yùn)營商子機(jī)構(gòu)存在本地差異化業(yè)務(wù)發(fā)展需求,本地個(gè)性化支撐系統(tǒng)仍大量存在,因此,數(shù)據(jù)總線仍需考慮對(duì)本地自建系統(tǒng)等自定義數(shù)據(jù)源的集成提供接口,以保證全業(yè)務(wù)運(yùn)營數(shù)據(jù)視圖的完整性。
3.1.2 數(shù)據(jù)集成層
本文架構(gòu)體系中的數(shù)據(jù)集成層可按需解決的問題細(xì)分為數(shù)據(jù)定義及轉(zhuǎn)換子層、數(shù)據(jù)存儲(chǔ)子層及數(shù)據(jù)總線三個(gè)主要部分。企業(yè)數(shù)據(jù)總線被部署于數(shù)據(jù)集成層中。
(1)數(shù)據(jù)定義及轉(zhuǎn)換子層通過EAI平臺(tái)工具實(shí)現(xiàn)了對(duì)企業(yè)數(shù)據(jù)元件(Metadata)的全局統(tǒng)一規(guī)劃及定義。企業(yè)數(shù)據(jù)元件的全局定義有利于為數(shù)據(jù)應(yīng)用層提供統(tǒng)一的數(shù)據(jù)描述及數(shù)據(jù)格式,這也是企業(yè)數(shù)據(jù)總線的數(shù)據(jù)提供單元。由于源數(shù)據(jù)層提供的基礎(chǔ)數(shù)據(jù)材料大多以清單格式為主,是未經(jīng)提煉的企業(yè)級(jí)原始數(shù)據(jù)信息,需要進(jìn)行數(shù)據(jù)粒度的提煉與擴(kuò)充,以最終成為符合數(shù)據(jù)總線使用的元數(shù)據(jù)。這里可使用EAI平臺(tái)提供的豐富的ETL函數(shù)及過程來實(shí)現(xiàn)數(shù)據(jù)格式標(biāo)準(zhǔn)化,以及一些基層的數(shù)據(jù)轉(zhuǎn)換和加工,以使輸出的數(shù)據(jù)符合EAI定義的企業(yè)級(jí)元數(shù)據(jù)規(guī)范。EAI平臺(tái)的處理結(jié)果為一些已基本符合企業(yè)元數(shù)據(jù)定義的“元數(shù)據(jù)表”,這些表的設(shè)計(jì)規(guī)則一般為:使之能完整描述一個(gè)企業(yè)級(jí)元數(shù)據(jù),或完整描述一個(gè)或多個(gè)元數(shù)據(jù)之間的關(guān)系。元數(shù)據(jù)表一般以寬表的形式進(jìn)行描述,表與表之間保存了一定的數(shù)據(jù)冗余及索引,以有效提高數(shù)據(jù)存取速度。
(2)數(shù)據(jù)存儲(chǔ)子層體現(xiàn)為一個(gè)本地?cái)?shù)據(jù)倉庫的實(shí)現(xiàn),該數(shù)據(jù)倉庫為EAI平臺(tái)
輸出的元數(shù)據(jù)表提供存儲(chǔ)介質(zhì)及基礎(chǔ)的數(shù)據(jù)管理功能。
(3)數(shù)據(jù)總線為該體系結(jié)構(gòu)的核心部件。
數(shù)據(jù)總線又稱為企業(yè)數(shù)據(jù)服務(wù)總線(EDSB),它提供不同系統(tǒng)間數(shù)據(jù)傳輸?shù)母咚偻ǖ?,同時(shí)實(shí)現(xiàn)數(shù)據(jù)基于一定標(biāo)準(zhǔn)的轉(zhuǎn)換和存儲(chǔ),并保持對(duì)外提供直接批量數(shù)據(jù)服務(wù)的能力。通過EDSB可實(shí)現(xiàn)不同的數(shù)據(jù)提供系統(tǒng)及數(shù)據(jù)消費(fèi)系統(tǒng)之間數(shù)據(jù)關(guān)系的松耦合,以更加直接的方式實(shí)現(xiàn)企業(yè)的信息資源共享。
如圖1所示,本文的數(shù)據(jù)總線部件被部署于數(shù)據(jù)集成層與數(shù)據(jù)應(yīng)用層的接口點(diǎn)處,其主要作用是實(shí)現(xiàn)能滿足各種企業(yè)數(shù)據(jù)視圖需求的數(shù)據(jù)加載邏輯的提供、快速數(shù)據(jù)訪問通道的提供,以及數(shù)據(jù)安全控制及鑒權(quán)功能的實(shí)現(xiàn)。
3.1.3應(yīng)用層
應(yīng)用層為數(shù)據(jù)總線體系架構(gòu)中的數(shù)據(jù)消費(fèi)層,是企業(yè)數(shù)據(jù)應(yīng)用系統(tǒng)的集合。
在電信企業(yè)中,應(yīng)用層部署的業(yè)務(wù)系統(tǒng)一般可分為兩大類,第一類是企業(yè)運(yùn)營分析系統(tǒng),該類系統(tǒng)為電信企業(yè)營銷支撐、分析決策、目標(biāo)市場(chǎng)及目標(biāo)客戶數(shù)據(jù)挖掘提供快速的數(shù)據(jù)分析平臺(tái)及報(bào)表支撐,并由此構(gòu)成企業(yè)的“決策中心”;第二類是運(yùn)營數(shù)據(jù)監(jiān)控子系統(tǒng),該類系統(tǒng)主要功能是實(shí)現(xiàn)電信網(wǎng)絡(luò)數(shù)據(jù)監(jiān)控、預(yù)警、數(shù)據(jù)稽核、跨系統(tǒng)數(shù)據(jù)核對(duì)等功能。
在本文的系統(tǒng)架構(gòu)中,應(yīng)用層中各數(shù)據(jù)消費(fèi)系統(tǒng)通過通用數(shù)據(jù)接口及專用數(shù)據(jù)接口等兩種方式從數(shù)據(jù)總線獲得數(shù)據(jù)的。
(1)通用數(shù)據(jù)接口指由數(shù)據(jù)總線提供的企業(yè)全局業(yè)務(wù)數(shù)據(jù)視圖。這些視圖是在數(shù)據(jù)總線規(guī)劃設(shè)計(jì)時(shí)根據(jù)企業(yè)業(yè)務(wù)運(yùn)營需求、渠道支撐需求進(jìn)行總體規(guī)劃設(shè)計(jì)得到的數(shù)據(jù)模版。例如電信經(jīng)營分析月報(bào)、各電信產(chǎn)品發(fā)展日?qǐng)?bào),等等;
(2)專用數(shù)據(jù)接口指由數(shù)據(jù)總線為個(gè)別需重點(diǎn)支撐的外部系統(tǒng)提供的專用的、更高速的數(shù)據(jù)通路,該類通路一般采取點(diǎn)對(duì)點(diǎn)直連的方式,以此尊重應(yīng)用系統(tǒng)客觀上的差異;另外,對(duì)于一些時(shí)效性要求較高的專題分析需求,可由數(shù)據(jù)總線按需要設(shè)計(jì)部署專用接口直接提供實(shí)時(shí)的分析數(shù)據(jù)。專用數(shù)據(jù)接口體現(xiàn)了數(shù)據(jù)總線的可擴(kuò)展性。
數(shù)據(jù)總線規(guī)劃及設(shè)計(jì)中的一個(gè)難點(diǎn)是在數(shù)據(jù)集成層中企業(yè)元數(shù)據(jù)及企業(yè)視圖數(shù)據(jù)的精度問題,這是因?yàn)閿?shù)據(jù)精度的高低將直接影響數(shù)據(jù)集成速度及數(shù)據(jù)使用方便性這兩個(gè)相互制約的因素:數(shù)據(jù)精度越高,訪問越方便快截,但EAI及ETL階段所花的表關(guān)聯(lián)時(shí)間越多。本文的體系架構(gòu)在實(shí)際應(yīng)用中一般遵循一下兩個(gè)原則:
(1)EAI階段采用“表達(dá)完整性原則”
該原則體現(xiàn)在進(jìn)行企業(yè)EAI階段,必須在對(duì)企業(yè)元數(shù)據(jù)進(jìn)行全局設(shè)計(jì)及定義。在該邏輯層數(shù)據(jù)粒度的定義應(yīng)以清晰描述企業(yè)數(shù)據(jù)元素為首要目標(biāo)。本階段為數(shù)據(jù)淺加工階段。
(2)在數(shù)據(jù)總線接口設(shè)計(jì)階段采用“SLA理念”
SLA服務(wù)水平協(xié)議(service level agreement)是在一定開銷下為保障服務(wù)的性能和可靠性,服務(wù)提供商與用戶間定義的一種雙方認(rèn)可的協(xié)定。在數(shù)據(jù)總線部件的規(guī)劃設(shè)計(jì)階段,企業(yè)視圖的設(shè)計(jì)必須考慮數(shù)據(jù)提供的便捷性及時(shí)效性,該層所提供的數(shù)據(jù)精度設(shè)計(jì)一般需足高,并能直接滿足企業(yè)各數(shù)據(jù)消費(fèi)系統(tǒng)快速訪問得到展現(xiàn)報(bào)表所需數(shù)據(jù)的需求。因此,數(shù)據(jù)總線的接口設(shè)計(jì)階段一般需對(duì)數(shù)據(jù)消費(fèi)系統(tǒng)的需求進(jìn)行專題分析,并明確兩系統(tǒng)間數(shù)據(jù)服務(wù)的標(biāo)準(zhǔn)協(xié)議。本階段為數(shù)據(jù)深加工階段。
在軟件設(shè)計(jì)中,可擴(kuò)展性與效率一般存在一定的制約關(guān)系,一般體現(xiàn)為:系統(tǒng)設(shè)計(jì)得越通用,可擴(kuò)展性越好,但平均效率一般就越低;相反,系統(tǒng)設(shè)計(jì)若為針對(duì)完成某項(xiàng)工作進(jìn)行,則執(zhí)行效率可以很高,但就失去了較好的通用性。因此,在本文提出的數(shù)據(jù)總線體系中,數(shù)據(jù)總線部件為針對(duì)不同的數(shù)據(jù)消費(fèi)系統(tǒng)設(shè)計(jì)了通用及專用兩類接口,以平衡數(shù)據(jù)可擴(kuò)展性與訪問效率之間的矛盾。通用類接口提供以支撐企業(yè)日常運(yùn)營所需的基本報(bào)表維度數(shù)據(jù)而設(shè)的通用通道,這些數(shù)據(jù)可供不同的數(shù)據(jù)消費(fèi)系統(tǒng)進(jìn)行直接消費(fèi)或二次利用;專用類接口則是為某些重點(diǎn)支撐系統(tǒng)而設(shè)計(jì)及部署的,目的是為之提供點(diǎn)對(duì)點(diǎn)的最有效的數(shù)據(jù)訪問支撐。
本文針對(duì)電信企業(yè)數(shù)據(jù)集成現(xiàn)狀及存在問題,提出了一個(gè)基于EAI平臺(tái)的企業(yè)數(shù)據(jù)總線模型。該模型通過引用EAI平臺(tái)功能實(shí)現(xiàn)企業(yè)元數(shù)據(jù)定義及數(shù)據(jù)淺加工;通過ETL、數(shù)據(jù)集成技術(shù)實(shí)現(xiàn)數(shù)據(jù)深度加工,并通過數(shù)據(jù)總線組件的部署實(shí)現(xiàn)了提供給企業(yè)數(shù)據(jù)消費(fèi)系統(tǒng)應(yīng)用的松耦合數(shù)據(jù)接口;另外,本文的數(shù)據(jù)總線模型通過定制兩個(gè)層次的數(shù)據(jù)粒度劃分原則,在保證企業(yè)元數(shù)據(jù)定義完整的前提下,實(shí)現(xiàn)了企業(yè)視圖數(shù)據(jù)的高效加載及傳輸,并通過專用及通用兩類數(shù)據(jù)接口的設(shè)計(jì)部署,較好地解決了數(shù)據(jù)總線體系可擴(kuò)展性與數(shù)據(jù)訪問效率之間的平衡問題。由于企業(yè)數(shù)據(jù)服務(wù)總線的規(guī)劃和部署實(shí)施既是技術(shù)問題也是管理問題,在今后的工作中,我們將著力于企業(yè)數(shù)據(jù)支撐規(guī)劃的規(guī)范化管理及流程定制工作,以及數(shù)據(jù)分析專業(yè)團(tuán)隊(duì)的建設(shè),使企業(yè)數(shù)據(jù)總線的支撐能緊貼企業(yè)變化,使之更具備可伸縮性及持續(xù)的生命力。
[1]興業(yè)銀行信息科技部.企業(yè)級(jí)數(shù)據(jù)服務(wù)總線規(guī)劃探究[EB/OL].中國知網(wǎng)(http://www.cnki.com.cn),2010-03.
[2]鄭洪源,周良.商業(yè)智能解決方案的研究與應(yīng)用[J].計(jì)算機(jī)應(yīng)用研究,2005,(09).
[3]初佃輝,丁建睿,戰(zhàn)德臣.面向中小企業(yè)的智能數(shù)據(jù)處理工具的研究與設(shè)計(jì)[J].計(jì)算機(jī)應(yīng)用研究,2005,(07).
[4]王兆紅.企業(yè)商業(yè)智能系統(tǒng)的架構(gòu)及實(shí)施研究[J].中國管理信息化(綜合版),2007,(06).