電信企業(yè)數(shù)據(jù)域系統(tǒng)集約化運(yùn)營探索

鄒四友

【摘要】 電信企業(yè)數(shù)據(jù)域系統(tǒng)的不斷建設(shè)和完善，企業(yè)數(shù)據(jù)的不斷匯聚，數(shù)據(jù)的儲備和數(shù)據(jù)應(yīng)用范圍不斷擴(kuò)大隨之而來的數(shù)據(jù)域系統(tǒng)運(yùn)營的復(fù)雜化，只有采取集約化的運(yùn)營維護(hù)模式，緊緊抓住“數(shù)據(jù)”這個(gè)主線，持續(xù)優(yōu)化，才能提升維護(hù)水平。

【關(guān)鍵詞】 電信企業(yè) 數(shù)據(jù)域系統(tǒng) 集約化運(yùn)營

一、引言

隨著電信企業(yè)數(shù)據(jù)域系統(tǒng)的不斷建設(shè)和完善，企業(yè)數(shù)據(jù)的不斷匯聚，數(shù)據(jù)的儲備和數(shù)據(jù)應(yīng)用范圍不斷擴(kuò)大。如何發(fā)揮數(shù)據(jù)價(jià)值，構(gòu)建智慧型企業(yè)，在去電信化過程中，適應(yīng)市場化變革，實(shí)現(xiàn)差異化經(jīng)營，離不開“快、精、準(zhǔn)”的數(shù)據(jù)服務(wù)支撐，數(shù)據(jù)已逐漸成為中國電信最重要的戰(zhàn)略資源。企業(yè)數(shù)據(jù)應(yīng)用范圍越來越廣，數(shù)據(jù)應(yīng)用領(lǐng)域越來越專業(yè)化。在數(shù)據(jù)應(yīng)用域，在建的系統(tǒng)也越來越多，越來越突出應(yīng)用的專業(yè)化。對系統(tǒng)的運(yùn)營維護(hù)提出的更高的要求，對維護(hù)人員水平提出高標(biāo)準(zhǔn)。如何在人員保持不增長情況下，提升系統(tǒng)的維護(hù)支撐水平。只有采取集約化的運(yùn)營維護(hù)模式，緊緊抓住“數(shù)據(jù)”這個(gè)主線，持續(xù)優(yōu)化，才能提升維護(hù)水平。

二、數(shù)據(jù)域系統(tǒng)在電信企業(yè)信息化系統(tǒng)定位及架構(gòu)

在中國電信的CTG_MBOSS規(guī)范中，將信息系統(tǒng)劃分為管理支持系統(tǒng)（MSS）、業(yè)務(wù)支撐系統(tǒng)（BSS）、運(yùn)營支撐系統(tǒng)（OSS）及企業(yè)數(shù)據(jù)架構(gòu)（EDA）四大域系統(tǒng)。企業(yè)數(shù)據(jù)倉儲（ODS）和企業(yè)數(shù)據(jù)倉庫（EDW）屬于數(shù)據(jù)架構(gòu)（EDA）域的系統(tǒng)。數(shù)據(jù)架構(gòu)（EDA）域的系統(tǒng)主要實(shí)現(xiàn)的目標(biāo)是從業(yè)務(wù)生產(chǎn)系統(tǒng)中（MBOSS域中）抽取相關(guān)的數(shù)據(jù)進(jìn)行整合、清洗、匯總加工等處理。企業(yè)數(shù)據(jù)倉儲ODS主要實(shí)現(xiàn)企業(yè)數(shù)據(jù)整合，提供數(shù)據(jù)共享和準(zhǔn)實(shí)時(shí)數(shù)據(jù)同步和監(jiān)控。企業(yè)數(shù)據(jù)倉庫EDW主要面向分析型應(yīng)用，提供企業(yè)經(jīng)營分析和營銷決策支撐兩方面功能。

根據(jù)應(yīng)用主題，形成企業(yè)有關(guān)的市場經(jīng)營統(tǒng)一數(shù)據(jù)平臺，通過報(bào)表查詢、多維展示等方式提供給數(shù)據(jù)分析用戶和營銷決策人員； 而另一方面，數(shù)據(jù)倉庫經(jīng)過分析或挖掘，將發(fā)掘的客戶異常消費(fèi)、流失客戶預(yù)警、營銷活動目標(biāo)客戶等信息反饋到各客戶接觸系統(tǒng)，供營銷經(jīng)理、營業(yè)員、客服人員對相應(yīng)客戶提供針對性營銷和服務(wù)企業(yè)。

三、數(shù)據(jù)域系統(tǒng)的集約化運(yùn)營探索

廣西電信IT運(yùn)營中心根據(jù)數(shù)據(jù)應(yīng)用專業(yè)特點(diǎn)，從組織架構(gòu)、制度保障、技術(shù)創(chuàng)新上對數(shù)據(jù)倉庫集約化運(yùn)營進(jìn)行了探索，實(shí)現(xiàn)數(shù)據(jù)應(yīng)用專業(yè)（EDA域）人員結(jié)構(gòu)調(diào)整，完善運(yùn)維維護(hù)團(tuán)隊(duì)的組織架構(gòu)，對系統(tǒng)基礎(chǔ)架構(gòu)重點(diǎn)優(yōu)化，對生產(chǎn)運(yùn)營中存在的硬骨頭問題進(jìn)行重點(diǎn)突破和攻關(guān)，重點(diǎn)解決運(yùn)營中的難點(diǎn)問題以點(diǎn)帶面實(shí)現(xiàn)整體提升。

具體做法包括：

3.1組織架構(gòu)調(diào)整

調(diào)整人員結(jié)構(gòu)，以數(shù)據(jù)流向?yàn)橹骶€，把運(yùn)營維護(hù)團(tuán)隊(duì)人員縱向劃分為數(shù)據(jù)維護(hù)人員和數(shù)據(jù)應(yīng)用人員，實(shí)現(xiàn)運(yùn)營支撐和應(yīng)用支撐專業(yè)集約化運(yùn)營。

隨著企業(yè)信息化隊(duì)伍的整體調(diào)整，集約化運(yùn)營的要求。企業(yè)數(shù)據(jù)運(yùn)營支撐隊(duì)伍人數(shù)下降，數(shù)據(jù)專業(yè)的運(yùn)營維護(hù)工作有增無減，要求更高。 如何完成目前的支撐工作。變革勢在必行。為了能更好的適應(yīng)形式發(fā)展需求，打破原來的按數(shù)據(jù)專業(yè)（EDA域）內(nèi)各系統(tǒng)橫向分工模式（EDA域內(nèi)ODS/EDW/企業(yè)數(shù)據(jù)門戶系統(tǒng)、渠道系統(tǒng)、針對性營銷系統(tǒng)等各自負(fù)責(zé)各自系統(tǒng)），以數(shù)據(jù)流向?yàn)橹骶€，把運(yùn)營維護(hù)團(tuán)隊(duì)人員縱向劃分為數(shù)據(jù)維護(hù)人員和數(shù)據(jù)應(yīng)用人員（EDA域內(nèi)不在按系統(tǒng)來劃分，按維護(hù)和應(yīng)用來劃分）。

數(shù)據(jù)運(yùn)營維護(hù)人員，負(fù)責(zé)基礎(chǔ)的數(shù)據(jù)平臺ODS和EDW系統(tǒng)，負(fù)責(zé)數(shù)據(jù)在EDA域中從匯聚采集到處理加工、數(shù)據(jù)存儲數(shù)據(jù)發(fā)布的全流程運(yùn)營維護(hù)。數(shù)據(jù)運(yùn)營維護(hù)人員，負(fù)責(zé)數(shù)據(jù)應(yīng)用層面的統(tǒng)籌管理，數(shù)據(jù)業(yè)務(wù)層面的指標(biāo)統(tǒng)計(jì)口徑審核統(tǒng)一歸檔和實(shí)施，數(shù)據(jù)質(zhì)量稽核等。通過人員職責(zé)的調(diào)整，實(shí)現(xiàn)了數(shù)據(jù)運(yùn)營和數(shù)據(jù)應(yīng)用的統(tǒng)一集約化運(yùn)營，解決了原來按系統(tǒng)劃分職責(zé)時(shí)的 數(shù)據(jù)維護(hù)不連貫耗費(fèi)維護(hù)人力，數(shù)據(jù)指標(biāo)口徑各系統(tǒng)不統(tǒng)一等問題。數(shù)據(jù)專業(yè)（EDA域）數(shù)據(jù)的采集整合加工處理是按系統(tǒng)串行的，數(shù)據(jù)先由ODS系統(tǒng)采集初步數(shù)據(jù)處理后，流到EDW系統(tǒng)或其他的應(yīng)用系統(tǒng)中。這種串行的特點(diǎn)，運(yùn)營維護(hù)，更適合按職能來劃分人員的職責(zé)而不是按系統(tǒng)來劃分。這樣按數(shù)據(jù)維護(hù)和數(shù)據(jù)應(yīng)用 職能來分人員職責(zé)，更體現(xiàn)出EDA數(shù)據(jù)專業(yè)的特點(diǎn)。

系統(tǒng)維護(hù)建設(shè)中，流程更優(yōu)效率更高。比如：原來一個(gè)系統(tǒng)故障或一個(gè)新的需求需要從源系統(tǒng)采集新數(shù)據(jù)，數(shù)據(jù)需要從源系統(tǒng)到ODS系統(tǒng)在到EDW系統(tǒng)在到企業(yè)數(shù)據(jù)門戶展現(xiàn)，需要3個(gè)不同系統(tǒng)的維護(hù)人員參與處理。現(xiàn)在只需要1個(gè)數(shù)據(jù)維護(hù)人員參與處理即可，提高的維護(hù)效率和降低了維護(hù)人力。 同時(shí)更是創(chuàng)新性的將EDA的數(shù)據(jù)維護(hù)人員嵌入到CRM專業(yè)中，承接CRM系統(tǒng)與EDA系統(tǒng)接口的數(shù)據(jù)維護(hù)工作，極大的提高了EDA系統(tǒng)與外系統(tǒng)的接口維護(hù)質(zhì)量。降低了接口的維護(hù)成本。

3.2制度保障

在組織架構(gòu)調(diào)整基礎(chǔ)上，完善管理制度，強(qiáng)調(diào)內(nèi)部溝通協(xié)調(diào)，依靠外部協(xié)作，逐步完善生產(chǎn)制度，作業(yè)計(jì)劃細(xì)化到小時(shí)。

在完成相應(yīng)的人員調(diào)整后，需要對現(xiàn)有的管理制度，運(yùn)營流程生產(chǎn)制度作業(yè)計(jì)劃等進(jìn)行相應(yīng)的調(diào)整和進(jìn)一步完善。從數(shù)據(jù)生產(chǎn)全流程考慮，重新梳理生產(chǎn)流程的各個(gè)環(huán)節(jié)，融合原來各系統(tǒng)的生產(chǎn)作業(yè)計(jì)劃，制定數(shù)據(jù)全流程的生產(chǎn)作業(yè)計(jì)劃。明確輸入輸出的確認(rèn)工作，方便實(shí)現(xiàn)各系統(tǒng)的銜接。完善各系統(tǒng)間的故障處理流程，完善內(nèi)部的溝通確認(rèn)機(jī)制。完善生產(chǎn)管理制度，進(jìn)一步強(qiáng)人員責(zé)任以及運(yùn)營維護(hù)工作紀(jì)律。逐步實(shí)現(xiàn)維護(hù)的流程標(biāo)準(zhǔn)化。依靠外部協(xié)作，做好外系統(tǒng)的數(shù)據(jù)接口完善各類文檔，并加強(qiáng)與外系統(tǒng)數(shù)據(jù)源的溝通協(xié)作，完善溝通機(jī)制，完善數(shù)據(jù)源的監(jiān)控告警，及時(shí)督促外系統(tǒng)進(jìn)行數(shù)據(jù)質(zhì)量的整改。

按照全流程的數(shù)據(jù)生產(chǎn)過程來編制作業(yè)計(jì)劃，按照數(shù)據(jù)生產(chǎn)的要求細(xì)化到每日的小時(shí)，逐步實(shí)現(xiàn)的維護(hù)工作標(biāo)準(zhǔn)化，來提升的我們數(shù)據(jù)生產(chǎn)的維護(hù)質(zhì)量。同時(shí)進(jìn)行事后總結(jié)評估來不斷的優(yōu)化我們的作業(yè)計(jì)劃和維護(hù)工作。進(jìn)一部強(qiáng)調(diào)了，版本發(fā)布的審核測試流程，標(biāo)準(zhǔn)化了審核的步驟，加強(qiáng)的性能方面的技術(shù)層面審核。制定嚴(yán)格的準(zhǔn)入標(biāo)準(zhǔn)，從準(zhǔn)入方面控制版本質(zhì)量，來實(shí)現(xiàn)系統(tǒng)穩(wěn)定和優(yōu)化，來提升我們的維護(hù)質(zhì)量。

3.3技術(shù)優(yōu)化創(chuàng)新

圍繞數(shù)據(jù)支撐的“快、精、準(zhǔn)”，逐步在技術(shù)上進(jìn)行提升，進(jìn)行數(shù)據(jù)庫底層優(yōu)化、抽取轉(zhuǎn)換加載（etl）功能優(yōu)化、庫表優(yōu)化。來提升維護(hù)支撐水平。

通過進(jìn)行各類優(yōu)化提升工作，數(shù)據(jù)分層優(yōu)化，基本架構(gòu)提升，運(yùn)維重點(diǎn)難點(diǎn)問題的攻關(guān)和擊破。

（1）數(shù)據(jù)分層優(yōu)化，著眼于全局，將原來各系統(tǒng)割裂的數(shù)據(jù)分層，數(shù)據(jù)存儲，統(tǒng)籌考慮分析。優(yōu)化EDA域類的數(shù)據(jù)分層架構(gòu)。從數(shù)據(jù)庫底層優(yōu)化分析，提升數(shù)據(jù)處理效率。

（2）優(yōu)化數(shù)據(jù)處理流程，減少冗余數(shù)據(jù)的分散處理，冗余存儲。梳理核心數(shù)據(jù)，進(jìn)行數(shù)據(jù)相關(guān)的冗余字段，指標(biāo)清理。調(diào)整各系統(tǒng)的數(shù)據(jù)融合，按照集團(tuán)規(guī)范優(yōu)化分層架構(gòu)。分析完成日報(bào)數(shù)據(jù)月報(bào)生產(chǎn)的不合理數(shù)據(jù)流程。完成基本架構(gòu)提升，優(yōu)化了ETL 調(diào)度系統(tǒng)平臺的性能。增加了ETL調(diào)度平臺的集群數(shù)量增置3個(gè)。大大的提供的ETL的并行處理效率。解決了在月生產(chǎn)之初，大并發(fā)量瓶頸導(dǎo)致的延誤生產(chǎn)情況，提高了維護(hù)的便利性和簡單性。

（3）對重點(diǎn)難點(diǎn)問題的攻關(guān)和擊破，特別是企業(yè)數(shù)據(jù)門戶日監(jiān)控報(bào)表數(shù)據(jù)的優(yōu)化。企業(yè)數(shù)據(jù)門戶日監(jiān)控報(bào)表是領(lǐng)導(dǎo)特別關(guān)注的報(bào)表，日監(jiān)控報(bào)表的整合處理任務(wù)，每月月初的時(shí)候都會因?yàn)槿蝿?wù)卡死而導(dǎo)致報(bào)表延遲，但確無法確診是平臺問題、數(shù)據(jù)庫問題還是應(yīng)用系統(tǒng)問題。故障發(fā)生時(shí)有如下特點(diǎn)：在凌晨的時(shí)候發(fā)生，不容易發(fā)現(xiàn)和處理；故障無法重現(xiàn)，只能等月初月末時(shí)發(fā)生；故障發(fā)生影響大，門戶日監(jiān)控報(bào)表無法展示，領(lǐng)導(dǎo)感知差。因?yàn)橛绊懙筋I(lǐng)導(dǎo)看數(shù)，對EDA域影響非常大。為確保穩(wěn)定，曾經(jīng)還一度采用人海戰(zhàn)術(shù)，通過值班人員的通宵達(dá)旦的值守監(jiān)控來確保報(bào)表及時(shí)展示。但收效甚微，問題未得到有效解決。經(jīng)過長時(shí)間的觀察分析，并協(xié)調(diào)應(yīng)用系統(tǒng)、數(shù)據(jù)庫系統(tǒng)、平臺系統(tǒng)專家進(jìn)行綜合研究，最后經(jīng)過多次的故障重現(xiàn)后跟蹤分析，最綜定位到此問題是由于應(yīng)用程序的BUG導(dǎo)致。經(jīng)過整改后，困擾過一段時(shí)間的問題得到了根本解決，每日早上數(shù)據(jù)展示及時(shí)。

四、實(shí)施后效果

實(shí)施企業(yè)數(shù)據(jù)應(yīng)用集約化運(yùn)營與提升后，實(shí)現(xiàn)了人員的減員增效，在維護(hù)人員不增反減的情況下，完成了EDA域各系統(tǒng)的運(yùn)營維護(hù)工作。優(yōu)化了數(shù)據(jù)支撐維護(hù)流程，并進(jìn)行了大量的優(yōu)化，EDA域系統(tǒng)有較大的提升。特別是企業(yè)數(shù)據(jù)門戶的穩(wěn)定性及時(shí)性得到很大的提升。

數(shù)據(jù)基礎(chǔ)管理數(shù)據(jù)應(yīng)用方面：統(tǒng)一了數(shù)據(jù)基礎(chǔ)管理，一點(diǎn)管理統(tǒng)一建模統(tǒng)一編碼。形成了企業(yè)數(shù)據(jù)的統(tǒng)一視圖。通過統(tǒng)一的組織統(tǒng)籌數(shù)據(jù)應(yīng)用，極大的提升了數(shù)據(jù)的應(yīng)用的質(zhì)量。

數(shù)據(jù)運(yùn)營維護(hù)方面：通過人員組織調(diào)整，優(yōu)化職責(zé)分工，實(shí)現(xiàn)數(shù)據(jù)全流程全生命周期的運(yùn)營生產(chǎn)管理和數(shù)據(jù)質(zhì)量統(tǒng)一管理和控制，提高了數(shù)據(jù)運(yùn)營維護(hù)效率以及系統(tǒng)維護(hù)保障質(zhì)量。加強(qiáng)和完善了數(shù)據(jù)運(yùn)營維護(hù)體系建設(shè)，保障全生命周期的數(shù)據(jù)質(zhì)量。通過對系統(tǒng)的全面優(yōu)化提升完善系統(tǒng)的不足，加強(qiáng)對系統(tǒng)的自動化的監(jiān)控手段，夯實(shí)數(shù)據(jù)平臺系統(tǒng)基礎(chǔ)，提升系統(tǒng)的健壯性降低系統(tǒng)故障發(fā)生率，整體提升維護(hù)數(shù)據(jù)運(yùn)營維護(hù)的水平。

五、結(jié)束語

后續(xù)將進(jìn)一步的完善數(shù)據(jù)稽核告警功能，進(jìn)一步提升數(shù)據(jù)質(zhì)量。提升系統(tǒng)的健壯性，完善自動稽核功能，逐步提供系統(tǒng)運(yùn)營的自動化水平，逐步的解放運(yùn)營人員的壓力降低運(yùn)維人員的投入，從數(shù)據(jù)生產(chǎn)向數(shù)據(jù)應(yīng)用的進(jìn)行轉(zhuǎn)變。

參 考 文 獻(xiàn)

[1] 漆晨曦.電信企業(yè)數(shù)據(jù)倉庫的設(shè)計(jì)和應(yīng)用[J]. 軟件世界.2005，9

[2] 中國電信[2006]CTG一MBOSS2.0規(guī)范，2006