周龍,譚群芳,項(xiàng)暉
(湖南省郵電規(guī)劃設(shè)計(jì)院有限公司,長沙 410001)
運(yùn)營商大數(shù)據(jù)平臺(tái)建設(shè)思路
周龍,譚群芳,項(xiàng)暉
(湖南省郵電規(guī)劃設(shè)計(jì)院有限公司,長沙 410001)
本文結(jié)合大數(shù)據(jù)時(shí)代電信運(yùn)營商互聯(lián)網(wǎng)化轉(zhuǎn)型的背景,從大數(shù)據(jù)促進(jìn)企業(yè)智慧運(yùn)營以及實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)變現(xiàn)的需求出發(fā),分析了運(yùn)營商大數(shù)據(jù)平臺(tái)建設(shè)業(yè)務(wù)目標(biāo)和技術(shù)目標(biāo),提出了運(yùn)營商企業(yè)級(jí)大數(shù)據(jù)平臺(tái)的總體架構(gòu)、數(shù)據(jù)架構(gòu)及應(yīng)用架構(gòu)。
流量經(jīng)營;支撐系統(tǒng);大數(shù)據(jù)
隨著移動(dòng)互聯(lián)網(wǎng)飛速發(fā)展,催生“大數(shù)據(jù)時(shí)代”的到來。各種智能移動(dòng)設(shè)備的迅速普及,帶來海量數(shù)據(jù)的爆炸式增長。運(yùn)營商作為數(shù)據(jù)管道,本身擁有眾多的數(shù)據(jù)資源,既包括后端網(wǎng)絡(luò)運(yùn)行數(shù)據(jù),也包括前端用戶特征數(shù)據(jù)等,這些數(shù)據(jù)準(zhǔn)確、全面的反映了網(wǎng)絡(luò)和用戶的行為特征,成為發(fā)展大數(shù)據(jù)的先天性優(yōu)勢。國內(nèi)各大運(yùn)營商在近期轉(zhuǎn)型戰(zhàn)略中都提出使數(shù)據(jù)資產(chǎn)化和價(jià)值化成為企業(yè)的核心競爭力。
中國電信企業(yè)轉(zhuǎn)型升級(jí)戰(zhàn)略(轉(zhuǎn)型3.0)提出對(duì)企業(yè)內(nèi)外部數(shù)據(jù)資源進(jìn)行深度挖掘、價(jià)值呈現(xiàn),通過注入大數(shù)據(jù)應(yīng)用、集約支撐服務(wù)等要素,建設(shè)用戶導(dǎo)向的一體化智能運(yùn)營體系,實(shí)現(xiàn)運(yùn)營智慧化。
中國移動(dòng)技術(shù)愿景2020希望提供數(shù)據(jù)資產(chǎn)運(yùn)營,開啟認(rèn)知計(jì)算新時(shí)代。作為知識(shí)服務(wù)提供商,數(shù)據(jù)資產(chǎn)運(yùn)營商,提供無所不知、實(shí)時(shí)精確的知識(shí)服務(wù)及數(shù)據(jù)資產(chǎn)運(yùn)營服務(wù)。
中國聯(lián)通CUBE-Net2.0倡導(dǎo)建立統(tǒng)一的大數(shù)據(jù)平臺(tái),實(shí)現(xiàn)對(duì)用戶數(shù)據(jù)和網(wǎng)絡(luò)數(shù)據(jù)的集中管理,在此基礎(chǔ)上根據(jù)需要逐步挖掘和應(yīng)用數(shù)據(jù)資源,并進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)資源和數(shù)據(jù)能力的開放。
在大數(shù)據(jù)時(shí)代背景下,現(xiàn)有的運(yùn)營商數(shù)據(jù)域系統(tǒng)很難實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化和價(jià)值化的運(yùn)營的目標(biāo),如平臺(tái)橫向擴(kuò)展能力不強(qiáng),數(shù)據(jù)整合與開放能力不足,數(shù)據(jù)統(tǒng)一采集與模型管理能力欠缺,數(shù)據(jù)應(yīng)用煙囪式建設(shè),缺乏大數(shù)據(jù)分析挖掘能力等問題已無法應(yīng)對(duì)海量數(shù)據(jù)的引入和創(chuàng)新型應(yīng)用的發(fā)展。
根據(jù)戰(zhàn)略轉(zhuǎn)型需求,運(yùn)營商企業(yè)級(jí)大數(shù)據(jù)平臺(tái)的建設(shè)必須逐漸轉(zhuǎn)向以客戶和消費(fèi)者為中心的運(yùn)營體系,引入新技術(shù),實(shí)現(xiàn)企業(yè)級(jí)網(wǎng)絡(luò)、業(yè)務(wù)、管理數(shù)據(jù)整合,數(shù)據(jù)和應(yīng)用的深度解耦,完善數(shù)據(jù)安全體系,推進(jìn)模式的創(chuàng)新,實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的管理和變現(xiàn)。
企業(yè)級(jí)大數(shù)據(jù)平臺(tái)安全連接企業(yè)內(nèi)外部各種數(shù)據(jù),滿足各種數(shù)據(jù)應(yīng)用場景和業(yè)務(wù)需求,并最終實(shí)現(xiàn)以下業(yè)務(wù)目標(biāo)。
2.1.1 融合數(shù)據(jù)—提供全面融合的數(shù)據(jù)資產(chǎn)
匯聚業(yè)務(wù)、管理、網(wǎng)絡(luò)和互聯(lián)網(wǎng)等數(shù)據(jù),通過大數(shù)據(jù)平臺(tái)解析處理,最終形成以客戶為中心和以企業(yè)為中心的兩類全景化數(shù)據(jù)資產(chǎn)視圖,具備還原客戶和企業(yè)業(yè)務(wù)場景的能力。
2.1.2 及時(shí)數(shù)據(jù)—提供及時(shí)可用的數(shù)據(jù)資產(chǎn)
通過不斷增強(qiáng)企業(yè)數(shù)據(jù)中心實(shí)時(shí)采集、實(shí)時(shí)計(jì)算和實(shí)時(shí)共享能力,不斷壓縮實(shí)際業(yè)務(wù)發(fā)生時(shí)間和數(shù)據(jù)可用之間的時(shí)間窗口;同時(shí)重點(diǎn)聚焦專題看數(shù)、領(lǐng)導(dǎo)視窗、集團(tuán)上報(bào)和實(shí)時(shí)營銷涉及數(shù)據(jù)的實(shí)時(shí)能力的提升。
2.1.3 有效數(shù)據(jù)—提供統(tǒng)一優(yōu)質(zhì)的數(shù)據(jù)資產(chǎn)
形成涵蓋整合層、匯總層和應(yīng)用層的模型統(tǒng)一、指標(biāo)統(tǒng)一、維度統(tǒng)一的高質(zhì)量的數(shù)據(jù)資產(chǎn)能力。
2.1.4 靈活數(shù)據(jù)—提供便捷多樣的數(shù)據(jù)應(yīng)用支撐
充分平衡數(shù)據(jù)的標(biāo)準(zhǔn)化要求和個(gè)性化需求,企業(yè)數(shù)據(jù)中心將在量化層面統(tǒng)一標(biāo)準(zhǔn)的基礎(chǔ)上,通過自助標(biāo)簽、自助指標(biāo)、自助取數(shù)、自助分析、自助挖掘的方式,滿足各業(yè)務(wù)部門數(shù)據(jù)定性的多元化需求。
2.1.5 可視數(shù)據(jù)—提供可感知的數(shù)據(jù)可視化能力
通過集中客戶視圖、數(shù)據(jù)展現(xiàn)界面移動(dòng)互聯(lián)網(wǎng)化等舉措,實(shí)現(xiàn)企業(yè)數(shù)據(jù)中心價(jià)值呈現(xiàn)。
企業(yè)級(jí)大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)企業(yè)數(shù)據(jù)的集約化匯聚和架構(gòu)處理,形統(tǒng)一匯聚、統(tǒng)一整合、統(tǒng)一匯總和統(tǒng)一計(jì)算能力,重點(diǎn)實(shí)現(xiàn)以下的技術(shù)目標(biāo)。
2.2.1 通過合理的架構(gòu)設(shè)計(jì)與技術(shù)選型,打造“互聯(lián)網(wǎng)化”的平臺(tái)基礎(chǔ)能力
(1) 海量數(shù)據(jù)處理能力,對(duì)于海量、快速增長數(shù)據(jù)(如詳單數(shù)據(jù)、信令數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù))處理能力。
(2) 實(shí)時(shí)處理能力,實(shí)時(shí)/準(zhǔn)實(shí)時(shí)數(shù)據(jù)處理能力,支撐實(shí)時(shí)營銷等業(yè)務(wù)場景,具備交互式運(yùn)營智能。
(3) 大范圍數(shù)據(jù)存儲(chǔ)能力,橫向網(wǎng)絡(luò)類數(shù)據(jù)的有效融合,保證數(shù)據(jù)模型的完整性;縱向歷史數(shù)據(jù)的存儲(chǔ),滿足長周期深度趨勢分析的業(yè)務(wù)需求。
(4) 大數(shù)據(jù)探索分析能力:分布式處理機(jī)制,實(shí)現(xiàn)路徑分析、社交網(wǎng)絡(luò)分析等基于大數(shù)據(jù)的探索分析,快速試錯(cuò)和交互式數(shù)據(jù)探索分析能力,跨平臺(tái)的融合分析能力。
(5) 數(shù)據(jù)深度挖掘分析能力:快速響應(yīng)數(shù)據(jù)挖掘和專題分析的業(yè)務(wù)需求;形成數(shù)據(jù)挖掘分析體系,挖掘分析結(jié)果有效的沉淀和固化,面向一線業(yè)務(wù)的支撐能力。
(6) 系統(tǒng)擴(kuò)展能力:系統(tǒng)水平擴(kuò)展能力,降低系統(tǒng)的整體建設(shè)成本。
2.2.2 通過能力標(biāo)準(zhǔn)化封裝與開放,實(shí)現(xiàn)“數(shù)據(jù)與應(yīng)用深度解耦”的數(shù)據(jù)生態(tài)體系
(1)適應(yīng)數(shù)據(jù)爆炸和產(chǎn)品快速迭代的要求。
(2)實(shí)現(xiàn)底層平臺(tái)/數(shù)據(jù)資產(chǎn)和上層應(yīng)用能力之間的深度解耦。
(3)通過能力開放門戶展現(xiàn)底層的平臺(tái)和數(shù)據(jù)能力。
(4)通過能力中心連接底層能力和上層應(yīng)用。
(5)實(shí)現(xiàn)以”極速、低成本、高質(zhì)量”要求來響應(yīng)海量的內(nèi)外部客戶的個(gè)性化數(shù)據(jù)應(yīng)用需求。
(6)建立面向“大數(shù)據(jù)平臺(tái)+應(yīng)用開發(fā)商+數(shù)據(jù)供應(yīng)商+數(shù)據(jù)消費(fèi)者”的互利共贏的數(shù)據(jù)生態(tài)圈。
2.2.3 通過與數(shù)據(jù)管理平臺(tái)緊密配合,實(shí)現(xiàn)“生產(chǎn)與管控適度分離”的數(shù)據(jù)質(zhì)量與安全保障體系
(1)加強(qiáng)跨層級(jí)的端到端的數(shù)據(jù)質(zhì)量管理,實(shí)現(xiàn)全流程全業(yè)務(wù)的數(shù)據(jù)調(diào)度,完善數(shù)據(jù)監(jiān)控和稽核。
(2)加強(qiáng)數(shù)據(jù)運(yùn)營管控,做好數(shù)據(jù)源異動(dòng)預(yù)警,增強(qiáng)數(shù)據(jù)處理的流程監(jiān)控,及時(shí)發(fā)布結(jié)果數(shù)據(jù),全面提升企業(yè)數(shù)據(jù)質(zhì)量。
(3)加強(qiáng)對(duì)前后端用戶訪問權(quán)限的控制與管理,對(duì)敏感數(shù)據(jù)的訪問控制和訪問軌跡進(jìn)行跟蹤,保障數(shù)據(jù)安全。
企業(yè)級(jí)大數(shù)據(jù)平臺(tái)總體架構(gòu)如圖1所示,主要分為數(shù)據(jù)處理中心、數(shù)據(jù)管理平臺(tái)、數(shù)據(jù)應(yīng)用超市3部分,其中數(shù)據(jù)處理中心包括數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用4個(gè)模塊。
圖1 大數(shù)據(jù)平臺(tái)總體架構(gòu)圖
數(shù)據(jù)采集與處理:以實(shí)時(shí)或離線采集的方式匯聚BSS/OSS/網(wǎng)絡(luò)側(cè)等不同來源的數(shù)據(jù),對(duì)采集到的數(shù)據(jù)進(jìn)行清洗、數(shù)據(jù)校驗(yàn)轉(zhuǎn)換、根據(jù)數(shù)據(jù)管理中的規(guī)則分層分類進(jìn)行處理,將數(shù)據(jù)加工成價(jià)值的產(chǎn)品對(duì)外共享。
數(shù)據(jù)服務(wù):以數(shù)據(jù)價(jià)值為核心,通過數(shù)據(jù)的能力封裝,采用開發(fā)API、數(shù)據(jù)分發(fā)、文件接口、消息服務(wù)、即席查詢等技術(shù)手段,構(gòu)建能力開放服務(wù),對(duì)內(nèi)部各類應(yīng)用、業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)及技術(shù)能力的共享服務(wù),對(duì)外部應(yīng)用、第三方合作伙伴提供數(shù)據(jù)及技術(shù)能力的開發(fā)服務(wù),最大化發(fā)揮數(shù)據(jù)價(jià)值,支撐企業(yè)內(nèi)部經(jīng)營決策分析并實(shí)現(xiàn)數(shù)據(jù)價(jià)值變現(xiàn)。
數(shù)據(jù)應(yīng)用:是構(gòu)建在數(shù)據(jù)服務(wù)上的具體數(shù)據(jù)訪問應(yīng)用,如運(yùn)營分析、財(cái)務(wù)分析、網(wǎng)優(yōu)分析、清單查詢、位置服務(wù)、行業(yè)報(bào)告等。
數(shù)據(jù)應(yīng)用超市:提供企業(yè)級(jí)統(tǒng)一的訪問數(shù)據(jù)應(yīng)用的入口,包括對(duì)內(nèi)部和外部的各種應(yīng)用,便于應(yīng)用的集中化管理。
數(shù)據(jù)管理平臺(tái):以元數(shù)據(jù)為驅(qū)動(dòng),建立面向企業(yè)級(jí)數(shù)據(jù)中心的完整數(shù)據(jù)治理體系。從組織架構(gòu)、系統(tǒng)功能等方面增強(qiáng)數(shù)據(jù)宏觀管控,并實(shí)現(xiàn)包括數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等全方位精細(xì)化管理。
企業(yè)級(jí)大數(shù)據(jù)平臺(tái)數(shù)據(jù)架構(gòu)如圖2所示,主要分為應(yīng)用層、匯總層、中間層、整合層、接口層等5部分。
應(yīng)用層:通過表、視圖、文件、消息等方式為各級(jí)各層用戶提供應(yīng)用支持。
匯總層:存儲(chǔ)根據(jù)管理和客戶視角形成的企業(yè)統(tǒng)計(jì)、營銷、匯總數(shù)據(jù)。分為指標(biāo)、標(biāo)簽、應(yīng)用寬表。
中間層:按應(yīng)用主題整合數(shù)據(jù),模型間松耦合設(shè)計(jì),分為基礎(chǔ)寬表、屬性、維表。
整合層:將來源于接口采集的數(shù)據(jù)經(jīng)過統(tǒng)一清洗、編碼轉(zhuǎn)換、整合后形成。
接口層:存儲(chǔ)的是從源系統(tǒng)采集的數(shù)據(jù),數(shù)據(jù)模型與外圍系統(tǒng)基本保持一致。
企業(yè)級(jí)大數(shù)據(jù)平臺(tái)應(yīng)用架構(gòu)如圖3所示,通過構(gòu)建數(shù)據(jù)能力生成與開放體系,形成開放、協(xié)同、完善的大數(shù)據(jù)生態(tài)環(huán)境和生態(tài)圈,提升數(shù)據(jù)服務(wù)能力共享,價(jià)值創(chuàng)造和變現(xiàn)能力,助力運(yùn)營商實(shí)現(xiàn)數(shù)據(jù)服務(wù)一點(diǎn)共享、價(jià)值變現(xiàn)、降本增效的目標(biāo)。
圖2 大數(shù)據(jù)平臺(tái)數(shù)據(jù)架構(gòu)圖
圖3 大數(shù)據(jù)平臺(tái)應(yīng)用架構(gòu)圖
統(tǒng)一接入:統(tǒng)一內(nèi)外部用戶的接入控制和運(yùn)營管理,包括接入的方式、認(rèn)證、識(shí)別、權(quán)限、流量控制。
統(tǒng)一服務(wù):標(biāo)準(zhǔn)化服務(wù)能力和運(yùn)營流程,通過運(yùn)營商能力開放平臺(tái)將大數(shù)據(jù)域的核心能力按標(biāo)準(zhǔn)化的產(chǎn)品進(jìn)行開放。
統(tǒng)一管控:實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)集中的、標(biāo)準(zhǔn)的安全管控,對(duì)接口進(jìn)行封裝和提供、業(yè)務(wù)應(yīng)用的調(diào)用進(jìn)行統(tǒng)一安全管控。
3.4.1 近期建設(shè)內(nèi)容
平臺(tái)架構(gòu):建立基于Hadoop的企業(yè)級(jí)ETL平臺(tái),具備多源異構(gòu)數(shù)據(jù)采集能力。完成分層模型(接口層-整合層-中間層-匯總層)設(shè)計(jì)與實(shí)施。建設(shè)分布式文件系統(tǒng)、內(nèi)存數(shù)據(jù)庫、關(guān)系型數(shù)據(jù)庫等多種存儲(chǔ)框架和MR、Spark、Storm、分布式內(nèi)存等多種批處理、準(zhǔn)實(shí)時(shí)和實(shí)時(shí)處理的計(jì)算框架。實(shí)現(xiàn)主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、指標(biāo)庫、調(diào)度監(jiān)控的系統(tǒng)能力。
數(shù)據(jù)模型:完成M、B、O等域及網(wǎng)絡(luò)側(cè)核心數(shù)據(jù)采集匯聚;基于人口屬性、電信業(yè)務(wù)、行為偏好、征信和位置等數(shù)據(jù),形成客戶標(biāo)簽庫。提升大數(shù)據(jù)挖掘和建模能力對(duì)精準(zhǔn)營銷等的支撐。
應(yīng)用建設(shè):大數(shù)據(jù)征信能力建設(shè)與應(yīng)用,基于大數(shù)據(jù)的客戶精準(zhǔn)營銷與智能客服,基于全網(wǎng)多維數(shù)據(jù)的網(wǎng)絡(luò)效益評(píng)估,基于網(wǎng)絡(luò)大數(shù)據(jù)的廣告欺詐等騷擾電話識(shí)別、客戶體驗(yàn)分析等。
團(tuán)隊(duì)建設(shè):建設(shè)與大數(shù)據(jù)資產(chǎn)運(yùn)營相適應(yīng)的組織架構(gòu),制定數(shù)據(jù)模型建設(shè)流程與規(guī)范,制定數(shù)據(jù)資產(chǎn)開放流程與規(guī)范。
3.4.2 中遠(yuǎn)期建設(shè)內(nèi)容
平臺(tái)架構(gòu):建設(shè)實(shí)時(shí)處理平臺(tái),引入Kafka+流式計(jì)算框架和實(shí)時(shí)消息處理機(jī)制,具備實(shí)時(shí)采集能力;采用Flume技術(shù)實(shí)現(xiàn)日志采集,采用Nutch技術(shù)實(shí)現(xiàn)分布式爬蟲。完善和優(yōu)化分層架構(gòu),具備實(shí)時(shí)數(shù)據(jù)處理模型分層框架。引入分布式緩存,提升流計(jì)算性能。完善主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、指標(biāo)庫、調(diào)度監(jiān)控的系統(tǒng)能力。提供靈活的API,具備服務(wù)開放能力;提供定制的門戶,具備應(yīng)用開放能力;提供數(shù)據(jù)沙箱,具備數(shù)據(jù)開放能力。
數(shù)據(jù)模型:基本完成內(nèi)部數(shù)據(jù)采集匯聚,同時(shí)根據(jù)應(yīng)用需要引入政府公共機(jī)構(gòu)、社交媒體、電商等數(shù)據(jù),完善客戶標(biāo)簽庫,形成立體化精準(zhǔn)客戶畫像能力。大數(shù)據(jù)精準(zhǔn)營銷支撐實(shí)現(xiàn)全覆蓋。
應(yīng)用建設(shè):建立以客戶感知為核心的全周期、全流程、全渠道的客戶體驗(yàn)閉環(huán)管理。全面構(gòu)建客戶價(jià)值提升和維系挽留模型,實(shí)現(xiàn)大數(shù)據(jù)精準(zhǔn)實(shí)時(shí)營銷支撐全覆蓋。開發(fā)大數(shù)據(jù)變現(xiàn)產(chǎn)品。
團(tuán)隊(duì)建設(shè):加強(qiáng)專業(yè)化人才隊(duì)伍建設(shè),制定大數(shù)據(jù)產(chǎn)品運(yùn)營流程和規(guī)范。
為了適應(yīng)互聯(lián)網(wǎng)時(shí)代的數(shù)據(jù)化市場經(jīng)營、企業(yè)管理、精細(xì)運(yùn)營和企業(yè)數(shù)據(jù)價(jià)值變現(xiàn)的需要,通過搭建數(shù)據(jù)融合集約、能力開放共享、應(yīng)用多樣的企業(yè)級(jí)數(shù)據(jù)平臺(tái),實(shí)現(xiàn)運(yùn)營商企業(yè)數(shù)據(jù)資產(chǎn)以集約、標(biāo)準(zhǔn)、高效、高質(zhì)、安全的方式進(jìn)行匯聚、加工、共享和應(yīng)用。
[1] 劉潔. 基于大數(shù)據(jù)的電信運(yùn)營商業(yè)務(wù)精確運(yùn)營平臺(tái)的構(gòu)建[J].電信科學(xué), 2013(3).
[2] 陳淑梅. 移動(dòng)運(yùn)營商的大數(shù)據(jù)發(fā)展策略研究[J]. 信息通信,2014(6).
[3] 陳娜. 基于Hadoop的電信BSS大數(shù)據(jù)平臺(tái)建設(shè)研究[J]. 電信科學(xué), 2013(3).
[4] 吳朱華. 云計(jì)算核心技術(shù)剖析[M]. 北京:人民郵電出版社,2011.
[5] 李長連,王穎楠,周大勇. 電信業(yè)務(wù)支撐系統(tǒng)云化策略與方案研究[J]. 郵電設(shè)計(jì)技術(shù),2012(7):25-30.
[6] 淘寶分布式服務(wù)框架[EB/OL]. [2014-3-11]. http://alibaba.github.io/dubbo-doc-static/Home-zh.htm
AbstractCombine the background of the strategic transformation of the telecom operators ,this paper analyzes the operational objectives and technical objectives of the operators' big data platform, which is based on the demand to promote the enterprise's intelligent operation and realize the realization of the data assets.The paper also propose the overall architecture of the data platform, data architecture and application architecture.
Keywordsflow management; support system; big data
Discussing thought of big data platform's construction for telecom operators
ZHOU Long, TAN Qun-fang, XIANG Hui
(Hunan planing and designing institute of post and telecommunications Co., Ltd., Changsha 410001, China)
TP301
A
1008-5599(2017)10-0068-05
2017-04-11