翁銳浩++段新++黃倚霄++王銳

摘 要：網(wǎng)管系統(tǒng)是各運(yùn)營(yíng)商最核心的生產(chǎn)保障系統(tǒng)，負(fù)責(zé)核心網(wǎng)、智能網(wǎng)、數(shù)據(jù)網(wǎng)等的安全、高效、穩(wěn)定運(yùn)行，確保數(shù)億用戶的通信質(zhì)量和信息安全。隨著4G LTE技術(shù)的深度應(yīng)用及移動(dòng)互聯(lián)網(wǎng)的不斷發(fā)展，用戶對(duì)移動(dòng)網(wǎng)絡(luò)的依賴度越來(lái)越高，同時(shí)對(duì)網(wǎng)絡(luò)質(zhì)量和性能的要求也越來(lái)越高，對(duì)于網(wǎng)管系統(tǒng)要求更全面分析用戶感知、更深層次挖掘網(wǎng)絡(luò)隱患、更實(shí)時(shí)發(fā)現(xiàn)故障和質(zhì)量下降、更準(zhǔn)確預(yù)測(cè)用戶投訴行為、更快速解決故障和質(zhì)量問(wèn)題。由于此前的網(wǎng)管系統(tǒng)監(jiān)控、性能、資源、工單、投訴等系統(tǒng)各自建設(shè)、數(shù)據(jù)分散不利于構(gòu)建面向用戶的網(wǎng)絡(luò)質(zhì)量管理及優(yōu)化體系，該文通過(guò)運(yùn)用大數(shù)據(jù)技術(shù)，構(gòu)建運(yùn)營(yíng)商網(wǎng)管數(shù)據(jù)互聯(lián)中心，接入網(wǎng)管各類數(shù)據(jù)，進(jìn)行關(guān)聯(lián)、清洗、互聯(lián)，建立統(tǒng)一融合的數(shù)據(jù)模型，集中對(duì)外提供數(shù)據(jù)，通過(guò)靈活統(tǒng)一的分布式數(shù)據(jù)互聯(lián)中心方案，大大提升網(wǎng)管數(shù)據(jù)服務(wù)能力。

關(guān)鍵詞：數(shù)據(jù)互聯(lián)中心 數(shù)據(jù)建模 數(shù)據(jù)倉(cāng)庫(kù) 管控分析門戶

中圖分類號(hào)：TP399 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2017）01（c）-0087-05

1 運(yùn)營(yíng)商網(wǎng)管系統(tǒng)數(shù)據(jù)現(xiàn)狀及問(wèn)題

隨著移動(dòng)LTE業(yè)務(wù)的迅速發(fā)展，網(wǎng)管數(shù)據(jù)迅速增長(zhǎng)，對(duì)網(wǎng)管系統(tǒng)的數(shù)據(jù)支撐要求也越來(lái)越高，急需網(wǎng)管數(shù)據(jù)能更全面分析用戶感知、更深層次挖掘網(wǎng)絡(luò)隱患、更實(shí)時(shí)發(fā)現(xiàn)故障和質(zhì)量下降、更準(zhǔn)確預(yù)測(cè)用戶投訴行為、更快速解決故障和質(zhì)量問(wèn)題。但目前各網(wǎng)管系統(tǒng)仍以功能性場(chǎng)景服務(wù)為主，只能解決單一場(chǎng)景的問(wèn)題，在數(shù)據(jù)的關(guān)聯(lián)服務(wù)能力方面較弱，無(wú)法有效支撐面向用戶的數(shù)據(jù)服務(wù)支撐能力。目前主要存在以下問(wèn)題。

（1）在使用方層面，希望能將各類網(wǎng)管數(shù)據(jù)（告警、性能、資源、工單、工程、拓?fù)?、撥測(cè)、投訴）進(jìn)行集中管理、對(duì)地市共享，實(shí)現(xiàn)各類網(wǎng)管數(shù)據(jù)的集中互聯(lián)、關(guān)聯(lián)、清洗、共享，并希望實(shí)現(xiàn)網(wǎng)管數(shù)據(jù)和信令數(shù)據(jù)的關(guān)聯(lián)，支持從網(wǎng)管數(shù)據(jù)到信令詳情的追溯。

（2）從應(yīng)用層面考慮，應(yīng)用對(duì)于數(shù)據(jù)實(shí)時(shí)性要求越來(lái)越高，目前已有的系統(tǒng)無(wú)法滿足應(yīng)用的實(shí)時(shí)性要求；應(yīng)用從多個(gè)系統(tǒng)獲取數(shù)據(jù)成本較大，不利于上層應(yīng)用敏捷開(kāi)發(fā)、快速部署的訴求，與互聯(lián)網(wǎng)新架構(gòu)的發(fā)展趨勢(shì)不相符。

（3）從數(shù)據(jù)層面考慮，多個(gè)系統(tǒng)形成數(shù)據(jù)孤島，缺少統(tǒng)一的接入、清洗、建模的管理，需要統(tǒng)一的數(shù)據(jù)接入、統(tǒng)一的計(jì)算、統(tǒng)一的接口共享來(lái)打破數(shù)據(jù)孤島；各自獨(dú)立系統(tǒng)運(yùn)維、管理面臨很大難題，通過(guò)數(shù)據(jù)互聯(lián)統(tǒng)一運(yùn)維，提高資源利用率和處理效率；匹配互聯(lián)網(wǎng)的發(fā)展趨勢(shì)，數(shù)據(jù)統(tǒng)一互聯(lián)形成大數(shù)據(jù)平臺(tái)成為互聯(lián)網(wǎng)主流選擇。

2 利用大數(shù)據(jù)技術(shù)構(gòu)建運(yùn)營(yíng)商網(wǎng)管數(shù)據(jù)互聯(lián)中心的方法

針對(duì)目前網(wǎng)管系統(tǒng)數(shù)據(jù)分散、數(shù)據(jù)服務(wù)能力較弱，無(wú)法有效支撐運(yùn)營(yíng)商面向用戶的網(wǎng)絡(luò)質(zhì)量管理要求，該文提出利用大數(shù)據(jù)技術(shù)構(gòu)建網(wǎng)管數(shù)據(jù)互聯(lián)中心，對(duì)分散的網(wǎng)管數(shù)據(jù)進(jìn)行互聯(lián)、清洗、關(guān)聯(lián)，并構(gòu)建靈活統(tǒng)一的數(shù)據(jù)服務(wù)層，有效提高數(shù)據(jù)服務(wù)能力，支撐面向用戶的網(wǎng)絡(luò)質(zhì)量管理要求，如投訴預(yù)警、實(shí)時(shí)監(jiān)控、省市共享、挖掘分析等應(yīng)用。

該文方法主要包括兩大階段：調(diào)研分析驗(yàn)證階段和融合互聯(lián)實(shí)現(xiàn)階段。

（1）調(diào)研分析驗(yàn)證階段。

該階段主要是研究需求與數(shù)據(jù)、探索數(shù)據(jù)之間的業(yè)務(wù)聯(lián)系，可按如下步驟進(jìn)行。

①調(diào)研梳理。

調(diào)研梳理各類業(yè)務(wù)和數(shù)據(jù)模型分布、用途等信息。

調(diào)研梳理各系統(tǒng)數(shù)據(jù)對(duì)外提供共享接口形式、共享機(jī)制、更新頻率、數(shù)據(jù)粒度等。

數(shù)據(jù)資源調(diào)研分析示例見(jiàn)表1。

②模型分析。

對(duì)各應(yīng)用需求分類匯總，進(jìn)行共性分析。

分析各應(yīng)用需求與數(shù)據(jù)支撐的差距，了解短板所在。

分析省級(jí)數(shù)據(jù)，研究數(shù)據(jù)關(guān)聯(lián)節(jié)點(diǎn)，進(jìn)行多數(shù)據(jù)關(guān)聯(lián)模型設(shè)計(jì)。

建模分析方法示例如下。

需要解決的問(wèn)題：定位用戶投訴原因。

數(shù)據(jù)建模方法：數(shù)據(jù)源：信令數(shù)據(jù)、投訴數(shù)據(jù)、性能數(shù)據(jù)、資源數(shù)據(jù)。關(guān)聯(lián)維度：用戶、時(shí)間、業(yè)務(wù)、網(wǎng)元。關(guān)聯(lián)指標(biāo)：投訴事件、信令事件、網(wǎng)元性能、網(wǎng)元資源。模型價(jià)值：實(shí)現(xiàn)快速地投訴問(wèn)題原因溯源定位。

數(shù)據(jù)融合互聯(lián)分析模型：多數(shù)據(jù)源，跨數(shù)據(jù)維度匹配、指標(biāo)關(guān)聯(lián)，實(shí)現(xiàn)深入分析。

用戶投訴無(wú)法呼叫。

根據(jù)投訴號(hào)碼時(shí)間點(diǎn)關(guān)聯(lián)用戶信令事件（是否網(wǎng)絡(luò)原因）。

根據(jù)信令中位置信息關(guān)聯(lián)資源數(shù)據(jù)。

根據(jù)資源數(shù)據(jù)關(guān)聯(lián)呼叫失敗發(fā)生的小區(qū)接通性能指標(biāo)。

小區(qū)資源不足、小區(qū)覆蓋質(zhì)量差、小區(qū)設(shè)備存在故障等原因定位。

③實(shí)施驗(yàn)證。

預(yù)采集所需各類數(shù)據(jù)，包括傳統(tǒng)性能數(shù)據(jù)、工單數(shù)據(jù)、告警數(shù)據(jù)、投訴數(shù)據(jù)等。

關(guān)聯(lián)建模，構(gòu)建新的數(shù)據(jù)模型。

搭建數(shù)據(jù)DEMO，驗(yàn)證模型設(shè)計(jì)。

（2）融合互聯(lián)實(shí)現(xiàn)階段。

利用大數(shù)據(jù)技術(shù)構(gòu)建運(yùn)營(yíng)商網(wǎng)管數(shù)據(jù)互聯(lián)中心的構(gòu)建方法，構(gòu)建網(wǎng)管數(shù)據(jù)互聯(lián)中心，主要包括5個(gè)步驟：統(tǒng)一數(shù)據(jù)接入、統(tǒng)一數(shù)據(jù)建模、集中數(shù)據(jù)存儲(chǔ)、統(tǒng)一數(shù)據(jù)共享、統(tǒng)一平臺(tái)管控。

統(tǒng)一數(shù)據(jù)接入：負(fù)責(zé)統(tǒng)一的數(shù)據(jù)接入?？筛鶕?jù)業(yè)務(wù)需求和數(shù)據(jù)類型提供多種接入方式；數(shù)據(jù)接入后根據(jù)規(guī)則對(duì)數(shù)據(jù)進(jìn)行初次清洗。

統(tǒng)一數(shù)據(jù)建模：負(fù)責(zé)對(duì)接入數(shù)據(jù)進(jìn)行統(tǒng)一建模。對(duì)數(shù)據(jù)做統(tǒng)一的標(biāo)準(zhǔn)化處理，同時(shí)也可以根據(jù)業(yè)務(wù)規(guī)則對(duì)多數(shù)據(jù)源進(jìn)行關(guān)聯(lián)。

集中數(shù)據(jù)存儲(chǔ)：負(fù)責(zé)對(duì)建模后數(shù)據(jù)的統(tǒng)一存儲(chǔ)。運(yùn)用Hadoop分布式技術(shù)，對(duì)于數(shù)據(jù)查詢時(shí)延要求高的可以存儲(chǔ)在Hbase上；對(duì)于數(shù)據(jù)需要提供靈活查詢方式的可以存儲(chǔ)在Hive上。

統(tǒng)一數(shù)據(jù)共享：負(fù)責(zé)數(shù)據(jù)的統(tǒng)一對(duì)外共享。統(tǒng)一的數(shù)據(jù)共享可以有效防止數(shù)據(jù)泄露，降低上層應(yīng)用獲取數(shù)據(jù)的成本?？筛鶕?jù)業(yè)務(wù)需求提供多種數(shù)據(jù)共享方式，整體上分實(shí)時(shí)獲取和非實(shí)時(shí)獲取方式。

統(tǒng)一平臺(tái)管控：負(fù)責(zé)對(duì)網(wǎng)管數(shù)據(jù)互聯(lián)中心進(jìn)行管理和控制。包括對(duì)用戶的安全認(rèn)證、數(shù)據(jù)獲取方的權(quán)限管理、互聯(lián)中心的數(shù)據(jù)進(jìn)行質(zhì)量監(jiān)控等。

3 具體實(shí)現(xiàn)方法

3.1 互聯(lián)中心建設(shè)

3.1.1 總體架構(gòu)圖

網(wǎng)管數(shù)據(jù)互聯(lián)中心的架構(gòu)，主要包括5個(gè)核心模塊：南向數(shù)據(jù)接入層、數(shù)據(jù)關(guān)聯(lián)中心、數(shù)據(jù)倉(cāng)庫(kù)、北向共享接口層、互聯(lián)中心管控分析門戶（見(jiàn)圖1）。

3.1.2 功能模塊介紹

（1）南向數(shù)據(jù)接入層。

負(fù)責(zé)各種網(wǎng)絡(luò)數(shù)據(jù)的實(shí)時(shí)性接入和非實(shí)時(shí)性接入，實(shí)時(shí)性要求高的數(shù)據(jù)通過(guò)Kafka方式接入，對(duì)實(shí)時(shí)性無(wú)要求的數(shù)據(jù)則通過(guò)Flume方式接入。需接入的數(shù)據(jù)如下。

①工單：開(kāi)通、故障、投訴。

②網(wǎng)絡(luò)變更：工程割接、其他變更操作等。

③網(wǎng)絡(luò)資源：2/3/4G基站信息、2/3/4G小區(qū)信息、BSC、RNC、SGSN、MME等網(wǎng)絡(luò)資源信息。

④網(wǎng)管性能：從采集平臺(tái)獲取分支進(jìn)行計(jì)算匯總，實(shí)時(shí)監(jiān)控需求從采集平臺(tái)直接送綜合監(jiān)控。

⑤告警：歷史告警（補(bǔ)充了很多處理信息）；實(shí)時(shí)告警（沒(méi)有工單狀態(tài)），綜合監(jiān)控目前沒(méi)有實(shí)時(shí)的告警的對(duì)外共享接口，通過(guò)MQ消息送到Kafka總線，經(jīng)過(guò)storm清洗后入Hbase。

⑥撥測(cè)：基于探針撥測(cè)和仿真測(cè)試。

⑦用戶投訴：批量投訴、廣義投訴等。

⑧其他網(wǎng)絡(luò)數(shù)據(jù)，如日志等，后續(xù)檢視具體應(yīng)用的數(shù)據(jù)需求再確定。

⑨無(wú)線專業(yè)的數(shù)據(jù)范圍待后續(xù)結(jié)合地市需求和無(wú)優(yōu)中心溝通后細(xì)化，比如投訴黑點(diǎn)、MR等。

（2）數(shù)據(jù)關(guān)聯(lián)中心。

數(shù)據(jù)關(guān)聯(lián)中心是對(duì)南向接入數(shù)據(jù)進(jìn)行數(shù)據(jù)建模、對(duì)數(shù)據(jù)模型化處理，主要分為“資源ODM化”和“多數(shù)據(jù)源關(guān)聯(lián)”。

①資源信息ODM化：通過(guò)加載資源數(shù)據(jù)后，采用Spark Streaming技術(shù)對(duì)南向接入的其他數(shù)據(jù)源，以實(shí)時(shí)流的方式進(jìn)行高效資源維度信息規(guī)范化處理，回填資源信息，為后續(xù)的多數(shù)據(jù)源關(guān)聯(lián)提供統(tǒng)一標(biāo)準(zhǔn)的資源維度。

②多數(shù)據(jù)源關(guān)聯(lián)：是依據(jù)數(shù)據(jù)融合模型場(chǎng)景，對(duì)實(shí)時(shí)計(jì)算需求場(chǎng)景中使用Spark SQL，在離線計(jì)算需求場(chǎng)景中使用Hive，對(duì)ODM化輸出的各數(shù)據(jù)源的以資源維度為索引進(jìn)行數(shù)據(jù)關(guān)聯(lián)和匯聚的處理。

數(shù)據(jù)源關(guān)聯(lián)原則（三同一全原則）：同最小維度關(guān)聯(lián)，對(duì)最小維度級(jí)別相同的數(shù)據(jù)源進(jìn)行關(guān)聯(lián)。同網(wǎng)絡(luò)類型關(guān)聯(lián)，關(guān)聯(lián)的數(shù)據(jù)源中只存在某種網(wǎng)絡(luò)類型（2、3、4G）的，則根據(jù)網(wǎng)絡(luò)類型維度分別關(guān)聯(lián)輸出模型。同數(shù)據(jù)量級(jí)關(guān)聯(lián)，進(jìn)行關(guān)聯(lián)的數(shù)據(jù)源必須在同一數(shù)據(jù)量級(jí)，否則分開(kāi)模型輸出。全字段關(guān)聯(lián)，關(guān)聯(lián)的各數(shù)據(jù)源中維度外的字段全部輸出到模型里。

數(shù)據(jù)管理中心處理包括實(shí)時(shí)計(jì)算框架和離線計(jì)算框架2類。

①實(shí)時(shí)計(jì)算框架：接入流式消息數(shù)據(jù)，數(shù)據(jù)從接入系統(tǒng)到計(jì)算出結(jié)果耗時(shí)在1 min內(nèi)，進(jìn)程常駐；計(jì)算框架為Spark Steaming，對(duì)接消息隊(duì)列Kafka獲取消息。

②離線計(jì)算框架：接入文件數(shù)據(jù)，數(shù)據(jù)從接入系統(tǒng)到計(jì)算出結(jié)果耗時(shí)在5 min以上，按需啟動(dòng)/結(jié)束進(jìn)程；計(jì)算框架為Spark和Hive，從HDFS獲取輸入數(shù)據(jù)。

（3）數(shù)據(jù)倉(cāng)庫(kù)。

數(shù)據(jù)倉(cāng)庫(kù)負(fù)責(zé)共享數(shù)據(jù)的統(tǒng)一存儲(chǔ)，包括ODM化后的原始接入數(shù)據(jù)和關(guān)聯(lián)后的融合模型數(shù)據(jù)。ODM化后的原始接入數(shù)據(jù)因其數(shù)據(jù)量大，存儲(chǔ)在Hbase集群以提供高速的海量數(shù)據(jù)查詢響應(yīng)。關(guān)聯(lián)后的融合模型數(shù)據(jù)是對(duì)多數(shù)據(jù)源關(guān)聯(lián)匯聚后的統(tǒng)計(jì)數(shù)據(jù)，存儲(chǔ)在Hive以提供靈活組合的高效查詢。

（4）北向共享接口層。

北向共享接口層是一種分布式接口服務(wù)層，負(fù)責(zé)數(shù)據(jù)對(duì)外開(kāi)放共享。外部系統(tǒng)可以通過(guò)5種方式獲取數(shù)據(jù)。

實(shí)時(shí)獲取Hbase數(shù)據(jù)。以REST API方式，對(duì)外發(fā)布GET（URL）接口，將查詢條件封裝在URL？para1=xxx&

para2=xxx，以JSON的格式返回查詢數(shù)據(jù)。此方式主要用于查詢結(jié)果集較小、實(shí)時(shí)性要求高的場(chǎng)景。

異步獲取Hbase數(shù)據(jù)。以Kafka+FTP方式，查詢結(jié)果較大時(shí)使用此方式，將結(jié)果寫入文件中，然后上傳到FTP服務(wù)器上，通過(guò)Kafka返回如何獲取文件的信息。此方式主要用于查詢結(jié)果集較大、實(shí)時(shí)性要求低的場(chǎng)景。

異步獲取即系查詢數(shù)據(jù)。以Kafka+FTP方式，查詢結(jié)果較大時(shí)使用此方式，將結(jié)果寫入文件中，然后上傳到FTP服務(wù)器上，通過(guò)Kafka返回如何獲取文件的信息。此方式主要用于查詢結(jié)果集較大、實(shí)時(shí)性要求低的場(chǎng)景。與第二種的差別是，第二種方式查詢的是Hbase數(shù)據(jù)、而此方式查詢的是Hive數(shù)據(jù)。

FTP定期獲取數(shù)據(jù)。數(shù)據(jù)互聯(lián)中心把使用方需要的數(shù)據(jù)（Hbase、Hive數(shù)據(jù)）上傳至FTP，使用方定期掃描FTP服務(wù)器，發(fā)現(xiàn)有新文件則獲取下來(lái)。考慮到多用戶頻繁掃描FTP服務(wù)器會(huì)增加服務(wù)器壓力，目前未使用該方式。

獲取Kafka實(shí)時(shí)數(shù)據(jù)。通過(guò)Kafka接口，實(shí)時(shí)傳輸數(shù)據(jù)，使用方訂閱相應(yīng)Topic即可獲取所需數(shù)據(jù)。此方式主要用于對(duì)數(shù)據(jù)實(shí)時(shí)性要求極高的場(chǎng)景。

（5）互聯(lián)中心管控分析門戶。

互聯(lián)中心管控分析門戶用于對(duì)互聯(lián)中心進(jìn)行可視化管理和控制，分5個(gè)子模塊：元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、接口管理、安全管理、用戶權(quán)限管理。

元數(shù)據(jù)管理。對(duì)南向接入數(shù)據(jù)進(jìn)行可視化管理；對(duì)資源數(shù)據(jù)的管理和對(duì)數(shù)據(jù)源的資源關(guān)聯(lián)規(guī)則配置，包括資源列表和資源關(guān)聯(lián)規(guī)則兩部分；提供在ODM化和數(shù)據(jù)源關(guān)聯(lián)以后、最終共享給外部系統(tǒng)的模型數(shù)據(jù)視圖；提供接入數(shù)據(jù)的數(shù)據(jù)流向圖。

數(shù)據(jù)質(zhì)量。對(duì)互聯(lián)中心的接入數(shù)據(jù)的完整性進(jìn)行統(tǒng)計(jì)、給出缺失的文件；統(tǒng)計(jì)各模型的資源關(guān)聯(lián)率、關(guān)聯(lián)率低的模型及時(shí)告警。

接口管理。管理南向數(shù)據(jù)接入的種類、接入方式、采集頻率等信息；管理北向共享數(shù)據(jù)的種類、共享方式、時(shí)間粒度等信息。

安全管理。對(duì)用戶行為進(jìn)行監(jiān)控、對(duì)敏感數(shù)據(jù)進(jìn)行脫敏等。

用戶權(quán)限管理。對(duì)每個(gè)訪問(wèn)互聯(lián)中心的賬號(hào)進(jìn)行權(quán)限管理，按要求進(jìn)行授權(quán)。

3.1.3 數(shù)據(jù)總體的流向處理

互聯(lián)中心數(shù)據(jù)流總體上分2類：實(shí)時(shí)數(shù)據(jù)流和非實(shí)時(shí)數(shù)據(jù)流。

（1）實(shí)時(shí)數(shù)據(jù)流。實(shí)時(shí)數(shù)據(jù)流向如圖2所示。

（2）非實(shí)時(shí)數(shù)據(jù)流。非實(shí)時(shí)數(shù)據(jù)流向如圖3所示。

3.2 互聯(lián)中心應(yīng)用場(chǎng)景介紹

3.2.1 已落地應(yīng)用

網(wǎng)管數(shù)據(jù)互聯(lián)中心目前已接入5類數(shù)據(jù)，有效支撐智能研判、自研競(jìng)賽、地市共享等應(yīng)用。接入數(shù)據(jù)及支持的應(yīng)用情況見(jiàn)表2。

后續(xù)將接入話務(wù)網(wǎng)性能數(shù)據(jù)、數(shù)通網(wǎng)性能數(shù)據(jù)、綜分系統(tǒng)數(shù)據(jù)、有線網(wǎng)優(yōu)等性能指標(biāo)數(shù)據(jù)，客響數(shù)據(jù)，廣義投訴，集客、家寬等資源數(shù)據(jù)，HSS日志數(shù)據(jù)等數(shù)據(jù)，豐富網(wǎng)管數(shù)據(jù)，以便支持更多的網(wǎng)管應(yīng)用。

3.2.2 典型應(yīng)用介紹

故障投訴預(yù)警系統(tǒng)：通過(guò)互聯(lián)中心北向接口，獲取所需要的告警、工單、網(wǎng)絡(luò)變更、用戶投訴等數(shù)據(jù)。

數(shù)據(jù)共享方式如圖4所示。

對(duì)于工單、網(wǎng)絡(luò)變更、投訴等數(shù)據(jù)量較小、實(shí)時(shí)性要求高的數(shù)據(jù)，故障投訴預(yù)警系統(tǒng)可以實(shí)時(shí)查詢Hbase獲取數(shù)據(jù)，即圖4中A方式。

對(duì)于告警數(shù)據(jù)，由于數(shù)據(jù)量大、且實(shí)時(shí)性要求也較高，故障投訴預(yù)警系統(tǒng)可以通過(guò)異步查詢Hbase，即圖4中B方式，在Hbase查詢完數(shù)據(jù)后把數(shù)據(jù)文件上傳至數(shù)據(jù)共享機(jī)，同時(shí)會(huì)發(fā)一條通知消息至Kafka，故障投訴預(yù)警系統(tǒng)可以從該消息中獲取到文件信息，然后根據(jù)獲取的文件信息通過(guò)FTP方式從數(shù)據(jù)共享機(jī)獲取數(shù)據(jù)文件。

對(duì)于投訴歷史數(shù)據(jù)、告警歷史數(shù)據(jù)等，數(shù)據(jù)量較大、實(shí)時(shí)性要求較低，故障投訴預(yù)警系統(tǒng)可以通過(guò)異步查詢Hive，即圖4中C方式，在Hive查詢完數(shù)據(jù)后把數(shù)據(jù)文件上傳至數(shù)據(jù)共享機(jī)，同時(shí)會(huì)發(fā)一條通知消息至Kafka，故障投訴預(yù)警系統(tǒng)可以從該消息中獲取到文件信息，然后根據(jù)獲取的文件信息通過(guò)FTP方式從數(shù)據(jù)共享機(jī)獲取數(shù)據(jù)文件。

4 結(jié)語(yǔ)

利用成熟的大數(shù)據(jù)技術(shù)，借鑒互聯(lián)網(wǎng)公司經(jīng)驗(yàn)，構(gòu)建統(tǒng)一的網(wǎng)管數(shù)據(jù)互聯(lián)中心，統(tǒng)一數(shù)據(jù)處理，融合多源數(shù)據(jù)，進(jìn)行關(guān)聯(lián)分析、挖掘分析，可以構(gòu)建更高效的業(yè)務(wù)分析模型，滿足業(yè)務(wù)發(fā)展要求；通過(guò)有效數(shù)據(jù)融合互聯(lián)，進(jìn)行線性回歸，溯源分析，實(shí)現(xiàn)更精準(zhǔn)的端到端分析，可以更好地優(yōu)化客戶體驗(yàn)，提高客戶滿意度。

該文的意義在于提供一個(gè)高效可行的方法，破除網(wǎng)管系統(tǒng)煙囪建設(shè)、數(shù)據(jù)孤島、支撐力度不足問(wèn)題，通過(guò)集中的網(wǎng)管數(shù)據(jù)互聯(lián)中心，提供更強(qiáng)大的數(shù)據(jù)處理能力，更高效的分析模型，更好地促進(jìn)業(yè)務(wù)發(fā)展，提高企業(yè)綜合競(jìng)爭(zhēng)力。

參考文獻(xiàn)

[1] 單紹龍，張西群，劉光富.互聯(lián)異構(gòu)數(shù)據(jù)庫(kù)系統(tǒng)構(gòu)建綜合數(shù)據(jù)中心平臺(tái)的研究[J].計(jì)算機(jī)光盤軟件與應(yīng)用，2012（11）：155.

[2] 陳吉榮，樂(lè)嘉錦.基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述[J].計(jì)算機(jī)工程與科學(xué)，2013，35（10）：25-35.

[3] 石嵐.電信綜合網(wǎng)管系統(tǒng)中的數(shù)據(jù)管理[J].廣東通信技術(shù)，2007，27（12）：40-44.