李 濤，王 翔，張 玎（.中訊郵電咨詢(xún)?cè)O(shè)計(jì)院有限公司，北京00048；.中國(guó)聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司，北京00033）

0 前言

電信運(yùn)營(yíng)商擁有豐富的網(wǎng)絡(luò)數(shù)據(jù)，包括用戶(hù)上網(wǎng)行為數(shù)據(jù)、用戶(hù)位置數(shù)據(jù)、用戶(hù)網(wǎng)絡(luò)體驗(yàn)數(shù)據(jù)等，既可以支撐運(yùn)營(yíng)商內(nèi)部的網(wǎng)絡(luò)優(yōu)化及用戶(hù)體驗(yàn)提升，又可以支撐個(gè)人征信、人流監(jiān)測(cè)等類(lèi)型的對(duì)外數(shù)據(jù)應(yīng)用。網(wǎng)絡(luò)數(shù)據(jù)具有較高的價(jià)值。

網(wǎng)絡(luò)數(shù)據(jù)涵蓋移動(dòng)網(wǎng)、傳輸網(wǎng)、固網(wǎng)交換、互聯(lián)網(wǎng)等多個(gè)網(wǎng)絡(luò)，且分散于全國(guó)各地，如何能夠在對(duì)網(wǎng)絡(luò)及業(yè)務(wù)影響較小的情況下，將所需數(shù)據(jù)采集匯總，并進(jìn)行加工處理，共享給上層應(yīng)用，是電信運(yùn)營(yíng)商普遍面臨的問(wèn)題。

1 網(wǎng)絡(luò)數(shù)據(jù)采集范圍

電信運(yùn)營(yíng)商的網(wǎng)絡(luò)數(shù)據(jù)涉及移動(dòng)網(wǎng)、固網(wǎng)交換（含IMS、軟交換）、傳輸網(wǎng)、互聯(lián)網(wǎng)、IP 承載網(wǎng)、寬帶接入、業(yè)務(wù)平臺(tái)、動(dòng)力環(huán)境等專(zhuān)業(yè)，數(shù)據(jù)類(lèi)型包括網(wǎng)元類(lèi)（配置、資源、性能、告警）、鏈路類(lèi)（信令、用戶(hù)面）和用戶(hù)感知類(lèi)（投訴、撥測(cè)）。電信運(yùn)營(yíng)商可采集的網(wǎng)絡(luò)數(shù)據(jù)如表1所示。

鑒于移動(dòng)業(yè)務(wù)收入是運(yùn)營(yíng)商的主要收入來(lái)源，故移動(dòng)網(wǎng)要采集的數(shù)據(jù)類(lèi)型最多，包括資源數(shù)據(jù)、告警數(shù)據(jù)、性能數(shù)據(jù)、核心網(wǎng)XDR、核心網(wǎng)原始信令、無(wú)線(xiàn)網(wǎng)MR/TRACE/原始信令等（見(jiàn)表2）。

表1 電信運(yùn)營(yíng)商可采集的網(wǎng)絡(luò)數(shù)據(jù)

表2 移動(dòng)網(wǎng)數(shù)據(jù)采集需求表

2 網(wǎng)絡(luò)數(shù)據(jù)采集與共享架構(gòu)

2.1 總體架構(gòu)

網(wǎng)絡(luò)數(shù)據(jù)采集與共享分為數(shù)據(jù)采集平臺(tái)、數(shù)據(jù)處理與共享平臺(tái)兩部分，其總體架構(gòu)如圖1所示。

網(wǎng)絡(luò)數(shù)據(jù)采集平臺(tái)分為總部和省分兩級(jí)部署，負(fù)責(zé)從專(zhuān)業(yè)綜合網(wǎng)管/OMC/DPI等系統(tǒng)采集網(wǎng)絡(luò)告警、配置數(shù)據(jù)、性能數(shù)據(jù)、信令數(shù)據(jù)（移動(dòng)網(wǎng)核心網(wǎng)信令、無(wú)線(xiàn)側(cè)MR/詳細(xì)信令記錄）等，并將采集到的數(shù)據(jù)上傳至數(shù)據(jù)處理與共享平臺(tái)。

數(shù)據(jù)處理與共享平臺(tái)采用總部一點(diǎn)部署，負(fù)責(zé)對(duì)采集平臺(tái)上傳的數(shù)據(jù)進(jìn)行加工處理，包括數(shù)據(jù)清洗、格式標(biāo)準(zhǔn)化、數(shù)據(jù)抽取、指標(biāo)計(jì)算等，并共享給上層應(yīng)用。

2.2 數(shù)據(jù)流程

網(wǎng)絡(luò)數(shù)據(jù)采集與共享的流程如圖2所示。數(shù)據(jù)的采集與共享將分散在各個(gè)網(wǎng)元、鏈路、廠家網(wǎng)管系統(tǒng)中的網(wǎng)絡(luò)數(shù)據(jù)，根據(jù)網(wǎng)絡(luò)數(shù)據(jù)的類(lèi)型、特性、用途，分別經(jīng)過(guò)不同的處理和加工，再統(tǒng)一通過(guò)平臺(tái)的標(biāo)準(zhǔn)化接口，實(shí)現(xiàn)數(shù)據(jù)的開(kāi)放與共享。

2.3 數(shù)據(jù)采集功能架構(gòu)

網(wǎng)絡(luò)數(shù)據(jù)采集的功能架構(gòu)如圖3所示。網(wǎng)絡(luò)數(shù)據(jù)采集平臺(tái)可以通過(guò)軟采（無(wú)線(xiàn)鏈路、系統(tǒng)）及硬采（鏈路）的方式從網(wǎng)絡(luò)上獲取數(shù)據(jù)，平臺(tái)本身的主要功能模塊包括數(shù)據(jù)采集、平臺(tái)管理、數(shù)據(jù)處理、數(shù)據(jù)服務(wù)、接入鑒權(quán)、數(shù)據(jù)質(zhì)量監(jiān)測(cè)、數(shù)據(jù)服務(wù)管理、調(diào)度管理等。原則上，采集數(shù)據(jù)的格式標(biāo)準(zhǔn)化由被采集系統(tǒng)完成。

2.4 數(shù)據(jù)處理與共享功能架構(gòu)

網(wǎng)絡(luò)數(shù)據(jù)處理與共享的總體架構(gòu)如圖4所示。對(duì)數(shù)據(jù)處理與共享平臺(tái)的主要功能模塊說(shuō)明如下。

a）數(shù)據(jù)存儲(chǔ)。存儲(chǔ)一定周期內(nèi)的全量網(wǎng)元類(lèi)數(shù)據(jù)（告警、性能、配置）、鏈路類(lèi)數(shù)據(jù)（信令、用戶(hù)面）、用戶(hù)感知類(lèi)數(shù)據(jù)（投訴數(shù)據(jù)、撥測(cè)數(shù)據(jù)）。針對(duì)不同的數(shù)據(jù)類(lèi)型與查詢(xún)性能要求提供不同的存儲(chǔ)方案。

b）數(shù)據(jù)處理。支持?jǐn)?shù)據(jù)清洗、移動(dòng)網(wǎng)配置/性能數(shù)據(jù)格式標(biāo)準(zhǔn)化、數(shù)據(jù)統(tǒng)計(jì)/計(jì)算、數(shù)據(jù)抽取、信令解析和實(shí)時(shí)路由等。

c）數(shù)據(jù)共享。提供數(shù)據(jù)訂閱門(mén)戶(hù)，展示可以提供的數(shù)據(jù)范圍，包括數(shù)據(jù)類(lèi)型、區(qū)域、廠商等，供上層應(yīng)用訂閱，經(jīng)過(guò)審批通過(guò)后才有權(quán)使用數(shù)據(jù)。當(dāng)訂閱的數(shù)據(jù)生成時(shí)，平臺(tái)通知應(yīng)用來(lái)取數(shù)據(jù)。支持?jǐn)?shù)據(jù)查詢(xún)和常用的數(shù)據(jù)挖掘模型算法。

d）數(shù)據(jù)管理。支持元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全和任務(wù)調(diào)度。

3 網(wǎng)絡(luò)數(shù)據(jù)采集關(guān)鍵技術(shù)

3.1 采集文件統(tǒng)一命名和格式

鑒于網(wǎng)絡(luò)數(shù)據(jù)采集涉及到的專(zhuān)業(yè)、網(wǎng)元多，持續(xù)時(shí)間長(zhǎng)，為避免重復(fù)、便于回溯和數(shù)據(jù)處理，通常需要規(guī)定文件名稱(chēng)和文件格式。

圖1 網(wǎng)絡(luò)數(shù)據(jù)采集與共享總體架構(gòu)

圖2 網(wǎng)絡(luò)數(shù)據(jù)采集與共享流程

3.1.1 采集文件統(tǒng)一命名

數(shù)據(jù)文件名稱(chēng)需要包含區(qū)域、專(zhuān)業(yè)、被采集系統(tǒng)、系統(tǒng)所屬?gòu)S商、數(shù)據(jù)類(lèi)型、采集網(wǎng)元設(shè)備類(lèi)型、采集周期、數(shù)據(jù)生成時(shí)間等信息。文件命名可采用下述規(guī)則：［］.csv。

數(shù)據(jù)上報(bào)打包文件命名采用下述規(guī)則：數(shù)據(jù)文件名稱(chēng).tar.gz。

數(shù)據(jù)文件名各字段的具體定義如表3所示。

3.1.2 采集文件統(tǒng)一格式

打包文件格式：采用tar.gz文件格式打包，tar.gz代表在UNIX/Linux 平臺(tái)下的通過(guò)tar命令打包，通過(guò)gzip命令進(jìn)行壓縮，將數(shù)據(jù)文件打包成一個(gè)文件。

數(shù)據(jù)文件的格式：原則上采用CSV 文件格式，文件中數(shù)據(jù)項(xiàng)以“，”或“|”間隔。對(duì)于明確要求采用廠家私有文件格式的數(shù)據(jù)，可不采用CSV文件格式。

3.2 采集狀態(tài)監(jiān)測(cè)

采集狀態(tài)的監(jiān)測(cè)對(duì)于保障數(shù)據(jù)完整性、及時(shí)性、采集任務(wù)可維護(hù)性具有重要作用。要求可通過(guò)采集平臺(tái)監(jiān)控每個(gè)采集任務(wù)的數(shù)據(jù)質(zhì)量情況。

a）數(shù)據(jù)完整性監(jiān)控：針對(duì)性能、配置等數(shù)據(jù)，能夠?qū)Σ杉m配器生成的數(shù)據(jù)，參考?xì)v史數(shù)據(jù)情況，如文件數(shù)目、大小等判斷數(shù)據(jù)的完整性，并進(jìn)行監(jiān)控（若差異大于設(shè)定閾值則產(chǎn)生告警）；針對(duì)告警數(shù)據(jù)，能夠根據(jù)解析完整性等判斷是否存在數(shù)據(jù)解析失敗。

圖3 網(wǎng)絡(luò)數(shù)據(jù)采集平臺(tái)功能架構(gòu)

圖4 網(wǎng)絡(luò)數(shù)據(jù)處理與共享總體架構(gòu)

b）數(shù)據(jù)及時(shí)性監(jiān)控：針對(duì)告警和性能等實(shí)時(shí)或準(zhǔn)實(shí)時(shí)數(shù)據(jù)，能夠根據(jù)OMC/EMS 生成數(shù)據(jù)時(shí)間、采集適配器采集數(shù)據(jù)時(shí)間、接收時(shí)間等多個(gè)時(shí)間點(diǎn)，判斷數(shù)據(jù)從采集到處理和呈現(xiàn)的過(guò)程中，整體的及時(shí)性和各環(huán)節(jié)的延遲是否符合及時(shí)性要求。同時(shí)，可設(shè)定及時(shí)性閾值，判斷數(shù)據(jù)的采集到呈現(xiàn)過(guò)程是否及時(shí)，并進(jìn)行監(jiān)控（若差異大于設(shè)定閾值則產(chǎn)生告警）。

3.2.1 采集接口狀態(tài)監(jiān)測(cè)

能夠統(tǒng)計(jì)并展示指定時(shí)間段的接口調(diào)用成功率、流量、調(diào)用次數(shù)和頻次。對(duì)于非實(shí)時(shí)數(shù)據(jù)的上傳，能夠顯示采集文件的名稱(chēng)、省分、專(zhuān)業(yè)、數(shù)據(jù)類(lèi)型、文件大小、文件生成時(shí)間、采集時(shí)間、省分上報(bào)時(shí)間、總部接收時(shí)間、成功失敗狀態(tài)、接口連接狀態(tài)等。接口檢查點(diǎn)包括但不限于以下幾點(diǎn)。

表3 數(shù)據(jù)文件名各字段定義

a）接口文件名稱(chēng)。接口文件名稱(chēng)缺失，應(yīng)主動(dòng)告警（如界面告警、短信提示、郵件、彩信）。

b）接口文件延遲（總部接收文件時(shí)間與省分上報(bào)時(shí)間/總部采集時(shí)間差、總部接收文件時(shí)間與文件生成時(shí)間差）。接口文件延遲時(shí)間差值大于一定值，應(yīng)主動(dòng)告警（如界面告警、短信提示、郵件、彩信）。

c）接口數(shù)據(jù)波動(dòng)（如與7天前或前1天相比）。接口數(shù)據(jù)波動(dòng)，包括文件數(shù)量、大小等，差值大于一定值，應(yīng)主動(dòng)告警（如界面告警、短信提示、郵件、彩信）。

d）總部與一級(jí)架構(gòu)網(wǎng)管/OMC 等系統(tǒng)的連接狀態(tài)，若連接失敗，應(yīng)主動(dòng)生成告警。告警方式支持界面告警、短信提示、郵件。

e）生成總部直采采集狀態(tài)文件，包括采集文件名稱(chēng)、省分、專(zhuān)業(yè)、數(shù)據(jù)類(lèi)型、大小、文件生成時(shí)間、采集時(shí)間、總部接收時(shí)間、成功失敗狀態(tài)、接口連接狀態(tài)等。

f）接收省分采集平臺(tái)上報(bào)的省分采集狀態(tài)，結(jié)合總部接收時(shí)間，生成省分采集狀態(tài)文件，包括采集文件的名稱(chēng)、省分、專(zhuān)業(yè)、數(shù)據(jù)類(lèi)型、大小、文件生成時(shí)間、采集時(shí)間、省分上報(bào)時(shí)間、總部接收時(shí)間、成功失敗狀態(tài)、接口連接狀態(tài)等。并與總部直采采集狀態(tài)文件合并生成全網(wǎng)采集狀態(tài)文件；總部可通過(guò)接口方式配置省分采集狀態(tài)上報(bào)的時(shí)間間隔。

g）接收省分采集平臺(tái)與省分網(wǎng)管/OMC/DPI 等系統(tǒng)的連接狀態(tài)失敗信息，并生成告警。告警方式支持界面告警、短信提示、郵件。

3.2.2 采集設(shè)備狀態(tài)監(jiān)測(cè)

能夠監(jiān)控采集機(jī)的運(yùn)行狀態(tài)，同時(shí)對(duì)采集機(jī)的自身資源（如CPU、內(nèi)存、硬盤(pán)）使用情況進(jìn)行監(jiān)控。采集器適配器與OMC/EMS 通過(guò)一定頻率的心跳通信保持連接，若采集適配器與OMC/EMS 之間出現(xiàn)中斷，可通過(guò)心跳檢測(cè)發(fā)現(xiàn)并自動(dòng)重新連接，如通過(guò)多次嘗試無(wú)法建立連接，并達(dá)到設(shè)置閾值，通過(guò)產(chǎn)生告警并前轉(zhuǎn)到集中呈現(xiàn)界面來(lái)提示相關(guān)故障需要處理。能夠?qū)崟r(shí)監(jiān)控采集機(jī)的CPU、內(nèi)存、磁盤(pán)使用情況，以了解采集機(jī)的相關(guān)負(fù)荷，避免采集機(jī)負(fù)荷過(guò)大導(dǎo)致采集數(shù)據(jù)質(zhì)量問(wèn)題，如超過(guò)設(shè)定閾值，可通過(guò)生成告警并前轉(zhuǎn)到集中呈現(xiàn)界面提示相關(guān)情況需要處理。

總部采集平臺(tái)接收省分采集平臺(tái)定時(shí)向總部上報(bào)的省端采集設(shè)備情況：省端采集機(jī)的CPU、內(nèi)存、磁盤(pán)、心跳情況。

3.3 采集與共享接口設(shè)計(jì)

采集與共享接口的設(shè)計(jì)既要滿(mǎn)足采集需求，又要考慮簡(jiǎn)單和統(tǒng)一性，通常涉及采集任務(wù)下發(fā)、補(bǔ)采、采集、狀態(tài)上報(bào)、數(shù)據(jù)共享等。對(duì)于實(shí)時(shí)數(shù)據(jù)消息傳遞，通常采用WebService 或Socket 協(xié)議，對(duì)于非實(shí)時(shí)數(shù)據(jù)采集，通常采用FTP 協(xié)議。采集與共享接口設(shè)計(jì)如表4所示。

4 結(jié)束語(yǔ)

網(wǎng)絡(luò)數(shù)據(jù)的采集與共享是電信運(yùn)營(yíng)商推動(dòng)大數(shù)據(jù)發(fā)展與應(yīng)用的一項(xiàng)基礎(chǔ)工作。鑒于網(wǎng)絡(luò)數(shù)據(jù)非常多且數(shù)據(jù)量大，電信運(yùn)營(yíng)商可以依據(jù)需求緊迫程度，分批分步驟進(jìn)行采集。同時(shí)，由于網(wǎng)絡(luò)數(shù)據(jù)涉及用戶(hù)位置等諸多個(gè)人隱私，在對(duì)外共享時(shí)應(yīng)充分考慮數(shù)據(jù)安全，符合國(guó)家法律法規(guī)。

［1］ 栗蔚，魏凱. 大數(shù)據(jù)的技術(shù)、應(yīng)用和價(jià)值變革［J］. 電信網(wǎng)技術(shù)，2013（7）.

表4 網(wǎng)絡(luò)數(shù)據(jù)采集與共享接口設(shè)計(jì)

［2］ 嚴(yán)霄鳳，張德馨.大數(shù)據(jù)研究［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2013（4）.

［3］ 王秀磊，劉鵬.大數(shù)據(jù)關(guān)鍵技術(shù)［J］.中興通訊技術(shù)，2013（4）.

［4］ 李國(guó)杰，程學(xué)旗.大數(shù)據(jù)研究:未來(lái)科技及經(jīng)濟(jì)社會(huì)發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考［J］.中國(guó)科學(xué)院院刊，2012（6）.

［5］ 王文超，石海明，曾華鋒.芻議大數(shù)據(jù)時(shí)代的國(guó)家信息安全［J］.國(guó)防科技，2013（2）.

［6］ 韓晶.大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究［D］.北京：北京郵電大學(xué)，2013.

［7］ 史凡，吳宏建.基于SDN 和NFV 的新型智能管道技術(shù)發(fā)展趨勢(shì)［J］.電信網(wǎng)技術(shù)，2013（3）：1–4.

［8］ 覃艷，王洪，周全華.數(shù)據(jù)挖掘中聚類(lèi)算法的研究［J］.網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2014（1）：65–66.

［9］ 卓海藝. 基于HBase 的海量數(shù)據(jù)實(shí)時(shí)查詢(xún)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［D］.北京：北京郵電大學(xué)，2013.

［10］傅軼娜. 基于MapReduce 和遺傳算法的粗糙集屬性約簡(jiǎn)研究［D］.安徽：安徽大學(xué)，2014.

［11］張學(xué)浪.基于Hadoop的海量圖像檢索關(guān)鍵技術(shù)研究［D］.楊凌：西北農(nóng)林科技大學(xué)，2013.

［12］孟小峰，慈祥.大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)［J］.計(jì)算機(jī)研究與發(fā)展，2013（1）.