張靜嫻 諸旻 曾振婷

【摘要】 本文首先介紹了大數(shù)據(jù)特點(diǎn)和發(fā)展，介紹了大數(shù)據(jù)思維轉(zhuǎn)變的環(huán)境下電信運(yùn)營(yíng)商發(fā)展大數(shù)據(jù)的驅(qū)動(dòng)力，通過(guò)領(lǐng)先企業(yè)對(duì)標(biāo)分析得出電信運(yùn)營(yíng)商大數(shù)據(jù)的啟示，結(jié)合大數(shù)據(jù)技術(shù)的發(fā)展，研究某電信運(yùn)營(yíng)商省公司大數(shù)據(jù)平臺(tái)的建設(shè)方案，最后提出了對(duì)大數(shù)據(jù)管理保障的一些思考。

【關(guān)鍵詞】 大數(shù)據(jù) Hadoop 統(tǒng)一建模 智能化

一、我司建設(shè)大數(shù)據(jù)平臺(tái)驅(qū)動(dòng)力

（1）解決數(shù)據(jù)分散問(wèn)題

我司分別在OSS域、BSS域建設(shè)數(shù)據(jù)分析平臺(tái)，平臺(tái)煙囪式和數(shù)據(jù)孤島式的模式導(dǎo)致了數(shù)據(jù)和模型不共享、數(shù)據(jù)使用效率低下、應(yīng)用競(jìng)相開(kāi)發(fā)等諸多問(wèn)題。

（2）提升企業(yè)經(jīng)營(yíng)效率

各域數(shù)據(jù)互提頻繁（OSS和BSS之間互提數(shù)據(jù)達(dá)100多項(xiàng)，隨著市場(chǎng)營(yíng)銷(xiāo)和網(wǎng)絡(luò)運(yùn)維等活動(dòng)的復(fù)雜度和精確度要求越來(lái)越高，互提需求還會(huì)日益加?。F(xiàn)網(wǎng)只能以周/月為時(shí)間單位進(jìn)行接口互傳，域間開(kāi)放的數(shù)據(jù)有限，嚴(yán)重影響企業(yè)生產(chǎn)活動(dòng)，特別是無(wú)法支撐應(yīng)用的突發(fā)性、臨時(shí)性需求。

（3）提升業(yè)務(wù)能力

通過(guò)大數(shù)據(jù)平臺(tái)建設(shè)，匯聚自有和外部大數(shù)據(jù)，實(shí)現(xiàn)大數(shù)據(jù)“自用”和“他用”，共同提升企業(yè)的業(yè)務(wù)能力，包括提升業(yè)務(wù)量、延長(zhǎng)用戶生命周期、數(shù)據(jù)對(duì)外變現(xiàn)等。

二、我司大數(shù)據(jù)平臺(tái)規(guī)劃建設(shè)方案研究

2.1規(guī)劃原則

1）支撐由降本增效向外部服務(wù)延生的大數(shù)據(jù)應(yīng)用；2）解耦應(yīng)用與數(shù)據(jù)、平臺(tái)開(kāi)放，寧可挪動(dòng)計(jì)算而不挪動(dòng)數(shù)據(jù)；3）分層分域：橫向分為功能域和管理域，功能域縱向又分為采集層、數(shù)據(jù)共享和存儲(chǔ)層、服務(wù)目錄層、應(yīng)用層和展現(xiàn)層；4）架構(gòu)混搭、技術(shù)開(kāi)放：數(shù)據(jù)共享和存儲(chǔ)層采用基于云計(jì)算的“關(guān)系型數(shù)據(jù)庫(kù)MPP+Hadoop”混搭架構(gòu)，同時(shí)技術(shù)上能適用未來(lái)至少5年大數(shù)據(jù)技術(shù)的主流發(fā)展；5）對(duì)于應(yīng)用架構(gòu)采用模塊化和標(biāo)準(zhǔn)化兩種設(shè)計(jì)原則；6）強(qiáng)調(diào)實(shí)時(shí)服務(wù)能力，包括服務(wù)過(guò)程中實(shí)時(shí)數(shù)據(jù)采集、實(shí)時(shí)分析、實(shí)時(shí)服務(wù)傳遞、自適應(yīng)深度學(xué)習(xí)。

2.2規(guī)劃目標(biāo)架構(gòu)：

1）平臺(tái)分為功能域和平臺(tái)管理域；2）功能域分為采集層、數(shù)據(jù)存儲(chǔ)和處理層、服務(wù)目錄層、應(yīng)用層、展現(xiàn)層；3）共享和存儲(chǔ)層分為：ETL、存儲(chǔ)層和計(jì)算、模型層；4）管理域主要包括：元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、安全管理、系統(tǒng)管理等。

2.3數(shù)據(jù)源規(guī)劃

1）內(nèi)部生產(chǎn)運(yùn)營(yíng)數(shù)據(jù)，包括客戶、業(yè)務(wù)、產(chǎn)品、話單、服務(wù)營(yíng)銷(xiāo)、行業(yè)應(yīng)用、渠道等，采自BOSS、CRM、客服、電渠等系統(tǒng)。2）內(nèi)部網(wǎng)絡(luò)承載數(shù)據(jù)，包括網(wǎng)絡(luò)資源、信令（Gn/ Gb/S1-U等）、省網(wǎng)/IDC/第三方出口流量數(shù)據(jù)、應(yīng)用內(nèi)容等，采自信令監(jiān)測(cè)、DPI系統(tǒng)、綜合資源管理、性能管理等系統(tǒng)。3）內(nèi)部企業(yè)管理數(shù)據(jù)，包括企業(yè)收入、運(yùn)營(yíng)成本、運(yùn)營(yíng)管理等數(shù)據(jù)，采自ERP、MIS、供應(yīng)鏈、采購(gòu)管理等系統(tǒng)。4）外部互聯(lián)網(wǎng)和政企數(shù)據(jù)，包括公開(kāi)發(fā)布的互聯(lián)網(wǎng)報(bào)告、政府報(bào)告、行業(yè)數(shù)據(jù)（金融、交通、旅游等）、爬蟲(chóng)爬取數(shù)據(jù)等。5）實(shí)時(shí)數(shù)據(jù)：客戶在線咨詢、查詢、 辦理的數(shù)據(jù)，關(guān)注客戶在各類(lèi)社交媒體上的發(fā)言、在線的評(píng)論信息等等，還包括客戶交易過(guò)程中失敗的數(shù)據(jù)等。

2.4安全規(guī)劃

大數(shù)據(jù)平臺(tái)打破了原來(lái)各域的安全機(jī)制，增加了數(shù)據(jù)共享的風(fēng)險(xiǎn)和數(shù)據(jù)二級(jí)用途上的風(fēng)險(xiǎn)；工信部發(fā)布的《2014年大數(shù)據(jù)白皮書(shū)》也提到“為了釋放大數(shù)據(jù)潛力，監(jiān)管的重點(diǎn)應(yīng)該‘從數(shù)據(jù)收集環(huán)節(jié)，轉(zhuǎn)移數(shù)據(jù)使用環(huán)節(jié)”。大數(shù)據(jù)環(huán)境下主要面臨三方面安全風(fēng)險(xiǎn)：架構(gòu)安全、數(shù)據(jù)安全、使用安全。

我司大數(shù)據(jù)平臺(tái)的安全主要從以下幾個(gè)方面進(jìn)行考慮：1）數(shù)據(jù)存儲(chǔ)的安全：包括數(shù)據(jù)脫敏和數(shù)據(jù)加密。利用采集清洗及流處理的功能，可以實(shí)現(xiàn)對(duì)各個(gè)字段，針對(duì)性的脫敏處理，并且保證在數(shù)據(jù)進(jìn)入hadoop之前已經(jīng)是脫敏之后的數(shù)據(jù)；大數(shù)據(jù)平臺(tái)以HDFS為基礎(chǔ)，利用HDFS驅(qū)動(dòng)提供的Format功能，實(shí)現(xiàn)hadoop云平臺(tái)系統(tǒng)級(jí)、業(yè)務(wù)級(jí)數(shù)據(jù)加密。2）平臺(tái)權(quán)限管理：外部客戶只能通過(guò)MR和HIVE兩種方式訪問(wèn)電信運(yùn)營(yíng)商的數(shù)據(jù)，MR的權(quán)限控制比較困難，所以通過(guò)對(duì)HDFS的訪問(wèn)權(quán)限來(lái)控制達(dá)到MR的權(quán)限控制的目的。3）數(shù)據(jù)訪問(wèn)控制要求：平臺(tái)需要提供嚴(yán)格的數(shù)據(jù)訪問(wèn)安全控制，用戶需獲得授權(quán)文件Token才可以訪問(wèn)數(shù)據(jù)， 授權(quán)文件Token包含授權(quán)的表名、字段等數(shù)據(jù)訪問(wèn)權(quán)限控制參數(shù)。授權(quán)文件Token提供有效期配置功能。

2.5大數(shù)據(jù)平臺(tái)建設(shè)思路

采取“初始規(guī)模較小、快速發(fā)現(xiàn)問(wèn)題快速調(diào)整完善”的迭代機(jī)制開(kāi)展建設(shè)。1）存儲(chǔ)資源：采用一步規(guī)劃一步到位的建設(shè)方式。大數(shù)據(jù)應(yīng)用發(fā)展需要全量數(shù)據(jù)進(jìn)行支撐，構(gòu)建用戶統(tǒng)一視圖和標(biāo)簽庫(kù)方便應(yīng)用隨時(shí)調(diào)用，因此數(shù)據(jù)和存儲(chǔ)等剛性需求在建設(shè)初期就要形成全面能力；2）計(jì)算資源：采用小步快跑按需擴(kuò)容的建設(shè)方式。大數(shù)據(jù)應(yīng)用豐富多樣，當(dāng)前暫時(shí)無(wú)法規(guī)劃完整的應(yīng)用體系，因此建設(shè)初期滿足當(dāng)前緊迫需求，后期根據(jù)業(yè)務(wù)需求進(jìn)行滾動(dòng)式的快速擴(kuò)容。

三、結(jié)束語(yǔ)

基于云計(jì)算混搭架構(gòu)規(guī)劃建設(shè)大數(shù)據(jù)平臺(tái)，能夠有效降低數(shù)據(jù)存儲(chǔ)成本，實(shí)現(xiàn)實(shí)現(xiàn)六個(gè)統(tǒng)一（一點(diǎn)采集、一點(diǎn)存儲(chǔ)、一點(diǎn)加工、一點(diǎn)交換、一點(diǎn)分析、一點(diǎn)提供服務(wù)）、實(shí)時(shí)分析、大并發(fā)查詢的能力，滿足運(yùn)營(yíng)商各類(lèi)大數(shù)據(jù)應(yīng)用的業(yè)務(wù)需求。