電信大數(shù)據(jù)管理應(yīng)用技術(shù)研究

郭勇

【摘要】 當(dāng)前面對(duì)電信大數(shù)據(jù)管理運(yùn)用科技的研究模式很多，然而當(dāng)前的應(yīng)用多是Hadoop結(jié)構(gòu)的數(shù)據(jù)儲(chǔ)蓄與應(yīng)用開發(fā)，使用Hadoop的電信大數(shù)據(jù)運(yùn)用通常包含儲(chǔ)存體系、換算體系與HBase。該模式的出現(xiàn)為我國(guó)的電信大數(shù)據(jù)管控提供了參考依據(jù)。

【關(guān)鍵詞】 電信 大數(shù)據(jù) 管理 應(yīng)用科技 研究

伴隨移動(dòng)網(wǎng)絡(luò)的出現(xiàn)，電信領(lǐng)域的業(yè)務(wù)體系也出現(xiàn)了新的業(yè)務(wù)狀態(tài)與參數(shù)種類。微博、微信等的出現(xiàn)所伴隨的非構(gòu)造化語音記載、圖像、視頻等參數(shù)加速了電信領(lǐng)域參數(shù)量的暴增。但是，目前的狀況已然與過去迥異，大批的非構(gòu)造化參數(shù)并非只需要儲(chǔ)蓄、傳送等基本功能，而是對(duì)非構(gòu)造化參數(shù)實(shí)施解析，并完成用戶滿意度的提升。因此，對(duì)電信大數(shù)據(jù)管理應(yīng)用科技實(shí)施探討，有著極大的價(jià)值。

一、進(jìn)行故障恢復(fù)作業(yè)的重點(diǎn)是故障參數(shù)訊息

1、互聯(lián)網(wǎng)資源故障相關(guān)參數(shù)。由于互聯(lián)網(wǎng)資源品種繁瑣、分布較為零散等特征，因此互聯(lián)網(wǎng)資源參數(shù)是電信故障管控的重要參數(shù)來源?；ヂ?lián)網(wǎng)故障有關(guān)參數(shù)通常包含：1.一部分較為基本的訊息參數(shù)；2.每個(gè)設(shè)施上的關(guān)鍵文檔；3.故障的原始數(shù)據(jù)；4.互聯(lián)網(wǎng)資源的配置訊息；5.資源性故障訊息。

2、業(yè)務(wù)服務(wù)故障有關(guān)參數(shù)。假如業(yè)務(wù)服務(wù)出現(xiàn)問題，就無法為電信大數(shù)據(jù)管理提供幫助。因此，夜五服務(wù)參數(shù)是找到電信業(yè)務(wù)產(chǎn)生故障的地區(qū)的重要參數(shù)來源。業(yè)務(wù)服務(wù)問題的相關(guān)參數(shù)包含：1.業(yè)務(wù)自身的基礎(chǔ)訊息；2.資源故障表；3.客戶的基本利用狀況訊息；4.伺服器端的文檔；5.客戶報(bào)修表；6.累計(jì)的經(jīng)驗(yàn)理論等。

3、用戶體驗(yàn)類故障訊息。用戶體驗(yàn)類故障訊息與用戶使用的滿意度關(guān)系密切。用戶體驗(yàn)類故障訊息包含：1.用戶自動(dòng)生成的SLA違反單；2.SLA考評(píng)成果表與SLA考評(píng)參數(shù)；3.客戶的基礎(chǔ)應(yīng)用訊息；4.累計(jì)的經(jīng)驗(yàn)常識(shí)等。[1]

二、電信大數(shù)據(jù)管理應(yīng)用技術(shù)研究

1、Hadoop。Hadoop是一種分布式系統(tǒng)基礎(chǔ)架構(gòu)，通過Apache基金會(huì)研發(fā)，該系統(tǒng)有著極強(qiáng)的拓展功能，可以支持4000各節(jié)點(diǎn)與超過10P的參數(shù)。電信經(jīng)營(yíng)商能夠在未充分解讀底層情況的前提下，研發(fā)分布式程序，將任務(wù)調(diào)整到參數(shù)所處的節(jié)點(diǎn)，降低互聯(lián)網(wǎng)成本，最大程度地使用集群功能快速換算與儲(chǔ)蓄。Hadoop建立了構(gòu)造花的訪問參數(shù)庫，并且供應(yīng)了大批的參數(shù)挖掘工具，還給予了一些分布式同步以及遠(yuǎn)程調(diào)用與序列化用具，電信經(jīng)營(yíng)商應(yīng)參考其變通性強(qiáng)、便于管控的特征，管控節(jié)點(diǎn)的進(jìn)入與退出。當(dāng)前，電信經(jīng)營(yíng)商所使用的Hadoop系統(tǒng)包括：儲(chǔ)蓄系統(tǒng)、換算系統(tǒng)、HBase。

2、HDFS。HDFS具備強(qiáng)大的糾錯(cuò)功能，而且創(chuàng)設(shè)布置在成本較低的硬件上。并且其吞吐量驚人，能夠訪問應(yīng)用程序的參數(shù)，通常被用于超大參數(shù)集的應(yīng)用程序中。整個(gè)HDFS系統(tǒng)能夠由幾百個(gè)甚至上千個(gè)儲(chǔ)蓄者文檔參數(shù)片段的伺服器構(gòu)成，并且其規(guī)模是極為龐大，每一類組成部分都容易產(chǎn)生問題。這也表示HDFS里的一部分原件是無效的。所以，故障測(cè)試與自動(dòng)復(fù)原是HDFS的中心目的。經(jīng)典的HDFS文檔尺寸范疇是GB到TB。因此，HDFS被調(diào)節(jié)為與大文檔兼容。其供應(yīng)極高的聚合參數(shù)帶寬，一類集群內(nèi)不但支持上百個(gè)節(jié)點(diǎn)，還兼容千萬檔次的文檔。大多數(shù)的HDFS程序?qū)ξ臋n操控多使用一次或若干次讀取的形式。一類文檔只要被建立、錄入與關(guān)閉后就沒有必要再進(jìn)行更改。對(duì)電信經(jīng)營(yíng)商來講，在臨近換算參數(shù)儲(chǔ)蓄的方位來完成運(yùn)算是最為可靠的行為，特別是在參數(shù)及極為龐大之時(shí)。如此，緩解了互聯(lián)網(wǎng)的擁擠，提升了體系的整體吞吐量。

3、MapReduce。MapReduce是一類編程模型，通常被用在海量參數(shù)集的并行換算中。其重要理念，均是從函數(shù)式編程語言中得來的，另外從矢量編程語言中也能夠獲得一部分。比如，電信經(jīng)營(yíng)商通過參數(shù)鉆取來獲得市場(chǎng)動(dòng)態(tài)階段，可以使用的一類模式是研發(fā)一類或若干類程序，將其布置到多部設(shè)備中，將經(jīng)營(yíng)商搜集到的有關(guān)參數(shù)集細(xì)化為若干部分，一部電腦完成一個(gè)任務(wù)。這類辦法速率驚人，然而布置起來比較繁瑣。其一，必須通過手動(dòng)模式將程序拷貝到另外的電腦中，并將參數(shù)及分離；其二，需要將若干個(gè)運(yùn)轉(zhuǎn)成果實(shí)施整合，這也是難度最大的部分。目前，使用MapReduce來完成參數(shù)的處置，其有著相對(duì)獨(dú)立的處置框架，該框架會(huì)提示怎樣拆分參數(shù)集、怎樣拷貝程序、怎樣整合換算成果。經(jīng)營(yíng)商只需要界定好任務(wù)，其他工作都由MapReduce。[2]

對(duì)電信經(jīng)營(yíng)商來講，Hadoop分布式文檔系統(tǒng)的初級(jí)階段的創(chuàng)設(shè)通常界定硬件并非非異常的，而故障是常態(tài)，者對(duì)參數(shù)的儲(chǔ)蓄提出了更為苛刻的要求。電信經(jīng)營(yíng)商使用Hadoop中參數(shù)自動(dòng)拷貝的功能，將一些參數(shù)拷貝為三份，一份置于伺服器上，一份置于一臺(tái)機(jī)架的另一部伺服器上，一份置于可有幾率在另外一臺(tái)機(jī)架的另外一部伺服器上。其是分布式文檔系統(tǒng)，每回要求錄入的磁盤與伺服器物理方位存在差異，會(huì)形成高并發(fā)的讀寫要求。HBase分布式參數(shù)庫是分布式儲(chǔ)蓄系統(tǒng)，其重要特點(diǎn)是四維儲(chǔ)蓄系統(tǒng)，以往的參數(shù)庫是二維表的構(gòu)造，行列分明。

結(jié)束語：：綜上，我國(guó)電信經(jīng)營(yíng)商已經(jīng)將開源Hadoop科技與商用電信服務(wù)體系相結(jié)合，其呈現(xiàn)出的科技與運(yùn)用價(jià)值表現(xiàn)在兩大層面：其一，是整體系統(tǒng)布置，大批數(shù)據(jù)儲(chǔ)蓄的安全性；其二，是面對(duì)大批參數(shù)實(shí)施高特性檢索與解析作業(yè)。

參 考 文 獻(xiàn)

[1] 陳娜，張金娟，劉智瓊等.基于Hadoop平臺(tái)的電信大數(shù)據(jù)入庫及查詢性能優(yōu)化研究[J].移動(dòng)通信，2014，（7）：58-63.

[2] 高永梅，琚春華，鮑福光等.基于大數(shù)據(jù)的電信領(lǐng)域用戶服務(wù)模型與數(shù)據(jù)融合策略研究[J].電信科學(xué)，2014，30（7）：62-69.