• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      大規(guī)模數(shù)據(jù)處理及集群性能監(jiān)控與優(yōu)化

      2016-10-18 07:56:00王大恒戰(zhàn)勇杰
      中國(guó)新通信 2016年16期
      關(guān)鍵詞:數(shù)據(jù)處理端口集群

      王大恒 戰(zhàn)勇杰

      【摘要】 近年來(lái),我國(guó)信息化發(fā)展步伐逐漸加快,網(wǎng)絡(luò)用戶(hù)急速上升。網(wǎng)絡(luò)用戶(hù)的增加,為更多的電子商業(yè)帶來(lái)新的機(jī)遇。通過(guò)對(duì)數(shù)據(jù)的有效分析和利用,進(jìn)一步促進(jìn)我過(guò)經(jīng)濟(jì)發(fā)展。由于數(shù)據(jù)的膨脹,小型服務(wù)器顯然不能完成這項(xiàng)工作,因此,以集群為單位的處理方式被得到廣泛的應(yīng)有。但是,通過(guò)終端采集,數(shù)據(jù)被不間斷的傳入集群,速度過(guò)快時(shí)更容易造成集群超負(fù)荷工作,而不能就是對(duì)數(shù)據(jù)進(jìn)行處理;而速度過(guò)慢時(shí)就會(huì)導(dǎo)致集群的作用不能充分的被發(fā)揮出來(lái)。因此本文對(duì)集群性能的監(jiān)控和優(yōu)化進(jìn)行了詳細(xì)的闡述,通過(guò)優(yōu)化對(duì)集群進(jìn)行改善。

      【關(guān)鍵字】 大規(guī)模數(shù)據(jù)出來(lái) 集群 監(jiān)控 優(yōu)化

      一、需求分析

      1.1大規(guī)模數(shù)據(jù)處理需求

      大規(guī)模數(shù)據(jù)處理具有一定的優(yōu)勢(shì),并可以實(shí)現(xiàn)以下功能:集群部署、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)過(guò)濾處理。集群部署:即將Hadoop、Spark、和HBase集群分別部署在不同的服務(wù)器上。利用其中一臺(tái)服務(wù)器作為主節(jié)點(diǎn),可以對(duì)管理文件進(jìn)行命名并對(duì)客戶(hù)端文件進(jìn)行相關(guān)的訪(fǎng)問(wèn),同時(shí)起到總調(diào)度的任務(wù)。集群一般是由一臺(tái)服務(wù)器的主節(jié)點(diǎn)和多臺(tái)子節(jié)點(diǎn)服務(wù)器組成,但是收到實(shí)驗(yàn)室的限制,因此只能選擇兩樣服務(wù)器進(jìn)行操作,但是操作原理依然符合上述操作流程,兩臺(tái)服務(wù)器起到的作用也不同。在集群配置中,首先需要準(zhǔn)備的工作就是對(duì)網(wǎng)絡(luò)環(huán)境進(jìn)行設(shè)置和對(duì)運(yùn)行環(huán)境進(jìn)行設(shè)置。

      1.2集群監(jiān)控需求

      集群監(jiān)控技術(shù)可以更好的滿(mǎn)足對(duì)各個(gè)節(jié)點(diǎn)數(shù)據(jù)的收集,利用集群監(jiān)控技術(shù)可以將CPU的利用率及系統(tǒng)負(fù)載情況進(jìn)行及時(shí)的顯示。最主要的是可以實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)更新,在更新的過(guò)程中主要涉及以下內(nèi)容:數(shù)據(jù)獲取的方法、數(shù)據(jù)傳送給客戶(hù)端、將數(shù)據(jù)轉(zhuǎn)化為更直觀的曲線(xiàn)數(shù)據(jù)。

      二、設(shè)計(jì)優(yōu)化

      1、數(shù)據(jù)處理設(shè)計(jì)。在原始數(shù)據(jù)中每一行都包含呼叫用戶(hù)和被呼叫用戶(hù),并現(xiàn)實(shí)相關(guān)的通話(huà)時(shí)間和呼叫時(shí)間。本文數(shù)據(jù)設(shè)計(jì)中所需要的數(shù)據(jù)是指前三項(xiàng)。主要計(jì)算根據(jù)是用戶(hù)的通話(huà)時(shí)間和次數(shù)。1)先對(duì)所需要的數(shù)據(jù)進(jìn)行初始化設(shè)置,并對(duì)用戶(hù)的通話(huà)時(shí)間進(jìn)行統(tǒng)計(jì),將統(tǒng)計(jì)后的時(shí)間放人PageRank模型中。然后對(duì)原始數(shù)據(jù)進(jìn)行分析,并對(duì)各個(gè)號(hào)碼建立相關(guān)的聯(lián)系。通過(guò)Map對(duì)原始數(shù)據(jù)進(jìn)行分析,輸入>,其中call_number可以被看做為KEY。時(shí)間計(jì)量則是value。通過(guò)Reduce進(jìn)行操作,并將上階段操作中輸出的鍵值和一樣的KEY進(jìn)行合并,將相同的號(hào)碼的數(shù)據(jù)進(jìn)行統(tǒng)計(jì),多時(shí)長(zhǎng)進(jìn)行合并。

      2、性能監(jiān)控。監(jiān)控的主要原理是通過(guò)Hadoop對(duì)相關(guān)守護(hù)進(jìn)程進(jìn)行開(kāi)啟,并注冊(cè)相關(guān)的Metrics到本地MBeanServer上。在該監(jiān)控系統(tǒng)中所用到的監(jiān)控端口包含NameNode的50070端口和DataNode50075端口。而Hadoop本身就自帶監(jiān)控體系,所以訪(fǎng)問(wèn)監(jiān)控端口時(shí)不能直接跳回監(jiān)控?cái)?shù)據(jù)中,而是跳到相關(guān)的jsp頁(yè)面。所以,在訪(fǎng)問(wèn)時(shí)可以利用JMX體系,并獲得集群監(jiān)控中的所有數(shù)據(jù),利用這一體系就建立數(shù)據(jù)進(jìn)行獲取,不僅可以及時(shí)掌握各種信息,同時(shí)數(shù)據(jù)格式也更利于用戶(hù)進(jìn)行處理。監(jiān)控方法有很多種,本文介紹的方法是通過(guò)REST形式對(duì)數(shù)據(jù)進(jìn)行獲取。利用這種方式,可以對(duì)所需數(shù)據(jù)進(jìn)行篩選,只選擇自身需要的數(shù)據(jù)進(jìn)行了解。

      三、實(shí)現(xiàn)

      1、數(shù)據(jù)處理。數(shù)據(jù)處理的過(guò)程中,首先要對(duì)數(shù)據(jù)進(jìn)行過(guò)濾,數(shù)據(jù)過(guò)濾中,輸入和輸出文件分別為/cdr/raw和/cdr/ clear。并利用Spark和Mapreduce對(duì)數(shù)據(jù)進(jìn)行過(guò)濾。最后將過(guò)濾后數(shù)據(jù)結(jié)果分別存到HDFS和HBase中。在HDFS中,數(shù)據(jù)經(jīng)過(guò)過(guò)濾并進(jìn)行儲(chǔ)蓄時(shí),其目錄名和字段分割格式和導(dǎo)入時(shí)的一樣。通過(guò)相關(guān)實(shí)驗(yàn)對(duì)過(guò)濾后的數(shù)據(jù)進(jìn)行迭代計(jì)算,可以對(duì)用戶(hù)進(jìn)行分析,并提取有價(jià)值的用戶(hù)。

      2、監(jiān)控實(shí)現(xiàn)。集群監(jiān)控中的頁(yè)面主要顯示的是集群中的整體情況,并對(duì)整體進(jìn)行分析。其主要內(nèi)容是對(duì)DFS的容量和使用情侶進(jìn)行分析,并通過(guò)反應(yīng)集群對(duì)數(shù)據(jù)的改變進(jìn)行實(shí)時(shí)監(jiān)控。而節(jié)點(diǎn)信息所反映的則是集群中所有的節(jié)點(diǎn)基本情況,并通過(guò)節(jié)點(diǎn)名稱(chēng)進(jìn)行相應(yīng)的點(diǎn)擊,可以對(duì)其信息進(jìn)行查看。而節(jié)點(diǎn)中的主要內(nèi)容則是上述提起的CPU使用情況,在對(duì)數(shù)據(jù)進(jìn)行繪制時(shí),以折線(xiàn)圖為主,并以每一秒為數(shù)據(jù)間隔。除此之外,對(duì)CUP的使用情況進(jìn)行評(píng)估,在評(píng)估的過(guò)程其使用變化發(fā)生改變時(shí)背景色也會(huì)發(fā)生相應(yīng)的變化。而在監(jiān)控中,也可以對(duì)集群的整體情況進(jìn)行相關(guān)監(jiān)控,并對(duì)所有CPU數(shù)據(jù)進(jìn)行分析和評(píng)測(cè),對(duì)整體的CPU負(fù)載情況進(jìn)行準(zhǔn)確的評(píng)估。

      四、總結(jié)

      隨著計(jì)算機(jī)技術(shù)的發(fā)展,集群性能體系需要不斷的優(yōu)化和建立。本文通過(guò)對(duì)集群性能的監(jiān)控情況進(jìn)行分析,并提出了相應(yīng)的優(yōu)化辦法,同時(shí)也對(duì)其監(jiān)控方向進(jìn)行闡述。但是收到本文專(zhuān)業(yè)和知識(shí)的限制,在對(duì)其優(yōu)化的過(guò)程中還存在一定的局限性,因此在今后的學(xué)習(xí)中,會(huì)對(duì)其優(yōu)化辦法進(jìn)行不斷的改善。

      參 考 文 獻(xiàn)

      [1]王馨曼. 大規(guī)模數(shù)據(jù)處理及集群性能監(jiān)控與優(yōu)化[D].大連理工大學(xué),2015.

      [2]林文輝. 基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺(tái)的關(guān)鍵技術(shù)研究[D].北京郵電大學(xué),2014.

      [3]盧興見(jiàn). 大規(guī)模云數(shù)據(jù)中心負(fù)載優(yōu)化調(diào)度方法研究[D].浙江大學(xué),2014.

      猜你喜歡
      數(shù)據(jù)處理端口集群
      集群式AUV可控分群控制算法
      認(rèn)知診斷缺失數(shù)據(jù)處理方法的比較:零替換、多重插補(bǔ)與極大似然估計(jì)法*
      ILWT-EEMD數(shù)據(jù)處理的ELM滾動(dòng)軸承故障診斷
      一種端口故障的解決方案
      一種無(wú)人機(jī)集群發(fā)射回收裝置的控制系統(tǒng)設(shè)計(jì)
      電子制作(2018年11期)2018-08-04 03:25:40
      端口阻塞與優(yōu)先級(jí)
      Python與Spark集群在收費(fèi)數(shù)據(jù)分析中的應(yīng)用
      勤快又呆萌的集群機(jī)器人
      基于希爾伯特- 黃變換的去噪法在外測(cè)數(shù)據(jù)處理中的應(yīng)用
      初識(shí)電腦端口
      電腦迷(2015年6期)2015-05-30 08:52:42
      资溪县| 兴安县| 惠州市| 奉新县| 大厂| 岱山县| 平定县| 大悟县| 嘉义县| 南澳县| 遂昌县| 平陆县| 岳阳县| 蒙自县| 山东省| 枝江市| 鲁甸县| 分宜县| 黑水县| 泰来县| 呼伦贝尔市| 济南市| 连州市| 会东县| 旬阳县| 铁岭市| 中山市| 海南省| 且末县| 宣化县| 镇平县| 睢宁县| 唐山市| 石林| 亳州市| 原平市| 铜梁县| 青阳县| 铅山县| 北票市| 阿荣旗|