• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看

      ?

      大數(shù)據(jù)和云計(jì)算的鞍馬情

      2014-12-24 07:56:55張振倫
      軟件和集成電路 2014年8期
      關(guān)鍵詞:網(wǎng)絡(luò)拓?fù)?/a>可用性開(kāi)發(fā)者

      云計(jì)算就是大數(shù)據(jù)這匹駿馬所要的好鞍,只有通過(guò)彈性、可靠、自助服務(wù)的云計(jì)算平臺(tái),才能充分發(fā)揮大數(shù)據(jù)的威力,讓它縱橫馳騁業(yè)務(wù)的各個(gè)疆場(chǎng)。

      自從V Mwa re在2013年的全球用戶大會(huì)上推出vSphere Big Data Extention(B D E)以來(lái),大數(shù)據(jù)這匹駿馬越來(lái)越受到大家的追捧。當(dāng)然B D E主要針對(duì)是Hadoop的大數(shù)據(jù)應(yīng)用,其實(shí)大數(shù)據(jù)不僅僅是Hadoop,即使只算Hadoop也還有不同的發(fā)布版本。但是無(wú)論Hadoop的哪個(gè)版本或者哪個(gè)大數(shù)據(jù)平臺(tái),都蜂擁開(kāi)始追隨云計(jì)算,就像好馬配好鞍一樣重要,那怎樣的云計(jì)算平臺(tái)才是大數(shù)據(jù)的好鞍呢?運(yùn)行環(huán)境平臺(tái):多租戶、資源供應(yīng)和管理。

      在過(guò)去幾個(gè)月的客戶溝通中,我學(xué)習(xí)了運(yùn)行大數(shù)據(jù)的多種不同平臺(tái),包括Twitter使用的Mesos、Fedex使用的虛擬化和Yahoo使用的Yarn。而不同的云計(jì)算平臺(tái)特性能解決大數(shù)據(jù)應(yīng)用的不同問(wèn)題。比如:Yarn的目標(biāo)是支持Hadoop上的非M-R應(yīng)用。而Twitter使用的Mesos則可以支持混合的負(fù)載,并且會(huì)利用操作系統(tǒng)的虛擬化。由于企業(yè)的大數(shù)據(jù)應(yīng)用場(chǎng)景往往是多樣的,所以需要選擇一種平臺(tái)適合不同的應(yīng)用場(chǎng)景,這包括:

      ●部署新的大數(shù)據(jù)應(yīng)用極其簡(jiǎn)單:可以通過(guò)自動(dòng)化和自助服務(wù)來(lái)完成;

      ●可以支持多種不同的負(fù)載:也就是能運(yùn)行多種大數(shù)據(jù)應(yīng)用,不僅僅限于Map-Reduce,還可支持一些Hadoop生態(tài)圈應(yīng)用、SQL服務(wù)和其他通用應(yīng)用;

      ●可靠的安全隔離:如果需要將某些敏感信息隔離,該平臺(tái)有能力確保數(shù)據(jù)集和環(huán)境安全;

      ●安全的資源隔離:為了能夠提供足夠的資源來(lái)滿足整體SLA要求,可以將吵鬧的鄰居隔離來(lái)確保性能;

      ●多版本支持能力:能運(yùn)行多個(gè)不同版本的運(yùn)行環(huán)境,滿足不同用戶、開(kāi)發(fā)者要求;

      ●企業(yè)級(jí)的可用性:確保整個(gè)系統(tǒng)的強(qiáng)壯性,提供企業(yè)等級(jí)的可用性。

      網(wǎng)絡(luò)的挑戰(zhàn)

      對(duì)網(wǎng)絡(luò)而言,挑戰(zhàn)和機(jī)遇并存。今天兩層核心聚合交換網(wǎng)絡(luò)不能跨機(jī)架提供足夠的帶寬。機(jī)架內(nèi)的帶寬應(yīng)該沒(méi)有問(wèn)題,經(jīng)??梢赃_(dá)到每秒幾百Gbit,但機(jī)架間的帶寬往往十分有限,為此往往需要優(yōu)化流量到本地,也就是數(shù)據(jù)和計(jì)算完全整合的模式。幸運(yùn)的是,新的網(wǎng)絡(luò)拓?fù)?,包括CLOS和主干加分支設(shè)計(jì)都提供了很好的解決方案。使用這些新型的網(wǎng)絡(luò)拓?fù)?,可以在整個(gè)集群延時(shí)基本恒定的情況下確保足夠的帶寬,無(wú)論是機(jī)架內(nèi)還是機(jī)架間都不會(huì)有帶寬問(wèn)題。

      存儲(chǔ)平臺(tái)的選擇

      隨著存儲(chǔ)技術(shù)的不斷發(fā)展,大數(shù)據(jù)的存儲(chǔ)選擇越來(lái)越豐富。當(dāng)然Hadoop的HDFS處于最核心圈,但其他的存儲(chǔ)平臺(tái)也可以提供跟Hadoop類似、即插即用的兼容能力,并且提供了某些獨(dú)特的價(jià)值。幾個(gè)主要的存儲(chǔ)選項(xiàng)如下:

      ●傳統(tǒng)的SAN或者NAS:這應(yīng)該算是支撐大數(shù)據(jù)應(yīng)用的最佳存儲(chǔ)選項(xiàng),因?yàn)槟壳按罅康臄?shù)據(jù)中心都可以提供這樣的存儲(chǔ)選項(xiàng),并且也包括了各種存儲(chǔ)服務(wù),例如:快照、歸檔、復(fù)制等;

      ●服務(wù)器內(nèi)置磁盤構(gòu)建的軟件定義存儲(chǔ):這方面HDFS是主要的代表,其他的選項(xiàng)包括CEPH、Gluster和MAPR,他們都可以建立文件系統(tǒng),滿足大數(shù)據(jù)的應(yīng)用;

      ●橫向擴(kuò)展存儲(chǔ)方案:很多獨(dú)具特色的新興公司提供了可以替代H D F S橫向擴(kuò)展存儲(chǔ),很好解決了成本和帶寬問(wèn)題。比如I s i l o n的橫向擴(kuò)展存儲(chǔ)方案,提供了3到144個(gè)節(jié)點(diǎn)的解決方案,可以擴(kuò)展到15PB、每秒85GB吞吐能力,成為橫向擴(kuò)展存儲(chǔ)的典型代表。

      通過(guò)vSphere平臺(tái)運(yùn)行大數(shù)據(jù)

      VMwa re推出的BDE方案也在不斷進(jìn)步中,為各種不同版本的Hadoop運(yùn)行提供了強(qiáng)大的支撐。目前BDE已經(jīng)可以和vCloud Automation Center結(jié)合來(lái)提供Hadoop集群的自助創(chuàng)建,借助vSphere平臺(tái)讓最終用戶可以快速自助創(chuàng)建應(yīng)用,大數(shù)據(jù)的部署難題迎刃而解。大數(shù)據(jù)平臺(tái)具有了自動(dòng)化、自助服務(wù)能力,讓大數(shù)據(jù)再也不是極客的專利,任何大數(shù)據(jù)應(yīng)用的開(kāi)發(fā)者、管理員都只需要專注自己的大數(shù)據(jù)應(yīng)用本身,而無(wú)需關(guān)心底層的架構(gòu)。

      猜你喜歡
      網(wǎng)絡(luò)拓?fù)?/a>可用性開(kāi)發(fā)者
      基于文獻(xiàn)計(jì)量學(xué)的界面設(shè)計(jì)可用性中外對(duì)比研究
      包裝工程(2023年24期)2023-12-27 09:18:26
      基于通聯(lián)關(guān)系的通信網(wǎng)絡(luò)拓?fù)浒l(fā)現(xiàn)方法
      基于輻射傳輸模型的GOCI晨昏時(shí)段數(shù)據(jù)的可用性分析
      電子制作(2018年23期)2018-12-26 01:01:16
      勞斯萊斯古斯特與魅影網(wǎng)絡(luò)拓?fù)鋱D
      電測(cè)與儀表(2016年5期)2016-04-22 01:13:46
      16%游戲開(kāi)發(fā)者看好VR
      CHIP新電腦(2016年3期)2016-03-10 13:06:42
      iOS開(kāi)發(fā)者調(diào)查
      電腦迷(2015年8期)2015-05-30 12:27:10
      iOS開(kāi)發(fā)者調(diào)查
      電腦迷(2015年4期)2015-05-30 05:24:09
      空客A320模擬機(jī)FD1+2可用性的討論
      河南科技(2015年7期)2015-03-11 16:23:13
      404 Not Found

      404 Not Found


      nginx
      华安县| 罗田县| 平凉市| 庄河市| 武义县| 沧州市| 安陆市| 德州市| 洪江市| 沈阳市| 延安市| 宁河县| 景德镇市| 丽水市| 宁南县| 桦川县| 萝北县| 昭平县| 托克逊县| 澄城县| 民乐县| 湟源县| 阳曲县| 巴楚县| 平谷区| 大兴区| 连山| 屯门区| 湘潭县| 金山区| 乌兰察布市| 天等县| 乌海市| 科技| 威信县| 怀宁县| 新龙县| 慈利县| 吴旗县| 文登市| 枞阳县|