• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看

      ?

      軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)理論與關(guān)鍵技術(shù)*

      2014-09-29 04:48:42劉方明郭得科黃小猛
      電信科學(xué) 2014年6期
      關(guān)鍵詞:租戶數(shù)據(jù)流數(shù)據(jù)中心

      李 丹 ,劉方明 ,郭得科 ,何 源 ,黃小猛

      (1.清華大學(xué) 北京 100084;2.華中科技大學(xué) 武漢 430074)

      1 引言

      現(xiàn)代社會信息量的爆炸式增長、資源復(fù)用技術(shù)的成熟和寬帶網(wǎng)絡(luò)的普及,共同促進了云計算的誕生和發(fā)展。以亞馬遜公司的EC2、谷歌公司的AppEngine和微軟公司的Windows Azure等為代表的云計算服務(wù)已經(jīng)得到初步商用,使得云計算逐漸成為人們按需使用軟硬件資源和進行大數(shù)據(jù)深度挖掘處理的新型計算模式。據(jù)統(tǒng)計,2011年全球云計算服務(wù)規(guī)模約為900億美元。我國當前還處于云計算發(fā)展初期,但發(fā)展速度迅猛。工業(yè)和信息化部電信研究院2011年4月發(fā)布的《云計算白皮書》顯示,雖然我國云計算服務(wù)的總體規(guī)模目前僅占全球市場的4%左右,但年增幅達到40%,未來潛力巨大。隨著大數(shù)據(jù)時代的來臨,作為大數(shù)據(jù)處理的重要技術(shù)手段,云計算的發(fā)展空間將更加廣闊。

      數(shù)據(jù)中心是云計算的核心基礎(chǔ)設(shè)施。谷歌公司早在2006年年底就在全世界建造了能容納超過46萬臺服務(wù)器的分布式數(shù)據(jù)中心。Facebook公司于2011年4月對外展示了其建造在俄勒岡的數(shù)據(jù)中心,其擁有數(shù)以萬計的服務(wù)器,并在節(jié)能減排方面進行了示范。當前我國各地方政府積極建造數(shù)據(jù)中心以促成云計算產(chǎn)業(yè)落地,如呼和浩特云計算產(chǎn)業(yè)基地、南京軟件開發(fā)云平臺、鎮(zhèn)江“云神”工程、無錫“云谷”等。中國電信、中國移動、中國聯(lián)通等電信運營商,都在積極利用其IDC打造云計算戰(zhàn)略。以百度、阿里巴巴、騰訊等為代表的互聯(lián)網(wǎng)企業(yè),也在大力發(fā)展云數(shù)據(jù)中心,以提供更好的云計算服務(wù)。

      數(shù)據(jù)中心網(wǎng)絡(luò)在云計算基礎(chǔ)設(shè)施中具有關(guān)鍵地位。云數(shù)據(jù)中心網(wǎng)絡(luò)是連接數(shù)據(jù)中心大規(guī)模服務(wù)器的橋梁,也是承載網(wǎng)絡(luò)化計算和網(wǎng)絡(luò)化存儲的基礎(chǔ)。云計算的核心價值在于大數(shù)據(jù)的集中處理和資源的統(tǒng)計復(fù)用。由于大規(guī)模云計算任務(wù)往往伴隨著服務(wù)器之間的海量數(shù)據(jù)交互,數(shù)據(jù)中心網(wǎng)絡(luò)性能的高低決定了云計算的服務(wù)質(zhì)量。同時,由于網(wǎng)絡(luò)資源天然存在的共享特性,如何讓云計算用戶實現(xiàn)安全而公平的網(wǎng)絡(luò)訪問,也是關(guān)系到云計算用戶體驗的重要因素。當前的主流云計算提供商都積極探索面向云數(shù)據(jù)中心網(wǎng)絡(luò)的創(chuàng)新技術(shù)以提高云計算的服務(wù)質(zhì)量。

      2 云數(shù)據(jù)中心網(wǎng)絡(luò)面臨的挑戰(zhàn)

      隨著云計算服務(wù)得到初步商用,云數(shù)據(jù)中心網(wǎng)絡(luò)研究已經(jīng)成為學(xué)術(shù)界和工業(yè)界共同關(guān)注的焦點領(lǐng)域,也是國家戰(zhàn)略性新興產(chǎn)業(yè)和重大基礎(chǔ)設(shè)施建設(shè)的重要發(fā)展方向。云計算的可持續(xù)發(fā)展需求使得云數(shù)據(jù)中心網(wǎng)絡(luò)面臨著一系列重要科學(xué)理論與技術(shù)挑戰(zhàn)。

      (1)如何創(chuàng)建可定制的云數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)設(shè)施,滿足靈活多樣的云計算應(yīng)用需求?

      云數(shù)據(jù)中心提供不同類型的云計算服務(wù)。公有云數(shù)據(jù)中心一般提供硬件或軟件資源的租賃服務(wù),私有云數(shù)據(jù)中心運行公司或部門內(nèi)部所特有的網(wǎng)絡(luò)業(yè)務(wù),而混合云數(shù)據(jù)中心運行的業(yè)務(wù)類型更加靈活多樣。比如,谷歌公司的云數(shù)據(jù)中心既提供前端面向用戶的搜索服務(wù),又運行后端的海量網(wǎng)頁數(shù)據(jù)分析和挖掘任務(wù)。已有研究表明,由于當前的云計算任務(wù)往往伴隨著服務(wù)器之間密集的數(shù)據(jù)交互,網(wǎng)絡(luò)資源已經(jīng)成為影響云計算服務(wù)質(zhì)量的瓶頸資源。為了提高云計算的服務(wù)質(zhì)量,非常有必要針對不同的應(yīng)用需求對網(wǎng)絡(luò)功能進行靈活配置。而云數(shù)據(jù)中心網(wǎng)絡(luò)流量不可預(yù)測、網(wǎng)絡(luò)設(shè)備可靠性低等環(huán)境特征,也對網(wǎng)絡(luò)的可動態(tài)配置功能提出了需求。在主要應(yīng)用于廣域網(wǎng)的傳統(tǒng)網(wǎng)絡(luò)架構(gòu)中,數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備基于專用硬件芯片,因而可編程性很差;而控制協(xié)議都與數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備綁定,難以快速配置靈活的網(wǎng)絡(luò)功能。云數(shù)據(jù)中心網(wǎng)絡(luò)的應(yīng)用需求和環(huán)境特征,都為傳統(tǒng)網(wǎng)絡(luò)架構(gòu)提出了嚴峻的挑戰(zhàn)。

      (2)如何優(yōu)化云數(shù)據(jù)中心網(wǎng)絡(luò)的資源利用率,提高云計算性能和服務(wù)質(zhì)量?

      云計算的核心價值之一在于資源的統(tǒng)計復(fù)用。在給定硬件設(shè)施條件下,盡可能通過軟件技術(shù)來優(yōu)化云數(shù)據(jù)中心網(wǎng)絡(luò)資源利用率,既是云計算模式的內(nèi)在技術(shù)需求,也是提高云計算性能和用戶體驗的外在需求。與傳統(tǒng)的廣域網(wǎng)環(huán)境相比,云數(shù)據(jù)中心網(wǎng)絡(luò)環(huán)境具有流量不可預(yù)測、端到端帶寬極高、端到端時延極低等不同的特點。已有研究表明,傳統(tǒng)的網(wǎng)絡(luò)協(xié)議(如路由協(xié)議OSPF)在鏈路資源密集的云數(shù)據(jù)中心網(wǎng)絡(luò)環(huán)境下,不但無法充分利用鏈路資源,而且收斂速度極慢,難以滿足云計算任務(wù)的高速數(shù)據(jù)傳輸需求;而在廣域網(wǎng)上得到成功應(yīng)用的數(shù)據(jù)傳輸協(xié)議TCP在云數(shù)據(jù)中心網(wǎng)絡(luò)的高帶寬環(huán)境下的運行效率也非常低,TCP incast問題甚至?xí)沟镁W(wǎng)絡(luò)帶寬利用率低于10%,被稱為“吞吐率坍塌”現(xiàn)象。

      首席科學(xué)家

      李丹男,清華大學(xué)計算機科學(xué)與技術(shù)系副教授,ACM、IEEE、CCF會員。2007年從清華大學(xué)獲得博士學(xué)位,主要從事計算機網(wǎng)絡(luò)方面的研究工作。在ACM SIGCOMM、IEEE INFOCOM、IEEE ICNP、IEEE/ACM Transactions on Networking、IEEE Journal on Selected Areas in Communications、IEEE Transactions on Computers、IEEE Transactions on Paralleland Distributed Systems等網(wǎng)絡(luò)領(lǐng)域著名會議和期刊上發(fā)表論文 40余篇。擔任國際期刊IEEE Transactions on Computers編委、IEEE LANMAN 2014程序委員會主席、IEEE LANMAN 2015大會主席、IEEE ICNP 2013 Poster/Demo程序委員會主席、IEEE INFOCOM 2010-2014程序委員會委員、國家重點基礎(chǔ)研究發(fā)展計劃(“973”計劃)青年科學(xué)家專題 “軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)理論和關(guān)鍵技術(shù)”項目首席科學(xué)家。

      (3)如何解決云數(shù)據(jù)中心網(wǎng)絡(luò)的多租戶資源競爭,提供公平而且安全的云計算服務(wù)?

      云計算環(huán)境下,多租戶共同使用云數(shù)據(jù)中心的硬件資源完成計算任務(wù),因此租戶之間的資源安全隔離非常重要。虛擬化是當前實現(xiàn)云數(shù)據(jù)中心資源隔離的重要技術(shù)手段。通過計算虛擬化(虛擬機)技術(shù),云計算租戶可以實現(xiàn)計算資源的隔離和復(fù)用。通過存儲虛擬化技術(shù),既可以讓用戶使用海量的存儲空間,又能保障用戶數(shù)據(jù)的備份和安全。隨著計算虛擬化和存儲虛擬化技術(shù)的成熟,按需使用、按需付費的理念正在變成現(xiàn)實,并將成為未來人們使用云計算的主要方式。而當用戶需要使用多個虛擬機時,虛擬機之間需要進行網(wǎng)絡(luò)互聯(lián)和通信,并組成了虛擬云數(shù)據(jù)中心網(wǎng)絡(luò)。網(wǎng)絡(luò)資源的天然共享特性,使得不同租戶之間還將競爭網(wǎng)絡(luò)帶寬。由于網(wǎng)絡(luò)虛擬化技術(shù)發(fā)展非常緩慢,在當前云計算服務(wù)商的云計算平臺中,租戶之間采用“盡力而為”的方式共享網(wǎng)絡(luò)資源,每個租戶得到的網(wǎng)絡(luò)帶寬不可預(yù)測,并存在流量泄露問題,嚴重影響了用戶的云計算服務(wù)體驗。

      (4)如何降低云數(shù)據(jù)中心網(wǎng)絡(luò)的巨額能耗,建設(shè)綠色數(shù)據(jù)中心?

      云數(shù)據(jù)中心規(guī)模的不斷增長導(dǎo)致了巨大的能耗開銷,帶來了巨額運維成本和環(huán)境問題,引起了學(xué)術(shù)界和工業(yè)界的高度重視。據(jù)工業(yè)和信息化部領(lǐng)導(dǎo)下的“云計算發(fā)展與政策論壇”發(fā)布的《數(shù)據(jù)中心能效測評指南》報告,2011年我國數(shù)據(jù)中心總耗電量達到700億千瓦時,數(shù)據(jù)中心能耗占全國能源耗電總量的5%。國內(nèi)數(shù)據(jù)中心目前的PUE值(數(shù)據(jù)中心消耗的所有能源與IT負載消耗的能源之比)普遍高于2.0,而歐美發(fā)達國家的PUE值大多在1.3左右甚至更低,因此我國當前數(shù)據(jù)中心的能耗浪費非常嚴重。未來5年我國云數(shù)據(jù)中心的流量處理需求將增長7~10倍,數(shù)據(jù)中心的能耗問題面臨更加嚴峻的挑戰(zhàn)。因此,如何對云數(shù)據(jù)中心網(wǎng)絡(luò)進行有效的能耗管理、提高能源利用率、降低巨額能耗,具有重要的經(jīng)濟效益和社會影響,成為建設(shè)綠色數(shù)據(jù)中心迫切需要解決的問題。

      以上4點是當前云數(shù)據(jù)中心網(wǎng)絡(luò)所面臨的主要問題。針對這4點,本項目提出利用近年來受到廣泛關(guān)注的軟件定義網(wǎng)絡(luò)(software defined networking,SDN)來解決這些問題。

      3 SDN對于云數(shù)據(jù)中心網(wǎng)絡(luò)發(fā)展的意義

      SDN是近年來涌現(xiàn)的新興網(wǎng)絡(luò)技術(shù)。SDN的核心思想主要有兩點:第一,提高硬件平臺的可編程性,可以快速實現(xiàn)新型網(wǎng)絡(luò)功能的配置,滿足靈活多變的應(yīng)用需求;第二,將網(wǎng)絡(luò)控制層面與數(shù)據(jù)轉(zhuǎn)發(fā)層面分離,把軟件控制功能放到網(wǎng)絡(luò)管理器上,從而提高了網(wǎng)絡(luò)的管理控制能力。對于SDN技術(shù)是否可應(yīng)用于廣域網(wǎng)環(huán)境,目前學(xué)術(shù)界和工業(yè)界還存在不少爭議,但一般認為云數(shù)據(jù)中心網(wǎng)絡(luò)是SDN技術(shù)的理想應(yīng)用環(huán)境。創(chuàng)建軟件定義的可定制云數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)設(shè)施,是提高網(wǎng)絡(luò)性能、實現(xiàn)多租戶網(wǎng)絡(luò)共享以及控制網(wǎng)絡(luò)能耗的基本保障。美國斯坦福大學(xué)提出的OpenFlow協(xié)議是當前最具代表性的SDN協(xié)議。然而由于OpenFlow協(xié)議存在數(shù)據(jù)轉(zhuǎn)發(fā)流程過于復(fù)雜、轉(zhuǎn)發(fā)設(shè)備處理功能非常有限等問題,當前學(xué)術(shù)界正在積極探索其他可能的SDN架構(gòu)。如何設(shè)計支持可軟件編程網(wǎng)絡(luò)節(jié)點和可擴展控制器的軟件定義網(wǎng)絡(luò)框架,并基于此框架實現(xiàn)云數(shù)據(jù)中心網(wǎng)絡(luò)的大規(guī)模橫向擴展,是本項目需要首先解決的重要挑戰(zhàn)。

      項目簡介

      “973”計劃青年科學(xué)家專題“軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)理論與關(guān)鍵技術(shù)”項目主要研究云數(shù)據(jù)中心環(huán)境下網(wǎng)絡(luò)設(shè)計的科學(xué)規(guī)律與技術(shù)原理,探索軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu),圍繞“軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)設(shè)計”、“云數(shù)據(jù)中心網(wǎng)絡(luò)資源利用率優(yōu)化”、“云數(shù)據(jù)中心網(wǎng)絡(luò)多租戶資源管理”和“云數(shù)據(jù)中心網(wǎng)絡(luò)能耗協(xié)同控制”4個關(guān)鍵科學(xué)問題,為新一代云計算和互聯(lián)網(wǎng)基礎(chǔ)設(shè)施建設(shè)提供基礎(chǔ)理論依據(jù)和關(guān)鍵技術(shù)支撐,推動網(wǎng)絡(luò)技術(shù)、計算技術(shù)、數(shù)據(jù)科學(xué)等相關(guān)學(xué)科交叉融合發(fā)展,為我國戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展提供具有自主知識產(chǎn)權(quán)的核心技術(shù)。由于融合了云計算、下一代互聯(lián)網(wǎng)、大數(shù)據(jù)等領(lǐng)域的研究范疇,軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)研究將促進我國新一代云計算及互聯(lián)網(wǎng)基礎(chǔ)設(shè)施建設(shè)和關(guān)鍵技術(shù)研發(fā),對我國在國際新一輪信息技術(shù)革命浪潮中占據(jù)領(lǐng)先地位有非常重要的影響。

      在軟件定義的可定制網(wǎng)絡(luò)框架下,如何設(shè)計新型路由和傳輸協(xié)議,以提高云數(shù)據(jù)中心網(wǎng)絡(luò)的資源利用率并進而提升云計算的性能,是本項目需要解決的重要問題。軟件定義的可定制網(wǎng)絡(luò)架構(gòu),為網(wǎng)絡(luò)資源、計算資源和存儲資源的聯(lián)合優(yōu)化提供了新的發(fā)展機會。分布式網(wǎng)絡(luò)系統(tǒng)的整體性能往往取決于不同子系統(tǒng)的資源耦合程度。由于軟件定義的可定制網(wǎng)絡(luò)架構(gòu)將網(wǎng)絡(luò)控制功能從網(wǎng)絡(luò)轉(zhuǎn)發(fā)設(shè)備中分離出來,可以通過網(wǎng)絡(luò)控制器與計算系統(tǒng)控制器、存儲系統(tǒng)控制器之間的信息交互,更好地感知應(yīng)用需求和數(shù)據(jù)存儲狀況,并且對不同類型的資源進行協(xié)同控制,進一步提升資源利用率和云服務(wù)質(zhì)量。因此,如何通過軟件定義網(wǎng)絡(luò)技術(shù)對網(wǎng)絡(luò)、計算和存儲資源進行聯(lián)合優(yōu)化,也是本項目面臨的關(guān)鍵挑戰(zhàn)。

      在軟件定義的可定制網(wǎng)絡(luò)中,可以通過網(wǎng)絡(luò)控制器維護全局網(wǎng)絡(luò)拓撲信息、云租戶的身份和位置信息、租戶的資源占用信息等,為實現(xiàn)云數(shù)據(jù)中心網(wǎng)絡(luò)的虛擬化管理提供靈活的控制平臺。但多租戶參與資源競爭的網(wǎng)絡(luò)環(huán)境下,如何處理不同租戶可能配置相同的IP地址或MAC地址的問題、如何保證每個租戶的流量不泄露到其他網(wǎng)絡(luò)、如何實現(xiàn)虛擬數(shù)據(jù)中心網(wǎng)絡(luò)中高效率的虛擬機遷移、如何保障每個租戶在共享網(wǎng)絡(luò)中得到公平的帶寬分配,這些都是本項目需要重點解決的問題。

      由于硬件節(jié)能技術(shù)發(fā)展緩慢且受物理工藝極限的限制,而云數(shù)據(jù)中心網(wǎng)絡(luò)流量呈現(xiàn)較大的隨時間波動的特點,因此可以通過軟件方式對云數(shù)據(jù)中心網(wǎng)絡(luò)進行能耗感知的流量聚合,從而使更多的節(jié)點處于空閑狀態(tài)并休眠,以達到降低能耗的目的。在軟件定義的可定制網(wǎng)絡(luò)框架下,網(wǎng)絡(luò)控制器可以通過帶外(out-of-band)方式獲取云數(shù)據(jù)中心網(wǎng)絡(luò)的溫度和能耗信息、網(wǎng)絡(luò)流量信息等,并以軟件控制的方式進行流量整形 (traffic shaping)和聚合、網(wǎng)絡(luò)的節(jié)能流量工程、節(jié)點休眠和喚醒狀態(tài)轉(zhuǎn)換等自動能耗控制。本項目將重點研究在軟件定義的可定制網(wǎng)絡(luò)中,如何實時高效地感知網(wǎng)絡(luò)能耗信息、如何在不影響網(wǎng)絡(luò)性能和可靠性的前提下實現(xiàn)節(jié)能流量工程以及如何優(yōu)化使用清潔新能源進一步降低云數(shù)據(jù)中心的碳排量等重要問題。

      4 主要研究課題

      針對云數(shù)據(jù)中心網(wǎng)絡(luò)所面臨的重大挑戰(zhàn),本項目確立了4個研究課題,分別是軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)、云數(shù)據(jù)中心網(wǎng)絡(luò)資源利用率優(yōu)化、云數(shù)據(jù)中心網(wǎng)絡(luò)多租戶資源管理和云數(shù)據(jù)中心網(wǎng)絡(luò)能耗協(xié)同控制。這4個課題的邏輯關(guān)系如圖1所示。

      圖1 邏輯關(guān)系

      學(xué)術(shù)團隊

      “973”計劃青年科學(xué)家專題“軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)理論與關(guān)鍵技術(shù)”項目由清華大學(xué)和華中科技大學(xué)共同承擔。主要參與項目人員有:李丹(清華大學(xué)副教授、項目首席科學(xué)家)、劉方明(華中科技大學(xué)副教授)、郭得科(華中科技大學(xué)副教授)、何源(清華大學(xué)副研究員)和黃小猛(清華大學(xué)副教授)。

      下面分別對這4個研究課題進行介紹。

      4.1 軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)

      復(fù)雜多樣的云計算應(yīng)用,要求云數(shù)據(jù)中心網(wǎng)絡(luò)提供靈活可配置的網(wǎng)絡(luò)功能?,F(xiàn)有的數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備采用專用硬件芯片,可編程性很差;而且控制協(xié)議與數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備綁定,不具有開放性和靈活性。這些因素導(dǎo)致傳統(tǒng)的云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)只能提供種類有限且提前預(yù)設(shè)的網(wǎng)絡(luò)功能,難以按需定制并快速配置靈活的網(wǎng)絡(luò)功能。為此,本項目研究軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu),使得數(shù)據(jù)中心在部署之后,其網(wǎng)絡(luò)功能和系統(tǒng)規(guī)模仍可按需定制和擴展。主要研究內(nèi)容如下。

      (1)軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)架構(gòu)模型

      研究以可軟件編程網(wǎng)絡(luò)節(jié)點和可擴展網(wǎng)絡(luò)控制器為核心的新型軟件定義網(wǎng)絡(luò)基礎(chǔ)架構(gòu),在數(shù)據(jù)層面實現(xiàn)高速靈活的數(shù)據(jù)流定制處理功能,在控制層面實現(xiàn)計算、存儲、網(wǎng)絡(luò)資源的協(xié)同控制,滿足云計算應(yīng)用的特定網(wǎng)絡(luò)控制需求。

      (2)可軟件編程的網(wǎng)絡(luò)節(jié)點體系

      研究通用計算單元輔助的可軟件編程網(wǎng)絡(luò)節(jié)點體系架構(gòu),實現(xiàn)網(wǎng)絡(luò)節(jié)點功能的自由定制和重配置,并在服務(wù)器端通過轉(zhuǎn)發(fā)芯片引入數(shù)據(jù)轉(zhuǎn)發(fā)功能。

      (3)可擴展的軟件定義網(wǎng)絡(luò)控制器

      研究在大規(guī)模數(shù)據(jù)中心通過軟件控制平臺實現(xiàn)網(wǎng)絡(luò)功能靈活定制所面臨的擴展性難題,通過分布式網(wǎng)絡(luò)控制器以及網(wǎng)絡(luò)節(jié)點和網(wǎng)絡(luò)控制器的協(xié)同工作,提高網(wǎng)絡(luò)控制器的擴展能力。

      (4)云數(shù)據(jù)中心網(wǎng)絡(luò)拓撲橫向擴展方法

      基于軟件可編程網(wǎng)絡(luò)節(jié)點及具有數(shù)據(jù)轉(zhuǎn)發(fā)功能的服務(wù)器節(jié)點,研究數(shù)據(jù)中心網(wǎng)絡(luò)拓撲的橫向擴展方法,實現(xiàn)服務(wù)器和網(wǎng)絡(luò)節(jié)點的漸進高效互聯(lián)。

      4.1.1 軟件定義云數(shù)據(jù)中心網(wǎng)絡(luò)的設(shè)計原理與基礎(chǔ)架構(gòu)

      作為云計算的基礎(chǔ)設(shè)施,數(shù)據(jù)中心往往由獨立機構(gòu)統(tǒng)一建設(shè)和運營。為了提高各類云服務(wù)的性能和收益,云計算提供商可根據(jù)應(yīng)用需求定制網(wǎng)絡(luò)架構(gòu)和協(xié)議,并對用戶自定義的網(wǎng)絡(luò)功能進行靈活的實現(xiàn)。作為當前最具代表性的軟件定義網(wǎng)絡(luò)協(xié)議,OpenFlow協(xié)議將網(wǎng)絡(luò)控制層面與數(shù)據(jù)轉(zhuǎn)發(fā)層面分離,通過一個集中式網(wǎng)絡(luò)控制器完成新數(shù)據(jù)流的轉(zhuǎn)發(fā)控制,而交換機僅依照網(wǎng)絡(luò)控制器的指令對數(shù)據(jù)流實施具體的轉(zhuǎn)發(fā)操作。OpenFlow協(xié)議在一定程度上能夠滿足對云數(shù)據(jù)中心網(wǎng)絡(luò)數(shù)據(jù)流進行轉(zhuǎn)發(fā)控制的需求。但OpenFlow協(xié)議僅能在網(wǎng)絡(luò)節(jié)點的硬件層面支持數(shù)據(jù)流簡單處理邏輯的重配置,難以支持很多應(yīng)用在數(shù)據(jù)流傳輸過程中需要進行自定義深度處理(如數(shù)據(jù)流緩存、數(shù)據(jù)流網(wǎng)內(nèi)處理等)的功能。

      通過分析云數(shù)據(jù)中心網(wǎng)絡(luò)的應(yīng)用需求和網(wǎng)絡(luò)環(huán)境特征,本項目擬研究軟件定義云數(shù)據(jù)中心網(wǎng)絡(luò)的設(shè)計原理,并提出支持可軟件編程網(wǎng)絡(luò)節(jié)點和可擴展控制器的軟件定義云數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)架構(gòu),作為新一代云數(shù)據(jù)中心網(wǎng)絡(luò)管理和網(wǎng)絡(luò)創(chuàng)新的平臺?;舅悸肥窃O(shè)計可軟件編程的網(wǎng)絡(luò)節(jié)點,不僅滿足對數(shù)據(jù)流轉(zhuǎn)發(fā)控制邏輯的重配置,而且能通過引入通用計算單元在數(shù)據(jù)面實現(xiàn)用戶對數(shù)據(jù)流的定制分析處理。同時,設(shè)計可擴展性強的軟件定義網(wǎng)絡(luò)控制器,能夠和云數(shù)據(jù)中心計算系統(tǒng)控制器及存儲系統(tǒng)控制器協(xié)同工作。網(wǎng)絡(luò)控制器不僅需要對數(shù)據(jù)流從網(wǎng)絡(luò)資源管理和利用的角度進行轉(zhuǎn)發(fā)控制(例如路徑優(yōu)化、負載均衡、安全機制),還需要具備對網(wǎng)絡(luò)、計算和存儲資源進行協(xié)同控制的能力,實現(xiàn)來自應(yīng)用層的特定網(wǎng)絡(luò)控制需求。最后,針對云數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)點的大規(guī)模擴展需求,研究如何基于軟件定義網(wǎng)絡(luò)基礎(chǔ)架構(gòu)實現(xiàn)云數(shù)據(jù)中心網(wǎng)絡(luò)的大規(guī)模橫向擴展。

      4.1.2 可軟件編程的云數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)點

      現(xiàn)代云數(shù)據(jù)中心為降低設(shè)備成本,往往采用商用低端服務(wù)器和交換機。但當前的數(shù)據(jù)中心交換機普遍采用單個交換集成電路,難以支持可定制的云數(shù)據(jù)中心網(wǎng)絡(luò)需求。首先,其轉(zhuǎn)發(fā)表容量太小導(dǎo)致難以對數(shù)據(jù)中心海量數(shù)據(jù)流進行細粒度的轉(zhuǎn)發(fā)控制,其稀缺的片上緩存也無法應(yīng)對TCP incast等突發(fā)流量。其次,越來越多的云計算應(yīng)用迫切要求對數(shù)據(jù)流在傳輸過程中進行靈活驚喜的處理(如數(shù)據(jù)流緩存、數(shù)據(jù)流網(wǎng)內(nèi)處理等),但現(xiàn)有數(shù)據(jù)中心交換機僅能在硬件層面支持數(shù)據(jù)流簡單處理邏輯的重配置,無法響應(yīng)用戶對數(shù)據(jù)流的自定義處理需求。

      本項目研究通用計算單元輔助的可軟件編程網(wǎng)絡(luò)節(jié)點體系,使得網(wǎng)絡(luò)和計算資源更加緊密地聯(lián)系起來,并實現(xiàn)有效的網(wǎng)絡(luò)控制。其基本思想是基于已有的高速的PCI-E交換系統(tǒng),采用計算能力強大的通用CPU和DRAM內(nèi)存來輔助傳統(tǒng)的網(wǎng)絡(luò)節(jié)點,從而使CPU參與控制面和數(shù)據(jù)面的流量深度處理。該網(wǎng)絡(luò)節(jié)點體系能以軟件方式提供更大的轉(zhuǎn)發(fā)表容量,提供充足的數(shù)據(jù)流緩存空間以應(yīng)對突發(fā)流量,并可借助CPU及DRAM內(nèi)存對數(shù)據(jù)流在傳輸過程中實現(xiàn)用戶自定義的數(shù)據(jù)處理功能。

      此外,考慮到網(wǎng)絡(luò)設(shè)備和計算設(shè)備呈現(xiàn)出融合發(fā)展的趨勢,本項目還研究如何將商用的交換ASIC部件集成到服務(wù)器的NIC板卡,并通過PCI-E交換系統(tǒng)實現(xiàn)交換部件和計算機CPU的高速互聯(lián)。這種設(shè)計為傳統(tǒng)服務(wù)器節(jié)點帶來了額外的網(wǎng)絡(luò)功能,使其可參與數(shù)據(jù)中心的互聯(lián)和數(shù)據(jù)轉(zhuǎn)發(fā),擴展了云數(shù)據(jù)中心網(wǎng)絡(luò)互聯(lián)拓撲的設(shè)計空間。

      4.1.3 可擴展的軟件定義網(wǎng)絡(luò)控制器

      網(wǎng)絡(luò)控制器隨數(shù)據(jù)中心規(guī)模增長的擴展性問題,是制約軟件定義云數(shù)據(jù)中心網(wǎng)絡(luò)的主要性能瓶頸之一。由于單個網(wǎng)絡(luò)控制器有限的處理能力以及稀缺的可用安全控制信道難以對數(shù)量龐大且不斷增長的數(shù)據(jù)流實現(xiàn)按需轉(zhuǎn)發(fā)控制,本項目擬研究以協(xié)作方式管理網(wǎng)絡(luò)的可擴展控制器。

      首先,由網(wǎng)絡(luò)節(jié)點根據(jù)掌握的局部網(wǎng)絡(luò)狀態(tài)協(xié)助網(wǎng)絡(luò)控制器完成大部分數(shù)據(jù)流的轉(zhuǎn)發(fā)控制,而網(wǎng)絡(luò)控制器僅對云計算應(yīng)用特別關(guān)注的數(shù)據(jù)流制定轉(zhuǎn)發(fā)控制策略。這種協(xié)作機制可降低網(wǎng)絡(luò)控制器的負載,進而大幅提升單個網(wǎng)絡(luò)控制器的可擴展能力。依據(jù)云數(shù)據(jù)中心典型應(yīng)用的數(shù)據(jù)流傳輸規(guī)律,網(wǎng)絡(luò)節(jié)點根據(jù)數(shù)據(jù)流的應(yīng)用層語義將其發(fā)給網(wǎng)絡(luò)控制器,并由網(wǎng)絡(luò)控制器結(jié)合應(yīng)用層對流量傳輸?shù)目刂菩枨螅ɡ缌髁康膮f(xié)同傳輸和聚合等)制定相匹配的轉(zhuǎn)發(fā)控制策略。

      其次,采用分而治之的思想研究分布式網(wǎng)絡(luò)控制器的協(xié)作機制,實現(xiàn)邏輯上集中而物理上分布的網(wǎng)絡(luò)控制器。結(jié)合云數(shù)據(jù)中心的互聯(lián)拓撲結(jié)構(gòu),研究多個網(wǎng)絡(luò)控制器在大規(guī)模數(shù)據(jù)中心的協(xié)同部署方法,并根據(jù)網(wǎng)絡(luò)流量的動態(tài)變化情況,探索網(wǎng)絡(luò)流量在多個網(wǎng)絡(luò)控制器之間的分配方法,使網(wǎng)絡(luò)控制器均衡地分擔流量轉(zhuǎn)發(fā)控制任務(wù)。

      4.1.4 云數(shù)據(jù)中心網(wǎng)絡(luò)拓撲的橫向擴展方法

      隨著用戶對計算和存儲服務(wù)需求的日益增長,云數(shù)據(jù)中心需要通過特定結(jié)構(gòu)的網(wǎng)絡(luò)拓撲來互聯(lián)更多的網(wǎng)絡(luò)節(jié)點和服務(wù)器,以實現(xiàn)大規(guī)模橫向擴展?;诳绍浖幊叹W(wǎng)絡(luò)節(jié)點和可擴展控制器的軟件定義網(wǎng)絡(luò)架構(gòu),為云數(shù)據(jù)中心網(wǎng)絡(luò)拓撲的橫向擴展提供了新的設(shè)計空間。

      首先,具有數(shù)據(jù)轉(zhuǎn)發(fā)功能的服務(wù)器節(jié)點可直接參與網(wǎng)絡(luò)互連和路由,增強了以服務(wù)器為核心的云數(shù)據(jù)中心網(wǎng)絡(luò)橫向擴展架構(gòu)。這類服務(wù)器都具有多個網(wǎng)絡(luò)接口,并在擴大網(wǎng)絡(luò)規(guī)模時用于服務(wù)器之間的互聯(lián),以層次迭代方式實現(xiàn)網(wǎng)絡(luò)拓撲的橫向擴展。但由于在云數(shù)據(jù)中心規(guī)模擴展過程中,不同時期采購的服務(wù)器具有異構(gòu)的硬件資源配置,不同服務(wù)器的軟硬件處理功能大不相同。本項目擬基于軟件定義網(wǎng)絡(luò)架構(gòu),研究如何靈活配置異構(gòu)服務(wù)器的網(wǎng)絡(luò)轉(zhuǎn)發(fā)控制功能,充分利用服務(wù)器的硬件資源,提高網(wǎng)絡(luò)性能。

      其次,基于可軟件編程的高密度網(wǎng)絡(luò)節(jié)點,可構(gòu)造扁平化互聯(lián)結(jié)構(gòu)來連接大量的網(wǎng)絡(luò)節(jié)點,形成以網(wǎng)絡(luò)節(jié)點為核心的數(shù)據(jù)中心網(wǎng)絡(luò)橫向擴展拓撲。需要研究在云數(shù)據(jù)中心的規(guī)模和網(wǎng)絡(luò)節(jié)點端口數(shù)給定時,每個網(wǎng)絡(luò)節(jié)點的端口分配使用策略,即預(yù)留多少端口用于網(wǎng)絡(luò)節(jié)點之間的級聯(lián),而其他端口用于服務(wù)器的接入。由于云數(shù)據(jù)中心網(wǎng)絡(luò)中網(wǎng)絡(luò)節(jié)點和鏈路的故障率非常高,可以通過軟件定義網(wǎng)絡(luò)架構(gòu),實時感知網(wǎng)絡(luò)故障,并及時更新配置網(wǎng)絡(luò)節(jié)點的轉(zhuǎn)發(fā)控制功能,保障云數(shù)據(jù)中心網(wǎng)絡(luò)正常工作及網(wǎng)絡(luò)資源的充分利用。

      4.2 云數(shù)據(jù)中心網(wǎng)絡(luò)資源利用率優(yōu)化

      為了提高云計算的性能和服務(wù)質(zhì)量,需要在給定硬件資源條件下,通過軟件技術(shù)優(yōu)化云數(shù)據(jù)中心網(wǎng)絡(luò)的資源利用率。在軟件定義的可定制網(wǎng)絡(luò)架構(gòu)下,本項目研究云數(shù)據(jù)中心網(wǎng)絡(luò)的創(chuàng)新路由協(xié)議和傳輸協(xié)議,提高密集鏈路資源和高速帶寬資源的使用效率;通過對網(wǎng)絡(luò)、計算和存儲資源的聯(lián)合優(yōu)化,進一步提升云計算性能。主要研究內(nèi)容如下。

      (1)云數(shù)據(jù)中心網(wǎng)絡(luò)多路徑路由協(xié)議

      研究適用于鏈路資源高度冗余的云數(shù)據(jù)中心網(wǎng)絡(luò)的多路徑路由協(xié)議,由軟件控制器計算優(yōu)化的路由路徑,充分利用云數(shù)據(jù)中心網(wǎng)絡(luò)的密集鏈路資源,提高云數(shù)據(jù)中心網(wǎng)絡(luò)鏈路的利用率。

      (2)基于編碼的云數(shù)據(jù)中心網(wǎng)絡(luò)傳輸協(xié)議

      研究基于編碼的網(wǎng)絡(luò)傳輸協(xié)議,避免TCP incast等問題導(dǎo)致的“吞吐率坍塌”現(xiàn)象,通過新型編碼方式確保數(shù)據(jù)傳輸?shù)目煽啃圆⑻岣邘捹Y源利用率。

      (3)網(wǎng)絡(luò)資源與計算資源的聯(lián)合優(yōu)化

      針對廣泛使用的分布式計算框架,研究大規(guī)模數(shù)據(jù)流的高效聚合方法,大幅降低分布式計算任務(wù)中間結(jié)果的傳輸量,提升網(wǎng)絡(luò)吞吐率和云計算任務(wù)的處理效率。

      (4)網(wǎng)絡(luò)資源與存儲資源的聯(lián)合優(yōu)化

      研究基于云數(shù)據(jù)中心服務(wù)器泛在緩存的新型存儲系統(tǒng),以軟件定義網(wǎng)絡(luò)架構(gòu)下的新型內(nèi)容路由方式,動態(tài)靈活地實現(xiàn)數(shù)據(jù)共享,減少數(shù)據(jù)訪問的平均網(wǎng)絡(luò)路徑長度并避免數(shù)據(jù)熱點,從而提高網(wǎng)絡(luò)吞吐率。

      4.2.1 云數(shù)據(jù)中心網(wǎng)絡(luò)多路徑路由協(xié)議

      云數(shù)據(jù)中心網(wǎng)絡(luò)的鏈路資源密集,任意兩個服務(wù)器或網(wǎng)絡(luò)節(jié)點之間可能存在幾十條甚至上百條不同的等價路徑,因此傳統(tǒng)的鏈路狀態(tài)路由協(xié)議(如OSPF)在云數(shù)據(jù)中心網(wǎng)絡(luò)中對鏈路資源的利用率極低。此外,由于云數(shù)據(jù)中心網(wǎng)絡(luò)規(guī)模大、鏈路時延低,傳統(tǒng)路由協(xié)議的收斂速度也無法滿足云數(shù)據(jù)中心網(wǎng)絡(luò)高速數(shù)據(jù)業(yè)務(wù)的需求。

      本項目擬在軟件定義網(wǎng)絡(luò)架構(gòu)下,研究云數(shù)據(jù)中心網(wǎng)絡(luò)多路徑路由協(xié)議。其基本思想是充分利用云數(shù)據(jù)中心網(wǎng)絡(luò)中鏈路密集、路徑冗余度高的特征,采用多條路徑同時傳輸一個數(shù)據(jù)流。以顯式路徑標識的方式配置路由表并進行路由轉(zhuǎn)發(fā)。網(wǎng)絡(luò)控制器實時感知網(wǎng)絡(luò)拓撲信息,根據(jù)所有鏈路可能的組合計算路由路徑,為每一條路徑顯式分配標識,并存儲在相應(yīng)的網(wǎng)絡(luò)節(jié)點轉(zhuǎn)發(fā)表中。最大的挑戰(zhàn)在于云數(shù)據(jù)中心網(wǎng)絡(luò)鏈路資源密度高導(dǎo)致可能的路徑數(shù)量非常龐大,因此對網(wǎng)絡(luò)節(jié)點的存儲能力提出了很高的挑戰(zhàn)。但由于大量路徑具有冗余性,可以對基于顯式路徑標識的路由條目進行有效壓縮,還可以進一步利用布隆濾波器(bloom filter)等技術(shù)增強壓縮效果。

      在基于顯式路徑標識的云數(shù)據(jù)中心網(wǎng)絡(luò)路由協(xié)議下,服務(wù)器發(fā)出的分組直接攜帶路徑標識信息,網(wǎng)絡(luò)節(jié)點根據(jù)路徑標識進行路由轉(zhuǎn)發(fā),而無需檢查分組的目的地址,因此可以方便地進行多路徑路由。在可軟件編程的網(wǎng)絡(luò)節(jié)點上,可以對分組轉(zhuǎn)發(fā)字段及其轉(zhuǎn)發(fā)規(guī)則進行靈活的配置,因此很容易部署基于顯式路徑標識的路由協(xié)議。采用基于顯式路徑標識的多路徑路由方式,還有利于對網(wǎng)絡(luò)故障進行診斷和恢復(fù),提高網(wǎng)絡(luò)的可管理性和可控性。

      4.2.2 基于編碼的云數(shù)據(jù)中心網(wǎng)絡(luò)傳輸協(xié)議

      由于云數(shù)據(jù)中心網(wǎng)絡(luò)的端到端帶寬非常高 (1 Gbit/s甚至10 Gbit/s以上)、而端到端時延非常低(微秒級別),已有研究表明,傳統(tǒng)的數(shù)據(jù)傳輸協(xié)議TCP在云數(shù)據(jù)中心網(wǎng)絡(luò)中的TCP incast問題會產(chǎn)生“吞吐率坍塌”現(xiàn)象,導(dǎo)致帶寬資源利用率降到10%以下。因此需要設(shè)計適用于云數(shù)據(jù)中心網(wǎng)絡(luò)的新型端到端傳輸協(xié)議,以提高云數(shù)據(jù)中心網(wǎng)絡(luò)帶寬資源利用率。

      本項目擬研究基于編碼的云數(shù)據(jù)中心網(wǎng)絡(luò)傳輸協(xié)議。通過適度的數(shù)據(jù)冗余保證數(shù)據(jù)可靠傳輸,而不需要對丟失的分組進行重傳,因此可以有效避免“吞吐率坍塌”問題。已有的某些可刪除碼 (erasure code)技術(shù)如Reed-Solomon編碼,可以從任意恰好等于源數(shù)據(jù)大小的編碼數(shù)據(jù)中恢復(fù)出原始數(shù)據(jù),而不引入額外帶寬,因此其帶來的數(shù)據(jù)冗余度非常低,但其挑戰(zhàn)在于較高的編解碼負擔。而數(shù)字噴泉編碼(digital fountain code)雖然會引入一些額外帶寬,但其編解碼的代價較小,而且編解碼操作比較簡單,只需要異或操作即可實現(xiàn),通??稍诰€性時間內(nèi)完成。針對軟件定義的網(wǎng)絡(luò)架構(gòu),本項目擬選擇數(shù)字噴泉編碼作為云數(shù)據(jù)中心中心網(wǎng)絡(luò)傳輸協(xié)議的編碼技術(shù),適度引入數(shù)據(jù)冗余來實現(xiàn)高效率的端到端數(shù)據(jù)傳輸。

      端到端傳輸協(xié)議必須考慮數(shù)據(jù)流之間的公平性。本項目擬借鑒TCP-friendly的技術(shù)思想來保障傳輸協(xié)議的公平性。目前已有的TCP-friendly方案中,按照其實現(xiàn)擁塞控制手段的不同,可以大致分為“基于窗口”和“基于速率”兩大類。前者借鑒TCP的思想,同樣使用一個擁塞窗口實現(xiàn)公平性。后者通過某種反饋機制獲取網(wǎng)絡(luò)的擁塞信息,并根據(jù)網(wǎng)絡(luò)的擁塞狀況實時地調(diào)整發(fā)送速率。某些方案通過模擬TCP窗口調(diào)整發(fā)送速率,而另一些方案則通過某種特定的模型調(diào)整發(fā)送速率。不管是基于窗口的擁塞控制機制,還是模擬TCP基于速率的擁塞控制機制,其實質(zhì)與TCP一樣,都會造成典型的“鋸齒形”流量,不能有效利用云數(shù)據(jù)中心高速網(wǎng)絡(luò)帶寬。而基于模型的擁塞控制機制卻能得到較為平滑的速率變化,因此更適合云數(shù)據(jù)中心網(wǎng)絡(luò)中連續(xù)的大數(shù)據(jù)傳輸。因此,本項目將重點研究基于模型的端到端擁塞控制機制。

      4.2.3 網(wǎng)絡(luò)與計算資源的聯(lián)合優(yōu)化

      云數(shù)據(jù)中心根據(jù)其支持的云計算應(yīng)用需求,配置有多種計算框架以處理龐大的數(shù)據(jù),如 MapReduce、Dryad、Pregel等。這些計算框架普遍采用流式計算模型,導(dǎo)致相鄰處理階段傳輸大量的中間計算結(jié)果,不僅消耗大量的網(wǎng)絡(luò)資源而且嚴重制約計算任務(wù)的總體完成時間。多對一(incast)通信和多對多(shuffle)通信是這些計算框架下最重要的流量傳輸模式,占據(jù)了云數(shù)據(jù)中心80%左右的流量。

      incast通信的多數(shù)據(jù)流之間的相關(guān)性及其在共同接收方的聚合性,可為incast通信提供流量優(yōu)化空間。聚合操作能大幅降低數(shù)據(jù)傳輸量,進而降低對稀缺帶寬資源的消耗。針對云數(shù)據(jù)中心網(wǎng)絡(luò)拓撲結(jié)構(gòu),本項目擬研究任意服務(wù)器之間的多徑路由方法,并據(jù)此通過網(wǎng)絡(luò)控制器實現(xiàn)基于協(xié)同傳輸?shù)牧髁烤酆稀Mㄟ^流量協(xié)同聚合,參與每個incast通信的看似獨立無關(guān)的單播數(shù)據(jù)流在其傳輸過程中都盡可能早地執(zhí)行流間聚合操作,而不用等到接收方對全體數(shù)據(jù)流統(tǒng)一進行數(shù)據(jù)聚合操作。軟件定義網(wǎng)絡(luò)控制器可基于云數(shù)據(jù)中心網(wǎng)絡(luò)拓撲結(jié)構(gòu)和任意的incast通信流量,構(gòu)造傳輸代價最小的incast通信樹,并據(jù)此控制incast通信樹中承擔流量聚合的可軟件編程網(wǎng)絡(luò)節(jié)點為該incast通信實施流量聚合操作,實現(xiàn)網(wǎng)絡(luò)和計算資源的聯(lián)合優(yōu)化。

      4.2.4 網(wǎng)絡(luò)與存儲資源的聯(lián)合優(yōu)化

      云數(shù)據(jù)中心依賴分布式存儲系統(tǒng)如GFS/HDFS來管理大規(guī)模服務(wù)器的數(shù)據(jù)存儲。通常云數(shù)據(jù)中心包含數(shù)以萬計甚至十萬計的服務(wù)器,而在典型的分布式存儲系統(tǒng)中,一個文件只有3個副本。大部分情況下,客戶端請求的文件副本都存儲在較遠的服務(wù)器上。在橫向擴展的云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)下,數(shù)據(jù)中心網(wǎng)絡(luò)拓撲都具備明顯的層次化特點。因此可以利用服務(wù)器的空閑磁盤空間,對讀取的數(shù)據(jù)進行緩存,大大增加每個文件的副本數(shù)量。這種泛在緩存的存儲系統(tǒng)優(yōu)化方法,不但可以大大減小每個數(shù)據(jù)流的平均網(wǎng)絡(luò)路徑長度,還可以減少數(shù)據(jù)熱點,從而增大數(shù)據(jù)中心的網(wǎng)絡(luò)吞吐率,并提高分布式存儲系統(tǒng)的性能。在軟件定義網(wǎng)絡(luò)框架下,網(wǎng)絡(luò)控制器和存儲控制器可以進行有效的交互,從而實現(xiàn)高效的聯(lián)合優(yōu)化,在不增加鏈路和帶寬資源的前提下,通過軟件實現(xiàn)網(wǎng)絡(luò)容量提升。

      為了實現(xiàn)基于泛在緩存的分布式存儲系統(tǒng)優(yōu)化,需要解決兩個問題:一是在服務(wù)器端提供緩存服務(wù),二是在網(wǎng)絡(luò)節(jié)點上實現(xiàn)基于內(nèi)容的路由轉(zhuǎn)發(fā)協(xié)議。本項目的初步思路如下。

      在每個服務(wù)器上運行一個守護進程提供緩存服務(wù)。緩存服務(wù)作為中間層運行在應(yīng)用程序和分布式存儲系統(tǒng)之間,并且對它們透明。每個緩存服務(wù)進程既負責為本地應(yīng)用尋找距離最近的文件副本,也負責響應(yīng)來自于其他服務(wù)器的數(shù)據(jù)請求。當應(yīng)用程序向存儲系統(tǒng)發(fā)送數(shù)據(jù)請求后,本地緩存服務(wù)會中斷此請求,并嘗試從最近的緩存服務(wù)器獲取所需要的數(shù)據(jù);如果無法找到這樣的緩存服務(wù)器,再從原始服務(wù)器獲取數(shù)據(jù)并返還給應(yīng)用程序,同時在本地進行緩存。

      可軟件編程的網(wǎng)絡(luò)節(jié)點利用橫向擴展云數(shù)據(jù)中心網(wǎng)絡(luò)拓撲的層次化結(jié)構(gòu)特點,在不確定目的緩存服務(wù)器具體位置的情況下,通過自定義的內(nèi)容控制協(xié)議把數(shù)據(jù)請求轉(zhuǎn)發(fā)到最近的緩存服務(wù)器,并更新網(wǎng)絡(luò)節(jié)點的內(nèi)容轉(zhuǎn)發(fā)表??紤]到網(wǎng)絡(luò)節(jié)點的高速轉(zhuǎn)發(fā)表容量有限,不可能容納數(shù)據(jù)中心所有數(shù)據(jù)的內(nèi)容轉(zhuǎn)發(fā)表項,因此還可以結(jié)合基于位置的轉(zhuǎn)發(fā)機制。當數(shù)據(jù)請求的內(nèi)容不在內(nèi)容轉(zhuǎn)發(fā)表中時,網(wǎng)絡(luò)節(jié)點根據(jù)請求數(shù)據(jù)的原始服務(wù)器地址進行路由轉(zhuǎn)發(fā)。

      4.3 云數(shù)據(jù)中心網(wǎng)絡(luò)多租戶資源管理

      為了提供安全的云計算服務(wù),必須對不同租戶的網(wǎng)絡(luò)資源進行有效隔離,避免流量泄露?;谲浖x的可定制網(wǎng)絡(luò),本項目研究“大二層”網(wǎng)絡(luò)的資源虛擬化隔離方案和虛擬機的智能遷移;進一步研究多租戶網(wǎng)絡(luò)資源的公平共享和合理計價,保障租戶的虛擬網(wǎng)絡(luò)性能。主要研究內(nèi)容如下。

      (1)軟件定義的虛擬云數(shù)據(jù)中心網(wǎng)絡(luò)隔離

      研究在新型軟件定義網(wǎng)絡(luò)框架下,基于分組插入/刪除/改寫等操作來解決不同的云租戶可能使用空間重疊的二層地址的問題,避免不同虛擬網(wǎng)絡(luò)之間的流量泄露,并減少對數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)點的轉(zhuǎn)發(fā)表容量需求。

      (2)優(yōu)化網(wǎng)絡(luò)整體開銷的虛擬機智能遷移策略

      研究通過軟件控制器動態(tài)感知的數(shù)據(jù)中心網(wǎng)絡(luò)流量狀況,結(jié)合云數(shù)據(jù)中心虛擬網(wǎng)絡(luò)計算資源和帶寬資源的總體開銷,實現(xiàn)優(yōu)化網(wǎng)絡(luò)開銷的虛擬機實時遷移。

      (3)異構(gòu)資源請求的多租戶網(wǎng)絡(luò)資源分配

      研究實際云計算應(yīng)用中用戶不同的虛擬機角色導(dǎo)致的異構(gòu)資源請求的分配問題,通過網(wǎng)絡(luò)控制器實現(xiàn)通用網(wǎng)絡(luò)拓撲中的實時高效虛擬網(wǎng)絡(luò)資源分配。

      (4)與資源分配解耦的虛擬網(wǎng)絡(luò)計價機制

      (5)與資源分配方法無關(guān)的虛擬網(wǎng)絡(luò)公平計價機制

      研究該機制,不但最小化租戶付出的費用,而且通過計價機制的激勵策略提高云數(shù)據(jù)中心資源利用率,進而提升數(shù)據(jù)中心運營商的總體收益。

      4.3.1 軟件定義的云數(shù)據(jù)中心虛擬網(wǎng)絡(luò)隔離

      云數(shù)據(jù)中心虛擬網(wǎng)絡(luò)隔離是實現(xiàn)云數(shù)據(jù)中心安全的重要手段。本項目擬研究軟件定義的虛擬網(wǎng)絡(luò)隔離技術(shù),主要解決虛擬數(shù)據(jù)中心網(wǎng)絡(luò)的二層地址空間重疊、廣播報文的泄露以及網(wǎng)絡(luò)節(jié)點轉(zhuǎn)發(fā)表容量限制等問題。

      本項目擬采用以下方案來實現(xiàn)云數(shù)據(jù)中心虛擬網(wǎng)絡(luò)隔離。

      (1)源虛擬機所發(fā)出的分組中,把以太網(wǎng)頭部的VLAN字段復(fù)用為租戶ID,以解決相同物理主機上的不同用戶可能具有相同MAC地址的問題。由于VLAN具有12 bit,而同一物理服務(wù)器上所能容納的虛擬機數(shù)量遠小于4 096,因此VLAN字段足以對相同服務(wù)器上的不同租戶進行區(qū)分。出于安全考慮,一般不允許不同租戶之間進行互相通信,因此源虛擬機和目的虛擬機總是使用相同的租戶ID。

      (2)通過入口網(wǎng)絡(luò)節(jié)點的MAC-in-MAC封裝,把用戶虛擬機的原始MAC地址封裝在分組頭內(nèi)部,不用于二層網(wǎng)絡(luò)轉(zhuǎn)發(fā)。只用大二層網(wǎng)絡(luò)中的物理網(wǎng)絡(luò)節(jié)點的MAC地址進行分組轉(zhuǎn)發(fā)。據(jù)此,不但可以解決全網(wǎng)范圍內(nèi)不同用戶的虛擬數(shù)據(jù)中心網(wǎng)絡(luò)可能具有相同MAC地址的問題,還大大減少了對網(wǎng)絡(luò)節(jié)點轉(zhuǎn)發(fā)表項容量的要求。

      (3)把外層以太網(wǎng)頭部的VLAN字段復(fù)用為出口網(wǎng)絡(luò)節(jié)點的連接目的服務(wù)器的接口號,使得出口網(wǎng)絡(luò)節(jié)點在接收分組之后,可以正確地轉(zhuǎn)發(fā)給連接的目的物理主機。

      軟件定義網(wǎng)絡(luò)控制器主要提供兩個功能。第一,根據(jù)內(nèi)層以太網(wǎng)頭部的信息,映射得到外層以太網(wǎng)頭部的信息。網(wǎng)絡(luò)控制器維護全網(wǎng)拓撲以及每個租戶的虛擬機MAC地址和位置。因此很容易根據(jù)內(nèi)層以太網(wǎng)頭部提供的租戶ID和目的MAC地址信息,得到內(nèi)層以太網(wǎng)頭部需要的出口網(wǎng)絡(luò)節(jié)點及其轉(zhuǎn)發(fā)接口的信息。第二,根據(jù)外層以太網(wǎng)頭部的源MAC地址和目的MAC地址信息,靈活配置分組的轉(zhuǎn)發(fā)路徑,實現(xiàn)負載均衡,提高網(wǎng)絡(luò)資源利用率,并可以根據(jù)數(shù)據(jù)中心的安全策略需求,配置分組所需要經(jīng)過的防火墻、IPS、IDS等安全設(shè)備。

      擬設(shè)計的虛擬數(shù)據(jù)中心網(wǎng)絡(luò)隔離方案不需要修改服務(wù)器的網(wǎng)絡(luò)協(xié)議棧,而只需要對虛擬機進行適當修改。利用可軟件編程網(wǎng)絡(luò)節(jié)點具有靈活定義分組頭部格式,并根據(jù)分組頭部的不同字段進行靈活轉(zhuǎn)發(fā)的技術(shù)特點,實現(xiàn)虛擬網(wǎng)絡(luò)隔離并把分組成功傳送到目的服務(wù)器。對于廣播和多播報文,可以同樣實現(xiàn)虛擬網(wǎng)絡(luò)隔離,因為目的服務(wù)器會根據(jù)租戶ID信息把廣播或多播報文遞交給相應(yīng)虛擬數(shù)據(jù)中心網(wǎng)絡(luò)的所有虛擬機,而不會泄露給其他租戶的虛擬數(shù)據(jù)中心網(wǎng)絡(luò)。

      4.3.2 優(yōu)化網(wǎng)絡(luò)整體開銷的虛擬機智能遷移策略

      在云數(shù)據(jù)中心的大二層網(wǎng)絡(luò)中,虛擬機可以根據(jù)應(yīng)用需求在用戶的虛擬數(shù)據(jù)中心網(wǎng)絡(luò)內(nèi)部進行安全的遷移。當前云數(shù)據(jù)中心網(wǎng)絡(luò)的虛擬機遷移方案主要只考慮物理服務(wù)器上的虛擬機槽位使用情況。為了提高用戶的計算性能并減少數(shù)據(jù)中心運營商的網(wǎng)絡(luò)開銷,設(shè)計更加靈活智能的虛擬機遷移策略非常必要。

      虛擬數(shù)據(jù)中心網(wǎng)絡(luò)的開銷包含計算資源開銷和帶寬開銷兩部分。為了設(shè)計優(yōu)化虛擬數(shù)據(jù)中心網(wǎng)絡(luò)開銷的虛擬機遷移方案,需要網(wǎng)絡(luò)控制器能夠感知虛擬機之間的通信流量或帶寬需求。虛擬數(shù)據(jù)中心網(wǎng)絡(luò)的整體開銷優(yōu)化不簡單等同于帶寬資源的優(yōu)化,也與數(shù)據(jù)流的路由選擇有關(guān)系。特別對于彈性流,即帶寬是瓶頸資源而非計算速度的數(shù)據(jù)流來說,不同的路由選擇將會影響數(shù)據(jù)流的網(wǎng)絡(luò)吞吐率,從而進一步影響虛擬數(shù)據(jù)中心網(wǎng)絡(luò)的虛擬機占用時間,即計算資源的開銷。本項目擬首先分析虛擬網(wǎng)絡(luò)流量矩陣,建立模型并最小化虛擬網(wǎng)絡(luò)的傳輸流量;然后根據(jù)軟件定義網(wǎng)絡(luò)控制器維護的數(shù)據(jù)中心網(wǎng)絡(luò)拓撲來調(diào)整虛擬數(shù)據(jù)中心網(wǎng)絡(luò)的路由選擇,并優(yōu)化網(wǎng)絡(luò)整體開銷。

      虛擬數(shù)據(jù)中心往往運行數(shù)據(jù)密集型計算任務(wù)。為了結(jié)合計算應(yīng)用的特點進行網(wǎng)絡(luò)開銷優(yōu)化,可通過網(wǎng)絡(luò)控制器與計算控制器之間的信息交互,實現(xiàn)優(yōu)化全局網(wǎng)絡(luò)開銷虛擬機的靈活智能遷移。該方案不需要改動已有的網(wǎng)絡(luò)控制器與計算控制器,而只需要增加額外的管理模塊,通過在協(xié)議棧中斷已有控制器的接口即可完成所需功能,因此有利于在云數(shù)據(jù)中心網(wǎng)絡(luò)中進行實際部署。網(wǎng)絡(luò)控制器可以根據(jù)服務(wù)器的負載狀況作出路由調(diào)整,計算控制器也可以根據(jù)網(wǎng)絡(luò)狀況變化來調(diào)整虛擬機的遷移方案。

      4.3.3 異構(gòu)資源請求的虛擬數(shù)據(jù)中心網(wǎng)絡(luò)資源分配

      當租戶提交任務(wù)請求之后,云數(shù)據(jù)中心運營商需要為其分配虛擬數(shù)據(jù)中心網(wǎng)絡(luò)資源。當前的云數(shù)據(jù)中心網(wǎng)絡(luò)資源分配方式只考慮虛擬機數(shù)量和位置,而對網(wǎng)絡(luò)帶寬完全采用“盡力而為”的方式進行共享,因此造成租戶的網(wǎng)絡(luò)性能難以預(yù)期,嚴重影響云計算的服務(wù)質(zhì)量。

      本項目擬研究滿足網(wǎng)絡(luò)帶寬保障的虛擬數(shù)據(jù)中心網(wǎng)絡(luò)資源分配方法,尤其針對異構(gòu)資源請求的情況。在實際的云計算任務(wù)中,由于租戶的虛擬機往往運行不同功能的應(yīng)用程序,其資源需求具有異構(gòu)特征。租戶提出請求后,運營商根據(jù)數(shù)據(jù)中心網(wǎng)絡(luò)的剩余資源分布情況來判斷請求是否可以得到滿足。如果可以得到滿足,該請求將被接受,并分配對應(yīng)的虛擬機和網(wǎng)絡(luò)帶寬資源;若不可以得到滿足,運營商將拒絕租戶的請求。對于異構(gòu)資源請求,虛擬機之間并不對等。因此不僅要關(guān)心為某個網(wǎng)絡(luò)節(jié)點分配的虛擬機數(shù)量,還需要具體指定分配哪些虛擬機。如果租戶的請求可以被滿足,還需要按照分配方式在鏈路上預(yù)留帶寬。

      本項目擬考慮通過“任務(wù)時移”與“帶寬壓縮”的方法進行高效的云數(shù)據(jù)中心網(wǎng)絡(luò)資源分配。任務(wù)時移是指延遲任務(wù)的啟動時刻,其主要目的在于緩和任務(wù)需求的高峰??紤]到當前數(shù)據(jù)中心網(wǎng)絡(luò)負載呈現(xiàn)出晝夜變化規(guī)律,通過任務(wù)時移可以把白天到達的高負載計算任務(wù)轉(zhuǎn)移到夜晚運行。而帶寬壓縮的目的則是平衡虛擬機資源與網(wǎng)絡(luò)資源。帶寬壓縮不僅可以更好地利用數(shù)據(jù)中心網(wǎng)絡(luò)鏈路的碎片帶寬,同時也能使虛擬機的分配更加集中化,從而進一步節(jié)省帶寬資源。

      4.3.4 與資源分配解耦的虛擬網(wǎng)絡(luò)計價機制

      云數(shù)據(jù)中心運營商根據(jù)租戶使用的資源向其收取費用。當前云數(shù)據(jù)中心主要根據(jù)租戶實際使用虛擬機資源的數(shù)量和時間來進行計價,不但不考慮網(wǎng)絡(luò)資源,而且租戶付出的開銷取決于云數(shù)據(jù)中心運營商的資源分配算法,這并不合理。

      本項目擬研究與資源分配解耦的虛擬網(wǎng)絡(luò)計價機制。租戶提交云計算應(yīng)用請求之后,運營商即根據(jù)用戶所提交任務(wù)請求的虛擬網(wǎng)絡(luò)資源進行計價。因此,計價只取決于租戶提交的任務(wù)的特點,而與其在云數(shù)據(jù)中心網(wǎng)絡(luò)中的實際資源分配方法無關(guān)。通過這種計價方式,把收費機制與數(shù)據(jù)中心運營商的資源分配算法進行解耦。云數(shù)據(jù)中心運營商可以著力于改進資源分配算法并提高數(shù)據(jù)中心的資源利用率,從而接受更多的租戶請求;而租戶則在滿足服務(wù)需求的前提下,盡可能地提交能夠最小化開銷的虛擬資源請求。

      考慮到云數(shù)據(jù)中心存在多種不同類型的資源,為了鼓勵租戶提交有助于提高數(shù)據(jù)中心資源利用率的任務(wù)請求,運營商還可以對有利于云數(shù)據(jù)中心資源分配的租戶請求提供計價折扣激勵。根據(jù)不同的資源類型組合,運營商期待租戶提交的任務(wù)描述形式也會不同。比如,運營商總是希望租戶所提交任務(wù)中的虛擬機資源與帶寬資源的比例正好與云數(shù)據(jù)中心網(wǎng)絡(luò)的虛擬機資源與帶寬資源的比例相匹配,因此可以最大化云數(shù)據(jù)中心資源的利用率。

      4.4 云數(shù)據(jù)中心網(wǎng)絡(luò)能耗協(xié)同控制

      為了大幅降低云數(shù)據(jù)中心網(wǎng)絡(luò)能耗并建設(shè)綠色數(shù)據(jù)中心,需要從多維度進行數(shù)據(jù)中心網(wǎng)絡(luò)能耗的協(xié)同控制。本項目在軟件定義網(wǎng)絡(luò)框架的基礎(chǔ)上,研究網(wǎng)絡(luò)能耗的實時感知方法,通過網(wǎng)絡(luò)控制器進行面向節(jié)能目標的流量工程控制,實現(xiàn)云數(shù)據(jù)中心的多能源優(yōu)化。主要研究內(nèi)容如下。

      (1)基于傳感網(wǎng)的云數(shù)據(jù)中心網(wǎng)絡(luò)能耗感知

      研究基于無線傳感網(wǎng)的云數(shù)據(jù)中心網(wǎng)絡(luò)能耗實時感知方法,并據(jù)此測算數(shù)據(jù)中心節(jié)點、局部網(wǎng)絡(luò)和全網(wǎng)的能耗狀態(tài),為網(wǎng)絡(luò)控制器建立節(jié)能策略提供能耗信息依據(jù)。

      (2)軟件控制的節(jié)能流量工程

      研究在保障網(wǎng)絡(luò)可靠性和實時流量調(diào)度前提下,以軟件控制的方式實現(xiàn)節(jié)能流量工程,使盡可能多的網(wǎng)絡(luò)節(jié)點和鏈路進入低功耗狀態(tài)。

      (3)應(yīng)用感知的云數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)能方法

      協(xié)調(diào)單純以降低網(wǎng)絡(luò)傳輸開銷等為目標的應(yīng)用層流量控制和單純以節(jié)能為目標的流量共層方案之間的潛在沖突,在實現(xiàn)應(yīng)用層的流量傳輸控制策略的基礎(chǔ)上,最大化網(wǎng)絡(luò)層面的節(jié)能效果。

      (4)面向清潔能源的云數(shù)據(jù)中心多能源優(yōu)化方法

      研究利用包括清潔能源在內(nèi)的多種供能資源的互補優(yōu)化方法,為具有動態(tài)能源需求的數(shù)據(jù)中心提供可靠能源,同時最小化云數(shù)據(jù)中心運營商的長期運維成本。

      4.4.1 基于傳感網(wǎng)的云數(shù)據(jù)中心網(wǎng)絡(luò)能耗感知

      對云數(shù)據(jù)中心的服務(wù)器和網(wǎng)絡(luò)節(jié)點進行能耗實時感知和反饋,既可以有效探測云數(shù)據(jù)中心的高能耗設(shè)備從而進行故障排除,還可以將數(shù)據(jù)中心的溫度(比如調(diào)節(jié)數(shù)據(jù)中心的空調(diào))和能耗控制在最合適的范圍,保證云數(shù)據(jù)中心在不影響服務(wù)性能的前提下運行在功耗最低的狀態(tài)。云數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)備的能耗感知信息可以以“帶外”方式接入云數(shù)據(jù)中心的網(wǎng)絡(luò)控制器,為通過軟件定義方式控制云數(shù)據(jù)中心網(wǎng)絡(luò)能耗提供了重要決策信息。

      本項目擬研究基于無線傳感網(wǎng)的云數(shù)據(jù)中心網(wǎng)絡(luò)實時能耗感知方法,感知隨計算任務(wù)動態(tài)變化而不斷遷移的溫度熱點和高能耗點。首先將傳感網(wǎng)部署的優(yōu)化算法與隨熱點遷移的自演化機制相結(jié)合,提出自演化的傳感網(wǎng)節(jié)點部署算法,對云數(shù)據(jù)中心網(wǎng)絡(luò)進行實時能耗感知。然后,針對能耗感知數(shù)據(jù)傳輸?shù)膶崟r性和可靠性要求,研究如何解決并發(fā)傳輸導(dǎo)致的信道沖突問題以及如何應(yīng)對無線鏈路質(zhì)量的動態(tài)性問題。

      將無線傳感網(wǎng)感知的實時能耗信息進行收集之后,網(wǎng)絡(luò)控制器對能耗進行分析以提供實時反饋控制,保障云數(shù)據(jù)中心網(wǎng)絡(luò)在低功耗狀態(tài)下有效運行。本項目擬重點研究通過異常事件實時檢測方法進行過熱預(yù)警,保證各服務(wù)器不會因為過載導(dǎo)致數(shù)據(jù)和硬件損失;研究能耗精確估算方法,在收集感知數(shù)據(jù)的基礎(chǔ)上相對精確地測量和估計云數(shù)據(jù)中心網(wǎng)絡(luò)全局或局部的能耗,為建立精確的節(jié)能策略提供信息支撐。

      4.4.2 軟件控制的節(jié)能流量工程

      在軟件定義的可定制網(wǎng)絡(luò)框架下,網(wǎng)絡(luò)控制器在收集到的云數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)點的溫度、能耗、網(wǎng)絡(luò)流量等信息基礎(chǔ)上,以軟件控制的方式實現(xiàn)節(jié)能流量工程,使盡可能多的空閑網(wǎng)絡(luò)節(jié)點和鏈路進入低功耗狀態(tài)。

      本項目擬采用如下技術(shù)路線以實現(xiàn)軟件控制的云數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)能流量工程。

      (1)網(wǎng)絡(luò)控制器在數(shù)據(jù)中心網(wǎng)絡(luò)全局拓撲中抽象出一個覆蓋全部入口網(wǎng)絡(luò)節(jié)點和部分中轉(zhuǎn)網(wǎng)絡(luò)節(jié)點的節(jié)能拓撲。節(jié)能拓撲上所有節(jié)點和鏈路始終處于工作狀態(tài),因此可以保證云數(shù)據(jù)中心所有服務(wù)器能夠通過節(jié)能拓撲實現(xiàn)互聯(lián)。網(wǎng)絡(luò)控制器以自定義控制的方式,將流量聚集到節(jié)能拓撲上,使盡可能多的節(jié)能拓撲以外的網(wǎng)絡(luò)節(jié)點和鏈路可以進入低功耗狀態(tài)。

      (2)網(wǎng)絡(luò)控制器為云數(shù)據(jù)中心網(wǎng)絡(luò)每個網(wǎng)絡(luò)節(jié)點分別計算對應(yīng)全局拓撲的到達目的主機的最短路徑、對應(yīng)節(jié)能拓撲的到達出口網(wǎng)絡(luò)節(jié)點的節(jié)能路徑。

      (3)云數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)能拓撲上的每個網(wǎng)絡(luò)節(jié)點定期搜集節(jié)能拓撲鏈路的負載狀況并通過網(wǎng)絡(luò)通告網(wǎng)絡(luò)控制器,網(wǎng)絡(luò)控制器為每個入口網(wǎng)絡(luò)節(jié)點的新數(shù)據(jù)流從備選路徑中進行最小化網(wǎng)絡(luò)能耗的路徑選擇。

      在此研究方案下,關(guān)鍵挑戰(zhàn)在于流量調(diào)度算法的設(shè)計。網(wǎng)絡(luò)控制器如何為入口網(wǎng)絡(luò)節(jié)點處的每條流選擇路徑(從備選路徑中進行選擇),將直接影響節(jié)能流量工程的整體節(jié)能效果。若網(wǎng)絡(luò)中數(shù)據(jù)流的數(shù)目為N,則所有可能的流調(diào)度方案總共有2N種。即使在已知全局流量矩陣的情況下,求解最優(yōu)調(diào)度方案的時間復(fù)雜度也隨網(wǎng)絡(luò)規(guī)模呈指數(shù)增長。實際上云數(shù)據(jù)中心網(wǎng)絡(luò)的數(shù)據(jù)流數(shù)目多而且變化迅速,如何快速獲取精確的網(wǎng)絡(luò)流量矩陣同樣是一個較大的挑戰(zhàn)。為此,本項目擬進一步研究網(wǎng)絡(luò)控制器和入口網(wǎng)絡(luò)節(jié)點協(xié)同的節(jié)能流量工程機制,通過分布式機制在入口網(wǎng)絡(luò)節(jié)點處實現(xiàn)空閑鏈路帶寬分配和路徑切換機制。

      4.4.3 應(yīng)用感知的云數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)能方法

      軟件控制的節(jié)能流量工程機制雖然能夠降低云數(shù)據(jù)中心網(wǎng)絡(luò)內(nèi)部流量傳輸導(dǎo)致的網(wǎng)絡(luò)層面的能耗開銷,但是由于網(wǎng)絡(luò)控制器不能獲知數(shù)據(jù)流的應(yīng)用層控制語義,導(dǎo)致為數(shù)據(jù)流制定的節(jié)能轉(zhuǎn)發(fā)控制策略往往無法兼顧應(yīng)用層的其他特殊考慮。為此,本項目擬進一步研究應(yīng)用感知的云數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)能機制,以實現(xiàn)在應(yīng)用層流量傳輸控制的基礎(chǔ)上降低數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)備層面的能耗。

      為了實現(xiàn)計算和網(wǎng)絡(luò)性能優(yōu)化,往往要求對云數(shù)據(jù)中心網(wǎng)絡(luò)某些應(yīng)用的數(shù)據(jù)流進行特定的路由選擇和聚合處理,特別是多對一的incast通信和多對多的shuffle通信。網(wǎng)絡(luò)控制器通過與計算控制器的交互,獲取應(yīng)用層的流量路由選擇策略。在滿足應(yīng)用層計算性能和特殊流量聚合要求的前提下,網(wǎng)絡(luò)控制器再從網(wǎng)絡(luò)節(jié)能層面設(shè)計最小化網(wǎng)絡(luò)能耗的流量轉(zhuǎn)發(fā)控制策略,并配置到網(wǎng)絡(luò)節(jié)點。該機制的主要研究挑戰(zhàn)在于如何實現(xiàn)既滿足應(yīng)用層語義的流量性能又滿足網(wǎng)絡(luò)層節(jié)能需求的多目標優(yōu)化。

      4.4.4 面向清潔能源的云數(shù)據(jù)中心多能源優(yōu)化方法

      為了降低能耗并建設(shè)綠色云數(shù)據(jù)中心,運營商通常會為云數(shù)據(jù)中心供能系統(tǒng)配備多種類型的能源,包括價格隨時間波動的電網(wǎng)、有限容量的不間斷儲能電源、具有間歇性且由不穩(wěn)定電力供應(yīng)的清潔新能源等。多能源供應(yīng)系統(tǒng)的主要挑戰(zhàn)在于如何以一種優(yōu)化互補的方式利用多種供能資源,為具有動態(tài)需求的云數(shù)據(jù)中心用戶提供可靠能源,同時最小化云數(shù)據(jù)中心運營商的長期運維開銷。

      云數(shù)據(jù)中心的負載變化可能不符合任何穩(wěn)態(tài)分布,導(dǎo)致云數(shù)據(jù)中心的能源需求動態(tài)隨機變化。此外,新能源供電量的不可預(yù)測性增加了能源總體供應(yīng)的不穩(wěn)定性。這使得傳統(tǒng)的優(yōu)化模型和算法,如動態(tài)規(guī)劃或者馬爾可夫決策過程,需要大量的關(guān)于能耗需求和能量供應(yīng)的信息或者分布概率,而且其復(fù)雜度會隨著系統(tǒng)變量的維數(shù)增加而呈指數(shù)級增長。因此,為了設(shè)計不需要預(yù)測系統(tǒng)信息的在線控制方案,本項目擬運用兩階段李雅普諾夫優(yōu)化技術(shù)最優(yōu)化框架,設(shè)計一種實用的并可證明有效的在線云數(shù)據(jù)中心供能系統(tǒng)控制方案。該方案不需要預(yù)先獲得系統(tǒng)負載、電價和新能源可用電量等數(shù)據(jù)信息,以一種多源供能互補協(xié)作的方式應(yīng)對隨機變化的能耗需求、不穩(wěn)定的新能源供應(yīng)和波動的電價。

      6 結(jié)束語

      軟件定義網(wǎng)絡(luò)由于自身方便編程配置、易于管理控制等特點,應(yīng)用于云數(shù)據(jù)中心可以解決現(xiàn)有云數(shù)據(jù)中心網(wǎng)絡(luò)中存在的體系結(jié)構(gòu)僵化、網(wǎng)絡(luò)資源利用率低、多用戶網(wǎng)絡(luò)資源分配不均、網(wǎng)絡(luò)中心能耗過高等問題,是未來云數(shù)據(jù)中心網(wǎng)絡(luò)發(fā)展的主要方向。由于融合了云計算、下一代互聯(lián)網(wǎng)、大數(shù)據(jù)等領(lǐng)域的研究范疇,云數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)發(fā)展符合我國科技發(fā)展的重大戰(zhàn)略需求,并將成為我國戰(zhàn)略性新興產(chǎn)業(yè)的重要發(fā)展方向之一。

      猜你喜歡
      租戶數(shù)據(jù)流數(shù)據(jù)中心
      酒泉云計算大數(shù)據(jù)中心
      汽車維修數(shù)據(jù)流基礎(chǔ)(下)
      民航綠色云數(shù)據(jù)中心PUE控制
      電子測試(2018年11期)2018-06-26 05:56:24
      一種提高TCP與UDP數(shù)據(jù)流公平性的擁塞控制機制
      基于MVC模式的多租戶portlet應(yīng)用研究*
      基于數(shù)據(jù)流聚類的多目標跟蹤算法
      基于云計算的交通運輸數(shù)據(jù)中心實現(xiàn)與應(yīng)用
      北醫(yī)三院 數(shù)據(jù)流疏通就診量
      租戶是大爺
      特別文摘(2014年17期)2014-09-18 01:31:21
      企業(yè)多租戶云存儲平臺的設(shè)計與實現(xiàn)
      天柱县| 泸州市| 称多县| 澜沧| 剑川县| 绥棱县| 九龙坡区| 澄江县| 花垣县| 河曲县| 江山市| 福鼎市| 衡水市| 巴塘县| 富宁县| 乡城县| 德格县| 年辖:市辖区| 南安市| 博湖县| 麻栗坡县| 临西县| 海丰县| 镇江市| 乌鲁木齐县| 汤阴县| 清原| 驻马店市| 临西县| 连云港市| 铜川市| 聊城市| 中山市| 尼玛县| 东乡族自治县| 泾川县| 渑池县| 招远市| 甘谷县| 前郭尔| 峨山|