基于SDN的跨數(shù)據(jù)中心承載技術(shù)

劉漢江，歐亮，陳文華，唐宏

（中國(guó)電信股份有限公司廣州研究院，廣東 廣州 510630）

基于SDN的跨數(shù)據(jù)中心承載技術(shù)

劉漢江，歐亮，陳文華，唐宏

（中國(guó)電信股份有限公司廣州研究院，廣東 廣州 510630）

互聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展和云計(jì)算的興起催生了跨數(shù)據(jù)中心互聯(lián)的需求，而軟件定義網(wǎng)絡(luò)技術(shù)為解決數(shù)據(jù)中心互聯(lián)的網(wǎng)絡(luò)瓶頸提供了重要途徑。首先介紹了幾種常用的數(shù)據(jù)中心互聯(lián)技術(shù)，分析了SDN的技術(shù)優(yōu)勢(shì)，然后提出了一種基于SDN的運(yùn)營(yíng)商數(shù)據(jù)中心互聯(lián)承載技術(shù)方案，并闡述其實(shí)現(xiàn)思路。該方案可實(shí)現(xiàn)DC間的網(wǎng)絡(luò)虛擬化，能夠提供用戶業(yè)務(wù)定制、網(wǎng)絡(luò)自動(dòng)開(kāi)通、任意虛擬機(jī)間的策略隔離、流量調(diào)度、用戶就近訪問(wèn)、DC間的容災(zāi)備份等業(yè)務(wù)功能。

數(shù)據(jù)中心互聯(lián)；云數(shù)據(jù)中心；網(wǎng)絡(luò)虛擬化；SDN

1 引言

隨著互聯(lián)網(wǎng)產(chǎn)業(yè)的快速發(fā)展和數(shù)據(jù)中心業(yè)務(wù)的不斷深化，IDC（internet data center，互聯(lián)網(wǎng)數(shù)據(jù)中心）逐漸發(fā)展成為體現(xiàn)電信運(yùn)營(yíng)商核心競(jìng)爭(zhēng)力的關(guān)鍵點(diǎn)。據(jù)全球權(quán)威咨詢公司Gartner預(yù)測(cè)，2016年全球公共云服務(wù)市場(chǎng)規(guī)模將達(dá)到2 040億美元，并將保持高速發(fā)展的態(tài)勢(shì)，未來(lái)幾年至少50%的企業(yè)需要將其IT資源轉(zhuǎn)移至云端［1］?？梢?jiàn)，數(shù)據(jù)中心的云化將成為近期運(yùn)營(yíng)商網(wǎng)絡(luò)建設(shè)關(guān)注的重點(diǎn)，而靈活的網(wǎng)絡(luò)架構(gòu)、高效的數(shù)據(jù)處理能力、自動(dòng)化的運(yùn)維管理、快速的業(yè)務(wù)部署能力不僅是云計(jì)算時(shí)代對(duì)新一代數(shù)據(jù)中心的要求，也是體現(xiàn)數(shù)據(jù)中心核心競(jìng)爭(zhēng)力的基礎(chǔ)。

目前，云計(jì)算和云存儲(chǔ)的發(fā)展已經(jīng)非常成熟，通過(guò)在數(shù)據(jù)中心的服務(wù)器上安裝虛擬化軟件及其管理工具即可實(shí)現(xiàn)計(jì)算和存儲(chǔ)資源的池化和管理。但是，云服務(wù)的快速部署還需要計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源的協(xié)同部署能力，網(wǎng)絡(luò)資源需隨業(yè)務(wù)申請(qǐng)自動(dòng)按需發(fā)放，顯然當(dāng)前的數(shù)據(jù)中心網(wǎng)絡(luò)難以滿足以上要求。并且，在數(shù)據(jù)中心大規(guī)模部署虛擬化計(jì)算和存儲(chǔ)以后，傳統(tǒng)數(shù)據(jù)中心的網(wǎng)絡(luò)問(wèn)題愈加突出，逐漸成為限制其發(fā)展的瓶頸：首先，網(wǎng)絡(luò)與業(yè)務(wù)分離，DC間的網(wǎng)絡(luò)配置復(fù)雜，業(yè)務(wù)開(kāi)通周期長(zhǎng)；其次，4 096個(gè)VLAN限制了租戶隔離資源，難以滿足云計(jì)算時(shí)代多租戶規(guī)模擴(kuò)展的需求；再次，不同地理位置的數(shù)據(jù)中心之間三層互訪，業(yè)務(wù)和資源擴(kuò)展受限于單個(gè)物理DC；最后，跨DC業(yè)務(wù)需要租戶租用光纖／傳輸資源，資源利用率低，費(fèi)用高。

因此，促進(jìn)跨數(shù)據(jù)中心網(wǎng)絡(luò)互聯(lián)，實(shí)現(xiàn)其資源的整合、池化和調(diào)度，構(gòu)建一個(gè)邏輯上統(tǒng)一的云數(shù)據(jù)中心已經(jīng)迫在眉睫。而軟件定義網(wǎng)絡(luò)（software defined networking，SDN）具有控制與轉(zhuǎn)發(fā)分離、集中控制、開(kāi)放可編程、網(wǎng)絡(luò)虛擬化等技術(shù)特征，很好地契合了新一代數(shù)據(jù)中心的要求，為解決數(shù)據(jù)中心互聯(lián)的網(wǎng)絡(luò)瓶頸提供了重要途徑［2］。

本文首先介紹和分析幾種常用的數(shù)據(jù)中心互聯(lián)技術(shù)，然后提出一種基于SDN的運(yùn)營(yíng)商數(shù)據(jù)中心互聯(lián)承載技術(shù)方案，并詳細(xì)闡述該方案原型系統(tǒng)的實(shí)現(xiàn)架構(gòu)和相應(yīng)功能模塊。

2 DC互聯(lián)技術(shù)

業(yè)界的DC互聯(lián)技術(shù)較為豐富，大體可以分為兩類：一類是基于MAC地址的二層網(wǎng)絡(luò)互聯(lián)技術(shù)，另一類是基于IP地址的三層網(wǎng)絡(luò)互聯(lián)技術(shù)。而云計(jì)算時(shí)代的跨數(shù)據(jù)中心服務(wù)器集群、虛擬機(jī)跨DC動(dòng)態(tài)遷移等業(yè)務(wù)向數(shù)據(jù)中心提出了二層網(wǎng)絡(luò)互聯(lián)需求，而解決三層網(wǎng)絡(luò)互聯(lián)相對(duì)比較簡(jiǎn)單，通?？赏ㄟ^(guò)L3 VPN實(shí)現(xiàn)。因此，接下來(lái)主要討論跨數(shù)據(jù)中心二層互聯(lián)技術(shù)。

2.1 光纖互聯(lián)技術(shù)

基于裸光纖或DWDM （dense wavelength division multiplexing，密集型光波復(fù)用）線路的二層互聯(lián)方案是通過(guò)光纖或傳輸資源將不同物理位置的數(shù)據(jù)中心直接互聯(lián)，這種方案雖然帶寬資源非常充足，網(wǎng)絡(luò)性能比較突出，但是價(jià)格昂貴，難于擴(kuò)展，主要應(yīng)用于同城數(shù)據(jù)中心之間的互聯(lián)。由于成本較高，對(duì)于運(yùn)營(yíng)商而言，該技術(shù)主要適用于高價(jià)值、對(duì)安全高度敏感的租戶。

該方案主要有兩種組網(wǎng)方式：Hub-Spoke組網(wǎng)和RRPP環(huán)路組網(wǎng)。其中，Hub-Spoke組網(wǎng)模型將某個(gè)數(shù)據(jù)中心的核心節(jié)點(diǎn)與多個(gè)數(shù)據(jù)中心的匯聚層節(jié)點(diǎn)互聯(lián)，在邏輯上構(gòu)成一個(gè)星型拓?fù)洌@種組網(wǎng)方式基于最短路徑轉(zhuǎn)發(fā)，數(shù)據(jù)轉(zhuǎn)發(fā)效率較高；RRPP環(huán)路組網(wǎng)模型將多個(gè)數(shù)據(jù)中心的匯聚層節(jié)點(diǎn)對(duì)等互聯(lián)，所有節(jié)點(diǎn)之間均存在備份路徑，結(jié)構(gòu)頑健，HA（high available）性能較優(yōu)。因此，企業(yè)在選擇組網(wǎng)方式時(shí)，應(yīng)結(jié)合這兩種組網(wǎng)模型的特點(diǎn)，根據(jù)應(yīng)用需求 進(jìn) 行 設(shè) 計(jì)［3］。

2.2 MPLS L2VPN技術(shù)

通過(guò)MPLS L2VPN技術(shù)，用戶可以通過(guò)MPLS網(wǎng)絡(luò)在不同站點(diǎn)之間透?jìng)鞫訑?shù)據(jù)信息。因此，可以利用該技術(shù)實(shí)現(xiàn)跨數(shù)據(jù)中心二層網(wǎng)絡(luò)的延伸。目前，MPLS L2VPN技術(shù)主要有三種實(shí)現(xiàn)形式：VPLS（virtual private LAN service，虛擬專用局域網(wǎng)業(yè)務(wù)）、VLL（virtual leased line，虛擬租用線路）和 E-VPN（BGP MPLS based Ethernet VPNs，以太網(wǎng)VPN），下面將結(jié)合DC互聯(lián)的應(yīng)用場(chǎng)景展開(kāi)分析。

VPLS是目前最常見(jiàn)的二層互聯(lián)技術(shù)，它是一種點(diǎn)到多點(diǎn)的MPLS L2VPN實(shí)現(xiàn)方案，多個(gè)不同地理位置的站點(diǎn)之間通過(guò)隧道廣播學(xué)習(xí)MAC地址，對(duì)客戶形成一個(gè)仿真LAN。VPLS的相關(guān)標(biāo)準(zhǔn)提出較早，成熟度高，在很多行業(yè)都廣泛部署，但其組網(wǎng)技術(shù)復(fù)雜，存在廣播域泛洪的問(wèn)題，部署和運(yùn)維難度高。另外，在雙歸屬組網(wǎng)時(shí)主備保護(hù)負(fù)荷分擔(dān)實(shí)現(xiàn)較為困難。

VLL是一種點(diǎn)到點(diǎn)的二層互聯(lián)方式，通過(guò)IP／MPLS網(wǎng)絡(luò)提供的VLL虛擬專線將不同物理位置的機(jī)房設(shè)備直接互聯(lián)［4］。這種互聯(lián)方式路由結(jié)構(gòu)清晰，但如果需要互聯(lián)的數(shù)據(jù)中心節(jié)點(diǎn)設(shè)備較多，將存在“N的平方”問(wèn)題。另外，VLL與IP網(wǎng)絡(luò)上其他業(yè)務(wù)共享帶寬資源，時(shí)延要求較高的業(yè)務(wù)可能受到不同程度的影響。

EVPN是一種用于L2域間互聯(lián)的新協(xié)議，通過(guò)BGP擴(kuò)展，實(shí)現(xiàn)遠(yuǎn)端MAC地址學(xué)習(xí)、多歸屬組網(wǎng)自動(dòng)發(fā)現(xiàn)／冗余保護(hù)／負(fù)荷分擔(dān)［5］。該協(xié)議可減少BUM流量的泛洪，有效提高網(wǎng)絡(luò)效率，非常適合用于數(shù)據(jù)中心互聯(lián)，將成為下一代替代VPLS的L2VPN技術(shù)。但是這種技術(shù)較為復(fù)雜，配置比較復(fù)雜，各廠商支持程度低、可用性和互通性缺少驗(yàn)證。

2.3 overlay技術(shù)

overlay網(wǎng)絡(luò)方案的提出在一定程度上推動(dòng)了數(shù)據(jù)中心網(wǎng)絡(luò)的發(fā)展。該方案將數(shù)據(jù)中心網(wǎng)絡(luò)改造為一個(gè)無(wú)阻塞的矩陣網(wǎng)，并通過(guò)隧道技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)虛擬化和軟件的集中控制，其邏輯平面與物理平面完全分離，用戶在設(shè)計(jì)和部署網(wǎng)絡(luò)時(shí)無(wú)需了解底層物理網(wǎng)絡(luò)架構(gòu)。目前主流的overlay技術(shù)有VxLAN（virtual extensible LAN，虛擬可擴(kuò)展局域網(wǎng)）、NVGRE （network virtualization using generic routing encapsulation，通 用 路 由 封 裝 ）、STT （stateless transport tunneling，無(wú)狀態(tài)傳輸隧道）技術(shù)等，VxLAN是當(dāng)前業(yè)界的主流選擇?；赩xLAN的overlay網(wǎng)絡(luò)可以實(shí)現(xiàn)多個(gè)數(shù)據(jù)中心之間異構(gòu)網(wǎng)絡(luò)的二層互聯(lián)，不需要考慮數(shù)據(jù)中心之間的網(wǎng)絡(luò)類型，配置簡(jiǎn)單，是DC互聯(lián)場(chǎng)景中的主推技術(shù)。

在多數(shù)據(jù)中心互聯(lián)場(chǎng)景中，VxLAN通常與其他技術(shù)結(jié)合使用，如VxLAN與EVPN結(jié)合使用，EVPN作為控制面協(xié)議，而VxLAN作為數(shù)據(jù)面協(xié)議。

2.4 SDN技術(shù)

軟件定義網(wǎng)絡(luò)是一種新型的網(wǎng)絡(luò)架構(gòu)和技術(shù)，其核心設(shè)計(jì)理念是將傳統(tǒng)IP網(wǎng)絡(luò)的數(shù)據(jù)轉(zhuǎn)發(fā)和路由控制進(jìn)行分離，實(shí)現(xiàn)集中控制、分布轉(zhuǎn)發(fā)，通過(guò)軟件可編程的方式來(lái)簡(jiǎn)化和優(yōu)化網(wǎng)絡(luò)。這種控制與轉(zhuǎn)發(fā)分離的網(wǎng)絡(luò)架構(gòu)使得網(wǎng)絡(luò)不再成為制約業(yè)務(wù)快速上線和云服務(wù)效率的瓶頸，而集中控制的理念也為數(shù)據(jù)中心之間網(wǎng)絡(luò)資源的整合、優(yōu)化和靈活調(diào)度提供了重要手段。

隨著SDN技術(shù)的發(fā)展，基于SDN實(shí)現(xiàn)數(shù)據(jù)中心互聯(lián)已經(jīng)成為業(yè)界認(rèn)可的重要思路，集中的SDN控制平臺(tái)也逐漸成為實(shí)現(xiàn)數(shù)據(jù)中心之間流量調(diào)度和網(wǎng)絡(luò)資源自動(dòng)化管理的關(guān)鍵部件。

在DC互聯(lián)場(chǎng)景中，SDN技術(shù)應(yīng)用的主流思路有兩種：一種是“SDN+VxLAN”的overlay網(wǎng)絡(luò)解決方案，另一種是“SDN+openFlow”的underlay網(wǎng)絡(luò)解決方案。前者以VxLAN作為數(shù)據(jù)面協(xié)議，標(biāo)識(shí)租戶，并透明傳輸租戶信息，SDN控制器集中管理和控制各個(gè)數(shù)據(jù)中心的VxLAN隧道端點(diǎn)設(shè)備，并根據(jù)業(yè)務(wù)需求向相應(yīng)設(shè)備下發(fā)指令，對(duì)進(jìn)出數(shù)據(jù)中心或服務(wù)器的報(bào)文進(jìn)行VxLAN封裝轉(zhuǎn)換；后者需要數(shù)據(jù)中心的網(wǎng)絡(luò)設(shè)備支持OpenFlow，SDN控制器根據(jù)業(yè)務(wù)策略集中生成流表，并通過(guò)標(biāo)準(zhǔn)化的OpenFlow協(xié)議下發(fā)給數(shù)據(jù)中心的OpenFlow設(shè)備，OpenFlow設(shè)備只需根據(jù)流表對(duì)匹配到的數(shù)據(jù)分組執(zhí)行相應(yīng)的轉(zhuǎn)發(fā)指令即可。

在這兩種思路中，基于VxLAN的SDN方案相對(duì)較為成熟，廠商支持程度較高，可作為近期實(shí)現(xiàn)數(shù)據(jù)中心互聯(lián)的過(guò)渡技術(shù)。但由于基于overlay的DCI（data center interconnection，DC互聯(lián)）虛擬網(wǎng)絡(luò)可能跨廣域網(wǎng)，而VxLAN對(duì)網(wǎng)絡(luò)狀況并無(wú)感知，因此難以規(guī)避擁塞，無(wú)法提供有效的流量調(diào)度和QoS保障。而基于OpenFlow的SDN方案可以從中央控制節(jié)點(diǎn)獲取網(wǎng)絡(luò)配置信息，感知虛擬網(wǎng)絡(luò)內(nèi)跨DC的流量訪問(wèn)，根據(jù)業(yè)務(wù)類型對(duì)某些時(shí)效性要求高的流量進(jìn)行保障傳送，是未來(lái)數(shù)據(jù)中心網(wǎng)絡(luò)演進(jìn)的重要方向。

3 運(yùn)營(yíng)商DC互聯(lián)承載技術(shù)方案與實(shí)現(xiàn)

目前，基于SDN技術(shù)實(shí)現(xiàn)跨數(shù)據(jù)中心網(wǎng)絡(luò)的互聯(lián)已經(jīng)成為目前DC互聯(lián)的主流思路。在這種背景下，本文提出一種SDN+MPLS的解決方案，實(shí)現(xiàn)運(yùn)營(yíng)商跨數(shù)據(jù)中心網(wǎng)絡(luò)的多租戶互聯(lián)。

3.1 目標(biāo)與需求

為應(yīng)對(duì)云計(jì)算時(shí)代業(yè)務(wù)彈性擴(kuò)展、就近接入、跨地域容災(zāi)備份、DC間數(shù)據(jù)同步、資源動(dòng)態(tài)調(diào)度、虛擬機(jī)遷移等業(yè)務(wù)需求，未來(lái)的DC互聯(lián)網(wǎng)絡(luò)存在3個(gè)發(fā)展目標(biāo)。

·資源虛擬化：實(shí)現(xiàn)DC間的網(wǎng)絡(luò)虛擬化，對(duì)用戶呈現(xiàn)邏輯上統(tǒng)一的云數(shù)據(jù)中心，實(shí)現(xiàn)數(shù)據(jù)中心之間資源的整合、池化和調(diào)度，如圖1所示。

圖1 虛擬化數(shù)據(jù)中心示意

·業(yè)務(wù)自動(dòng)化：實(shí)現(xiàn)網(wǎng)絡(luò)自動(dòng)配置，業(yè)務(wù)靈活部署。

·流量可調(diào)度：提供多條DC間的業(yè)務(wù)路徑，用戶可根據(jù)需要靈活選擇和調(diào)整業(yè)務(wù)流的路徑。

為滿足云服務(wù)的網(wǎng)絡(luò)需求，運(yùn)營(yíng)商DC互聯(lián)承載技術(shù)方案的總體功能簡(jiǎn)述如下。

·實(shí)現(xiàn)靈活的二層虛擬網(wǎng)絡(luò)和跨DC虛擬化網(wǎng)絡(luò)的延伸。

·面向用戶提供定制界面，完成虛擬網(wǎng)絡(luò)配置服務(wù)，實(shí)現(xiàn)網(wǎng)絡(luò)的自動(dòng)開(kāi)通。

·實(shí)現(xiàn)任意虛擬機(jī)的策略隔離。

·提供多種業(yè)務(wù)路徑，用戶可根據(jù)實(shí)際需要?jiǎng)討B(tài)調(diào)整業(yè)務(wù)流的路徑。

·實(shí)現(xiàn)用戶跨DC虛擬網(wǎng)絡(luò)的分布部署，如Web靠近用戶前置部署，使用戶可就近訪問(wèn)，縮短用戶訪問(wèn)的不穩(wěn)定性。

3.2 技術(shù)方案

根據(jù)上述功能要求，本節(jié)提出一種“SDN+MPLS”的DC互聯(lián)方案，其組網(wǎng)架構(gòu)如圖2所示，整個(gè)系統(tǒng)可分為3層：承載層、控制層和協(xié)同管理層，下面將對(duì)該架構(gòu)進(jìn)行說(shuō)明。

承載層由數(shù)據(jù)中心和骨干網(wǎng)的網(wǎng)絡(luò)設(shè)備組成，包括DC內(nèi)的OpenFlow交換機(jī) （接入和匯聚交換機(jī)均采用OpenFlow交換機(jī)）和服務(wù)器、骨干網(wǎng)的路由器等。數(shù)據(jù)中心的服務(wù)器可以安裝商用或開(kāi)源虛擬化軟件，這里假設(shè)采用VMware的虛擬化方案，其hypervisor為ESXI，虛擬機(jī)之間通過(guò)虛擬交換機(jī)VDS相連。

控制層由DC控制器和vCenter組成。其中，DC控制器負(fù)責(zé)根據(jù)協(xié)同器下發(fā)的策略進(jìn)行流表映射，并下發(fā)流表表項(xiàng)，實(shí)現(xiàn)對(duì)OpenFlow交換機(jī)的控制：對(duì)于出入接入交換機(jī)的數(shù)據(jù)分組彈出／壓入VLAN標(biāo)簽，實(shí)現(xiàn)物理主機(jī)內(nèi)不同租戶的隔離；并壓入／彈出所選LSP的MPLS標(biāo)簽棧，實(shí)現(xiàn)路徑選擇，內(nèi)層標(biāo)簽表示目的DC內(nèi)的LSP路徑，中層標(biāo)簽表示DC間骨干網(wǎng)的LSP路徑，外層標(biāo)簽表示源DC內(nèi)的LSP路徑。在整個(gè)DC互聯(lián)網(wǎng)絡(luò)，只根據(jù)MAC地址全局判定租戶虛擬網(wǎng)絡(luò)。

協(xié)同管理層由協(xié)同器和DCI云管理平臺(tái)組成。DCI云管理平臺(tái)負(fù)責(zé)DCI的網(wǎng)絡(luò)管理和控制功能，并面向用戶提供虛擬網(wǎng)絡(luò)配置服務(wù)。協(xié)同器接收云管理平臺(tái)的指令，負(fù)責(zé)協(xié)調(diào)和管理各DC的控制器，并向各DC內(nèi)的控制器下發(fā)業(yè)務(wù)策略。

3.3 基于MPLS的DC互聯(lián)承載方案實(shí)現(xiàn)

考慮采用圖3所示功能架構(gòu)，各層次間的相關(guān)處理流程簡(jiǎn)述如下。

·用戶通過(guò)DCI云管理平臺(tái)定制其虛擬網(wǎng)絡(luò)，包括創(chuàng)建業(yè)務(wù)主機(jī)、選擇路徑策略等。

·DCI云管理平臺(tái)通過(guò)vCenter將業(yè)務(wù)主機(jī)實(shí)例化，vCenter將業(yè)務(wù)主機(jī)的部署信息反饋給DCI云管理平臺(tái)。

·DCI云管理平臺(tái)將業(yè)務(wù)主機(jī)的部署信息與物理網(wǎng)絡(luò)拓?fù)涞南嚓P(guān)信息存儲(chǔ)至用戶信息數(shù)據(jù)庫(kù)，并透?jìng)鹘o協(xié)同器。

·協(xié)同器根據(jù)用戶定義的網(wǎng)絡(luò)關(guān)系和路徑策略進(jìn)行路徑計(jì)算，基于當(dāng)前的網(wǎng)絡(luò)資源狀況選擇LSP路徑，并將相應(yīng)的策略模板下發(fā)給對(duì)應(yīng)的DC控制器。

·DC控制器將路徑策略映射為流表，下發(fā)給對(duì)應(yīng)的OpenFlow交換機(jī)。

圖2 運(yùn)營(yíng)商DC互聯(lián)承載技術(shù)方案組網(wǎng)架構(gòu)

圖3 系統(tǒng)功能架構(gòu)

·OpenFlow交換機(jī)接收并匹配到指定業(yè)務(wù)報(bào)文，則按照指定策略，執(zhí)行相應(yīng)的轉(zhuǎn)發(fā)處理同時(shí)，交換機(jī)將端口流量的統(tǒng)計(jì)數(shù)據(jù)上報(bào)給DC控制器，并由后者通過(guò)RESTful接口上報(bào)給協(xié)同器。

·vCenter將DC計(jì)算資源的運(yùn)行狀況上報(bào)給DCI云管理平臺(tái)。

下面介紹主要功能模塊。

3.3.1 DCI云管理平臺(tái)功能

DCI云管理平臺(tái)上具備面向運(yùn)營(yíng)商、企業(yè)、租戶的portal，提供業(yè)務(wù)靈活定制的圖形化界面，并負(fù)責(zé)DCI的資源管理，具體功能如下。

·租戶邏輯視圖：保存和維護(hù)租戶所定義的邏輯網(wǎng)絡(luò)視圖。

·租戶資源管理：管理租戶需要使用的資源，包括租戶可用DC、計(jì)算資源、VLAN、IP地址、MAC地址、賬號(hào)和密碼等。

·虛擬機(jī)管理：創(chuàng)建、刪除虛擬機(jī)，并管理虛擬機(jī)模板（業(yè)務(wù)邏輯）。

·IP地址映射管理：主要管理公網(wǎng)IP地址和租戶私網(wǎng)IP地址之間的映射關(guān)系。

·DC資源管理：與各DC vCenter聯(lián)動(dòng)獲取DC的計(jì)算資源情況并進(jìn)行管理。

·系統(tǒng)管理：包括用戶、管理員的權(quán)限管理，操作日志管理等。

3.3.2 協(xié)同器功能

協(xié)同器又稱為DCI網(wǎng)絡(luò)協(xié)同管理模塊，負(fù)責(zé)總體的業(yè)務(wù)編排及多廠商DC控制器的協(xié)同，具體功能如下。

·拓?fù)涔芾砼c呈現(xiàn)：網(wǎng)絡(luò)物理拓?fù)涞墓芾砼c維護(hù)，并將拓?fù)渫競(jìng)鹘oDCI云管理平臺(tái)，在圖形化界面上展示。

·租戶隔離：實(shí)現(xiàn)物理主機(jī)內(nèi)的租戶隔離。本方案全局使用MAC地址池實(shí)現(xiàn)租戶隔離，在物理主機(jī)內(nèi)使用VLAN隔離租戶。VLAN在同一個(gè)物理主機(jī)內(nèi)有效，不同物理主機(jī)VLAN可復(fù)用，成功解決DC隔離資源受限的問(wèn)題。同租戶不同物理主機(jī)間的VLAN轉(zhuǎn)換通過(guò)租戶標(biāo)識(shí)、VM MAC地址、VLAN和物理主機(jī)ID等信息表實(shí)現(xiàn)。

·DCI路徑計(jì)算：根據(jù)用戶在云管理平臺(tái)上指定的路徑策略進(jìn)行LSP路徑計(jì)算。

·LSP管理：管理和維護(hù)LSP，包括MPLS標(biāo)簽、跳點(diǎn)、LSP策略模板等。

· 流量調(diào)度：負(fù)責(zé)實(shí)現(xiàn)DC間的交換機(jī)／租戶／VM之間的流量調(diào)度。

·網(wǎng)絡(luò)資源管理：管理、分配、回收租戶使用的網(wǎng)絡(luò)資源，包括交換機(jī)的管理IP地址、路由器的MAC地址、端口和連接關(guān)系等。

3.3.3 控制器功能

DC控制器負(fù)責(zé)網(wǎng)絡(luò)建模和網(wǎng)絡(luò)實(shí)例化，將協(xié)同器下發(fā)的策略進(jìn)行流表映射，并下發(fā)給OpenFlow交換機(jī)，將底層資源狀況反饋給協(xié)同層，主要基于OpenDaylight開(kāi)源控制器實(shí)現(xiàn)，具體功能如下。

·拓?fù)涔芾恚贺?fù)責(zé)DC內(nèi)物理拓?fù)涞墓芾砼c維護(hù)，并將數(shù)據(jù)中心的物理拓?fù)浒l(fā)送給協(xié)同器。

·路徑計(jì)算：根據(jù)協(xié)同器的路徑計(jì)算模塊下發(fā)的路徑策略模板生成流表。

·流表管理：負(fù)責(zé)流表的下發(fā)、刪除、修改、查詢，與OpenFlow交換機(jī)的流表同步。

· 狀態(tài)管理：管理OpenFlow交換機(jī)之間、OpenFlow交換機(jī)與DC控制器之間的連接狀態(tài)。

·租戶隔離：負(fù)責(zé)維護(hù)本數(shù)據(jù)中心內(nèi)租戶標(biāo)識(shí)，如虛擬機(jī)MAC地址、VLAN和物理主機(jī)ID等信息，實(shí)現(xiàn)不同租戶之間的隔離。

·MD-SAL：OpenDaylight提供的基于模型驅(qū)動(dòng)的服務(wù)抽象層，為上層的功能模塊提供一致性服務(wù)。

·OpenFlow 1.3驅(qū)動(dòng)與接口：支持與OpenFlow 1.3交換機(jī)通信。

3.3.4 業(yè)務(wù)流程

通過(guò)上述功能開(kāi)發(fā)，該方案可實(shí)現(xiàn)DC間的網(wǎng)絡(luò)虛擬化，能夠提供用戶業(yè)務(wù)定制、網(wǎng)絡(luò)自動(dòng)開(kāi)通、任意虛擬機(jī)策略隔離、DC間流量調(diào)度、用戶就近訪問(wèn)、DC間的容災(zāi)備份等業(yè)務(wù)功能。由于系統(tǒng)功能較多，這里不一一贅述，僅以兩個(gè)重要功能為例來(lái)說(shuō)明其實(shí)現(xiàn)原理。

（1）網(wǎng)絡(luò)自動(dòng)開(kāi)通

首先，租戶在DCI云管理平臺(tái)上的GUI上創(chuàng)建業(yè)務(wù)主機(jī)并通過(guò)vCenter將其實(shí)例化，vCenter將業(yè)務(wù)主機(jī)的部署信息反饋給DCI云管理平臺(tái)（包括部署DC和所屬物理主機(jī)ID）。DCI云管理平臺(tái)將業(yè)務(wù)主機(jī)部署信息與物理網(wǎng)絡(luò)信息進(jìn)行整理，存儲(chǔ)至用戶信息數(shù)據(jù)庫(kù)，如圖4所示。

圖4 用戶信息數(shù)據(jù)庫(kù)

用戶完成業(yè)務(wù)主機(jī)的創(chuàng)建工作之后，需要為其定義網(wǎng)絡(luò)關(guān)系，包括子網(wǎng)間的互通關(guān)系，主機(jī)之間互訪關(guān)系等，并選擇DC內(nèi)、DC間虛擬機(jī)互通的路徑選擇策略。DCI云管理平臺(tái)將相關(guān)網(wǎng)絡(luò)策略和用戶信息數(shù)據(jù)庫(kù)一起透?jìng)鹘o協(xié)同器。協(xié)同器根據(jù)租戶定制網(wǎng)絡(luò)和當(dāng)前的網(wǎng)絡(luò)資源狀況進(jìn)行路徑計(jì)算，選擇LSP，并向?qū)?yīng)的DC控制器下發(fā)策略。DC控制器根據(jù)路徑策略集中生成流表表項(xiàng)，下發(fā)給對(duì)應(yīng)的OpenFlow交換機(jī)。OpenFlow交換機(jī)根據(jù)流表轉(zhuǎn)發(fā)數(shù)據(jù)分組。

至此，便實(shí)現(xiàn)了租戶網(wǎng)絡(luò)的自動(dòng)開(kāi)通。云管理平臺(tái)、協(xié)同器、DC控制器、OpenFlow交換機(jī)之間的關(guān)系如圖5所示。

（2）DC 間流量調(diào)度

網(wǎng)絡(luò)管理員預(yù)先靜態(tài)配置多條DC間的LSP路徑，包括默認(rèn)路徑、高帶寬VIP通道、其他帶寬路徑等。

租戶可以根據(jù)業(yè)務(wù)需求調(diào)整DC間的路徑，實(shí)現(xiàn)業(yè)務(wù)流的動(dòng)態(tài)路徑優(yōu)化。

租戶在GUI上重新選擇DC間的業(yè)務(wù)路徑后，DCI云管理平臺(tái)向協(xié)同器下發(fā)變更DC間LSP的請(qǐng)求，協(xié)同器收到請(qǐng)求后分別向源DC和目的DC下發(fā)路徑變更策略。控制器刪除原有Openlow交換機(jī)中相應(yīng)的流表組，并根據(jù)新的DC間路徑重新生成和下發(fā)新的流表組。

圖5 網(wǎng)絡(luò)自動(dòng)開(kāi)通業(yè)務(wù)流程示意

4 結(jié)束語(yǔ)

促進(jìn)跨數(shù)據(jù)中心的網(wǎng)絡(luò)互聯(lián)，整合全網(wǎng)的DC資源是云計(jì)算時(shí)代數(shù)據(jù)中心的發(fā)展趨勢(shì)。文中對(duì)光纖互聯(lián)、L2 VPN、overlay和SDN等多種主流DC互聯(lián)技術(shù)進(jìn)行了分析。其中，基于SDN技術(shù)實(shí)現(xiàn)跨數(shù)據(jù)中心網(wǎng)絡(luò)的互聯(lián)已經(jīng)成為業(yè)界認(rèn)可的重要思路，集中的SDN控制平臺(tái)也成為了實(shí)現(xiàn)業(yè)務(wù)全網(wǎng)管控和網(wǎng)絡(luò)資源自動(dòng)化管理的關(guān)鍵部件。

在這種背景下，本文闡述了一種運(yùn)營(yíng)商DC互聯(lián)承載技術(shù)方案及其實(shí)現(xiàn)方法。該方案可實(shí)現(xiàn)DC間的網(wǎng)絡(luò)虛擬化，能夠提供用戶業(yè)務(wù)定制、網(wǎng)絡(luò)自動(dòng)開(kāi)通、任意虛擬機(jī)策略隔離、流量調(diào)度、用戶就近訪問(wèn)、DC間的容災(zāi)備份等業(yè)務(wù)功能。

［1］199IT 中 文互 聯(lián) 網(wǎng)數(shù) 據(jù)資 訊 中心 ［EB／OL］.http：／／www.199it.com／archives／435019.html.2016.199IT Chinese internet data information centaer ［EB／OL］.http：／／www.199it.com／archives／435019.html.2016.

［2］唐宏，劉漢江，陳前鋒，等.OpenDaylight應(yīng)用指南［M］.北京：人民郵電出版社，2016.TANG H，LIU H J，CHEN Q F，etal.Application guidelines of OpenDaylight［M］.Beijing：Posts&Telecom Press，2016.

［3］馬驥.基于SDN的云數(shù)據(jù)中心互聯(lián)［J］.電信工程技術(shù)與標(biāo)準(zhǔn)化，2015（11）：54-59.MA J.Cloud data center interconnect based on SDN［J］.Telecom Engineering Technics and Standardization，2015（11）：54-59.

［4］姚金玲.企業(yè)數(shù)據(jù)中心二層網(wǎng)絡(luò)互聯(lián)技術(shù)研究 ［J］.網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2015（5）： 85-86.YAO J L.L2 network interconnection technology research on enterprise data center ［J］.Network Security Technology&Application，2015（5）：85-86.

［5］BGP MPLS Based EthernetVPN：IETF.Draft-ietf-l2vpnevpn-03［S］.［S.1.：s.n.］，2013.

Bearing technology across the data center based on SDN

LIU Hanjiang，OU Liang，CHEN Wenhua，TANG Hong
Guangzhou Research Institute of China Telecom Co.，Ltd.，Guangzhou 510630，China

The development of the internet industry and the rise of cloud computing have created requirements on interconnectivity across data center，and software defined network technology provides important means to solve the network bottleneck problem of data center interconnectivity.Firstly，several commonly used interconnectivity technologies across data center were introduced，and advantages of SDN technology were analyzed.Then，the operator solution of data center interconnectivity bearing technologies based on SDN was put forward，and implementation ideas of this solution were explained.It is a solution which can realize network virtualization across data center，and provide kinds of business functions，such as service customization of user，automatic accessing of network，isolation strategy between different virtual machine，traffic scheduling，the nearest access of user，disaster recovery and backup across data center.

data center interconnectivity，cloud data center，network virtualization，SDN

TP393

A

10.11959／j.issn.1000-0801.2016114

2016-02-20；

2016-03-15

劉漢江（1988-），女，現(xiàn)就職于中國(guó)電信股份有限公司廣州研究院，主要研究方向?yàn)镮P承載網(wǎng)絡(luò)技術(shù)、SDN／NFV技術(shù)。

歐亮（1968-），男，博士，中國(guó)電信股份有限公司廣州研究院高級(jí)工程師，主要研究方向?yàn)殡娦啪W(wǎng)絡(luò)規(guī)劃設(shè)計(jì)、互聯(lián)網(wǎng)新技術(shù)研究與應(yīng)用。

陳文華（1967-），男，中國(guó)電信股份有限公司廣州研究院高級(jí)工程師，主要研究方向?yàn)閿?shù)據(jù)通信網(wǎng)絡(luò)。

唐宏（1974-），男，中國(guó)電信股份有限公司廣州研究院數(shù)據(jù)通信研究所所長(zhǎng)，主要研究方向?yàn)镮P承載網(wǎng)、下一代互聯(lián)網(wǎng)和網(wǎng)絡(luò)新技術(shù)方面的研發(fā)與管理。