顧戎，王瑞雪，李晨，黃璐

(1.中國移動通信有限公司研究院網(wǎng)絡技術研究所，北京 100053;2.北京郵電大學網(wǎng)絡技術研究院，北京 100876)

云數(shù)據(jù)中心SDN/NFV組網(wǎng)方案、測試及問題分析

顧戎1，王瑞雪2，李晨1，黃璐1

(1.中國移動通信有限公司研究院網(wǎng)絡技術研究所，北京 100053;2.北京郵電大學網(wǎng)絡技術研究院，北京 100876)

云計算技術的快速發(fā)展和廣泛應用使得數(shù)據(jù)中心的業(yè)務形態(tài)產(chǎn)生了翻天覆地的變化，SDN和NFV兩大技術聯(lián)合應用在數(shù)據(jù)中心優(yōu)勢顯著，真正實現(xiàn)了網(wǎng)絡資源的虛擬化。經(jīng)過有針對性的SDN/NFV規(guī)模組網(wǎng)評測，可以看到SDN/NFV已經(jīng)具備在云數(shù)據(jù)中心網(wǎng)絡的部署條件。同時，在方案制定和測試驗證過程中也發(fā)現(xiàn)了一些關鍵問題需要未來進一步研究和探討。

SDN;NFV;云數(shù)據(jù)中心;方案測試

1 引言

1.1 SDN和NFV技術相互補充相互結合

SDN(software defined networking)是一種軟件集中控制、網(wǎng)絡開放的網(wǎng)絡體系架構，核心思想在于控制與轉發(fā)相分離、集中化控制、通過標準接口開放網(wǎng)絡能力。其最大價值在于提升網(wǎng)絡虛擬化能力、加速網(wǎng)絡創(chuàng)新，提高全網(wǎng)資源使用效率。NFV(network function virtualization)是采用虛擬化技術，將傳統(tǒng)電信設備與硬件解耦，基于通用的計算、存儲、網(wǎng)絡設備實現(xiàn)電信網(wǎng)絡功能，從而提升設備的建設、管理和維護效率。

網(wǎng)絡由網(wǎng)元功能及其之間的網(wǎng)絡連接共同組成，SDN和NFV就是網(wǎng)絡連接與網(wǎng)元功能的關系。SDN提供網(wǎng)絡連接，NFV提供網(wǎng)元功能，二者相互獨立又相互補充，如圖1所示。其中，獨立性表現(xiàn)為SDN可以基于傳統(tǒng)硬件方式實現(xiàn)網(wǎng)絡功能，也可以采用NFV方式提供網(wǎng)絡功能。兩者相互補充會發(fā)揮更大的效應:一方面，SDN技術將網(wǎng)絡的轉發(fā)功能和控制功能分離，功能的拆分有利于網(wǎng)元的NFV化;另一方面，NFV可基于x86通用硬件為SDN的控制和轉發(fā)網(wǎng)元提供虛擬資源，使得SDN的資源調(diào)度更加靈活。

圖1 SDN和NFV的關系

1.2 云數(shù)據(jù)中心引入SDN/NFV技術的必要性

傳統(tǒng)網(wǎng)絡虛擬化能力不足，使得云數(shù)據(jù)中心虛擬私有云(virtual private cloud，VPC)業(yè)務和業(yè)務鏈(service chain)服務受到挑戰(zhàn)。靈活性、擴展性和易用性成為未來網(wǎng)絡的基本特征。在此背景下，SDN和NFV技術的出現(xiàn)使其迅速成為產(chǎn)業(yè)關注的熱點。

將集中控制、能力開放的SDN架構應用于云數(shù)據(jù)中心，可提升網(wǎng)絡服務的虛擬化能力，提高全網(wǎng)資源調(diào)度的高效性，滿足虛擬機在數(shù)據(jù)中心內(nèi)靈活創(chuàng)建、遷移、隔離等業(yè)務需求。同時為了解決防火墻、負載均衡器、廣域網(wǎng)VPN網(wǎng)關等傳統(tǒng)硬件設備虛擬化能力有限的問題，云數(shù)據(jù)中心在SDN架構的基礎上引入NFV形式的軟件產(chǎn)品，采用業(yè)務鏈的解決方案為每個租戶單獨提供可定制的服務，并集中進行流量的調(diào)度。通過SDN和NFV技術聯(lián)合，可以將物理網(wǎng)絡抽象成虛擬的邏輯網(wǎng)絡模型，基于SDN架構、OpenStack標準接口和流表設計實現(xiàn)VPC和業(yè)務鏈服務，并通過加速技術實現(xiàn)NFV網(wǎng)元的高效工作。

2 云數(shù)據(jù)中心SDN/NFV技術引入方案

2.1 云數(shù)據(jù)中心SDN/NFV組網(wǎng)架構

云數(shù)據(jù)中心SDN解決方案具有多級架構，包括應用層、協(xié)同層/虛擬化平臺、控制器和轉發(fā)層。多級架構有助于實現(xiàn)網(wǎng)絡的靈活調(diào)度，提供真正的網(wǎng)絡即服務。

SDN調(diào)度平臺或者第三方平臺作為應用層，為用戶提供網(wǎng)絡資源的自配置界面以及虛擬網(wǎng)絡拓撲配置界面，用戶可針對虛擬鏈路/網(wǎng)元進行訪問控制策略的配置，并向用戶實時呈現(xiàn)當前網(wǎng)絡的運行情況。

協(xié)同層包含計算、存儲、網(wǎng)絡、鑒權等多個模塊，用于調(diào)度數(shù)據(jù)中心內(nèi)的計算、存儲和網(wǎng)絡資源。

控制層為邏輯集中的控制實體(物理上可集中式資源實現(xiàn)或者分布式資源實現(xiàn))，將應用層業(yè)務請求轉化為轉發(fā)層的流表并配置到轉發(fā)層的相應網(wǎng)元中，并接收轉發(fā)層的狀態(tài)、統(tǒng)計和告警等信息。

轉發(fā)層由具有分組轉發(fā)功能的物理設備 (物理網(wǎng)元)或虛擬交換設備(虛擬網(wǎng)元)組成，根據(jù)SDN控制器通過控制—轉發(fā)接口配置的轉發(fā)表完成數(shù)據(jù)轉發(fā)。虛擬轉發(fā)層是云計算數(shù)據(jù)中心組網(wǎng)中必不可少的一個層次，用來滿足云計算環(huán)境下的虛擬機流量交換需求并提供靈活的流量調(diào)度。從轉發(fā)層的不同網(wǎng)元選擇以及采用的流量封裝方式來看，可分為overlay和overlay+underlay組網(wǎng)方案。

overlay組網(wǎng)方案的核心在于僅通過SDN控制虛擬交換機，虛擬交換機作為VxLAN的接入點，虛擬交換機之間通過VxLAN tunnel建立重疊網(wǎng)絡，基于SDN的流量控制和業(yè)務編排完全在虛擬交換機層面完成。底層的物理網(wǎng)絡通過網(wǎng)管或命令行方式基于傳統(tǒng)網(wǎng)絡技術提供服務器(虛擬交換機)之間的二層或三層連通，基于虛擬交換機增加的VxLAN封裝的MAC地址或IP地址信息進行轉發(fā)，對于虛擬機之間的流量并不直接感知。

overlay+underlay組網(wǎng)方案是通過SDN同時控制物理和虛擬交換機，全面控制網(wǎng)絡資源。虛擬交換機仍然作為VxLAN的接入點，虛擬交換機之間通過VxLAN tunnel建立重疊網(wǎng)絡，基于SDN的流量控制和業(yè)務編排結合虛擬交換機和物理交換機共同完成。此時物理網(wǎng)絡只需要基于虛擬交換機增加的VxLAN封裝的報頭信息進行轉發(fā)，物理交換機的轉發(fā)流量容量需求大大減少。由于物理交換機也在SDN的控制之下，VxLAN網(wǎng)關可以由核心交換機來兼做，一方面能夠優(yōu)化流量轉發(fā)的路徑，另一方面基于硬件設備的VxLAN網(wǎng)關具有更好的轉發(fā)性能。另外，該方案可以同時適用于純虛擬機業(yè)務環(huán)境和虛擬機物理服務器共存的業(yè)務場景。

兩種組網(wǎng)方案針對不同的場景需求。建議在以虛擬機為主的業(yè)務場景采用overlay方案;在同時需要虛擬機和物理服務器的業(yè)務場景采用overlay+underlay方案，另外，根據(jù)設備支持情況和性能需求選擇虛擬交換機或硬件交換機作為VxLAN接入點。

云數(shù)據(jù)中心SDN/NFV組網(wǎng)架構中，NFV網(wǎng)元以資源池的形式存在，通過SDN業(yè)務鏈調(diào)度實現(xiàn)NFV(包括虛擬防火墻、虛擬負載均衡等)的能力。

2.2 云數(shù)據(jù)中心SDN NFV方案評測

為了在云數(shù)據(jù)中心引入SDN和NFV技術，提供虛擬私有云 (virtual private cloud，VPC)和業(yè)務功能鏈(service function chaining，SFC)等先進網(wǎng)絡服務，本文對云數(shù)據(jù)中心SDN/NFV方案進行了規(guī)模組網(wǎng)評測，如圖2所示。本次評測基于開源OpenStack平臺，采用KVM虛擬化操作系統(tǒng)，對SDN重疊網(wǎng)解決方案進行驗證。

本次評測針對SDN云數(shù)據(jù)中心系統(tǒng)、控制器、轉發(fā)設備(含SDN、NFV)的功能和性能進行全面測試，測試圍繞OpenStack系統(tǒng)測試、SDN控制設備測試、SDN轉發(fā)設備測試、NFV網(wǎng)元(包括負載均衡器、防火墻以及IPSec VPN)測試以及通用安全性測試共5個部分展開。

(1)OpenStack系統(tǒng)測試

OpenStack系統(tǒng)測試屬于SDN多層架構中協(xié)同層/虛擬化平臺測試，具體包括OpenStack平臺實現(xiàn)虛擬路由器、網(wǎng)絡、安全組功能測試，浮動IP地址、NAT功能測試，LB/FW/VPN業(yè)務自動開通功能測試以及容量并發(fā)、壓力可靠性測試。結合數(shù)據(jù)中心的實際業(yè)務，對OpenStack云平臺提出要求。

通過OpenStack云平臺自服務對虛擬路由、網(wǎng)絡、子網(wǎng)、端口、安全組進行創(chuàng)建、刪除、修改、查看等相關操作，SDN控制器從云平臺獲取網(wǎng)絡信息并下發(fā)配置到轉發(fā)設備，從而對租戶自定義網(wǎng)絡、創(chuàng)建虛擬機、創(chuàng)建基于安全組的子網(wǎng)訪問策略等功能進行驗證。

通過浮動IP地址、NAT功能測試，驗證SDN和傳統(tǒng)網(wǎng)絡的互通，任意虛擬機訪問外網(wǎng)能力以及轉發(fā)設備是否支持公網(wǎng)IP地址和私網(wǎng)IP地址 1∶1靜態(tài)綁定和N∶1 NAT兩種方式。兩種方式下針對IP地址的帶寬限速功能也進行同步驗證。

通過OpenStack云平臺自服務方式對虛擬防火墻/虛擬負載均衡器進行創(chuàng)建/刪除/修改/查看等相關操作，對IPSec VPN服務執(zhí)行開通操作，驗證NFV網(wǎng)元自動或者手動開通功能。

通過容量并發(fā)、可靠性腳本壓力測試驗證通過云平臺可以創(chuàng)建的最大的網(wǎng)絡(子網(wǎng))、虛擬路由器、安全組、虛擬機數(shù)量以及SDN系統(tǒng)對并發(fā)創(chuàng)建的處理能力。

(2)SDN控制設備測試

SDN控制設備測試對控制器性能，包括控制器流表下發(fā)速度、建立時間、支持流表總容量以及支持交換機規(guī)模上限進行性能測試;在控制設備可靠性方面，對控制器主備負載分擔能力以及發(fā)生故障時主備倒換能力和倒換時間提出要求;進一步驗證SDN控制設備的可商用性。

圖2 云數(shù)據(jù)中心SDN/NFV方案評測示意

(3)SDN轉發(fā)設備測試

SDN轉發(fā)設備由物理網(wǎng)元或者是虛擬交換設備實現(xiàn)分組轉發(fā)功能，SDN轉發(fā)設備測試內(nèi)容包括轉發(fā)設備的功能、可靠性、穩(wěn)定性測試以及轉發(fā)設備性能測試。

(4)NFV網(wǎng)元測試

NFV網(wǎng)元測試針對NFV網(wǎng)元，包括負載均衡、防火墻以及VPN的功能和性能進行驗證。通過測試，對LB/FW/VPN的功能以及在一定性能要求下單服務器上能承載的最大虛擬網(wǎng)元數(shù)目進行驗證。

負載均衡的功能及性能測試驗證負載均衡服務是否支持健康檢查、負載均衡算法、SSL功能、會話保持及多VIP訪問;可靠性方面驗證是否支持雙機熱備份。與此同時，在統(tǒng)一配置服務器承載的一定性能要求的負載均衡器最大數(shù)目也得到了測試，具有實際部署指導價值。

防火墻功能及性能測試針對基于五元組、時間段的安全策略以及是否支持安全策略順序、雙機熱備份可靠性展開，在統(tǒng)一配置服務器承載的一定性能要求的防火墻最大數(shù)目也得到了驗證。

通過IPSec VPN功能和性能測試驗證IPSec VPN的功能和性能，并同步測試了統(tǒng)一配置服務器承載軟件IPSec網(wǎng)關的最大數(shù)量。

(5)安全通用測試

SDN技術相比傳統(tǒng)網(wǎng)絡帶來了安全上的變化，引入了控制器安全、流表安全等新安全問題。而傳統(tǒng)的安全問題，比如針對服務器的DoS攻擊、弱口令等在SDN中仍然存在，而且攻擊后果會更嚴重，所以安全通用測試一并納入SDN/NFV方案評測。安全通用測試對SDN/NFV方案中控制器、NFV網(wǎng)元進行安全測試，包括賬號安全、授權安全、IP安全、口令功能、日志功能、安全監(jiān)控等安全測試。

3 云數(shù)據(jù)中心SDN/NFV方案及測試的關鍵問題

通過方案評測，發(fā)現(xiàn)云數(shù)據(jù)中心SDN/NFV方案對OpenStack接口支持能力普遍較好，商用控制器和虛擬交換機性能基本可以滿足需求，基于SRIOV等技術的NFV網(wǎng)元在功能和性能方面也達到商用要求，SDN/NFV聯(lián)合商用方案在運營商網(wǎng)絡已具備商用部署條件。與此同時，本文發(fā)現(xiàn)云數(shù)據(jù)中心引入SDN和NFV技術還存在一些問題，如OpenStack及NFV的可靠性、測試方法的標準化、組網(wǎng)和部署方案經(jīng)驗缺乏、虛擬化平臺支持度不夠以及接口標準化工作缺乏等，需要在云數(shù)據(jù)中心后續(xù)方案的演進和實踐過程中進行進一步的思考與討論。

(1)OpenStack可靠性需要完善

由于標準OpenStack不具備數(shù)據(jù)庫高可靠性或者集群的能力，所以存在單點故障的問題，當前數(shù)據(jù)庫的高可靠性需要安裝第三方軟件實現(xiàn)，自身多節(jié)點負載均衡或可靠保護還需要進一步研究。

(2)測試方法的標準化

由于當前overlay的解決方案不唯一，存在VxLAN以及MPLSoGRE兩大主流封裝技術，因此測試方案無法得到統(tǒng)一，橫向對比比較困難。另外控制器與轉發(fā)設備流表下發(fā)存在主動下發(fā)和被動觸發(fā)兩種模式，兩種模式下控制器流表下發(fā)速度和建立時間也難以橫向對比。

(3)組網(wǎng)和部署經(jīng)驗缺乏

SDN/NFV技術目前還處于試商用初期，組網(wǎng)部署方案經(jīng)驗不足，多種部署方案無明確場景對比。如，NFV網(wǎng)元的部署位置是旁掛在underlay核心交換機還是直接部署在虛擬交換機或網(wǎng)關之后需根據(jù)場景決策，NFV網(wǎng)元的部署位置決定了其是否受到VLAN的限制。另外，NAT存在集中式部署和分布式兩種部署方式，各有千秋，目前對于兩種部署方式應合理選擇，并無明確的場景比較。

(4)SDN對Xen和VMware虛擬化平臺的支持需加強

通過評測發(fā)現(xiàn)，目前SDN解決方案主要支持KVM虛擬化平臺，對VMware和Xen虛擬化平臺支持效果較差。當前主流的云操作系統(tǒng)OpenStack基于開源KVM平臺開發(fā)，開放程度高，并且大量公有云系統(tǒng)基于OpenStack提供服務，業(yè)界具有豐富的部署經(jīng)驗，因此對于KVM虛擬化平臺支持度高。為了推動SDN和NFV技術的大規(guī)模商用部署，VMware和Xen平臺應進一步開放，這是提高SDN對這兩大虛擬化平臺支持度的基礎。

(5)SDN和NFV融合架構不明確，NFV接口有待進一步標準化

SDN架構按照ONF和CCSA等組織定義，分為應用層、協(xié)同層、控制層和轉發(fā)層，概念清晰達成共識。NFV按照 ETSI定義關于 MANO、VNF、NFVI、OMC、OSS 的總體架構業(yè)界也達成共識。但是當SDN和NFV共同部署在云中心，為用戶提供VPC和業(yè)務鏈服務時，NFVI資源如何整合，SDN應用和NFV orchestrator如何分工就成為了兩個架構融合的關鍵。目前架構和接口尚未達成一致，需要標準組織推動研究。

(6)OpenStack支持的北向接口不足，應在標準和開源社區(qū)推動兩方面努力

目前OpenStack在網(wǎng)絡方面的北向接口支持不足，如:OpenStack無法監(jiān)管物理服務器，對SDN和傳統(tǒng)網(wǎng)絡融合組網(wǎng)存在一定的管理問題;OpenStack Neutron等模塊北向接口不完善，無法滿足所有的業(yè)務需求;FWaaS的plugin只支持單廠商，無法實現(xiàn)多廠商集成;針對數(shù)據(jù)中心業(yè)務鏈服務相關的API如流量重定向、業(yè)務安排等還在研發(fā)中。近期可采用App擴展RESTful API彌補OpenStack北向接口的不足，并積極推動CCSA TC1等組織完善北向接口以及業(yè)務鏈的標準化;遠期應推動OpenStack社區(qū)完善和擴展，統(tǒng)一北向接口。

4 云數(shù)據(jù)中心SDN/NFV技術展望

針對云計算數(shù)據(jù)中心的SDN/NFV組網(wǎng)方案研究和評測對推動SDN/NFV技術的商用具有重要意義，加速了SDN和NFV產(chǎn)業(yè)鏈成熟。通過評測，本文發(fā)現(xiàn) SDN與NFV兩大技術結合具有天然的優(yōu)勢，業(yè)界對未來網(wǎng)絡演進的思路和見解也逐步明晰。SDN/NFV聯(lián)合組網(wǎng)方案具備良好的互操作性，NFV形態(tài)的負載均衡器、防火墻、VPN產(chǎn)品在功能、性能、可靠性方面已具備在運營商網(wǎng)絡中商用部署條件。

同時，云數(shù)據(jù)中心SDN/NFV技術評測的結果也反映出SDN/NFV技術面臨著一些挑戰(zhàn)，其中SDN和NFV融合架構模糊、標準化工作缺乏以及軟件可靠性等方面的關鍵問題對SDN/NFV的發(fā)展和應用十分重要，需要進一步的研究和探討。

SDN/NFV技術的引入帶給業(yè)界的改變遠超過技術本身，產(chǎn)業(yè)格局、網(wǎng)絡架構、運維模式的改變將隨著技術的逐步落地而帶來新的挑戰(zhàn)，需要進行不斷的探索和實踐。

［1］NADEAU T D，GRAY K.SDN:Software Defined Networks［M］.New York:O'Reilly，2013.

［2］李晨，段曉東，陳煒，等.SDN和 NFV的思考與實踐［J］.電信科學，2014，30(8):23-27.LI C，DUAN X D，CHEN W，et al.Thoughts and practices about SDN and NFV［J］.Telecommunications Science，2014，30(8):23-27.

［3］李晨，段曉東，黃璐，等.基于SDN和NFV的云數(shù)據(jù)中心網(wǎng)絡服務［J］. 電信網(wǎng)技術，2014(6).LI C，DUAN X D，HUANG L，et al.Network service of cloud data center service based on SDN and NFV ［J］.Telecommunications Network Technology，2014(6).

Analysis on network scheme and resolution test of SDN/NFV technology co-deployed in cloud datacenter

GU Rong1，WANG Ruixue2，LI Chen1，HUANG Lu1
1.Department of Network Technology，China Mobile Research Institute，Beijing 100053，China 2.Department of Network Technology，Beijing University of Posts and Telecommunications，Beijing 100876，China

Traditional datacenters have been heavily impacted due to the development and large-scale deployment of cloud computing technology.Co-deployment of SDN and NFV technology shows its distinct advantages of vitualizing network resources in the scenario of cloud datacenter.Resolution tests aiming at co-deployment of SDN and NFV have directive significance.According to the resolution test，SDN and NFV technology were matured already for the commercial deployment in operators'network.Further research needs to be focused on the key problems found out in scheme designing and the resolution test.

SDN，NFV，cloud datacenter，resolution test

TP393

A

10.11959/j.issn.1000-0801.2016020

2015-06-23;

2015-12-07

顧戎(1988-)，女，中國移動通信有限公司研究院網(wǎng)絡技術研究所項目經(jīng)理，主要研究方向為數(shù)據(jù)中心組網(wǎng)、SDN、NFV。

王瑞雪(1990-)，女，北京郵電大學碩士生，主要從事數(shù)據(jù)中心組網(wǎng)、SDN和NFV技術學習以及相關測試工作。

李晨(1985-)，男，中國移動通信有限公司研究院網(wǎng)絡技術研究所項目經(jīng)理，主要從事IP網(wǎng)絡、數(shù)據(jù)中心組網(wǎng)以及SDN和NFV方面的研究，負責IP骨干網(wǎng)、數(shù)據(jù)中心網(wǎng)組網(wǎng)方案設計及相關標準和技術的跟蹤、研究和標準制訂;已主持完成1項中國通信行業(yè)標準、1項中國標準化協(xié)會研究課題;已發(fā)表6篇論文。

黃璐(1978-)，男，中國移動通信研究院技術經(jīng)理，主要研究方向為中國移動IP網(wǎng)絡技術及網(wǎng)絡方案設計。