文/王河堂 王玉平 戴春葉

隨著IT技術(shù)的發(fā)展，尤其是虛擬化和云計算技術(shù)的日漸成熟與廣泛應(yīng)用，傳統(tǒng)的數(shù)據(jù)中心因為IT資源置備慢、資源利用率低下、電能消耗過高、物理空間有限、服務(wù)質(zhì)量低下等問題，而無法適應(yīng)當(dāng)今綠色IT的節(jié)能減排、低碳、智能先進的管理理念，也無法滿足IT資源高效交付、運維成本和投資成本節(jié)儉等新型數(shù)據(jù)中心要求 。

國內(nèi)高校已經(jīng)開始從傳統(tǒng)物理數(shù)據(jù)中心向虛擬化數(shù)據(jù)中心過渡，進而向軟件定義的數(shù)據(jù)中心過渡，這是數(shù)據(jù)中心發(fā)展的一種趨勢。據(jù)不完全統(tǒng)計，大部分高校已經(jīng)實現(xiàn)了服務(wù)器虛擬化，部分高校已經(jīng)實現(xiàn)存儲虛擬化，但是網(wǎng)絡(luò)虛擬化還在摸索和測試中。

上海海事大學(xué)于2017年7月在已有的服務(wù)器、存儲虛擬化、VRA云管平臺的基礎(chǔ)上，對數(shù)據(jù)中心的網(wǎng)絡(luò)進行了改造，利用NSX技術(shù)實現(xiàn)了網(wǎng)絡(luò)虛擬化，助力數(shù)據(jù)中心從傳統(tǒng)的數(shù)據(jù)中心徹底轉(zhuǎn)型為軟件定義的數(shù)據(jù)中心。本文總結(jié)了我校數(shù)據(jù)中心網(wǎng)絡(luò)改造的過程和經(jīng)驗，供大家參考。

數(shù)據(jù)中心及其網(wǎng)絡(luò)現(xiàn)狀

1. 數(shù)據(jù)中心現(xiàn)狀

上海海事大學(xué)從2009年開始自主建設(shè)服務(wù)器虛擬化，截至目前，我們利用業(yè)內(nèi)較成熟的虛擬化產(chǎn)品，已經(jīng)實現(xiàn)了計算虛擬化、存儲虛擬化，并且利用vRealize Automaition 平臺實現(xiàn)了IT資源的自動化部署與交付，利用vRealize Operations實現(xiàn)了智能化運維。數(shù)據(jù)中心正朝著軟件定義的數(shù)據(jù)中心轉(zhuǎn)型，這其中網(wǎng)絡(luò)虛擬化是關(guān)鍵環(huán)節(jié)。勢必要求傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)向軟件定義的網(wǎng)絡(luò)轉(zhuǎn)變。

2. 數(shù)據(jù)中心網(wǎng)絡(luò)現(xiàn)狀

數(shù)據(jù)中心已經(jīng)基本實現(xiàn)軟件定義數(shù)據(jù)中心功能，但數(shù)據(jù)中心網(wǎng)絡(luò)還是處于原來的傳統(tǒng)網(wǎng)絡(luò)模式。從網(wǎng)絡(luò)拓撲結(jié)構(gòu)而言，數(shù)據(jù)中心起到了其所在樓宇的校園網(wǎng)匯聚的作用。其內(nèi)部網(wǎng)絡(luò)有三部分組成：一部分是托管服務(wù)器網(wǎng)絡(luò)，主要用于各二級學(xué)院和二級部門的服務(wù)器；一部分是核心業(yè)務(wù)網(wǎng)絡(luò)，主要用于信息化辦公室為學(xué)校建設(shè)的核心業(yè)務(wù)物理服務(wù)器；最后一部分是虛擬機網(wǎng)絡(luò)，主要用于信息化辦公室為學(xué)校建設(shè)的虛擬機網(wǎng)絡(luò)。其中虛擬機網(wǎng)絡(luò)可看做是校園網(wǎng)的一個VLAN，與校園網(wǎng)絡(luò)交織在一起，通過同一個核心交換機進行數(shù)據(jù)交換（如圖1）。

這種網(wǎng)絡(luò)結(jié)構(gòu)給網(wǎng)絡(luò)管理帶來了一定復(fù)雜度。數(shù)據(jù)中心的物理服務(wù)器與虛擬機是由專門的數(shù)據(jù)中心管理員來管理，而數(shù)據(jù)中心的網(wǎng)絡(luò)則是由校園網(wǎng)絡(luò)管理員負責(zé)。數(shù)據(jù)中心對網(wǎng)絡(luò)的需求，通常是在之前事先劃定給數(shù)據(jù)中心服務(wù)器專用的網(wǎng)段之內(nèi)的，預(yù)先配置好校園網(wǎng)核心交換機及服務(wù)器接入交換機，日常使用通常只是在既定的規(guī)劃范圍內(nèi)正常使用，例如每次新增服務(wù)器，僅可使用既定的網(wǎng)絡(luò)分段，在已有的VLAN內(nèi)確定一個IP。但是在數(shù)據(jù)中心網(wǎng)絡(luò)日常的使用中，必然會存在因業(yè)務(wù)而發(fā)生的網(wǎng)絡(luò)變更，先前規(guī)劃的網(wǎng)絡(luò)已經(jīng)不能滿足當(dāng)前的需求。例如新增網(wǎng)段，需征求校園網(wǎng)絡(luò)管理員意見，等待網(wǎng)絡(luò)管理員調(diào)整交換機配置后，數(shù)據(jù)中心管理員方可測試使用。在日常的使用過程中，如果服務(wù)器網(wǎng)絡(luò)出現(xiàn)問題時，須由網(wǎng)絡(luò)管理員配合排障。

數(shù)據(jù)中心傳統(tǒng)網(wǎng)絡(luò)的弊端

隨著數(shù)據(jù)中心虛擬化程度越來越高，業(yè)務(wù)需求越來越多，安全性、靈活性及交付的時效性要求越來越高，傳統(tǒng)網(wǎng)絡(luò)已無法適應(yīng)新的發(fā)展需求，其弊端也慢慢顯現(xiàn)。

圖1 原有數(shù)據(jù)中心網(wǎng)絡(luò)拓撲

1. 傳統(tǒng)網(wǎng)絡(luò)架構(gòu)之管理弊端

(1) 以硬件為中心：特定于供應(yīng)商的管理，存在多種配置命令；

(2) 網(wǎng)絡(luò)架構(gòu)復(fù)雜，維護工作量大：每個接入交換機都需要做相關(guān)配置，完全手工配置，難以保證網(wǎng)絡(luò)配置的一致性，配置復(fù)雜且易出錯；

(3) 對新業(yè)務(wù)部署上線支持緩慢。網(wǎng)絡(luò)追趕業(yè)務(wù)，而無法與業(yè)務(wù)同步；

(4) 虛擬網(wǎng)絡(luò)與物理網(wǎng)絡(luò)協(xié)調(diào)困難：服務(wù)器管理員無法管理網(wǎng)絡(luò)，網(wǎng)絡(luò)管理員也無法管理虛擬機的網(wǎng)絡(luò)，出現(xiàn)網(wǎng)絡(luò)故障需要協(xié)調(diào)網(wǎng)絡(luò)管理員解決，排障效率低下；

(5) 網(wǎng)絡(luò)調(diào)整不夠靈活：涉及VLAN，IP等新增或者調(diào)整時，需要網(wǎng)絡(luò)管理員確認(rèn)并調(diào)整。

(6) 網(wǎng)絡(luò)管理界面劃分不清：原有架構(gòu)下，服務(wù)器網(wǎng)絡(luò)特別是虛擬機網(wǎng)絡(luò)與校園網(wǎng)絡(luò)交織在一起。虛擬機的網(wǎng)絡(luò)可以在虛擬網(wǎng)卡中做一定的限制，故對于網(wǎng)絡(luò)管理員而言，虛擬機的網(wǎng)絡(luò)應(yīng)該歸虛擬機管理員來負責(zé)。而對于虛擬機管理員而言，網(wǎng)絡(luò)的問題應(yīng)該由網(wǎng)絡(luò)管理員來負責(zé)，管理界限模棱兩可。

2. 校園網(wǎng)與數(shù)據(jù)中心網(wǎng)絡(luò)相互影響

目前校園網(wǎng)與數(shù)據(jù)中心網(wǎng)絡(luò)是二層互聯(lián)，在網(wǎng)絡(luò)安全問題上相互影響，如廣播風(fēng)暴，環(huán)路等。

3. 內(nèi)部安全控制不足

傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)安全防護一般部署在數(shù)據(jù)中心的邊界防火墻設(shè)備，數(shù)據(jù)中心內(nèi)部缺少東西向的安全控制（如圖2）。黑客一旦突破了邊界防火墻，就可以在數(shù)據(jù)中心內(nèi)部暢通無阻，造成數(shù)據(jù)非常容易泄露。如果通過部署傳統(tǒng)物理防護墻的形式，實現(xiàn)數(shù)據(jù)中心內(nèi)部成百臺虛擬機的東西向流向的安全，勢必會成本很高，同時運維管理十分復(fù)雜。

數(shù)據(jù)中心網(wǎng)絡(luò)改造規(guī)劃

圖2 數(shù)據(jù)中心內(nèi)部安全

鑒于傳統(tǒng)網(wǎng)絡(luò)的弊端，為了適應(yīng)新型數(shù)據(jù)中心的要求及業(yè)務(wù)對網(wǎng)絡(luò)的需求，我們對數(shù)據(jù)中心的網(wǎng)絡(luò)進行了自主升級改造。本次改造通過實現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)可獨立規(guī)劃、按需分配、靈活調(diào)整、減少耦合，最終實現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)可在一定的范圍內(nèi)獨立規(guī)劃、設(shè)計、可根據(jù)需要自主分配網(wǎng)絡(luò)、因業(yè)務(wù)需求可實現(xiàn)網(wǎng)絡(luò)靈活調(diào)整、減少與校園網(wǎng)絡(luò)之間的相互關(guān)聯(lián)性、管理界限分明、排障簡單的目標(biāo)，徹底建成軟件定義的數(shù)據(jù)中心。

1. 整體改造規(guī)劃

根據(jù)數(shù)據(jù)中心的網(wǎng)絡(luò)情況，我們制定了不同的改造策略。從長遠角度看，我們主要是針對虛擬機網(wǎng)絡(luò)進行虛擬化改造，其他網(wǎng)絡(luò)采用逐步過渡到虛擬化網(wǎng)絡(luò)的方法。具體如下：

(1) 托管物理服務(wù)器網(wǎng)絡(luò)：托管服務(wù)器是歷史遺留問題，目前數(shù)據(jù)中心已經(jīng)不再接受托管，對于已有的這部分服務(wù)器，網(wǎng)絡(luò)保持現(xiàn)狀，物理服務(wù)器不再進行升級、更新等業(yè)務(wù)，采用逐步淘汰的原則。

(2) 服務(wù)器等硬件管理網(wǎng)絡(luò)：使用重新規(guī)劃的新網(wǎng)絡(luò)地址，單獨劃分一個VLAN用于物理硬件的管理IP，其中包括了NAS，iSCSI等地址。

(3) 虛擬機網(wǎng)絡(luò)：對于虛擬機的網(wǎng)絡(luò)主要涉及兩類地址，一類是教科網(wǎng)地址，一類是內(nèi)網(wǎng)地址。教科網(wǎng)：如郵件、DNS等部分虛擬機使用了教科網(wǎng)，而且后續(xù)仍然存在業(yè)務(wù)需要使用教科網(wǎng)地址，故這部分網(wǎng)絡(luò)保持原有狀態(tài)。設(shè)置特定集群，單獨放置使用教科網(wǎng)的虛擬機。仍然是橋接方式。內(nèi)部網(wǎng)絡(luò)：使用新規(guī)劃網(wǎng)絡(luò)，進行虛擬化網(wǎng)絡(luò)改造，實現(xiàn)NSX網(wǎng)絡(luò)虛擬化。

2. 網(wǎng)絡(luò)虛擬化方案設(shè)計要點

(1) 數(shù)據(jù)中心使用單獨一個B類地址，實現(xiàn)虛擬機網(wǎng)絡(luò)與校園網(wǎng)相對獨立；

圖3 數(shù)據(jù)中心虛擬化網(wǎng)絡(luò)拓撲

(2) 新增兩臺數(shù)據(jù)中心核心交換機，與校園網(wǎng)三層互聯(lián)，避免虛擬機網(wǎng)絡(luò)環(huán)路對校園網(wǎng)產(chǎn)生影響；

(3) 管理網(wǎng)絡(luò)與生產(chǎn)網(wǎng)絡(luò)分隔；

(4) 不同的應(yīng)用使用不同的地址段；

(5) 虛擬機增加南北向及東西向安全控制；

3. 新建網(wǎng)絡(luò)虛擬化結(jié)構(gòu)

整個數(shù)據(jù)中心實現(xiàn)網(wǎng)絡(luò)虛擬化后，網(wǎng)絡(luò)劃分為三部分（如圖3）：

(1) 物理設(shè)備網(wǎng)絡(luò)：劃分兩個C類地址，直接用于物理設(shè)備如物理服務(wù)器、存儲、交換機等以及NAS、iSCSI的IP地址；

(2) Web生產(chǎn)網(wǎng)絡(luò)：通過NSX，劃分微分段，單獨用于Web服務(wù)器網(wǎng)絡(luò)，實現(xiàn)與一般生產(chǎn)的網(wǎng)絡(luò)隔離，此部分的服務(wù)器網(wǎng)絡(luò)防火墻有嚴(yán)格限制，默認(rèn)只開放80及443端口；

(3) 一般生產(chǎn)網(wǎng)絡(luò)：通過NSX，劃分微分段，用于一般的非Web服務(wù)器。

數(shù)據(jù)中心網(wǎng)絡(luò)虛擬化改造實施

無論是傳統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)還是利用Overlay技術(shù)的虛擬化網(wǎng)絡(luò)結(jié)構(gòu)，作為傳輸?shù)牡讓釉O(shè)備，物理交換機是必不可少的。此次數(shù)據(jù)中心網(wǎng)絡(luò)虛擬化改造，首先升級了底層網(wǎng)絡(luò)交換機。新增加兩臺核心交換機，清空了底層接入網(wǎng)絡(luò)交換機的配置，并把MTU值改為大于1600。新建NSX虛擬化網(wǎng)絡(luò)，部署虛擬化管理平臺，控制器及數(shù)據(jù)平面的各個插件。各集群安裝配置VXLAN、分布式邏輯交換機、邏輯路由器、分布式防火墻及Edge防火墻。

NSX網(wǎng)絡(luò)虛擬化架構(gòu)建設(shè)完成之后，兩種網(wǎng)絡(luò)并存，一種是原有的傳統(tǒng)VLAN、一種是大二層VXLAN。對于新增的虛擬機，使用全新的VXLAN網(wǎng)絡(luò)。對于已經(jīng)存在的虛擬機，通過設(shè)置物理主機同時連接兩種網(wǎng)絡(luò)，更改虛擬機IP地址，同時切換到VXLAN網(wǎng)絡(luò)，逐步實現(xiàn)生產(chǎn)虛擬機從VLAN轉(zhuǎn)化到VXLAN，最終完全實現(xiàn)NSX網(wǎng)絡(luò)虛擬化。

NSX網(wǎng)絡(luò)虛擬化改造后的優(yōu)勢

數(shù)據(jù)中心實現(xiàn)NSX網(wǎng)絡(luò)虛擬化之后，網(wǎng)絡(luò)的架構(gòu)、使用便捷性、安全性、管理便利性等都得到了極大的提升。

1. 數(shù)據(jù)中心的網(wǎng)絡(luò)實現(xiàn)軟件定義，不再以硬件為中心。

2. 網(wǎng)絡(luò)結(jié)構(gòu)簡化，與校園網(wǎng)之間的安全可控，有效防止回路，便于管理。

改造后虛擬化的物理網(wǎng)絡(luò)與校園網(wǎng)三層互聯(lián)，屏蔽二層故障的相互影響，安全可控；另外，網(wǎng)絡(luò)虛擬化后無需關(guān)心底層物理網(wǎng)絡(luò)，通過大二層技術(shù)，網(wǎng)絡(luò)與底層網(wǎng)絡(luò)設(shè)備的關(guān)系不再緊密，滿足IP可達即可，只需要將底層物理交換機的MTU值設(shè)為1600以上即可，無需再使用多種命令，做復(fù)雜的端口或者路由配置。同時允許底層網(wǎng)絡(luò)設(shè)備異構(gòu)。

3. 新增網(wǎng)絡(luò)變得簡單靈活，虛擬機管理員在統(tǒng)一的管理界面，增加虛擬交換機及虛擬路由器即可快捷完成，不再需要校園網(wǎng)管理員在物理交換機上進行繁雜的手工配置。

4. 虛擬機的網(wǎng)絡(luò)安全設(shè)置可由虛擬機管理員根據(jù)需要對虛擬機配置，無需網(wǎng)絡(luò)管理員參與。

圖4 虛機安全策略

5. 責(zé)權(quán)分明，校園網(wǎng)絡(luò)與數(shù)據(jù)中心網(wǎng)絡(luò)管理邊界清晰，故障排查簡單。

6. NSX提升數(shù)據(jù)中心網(wǎng)絡(luò)安全

(1) 傳統(tǒng)的數(shù)據(jù)中心的網(wǎng)絡(luò)安全，對于東西向的安全限制有限，實施NSX后，南北向及東西向安全限制，都可以做到較好的控制；

(2) 不同的網(wǎng)絡(luò)之間可以完全隔離，例如我們的Web網(wǎng)站服務(wù)與一般生產(chǎn)服務(wù)隔離；

(3) 可設(shè)置不同的安全組如SSH安全組，RDP安全組等，實現(xiàn)依據(jù)安全策略通訊。

(4) 安全策略跟隨虛擬機。

安全策略支持 IP、 Port范圍、安全組和vCenter管理對象。安全策略自動跟隨虛擬機，安全粒度到虛擬機（如圖4）。例如學(xué)校的MAIL服務(wù)器僅允許開放HTTP、HTTPS、IMAP_SSL、POP3_SSL，SMTP_SSL等協(xié)議，無論該郵件服務(wù)器遷移到哪臺主機，策略始終有效。

(5) 對于安全的控制，通過vCenter軟件平臺即可設(shè)置，無需對硬件配置進行更改。

7. NSX助力云計算自動化和自助式IT，IT資源需求服務(wù)實現(xiàn)無人干預(yù)。

NSX與vRealize Automation云計算自動化平臺結(jié)合，實現(xiàn)包含網(wǎng)絡(luò)和安全策略的按需應(yīng)用交付、自動化部署網(wǎng)絡(luò)安全微分段。在這兩大平臺的保障下，學(xué)校的網(wǎng)站服務(wù)器實現(xiàn)自助式申請、自動化部署交付，無人干預(yù)。

在信息化的時代，數(shù)據(jù)及服務(wù)呈現(xiàn)爆炸式增長，對于數(shù)據(jù)中心提出更高的要求，需要更大的靈活性，敏捷性和更好的安全性。軟件定義的數(shù)據(jù)中心是當(dāng)前應(yīng)對信息高速發(fā)展的最好方案。軟件定義的數(shù)據(jù)中心設(shè)施內(nèi)部運作將不再專注于硬件和物理設(shè)備，而會更多地側(cè)重于軟件。網(wǎng)絡(luò)虛擬化成為完全實現(xiàn)軟件定義數(shù)據(jù)中心的必經(jīng)之路。

云不是一個地方，而是一種方法，在那里一切都是軟件定義的，基礎(chǔ)設(shè)施就是代碼。