文/李雪鋒　趙春　陳麗榮　張?jiān)鲂蕖￡悵?/p>

多校區(qū)虛擬化平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

文/李雪鋒趙春陳麗榮張?jiān)鲂揸悵?/p>

多校區(qū)虛擬化平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)，主要涉及多校區(qū)虛擬化平臺(tái)實(shí)施部署、多校區(qū)虛擬化平臺(tái)模擬測(cè)試、業(yè)務(wù)遷移方案等。實(shí)踐發(fā)現(xiàn)，根據(jù)學(xué)校多校區(qū)的特點(diǎn)，通過(guò)采用虛擬化技術(shù)，在兩個(gè)校區(qū)部署虛擬化平臺(tái)，實(shí)現(xiàn)虛擬化業(yè)務(wù)在兩校區(qū)虛擬主機(jī)高效穩(wěn)定運(yùn)行，從而進(jìn)一步提升兩校區(qū)信息化集成業(yè)務(wù)的連續(xù)可用性和安全性。

隨著信息化技術(shù)不斷發(fā)展，虛擬化技術(shù)越來(lái)越多應(yīng)用于學(xué)校信息化建設(shè)。常見(jiàn)服務(wù)器虛擬化的軟件主要有Microsoft Hyper-V、VMware vSphere和 Citrix XenServer等等。在華東師范大學(xué)閔行校區(qū)(或中北校區(qū))，通過(guò)服務(wù)器虛擬化軟件VMware vSphere來(lái)將多臺(tái)物理服務(wù)器組合成一個(gè)群集，并通過(guò)配置SAN共享存儲(chǔ)，來(lái)實(shí)現(xiàn)vSphere的HA、DRS和vMotion的虛擬化高級(jí)功能，保障閔行校區(qū)（或中北校區(qū)）虛擬化業(yè)務(wù)高可用性和安全性。但這種方式存在單校區(qū)安全隱患，如當(dāng)閔行機(jī)房（或中北機(jī)房）出現(xiàn)斷電故障、用于支持物理服務(wù)器的PDU故障或者主機(jī)故障，將會(huì)使大范圍的服務(wù)受到影響，導(dǎo)致業(yè)務(wù)的長(zhǎng)時(shí)間中斷或者不可恢復(fù)。

如何實(shí)現(xiàn)當(dāng)任何一個(gè)校區(qū)的虛擬化出現(xiàn)故障，能夠快速實(shí)現(xiàn)將業(yè)務(wù)飄到另一個(gè)校區(qū)提供服務(wù)，最大限度地減少損失，保證業(yè)務(wù)的高可用性與安全性，下文將從理論到實(shí)踐詳細(xì)闡述閔行校區(qū)和中北校區(qū)進(jìn)行多校區(qū)虛擬化平臺(tái)如何實(shí)施部署。

多校區(qū)虛擬化架構(gòu)設(shè)計(jì)

華東師范大學(xué)閔行校區(qū)和中北校區(qū)的多校區(qū)虛擬化平臺(tái)實(shí)施部署時(shí)，中北校區(qū)和閔行校區(qū)現(xiàn)有網(wǎng)絡(luò)架構(gòu)，服務(wù)器層面通過(guò)VMware vSphere 來(lái)實(shí)現(xiàn)服務(wù)器虛擬化。存儲(chǔ)層面通過(guò)EMC vplex設(shè)備創(chuàng)建虛擬卷為虛擬化平臺(tái)提供共享存儲(chǔ)。通過(guò)服務(wù)器和存儲(chǔ)虛擬化技術(shù)，在中北校區(qū)與閔行校區(qū)搭建兩校區(qū)虛擬化平臺(tái)。其基本架構(gòu)如圖1所示。

在中北校區(qū)和閔行校區(qū)各部署一套配置一致UCS刀片，通過(guò)虛擬化軟件VMware vSphere來(lái)實(shí)現(xiàn)服務(wù)器層面的虛擬化。兩校區(qū)網(wǎng)絡(luò)實(shí)現(xiàn)萬(wàn)兆互聯(lián)，具有高速率、低延時(shí)、二層互通等特性，滿(mǎn)足虛擬化業(yè)務(wù)對(duì)網(wǎng)絡(luò)要求。在兩校區(qū)通過(guò)部署EMC vplex設(shè)備來(lái)實(shí)現(xiàn)存儲(chǔ)層面的虛擬化，兩校區(qū)vplex設(shè)備通過(guò)四根萬(wàn)兆以太網(wǎng)實(shí)現(xiàn)兩校區(qū)數(shù)據(jù)復(fù)制與通信。同時(shí)，在第三點(diǎn)故障域部署監(jiān)控點(diǎn)，主要用于兩校區(qū)vplex設(shè)備的健康監(jiān)測(cè)與故障切換。在每一個(gè)校區(qū)，服務(wù)器與存儲(chǔ)之間通過(guò)兩臺(tái)brocade光纖交換機(jī)進(jìn)行連接。利用虛擬化技術(shù)，建立一個(gè)統(tǒng)一的、整體部署的多校區(qū)虛擬化的系統(tǒng)架構(gòu)，實(shí)現(xiàn)多校區(qū)虛擬化業(yè)務(wù)的雙活容錯(cuò)，提高信息化集成業(yè)務(wù)的連續(xù)可用性和安全性。

圖1　兩校區(qū)虛擬化架構(gòu)

多校區(qū)虛擬化實(shí)現(xiàn)

虛擬化的實(shí)施部署工作主要涉及服務(wù)器虛擬化與存儲(chǔ)虛擬化這兩個(gè)方面的實(shí)施部署，具體如下。

服務(wù)器虛擬化實(shí)現(xiàn)

在中北校區(qū)與閔行校區(qū)都采用配置一致的UCS刀片用作虛擬化主機(jī)，虛擬化軟件采用VMware vSphere。服務(wù)器虛擬化主要涉及以下三個(gè)方面工作。

1.UCS刀片服務(wù)器初始化工作

在安裝虛擬化軟件ESXI之前，我們需要對(duì)UCS刀片進(jìn)行初始化工作。UCS刀片主要用于部署虛擬化軟件，承載虛擬化業(yè)務(wù)。UCS刀片主要由機(jī)箱和FI（fabric interconnect）組成。FI處理UCS所有的管理任務(wù)，提供上聯(lián)到現(xiàn)有的LAN和SAN，提供下聯(lián)到機(jī)箱。UCS刀片初始化工作主要通過(guò)FI管理控制臺(tái)來(lái)配置，主要涉及organization配置、UUID suffix配置、server池配置、本地磁盤(pán)策略配置、service profile模板配置、MAC池配置、vlan配置、vlan group創(chuàng)建、虛擬網(wǎng)卡模板配置、wwpn配置、wwnn配置、vsan配置、vhba模板配置、FEX配置、電源冗余策略配置、FI端口類(lèi)型配置、物理刀片服務(wù)器與service profile關(guān)聯(lián)配置等。

2.vSphere ESXi安裝配置

ESXi直接運(yùn)行在物理服務(wù)器上，能夠提供功能強(qiáng)大且經(jīng)過(guò)生產(chǎn)驗(yàn)證的虛擬化層。通過(guò)對(duì)服務(wù)器硬件資源（如內(nèi)存、存儲(chǔ)器、處理器及網(wǎng)絡(luò)設(shè)備等）進(jìn)行抽象，實(shí)現(xiàn)多臺(tái)虛擬機(jī)共享底層硬件資源。當(dāng)我們完成UCS刀片服務(wù)器初始化工作，接下來(lái)就需要在中北校區(qū)和閔行校區(qū)每臺(tái)刀片服務(wù)器上安裝和配置虛擬化軟件ESXi。

（1）ESXi安裝工作。通過(guò)調(diào)整服務(wù)器BIOS引導(dǎo)順序進(jìn)行安裝工作，在安裝過(guò)程中需要設(shè)置root用戶(hù)密碼等。

（2）ESXi配置工作。完成安裝后，通過(guò)root用戶(hù)進(jìn)行配置，主要涉及IP地址、DNS、VLAN、主機(jī)名和功能許可license等。

（3）vCenter server安裝配置

vCenter Server是VMware vSphere一個(gè)關(guān)于ESXi主機(jī)和虛擬機(jī)集中管理的虛擬化平臺(tái)。通過(guò)vCenter Server可以實(shí)現(xiàn)vSphere許多高級(jí)功能，如HA、DRS、vMotion等。

（1）vCenter server安裝工作。按照vCenter server部署基本要求，我們將軟件安裝到一臺(tái)Window Server2008R2 64位操作系統(tǒng)的虛擬機(jī)上。在安裝過(guò)程中，需要配置vCenter的數(shù)據(jù)庫(kù)，可以選擇系統(tǒng)自帶的Microsoft SQL Server Express,但對(duì)主機(jī)數(shù)量和虛擬機(jī)數(shù)量都有限制，僅適用于小規(guī)模部署，因此我們采用外部數(shù)據(jù)庫(kù)配置。關(guān)于涉及到TCP、UPD端口都采用默認(rèn)設(shè)置。

（2）vCenter server配置工作。通過(guò)客戶(hù)端軟件連接到vCenter server進(jìn)行相關(guān)配置工作， vCenter server配置工作主要涉及vCenter server基本功能配置、虛擬化網(wǎng)絡(luò)配置和共享存儲(chǔ)配置等。

vCenter server基本功能配置。主要涉及添加vCenter 許可license、建立兩校區(qū)數(shù)據(jù)中心、建立兩校區(qū)群集、將兩校區(qū)配置好的虛擬化主機(jī)添加到群集中、兩校區(qū)群集HA、DRS和vMotion功能配置等。

虛擬化網(wǎng)絡(luò)配置。網(wǎng)絡(luò)虛擬化可以實(shí)現(xiàn)不同虛擬機(jī)之間以及虛擬機(jī)與物理主機(jī)之間通信。針對(duì)每一臺(tái)主機(jī)采用標(biāo)準(zhǔn)交換機(jī)網(wǎng)絡(luò)模式，根據(jù)業(yè)務(wù)需求對(duì)端口組、管理網(wǎng)絡(luò)、網(wǎng)絡(luò)流量調(diào)整、網(wǎng)絡(luò)安全策略、物理網(wǎng)卡綁定等進(jìn)行配置。

共享存儲(chǔ)配置。針對(duì)通過(guò)光纖通道分配的兩校區(qū)虛擬卷，建立虛擬機(jī)文件系統(tǒng)（VMFS）,實(shí)現(xiàn)多個(gè)物理主機(jī)對(duì)同一存儲(chǔ)器同時(shí)執(zhí)行讀寫(xiě)操作。

存儲(chǔ)虛擬化實(shí)現(xiàn)

通過(guò)服務(wù)器虛擬化配置，將中北校區(qū)和閔行校區(qū)的ESXi主機(jī)都添加到同一個(gè)群集中。要實(shí)現(xiàn)兩個(gè)校區(qū)虛擬化，還需要為兩校區(qū)主機(jī)配置SAN共享存儲(chǔ)?；趦尚^(qū)已有的EMC的存儲(chǔ)設(shè)備，在閔行校區(qū)和中北校區(qū)各部署一臺(tái)vplex設(shè)備，通過(guò)EMC vplex虛擬化技術(shù)，將中北校區(qū)和閔行校區(qū)的存儲(chǔ)卷做成一個(gè)虛擬卷，對(duì)于中北校區(qū)和閔行校區(qū)的ESXi主機(jī)而言，識(shí)別到的是同一塊存儲(chǔ)。接下來(lái)詳細(xì)介紹虛擬卷的配置，假設(shè)需要配置的虛擬卷大小為10T。

1.vplex初始化工作。主要涉及Hostname與管理端口配置、meta-volume配置、時(shí)間同步配置、WAN interface配置、logging volume配置、監(jiān)控點(diǎn)部署等

2.存儲(chǔ)卷分配。在中北和閔行的EMC存儲(chǔ)上分別劃分相應(yīng)大小為10T的卷給vplex設(shè)備。

3.存儲(chǔ)卷標(biāo)記。兩校區(qū)的vplex識(shí)別到存儲(chǔ)卷后并其進(jìn)行標(biāo)記，目的是讓存儲(chǔ)卷受vplex管理。

4.區(qū)間創(chuàng)建。分別在中北和閔行的vplex上創(chuàng)建區(qū)間。區(qū)間用來(lái)對(duì)vplex管理的存儲(chǔ)卷進(jìn)行空間規(guī)劃，我們將10T的存儲(chǔ)卷做成一個(gè)區(qū)間。

5.設(shè)備創(chuàng)建。設(shè)備創(chuàng)建過(guò)程實(shí)際上就是區(qū)間與設(shè)備映射的過(guò)程，我們采用一對(duì)一唯一映射方式在中北和閔行vplex創(chuàng)建設(shè)備。

6.虛擬卷創(chuàng)建。虛擬卷實(shí)際上就是將中北和閔行的vplex上的設(shè)備做成一個(gè)統(tǒng)一的卷，提供給虛擬主機(jī)使用。在創(chuàng)建虛擬卷中，需要?jiǎng)?chuàng)建一個(gè)consistency group（CG），這個(gè)CG包含這個(gè)全局的虛擬卷，在CG中需要設(shè)定一定取勝規(guī)則。

通過(guò)上面步驟，成功建立了虛擬卷。通過(guò)在中北和閔行的vplex建立存儲(chǔ)視圖，將UCS刀片服務(wù)器的HBA卡wwpn、vplex通信端口以及虛擬卷結(jié)合在一起，實(shí)現(xiàn)虛擬卷分配到兩校區(qū)ESXi主機(jī)，在虛擬主機(jī)經(jīng)過(guò)磁盤(pán)掃描后，就可以識(shí)別到通過(guò)vplex分配的虛擬卷。

圖2　多校區(qū)虛擬卷

多校區(qū)虛擬化模擬測(cè)試

通過(guò)上面的部署，通過(guò)虛擬化技術(shù)實(shí)現(xiàn)了多校區(qū)虛擬化平臺(tái)。在業(yè)務(wù)遷移到多校區(qū)虛擬化平臺(tái)之前，需要對(duì)虛擬化平臺(tái)進(jìn)行一系列功能模擬測(cè)試工作，主要涉及服務(wù)器虛擬化和存儲(chǔ)虛擬化的模擬測(cè)試。

服務(wù)器虛擬化測(cè)試

服務(wù)器虛擬化測(cè)試主要針對(duì)中北校區(qū)和閔行校區(qū)虛擬化平臺(tái)主要功能測(cè)試，主要涉及VMware vSphere的HA、vMotion等功能測(cè)試。將從閔行校區(qū)ESXi主機(jī)中取出的主機(jī)A和從中北校區(qū)ESXi主機(jī)中取出的主機(jī)B做成一個(gè)群集，并開(kāi)啟群集的HA功能和vMotion功能，在主機(jī)A創(chuàng)建一臺(tái)業(yè)務(wù)測(cè)試機(jī)C。

1.多校區(qū)HA功能測(cè)試

vSphere HA功能用于檢測(cè)故障，對(duì)群集中運(yùn)行的虛擬機(jī)提供快速恢復(fù)功能。核心功能包括主機(jī)監(jiān)控、虛擬機(jī)監(jiān)控和應(yīng)用程序監(jiān)控功能，用于在檢測(cè)不到檢測(cè)信號(hào)時(shí)最大程度地縮短停機(jī)時(shí)間。本文主要以主機(jī)監(jiān)控功能測(cè)試為例。

表1　存儲(chǔ)虛擬化故障測(cè)試表

（1）通過(guò)對(duì)閔行ESXi主機(jī)A執(zhí)行斷電操作來(lái)模擬主機(jī)故障，同時(shí)針對(duì)業(yè)務(wù)測(cè)試機(jī)C，ping命令窗口顯示請(qǐng)求超時(shí)。

（2）經(jīng)過(guò)約200秒，業(yè)務(wù)測(cè)試機(jī)C的ping請(qǐng)求正常，業(yè)務(wù)測(cè)試機(jī)在中北校區(qū)主機(jī)B上重啟完成。

（3）恢復(fù)主機(jī)A正常狀態(tài)，對(duì)主機(jī)B執(zhí)行斷電操作模擬主機(jī)故障，同時(shí)針對(duì)業(yè)務(wù)測(cè)試機(jī)C，ping命令窗口顯示請(qǐng)求超時(shí)。

（4）經(jīng)過(guò)約200秒，業(yè)務(wù)測(cè)試機(jī)C的ping請(qǐng)求正常，業(yè)務(wù)測(cè)試機(jī)重回在閔行校區(qū)主機(jī)A上重啟完成。

2.多校vMotion功能測(cè)試

VMware vMotion 可以將運(yùn)行中的虛擬機(jī)從一臺(tái)虛擬主機(jī)實(shí)時(shí)遷移到另一臺(tái)虛擬主機(jī)上。在遷移過(guò)程中能夠保證業(yè)務(wù)的連續(xù)可用性和事務(wù)的完整性。Storage vMotion可以在不中斷服務(wù)的情形下實(shí)現(xiàn)虛擬機(jī)文件的不同數(shù)據(jù)存儲(chǔ)之間的遷移。本文主要以虛擬機(jī)遷移為例。

（1）對(duì)位于閔行ESXi主機(jī)A上的業(yè)務(wù)測(cè)試機(jī)C執(zhí)行vMotion，同時(shí)開(kāi)啟對(duì)業(yè)務(wù)測(cè)試機(jī)的ping操作。

（2）在vMotion整個(gè)過(guò)程中，出現(xiàn)一個(gè)ping包丟失，服務(wù)可用無(wú)中斷，業(yè)務(wù)測(cè)試機(jī)成功遷移到中北校區(qū)ESXi主機(jī)B。

（3）對(duì)遷移到主機(jī)B的業(yè)務(wù)測(cè)試機(jī)C執(zhí)行vMotion，同時(shí)開(kāi)啟對(duì)業(yè)務(wù)測(cè)試機(jī)的ping操作。

（4）在vMotion整個(gè)過(guò)程中，出現(xiàn)一個(gè)ping包丟失，服務(wù)可用無(wú)中斷，業(yè)務(wù)測(cè)試機(jī)成功遷移到閔行校區(qū)ESXi主機(jī)A。

存儲(chǔ)虛擬化測(cè)試

在兩校區(qū)通過(guò)部署EMC vplex設(shè)備來(lái)實(shí)現(xiàn)存儲(chǔ)層面的虛擬化，并在第三點(diǎn)故障域部署監(jiān)控點(diǎn)，主要用于兩校區(qū)vplex設(shè)備的健康監(jiān)測(cè)與故障切換。存儲(chǔ)虛擬化測(cè)試主要針對(duì)vplex設(shè)備及監(jiān)控點(diǎn)進(jìn)行測(cè)試，假定vplex設(shè)定規(guī)則為集群cluster1作為勝利者，測(cè)試結(jié)果參見(jiàn)表格1。

業(yè)務(wù)遷移方案

多校區(qū)虛擬化平臺(tái)搭建與測(cè)試完成之后，接下來(lái)考慮相關(guān)業(yè)務(wù)系統(tǒng)遷移工作，主要涉及短信平臺(tái)、報(bào)表系統(tǒng)、ESRS監(jiān)控系統(tǒng)、Lenovo虛擬化平臺(tái)、AD域服務(wù)器等。

1.針對(duì)部署在其他虛擬化平臺(tái)的業(yè)務(wù)，如Lenovo虛擬化業(yè)務(wù)等

關(guān)于部署在Lenovo虛擬化平臺(tái)的業(yè)務(wù)系統(tǒng)，由于不滿(mǎn)足vMotion的條件，只能采用冷遷移的方式。

（1）在vCenter上新建一個(gè)群集，將Lenovo主機(jī)添加到新建的群集中；

（2）將Lenovo虛擬平臺(tái)的業(yè)務(wù)虛擬機(jī)進(jìn)行關(guān)機(jī)，并將虛擬機(jī)遷移到多校區(qū)虛擬化平臺(tái)群集上；

（3）遷移完成后，在兩校區(qū)虛擬化平臺(tái)上將業(yè)務(wù)虛擬機(jī)重新啟動(dòng)，業(yè)務(wù)運(yùn)行。

2.針對(duì)部署在實(shí)體機(jī)上的業(yè)務(wù)，如報(bào)表系統(tǒng)、短信平臺(tái)等

（1）針對(duì)部署在實(shí)體機(jī)上的業(yè)務(wù)且操作系統(tǒng)為Window或者Linux系統(tǒng)，如報(bào)表系統(tǒng)、ESRS監(jiān)控系統(tǒng)、AD域服務(wù)器等。我們采用VMware vCenter Converter工具來(lái)實(shí)現(xiàn)實(shí)轉(zhuǎn)虛操作，將實(shí)體機(jī)轉(zhuǎn)化成兩校區(qū)虛擬化平臺(tái)的虛擬機(jī)。

（2）針對(duì)部署在實(shí)體機(jī)上的業(yè)務(wù)且操作系統(tǒng)為solaris系統(tǒng)，如短信平臺(tái)。我們只能采用在兩校區(qū)虛擬化平臺(tái)重新部署的方式，無(wú)法采用VMware vCenter Converter工具來(lái)實(shí)現(xiàn)實(shí)轉(zhuǎn)虛操作。

通過(guò)上述操作，完成相關(guān)業(yè)務(wù)系統(tǒng)的遷移工作。經(jīng)過(guò)一段時(shí)間觀察，業(yè)務(wù)運(yùn)行穩(wěn)定，達(dá)到預(yù)期效果。針對(duì)后續(xù)新增業(yè)務(wù)系統(tǒng)，如K2系統(tǒng)、資源管理系統(tǒng)等，采用直接部署在兩校區(qū)虛擬化平臺(tái)上的方式，進(jìn)一步提高業(yè)務(wù)的連續(xù)可用性和安全性。

多校區(qū)虛擬化平臺(tái)采用EMC vplex設(shè)備創(chuàng)建的虛擬卷作為共享存儲(chǔ)，通過(guò)VMware vSphere虛擬化技術(shù)來(lái)實(shí)現(xiàn)虛擬化業(yè)務(wù)在兩校區(qū)虛擬主機(jī)上高效穩(wěn)定運(yùn)行。到目前為止，在多校區(qū)虛擬化平臺(tái)上遷移和新建的業(yè)務(wù)運(yùn)行穩(wěn)定，達(dá)到預(yù)期目標(biāo)。多校區(qū)虛擬化平臺(tái)建立了一個(gè)統(tǒng)一的、整體部署的虛擬化異地容災(zāi)的系統(tǒng)框架，實(shí)現(xiàn)兩校區(qū)虛擬化業(yè)務(wù)的雙活容錯(cuò)，有效解決了單校區(qū)安全隱患，提高信息化集成業(yè)務(wù)的連續(xù)可用性和安全性。

（為華東師范大學(xué)信息化辦公室）