張 穎，林 洋

(四川省地震局，四川 成都 610041)

四川省地震局依托汶川8.0級(jí)特大地震災(zāi)后恢復(fù)重建項(xiàng)目，基于VMware虛擬化軟件搭建了服務(wù)器虛擬化平臺(tái)(林洋和張穎，2015)，整合了信息、應(yīng)急、GPS、市縣綜合服務(wù)等業(yè)務(wù)系統(tǒng)。目前運(yùn)行的虛擬機(jī)共計(jì)169臺(tái)，服務(wù)器虛擬化程度達(dá)90%，極大地提升了應(yīng)用部署、服務(wù)上線效率；顯著提高了應(yīng)用系統(tǒng)的可靠性和故障恢復(fù)速度；實(shí)現(xiàn)了業(yè)務(wù)系統(tǒng)的快速遷移和備份功能。隨著業(yè)務(wù)需求的不斷增加，各業(yè)務(wù)系統(tǒng)的服務(wù)功能不斷升級(jí)、服務(wù)范圍進(jìn)一步擴(kuò)大，對(duì)服務(wù)器虛擬化平臺(tái)的計(jì)算資源、存儲(chǔ)資源均提出了更大的需求，虛擬化平臺(tái)的資源已經(jīng)接近飽和狀態(tài)。為保證虛擬化平臺(tái)的穩(wěn)定運(yùn)行，持續(xù)為各業(yè)務(wù)系統(tǒng)提供可靠支撐，對(duì)虛擬化平臺(tái)的計(jì)算資源和存儲(chǔ)資源進(jìn)行了擴(kuò)容。

1 虛擬化平臺(tái)擴(kuò)容

1.1 虛擬化平臺(tái)架構(gòu)

數(shù)據(jù)中心虛擬化平臺(tái)擴(kuò)容沿用之前的系統(tǒng)架構(gòu)，由承載虛擬機(jī)的宿主機(jī)、磁盤陣列、管理服務(wù)器、管理終端、網(wǎng)絡(luò)設(shè)備等構(gòu)成，擴(kuò)容增加宿主機(jī)、磁盤陣列、管理服務(wù)器、遷移服務(wù)器。宿主機(jī)通過(guò)SAN網(wǎng)絡(luò)連接磁盤陣列，通過(guò)IP網(wǎng)絡(luò)進(jìn)行管理、提供網(wǎng)絡(luò)連接及服務(wù)。虛擬化平臺(tái)架構(gòu)如圖1所示。

圖1 虛擬化平臺(tái)架構(gòu)

虛擬化軟件依然選用了VMware，原虛擬化平臺(tái)采用的是VMware vSphere 4.1，與原宿主機(jī)的CPU版本具有良好的兼容性，在6年的連續(xù)運(yùn)行中未出現(xiàn)任何軟故障，但在管理功能及支持的虛擬機(jī)硬件版本上與新版本存在較大的差距。綜合考慮不同版本軟硬件兼容性、運(yùn)行的穩(wěn)定性、管理的便捷性及應(yīng)用需求等多種因素，最后采用最新版本VMware vSphere 6.0搭建了新的虛擬化計(jì)算資源池，新資源池的多臺(tái)主機(jī)通過(guò)FC SAN(光纖存儲(chǔ)網(wǎng))與原資源池共享磁盤存儲(chǔ)空間，通過(guò)主機(jī)的網(wǎng)絡(luò)接口接入與原資源池相同的三個(gè)業(yè)務(wù)網(wǎng)段。計(jì)劃兩個(gè)資源池并行運(yùn)行一段時(shí)間，隨著原資源池的宿主機(jī)逐漸淘汰，新資源池宿主機(jī)不斷增加，最終整合成一個(gè)資源池運(yùn)行。因VMware vSphere 4.1與VMware vSphere 6.0的軟件版本跨度過(guò)大，不能采用同一管理服務(wù)器進(jìn)行管理，新增管理服務(wù)器部署vCenter Server 6.0，管理員需通過(guò)終端部署的vSphere Client 4.1及vSphere Client 6.0分別對(duì)虛擬化平臺(tái)兩個(gè)資源池進(jìn)行管理，并通過(guò)部署遷移服務(wù)器，實(shí)現(xiàn)虛擬化資源池間的虛擬機(jī)遷移。

1.2 設(shè)備配置

數(shù)據(jù)中心虛擬化平臺(tái)主要設(shè)備及配置如表1所示。

表1 主要設(shè)備及配置

1.3 擴(kuò)容流程

虛擬化平臺(tái)擴(kuò)容主要包括資源規(guī)劃、新計(jì)算資源池搭建、應(yīng)用遷移三個(gè)重要階段，虛擬化平臺(tái)擴(kuò)容流程如圖2所示。

圖2 虛擬化平臺(tái)擴(kuò)容流程

1.3.1 資源規(guī)劃

資源規(guī)劃是虛擬化平臺(tái)擴(kuò)容的重要步驟之一，做好資源規(guī)劃才能有條不紊地進(jìn)行后續(xù)步驟，主要包括設(shè)備安裝位置規(guī)劃、存儲(chǔ)規(guī)劃、網(wǎng)絡(luò)規(guī)劃、SAN網(wǎng)絡(luò)規(guī)劃、虛擬機(jī)資源規(guī)劃等。存儲(chǔ)規(guī)劃:服務(wù)器本地存儲(chǔ)，做RAID5，用于安裝ESXi；磁盤陣列，用于存放鏡像、模板、虛擬機(jī)及備份。網(wǎng)絡(luò)規(guī)劃:每臺(tái)服務(wù)器作為宿主機(jī)連接到四臺(tái)不同VLAN的交換機(jī)，其中VLAN101、VLAN102和VLAN103用于虛擬機(jī)的網(wǎng)絡(luò)接入和服務(wù)，VLAN100用于虛擬化平臺(tái)的管理。每臺(tái)宿主機(jī)采用2個(gè)物理網(wǎng)卡連接同一個(gè)VLAN，起到網(wǎng)絡(luò)流量分擔(dān)和線路備份的作用。規(guī)劃好宿主機(jī)物理網(wǎng)口及以太網(wǎng)交換機(jī)接口之間的對(duì)應(yīng)連接關(guān)系，并分配管理IP。SAN網(wǎng)絡(luò)規(guī)劃: 每臺(tái)宿主機(jī)分別連接兩臺(tái)SAN交換機(jī)，保證設(shè)備冗余、鏈路冗余，定義好宿主機(jī)物理光口及SAN交換機(jī)接口之間的對(duì)應(yīng)連接關(guān)系。虛擬機(jī)資源規(guī)劃：綜合考慮當(dāng)前應(yīng)用服務(wù)處于高峰時(shí)段的CPU、內(nèi)存、磁盤使用情況，預(yù)估應(yīng)用將增加的資源需求量，尤其是對(duì)磁盤空間的需求以及應(yīng)用系統(tǒng)計(jì)劃升級(jí)所需的資源，做好資源的合理分配和預(yù)留。虛擬化平臺(tái)擴(kuò)容組網(wǎng)及設(shè)備連接拓?fù)湟妶D3。

圖3 設(shè)備連接拓?fù)?/p>

1.3.2 新計(jì)算資源池搭建

新計(jì)算資源池搭建包括宿主機(jī)的安裝配置、 線纜連接、管理服務(wù)器安裝配置、配置數(shù)據(jù)中心及集群、網(wǎng)絡(luò)配置、SAN交換機(jī)及存儲(chǔ)配置等步驟。(1)宿主機(jī)的安裝配置。根據(jù)資源規(guī)劃，將服務(wù)器按照規(guī)劃位置進(jìn)行上架，加電。將每臺(tái)服務(wù)器本地磁盤做RAID5，以降低因磁盤故障導(dǎo)致的宿主機(jī)故障，安裝虛擬化軟件vSphere Client 6.0 server，并對(duì)主機(jī)名、IP、DNS與密碼等進(jìn)行必要的配置以滿足實(shí)際需求。(2)連接線纜。根據(jù)資源規(guī)劃中對(duì)以太網(wǎng)絡(luò)及光纖網(wǎng)絡(luò)以及接口的規(guī)劃，進(jìn)行線纜的連接，包括服務(wù)器到各業(yè)務(wù)網(wǎng)段交換機(jī)的網(wǎng)絡(luò)連接，以及服務(wù)器到光纖交換機(jī)之間的SAN網(wǎng)絡(luò)連接。按規(guī)范進(jìn)行電源線、網(wǎng)線、光纖跳線等標(biāo)注，在不影響線纜工作狀態(tài)與性能的前提下做到整潔與美觀。(3)管理服務(wù)器安裝配置。安裝vCenter服務(wù)器操作系統(tǒng)suse 11(64位)，配置vCenter數(shù)據(jù)庫(kù)，部署vCenter server管理軟件。(4)配置數(shù)據(jù)中心及集群。通過(guò)vSphere Client連接vCenter server，建立數(shù)據(jù)中心，創(chuàng)建并配置集群，設(shè)置HA、DRS、DPM、EVC等參數(shù)；連接主機(jī)，將主機(jī)添加到適當(dāng)?shù)募?，并根?jù)規(guī)劃配置主機(jī)的網(wǎng)絡(luò)、NTP等參數(shù)；根據(jù)業(yè)務(wù)需求等建立適當(dāng)?shù)臉I(yè)務(wù)資源池，配置資源保留與限額等。(5)網(wǎng)絡(luò)配置。通過(guò)vSphere Client連接vCenter server，配置每臺(tái)主機(jī)的管理網(wǎng)絡(luò)和業(yè)務(wù)網(wǎng)絡(luò)，創(chuàng)建VMkernel 網(wǎng)絡(luò)用于VMware Vmotion，創(chuàng)建Management Network，用于主機(jī)管理，分別建立vSphere Distributed Switch對(duì)應(yīng)不同的vlan，并定義相應(yīng)的網(wǎng)卡適配器。(6)SAN交換機(jī)及存儲(chǔ)配置。分別配置兩臺(tái)SAN交換機(jī)，將每一臺(tái)新增服務(wù)器與磁盤陣列在SAN交換機(jī)上的接口配置成一個(gè)zone，完成5個(gè)zone的創(chuàng)建后將其全部加入同一個(gè)zoneset，最后激活zoneset生效，完成新增服務(wù)器到磁盤陣列的連接。

根據(jù)資源規(guī)劃，對(duì)存儲(chǔ)進(jìn)行LUN劃分，定義新增主機(jī)組并映射。通過(guò)vSphere Client連接vCenter server，在其中一臺(tái)主機(jī)上添加存儲(chǔ)器，將從磁盤陣列映射的存儲(chǔ)LUN添加給服務(wù)器并進(jìn)行掛載、命名，添加完成后新建的數(shù)據(jù)存儲(chǔ)會(huì)自動(dòng)添加到集群內(nèi)的所有主機(jī)。因VMware ESX Server 6.0支持的最大LUN已達(dá)62 TB，較VMware ESX Server 4.1支持最大LUN 2 TB已有極大的提高，為新虛擬化平臺(tái)在磁盤的分配及使用上提供了更大的便利，也在一定程度上降低了磁盤碎片產(chǎn)生，提高了利用率。

1.3.3 虛擬機(jī)跨資源池遷移

由于兩個(gè)計(jì)算資源池采用的虛擬化軟件VMware ESX Server 6.0和VMware ESX Server 4.1存在較大的版本跨度，資源池之間無(wú)法直接跨平臺(tái)管理，在此利用配有FC HBA卡的服務(wù)器通過(guò)安裝ESXi6.0虛擬化軟件、接入共享磁盤陣列，搭建了遷移服務(wù)器。通過(guò)遷移服務(wù)器將原計(jì)算資源池的業(yè)務(wù)系統(tǒng)遷移到新資源池中運(yùn)行，解決了虛擬機(jī)及模板跨資源池遷移問(wèn)題，為之后虛擬化平臺(tái)間的平滑過(guò)渡提供了解決方案。具體的實(shí)現(xiàn)方法如下：(1)將配有FC HBA卡的服務(wù)器安裝EXSi6.0虛擬化軟件，作為遷移服務(wù)器，通過(guò)SAN網(wǎng)絡(luò)連接磁盤陣列。管理新資源池的數(shù)據(jù)中心，新建一個(gè)集群vCluster-Transport，添加遷移服務(wù)器。(2)配置磁盤陣列的映射主機(jī)組，將新部署的遷移服務(wù)器添加至ESXi4.1的主機(jī)組中。重新劃分一個(gè)臨時(shí)中轉(zhuǎn)LUN，LUN空間需滿足待遷移虛擬機(jī)的磁盤空間需求，將LUN映射給VMware ESXi4.1主機(jī)組，并通過(guò)在ESXi4.1的主機(jī)上創(chuàng)建中轉(zhuǎn)存儲(chǔ)LUN,使遷移服務(wù)器和原資源池都能看到此中轉(zhuǎn)LUN。(3)在原資源池中，使用VMware Storage VMotion功能將需要遷移的虛擬機(jī)及模板從原數(shù)據(jù)存儲(chǔ)克隆或者遷移到中轉(zhuǎn)存儲(chǔ)LUN上，完成后關(guān)閉需要遷移的虛擬機(jī)并從清單中移除。(4)在新資源池中，使用VMware Storeage VMotion功能將需要遷移的虛擬機(jī)從中轉(zhuǎn)LUN克隆或者遷移到新資源池的數(shù)據(jù)存儲(chǔ)上。將發(fā)生遷移的虛擬機(jī)從新資源池的數(shù)據(jù)存儲(chǔ)中找出并添加到清單并啟動(dòng)運(yùn)行，完成遷移。

2 應(yīng)用經(jīng)驗(yàn)

2.1 應(yīng)用規(guī)劃

服務(wù)器虛擬化平臺(tái)擴(kuò)容是虛擬化平臺(tái)運(yùn)維的重要內(nèi)容，擴(kuò)容方案既要滿足當(dāng)前及未來(lái)幾年業(yè)務(wù)系統(tǒng)的運(yùn)行需求，也要兼顧平臺(tái)進(jìn)一步擴(kuò)展的可行性。并非所有的應(yīng)用都適合被虛擬化，在虛擬化之前需要做好規(guī)劃，哪些應(yīng)用適合被虛擬化，哪些不適合。不適合被虛擬化的應(yīng)用包含：附加有特殊硬件才能運(yùn)行的應(yīng)用，對(duì)內(nèi)存、CPU、磁盤空間有極高要求的應(yīng)用，極重要但未在虛擬化平臺(tái)上成功測(cè)試的應(yīng)用，對(duì)時(shí)間同步有高精準(zhǔn)度要求的應(yīng)用，存在涉密或敏感數(shù)據(jù)的高安全級(jí)應(yīng)用等。

2.2 遷移

已經(jīng)陳舊且混亂無(wú)序的應(yīng)用，如果通過(guò)P2V直接遷移至虛擬機(jī)的話，很容易造成未來(lái)更多兼容性上的問(wèn)題，所以最好還是全新安裝虛擬機(jī)系統(tǒng)(楊帆，2015)。無(wú)論是P2V遷移還是從原虛擬化平臺(tái)遷移至新平臺(tái)，發(fā)生遷移后，一定要保留原應(yīng)用版本并行運(yùn)行一段時(shí)間，確認(rèn)沒(méi)有任何問(wèn)題后再清除原應(yīng)用版本；如果是極其重要的應(yīng)用，建議保留原應(yīng)用版本作為備用，一旦出現(xiàn)故障，方便切換恢復(fù)。

2.3 資源規(guī)劃

雖然虛擬化給資源增減提供了便利，但如果管理員毫無(wú)規(guī)劃地進(jìn)行空間的分配會(huì)導(dǎo)致物理磁盤產(chǎn)生大量的磁盤碎片。如果沒(méi)有做好資源管理和規(guī)劃，供需就會(huì)失衡，導(dǎo)致資源浪費(fèi)或資源不夠用，直接影響虛擬化平臺(tái)上虛擬機(jī)應(yīng)用的運(yùn)行效果及正常擴(kuò)容需求，做好資源規(guī)劃可以避免成本浪費(fèi)、更好地保障虛擬化平臺(tái)及虛擬機(jī)應(yīng)用穩(wěn)定運(yùn)行。

2.4 虛擬機(jī)的生命周期管理

隨著虛擬化程度的進(jìn)一步提高，業(yè)務(wù)應(yīng)用對(duì)虛擬化平臺(tái)的依賴程度進(jìn)一步加強(qiáng)，虛擬化平臺(tái)起到了越來(lái)越重要的信息支撐平臺(tái)作用，因此更要重視和加強(qiáng)日常的監(jiān)控和運(yùn)維管理。虛擬化平臺(tái)管理員應(yīng)做好虛擬機(jī)整個(gè)生命周期的管理，即從虛擬機(jī)的創(chuàng)建、資源擴(kuò)容、配置修改、應(yīng)用下線后移除等。加強(qiáng)管理有助于資源的合理利用，對(duì)分配的過(guò)剩資源及時(shí)回收，對(duì)資源不足的虛擬機(jī)及時(shí)增加資源，為各應(yīng)用系統(tǒng)提供更穩(wěn)定的平臺(tái)。

3 結(jié)語(yǔ)

通過(guò)對(duì)虛擬化平臺(tái)的計(jì)算資源及存儲(chǔ)資源進(jìn)行擴(kuò)容，將CPU核心數(shù)由原來(lái)的192顆擴(kuò)展至432顆，內(nèi)存由原來(lái)的256 GB擴(kuò)展至1536 GB，存儲(chǔ)由原來(lái)的80 TB擴(kuò)展至160 TB，解決了擴(kuò)容前出現(xiàn)的內(nèi)存瓶頸、存儲(chǔ)容量無(wú)法滿足業(yè)務(wù)系統(tǒng)擴(kuò)容需求以及因資源不足造成的可靠性降低等問(wèn)題。擴(kuò)容后對(duì)業(yè)務(wù)系統(tǒng)在虛擬化平臺(tái)上的分布做了進(jìn)一步的優(yōu)化，實(shí)現(xiàn)了在任意兩臺(tái)物理主機(jī)出現(xiàn)宕機(jī)的情況下，平臺(tái)上的業(yè)務(wù)系統(tǒng)不受影響，仍然可以正常運(yùn)行。虛擬化平臺(tái)的擴(kuò)容進(jìn)一步提高了平臺(tái)的服務(wù)能力及穩(wěn)定性，為各業(yè)務(wù)系統(tǒng)的安全可靠運(yùn)行、功能升級(jí)和新業(yè)務(wù)上線提供了有力保障。