鮑 陳,王海濤,汪千松,胡 冰
(安徽工程大學(xué) 現(xiàn)代教育技術(shù)中心,安徽 蕪湖 241000)
隨著PB級(jí)大數(shù)據(jù)時(shí)代的到來,高校信息化建設(shè)也在迅速發(fā)展。傳統(tǒng)的校園網(wǎng)數(shù)據(jù)中心采用“一套應(yīng)用一套系統(tǒng)”的IT資源配置模式,面臨管理復(fù)雜,資源利用率低,建設(shè)與運(yùn)維成本高,業(yè)務(wù)的穩(wěn)定性與連續(xù)性較差,安全控制和數(shù)據(jù)的災(zāi)備困難等問題,已經(jīng)不能適應(yīng)當(dāng)前高校信息化的建設(shè)需求。云計(jì)算是一種采用虛擬化為基礎(chǔ)架構(gòu),通過IT基礎(chǔ)架構(gòu)和軟件向網(wǎng)絡(luò)環(huán)境中的用戶按需提供資源和服務(wù)的技術(shù)[1-2]。文中首先在分析vSphere虛擬化架構(gòu)的基礎(chǔ)上,提出了vSphere私有云基礎(chǔ)架構(gòu),通過搭建高性能服務(wù)器集群和共享存儲(chǔ)系統(tǒng),利用vSphere的相關(guān)服務(wù)器虛擬化組件,對(duì)底層硬件進(jìn)行整合利用,利用vCloud Director組件,將IT基礎(chǔ)架構(gòu)轉(zhuǎn)變?yōu)樗接性?,?gòu)建新一代高可用性高校數(shù)據(jù)中心(Internet data center,IDC)。該方案有利于提高服務(wù)器整體利用率、簡(jiǎn)化管理與運(yùn)維,實(shí)現(xiàn)信息化系統(tǒng)的高可用性和高安全性以及集群內(nèi)主機(jī)和存儲(chǔ)的負(fù)載均衡。
從經(jīng)濟(jì)效益和管理安全性考慮,vSphere私有云基礎(chǔ)架構(gòu)的虛擬化構(gòu)建是必要的。實(shí)踐證明,該模式構(gòu)建的高校數(shù)據(jù)中心,優(yōu)化了IT基礎(chǔ)架構(gòu)服務(wù)模式,提升了高校信息化建設(shè)水平,也為其他高校同類建設(shè)項(xiàng)目提供了一個(gè)有意義的參考。
虛擬化技術(shù)[3-4]是通過映射或抽象的方式,通過虛擬化技術(shù)可以對(duì)包括基礎(chǔ)設(shè)施、系統(tǒng)和軟件等計(jì)算資源的表示,訪問和管理進(jìn)行簡(jiǎn)化,提高IT資源的利用率,如服務(wù)器、網(wǎng)絡(luò)或存儲(chǔ)設(shè)備,并且超出物理的局限性。虛擬化簡(jiǎn)化了資源管理,集中并共享了資源,使它們變成邏輯資源以最大限度地得到利用。
由于采用的虛擬化技術(shù)不同,可以將系統(tǒng)虛擬化分為五大類:硬件仿真、全虛擬化、半虛擬化、硬件輔助虛擬化、操作系統(tǒng)級(jí)虛擬化。各種虛擬化技術(shù)對(duì)比如表1所示。
表1 各種虛擬化技術(shù)對(duì)比
vSphere[5-6]是VMware公司首款云計(jì)算操作系統(tǒng),以集成軟件包的形式提供虛擬化、管理、資源優(yōu)化、應(yīng)用程序可用性和操作自動(dòng)化等功能;并匯聚物理硬件資源(包括計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源),允許用戶創(chuàng)建通用管理服務(wù)的私有云,為高校數(shù)據(jù)中心提供高可用性、高安全性和可擴(kuò)展性的虛擬資源解決方案。VMware vSphere虛擬化架構(gòu)如圖1所示。VMware vSphere在邏輯上由基礎(chǔ)架構(gòu)層(虛擬化層)、管理層和界面層構(gòu)成,其中基礎(chǔ)架構(gòu)層包含基礎(chǔ)架構(gòu)和應(yīng)用程序兩個(gè)服務(wù)。
圖1 vSphere虛擬化架構(gòu)
(1)基礎(chǔ)架構(gòu)服務(wù)。VMware vSphere通過基礎(chǔ)架構(gòu)服務(wù)抽象、聚合分配計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源。①計(jì)算資源,即主機(jī)、集群和資源池;②存儲(chǔ)資源,即數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)存儲(chǔ)集群。其存儲(chǔ)虛擬機(jī)的文件系統(tǒng)為VMFS。數(shù)據(jù)存儲(chǔ)技術(shù)包括FC、FCoE、iSCSI、NAS和DAS;③網(wǎng)絡(luò)資源,即使用虛擬交換機(jī)的主機(jī)和虛擬機(jī)提供網(wǎng)絡(luò)連接。虛擬交換機(jī)分為標(biāo)準(zhǔn)虛擬交換機(jī)(vSS)和分布式虛擬交換機(jī)(vDS),支持VMkernel端口和虛擬端口組。
(2)應(yīng)用程序服務(wù)??捎眯允侵柑峁?yīng)用、存儲(chǔ)資源、基礎(chǔ)架構(gòu)和管理,包括高可用性HA、故障容錯(cuò)FT、數(shù)據(jù)保護(hù)、復(fù)制等。安全性是指提供安全虛擬應(yīng)用程序防護(hù),vShield安全組件包括vShield Manager(管理界面)、vShield App(網(wǎng)卡級(jí)防火墻)、vShield Edge(路由器)、vShield EndPoint(防病毒)和vShield Data Security(數(shù)據(jù)安全),用來保護(hù)虛擬化數(shù)據(jù)中心。
(3)管理層。包含vCenter Server。通過vCenter Server實(shí)現(xiàn)對(duì)數(shù)據(jù)中心進(jìn)行單點(diǎn)控制,并提供基本的數(shù)據(jù)中心服務(wù),如訪問控制、性能監(jiān)視以及配置。
(4)用戶客戶端。用戶可通過vSphere Client和vSphere Web Client訪問vSphere數(shù)據(jù)中心。利用vSphere SDK開發(fā)靈活、簡(jiǎn)潔并具有友好界面的VMware vSphere客戶應(yīng)用程序。
隨著高校信息化建設(shè)的不斷深入,IT系統(tǒng)的規(guī)模越發(fā)龐大,傳統(tǒng)的校園網(wǎng)數(shù)據(jù)中心采用“一套應(yīng)用一套系統(tǒng)”的IT資源配置模式,已經(jīng)不能適應(yīng)當(dāng)前高校信息化建設(shè)需求。為了提高資源利用率,降低管理難度和系統(tǒng)維護(hù)風(fēng)險(xiǎn),減少機(jī)房基礎(chǔ)設(shè)施的投入,提高應(yīng)用和系統(tǒng)部署的效率,轉(zhuǎn)向虛擬化技術(shù),提出以業(yè)務(wù)為中心“IT即服務(wù)”私有云構(gòu)建模式,對(duì)原有系統(tǒng)采用P2V遷移[7-8]。該私有云平臺(tái)的構(gòu)建,采用共享存儲(chǔ)架構(gòu)FC SAN,實(shí)現(xiàn)了CPU、內(nèi)存與存儲(chǔ)設(shè)備的分離,并利用ESXi組件對(duì)IT基礎(chǔ)資源進(jìn)行整合,構(gòu)建虛擬化基礎(chǔ)架構(gòu)平臺(tái),同時(shí)使用vShield(vCloud networking and security,vCNS)組件對(duì)虛擬機(jī)平臺(tái)進(jìn)行安全防護(hù)。在虛擬化基礎(chǔ)架構(gòu)平臺(tái)上,利用vCloud Director組件,對(duì)虛擬化計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)連接和安全性的虛擬數(shù)據(jù)中心實(shí)現(xiàn)安全配置,構(gòu)建一種vSphere私有云,提供彈性計(jì)算的基礎(chǔ)設(shè)施服務(wù),從而達(dá)到新一代高校數(shù)據(jù)中心建設(shè)需求:高可用性基礎(chǔ)架構(gòu),低成本,高IT資源利用率,管理和維護(hù)復(fù)雜度低,靈活、敏捷的IT服務(wù)交付。
針對(duì)原有校園網(wǎng)中心機(jī)房設(shè)施以及新一代高校數(shù)據(jù)中心建設(shè)需求分析,目前該校的虛擬化平臺(tái)物理架構(gòu)由8臺(tái)高性能IBM 3650M4服務(wù)器、FC SAN存儲(chǔ)系統(tǒng)(1臺(tái)EMC VNX5500存儲(chǔ)和2臺(tái)FC交換機(jī)EMCDS300)組成。通過vSphere集群將所有ESXi主機(jī)整合起來,形成一個(gè)大的資源池,通過vCenter Server提供統(tǒng)一管理服務(wù),配置vShield實(shí)現(xiàn)對(duì)虛擬數(shù)據(jù)中心的安全防護(hù),并利用vCloud Director組件構(gòu)建vSphere私有云。虛擬化平臺(tái)的物理架構(gòu)如圖2所示。
圖2 虛擬化平臺(tái)的物理架構(gòu)
(1)安裝ESXi主機(jī)。
在每臺(tái)物理服務(wù)器上安裝虛擬化層ESXi操作系統(tǒng),用于將服務(wù)器硬件資源進(jìn)行抽象化處理,并允許多個(gè)虛擬機(jī)共享這些資源。相對(duì)于傳統(tǒng)的OS,ESXi有更加嚴(yán)格的硬件限制,不是所有的存儲(chǔ)控制器和網(wǎng)卡都支持,需要通過查詢硬件兼容性列表HCL。因?yàn)楣蚕泶鎯?chǔ)架構(gòu)采用的是FC SAN,需要每臺(tái)服務(wù)器配置相應(yīng)的萬(wàn)兆以太網(wǎng)卡和HBA卡,通過查找HCL列表,購(gòu)買相應(yīng)的萬(wàn)兆以太網(wǎng)卡和HBA卡。ESXi系統(tǒng)安裝完成后,配置需要服務(wù)器名和IP地址。文中的8臺(tái)服務(wù)器名稱為ESXi01~ESXi08,IP地址為192.168.168.2/26~192.168.168.9/25。
(2)配置AD域控制器。
安裝活動(dòng)目錄Active Directory組件,并將此服務(wù)器提升為域控制器,添加DNS服務(wù)功能,并設(shè)置DNS轉(zhuǎn)發(fā)器到當(dāng)?shù)谼NS服務(wù)器上。DNS服務(wù)器用集群中主機(jī)名。文中規(guī)劃的AD域控制器IP地址為:192.168.168.14/25。
(3)部署vCenter Server。
使用vSphere Client客戶端連接到ESXi01服務(wù)器,在此服務(wù)器上安裝SUSE Linux版的vCenter Server Application。通過選擇“File”(文件)→“Deploy OVF Template”(部署OVF模板),設(shè)備導(dǎo)入到虛擬基礎(chǔ)架構(gòu)的ESXi主機(jī)中。vCenter Server Application部署完成后,可以通過控制臺(tái)配置網(wǎng)絡(luò)和時(shí)區(qū)。文中規(guī)劃的vCenter Server的IP地址為:192.168.168.10/25。打開Web瀏覽器并鍵入:https://192.168.168.10:5480,登錄后選擇嵌入式數(shù)據(jù)庫(kù)。單擊“Start vCenter”(啟動(dòng)vCenter),單擊“Services”(服務(wù))選項(xiàng)卡,啟動(dòng)停止相關(guān)服務(wù)等操作。vCenter統(tǒng)一管理托管的ESXi主機(jī)。
(4)配置和管理虛擬網(wǎng)絡(luò)。
虛擬網(wǎng)絡(luò)為虛擬交換機(jī)的主機(jī)和虛擬機(jī)提供網(wǎng)絡(luò)連接。虛擬交換機(jī)支持VMkernel端口(用于IP存儲(chǔ)或vMotion遷移以及ESXi管理網(wǎng)絡(luò)),一個(gè)或多個(gè)虛擬端口組。配置管理網(wǎng)絡(luò)和vMotion網(wǎng)絡(luò),為了兼容不同CPU類型,需要在vSphere Cluster配置過程中開啟EVC模式,并配置專用網(wǎng)絡(luò),在標(biāo)準(zhǔn)交換機(jī)vSwitch0中,啟用vMotion和管理流量,遷移虛擬機(jī)。根據(jù)業(yè)務(wù)需求,添加標(biāo)準(zhǔn)交換機(jī),通過端口組特性指定VLAN ID提供VLAN支持。新建分布式交換機(jī),使得數(shù)據(jù)中心范圍內(nèi)的網(wǎng)絡(luò)聚合起來集中進(jìn)行網(wǎng)絡(luò)資源調(diào)配、管理和監(jiān)控。例如創(chuàng)建vlan 201的交換機(jī)支持toInternet,配置上綁定ESXi主機(jī)業(yè)務(wù)網(wǎng)絡(luò)物理網(wǎng)卡NIC,NIC網(wǎng)卡與上層核心交換機(jī)端口之間可以做成Trunk端口。
(5)配置EMC存儲(chǔ),并創(chuàng)建VMFS數(shù)據(jù)存儲(chǔ)[9-11]。
文中采用FC SAN存儲(chǔ)架構(gòu),包括一臺(tái)EMC VNX5500存儲(chǔ)系統(tǒng),兩臺(tái)FC智能交換機(jī)。由于EMC存儲(chǔ)系統(tǒng)價(jià)格較高,為了方便存儲(chǔ)擴(kuò)展,方案中的FC交換機(jī)支持FC端口和IP端口,方便將價(jià)格相對(duì)低廉的IP SAN存儲(chǔ)網(wǎng)絡(luò)接入網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)中。配置EMC存儲(chǔ),輸入IP:https://1.1.1.1,進(jìn)入EMC VNX5500配置界面,創(chuàng)建存儲(chǔ)池,LUN劃分,注冊(cè)主機(jī),創(chuàng)建存儲(chǔ)組并映射。在vSphere Client創(chuàng)建VMFS數(shù)據(jù)存儲(chǔ)步驟如下:在vCenter的“Inventory”清單中,選擇“Host and Clusters”視圖,在“Configuration”面板中單擊“Storage”鏈接,將顯示現(xiàn)有數(shù)據(jù)存儲(chǔ),單擊“Datastores”按鈕,然后選擇“Add Storage”鏈接,選擇一個(gè)LUN來創(chuàng)建VMFS5數(shù)據(jù)存儲(chǔ)。
(6)創(chuàng)建高可用性主機(jī)和群集。
vSphere Client客戶端登錄vCenter Server,在“Hosts and Clusters”(主機(jī)和群集)清單視圖中,添加虛擬數(shù)據(jù)中心vDC,在vDC下添加8臺(tái)ESXi主機(jī),打開HA和DRS功能。vSphere的vMotion、Storage vMotion、HA和DRS功能支持群集的高可用性。vMotion允許運(yùn)行中的VM在相同LUN上的ESXi主機(jī)之間進(jìn)行遷移,而Storage vMotion則允許運(yùn)行在同一個(gè)ESXi主機(jī)上的VM從一個(gè)存儲(chǔ)LUN轉(zhuǎn)移到另一個(gè)存儲(chǔ)LUN中。HA[12](high availability),則允許vSphere HA群集中打開vSphere HA,當(dāng)某臺(tái)ESXi主機(jī)發(fā)生故障時(shí),HA會(huì)在其他主機(jī)上重啟受影響的VM;當(dāng)VM停止發(fā)送心跳信號(hào)或VM進(jìn)程崩潰時(shí),HA會(huì)重置VM。
虛擬化平臺(tái)安全包括網(wǎng)絡(luò)安全、虛擬機(jī)安全、訪問控制安全[13]。①網(wǎng)絡(luò)安全。在vSwitch(虛擬交換機(jī))上進(jìn)行VLAN配置,隔離不同網(wǎng)段,由于主機(jī)和網(wǎng)絡(luò)之間的物理邊界消失或模糊,無(wú)法通過硬件網(wǎng)關(guān)設(shè)備來提供服務(wù),通過搭建vShield虛擬防火墻的保護(hù)端到端,邊界到端點(diǎn)的數(shù)據(jù)安全(vShield部署過程如下:通過vSphere Client端,通過OVF模板部署,導(dǎo)入vShield-Manager- 5.5.4版本。vShield虛擬機(jī)的IP規(guī)劃為:192.168.168.39/25。通過瀏覽器配置vCenter、DNS 和NTP。并在每臺(tái)ESXi主機(jī)上,安裝vShield App(防火墻),保護(hù)內(nèi)部網(wǎng)絡(luò)中VM之間通信,保護(hù)集群中的VM。vShield Edge 組件可提供網(wǎng)絡(luò)邊緣安全和網(wǎng)關(guān)服務(wù),用于隔離端口組、vDS 端口組。vShield Edge 同時(shí)通過提供 DHCP、VPN、NAT 和負(fù)載平衡并隔離末端網(wǎng)絡(luò)連接到共享上行鏈路)。②虛擬機(jī)安全。vSphere提供了一種虛擬機(jī)快照保存?zhèn)浞菽J?,可以依一次性?shí)現(xiàn)服務(wù)器的災(zāi)難恢復(fù),最大程度地保護(hù)虛擬機(jī)安全。③訪問控制安全。vSphere提供基于RBAC[14]訪問控制方式。管理員登錄vCenter后,可以添加角色,并為角色添加特權(quán)。同時(shí)可以創(chuàng)建用戶,并將該角色賦予這個(gè)用戶。
在虛擬化基礎(chǔ)架構(gòu)之上,通過vCloud Directory組件構(gòu)建多租戶云的私有云平臺(tái),實(shí)現(xiàn)彈性計(jì)算的基礎(chǔ)設(shè)施服務(wù)。vCloud Directory安裝也是通過導(dǎo)入OVF模板的方式實(shí)現(xiàn)的。vCloud Directory配置之前需要確保vShield和vCloud Directory都正常安裝,安裝步驟如下:創(chuàng)建提供者虛擬數(shù)據(jù)中心vDC;創(chuàng)建虛擬分布式交換機(jī)vDS,創(chuàng)建一個(gè)外部網(wǎng)絡(luò),配置外部網(wǎng)絡(luò);創(chuàng)建地址池;新建組織,并使用LDAP添加組織的用戶,設(shè)置vApp租約策略;向組織分配資源,創(chuàng)建組織vDC;創(chuàng)建目錄(存儲(chǔ)vApp模板文件和媒體文件)、配置存儲(chǔ)、添加組織vDC網(wǎng)絡(luò),創(chuàng)建和使用vApp,通過組織URL,使用組織的用戶賬號(hào)登錄,使用vApp模板創(chuàng)建vApp或者使用媒體文件創(chuàng)建vApp(使用組織下配置存儲(chǔ)和網(wǎng)絡(luò)池),完成組織下的VM的創(chuàng)建。最后,在數(shù)據(jù)中心的Network Virtualization視圖中,添加vShield Edge(路由器),然后添加Edge Interface(比如toInternet和toIntranet),完成之后創(chuàng)建一個(gè)Edge的虛擬機(jī),配置靜態(tài)路由和SNAT規(guī)則,實(shí)現(xiàn)Intranet訪問Internet。完成上述實(shí)施步驟,就可以構(gòu)建基于vCloud私有云,提供彈性計(jì)算的基礎(chǔ)設(shè)施服務(wù)。
基于vSphere私有云平臺(tái)部署完成后,為了保證原有業(yè)務(wù)系統(tǒng)的連續(xù)性,采用在原有物理主機(jī)上安裝VMware Converter組件實(shí)現(xiàn)P2V物理機(jī)在線遷移[15]。通過性能監(jiān)控vCops(vCenter operations manager)組件,提供虛擬化環(huán)境(IT基礎(chǔ)架構(gòu)中各ESXi主機(jī)、VM、存儲(chǔ)和網(wǎng)絡(luò))的運(yùn)行狀況、容量和性能的可視化界面。經(jīng)過一段時(shí)間的運(yùn)行測(cè)試,達(dá)到以下效果:整合現(xiàn)有IT基礎(chǔ)資源,實(shí)現(xiàn)資源統(tǒng)一管理;提高資源利用率、降低采購(gòu)成本;提高平臺(tái)數(shù)據(jù)安全性;降低總體擁有成本(TCO)、提高投資回報(bào)率(ROI)。
此次vSphere應(yīng)用部署中,配置了8臺(tái)高性能IBM 3650M4服務(wù)器,電源總功率約為750 W;IBM 3650M4主機(jī)各自運(yùn)行在校園網(wǎng)DMZ區(qū),使用vSphere套件,在硬件服務(wù)器上安裝ESXi Server平臺(tái),將原有系統(tǒng)遷移至虛擬機(jī)平臺(tái)上。首先,從服務(wù)器耗電的角度,假設(shè)所有的服務(wù)器都是24小時(shí)不宕機(jī)運(yùn)行,以每臺(tái)服務(wù)器每小時(shí)耗電約750 W,以每度電費(fèi)0.538元計(jì)算,50臺(tái)電源的服務(wù)器每年所需電費(fèi)約為:50×750×24×365×0.538÷1 000=176 733 元;虛擬化平臺(tái)采用8臺(tái)ESXi主機(jī),其上運(yùn)行50臺(tái)虛擬機(jī)VM,每年電費(fèi)約為:8×750×24×365×0.538÷1 000=28 277.2元。從空調(diào)制冷角度,數(shù)據(jù)中心電力消耗被轉(zhuǎn)換為熱能,制冷系統(tǒng)處理1 W的熱量需要消耗電能約0.8 W。虛擬化平臺(tái)前50臺(tái)服務(wù)器一年的制冷電力消耗電費(fèi)為:176 733 元×0.8=141 386.4 元;虛擬化平臺(tái)后8臺(tái)ESXi主機(jī)一年制冷電力消耗電費(fèi)為:28 277.2×0.8=22 621.76。Forrester在《vCenter Operations TEI研究》中認(rèn)為,部署了vSphere 私有云基礎(chǔ)解決方案,可以使得IT成本資源使用量下降30%,IT工作效率上升69%。
綜上所述,通過vSphere私有云基礎(chǔ)解決方案對(duì)數(shù)據(jù)中心服務(wù)器集群進(jìn)行整合,大大減少了服務(wù)器數(shù)量,降低了數(shù)據(jù)中心能耗,節(jié)約了投資成本,減輕了管理難度。
提出一種高可用性的私有云基礎(chǔ)架構(gòu)解決方案,有效地解決了傳統(tǒng)高校數(shù)據(jù)中心建設(shè)中存在的問題,該方案具有投資少、易于維護(hù)、安全可靠、業(yè)務(wù)的穩(wěn)定性與連續(xù)性較好等特點(diǎn)。該方案從計(jì)算池、網(wǎng)絡(luò)池、存儲(chǔ)池、安全優(yōu)化池的角度,提出了一套基于私有云數(shù)據(jù)中心的解決方案;采用共享存儲(chǔ)架構(gòu)FC SAN,并通過vSphere集群[16]將所有ESXi主機(jī)進(jìn)行整合,形成資源池,通過vCenter Server提供統(tǒng)一管理服務(wù),配置vShield實(shí)現(xiàn)對(duì)虛擬數(shù)據(jù)中心的安全防護(hù),并利用vCloud Director組件,從而實(shí)現(xiàn)了vSphere私有云。實(shí)踐證明,該模式構(gòu)建的高校數(shù)據(jù)中心,優(yōu)化了IT基礎(chǔ)架構(gòu)服務(wù)模式,提升了高校信息化建設(shè)水平,構(gòu)建了低碳、節(jié)能、減排、綠色的高校數(shù)據(jù)中心機(jī)房,增強(qiáng)了信息化系統(tǒng)的高可用性和安全性,也為其他高校同類建設(shè)項(xiàng)目提供了一個(gè)有意義的參考。