孟凡立 徐明 張慰

【摘要】目前多數(shù)高校都在數(shù)據(jù)中心使用虛擬化技術對服務器進行了虛擬化，但對數(shù)據(jù)中心整體虛擬化的研究和應用還不夠深入，虛擬化技術的優(yōu)勢沒有得到充分發(fā)揮。文章以建設符合智慧校園建設需求的數(shù)據(jù)中心云為目標，對高校數(shù)據(jù)中心關鍵設備的選擇及虛擬化進行了深入分析，并給出了一套適合高校應用特點的云計算數(shù)據(jù)中心建設方案，該方案在提升數(shù)據(jù)中心運行質量和降低TCO方面具有明顯優(yōu)勢。

【關鍵詞】云計算；IaaS數(shù)據(jù)中心；網(wǎng)絡虛擬化；存儲虛擬化

【中圖分類號】G40－057【文獻標識碼】A【論文編號】1009－8097(2012)03－0099－05

引言

隨著的IT(Information Technology，信息技術)逐漸滲透到高校的教學、科研和辦公等核心業(yè)務，各類信息系統(tǒng)數(shù)量和存儲的數(shù)據(jù)越來越多，數(shù)據(jù)中心規(guī)模越來越大，學校對數(shù)據(jù)中心的可靠性、安全性、靈活性提出了更苛刻的要求，傳統(tǒng)的數(shù)據(jù)中心建設管理模式己無法滿足當前數(shù)字化校園的建設需求。服務器虛擬化以其高效、節(jié)能、高可用等諸多優(yōu)點已經(jīng)為人們所熟知，在高校校園網(wǎng)中服務器虛擬化的應用也越來越廣泛。許多高校在使用虛擬化技術改造或新建數(shù)據(jù)中心時，僅實現(xiàn)了服務器的虛擬化，對實現(xiàn)數(shù)據(jù)中心整體虛擬化及云計算技術在數(shù)據(jù)中心的研究和應用較少。服務器虛擬化提升了服務器硬件使用效率，但如果不能實現(xiàn)數(shù)據(jù)中心的整體虛擬化，虛擬機得不到存儲及網(wǎng)絡系統(tǒng)的支持，虛擬化技術提供的高可靠性、高可用性、靈活性等更有價值的功能將無法得到應用。本文分析了利用云計算、虛擬化和無狀態(tài)計算等技術對服務器、存儲、網(wǎng)絡和應用交付設備進行全面虛擬化整合的方法，并對關鍵技術的選擇進行了深入的探討。最后在徐州師范大學數(shù)據(jù)中心建設方案的基礎上，提出了一套基于云計算以實現(xiàn)數(shù)據(jù)中心計算服務化、資源虛擬化和管理智能化為建設目標的數(shù)據(jù)中心優(yōu)化解決方案。

一、高校數(shù)據(jù)中心建設的現(xiàn)狀

不斷成熟的虛擬化技術正在幫助更多的高校數(shù)據(jù)中心減少服務器數(shù)量、優(yōu)化資源配置并簡化管理，利用虛擬化和云計算技術可以實現(xiàn)動態(tài)IT基礎設施環(huán)境，進一步改善現(xiàn)有的架構和管理模式，得到了諸多高校的認可。但是目前多數(shù)高校僅實現(xiàn)了用虛擬服務器簡單代替物理服務器，而沒有把數(shù)據(jù)中心內的存儲、網(wǎng)絡及應用交付系統(tǒng)進行針對性調整，虛擬化技術提供的高可用性、高可靠性和資源動態(tài)分配等非常有應用價值的功無法實施，傳統(tǒng)數(shù)據(jù)中心普遍存在的業(yè)務連續(xù)性差、靈活性差、業(yè)務部署周期長、管理維護成本高和高負載應用(如每學期的集中選課)等問題依然沒有得到解決。

在數(shù)據(jù)中心僅對服務器進行虛擬化，而不對其它硬件資源進行針對性的調整，各類信息系統(tǒng)仍然無法與其使用的硬件資源徹底脫離關系。當應用系統(tǒng)使用的硬件資源性能無法滿足需要或出現(xiàn)故障時，信息系統(tǒng)的運行仍將受到影響。在利用云計算技術實現(xiàn)了存儲、網(wǎng)絡應用交付系統(tǒng)整體虛擬化的數(shù)據(jù)中心，所有的硬件資源都在一個統(tǒng)一管理、分配并具有彈性伸縮能力的資源池中，這可以為應用系統(tǒng)屏蔽底層硬件架構的復雜性，使應用系統(tǒng)與硬件資源徹底分離，系統(tǒng)使用的計算、存儲和網(wǎng)絡資源可以從數(shù)據(jù)中心的資源池中按需獲取，資源池中的設備出現(xiàn)故障時或系統(tǒng)需要更多的計算、網(wǎng)絡和存儲資源時，云計算管理平臺可自動從資源池中分配新的可用資源，從而保證業(yè)務的連續(xù)性和可用性。數(shù)據(jù)中心整體虛擬化基礎架構與服務器虛擬化架構比較如圖1所示。

在高校數(shù)據(jù)中心建設中可以通過云計算技術解決服務器虛擬化帶來的問題。云計算是通過整合、管理、調配分布在數(shù)據(jù)中心的各類資源，并以統(tǒng)一的界面向用戶提供安全可靠的數(shù)據(jù)存儲、網(wǎng)絡和計算能力。作為一種共享的網(wǎng)絡交付信息服務的模式，云計算的使用者看到的只有服務本身，而不用關心相關基礎設施的具體實現(xiàn)，利用云計算和虛擬化技術構建數(shù)據(jù)中心，對數(shù)據(jù)中心的服務器、存儲、網(wǎng)絡和應用交付系統(tǒng)進行整體虛擬化，使整個數(shù)據(jù)中心的運行實現(xiàn)高效、可靠、安全和高可用的同時，還可對硬件資源進行智能管理、靈活部署、動態(tài)調整和按需分配，最終實現(xiàn)IaaS(Infrastructureas a Service，基礎設施即服務)的目標。利用云計算技術可根本解決高校傳統(tǒng)數(shù)據(jù)中心普遍存在的多種問題，考核數(shù)據(jù)中心運維情況的TCO、服務器利用率、節(jié)能、穩(wěn)定性、容災、可用性、安全性等指標，與傳統(tǒng)無虛擬化的數(shù)據(jù)中心和僅對服務器做了虛擬化的數(shù)據(jù)中心相比有明顯提升，根據(jù)[3]中調查數(shù)據(jù)，利用雷達圖對相關指示做了比較如圖2所示。

二、云計算數(shù)據(jù)中心的關鍵環(huán)節(jié)

建設云計算數(shù)據(jù)中心時，除了已被廣泛接受的虛擬化技術以外，資源池化、資源動態(tài)管理和資源動態(tài)擴展等技術是實現(xiàn)高校云計算數(shù)據(jù)中心的關鍵環(huán)節(jié)。本節(jié)將分析這些環(huán)節(jié)實現(xiàn)技術的特點及其在數(shù)據(jù)中心建設過程中的作用。

1.資源池化

資源池化是指通過虛擬化手段，將數(shù)據(jù)中心內的軟、硬件資源虛擬成一個大的“資源水池”，從而簡化硬件資源管理、調度難度，實現(xiàn)資源按需獲取和空閑資源自動釋放，是實現(xiàn)云計算數(shù)據(jù)中心的關鍵技術之一，也是實現(xiàn)云計算數(shù)據(jù)中心的基礎。云計算數(shù)據(jù)中心對虛擬化的要求不僅僅是將一臺服務器變成多臺這么簡單，它需要把數(shù)據(jù)中心的各類硬件資源虛擬并轉化為多個資源池，包括計算資源池、網(wǎng)絡資源池、存儲資源池、安全和應用交付池等。資源池化是云計算的一個典型特點，只有實現(xiàn)了資源的池化，才有可能實現(xiàn)資源的靈活分配。

實現(xiàn)資源池化可以使數(shù)據(jù)中心的硬件資源管理方式由管理離散的硬件更改為管理虛擬化的共享資源池，管理工作將變得更加簡單和高效，同時還可以提高硬件資源利用率并針對關鍵應用優(yōu)先進行動態(tài)的資源分配。從資源池可以按應用系統(tǒng)需要分配出個性化的邏輯構造塊(包含計算、網(wǎng)絡、存儲和安全能力)，根據(jù)應用系統(tǒng)需求這些從資源池中獲取的邏輯構造塊經(jīng)過針對性調整，可提供修改化的服務級別或業(yè)務需求。實現(xiàn)資源池還有一個優(yōu)勢就是可以實現(xiàn)業(yè)務的快速部署，將資源池中的資源動態(tài)的分配給應用程序。每個應用程序與。個vApp(Virtual Application，虛擬化應用程序)堆棧捆綁，而vApp配有應用程序需要的應用服務器、數(shù)據(jù)庫和服務器操作系統(tǒng)配置，這使得業(yè)務部署變得更加靈活、高效。

2.資源動態(tài)管理

資源動態(tài)管理可以簡化資源管理、調度難度，實現(xiàn)資源按需獲取和空閑資源快速釋放是云計算數(shù)據(jù)中心必須具備的能力。變更指定給應用系統(tǒng)負載的硬件資源或硬件資源離線維護時，負載需要在硬件資源之間進行轉移，這需要數(shù)據(jù)中心對資源池進行動態(tài)管理。如何智能化的分配、調整、回收資源池中的資源是云計算數(shù)據(jù)中心必須解決的問題。數(shù)據(jù)中心資源的動態(tài)管理可有效提高設備利用率和數(shù)據(jù)中心可用性、可靠性和靈活性。

數(shù)據(jù)中心資源池的管理和調度可以通過負載均衡設備及虛擬化軟件的DRS(Distributed Resources Scheduler，分布式

資源調度)、HA(VMware High Availability，高可用性)、FT(Fault Tolerance，系統(tǒng)容錯)等功能實現(xiàn)各類應用程序產生的負載在不同的硬件資源上動態(tài)移動，從而實現(xiàn)硬件資源的按需分配、動態(tài)調整和自動回收。通過多種資源管理技術的實施可以整合工作負載、提高利用率、減少單點故障、實現(xiàn)故障自動切換等功能，使各類應用系統(tǒng)不必再去關心硬件資源的分配及運行情況，應用系統(tǒng)面對的只是一臺虛擬機，虛擬機產生的數(shù)據(jù)流被靈活、均衡地分配到資源池中，從而實現(xiàn)了資源的動態(tài)管理。

3.動態(tài)擴展

現(xiàn)有資源池內的資源無法滿足應用系統(tǒng)的需求時，就需要數(shù)據(jù)中心的資源池可以在不中斷服務的情況下實現(xiàn)快速擴容。采用模塊化數(shù)據(jù)中心(Portable Optimized Datacenter.POD)的建設方式，在每個模塊里有支撐業(yè)務部署的計算、網(wǎng)絡、及存儲資源，這種方式實現(xiàn)了資源的高度整合，縮短了建設周期，避免了大型平臺建設中不必要的銜接問題。同時每個模塊具有獨立承載業(yè)務能力，提升了后期設備選型的靈活性。隨著技術的發(fā)展，IT行業(yè)越來越意識到把應用部署在單一支撐點的缺陷，云計算環(huán)境建議采用并行分布部署方式將業(yè)務加載到多個物理上完全獨立的模塊上，從而確保云環(huán)境下應用的高冗余及業(yè)務連續(xù)性。通過POD建設方式動態(tài)擴展資源池的過程如圖3所示。

三、關鍵設備和軟件的選型

本節(jié)將介紹各資源系統(tǒng)實現(xiàn)方法并給出一些高校在建設云計算數(shù)據(jù)中心時技術、設備選擇的建議。重點介紹計算系統(tǒng)、網(wǎng)絡系統(tǒng)、存儲系統(tǒng)和安全應用交付系統(tǒng)和云管理平臺的建設方法。

1.計算系統(tǒng)設計與實現(xiàn)

計算資源的虛擬化是通過服務器虛擬化軟件來實現(xiàn)的，關于服務器虛擬化軟件的選擇爭議并不大，在高校中應用最廣泛、最具有代表意義的服務器虛擬化軟件是VMware公司的vSphere，也有部分高校使用了少量的Hyper－V、XenServer和Virtuozzo。vSphere是目前唯一可供生產環(huán)境使用的虛擬化套件，與同類產品相比其整合比最高，優(yōu)勢明顯。

在服務器的選擇上首先考慮的是設備的性能，系統(tǒng)最終能否支持海量用戶服務及時響應的需求是系統(tǒng)設計是否成功的關鍵。其次是系統(tǒng)結構應該具有伸縮能力，保證系統(tǒng)能夠在維持系統(tǒng)框架、追加少量備件或設備的前提下，滿足數(shù)年內學校業(yè)務增長的需要。徐州師范大學計算系統(tǒng)采用統(tǒng)一計算、一體化架構設計，計算能力主要由兩臺Cisco UCS 5108刀片服務器提供。UCS采用了Service Profile和無狀態(tài)計算概念，UCS中的所有服務器在沒被啟用前均可視為裸機，其物理特性已經(jīng)不再重要。配置文件會自動尋找第一個可用的服務器，并和它關聯(lián)。當該服務器損壞，配置文件會自動尋找第二個可用服務器。由于配置文件中設置了服務器的物理參數(shù)，備用服務器也會獲取和原服務器一樣的物理參數(shù)，因此，無需在網(wǎng)絡和存儲設備上做任何重新設置，備用服務器就能具有原服務器所有物理特性，操作系統(tǒng)和應用還可以實現(xiàn)自動重啟，完全無需人工干預即實現(xiàn)了備機的自動上線。

高校公共數(shù)據(jù)平臺使用的數(shù)據(jù)庫產品多數(shù)是Oracle，因Oracle公司不建議將其產品部署于第三方公司的虛擬化平臺上，同時高校公共數(shù)據(jù)平臺是整個數(shù)字化校園的基礎，對硬件性能、可靠性、可用性要求都非常高。因此在徐州師范大學計算資源中還另外增加了兩臺IBM公司的Power 740小型機供數(shù)據(jù)庫系統(tǒng)使用，同時服務器負載均衡，這在提升了服務器處理能力的同時實現(xiàn)了雙機熱備，該方案整體性能可滿足學校公共數(shù)據(jù)平臺運轉需求。

2.網(wǎng)絡系統(tǒng)設計與實現(xiàn)

云計算數(shù)據(jù)中心網(wǎng)絡區(qū)別于傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡及校園網(wǎng)，網(wǎng)絡資源調用方式是面向云服務而不是面向復雜的物理底層設施進行設計的。通過網(wǎng)絡虛擬化可以把數(shù)據(jù)中心的網(wǎng)絡設備以一種與物理位置、物理存在和物理狀態(tài)無關的方式進行調用，這是云計算架構中IT資源池形成的關鍵環(huán)節(jié)。網(wǎng)絡虛擬化是實現(xiàn)網(wǎng)絡資源復用、降低管理維護復雜度、提高網(wǎng)絡設備利用率、保證全局服務策略一致性的關鍵，同時也是為自動化資源調用和配置打下基礎。

高校數(shù)據(jù)中心承載業(yè)務的應用特點決定了其網(wǎng)絡既要考慮傳統(tǒng)校園網(wǎng)絡接入，又要考慮數(shù)據(jù)中心網(wǎng)絡接入，因此在方案設計上采用超大規(guī)模數(shù)據(jù)中心交換機Cisco Nexus 7000作為核心，在性能上實現(xiàn)了網(wǎng)絡核心和數(shù)據(jù)中心匯聚交換機資源的共享和復用，解決了核心層數(shù)據(jù)量和數(shù)據(jù)中心數(shù)據(jù)量可能存在較大差異的問題。數(shù)據(jù)中心核心配備了兩臺10插槽Nexus 7000，通過虛擬交換技術以雙機冗余的方式部署在網(wǎng)絡核心。配置了1塊48端口1／10G板卡，通過選配不同的光纖模塊，可同時實現(xiàn)萬兆和千兆的接入。在網(wǎng)絡虛擬化方面，Nexus采用了VDC(VirtualDeviceContent，虛擬化數(shù)據(jù)中心)技術，可以將一臺物理交換機邏輯上模擬成多臺虛擬交換機，從而實現(xiàn)更加靈活的、與物理設備無關的跨平臺資源分配能力，為數(shù)據(jù)中心這種底層設施資源消耗型網(wǎng)絡提供更經(jīng)濟高效的組網(wǎng)方式，也為管理和運營智能化、自動化創(chuàng)造了條件。

另外還可以通過改進虛機系統(tǒng)平臺內的軟交換機運行方式來提升虛擬化網(wǎng)絡的運行質量。Cisco與VMware聯(lián)合推出了一款內置于vSphere系統(tǒng)的分布式交換機Nexus 1000v，替代V／V1ware原有的vSwitch和分布式交換機。該交換機使得在一個集群內主機上的所有虛機可以看成連接在單一的一臺智能化交換機上，如圖4所示，它可實現(xiàn)無論虛機如何遷移，配置在虛擬交換機上的所有網(wǎng)絡策略都隨虛機遷移而自動跟隨，這在降低管理復雜性的同時提升了虛擬機的遷移速度。

3.存儲系統(tǒng)設計與實現(xiàn)

云計算采用分布式存儲的方式來存儲數(shù)據(jù)，在云計算數(shù)據(jù)中心對服務器穩(wěn)定性的要求有所降低，但對存儲可靠性與性能要求大幅提高。存儲系統(tǒng)是數(shù)據(jù)中心的核心基礎，其性能的優(yōu)劣、質量的好壞，對全局影響重大，因此如何保證數(shù)據(jù)中心的存儲系統(tǒng)能夠不斷地完善、發(fā)展，保持系統(tǒng)的實用性和技術的先進性是在整個數(shù)據(jù)中心建設方案中必須重點考慮的問題。在存儲系統(tǒng)平臺的選型上應充分考慮系統(tǒng)應用水平和處理數(shù)據(jù)量的大小，在云計算數(shù)據(jù)中心因虛擬化帶來的服務器密度增加，導致I／O(Input／Output，輸入輸出)成為系統(tǒng)性能瓶頸，因此需要根據(jù)實際情況重點考慮系統(tǒng)I／O性能。

云計算數(shù)據(jù)中心存儲系統(tǒng)建設基本原則是利用虛擬化技術和先進的大容量存儲設備，集中、智能管理所有存儲設備，形成存儲資源池。系統(tǒng)應能提供完善、便捷的備份恢復解決方案，保證數(shù)據(jù)的高可用性。EMC公司VNX存儲系統(tǒng)在以上幾個方面都有卓越的表現(xiàn)，并且和本方案的軟、硬件基礎架構有機結合，形成一個完善的軟硬件存儲系統(tǒng)虛擬化解決方案。徐州師范大學數(shù)據(jù)中心建設方案中，我們采用一臺EMC VNX5300存儲作為數(shù)據(jù)中心主存儲，配置兩個SAN(Storage

Area Network，存儲區(qū)域網(wǎng)絡)控制器，已提高系統(tǒng)的可靠性，配置一個NAS(network attached storage，網(wǎng)絡附加存儲)控制器以提高系統(tǒng)的靈活性。配置SAS硬盤，用于對I／O性能要求高的應用。為了降低成本，還配置了SAT硬盤用于存儲對容量要求高，但對性能不太敏感的數(shù)據(jù)。另外設計一臺EMC VNX5100存儲作為數(shù)據(jù)中心的容災存儲。存儲網(wǎng)絡通過FC(Fiber Chanel，光纖通道)和FCoE(Fibre Channel over Ethernet，以太網(wǎng)光纖通道)共存的方式實現(xiàn)，這樣不僅解決了新舊技術過渡問題，還減少了接入交換機類型、數(shù)量和復雜性，整合了網(wǎng)絡資源，提高了數(shù)據(jù)中心資源部署效率，降低了功耗。

4.安全應用交付系統(tǒng)設計與實現(xiàn)

虛擬化環(huán)境下虛擬機的數(shù)量及密度迅速膨脹，為了減少防毒過程中的資源消耗、簡化管理手段并加強虛擬機的透明性和安全性，我們在虛擬機安全產品上選擇的是Trend公司的Deep Security。該系統(tǒng)是一套保護服務器和應用程序的綜合安全系統(tǒng)，擁有無代理安全防護技術，該系統(tǒng)通過與VMware的控管中心整合，無需在虛擬機中安裝任何插件，即可實現(xiàn)對虛擬機的安全防護，這進一步減少了虛擬服務器的資源消耗，提升了計算資源工作的有效性。

虛擬化平臺本身具備部分對平臺內的計算資源、存儲資源的負載均衡能力，可以在運行期間持續(xù)監(jiān)控群集內所有主機和虛擬機的CPU、內存資源的分布情況和使用情況，根據(jù)運行情況執(zhí)行相應虛擬機遷移或提供遷移建議，從而保持計算資源的負載平衡。徐州師范大學數(shù)據(jù)中心建設中，輕負載通過創(chuàng)建基于VMware vSphere的主機DRS集群和存儲SDRS(Storage Distributed Resources Scheduler，分布式資源調度)集群實現(xiàn)管理。大型負載如選課、統(tǒng)一身份認證的負載分流由F5公司的本地流量管理設備BIG－IP LTM實現(xiàn)。該設備通過與vSphere的深度整合，維護方便，利用虛擬化環(huán)境軟件的自動遷移功能，可靠性也較高。

根據(jù)主流備份系統(tǒng)的搭建準則，徐州師范大學通過具有重復數(shù)據(jù)刪除功能的EMC Avama備份系統(tǒng)組建了統(tǒng)一的智能備份系統(tǒng)。通過新的數(shù)據(jù)備份技術，實現(xiàn)了在存儲系統(tǒng)中完成對所有數(shù)據(jù)的備份工作，備份工作不再基于數(shù)據(jù)所處的操作系統(tǒng)，這在大幅簡化數(shù)據(jù)備份工作難度的同時，提升了數(shù)據(jù)備份的效率。同時因備份工作不再通過服務器，從而節(jié)省了大量的計算和網(wǎng)絡資源，降低了數(shù)據(jù)中心的負載。Avama直接運行于VMware vSphere虛擬化平臺之上，無需其他操作系統(tǒng)支持。另外系統(tǒng)支持操作系統(tǒng)的快速恢復，且備份的操作系統(tǒng)可以靈活的恢復到不同的硬件服務器上。恢復數(shù)據(jù)時不需采用全備份疊加增量備份來恢復至指定的時間點，而是采用任意時間點恢復的方式。

5.云管理平臺

云管理平臺負責整個數(shù)據(jù)中心資源管理，是各資源池的管理和工作負載交付管理平臺，是實現(xiàn)IaaS的關鍵環(huán)節(jié)。云管理平臺應能針對不同的資源池，提供統(tǒng)一的云管理接口，以實現(xiàn)對本架構中的各資源池集中管理，包括資源管理、監(jiān)控、配置、診斷、故障檢測、審核及統(tǒng)計數(shù)據(jù)收集等方面的管理。徐州師范大學云管理平臺是在vSphere為云計算系統(tǒng)提供的基礎設施架構的基礎上，通過第三方個性化開發(fā)軟件實現(xiàn)了與vSphere的對接。該平臺具有良好的跨平臺和功能擴展性，系統(tǒng)用戶通過Web界面就可以實現(xiàn)自助式申請和管理，系統(tǒng)管理員不再需要手工生成和配置用戶所要求的虛擬機，而是交由管理平臺自動完成。

6.數(shù)據(jù)中心拓撲

根據(jù)本文論述的建設思路及建設方法，在我校數(shù)據(jù)中心建設的基礎上結合云計算技術，完成了數(shù)據(jù)中心的整體方案設計及關鍵設備、軟件的選型工作。數(shù)據(jù)中心核心交換通過萬兆光纖實現(xiàn)了與校園網(wǎng)的冗余連接。通過POD的建設思路對學校原有硬件資源進行了整合，整個數(shù)據(jù)中心服務器、網(wǎng)絡、存儲和應用交付設備都實現(xiàn)了冗余和負載均衡，數(shù)據(jù)中心的拓撲關系如圖5所示。

四、總結

本文比較了云計算數(shù)據(jù)中心和公實現(xiàn)了部分虛擬化的數(shù)據(jù)中心之間的差異，并根據(jù)徐州師范大學在虛擬化數(shù)據(jù)中心建設中的經(jīng)驗和教訓，給出了一套符合高校數(shù)字化校園建設需求的云計算數(shù)據(jù)中心設計與實現(xiàn)方案。通過該方案可有效提升數(shù)據(jù)中心的建設質量，并在滿足學校數(shù)字化校園建設需求的基礎上大幅降低TCO。下一步將續(xù)約研究公共數(shù)據(jù)平臺和高性能計算與數(shù)據(jù)中心云計算平臺的整合，全面實現(xiàn)IaaS。