王國珍

云計(jì)算數(shù)據(jù)一般采用集中管理，而虛擬機(jī)遷移的數(shù)量過多，造成不能擴(kuò)展到大規(guī)模的問題。為此提出一種節(jié)能的虛擬機(jī)管理方式——分布式管理，分布式管理分為本地管理和全局管理，本地管理負(fù)責(zé)數(shù)據(jù)中心的各個(gè)節(jié)點(diǎn)，通過設(shè)置最低限制與最高限制決定虛擬機(jī)的遷移量，全部管理負(fù)責(zé)將虛擬機(jī)遷移至最小能耗的節(jié)點(diǎn)上。

【關(guān)鍵詞】云計(jì)算 節(jié)能 虛擬機(jī) 本地管理 實(shí)時(shí)遷移

計(jì)算虛擬化是創(chuàng)造一個(gè)虛擬的網(wǎng)絡(luò)系統(tǒng)。如一個(gè)硬件平臺(tái)、一個(gè)操作系統(tǒng)、一個(gè)存儲(chǔ)設(shè)備或者一個(gè)網(wǎng)絡(luò)資源。虛擬化是IT企業(yè)總體趨勢(shì)的一部分。IT企業(yè)總體趨勢(shì)還包括自動(dòng)計(jì)算、在IT環(huán)境將能夠管理自己基于知覺活動(dòng)的一個(gè)場(chǎng)景。隨著虛擬化技術(shù)的快速發(fā)展，大多數(shù)數(shù)據(jù)中心都采用了云計(jì)算理念來設(shè)計(jì)新一代的數(shù)據(jù)中心框架。這項(xiàng)技術(shù)所帶來的好處包括，提高資源利用率，降低運(yùn)營成本和簡(jiǎn)化服務(wù)器管理。服務(wù)器整合和虛擬機(jī)實(shí)時(shí)遷移也可以用來實(shí)現(xiàn)負(fù)載均衡和節(jié)能。虛擬化是已廣泛應(yīng)用于現(xiàn)代數(shù)據(jù)中心的云計(jì)算來實(shí)現(xiàn)服務(wù)器節(jié)能行動(dòng)的創(chuàng)新。服務(wù)器整合實(shí)現(xiàn)了能源利用效率，使操作系統(tǒng)的多個(gè)實(shí)例同時(shí)運(yùn)行在一臺(tái)機(jī)器。隨著虛擬化，它可能通過虛擬機(jī)實(shí)時(shí)遷移來穩(wěn)固服務(wù)器負(fù)載程度。然而，虛擬機(jī)遷移又帶來額外的能源消耗問題。

1 相關(guān)知識(shí)

1.1 基礎(chǔ)設(shè)施服務(wù)（IaaS）

當(dāng)前有許多云服務(wù)提供不同的軟件服務(wù)，在底層可以提供客戶訪問服務(wù)商控制的整體虛擬機(jī)，客戶想要運(yùn)行軟件，只能以系統(tǒng)客戶配上虛擬機(jī)在高層級(jí)才能在線運(yùn)行，不要需要客戶去操作；但是高層級(jí)的軟件無法保證計(jì)算機(jī)的保密性，因?yàn)榉?wù)本身操作的是客戶本身的數(shù)據(jù)。

如圖1所示，以Eucalyptus為例，系統(tǒng)包含一個(gè)或多個(gè)運(yùn)行客戶虛擬機(jī)的鏡像節(jié)點(diǎn)，最為典型的是Xen，而Eucalyptus擁有一系列的操作方式來管理這些。

從客戶角度看，Eucalyptus是一個(gè)服務(wù)接口，是一個(gè)可執(zhí)行、可管理的服務(wù)接口，虛擬機(jī)鏡像VMI運(yùn)行VM，而CM負(fù)載VMI。

1.2 攻擊模型

云服務(wù)商的系統(tǒng)管理員擁有控制后臺(tái)的權(quán)限，可以實(shí)施多種攻擊來訪問客戶虛擬機(jī)內(nèi)存。IaaS不會(huì)允許某人擁有全部權(quán)限，而且也部署了嚴(yán)格的安全措施，嚴(yán)格訪問權(quán)限策略，保護(hù)硬件的物理安全?？梢哉J(rèn)為服務(wù)商能夠阻止對(duì)機(jī)械物理訪問的攻擊，但系統(tǒng)管理員還是需要將內(nèi)部機(jī)器的訪問權(quán)限用來管理機(jī)器運(yùn)行的軟件。因此TCCP必須做到以下兩點(diǎn)：

（1）確保虛擬機(jī)在安全保護(hù)的情況下運(yùn)行；

（2）在任何時(shí)候，擁有權(quán)限的系統(tǒng)管理員遠(yuǎn)程登錄運(yùn)行虛擬機(jī)的機(jī)器，都不能訪問虛擬機(jī)的內(nèi)存。

1.3 可信賴計(jì)算

可信賴計(jì)算（TCC）提出了利用一系列的軟硬件技術(shù)來構(gòu)建可信賴平臺(tái)，而且給出了可信賴平臺(tái)模塊（TPM）集成的設(shè)計(jì)標(biāo)準(zhǔn)。TPM支持私鑰（EK）并將此作為身份識(shí)別的唯一標(biāo)準(zhǔn)，還支持一些不可修改的加密手段，不同廠商的設(shè)備使用不同的公鑰識(shí)別集成模塊。

可信賴平臺(tái)改進(jìn)了TPM集成的特點(diǎn)，使他能夠遠(yuǎn)程識(shí)別。在啟動(dòng)時(shí)，主機(jī)計(jì)算一個(gè)由啟動(dòng)軟件序列哈希值組成的測(cè)定列表ML、啟動(dòng)軟件（BIOS）、啟動(dòng)項(xiàng)、啟動(dòng)軟件執(zhí)行平臺(tái)等。ML安全載入主機(jī)TPM，遠(yuǎn)程的一方利用當(dāng)前運(yùn)行在主機(jī)中的平臺(tái)，平臺(tái)調(diào)用TPM生成包含ML的應(yīng)答信息，并用TPM的私鑰加密，主機(jī)將信息反饋給遠(yuǎn)程方，遠(yuǎn)程方利用對(duì)應(yīng)的EK公鑰解密，這樣就完成了對(duì)主機(jī)的認(rèn)證。

2 虛擬機(jī)實(shí)時(shí)遷移研究內(nèi)容

2.1 創(chuàng)新關(guān)鍵技術(shù)點(diǎn)

根據(jù)本項(xiàng)目，主要采用新一代分布式虛擬化技術(shù)以及著重考慮數(shù)據(jù)存儲(chǔ)安全問題，利用基于分布式安全存儲(chǔ)技術(shù)，建立安全、高效、節(jié)能的存儲(chǔ)系統(tǒng)必須要在數(shù)據(jù)的冗余性、實(shí)時(shí)性上加大力度，但往往數(shù)據(jù)的安全和可靠性與系統(tǒng)的易用性存在矛盾。而本轉(zhuǎn)化項(xiàng)目通過建立新型的體系結(jié)構(gòu)和新技術(shù)，將數(shù)據(jù)的可靠、安全、節(jié)能等等因素綜合考慮進(jìn)去，在基于分布式存儲(chǔ)網(wǎng)絡(luò)的數(shù)據(jù)免災(zāi)服務(wù)中，增加了以IDA算法為核心的存儲(chǔ)結(jié)構(gòu)體系，顛覆了傳統(tǒng)業(yè)務(wù)中存儲(chǔ)方式。本項(xiàng)目所采用的一系列技術(shù)做到了國內(nèi)領(lǐng)先、國際先進(jìn)。

2.2 創(chuàng)新技術(shù)匹配點(diǎn)

基于分布式存儲(chǔ)網(wǎng)絡(luò)的數(shù)據(jù)免災(zāi)服務(wù)，是NGDC整個(gè)體系結(jié)構(gòu)中第一個(gè)試水的項(xiàng)目，在存儲(chǔ)體系結(jié)構(gòu)的基礎(chǔ)上，增加了數(shù)據(jù)在線備份功能，實(shí)現(xiàn)了由技術(shù)到應(yīng)用的轉(zhuǎn)化，從而驗(yàn)證了此分布式存儲(chǔ)體系系統(tǒng)的實(shí)際價(jià)值。存儲(chǔ)的可靠性與效率的矛盾、經(jīng)濟(jì)性與冗余效果的矛盾、業(yè)務(wù)系統(tǒng)與編碼計(jì)算的資源競(jìng)爭(zhēng)、數(shù)據(jù)備份與業(yè)務(wù)系統(tǒng)的爭(zhēng)用、跨網(wǎng)絡(luò)的存儲(chǔ)與IO的不匹配性。

3 云服務(wù)平臺(tái)IaaS

基于存儲(chǔ)平臺(tái)從硬件、系統(tǒng)與管理、產(chǎn)品特性等多個(gè)層次支持所提供服務(wù)的安全、高效與可靠性。通過在實(shí)際運(yùn)營中不斷的改進(jìn)平臺(tái)功能和性能， CloudEx 云平臺(tái)已經(jīng)成為國內(nèi)成熟商用的IaaS云服務(wù)平臺(tái)，其先進(jìn)、安全特性如下：

3.1 彈性伸縮

跨數(shù)據(jù)中心的虛擬化管理系統(tǒng)將分布在多個(gè)數(shù)據(jù)中心的服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)等資源統(tǒng)一虛擬化為相應(yīng)的資源池。通過峰值復(fù)用、共享存儲(chǔ)、帶寬復(fù)用大大提高了服務(wù)器、存儲(chǔ)和帶寬等資源的利用率。

3.2 快速部署

（1）幾分鐘即可交付一臺(tái)可以直接使用的云主機(jī)，包括應(yīng)用布署；

（2）按使用量計(jì)費(fèi)；

（3）不論是計(jì)算資源、存儲(chǔ)資源還是帶寬資源，彈性云計(jì)算都支持按需使用、按所需付費(fèi)。

3.3 本地永久存儲(chǔ)

（1）云主機(jī)內(nèi)置本地永久存儲(chǔ)硬盤空間；

（2）對(duì)云主機(jī)的停機(jī)、重起操作不會(huì)影響你在云主機(jī)運(yùn)行時(shí)保存的數(shù)據(jù)。

3.4 廣泛的網(wǎng)絡(luò)訪問

平臺(tái)由分布在全國的數(shù)十個(gè)IDC中的服務(wù)域（CSZ：Cloud Service Zone）所構(gòu)成，每個(gè)CSZ的網(wǎng)絡(luò)接入帶寬都可以超過10Gbps，整合起來就可以提供海量的網(wǎng)絡(luò)接入帶寬，支持全網(wǎng)范圍內(nèi)的、廣泛的網(wǎng)絡(luò)訪問需求。CloudEx 云平臺(tái)提供高性能的Web接入能力，單臺(tái)Web服務(wù)器支持的并發(fā)連接超過20000連接/秒，并且可以隨時(shí)進(jìn)行線性擴(kuò)展，提供應(yīng)用層面的海量服務(wù)接入能力。endprint

3.5 虛擬化資源池管理

CloudEx云平臺(tái)在開源Xen虛擬化管理技術(shù)的基礎(chǔ)上，增加智能化、分布式、集中化的業(yè)務(wù)受理、工單派發(fā)、動(dòng)態(tài)設(shè)備及網(wǎng)絡(luò)拓?fù)浒l(fā)現(xiàn)、自動(dòng)配置、實(shí)時(shí)監(jiān)控、可視化管理的高級(jí)功能。

4 實(shí)時(shí)遷移技術(shù)

實(shí)時(shí)遷移，就是保證1個(gè)或者N個(gè)虛擬機(jī)運(yùn)行的同時(shí)互不干擾，將一臺(tái)計(jì)算機(jī)（假設(shè)為1號(hào)）的數(shù)據(jù)遷移到另一臺(tái)計(jì)算機(jī)（假設(shè)為2號(hào)）之中，并將計(jì)算機(jī)恢復(fù)運(yùn)行的技術(shù)。利用這種技術(shù)，可以實(shí)現(xiàn)服務(wù)器在線維護(hù)、升級(jí)及動(dòng)態(tài)負(fù)載均衡。

5 虛擬機(jī)實(shí)時(shí)遷移的設(shè)計(jì)思想

由于實(shí)時(shí)遷移主要針對(duì)集群式服務(wù)器所開發(fā)出來的，這種環(huán)境下主要分內(nèi)存、網(wǎng)絡(luò)和存儲(chǔ)資源遷移三個(gè)階段。

5.1 內(nèi)存的遷移

內(nèi)存的遷移是虛擬機(jī)遷移最復(fù)雜的區(qū)域，一個(gè)完整的內(nèi)存遷移需要進(jìn)行三個(gè)部分來進(jìn)行：

（1）push階段。在虛擬機(jī)運(yùn)行的同時(shí)，將它的一些內(nèi)存的頁面通過網(wǎng)絡(luò)拷貝至機(jī)器上，為保證內(nèi)容中的數(shù)據(jù)一致，被修改的網(wǎng)頁需要重新上傳。

（2）Stop-and-copy階段。虛擬機(jī)在停止工作時(shí)，需要將剩下的頁面拷貝到另外一臺(tái)計(jì)算機(jī)上，然后在新的計(jì)算機(jī)上重新運(yùn)行虛擬機(jī)。

（3）Pull階段。新的虛擬機(jī)在運(yùn)行過程中，如果訪問到已拷貝的頁面，就會(huì)出現(xiàn)頁面錯(cuò)誤，從而需要將原來機(jī)器上的數(shù)據(jù)重新拷貝過來，再進(jìn)行運(yùn)行。

實(shí)際上，遷移內(nèi)存時(shí)，沒必要進(jìn)行上述三個(gè)階段，以目前的大部分遷移策略只包含一個(gè)或者兩個(gè)階段。

Xen采用Push和stop-and-copy階段結(jié)合而成的方案，又稱作為預(yù)拷貝（Per-copy）的方法。在Push階段需要將內(nèi)存以迭代的方式一次一次拷貝進(jìn)另外一臺(tái)計(jì)算機(jī)內(nèi)，第一次拷貝所有的頁，第二次只拷貝那些錯(cuò)誤之后被修改過的頁，依此類推，在N次拷貝的是N-1次拷貝過程中被修改的頁。當(dāng)錯(cuò)誤頁的數(shù)目達(dá)到一定程度時(shí)，預(yù)拷貝Push階段就即將結(jié)束，進(jìn)入stop-and-copy階段，在這一階段再次把剩下的錯(cuò)誤頁以運(yùn)行的狀態(tài)之下的信息拷貝過去，這種方法是和上個(gè)階段相結(jié)合，平衡了停機(jī)時(shí)間和總遷移時(shí)間之間的矛盾，是一種較為理想動(dòng)態(tài)遷移方式。但是對(duì)于那種修改比較頻繁的頁，需要反復(fù)重新傳送，尤其是修改頁較多時(shí)，遷移的總性能將會(huì)降低。為了保證遷移的效率和總性能的平衡，需要運(yùn)用算法測(cè)定，防止反復(fù)傳送相同的頁。

5.2 網(wǎng)絡(luò)的遷移

虛擬機(jī)這種系統(tǒng)的封裝方式意味著虛擬機(jī)在遷移時(shí)包括了所有的網(wǎng)絡(luò)設(shè)置，包括協(xié)議在內(nèi)以及IP地址也會(huì)隨之遷移。在局域網(wǎng)中，可以發(fā)送ARP的方式將虛擬機(jī)的IP地址和另外一臺(tái)機(jī)器的MAC地址相綁定，之后將所有包裝好的發(fā)送至機(jī)器上。

6 云計(jì)算虛擬機(jī)分布式管理

6.1 分布式管理結(jié)構(gòu)

分布式管理包括本地管理和全局管理兩種方式，分布式管理結(jié)構(gòu)如圖2所示。

CPU的利用率和服務(wù)器的總電量的消耗是有聯(lián)系的，隨著CPU的利用率從閑置的狀態(tài)升高至負(fù)載，服務(wù)器電源消耗的量也在成倍升高，CPU的利用率是隨著工作負(fù)載而變化，所以CPU利用率相當(dāng)于一個(gè)時(shí)間函數(shù)u（t），一段時(shí)間內(nèi)總能源消耗E可以定義為

，可以清楚的看出能源消耗是隨著CPU的利用率而改變的。

本地管理持續(xù)監(jiān)控節(jié)點(diǎn)CPU的利用率，并在運(yùn)行虛擬機(jī)監(jiān)控器的節(jié)點(diǎn)獲取各個(gè)虛擬機(jī)的信息，主要目的是根據(jù)對(duì)資源的需求將虛擬機(jī)的大小進(jìn)行調(diào)整，決定某個(gè)時(shí)候的虛擬機(jī)將某些虛擬機(jī)從該節(jié)點(diǎn)遷移出去。全局管理只有一個(gè)節(jié)點(diǎn)，收集那些來自本地管理的節(jié)點(diǎn)信息，并在最佳之處的節(jié)點(diǎn)接收需要遷移的虛擬機(jī)。將使用各種不同的管理方法統(tǒng)一到一起管理，分布式管理的主要目的是將任務(wù)發(fā)布至各個(gè)本地管理之中，而全局管理只負(fù)責(zé)收集信息并進(jìn)行決策。

為了提高節(jié)點(diǎn)CPU的利用率，系統(tǒng)設(shè)置一個(gè)最低值。當(dāng)節(jié)點(diǎn)的CPU利用率低于設(shè)置的最低值時(shí)，系統(tǒng)就會(huì)先將節(jié)點(diǎn)上的虛擬機(jī)全部遷移出去之后再關(guān)閉所有的節(jié)點(diǎn)，以此達(dá)到節(jié)能的效果。為了提高系統(tǒng)的服務(wù)質(zhì)量，系統(tǒng)還會(huì)設(shè)置一個(gè)高門限值。這是因?yàn)镃PU的利用率過高時(shí)，那么該節(jié)點(diǎn)的部分虛擬機(jī)將因爭(zhēng)奪資源而降低了對(duì)客戶服務(wù)的質(zhì)量。當(dāng)節(jié)點(diǎn)的CPU利用率大于設(shè)置的高門限值時(shí)，系統(tǒng)將該節(jié)點(diǎn)的一個(gè)或者多個(gè)虛擬機(jī)進(jìn)行遷移，從而降低CPU的利用率。

6.2 分布式管理對(duì)策

集中管理的方式是在管理中對(duì)數(shù)據(jù)中心的虛擬機(jī)采用實(shí)時(shí)優(yōu)化，它的目的是保證每時(shí)每刻的虛擬機(jī)配置是最好的。因此，采用統(tǒng)一管理的方法后數(shù)據(jù)將會(huì)產(chǎn)生大量虛擬機(jī)遷移，同時(shí)也增加了電源消耗。

在分布式管理過程中沒有采用實(shí)時(shí)優(yōu)化，而是通過分布在節(jié)點(diǎn)上的本地管理對(duì)CPU利用率進(jìn)行監(jiān)控。如果節(jié)點(diǎn)的CPU利用率在設(shè)置的高門限值和低門限值之間，那么虛擬機(jī)就不會(huì)發(fā)生遷移的狀態(tài)。如果某個(gè)節(jié)點(diǎn)異常時(shí)，也就是該節(jié)點(diǎn)的CPU利用率大于高門限值或者小于低門限值，系統(tǒng)將會(huì)做出兩種反應(yīng)：第一，從出現(xiàn)異常處選出虛擬機(jī)進(jìn)行遷移；第二，選取其他節(jié)點(diǎn)接收從第一種反應(yīng)中選出的虛擬機(jī)，從下面兩個(gè)方面進(jìn)行選擇：

（1）虛擬機(jī)。一旦虛擬機(jī)監(jiān)控找到異常，本地管理就在出現(xiàn)異常的節(jié)點(diǎn)處選擇虛擬機(jī)進(jìn)行遷移后消除，通常會(huì)有一個(gè)或者多個(gè)虛擬機(jī)出現(xiàn)異常然后被遷移出去。出現(xiàn)異常的節(jié)點(diǎn)CPU利用率過高的情況，那么本地管理需要遷移一個(gè)或者多個(gè)虛擬機(jī)。為了減少遷移的次數(shù)，本地管理可以將所有虛擬機(jī)的目前CPU利用率進(jìn)行排列，然后選取CPU利用率最大的一個(gè)進(jìn)行遷移。在遷移之后，該節(jié)點(diǎn)的CPU利用率還是過高，將會(huì)自己遷移CPU利用率排序次之的某個(gè)虛擬機(jī)直到該虛擬機(jī)的異常情況消除為止。

如果在某個(gè)節(jié)點(diǎn)的CPU出現(xiàn)利用率過低，那情況就會(huì)變得簡(jiǎn)單。本地管理將所有節(jié)點(diǎn)上的虛擬機(jī)遷移到其他節(jié)點(diǎn)上并關(guān)閉之前的節(jié)點(diǎn)，以達(dá)到節(jié)能的效果。

（2）節(jié)點(diǎn)的選擇。當(dāng)虛擬機(jī)選擇結(jié)束時(shí)，全局管理就會(huì)選擇節(jié)點(diǎn)來接收需要遷移的虛擬機(jī)。全局管理首先對(duì)所有節(jié)點(diǎn)進(jìn)行預(yù)判，看接收該虛擬機(jī)后是否會(huì)出現(xiàn)異常節(jié)點(diǎn)的情況。如果沒有滿足該條件，則不遷移。如果存在滿足這樣的條件，那么全局管理首先對(duì)滿足條件的所有節(jié)點(diǎn)進(jìn)行電源消耗評(píng)估，既計(jì)算這些節(jié)點(diǎn)在接收虛擬機(jī)之前與之后的電源消耗差，然后從中選出最小電源消耗的節(jié)點(diǎn)，并將虛擬機(jī)遷移到該節(jié)點(diǎn)之上。

7 結(jié)束語

計(jì)算虛擬化是創(chuàng)造一個(gè)虛擬的網(wǎng)絡(luò)系統(tǒng)。猶如一個(gè)硬件平臺(tái)、一個(gè)操作系統(tǒng)或者一個(gè)網(wǎng)絡(luò)資源。隨著虛擬化技術(shù)的發(fā)展，大多數(shù)數(shù)據(jù)中心都采用云計(jì)算思想來設(shè)計(jì)現(xiàn)代化數(shù)據(jù)中心框架。這項(xiàng)技術(shù)的到來，通過虛擬機(jī)實(shí)時(shí)遷移能夠?qū)崿F(xiàn)在負(fù)載的情況下節(jié)能的效果，使虛擬機(jī)在云計(jì)算數(shù)據(jù)平臺(tái)中得到合理的運(yùn)用。

參看文獻(xiàn)

[1]王政.節(jié)能型虛擬機(jī)部署和遷移算法研究與實(shí)現(xiàn)[D].江蘇大學(xué)，2015.

[2]石帥.云計(jì)算環(huán)境下的虛擬機(jī)節(jié)能調(diào)度算法研究[D].哈爾濱工業(yè)大學(xué)，2014.

[3]王桂平.云環(huán)境下面向可信的虛擬機(jī)異常檢測(cè)關(guān)鍵技術(shù)研究[D].重慶大學(xué)，2015.

作者單位

北京世紀(jì)互聯(lián)寬帶數(shù)據(jù)中心有限公司 北京市 100015endprint