張棟梁，康寶生，董仕

(1 周口師范學(xué)院計算機科學(xué)與技術(shù)學(xué)院，河南 周口 466001;2 周口師范學(xué)院信息安全研究所，河南 周口 466001;3 西北大學(xué)信息科學(xué)與技術(shù)學(xué)院，陜西 西安 710069;4 華中科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院，湖北 武漢 430074)

由于網(wǎng)絡(luò)設(shè)備、應(yīng)用程序和硬件性能等相關(guān)技術(shù)的成熟，云計算技術(shù)變得越來越受歡迎[1]。目前，云系統(tǒng)資源分布十分廣泛，涉及的范圍從單個服務(wù)器到整個大型數(shù)據(jù)中心。為了整合和充分利用各種資源，需要有效的方法對云系統(tǒng)資源進行統(tǒng)一數(shù)據(jù)管理[1]，所以如何降低云系統(tǒng)資源能源消耗成為近年來云計算領(lǐng)域研究的焦點問題。

根據(jù)需求動態(tài)創(chuàng)建虛擬機[2]是解決云系統(tǒng)資源管理的有效方案，不斷出現(xiàn)的新技術(shù)[3-4]，如壓縮存儲技術(shù)、請求識別技術(shù)、資源閾值的定義、虛擬機之間的任務(wù)分配、資源利用與能源消耗之間的關(guān)系等旨在提高CPU利用率、減少能源消耗、降低數(shù)據(jù)中心成本，并在一定程度上節(jié)省部分資金，但能源消耗隨著CPU利用率的改變也發(fā)生了較大變化，較高的CPU利用率意味著較大的能源消耗，這逐漸使越來越多的研究者通過控制CPU利用率節(jié)省能源消耗[5-8]。因此，本文提出一種能量感知任務(wù)整合方法(energy-aware task integration，ETI)，其基本思想是通過分配CPU利用率和管理虛擬集群之間的任務(wù)整合來實現(xiàn)云系統(tǒng)資源負載均衡。本文闡明ETI方法管理云系統(tǒng)中的任務(wù)降低系統(tǒng)功耗的過程，提出的能源成本模型綜合考慮了任務(wù)遷移到其他虛擬集群時的網(wǎng)絡(luò)延時，且能最大限度降低云系統(tǒng)中的能源消耗，比較分析了本文提出的ETI方法、改進的Min-Min算法[9]、虛擬機部署算法(ant colony optimization simulated annealing，ACOSA)[10]的結(jié)果，并通過實驗證實了該方法的有效性和可靠性。

1 云系統(tǒng)模型

1.1 虛擬集群和任務(wù)分配

本文研究的模型是由多個虛擬集群組成的云系統(tǒng)，每個虛擬集群提供有限數(shù)量的虛擬機，虛擬機是執(zhí)行任務(wù)的基本單元，CPU判斷虛擬機是否有足夠的資源提供服務(wù)。

假設(shè)云系統(tǒng)中有p臺虛擬機和q個虛擬集群，VM={vm1,vm2,…,vmp}是云系統(tǒng)中虛擬機的集合，VC={VC1,VC2,…,VCq}是云系統(tǒng)中虛擬集群的集合。不同鏈接下集群的網(wǎng)絡(luò)帶寬范圍從0.1～1 Gb/s，每個集群的節(jié)點數(shù)取決于釋放的資源，在云任務(wù)中通過隊列提交任務(wù)，并將這些任務(wù)分配給合適的VM。每個集群都有其工作隊列，包含所有任務(wù)信息，主要有任務(wù)tj到達時間Taj、任務(wù)tj的CPU處理時間Tpj、任務(wù)tj的數(shù)據(jù)大小DSj和CPU利用率。

由于不同時間每個集群上可用的資源不同，故每個集群都有其自己的策略整合任務(wù)，以達到能源消耗最小化。LIEN C H等[11]研究結(jié)果表明，負載任務(wù)虛擬集群上的CPU利用率能顯著影響能源消耗，且系統(tǒng)模型的CPU利用率和能源消耗之間的關(guān)系也不是線性的。

本文把系統(tǒng)中的VM能耗分為6個不同等級，包括一個CPU空閑狀態(tài)和6種CPU利用率狀態(tài)，這6種狀態(tài)依次用等級1～6表示(表1)。由于系統(tǒng)能耗與CPU利用率的關(guān)系不是線性的，若多個CPU共享工作負載，則能源的消耗會減少，所以本文通過在多臺VM上均勻地重分配任務(wù)盡可能實現(xiàn)CPU利用率最小化。因為每個集群上的資源有限，單個虛擬機集群任務(wù)量過重或者負載過大須進行虛擬集群任務(wù)遷移，而任務(wù)遷移會帶來額外開銷，所以任務(wù)整合產(chǎn)生的能源效率與任務(wù)遷移花費的成本之間需要平衡。本文基于BALIGA J等[12]的研究把云系統(tǒng)網(wǎng)絡(luò)設(shè)施看作一個無源光網(wǎng)絡(luò)，即光纖到節(jié)點或點到點的光學(xué)系統(tǒng)，網(wǎng)絡(luò)訪問和通信能量消耗計為2βW/s，接入速率從0.1～1 Gb/s不等，設(shè)定網(wǎng)絡(luò)傳輸發(fā)生在虛擬集群上時，所有的虛擬集群和VM都位于同一個數(shù)據(jù)中心，且虛擬集群之間網(wǎng)絡(luò)傳輸恒定。

表1 虛擬機狀態(tài)和CPU利用率關(guān)系表

1.2 能源效率的任務(wù)整合

云系統(tǒng)中的資源可以分為物理機資源和由程序管理的虛擬資源二大類，每臺物理機管理多個虛擬機資源，云系統(tǒng)中任務(wù)和物理機存在兩級映射關(guān)系，一級是任務(wù)和虛擬機之間的關(guān)系，另一級是虛擬機和物理機之間的映射關(guān)系。把虛擬機作為中介，可以找到任務(wù)和物理機的關(guān)系，這為研究云系統(tǒng)中能量感知的任務(wù)整合方法和優(yōu)化云資源調(diào)度過程提供了理論基礎(chǔ)。

假設(shè)VM在空閑狀態(tài)下能源消耗為αW/s，當CPU利用率在0%～20%時，執(zhí)行任務(wù)需要額外消耗βW/s的能源；當CPU利用率在20%～50%時，額外消耗的能源增加到3βW/s；隨著CPU利用率的增加，能源消耗的速度也會加快，例如，當VM的CPU利用率為70%時，其消耗能源為α+5βW/s。因此VMVi的能源消耗計算公式可表示為：

(1)

令α=β，當CPU利用率低于50%時，VM每消耗βW/s能源時CPU利用率增加約25%；當VM的CPU利用率為70%時，消耗能源約3βW/s，VM每消耗βW/s能源時CPU利用率增加約23.3%；當CPU利用率為80%、90%、100%時，能源效率分別為20%、18%和16.6%。所以，在t0～tm期間VMVi總的能源消耗為：

(2)

給定一個有n臺VM構(gòu)成的虛擬集群VCk，虛擬云在時間段t0～tm的能源消耗為：

(3)

1.3 能源感知任務(wù)整合策略

ETI的主要思想是整合任務(wù)且保持VM的CPU利用率低于某個特定的CPU利用率閾值。實際應(yīng)用中，由于負載的動態(tài)變化，傳統(tǒng)的整合機制會造成虛擬機群的頻繁調(diào)度、任務(wù)重復(fù)移動和不必要的能耗損失，從而影響云系統(tǒng)的穩(wěn)定性。針對此問題，本文研究設(shè)計一個多虛擬集群VCA、VCB、VCC組成的云系統(tǒng),在虛擬集群VCA內(nèi)任務(wù)的整合策略、步驟如下：

第1步：VCA的調(diào)度器把任務(wù)tj分派給VM，如果有多個VM可用，匹配策略選擇最適合的VM；

第2步：如果沒有可用VM，并且VMVi低于設(shè)定的CPU利用率閾值，則VCA會請求其他虛擬集群，如VCB或VCC提供資源支持；

第3步：如果VCB和VCC都能提供CPU利用率閾值以下的VM，則使用式(4)從虛擬集群里選擇遷移和執(zhí)行任務(wù)消耗能源最少的VM；

第4步：如果所有虛擬集群都不能提供低于CPU利用率閾值的VM，則將任務(wù)tj分配給本地消耗能源最少的Vi，即VCA。

表2 虛擬機中任務(wù)基本情況

圖1 虛擬集群VCA上分配任務(wù)t5

任務(wù)整合策略使用最合適的方法優(yōu)化資源利用率，最佳匹配策略通過把任務(wù)遷移到最接近CPU利用率閾值的VM上實現(xiàn)資源優(yōu)化。CPU利用率閾值取決于硬件體系結(jié)構(gòu)，而且不同云系統(tǒng)上的閾值不同，本文把CPU利用率閾值設(shè)定為Tv作為合適分界點，并將Tv作為CPU利用率的默認閾值。

假設(shè)在虛擬集群VCA中有3個VM(V0,V1,V2)。在VM上分配t0～t45個任務(wù)，任務(wù)的處理時間、數(shù)據(jù)規(guī)模和CPU利用率情況如表2所示，現(xiàn)在確定把第6個任務(wù)t5是分配給V0還是分配給V1。如圖1所示，設(shè)CPU利用率閾值為70%，由于V1和t5的CPU總利用率接近70%，應(yīng)用最佳匹配策略，故將任務(wù)t5分配給V1。如果分配和執(zhí)行任務(wù)t6時出現(xiàn)問題，是因為任務(wù)t6的CPU利用率為50%，將t6分配給VCA中的任何VM都將超過CPU利用率閾值70%。為了使CPU利用率保持在70%以下，虛擬集群VCA請求VCB和VCC的資源支持，同時進行任務(wù)整合工作，因為VCB和VCC的可用資源都低于閾值70%，故VCA根據(jù)任務(wù)整合策略需要識別哪個集群可以節(jié)省最多的能源，當把任務(wù)與集群中的資源進行整合時，為了估算任務(wù)與集群資源合并時消耗的能量，需同時考慮CPU利用率和網(wǎng)絡(luò)傳輸?shù)惹闆r。若給定一個任務(wù)tj，該任務(wù)從VCP遷移出去與VCQ內(nèi)Vi進行整合，則預(yù)期的能源消耗為

(4)

式(4)中，BWPQ表示VCP到VCQ的帶寬，DSj為任務(wù)tj的數(shù)據(jù)集大小。

如果把任務(wù)t6遷移到虛擬集群VCB和VCC，用式(4)計算出消耗的能源為 (3β+α)×10+210/250×2β和(2β+α)×10+210/500×2β，得出VCC消耗的能源最少，因此將任務(wù)t6整合到VCC中的VM上。

圖2是虛擬集群VCB和VCC沒有足夠資源支持VCA中任務(wù)t6時發(fā)生的情況。因為虛擬機群VCB和VCC的負載較高，CPU利用率都不低于閾值70%，虛擬集群VCB和VCC沒有足夠資源支持VCA中任務(wù)t6，所以VCA不會尋求外部資源支持，而會根據(jù)任務(wù)整合策略將任務(wù)t6分配給本地資源，選擇虛擬機V0，但任務(wù)t6分配給VCA中虛擬機V0后與低于CPU閾值70%不符，故需檢查VCA作業(yè)隊列中所有任務(wù)的CPU利用率閾值，若VCA中資源都大于CPU利用率閾值，則執(zhí)行任務(wù)tj，若不超過CPU利用率閾值，則多個資源執(zhí)行任務(wù)tj，把任務(wù)tj分配給消耗最少能源的虛擬集群，否則把任務(wù)tj整合給VCA中消耗能源最少的VM。

圖2 不符合70%CPU利用率時把任務(wù)t6支配給VCA中的虛擬機V0

表3 不同的工作負載和資源情況

2 實驗部分

2.1 實驗設(shè)置與方法

為了評價ETI策略性能，本文在墨爾本大學(xué)網(wǎng)格實驗室和Gridbus項目開發(fā)的Web 平臺CloudSim上分別實現(xiàn)ETI方法和改進的經(jīng)典Min-Min算法(Imp Min-Min)、ACOSA算法進行比較，其中Imp-Min-Min算法是在Min-Min算法基礎(chǔ)上綜合考慮了云系統(tǒng)中服務(wù)質(zhì)量以及能耗因素進行優(yōu)化得到，其中服務(wù)質(zhì)量主要包括任務(wù)完成時間和系統(tǒng)可靠性，而ACOSA算法是基于優(yōu)秀的蟻群算法的虛擬機部署算法，在模擬退火算法的基礎(chǔ)上進行優(yōu)化，提高了算法求解的全局尋優(yōu)能力和搜索速度。設(shè)Imp Min-Min算法、ACOSA算法的CPU利用率閾值為ATv，且ATv>Tv，在測試VCA中5、10、15個節(jié)點數(shù)量分別表示數(shù)量資源較少(LR)、中等 (MR)和較大 (HR)，VCB和VCC有中等數(shù)量的資源(MR)分配給虛擬集群不同數(shù)量任務(wù)表示不同工作負載，其中任務(wù)個數(shù)1 000、2 000和3 000分別表示低負載(LL)，中負載(ML)和高負載(HL)，任務(wù)開始時間在0～9 s內(nèi)，不同工作負載代表不同任務(wù)密度，任務(wù)平均處理時間、CPU利用率和數(shù)據(jù)大小分別為50 s、50%、100 Mb，共使用27個案例測試ETI性能，結(jié)果如表3所示，其中虛擬集群的參數(shù)用(δ1,#,δ2)表示，δ1為本地集群VCA的工作負載，#表示VCA上可用節(jié)點數(shù)量，δ2表示VCB和VCC的工作負載，例如(L,5,L)表示VCA是低負載、在VCA上有5個節(jié)點、VCB和VCC也是低負載的。

2.2 實驗結(jié)果與分析

為了驗證ETI方法的性能，對Imp Min-Min和ACOSA算法在平臺CloudSim上進行類擴展，分別實現(xiàn)2種算法的方法類Imp()和ACOSA()，同時在主機類中設(shè)置了6個成員變量用于表示物理機的在不同狀態(tài)下的能耗情況。在VCA上的工作負載和資源級別不同的情況下，表4是云系統(tǒng)中ETI方法和Imp Min-Min算法管理云系統(tǒng)資源進行虛擬機分配時的能耗狀態(tài)結(jié)果，表4中數(shù)據(jù)和下圖所示結(jié)果是通過在CloudSim 平臺上運行12次測試數(shù)據(jù)得到的平均值；圖3～5是本文ETI方法、ACOSA算法對比的能耗結(jié)果。如上節(jié)所述，VMVi在空閑狀態(tài)下可能消耗αW/s能量，也可能消耗β～5βW/s能量，這取決于執(zhí)行任務(wù)時CPU利用率的5個級別中哪個是活躍的，本文參考文獻[11]將α設(shè)定為7β。

當虛擬集群VCB和VCC負載較低時ETI方法和ACOSA算法的能耗對比結(jié)果(圖3)表明：

圖3 VCB和VCC是低負載時的結(jié)果

(1)對(L,5,L)來說，VCA的資源非常有限，只有5個節(jié)點，VCA為了降低能源消耗，需要從VCB和VCC尋求資源支持，把任務(wù)遷移到鄰近集群VCB和VCC，對資源進行統(tǒng)一整合，為實現(xiàn)虛擬機負載均衡，在滿足不超過閾值Tv情況下，ETI方法的性能優(yōu)勢較明顯。

(2)對(L,10,L)和(L,15,L)這2種情況來說，因為VCA有足夠資源，不需要任何資源支持，故任務(wù)整合不會發(fā)生，ETI策略和ACOSA算法性能基本相同；當VCA為高負載時，不管其節(jié)點數(shù)多少，通常會發(fā)生大規(guī)模任務(wù)整合，此情況下ETI方法比ACOSA算法的能耗優(yōu)勢更突出。

(3)綜上所述，在大多數(shù)情況下ETI策略的性能更好。這是因為和VCA鄰近低負載集群VCB和VCC相比，其工作負載較高，這會使相鄰集群進行大規(guī)模任務(wù)整合。

表4 ETI方法和Imp Min-Min算法的能耗對比 單位：×105β /W

當虛擬集群VCB和VCC中負載時ETI方法和ACOSA算法的能耗對比結(jié)果(圖4)表明：

圖4 VCB和VCC是中負載時的結(jié)果

(1)對于(L,5,M)、(L,10,M)、(L,15,M)這3種情況，因為虛擬機群VCA本身負載較低，而VCB和VCC為中負載，所以不會發(fā)生任務(wù)整合；另外，對于(M,10,M)、(M,15,M)、(H,15,M)，雖然VCA為中高負載，但是節(jié)點數(shù)較多，同時VCB和VCC也為中負載，所以也不會發(fā)生任務(wù)整合；

(2)對于(M,5,M)、(H,5,M)、(H,10,M)這3種情況，ETI策略和ACOSA算法性能優(yōu)勢差距較大，因為對于(H,5,M)和(H,10,M)這2種情況，VCA的工作負載高于VCB和VCC，任務(wù)整合會經(jīng)常發(fā)生，當VCA工作負載高于其相鄰集群(H,15,M)時，ETI策略并沒有顯著改進，因為VCA已經(jīng)有足夠資源(15個節(jié)點)去處理其作業(yè)隊列中的任務(wù)。

(3)當VCA工作負載明顯高于鄰近集群工作負載時，為了實現(xiàn)虛擬機負載均衡，在滿足虛擬機整合策略步驟(4)和不超過CPU利用率設(shè)定閾值Tv情況下，VCA會把任務(wù)遷移到鄰近集群VCB和VCC(除VCA中節(jié)點數(shù)較多之外)，對資源進行統(tǒng)一整合，故在此情況下ETI方法的性能優(yōu)勢較突出。

當虛擬集群VCB和VCC高負載時ETI方法和ACOSA算法的能耗對比結(jié)果(圖5)表明：

圖5 VCB和VCC是高負載時的結(jié)果

(1)對于(M,5,H)和(H,5,H)這2種情況，因為VCA資源極少，雖然鄰近集群VCB和VCC高負載，為了實現(xiàn)負載均衡，在滿足不超過閾值Tv情況下會在云系統(tǒng)中進行大量任務(wù)整合。

(2)除上述情況之外，因為鄰近集群VCB和VCC處于高負載狀態(tài)，不管VCA是何種情況，一般不會將任務(wù)遷移到鄰近集群VCB和VCC，除非VCA資源低于它的鄰近集群。

使用超高工作負載測試案例，超高工作負載包括4 000個任務(wù)，參數(shù)設(shè)置情況如表5所示，結(jié)果(圖6)顯示：超高負載迫使VCA向VCB和VCC請求資源支持，故會發(fā)生大規(guī)模任務(wù)整合，在此情況下ETI策略在大多數(shù)情況下明顯優(yōu)于ACOSA算法。

表5 VCA超高工作負載(EHL)情況

圖6 VCA超高工作負載(EHL)時結(jié)果

總之，以虛擬集群VCA、VCB和VCC為例，云系統(tǒng)中任務(wù)整合通常在以下情況下進行：

(1)當虛擬集群VCA中資源較少時，為了處理任務(wù)負載，VCA會借助臨近資源分擔(dān)負載；

(2)當虛擬集群VCA中工作負載明顯高于集群VCB或VCC時也會發(fā)生任務(wù)整合。如果同時符合以上兩點，則會發(fā)生大規(guī)模任務(wù)整合。

(3)以上兩點同時需要滿足任務(wù)整合策略和云系統(tǒng)中CPU利用率閾值不超過設(shè)定閾值Tv等條件。經(jīng)過多次試驗測試證實，在云系統(tǒng)中任務(wù)整合規(guī)模越大，系統(tǒng)資源利用率越高，平均能耗越小，ETI方法優(yōu)勢越明顯，并實現(xiàn)系統(tǒng)負載均衡。據(jù)統(tǒng)計，在能耗方面ETI方法比Imp Min-Min算法和ACOSA算法平均減少約18%的能源消耗，系統(tǒng)成本節(jié)約9%左右。

3 討論

(1)本文研究的能耗問題不僅在云環(huán)境下受到重視，在很多節(jié)能領(lǐng)域都是一個重要問題，尤其是消費者和企業(yè)都希望自己的產(chǎn)品使用更少能耗來降低成本。但是隨著系統(tǒng)規(guī)模增加，相應(yīng)能源消耗逐漸增大，這個問題從一般網(wǎng)絡(luò)延伸到云系統(tǒng)[12]，由于計算機數(shù)據(jù)中心由大量計算機集群組成，故能源消耗在任何方面的減少都能帶來巨大的經(jīng)濟節(jié)約。

(2)計算機軟硬件在系統(tǒng)運行過程中產(chǎn)生能耗。ALIZAI M H等[13]提出了影響能源消耗的硬件和軟件組件，其中CPU是最重要組件，因為在計算機系統(tǒng)中它對能源消耗有重大影響，這和本文研究的CPU利用率對能耗的影響一致。LIEN C H等[11]收集能耗和CPU利用率數(shù)據(jù)，并利用這些數(shù)據(jù)生成反映兩者關(guān)系的模型，解釋了CPU利用率和能源消耗之間關(guān)系不是線性增加的，這些研究結(jié)果被本文提出的ETI方法所用。

(3)系統(tǒng)在處理任務(wù)過程中會產(chǎn)生大量能耗，如何把能耗降到最低又保證系統(tǒng)可靠性和魯棒性最優(yōu)是主要研究問題。胡志剛等[14]把任務(wù)抽象成粒子群，利用粒子群優(yōu)化算法對任務(wù)進行自動分配，這種方法減輕了部分服務(wù)器負載過重問題，與本文提出的任務(wù)整合策略相比，缺少規(guī)則的調(diào)度策略和算法程序?qū)Y源進行分配。FAN X B[15]等研究數(shù)千臺集群級別服務(wù)器的能量利用率發(fā)現(xiàn)，即使在調(diào)優(yōu)良好的應(yīng)用程序中也存在明顯能源消耗問題，這是在靜態(tài)的系統(tǒng)中對能耗進行的測試，而本文研究的動態(tài)任務(wù)整合系統(tǒng)的優(yōu)勢在于，任務(wù)負載可以在系統(tǒng)間根據(jù)物理機能力大小進行動態(tài)分配工作量，減少因局部信息處理速度過慢造成整個系統(tǒng)效率低下問題，從而可節(jié)約了系統(tǒng)能源消耗。

(4)系統(tǒng)能耗測算也是能耗優(yōu)化的一部分，而本文的另一特點考慮了網(wǎng)絡(luò)帶寬和遷移整合能耗的測算方法。BERL A[16]等對集成系統(tǒng)如何管理能源節(jié)約的深入研究發(fā)現(xiàn)了影響云計算環(huán)境的節(jié)能因素，且在物理機上的能量消耗可以直接測量，但虛擬機的功耗不能直接測量。對此本文定義了計算虛擬機、虛擬集群和任務(wù)遷移整合網(wǎng)路的能耗公式，能夠?qū)崟r計算出云系統(tǒng)中任意時間段服務(wù)器和虛擬機能量消耗值，方便根據(jù)問題采取針對性節(jié)能措施減少能源消耗。

4 結(jié)論

本文分析了當前大規(guī)模數(shù)據(jù)系統(tǒng)中能耗過高的原因，提出了減少系統(tǒng)能耗的ETI新方法，該方法與系統(tǒng)優(yōu)化能耗算法Imp Min-Min、ACOSA相比有以下明顯的優(yōu)勢：

(1)設(shè)置的CPU利用率閾值Tv是可變的，能靈活解決不同系統(tǒng)硬件和架構(gòu)上決定的系統(tǒng)性能問題。

(2)系統(tǒng)對任務(wù)負載的處理不僅涉及遷移和整合，還能對系統(tǒng)資源進行優(yōu)化處理。

(3)系統(tǒng)中能耗的統(tǒng)計更精確，考慮了網(wǎng)絡(luò)傳輸情況以及在此基礎(chǔ)上的任務(wù)轉(zhuǎn)移所消耗的能量。

(4)ETI方法不僅考慮了整個系統(tǒng)中虛擬集群間的負載均衡，還包括每個集群中虛擬機的CPU利用率問題，能有效提高云環(huán)境實時工作的系統(tǒng)可靠性和數(shù)據(jù)處理的效率，在ETI方法支持下系統(tǒng)總能耗比原來減少約18%，系統(tǒng)成本節(jié)約9%左右。