武晉 何利力
摘 要:針對云計算數(shù)據(jù)中心能源消耗過高問題,分析了當(dāng)前數(shù)據(jù)中心節(jié)能的相關(guān)研究成果,將數(shù)據(jù)中心計算節(jié)點的能耗優(yōu)化方式分為基于動態(tài)電壓頻率調(diào)整、基于關(guān)閉空閑服務(wù)器和基于虛擬化技術(shù)的能耗優(yōu)化3類,分別以綜述方式進行總結(jié)。討論了數(shù)據(jù)中心其它設(shè)備的能耗優(yōu)化策略,預(yù)測了未來研究方向,可為數(shù)據(jù)中心能耗優(yōu)化相關(guān)研究提供參考。
關(guān)鍵詞:數(shù)據(jù)中心;云計算;能耗優(yōu)化;節(jié)能策略
DOI:10. 11907/rjdk. 182807 開放科學(xué)(資源服務(wù))標(biāo)識碼(OSID):
中圖分類號:TP302文獻標(biāo)識碼:A 文章編號:1672-7800(2019)008-0004-04
A Summary of Research on Energy Optimization of Cloud Computing Data Center
WU Jin, HE Li-li
(School of Informatics and Electronics, Zhejiang Sci-Tech University, Hangzhou 310018, China)
Absrtact: Aiming at the problem of high energy consumption in data center, this paper analyzes the related research of data center energy saving, and divides the energy consumption optimization mode of data center computing node into three categories, that is, based on dynamic voltage frequency adjustment, power consumption optimization based on shut-off idle server and virtualization technology, respectively, which are summed up in the way of review, The energy consumption optimization strategy of other devices in the data center is also discussed. Finally, the future research direction is predicted: the optimization of energy consumption to ensure service quality, the optimization of energy consumption oriented to heterogeneous cloud environment and the optimization of energy consumption based on task scheduling provide a theoretical reference for the research of energy consumption optimization of cloud computing data center.
Key Words: data center; cloud computing; energy consumption optimization; energy saving strategy
作者簡介:武晉(1993-),女,浙江理工大學(xué)信息學(xué)院碩士研究生,研究方向為云計算與大數(shù)據(jù);何利力(1966-),男,博士,浙江理工大學(xué)信息學(xué)院教授、博士生導(dǎo)師,研究方向為制造業(yè)信息化、企業(yè)智能。
0 引言
隨著互聯(lián)網(wǎng)規(guī)模的不斷擴大和業(yè)務(wù)量的快速增長,云計算服務(wù)廣泛應(yīng)用于互聯(lián)網(wǎng)相關(guān)領(lǐng)域。數(shù)據(jù)中心是云計算統(tǒng)一管理和資源調(diào)度平臺,隨著云計算的發(fā)展,數(shù)據(jù)中心的數(shù)量逐漸增多,規(guī)模也日趨龐大,但與此同時數(shù)據(jù)中心的能耗問題也日益顯現(xiàn)。谷歌在俄勒岡州建立的云計算數(shù)據(jù)中心滿載運行時所消耗的電能幾乎等于一個中型城市所有家庭用電量的總和[1]。根據(jù)2007年美國國會數(shù)據(jù)中心能源效率報告,數(shù)據(jù)中心3年內(nèi)服務(wù)器、網(wǎng)絡(luò)設(shè)備和溫控設(shè)施等用電成本約為購買服務(wù)器等設(shè)備成本的1.5倍,未來該費用還會繼續(xù)增高[2]。根據(jù)美國勞倫斯伯克利國家實驗室的能源報告,美國數(shù)據(jù)中心在2014年耗電量已經(jīng)達到了700億千瓦時,占美國總電量的1.8%[3]。2014年,全世界范圍內(nèi)的數(shù)據(jù)中心耗電量是發(fā)電量的3%[4]。按照目前的增長速度,預(yù)計到2020年,數(shù)據(jù)中心的能耗將達到世界總電量的8%[5]。云計算數(shù)據(jù)中心能耗問題導(dǎo)致數(shù)據(jù)中心運行成本增加,給環(huán)境造成了嚴(yán)重負(fù)擔(dān),成為制約云計算數(shù)據(jù)中心健康發(fā)展的關(guān)鍵問題。
1 計算節(jié)點能耗優(yōu)化
數(shù)據(jù)中心主要耗能設(shè)備為數(shù)據(jù)中心的計算節(jié)點,在進行海量數(shù)據(jù)運算時會產(chǎn)生大量能耗。影響計算節(jié)點能耗的因素較多,相關(guān)節(jié)能策略研究也最為豐富。本文介紹3種常用的云計算數(shù)據(jù)中心計算節(jié)點能耗優(yōu)化策略,分別為基于動態(tài)電壓頻率調(diào)整的能耗優(yōu)化策略、基于關(guān)閉空閑服務(wù)器的能耗優(yōu)化策略和基于虛擬化技術(shù)的能耗優(yōu)化策略。
1.1 動態(tài)電壓頻率調(diào)整能耗優(yōu)化
數(shù)據(jù)中心主要能耗來自計算節(jié)點,而計算節(jié)點的主要能耗來源于計算節(jié)點處理器。隨著多核技術(shù)和超頻技術(shù)的廣泛應(yīng)用,處理器能耗成為業(yè)界關(guān)注的重點。處理器應(yīng)用最為廣泛的節(jié)能策略是動態(tài)電壓頻率調(diào)整技術(shù)(Dynamic Voltage and Frequency Scaling,DVFS)。
DVFS是一種針對計算機中央處理器的電壓頻率動態(tài)調(diào)整電源管理技術(shù),也是目前工業(yè)界和學(xué)術(shù)界普遍采用的低功耗優(yōu)化技術(shù)[6]。DVFS技術(shù)可以根據(jù)實時使用情況調(diào)整電源的電壓和芯片的工作頻率。DVFS技術(shù)的主要思想是根據(jù)計算節(jié)點的實時負(fù)載預(yù)測下一時間段所需性能,根據(jù)所需性能調(diào)整芯片的時鐘頻率和電壓。單個任務(wù)能耗和CPU的電壓及頻率關(guān)系如式(1)所示。
[E=AtCV2f]? (1)
其中,A為能耗系數(shù),t表示執(zhí)行時間,C為電容負(fù)載,V為CPU電壓,f為CPU時鐘頻率。當(dāng)CPU時鐘頻率降低時,電壓會隨之降低,因此調(diào)整芯片的頻率和電壓可有效降低系統(tǒng)能耗。DVFS技術(shù)尤其適用于計算節(jié)點處于閑置或低速運行狀態(tài)情景,能大大降低系統(tǒng)的空閑能耗。
基于DVFS技術(shù)的節(jié)能策略研究有:KIM K H 等[7]提出3種基于DVFS的節(jié)能策略,分別為Lowest-DVFS、δ-advanced-DVFS和Adaptive-DVFS。其中,Lowest-DVFS將CPU的速率調(diào)整為任務(wù)所要求的最低速率,也就是說所有虛擬機以其所需的最低MIPS執(zhí)行當(dāng)前任務(wù),這種方法會降低數(shù)據(jù)中心性能,但在虛擬機處理速度足以應(yīng)對當(dāng)前負(fù)載的情況下,這種策略耗能最低。為了克服Lowest-DVFS的性能過低問題采用δ-advanced-DVFS節(jié)能策略,該策略將當(dāng)前虛擬機請求的MPIS增加了δ%,并且引入了伸縮模型。Adaptive-DVFS節(jié)能策略則根據(jù)已知的請求到達率和服務(wù)時間,分析得到最優(yōu)的伸縮模型,根據(jù)負(fù)載情況自動調(diào)整CPU性能。這3種模型中,Lowest-DVFS能耗最低,但無法滿足云計算數(shù)據(jù)中心最基本的性能需求與服務(wù)質(zhì)量,無法應(yīng)用于實際場景。Adaptive-DVFS節(jié)能策略具有較好的適應(yīng)性,能夠在優(yōu)化的同時保障服務(wù)質(zhì)量,這種能耗優(yōu)化模型性能取決于對負(fù)載情況預(yù)測的準(zhǔn)確性。
齊巍巍[8]將DVFS技術(shù)和虛擬化技術(shù)結(jié)合,提出了一種基于多核物理服務(wù)器以及CPU執(zhí)行頻率變化的能耗計算模型,并分析了多核虛擬機模型的必要性以及多核虛擬機的部署約束條件,在此基礎(chǔ)上提出了一種多核虛擬機部署算法EMCVD。該算法能有效減少系統(tǒng)能耗并降低虛擬機遷移過程中的開銷,并考慮服務(wù)等級協(xié)議(Service Level Agreement,SLA)和服務(wù)質(zhì)量(Quality of Service,Qos)。不足之處是沒有設(shè)置合適的SLA違反懲罰機制,而是采用硬約束方式執(zhí)行虛擬機截止時間。
1.2 關(guān)閉空閑服務(wù)器能耗優(yōu)化
基于關(guān)閉空閑服務(wù)器的能耗策略也稱為主機狀態(tài)切換(Host Switching),主要通過關(guān)閉空閑計算節(jié)點降低能源消耗從而實現(xiàn)整個數(shù)據(jù)中心的節(jié)能。當(dāng)預(yù)知數(shù)據(jù)中心的負(fù)載情況時,該策略可極大節(jié)省數(shù)據(jù)中心的閑時能耗。但由于計算機由關(guān)閉到啟動需要較長時間,在調(diào)度不夠精準(zhǔn)時,這種節(jié)能策略容易導(dǎo)致云計算數(shù)據(jù)中心性能降低。
關(guān)閉空閑服務(wù)器的節(jié)能策略研究較多,Berral等[9]利用機器學(xué)習(xí)方法預(yù)測負(fù)載遷移后應(yīng)用和節(jié)點的關(guān)系模型,實現(xiàn)了更加智能的負(fù)載聯(lián)合和資源調(diào)度,依據(jù)工作負(fù)載情況關(guān)閉不需要的服務(wù)器,從而降低數(shù)據(jù)中心的能源消耗。通過機器學(xué)習(xí)方法預(yù)測負(fù)載情況有效提高了預(yù)測準(zhǔn)確度。但文中將數(shù)據(jù)中心的計算節(jié)點假設(shè)為同構(gòu)是其不足,因為實際上并不是所有數(shù)據(jù)中心都是同構(gòu)的,很多數(shù)據(jù)中心的計算節(jié)點都是異構(gòu)的。
Bin等[10]提出了一種動態(tài)集群配置策略,根據(jù)服務(wù)請求的歷史信息,利用最小二乘法預(yù)測未來的服務(wù)請求情況,通過動態(tài)調(diào)整服務(wù)集群開關(guān)機實現(xiàn)數(shù)據(jù)中心節(jié)能。通過最小二乘法能簡單高效預(yù)測服務(wù)請求和負(fù)載情況,但準(zhǔn)確度遜于機器學(xué)習(xí)方法,而且服務(wù)器在啟動瞬間狀態(tài)轉(zhuǎn)換能耗非常高,如果不能精準(zhǔn)預(yù)測會導(dǎo)致頻繁開關(guān)機,不利于能耗優(yōu)化,還可能大大降低數(shù)據(jù)中心性能與服務(wù)質(zhì)量。
1.3 虛擬化技術(shù)能耗優(yōu)化
近年來虛擬化技術(shù)在云計算數(shù)據(jù)中心得到了廣泛應(yīng)用。虛擬化技術(shù)可以提高計算節(jié)點的工作效率,是實現(xiàn)數(shù)據(jù)中心節(jié)能的重要策略,上述節(jié)能策略也往往要將虛擬化技術(shù)考慮在內(nèi),大部分相關(guān)研究也與虛擬化技術(shù)相結(jié)合。
目前廣泛使用的虛擬化技術(shù)包括KVM、Vmware和Xen等,這些技術(shù)允許在一個物理計算節(jié)點上創(chuàng)建多個虛擬機,可以通過虛擬機的遷移實現(xiàn)動態(tài)負(fù)載合并,將虛擬機整合到較少的物理節(jié)點中,通過與關(guān)閉空閑服務(wù)器的節(jié)能策略相結(jié)合降低閑時能耗。虛擬機遷移和關(guān)閉空閑服務(wù)器過程如圖1所示。
圖1 虛擬機遷移及關(guān)閉空閑服務(wù)器
基于虛擬化技術(shù)的能耗優(yōu)化分為虛擬機的初始化放置過程能耗優(yōu)化和虛擬機動態(tài)管理過程能耗優(yōu)化兩種。其中虛擬機的初始化放置指在數(shù)據(jù)中心剛剛啟動沒有負(fù)載的情況下,將虛擬機分配給物理節(jié)點,而虛擬機動態(tài)管理指當(dāng)數(shù)據(jù)中心的條件改變或者數(shù)據(jù)中心的負(fù)載動態(tài)變化時,虛擬機的二次分配過程[11]。
Wang等[12]在虛擬機初始化放置過程中,通過將多個虛擬機整合到較少的活動節(jié)點實現(xiàn)能耗的優(yōu)化,該方法有效降低了數(shù)據(jù)中心的能耗,大大提高了資源利用率,但是容易造成負(fù)載不均問題,而且過高的負(fù)載會導(dǎo)致物理節(jié)點性能下降,從而降低整個數(shù)據(jù)中心性能。并且長期處于過高負(fù)載的計算節(jié)點更容易老化,加快了設(shè)備淘汰周期,提高了數(shù)據(jù)中心費用開銷。
孫蒙[13] 對虛擬機的初始化放置過程進行建模分析,將虛擬機初始化放置問題視為裝箱問題,提出了基于虛擬機放置的能耗優(yōu)化策略。該策略將裝箱問題中常用的降序最佳適應(yīng)算法(Best? Fit Decreasing,BFD)和遺傳算法(Genetic Algorithm,GA)相結(jié)合,形成了BGA虛擬機放置算法。該算法使用BFD算法生成遺傳算法的初始種群,設(shè)計了基于能耗和資源利用率的適應(yīng)度函數(shù),并利用BFD算法將無效染色體修正為合理染色體,提高了遺傳算法的局部搜索能力,最終形成一種高效的虛擬機放置算法,實現(xiàn)數(shù)據(jù)中心節(jié)能。但在驗證算法有效性的實驗中沒有考慮SLA的違背率,在服務(wù)質(zhì)量保障方面還存在改進的地方。
虛擬機動態(tài)管理主要針對數(shù)據(jù)中心負(fù)載變化時虛擬機的重分配問題,合理的虛擬機動態(tài)管理能夠提高數(shù)據(jù)中心的資源利用率和電源效率。VMware中的分布式電源管理(Distributed Power Management,DPM),利用虛擬機重新分配將工作負(fù)載整合到較少的物理機上并關(guān)閉沒有工作負(fù)載的主機,從而實現(xiàn)節(jié)能[14]。Gueyoung Jung等[15]針對虛擬機動態(tài)遷移問題,提出了一個整體控制器框架Mistral,Mistral的優(yōu)化目標(biāo)包括性能、能耗和虛擬機遷移過程的瞬時開銷。該框架配置了多級分層控制器和可擴展優(yōu)化算法,能有效控制虛擬機遷移過程中的能耗、性能和瞬時開銷,該控制器框架適用于大型層級化數(shù)據(jù)中心,具有實際應(yīng)用價值。
2 其它設(shè)備能耗優(yōu)化策略
以往研究中常將數(shù)據(jù)中心的其它設(shè)備能耗視為恒定值,但近年來數(shù)據(jù)中心的網(wǎng)絡(luò)設(shè)備、存儲設(shè)備和溫控設(shè)施的能耗優(yōu)化研究逐漸增多。
網(wǎng)絡(luò)設(shè)備消耗的電能已達到數(shù)據(jù)中心總消耗電能的20%~30%[16]。楊光等[17]從網(wǎng)絡(luò)設(shè)備功耗管理架構(gòu)和網(wǎng)絡(luò)設(shè)備節(jié)能策略出發(fā),提出了網(wǎng)絡(luò)級功耗管理架構(gòu)和基于休眠喚醒和自適應(yīng)鏈路速率混合節(jié)能策略,實現(xiàn)了網(wǎng)絡(luò)設(shè)備功耗的實時高效管理和網(wǎng)絡(luò)設(shè)備的能耗優(yōu)化。
云計算海量數(shù)據(jù)中只有少部分?jǐn)?shù)據(jù)是經(jīng)常訪問的,大部分?jǐn)?shù)據(jù)很少訪問,這些數(shù)據(jù)被定義為“冷數(shù)據(jù)”,存儲系統(tǒng)的“冷數(shù)據(jù)”高達80%[18]。為降低 “冷數(shù)據(jù)”存儲能耗,許多設(shè)備廠商進行了相關(guān)研究,推出了與冷數(shù)據(jù)處理相適應(yīng)的高容量、低功耗存儲設(shè)備,例如浪潮SA5224L4。針對存儲系統(tǒng)的能耗問題,董池[19]提出了預(yù)判性綠色數(shù)據(jù)分類策略(AGDC)和基于數(shù)據(jù)分類的綠色升降檔機制(DGLG),有效降低了數(shù)據(jù)中心存儲系統(tǒng)能耗。
由于數(shù)據(jù)中心需進行海量的數(shù)據(jù)運算,計算節(jié)點、網(wǎng)絡(luò)設(shè)備和存儲設(shè)備在運行過程中會產(chǎn)生大量的熱量,因此需要溫控設(shè)施進行散熱和制冷,以維護設(shè)備的正常使用,延長設(shè)備使用壽命。目前數(shù)據(jù)中心的溫控設(shè)施能耗已達到數(shù)據(jù)中心總能耗的25%~40%,盡管降低其它設(shè)備能耗在一定程度上可以降低溫控設(shè)施能耗,但溫控設(shè)施本身的能耗優(yōu)化仍不容忽視[20]。目前越來越多的數(shù)據(jù)中心采用自然冷源對機房進行降溫處理,例如在極地和沿河地帶建立大規(guī)模數(shù)據(jù)中心,可以節(jié)省大量電能。另外,數(shù)據(jù)中心通過優(yōu)化機房氣流組織、變頻空調(diào)技術(shù)和熱回收技術(shù)實現(xiàn)溫控設(shè)施的節(jié)能優(yōu)化。
3 未來研究方向展望
計算節(jié)點的能耗優(yōu)化仍是未來數(shù)據(jù)中心能耗優(yōu)化的主要研究方向。雖然近幾年在數(shù)據(jù)中心計算節(jié)點能耗優(yōu)化問題上相關(guān)研究已經(jīng)給出了很多優(yōu)化方案并取得了顯著成果,但數(shù)據(jù)中心能耗優(yōu)化仍存在一些問題值得深入研究,未來可能的研究重點和機會主要有:以保障服務(wù)質(zhì)量為前提的能耗優(yōu)化、面向異構(gòu)云環(huán)境的能耗優(yōu)化和基于任務(wù)調(diào)度的能耗優(yōu)化。
保障服務(wù)質(zhì)量是數(shù)據(jù)中心的基本要求,也是實現(xiàn)其它優(yōu)化目標(biāo)的前提,如果能耗優(yōu)化無法保障基本性能和用戶需求,這種優(yōu)化策略就無法投入使用,就不具備現(xiàn)實意義。因此,應(yīng)將保障服務(wù)質(zhì)量作為數(shù)據(jù)中心能耗優(yōu)化的前提,在評價相關(guān)優(yōu)化算法時應(yīng)統(tǒng)計SLA的違背情況,設(shè)置SLA違背次數(shù)閾值,設(shè)計SLA違背懲罰機制。
由于數(shù)據(jù)中心服務(wù)器由不同廠商提供,因此可能具有不同的硬件配置,不同的硬件配置導(dǎo)致數(shù)據(jù)中心計算節(jié)點在功能、性能以及耗電功率等方面不盡相同,所以很多數(shù)據(jù)中心都是異構(gòu)的。因此在數(shù)據(jù)中心能耗優(yōu)化相關(guān)研究中,應(yīng)充分考慮云環(huán)境的異構(gòu)性。
任務(wù)調(diào)度是數(shù)據(jù)中心資源調(diào)度的重要研究方向,合理的任務(wù)調(diào)度算法能夠縮短處理時間,從而縮短計算節(jié)點活動時間,降低數(shù)據(jù)中心能耗。因此,能耗優(yōu)化可以作為任務(wù)調(diào)度的一個優(yōu)化方向,通過合理調(diào)度降低數(shù)據(jù)中心能耗。
4 結(jié)語
本文綜述了云計算數(shù)據(jù)中心計算節(jié)點的主要節(jié)能策略,包括動態(tài)電壓頻率調(diào)整節(jié)能策略、關(guān)閉空閑服務(wù)器節(jié)能策略和虛擬化節(jié)能策略,并分析了優(yōu)化內(nèi)容和可能存在的問題。本文還對數(shù)據(jù)中心的其它設(shè)備能耗優(yōu)化相關(guān)研究進行了綜述,包括網(wǎng)絡(luò)設(shè)備、存儲設(shè)備和溫控設(shè)備等,從多個角度分析數(shù)據(jù)中心的節(jié)能策略。通過對目前研究成果的分析,對數(shù)據(jù)中心的能耗優(yōu)化方法有了更深的認(rèn)識,并在此基礎(chǔ)上預(yù)測了數(shù)據(jù)中心能耗優(yōu)化的未來研究方向,為數(shù)據(jù)中心的節(jié)能優(yōu)化研究提供一定的理論指導(dǎo)。
參考文獻:
[1] LUO L,WU W,TSAI W T,et al. Simulation of power consumption of cloud data centers[J]. Simulation Modelling Practice and Theory, 2013, 39(Complete):152-171.
[2] BRILL K G. Data center energy efficiency and productivity[C]. White Paper posted on the Uptime Institute, 2007.
[3] SHEHABI A,SMITH S, SARTOR D, et al. United states data center energy usage report[R]. Lawrence Berkeley National Laboratory, 2016.
[4] RALLO A. Industry outlook: data center energy efficiency[EB/OL]. http://www.datacenterjournal.com/
[5] N DENG C,STEWART,LI? J. Concentrating renewable energy in grid-tied datacenters[C]. 2011 IEEE International Symposium on? Sustainable Systems and Technology (ISSST),2011:1-6.
[6] 吳文彬. 基于DVFS的數(shù)據(jù)中心節(jié)能研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2017.
[7] KIM K H,BELOGLAZOV A,BUYYA R. Power-aware provisioning of virtual machines for real-time cloud services[J]. Concurrency and Computation: Practice and Experience,2011,23 (13):1491-1505.
[8] 齊巍巍. 考慮DVFS的云計算系統(tǒng)虛擬機部署策略研究[D]. 成都:電子科技大學(xué),2017.
[9] BERRAL J L,GOIRI, í?IGO, et al. Towards energy-aware scheduling in data centers using machine learning[C].International Conference on Energy-efficient Computing & Networking,DBLP, 2010.
[10] BIN L,JIAN Y,YU Z. Dynamic cluster configuration strategy for energy conservation based on online load prediction[J]. Computer Engineering, 2010, 36(24):96-98.
[11] 馬飛. 云數(shù)據(jù)中心中虛擬機放置和實時遷移研究[D]. 北京:北京交通大學(xué),2013.
[12] WANG Y,WANG X. Power optimization with performance assurance for multi-tier applications in virtualized data centers[C]. International Conference on Parallel Processing Workshops,IEEE Computer Society, 2010.
[13] 孫蒙. 面向綠色云計算的能耗優(yōu)化策略研究[D]. 南京:南京郵電大學(xué),2017.
[14] ALI Q,ZHENG H,MANN T, et al. Power aware NUMA scheduler in VMware's ESXI hypervisor[C]. IEEE International Symposium on Workload Characterization,IEEE Computer Society, 2015.
[15] JUNG G,HILTUNEN M A,JOSHI K R,et al. Mistral: dynamically managing power, performance, and adaptation cost in cloud infrastructures[C]. IEEE International Conference on Distributed Computing Systems,IEEE,2010.
[16] 劉永,王新華,王朕,等. 數(shù)據(jù)中心節(jié)能算法研究綜述[J]. 微型機與應(yīng)用,2012,31(7):1-5.
[17] 楊光. 網(wǎng)絡(luò)設(shè)備功耗管理架構(gòu)與節(jié)能策略研究[D]. 北京:北京郵電大學(xué),2016.
[18] 姜曉青,王欽若.大數(shù)據(jù)環(huán)境下冷數(shù)據(jù)存儲技術(shù)概述[J]. 工業(yè)控制計算機,2016,29(6):58-60.
[19] 董池. 面向云存儲系統(tǒng)的綠色數(shù)據(jù)管理策略研究[D]. 杭州:杭州電子科技大學(xué),2015.
[20] 張穎琪. 數(shù)據(jù)中心的合理化冷卻方案[J]. 華東科技,2017(5):64-66.
(責(zé)任編輯:杜能鋼)