魯逸丁

（中國銀聯(lián) 上海市 201201）

1 介紹

云計(jì)算平臺當(dāng)前面臨的主要挑戰(zhàn)是有效管理物理資源，達(dá)到優(yōu)化性能和節(jié)約能源的目標(biāo)。能源消耗會影響環(huán)境，并產(chǎn)生大量資源費(fèi)用，造成云平臺中計(jì)算機(jī)集群的高運(yùn)營成本。降低數(shù)據(jù)中心的能耗受到了學(xué)術(shù)界和工業(yè)界的極大關(guān)注[1]。研究表明，數(shù)據(jù)中心服務(wù)器大部分時間都以10%到50%的利用率運(yùn)行。由于服務(wù)器空閑時會消耗其峰值功率的50%以上[2]，處于空閑狀態(tài)或利用率較低的服務(wù)器會浪費(fèi)大量的能源。因此，為了最大限度地降低數(shù)據(jù)中心的能耗，需要將虛擬機(jī)遷移到盡可能少的服務(wù)器上。云服務(wù)提供商專注于設(shè)計(jì)節(jié)能、高效的云平臺資源調(diào)度策略，通過將虛擬機(jī)聚合到較少的物理主機(jī)，關(guān)閉空閑的物理主機(jī)以節(jié)省能源。因此，采用適當(dāng)?shù)奶摂M機(jī)放置和遷移策略，對于為客戶提供期望的虛擬機(jī)處理性能，以及節(jié)約云平臺能源至關(guān)重要。

當(dāng)云平臺收到客戶端的虛擬機(jī)創(chuàng)建請求后，資源調(diào)度模塊會創(chuàng)建一個虛擬機(jī)，為其分配客戶端請求的CPU、內(nèi)存等物理資源，并將其部署到云平臺的一個物理主機(jī)。當(dāng)前云計(jì)算服務(wù)提供商，如阿里云、華為云，通常采用基于隔離的虛擬機(jī)放置策略，在獨(dú)立物理主機(jī)中處理用戶的虛擬機(jī)請求。云平臺將這些分配給虛擬機(jī)的資源保留，用于虛擬機(jī)的整個生命周期，并且僅當(dāng)客戶請求釋放虛擬機(jī)時，才釋放其所占用的資源。研究表明[3]，虛擬機(jī)實(shí)際僅利用了大約虛擬機(jī)所分配CPU 資源的35%和內(nèi)存資源的55%。因此，當(dāng)虛擬機(jī)應(yīng)用的實(shí)際資源需求較低時，資源仍然占用，會導(dǎo)致資源浪費(fèi)。大量處于活動狀態(tài)的物理主機(jī)會增加云平臺提供商的能源費(fèi)用，并對環(huán)境產(chǎn)生不良影響。同時，云資源的過度預(yù)留會導(dǎo)致大量CPU 和內(nèi)存資源浪費(fèi)。這是由于，云客戶通常不知道其應(yīng)用程序所需要資源的確切數(shù)量，因此他們傾向于過度預(yù)留資源以保證運(yùn)行應(yīng)用的性能。另外，托管在物理主機(jī)上的應(yīng)用所需要的資源數(shù)量隨著時間而改變，使得虛擬機(jī)難以充分使用其所請求的全部資源。

虛擬機(jī)資源超賣策略[4]能夠較好解決以上資源浪費(fèi)的問題，這種策略假設(shè)虛擬機(jī)占用資源不會超過物理主機(jī)的實(shí)際容量，部署超過物理主機(jī)實(shí)際能夠承載容量的虛擬機(jī)。由于虛擬機(jī)通常不能完全利用其保留的資源，因而虛擬機(jī)集群可以部署在更少的物理主機(jī)上。然而，當(dāng)在物理主機(jī)上部署虛擬機(jī)的資源實(shí)際需求量超過了物理主機(jī)的容量時，就會造成物理主機(jī)過載。此時，過載的物理主機(jī)上運(yùn)行的虛擬機(jī)將會出現(xiàn)性能下降，導(dǎo)致違反云服務(wù)提供商和云客戶之間的服務(wù)質(zhì)量協(xié)議。虛擬機(jī)遷移技術(shù)[5]能力可用于解決物理主機(jī)過載問題，將過載物理主機(jī)上托管的虛擬機(jī)遷移到其他未充分利用或空閑的物理主機(jī)上，可以增強(qiáng)云平臺可管理性、提高資源利用率、節(jié)省物理主機(jī)的能耗。然而，同時也會導(dǎo)致停機(jī)時間增加，從而降低對虛擬機(jī)的處理性能。同時，在動態(tài)的云計(jì)算環(huán)境中，每小時會有數(shù)千個虛擬機(jī)請求到達(dá)，虛擬機(jī)遷移成本高昂。因而，需要解決哪些虛擬機(jī)應(yīng)該遷移，以及這些虛擬機(jī)應(yīng)該遷移到哪些物理主機(jī)的問題。

為了解決以上問題，本文提出一種節(jié)能、高性能、低成本的高效能虛擬聚合放置策略，在相同的物理主機(jī)上處理不同用戶多種類型的虛擬機(jī)請求，設(shè)計(jì)虛擬機(jī)在云平臺異構(gòu)物理主機(jī)的放置位置，從而在性能和用戶成本約束條件下，最大限度地降低基礎(chǔ)設(shè)施能耗。具體而言，首先根據(jù)虛擬機(jī)歷史和當(dāng)前的資源使用情況監(jiān)測數(shù)據(jù)，預(yù)測虛擬機(jī)的未來資源利用率，并使用這些預(yù)測結(jié)果做出虛擬機(jī)遷移決策，以提高虛擬機(jī)的資源利用率；而后，預(yù)測物理主機(jī)過載的發(fā)生，并在過載之前觸發(fā)虛擬機(jī)遷移操作，以避免違反服務(wù)質(zhì)量協(xié)議；最后，通過確定要遷移哪些虛擬機(jī)，以及哪些物理主機(jī)需要托管遷移來的虛擬機(jī)，以執(zhí)行高能效的虛擬機(jī)遷移，從而達(dá)到遷移能耗開銷和活動物理主機(jī)數(shù)量最小化的目標(biāo)。

1 虛擬機(jī)遷移技術(shù)

虛擬機(jī)VMware[6]和Xen 提供實(shí)時遷移機(jī)制，客戶因遷移過程而經(jīng)歷的停機(jī)時間非常短，從幾十毫秒到一秒鐘不等。但當(dāng)遇到物理主機(jī)過載時，采用有效的資源管理策略，決定遷移哪些虛擬機(jī)，以及哪些物理主機(jī)應(yīng)該是每次遷移的目的地是具有挑戰(zhàn)的難題。最大優(yōu)先試探法[7]通過將具有最大資源需求的虛擬機(jī)移動到具有最大資源空閑的物理主機(jī)，同時嘗試最小化所需遷移虛擬機(jī)的數(shù)量。文獻(xiàn)[8]對這種啟發(fā)式算法進(jìn)行了改進(jìn)，將經(jīng)常相互通信的虛擬機(jī)放置在彼此靠近的位置。這些啟發(fā)式方法的主要缺點(diǎn)是，它們完全忽略了與遷移相關(guān)的能耗開銷。文獻(xiàn)[9]提出了考慮遷移成本的遷移策略，但僅考慮虛擬機(jī)的CPU 單一資源。盡管遷移成本較低的虛擬機(jī)，但沒有考慮活動狀態(tài)的物理主機(jī)是否有足夠空閑資源來托管遷移的虛擬機(jī)。使得物理主機(jī)從睡眠狀態(tài)轉(zhuǎn)為活動狀態(tài)來托管遷移的虛擬機(jī)，增加了云平臺中開啟物理主機(jī)的數(shù)量，從而帶來較高的能耗開銷成本[10]。與以前的工作不同，本文提出的資源調(diào)度框架考慮虛擬機(jī)遷移的能耗開銷，以及虛擬機(jī)從休眠到活動狀態(tài)切換的能耗開銷，采用面向最小化遷移能耗開銷的虛擬機(jī)遷移策略。

文獻(xiàn)[12]提出一種處理物理主機(jī)過載的方法，在檢測到過載時觸發(fā)虛擬機(jī)遷移，阻止了虛擬機(jī)競爭有限的物理資源，但可能會導(dǎo)致服務(wù)級別協(xié)議違約。為了解決該問題，文獻(xiàn)[13]提出基于閾值的虛擬機(jī)遷移技術(shù)，當(dāng)物理主機(jī)的利用率超過某個設(shè)定的閾值，在過載實(shí)際發(fā)生之前觸發(fā)虛擬機(jī)遷移操作。閾值通常設(shè)置為90%的利用率，或者根據(jù)工作負(fù)載的波動程度為每個物理主機(jī)進(jìn)行動態(tài)調(diào)整[14]。物理主機(jī)的利用率波動越大，設(shè)置的閾值越低，反之亦然。雖然基于閾值的技術(shù)減少了過載，由于為每個物理主機(jī)留下了一定的未利用的空閑，限制了利用率增益。此外，超過設(shè)定的閾值并不一定意味著會發(fā)生過載，會觸發(fā)許多不必要的遷移。為了應(yīng)對以上問題，文獻(xiàn)[26]使用傅立葉變換和文獻(xiàn)[27]使用SVM 預(yù)測模型從云應(yīng)用的執(zhí)行軌跡中提取資源的周期性模式，以預(yù)測這些應(yīng)用程序今后的資源需求。文獻(xiàn)[28]對MapReduce 作業(yè)進(jìn)行了分析，預(yù)測數(shù)據(jù)處理作業(yè)新提交實(shí)例的資源需求。文獻(xiàn)[31]提出了快升慢降的在線虛擬機(jī)資源需求預(yù)測方案，并觸發(fā)遷移以避免過載。本文提出了一種基于預(yù)測的過載避免技術(shù)，該技術(shù)預(yù)測每個調(diào)度的虛擬機(jī)的未來資源需求，以便可以預(yù)見過載并可以提前觸發(fā)遷移。預(yù)測有助于決定將新提交的虛擬機(jī)放在哪里，以便在盡可能避免過載的同時提高資源利用率。同時，采用自適應(yīng)預(yù)測Lasso 回歸模型，在線學(xué)習(xí)和預(yù)測客戶端調(diào)度的虛擬機(jī)的資源需求，而不需要任何關(guān)于托管虛擬機(jī)的先驗(yàn)知識。

2 云平臺資源調(diào)度方法

如圖 1 所示，本文將云平臺資源調(diào)度過程分為部署、運(yùn)行和調(diào)整等三個階段。在部署階段，主要任務(wù)是為用戶的應(yīng)用分配虛擬機(jī)資源并部署在合適的物理主機(jī)。用戶將應(yīng)用部署在云平臺，處理外部請求，提供特定應(yīng)用功能，這些功能需要特定的硬件資源來滿足處理并發(fā)請求。這些云應(yīng)用部署在虛擬機(jī)中，通過虛擬機(jī)物理資源的分配，按需獲取硬件資源?？蛻艨梢赃x擇合適物理資源的虛擬機(jī)來執(zhí)行應(yīng)用程序，并支付與物理資源相應(yīng)的費(fèi)用。

圖1：云平臺資源調(diào)度方法

在運(yùn)行階段，虛擬機(jī)的物理資源需求會隨著時間的推移而變化，會造成物理主機(jī)資源過載，不能滿足所部署虛擬機(jī)的資源需求。每臺物理主機(jī)上部署虛擬機(jī)資源預(yù)測模塊和物理主機(jī)過載預(yù)測模塊。首先，虛擬機(jī)資源預(yù)測模塊根據(jù)搜集的每臺虛擬機(jī)資源使用歷史數(shù)據(jù)，預(yù)測今后的資源使用狀況，利用預(yù)測信息來保障云平臺部署應(yīng)用的服務(wù)質(zhì)量。而后，物理主機(jī)過載預(yù)測模塊匯總物理主機(jī)上各個虛擬機(jī)的資源預(yù)測結(jié)果，推斷預(yù)測每臺物理主機(jī)是否會出現(xiàn)過載現(xiàn)象。

在調(diào)整階段，云平臺部署有中央式的云平臺資源調(diào)度器，其中包括運(yùn)行監(jiān)測模塊、調(diào)度決策模塊和遷移操作模塊。通過高能效的資源調(diào)度來整合最少數(shù)量的活躍服務(wù)器，并最大限度減少云計(jì)算數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)流量。首先，運(yùn)行監(jiān)測模塊搜集云平臺上每個物理主機(jī)的預(yù)測過載信息，當(dāng)檢測到預(yù)測過載的物理主機(jī)則觸發(fā)后續(xù)操作；而后，調(diào)度決策模塊綜合分析各物理主機(jī)的資源使用狀況，選擇預(yù)測將要過載的需要調(diào)出的源物理主機(jī)及其上部署的虛擬機(jī)，以及需要調(diào)入的目標(biāo)物理主機(jī)；最后，遷移操作模塊調(diào)用虛擬機(jī)遷移接口，將源虛擬機(jī)遷移到目標(biāo)主機(jī)。

3 高能效資源調(diào)度框架

本文提出的基于虛擬機(jī)聚合的云平臺高能效資源調(diào)度框架，適用于物理主機(jī)具有不同的資源配置的異構(gòu)云計(jì)算平臺。如圖 2 所示，該框架主要由虛擬機(jī)資源預(yù)測器、物理主機(jī)過載預(yù)測器、虛擬機(jī)放置模塊和虛擬機(jī)遷移模塊等構(gòu)成。

圖2：云平臺資源調(diào)度框架

3.1 虛擬機(jī)資源預(yù)測

本文所提出的資源調(diào)度框架可以應(yīng)用于虛擬機(jī)和物理主機(jī)的多維度資源管理，為了簡化描述，這里僅考慮最重要的CPU 和內(nèi)存資源。每臺虛擬機(jī)i 中部署了虛擬機(jī)資源預(yù)測器，搜集該虛擬機(jī)的CPU 和內(nèi)存資源，并結(jié)合其他參數(shù)預(yù)測該虛擬機(jī)將來的CPU 需求和內(nèi)存需求。在每個周期結(jié)束時，預(yù)測下個周期該虛擬機(jī)的資源需求量。由于虛擬機(jī)的資源使用無法準(zhǔn)確預(yù)測，本文基于Lasso 回歸模型使用虛擬機(jī)的歷史資源使用數(shù)據(jù)來預(yù)測虛擬機(jī)將來的資源使用情況。

回歸模型可用于擬合虛擬機(jī)資源使用情況的變化，Lasso 回歸模型與多項(xiàng)式回歸、簡單線性回歸、支持向量回歸等回歸模型相比，能夠在更短的時間內(nèi)擬合收斂且具有較高的準(zhǔn)確性。因而，本文使用Lasso 回歸模型[20]建模虛擬機(jī)的資源需求變化，回歸擬合虛擬機(jī)各類資源歷史監(jiān)測數(shù)據(jù)的變化情況，預(yù)測虛擬機(jī)下個階段虛擬機(jī)的CPU、內(nèi)存等虛擬資源的使用數(shù)量。本文基于該模型預(yù)測虛擬機(jī)的資源需求，模型的輸入為歷史多維資源向量表示在時刻t，虛擬機(jī)的CPU 和內(nèi)存資源使用量，對其做標(biāo)準(zhǔn)化處理，作為Lasso 回歸模型的輸入變量。模型的輸出為（t+1）時刻的多維資源向量：

其中，n 表示該虛擬機(jī)監(jiān)測到此前資源監(jiān)測向量的時間間隔數(shù)量，Xt表示時刻t 虛擬機(jī)的資源監(jiān)測值，ωt為Xt對應(yīng)的回歸系數(shù)，α 為隨機(jī)誤差項(xiàng)。在約束條件下，通過坐標(biāo)下降法極小化誤差項(xiàng)構(gòu)建該模型。

3.2 物理主機(jī)過載預(yù)測

每臺物理主機(jī)j 中部署了物理主機(jī)過載預(yù)測模塊，監(jiān)測在該物理主機(jī)上部署的所有虛擬機(jī)所占用的CPU 和內(nèi)存數(shù)量。物理主機(jī)j 的CPU 和內(nèi)存數(shù)量表示為和，資源聚合后的CPU 和內(nèi)存需求表示為和。那么，在資源聚合后，預(yù)測物理主機(jī)將具有可用的資源為和

3.3 虛擬機(jī)放置

虛擬機(jī)放置模塊決定新提交請求虛擬機(jī)的放置位置，并且處理虛擬機(jī)釋放事件。新虛擬機(jī)放置需要同時考慮節(jié)約操作所造成的能耗，以及最小化物理主機(jī)過載的概率。在將新虛擬機(jī)放置到物理主機(jī)之后，為虛擬機(jī)部署資源預(yù)測器模塊，用于監(jiān)控虛擬機(jī)的當(dāng)前資源需求，并進(jìn)行未來資源需求的預(yù)測。

當(dāng)從客戶端接收到虛擬機(jī)釋放請求時，虛擬機(jī)放置器釋放為虛擬機(jī)分配的CPU 和內(nèi)存資源，更新與虛擬機(jī)相關(guān)聯(lián)的系統(tǒng)參數(shù)以及物理主機(jī)的資源使用參數(shù)。如果在釋放虛擬機(jī)之后物理主機(jī)變得空閑，則將物理主機(jī)從活動狀態(tài)切換到休眠狀態(tài)以節(jié)省能源。當(dāng)客戶請求虛擬機(jī)時，該模塊進(jìn)行以下操作：

（1）查看是否有活動物理主機(jī)能夠提供足夠的CPU 和內(nèi)存資源以處理虛擬機(jī)放置的資源需求，以避免喚醒休眠的物理主機(jī)，從而可以節(jié)約從休眠到活動狀態(tài)轉(zhuǎn)換所消耗的能源。

（2）如果多個活動物理主機(jī)可以適合所提交的虛擬機(jī)放置請求，則挑選具有最大預(yù)測可用資源的物理主機(jī)來托管所提交的虛擬機(jī)請求，以便降低在該放置之后過載的機(jī)會。計(jì)算可用資源度量為，選擇該值最大且符合虛擬機(jī)放置可用資源條件的活動物理主機(jī)放置。

（3）如果沒有活動的物理主機(jī)滿足要求，只能將虛擬機(jī)放置在休眠的物理主機(jī)上，則將該虛擬機(jī)放置在具有最大容量的休眠物理主機(jī)上，因?yàn)樵撐锢碇鳈C(jī)接下來可以接收更多數(shù)量的虛擬機(jī)放置請求，減少了將來喚醒另一個休眠中的物理主機(jī)的概率。計(jì)算配置資源度量選擇該值最大的休眠物理主機(jī)，將其狀態(tài)轉(zhuǎn)換為活動，而后進(jìn)行放置。

3.4 虛擬機(jī)遷移

該模塊用于確定預(yù)測過載物理主機(jī)上托管的哪些虛擬機(jī)需要遷移，使得該物理主機(jī)上預(yù)測的CPU 和內(nèi)存總需求量保持在該物理主機(jī)的總?cè)萘恐隆Ｎ锢碇鳈C(jī)應(yīng)具有足夠的CPU 和內(nèi)存資源以承載被遷移的虛擬機(jī)，因而需要知道所有物理主機(jī)的可用資源，預(yù)測在遷移過后物理主機(jī)不會過載。同時，為了做出有效決策，該模塊需要已知物理主機(jī)上托管虛擬機(jī)的遷移能耗開銷成本。在遷移之前，模塊通過虛擬機(jī)資源預(yù)測模塊得到預(yù)測的虛擬機(jī)資源相關(guān)信息，物理主機(jī)處于活動或者休眠狀態(tài)，以及物理主機(jī)的狀態(tài)信息。在執(zhí)行遷移操作之后，更新虛擬機(jī)和主機(jī)映射對應(yīng)關(guān)系，以及主機(jī)活動或休眠狀態(tài)。

為了避免違反服務(wù)質(zhì)量約束條件，當(dāng)虛擬機(jī)過載時必須進(jìn)行遷移操作，因此將哪臺虛擬機(jī)遷移到哪臺主機(jī)可以形式化定義為如下優(yōu)化問題：

（1）決策變量：如果虛擬機(jī)i 遷移到主機(jī)j，則變量xij=1，否則xij=0；如果至少一臺虛擬機(jī)將調(diào)度遷移到主機(jī)j，則yj=1，否則yj=0。

（2）目標(biāo)函數(shù)：虛擬機(jī)遷移能耗表示從過載物理主機(jī)上遷移虛擬機(jī)的能耗開銷，目標(biāo)是最小化虛擬機(jī)遷移開銷，由虛擬機(jī)遷移能耗和物理主機(jī)狀態(tài)切換能耗等兩部分組成，可以表示為：

其中，Ovm為預(yù)測過載虛擬機(jī)集合，P 為物理主機(jī)集合；當(dāng)虛擬機(jī)i 遷移到物理主機(jī)j，如果該物理主機(jī)不是當(dāng)前虛擬機(jī)i 所在物理主機(jī)，則遷移開銷為aij，否則為0；物理主機(jī)狀態(tài)切換開銷表示物理主機(jī)從休眠狀態(tài)切換到活動狀態(tài)，部署所遷移的虛擬機(jī)所需要的能耗bj，否則，如果主機(jī)j 已經(jīng)處于活動狀態(tài)，則bj=0。

（3）約束條件：每臺預(yù)測過載的虛擬機(jī)必須分配到其中一臺物理主機(jī)上，即同時，虛擬機(jī)調(diào)度到的物理主機(jī)時，物理主機(jī)的可用CPU 和內(nèi)存資源數(shù)量必須要在可用范圍之內(nèi)，即

這樣，虛擬機(jī)遷移問題可以抽象化描述為整數(shù)線性規(guī)劃，求解的復(fù)雜度隨著虛擬機(jī)和物理主機(jī)規(guī)模的擴(kuò)大而增加。為了降低優(yōu)化問題求解的復(fù)雜度，避免決策遷移當(dāng)前所有過載物理主機(jī)上的虛擬機(jī)，本文每次只考慮一個過載物理主機(jī)，決定該過載物理主機(jī)上的所有虛擬機(jī)，以及應(yīng)該遷移到的目標(biāo)物理主機(jī)位置，從而求解更小范圍的優(yōu)化問題。

本文優(yōu)先考慮將虛擬機(jī)遷移到已經(jīng)啟動的活動物理主機(jī)，在候選活動物理主機(jī)列表中，根據(jù)可用資源度量從大到小降序進(jìn)行排列。按照首次合適的原則，當(dāng)虛擬機(jī)在物理主機(jī)列表中首次找到有足夠空間的可用物理主機(jī)，就進(jìn)行部署操作。如果找不到合適，則從休眠物理主機(jī)中列表中，按照配置資源度量從大到小尋找合適可用物理主機(jī)，從而避免物理主機(jī)從休眠狀態(tài)到活動狀態(tài)切換所造成的能耗開銷。

4 結(jié)論

本文提出一種節(jié)能、高性能、低成本的高效能虛擬聚合放置策略，在相同的物理主機(jī)上處理不同用戶多種類型的虛擬機(jī)請求，設(shè)計(jì)虛擬機(jī)在云平臺異構(gòu)物理主機(jī)的放置位置，從而在性能和用戶成本限制的條件下，最大限度地降低基礎(chǔ)設(shè)施能耗。該框架首先預(yù)測虛擬機(jī)的未來資源利用率，并使用這些預(yù)測結(jié)果做出虛擬機(jī)遷移決策，以提高虛擬機(jī)的資源利用率。而后，預(yù)測物理主機(jī)過載的發(fā)生，并在過載之前觸發(fā)虛擬機(jī)遷移操作，以避免違反服務(wù)質(zhì)量協(xié)議。最后，通過確定要遷移哪些虛擬機(jī)以及哪些物理主機(jī)需要托管遷移的虛擬機(jī)來執(zhí)行高能效的虛擬機(jī)遷移，從而達(dá)到遷移能耗開銷和活動物理主機(jī)數(shù)量最小化的目標(biāo)。