注意力機制LSTM虛擬機能耗建模方法

陳 俊，李丹丹，席寧麗，田紅珍

(貴州師范大學(xué) 教育學(xué)院，貴州 貴陽 550025)

0 引 言

隨著云計算廉價資源池日益擴容，云計算能耗問題已成為急待解決的熱點問題。而云計算以虛擬機技術(shù)為核心技術(shù)，虛擬機技術(shù)的應(yīng)用使云計算擁有集中計算屬性，從而實現(xiàn)將空置物理機置為等待狀態(tài)，進而節(jié)約電能。實現(xiàn)虛擬機技術(shù)層面能耗優(yōu)化的前提是針對云計算實現(xiàn)虛擬機層次的能耗測量[1]，只有在測準(zhǔn)的情況下，方可進一步分析能耗組成從而優(yōu)化云計算能效。但因云計算資源池資源的分布式屬性，不能采用電量儀直接獲取能耗數(shù)據(jù)，又因云計算采用的虛擬機在線遷移技術(shù)會導(dǎo)致虛擬資源與物理資源的非一致性，從而造成云計算能耗測量精度的較大誤差[2]。Hypervisor可監(jiān)測虛擬機詳盡的運行狀態(tài)參數(shù)。因其直接針對虛擬機運行狀態(tài)參數(shù)進行檢測，故可用于虛擬機運行能耗測量從而避免因物理資源與虛擬資源的非一致性導(dǎo)致的虛擬機運行能耗測量精度下降。

近年，在能耗預(yù)測建模算法方面，相關(guān)研究熱點皆指向了機器學(xué)習(xí)領(lǐng)域。如有支持向量機(SVM)[3]、多層感知機(MLP)[4]、K近鄰[5]等。但相關(guān)研究用以測量云計算功率能耗，平均誤差為21%～15%之間，誤差較大，研究考慮云計算能耗數(shù)據(jù)帶有時間序列屬性，故更傾向于使用長短時記憶模型(long short term memory，LSTM)進行能耗建模，而注意力機制的加入能夠使模型有選擇性的關(guān)注數(shù)據(jù)的特征部分，以期獲得較高精度的云計算功率能耗值。

本文針對計算機能耗消耗中起決定因素的計算密集型(WordCount)125個Hypervisor監(jiān)測運行狀態(tài)參數(shù)；I/O密集型(Sort)108個Hypervisor監(jiān)測運行狀態(tài)參數(shù)構(gòu)建建模算法，提出了一種改進注意力機制的LSTM云計算能耗建模方法。

1 注意力機制LSTM虛擬機能耗模型設(shè)計

注意力機制LSTM虛擬機能耗模型框架如圖1所示。

圖1 注意力機制LSTM虛擬機能耗模型框架

1.1 能耗建模運行狀態(tài)參數(shù)選擇

虛擬機在線遷移技術(shù)存在虛擬資源與物理資源非一致性屬性，故實驗建模采用Hypervisor采集虛擬資源運行狀態(tài)參數(shù)用以構(gòu)建能耗數(shù)據(jù)。實驗可采用Apriori、FP-Growth、灰色關(guān)聯(lián)度分析等方法[6]對相關(guān)虛擬機資源運行狀態(tài)參數(shù)與能耗數(shù)據(jù)的關(guān)聯(lián)性進行分析。相比灰色關(guān)聯(lián)度分析，Apriori計算量大且所需存儲空間大，適用于布爾型數(shù)據(jù)處理；FP-Growth則受數(shù)據(jù)結(jié)構(gòu)模型影響較大。運行任務(wù)的隨機特性變化將造成虛擬機能耗波動，導(dǎo)致能耗數(shù)值不服從特定的概率分布，且灰色關(guān)聯(lián)度分析對樣本數(shù)據(jù)量要求較小，故使用灰色關(guān)聯(lián)度分析效果較好?；疑P(guān)聯(lián)度分析步驟見下[7]：

據(jù)序列距離測度因素變化相似性形成x0=(x0(1),x0(2),……,x0(m)) 特征序列

(1)

注：x0為參考序列，此處定義為虛擬機能耗，x1～xn為各虛擬機運行參數(shù)影響比較序列。

對參考序列與比較序列進行無量綱化處理。下一步定義灰色關(guān)聯(lián)系數(shù)γ(x0(k),xi(k))

(2)

則：xi(i=1,2,……,m) 與x0的灰色關(guān)聯(lián)度γi(x0,xi) 為

(3)

實驗對灰色關(guān)聯(lián)度取值γi≥0.6, 以此為閾值選擇虛擬機運行狀態(tài)參數(shù)進行能耗建模。經(jīng)灰色關(guān)聯(lián)度分析最終選擇計算密集型125個Hypervisor監(jiān)測運行狀態(tài)參數(shù)；I/O密集型108個Hypervisor監(jiān)測運行狀態(tài)參數(shù)。

1.2 云計算能耗框架

云計算可看作由多個同構(gòu)節(jié)點構(gòu)成的網(wǎng)絡(luò)計算平臺，而能耗則可視為對實時功率的時間累積。此處，實驗令第i節(jié)點第j個虛擬機在t時刻實時功率為Pij(t)， 則定義能耗E(T) 為

(4)

式(4)中Pij(t) 為第i節(jié)點第j個虛擬機的實時功耗，在實驗中可令運行的物理機節(jié)點僅運行1個虛擬機從而通過電量儀直接測量獲得實時功耗數(shù)值。

式(4)中E(T) 數(shù)值的確定關(guān)鍵點在于Pij(t) 值的確定。因運行環(huán)境物理機眾多，且每一物理機皆可運行多個虛擬機，采用電量儀直接測量方法不適于獲取實際數(shù)據(jù)中心虛擬機實時功耗。Hypervisor可采集豐富的虛擬機運行狀態(tài)參數(shù)數(shù)據(jù)，故研究采用Hypervisor技術(shù)進行虛擬機運行狀態(tài)參數(shù)采樣用以建立虛擬機實時功耗模型，從而計算虛擬機實時功耗數(shù)值。

1.3 Hypervisor虛擬機運行狀態(tài)參數(shù)采樣

虛擬機的運行特征帶有綠色計算屬性，且支持單個虛擬機劃分物理機進行物理資源的獨立使用，但這一方式采用的物理資源映射技術(shù)又將帶來虛擬資源與物理資源的非一致性，從而造成基于物理資源運行能耗測量精度的下降。Hypervisor可監(jiān)測虛擬機詳盡的運行狀態(tài)參數(shù)。因其直接針對虛擬機運行狀態(tài)參數(shù)進行檢測，故可用于虛擬機運行能耗測量從而避免因物理資源與虛擬資源的非一致性導(dǎo)致的虛擬機運行能耗測量精度下降[8]。

實驗將虛擬機運行狀態(tài)依據(jù)硬件調(diào)用特征劃分為計算密集型與I/O密集型，并使用Hypervisor進行虛擬機運行狀態(tài)參數(shù)采樣。實驗使用電量儀獲取對應(yīng)于Hypervisor采樣的云計算平臺實時功率。

Hypervisor虛擬機運行狀態(tài)參數(shù)豐富，為驗證相關(guān)虛擬機運行狀態(tài)參數(shù)與計算機功率之間的數(shù)學(xué)關(guān)系，研究進行了實驗設(shè)計，令計算機系統(tǒng)運行在計算密集型狀態(tài)。此時，計算機系統(tǒng)功耗模型可看為CPU運行狀態(tài)的線性回歸模型[9]，而除CPU外其它設(shè)備功耗可看作常數(shù)。項目組在研究CPU使用率、CPU頻率與虛擬機功率之間的關(guān)系實驗中，將ω設(shè)定在0、0.25、0.5、0.75、1這5個百分率上，并在Userspace模式設(shè)定CPU工作頻率為1.6 GHz、1.8 GHz、2.0 GHz、2.2 GHz、2.4 GHz、2.6 GHz、2.8 GHz，實驗數(shù)據(jù)如圖2所示。

圖2 CPU使用率、CPU頻率與虛擬機功率關(guān)系

由圖2可知，當(dāng)CPU使用率為0時，功率基本保持常數(shù)值，而當(dāng)CPU使用率非0時，頻率越大則功率越大。其與計算機功率呈現(xiàn)線性相關(guān)性，故可用虛擬機運行狀態(tài)參數(shù)描述計算機計算密集型時功率數(shù)值。

再令計算機系統(tǒng)運行在I/O密集型狀態(tài)。此時，可選用硬盤讀寫總字節(jié)數(shù)，令為drw與內(nèi)存讀寫總字節(jié)數(shù)，令為mdr建立數(shù)學(xué)模型[10]。

文中設(shè)定drw與mdr皆與計算機實時功率P數(shù)值密切相關(guān)。為驗證硬盤讀寫總字節(jié)數(shù)與內(nèi)存讀寫總字節(jié)數(shù)對計算機實時功率的數(shù)學(xué)關(guān)系，我們每間隔Δt時間(Δt取值為0.1 s)針對計算機硬盤讀寫總字節(jié)數(shù)與內(nèi)存讀寫總字節(jié)數(shù)進行斷點采樣。為保證結(jié)果的精確性，以上采樣皆基于Sort運算任務(wù)環(huán)境進行。Sort運行環(huán)境為I/O密集型運算環(huán)境，可最大限度避免CPU運行所帶來的計算功率波動。我們引入式(5)

(5)

我們分別將Sort運算置為主硬盤讀寫方式與主內(nèi)存讀寫方式，獲取采樣數(shù)據(jù)，部分?jǐn)?shù)據(jù)表列見表1與表2。

表1 Sort運算節(jié)點P，drw配對取樣

表2 Sort運算節(jié)點P，mdr配對取樣

通過式(3)，我們分別求取計算機實時功率P的相關(guān)系數(shù)，見表3。

表3 變量線性關(guān)系參數(shù)分析

P與drw、P與mdr調(diào)整后相關(guān)系數(shù)為

相關(guān)系數(shù)值均在0.75相鄰波動，可驗證其硬盤讀寫總字節(jié)數(shù)與內(nèi)存總字節(jié)數(shù)皆與計算機實時功率P具備線性相關(guān)性。故可用虛擬機運行狀態(tài)參數(shù)描述計算機I/O密集型功率數(shù)值。

Hypervisor虛擬機運行狀態(tài)參數(shù)的選擇參照上文1.1節(jié)灰色關(guān)聯(lián)度分析過程。實驗選用Tensorflow平臺，學(xué)習(xí)率定義為0.0009，學(xué)習(xí)輪次為2000次[11]。

為避免因虛擬機運行機制導(dǎo)致的物理資源與虛擬資源的非一致性問題，實驗選擇Hypervisor直接采樣虛擬機運行狀態(tài)參數(shù)用以能耗建模。

采樣樣本數(shù)據(jù)集在實驗建模中被劃分為互不相容的訓(xùn)練集、驗證集與測試集，每個數(shù)據(jù)集由5000個采樣數(shù)據(jù)構(gòu)成。各數(shù)據(jù)按時間序列排序為x1,x2,……,xt, 并對其進行標(biāo)準(zhǔn)化處理

(6)

針對神經(jīng)網(wǎng)絡(luò)參數(shù)訓(xùn)練，實驗采樣時間序列的前n個能耗數(shù)據(jù)與當(dāng)前Hypervisor監(jiān)測運行狀態(tài)參數(shù)(劃分為計算密集型與I/O密集型)用以預(yù)測時間序列第n+1個能耗數(shù)據(jù)。實驗中對誤差的計算使用均方根誤差(root mean squared error，RMSE)法作為損失函數(shù)

(7)

式中：P為前n個采樣能耗數(shù)據(jù)；H為Hypervisor監(jiān)測運行狀態(tài)參數(shù)數(shù)據(jù)；yi與y′i分別為時間序列第n+1個測量值與計算預(yù)測值。

1.4 改進注意力機制LSTM虛擬機能耗模型

人工神經(jīng)網(wǎng)絡(luò)(ANN)包括輸入層、隱藏層、輸出層，其輸出由當(dāng)前輸入數(shù)值決定，與輸入時序無關(guān)。但虛擬機能耗數(shù)值是一個連續(xù)變量，數(shù)值變化與虛擬機運行狀態(tài)參數(shù)之間的關(guān)系存在較強的時序性。RNN(recurrent neural network)技術(shù)可以解決序列數(shù)據(jù)問題，故RNN在處理能耗數(shù)據(jù)建模方面具備應(yīng)用價值，但RNN存在對長期依賴數(shù)據(jù)處理的缺陷。對于RNN技術(shù)而言，當(dāng)較長階段能耗數(shù)據(jù)存在相互關(guān)聯(lián)關(guān)系時，如何度量能耗數(shù)據(jù)間的相互影響關(guān)系變得不可實現(xiàn)，故單純使用RNN建立能耗模型存在較大誤差。

LSTM是RNN的變體，用于處理較長時序差序列數(shù)據(jù)。

LSTM采用門機制消除梯度消失問題[12]，其作用機制原理如圖3所示，其由3個控制門與1個存儲單元構(gòu)成。門控制數(shù)據(jù)的篩選，存儲單元對數(shù)據(jù)進行保存和傳遞?？刂崎T為input gate，it，forget gate，ft與output gate，ot；g，h為tanh() 的激活函數(shù)；σ為sigmoid()激活函數(shù)；zt為標(biāo)準(zhǔn)輸出[13]。故，此處選擇LSTM神經(jīng)網(wǎng)絡(luò)，其可反應(yīng)虛擬機能耗時間序列數(shù)據(jù)的時序特征。

圖3 LSTM虛擬機能耗模型架構(gòu)

Tang等[14]學(xué)者對時序數(shù)據(jù)兩個方向使用LSTM，后對兩個LSTM的輸出進行連接完成數(shù)據(jù)建模。Song等[15]學(xué)者采用LSTM中的門限神經(jīng)網(wǎng)絡(luò)對時序數(shù)據(jù)的具體物理意義及關(guān)聯(lián)信息進行數(shù)據(jù)建模。這些LSTM數(shù)據(jù)建模方法都取得了較好的分類結(jié)果。但由于LSTM傾向于分析近期輸入的自身特性，故僅基本的LSTM方法不能較好獲取復(fù)雜時間序列數(shù)據(jù)中相對時間差數(shù)據(jù)之間的潛在關(guān)系。故引入注意力機制可望解決該問題。

注意力機制的引入可使建模過程中對重要信息給予更多關(guān)注，盡可能獲取其細節(jié)信息，抑制無關(guān)信息。故，注意力機制引入可減輕計算機處理高維度數(shù)據(jù)的運算量，使其更關(guān)注輸入數(shù)據(jù)與輸出數(shù)據(jù)關(guān)聯(lián)性更強的信息，提高輸出質(zhì)量。

1.4.1 注意力能耗因素編碼

能耗建模為獲取某一維度的能耗信息，對于注意力機制LSTM的輸出權(quán)重需做出以下計算

α=softmax(Wα2tanh(Wα1HT))

(8)

式中:α∈R1×n,HT∈Rd×n為對輸出矩陣的轉(zhuǎn)置，Wα1∈R1×dα則為權(quán)重矩陣，dα為調(diào)整參數(shù)。

式中HT狀態(tài)的計算見式(9)

(9)

為保證所有權(quán)重之和為1，需對權(quán)重做歸一化處理。并可由式(10)得出能耗向量Ei

Ei=α×H

(10)

式中：Ei∈R1×d。

上式中α表示對于隱藏層單元賦予的不同能耗關(guān)系權(quán)重，該能耗向量會直接關(guān)聯(lián)到相應(yīng)Hypervisor監(jiān)控的特殊虛擬機能耗運行狀態(tài)參數(shù)，如CPU使用率、內(nèi)存讀寫字節(jié)數(shù)、硬盤讀寫字節(jié)數(shù)等。

注意力機制的引入可幫助能耗模型把握能耗數(shù)據(jù)的重點信息、略去次要信息，可以將運算能力更好放置在能耗的重要組成環(huán)節(jié)，故注意力機制的加入能進一步提高建模精度并減少加入建模運算的虛擬機運行狀態(tài)參數(shù)的數(shù)量從而縮短能耗模型訓(xùn)練時間。如，有輸入維度為256，輸出維度為128的LSTM神經(jīng)網(wǎng)絡(luò)，則對其3個門結(jié)構(gòu)與候選值而言，權(quán)重維度為[256+128,128×4]；而引入注意力機制后，其權(quán)重維度則變?yōu)閇256+128，128×2]。綜上，權(quán)重參數(shù)由196 608變成98 304，顯著降低了參與能耗建模的虛擬機運行狀態(tài)數(shù)據(jù)規(guī)模。

1.4.2 注意力機制LSTM虛擬機能耗模型實現(xiàn)

實驗建模中激活函數(shù)選擇LeakRelu函數(shù)[16]，其具備較好的收斂速度。函數(shù)形式為[17]

(11)

為避免模型過擬合效應(yīng)，在引入懲罰項的同時進一步采用Dropout方法(隨機剔除隱藏層中的某些隱藏單元)。

LSTM虛擬機能耗模型代碼基于keras實現(xiàn)，其對虛擬機運行狀態(tài)參數(shù)處理的核心代碼為[18]：

From keras.lavers import LSTM

model=Sequential()

modeladdEmbeddingVirtual machine,1000))

model.add(LSTM(1000))

model.add(Dense(1,activation=‘sigmoid’))

model.compile(optimizer=‘rmsprop’,loss=’binary_crossentropy’,metrics=[‘a(chǎn)cc’]

history=model.fit(input_train,y_train,epochs=10,batch_size=128,validation split=0.2

2 訓(xùn)練數(shù)據(jù)集

能耗建模需針對大量具備特征行為的訓(xùn)練數(shù)據(jù)對模型進行訓(xùn)練，為保證云計算能耗任務(wù)特征行為的完備性，實驗設(shè)計選用Apache hadoop構(gòu)造，選擇計算密集型(WordCount)任務(wù)與I/O密集型(Sort)任務(wù)進行虛擬資源運行狀態(tài)參數(shù)采樣。采樣每間隔Δts(Δts取值1 s)對全網(wǎng)進行一次電量儀功率同步采樣。采樣數(shù)據(jù)進行采樣分組后通過了正態(tài)分布性與方差齊性檢驗，并以設(shè)置較大Δts的方式保證樣本獨立性[19]。

3 能耗模型分析

實驗采樣值實時功耗誤差用測量功耗與計算實時功耗之差除以測量功耗度量。

實驗數(shù)據(jù)針對WordCount任務(wù)與Sort任務(wù)，并以間隔采樣值法呈現(xiàn)了200個采樣點數(shù)值，如圖4與圖5所示。

圖4 WordCount 任務(wù)注意力機制LSTM計算值與測量值比較

圖5 Sort任務(wù)注意力機制LSTM計算值與測量值比較

實驗針對多層感知機MLP(該機制算法簡單，訓(xùn)練速度較快，但未考慮相近數(shù)據(jù)的依賴性)、支持向量機SVM(該機制算法的優(yōu)點在于優(yōu)秀的泛化效果，算法對數(shù)據(jù)樣本量較小的數(shù)據(jù)常能取得優(yōu)于其它算法的效果)、K近鄰(該機制算法優(yōu)點在于對訓(xùn)練數(shù)據(jù)集中異常值的容忍度較高，但對于高維度數(shù)據(jù)的計算容易導(dǎo)致維度災(zāi)難，在樣本數(shù)據(jù)不平衡時容易造成較大預(yù)測偏差)及未引入注意力機制的LSTM這4種機器算法對虛擬機能耗進行了能耗預(yù)測值計算，如圖6～圖9所示。

圖6 WordCount 任務(wù)MLP計算值與測量值比較

圖7 WordCount 任務(wù)SVM計算值與測量值比較

圖8 WordCount 任務(wù)K近鄰計算值與測量值比較

圖9 WordCount 任務(wù)LSTM計算值與測量值比較

圖6、圖7與圖8可知，在WordCount任務(wù)下MLP、SVM與K近鄰算法計算值與測量值存在明顯誤差，而使用LSTM算法后WordCount任務(wù)的計算值與測量值誤差明顯變小。在圖4中則顯示誤差進一步減小，表4數(shù)據(jù)驗證了這一現(xiàn)象。

表4 虛擬機能耗誤差比

實驗使用不相等系數(shù)T與平均絕對誤差M判別能耗模型質(zhì)量。不相等系數(shù)T用以判別計算值與測量值的區(qū)間差異；絕對誤差M則可用于衡量計算值與測量值對比測量值的比例

(12)

[0，1]間取值，T為0表示完全擬合，T為1則完全不擬合

(13)

實驗結(jié)果見表4。

表4數(shù)據(jù)結(jié)果顯示，用LSTM進行能耗建模質(zhì)量優(yōu)于MLP、SVM及K近鄰算法。其原因為淺層機器學(xué)習(xí)算法易形成過擬合，且無法獲取能耗數(shù)據(jù)的時序特征。而引入注意力機制的LSTM能耗模型優(yōu)于單純LSTM能耗模型，則是因其凸顯了相對時間距離較遠的關(guān)鍵因素間能耗相關(guān)性，從而提升了能耗模型精度。

4 結(jié)束語

研究提出了一種注意力機制的LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)建立虛擬機能耗模型的方法。方法以虛擬機為粒度，使用灰色關(guān)聯(lián)度分析選擇Hypervisor監(jiān)控的虛擬機運行狀態(tài)參數(shù)，并引入了注意力機制進行LSTM虛擬機能耗建模，注意力機制的引入有助于獲取時間間隔序列較遠的關(guān)鍵因素的能耗相關(guān)性，從而獲得更好的建模精度。實驗數(shù)據(jù)顯示，引入注意力機制的LSTM能耗模型質(zhì)量優(yōu)于LSTM，且兩者建模質(zhì)量皆高于MLP、SVM以及K近鄰算法。