蘇 楊，余 萱，盧 翔

(貴州電網(wǎng)有限公司，貴州 貴陽550003)

0 引言

隨著通信業(yè)務(wù)的發(fā)展，EDC(企業(yè)數(shù)據(jù)中心)規(guī)模及數(shù)量劇增，數(shù)據(jù)中心機(jī)房是其中重要的組成部分，機(jī)房溫濕度對于計(jì)算機(jī)、顯卡、硬盤等的工作壽命有著直接影響，在GB50174—2017《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》中，規(guī)定機(jī)柜進(jìn)風(fēng)處的溫度為18 ℃～27 ℃。另一方面，對于機(jī)房能耗及熱環(huán)境控制優(yōu)化也是重要方向，大型數(shù)據(jù)中心耗電量占全國總耗電量的比例超過了1.5%，并以6%復(fù)合增長率增加，能源成本占到機(jī)房運(yùn)維的50%及以上，但是能源浪費(fèi)率達(dá)到了80%。溫度控制是能耗控制的重要方面，而對機(jī)房熱環(huán)境進(jìn)行準(zhǔn)確模擬(包括整體及局部的熱值環(huán)境)，以此進(jìn)行數(shù)據(jù)機(jī)房空調(diào)溫度控制優(yōu)化，能夠保證溫度控制的有效性，并降低能耗浪費(fèi)[1-3]。

機(jī)房熱環(huán)境的研究方法包括以機(jī)房作為整體研究對象，進(jìn)行參數(shù)化數(shù)學(xué)模型的建立，并建立試驗(yàn)?zāi)Ｐ停灰杂?jì)算流體力學(xué)(CFD)為理論基礎(chǔ)，以機(jī)房、設(shè)備甚至其中的零部件進(jìn)行模塊化數(shù)值仿真。相較于試驗(yàn)?zāi)Ｐ偷慕⒌膹?fù)雜性和參數(shù)化嚴(yán)格性，CFD方法在氣流、溫度模型建立的便捷性、相對準(zhǔn)確性、靈活性上有更大的優(yōu)勢。文獻(xiàn)[4]中，以數(shù)據(jù)機(jī)房為整體研究對象，基于機(jī)房湍流理論在6SigmaDC中建立CFD仿真模型，研究了在實(shí)際工況下機(jī)房內(nèi)的熱值環(huán)境，并進(jìn)行空調(diào)布局的優(yōu)化，并從實(shí)驗(yàn)中證明了理論的有效性。文獻(xiàn)[5]中通過CFD仿真結(jié)合實(shí)際測量的方法對某數(shù)據(jù)中心機(jī)房中影響數(shù)據(jù)機(jī)房溫度場及速度場的因素進(jìn)行了研究，對送風(fēng)氣流組織特性展開分析,為機(jī)房的工程建設(shè)提供了熱環(huán)境控制依據(jù)。文獻(xiàn)[6]中，以湍流模型及CFD方法為基礎(chǔ)，對機(jī)房的溫度場、氣流組織以及機(jī)柜的過載情況進(jìn)行了分析，對比實(shí)際測量結(jié)果，得到了較優(yōu)的機(jī)房建設(shè)模擬情況。文獻(xiàn)[7]建立了數(shù)據(jù)中心機(jī)房CFD模型，并創(chuàng)新性地將CFD在線計(jì)算以及機(jī)柜溫度監(jiān)測結(jié)合空調(diào)送風(fēng)反饋控制，建立了實(shí)時(shí)的模型計(jì)算及控制優(yōu)化方法。上述方法中存在的問題包括：(1).基于湍流模型及常用的數(shù)值模擬方法，包括DNS方法，N-S方程組中的標(biāo)準(zhǔn)k-ε方程存在模型簡單、對實(shí)際模型欠擬合等不足；(2)在實(shí)際模擬和優(yōu)化中，只以機(jī)房為整體或?qū)C(jī)柜直接作為“黑箱”模型進(jìn)行處理，與實(shí)際模型有較大誤差，且不能對機(jī)柜內(nèi)的真實(shí)情況進(jìn)行模擬數(shù)值化。結(jié)合現(xiàn)有的計(jì)算方法基礎(chǔ)及經(jīng)驗(yàn)以及以上存在的問題，文章在考慮引入優(yōu)化的CFD計(jì)算方法的理論基礎(chǔ)和模擬方法基礎(chǔ)上，并以機(jī)柜為研究重點(diǎn)，展開機(jī)房熱值環(huán)境模擬，并進(jìn)行實(shí)驗(yàn)測量，證明所提方法的可行性。

1 CFD理論基礎(chǔ)

在CFD理論之上，進(jìn)行溫度場及速度場的模型建立，是數(shù)據(jù)中心機(jī)房建立仿真的基礎(chǔ)。首先基于機(jī)房密閉性良好，機(jī)房內(nèi)的氣體流動應(yīng)該滿足基本控制方程。其次，在假定機(jī)房環(huán)境滿足一定條件下，將機(jī)房內(nèi)的環(huán)境模擬問題設(shè)定為空氣流動的湍流模型問題，以此建立仿真。

1.1 基本控制方程

機(jī)房內(nèi)氣體的流動應(yīng)該滿足連續(xù)性方程和動量守恒定理，同時(shí)，對于機(jī)房內(nèi)的氣體的熱交換過程，應(yīng)該滿足能量守恒定理。對于固定控制體，存在通用守恒方程：

(1)

(2)

其中:Γφ表示φ的的擴(kuò)散系數(shù);Qφ為控制體內(nèi)單位體積的源項(xiàng)。

式(2)從左到右分別表示非穩(wěn)態(tài)項(xiàng)、對流項(xiàng)、擴(kuò)散項(xiàng)以及源項(xiàng)?？梢缘玫礁骺刂品匠虨椋?/p>

連續(xù)性方程：

(3)

三維坐標(biāo)系下的動量守恒方程：

(4)

(5)

(6)

能量守恒方程：

(7)

其中:ST表示機(jī)械能轉(zhuǎn)換為熱能部分;cp為壓力影響的比熱容;k為傳熱系數(shù)。

1.2 湍流模型

在一定假設(shè)條件下(Boussinesp假設(shè))，將數(shù)據(jù)中心機(jī)房中的氣體流動問題描述為湍流問題[7-9]。湍流運(yùn)動機(jī)理較為復(fù)雜，流場中存在著各種尺度渦旋，湍流運(yùn)動的描述方程由于采用了時(shí)間及網(wǎng)格平均等，使得湍流方程區(qū)別于層流運(yùn)動描述，不具備封閉性，CFD中利用假設(shè)的未知量使得湍流模型方程具有封閉性。工程中常用基于雷諾平均N-S方程組模型描述湍流模型，又常用渦粘性封閉模式描述N-S方程組模型。可以得到雷諾應(yīng)力與平均速度應(yīng)變率的近似線性關(guān)系為：

(8)

本方程當(dāng)δi,j為確定值后，其他參數(shù)也為常量，則雷諾應(yīng)力由黏度系數(shù)υT決定。通過引入附加的湍流量來對上式進(jìn)行?；?，用湍流量來描述黏度系數(shù)，常見的湍流脈動動能-耗散率k-ε模型。即得到了湍流計(jì)算模型標(biāo)準(zhǔn)k-ε模型。表達(dá)式如下:

k方程：

(9)

ε方程：

(10)

其中：μ表示動力粘度。

標(biāo)準(zhǔn)k-ε模型多應(yīng)用在一般工程中，具有計(jì)算量適中，有較多數(shù)據(jù)積累的優(yōu)點(diǎn)，但是對于壓力梯度較強(qiáng)的復(fù)雜湍流應(yīng)用場景精度欠佳[10-11]。考慮RNG k-ε模型，此模型通過RNG對NS方程進(jìn)行重構(gòu)，能夠捕捉多個(gè)尺度的湍流擴(kuò)散，擴(kuò)大了模型的使用范圍。在標(biāo)準(zhǔn)k-ε模型的基礎(chǔ)上進(jìn)行了以下改進(jìn)：① RNG模型在ε方程中加了一項(xiàng)，有效的改善了精度；②考慮到了湍流漩渦，提高了在這方面的精度；③ RNG理論為湍流Prandtl數(shù)提供了一個(gè)解析公式以替代標(biāo)準(zhǔn)k-ε模型中由用戶給定的常數(shù)；④提供了一個(gè)考慮低雷諾數(shù)流動粘性的解析公式[12]。RNG k-ε模型如下:

k方程：

(11)

ε方程：

(12)

其中：Gk為層流速度梯度對應(yīng)的湍流脈動動能；Gb為浮力對應(yīng)的湍流脈動動能；Ym為可壓縮流動中的擴(kuò)散波動；C1ε,C2ε,C3ε為經(jīng)驗(yàn)常數(shù)；ak,aε為湍流Prandtl數(shù)；Sk,Sε為自定義源項(xiàng)；Rε為ε修正項(xiàng)。文章將采用RNG k-ε對機(jī)房湍流模型進(jìn)行模擬。

2 基于CFD理論的機(jī)房熱環(huán)境仿真及實(shí)驗(yàn)

文章以某數(shù)據(jù)中心機(jī)房為例，用FLUNTE軟件進(jìn)行仿真。機(jī)房三維模型如圖1所示，機(jī)房建筑面積約600 m2，機(jī)房采用地板下送風(fēng)設(shè)計(jì)，架高0.6 m。機(jī)房內(nèi)整齊排列4列42U標(biāo)準(zhǔn)機(jī)柜(圖1中A-D列)，機(jī)房內(nèi)裝有6臺風(fēng)冷機(jī)組。地板通風(fēng)板冷通道均勻布置在機(jī)柜兩側(cè)，尺寸為600*600 mm，開孔率30%。空調(diào)機(jī)組中的冷氣進(jìn)入到地板下架空區(qū)域，通過孔板向上均勻流動，用于機(jī)柜溫度控制，同時(shí)忽略板孔對于氣體流動的加速作用。機(jī)房內(nèi)布實(shí)景圖如圖2所示。

圖1 機(jī)房三維結(jié)構(gòu)圖

圖2 機(jī)房內(nèi)冷通道

冷通道經(jīng)過實(shí)際測量，送風(fēng)速度為1.2 m/s左右，板孔處溫度為20 ℃，空調(diào)回風(fēng)口處溫度為26 ℃。根據(jù)實(shí)際工況得到機(jī)房熱負(fù)荷如圖3所示，為方便在灰度圖像中顯示相關(guān)仿真結(jié)果，圖中標(biāo)注了各區(qū)域的平均熱負(fù)荷值。其對應(yīng)的機(jī)房仿真分布溫度如圖4所示，圖中標(biāo)注了各區(qū)域的平均溫度。

圖3 機(jī)房熱負(fù)荷

圖4 機(jī)房溫度分布仿真

依據(jù)所使用的湍流模型，對進(jìn)行空調(diào)溫度調(diào)控的氣流過程進(jìn)行仿真，得到工況下的模型對應(yīng)的溫度場如圖5所示，圖中顯示了部分區(qū)域的平均溫度。得到穩(wěn)定通風(fēng)溫度調(diào)控下機(jī)房的熱環(huán)境如圖6所示，圖中顯示了部分區(qū)域的平均溫度。

圖5 機(jī)房溫度場

圖6 機(jī)房熱環(huán)境仿真結(jié)果

為驗(yàn)證所使用理論對于機(jī)房熱環(huán)境的仿真的有效性，機(jī)房內(nèi)安裝溫度變送器并實(shí)現(xiàn)系統(tǒng)的在線集中監(jiān)測，系統(tǒng)通過變送器采集到機(jī)柜內(nèi)溫濕度，并通過網(wǎng)關(guān)的WIFI窄帶通信數(shù)據(jù)協(xié)議將數(shù)據(jù)通過局域網(wǎng)傳輸?shù)娇刂品康募仄脚_。機(jī)柜內(nèi)變送器及網(wǎng)關(guān)模塊如圖7(a)所示，集控平臺監(jiān)測數(shù)據(jù)如圖7(b)所示。

圖7 機(jī)房溫濕度監(jiān)測數(shù)據(jù)

文章對機(jī)房A列中的14臺工況下的機(jī)柜進(jìn)行溫度監(jiān)測，與數(shù)據(jù)中機(jī)柜所處位置得到的仿真數(shù)據(jù)進(jìn)行對比，結(jié)果如表1所示?？梢钥闯?，仿真數(shù)據(jù)與所得數(shù)據(jù)差距較小，但個(gè)別機(jī)柜出現(xiàn)較大誤差(表中序號為9、10的機(jī)柜與仿真值溫度誤差為5.5 ℃左右)。由于在以上模擬中，將機(jī)柜作為一個(gè)整體用作仿真，得到的溫度仿真值不能體現(xiàn)機(jī)柜中局部差異，在實(shí)際溫度值監(jiān)測中，溫度變送器放置的位置不一樣，導(dǎo)致監(jiān)測的數(shù)值差異較大，故出現(xiàn)監(jiān)測數(shù)據(jù)與仿真數(shù)據(jù)誤差。

表1 仿真值與監(jiān)測值對比

3 機(jī)柜模型仿真

機(jī)柜模型的研究，長期以來都采用將其作為一個(gè)整體的“黑箱模型”來進(jìn)行研究，從已有的研究情況以及上一節(jié)中的模擬結(jié)果來看，這種建模方法并不能精準(zhǔn)地模擬出實(shí)際情況，與實(shí)際溫度場數(shù)據(jù)會存在較大誤差。主要原因是，在機(jī)柜模型中，由于設(shè)備放置的位置及排列方式、擋板的設(shè)置、機(jī)柜內(nèi)部線束等都會影響機(jī)柜內(nèi)溫度場的實(shí)際情況?；诖?，本節(jié)通過對機(jī)柜重新建模，結(jié)合上一節(jié)中的RNG k-ε湍流模型對機(jī)柜中的溫度場進(jìn)行仿真，以得到更精準(zhǔn)的仿真結(jié)果。

仿真的機(jī)柜為42U標(biāo)準(zhǔn)機(jī)柜，中間放置4臺4U服務(wù)器，平均發(fā)熱量50 W，冷通道的板孔風(fēng)速1.2 m/s，單個(gè)冷通道的流量為18 000 m3/h。機(jī)柜實(shí)物圖如圖8所示。機(jī)柜仿真的邊界條件設(shè)置如表2所示。

圖8 仿真機(jī)柜實(shí)物圖

表2 機(jī)柜仿真邊界條件設(shè)定值

得到機(jī)柜熱環(huán)境仿真結(jié)果如圖9所示，圖中標(biāo)注了部分仿真區(qū)域的平均溫度。

圖9 機(jī)柜熱環(huán)境仿真結(jié)果

為了驗(yàn)證仿真結(jié)果的準(zhǔn)確性，將圖8中的四個(gè)服務(wù)器位置由下到上編號為A,B,C,D，并在每個(gè)平面處靠近服務(wù)器位置接入溫濕度變送器，在正常工況下進(jìn)行溫度測量(取1分鐘內(nèi)溫度平均值)，與仿真結(jié)果進(jìn)行比較。結(jié)果如表3所示，可以看到，所提方法對于實(shí)際工況的溫度有較為置準(zhǔn)確的仿真，溫度誤差最高為1 ℃。

表3 機(jī)柜仿真與實(shí)際監(jiān)測值對比

根據(jù)機(jī)柜仿真模型結(jié)果，可認(rèn)為在機(jī)柜中現(xiàn)有的服務(wù)器、擋板及線束布置下，靠近C和D服務(wù)器中間位置的溫度能夠平均反應(yīng)機(jī)柜中的最高溫度。結(jié)合機(jī)房整體及機(jī)柜溫度場仿真方法，得到在機(jī)柜平均發(fā)熱量50 W，冷通道的板孔風(fēng)速1.2 m/s，單個(gè)冷通道的流量為18 000 m3/h，總機(jī)柜數(shù)量為65的條件下機(jī)房整體仿真結(jié)果，根據(jù)坐標(biāo)取得單個(gè)機(jī)柜最高溫度，并將結(jié)果離散插值得到溫度場如圖10所示，可以看出65個(gè)機(jī)柜中最高溫度為27.1 ℃。為了測試仿真結(jié)果，進(jìn)行280 h連續(xù)運(yùn)行，溫度采樣周期為1 min，并設(shè)置自動報(bào)警溫度為29 ℃，實(shí)驗(yàn)結(jié)果如圖11所示。結(jié)果顯示運(yùn)行期間未發(fā)生高溫異常報(bào)警，說明文章所提仿真模型能夠較準(zhǔn)確地計(jì)算溫度場及機(jī)柜工況數(shù)據(jù)，有效幫助確定機(jī)房的在進(jìn)行溫度控制時(shí)確定工作參數(shù)。

圖10 三維溫度場

圖11 實(shí)時(shí)監(jiān)測溫度數(shù)據(jù)

4 總結(jié)

針對大型數(shù)據(jù)中心機(jī)房溫度控制優(yōu)化的需求，在現(xiàn)有理論的基礎(chǔ)上進(jìn)行方法優(yōu)化，得到更精確的機(jī)房熱環(huán)境仿真結(jié)果，并通過監(jiān)測實(shí)際溫度數(shù)據(jù)驗(yàn)證了所用方法的可行性。主要內(nèi)容包括：

(1)在流體基本控制方程及湍流流動理論基礎(chǔ)上，引入RNG k-ε湍流模型，代替常用的標(biāo)準(zhǔn)k-ε湍流模型，用于機(jī)房熱環(huán)境仿真，獲得了更準(zhǔn)確的模擬結(jié)果。通過實(shí)驗(yàn)數(shù)據(jù)，表明在監(jiān)測點(diǎn)對應(yīng)的仿真結(jié)果中，有95%以上的機(jī)房仿真數(shù)據(jù)誤差在1.5 ℃以內(nèi)，能夠較好地模擬現(xiàn)實(shí)工況下機(jī)房的熱環(huán)境，為機(jī)房整體模擬、通風(fēng)優(yōu)化及溫度預(yù)測提供了良好的手段；

(2)區(qū)別于以往的將機(jī)柜作為“黑箱”進(jìn)行仿真處理不同，為了得到更精確的熱環(huán)境模擬結(jié)果，文章以機(jī)柜作為研究對象進(jìn)行建模，并利用介紹的流體理論進(jìn)行仿真。與實(shí)際監(jiān)測值對比，最大誤差為1 ℃，所提方法能夠更精確地模擬機(jī)柜內(nèi)環(huán)境溫度，為以機(jī)柜為研究對象的溫度場模擬、不同位置的溫度預(yù)測等提供良好的途徑；

(3)連續(xù)性實(shí)際工作實(shí)驗(yàn)驗(yàn)證了結(jié)合機(jī)房及機(jī)柜熱環(huán)境仿真模型的結(jié)果正確性，能夠有效幫助確定工況下溫度控制工作參數(shù)。