王麗欣，常琳

（1-施耐德電氣信息技術(shù)（中國）有限公司，北京 100102；2-中國制冷學(xué)會，北京 100142）

高密度數(shù)據(jù)中心制冷空調(diào)系統(tǒng)設(shè)計

王麗欣*1，常琳2

（1-施耐德電氣信息技術(shù)（中國）有限公司，北京 100102；2-中國制冷學(xué)會，北京 100142）

結(jié)合北京某數(shù)據(jù)中心的工程實(shí)例，介紹了高密度數(shù)據(jù)中心制冷空調(diào)系統(tǒng)設(shè)計的思路和方法，對高密度數(shù)據(jù)中心的空調(diào)水平送風(fēng)、節(jié)能、自然冷卻和連續(xù)制冷等問題進(jìn)行了探討。研究結(jié)果表明：對于高密度數(shù)據(jù)中心，建議采用緊靠熱源的水平送風(fēng)制冷形式、輔助冷熱通道布置、采用水泵接不間斷電源（UPS）和設(shè)置蓄冷罐等方式來保障數(shù)據(jù)中心全年不間斷制冷。

空調(diào)系統(tǒng)；制冷；數(shù)據(jù)中心；高密度

0 引言

近年來，隨著IT技術(shù)的高速發(fā)展，對數(shù)據(jù)的處理速度和處理能力要求越來越高。大量體積小、處理能力快、功能強(qiáng)的高密度機(jī)架服務(wù)器和存儲服務(wù)器應(yīng)運(yùn)而生。單個機(jī)柜的功率由1 kW、3 kW提高至5 kW以上，刀片式服務(wù)器甚至單機(jī)柜功率可達(dá)30 kW。隨著機(jī)柜功率密度的提高，數(shù)據(jù)中心對制冷的可靠性和可用性的要求也越來越高。傳統(tǒng)的低功率密度的數(shù)據(jù)中心可采用集中制冷的形式對服務(wù)器進(jìn)行冷卻，但是當(dāng)機(jī)柜的功率超過5 kW時，采用傳統(tǒng)的集中式制冷會出現(xiàn)很多弊端，例如在實(shí)際運(yùn)行時機(jī)柜頂部存在局部熱點(diǎn)和地板下送風(fēng)不足等問題，這些都將導(dǎo)致設(shè)備過熱保護(hù)引發(fā)宕機(jī)。因此合理設(shè)計高密度數(shù)據(jù)中心的制冷系統(tǒng)尤為重要。本文以北京某新建的數(shù)據(jù)中心為例，介紹高密度數(shù)據(jù)中心的制冷空調(diào)系統(tǒng)的設(shè)計思路及方法。

1 數(shù)據(jù)中心概況

該項目地址位于北京市朝陽區(qū)，是將現(xiàn)有辦公樓的一部分改造成數(shù)據(jù)中心。改造前的辦公樓總建筑面積約為12,000 m2，建筑高度24 m，地上五層、地下兩層，主要包括高密度數(shù)據(jù)中心、輔助用房和辦公室。其中本文研究的高密度數(shù)據(jù)中心位于該大樓二層北側(cè)，主機(jī)房建筑面積280 m2，層高4 m。服務(wù)器機(jī)柜110臺，網(wǎng)絡(luò)機(jī)柜6臺，單臺服務(wù)器機(jī)柜功率8.8 kW，機(jī)房內(nèi)設(shè)置防靜電高架地板。主要工程內(nèi)容包括數(shù)據(jù)中心制冷空調(diào)系統(tǒng)、新風(fēng)系統(tǒng)和排風(fēng)系統(tǒng)的設(shè)計。

2 制冷空調(diào)及通風(fēng)系統(tǒng)設(shè)計

2.1 設(shè)計參數(shù)

2.1.1 室外氣象參數(shù)

根據(jù)《實(shí)用供熱空調(diào)設(shè)計手冊》[1]，參照北京地區(qū)的氣象參數(shù)選取室外氣象參數(shù)，結(jié)果見表1。

表1 室外氣象參數(shù)

2.1.2 室內(nèi)氣象參數(shù)

《數(shù)據(jù)處理環(huán)境熱工指南》列出了數(shù)據(jù)中心1～4級所對應(yīng)的環(huán)境要求。我國按照使用性質(zhì)、管理要求及重要數(shù)據(jù)丟失或網(wǎng)絡(luò)中斷造成的損失或影響程度，將數(shù)據(jù)機(jī)房分為A、B和C三級[2]。數(shù)據(jù)中心機(jī)房的設(shè)計與建設(shè)以保證所有IT設(shè)備的不間斷運(yùn)行為首要任務(wù)。同時，針對本項目制冷系統(tǒng)解決方案的設(shè)計，需要達(dá)到GB 50174-2008[3]的A級設(shè)計標(biāo)準(zhǔn)。因此，本文中的數(shù)據(jù)中心屬于A級機(jī)房，機(jī)房內(nèi)的溫度(23±1) ℃，相對濕度40%～55%，每小時溫度變化率小于5 ℃/h，且室內(nèi)不得結(jié)露。

2.1.3 通風(fēng)換氣次數(shù)

為保證機(jī)房內(nèi)的正壓及人員新風(fēng)量的要求，機(jī)房內(nèi)新風(fēng)量按照每人40 m3/h選取，同時要維持機(jī)房與相鄰房間5 Pa的正壓，與外界房間10 Pa的正壓要求，二者取最大值。該項目中數(shù)據(jù)中心的通風(fēng)換氣次數(shù)參見表2。

表2 換氣次數(shù)

2.2 負(fù)荷計算

機(jī)房的熱負(fù)荷主要來自以下兩個方面：

a) 機(jī)房內(nèi)——計算機(jī)設(shè)備、照明燈具、輔助設(shè)施及工作人員所產(chǎn)生的熱；

b) 機(jī)房外——外部進(jìn)入的熱（如：從墻壁、屋頂、隔斷和地面?zhèn)魅霗C(jī)房的熱；透過玻璃窗射入的太陽輻射熱；從窗戶及門的縫隙滲入的風(fēng)而侵入的熱；新風(fēng)機(jī)補(bǔ)充新風(fēng)帶進(jìn)來的熱等）。

其中機(jī)房內(nèi)的計算機(jī)設(shè)備的發(fā)熱量占的比重最大[4]，約占機(jī)房總發(fā)熱量的60%～70%?？偵嶂袛?shù)據(jù)中心內(nèi)各項負(fù)荷所占的百分比如圖1所示。

圖1 數(shù)據(jù)中心各項負(fù)荷占總熱負(fù)荷的百分比

為了確定在該機(jī)房內(nèi)主要設(shè)備所需恒溫、恒濕環(huán)境下的機(jī)房空調(diào)設(shè)備的總負(fù)荷，本文根據(jù)計算機(jī)房系統(tǒng)內(nèi)設(shè)備特點(diǎn)和環(huán)境情況，采用精確計算法來確定各區(qū)域熱容量。經(jīng)過計算，確定機(jī)房總制冷負(fù)荷為1,020 kW。數(shù)據(jù)中心單位面積能耗可由機(jī)房總能耗除以機(jī)房面積得到[5]。

2.3 制冷系統(tǒng)的確定

該數(shù)據(jù)中心單臺機(jī)柜功率密度為8.8 kW，屬于高密度數(shù)據(jù)中心，制冷空調(diào)通風(fēng)系統(tǒng)的設(shè)計原則為：在滿足設(shè)備溫濕度要求的基礎(chǔ)上，采用節(jié)能的手段確保數(shù)據(jù)中心制冷系統(tǒng)的穩(wěn)定性和連續(xù)性，實(shí)現(xiàn)不間斷制冷。

另外由于風(fēng)冷和水冷的制冷效率很相近，選擇哪種形式主要考慮使用地區(qū)的現(xiàn)場條件。該項目在北京地區(qū)使用，現(xiàn)場水資源不多，而且北京地區(qū)晝夜溫差大，適合采用風(fēng)冷的冷水機(jī)組。如果采用水冷冷水機(jī)組的話，還需要在設(shè)計過程中

單獨(dú)增加一套冷卻水的循環(huán)系統(tǒng)，包括冷卻水泵、冷卻塔和電子水處理儀等設(shè)備，這樣會增加項目初期的設(shè)備投資成本，因此基于以上設(shè)計原則，確定該數(shù)據(jù)中心采用風(fēng)冷冷凍水型機(jī)房空調(diào)系統(tǒng)。選用風(fēng)冷冷凍水機(jī)組，干冷器（干式冷卻器，主要用于乙二醇溶液散熱，由換熱盤管和風(fēng)扇組成；乙二醇溶液在管內(nèi)流動，通過風(fēng)扇強(qiáng)化乙二醇與外界環(huán)境的散熱，達(dá)到冷卻的目的）和一級泵變流量系統(tǒng)。該系統(tǒng)夏季通過冷凍水機(jī)組制取7 ℃的冷凍水，送到室內(nèi)的冷凍水型精密空調(diào)內(nèi)，從而給房間的IT設(shè)備制冷；冷凍水回水溫度為12 ℃，經(jīng)循環(huán)水泵返回冷凍水機(jī)組。冬季充分利用室外的低溫空氣冷卻循環(huán)冷凍水，可以實(shí)現(xiàn)壓縮機(jī)停機(jī)制冷，大大減少耗電量。過渡季節(jié)主要采用自然冷卻，冷量不足的部分由壓縮機(jī)制冷補(bǔ)充。當(dāng)數(shù)據(jù)中心的空調(diào)系統(tǒng)斷電后，由ATS（轉(zhuǎn)換開關(guān)）主電路切換到另一路備用市政供電，冷凍水機(jī)組從通電后到正常運(yùn)行需要10 min，為了保證系統(tǒng)的連續(xù)制冷，設(shè)計了蓄冷罐，儲存的冷水能滿足數(shù)據(jù)中心空調(diào)系統(tǒng)斷電后至機(jī)組重新啟動10 min間隔的制冷需要。

2.3.1 空調(diào)系統(tǒng)冷源設(shè)計

數(shù)據(jù)中心是耗能大戶，空調(diào)系統(tǒng)在能夠保證IT設(shè)備正常運(yùn)轉(zhuǎn)的條件下，將在冷源的選擇上盡量選擇節(jié)能的方式。本項目充分利用北方氣候的特點(diǎn)，在冬季使用自然冷卻技術(shù)，降低系統(tǒng)的電源使用效率（Power usage effectiveness，PUE）值。PUE目前已經(jīng)成為國際上比較通行的數(shù)據(jù)中心電力使用效率的衡量指標(biāo)，是數(shù)據(jù)中心消耗的所有能源與IT負(fù)載使用的能源之比。PUE值越小，說明數(shù)據(jù)中心用于通信設(shè)備以外的能耗越小、系統(tǒng)越節(jié)能。全球數(shù)據(jù)中心的平均PUE是2.0[6]，發(fā)達(dá)國家數(shù)據(jù)中心的PUE約為1.8，日本部分?jǐn)?shù)據(jù)中心的PUE為1.5，Google的數(shù)據(jù)中心PUE低至1.2[7]。

為了實(shí)現(xiàn)數(shù)據(jù)中心的節(jié)能運(yùn)行，獲得更少的PUE（PUE=數(shù)據(jù)中心的總能耗/IT設(shè)備能耗），因此應(yīng)該充分利用免費(fèi)的自然冷源。在春秋季節(jié)的晚上或者在冬季，充分利用室外的低溫空氣來對系統(tǒng)中的冷媒水進(jìn)行自然冷卻，這樣可以大大減少壓縮機(jī)的功耗，從而降低系統(tǒng)的PUE值。

根據(jù)北京地區(qū)全年室外氣溫的分布（見圖2）可以計算出，全年可實(shí)現(xiàn)全部自然冷卻的時間占全年總運(yùn)行時間的24%，部分自然冷卻的時間約占全年運(yùn)行總時間的27%，全部機(jī)械制冷的時間約占全年總運(yùn)行時間的49%。計算依據(jù)是北京市全年的室外氣象溫度。對配有自然冷卻的機(jī)組，當(dāng)室外溫度低于10 ℃時，可以啟動部分自然冷卻；當(dāng)室外溫度低于5 ℃時，可以啟動全部自然冷卻。百分比根據(jù)室外溫度所保持的時間占全年的運(yùn)行時間之比計算所得。

圖2 北京全年不同室外溫度所占時間曲線圖

因此該系統(tǒng)采用3臺風(fēng)冷螺桿式冷凍水機(jī)組（2用1備），每臺冷水機(jī)組制冷量為520 kW。2臺制冷量為500 kW的干冷器，冷凍水進(jìn)口、出口溫度12 ℃～7 ℃。冷水機(jī)組和干冷器布置在1層室外平臺。每臺螺桿式冷凍水機(jī)組可以根據(jù)負(fù)荷實(shí)現(xiàn)25%～100%的調(diào)節(jié)?？照{(diào)制冷系統(tǒng)原理圖見圖3。

為了實(shí)現(xiàn)節(jié)能和充分利用冬季的自然冷卻，采用干冷器與冷凍水機(jī)組串聯(lián)的形式，這樣可以實(shí)現(xiàn)以下三種工作模式。

1) 夏季，風(fēng)冷冷凍水機(jī)組開啟，高溫的乙二醇溶液經(jīng)過冷凍水機(jī)組的蒸發(fā)器釋放熱量。

2) 冬季，充分利用室外低溫的空氣冷卻干冷器中的乙二醇溶液，冷凍水機(jī)組停機(jī)，實(shí)現(xiàn)無壓縮機(jī)運(yùn)行制冷的自然冷卻模式。

3) 過渡季節(jié)，當(dāng)外界環(huán)境溫度比冷凍水的回水溫度低3 ℃時，可以開啟干冷器進(jìn)行自然冷卻，不足的冷量通過風(fēng)冷冷水機(jī)組補(bǔ)充；當(dāng)外界環(huán)境溫度比冷凍水回水溫度低10 ℃時，可以完全實(shí)現(xiàn)自然冷卻，冷凍水機(jī)組停機(jī)。

2.3.2 冷凍水系統(tǒng)設(shè)計

圖3為空調(diào)制冷系統(tǒng)原理圖?？照{(diào)系統(tǒng)采用7 ℃的冷凍水供水，12 ℃冷凍水回水的冷凍水循環(huán)系統(tǒng)。系統(tǒng)中采用1次泵變流量設(shè)計，可以滿足隨著數(shù)據(jù)中心中IT負(fù)載的變化而自動調(diào)節(jié)流量。每個空調(diào)的支管上設(shè)置平衡閥，方便調(diào)試時調(diào)節(jié)系統(tǒng)管路上的水壓平衡。

為了實(shí)現(xiàn)數(shù)據(jù)中心的安全和連續(xù)制冷，在數(shù)據(jù)中心中，IT設(shè)備都有不間斷電源（UPS）來保證供電，UPS將在市政用電斷電后為IT設(shè)備供電直到發(fā)電機(jī)啟動。但是空調(diào)系統(tǒng)的部件往往都不接UPS，甚至不接備用發(fā)電機(jī)。而高密度機(jī)房設(shè)備發(fā)熱量巨大，當(dāng)斷電時，機(jī)房溫度會在(30～120) s內(nèi)迅速上升至使數(shù)據(jù)設(shè)備停機(jī)的溫度，導(dǎo)致數(shù)據(jù)設(shè)備停機(jī)或損壞。

為了保證系統(tǒng)的穩(wěn)定性，避免系統(tǒng)電源故障停電后至冷凍水機(jī)組啟動前的過熱現(xiàn)象，系統(tǒng)中必須設(shè)有安全裝置。結(jié)合本項目，水系統(tǒng)的水泵連接了UPS可以保證冷媒水持續(xù)循環(huán)，當(dāng)市政用電斷電后，冷水機(jī)組通電重啟需要10 min，因此系統(tǒng)設(shè)計了能提供10 min時間內(nèi)數(shù)據(jù)中心所需冷量的蓄冷水罐。蓄冷罐的容積為32 m3，蓄冷罐與整個水系統(tǒng)串聯(lián)連接。蓄冷罐在系統(tǒng)正常運(yùn)行時將7 ℃的冷水儲存在罐體中，當(dāng)系統(tǒng)斷電，冷水機(jī)組停止運(yùn)行時，蓄冷罐的進(jìn)水閥關(guān)閉，旁通閥門打開，將原存儲的低溫冷水注入到行級空調(diào)中，保證制冷溫度。

圖3 空調(diào)制冷系統(tǒng)原理圖

2.3.3 室內(nèi)精密空調(diào)的設(shè)計

目前室內(nèi)的冷凍水型精密空調(diào)主要有兩種形式，一種是傳統(tǒng)的地板下送風(fēng)的房間級空調(diào)，另外一種是水平送風(fēng)的行級制冷空調(diào)。空調(diào)對溫度和濕度的測量和控制比較精密?？照{(diào)器在正常使用條件下，通過空調(diào)控制邏輯檢測回風(fēng)溫度，調(diào)節(jié)冷凍水調(diào)節(jié)閥，控制送風(fēng)溫度。溫度波動超限將發(fā)出遠(yuǎn)程報警信號。當(dāng)溫度設(shè)定在15 ℃～30 ℃范圍時，機(jī)組溫度控制精度為±1 ℃；溫度變化率應(yīng)小于5 ℃/h。濕度的控制有兩種形式；當(dāng)濕度低于設(shè)定值時，啟動機(jī)組自帶的電極式加濕罐進(jìn)行加濕；當(dāng)濕度達(dá)到設(shè)定值時，加濕罐停止工作。如果檢測濕度大于設(shè)定值，則采用制冷除濕，或者電加熱補(bǔ)償除濕。

房間級空調(diào)具有市場占有率高，公眾認(rèn)知度高等優(yōu)點(diǎn)。但是房間級空調(diào)地板下送風(fēng)的風(fēng)量受到限制，一臺1 kW的IT負(fù)載機(jī)柜所需的送風(fēng)量計算如下：

式中：

Q ——制冷量，kW；

ρ ——空氣密度，1.2 kg/m3；

cp——1.01 kJ/( kg·k)；

G ——風(fēng)量，m3/h；

t2——服務(wù)器出口溫度，℃；

t1——服務(wù)器進(jìn)口溫度，℃。

經(jīng)過計算，當(dāng)服務(wù)器的進(jìn)出口溫差為11 ℃時，

Design of Refrigeration and Air Conditioning System for High Density Data Center

WANG Li-xin*1, CHANG Lin2
(1-Schneider Electric IT (China) Co., LTD, Beijing 100102, China; 2-Chinese Association of Refrigeration, Beijing 100142, China)

Based on a data center project in Beijing, the design idea and method of high density data center were introduced, and the problems on the horizontal air supply, energy saving, natural cooling and continuous cooling for the air conditioning system in high density data center were discussed. The results show that, the methods by using the cooling form with horizontal air supply close to the heat source assisted cooling and hot channel layout, water pump connecting with uninterruptible power supply (UPS) and cold storage tank were suggested to ensure the annual uninterrupted refrigeration for the high density data center.

Air conditioning system; Refrigeration; Data center; High density

3 結(jié)論

10.3969/j.issn.2095-4468.2015.01.202

*王麗欣（1980-）女，工程師，碩士。研究方向：機(jī)房精密空調(diào)系統(tǒng)，船舶空調(diào)通風(fēng)系統(tǒng)。聯(lián)系地址：北京市朝陽區(qū)望京東路6號施耐德電氣大廈，郵編：100102。聯(lián)系電話：010-84346699。E-mail：wanglixin04@126.com。