雷婷 李銀松

1.中興通訊股份有限公司；2.深圳市通信學(xué)會

0 引言

數(shù)據(jù)中心作為“新基建”的七大方向之一，將為5G網(wǎng)絡(luò)、物聯(lián)網(wǎng)、AI以及各垂直行業(yè)的發(fā)展提供強(qiáng)有力的基礎(chǔ)設(shè)施保障。大數(shù)據(jù)應(yīng)用、云計(jì)算、人工智能，智能終端等新興產(chǎn)業(yè)的快速崛起，促使中國數(shù)據(jù)中心產(chǎn)業(yè)規(guī)模不斷擴(kuò)大，相關(guān)協(xié)同產(chǎn)業(yè)的命運(yùn)共同體正在形成，整個(gè)生態(tài)圈正在向著綠色健康和可持續(xù)的方向發(fā)展。

當(dāng)前，數(shù)據(jù)中心的能耗問題越來越受到重視，一線城市對數(shù)據(jù)中心的能耗指標(biāo)PUE有硬性考核要求。國內(nèi)大型互聯(lián)網(wǎng)廠商數(shù)據(jù)中心具有需求規(guī)模大、定制化程度高、敢于創(chuàng)新、追求低成本等特點(diǎn)，在數(shù)據(jù)中心建設(shè)運(yùn)維中敢于嘗試應(yīng)用各種創(chuàng)新節(jié)能技術(shù)。但以高可靠性為核心指標(biāo)的數(shù)據(jù)中心，如銀行、保險(xiǎn)、證券、基金等行業(yè)數(shù)據(jù)中心，難以直接照搬復(fù)制互聯(lián)網(wǎng)廠商節(jié)能創(chuàng)新方案。如何兼顧高可靠性與綠色節(jié)能要求并且能有實(shí)際應(yīng)用成效？這是本文研究的問題。

1 數(shù)據(jù)中心高可靠要求

高可靠性數(shù)據(jù)中心通常采用高等級建設(shè)標(biāo)準(zhǔn)，如金融類總行/總部數(shù)據(jù)中心通常按照國標(biāo)GB50174 A級標(biāo)準(zhǔn)建設(shè)，這類機(jī)房可用性要求在99.99%以上，配電系統(tǒng)要求雙路冗余備份，空調(diào)系統(tǒng)N+1冗余備份并且提供連續(xù)制冷，水和電需要考慮物理隔離，避免出現(xiàn)物理安全故障造成業(yè)務(wù)中斷。

高可靠性數(shù)據(jù)中心在不違背建設(shè)等級和系統(tǒng)可靠性的要求下，可以通過科學(xué)的機(jī)房布局、空調(diào)系統(tǒng)和配電系統(tǒng)優(yōu)化，以及采用智能化管理等多種手段實(shí)現(xiàn)綠色節(jié)能。

2 機(jī)房布局節(jié)能技術(shù)

服務(wù)器、存儲、刀片等IT設(shè)備功率密度的持續(xù)提高帶來了機(jī)柜散熱的問題。高密度的機(jī)柜既要考慮設(shè)備散熱、維護(hù)、搬運(yùn)與消防因素，又需要科學(xué)規(guī)劃機(jī)柜的布局，以便氣流組織更加合理，節(jié)省冷量耗散。

目前主流機(jī)柜采用“前進(jìn)風(fēng)、后出風(fēng)”的方式，可以采用面對面或者背對背的擺放方式，即熱冷通道隔離布局。對于高可靠性數(shù)據(jù)中心用戶，可以將機(jī)房內(nèi)每2列機(jī)柜的冷熱通道布局作為一個(gè)封閉單元，進(jìn)一步進(jìn)行冷熱通道封閉隔離，即將一定數(shù)量的機(jī)柜通過底座和頂板組合在一起，每個(gè)封閉單位內(nèi)部組成一個(gè)空間，將IT機(jī)柜、配電系統(tǒng)、監(jiān)控系統(tǒng)、安防系統(tǒng)、照明等封閉在一個(gè)獨(dú)立空間內(nèi)。高可靠性要求空調(diào)水不能進(jìn)機(jī)房，因此冷風(fēng)需由專門的空調(diào)房通過地板下送風(fēng)或者水平送風(fēng)給機(jī)房制冷。通過冷、熱通道隔離，形成有效氣流組織，滿足IT設(shè)備運(yùn)行要求，滿足數(shù)據(jù)中心機(jī)房環(huán)境相關(guān)技術(shù)規(guī)范。冷熱通道封閉高度設(shè)置為500-1000mm（根據(jù)實(shí)際情況可調(diào)整）。對于選擇熱通道還是冷通道封閉，建議如下：

對于高功率密度機(jī)房，熱負(fù)荷大，封閉熱通道更有利于熱量集中回收以及共享大冷池，且維護(hù)環(huán)境更舒適。

熱通道封閉采用水平送風(fēng)，上部分吊頂封閉回風(fēng)時(shí)需考慮水平送風(fēng)位置的渦漩，經(jīng)過創(chuàng)新性實(shí)驗(yàn)，可在進(jìn)風(fēng)截面位置設(shè)置網(wǎng)孔均流板，空調(diào)冷風(fēng)經(jīng)過均流板混風(fēng)后均勻送入機(jī)房區(qū)域。

圖1 機(jī)柜熱通道封閉風(fēng)道回風(fēng)布局示意圖

對于中低功率密度機(jī)房，初期上架熱負(fù)荷低，為有效利用冷量可采用冷通道封閉方式。機(jī)柜背對背方式擺放時(shí)，考慮空調(diào)系統(tǒng)在斷風(fēng)斷電意外故障的情況下，熱通道溫度急速上升風(fēng)險(xiǎn)較大，更推薦冷通道封閉的機(jī)柜擺放方式。

冷通道封閉下送風(fēng)水平回風(fēng)時(shí)，可將防靜電地板下的空間作為送風(fēng)靜壓箱，為減少風(fēng)阻。在冷通道均勻設(shè)置專用的防靜電地板出風(fēng)口（出風(fēng)口只能安裝在冷通道），冷空氣通過出風(fēng)口去到機(jī)柜正面，由設(shè)備自帶的風(fēng)扇將冷風(fēng)吸進(jìn)機(jī)柜內(nèi)，對機(jī)柜設(shè)備進(jìn)行熱交換后排至氣流的熱通道，熱空氣上升至空調(diào)回風(fēng)口的負(fù)壓區(qū)，回流至空調(diào)機(jī)組再進(jìn)行處理，如此周而復(fù)始。

圖2 機(jī)柜冷通道封閉單元?dú)饬鹘M織示意圖

對整個(gè)送風(fēng)區(qū)域進(jìn)行封閉處理（冷通道封閉），可以有效地使地板下送出的冷風(fēng)全部用于設(shè)備散熱，而大幅減少或避免風(fēng)量和冷量的損耗，最終大幅提高制冷的效率。從整個(gè)機(jī)房的氣流組織來看，有效地避免了傳統(tǒng)機(jī)房中冷熱空氣混合，冷空氣短路，以及遠(yuǎn)端機(jī)柜由于壓降的問題而導(dǎo)致的機(jī)柜頂端設(shè)備無足夠冷量用于散熱，而最終產(chǎn)生局部熱點(diǎn)等問題。

機(jī)柜冷通道封閉單元采用冷/熱通道封閉技術(shù)時(shí)，機(jī)柜的氣流組織應(yīng)提供詳細(xì)的計(jì)算數(shù)據(jù)進(jìn)行驗(yàn)證。建議采用CFD工具進(jìn)行提前仿真驗(yàn)證。數(shù)據(jù)中心級分析的仿真能夠模擬設(shè)計(jì)機(jī)房或針對現(xiàn)有機(jī)房系統(tǒng)進(jìn)行問題排除及系統(tǒng)升級，進(jìn)行熱流場預(yù)測，可整體規(guī)劃IT設(shè)備及機(jī)房空間的建造及基礎(chǔ)工程，減少可能出現(xiàn)的風(fēng)險(xiǎn)。氣流組織驗(yàn)證時(shí)需要關(guān)注幾個(gè)問題：

第一，封閉單元內(nèi)機(jī)柜功率密度較高時(shí)，需提前計(jì)算通風(fēng)地板和均流板的通孔率、冷熱通道的截面積（影響到高度選擇），以保障足夠的風(fēng)量可送入到機(jī)柜。單機(jī)柜散熱量與所需冷風(fēng)量的關(guān)系如下：

L為冷風(fēng)量，單位m/s；Q為散熱量，單位W；△T為機(jī)柜進(jìn)出風(fēng)溫差，單位°C。

S為冷通道/熱通道攤算到單機(jī)柜的截面積，P為通孔率，V為風(fēng)速。

通?！鱐取7～10°C，V取2m/s。由此可計(jì)算出地板或者均流板的通孔率P?？紤]到運(yùn)行過程中機(jī)柜功率密度隨著上架逐步提升，建議采用大的通孔率，在初期運(yùn)行時(shí)為避免冷量浪費(fèi)，可以增加通風(fēng)調(diào)節(jié)裝置。

第二，空調(diào)房內(nèi)空調(diào)末端與封閉冷通道單元的布局?jǐn)[放需考慮機(jī)房面積、送風(fēng)距離、機(jī)柜功率密度等問題。常采用的是單側(cè)送風(fēng)和兩側(cè)送風(fēng)方式。為避免第一個(gè)機(jī)柜因風(fēng)速過快導(dǎo)致渦流現(xiàn)象，需保持第一個(gè)機(jī)柜與空調(diào)之間的有效距離，且可以在地板下加裝調(diào)節(jié)風(fēng)向或者風(fēng)機(jī)，避免局部熱點(diǎn)。為避免空調(diào)下方靜壓箱氣流混亂，使冷風(fēng)更有效地送入機(jī)房，建議在空調(diào)下方加裝導(dǎo)風(fēng)槽，即在三面加裝圍擋，只保留正面出風(fēng)口，每個(gè)風(fēng)機(jī)之間建議加裝圍擋間隔。

第三，氣流組織仿真，一方面模擬冷熱氣流隔離是否達(dá)到預(yù)期的效果，另一方面可以通過仿真分析是否存在制冷系統(tǒng)存在過度配置的問題，從而進(jìn)行優(yōu)化調(diào)整，節(jié)省投資和運(yùn)維成本。

第四，高可靠數(shù)據(jù)中心要求采用氣體消防和自動(dòng)消防預(yù)警系統(tǒng)，因此冷熱通道封閉單元的天窗需要與消防進(jìn)行聯(lián)動(dòng)控制，在發(fā)生火警時(shí)能聯(lián)動(dòng)跌落，便于氣體滲入內(nèi)部通道。

3 空調(diào)系統(tǒng)節(jié)能技術(shù)

數(shù)據(jù)中心空調(diào)系統(tǒng)的主要作用是通過調(diào)節(jié)溫濕度、氣流速度、潔凈度，達(dá)到給機(jī)房降溫散熱、加濕除濕、通風(fēng)排風(fēng)、過濾凈化的目的。數(shù)據(jù)機(jī)房超過40°C，服務(wù)器將處于危險(xiǎn)的狀態(tài)，空調(diào)系統(tǒng)故障只需短短的10-15分鐘，設(shè)備就可達(dá)到臨界溫度。可見持續(xù)穩(wěn)定的空調(diào)系統(tǒng)對數(shù)據(jù)機(jī)房至關(guān)重要。

根據(jù)統(tǒng)計(jì)，空調(diào)系統(tǒng)耗電在整個(gè)數(shù)據(jù)中心耗電的占比約為30%～50%，因此空調(diào)系統(tǒng)能耗成為優(yōu)先改善的目標(biāo)。對于空調(diào)系統(tǒng)節(jié)能，首先需要選擇節(jié)能型空調(diào)方案。相比常規(guī)使用的空調(diào)節(jié)能方案，如風(fēng)冷冷水機(jī)組搭配干冷器、水冷冷水機(jī)組搭配板換或者直接新風(fēng)冷卻方案，本文推薦采用創(chuàng)新性間接蒸發(fā)冷卻空調(diào)方案。其中，間接蒸發(fā)冷冷卻空調(diào)在室外氣溫較低時(shí)，可以采用空氣與空氣間接換熱的方式實(shí)現(xiàn)自然冷。該方案可采用多臺機(jī)組聯(lián)合，供冷冗余系數(shù)高，無直接換熱帶來的空氣污染風(fēng)險(xiǎn)，無復(fù)雜水路管網(wǎng)，安裝維護(hù)簡便，機(jī)房內(nèi)熱量通過風(fēng)道傳送，無水進(jìn)機(jī)房風(fēng)險(xiǎn)。間接蒸發(fā)冷卻空調(diào)在干冷地區(qū)可以大量使用，可利用自然冷進(jìn)行換熱，無需開啟壓縮機(jī)，同時(shí)可通過噴霧蒸發(fā)的方式進(jìn)一步降低室外側(cè)溫度，進(jìn)而為室內(nèi)側(cè)空氣降溫。

圖3 間接蒸發(fā)冷卻空調(diào)原理圖

在選用節(jié)能型空調(diào)方案的同時(shí)，建議采用如下實(shí)用的空調(diào)節(jié)能措施：

第一，管路閥門系統(tǒng)。采用冷凍站內(nèi)的冷凍水主管環(huán)狀布置與機(jī)房干管的同程雙管路結(jié)合方式，實(shí)現(xiàn)雙同程支路到各個(gè)機(jī)房，各機(jī)房干管增加平衡閥調(diào)整干管流量與設(shè)計(jì)流量吻合，各管路水流明確更好地達(dá)到水力平衡，減少管道系統(tǒng)損耗性。

第二，應(yīng)急蓄冷系統(tǒng)。取消獨(dú)立的放冷泵，由循環(huán)泵代替，簡化沖放冷系統(tǒng)，節(jié)省投資。在物理空間允許的情況下將蓄冷容量提高，項(xiàng)目初期投產(chǎn)負(fù)荷較低時(shí)，可以利用蓄冷系統(tǒng)錯(cuò)峰用電，節(jié)省電費(fèi)，且應(yīng)急蓄冷時(shí)間的增加可以提高可靠性。

第三，提高冷凍水進(jìn)水溫度。冷凍水出水溫度提升，制冷量和用電功率都在增加，但制冷量的增幅更大。隨著出水溫度的提升，可以利用更少的電力消耗提供更多的制冷量，有效提升制冷系統(tǒng)能效。隨著供水溫度的提升，冷水主機(jī)的效率大大提高，相比傳統(tǒng)7℃供水溫度，12℃供水溫度時(shí)，制冷主機(jī)效率提高15%以上。

第四，變頻。建議選用變頻冷水主機(jī)、變頻水泵、變頻冷卻塔，從而更大程度地提高暖通主要耗電設(shè)備的平均能效。經(jīng)過對選型設(shè)備的分析，變頻設(shè)備比非變頻設(shè)備平均全年可以提高20%以上的能效，尤其在IT機(jī)房低負(fù)荷率工作的時(shí)間段，變頻設(shè)備的功耗與實(shí)際工況存在立方正比關(guān)系，因此節(jié)能效果非常明顯。

第五，群控系統(tǒng)。通過群控對空調(diào)系統(tǒng)進(jìn)行自動(dòng)控制，每組冷卻塔及相應(yīng)冷卻水泵隨制冷機(jī)組起停聯(lián)動(dòng)，根據(jù)流量分析優(yōu)化冷機(jī)系統(tǒng)組合。在冷卻塔進(jìn)水管路上設(shè)溫度傳感器，由溫度控制器控制冷卻塔泵流量和冷卻塔風(fēng)機(jī)轉(zhuǎn)速，滿足負(fù)荷需求?？照{(diào)冷凍水為一次泵變流量系統(tǒng)，冷凍水泵根據(jù)系統(tǒng)壓差變頻調(diào)節(jié)，同時(shí)保證冷水主機(jī)的最低流量要求。通過實(shí)時(shí)分析室外平均濕球溫度，對冷卻塔出水溫度分段調(diào)節(jié)，以最大化利用低溫季節(jié)，實(shí)現(xiàn)冷機(jī)最優(yōu)的工作效率。

空調(diào)系統(tǒng)節(jié)能是一個(gè)系統(tǒng)工程，單純改善某個(gè)設(shè)備的能效無法達(dá)到最優(yōu)控制，采用如上空調(diào)末端和冷源系統(tǒng)整體優(yōu)化方案可達(dá)到較好的節(jié)能成效。

4 配電系統(tǒng)節(jié)能技術(shù)

數(shù)據(jù)中心電氣系統(tǒng)相關(guān)設(shè)備存在多級轉(zhuǎn)換，同時(shí)有大量的無謂冗余設(shè)計(jì)，電源設(shè)備在低負(fù)荷率下長期工作，導(dǎo)致效率降低。因此本項(xiàng)目通過高可靠的供配電方案，在保證不影響數(shù)據(jù)中心冗余可靠的前提下，提供優(yōu)化電氣回路損耗的技術(shù)方案。主要應(yīng)用技術(shù)包括：

（1）2N配電設(shè)計(jì)。鑒于傳統(tǒng)客戶對高可靠性的要求，不推薦采用市電直供方案，可根據(jù)實(shí)際情況采用雙路UPS，或者1路UPS、另加1路HVDC方案，在確保高可靠性的同時(shí)提高配電系統(tǒng)能效。

（2）高頻UPS。高頻模塊化UPS因其體積小、器件少、整機(jī)效率高等優(yōu)勢，目前應(yīng)用越來越成熟。高頻模塊化UPS效率高達(dá)96%，如采用ECO工作模式效率更可高達(dá)99%。采用兩路UPS備電時(shí)，其中一路可采用ECO模式或者市電直供，以提升電源系統(tǒng)效率。

（3）高壓直流。采用模塊化設(shè)計(jì)，模塊化技術(shù)將功率細(xì)分，更便于實(shí)現(xiàn)能效控制和休眠管理。與傳統(tǒng)UPS相比，高壓直流方案減少一次變換級數(shù)，同時(shí)電池相當(dāng)于直接并入電氣回路，不但能降低設(shè)備成本，還實(shí)現(xiàn)了更高可靠的雙路冗余，模塊化高壓直流方案相比傳統(tǒng)UPS設(shè)備實(shí)現(xiàn)了系統(tǒng)更節(jié)能。

（4）高壓油機(jī)。 作為后備電源的油機(jī)，建議選用高壓油機(jī)，有利于節(jié)省配電柜、母線投資。

5 智能化管理節(jié)能技術(shù)

數(shù)據(jù)中心“重建設(shè)、輕管理”是通病，要實(shí)現(xiàn)智能化管理首先需要實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一化。數(shù)據(jù)的統(tǒng)一化打破過去電、冷、業(yè)務(wù)分割的局面，通過統(tǒng)一化的管理，可以根據(jù)業(yè)務(wù)的變化動(dòng)態(tài)彈性地調(diào)整電源、電力和制冷與之精細(xì)化匹配。機(jī)房智能化節(jié)能管理，可以通過機(jī)房自身的運(yùn)維管理系統(tǒng)持續(xù)地進(jìn)行信息收集及PUE檢測，并通過運(yùn)維手段進(jìn)行關(guān)鍵耗能設(shè)備的調(diào)優(yōu)。更進(jìn)一步的，機(jī)房運(yùn)維管理系統(tǒng)可以搭載AI平臺實(shí)現(xiàn)節(jié)能調(diào)優(yōu)，機(jī)房運(yùn)維管理系統(tǒng)通過按時(shí)間周期方式采樣數(shù)據(jù)中心多個(gè)時(shí)間點(diǎn)的室外氣候、設(shè)備運(yùn)行情況，以及系統(tǒng)運(yùn)行工況和業(yè)務(wù)運(yùn)行狀態(tài)等海量數(shù)據(jù)，并篩選關(guān)鍵特征參數(shù)傳遞給AI平臺作為輸入信息，同時(shí)傳遞PUE（機(jī)房能效指標(biāo)）作為輸出信息，AI平臺通過人工智能算法進(jìn)行數(shù)據(jù)分析和深度學(xué)習(xí)，模擬出輸入輸出信息的數(shù)據(jù)模型，并實(shí)現(xiàn)多種運(yùn)行模式的測算，最終選擇最佳PUE運(yùn)行模式下發(fā)指令，使數(shù)據(jù)中心進(jìn)入節(jié)能調(diào)優(yōu)模式。

6 結(jié)束語

數(shù)據(jù)中心建設(shè)節(jié)能是永恒的話題，在5G時(shí)代，高可靠、低時(shí)延、增強(qiáng)移動(dòng)寬帶、海量連接的特性，要求數(shù)據(jù)中心建設(shè)在追求更加節(jié)能的同時(shí)，與可靠性之間尋求一種平衡，更多地探索創(chuàng)新技術(shù)的應(yīng)用以及總結(jié)實(shí)際運(yùn)用經(jīng)驗(yàn)。

綜上所述，本文針對數(shù)據(jù)中心在確保高可靠性的基礎(chǔ)上，如何提升能效、降低成本，從機(jī)柜擺放方式、空調(diào)系統(tǒng)、配電系統(tǒng)、管控系統(tǒng)等多方面提出了完整解決方案，并在實(shí)際項(xiàng)目中落地驗(yàn)證取得了較好成效，被同類型項(xiàng)目參考借鑒。