文｜國網(wǎng)信息通信有限公司 郭向東

1 引言

目前，國內大型數(shù)據(jù)中心如雨后春筍般層出不窮，數(shù)據(jù)中心面積越來越大，從幾百平方米到幾千平方米，甚至上萬平方米的數(shù)據(jù)中心越建越多。如此大規(guī)模的數(shù)據(jù)中心對電力的需求也呈現(xiàn)出爆炸式增長的趨勢，因此，節(jié)能成為大型數(shù)據(jù)中心在設計和運行時要考慮的首要問題之一。

據(jù)全球最具權威的IT研究與顧問咨詢公司——Gartner（高德納）公司統(tǒng)計，隨著能耗和能源成本的節(jié)節(jié)攀升，能源支出已成為全球70%數(shù)據(jù)中心的第二大運營支出項目，僅次于人力成本。鑒于國內的人力成本較低，國內數(shù)據(jù)中心的能源支出要遠遠超過人力成本。從各大數(shù)據(jù)中心對電力的需求來看，數(shù)據(jù)中心已經成為重要的高耗能產業(yè)而非“無煙工業(yè)”，建設綠色、節(jié)能的數(shù)據(jù)中心急需從概念走向實際。

2 數(shù)據(jù)中心節(jié)能的必要性

按照Tier3或Tier4的標準，數(shù)據(jù)中心電力應按照1.0～1.6kW/m2的需求進行配置。很多國外數(shù)據(jù)中心的電力配置更高，例如，美國“圣地亞哥超級計算機中心（SDSC）”的數(shù)據(jù)中心按照1.42kW/m2配置電力；馬里蘭州畢士大（Bethesda）的“美國國家環(huán)境預報中心（NCEP）”的數(shù)據(jù)中心電力配置達到1.85kW/m2。目前國內新建數(shù)據(jù)中心的電力配置也基本滿足Tier3或Tier4的要求。根據(jù)對國內數(shù)據(jù)中心的調查統(tǒng)計，面積為1000m2的機房，每年的用電量多在500～700萬度左右，因此節(jié)能十分重要。

隨著數(shù)據(jù)中心的不斷變大，綠色節(jié)能數(shù)據(jù)中心已經由概念走向實際。衡量數(shù)據(jù)中心節(jié)能的指標通常用PUE（Power Usage Effectiveness）值表示，簡單來說PUE=機房總耗電量/IT設備耗電量，PUE越低，說明機房越節(jié)能。當PUE=1時，說明機房所消耗的電量全部用來維持IT設備運行，其他設備如空調、照明等沒有消耗任何電力，在理論上是最節(jié)能的機房。當然，這在實際中是不可能的，但追求更低的PUE值已經成為數(shù)據(jù)中心設計的首要目標。例如，微軟公司建在都柏林的數(shù)據(jù)中心是數(shù)據(jù)中心設計的里程碑，其PUE值為1.25。據(jù)最新報道，Google公司現(xiàn)在已經有部分數(shù)據(jù)中心的PUE值降低到1.11。

而我國目前數(shù)據(jù)中心的PUE平均值基本在1.8～2.0，中小規(guī)模機房的PUE值更高，大都在2.5以上。這表明國內數(shù)據(jù)中心在前期規(guī)劃及設計時沒有充分考慮節(jié)能問題，在數(shù)據(jù)中心選址、機房裝修、空調制冷、UPS、照明等影響節(jié)能的因素上存在設計缺陷，導致PUE值偏高。然而，不切實際的追求過低的PUE值同樣是不可取的，過度追求更低的PUE值通常情況下都需在建設初期投入大量的資金，這對國內的企業(yè)是個兩難的選擇。

3 綠色節(jié)能數(shù)據(jù)中心的設計理念

3.1 國外綠色節(jié)能數(shù)據(jù)中心簡介

大型數(shù)據(jù)中心的建設應以安全、綠色、節(jié)能為首要目標，從數(shù)據(jù)中心的選址、建筑結構、設備選型到機房裝修、空調制冷方案都應充分考慮綠色節(jié)能的因素。

國外在這方面有很多案例值得借鑒，例如惠普公司將數(shù)據(jù)中心建在靠近海邊的溫耶德，將涼爽的海風進行預處理后直接送入機房作為免費冷源。溫耶德數(shù)據(jù)中心是惠普公司能源使用效率最高的數(shù)據(jù)中心，據(jù)估算滿負荷運行時，該數(shù)據(jù)中心的PUE值僅為1.16。此外雅虎公司的紐約數(shù)據(jù)中心、微軟公司的都柏林數(shù)據(jù)中心等也都采用了冷空氣作為免費冷源的制冷方式，省去了空調制冷設備，取得了非常低的PUE值，提高了電能利用效率。

3.2 節(jié)能設計的理念

數(shù)據(jù)中心節(jié)能設計涵蓋多個方面，主要因素當然是空調制冷系統(tǒng)，但UPS、機房裝修、照明等因素同樣影響著PUE值，甚至變壓器、母線等選型也影響著PUE值。對于UPS而言，根據(jù)IT設備的實際負荷選擇合理的UPS容量，避免因UPS效率過低而產生較大的自身損耗。同時，選擇更加節(jié)能的高頻機、優(yōu)化UPS拓撲結構都可起到節(jié)能的效果。將IT設備專用變壓器布置在靠近服務器機房的地方，可減少母線長度，節(jié)約母線的投資，同時在運行時也減少了線損，節(jié)約了電費。

在機房裝修方面，對墻、頂、地采用保溫材料也可以取得很好的節(jié)能效果。盡量加大架空地板的高度，使風口地板出風更加均勻，提高精密空調制冷效率，同樣有利于機房節(jié)能。根據(jù)實驗分析，架空地板高度為1200mm比較理想，考慮到其他因素，一般建議取900mm～1000mm為宜。機房內最好采用冷熱通道封閉設計，并利用盲板封堵未安裝服務器的機柜，避免冷氣流“短路”，將極大地提高精密空調的制冷效率。

據(jù)美國采暖制冷與空調工程師學會（ASHRAE）技術委員會9.9（簡稱TC9.9）統(tǒng)計報告顯示，數(shù)據(jù)中心各部分用電量比例如圖1所示。

從圖1可以看出，空調制冷占數(shù)據(jù)中心總電量的近三分之一，是降低PUE值的關鍵指標。將外界冷空氣進行過濾、加濕后直接送入機房，進而取消空調設備，固然是個很節(jié)能的方案，但對國內的空氣質量而言，其用在空氣過濾及加濕上的費用及人工費用恐怕要遠高于電力費用，不具有大規(guī)模的使用價值。

筆者近年來參與了多個數(shù)據(jù)中心的建設和運維工作，其中用到了“自然冷卻”這個技術，取得了很好的節(jié)能效果。根據(jù)數(shù)據(jù)中心設計和運行時出現(xiàn)的問題，談一下筆者的心得，供讀者參考。

4 綠色節(jié)能數(shù)據(jù)中心的建設實例

4.1 項目背景

該項目位于北京地區(qū)，數(shù)據(jù)中心建筑面積約2萬平方米，其中機房面積約1萬平方米，由若干個機房模塊組成，服務器機房的IT設備熱負荷及環(huán)境熱負荷達到1.4萬千瓦。面對如此巨大的發(fā)熱量，采用傳統(tǒng)的風冷式精密空調顯然不適于本項目。在進行前期制冷方案論證時，根據(jù)北京地區(qū)冬季時間長、氣溫低的特點，決定采用空調冷水機組+板式換熱器相結合的“自然冷卻”制冷方案，在機房內通過冷凍水型精密空調向IT服務器提供冷源。

采用冷凍水制冷方式比傳統(tǒng)的風冷制冷方式更加節(jié)能，這種系統(tǒng)在機房內采用低溫冷凍水對IT設備降溫，再將機房內的熱量輸送到戶外，采取水蒸發(fā)的方式進行散熱。由于采用了高效率的大型冷水機組及散熱冷卻塔，再加上對水系統(tǒng)采取嚴密的控制措施，可以使冷卻效果得到更好的保證。

4.2 實施方案簡介

“自然冷卻”即“FREE-COOLING”技術是一個非常廣泛的概念，簡單來說只要利用外界自然條件減少耗電制冷的技術都可稱之為“自然冷卻”。本項目中制冷系統(tǒng)在冬季和夏季采用不同的運行模式實現(xiàn)節(jié)能。在冬季及過渡季節(jié)，當外界濕球溫度小于4℃時，采用FREE-COOLING運行模式，即冷水機組停止運行，經冷卻塔散熱后的冷卻水和從精密空調來的冷凍水在板式換熱器內進行熱交換，將機房內的熱量帶走，此時冷卻塔起到冷水機組的作用。在此過程中僅冷卻塔的風扇、水泵及精密空調等設備在耗電，而冷水機組完全沒有耗電。在夏季及過渡季節(jié)，當外界濕球溫度高于4℃時，F(xiàn)REECOOLING運行模式已無法滿足數(shù)據(jù)中心制冷需求，此時冷水機組開始制冷，回到傳統(tǒng)的空調壓縮機制冷模式運行。

4.3 技術要點

4.3.1 數(shù)據(jù)中心制冷系統(tǒng)設計

作為數(shù)據(jù)中心的關鍵基礎設施，冷凍站的設計是最重要環(huán)節(jié)。本項目設置兩個相對獨立的制冷機房，每個冷凍機房有兩臺3500kW（合1000RT）的離心式冷水機組，三用一備。冷凍水供回水溫度設定為11℃/17℃?？紤]前期負荷較小，為避免離心式冷水機組在低負荷時發(fā)生“喘振”現(xiàn)象，系統(tǒng)配置兩臺400RT的螺桿式冷水機組。板式換熱器按冷凍水11℃/17℃ ，冷卻水 9℃/14℃進行設計。

為實現(xiàn)制冷系統(tǒng)的不同運行模式，冷凍水泵選擇了兩種不同揚程的變頻水泵以適應FREE-COOLING運行模式和冷水機組制冷模式。

4.3.2 空調水系統(tǒng)設計

為避免空調水系統(tǒng)的單點故障，空調冷凍水系統(tǒng)采用環(huán)狀管網(wǎng)加按模塊組設枝狀管網(wǎng)的方式。各模塊組內空調管網(wǎng)上的閥門配置原則應滿足：當一組閥門發(fā)生故障時，受影響的負荷不大于30%的模塊負荷。冷卻水主環(huán)管道設置在室外冷卻塔下，為平衡各管道的壓降，在所有回水主管設置平衡閥。

鑒于數(shù)據(jù)中心全年不間斷運行的特點，要求空調水系統(tǒng)也應具備全年不間斷。因此設計空調水系統(tǒng)時必須充分考慮安全可靠性和可在線維護性?？照{水系統(tǒng)一旦發(fā)生泄漏，將造成毀滅性的事故，需要采取特殊的措施加以防范，在保證數(shù)據(jù)中心運行的同時，實現(xiàn)安全更換閥門、管件等設備。

4.3.3 空調系統(tǒng)控制邏輯

在制定空調系統(tǒng)控制邏輯時，首先基于冷水機組、水泵、冷卻塔的能耗數(shù)據(jù)及北京地區(qū)的氣象條件，提出了合理的節(jié)能系統(tǒng)流程圖，并與假定冷水機組全年運行的能耗數(shù)據(jù)進行比較，在理論上做出節(jié)能運行分析。

其次，為了保證空調系統(tǒng)安全、節(jié)能運行，本項目中控制邏輯分為夏季和冬季兩種模式。在由冷水機組轉換到自然冷卻時，為了避免冷水機組發(fā)生低溫保護，必須首先開啟冷卻水管道的旁通閥，將冷卻水水溫提高，以便順利開啟冷水機組。

冬季自然冷卻時，冷卻塔處于低溫環(huán)境，而冷卻塔又必須供應低于冷凍水溫的冷卻水（比如6℃～8℃的冷卻水），控制邏輯必須防止冷卻塔結冰現(xiàn)象的發(fā)生。

控制邏輯還需采取必要的措施以應對極端情況，如傳感器失靈、斷電重啟等。在本項目中為了減少斷電重啟所需的時間，本系統(tǒng)中所有電動閥門由UPS供電。

4.4 節(jié)能方案所取得的效果

根據(jù)實際運行經驗，本數(shù)據(jù)中心最遲從每年的12月中旬就可啟用FREE-COOLING運行模式，一直可持續(xù)到第二年的3月底至4月中旬，每年至少可使用3.5～4個月的免費冷源，節(jié)能效果非常顯著。

表1是我國北方某數(shù)據(jù)中心的2010年7月份至12月份的用電量統(tǒng)計及相應的PUE值，該數(shù)據(jù)中心所采用的空調制冷方案與本文數(shù)據(jù)中心所采用的方案完全相同。

從表1可知，8月份 IT設備的負荷比7月份有所增加，因此8月份的PUE值比7月份略有降低。9、10月份平均氣溫低，此時冷卻水溫度較低，冷水機組效率得以提高，因此9、10月份的PUE值比7、8月份PUE值明顯偏低。因當年11、12月份的氣溫較低，該系統(tǒng)已完全具備FREE-COOLING運行模式所需的條件，冷水機組壓縮機已停止工作不再耗電。因此，此時雖然UPS的用電量在逐步加大，但空調的用電量卻比7、8、9、10月份的用電量還要低，PUE值從1.76降低到1.33，節(jié)能效果非常明顯。

4.5 尚需完善的環(huán)節(jié)

本項目中采用的冷卻塔+板式換熱器模式與冷水機組運行模式是并聯(lián)的關系，在同一時間只能有一種模式在運行，兩種模式不可同時運行，即在冷卻塔+板式換熱器模式運行時冷機是無法運行的。然而，更加節(jié)能的方式是冷卻塔+板式換熱器模式與冷水機組模式進行所謂的“串并聯(lián)”運行。即在春、秋過渡季節(jié)，當氣溫稍低，但又不具備FREE-COOLING運行條件時，可以采用冷卻塔+板式換熱器模式+冷水機組運行模式，使冷水機組工作在部分負荷下，即冷凍水首先通過冷卻塔+板式換熱器先進行降溫，降溫后的冷凍水在冷機開啟的情況下可以達到更進一步的節(jié)能，這種空調制冷方案可以更充分地利用空氣自然冷卻，在北方地區(qū)每年從10月初開始至次年的5月初，每年有近7個月可以使用免費冷源，節(jié)能效果非常明顯。

5 對數(shù)據(jù)中心節(jié)能的簡單思考

綠色數(shù)據(jù)中心已經不再是一個概念，任何大型數(shù)據(jù)中心的設計必須優(yōu)先考慮節(jié)能問題，數(shù)據(jù)中心已經成為高耗能的產業(yè)。以北京亦莊經濟技術開發(fā)區(qū)來看，其轄區(qū)所建的幾個數(shù)據(jù)中心的耗電量均排在前列。數(shù)據(jù)中心節(jié)能不僅是設計階段的任務，同時更是運行階段的主要目標之一，國際上有越來越多的數(shù)據(jù)中心設計和管理人員在討論現(xiàn)有的數(shù)據(jù)中心運行溫度是否太低，認為應該設置到81華氏度（27.2℃），甚至有人建議達到95華氏度（35℃）。據(jù)了解，國外某些機房就是按照這個溫度運行，效果很好。據(jù)有關報道，制冷參數(shù)變化1℃，可能會產生5%～10%能耗變化。

我國現(xiàn)行的機房標準對溫度設定過低，不利于機房節(jié)能。提高機房溫度所帶來的最大益處是可以延長自然冷卻的使用時間，提高精密空調送風溫度和提高冷凍水出水溫度。

表1