校園綠色數(shù)據(jù)中心的建設(shè)與實(shí)踐

支 琴 尹惠鏡 姚仁忠 上海交通大學(xué)

據(jù)IDC發(fā)布的研究報(bào)告顯示[1]，2012年中國數(shù)據(jù)中心數(shù)量己達(dá)到510 530個(gè)，約占全球數(shù)據(jù)中心的13%，2012至2017年的復(fù)合增長率（CAGR）為9.8%，并預(yù)測未來5年仍將保持接近兩位數(shù)的增長。綠色和平的一份報(bào)告也預(yù)測，到2020年，全球主要IT營運(yùn)商云計(jì)算的能耗將近2萬億kWh，超過德國、法國、加拿大和巴西等4國的能耗總和。而按我國現(xiàn)有數(shù)據(jù)中心規(guī)模統(tǒng)計(jì)，其用電量已經(jīng)占到我國全社會(huì)總量的1.5%左右。

隨著學(xué)校信息化建設(shè)的不斷深入，校園網(wǎng)建設(shè)日趨完善，應(yīng)用系統(tǒng)也隨之日益增多，校園數(shù)據(jù)中心的數(shù)據(jù)和規(guī)模都持續(xù)增長[2]，以上海交通大學(xué)閔行校區(qū)網(wǎng)絡(luò)信息中心為例：168個(gè)機(jī)柜，600多臺(tái)服務(wù)器、網(wǎng)絡(luò)設(shè)備等，配置9臺(tái)空調(diào)，每年總耗電量200萬kWh左右；超級(jí)計(jì)算中心415個(gè)節(jié)點(diǎn)（其中雙路高密度計(jì)算節(jié)點(diǎn)332個(gè)），每節(jié)點(diǎn)2*8核IntelXeonE5-2670處理器，DDN存儲(chǔ)陣列720TB，水冷空調(diào)，每年電費(fèi)130萬kWh左右。

在建設(shè)“數(shù)字大學(xué)”的信息化藍(lán)圖的歷史進(jìn)程中，學(xué)校的信息化支撐條件和服務(wù)水平得到了持續(xù)改善提高，然而如何從節(jié)能環(huán)保的角度，構(gòu)建科學(xué)規(guī)劃、創(chuàng)新實(shí)施和有效管理的現(xiàn)代大學(xué)綠色數(shù)據(jù)中心，對深化落實(shí)節(jié)約型校園建設(shè)具有重要意義，也是學(xué)校信息化建設(shè)的重要課題。本文從綠色數(shù)據(jù)中心的構(gòu)建內(nèi)涵、技術(shù)應(yīng)用和運(yùn)營管理等方面闡述了適用于學(xué)校校園的綠色數(shù)據(jù)中心的建設(shè)實(shí)踐，期望對其他學(xué)校在綠色數(shù)據(jù)中心建設(shè)方面有所借鑒。

1 校園數(shù)據(jù)中心的特點(diǎn)

1.1 數(shù)據(jù)中心概念

數(shù)據(jù)中心從廣義上[3]說是以外包方式讓許多網(wǎng)上公司存放它們設(shè)備（主要是網(wǎng)站）或數(shù)據(jù)的地方，是場地出租概念在因特網(wǎng)領(lǐng)域的延伸。數(shù)據(jù)中心是一整套復(fù)雜的設(shè)施。它不僅包括計(jì)算機(jī)系統(tǒng)和其它與之配套的設(shè)備（例如通信和存儲(chǔ)系統(tǒng)）還包含冗余的數(shù)據(jù)通信連接、環(huán)境控制設(shè)備、監(jiān)控設(shè)備以及各種安全裝置。

數(shù)據(jù)中心主要提供主機(jī)托管、服務(wù)器租用、虛擬主機(jī)、云服務(wù)器（虛擬機(jī)租用）、CDN加速等服務(wù)。從功能上數(shù)據(jù)中心分為部門級(jí)、企業(yè)級(jí)、互聯(lián)網(wǎng)級(jí)、主機(jī)托管和云計(jì)算數(shù)據(jù)中心等，從規(guī)模上數(shù)據(jù)中心分為微型（面積小于200㎡）、小型（200～500㎡）、中型（500～2000㎡）和大型（大于2000㎡）。

1.2 校園數(shù)據(jù)中心的構(gòu)成

校園數(shù)據(jù)中心是數(shù)字校園的神經(jīng)中樞，它存放著服務(wù)于學(xué)校信息化的各類服務(wù)器系統(tǒng)，是保證數(shù)字校園的各個(gè)應(yīng)用系統(tǒng)穩(wěn)定、高效運(yùn)行的基礎(chǔ)。普遍意義上來講校園數(shù)據(jù)中心主要由機(jī)房環(huán)境、網(wǎng)絡(luò)環(huán)境、計(jì)算資源、集中存儲(chǔ)、數(shù)據(jù)運(yùn)行環(huán)境、安全體系、容災(zāi)中心等部分組成。

（1）機(jī)房環(huán)境。主要指提供防塵防靜電的環(huán)境、充足持續(xù)的電力系統(tǒng)、恒溫恒濕的制冷系統(tǒng)、氣體滅火消防系統(tǒng)、電子門禁系統(tǒng)、環(huán)境監(jiān)控報(bào)警系統(tǒng)；綜合布線及機(jī)柜系統(tǒng)。

（2）網(wǎng)絡(luò)環(huán)境。主要指在數(shù)據(jù)中心內(nèi)部建立冗余的網(wǎng)絡(luò)鏈接，當(dāng)校園網(wǎng)的某一部分出現(xiàn)故障時(shí)，數(shù)據(jù)中心內(nèi)部的所有數(shù)據(jù)交換不會(huì)因此而中斷，保證網(wǎng)絡(luò)的暢通無阻，并配備及時(shí)發(fā)現(xiàn)問題的網(wǎng)絡(luò)監(jiān)控系統(tǒng)。

（3）計(jì)算資源環(huán)境。主要指服務(wù)器架構(gòu)的設(shè)計(jì)必須從整體上進(jìn)行容量規(guī)劃，根據(jù)應(yīng)用的需求合理布局，使系統(tǒng)易于擴(kuò)展性，實(shí)現(xiàn)資源共享，避免經(jīng)費(fèi)浪費(fèi)。

（4）集中存儲(chǔ)。集中存儲(chǔ)是實(shí)現(xiàn)數(shù)據(jù)共享、建立高可用運(yùn)行環(huán)境的關(guān)鍵環(huán)節(jié)，根據(jù)數(shù)據(jù)訪問方式及重要程度采用不同的技術(shù)，實(shí)現(xiàn)數(shù)據(jù)集中存儲(chǔ)。

（5）數(shù)據(jù)運(yùn)行環(huán)境，主要涉及數(shù)據(jù)庫管理系統(tǒng)、數(shù)據(jù)倉庫管理系統(tǒng)和數(shù)據(jù)共享與交換。

（6）安全體系主要分物理安全、審計(jì)系統(tǒng)、安全監(jiān)控系統(tǒng)。校園數(shù)據(jù)中心要保證各應(yīng)用系統(tǒng)的安全運(yùn)行，同時(shí)還要保證數(shù)據(jù)的安全性，因此在系統(tǒng)架構(gòu)上要充分考慮網(wǎng)絡(luò)安全和數(shù)據(jù)安全。

（7）容災(zāi)中心建設(shè)需要根據(jù)學(xué)校的實(shí)際情況分步進(jìn)行。數(shù)據(jù)的丟失可以有很多因素，誤操作、磁盤等設(shè)備出問題等，都可以導(dǎo)致數(shù)據(jù)丟失。因此數(shù)據(jù)備份應(yīng)是數(shù)據(jù)中心提供的基本服務(wù)。從校園數(shù)據(jù)中心的角度來講，不僅要考慮到數(shù)據(jù)的快速備份、恢復(fù)等問題，還要提供應(yīng)付災(zāi)難性的后備與恢復(fù)措施。

1.3 校園數(shù)據(jù)中心的能耗特點(diǎn)

通過對校園數(shù)據(jù)中心的現(xiàn)場排摸，結(jié)合其承擔(dān)的工作內(nèi)容，數(shù)據(jù)中心總能耗主要是用電消耗，其耗電包括IT設(shè)備、電源系統(tǒng)、制冷系統(tǒng)和照明等其他設(shè)施（如圖1）。

圖1 校園數(shù)據(jù)中心的能耗構(gòu)成

根據(jù)校園節(jié)能監(jiān)管體系建設(shè)對重點(diǎn)用能建筑分項(xiàng)計(jì)量的具體要求以及數(shù)據(jù)中心設(shè)計(jì)規(guī)范，以上海交通大學(xué)閔行校區(qū)數(shù)據(jù)中心為典型案例，采集其分項(xiàng)用電消耗如圖2：

從校園數(shù)據(jù)中心的能耗占比來看，主要消耗來源于對外服務(wù)的主體，即IT設(shè)備，以及數(shù)據(jù)中心環(huán)境建設(shè)的主要內(nèi)容，即制冷系統(tǒng)。

圖2 校園數(shù)據(jù)中心的能耗占比

2 校園綠色數(shù)據(jù)中心的建設(shè)應(yīng)用

2.1 技術(shù)路線

校園綠色數(shù)據(jù)中心[2]的概念，主要是指數(shù)據(jù)機(jī)房中的IT系統(tǒng)、機(jī)械、照明和電氣等能取得最大化的能源效率和最小化的環(huán)境影響。其建設(shè)需要緊跟學(xué)校信息化建設(shè)進(jìn)程，在保證各應(yīng)用系統(tǒng)穩(wěn)定、安全、持續(xù)運(yùn)行的前提下，實(shí)現(xiàn)各系統(tǒng)的綠色高效運(yùn)行。這不僅是技術(shù)層面的項(xiàng)目改造，對綠色運(yùn)營也提出了新的要求。因此校園綠色數(shù)據(jù)中心的建設(shè)主要從兩方面入手：

1）技術(shù)環(huán)境建設(shè)

根據(jù)數(shù)據(jù)中心能耗結(jié)構(gòu)情況，技術(shù)環(huán)境的建設(shè)可以從防塵防靜電、電力系統(tǒng)保障、恒溫恒濕制冷系統(tǒng)、綜合布局等方面實(shí)施。而一般情況下，數(shù)據(jù)中心的設(shè)計(jì)均需按照數(shù)據(jù)中心建設(shè)的相關(guān)標(biāo)準(zhǔn)進(jìn)行，如《電子信息系統(tǒng)機(jī)房設(shè)計(jì)規(guī)范》（GB50174－2008）、《電子信息系統(tǒng)機(jī)房施工及驗(yàn)收規(guī)范》（GB50462－2008）、《數(shù)據(jù)中心通信設(shè)施標(biāo)準(zhǔn)》（TIA/EIA-942）等，對防塵、電力系統(tǒng)保障等方面在數(shù)據(jù)中心規(guī)劃建設(shè)初即需進(jìn)行整體性的頂層設(shè)計(jì)，且后期改造空間不大。因此，對于己投入使用的及即將規(guī)劃建設(shè)的校園綠色數(shù)據(jù)中心，恒溫恒濕制冷系統(tǒng)和綜合布局設(shè)計(jì)調(diào)整成為改善優(yōu)化技術(shù)環(huán)境和建設(shè)校園綠色數(shù)據(jù)中心的突破口。

2）綠色運(yùn)營管理

隨著各項(xiàng)節(jié)能技術(shù)的廣泛應(yīng)用，數(shù)據(jù)中心的技術(shù)環(huán)境建設(shè)其實(shí)并不難，關(guān)鍵是后期的完善和管理，這也是目前大部分學(xué)校在數(shù)據(jù)中心方面做的不足的地方，因此，實(shí)施高效的綠色運(yùn)營管理對構(gòu)建綠色數(shù)據(jù)中心能夠起到事半功倍的作用。這也進(jìn)一步確立了校園綠色數(shù)據(jù)中心建設(shè)的另一有效途徑，即在高可用的校園數(shù)據(jù)中心硬件設(shè)施完善的基礎(chǔ)上，建立綠色數(shù)據(jù)中心運(yùn)行、協(xié)調(diào)和監(jiān)管的相應(yīng)機(jī)制，應(yīng)用科學(xué)的、標(biāo)準(zhǔn)化的制度、職能和結(jié)構(gòu)設(shè)計(jì)，架構(gòu)并實(shí)施一套完整、合理的管理工作規(guī)范體系。

以下將以上海交通大學(xué)綠色數(shù)據(jù)中心建設(shè)為例介紹校園綠色數(shù)據(jù)中心的建設(shè)應(yīng)用。

2.2 技術(shù)應(yīng)用

學(xué)校數(shù)據(jù)中心存在熱負(fù)荷大、濕負(fù)荷小的特點(diǎn)，其熱點(diǎn)主要在設(shè)備端的發(fā)熱、結(jié)構(gòu)型散熱、機(jī)房照明等，對不同密度布置的數(shù)據(jù)中心需采用不同的制冷系統(tǒng)和綜合布局設(shè)計(jì)。

2.2.1 低密度設(shè)備布置的節(jié)能設(shè)計(jì)改造

（1）冷熱通道隔離

對機(jī)柜前導(dǎo)入下送風(fēng)冷通道和機(jī)柜后頂部熱通道進(jìn)行隔離，在機(jī)柜未裝設(shè)備的地方安裝盲板，防止冷空氣從空隙中流過，從而讓冷空氣只能通過服務(wù)器等IT設(shè)備，這樣避免發(fā)生冷熱混風(fēng)和廢熱倒灌現(xiàn)象，改變機(jī)房環(huán)境氣流組織和減低冷通道的溫度梯度，使冷量的利用率提高,從而改良機(jī)柜內(nèi)的有效制冷效果,最大限度地提高能效。

（2）自然風(fēng)制冷系統(tǒng)設(shè)計(jì)

對原下送風(fēng)精密空調(diào)加裝乙二醇+水間接自由制冷循環(huán)系統(tǒng)，充分利用自然界存在的豐富冷源，降低原空調(diào)系統(tǒng)的能耗。 當(dāng)室內(nèi)外溫度差高于室內(nèi)設(shè)定溫度5℃時(shí)（此值可以自由設(shè)定2～5℃），壓縮機(jī)制冷；當(dāng)室外溫度低于室內(nèi)設(shè)定溫度值大于5℃時(shí)，壓縮機(jī)制冷進(jìn)入熱備份狀態(tài)，水-乙二醇被室外干冷器冷凝后通過水+乙二醇換熱器冷卻室內(nèi)空氣，利用室外的低溫空氣，對設(shè)備冷卻降溫，減少空調(diào)壓縮機(jī)的工作時(shí)間，從而達(dá)到機(jī)房節(jié)能降耗的目的。根據(jù)機(jī)房溫度控制標(biāo)準(zhǔn)點(diǎn)24攝氏度的要求，本系統(tǒng)在19℃以下開始進(jìn)入工作狀態(tài)。該溫度范圍貫穿上海市氣溫環(huán)境秋、冬、春三個(gè)季節(jié)，節(jié)能效益明顯。

綜上所述兩項(xiàng)技術(shù)的實(shí)施，經(jīng)測算原有的數(shù)據(jù)中心節(jié)能率為13%。

2.2.2 中密度設(shè)備布置的節(jié)能設(shè)計(jì)改造

（1）水平送風(fēng)系統(tǒng)

采用列間精密空調(diào)水平前送風(fēng)后回風(fēng)方式。縮短了風(fēng)流路徑可減少冷熱氣流混合的機(jī)會(huì)，借以提高氣流分配的可預(yù)測性。預(yù)測針對 IT 設(shè)備的氣流分配可更精確地控制不斷變化的氣流速度，實(shí)現(xiàn)自動(dòng)調(diào)節(jié)，以滿足就近 IT 負(fù)載的需求?？勺兯亠L(fēng)扇只以 IT 負(fù)載所需的速度旋轉(zhuǎn)，不會(huì)像恒速風(fēng)扇那樣浪費(fèi)能源。平衡了機(jī)柜上下之間的溫差，冷量損耗得到降低，提高了單元機(jī)柜的載荷密度，同面積同功耗卻極大提升了機(jī)房的承載力。

（2）熱通道隔離

機(jī)柜擺放采用背靠背方式。對后頂部熱通道進(jìn)行隔離，在機(jī)柜沒裝設(shè)備的地方裝上盲板，防止熱空氣從空隙中流過，從而讓空調(diào)捕獲IT 負(fù)載剛剛釋放出的熱空氣，減少其與周圍空氣混合的機(jī)會(huì)，這樣既避免發(fā)生冷熱混風(fēng)和廢熱倒灌現(xiàn)象，也極大地提高了空調(diào)工作效率。

（3）空調(diào)外機(jī)冷凍水制冷機(jī)組和自然冷卻單元

冷凍水制冷方式，極大地減少了二氧化碳的排放，還可實(shí)現(xiàn)市電停電一段時(shí)間內(nèi)仍有冷量連續(xù)輸出。方便加載自然冷卻單元，在室外溫度低于12℃以下時(shí)可停止壓縮機(jī)工作，僅靠大自然提供冷卻水對IT負(fù)載提供冷量。

當(dāng)前學(xué)校的災(zāi)備機(jī)房，面積120㎡，設(shè)計(jì)最大負(fù)載能力200kW。當(dāng)前配備21臺(tái)IT設(shè)備機(jī)柜，30kw制冷量列間空調(diào)5臺(tái)。采用上述3項(xiàng)改造技術(shù)，相對原傳統(tǒng)機(jī)房設(shè)計(jì)節(jié)能在20%左右。

2.2.3 高密度設(shè)備布置的節(jié)能設(shè)計(jì)

采用液冷密閉機(jī)柜系統(tǒng)，即密閉機(jī)柜與冷水機(jī)組組成的制冷系統(tǒng)，加之自然冷卻模塊和冗余的變頻水泵的使用，其節(jié)能效果將更加明顯，單柜負(fù)載極大地得到提升，也大大降低了IT設(shè)備高速運(yùn)轉(zhuǎn)產(chǎn)生的噪音。據(jù)測算，機(jī)柜級(jí)的制冷方式相對列間的制冷方式節(jié)能在40%左右。

當(dāng)前學(xué)校超算中心機(jī)房選用了威圖的液冷密閉機(jī)柜系統(tǒng),已在正式運(yùn)行。

2.3 綠色運(yùn)營管理

綠色數(shù)據(jù)中心的運(yùn)營管理需充分建立在“管控結(jié)合”的基礎(chǔ)上。

（1）加強(qiáng)組織建設(shè)、提高專業(yè)技術(shù)人員配備

對于學(xué)校信息中樞的數(shù)據(jù)中心，必須建立一支強(qiáng)有力的業(yè)務(wù)與技術(shù)兼?zhèn)涞墓芾韴F(tuán)隊(duì)實(shí)施管理，以實(shí)現(xiàn)數(shù)據(jù)中心的高可靠運(yùn)行。管理團(tuán)隊(duì)除了對機(jī)房數(shù)據(jù)、運(yùn)行配套等非常熟悉之外，還需對數(shù)據(jù)技術(shù)的應(yīng)用比較精通。同時(shí)，在人員配備上要考慮用不同層次的人員，完成不同的任務(wù)，明確每個(gè)角色的職責(zé)，在建設(shè)初期、正式運(yùn)行及交付運(yùn)行的全生命周期建立各類工作規(guī)范，并嚴(yán)格執(zhí)行。

（2）統(tǒng)籌規(guī)劃設(shè)計(jì)、嚴(yán)把設(shè)備采購關(guān)口

綠色數(shù)據(jù)中心規(guī)劃時(shí)要考慮綜合使用、管理、運(yùn)維，按照學(xué)校數(shù)據(jù)中心增長預(yù)測和技術(shù)情況對數(shù)據(jù)中心進(jìn)行統(tǒng)一規(guī)劃，采用模塊化設(shè)計(jì)，根據(jù)運(yùn)維情況分步啟用相應(yīng)模塊以及配置相應(yīng)設(shè)備。同時(shí)，IT產(chǎn)品的采購，能耗作為其中一個(gè)重要指標(biāo)，設(shè)備按需采購，根據(jù)業(yè)務(wù)增長和安全管理要求設(shè)置和一定冗余量。

（3）優(yōu)化數(shù)據(jù)資源、加強(qiáng)設(shè)備管理

采用數(shù)據(jù)技術(shù)對龐大數(shù)據(jù)資源的優(yōu)化配置是實(shí)現(xiàn)運(yùn)營的有效手段。如當(dāng)前比較流行的虛擬化技術(shù)和云技術(shù)，可以大大提升能效。另一方面，須對耗能設(shè)備實(shí)施高效的設(shè)備管理。如對服務(wù)器可采用自動(dòng)休眠技術(shù)，降低待機(jī)能耗；對IT設(shè)備實(shí)行定期評(píng)估，對低能效設(shè)備實(shí)行下線或遷移；對UPS及電池定期維護(hù)、定期放電，延長電池壽命的同時(shí)提高電源效率；對制冷系統(tǒng)實(shí)行定期維護(hù)、定期沖洗。

（4）實(shí)施機(jī)房能耗監(jiān)測、提高管理能效

數(shù)據(jù)機(jī)房能耗是數(shù)據(jù)中心綠色化首要考量的指標(biāo)，因此，數(shù)據(jù)機(jī)房的能耗監(jiān)測勢在必行。對數(shù)據(jù)中心包含的各個(gè)方面須單獨(dú)計(jì)量，如制冷系統(tǒng)、照明系統(tǒng)、IT設(shè)備等的分項(xiàng)計(jì)量，測算數(shù)據(jù)中心相關(guān)能耗評(píng)價(jià)值。目前用的較多有：PUE值（數(shù)據(jù)中心消耗的能源與負(fù)載能耗的能源之比）和CLF值（制冷與供電負(fù)載系數(shù)）是否在有效控制范圍內(nèi)。除了能耗評(píng)價(jià)外，對能耗的監(jiān)測也是實(shí)現(xiàn)管理的自動(dòng)化，降低人力投入成本的同時(shí)，提高了管理的質(zhì)量和效率。

3 結(jié)語

如今中國是目前唯一一個(gè)擁有最多超大型數(shù)據(jù)中心項(xiàng)目的國家，同時(shí)也是增長最快的數(shù)據(jù)中心市場，學(xué)校信息化的進(jìn)程已經(jīng)進(jìn)入高速發(fā)展階段，這不僅得益于信息技術(shù)創(chuàng)新應(yīng)用，而且也是教育事業(yè)發(fā)展的必然結(jié)果。上海交通大學(xué)網(wǎng)絡(luò)信息中心承擔(dān)著中國教育和科研計(jì)算機(jī)網(wǎng)絡(luò)（Cernet）華東南地區(qū)網(wǎng)、上海教育與科研計(jì)算機(jī)網(wǎng)（Shernet）和上海交通大學(xué)校園網(wǎng)（SJTUnet）的建設(shè)、學(xué)校各類信息系統(tǒng)建設(shè)。對不同規(guī)模及配置的數(shù)據(jù)機(jī)房實(shí)行相應(yīng)的技術(shù)環(huán)境探索應(yīng)用，并建立了相應(yīng)的綠色運(yùn)營管理體系，在保障數(shù)據(jù)中心安全、持續(xù)、穩(wěn)定運(yùn)行的同時(shí)，有效降低成本，提高了能效，建立并實(shí)施校園綠色數(shù)據(jù)中心建設(shè)的示范。

[1]IDC：http://www.idc.com.cn/about/press.jsp?id=NzU0. 2013；

[2] 谷立靜，周伏秋，孟輝.我國數(shù)據(jù)中心能耗及能效水平研究.中國能源[J]，2010（11）：42-45；

[3] 陳希楠.高校綠色數(shù)據(jù)中心的建設(shè)與管理.軟件導(dǎo)刊[J]，2012（8）：138-140。