郭濤

采用間接混合冷卻方式的液冷服務(wù)器曙光TC4600-LP，將液冷與風(fēng)冷方式有機(jī)地結(jié)合一起，降低了液冷服務(wù)器的使用門(mén)檻，在為數(shù)據(jù)中心用戶提高效能的同時(shí)，還節(jié)約了成本。

大到數(shù)據(jù)中心機(jī)房，小到一臺(tái)服務(wù)器，大多數(shù)都采用風(fēng)冷的制冷方式。但是眾所周知，風(fēng)冷的一個(gè)致命缺陷是冷卻系統(tǒng)能耗高，因?yàn)榭諝馀c液態(tài)冷媒相比，輸送功率大、傳熱溫差大、風(fēng)扇功耗大。中科曙光數(shù)據(jù)中心產(chǎn)品事業(yè)部總經(jīng)理沈衛(wèi)東舉例說(shuō)，采用風(fēng)冷服務(wù)器、機(jī)房空調(diào)機(jī)的數(shù)據(jù)中心，在不考慮UPS系統(tǒng)的情況下，其PUE指標(biāo)也不可能低于1.4，而采用液冷服務(wù)器、自然冷卻冷站的數(shù)據(jù)中心，PUE值可以輕松降低到1.2以下。

在2014年6月舉行的ISC14國(guó)際超級(jí)計(jì)算大會(huì)上，曙光發(fā)布了國(guó)內(nèi)首款全浸泡式液冷服務(wù)器PHPC300，當(dāng)時(shí)就有參觀者提出想購(gòu)買(mǎi)。但是，全浸泡式液冷服務(wù)器目前仍處在完善之中，距商用還有一段距離。看到用戶對(duì)液冷服務(wù)器的強(qiáng)烈需求，曙光在今年8月又發(fā)布了間接混合冷卻式方式的液冷服務(wù)器TC4600-LP，它將液冷與風(fēng)冷方式有機(jī)地結(jié)合一起，已經(jīng)實(shí)現(xiàn)了批量發(fā)貨。TC4600-LP服務(wù)器的出現(xiàn)降低了液冷服務(wù)器的使用門(mén)檻，在為數(shù)據(jù)中心用戶提高效能的同時(shí)，還節(jié)約了成本。

液冷與風(fēng)冷的有機(jī)組合

沈衛(wèi)東介紹說(shuō)，曙光TC4600-LP服務(wù)器采用“液冷+風(fēng)冷”的冷卻方式，其中液冷部分采用間接式冷卻技術(shù)。所謂間接式冷卻，即冷媒與發(fā)熱元件被導(dǎo)熱材料分離，不直接接觸，而是通過(guò)液冷板、液冷頭等高效熱傳導(dǎo)部件將被冷卻對(duì)象的熱量傳遞到冷媒中。采用間接冷卻的液冷散熱系統(tǒng)，對(duì)計(jì)算機(jī)系統(tǒng)改動(dòng)不大，僅需將原風(fēng)冷散熱片替換為液冷散熱片（液冷頭），并將冷媒管路引出機(jī)箱即可。在間接冷卻方式中，冷媒有自身的通路，并不與電子器件直接接觸，只要求液體管路密封性好，冷媒不泄漏即可。

曙光TC4600-LP服務(wù)器是一個(gè)系統(tǒng)，由1個(gè)CRU（冷卻柜）和兩個(gè)服務(wù)器機(jī)柜共同組成一個(gè)最小的冷卻單元。液冷與風(fēng)冷兩套系統(tǒng)組合起來(lái)為服務(wù)器提供散熱。CRU機(jī)柜內(nèi)部包括CDM（液冷）模塊及CIM（風(fēng)冷）模塊。每個(gè)TC4600-LP服務(wù)器機(jī)箱設(shè)計(jì)的發(fā)熱量為4kW， 其中液冷系統(tǒng)2.7kW，風(fēng)冷系統(tǒng)1.3kW。單個(gè)CDM制冷量為10.8kW，負(fù)責(zé)左右兩個(gè)機(jī)柜內(nèi)部4個(gè)HCPU的制冷。CRU機(jī)柜內(nèi)部共有3個(gè)CDM模塊。

間接冷卻式液冷系統(tǒng)能直接將高溫?zé)嵩碈PU和內(nèi)存上的散熱量通過(guò)室內(nèi)側(cè)制冷系統(tǒng)進(jìn)行循環(huán)，同時(shí)利用列頭制冷模塊的高效換熱與室外熱源進(jìn)行熱交換。CRU機(jī)柜內(nèi)置的每一個(gè)CDM模塊可幫助4箱的TC4600刀片服務(wù)器進(jìn)行熱量交換（左右各兩箱）。室內(nèi)制冷系統(tǒng)內(nèi)的冷媒在CDM內(nèi)循環(huán)泵處獲取動(dòng)力，通過(guò)管路系統(tǒng)輸配到左右機(jī)柜內(nèi)部4個(gè)HCPU處，再利用HCPU將液體輸送給主板上配置的冷頭。冷媒在液冷頭內(nèi)部吸熱后，溫度升高，高溫冷媒流經(jīng)HCPU進(jìn)入CDM內(nèi)的換熱器與室外冷源進(jìn)行熱交換，又重新變?yōu)榈牡蜏乩涿?，再進(jìn)入儲(chǔ)液罐內(nèi)準(zhǔn)備供給循環(huán)泵，進(jìn)行下一循環(huán)。通過(guò)液冷方式，CPU表面的溫度會(huì)快速下降，CPU的效率和可靠性都能得到進(jìn)一步提高。

液冷方式采用的冷媒通常包括三種：油、水和蒸發(fā)冷媒。TC4600-LP服務(wù)器采用的是水。有人可能會(huì)擔(dān)心，采用液冷方式，萬(wàn)一發(fā)生漏液怎么辦？“漏液?jiǎn)栴}是實(shí)現(xiàn)液冷必須突破的技術(shù)難關(guān)。曙光擁有一些技術(shù)專(zhuān)利，可以通過(guò)負(fù)壓模式可以解決漏液?jiǎn)栴}?！鄙蛐l(wèi)東介紹說(shuō)。

TC4600-LP服務(wù)器采用的是非全浸泡液冷方式，也稱(chēng)混合式制冷方式，因?yàn)橐后w制冷只能帶走三分之二的設(shè)備發(fā)熱量，而主板的發(fā)熱量仍然要依靠風(fēng)冷方式帶走?！皬倪@個(gè)角度講，混合式液冷并不是徹底的液冷技術(shù)革命。但是，混合式有它的一個(gè)優(yōu)點(diǎn)，就是只要對(duì)原有的風(fēng)冷服務(wù)器稍加改進(jìn)，附加一個(gè)液冷模塊即可，很容易實(shí)現(xiàn)市場(chǎng)化。因此，今年，我們首推的還是這種混合式制冷的服務(wù)器。”沈衛(wèi)東解釋說(shuō)。

一些國(guó)外的服務(wù)器廠商也擁有液冷服務(wù)器。沈衛(wèi)東表示：“我們現(xiàn)在的研發(fā)方向與國(guó)際趨勢(shì)是一致的。目前市場(chǎng)上應(yīng)用比較成熟的也是間接式制冷方式，全浸泡式液冷方式還有一些技術(shù)難點(diǎn)需要突破。以前，只有一些特殊定制的大型項(xiàng)目才會(huì)用到液冷方式。但我們認(rèn)為，隨著間接式制冷方式的技術(shù)逐步成熟和成本不斷下降，在服務(wù)器甚至工作站上使用液冷方式的條件已經(jīng)具備。”曙光公司從2012年開(kāi)始研究新的節(jié)能技術(shù)。將液冷基礎(chǔ)設(shè)施與服務(wù)器完美融合的曙光TC4600-LP是比較適合大規(guī)模應(yīng)用的采用新型制冷方式的服務(wù)器。

目前，在全球范圍內(nèi)，研究全浸泡式液冷服務(wù)器的廠商屈指可數(shù)。全浸泡式液冷服務(wù)器還沒(méi)有做到商品化，仍有許多技術(shù)難題要解決，包括排放液、密封、液體的儲(chǔ)存和添加等。沈衛(wèi)東介紹說(shuō)，曙光在全浸泡式液冷服務(wù)器方面已經(jīng)有了一些技術(shù)儲(chǔ)備，但是距產(chǎn)品上市可能還有一年時(shí)間。不過(guò)，在今年底，曙光會(huì)先發(fā)布一款全液冷的工作站產(chǎn)品。

不會(huì)增加成本

為了提高計(jì)算密度，許多用戶愿意采用刀片式服務(wù)器。但實(shí)際上，很少有用戶的機(jī)柜是滿配的，因?yàn)榈镀?wù)器的散熱是一個(gè)瓶頸。采用液冷服務(wù)器，在提高制冷效率、降低能耗的同時(shí)，是否也能大幅提升機(jī)柜的設(shè)備密度呢？

曙光TC4600-LP的一個(gè)模塊由5U高的刀片服務(wù)器機(jī)箱和1U高的HCDU水平分液?jiǎn)卧M成，在一個(gè)標(biāo)準(zhǔn)的42U機(jī)柜內(nèi)，只能放7個(gè)模塊，而采用風(fēng)冷方式的刀片機(jī)箱可以放置8個(gè)。單純從數(shù)量上看，風(fēng)冷服務(wù)器超過(guò)了液冷服務(wù)器。但是如前所述，風(fēng)冷服務(wù)器的機(jī)柜很難滿配?！澳壳埃捎瞄g接式液冷的曙光TC4600-LP服務(wù)器與風(fēng)冷服務(wù)器的密度差不多。但是如果以后我們針對(duì)液冷方式對(duì)刀片服務(wù)器進(jìn)行優(yōu)化設(shè)計(jì)，那么密度還可以進(jìn)一步提高。”沈衛(wèi)東解釋說(shuō)。

在推出TC4600-LP液冷服務(wù)器的同時(shí)，曙光還提供了一個(gè)配套的GreenLC解決方案。沈衛(wèi)東表示，液冷服務(wù)器需要一個(gè)與之相配合的特殊的數(shù)據(jù)中心基礎(chǔ)設(shè)施。GreenLC是與TC4600-LP服務(wù)器相配套的液冷系統(tǒng)和配電監(jiān)控機(jī)柜系統(tǒng)。相對(duì)于風(fēng)冷服務(wù)器，液冷服務(wù)器的初次采購(gòu)成本會(huì)略有增加，但在整體擁有成本上，液冷服務(wù)器還是具有明顯優(yōu)勢(shì)的。

“TC4600-LP液冷服務(wù)器是一個(gè)自封閉、帶負(fù)壓、能主動(dòng)報(bào)警的智能化系統(tǒng)，平時(shí)幾乎不需要維護(hù)。”曙光高性能產(chǎn)品總監(jiān)戴榮博士補(bǔ)充說(shuō)，“風(fēng)冷服務(wù)器必須配套具有更大功率的空調(diào)系統(tǒng)，這增加了風(fēng)冷服務(wù)器的運(yùn)營(yíng)成本。TC4600-LP配合GreenLC基礎(chǔ)設(shè)施整體方案，可為一個(gè)500kW的中型數(shù)據(jù)中心每年節(jié)省150萬(wàn)元的電費(fèi)支出。在設(shè)備投資方面，與風(fēng)冷版的TC4600服務(wù)器相比，雖然液冷版的TC4600的采購(gòu)費(fèi)用有所提高，但配套的冷卻系統(tǒng)的成本有所下降，所以整個(gè)數(shù)據(jù)中心的設(shè)備采購(gòu)成本基本不變。”

高性能計(jì)算是突破口

曙光TC4600-LP液冷服務(wù)器已經(jīng)有了用戶，主要集中在高性能計(jì)算、電信和互聯(lián)網(wǎng)行業(yè)。戴榮介紹說(shuō)：“一些采用高性能計(jì)算的用戶通常會(huì)定制自己的刀片服務(wù)器系統(tǒng)。這些用戶會(huì)嘗試性地選擇液冷服務(wù)器，看看液冷服務(wù)器是否真的可以降低整體運(yùn)營(yíng)成本。液冷服務(wù)器更適合部署在大規(guī)模的數(shù)據(jù)中心里。”

曙光TC4600-LP針對(duì)的就是大型數(shù)據(jù)中心用戶。曙光TC4600-LP本身具有良好的可擴(kuò)展性，目前一套設(shè)備包括10個(gè)結(jié)點(diǎn)，未來(lái)可以擴(kuò)展到100個(gè)甚至1000個(gè)結(jié)點(diǎn)。一個(gè)數(shù)據(jù)中心用戶擁有的服務(wù)器規(guī)模如果達(dá)到上萬(wàn)臺(tái)，它就會(huì)特別關(guān)注制冷的問(wèn)題。戴榮表示：“采用液冷服務(wù)器，用戶大約一年左右能收回前期的投資。高性能計(jì)算行業(yè)的用戶對(duì)間接式液冷服務(wù)器比較感興趣，而互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)中心在使用液冷服務(wù)器方面還有一個(gè)教育和熟悉的過(guò)程。”

戴榮表示，未來(lái)，曙光會(huì)繼續(xù)推出采用間接式制冷方式的小型化的產(chǎn)品。