劉水旺 阿里巴巴 數(shù)據(jù)中心基礎(chǔ)架構(gòu)專家，注冊(cè)電氣工程師

沈燁燁阿里巴巴數(shù)據(jù)中心系統(tǒng)工程師

數(shù)據(jù)中心“雙路市電”的必要性淺析

劉水旺 阿里巴巴 數(shù)據(jù)中心基礎(chǔ)架構(gòu)專家，注冊(cè)電氣工程師

沈燁燁阿里巴巴數(shù)據(jù)中心系統(tǒng)工程師

隨著中國(guó)電力自動(dòng)化技術(shù)應(yīng)用和電網(wǎng)改造升級(jí)，在多數(shù)大城市區(qū)域電網(wǎng)供電可用性進(jìn)一步提高。與此同時(shí)，數(shù)據(jù)中心規(guī)模越來(lái)越大，單個(gè)數(shù)據(jù)中心市電引入容量也越來(lái)越大。如此大規(guī)模的市電容量的需求，如果依然按照2N的市電來(lái)設(shè)計(jì)建設(shè)，對(duì)于數(shù)據(jù)中心的選址和建設(shè)運(yùn)營(yíng)都帶來(lái)很大挑戰(zhàn)?；诖?，本文對(duì)數(shù)據(jù)中心“雙路市電”的必要性進(jìn)行了研究和分析。

數(shù)據(jù)中心；市電；柴油發(fā)電機(jī)組；成本；可靠性

1 引言

國(guó)內(nèi)大多數(shù)互聯(lián)網(wǎng)、電信、金融類數(shù)據(jù)中心對(duì)于供電的配置大多采用2N市電+N柴油發(fā)電機(jī)組的電源方式（或N+1柴油發(fā)電機(jī)組），這種方式來(lái)源于Uptime和GB50174規(guī)范中對(duì)于數(shù)據(jù)中心可靠性等級(jí)的相關(guān)建議和規(guī)定。經(jīng)過(guò)多年的實(shí)際運(yùn)行來(lái)看，這種供電方式可以為數(shù)據(jù)中心提供相對(duì)可靠的電能。采用2N市電+柴油發(fā)電機(jī)組的配置相對(duì)比較籠統(tǒng)，只提出了對(duì)市電電源數(shù)量和柴油發(fā)電機(jī)組數(shù)量的配置要求，并沒(méi)有考慮到市電電源的質(zhì)量和柴油發(fā)電機(jī)組的技術(shù)指標(biāo)和接入方式等，所以并不能很好地適應(yīng)多數(shù)數(shù)據(jù)中心場(chǎng)景。

近年來(lái)，隨著中國(guó)電力自動(dòng)化技術(shù)的應(yīng)用和電網(wǎng)的改造升級(jí)，在多數(shù)大城市區(qū)域電網(wǎng)供電可用性得到進(jìn)一步提高。根據(jù)近年來(lái)在北京、上海、杭州、深圳等城市多個(gè)數(shù)據(jù)中心的運(yùn)行數(shù)據(jù)和經(jīng)驗(yàn)，市電有計(jì)劃停電和意外中斷次數(shù)明顯減少。在這些城市多數(shù)數(shù)據(jù)中心平均每年單路市電中斷時(shí)間少于幾小時(shí)。大多數(shù)2N市電配置的數(shù)據(jù)中心一年運(yùn)行下來(lái)從來(lái)沒(méi)有出現(xiàn)過(guò)兩路完全同時(shí)中斷的情況，大量備用的柴油發(fā)電機(jī)組“無(wú)用武之地”。

與此同時(shí)，隨著互聯(lián)網(wǎng)的發(fā)展和云計(jì)算的興起，數(shù)據(jù)中心規(guī)模越來(lái)越大，單個(gè)數(shù)據(jù)中心市電引入容量也越來(lái)越大，從早期的幾千千伏安到目前幾萬(wàn)千伏安，甚至十幾萬(wàn)千伏安。如此大規(guī)模的市電容量的需求，如果依然按照2N的市電來(lái)設(shè)計(jì)建設(shè)，對(duì)于數(shù)據(jù)中心的選址和建設(shè)運(yùn)營(yíng)都帶來(lái)很大挑戰(zhàn)。以一個(gè)5萬(wàn)臺(tái)服務(wù)器的數(shù)據(jù)中心為例，如果按照2N市電+（N+1）油機(jī)的配電方式，那么基本的配置包括主備各3萬(wàn)千伏安的市電引入和大約4萬(wàn)千瓦備用柴油發(fā)電機(jī)組的配置。這些資源的建設(shè)成本大約需要1.2～1.5億元，大約占數(shù)據(jù)中心基礎(chǔ)設(shè)施成本的25%～30%。高額的建設(shè)成本只是一方面，更嚴(yán)重的是能滿足主備各3萬(wàn)千伏安市電引入資源的區(qū)域非常稀缺，可選址范圍受到很大限制。另外，在運(yùn)營(yíng)費(fèi)用方面，2N的市電引入隨之帶來(lái)的是與其配套2N的變壓器配置，這樣會(huì)產(chǎn)生每個(gè)月數(shù)百萬(wàn)元的基礎(chǔ)電費(fèi)，造成變壓器利用率極低。

2 數(shù)據(jù)中心是否必須要配置雙路市電

高昂的建設(shè)運(yùn)營(yíng)成本，越來(lái)越難獲得的市電資源和極低的市電利用率，讓我們不得不思考應(yīng)該如何去改變。問(wèn)題很簡(jiǎn)單，2N市電+油機(jī)的配置方式，要減配要么減少市電要么減少油機(jī)。

國(guó)內(nèi)目前最普遍的做法是減少油機(jī)的數(shù)量，或者更準(zhǔn)確的說(shuō)法是油機(jī)配置容量不足。例如，設(shè)計(jì)1萬(wàn)千瓦的負(fù)載，很多數(shù)據(jù)中心只配置1萬(wàn)千瓦（備用或主用功率）的柴油發(fā)電機(jī)組。這種減配的設(shè)計(jì)方式在負(fù)載率比較低或負(fù)載率遠(yuǎn)小于設(shè)計(jì)負(fù)載時(shí)候發(fā)電機(jī)組可以滿足負(fù)載使用要求，在負(fù)載率進(jìn)一步提高時(shí)就面臨巨大風(fēng)險(xiǎn)，因?yàn)榘凑赵O(shè)計(jì)負(fù)載柴油發(fā)電機(jī)組是無(wú)法承擔(dān)或只能極短時(shí)間承擔(dān)的，這樣配置的收益在于大概減少了20%～30%的發(fā)電機(jī)投資，另外表面上看可以稱為是2N市電+油機(jī)的配置方式給人高可用的假象。但是這種減配方式，被認(rèn)為是得不償失的，目前可以存在的原因是因?yàn)槎鄶?shù)數(shù)據(jù)中心運(yùn)行負(fù)載率遠(yuǎn)沒(méi)有達(dá)到設(shè)計(jì)負(fù)載率。它所節(jié)省的成本有限，但是由此帶來(lái)的負(fù)載率的限制和過(guò)負(fù)載風(fēng)險(xiǎn)很大。

根據(jù)建設(shè)和運(yùn)營(yíng)實(shí)踐經(jīng)驗(yàn)，筆者認(rèn)為對(duì)于數(shù)據(jù)中心來(lái)說(shuō)，市電屬于外部不可控資源，即使多路市電理論可靠性可以非常高，但是因?yàn)槭须妬?lái)源均為電網(wǎng)，也不能因此不配置或減少配置柴油發(fā)電機(jī)組，如歷史上的美國(guó)東部大停電和中國(guó)2008年的雪災(zāi)停電。但是對(duì)于外市電資源，筆者認(rèn)為可以根據(jù)實(shí)際情況適當(dāng)減少做N或N+1?？紤]市電減配的原因在于一方面市電減配帶來(lái)的建設(shè)成本和運(yùn)營(yíng)費(fèi)用節(jié)約比較多，如市電側(cè)投資會(huì)減少30%～50%，運(yùn)營(yíng)基礎(chǔ)電費(fèi)會(huì)隨之大幅減少；另一方面從目前數(shù)據(jù)中心運(yùn)營(yíng)數(shù)據(jù)來(lái)看，供電可用性的短板并不是市電而是柴油發(fā)電機(jī)組。也就是說(shuō)增加一路或多路市電帶來(lái)的可用性提高與提高柴油發(fā)電機(jī)組系統(tǒng)可靠性來(lái)比是不對(duì)等的。因?yàn)槭须娋鶃?lái)自電網(wǎng)，即使很多路市電來(lái)自完全不同的高等級(jí)的變電站，這些市電相互也不具備完全獨(dú)立性，另外市電也不可避免地受到外部條件的影響和制約。但是對(duì)于柴油發(fā)電機(jī)組，如果采用合理的設(shè)計(jì)和選型則可以大幅提高整個(gè)數(shù)據(jù)中心供電的可靠性。

從目前電源不可用的情況來(lái)分析，國(guó)家電網(wǎng)統(tǒng)計(jì)目前大城市單路市電可用率遠(yuǎn)超過(guò)99.9%，我們要竭盡全力去解決這不可用的0.1%的市電中斷時(shí)間。而為了解決這0.1%的市電中斷時(shí)間，目前國(guó)內(nèi)數(shù)據(jù)中心的做法往往是增加了一倍的市電引入，并且再配置不同冗余數(shù)量的柴油發(fā)電機(jī)組。也就是說(shuō)，即使多花了一倍的市電引入成本，仍舊需要為應(yīng)對(duì)不可控因素配置柴油發(fā)電機(jī)組。這個(gè)時(shí)候，是否可以考慮將市電看成是一個(gè)低成本、高效益、不可控的電源，另外建設(shè)一個(gè)由柴油發(fā)電機(jī)組構(gòu)成的高可靠、高保障的電源來(lái)完全作為備用，應(yīng)對(duì)極少數(shù)市電不可用的情況和災(zāi)害情況。這樣市電電源和柴油發(fā)電機(jī)組電源是相互獨(dú)立的，如果需要高可靠的供電等級(jí)，只需要不斷提高柴油發(fā)電機(jī)組供電系統(tǒng)的可靠性即可。對(duì)于市電系統(tǒng)，按照現(xiàn)有常規(guī)系統(tǒng)進(jìn)行設(shè)計(jì)，平時(shí)由市電進(jìn)行供電。對(duì)于柴油發(fā)電機(jī)組根據(jù)應(yīng)用等級(jí)的需求按照不同的高可靠方案設(shè)計(jì)。對(duì)于柴油發(fā)電機(jī)組的建設(shè)需要考慮柴油發(fā)電機(jī)組自身的可靠性，柴油發(fā)電機(jī)組輸出配電環(huán)節(jié)的可靠性和柴油發(fā)電機(jī)組機(jī)房設(shè)計(jì)的可靠性和可維護(hù)性及維護(hù)策略。

對(duì)于可用性要求比較高的數(shù)據(jù)中心，減少部分市電采用N或N+1市電配置建議應(yīng)當(dāng)做到以下幾點(diǎn)：

（1）柴油發(fā)電機(jī)組選擇有實(shí)力合格的廠家的產(chǎn)品。

（2）柴油發(fā)電機(jī)組應(yīng)當(dāng)按照可以長(zhǎng)期運(yùn)行（至少1周）的負(fù)荷率進(jìn)行設(shè)計(jì)。

（3）柴油發(fā)電機(jī)組至少做N+1冗余，必要時(shí)候做N+2，N的數(shù)量要有合理的控制。

（4）柴油發(fā)電機(jī)組配電輸出至用電設(shè)備整個(gè)環(huán)節(jié)應(yīng)當(dāng)考慮沒(méi)有單點(diǎn)故障點(diǎn)。

（5）柴油發(fā)電機(jī)組機(jī)房和附屬設(shè)施應(yīng)當(dāng)能夠滿足柴油發(fā)電機(jī)組長(zhǎng)期運(yùn)行的條件。

（6）嚴(yán)格遵守發(fā)電機(jī)組制造商約定的定期維護(hù)維保。

在滿足以上幾點(diǎn)的前提下，在目前國(guó)內(nèi)市電質(zhì)量比較好的大城市數(shù)據(jù)中心采用N或者N+X市電來(lái)取代現(xiàn)有2N的市電是具有可行性的。

3 各種方案對(duì)比分析

對(duì)于目前存在的數(shù)據(jù)中心常用的幾種市電和油機(jī)供電方案及建議，從可靠性、建設(shè)成本、運(yùn)營(yíng)成本等方面進(jìn)行簡(jiǎn)單對(duì)比。首先，選取目前常用的2N市電+（N+1）油機(jī)、2N市電+N油機(jī)、2N市電+N+1油機(jī)（配置不足）的方案與建議的（N+1）市電+（N+1）油機(jī)，N市電+（N+2）油機(jī)方案，以5萬(wàn)臺(tái)服務(wù)器數(shù)據(jù)中心為單位進(jìn)行簡(jiǎn)單對(duì)比（見(jiàn)表1）。

（1）假設(shè)單路市電供電可靠性99.9%，3+1市電可靠性是99.95%，2N市電供電可靠性99.99%（因?yàn)殡p路市電相互并不完全獨(dú)立）。單臺(tái)油機(jī)供電系統(tǒng)可靠性99%，則各種方案供電理論可靠性依次約為：99.99999%，99.9999%，99.99%，99.9999%，99.9999%。

（2）建設(shè)成本按以下指標(biāo)簡(jiǎn)單估算：發(fā)電機(jī)組還配套按照400萬(wàn)每套；高壓配電按照100萬(wàn)元每套；市電引入按照1000萬(wàn)每路10000KVA；低壓配電按照200萬(wàn)每套（含1臺(tái)變壓器）低壓配電按照240萬(wàn)每套（含2臺(tái)變壓器）。

（3）基礎(chǔ)電費(fèi)按照40%變壓器容量，40元每千伏安每月估算。

（4）成本對(duì)比只考慮建設(shè)成本和基礎(chǔ)電費(fèi)。不考慮低負(fù)載率造成的效率損失、制冷成本、空間占用等其他因素對(duì)成本的影響。

表1 以5萬(wàn)臺(tái)服務(wù)器數(shù)據(jù)中心為單位進(jìn)行對(duì)比

綜上認(rèn)為，2N市電+（N+1）油機(jī)適用于可靠性非常高的數(shù)據(jù)中心，但是建設(shè)成本和運(yùn)營(yíng)費(fèi)用都比較高，并不適合大規(guī)模的數(shù)據(jù)中心建設(shè)和應(yīng)用；2N市電+（N）油機(jī)可靠性比較高，建設(shè)成本也比較高，但是應(yīng)對(duì)意外災(zāi)害能力比較差；2N市電+（N）油機(jī)配置不足這種方式是一種不合理的配置方式，為了保證可靠性，不得不限制數(shù)據(jù)中心的利用率，最終造成單位建設(shè)和運(yùn)營(yíng)成本大幅提高；在市電穩(wěn)定性比較高的區(qū)域采用（N+1）市電+（N+X）油機(jī)，N市電+（N+X）油機(jī)方案，能取得比較好的可靠性和比較低的建設(shè)成本，這種方式適合可靠性要求比較高的大型數(shù)據(jù)中心。

4 結(jié)束語(yǔ)

隨著互聯(lián)網(wǎng)和云計(jì)算應(yīng)用的不斷推廣，數(shù)據(jù)中心規(guī)模和數(shù)量不斷增加，數(shù)據(jù)中心對(duì)于資源的占用急劇膨脹。如果仍舊按照傳統(tǒng)的方式繼續(xù)建設(shè)和運(yùn)營(yíng)數(shù)據(jù)中心，一方面高成本低可用性的數(shù)據(jù)中心會(huì)帶來(lái)大量的資源占用和資源浪費(fèi)；另一方面數(shù)據(jù)中心的數(shù)量和質(zhì)量也將會(huì)成為互聯(lián)網(wǎng)和云計(jì)算產(chǎn)業(yè)的瓶頸。因此，不得不重新思考如何采用更低的成本和更有效的方式來(lái)改善數(shù)據(jù)中心的供電架構(gòu)。目前，常用的傳統(tǒng)的“2N”市電的架構(gòu)簡(jiǎn)單粗暴，是數(shù)據(jù)中心粗獷型發(fā)展的代表。在建設(shè)和運(yùn)營(yíng)大量數(shù)據(jù)中心總結(jié)積累的數(shù)據(jù)基礎(chǔ)上，在配電環(huán)節(jié)對(duì)于低故障率的環(huán)節(jié)采用N+X取代傳統(tǒng)的2N有著非常重要的意義，2N市電配置的降低只是其中一環(huán)，另外還包括變壓器、低壓配電母線、UPS等。隨著電網(wǎng)供電技術(shù)和管理水平的不斷提高，供電可靠率的不斷上升，對(duì)于未來(lái)數(shù)據(jù)中心特別是供電發(fā)達(dá)區(qū)域數(shù)據(jù)中心對(duì)于“雙路市電”的依賴性將會(huì)不斷降低。

2014-09-12）