0 前言

云計算是信息技術發(fā)展的主流，政府將它視作信息化和工業(yè)化結(jié)合的支撐點；運營商把它作為超越管道的轉(zhuǎn)型引擎；企業(yè)和行業(yè)把它看成是構(gòu)建智能和敏捷的現(xiàn)代化企業(yè)征程中一場新工業(yè)革命。

從產(chǎn)品與應用視角來看，需要建設大量的數(shù)據(jù)中心（IDC），通過數(shù)據(jù)中心對資源集中部署和共享，實現(xiàn)提升效率、降低成本的發(fā)展目的。通過數(shù)據(jù)中心開放性生態(tài)平臺提供豐富的ICT 業(yè)務，以此促進各個行業(yè)的數(shù)字化、信息化和智能化，為“互聯(lián)網(wǎng)+”、新基建相關行業(yè)的發(fā)展提供有力支撐，同時激發(fā)出更多新增需求。

1 傳統(tǒng)數(shù)據(jù)中心胖樹架構(gòu)

目前數(shù)據(jù)中心大多采用胖樹（Fat-Tree）架構(gòu)，使用大量的高、中、低性能交換機，構(gòu)建出大規(guī)模的無阻塞網(wǎng)絡。胖樹架構(gòu)中，網(wǎng)絡帶寬不收斂，保障在任意的通信模式下，通信帶寬達到網(wǎng)卡帶寬。采用胖樹架構(gòu)搭建數(shù)據(jù)中心之后，數(shù)據(jù)中心實質(zhì)是一種傳統(tǒng)的三層硬件架構(gòu)（見圖1）。

接入層：用于連接所有的計算節(jié)點。通常以機柜交換機（TOR）的形式存在。

圖1 傳統(tǒng)三層架構(gòu)示意圖

匯聚層：用于接入層的互聯(lián)，并作為該匯聚區(qū)域二層和三層網(wǎng)絡的分界點。同時提供防火墻、SSL offload、入侵檢測、網(wǎng)絡分析等其他服務。

核心層：為進出數(shù)據(jù)中心的包提供高速的轉(zhuǎn)發(fā)，用于匯聚層的互聯(lián)，同時實現(xiàn)整個數(shù)據(jù)中心與外部網(wǎng)絡的三層通信。

表1示出的是傳統(tǒng)架構(gòu)交換機結(jié)構(gòu)。

表1 傳統(tǒng)架構(gòu)交換機結(jié)構(gòu)

這種傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡架構(gòu)，設備獨立，單臺設備部署單項功能并單獨管理，服務器、交換機、路由器、網(wǎng)絡、安全等設備可由不同廠商提供。數(shù)據(jù)中心企業(yè)在部署內(nèi)部機架連接，特別是短距離連接時，大多數(shù)都是使用銅纜布線連接。目前6 類、6A 類萬兆銅纜系統(tǒng)仍然是數(shù)據(jù)中心銅纜布線系統(tǒng)的首要選擇。在這種架構(gòu)中，銅纜布線使用率達到87%，而光纜使用率只占13%。

但這種傳統(tǒng)的三層架構(gòu)有如下明顯的缺陷。

a）硬件資源利用率極低，硬件投資成本大，管理維護難。

b）采用生成樹協(xié)議（STP），實際承載流量的只有一條，其他上行鏈路只用于備份，是被阻塞的，帶寬資源浪費明顯。

c）故障域大、排障難，STP 協(xié)議由于其本身的算法，在網(wǎng)絡拓撲發(fā)生變更時需要重新收斂，容易發(fā)生故障，影響整個VLAN網(wǎng)絡。

d）隨著數(shù)據(jù)中心機房中網(wǎng)絡設備集約化程度的不斷提升，銅纜布線帶寬及高密度未來模塊化升級難度大，在數(shù)據(jù)中心布線中光纖逐步成為主導地位。

e）數(shù)據(jù)中心當前大量使用的銅纜介質(zhì)，不符合綠色節(jié)能可持續(xù)發(fā)展要求。

f）最為重要一點，隨著數(shù)據(jù)中心采用虛擬化技術和微服務架構(gòu)后，平級設備之間的數(shù)據(jù)量大幅增加，傳統(tǒng)三層架構(gòu)核心交換機和匯聚交換機的端口和性能將遭遇瓶頸。

2 新型葉脊架構(gòu)在數(shù)據(jù)中心應用

從數(shù)據(jù)中心發(fā)展趨勢來看，企業(yè)上“云”、數(shù)字化的趨勢不可逆轉(zhuǎn)，云計算、大數(shù)據(jù)、人工智能等信息通信技術（ICT）行業(yè)對數(shù)據(jù)中心的需求量越發(fā)龐大，數(shù)據(jù)中心帶寬需求正在以每年25%到35%的速度飛速增長，2020年，帶寬容量會將翻倍，達到50G至100G。

相比于傳統(tǒng)的數(shù)據(jù)中心數(shù)據(jù)流，云計算數(shù)據(jù)中心數(shù)據(jù)流主要在數(shù)據(jù)中心服務器之間內(nèi)部流動，是一種東西向流動。這種東西走向的大量數(shù)據(jù)的交換要求數(shù)據(jù)中心采用扁平化的網(wǎng)絡架構(gòu)，這種新型“胖樹”架構(gòu)能夠?qū)崿F(xiàn)無阻塞、低延遲、快速交換，也促使網(wǎng)絡布線結(jié)構(gòu)做相應的改變。

正是基于上述背景，提出一種改進型胖樹架構(gòu)即葉脊網(wǎng)絡架構(gòu)，和傳統(tǒng)數(shù)據(jù)中心胖樹架構(gòu)一樣，這種新型胖樹架構(gòu)同屬于CLOS 網(wǎng)絡模型，但不同的是，葉脊架構(gòu)采用大二層網(wǎng)絡架構(gòu)，扁平化為骨干和分支兩層（見圖2）。

圖2 葉脊架構(gòu)示意圖

葉脊網(wǎng)絡大二層架構(gòu)可以滿足云計算數(shù)據(jù)中心安全性、易用性、靈活性、可用性，二層和三層的分界在脊交換機，主要利用大二層中的葉交換機搭建整個數(shù)據(jù)中心，部署獨立的二層廣播域。葉脊架構(gòu)中，所有橫向的服務器在網(wǎng)絡位置上是平行的，網(wǎng)絡效率高，傳輸通道完全獨立，非常適合高性能計算集群和高頻流量通信環(huán)境。

葉交換機，相當于傳統(tǒng)三層架構(gòu)中的接入交換機，作為機柜交換機直接連接服務器、存儲設備、防火墻、負載平衡器、邊界路由器等終端設備。葉交換機之間的服務器的通信，需要經(jīng)由脊交換機進行轉(zhuǎn)發(fā)。

脊交換機，相當于傳統(tǒng)三層架構(gòu)中的核心交換機，葉和脊交換機之間通過等價多路徑路由協(xié)議（ECMP）動態(tài)選擇多條路徑與葉交換機層的各個交換機連接。

表2示出的是葉脊架構(gòu)交換機結(jié)構(gòu)。

表2 葉脊架構(gòu)交換機結(jié)構(gòu)

數(shù)據(jù)中心作為新基建一項重頭，有必要考慮部署40G 及以上高帶寬網(wǎng)絡。隨著標準的成熟和技術的提升，200/400G 高速率光模塊的商用，為葉脊網(wǎng)絡在數(shù)據(jù)中心的部署提供了可行性。葉脊架構(gòu)相比傳統(tǒng)三層硬件架構(gòu)，更能符合數(shù)據(jù)中心發(fā)展趨勢，其優(yōu)勢體現(xiàn)在：

a）均衡分擔負載，每個葉交換機的上行鏈路以負載均衡方式工作，充分利用了帶寬。

b）預估延遲值，葉交換機之間的連通路徑的條數(shù)可確定，均只需經(jīng)過一個脊交換機，東西向網(wǎng)絡延時可預測。

c）擴展性好，大多數(shù)支持25G/100G 的交換機都能向后兼容10G/40G，為交換機的端口提供更高的靈活性，網(wǎng)絡擴容更加靈活。

d）降低交換機的性能要求，南北向流量，可以從葉節(jié)點出去，也可從脊節(jié)點出去。東西向流量，分布在多條路徑上。這樣一來，不需要昂貴的高性能高帶寬交換機。

e）高安全性和可用性，葉脊架構(gòu)中，一臺設備故障時，不需重新收斂，流量繼續(xù)在其他正常路徑上通過，網(wǎng)絡連通性不受影響，帶寬也只減少一條路徑的帶寬，性能影響微乎其微。

在葉脊架構(gòu)下進行設計時，中小型數(shù)據(jù)中心超過90%的光纖鏈路長度小于100 m，采用多模光纖為主的鏈路部署方案，光模塊部署以40/100G 為主。大型數(shù)據(jù)中心超過70%的光纖鏈路長度小于100 m，超過85%的長度小于150 m，也是考慮采用多模光纖為主的鏈路部署方案，可以前瞻性地考慮部署200/400G 光模塊。

以一個中小型數(shù)據(jù)中心為例，葉脊網(wǎng)絡的支撐能力設計如表3所示。

表3 葉脊網(wǎng)絡支撐能力設計

目前，主流廠商已經(jīng)提供一系列的葉交換機和脊交換機，為有需要的數(shù)據(jù)中心用戶搭建葉脊網(wǎng)絡架構(gòu)提供設備支持，表4示出的是一些相關產(chǎn)品參數(shù)。

表4 40/100G葉脊交換機產(chǎn)品

數(shù)據(jù)中心服務器通過VMware、KVM、Xen、Virtual Box 等Hypervisor 工具虛擬化之后，東西流量將達到總帶寬的77%，跨數(shù)據(jù)中心為9%，南北流量僅占總帶寬的14%。因此，還需要OpenStack 這類虛擬化管理平臺，在大二層的網(wǎng)絡連接中，將網(wǎng)絡、計算、存儲和安全功能全部虛擬化，融合在一套虛擬化管理軟件平臺中，對用戶提供虛擬存儲、網(wǎng)絡、計算資源等友好的交互界面。

另外，虛擬化技術也可以根據(jù)實際情況采用Docker 技術，配合K8S、Compose、Marathon、Swarm、Me?sos等容器管理平臺，達到上述“超融合”平臺。

3 葉脊架構(gòu)對數(shù)據(jù)中心帶來的挑戰(zhàn)

葉脊網(wǎng)絡架構(gòu)允許終端之間以最高萬兆每秒的速度在任意的通信模式下進行通信，這種新型“胖樹”能夠很好應對數(shù)據(jù)中心激增的數(shù)據(jù)量（尤其是東西向流量），滿足數(shù)據(jù)中心內(nèi)部高速互連的需求。但這種扁平化的大二層葉脊架構(gòu)同時給數(shù)據(jù)中心帶來了新的挑戰(zhàn)。

首先，葉脊網(wǎng)絡架構(gòu)對光模塊的需求將大幅增加，相比傳統(tǒng)三層硬件架構(gòu)，差別最高可達到30 倍之多（見表5）。

表5 2種架構(gòu)下光模塊對比

2 種架構(gòu)下，數(shù)據(jù)中心光模塊在10G 光模塊需求下差別不大，在40G 或者100G 光模塊需求下出現(xiàn)明顯差別，尤其是在40G 光模塊需求下，差別需求達到30倍。

其次，葉脊網(wǎng)絡大二層架構(gòu)如何在虛擬化的技術背景下，實現(xiàn)用戶良好感知的虛機遷移。

再者，隨著網(wǎng)絡規(guī)模的增加，二層鏈路層數(shù)據(jù)報文也將明顯增加，如何保障正常的網(wǎng)絡流量，也是需要面對的新挑戰(zhàn)。

4 結(jié)束語

雖然傳統(tǒng)的三層網(wǎng)絡架構(gòu)在很長一段時間內(nèi)支撐了各種類型的數(shù)據(jù)中心，但是隨著業(yè)務和技術的發(fā)展，90%以上云數(shù)據(jù)中心流量和計算任務會通過數(shù)據(jù)中心進行處理。基于南北流量設計的傳統(tǒng)三層硬件架構(gòu)已經(jīng)不能滿足業(yè)務發(fā)展趨勢，企業(yè)將面臨成本和可擴展性的戰(zhàn)略困境。

新的葉脊網(wǎng)絡采用扁平化的大二層架構(gòu)，擴大了接入和匯聚層，大大提高了網(wǎng)絡效率，而且不需要采購高性能的核心交換機，由相對較小規(guī)模的中低端交換機組網(wǎng)，以40G/100G 帶寬部署為主（大型數(shù)據(jù)中心可以考慮前瞻性部署200/400G 帶寬），支持全速東西向流量，同時可以減少企業(yè)部署和維護的費用，為數(shù)據(jù)中心提供一種切實有效的發(fā)展戰(zhàn)略。