張世華，胡 祎，張 奎，趙以爽（中訊郵電咨詢設(shè)計院有限公司鄭州分公司，河南鄭州 450007）

0 引言

5G SA 組網(wǎng)架構(gòu)標準的凍結(jié)與工業(yè)和信息化部向中國聯(lián)通、中國電信、中國移動、中國廣電發(fā)放5G商用牌照，標志著我國5G移動通信網(wǎng)絡的商用正式拉開序幕。5G 核心網(wǎng)采用服務化架構(gòu)（SBA）設(shè)計，以軟件服務重構(gòu)核心網(wǎng)，實現(xiàn)了核心網(wǎng)的軟件化、靈活化、開放化和智能化，同時有助于網(wǎng)絡服務和網(wǎng)絡架構(gòu)向云化演進。

與此同時，中共中央政治局常務委員會在2020年3月4日召開的會議中，明確指出要加快5G 網(wǎng)絡、數(shù)據(jù)中心等新型基礎(chǔ)設(shè)施建設(shè)進度，發(fā)力于科技端的基礎(chǔ)設(shè)施建設(shè)。通信云是數(shù)據(jù)中心在通信行業(yè)的具體應用，對通信技術(shù)的發(fā)展發(fā)揮著至關(guān)重要的作用。隨著互聯(lián)網(wǎng)新業(yè)務的不斷涌現(xiàn)，SDN、NFV 等技術(shù)的不斷發(fā)展，歐美電信運營商和中國三大運營商都先后提出了網(wǎng)絡云化的計劃，運營商的網(wǎng)絡轉(zhuǎn)型勢在必行。

作為全面支撐4G/5G 核心網(wǎng)、城域網(wǎng)等網(wǎng)絡云化部署，滿足創(chuàng)新型業(yè)務平臺、管理平臺部署需求的基礎(chǔ)設(shè)施，通信云的快速靈活部署對運營商尤為重要。鑒于業(yè)務種類多樣、虛擬化的通信網(wǎng)元部署復雜，可靠性要求高，通信云依然是當前建設(shè)的難點所在。本文將從運營商的業(yè)務分類入手，對通信云的部署方案和網(wǎng)絡架構(gòu)進行分析。

1 通信云的分類

傳統(tǒng)的電信設(shè)備以專用的硬件為主，在專有平臺架構(gòu)下，各硬件設(shè)備彼此獨立，導致網(wǎng)絡擴展性較差，難以滿足業(yè)務快速發(fā)展的需求。近年來，軟件化、云化部署的產(chǎn)品逐步商用，國內(nèi)運營商分別進行了業(yè)務系統(tǒng)的云化，并將云化范圍從平臺類應用擴展到通信網(wǎng)元，如虛擬客戶端設(shè)備（vCPE）、虛擬IP 多媒體系統(tǒng)（vIMS）、虛擬演進分組核心（vEPC）。通信云根據(jù)應用場景和承載業(yè)務不同可以劃分為CT云和網(wǎng)絡IT云。

a）CT 云側(cè)重于網(wǎng)絡功能的虛擬化，旨在建設(shè)云化的新型電信網(wǎng)絡服務環(huán)境，為打造高效、彈性、按需服務的業(yè)務網(wǎng)絡夯實基礎(chǔ)。

b）IT云是針對運營商內(nèi)部的應用系統(tǒng)的云化，如創(chuàng)新平臺、管理平臺等系統(tǒng)的云化，支撐內(nèi)部應用的快速部署及靈活擴展。

CT 云與上層應用結(jié)合緊密，對時延、I/O 及可靠性等要求極高，主要使用各通信設(shè)備廠商基于ETSI標準架構(gòu)進行定制化開發(fā)的云平臺。IT 云承載主機型業(yè)務，目前已基本實現(xiàn)與上層應用的解構(gòu)，基于開源技術(shù)，可以使用自主研發(fā)的或者第三方的云平臺。此外，由于承載業(yè)務的類型不同，CT 云和IT 云在流量模型、兼容性、故障收斂、可靠性等方面需求不同，如表1所示。特別是CT云承載了路由型VNF，需要對外建立路由鄰居、BFD 會話，收發(fā)路由等，因此其對組網(wǎng)提出了更高的要求。

2 通信云的網(wǎng)絡架構(gòu)

2.1 通信云資源池的建設(shè)原則

通信云遵循“區(qū)域+本地”2級架構(gòu)布局，全面支撐核心網(wǎng)、城域網(wǎng)等網(wǎng)絡云化部署，滿足OSS、創(chuàng)新型業(yè)務平臺集約化部署資源需求，推進網(wǎng)絡云化轉(zhuǎn)型和能力開放，實現(xiàn)網(wǎng)絡敏捷部署和彈性擴縮容，加快業(yè)務上線速度，降低TCO。具體建設(shè)原則如下：

a）統(tǒng)籌規(guī)劃：中國聯(lián)通集團對通信云資源池進行整體規(guī)劃，統(tǒng)一布局、統(tǒng)一組網(wǎng)方案、統(tǒng)一云平臺技術(shù)架構(gòu)、統(tǒng)一云資源管理及調(diào)度。

b）集約化生產(chǎn)：控制類、用戶數(shù)據(jù)類、管理類和業(yè)務類網(wǎng)元集中部署，集中維護，發(fā)揮資源池的規(guī)模效應，降低云化網(wǎng)絡的運營成本。

c）確保業(yè)務體驗：針對數(shù)據(jù)轉(zhuǎn)發(fā)類網(wǎng)元，根據(jù)業(yè)務對于時延、帶寬的不同要求分層進行部署，確保用戶體驗，實現(xiàn)數(shù)據(jù)流量的本地分流。

d）資源統(tǒng)一管理：通過統(tǒng)一云管平臺建設(shè)實現(xiàn)全網(wǎng)資源、告警、性能的集中監(jiān)控，構(gòu)建服務化能力，實現(xiàn)資源申請、配置、發(fā)放的自動化。

針對區(qū)域級通信云，根據(jù)不同的解耦策略和云平臺部署要求，采用不同方式部署CT 資源池和網(wǎng)絡IT資源池。

a）CT 資源池：考慮到CT 業(yè)務的復雜性和高可靠性要求，初期為保障網(wǎng)絡快速開通和降低業(yè)務部署風險，云平臺由主要VNF 廠家提供，運營商提供硬件資源池，支撐CT網(wǎng)元部署。

b）網(wǎng)絡IT 資源池：云平臺和上層業(yè)務系統(tǒng)獨立，統(tǒng)一部署云平臺，主要以虛擬機的形式提供云資源，滿足云化系統(tǒng)的部署要求。

通信云采用軟硬解耦（CT 云）/三層解耦（IT 云）的部署方案，由于硬件設(shè)備和軟件分開招標，存在云平臺VIM 與網(wǎng)絡設(shè)備的SDN 控制器異廠家對接的場景，目前仍處于開發(fā)測試階段。因此在初期資源池建設(shè)時，建議采用傳統(tǒng)二層VLAN 組網(wǎng)方案。對于云平臺與硬件設(shè)備同廠家的場景，可根據(jù)業(yè)務和運維的需求啟用SDN控制器。

此外，目前承載以5GC、vIMS 業(yè)務為主的CT 云對外連接IP B 網(wǎng)，沒有連接互聯(lián)網(wǎng)的需求，因此建議部署以防火墻為主的安全設(shè)備，其他設(shè)備按需部署。對于IT 資源池，建議將有連接互聯(lián)網(wǎng)需求的平臺類業(yè)務集中部署在全國2 個DC，根據(jù)安全等級保護要求，部署防火墻、入侵防御、WAF、防病毒網(wǎng)關(guān)、SSL VPN等安全設(shè)備；其他IT 資源池部署以防火墻為主的安全設(shè)備，以提升投資效益。

2.2 CT資源池組網(wǎng)方案

按照層次和架構(gòu)設(shè)計，CT資源池自下而上分為接入層、核心層、出口層3層，各層部署以下設(shè)備。

a）接入層：部署Leaf 交換機，負責接入各類服務器和存儲設(shè)備。

b）核心層：部署Spine 核心交換機，負責匯聚網(wǎng)絡內(nèi)的所有業(yè)務接入層交換設(shè)備，保證業(yè)務網(wǎng)絡內(nèi)接入層交換設(shè)備之間的高速交換，向上與出口路由設(shè)備進行互聯(lián)。

c）出口層：部署高性能路由器作為DC 出口網(wǎng)關(guān)，負責與外部網(wǎng)絡的連通，保證DC 內(nèi)部網(wǎng)絡高速訪問外部網(wǎng)絡，并對DC 內(nèi)網(wǎng)和外網(wǎng)的路由信息進行轉(zhuǎn)換和維護。

從邏輯上，根據(jù)業(yè)務類型，CT 資源池又可以劃分成不同的平面。

a）管理平面：包含資源管理、網(wǎng)絡管理、業(yè)務管理、運營管理等管理功能，在管理節(jié)點部署MANO、VNFM、VIM 和EMS 等組件，通過管理平面的網(wǎng)絡實現(xiàn)對云平臺的管理。

b）業(yè)務平面：在計算節(jié)點部署各類VNF，并通過業(yè)務平面的網(wǎng)絡實現(xiàn)流量的互通，根據(jù)業(yè)務需求可以進行HA資源的劃分。

c）存儲平面：存儲類型的服務器/磁陣接收VNF請求，按需提供存儲資源。

d）硬件管理平面：也稱帶外管理平面，PIM 通過設(shè)備的帶外管理網(wǎng)口實現(xiàn)對資源池內(nèi)所有設(shè)備的性能、告警等信息的監(jiān)控。

如圖1 所示，CT 資源池采用Leaf-Spine-DC-GW三層組網(wǎng)架構(gòu)，不同平面間流量在服務器側(cè)采用物理端口/邏輯接口隔離，保證互不干擾。由于存儲平面、管理平面流量較小，建議端口合設(shè)，并與業(yè)務平面、硬件管理平面的端口分開單獨部署。設(shè)備間的組網(wǎng)細節(jié)如下。

a）計算節(jié)點以10GE 口分別連接業(yè)務和存管Leaf；管理節(jié)點以10GE 口連接存管Leaf；磁陣以10GE口連接專用的存儲Leaf。

圖1 CT資源池組網(wǎng)方案

b）存儲/存管/業(yè)務Leaf交換機：下行10GE 口連接服務器或磁陣，上行40GE口連業(yè)務或存管Spine，成對Leaf之間采用40GE口互聯(lián)。

c）存管/業(yè)務Spine：下行40GE 口連接Leaf 交換機，上行10/100GE 口連接DC-GW，成對Spine 之間采用100GE口互聯(lián)。

d）DC-GW：下行10/100GE口連接Spine交換機和防火墻，上行按需使用10/100GE 與外網(wǎng)互聯(lián)，成對DC-GW之間采用100GE口互聯(lián)。

e）防火墻：使用100GE 口連接DC-GW，成對防火墻之間采用10GE口互聯(lián)。

f）硬管Leaf：使用GE 電口連接所有設(shè)備，包括服務器/磁陣/Leaf/Spine/DC-GW/防火墻，上行10GE 口連接存管Spine。

CT資源池由于上層業(yè)務與云平臺未解耦，同一局址存在多種類型或多廠商的業(yè)務，需要部署多個云平臺，根據(jù)業(yè)務需求和服務器規(guī)模，可以選擇共用Spine/DC-GW、單獨部署設(shè)備2 種組網(wǎng)方式，如圖2 和圖3 所示。

對于共用Spine/DC-GW 網(wǎng)絡設(shè)備，不同云平臺需要進行業(yè)務隔離。

a）Spine：南向單板級隔離，北向接口級隔離，避免流量擁塞丟包。

b）DC-GW：南向接口級隔離，北向共物理口，邏輯子接口隔離，通過HQoS 保證帶寬，避免流量擁塞丟包。

圖2 CT資源池共用Spine/DC-GW 的部署方案

圖3 CT資源池單獨組網(wǎng)的部署方案

此外，多云平臺使用的VLAN/VRF/IP 等網(wǎng)絡資源需要提前規(guī)劃分配，避免沖突；路由策略/ACL 等配置基于接口/子接口/IP 網(wǎng)段等最小級配置，不做全局配置，避免多平臺間相互影響；并且考慮安全問題，通過防火墻對云平臺間的流量進行隔離。

2.3 網(wǎng)絡IT資源池組網(wǎng)方案

網(wǎng)絡IT資源池主要承載主機型VNF的業(yè)務，不需要與其他設(shè)備建立鄰居動態(tài)學習路由，對DC 出口網(wǎng)關(guān)的路由性能要求不高，因此建議DC-GW 與業(yè)務Spine 合設(shè)，簡化網(wǎng)絡層次，提升投資效益。如圖4 所示，網(wǎng)絡IT 資源池采用Leaf-Spine 四層組網(wǎng)架構(gòu)，業(yè)務Spine 設(shè)備兼做DC-GW，既作為三層網(wǎng)關(guān)負責DC內(nèi)東西向流量的轉(zhuǎn)發(fā)，又負責與外網(wǎng)的互聯(lián)互通。存管Spine 作為存儲、管理平面的三層網(wǎng)關(guān)，負責內(nèi)部的流量轉(zhuǎn)發(fā)，上行使用10/40GE 網(wǎng)口連接業(yè)務Spine，實現(xiàn)管理平面與外部的互通，保證對資源池的遠程監(jiān)管。其他組網(wǎng)細節(jié)與CT資源池基本一致，不再贅述。

圖4 網(wǎng)絡IT資源池組網(wǎng)方案

由于網(wǎng)絡IT 資源池使用統(tǒng)一云平臺承載多種類型的業(yè)務，內(nèi)部使用二層VLAN 的組網(wǎng)方案，需要對VLAN、私網(wǎng)地址和業(yè)務地址進行精細化管理，對業(yè)務進行隔離，避免沖突，具體措施如下。

a）VLAN：對VLAN 進行統(tǒng)一規(guī)劃，1～1999 作為公共預留，當VLAN 資源不足時，再根據(jù)現(xiàn)網(wǎng)實際情況進行劃分；2000～3999 作為業(yè)務VLAN，按需分配給各個業(yè)務；4000 為探測VLAN；4001～4063 由I 層（含VIM、PIM、BMC、SDN控制器等）和PaaS使用。

b）私網(wǎng)IP 地址：對DC 內(nèi)私網(wǎng)IP 地址進行統(tǒng)一規(guī)劃，172.16.0.0—172.31.255.255 劃分給存儲平面（存儲前端數(shù)據(jù)和存儲后端數(shù)據(jù)通信以及計算節(jié)點訪問存儲面數(shù)據(jù)網(wǎng)絡）和NFVI層（NFVI各組件之間的通信地址）使用；173.0.0.0/8 劃分給VNF 網(wǎng)元內(nèi)部地址使用，各部分地址按需申請。

c）業(yè)務IP地址：為公網(wǎng)地址實現(xiàn)VNF與外網(wǎng)的互通，由各業(yè)務部門向承載網(wǎng)申請。

此外，為保證業(yè)務的安全，不同的業(yè)務需要VLAN/IP 進行隔離，原則上不允許流量互通，如果有業(yè)務訴求，需要通過防火墻對流量進行嚴格的檢測和控制。

3 總結(jié)

通信云目前已在中國聯(lián)通各大區(qū)實際部署，支撐5GC、VoLTE 炫鈴等業(yè)務的順利開通，并具備敏捷部署和靈活擴展的能力。未來將通過統(tǒng)一云管平臺納管全網(wǎng)資源，實現(xiàn)全網(wǎng)資源集中監(jiān)控，自動發(fā)放，加快業(yè)務上線速度，節(jié)省投資成本，提升運營效率。

此外，通信云的主要問題集中在網(wǎng)絡設(shè)備SDN 控制器與云平臺VIM 異廠商對接，以及云平臺與上層CT業(yè)務的解耦，目前沒有統(tǒng)一的接口標準，這也是后續(xù)研究的重點工作。