孔令義，常艷生，閻艷芳，郝雙洋，武俊芹，馮朝旭

（中國聯(lián)通河南分公司，河南鄭州 450008）

0 引言

5G核心網(wǎng)相比傳統(tǒng)核心網(wǎng)呈現(xiàn)出了網(wǎng)絡(luò)切片、服務(wù)化的網(wǎng)絡(luò)架構(gòu)、無狀態(tài)設(shè)計、轉(zhuǎn)控分離等一系列嶄新的特性［1］，實現(xiàn)這些新特性需要以數(shù)據(jù)中心為基礎(chǔ)設(shè)施實現(xiàn)云化架構(gòu)的部署。轉(zhuǎn)控分離使5G 核心網(wǎng)實現(xiàn)了用戶面的去中心化，用戶面可按業(yè)務(wù)量及需求部署在省、市或下沉至網(wǎng)絡(luò)邊緣并承載MEC 業(yè)務(wù)。而控制面可以更加集中，僅需部署在全國幾個大區(qū)，每個大區(qū)承載若干省的控制面實現(xiàn)集約化部署，形成大區(qū)和本地2層架構(gòu)，這樣，可以大大提高數(shù)據(jù)中心的利用效率。

基于云化的集中式5G核心網(wǎng)發(fā)生了很大變化，在部署方式、業(yè)務(wù)繼承、容災(zāi)方案等方面帶來了新課題。

1 大區(qū)數(shù)據(jù)中心的部署

大區(qū)數(shù)據(jù)中心的云平臺一般承載若干省的5G 核心網(wǎng)控制面，這使其對可靠性的要求高于傳統(tǒng)電信級的99.999%，實現(xiàn)如此高的可靠性不僅需要符合電信業(yè)務(wù)特點的云原生的軟件架構(gòu)，同時，在資源池建設(shè)方面也需要進行特別規(guī)劃。

1.1 DC網(wǎng)絡(luò)結(jié)構(gòu)

基于NFV/SDN 的DC 建設(shè)是5G 核心網(wǎng)演進的關(guān)鍵路徑。NFV 是IT、CT 融合的關(guān)鍵技術(shù)，其實現(xiàn)主要有2 層解耦和3 層解耦2 種方案。2 層解耦是物理資源、NFVI+VNF 獨立部署，3 層解耦是在2 層解耦的基礎(chǔ)之上，進一步將NFVI 和VNF 解耦，獨立部署物理資源、NFVI 和VNF，管理面則可分為VIM、VNFM、NFVO［2］。3層解耦的網(wǎng)絡(luò)更加靈活，利于降低成本，是虛擬化網(wǎng)絡(luò)演進的目標，但是跨廠家的交互較多，不利于故障定位，給網(wǎng)絡(luò)維護帶來挑戰(zhàn)。而2 層解耦容易集成、部署快，但增加了運營商對設(shè)備廠家的依賴性。此外，由于SDN 控制器和VIM 之間的接口尚未標準化［3］，SDN 控制器和NFVO 往往需要采用同廠商的私有接口才能實現(xiàn)網(wǎng)絡(luò)的自動化配置和資源的智能調(diào)度，這也不利于數(shù)據(jù)中心采用3層解耦方式部署。

本文主要研究實現(xiàn)云、網(wǎng)聯(lián)動的2 層解耦數(shù)據(jù)中心，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。NFVO作為數(shù)據(jù)中心的大腦進行統(tǒng)一編排，統(tǒng)一管理，協(xié)同SDN控制器和VNFM完成網(wǎng)絡(luò)配置自動化以及VNF 實例自動化部署，實現(xiàn)資源的自動調(diào)度，以完成VM 的自動遷移、過載控制和彈性擴縮容等，保障業(yè)務(wù)連續(xù)性。

數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)采用分布式3層網(wǎng)關(guān)模型（distributed virtual routing，DVR），主要由接入、核心、出口構(gòu)成，控制面采用BGP EVPN 協(xié)議，數(shù)據(jù)轉(zhuǎn)發(fā)面采用VxLAN 技術(shù)。TOR 作為VM 的默認網(wǎng)關(guān)分別對東西流量和南北流量進行疏通。對于南北向流量，接入YOR發(fā)送至數(shù)據(jù)中心出口路由器轉(zhuǎn)發(fā)至外部網(wǎng)絡(luò)，比如和用戶面之間的信令流量轉(zhuǎn)發(fā)至承載網(wǎng)。分布式部署的VNF 組件間所產(chǎn)生大量的東西向流量不必發(fā)送到出口路由器，東西流量具體疏通原則如下。

a）相同服務(wù)器內(nèi)，VM 間L2 流量由EVS 本地轉(zhuǎn)發(fā)。

b）相同服務(wù)器內(nèi)，VM 間L3 流量由TOR 本地轉(zhuǎn)發(fā)。

c）不同服務(wù)器間L2/L3 流量，Leaf 間建立VxLAN隧道轉(zhuǎn)發(fā)［4］。

數(shù)據(jù)中心防火墻采用旁掛模式部署，根據(jù)不同業(yè)務(wù)流量的內(nèi)容來決定是否過墻。總體來看，管理區(qū)的南北向流量、業(yè)務(wù)區(qū)VNF 的操作維護南北向流量均需要過墻，過墻流量使用共享出口。

1.2 物理資源規(guī)劃

為實現(xiàn)各類業(yè)務(wù)的隔離，數(shù)據(jù)中心需劃分為多個VDC（Virtual Data Center），主要有管理VDC、5GC 業(yè)務(wù)VDC、計費VDC 等。不同的VDC 使用不同的計算、存儲、網(wǎng)絡(luò)等資源，這樣不同的VDC 可以由不同的運維團隊進行維護，并可以劃分不同的安全等級。

VPC（Virtual Private Cloud）可以實現(xiàn)網(wǎng)絡(luò)的邏輯隔離，在VPC 中，具有完全獨立的IP 地址空間設(shè)置，與其他不在該VPC 中的虛擬機完全網(wǎng)絡(luò)隔離，因此，為減少不同網(wǎng)元間的路由配置，5GC共用一個VPC，不再細分，計費網(wǎng)關(guān)以及管理則使用不同的VPC。

HA（Host Aggregate）內(nèi)的服務(wù)器建議采用同平臺（如X86 或ARM）服務(wù)器，服務(wù)器數(shù)量建議不超過128臺，計費網(wǎng)關(guān)和管理由于所需服務(wù)器較少，各使用1個HA 即可滿足需求。5GC 則需要多個主機組，如UDM、PCF 所需資源較多，需要獨立集群，2B、2C 分離使用的VNF也使用不同的HA。

2 業(yè)務(wù)部署方案

2.1 融合部署方案

5G 核心網(wǎng)的業(yè)務(wù)部署首先需考慮和4G 網(wǎng)絡(luò)的融合及互操作，以支持網(wǎng)絡(luò)的平滑演進。4G 和5G 的互操作通過AMF 和MME 之間的N26 接口實現(xiàn)，SMF 和PGW-C 融合部署在大區(qū)中心，UPF 和PGW-U 融合部署在各省或市，以支持5G用戶在4G區(qū)域的接入，實現(xiàn)移動錨點不變保證業(yè)務(wù)連續(xù)性［5］。

MME 和AMF 可根據(jù)需求決定是否融合部署。AMF 和MME 融合部署可減少AMF 和MME 之間信令交互，優(yōu)化4G/5G 互操作，提升5G 用戶體驗，提高運維效率。但同時，由于5G 網(wǎng)絡(luò)建設(shè)初期，AMF 可能會頻繁升級，而5G 用戶較少，4G 用戶較多，需要考慮AMF升級對4G網(wǎng)絡(luò)的影響。

因此，在5G 核心網(wǎng)部署初期，AMF 可考慮獨立部署，4G 用戶依然由各省EPC 承載。當5G 用戶接入gNB 時，5G 用戶由AMF 選擇融合網(wǎng)關(guān)，當5G 用戶在4G/5G 網(wǎng)絡(luò)間切換時，則通過N26 接口實現(xiàn)連接態(tài)4G/5G 網(wǎng)絡(luò)間切換和空閑態(tài)的重選，當然這需要MME 升級支持N26接口以及融合網(wǎng)關(guān)選擇功能。

在第2 階段，可逐步將AMF 升級為AMF/MME 融合產(chǎn)品，4G 用戶接入MME，也可以分擔(dān)至大區(qū)融合AMF/MME。此時需要合理規(guī)劃融合節(jié)點的MME/AMF標識，5G用戶在4G/5G網(wǎng)絡(luò)間切換時，最多經(jīng)過1次4G/5G互操作即可錨定融合MME/AMF節(jié)點。

最終，4G 用戶也遷移至大區(qū)融合AMF/MME 承載，4G/5G 用戶均錨定在融合AMF/MME，無需互操作，此時傳統(tǒng)平臺設(shè)備可退網(wǎng)，實現(xiàn)統(tǒng)一核心網(wǎng)。

此外，為滿足5G 用戶不換卡、不換號的需求以及網(wǎng)絡(luò)的平滑演進，需考慮融合用戶數(shù)據(jù)管理以及策略數(shù)據(jù)管理。

2.2 用戶數(shù)據(jù)融合方案

用戶數(shù)據(jù)的融合需要部署云化融合UDM/HSS，保證用戶數(shù)據(jù)一致性，同時實現(xiàn)5G 用戶數(shù)據(jù)的整體遷移，使得用戶可感知2G/3G/4G/5G 網(wǎng)絡(luò)狀態(tài)，支持接入2G/3G/4G/5G 網(wǎng)絡(luò)，共用鑒權(quán)數(shù)據(jù)，共享公共業(yè)務(wù)數(shù)據(jù)。用戶數(shù)據(jù)的遷移主要有以下2個方案。

a）一次性割接至融合設(shè)備：在大區(qū)中心部署全容量的云化融合HSS/UDM，將各省HSS 用戶分批次全部割接至大區(qū)融合HSS/UDM，信令及營賬均切換至云化設(shè)備，傳統(tǒng)HSS 退網(wǎng)。很明顯，該方案一步到位，架構(gòu)清晰，但投資較大，初期即需要全網(wǎng)容量投資，該方案的遷移速度受導(dǎo)出、導(dǎo)入數(shù)據(jù)能力限制，割接戰(zhàn)線較長。

b）同廠家FE relay 方案：新建的云化UDR 支持2G/3G/4G/5G，原BE 存儲2G/3G/4G 簽約信息，融合UDM/HSS 存儲新號段用戶和已遷移老用戶，現(xiàn)網(wǎng)HSS升級支持FE relay功能。網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 用戶數(shù)據(jù)融合方案示意圖

在方案b）中，5G 新開用戶僅需在UDM 開戶和業(yè)務(wù)簽約，不需發(fā)給傳統(tǒng)HSS 處理，存量4G 用戶升5G時，BOSS發(fā)送用戶開通5G的指令給受理網(wǎng)關(guān)，受理網(wǎng)關(guān)從現(xiàn)網(wǎng)HSS 中查詢用戶數(shù)據(jù)，并重新在融合HSS/UDM 放號，完成后再刪除現(xiàn)網(wǎng)HSS 的數(shù)據(jù)。后續(xù)5G用戶的相關(guān)簽約信息修改均由集團BOSS 統(tǒng)一負責(zé)?，F(xiàn)網(wǎng)4G 用戶的受理仍然由省BOSS 負責(zé)，受理指令維持現(xiàn)有流程不變。

同時方案b）可保持信令路由不變，HLR/HSS 轉(zhuǎn)送5G 用戶數(shù)據(jù)到HSS/UDM。對于2G/3G 業(yè)務(wù)來說，STP將消息發(fā)送至傳統(tǒng)HSS，傳統(tǒng)HSS 查詢用戶不存在則將消息發(fā)送至UDM，UDM 處理完后直接將相應(yīng)消息通過STP 返回給對端。對于4G 業(yè)務(wù)來說，則由DRA將消息發(fā)送至傳統(tǒng)HSS，傳統(tǒng)HSS 再發(fā)送至UDM，UDM處理后將消息返回給HSS，由HSS發(fā)送至對端。

總體來看該方案對傳統(tǒng)網(wǎng)絡(luò)依賴較小，易于平滑演進，但對集團BOSS 要求較高，需保證用戶數(shù)據(jù)的精準。

2.3 策略數(shù)據(jù)融合方案

策略數(shù)據(jù)融合需要在大區(qū)中心部署云化的PCF并融合PCRF 功能，保證用戶策略的一致性和連續(xù)性。傳統(tǒng)PCRF 和融合PCF 混合組網(wǎng)實現(xiàn)起來對現(xiàn)網(wǎng)影響較小，對外可屏蔽業(yè)務(wù)差異，是實現(xiàn)用戶策略數(shù)據(jù)平滑遷移的較好方案。后續(xù)根據(jù)業(yè)務(wù)發(fā)展及技術(shù)成熟度逐步將用戶遷移至云化PCF，最終實現(xiàn)傳統(tǒng)PCRF退網(wǎng)。

混合組網(wǎng)方案往往要求傳統(tǒng)PCRF 和融合PCF/PCRF 同廠家，從而使傳統(tǒng)SPR 和云化UDR/SPR 可以互訪用戶數(shù)據(jù)。傳統(tǒng)PCRF 和現(xiàn)網(wǎng)信令連接不變，DRA需和融合PCF對接Rx和Gx接口實現(xiàn)會話綁定。

集團BOSS 系統(tǒng)需統(tǒng)一接入云化UDR/SPR 設(shè)備。當現(xiàn)網(wǎng)用戶由4G 升級為5G 時，集團BOSS 發(fā)送開通5G 策略的指令給受理網(wǎng)關(guān)，受理網(wǎng)關(guān)將數(shù)據(jù)從存量SPR 遷移到UDR 中，并新增5G 簽約，UDR 完成處理后返回結(jié)果給BOSS。后續(xù)5G 用戶的相關(guān)策略信息修改均由集團BOSS統(tǒng)一負責(zé)?，F(xiàn)網(wǎng)4G用戶的策略數(shù)據(jù)受理仍然由省BOSS負責(zé)，受理指令維持現(xiàn)有指令不變。

2.4 NSSF/BSF/NRF等

NSSF/BSF/NRF 等其他網(wǎng)元主要是在5G核心網(wǎng)新增的網(wǎng)元，均需新建，不需要考慮和4G 核心網(wǎng)融合的問題。每個大區(qū)均需新建1 對NSSF/NRF/BSF，NSSF實現(xiàn)本大區(qū)的切片選擇功能，BSF 需要和DRA 及PCF連接實現(xiàn)會話綁定功能，NRF 統(tǒng)一管理網(wǎng)絡(luò)中NF 配置，支持服務(wù)發(fā)現(xiàn)功能，各大區(qū)NRF 需要實現(xiàn)全連接。NRF 實現(xiàn)全連接主要有2 個方案：一是大區(qū)間NRF 全互聯(lián)，可靠性較高但運維復(fù)雜；二是集團新建1 對NRF，各大區(qū)NRF 通過集團NRF 轉(zhuǎn)接實現(xiàn)準直連，數(shù)據(jù)配置量較少。NEF、NWDAF等其他一系列網(wǎng)元不是當前必須網(wǎng)元。根據(jù)標準進展及業(yè)務(wù)需求逐步部署，這里不再贅述。

3 大區(qū)化部署的信令風(fēng)暴預(yù)防

大區(qū)化后5G核心網(wǎng)更容易出現(xiàn)信令風(fēng)暴問題，有研究表明，在大區(qū)故障、承載故障等導(dǎo)致的容災(zāi)倒換時，MME、HSS（DRA）分別產(chǎn)生大于6倍、48倍過載，引起信令風(fēng)暴，若處理不當，會對網(wǎng)絡(luò)形成沖擊，業(yè)務(wù)恢復(fù)緩慢。因此，做好信令風(fēng)暴的預(yù)防工作是非常重要的。

在網(wǎng)絡(luò)異常時，用戶會反復(fù)嘗試接入網(wǎng)絡(luò)，從而形成用戶的集中上線，這是信令風(fēng)暴的誘因，一旦發(fā)生信令風(fēng)暴會快速蔓延擴大。從根本上說，用戶永遠在線，盡量不引起用戶的集中上下線是避免信令風(fēng)暴的最好辦法。實現(xiàn)用戶的永遠在線，需要設(shè)計和規(guī)劃網(wǎng)絡(luò)的多個層面。首先要具備完善的網(wǎng)元以及DC 的容災(zāi)和備份，如組pool 容災(zāi)（AMF、SMF 等）、主備容災(zāi)（NSSF、NRF、PCF、UDM 等）。其次，5G 核心網(wǎng)的無狀態(tài)設(shè)計、存儲和計算相分離、虛擬機的反親和部署等也使得網(wǎng)元內(nèi)多點故障時用戶不下線。最后，在網(wǎng)絡(luò)故障、存儲故障時需保證業(yè)務(wù)不中斷，這可通過業(yè)務(wù)功能模塊和管理控制模塊解耦、服務(wù)器內(nèi)存對存儲實時鏡像等方法來實現(xiàn)。

此外，做好早期的擁塞控制可以有效預(yù)防信令風(fēng)暴。對業(yè)務(wù)負載實時檢測，當網(wǎng)絡(luò)負荷達到一定門限時，啟動擁塞控制，在信令處理入口處進行流控，基于優(yōu)先級對業(yè)務(wù)進行智能丟棄，高優(yōu)先級及在網(wǎng)用戶業(yè)務(wù)優(yōu)先通過，無效業(yè)務(wù)消息及早丟棄，避免無效處理。并且基于實時處理能力進行精準流量控制，提升業(yè)務(wù)處理效率，在保障用戶體驗的同時降低網(wǎng)絡(luò)負荷，直到網(wǎng)絡(luò)負荷達到正常水平。

最后，快速恢復(fù)業(yè)務(wù)不僅需要快速的彈性擴容以靈活應(yīng)對業(yè)務(wù)變化，還需要業(yè)務(wù)在新虛擬機和已有虛擬機之間實現(xiàn)秒級的負載均衡，緩解過載。

4 結(jié)束語

基于大區(qū)數(shù)據(jù)中心集約化部署的5G核心網(wǎng)，提供了強大的網(wǎng)絡(luò)能力，便于業(yè)務(wù)集中開通、集中管理，有利于降本增效，同時也改變了網(wǎng)絡(luò)運維體系和方式。運維人員需要由CT向IT轉(zhuǎn)型，成為IT、IP、核心網(wǎng)多領(lǐng)域跨專業(yè)的復(fù)合型人才方能更好處理網(wǎng)絡(luò)中的各類問題。其次5G 核心網(wǎng)節(jié)點多、告警關(guān)聯(lián)復(fù)雜，對業(yè)務(wù)變更需要更高效響應(yīng)，這需要網(wǎng)絡(luò)部署時同步考慮自動化智能運維的問題，實現(xiàn)網(wǎng)絡(luò)的自動化配置、自動化監(jiān)控、自動化巡檢以及業(yè)務(wù)的自動開通?？傮w上來看，5G 所展現(xiàn)的全新特性將使網(wǎng)絡(luò)更加智能，更加高效。