韋國銳，陳立棟，于秋思，楊 曉（中國聯(lián)通廣東分公司，廣東廣州510000）

1 概述

近年來，基于自建云網絡部署虛擬化電信核心網已經成為當前進行4G核心網以及后續(xù)5G核心網部署的必然選擇。2015年2月中國移動提出了NovoNet計劃作為其未來網絡演進的基礎，2015年9月中國聯(lián)通提出了基于SDN、NFV和云技術的網絡重構基礎架構CubeNet2.0，2016年6月中國電信提出了CTNet2025，為未來10年網絡重構制定了相關規(guī)劃。各家電信運營商的網絡重構計劃都是基于NFV和云化網絡。以CUBE-Net 2.0例，其核心技術是SDN、NFV和Cloud，它以超寬網絡和數據中心為載體，通過云化的服務平面，實現(xiàn)網絡集約化運營，適用于多種應用服務場景。

從3GPP協(xié)議的發(fā)展來看，移動網絡從Rel13的4G核心網，演進到Rel14的EPC轉控分離，再到Rel15的5G NAS體系架構，最終演進到Rel16的5G SA體系架構，從Rel14轉控分離開始，移動網絡基本都是以通信云（DC）為基礎，而目前可選的災備方案中，池組化災備已經成為大部分運營商及廠家的選擇。以某廠家在通信云上的虛擬化移動分組網為例，采用了2套MME組成一個容災池組，實現(xiàn)多DC間MME的主備容災部署。

池組化容災模式是在2個不同DC上分別部署MME網元，一個為主網元，另一個是備網元（冷備方式工作）。主備MME對周邊網元發(fā)布高低優(yōu)先級不同的相同業(yè)務路由，由于同一時刻只有發(fā)布高優(yōu)先級路由的網元可以和周邊網元互通，低優(yōu)先級路由不會進入路由表，且主備MME業(yè)務邏輯地址相同，因此相對于周邊網元主備MME整體呈現(xiàn)為一個邏輯網元。

2個DC間的MME通過協(xié)商確定各自的主備身份，并基于多通道（容災控制通道、容災業(yè)務通道）的檢測結果進行故障仲裁，主網元故障后，路由收斂到備網元，業(yè)務在備網元上重新接入。

在虛擬機出現(xiàn)故障時，雖然上述容災方案可以將用戶業(yè)務倒換至冷備DC中的虛擬核心網網元上，但還是存在以下問題。

a）用戶業(yè)務被中斷后會不斷嘗試在冷備核心網網元中重新建立連接狀態(tài)。

b）冷備DC中也需要建立一套虛擬化核心網網元，并保持對外連接，在計算資源、存儲資源、鏈路資源、動力等方面存在一定的浪費。

c）在5G時代，隨著網絡切片技術的應用普及，同一個通信云內的VNF網元數量會增多，網絡環(huán)境變得更加復雜，每個虛擬網元承載的業(yè)務量會減少，同時當前標準定義的eMBB、uRLLC、mIoT 3類切片將承載在不同的虛擬網元上，與現(xiàn)有網絡承載模式不同。如果保持現(xiàn)有的池組化容災體系，會增加網絡配置復雜度，降低管理效率。

在NFV架構下，如果計算節(jié)點同時存儲用戶的狀態(tài)數據（即用戶上下文信息），那么在刪除計算節(jié)點之前需要將用戶上下文信息（包含IMSI、APN、QoS、速率、PDP類型、PDP地址等）遷移到其他節(jié)點上，否則會造成業(yè)務損失；同時在新增計算節(jié)點時需要將用戶上下文信息遷移過去，否則新增節(jié)點將不具備處理在線用戶數據業(yè)務的功能。

2 跨DC容災系統(tǒng)設計

為了實現(xiàn)“彈性、伸縮、業(yè)務快速遷移”的網絡特性，基于以下原則重新設計NFV系統(tǒng)：前端無狀態(tài)、橫向可擴展、單點失效不影響業(yè)務，分離業(yè)務處理單元和存儲節(jié)點。計算節(jié)點不再保存用戶狀態(tài)信息，只負責對信令進行處理。業(yè)務處理單元在處理用戶消息（信令）時需要從數據庫中獲取用戶信息，再結合用戶的狀態(tài)對消息進行處理。這也就是將一個傳統(tǒng)網元拆成多個虛擬網絡功能組件（VNFC——Virtualized Network FunctionComponent），具體的業(yè)務處理結構如圖1所示。

圖1 業(yè)務處理結構

基于上述業(yè)務處理結構，虛擬機可以在網絡中不受限遷移，這也就實現(xiàn)了業(yè)務的靈活變更。本文采用圖2的方案對移動核心網虛擬網元進行業(yè)務無損容災遷移，方案采用VxLAN和EVPN技術對虛擬網元中的計算資源進行大二層容災遷移；并基于原有SAN存儲模式的異地容災系統(tǒng)，采用實時異步復制數據模式，在同一個地（市）的不同DC間進行容災。

2.1 虛擬機（VM）的跨DC遷移

虛擬機遷移，顧名思義，就是將虛擬機從一個物理機遷移到另一個物理機，但是要求在遷移過程中業(yè)務不能中斷。要做到這一點，需要保證虛擬機遷移前后，其IP地址、MAC地址等參數維持不變。這就決定了，虛擬機遷移必須發(fā)生在一個二層域中。所以虛擬機的跨DC遷移就需要在DC之間建立一個大二層的連接通道，基于現(xiàn)有技術和可維護性，本文采用Vx-LAN和EVPN技術在DC間建立一個大二層連接通道，以實現(xiàn)虛擬機的跨DC遷移。

2.1.1 VxLAN和EVPN技術

VxLAN是由IETF定義的NVO3（Network Virtualization over Layer 3）標準技術之一，采用L2 over L4（MAC-in-UDP）的報文封裝模式，將二層報文用三層協(xié)議進行封裝，可實現(xiàn)二層網絡在三層范圍內進行擴展，同時滿足數據中心大二層虛擬遷移和多租戶的需求。

圖2 業(yè)務無損容災遷移網絡結構

最初的VxLAN方案（RFC7348）中沒有定義控制平面，是通過手工配置VxLAN隧道，然后用流量泛洪的方式進行主機地址的學習。這種方式實現(xiàn)上較為簡單，但是會導致網絡中存在很多泛洪流量，網絡擴展的難度較大。

為了解決上述問題，VxLAN引入了EVPN（Ethernet VPN）作為其控制平面。EVPN參考了BGP/MPLS IP VPN的機制，通過擴展BGP協(xié)議定義了幾種BGP EVPN路由，通過在網絡中發(fā)布路由來實現(xiàn)VTEP的自動發(fā)現(xiàn)、主機地址學習。

采用EVPN作為控制平面具有以下一些優(yōu)勢。

a）可實現(xiàn)VTEP自動發(fā)現(xiàn)、VxLAN隧道自動建立，從而降低網絡部署、擴展的難度。

b）EVPN可以同時發(fā)布二層MAC和三層路由信息。

c）可以減少網絡中泛洪流量。

2.1.2 虛擬機跨DC遷移的網絡設計

大二層的DCI連接建立時，VM1和VM2間的通信采用三段式VxLAN的方案，在數據中心A和數據中心B內部分別創(chuàng)建VxLAN隧道，在數據中心的出口路由器（Transit Leaf）間也創(chuàng)建VxLAN隧道。同時在數據中心內部和跨數據中心互聯(lián)鏈路上分別配置BGPEVPN，具體如下。

a）控制平面：Server Leaf 1在學習到VM1的MAC地址后，生成BGP EVPN路由發(fā)送給出口路由器1（Transit Leaf 1）；出口路由器1收到BGP EVPN路由后，先交叉到本地EVPN實例中，并在EVPN實例中生成VM1的MAC表項，再通過BGP EVPN方式將VM1的MAC地址更新發(fā)送給出口路由器2（Transit Leaf 2）；出口路由器2再廣播至Server Leaf 2，在Server Leaf 2中形成VM1的MAC地址項。同時，VM2的MAC地址經由相同的方式轉發(fā)到Server Leaf 1，這樣VM1和VM2之間就建立了可以直接進行二層數據轉發(fā)的路徑。

b）數據轉發(fā)平面：通過圖3所示的三段式VxLAN隧道，系統(tǒng)利用控制平面生成的MAC地址轉發(fā)表，將數據逐段轉發(fā)至對端VM。在Transit Leaf 1和Transit Leaf 2間建立端到端的VxLAN隧道時，需要實現(xiàn)Vx-LAN Mapping功能，并進行一次VNI的轉換。

2.2 基于SAN存儲模式的異地容災系統(tǒng)設計

虛擬機通過存儲區(qū)域網絡（SAN——Storage Aera Network）與存儲設備相連。隨著以太網技術的發(fā)展，特別是10GE網絡的普及，以太網的性能已經能滿足存儲的要求。當虛擬機有數據存取的需求時，數據可以通過IP SAN網絡高速傳輸?；赟AN存儲模式的異地容災系統(tǒng)如圖4所示，其采用異步復制的方式同步主備數據中心的數據。各個設備廠家均有成熟的方案，在此不再贅述。

圖3 數據轉發(fā)平面

圖4 容災備份結構

3 結束語

傳統(tǒng)的容災方案已經無法適應不同業(yè)務的質量需求，而且在主備網元切換過程中用戶業(yè)務必須中斷。而本文中的跨DC的虛擬化核心網容災體系可以利用現(xiàn)有技術，在不同的通信云之間，近乎無損地遷移虛擬化網元，新的容災體系能更好地適應通信云中虛擬機常態(tài)化遷移的特點，增加了數據中心的計算密度，可以按需啟用數據中心服務器和存儲資源，減少了人工管理的成本，提升了用戶業(yè)務感知。