何宇鋒，林奕琳，張琳峰

（中國電信股份有限公司廣州研究院，廣東 廣州 510630）

1 引言

根據(jù)思科Mobile Visual Networking Index（VNI）報(bào)告預(yù)測，全球移動(dòng)數(shù)據(jù)流量在2016年至2021年間將增長7倍，推動(dòng)流量增長的因素主要包括移動(dòng)用戶、智能手機(jī)和物聯(lián)網(wǎng)連接的迅猛增長，網(wǎng)絡(luò)速度的快速提升，以及移動(dòng)視頻消費(fèi)的大幅增加。同時(shí)傳統(tǒng)網(wǎng)絡(luò)存在著封閉、專用、不能靈活調(diào)度、缺乏高效管理、運(yùn)營成本高、利用率低等問題。

面臨眾多新型的網(wǎng)絡(luò)業(yè)務(wù)、極大的流量壓力及傳統(tǒng)網(wǎng)絡(luò)帶來的問題，運(yùn)營商必須對網(wǎng)絡(luò)架構(gòu)進(jìn)行改革，在這樣的背景下，運(yùn)營商牽頭提出了網(wǎng)絡(luò)功能虛擬化（NFV, Network Function Virtualization）。移動(dòng)核心網(wǎng)使用虛擬化技術(shù)帶來的優(yōu)點(diǎn)包括以下幾個(gè)方面：

（1）降低運(yùn)營商采購成本和運(yùn)營成本；

（2）基于資源池靈活配置網(wǎng)絡(luò)功能，提高網(wǎng)絡(luò)使用效率；

（3）動(dòng)態(tài)地配置網(wǎng)絡(luò)，給用戶提供的服務(wù)具有更高可用性和彈性；

（4）提升網(wǎng)絡(luò)靈活性，縮短傳統(tǒng)運(yùn)營商的創(chuàng)新周期，加快業(yè)務(wù)推向市場的速度。

目前的移動(dòng)核心網(wǎng)虛擬化主要是通過虛擬機(jī)承載，而容器作為一種輕量級的虛擬化技術(shù)，已受到越來越多的運(yùn)營商關(guān)注，如何將虛擬化的移動(dòng)核心網(wǎng)承載到容器上，逐漸成為研究熱點(diǎn)。

本文首先介紹了容器技術(shù)，并對比了容器技術(shù)和虛擬機(jī)技術(shù)的特性，然后使用了開源軟件驗(yàn)證了容器技術(shù)在4G核心網(wǎng)應(yīng)用的可行性，最后介紹了容器技術(shù)在5G核心網(wǎng)的應(yīng)用承載方案，并給出了后續(xù)建議。

2 容器技術(shù)

2.1 容器技術(shù)介紹

容器（Container）是一種基于系統(tǒng)內(nèi)核的輕量級虛擬化技術(shù)，可以在單一宿主機(jī)上同時(shí)提供多個(gè)擁有獨(dú)立進(jìn)程、文件和網(wǎng)絡(luò)空間的虛擬環(huán)境（即容器）。同時(shí)，容器也是一種敏捷的應(yīng)用交付技術(shù)，將應(yīng)用依賴的軟件棧整體打包，以統(tǒng)一的格式交付運(yùn)行。

容器具有以下的技術(shù)特點(diǎn)：

（1）輕量級：鏡像體積小，占用資源少，單機(jī)一般可以同時(shí)運(yùn)行上百個(gè)容器；

（2）易部署：應(yīng)用整體打包成標(biāo)準(zhǔn)格式、倉庫存儲(chǔ)、單命令部署的組件；

（3）快速啟停：無需加載整個(gè)操作系統(tǒng)，僅受進(jìn)程自身啟動(dòng)時(shí)間影響；

（4）高性能：直接通過內(nèi)核訪問磁盤和網(wǎng)絡(luò)I/O，I/O性能接近物理機(jī)；

（5）弱隔離：依賴Linux內(nèi)核機(jī)制隔離資源，內(nèi)核隔離機(jī)制成熟度較低。

容器技術(shù)核心體系包含了三大部件，分別是容器引擎、鏡像倉庫和容器管理。

容器引擎是整個(gè)容器技術(shù)棧的核心，負(fù)責(zé)容器的創(chuàng)建、運(yùn)行和管理，為容器掛載存儲(chǔ)和網(wǎng)絡(luò)資源，并對外提供輕量級的容器管理接口。目前主流的開源容器引擎包括Docker公司的Docker、Ubuntu的LXC/LXD和CoreOS團(tuán)隊(duì)的Rocket，其中Docker是容器引擎的事實(shí)標(biāo)準(zhǔn)。

鏡像是容器創(chuàng)建的基礎(chǔ)，容器鏡像采用分層結(jié)構(gòu)構(gòu)建，打包了應(yīng)用軟件、運(yùn)行環(huán)境和依賴庫，通過鏡像倉庫提供鏡像文件的保存和分發(fā)，保證了開發(fā)測試生產(chǎn)環(huán)境的一致性和應(yīng)用快速復(fù)制的高效性。目前主流的開源鏡像倉庫包括Docker公司的Registry和VMware公司的Harbor。

容器管理是為了支撐分布式系統(tǒng)的復(fù)雜工作負(fù)載，讓眾多跨主機(jī)的容器協(xié)同工作的框架和解決方案，用來支撐容器集群的服務(wù)編排、資源調(diào)度和服務(wù)發(fā)現(xiàn)，保證整個(gè)集群能夠可靠、高效、合理地運(yùn)轉(zhuǎn)。Kubernetes、Swarm和Mesos是當(dāng)前主流的三大容器集群管理系統(tǒng)，其中Kubernetes的技術(shù)領(lǐng)先，成熟度最高，市場占用率超過50%，接近成為容器集群管理的事實(shí)標(biāo)準(zhǔn)。

容器擁有著雙重屬性，包括：

（1）資源屬性：面向資源，是一種操作系統(tǒng)的虛擬化方式；輕量化，節(jié)省了GuestOS開銷；啟動(dòng)快，秒級；隔離能力弱，共享OS內(nèi)核；

（2）應(yīng)用屬性：面向應(yīng)用，是一種應(yīng)用打包和發(fā)布方式；依賴自包含、跨平臺兼容；Build-Ship-Run的一致性，便于發(fā)布、分發(fā)、加載。

容器的雙重屬性決定了它是微服務(wù)的最佳載體。

2.2 容器技術(shù)與虛擬機(jī)技術(shù)的特性比較

根據(jù)Docker官網(wǎng)介紹，容器與虛擬機(jī)對比如圖1所示，容器共享宿主機(jī)操作系統(tǒng)，比虛擬機(jī)少了GuestOS層，因此在體量上，容器較虛擬機(jī)更輕量級，同時(shí)由于直接通過系統(tǒng)內(nèi)核訪問硬件，在理論上具備更佳的性能，但容器在安全性和成熟度上不如虛擬機(jī)。

表1具體總結(jié)了使用容器技術(shù)與虛擬機(jī)技術(shù)的特性比較，可見容器技術(shù)在許多場景下都具有巨大優(yōu)勢，特別是在業(yè)務(wù)交付敏捷和資源利用率高的應(yīng)用場景。

圖1 容器與虛擬機(jī)對比

表1 容器技術(shù)與虛擬機(jī)技術(shù)的特性比較

3 容器技術(shù)在4G核心網(wǎng)的試驗(yàn)

為驗(yàn)證容器技術(shù)在4G核心網(wǎng)應(yīng)用的可行性，同時(shí)對容器、虛擬機(jī)的特性進(jìn)行對比，本文將在實(shí)驗(yàn)室使用開源軟件NFV_LTE_EPC進(jìn)行試驗(yàn)。

試驗(yàn)步驟：首先在技術(shù)成熟的虛擬機(jī)上進(jìn)行編譯，在虛擬機(jī)上部署驗(yàn)證后再進(jìn)行容器化方案研究；

硬件環(huán)境：惠普C7000刀框、每個(gè)刀片包含2個(gè)8核2.4 GHz CPU、256 GB內(nèi)存、2個(gè)800 GB SSD硬盤；

軟件環(huán)境：NFV_LTE_EPC、Linux操作系統(tǒng)、Qemu-KVM、kubernetes、Docker Engine、MySQL、Xshell。

3.1 開源vEPC的虛擬機(jī)部署試驗(yàn)

本次試驗(yàn)采用開源軟件NFV_LTE_EPC從GitHub下載，模擬網(wǎng)元如圖2所示，對開源軟件所需的環(huán)境進(jìn)行配置、編譯后，可以獲得如圖3、圖4所示的運(yùn)行狀態(tài)。在啟動(dòng)終端模擬器進(jìn)行用戶附著后，可以得出圖5的運(yùn)行結(jié)果。

圖2 開源軟件NFV_LTE_EPC模擬的網(wǎng)元架構(gòu)圖

圖3 網(wǎng)元vSGW和vPGW的運(yùn)行狀態(tài)

3.2 開源vEPC的容器部署試驗(yàn)

（1）容器鏡像的生成

鏡像是一個(gè)只讀的容器模板，含有啟動(dòng)容器所需的文件系統(tǒng)結(jié)構(gòu)及其內(nèi)容，因此是啟動(dòng)容器的基礎(chǔ)?？梢赃@么理解，鏡像是容器的靜態(tài)視角，容器是鏡像的運(yùn)行狀態(tài)。

圖4 網(wǎng)元vMME和vHSS的運(yùn)行狀態(tài)

圖5 開源軟件NFV_LTE_EPC的運(yùn)行結(jié)果

在這次的試驗(yàn)過程中所使用到的基礎(chǔ)鏡像是官方所提供的tutorialtest純凈ubutnu鏡像，元鏡像比較?。ú坏?00 M），在此基礎(chǔ)上，使用DockerFile方式封裝和層疊所需的文件。圖6為hss鏡像的DockerFile文件，里面主要是加入了vepc_hss.out進(jìn)程模塊和autosh.sh自動(dòng)化腳本，ENTRYPOINT是容器啟動(dòng)時(shí)的進(jìn)程執(zhí)行入口，可通過該入口在啟動(dòng)容器時(shí)執(zhí)行相關(guān)的指令操作。

圖6 開源vEPC的容器鏡像生成

在完成Docker File的編寫后，只要執(zhí)行相應(yīng)的docker build指令，就能通過腳本打成鏡像。圖7是將各個(gè)NFV_LTE_EPC模塊打包好后的鏡像：

圖7 NFV_LTE_EPC的網(wǎng)元容器鏡像

（2）容器的kubernetes集群環(huán)境腳本與執(zhí)行

Kubenetes是一款由Google開發(fā)的開源的容器編排工具（GitHub源碼），在Google已經(jīng)使用超過15年，支持對容器集群進(jìn)行調(diào)度、負(fù)載均衡、應(yīng)用伸縮、管理和監(jiān)控等功能，截至2017年底，使用Kubernetes作為容器管理工具的企業(yè)占比達(dá)77%，已經(jīng)成為了事實(shí)標(biāo)準(zhǔn)，本次試驗(yàn)使用Kubernetes實(shí)現(xiàn)對各個(gè)網(wǎng)元的實(shí)例化、擴(kuò)容、縮容、升降級等管理功能。圖8展示了各網(wǎng)元在容器化環(huán)境下的運(yùn)行狀態(tài)：

圖8 NFV_LTE_EPC各網(wǎng)元的容器化部署

3.3 容器與虛擬機(jī)的性能比較

在NFV_LTE_EPC各網(wǎng)元分別在虛擬機(jī)和容器試驗(yàn)成功后，本文對兩種部署方式的特性進(jìn)行了測試對比，表2為具體的對比數(shù)據(jù)：

表2 容器技術(shù)與虛擬機(jī)技術(shù)部署NFV_LTE_EPC的特性比較

從表中可以看出，在啟動(dòng)速度、擴(kuò)縮容時(shí)間、重啟時(shí)間以及升級及回滾的性能方面，容器相比虛擬機(jī)都有著明顯的優(yōu)勢。但為了更好地適應(yīng)容器部署環(huán)境，EPC自身需要進(jìn)行一定的改造，主要包括：

（1）以微服務(wù)理念拆分業(yè)務(wù)服務(wù)與基礎(chǔ)服務(wù)，更加吻合容器的“小”、“快”的特點(diǎn)；

（2）無狀態(tài)設(shè)計(jì)改造，業(yè)務(wù)處理和數(shù)據(jù)存儲(chǔ)分離，使無狀態(tài)服務(wù)可以隨時(shí)擴(kuò)展、收縮和重啟；

（3）通過標(biāo)準(zhǔn)化、透明化、輕量級的協(xié)議封裝服務(wù)通信接口。

這些特點(diǎn)都在5G核心網(wǎng)架構(gòu)設(shè)計(jì)中得以體現(xiàn)。

4 容器技術(shù)在5G核心網(wǎng)的應(yīng)用研究

5G涵蓋了三大應(yīng)用場景：增強(qiáng)移動(dòng)寬帶業(yè)務(wù)（eMBB, enhanced Mobile Broadband）、海量機(jī)器通信（mMTC, Massive Machine Type Communication）和高可靠低時(shí)延（URLLC, Ultra Reliable Low Latency Communications），每種技術(shù)場景都提煉于各行各業(yè)對未來通信的需求。

而車聯(lián)網(wǎng)、大規(guī)模物聯(lián)網(wǎng)、工業(yè)自動(dòng)化、遠(yuǎn)程醫(yī)療、VR/AR等，這些服務(wù)對網(wǎng)絡(luò)要求不一，比如工業(yè)自動(dòng)化要求低時(shí)延、高可靠但對數(shù)據(jù)速率要求不高；高清視頻無需超低時(shí)延但要求超高速率；一些大規(guī)模物聯(lián)網(wǎng)不需要切換，部分移動(dòng)性管理對之而言是信令浪費(fèi)等，為此5G要多功能滿足差異化的網(wǎng)絡(luò)服務(wù)。在面向未來萬物互聯(lián)、垂直行業(yè)靈活多變的需求基礎(chǔ)上，5G核心網(wǎng)相對于4G核心網(wǎng)的區(qū)別包括：

（1）控制與承載徹底分離，引入服務(wù)化架構(gòu)；

（2）網(wǎng)絡(luò)功能模塊化，顆粒度進(jìn)一步細(xì)化；

（3）網(wǎng)絡(luò)功能模塊對外提供基于HTTP的API服務(wù)化接口；

（4）無狀態(tài)化、業(yè)務(wù)處理與數(shù)據(jù)存儲(chǔ)分離；

（5）引入網(wǎng)絡(luò)切片，網(wǎng)絡(luò)業(yè)務(wù)“搭積木”式按需靈活定制。

相對于4G核心網(wǎng)，5G核心網(wǎng)最顯著的區(qū)別在于引入“互聯(lián)網(wǎng)化”基因，基于云原生原則，實(shí)現(xiàn)了服務(wù)化架構(gòu)（SBA, Service-based Architecture），如圖9所示。而容器的雙重屬性（資源屬性和應(yīng)用屬性），決定了它是微服務(wù)的最佳載體，因此容器技術(shù)將是5G核心網(wǎng)的重要的備選資源載體。

圖9 5G服務(wù)化架構(gòu)

對于實(shí)現(xiàn)5G核心網(wǎng)容器化承載方式，主要會(huì)有三種：虛擬機(jī)容器、虛擬機(jī)和容器混合承載以及裸機(jī)容器承載，如圖10所示。

對于虛擬機(jī)容器承載，是在虛擬機(jī)上疊加容器承載5G VNF，可利用IaaS現(xiàn)有成熟的網(wǎng)絡(luò)和存儲(chǔ)能力，同時(shí)通過虛擬機(jī)隔離，以更靈活的方式實(shí)現(xiàn)租戶間安全隔離，有效地彌補(bǔ)了容器在網(wǎng)絡(luò)和安全方面的不足。但由于容器部署于虛擬機(jī)之上，存在5%～10%的性能損耗，同時(shí)容器資源調(diào)度受限于虛擬機(jī)。

對于虛擬機(jī)和容器混合承載，5G VNF將按需部署在IaaS的虛擬機(jī)或容器中，IaaS將統(tǒng)一管理承載虛擬機(jī)/容器的裸機(jī)，能充分發(fā)揮容器的性能優(yōu)勢。但容器管理平臺如何與虛擬機(jī)管理平臺進(jìn)行統(tǒng)一將是一項(xiàng)挑戰(zhàn)。

對于裸機(jī)容器承載，將直接基于裸機(jī)部署的容器承載5G VNF，能夠充分發(fā)揮容器性能和大規(guī)模調(diào)度優(yōu)勢。但容器平臺及周邊生態(tài)成熟度仍有待提升。

對比容器承載5G核心網(wǎng)的三種方式，裸機(jī)容器承載模式是最能發(fā)揮容器整體性能、大規(guī)模資源調(diào)度的承載模式，然而由于容器的網(wǎng)絡(luò)、安全以及周邊生態(tài)仍未成熟，通過虛擬機(jī)容器承載和虛擬機(jī)與容器混合承載5G核心網(wǎng)都將在一段時(shí)期內(nèi)并存。

5 結(jié)束語

本文從原理上介紹了容器技術(shù)特點(diǎn)，并與虛擬機(jī)技術(shù)進(jìn)行了理論對比。同時(shí)結(jié)合開源軟件，對4G核心網(wǎng)進(jìn)行了試驗(yàn)，通過數(shù)據(jù)對比了容器技術(shù)與虛擬機(jī)技術(shù)的不同特性，驗(yàn)證了容器技術(shù)快速啟停、快速部署等優(yōu)勢。最后針對未來承載5G核心網(wǎng)服務(wù)化架構(gòu)的三種方式進(jìn)行了對比討論，指出容器技術(shù)與虛擬機(jī)技術(shù)將在相當(dāng)一段時(shí)間內(nèi)并存。

對于容器技術(shù)在移動(dòng)核心網(wǎng)的應(yīng)用前景，有以下建議供探討：容器技術(shù)在CT領(lǐng)域尚未有規(guī)模商用案例，在容器技術(shù)發(fā)展成熟前，4G核心網(wǎng)虛擬化以虛擬機(jī)承載為宜；而微服務(wù)化是移動(dòng)網(wǎng)絡(luò)的演進(jìn)方向，容器是重要的備選承載方式，各廠商都計(jì)劃在2018年下半年推出容器部署的5G核心網(wǎng)測試版本，建議繼續(xù)緊跟容器產(chǎn)業(yè)和生態(tài)發(fā)展，適時(shí)開展5G核心網(wǎng)容器化部署的關(guān)鍵技術(shù)研究及功能/性能測試驗(yàn)證。

參考文獻(xiàn)：

[1]3GPP TS 23.501 V1.5.0. System Architecture for the 5G System[S]. 2017.

[2]3GPP TS 23.401 V14.3.0. General Packet Radio Service(GPRS) enhancements for Evolved Universal Terrestrial Radio Access Network[S]. 2017.

[3]陸鋼,楊新章,何震葦,等.電信運(yùn)營商對容器技術(shù)的探索和思考[J]. 電信科學(xué), 2016(8)： 159-160.

[4]趙慧玲,解云鵬,史凡. 網(wǎng)絡(luò)虛擬化及網(wǎng)絡(luò)功能虛擬化技術(shù)探討[J]. 中興通訊技術(shù), 2014(3)： 8-11.

[5]趙河,華一強(qiáng),郭曉琳. NFV技術(shù)的進(jìn)展和應(yīng)用場景[J].郵電設(shè)計(jì)技術(shù), 2014(6)： 62-67.

[6]崔萌. 移動(dòng)核心網(wǎng)NFV部署及演進(jìn)分析[J]. 電信科學(xué),2016(3)： 77-80.

[7]邵廣祿. SDN/NFV重構(gòu)未來網(wǎng)絡(luò)[M]. 北京： 人民郵電出版社, 2016.

[8]史凡,趙慧玲. 中國電信網(wǎng)絡(luò)重構(gòu)及關(guān)鍵技術(shù)分析[J]. 中興通訊技術(shù), 2017,23(2)： 2-5.

[9]李素游,壽國礎(chǔ). 網(wǎng)絡(luò)功能虛擬化（NFV架構(gòu)開發(fā)測試及應(yīng)用）[M]. 北京： 人民郵電出版社, 2017.

[10]徐雷. 網(wǎng)絡(luò)功能虛擬化技術(shù)及應(yīng)用[M]. 北京： 人民郵電出版社, 2016. ★