陳佳媛 王瑞雪 班有容 劉瀛 范亞梅

【摘? 要】近年來，隨著5G和邊緣計算等業(yè)務(wù)的興起，傳統(tǒng)的核心云技術(shù)在云網(wǎng)協(xié)同、媒體面轉(zhuǎn)發(fā)性能、邊緣節(jié)點資源受限等方面逐漸顯現(xiàn)出不足。結(jié)合上層業(yè)務(wù)特殊需求，重點介紹在SDN/NFV融合、邊緣電信云架構(gòu)、硬件加速和容器等領(lǐng)域的研究成果和技術(shù)觀點。目前而言，這幾個領(lǐng)域的技術(shù)成熟度還需要進(jìn)一步加強(qiáng)，才能滿足5G規(guī)模商用后的業(yè)務(wù)需求。

【關(guān)鍵詞】NFV;SDN;邊緣電信云;硬件加速;容器

doi：10.3969/j.issn.1006-1010.2019.01.010? ? ? ? 中圖分類號：TN929.5

文獻(xiàn)標(biāo)志碼：A? ? ? ? 文章編號：1006-1010（2019）01-0057-06

引用格式：陳佳媛，王瑞雪，班有容，等. 中國移動面向5G的電信云基礎(chǔ)設(shè)施技術(shù)研究和實踐[J]. 移動通信， 2019，43（1）： 57-62.

Research and Practice on Telecommunication Cloud Infrastructure for

China Mobiles 5G Communications

CHEN Jiayuan， WANG Ruixue， BAN Yourong， LIU Ying， FAN Yamei

（China Mobile Research Institute， Beijing 100053， China）

[Abstract]?In recent years， with the emergence of 5G and edge computing services， the traditional core cloud technology has deficiencies in cloud network cooperation， media plane forwarding performance and edge node resources. Combined with upper-layer specific requirements， the research results and technical viewpoints in the fields of SDN/NFV integration， edge telecommunication cloud architecture， hardware acceleration and container are addressed. At present， the technical maturity in these fields should be further enhanced to satisfy the business requirements of large-scale 5G commercial applications.

[Key words]NFV; SDN; edge telecommunication cloud; hardware acceleration; container

1? ?引言

早在2012年，以AT&T為首的全球各大主流運(yùn)營商在ETSI發(fā)布業(yè)界首個NFV（Network Function Virtualization，網(wǎng)絡(luò)功能虛擬化）白皮書[1]，旨在解決傳統(tǒng)網(wǎng)絡(luò)資源利用率、業(yè)務(wù)上線周期長、網(wǎng)絡(luò)開放性不足等問題。2014年，中國移動啟動基于NFV和SDN（Software Defined Network，軟件定義網(wǎng)絡(luò)）的網(wǎng)絡(luò)轉(zhuǎn)型研究，并在2015年發(fā)布了《NovoNet 2020愿景》，旨在構(gòu)建一張資源可全局調(diào)度、能力可全面開放、容量可彈性伸縮、架構(gòu)可靈活調(diào)整的下一代網(wǎng)絡(luò)。經(jīng)過長達(dá)四年的技術(shù)研究、新技術(shù)試驗和現(xiàn)網(wǎng)試點，面向控制面網(wǎng)元的網(wǎng)絡(luò)云化技術(shù)已基本成形，步入商用階段。

然而，近年來隨著5G和邊緣計算等業(yè)務(wù)逐漸興起。5G的三大典型應(yīng)用場景，如eMBB（enhanced Mobile Broadband，增強(qiáng)移動寬帶）、mMTC（massive Machine Type Communications，海量機(jī)器類通信）、uRLLC（ultra-Reliable and Low Latency Communications，低時延高可靠連接），分別在通信速率、連接數(shù)、時延等方面對網(wǎng)絡(luò)提出了更高的要求。由于5G網(wǎng)絡(luò)將采用徹底云化的架構(gòu)，因此，如何使云化的基礎(chǔ)設(shè)施最大化地發(fā)揮其優(yōu)勢支撐上層業(yè)務(wù)，成為了運(yùn)營商網(wǎng)絡(luò)轉(zhuǎn)型的下一步關(guān)鍵所在。本文將結(jié)合中國移動網(wǎng)絡(luò)云化的實際進(jìn)程，全面介紹NovoNet下一代網(wǎng)絡(luò)中面向5G的關(guān)鍵技術(shù)研究成果和實踐經(jīng)驗，覆蓋SDN/NFV融合、邊緣電信云技術(shù)架構(gòu)、硬件加速以及容器等多個領(lǐng)域，希望為運(yùn)營商網(wǎng)絡(luò)轉(zhuǎn)型以及整個行業(yè)的ICT融合提供參考。

2? ?SDN/NFV融合技術(shù)方案研究和實踐

SDN作為中國移動NovoNet下一代網(wǎng)絡(luò)總體設(shè)計架構(gòu)的兩大關(guān)鍵技術(shù)之一，具有控制與轉(zhuǎn)發(fā)分離、控制面集中、接口開放可編程的特點，可實現(xiàn)全局視角網(wǎng)絡(luò)資源靈活調(diào)度以及新業(yè)務(wù)快速部署，能簡化運(yùn)維，提高網(wǎng)絡(luò)資源利用率。

鑒于未來NFV必然沿著兩層（硬件層和軟件層）乃至三層（硬件層、虛擬層和網(wǎng)元層）解耦的方式進(jìn)行建設(shè)，通用電信云資源池將會承載多廠商多領(lǐng)域的業(yè)務(wù)，為適應(yīng)后續(xù)NFV網(wǎng)元大規(guī)模部署的需求，網(wǎng)絡(luò)需要通過自動化方式按需提供網(wǎng)絡(luò)自動開通、多業(yè)務(wù)隔離、安全隔離以及DCI（Data Center Interconnection，數(shù)據(jù)中心互聯(lián)）能力，而這恰恰是SDN的優(yōu)勢。目前SDN技術(shù)在中國移動公有云和私有云場景已成熟商用，NFV技術(shù)也在電信云完成多期試點驗證，但電信云場景下，SDN/NFV融合方案仍處于研究階段。究其原因，電信云用于承載虛擬化后的核心網(wǎng)網(wǎng)元，其網(wǎng)元特殊性、組網(wǎng)復(fù)雜性、網(wǎng)絡(luò)功能和性能的要求和傳統(tǒng)IT云不盡相同，如何結(jié)合電信云網(wǎng)絡(luò)特點進(jìn)行SDN/NFV融合組網(wǎng)方案制定成為未來網(wǎng)絡(luò)發(fā)展的重點和難點。

中國移動在ETSI定義的NFV經(jīng)典架構(gòu)基礎(chǔ)上融入SDN三層架構(gòu)，提出SDN/NFV融合架構(gòu)，如圖1所示。SDN控制器作為網(wǎng)絡(luò)管理的核心組件北向?qū)覸IM（Virtualized Infrastructure Manager，虛擬基礎(chǔ)設(shè)施管理），實現(xiàn)電信云內(nèi)部NFV網(wǎng)元內(nèi)部以及網(wǎng)元之間的網(wǎng)絡(luò)自動開通。為滿足電信云網(wǎng)元形態(tài)多樣性，電信云SDN組網(wǎng)采用混合組網(wǎng)方案，可通過合理部署SDN轉(zhuǎn)發(fā)設(shè)備實現(xiàn)業(yè)務(wù)網(wǎng)元靈活接入SDN網(wǎng)絡(luò)，其中普通虛擬化網(wǎng)元采用vSwitch作為SDN接入點，高吞吐虛擬化網(wǎng)元采用SR-IOV網(wǎng)卡直通技術(shù)結(jié)合硬件交換機(jī)作為SDN接入點，實現(xiàn)高性能轉(zhuǎn)發(fā)。SDN接入設(shè)備對報文進(jìn)行VxLAN隧道封裝后，通過查詢控制器下發(fā)的流表發(fā)送到遠(yuǎn)端SDN接入設(shè)備或SDN網(wǎng)關(guān)。

傳統(tǒng)核心網(wǎng)設(shè)備的實現(xiàn)機(jī)制以及現(xiàn)有NFV技術(shù)在ICT融合方面缺乏足夠的IT思維，NFV網(wǎng)元部署方式和業(yè)務(wù)邏輯特殊性、高性能高可靠的轉(zhuǎn)發(fā)要求，都對網(wǎng)絡(luò)提出特定的功能增強(qiáng)需求。例如部分面向用戶和企業(yè)提供服務(wù)的網(wǎng)元，為了實現(xiàn)不同用戶、企業(yè)間的隔離，引入VLAN透傳的需求;部分網(wǎng)元存在與對外設(shè)備通過路由協(xié)議直接交互路由表項的需求，定義為路由型網(wǎng)元，網(wǎng)絡(luò)對該類網(wǎng)元的支持程度也需要納入考慮。其次，傳統(tǒng)電信網(wǎng)元作為硬件設(shè)備，可實現(xiàn)高效可靠的業(yè)務(wù)處理，需引入SR-IOV（Single Root IO Virtualization，單根IO虛擬化）加速技術(shù)以提高網(wǎng)元轉(zhuǎn)發(fā)效率。引入SDN后，SR-IOV場景需支持VxLAN類型網(wǎng)絡(luò)，要求控制器和I層配合實現(xiàn)層次化端口綁定功能。最后，與傳統(tǒng)IT云內(nèi)網(wǎng)元最大的不同在于NFV網(wǎng)元業(yè)務(wù)IP通過EMS配置，VIM和SDN控制器無法感知該業(yè)務(wù)IP，導(dǎo)致網(wǎng)元間互訪的流量無法自動化指導(dǎo)轉(zhuǎn)發(fā)，需要引入額外的配置工作量。

目前數(shù)據(jù)中心SDN方案主要面向IT云，實現(xiàn)IT云網(wǎng)絡(luò)自動化部署和集中化管理。為滿足電信云NFV網(wǎng)元快速上線、靈活部署及動態(tài)變更的業(yè)務(wù)需求以及對網(wǎng)絡(luò)的特殊需求，相比于傳統(tǒng)NFV資源池部署機(jī)制，SDN/NFV融合方案會對現(xiàn)有NFV網(wǎng)元實現(xiàn)機(jī)制、MANO設(shè)計及端到端流程有較大改動，該方案將成為未來一段時間的重點研究方向，并將在2019年啟動的中國移動5G試驗網(wǎng)進(jìn)行測試驗證。

3? ?邊緣電信云

隨著5G技術(shù)的快速發(fā)展和邊緣業(yè)務(wù)的快速興起，越來越多的業(yè)務(wù)產(chǎn)生了邊緣位置部署的需求[2]。5G UPF（User Plane Function，用戶面功能）的超大帶寬需求、CRAN-CU（Cloud Radio Access Network-Centralized Unit，云化無線接入網(wǎng)-中心單元）的超低時延要求等，對承載此類業(yè)務(wù)的邊緣云提出了更高的要求。

由于邊緣站點部署位置分散，電力、運(yùn)維、空間等多方受限，而業(yè)務(wù)對計算、轉(zhuǎn)發(fā)等性能要求高，邊緣電信云具備以下多種特征：（1）管理輕量級，由于資源受限，要求站點具備輕量的管理組件，如VIM輕量化部署、SDN控制器輕量化部署等，將資源占用從物理服務(wù)器級別降低到CPU核級;（2）資源多樣化，邊緣站點承載業(yè)務(wù)多種多樣，資源池也包括了虛機(jī)、容器、裸機(jī)等，要求邊緣站點具備多種資源的納管能力;（3）軟/硬件加速，新興業(yè)務(wù)對計算及轉(zhuǎn)發(fā)性能要求較高，要求邊緣站點具備加速能力，以提高資源使用效率;（4）快捷交付，遠(yuǎn)程運(yùn)維，邊緣云分布廣泛，環(huán)境較為偏遠(yuǎn)，運(yùn)維力量受限，可考慮一體式交付及遠(yuǎn)程運(yùn)維，簡化邊緣站點的建設(shè)及運(yùn)維。因此，邊緣云架構(gòu)、定制化[3]、輕量化、小型化、硬件加速和容器等成為了該領(lǐng)域的研究熱點。

在整體架構(gòu)設(shè)計方面，圖2以O(shè)penStack為主展示了電信云邊緣站點的簡化層級管理架構(gòu)示例。對于資源池較大的邊緣站點，如地市級邊緣站點，其運(yùn)維能力強(qiáng)、資源充足，考慮集中運(yùn)維需求，應(yīng)在該類型站點中部署多云管理功能，納管本站點及下層小型邊緣站點。資源編排層面，由于編排器可僅對接大型邊緣站點進(jìn)行多云管理，小型邊緣站點及大型邊緣站點的業(yè)務(wù)編排操作均由多云管理功能接受編排器指令并進(jìn)行API分發(fā)而觸發(fā)。由此實現(xiàn)資源池管理的集中，降低運(yùn)維難度。對于資源池較小的邊緣站點，如區(qū)縣及以下小型邊緣站點，運(yùn)維能力弱，資源形態(tài)多樣化，為節(jié)省資源同時保留本地管理、自運(yùn)維、自愈能力，可通過將管理組件如OpenStack和SDN控制器輕量化部署或拉遠(yuǎn)部署減少管理資源占用[4]。

從邊緣站點內(nèi)部來看，站點內(nèi)涉及技術(shù)廣泛，復(fù)雜程度高，目前仍有諸多技術(shù)尚未成熟。例如，如何將多類硬件定制化以適應(yīng)邊緣環(huán)境，云平臺容器技術(shù)引入帶來NFV中哪些流程和接口的改變，軟/硬件加速如何為邊緣云提供統(tǒng)一加速資源，上文提到的如何將管理組件（如OpenStack、SDN控制器）輕量化以減少資源占用，多云管理功能如何降低邊緣站點運(yùn)維建設(shè)難度等。邊緣云的落地仍需業(yè)界共同努力，中國移動也將持續(xù)重點開展邊緣云技術(shù)方案驗證，依托NovoNet試驗網(wǎng)和越來越多的業(yè)界伙伴一起尋求更合理的邊緣云解決方案，加速邊緣云的商用進(jìn)程。

4? ?硬件加速

5G網(wǎng)絡(luò)大連接、低延時特征以及邊緣計算業(yè)務(wù)的興起，對未來網(wǎng)絡(luò)計算和轉(zhuǎn)發(fā)能力提出更高要求。X86架構(gòu)已經(jīng)進(jìn)入后摩爾定律時代，計算性能增長緩慢。在NFV架構(gòu)下，虛擬化網(wǎng)元和vSwitch采用軟件實現(xiàn)，通過CPU堆疊滿足計算轉(zhuǎn)發(fā)需求的成本和功耗較高。并且，未來網(wǎng)元下沉至邊緣機(jī)房，空間、電力、制冷能力受限，難以通過CPU堆疊保證性能。因此，引入硬件加速，將原子化的功能單元卸載到硬件加速卡處理，成為解決上述問題的必然趨勢。

如表1所示，當(dāng)前主流加速硬件有以下幾種形態(tài)，其中FPGA（Field-Programmable Gate Array，現(xiàn)場可編程門陣列）的產(chǎn)業(yè)較為成熟，且可現(xiàn)場編程，靈活性高;NP（Network Processor，網(wǎng)絡(luò)處理器）、SoC（System on Chip，系統(tǒng)級芯片）性價比較高，但產(chǎn)業(yè)成熟度有待提高;GPU（Graphic Processing Unit，圖形處理器）主要優(yōu)勢為圖像處理[5]。

目前電信網(wǎng)元網(wǎng)絡(luò)轉(zhuǎn)發(fā)的加速需求和邊緣計算的加速需求最為突出。其中邊緣計算的業(yè)務(wù)場景目前尚未明確，因此建議后續(xù)根據(jù)業(yè)務(wù)需求定制加速策略。網(wǎng)絡(luò)轉(zhuǎn)發(fā)層面，主要聚焦于5G領(lǐng)域的SAE-GW、UPF、BRAS等轉(zhuǎn)發(fā)面網(wǎng)元，由于其轉(zhuǎn)發(fā)流量的迅猛增長，解決此類網(wǎng)元的性能要求成為當(dāng)前硬件加速研究的重點。

硬件加速可以實現(xiàn)云基礎(chǔ)設(shè)施層和網(wǎng)元層加速。其中云基礎(chǔ)設(shè)施層加速主要指OVS（Open vSwitch，開源虛擬交換機(jī)）卸載。目前虛擬化網(wǎng)元的數(shù)據(jù)轉(zhuǎn)發(fā)主要采用SR-IOV和OVS-DPDK[6]兩種方案。其中SR-IOV在靈活性和與SDN組網(wǎng)方面存在技術(shù)劣勢，OVS-DPDK（Date Plane Development Kit，數(shù)據(jù)面開發(fā)軟件套件）則需消耗較多的CPU資源，且小包轉(zhuǎn)發(fā)性能較低。因此建議采用OVS卸載解決以上問題。OVS卸載之后硬件加速卡仍可以支持SR-IOV，且由于OVS支持被設(shè)置成vtep點，因此解決了SR-IOV在SDN場景下需要獨立組網(wǎng)的問題。并且OVS數(shù)據(jù)面卸載到加速硬件后，控制面只需占用1個物理核即可完成流量轉(zhuǎn)發(fā)，相比傳統(tǒng)方式節(jié)約一半以上CPU資源。網(wǎng)元層加速是指將部分網(wǎng)元功能卸載到加速卡上處理。被卸載到加速卡上的網(wǎng)元功能與上層調(diào)用該功能的網(wǎng)元有緊密的耦合關(guān)系，實現(xiàn)卸載功能與網(wǎng)元的解耦，是硬件加速在NFV領(lǐng)域應(yīng)用需要解決的一大難題。為了實現(xiàn)卸載功能與網(wǎng)元的解耦，需要定義卸載功能的通用API。業(yè)界（如DPDK社區(qū)）已有相關(guān)成果可做參考，但只覆蓋加解密和數(shù)據(jù)包的壓縮解壓縮處理等少數(shù)幾個方面，因此仍需業(yè)界進(jìn)一步推動成熟。

在硬件加速卡選擇方面，由于電信領(lǐng)域的硬件加速技術(shù)尚處于初期，對于某一類功能卸載到加速卡上的實現(xiàn)方案各廠家之間還存在差異，考慮到FPGA本身可擦寫的靈活屬性，初期建議采用FPGA加速網(wǎng)卡方案。加速功能穩(wěn)定后建議可逐步固化為NP、ASIC等低功耗低成本的不可編程芯片，提高硬件加速性價比。

除此以外，加速硬件作為NFV底層設(shè)備，需要被OpenStack系統(tǒng)納管。Openstack社區(qū)成立的Cyborg組建具備一定對加速資源進(jìn)行管理的功能，但是目前具體實現(xiàn)細(xì)節(jié)尚不清晰，還不滿足加速管理編排方案的需求，需要廠商積極參與到Cyborg項目中，推動其成熟[7]。

在2018年的MWC大會上，intel、聯(lián)想、賽特斯共同展示了基于FPGA的vBRAS數(shù)據(jù)面加速方案，與非加速方案對比，端到端的低優(yōu)先級業(yè)務(wù)延時抖動降低近一半。

5? ?容器

容器技術(shù)是一種操作系統(tǒng)級別虛擬化技術(shù)，可在單個Linux操作系統(tǒng)上提供多個獨立的系統(tǒng)容器環(huán)境，相比于虛擬機(jī)是更輕量級、更細(xì)粒度的虛擬化技術(shù)。容器鏡像自包含的特性使其擁有快速啟停、輕量化、資源隔離及易于移植等特點，作為一種操作系統(tǒng)虛擬化方式，體現(xiàn)了容器面向資源的屬性，作為一種應(yīng)用打包和發(fā)布方式，又體現(xiàn)了其面向應(yīng)用的屬性。在IT互聯(lián)網(wǎng)領(lǐng)域，其作為底層基礎(chǔ)架構(gòu)，在Web應(yīng)用、持續(xù)集成和持續(xù)部署、跨云遷移、無狀態(tài)、微服務(wù)等場景下已廣泛應(yīng)用。

在電信領(lǐng)域，運(yùn)營商正在通過NFV實現(xiàn)整個網(wǎng)絡(luò)軟件化和數(shù)字化的轉(zhuǎn)型。3GPP定義了5G核心網(wǎng)基于SBA（Service Based Architecture，服務(wù)化架構(gòu)）服務(wù)化架構(gòu)的標(biāo)準(zhǔn)[8]，網(wǎng)元以微服務(wù)方式重構(gòu)并對外提供服務(wù)。ETSI EVE011定義云原生（Cloud Native）的關(guān)鍵要素包括微服務(wù)、容器、敏捷運(yùn)維等[9]，而開源組織CNCF包括了一整套云原生體系。Cloud Native已被廣泛作為電信云演進(jìn)的目標(biāo)，應(yīng)用也正在向云原生的方向發(fā)展，而容器則被認(rèn)為是實現(xiàn)微服務(wù)架構(gòu)和云原生的最佳手段。

基于資源與應(yīng)用雙重屬性以及輕量化、易于移植等特點，容器在5GC中可以應(yīng)用于以下場景：

（1）邊緣場景：應(yīng)用于ICT深度融合、邊緣機(jī)房資源受限、第三方IT業(yè)務(wù)托管等領(lǐng)域;

（2）5G切片場景：在應(yīng)對各種差異化以及需求快速變化的業(yè)務(wù)場景時，可以實現(xiàn)資源使用效率最大化，并通過持續(xù)集成和部署，大大提升切片交付效率;

（3）DevOps：簡化軟件打包，加快5GC網(wǎng)元部署及升級，優(yōu)化DevOps流程等。

針對以上分析，我們建議容器在5GC的引入可以分為兩個階段：近期階段和遠(yuǎn)期階段，如圖3所示（虛線表示內(nèi)部接口）。

近期階段引入容器的原則是盡量減少對現(xiàn)有NFV系統(tǒng)的影響，建議采用虛機(jī)容器的方式，網(wǎng)元廠商自帶容器平臺。一方面保證網(wǎng)元的隔離性和安全性，另一方面可增加功能標(biāo)準(zhǔn)化而不規(guī)定標(biāo)準(zhǔn)化接口，實現(xiàn)同廠商部署，減少改造現(xiàn)有架構(gòu)的影響。遠(yuǎn)期階段引入的目標(biāo)是容器層解耦，作為資源池獨立維護(hù)與管理，增加容器資源池管理等流程，所有新增功能及接口均需標(biāo)準(zhǔn)化，并可同時支持虛機(jī)容器和裸機(jī)容器。與此同時，進(jìn)一步增強(qiáng)容器的隔離性和安全能力，推動5G電信云統(tǒng)一方案相關(guān)國際標(biāo)準(zhǔn)化以及網(wǎng)元產(chǎn)品的成熟度。

對于容器技術(shù)在電信云中的應(yīng)用，核心云中傾向于采用虛機(jī)容器形態(tài)部署，通過node資源規(guī)劃隔離不同的容器網(wǎng)元。邊緣云中考慮到電信網(wǎng)元安全性，初期建議采用虛機(jī)容器形態(tài)部署。在容器隔離性和安全能力增強(qiáng)后，可考慮采用裸機(jī)容器形態(tài)部署。

6? ?結(jié)束語

隨著5G和邊緣計算等業(yè)務(wù)的興起，運(yùn)營商網(wǎng)絡(luò)轉(zhuǎn)型的重點開始向邊緣傾斜，其相關(guān)的組網(wǎng)方案、硬件加速和容器等技術(shù)成為業(yè)界研究重點，本文主要介紹了中國移動在SDN/NFV融合、邊緣電信云、硬件加速和容器等領(lǐng)域的相關(guān)研究成果和技術(shù)觀點。目前看來，這幾個領(lǐng)域的技術(shù)成熟度還需要進(jìn)一步加強(qiáng)，才能滿足5G規(guī)模商用后的業(yè)務(wù)需求。

參考文獻(xiàn)：

[1] ETSI. Network function virtualisation， an introduction， benefits， enablers， challenges & call for action[S]. 2012.

[2] ETIS GS MEC-IEG 004 V1.1.1. Mobile-Edge Computing （MEC）; Service Scenarios[S]. 2012.

[3] Open Data Center Committee. OTII服務(wù)器技術(shù)方案及行動計劃書[R]. 2018.

[4] 中國移動通信有限公司研究院. 中國移動電信云技術(shù)白皮書[R]. 2018.

[5] 王路，趙鵬，付喬. 網(wǎng)絡(luò)功能虛擬化的關(guān)鍵技術(shù)[J]. 中興通訊技術(shù)， 2017（2）： 12-16.

[6] 胡衛(wèi)文，陳俊強(qiáng). 基于DPDK技術(shù)實現(xiàn)OVS[J]. 網(wǎng)絡(luò)新媒體技術(shù)， 2018（1）： 47-53.

[7] 段通，蘭巨龍，范宏偉. 面向SDN/NFV架構(gòu)的VNF硬件加速資源編排機(jī)制[J]. 通信學(xué)報， 2018（6）： 98-108.

[8] 3GPP. 5G系統(tǒng)總體架構(gòu)標(biāo)準(zhǔn)[S]. 2017.

[9] ETSI GS NFV-EVE 011 V3.1.1. Network Function Virtualisation（NFV） Release 3; Virtualised Network Function; Specification of the Classification of Coud Native VNF implementations[S]. 2018.