周文輝　劉永偉

摘要：軟件定義廣域網(wǎng)（SD-WAN）提供廣域網(wǎng)云連接網(wǎng)絡(luò)服務(wù)，成為云網(wǎng)融合和協(xié)同的重要手段，全球信息通信技術(shù)（ICT）產(chǎn)業(yè)鏈各環(huán)節(jié)都在積極推動其研發(fā)、試驗和部署。中國移動提出了企業(yè)寬帶隨選網(wǎng)絡(luò)（EBoD）計劃，研發(fā)、試驗了基于開放網(wǎng)絡(luò)自動化平臺（ONAP）的、多廠家的SD-WAN統(tǒng)一集中管控原型系統(tǒng)，并將部分研究成果貢獻(xiàn)到ONAP社區(qū)跨運(yùn)營商連接項目（CCVPN）業(yè)務(wù)場景。

關(guān)鍵詞：云網(wǎng)協(xié)同;云網(wǎng)融合;云計算;廣域網(wǎng)

Abstract： Software-defined wide-area network （SD-WAN） provides WAN network services? for cloud connectivity and becomes an important means of cloud network convergence and synergy. The global information communication technology （ICT） industry chain is actively promoting the R&D， test and deployment of SD-WAN. China Mobile has put forward the enterprise broadband on-demand network （EBoD） plan， developed and tested the centralized， unified control prototype system across multi-manufacture based on the open network automation platform （ONAP）. And some research achievements have been contributed to the cross-domain， cross-layer virtual private network （CCVPN） business scenario of ONAP community.

Key words： cloud network synergy; cloud network convergence; cloud computing; WAN

經(jīng)過十多年的發(fā)展，云計算技術(shù)經(jīng)歷了大數(shù)據(jù)處理、虛擬化、容器化、無服務(wù)器計算[1]等各個技術(shù)階段的發(fā)展，正在改變社會信息通信技術(shù)（ICT）基礎(chǔ)設(shè)施建設(shè)和使用模式。公有云、私有云、混合云使得企業(yè)或者組織能夠敏捷地構(gòu)建區(qū)域化、全球化規(guī)模的新型信息化基礎(chǔ)設(shè)施，即基于企業(yè)分支、互聯(lián)網(wǎng)和云計算數(shù)據(jù)中心構(gòu)建企業(yè)下一代信息化基礎(chǔ)設(shè)施，并且讓用戶在使用這種信息化基礎(chǔ)設(shè)施時，在各個層面包括應(yīng)用、服務(wù)、網(wǎng)絡(luò)、基礎(chǔ)設(shè)施等的管控具有與當(dāng)前企業(yè)局域網(wǎng)相同的獲得感。

在云計算時代，運(yùn)營商面臨網(wǎng)絡(luò)和業(yè)務(wù)轉(zhuǎn)型。一方面，電信運(yùn)營商積極向移動互聯(lián)網(wǎng)信息服務(wù)商轉(zhuǎn)型，為行業(yè)、政府、企業(yè)客戶提供物聯(lián)網(wǎng)（IoT）、視頻、計算、存儲等各類云服務(wù)，構(gòu)筑新的競爭力和業(yè)務(wù)增長點(diǎn)。另一方面，全球電信運(yùn)營商正在進(jìn)行基于軟件定義網(wǎng)絡(luò)（SDN）、網(wǎng)絡(luò)功能虛擬化（NFV）和云計算的下一代電信網(wǎng)絡(luò)平臺重構(gòu)和技術(shù)演進(jìn)[2]，旨在構(gòu)建一個網(wǎng)絡(luò)服務(wù)部署敏捷、網(wǎng)絡(luò)動態(tài)按需擴(kuò)展、業(yè)務(wù)快速創(chuàng)新的“云網(wǎng)協(xié)同”電信網(wǎng)絡(luò)服務(wù)平臺，實現(xiàn)電信運(yùn)營商網(wǎng)絡(luò)的開放化、服務(wù)化、敏捷化、智能化。云網(wǎng)協(xié)同不僅是下一代電信網(wǎng)絡(luò)演進(jìn)目標(biāo)和發(fā)展趨勢，也成為移動互聯(lián)網(wǎng)信息服務(wù)差異化競爭的核心能力之一。

云網(wǎng)協(xié)同顧名思義要同時打造云計算和云網(wǎng)絡(luò)基礎(chǔ)設(shè)施，二者相輔相成[3]。“云”是指云計算數(shù)據(jù)中心、云服務(wù);“網(wǎng)”是指云網(wǎng)絡(luò)基礎(chǔ)設(shè)施，不僅包括云數(shù)據(jù)中心局域網(wǎng)絡(luò)，還包括企業(yè)或企業(yè)數(shù)據(jù)中心與云數(shù)據(jù)中心之間，以及云數(shù)據(jù)中心之間的網(wǎng)絡(luò)，特別是后兩者，我們稱之為“云連接”，它還面臨巨大挑戰(zhàn)。從電信運(yùn)營商的角度看，云網(wǎng)協(xié)同主要包括3種場景。

（1）場景1：云承載網(wǎng)、網(wǎng)絡(luò)基礎(chǔ)設(shè)施云化、云網(wǎng)融合。電信網(wǎng)絡(luò)云化成為云計算的一個垂直應(yīng)用領(lǐng)域，即“電信云數(shù)據(jù)中心”。電信機(jī)房數(shù)據(jù)中心化（CORD）[4]將傳統(tǒng)通信機(jī)房重構(gòu)成基于開源軟件系統(tǒng)、通用硬件系統(tǒng)的云化、SDN化、自動化的云數(shù)據(jù)中心。全球?qū)拵д搲˙BF）制定的云電信機(jī)房（Cloud CO）架構(gòu)[5]、NFV開放平臺（OPNFV）發(fā)起的虛擬化電信機(jī)房（vCO）[6]開源平臺，都是與CORD類似的基于云計算、SDN、NFV的下一代電信云網(wǎng)平臺。

（2）場景2：網(wǎng)服務(wù)云，基于廣域網(wǎng)提供安全、可靠、用戶體驗良好的云連接網(wǎng)絡(luò)。網(wǎng)服務(wù)云為云計算提供了安全、可靠、良好體驗的接入和互聯(lián)互通網(wǎng)絡(luò)，成為以“云優(yōu)先”為導(dǎo)向的互聯(lián)網(wǎng)服務(wù)提供商技術(shù)和產(chǎn)品的重要發(fā)展戰(zhàn)略。全球頂級云服務(wù)提供商Google、Amazon、阿里巴巴、微軟等在該場景下具有豐富的實踐經(jīng)驗，基于SDN技術(shù)、流量規(guī)劃、分段路由（SR）等技術(shù)實現(xiàn)了云數(shù)據(jù)中心間東西向流量的低成本、高性能、靈活調(diào)度[7]，部署并提供企業(yè)云骨干網(wǎng)[8]、廣域網(wǎng)（WAN）網(wǎng)關(guān)[9]等技術(shù)、產(chǎn)品和服務(wù)，實現(xiàn)企業(yè)客戶網(wǎng)絡(luò)與云的無縫對接，為用戶提供高安全、高可靠、高性能云連接管道。

（3）場景3：5G應(yīng)用場景下移動邊緣計算新架構(gòu)的研究和探索，實現(xiàn)高可靠、高性能、大連接移動云計算服務(wù)。5G時代，移動互聯(lián)網(wǎng)信息服務(wù)如智能駕駛、遠(yuǎn)程醫(yī)療、增強(qiáng)現(xiàn)實等大計算、低延時應(yīng)用對網(wǎng)絡(luò)和計算架構(gòu)帶來了新且更嚴(yán)格的要求，須要考慮在供電、移動網(wǎng)絡(luò)覆蓋和傳送網(wǎng)絡(luò)帶寬等條件下終端、邊緣以及云之間的運(yùn)算能力的動態(tài)分配[10]，實現(xiàn)更加動態(tài)敏捷的云網(wǎng)協(xié)同架構(gòu)。Linux基金會的Akraino Edge Stack[11]提出了邊緣云基礎(chǔ)設(shè)施架構(gòu)和自動化部署平臺。

1 SD-WAN技術(shù)發(fā)展?fàn)顩r

基于WAN提供一個良好體驗的云連接網(wǎng)絡(luò)服務(wù)面臨著如下的一些挑戰(zhàn)：

（1）高復(fù)雜異構(gòu)網(wǎng)絡(luò)下的大規(guī)模租戶支持能力。云連接網(wǎng)絡(luò)橫跨用戶設(shè)備、接入網(wǎng)絡(luò)、云數(shù)據(jù)中心，以及不同網(wǎng)絡(luò)服務(wù)商（ISP）網(wǎng)絡(luò)，同時用戶訪問的云服務(wù)和應(yīng)用分布廣且動態(tài)變化，云連接的高性能、可靠性、服務(wù)質(zhì)量保證等技術(shù)實現(xiàn)復(fù)雜度高。與此同時，廣域網(wǎng)云連接網(wǎng)絡(luò)平臺支持的租戶虛擬專用網(wǎng)絡(luò)（VPN）規(guī)模將數(shù)以十億、百億計，比云數(shù)據(jù)中心的規(guī)模更加巨大。

（2）缺乏高效的網(wǎng)絡(luò)運(yùn)維方式。由于復(fù)雜度高，傳統(tǒng)的基于電子工單任務(wù)分發(fā)、基于命令行工具的部署和配置、人工排錯的運(yùn)維方式已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足云連接網(wǎng)絡(luò)服務(wù)的需求，需要新的技術(shù)手段實現(xiàn)智能運(yùn)維。

（3）企業(yè)安全基礎(chǔ)架構(gòu)須要“與時俱進(jìn)”?，F(xiàn)有企業(yè)安全管控架構(gòu)已經(jīng)不能適用基于云計算模式的分布式企業(yè)信息化基礎(chǔ)設(shè)施，企業(yè)安全管控模式須要向安全策略集中控制，安全管控模塊軟件化、分布化、虛擬化方式發(fā)展。

軟件定義廣域網(wǎng)（SD-WAN）基于SDN和疊加網(wǎng)技術(shù)，實現(xiàn)了跨互聯(lián)網(wǎng)連接位于不同地理位置的企業(yè)分支、企業(yè)數(shù)據(jù)中心、云數(shù)據(jù)中心等的虛擬化網(wǎng)絡(luò)?；赟D-WAN技術(shù)構(gòu)建云連接網(wǎng)絡(luò)服務(wù)平臺已經(jīng)成為共識，相關(guān)產(chǎn)品和服務(wù)在全球方興未艾?；ヂ?lián)網(wǎng)云服務(wù)提供商通過自建或聯(lián)合研發(fā)部署的方式為企業(yè)用戶提供“上云”工具和服務(wù);網(wǎng)絡(luò)設(shè)備、云平臺廠商通過自研、產(chǎn)業(yè)合作、跨界并購的方式具備或完善SD-WAN平臺和服務(wù)能力，實現(xiàn)端到端云計算網(wǎng)絡(luò)管控能力;電信運(yùn)營商包括AT&T、中國移動等都在積極試驗和試點(diǎn)SD-WAN平臺和技術(shù)。

就像虛擬可擴(kuò)展局域網(wǎng)（VXLAN）一樣，SD-WAN為云計算而生，具有眾多先進(jìn)技術(shù)特性：SDN化、自動化、動態(tài)適應(yīng)，并逐漸向意圖驅(qū)動網(wǎng)絡(luò)[12]管控架構(gòu)演進(jìn);具有靈活、簡便的部署方式，同時支持虛擬化網(wǎng)絡(luò)功能（VNF）、硬件盒子等“零接觸”部署方式;引入微分段式動態(tài)虛擬化安全架構(gòu)[13]，實現(xiàn)更細(xì)粒度的安全管控;面向“應(yīng)用為中心”，支持服務(wù)流可視化技術(shù)[14]，識別并保障不同用戶、不同應(yīng)用的服務(wù)質(zhì)量;使用深度縮減、端到端流量精確控制、往返時間（RTT）實時傳輸控制協(xié)議（TCP）隧道[15]等多種WAN加速和優(yōu)化技術(shù)，提高廣域網(wǎng)數(shù)據(jù)傳送效率，降低網(wǎng)絡(luò)擁塞。

SD-WAN已經(jīng)在全球成為一個熱點(diǎn)，并有小規(guī)模的部署和應(yīng)用，但總體來說還處于試驗和發(fā)展的初級階段，要達(dá)到企業(yè)級、平臺級網(wǎng)絡(luò)服務(wù)還有很多關(guān)鍵的技術(shù)問題需要解決。

（1）如何基于人工智能和機(jī)器學(xué)習(xí)技術(shù)實現(xiàn)SD-WAN復(fù)雜環(huán)境下用戶設(shè)備、網(wǎng)元、應(yīng)用數(shù)據(jù)的采集、跟蹤、分析、關(guān)聯(lián)，進(jìn)而實現(xiàn)智能化運(yùn)維[16]是其取得成功的關(guān)鍵，是正在攻克的難題，目前還處于起步和試驗階段。

（2）簡單、高效、“無差別”感知的云連接網(wǎng)絡(luò)管控集成。對于企業(yè)客戶IT系統(tǒng)管理者來說，對SD-WAN云連接網(wǎng)絡(luò)的管控要像企業(yè)內(nèi)部網(wǎng)絡(luò)一樣“無感知”;對于云服務(wù)提供商來說，需要云連接與云數(shù)據(jù)中心網(wǎng)絡(luò)的集成，并根據(jù)全局云網(wǎng)絡(luò)特征實現(xiàn)更加高效的云計算資源部署和調(diào)度。

（3）當(dāng)前SD-WAN解決方案和平臺比較封閉，都有各自的編排和控制平臺及管控協(xié)議，如何構(gòu)建一個統(tǒng)一、集中、開放的SD-WAN管控平臺則是電信運(yùn)營商亟待解決的問題。

中國移動提出了企業(yè)寬帶隨選網(wǎng)絡(luò)（EBoD）計劃，積極、深入推動SD-WAN技術(shù)和產(chǎn)品的成熟和開放，由于采用多廠家設(shè)備，如何實現(xiàn)開放、統(tǒng)一、集中、高效的SD-WAN管控系統(tǒng)并實現(xiàn)和廠家SD-WAN平臺的解耦面臨著巨大挑戰(zhàn)，包括統(tǒng)一抽象的業(yè)務(wù)模型、服務(wù)自動化編排工作流、抽象模型到不同廠家SD-WAN系統(tǒng)管控邏輯的映射、網(wǎng)絡(luò)服務(wù)數(shù)據(jù)模型（包括網(wǎng)元、拓?fù)洹⒘髁亢蛻?yīng)用分布等）、網(wǎng)絡(luò)服務(wù)全生命周期管控等。我們設(shè)計、開發(fā)和實現(xiàn)了一個基于開放網(wǎng)絡(luò)自動化平臺（ONAP）和第三方SD-WAN系統(tǒng)對接的原型系統(tǒng)，針對上述關(guān)鍵技術(shù)要求驗證了統(tǒng)一、集中SD-WAN管控能力，并實現(xiàn)了如下的目標(biāo)和成果：

（1）實現(xiàn)了分鐘級的企業(yè)VPN和云連接管道的自動化敏捷部署、配置和動態(tài)擴(kuò)展。

（2）設(shè)計和實現(xiàn)了統(tǒng)一SD-WAN服務(wù)和資源模型、編排工作流參數(shù)定制和工作流新增和擴(kuò)展、廠家SD-WAN平臺適配驅(qū)動、動態(tài)資產(chǎn)庫（AAI）數(shù)據(jù)模型等，驗證了與不同廠家SD-WAN平臺解耦的技術(shù)可行性。

（3）設(shè)計和驗證了SD-WAN全生命周期動態(tài)管控架構(gòu)，驗證了網(wǎng)元動態(tài)擴(kuò)展能力。

1.1 系統(tǒng)設(shè)計

圖1是基于ONAP的統(tǒng)一、集中SD-WAN管控系統(tǒng)的架構(gòu)，其中包括SD-WAN業(yè)務(wù)層、ONAP平臺、廠家SD-WAN平臺。

（1）SD-WAN業(yè)務(wù)層。SD-WAN業(yè)務(wù)層有著本系統(tǒng)研發(fā)和試驗的主要功能，如設(shè)計和實現(xiàn)網(wǎng)絡(luò)服務(wù)和資源模型、工作流定制、底層網(wǎng)絡(luò)網(wǎng)元管控邏輯適配、AAI數(shù)據(jù)模型、全生命周期管控模塊等。

（2）ONAP平臺。ONAP提供了一個通用的網(wǎng)絡(luò)服務(wù)自動化編排、管控框架和平臺，為上層業(yè)務(wù)編排和管控提供設(shè)計環(huán)境和運(yùn)行環(huán)境。

（3）廠家SD-WAN平臺。廠家SD-WAN平臺通過北向接口接收上層ONAP平臺的管理和控制流，實現(xiàn)SD-WAN網(wǎng)絡(luò)服務(wù)抽象邏輯到實際承載網(wǎng)元的映射，完成網(wǎng)絡(luò)服務(wù)的部署、配置和管控。

整個系統(tǒng)實現(xiàn)了基于模型和策略驅(qū)動的SD-WAN網(wǎng)絡(luò)服務(wù)的自動化部署、配置、全生命周期管控，關(guān)鍵流程如圖2所示。

（1）設(shè)計和實現(xiàn)網(wǎng)絡(luò)服務(wù)和資源抽象模型，抽象模型描述SD-WAN相關(guān)的服務(wù)、資源、策略以及參數(shù);

（2）用戶通過Portal訂購服務(wù)，輸入定制信息包括企業(yè)分支地點(diǎn)、VPN信息、企業(yè)分支互聯(lián)網(wǎng)協(xié)議地址（IP）地址信息、云數(shù)據(jù)中心信息、策略信息等，作為SD-WAN網(wǎng)絡(luò)服務(wù)模型實例化參數(shù)用于網(wǎng)絡(luò)服務(wù)部署、配置;

（3）SD-WAN網(wǎng)絡(luò)服務(wù)模型適配成底層網(wǎng)絡(luò)平臺開放能力應(yīng)用程序編程接口（API）調(diào)用，如SDN-WAN控制器提供的客戶終端設(shè)備（CPE）API;

（4）SD-WAN平臺接收ONAP平臺API調(diào)用，配置、管理、控制相關(guān)的網(wǎng)元設(shè)備，如SDN控制器通過南向接口給CPE分配一個IP地址;

（5）基于策略的全生命周期自動化管理和控制，實現(xiàn)網(wǎng)絡(luò)服務(wù)的動態(tài)彈性擴(kuò)展、安全控制、流量工程、可靠性保障等。

1.2 網(wǎng)絡(luò)模型設(shè)計和實現(xiàn)

SD-WAN服務(wù)和資源模型設(shè)計遵循云應(yīng)用拓?fù)浜蜆I(yè)務(wù)流程規(guī)范TOSCA[17]，但目前還沒有統(tǒng)一的基于TOSCA標(biāo)準(zhǔn)的SD-WAN網(wǎng)絡(luò)模型。我們的網(wǎng)絡(luò)服務(wù)模型參考國際互聯(lián)網(wǎng)工程任務(wù)組（IETF）發(fā)布的SD-WAN YANG模型草案[18]、中國移動相關(guān)技術(shù)規(guī)范，主要包括：服務(wù)模型，如VPNInfra、Site、Policy、Device服務(wù)類型;資源模型，如Device、Site、VPN Attachment、Connectivity、Policy、局域網(wǎng)（LAN）等資源類型。

在該模型下，一個租戶的VPN由VPNInfra、Site等服務(wù)組成，客戶Site通過VPN attachment關(guān)聯(lián)到VPNInfra服務(wù)，Site實例可以是多種類型，包括企業(yè)分支、運(yùn)營商接入點(diǎn)（PoP）、云數(shù)據(jù)中心等。VPNInfra服務(wù)實現(xiàn)用戶VPN部署、配置和擴(kuò)展，如部署上云服務(wù);用戶可以通過Policy服務(wù)動態(tài)下發(fā)策略，Site服務(wù)實現(xiàn)VNF動態(tài)容量擴(kuò)展，總體網(wǎng)絡(luò)模型設(shè)計如圖3所示。由于當(dāng)前ONAP的應(yīng)用設(shè)計中心（SDC）平臺還不完善，可擴(kuò)展能力有限，本原型系統(tǒng)設(shè)計的虛擬連接（VL）資源類型需要擴(kuò)展原有Python代碼才能將它們添加到SDC設(shè)計平臺中去。

1.3 自動化編排設(shè)計和實現(xiàn)

我們在現(xiàn)有ONAP提供的自動化編排框架基礎(chǔ)上，增加了模型實例化模板，定制了工作流參數(shù)和腳本代碼，并針對VPN網(wǎng)關(guān)實例縮擴(kuò)容場景新增DeviceScaleOut工作流。新增DynamicPolicy工作流實現(xiàn)動態(tài)策略下發(fā)，新增SiteScale工作流實現(xiàn)VPN擴(kuò)展。可以使用Openstack heat編排方式實現(xiàn)VNF部署和擴(kuò)展，圖4給出了SD-WAN網(wǎng)絡(luò)服務(wù)自動化編排的框架和關(guān)鍵流程。

1.4 底層網(wǎng)絡(luò)適配設(shè)計和實現(xiàn)

ONAP SDN-C平臺提供了一個編程語言、流程和框架，將上層網(wǎng)絡(luò)服務(wù)和資源抽象模型映射到底層網(wǎng)元、云計算基礎(chǔ)設(shè)施上的部署或配置服務(wù)調(diào)用，圖5給出了底層網(wǎng)絡(luò)適配的架構(gòu)和關(guān)鍵流程。底層適配器的設(shè)計和實現(xiàn)工作包括網(wǎng)絡(luò)資源API、網(wǎng)絡(luò)資源處理邏輯和底層SD-WAN平臺服務(wù)調(diào)用，本原型系統(tǒng)主要新增分配資源（AR）、虛擬連接（VL）資源類型的API接口，新增和擴(kuò)展對應(yīng)所有SD-WAN網(wǎng)絡(luò)資源類型的處理有向圖（DG）和JAVA代碼，并基于北向AsoPI接口新增和擴(kuò)展了底層SD-WAN平臺服務(wù)調(diào)用節(jié)點(diǎn)和JAVA代碼。

1.5 網(wǎng)絡(luò)服務(wù)全生命周期管理

設(shè)計和實現(xiàn)

本原型系統(tǒng)基于ONAP提供的數(shù)據(jù)采集、分析和事件（DCAE）框架，設(shè)計和實現(xiàn)了VPN網(wǎng)關(guān)實例動態(tài)擴(kuò)展的功能，圖6給出了其架構(gòu)和關(guān)鍵流程。

（1）“底層網(wǎng)絡(luò)事件偵聽模塊”作為一個消息網(wǎng)關(guān)設(shè)備通過北向接口訂購底層網(wǎng)絡(luò)測量消息和事件，并將接收的性能報警事件轉(zhuǎn)換成上層消息格式發(fā)布到ONAP平臺數(shù)據(jù)傳送服務(wù)（DMaaP）組件;

（2）“底層網(wǎng)絡(luò)平臺事件轉(zhuǎn)換”模塊訂閱底層網(wǎng)絡(luò)消息和事件;

（3）將接收到的底層網(wǎng)絡(luò)事件轉(zhuǎn)換成DCAE網(wǎng)元事件流（VES）事件，該事件包括事件類型、設(shè)備信息等并發(fā)布到DMaaP組件;

（4）在ONAP平臺的Holmes組件中創(chuàng)建事件分析和處理規(guī)則，訂閱和接收到網(wǎng)絡(luò)設(shè)備VES事件消息后，根據(jù)相應(yīng)的規(guī)則觸發(fā)相應(yīng)的策略執(zhí)行消息;

（5）ONAP平臺策略執(zhí)行模塊根據(jù)策略執(zhí)行消息中的相關(guān)信息如網(wǎng)絡(luò)服務(wù)實例通用唯一識別碼（UUID）、資源UUID等信息從AAI獲取相關(guān)服務(wù)、資源模型參數(shù);

（6）策略執(zhí)行模塊根據(jù)策略定義調(diào)用服務(wù)編排器（SO）執(zhí)行DeviceScale工作流，該工作流實現(xiàn)VPN網(wǎng)關(guān)實例彈性縮擴(kuò)容。

1.6 原型系統(tǒng)驗證

原型系統(tǒng)試驗環(huán)境如圖7所示，主要包括以下平臺：

（1）系統(tǒng)軟件平臺。包括ONAP北京版本、SD-WAN SDN控制器、Openstack Queen版本等。

（2）硬件環(huán)境。由7臺X86服務(wù)器、1臺交換機(jī)構(gòu)成。每臺服務(wù)器有2路12核中央處理器（CPU），384 G內(nèi)存，10 TB存儲，4*Gb電口+4*10 Gb光口網(wǎng)卡，安裝Linux Ubuntu 16.04LTS版本;交換機(jī)配置為48 Gb+4*10 Gb端口。

（3）網(wǎng)絡(luò)配置。Openstack租戶網(wǎng)絡(luò)采用虛擬局域網(wǎng)（VLAN）方式，為了接近真實性模擬以及實現(xiàn)不同系統(tǒng)間的隔離，為核心電信云數(shù)據(jù)中心（TIC）、邊緣TIC、云數(shù)據(jù)中心、企業(yè)分支創(chuàng)建了不同的租戶以及內(nèi)部網(wǎng)絡(luò)，所有的內(nèi)部網(wǎng)絡(luò)通過網(wǎng)絡(luò)地址轉(zhuǎn)換（NAT）與中國移動互聯(lián)網(wǎng)（CMNET）絡(luò)互通。

（4）部署方案。統(tǒng)基于Openstack虛擬機(jī)方式部署，采用轉(zhuǎn)控分離的部署架構(gòu)，Core TIC用于部署管控平面，包括ONAP平臺和SDN控制器等;邊緣TIC用于部署用戶數(shù)據(jù)平面，包括虛擬專用網(wǎng)絡(luò)-網(wǎng)關(guān)（VPN-GW）等;企業(yè)分支部署vCPE和用戶PC;云計算數(shù)據(jù)中心用于部署視頻云服務(wù)。

本原型系統(tǒng)已經(jīng)在實驗室環(huán)境下完成了企業(yè)分支VPN互聯(lián)、企業(yè)上云等應(yīng)用場景下的關(guān)鍵功能：自動化快速部署和配置企業(yè)分支間VPN，大約10 min內(nèi)完成;對已創(chuàng)建的VPN動態(tài)擴(kuò)展上云服務(wù)，大約10 min內(nèi)完成;動態(tài)應(yīng)用服務(wù)質(zhì)量（QoS）策略下發(fā)，保障視頻云訪問流QoS;VPN-GW網(wǎng)元根據(jù)業(yè)務(wù)流量動態(tài)擴(kuò)展，實現(xiàn)負(fù)載分擔(dān)。

2 SD-WAN技術(shù)工作展望

本原型系統(tǒng)驗證了基于ONAP平臺的統(tǒng)一、集中自動化管控SD-WAN的關(guān)鍵技術(shù)的可行性，下一步我們將圍繞如下的一些研發(fā)、集成、試驗工作，推動該系統(tǒng)快速成熟并具備商用能力。

（1）網(wǎng)絡(luò)服務(wù)管控能力擴(kuò)展。SD-WAN網(wǎng)絡(luò)服務(wù)管控能力隨著業(yè)務(wù)需求和場景不斷擴(kuò)展，除了自動化部署、系統(tǒng)彈性擴(kuò)展等管控能力，下一步須要增加故障管理、企業(yè)信息化增值服務(wù)等服務(wù)能力。

（2）跨域、多廠家、多控制器對接實現(xiàn)。目前只是研發(fā)和實現(xiàn)了單控制器平臺下的部署場景，下一步將擴(kuò)展到跨域、多廠家、多控制器場景。該場景比較復(fù)雜，須要進(jìn)一步擴(kuò)展AAI數(shù)據(jù)庫模型、SDN-C網(wǎng)絡(luò)編排驅(qū)動、SD-WAN北向接口，實現(xiàn)多廠家SD-WAN產(chǎn)品互通組網(wǎng)。

（3）底層承載網(wǎng)絡(luò)管控能力互通。研發(fā)和試驗SD-WAN和底層承載網(wǎng)絡(luò)管控互通需求、架構(gòu)和實現(xiàn)，不僅是滿足SD-WAN網(wǎng)絡(luò)服務(wù)部署的自動化程度、速度、QoS保障的技術(shù)要求，同時也是電信網(wǎng)絡(luò)運(yùn)營商提供SD-WAN云連接網(wǎng)絡(luò)的差異化競爭優(yōu)勢，能夠提供更敏捷、更高質(zhì)量、更智能的云服務(wù)管道。

（4）網(wǎng)絡(luò)人工智能集成能力。需要基于網(wǎng)絡(luò)人工智能構(gòu)建一個完整的網(wǎng)絡(luò)和服務(wù)數(shù)據(jù)采集、跟蹤、分析、關(guān)聯(lián)系統(tǒng)并和ONAP管控框架集成，提供高效、智能的網(wǎng)絡(luò)服務(wù)全生命周期管理。

（5）SD-WAN與企業(yè)客戶信息通信技術(shù)（ICT）基礎(chǔ)設(shè)施管控平臺的集成。為企業(yè)客戶提供SD-WAN管控的“自服務(wù)”能力和接口，實現(xiàn)與企業(yè)客戶ICT基礎(chǔ)設(shè)施管控的無縫集成。

3 結(jié)束語

在基于云計算、SDN、NFV技術(shù)的網(wǎng)絡(luò)演進(jìn)技術(shù)驅(qū)動和云優(yōu)先需求的驅(qū)動下，基于SD-WAN的技術(shù)提供了廣域網(wǎng)云連接，成為云網(wǎng)融合和協(xié)同能力的重要手段，全球云服務(wù)產(chǎn)業(yè)鏈各環(huán)節(jié)都在積極推動其研發(fā)、試驗和部署。通過原型系統(tǒng)的研發(fā)和試驗，我們在實現(xiàn)開放、集中、統(tǒng)一管控能力的SD-WAN云網(wǎng)絡(luò)服務(wù)關(guān)鍵技術(shù)問題上進(jìn)行了深度探索和試驗。實踐證明，在復(fù)雜、異構(gòu)廣域網(wǎng)環(huán)境下提供企業(yè)級用戶體驗的SD-WAN“云連接”是一個復(fù)雜繁重的工程，在集中管控模型和架構(gòu)標(biāo)準(zhǔn)化、虛擬化集成架構(gòu)以及基于網(wǎng)絡(luò)人工智能的智能運(yùn)維等方面還面臨著巨大的挑戰(zhàn)，需要產(chǎn)業(yè)各方共同努力，共同推動SD-WAN云連接逐步成熟和商用。

參考文獻(xiàn)

[1] AWS team.從IaaS到FaaS—ServerLess架構(gòu)的前世今生[EB/OL].（2017-01-18）[2019-02-25].https：//aws.amazon.com/cn/blogs/china/iaas-faas-serverless/

[2] AT&T. AT&T Domain 2.0 Vision White Paper[R]. 2013

[3] 陳天，樊勇兵，陳楠，等.電信運(yùn)營商云網(wǎng)協(xié)同業(yè)務(wù)及應(yīng)用[J].電信科學(xué)， 34（2）： 161-172. DOI： 10.11959/j.issn.1000-0801.2018008

[4] PRETE L.CORD-Wiki Home[EB/OL].（2018-10-18）[2019-02-25].https：//wiki.opencord.org/

[5] BBF. TR-384Cloud Central Office Reference Architectural Framework [EB/OL]. [2019-02-25].http：//wiki.broadband-forum.org/

[6] OPNFV. Virtual Central Office-Building a Virtual Central Office （VCO） with open source communities and components [EB/OL]. [2019-02-25]. https：//www.opnfv.org/resources/virtual-central-office

[7] KUMAR A ， POUTIEVSKI L ， SINGH A， et al. B4： Experience with a Globally-Deployed Software Defined WAN[C]//SIGCOMM 2013. USA： ACM， 2013. DOI： 10.1145/2534169.2486019

[8] 阿里云發(fā)布云骨干網(wǎng)企業(yè)一分鐘內(nèi)便可構(gòu)建全球網(wǎng)絡(luò)[EB/OL].（2017-12-14）[2019-02-25].

http：//baijiahao.baidu.com/s？id=1586722342247059708&wfr=spider&for=pc

[9] Making the Connection from the SD-WAN to the Cloud [EB/OL].（2018-10-04）[2019-02-25]. https：//www.sdxcentral.com/articles/analysis/making-the-connection-from-the-sd-wan-to-the-cloud/2018/10/

[10] ANDREEVS， GALININA O， PYATTAEV A. Exploring Synergy between Communications， Caching， and Computing in5G-Grade Deployments [J]. IEEE Wireless Communications， 2016， 54（8）：60-69.DOI： 10.1109/MCOM.2016.7537178

[11] Akraino Edge Stack[EB/OL].[2019-02-25].https：//wiki.akraino.org/

[12] Cisco Extends Intent-Based Networking from the LAN to the WAN [EB/OL]. [2019-02-25].https：//www.sdxcentral.com/

[13] How Does Micro-Segmentation Help Security？ Explanation [EB/OL]. [2019-02-25].https：//www.sdxcentral.com/networking/virtualization/definitions/how-does-micro-segmentation-help-security-explanation/

[14] Riverbeds Visibility-as-a-Service Now Available Globally Through BT， Enabling Customers to Manage the Digital Experience [EB/OL]. （2018-12-06）[2019-02-25]. https：//www.riverbed.com/blogs/riverbed-visibility-as-a-service-available-globally-through-bt.html

[15] AppEx LotWAN廣域網(wǎng)加速系統(tǒng)[EB/OL]. [2019-02-25].http：//www.appexnetworks.com.cn/

[16] Nyansa CTO Says AI and Big Data Analytics Will Tackle New Network Challenges [EB/OL]. （2018-11-26）[2019-02-25].https：//www.sdxcentral.com/sponsored/interviews/nyansa-cto-says-ai-and-big-data-analytics-will-tackle-new-network-challenges/2018/11/

[17] TOSCA Simple Profile in YAML Version 1.0[EB/OL]. [2019-02-25]. http：//docs.oasis-open.org

[18] A YANG Data Model for SD-WAN VPN Service Delivery [EB/OL]. [2019-02-25].https：//datatracker.ietf.org/doc/draft-sun-opsawg-sdwan-service-model/？include_text=1