CORD應用與發(fā)展

周偉，唐雄燕

（中國聯(lián)合網(wǎng)絡通信有限公司網(wǎng)絡技術研究院，北京 100048）

CORD應用與發(fā)展

周偉，唐雄燕

（中國聯(lián)合網(wǎng)絡通信有限公司網(wǎng)絡技術研究院，北京 100048）

CORD開源項目提供了面向未來網(wǎng)絡演進的一種基于SDN/NFV技術的綜合接入邊緣云的參考實現(xiàn)。在分析CORD項目對現(xiàn)有CO和DC的影響的基礎上，研究了CORD核心架構和協(xié)議棧。分析了如何在面向5G的移動應用場景（M-CORD）中應用CORD架構并實現(xiàn)自動性能監(jiān)測和系統(tǒng)調整的參考解決方案。最后給出了CORD與其他開源軟件之間潛在的集成應用解決方案。

開源；CORD；SDN；NFV

1 產(chǎn)生背景和目標

傳統(tǒng)通信機房（central office，CO）面臨著高額的部署和運維成本開銷。如何在面向未來網(wǎng)絡的轉型架構下改造傳統(tǒng)通信機房，成為運營商面臨的迫切問題。因此，CORD（central office re-architected as a datacenter）應運而生。CORD最早是ONOS（open network operating system）的一個用例場景，該場景由AT&T提出，其核心背景是AT&T的Domain2.0的需求。AT&T在2013年11月發(fā)布了Domain2.0白皮書，其目標是使AT&T網(wǎng)絡業(yè)務和基礎設施能夠像數(shù)據(jù)中心內(nèi)的云服務一樣被使用、配置和調度。特點是用一套 API（application programming interface，應用程序編程接口）按需并接近實時地管理、操縱和消費信息服務。此外，這些網(wǎng)絡業(yè)務將被實體化，使其在通用的基礎設施上實現(xiàn)。屆時整個AT&T的公共基礎設施將以類似于Pod被用來支持云數(shù)據(jù)中心業(yè)務的方式被購買和配置。

CORD正是一種嘗試實現(xiàn)這種新型基礎設施的解決方案，從而實現(xiàn)服務敏捷地從云端擴展到接入網(wǎng)側。CORD項目的背后邏輯是：將目前高度依賴部署和運維的電信傳統(tǒng)設備網(wǎng)絡轉為完全基于開放硬件和開放軟件的搭建模式。屆時把信息網(wǎng)絡業(yè)務遷移至多業(yè)務、多租戶平臺，意味著替換或擴充現(xiàn)有網(wǎng)元（一般是被集成去完成某一單向功能）。這種替換技術包括底層連網(wǎng)能力（通常稱為“網(wǎng)絡功能虛擬化基礎設施”（network functions virtualization infrastructure，NFVI））或只是接收軟件和軟件定義網(wǎng)絡（software defined networking，SDN）協(xié)議指令去完成多種網(wǎng)絡功能和業(yè)務的基礎設施。這種基礎設施最典型的是支持NFV的服務器，其次是基于商業(yè)芯片的分組數(shù)據(jù)轉發(fā)能力（通常被稱為白盒設備）。通過SDN、NFV（network function virtualization）以及商業(yè)硬件、開源軟件、白盒技術，將為未來的通信機房提供數(shù)據(jù)中心化的經(jīng)濟性和云計算的敏捷性。

CORD項目的目標是提供一個網(wǎng)絡運營商的支持多業(yè)務場景的服務交付平臺的參考實現(xiàn)。其核心輸出包括一個軟件平臺、系列硬件規(guī)范（如基于OCP（open compute project）規(guī)范）和業(yè)務模型等。其中的軟件平臺架構，是由模型驅動的可擴展架構。相關的模型定義了 CORD架構內(nèi)的對象和對象之間的關系，并提供參考設計語言實現(xiàn)。該架構是一個面向實際運營的可執(zhí)行系統(tǒng)，能夠自動生成所有南向API并后向兼容現(xiàn)有數(shù)據(jù)面設備。

作為一個集成系統(tǒng)，CORD并不是共同的旗幟下的相關項目的松散集合，而是要從開源組件出發(fā)構建一個完全集成的系統(tǒng)來支持現(xiàn)場測試。CORD目前提供了用來部署實現(xiàn)應用場景的CORD Pod設備以及用來收集數(shù)據(jù)和分析性能的CORD應用商店，包括用來方便開發(fā)者將 VNF（virtual network function）轉換成實際業(yè)務的SDK等。CORD模式如圖1所示。

圖1 CORD模式

如圖1所示，傳統(tǒng)模式下系統(tǒng)的軟件、硬件由供應商提供，相關的開發(fā)和知識產(chǎn)權均屬于供應商；而在CORD模式下，由于CORD提供了全套開放和開源的集成參考實現(xiàn)，運營商可在其基礎上進行二次開發(fā)或組織供應商進行二次開發(fā)。如運營商可在控制器和協(xié)同器、系統(tǒng)集成平臺管理和基于OCP規(guī)劃的硬件等方面進行二次開發(fā)，形成自有知識產(chǎn)權方案來實現(xiàn)差異化網(wǎng)絡優(yōu)勢。

CORD的業(yè)務場景主要分為家庭接入業(yè)務（R-CORD）、企業(yè)業(yè)務（E-CORD）和移動業(yè)務（M-CORD）。R-CORD是發(fā)展最早的，目前已具備了商用的基礎。2017年3月，AT&T完成了業(yè)界首個來自多個供應商的開源白盒交換現(xiàn)網(wǎng)試驗。

CORD項目受到業(yè)界的強烈關注，其董事單位包括ON.Lab（開放網(wǎng)絡實驗室）、AT&T、中國聯(lián)合網(wǎng)絡通信集團有限公司（以下簡稱中國聯(lián)通）、Verizon、Comcast（康卡斯特）、Google（谷歌）、SKT、NTT、Radisys（銳德世）、Nokia（諾基亞）、Cisco（思科）、Intel（英特爾）、Ericsson（愛立信）、NEC等，全面涵蓋了互聯(lián)網(wǎng)企業(yè)、電信運營商、有線電視運營商和設備商等。在國內(nèi)，中國聯(lián)通牽頭在2016年12月成立了中國CORD產(chǎn)業(yè)聯(lián)盟，推進CORD技術在中國的應用。在2017年巴塞羅那的MWC展會上，中國聯(lián)通、Radisys、AT&T、Verizon、Google等也共同展示了CORD的研究成果。

2 對現(xiàn)有CO和DC的影響

在我國的運營商網(wǎng)絡中，CO主要放置專有網(wǎng)絡設備和系統(tǒng)（軟硬件一體、垂直專業(yè)化設備），因為不同專業(yè)化設備和系統(tǒng)間的差異性，目前形成了大量專有封閉的電信機房。每個 CO根據(jù)與承載網(wǎng)絡的連接關系，可分為多級。其中在核心機樓中的CO一般承載CR路由器、核心網(wǎng)設備及省集中的CDN（content delivery network，內(nèi)容分發(fā)網(wǎng)絡）設備以及少量的BRAS/MSE；在一般機樓的CO主要部署絕大部分BRAS/MSE以及少量OLT（optical line terminal，光線路終端）；接入端局的CO主要放置大量OLT和BBU。DC（data center，數(shù)據(jù)中心）則包括以提供物理資源和虛擬資源出租服務為主的提供互聯(lián)網(wǎng)應用訪問的數(shù)據(jù)中心；承載云資源池，面向大規(guī)模數(shù)據(jù)匯聚、存儲、處理和管理需要的數(shù)據(jù)中心機房。DC也涉及運營商的云和OTT（over the top）企業(yè)的第三方云。

在未來網(wǎng)絡的演進中，中國聯(lián)通的CUBE-Net2.0、中國移動的 NovaNet、中國電信的 CTNet2025都提出了未來網(wǎng)絡的分級 DC架構。以中國聯(lián)通CUBE-Net2.0架構為例，分為綜合接入DC、區(qū)域DC和基地DC。而隨著光進銅退，大量原有的CO面臨退出，以PSTN CO為例，中國聯(lián)通有超過2 000個PSTN CO要退出，如何利用這部分資源來適應未來的演進，成為急迫的課題。

目前CORD項目定位為面向固定、移動融合的邊緣云，與未來網(wǎng)絡整體架構的一種集成參考關系如圖2所示。

圖2 CORD與未來網(wǎng)絡參考關系

CORD可在未來網(wǎng)絡架構中提供面向移動接入、企業(yè)寬帶接入、家庭寬帶接入的綜合接入邊緣云解決方案。

3 核心架構和協(xié)議棧

CORD的核心是CORD Pod平臺。CORD Pod包括白盒設備、通用服務器、通用存儲、交換機和接入設備。其核心是利用數(shù)據(jù)中心中的“l(fā)eaf-spine架構”和白盒設備來重構運營商的端局。其中 leaf-spine架構即分布式核心網(wǎng)絡，核心節(jié)點包括兩種：leaf（葉）節(jié)點負責連接服務器和網(wǎng)絡設備；spine（針）節(jié)點連接交換機，保證節(jié)點內(nèi)的任意兩個端口之間提供時延非常低的無阻塞性能。通過一定的端口收斂比/超配比可以滿足數(shù)萬臺服務器的線速轉發(fā)。一種典型的架構如圖3所示。

圖4給出了CORD系統(tǒng)的軟件協(xié)議棧。這里，通過 ONOS實現(xiàn)對應用的控制，通過運行在OpenStack虛擬機和Docker容器（如Kubernetes）上的可擴展服務和XOS等協(xié)同器來實現(xiàn)多租戶服務等。

典型的可用于實驗室測試的CORD Pod（如支持M-CORD場景）可包含以下硬件：電信級別支持 OCP（oracle certified professional）規(guī)范的硬件（包括交換機等）、商用服務器、eNode B、RRU等。

在SDN實際部署中，對新建網(wǎng)絡可以采用underlay方案實現(xiàn)網(wǎng)絡SDN服務。但對于原有網(wǎng)絡，由于設備功能的局限，更多是通過overlay方案實現(xiàn)網(wǎng)絡 SDN服務。事實上，很多廣域的業(yè)務都會跨新建網(wǎng)絡和原有網(wǎng)絡。Trellis項目就是通過統(tǒng)一運行在 underlay網(wǎng)絡和overlay網(wǎng)絡的SDN控制器，將基于leaf-spine光纖連接的 underlay方案同基于虛擬網(wǎng)絡的overlay方案整合成一個方案。Trellis架構如圖5所示。

圖3 CORD中的leaf-spine架構

圖4 CORD Pod軟件協(xié)議棧

圖5 Trellis架構

CORD項目是一個模型驅動，其業(yè)務抽象模型建模涉及用來組合業(yè)務的實例、網(wǎng)絡、切片、控制器等基礎模型。建模包括3個層次：實例到實例、實例到網(wǎng)絡、網(wǎng)絡到網(wǎng)絡。在業(yè)務抽象建模過程中，目前已有大量業(yè)務建模成果被采用，包括OPNFV的應用模型、OpenConfig的服務配置模型和ONF（開放網(wǎng)絡基金會）的信息模型。目前以 TOSCA模型為主，也在逐步支持 Yang模型。

CORD項目是以圖3架構為核心，結合不同的接入場景，從而實現(xiàn)從接入到云平臺的敏捷服務。以R-CORD為例，圖6為傳統(tǒng)的家庭寬帶接入架構，由于CPE（customer premise equipment ）等設備均是專用設備，相關業(yè)務修改、發(fā)放和配置管理都需要很長的周期。

圖6 基于傳統(tǒng)網(wǎng)絡的家庭寬帶接入架構

基于CORD的家庭寬帶接入架構如圖7所示。

圖7 基于CORD的家庭寬帶接入架構

如圖7所示，由于接入側的CPE和ONU只保留了簡單的數(shù)據(jù)處理，復雜的業(yè)務邏輯處理都放在了局端。而在局端，通過vOLT、vSG、vRouter、vCDN等虛擬化技術，一方面實現(xiàn)了控制與轉發(fā)分離，另一方面實現(xiàn)了控制面集中管理，從而可實現(xiàn)整網(wǎng)業(yè)務策略的統(tǒng)一部署，提高業(yè)務上線速率，增強市場競爭力。用戶可以通過用戶訂閱門戶來訂閱相關業(yè)務，由CORD平臺完成網(wǎng)絡的相關配置，由于CORD平臺實現(xiàn)了設備資源虛擬化和集中控制，因此可根據(jù)業(yè)務的具體需求，動態(tài)地擴容或縮減資源。一種典型流程如圖8所示：根據(jù)業(yè)務需求自動形成相關業(yè)務模型驅動CORD Pod控制單元；CORD Pod控制單元調度Pod內(nèi)的本地計算、存儲、網(wǎng)絡單元（vOLT、vSG、vRouter、vCDN等）資源并根據(jù)需求縮容或擴容來實現(xiàn)相關業(yè)務。

圖8 CORD Pod系統(tǒng)業(yè)務示意

4 典型應用

以移動場景為例，當前各國運營商都在積極發(fā)展5G，5G的標準仍然在制定中。無論是eMBB場景、mMTC場景還是URLLC場景，都需要允許網(wǎng)絡運營商定制和優(yōu)化基礎設施和服務，并大幅降低了資本支出和運營成本。M-CORD希望在基于共同的CORD Pod平臺上建立面向5G的開放和可編程的平臺解決方案。其中利用設備解耦和白盒技術，提供基于虛擬化技術的端到端移動解決方案，并提供持續(xù)的定制和優(yōu)化。M-CORD的關鍵屬性包括：

· 基于開源RAN和EPC的開源移動基礎設施架構可實現(xiàn)快速創(chuàng)新；

· 開源軟件定義的管理和控制器可通過端到端的可編程性提供最大的靈活性；

· 開放的計算機運營商級硬件支持運行OCP等規(guī)范的開放硬件，并基于此建立可運行的下一代移動業(yè)務的邊緣接入云。

圖9為M-CORD可編程網(wǎng)絡切片實現(xiàn)架構。由于M-CORD整體架構中的“l(fā)eaf-spine架構”和虛擬網(wǎng)絡的隔離特性，M-CORD在創(chuàng)建、修改或終止切片時，其他切片不會受到影響。M-CORD對切片定義進行編程，并對RAN和CORE切片編號。同時M-CORD允許支持按時間、地點和業(yè)務類型的切片，如對具有特定開始和結束日期/時間的網(wǎng)絡切片進行編程和/或僅對特定地理/位置有效的網(wǎng)絡切片進行編程，通過CORD開放軟件平臺執(zhí)行相關可編程服務，實現(xiàn)通過CORD切片的動態(tài)可編程性。以視頻業(yè)務為例，首先由CORD開發(fā)軟件平臺對切片資源進行編號、控制、管理和預編程，然后在RAN側，對無線資源進行切片操作，包括資源塊的虛擬化，并將這些資源塊的子集分配到不同的切片片段上，并制定相應的控制功能，如調度、切換、準入控制等。在核心網(wǎng)側，切片包括將分解的虛擬化EPC組件與每個切片相關聯(lián)。最后在CORD開發(fā)軟件平臺形成端到端切片協(xié)同管理。

圖9 M-CORD網(wǎng)絡切片實現(xiàn)示意

5G服務可以在 M-CORD上啟動，并根據(jù)M-CORD提供的靈活軟件定義架構來實現(xiàn)對網(wǎng)絡資源的動態(tài)編程。因此對于運營商，基于M-CORD可以快速推出新服務，同時在運營過程中，也需要能夠快速地監(jiān)測、識別和解決服務障礙，以盡量減少對用戶和應用程序的影響。這種服務保證需要相關自動化監(jiān)測技術，因此CORD也同時基于CORD Pod開發(fā)了A-CORD參考實現(xiàn)。A-CORD的目標包括：建立一個通用的監(jiān)控框架，對CORD中的物理設備和軟件模塊進行性能探測和度量，并完成收集、存檔和傳遞；同時該框架能夠在感知工作負載和異常事件的基礎上動態(tài)地適應CORD的分析應用。相關A-CORD監(jiān)測系統(tǒng)可以與CORD Pod（如M-CORD）一同部署，并實現(xiàn)實時監(jiān)測和網(wǎng)絡的閉環(huán)自動控制，從而有助于可靠地提供新的電信級5G服務。

圖10給出了部署在M-CORD中的用于監(jiān)測鏈路負荷情況的A-CORD方案。該方案為主動式性能監(jiān)測方案，是由一個模型驅動的主動測試框架來執(zhí)行主動性能監(jiān)控測試。首先通過虛擬化探針監(jiān)測特定的用戶平面流量，并將服務質量指標發(fā)送到 A-CORD 中的 Analytics組件進行可視化和跟蹤，并對服務質量度水平持續(xù)進行跟蹤監(jiān)測，當它們低于可接受的閾值時，觸發(fā)一個主動的性能監(jiān)控測試，獲得流量路徑中的相關服務問題的更多細節(jié)，如分組丟失情況或時延，幫助分析可能影響服務性能的擁塞是否發(fā)生。最后，當服務質量恢復時，性能監(jiān)控測試停止。

圖10 A-CORD示意

5 與ONF、OPNFV、ONAP以及其他開源社區(qū)和標準的關系

CORD項目和ONOS項目都是由ON.Lab發(fā)起并管理的SDN領域開源項目，2016年10月ON.Lab宣布計劃同SDN標準組織ONF合并。新的ONF目標是幫助擁有大型網(wǎng)絡的運營商降低其資本開支和運營成本，并且更容易創(chuàng)建和部署新服務。新的ONF將開源社區(qū)軟件開發(fā)和標準制定結合起來，形成“Software Defined Standards（軟件定義的標準）”。在這個軟件定義標準的流程中，首先是運營商作為需求方，提出用例場景，推動ONF開展開源軟件用例和平臺的研發(fā)，實現(xiàn)相關PoC（proof of concept，概念驗證）；然后ONF根據(jù)PoC的反饋情況，確定關鍵API和數(shù)據(jù)模型；再后ONF形成具體文檔；最后完成軟件定義標準。在這個過程中，軟件開發(fā)人員和標準制定人員需要在典型場景產(chǎn)生、接口需求、標準文檔等環(huán)節(jié)通力合作，同步形成標準文檔、PoC、實驗室和外場測試、產(chǎn)品，縮短從標準到產(chǎn)品的現(xiàn)有周期和減少由于對標準理解不一致帶來的互通等問題，加快新業(yè)務和新功能上線。

新的ONF也跟相關開源社區(qū)和其他標準組織開展了深入合作，如圖 11所示，包括開源組織OPNFV、ONAP、OCP、OVS以及標準組織MEF、BBF等。

圖11 CORD與其他開源和標準組織關系

以ONAP為例，當CORD的服務上線時，可以將CORD集成到ONAP的Design Studio中，CORD 控制單元（controller）可同ONAP的MSO、A&AI、DCAE等建立接口。CORD與ONAP集成示意如圖12所示。

圖12 CORD與ONAP集成示意

6 結束語

開源社區(qū)是支撐當前技術發(fā)展的重要創(chuàng)新體系，開源社區(qū)同傳統(tǒng)標準組織的結合也越來越緊密。我國在“十三五”國家信息規(guī)劃中明確指出：支持開源社區(qū)創(chuàng)新發(fā)展。鼓勵我國企業(yè)積極加入國際重大核心技術的開源組織，從參與者發(fā)展為重要貢獻者，在優(yōu)勢技術領域爭當發(fā)起者，積極維護我國相關標準專利在國際開源組織中的權益。

在未來網(wǎng)絡轉型中，開源社區(qū)是產(chǎn)業(yè)生態(tài)中的重要組成部分。開源社區(qū)聚焦在產(chǎn)業(yè)基礎框架參考實現(xiàn)和接口的標準化。而一個健康的產(chǎn)業(yè)生態(tài)需要開源社區(qū)、運營商和供應商合作協(xié)同。一方面運營商能把真實的、能夠帶來商業(yè)價值的案例輸入開源社區(qū)，另一方面供應商能夠基于開源的參考實現(xiàn)，交付高質量的產(chǎn)品和整體解決方案。未來需要運營商、供應商、開源社區(qū)共同合作，跨越裂谷，實現(xiàn)“open source，open standard，open operation（開源，開放標準，開放操作）”。

[1] AT&T Domian2.0 vision white paper[EB/OL]. (2013?11?13) [2017?02?28].https://www.att.com/Common/about_us/pdf/AT &T%20Domain%202.0%20Vision%20White%20Paper.pdf.

[2] 周偉, 唐雄燕. CORD重構邊緣DC 開源社區(qū)推動多項研究將落地[EB/OL]. (2017?02?23)[2017?02?28]. http://www.c114. net/tech/175/a998578.html. ZHOU W, TANG X Y. CORD re-architeture edge DC and multi solution will be applied by open source[EB/OL]. (2017?02?23)[2017?02?28].http://www.c114.net/tech/175/a99 8578.html.

[3] 史凡, 熊小明. CORD助力運營商網(wǎng)絡重構的冷思考[EB/OL]. (2017?02?23)[2017?02?28].http://www.c114.net/tech/175/a998639. html. SHI F, XIONG X M. CORD Facilitate network transformation of operators [EB/OL]. (2017?02?23)[2017?02?28]. http://www. c114.net/tech/175/a998639.html.

[6] 周偉, 唐雄燕, 楊劍鍵. ONOS應用和部署[J]. 郵電設計技術, 2016(11): 25-29. ZHOU W, TANG X Y, YANG J J. Application and deployment of ONOS[J]. Designing Techniques of Posts and Telecommunications, 2016(11): 25-29.

[7] 尹博南, 艾元, 彭木根. 霧無線接入網(wǎng):架構、原理和挑戰(zhàn)[J].電信科學, 2016, 32(6): 20-27. YIN B N, AI Y, PENG M G. Fog computing based radio access networks: architecture, principles and challenges[J]. Telecommunications Science, 2016, 32(6): 20-27.

[8] 李丹, 劉方明, 郭得科, 等. 軟件定義的云數(shù)據(jù)中心網(wǎng)絡基礎理論與關鍵技術[J]. 電信科學, 2014, 30(6): 48-59. LI D, LIU F M, GUO D K, et al. Fundamental theory and key technology of software defined cloud data center network[J]. Telecommunications Science, 2014, 30(6): 48-59.

[9] 趙輝, 丁鳴, 程青松, 等. SDN與NFV技術在云數(shù)據(jù)中心的規(guī)模應用[J]. 電信科學, 2016, 32(1):144-151. ZHAO H, DING M, CHENG Q S, et al. Application of SDN and NFV technology in the cloud data center [J]. Telecommunications Science, 2016, 32(1):144-151.

[10] 國務院. 關于印發(fā)“十三五”國家信息化規(guī)劃的通知[EB/OL]. (2017?02?23) [2017?02?28]. http://www.gov.cn/zhengce/content/ 2016-12/27/content_5153411.htm. The State Council of the People. Notice on printing and distributing the national informatization planning of the 13th five-year plan[EB/OL]. (2017?02?23)[2017?02?28]. http://www.gov.cn/ zhengce/content/2016?12/27/content_5153411.htm

周偉（1979?），男，博士，中國聯(lián)合網(wǎng)絡通信有限公司網(wǎng)絡技術研究院教授級高級工程師，ONOS/CORD開源社區(qū)用例委員會委員，主要研究方向為移動網(wǎng)絡和移動互聯(lián)網(wǎng)國際標準、SDN/NFV開源軟件。

唐雄燕（1967?），男，博士，中國聯(lián)合網(wǎng)絡通信有限公司網(wǎng)絡技術研究院教授級高級工程師，ONOS/CORD開源社區(qū)副董事，主要研究方向為未來網(wǎng)絡研究和網(wǎng)絡演進規(guī)劃。

Application and development of CORD

ZHOU Wei, TANG Xiongyan
Network Technology Research Institute, China United Network Communications Co., Ltd., Beijing 100048, China

CORD open source project provides one implementation reference of unified access edge cloud. On the basis of analysis of influence of CORD project on the existing CO and DC, the core architecture and software stack of CORD were studied. Meanwhile, the integrated reference solution of 5G-oriented mobile scenario and performance analysis was also analyzed. Finally, the reference solution to integrate CORD with other open source was given.

open source, central office re-architected as a datacenter, software defined networking, network function virtulization

TP393

A

10.11959/j.issn.1000?0801.2017110

2017?02?28；

2017?04?12