盧泉 梁筱斌 尹遠(yuǎn)陽

【摘 ?要】

為滿足主流運營商新的IP網(wǎng)絡(luò)運營要求，實現(xiàn)網(wǎng)絡(luò)運營流程端到端自動化閉環(huán)，基于新時期IP網(wǎng)絡(luò)的業(yè)務(wù)需求，研究了引入IP網(wǎng)絡(luò)控制器的必要性、目標(biāo)架構(gòu)和關(guān)鍵技術(shù)，在此基礎(chǔ)上研究了這些關(guān)鍵技術(shù)的應(yīng)用場景，并基于實驗室環(huán)境驗證其有效性。為電信運營商在未來的IP網(wǎng)絡(luò)管控中提升業(yè)務(wù)發(fā)放和運維效率、降低運維成本提供重要參考。

【關(guān)鍵詞】IP網(wǎng)絡(luò);控制器;架構(gòu);關(guān)鍵技術(shù)

0 ? 引言

2019年6月工信部向國內(nèi)運營商頒發(fā)了5G牌照，我國提前一年進(jìn)入5G時代，云業(yè)務(wù)的發(fā)展，也驅(qū)動運營商部署了大量的云專線業(yè)務(wù)。主流運營商普遍采用IP網(wǎng)絡(luò)統(tǒng)一承載4G/5G、云專線業(yè)務(wù)和已有政企專線業(yè)務(wù)，這給IP網(wǎng)絡(luò)管控帶來了新的需求和挑戰(zhàn)。具體包括：

（1）超海量業(yè)務(wù)智能管控。5G基站密度是LTE的10倍，導(dǎo)致投資和電費成本激增。此外還有大量的云專線和政企業(yè)務(wù)需要維護(hù)。因此，必須確保在不增加運維成本的情況下，實現(xiàn)對超海量業(yè)務(wù)的集中智能化管理，以保證業(yè)務(wù)的可持續(xù)發(fā)展。

（2）解決誤配置問題。在超海量業(yè)務(wù)場景下，工單量激增，更容易出現(xiàn)向設(shè)備下發(fā)誤配置進(jìn)而引發(fā)全網(wǎng)故障的情況。這就要求管控系統(tǒng)具備配置下發(fā)預(yù)驗證和事務(wù)處理能力。

（3）需求多樣化。不同的業(yè)務(wù)有不同的SLA，要求管控系統(tǒng)具備實時調(diào)整流量轉(zhuǎn)發(fā)路徑以滿足SLA的能力。

目前業(yè)界已普遍達(dá)成共識，集中式的IP網(wǎng)絡(luò)SDN控制器，可很好地解決上述不足，滿足上述需求[1]。在控制器技術(shù)成熟后，還將納入生產(chǎn)網(wǎng)絡(luò)的管控系統(tǒng)中，實現(xiàn)IP網(wǎng)絡(luò)集中自動化管控，使能端到端網(wǎng)絡(luò)運營流程自動化閉環(huán)。本文將對IP網(wǎng)絡(luò)控制器的架構(gòu)、關(guān)鍵技術(shù)和應(yīng)用進(jìn)行探討。

1 ? ?IP網(wǎng)絡(luò)控制器總體架構(gòu)

IP網(wǎng)絡(luò)控制器包含控制服務(wù)和數(shù)據(jù)采集兩個子系統(tǒng)。其總體架構(gòu)如圖1所示：

控制服務(wù)子系統(tǒng)包含了集中化的IP網(wǎng)絡(luò)控制功能模塊，其關(guān)鍵技術(shù)包括NETCONF、YANG模型解析與映射、拓?fù)涫占?、路徑計算和下發(fā)。

數(shù)據(jù)采集子系統(tǒng)包含了IP網(wǎng)絡(luò)的數(shù)據(jù)采集模塊，可供控制器的路徑計算模塊調(diào)用，作為路徑計算的約束條件。

這些關(guān)鍵技術(shù)解決了傳統(tǒng)IP網(wǎng)管缺乏集中式的控制平面的不足，下文將進(jìn)行展開討論。

2 ? ?IP網(wǎng)絡(luò)控制器關(guān)鍵技術(shù)

2.1 ?NETCONF協(xié)議和YANG模型[2-3]

網(wǎng)絡(luò)配置協(xié)議（NETCONF， Network Configuration Protocol）是一種高度標(biāo)準(zhǔn)化、可編程、對網(wǎng)絡(luò)設(shè)備進(jìn)行配置和管理的協(xié)議?？刂破骺赏ㄟ^NETCONF實現(xiàn)配置的讀取、下發(fā)和設(shè)備狀態(tài)采集。

NETCONF協(xié)議包含傳輸層、消息層、操作層和內(nèi)容層。下一代數(shù)據(jù)模型（YANG， Yet Another Next Generation）是一種建模語言，工作在NETCONF協(xié)議的內(nèi)容層，是NETCONF的重要組件，用于描述配置和狀態(tài)等數(shù)據(jù)，其描述的業(yè)務(wù)模型稱為YANG模型。

與基于命令行的配置下發(fā)、SNMP協(xié)議和MIB相比，NETCONF協(xié)議和YANG模型具備以下前者不具備的特性：

（1）良好的建模能力和擴(kuò)展性。

（2）事務(wù)管理能力。

（3）數(shù)據(jù)一致性：用戶可獨占配置數(shù)據(jù)的修改權(quán)，防止多用戶操作沖突。

（4）標(biāo)準(zhǔn)化和兼容性：NETCONF協(xié)議和YANG模型遵循IETF標(biāo)準(zhǔn)。如圖2所示，運營商根據(jù)自身需求在控制器中定義業(yè)務(wù)YANG模型，控制器根據(jù)編排器的資源編排結(jié)果，基于業(yè)務(wù)YANG模型，通過適配插件更新相應(yīng)設(shè)備的YANG實例，通過NETCONF完成配置下發(fā)實現(xiàn)配置更新的自動化閉環(huán)。

綜上所述，NETCONF協(xié)議和YANG模型更能滿足當(dāng)前和未來IP網(wǎng)絡(luò)業(yè)務(wù)發(fā)展需求。

2.2 ?分段路由[4-5]

控制器要具備集中式路徑計算能力，首先要求路由器支持分段路由（SR， Segment Routing）。SR包括域內(nèi)SR和跨域SR兩類，可用于SR流量工程（SR-TE， Segment Routing Traffic Engineering）和SR盡力而為轉(zhuǎn)發(fā)（SR-BE， Segment Routing Best Effort）[4]。限于篇幅，不再詳細(xì)介紹。

基于SR-TE，可在頭端路由器實現(xiàn)源路由，為客戶業(yè)務(wù)流量提供精準(zhǔn)的全局路徑調(diào)度，保障業(yè)務(wù)體驗。

2.3 ?BGP-LS協(xié)議[6]

全局化的路徑優(yōu)化，必須基于集中式的路徑計算。因此，必須具備將完整的域內(nèi)或跨域拓?fù)湫畔⑼降揭粋€集中式路徑計算實體（PCE， Path Computation Element）的機(jī)制。PCE部署在控制器中，控制器和路由器通過攜帶鏈路狀態(tài)的邊界網(wǎng)關(guān)協(xié)議（BGP-LS， Border Gateway Protocol with Link State）建立會話，同步拓?fù)湫畔ⅰ?/p>

與傳統(tǒng)路由協(xié)議相比，BGP-LS具備以下特性：

（1）強大的可擴(kuò)展能力：BGP-LS基于BGP TLV擴(kuò)展而得。

（2）跨IGP域的拓?fù)涫占芰Γ嚎刂破骺赏ㄟ^BGP-LS收集多IGP拓?fù)?，使控制器可同時支持單域和跨域流量調(diào)度。

在實際部署中，控制器只需與少數(shù)幾臺維護(hù)全網(wǎng)拓?fù)湫畔⒌脑O(shè)備建立BGP-LS會話，即可同步全網(wǎng)拓?fù)湫畔ⅰ?/p>

2.4 ?PCEP協(xié)議[7]

在控制器獲取網(wǎng)絡(luò)完整的鏈路狀態(tài)信息后，由PCE完成集中式路徑（LSP）計算，通過PCE協(xié)議（PCEP， PCE Protocol）將計算好的LSP下發(fā)給頭端（PCC， Path Computation Client），即支持PCEP的路由器。

PCE主要有兩種工作方式，包括：

（1）無狀態(tài)方式，PCE只響應(yīng)PCC發(fā)起的路徑計算請求，不維護(hù)LSP狀態(tài)。

（2）有狀態(tài)方式，PCE在完成LSP計算后，在本地維護(hù)LSP狀態(tài)，具體還可分為兩種模式：

1）被動模式，PCE只保存LSP狀態(tài)，不主動發(fā)起LSP的建立和對其狀態(tài)進(jìn)行變更。

2）主動模式，PCE保存LSP狀態(tài)，可主動發(fā)起LSP的建立，根據(jù)網(wǎng)絡(luò)運行情況對其狀態(tài)進(jìn)行變更。

在實際部署中，要求控制器具備對LSP的統(tǒng)一集中計算和實時狀態(tài)優(yōu)化能力，因此建議將PCE部署為有狀態(tài)的主動模式。

3 ? IP網(wǎng)絡(luò)控制器關(guān)鍵技術(shù)的應(yīng)用

在實驗室中搭建編排器、控制器和網(wǎng)絡(luò)環(huán)境，模擬現(xiàn)網(wǎng)移動承載的場景。其中編排器和控制器功能架構(gòu)如圖1所示，實驗場景如圖3所示。

預(yù)置條件：

（1）被測設(shè)備由3個不同廠家提供，實驗環(huán)境為跨廠家混合組網(wǎng)。接入網(wǎng)關(guān)和匯聚網(wǎng)關(guān)間的接入環(huán)為50 GE鏈路，匯聚網(wǎng)關(guān)、二級核心、一級核心和云網(wǎng)關(guān)間互聯(lián)采用100 GE鏈路;測試儀采用2條10 GE鏈路分別連接2臺接入網(wǎng)關(guān)，采用2條100 GE鏈路分別連接2臺云網(wǎng)關(guān)。

（2）編排器與控制器對接妥當(dāng)，已定義好4G/5G基站業(yè)務(wù)的YANG模型，編排器中已存儲模擬的基站業(yè)務(wù)CRM訂單數(shù)據(jù)和資源管理數(shù)據(jù)。

（3）控制器中已存儲基礎(chǔ)網(wǎng)絡(luò)協(xié)議配置數(shù)據(jù)。

（4）所有被測設(shè)備均支持NETCONF協(xié)議、YANG模型、BGP-LS和PCEP協(xié)議。

（5）每個路由器廠家均在控制器中提供YANG模型適配插件，用于適配和屏蔽運營商業(yè)務(wù)YANG模型與不同設(shè)備YANG模型間的差異。

（6）控制器與所有被測設(shè)備間均已通過帶外建立NETCONF會話。

（7）匯聚網(wǎng)關(guān)、二級核心、一級核心和云網(wǎng)關(guān)均支持SR。

實驗內(nèi)容包括以下5個方面：

（1）具備SR功能基礎(chǔ)網(wǎng)絡(luò)協(xié)議配置下發(fā)驗證

1）如圖3所示，在接入環(huán)配置OSPF和LDP，在匯聚網(wǎng)關(guān)到云網(wǎng)關(guān)間配置支持SR的ISIS協(xié)議，其中每臺設(shè)備的節(jié)點SID范圍配置為16000～23999，鄰接SID范圍配置為15000～15999。

2）鄰接SID由每臺設(shè)備在本地獨立分配;節(jié)點SID由控制器統(tǒng)一全局分配并下發(fā)給設(shè)備，其在控制器上規(guī)劃如表1所示：

3）通過NETCONF協(xié)議將上述配置下發(fā)到對應(yīng)設(shè)備。

4）在每臺接入網(wǎng)關(guān)和匯聚網(wǎng)關(guān)查看OSPF鄰居和LDP鄰居狀態(tài)，均正常，與期望結(jié)果一致。

5）在每臺匯聚網(wǎng)關(guān)、二級核心、一級核心和云網(wǎng)關(guān)查看ISIS鄰居狀態(tài)，均正常;查看節(jié)點SID，與表1規(guī)劃值一致。

6）在每臺匯聚網(wǎng)關(guān)、二級核心、一級核心和云網(wǎng)關(guān)查看每個使能ISIS的端口的鄰接SID分配情況，記錄結(jié)果如表2所示：

7）具備SR功能基礎(chǔ)網(wǎng)絡(luò)協(xié)議配置均成功下發(fā)并生效。

（2）基站業(yè)務(wù)開通功能驗證

1）在接入網(wǎng)關(guān)和匯聚網(wǎng)關(guān)間部署TLDP和PW，在匯聚網(wǎng)關(guān)和云網(wǎng)關(guān)間部署MP-BGP、L3VPN和VPN ECMP，一級核心兼作VRR，用于基站業(yè)務(wù)承載.

2）相關(guān)的承載通道和QoS配置數(shù)據(jù)由編排器根據(jù)模擬的CRM訂單數(shù)據(jù)自動生成，下發(fā)控制器。

3）控制器根據(jù)編排器下發(fā)的數(shù)據(jù)，自動為每臺相關(guān)設(shè)備生成相應(yīng)的設(shè)備級配置數(shù)據(jù)，并通過NETCONF下發(fā)到相應(yīng)設(shè)備。

4）在每臺設(shè)備上觀察相應(yīng)的承載通道狀態(tài)（如PW、L3VPN、BGP狀態(tài)等），狀態(tài)均正常。

5）在測試儀上構(gòu)造并發(fā)送雙向流量，每條鏈路包含10條流，總流量6 Gbps。

6）在匯聚網(wǎng)關(guān)、二級核心、一級核心和云網(wǎng)關(guān)上觀察每條縱向連接鏈路的利用率，各條鏈路利用率基本相同。

7）在測試儀上觀察1小時內(nèi)的統(tǒng)計數(shù)據(jù)，測試數(shù)據(jù)報文均可正常收發(fā)，無丟包。

8）基于NETCONF和YANG模型，可實現(xiàn)基于模型驅(qū)動的業(yè)務(wù)開通，即業(yè)務(wù)模型一次定義、重復(fù)調(diào)用，由編排器自動編排網(wǎng)絡(luò)資源，控制器自動生成設(shè)備配置，并基于設(shè)備的配置驗證功能保證配置的有效性，有效避免了超海量業(yè)務(wù)場景下業(yè)務(wù)開通誤配置的出現(xiàn)。同時可實現(xiàn)從業(yè)務(wù)訂單到業(yè)務(wù)開通的端到端秒級自動化閉環(huán)，相比原有的分鐘級業(yè)務(wù)開通方式（基于業(yè)務(wù)訂單手動編排網(wǎng)絡(luò)資源，再經(jīng)網(wǎng)管完成配置下發(fā)），效率提高了10倍以上，可有效縮短5G網(wǎng)絡(luò)的建設(shè)交付周期。

（3）網(wǎng)絡(luò)拓?fù)渑cSID信息統(tǒng)一收集功能驗證

1）控制器與匯聚網(wǎng)關(guān)和VRR建立BGP-LS會話，集中收集IGP拓?fù)洹?/p>

2）在控制器上查看拓?fù)?，與實驗拓?fù)湟恢?，同時查看SID信息，與表1和表2一致。

3）控制器可正確收集網(wǎng)絡(luò)拓?fù)浜蚐ID信息。

（4）控制器下發(fā)隧道功能驗證

1）在控制器上將PCE配置為有狀態(tài)的主動模式。

2）在控制器上手動規(guī)劃隧道路徑，指定進(jìn)入設(shè)備A的上行流量路徑為A→B→D→E→F→H→G，均指定節(jié)點SID，通過PCEP將隧道信息下發(fā)給設(shè)備A;指定進(jìn)入設(shè)備G的下行流量路徑為G→H→F→E→D→B→A，均指定節(jié)點SID，通過PCEP將隧道信息下發(fā)給設(shè)備G;不指定進(jìn)入設(shè)備B的上行流量和進(jìn)入設(shè)備H的下行流量路徑，其流量仍經(jīng)IGP最短路徑轉(zhuǎn)發(fā)。

3）在設(shè)備A上查看下發(fā)的隧道，狀態(tài)正常。

4）在設(shè)備A上tracert隧道，同時在設(shè)備A上去往設(shè)備B鏈路的出方向抓取報文，觀察到的標(biāo)簽棧信息如表3所示：

5）在設(shè)備G上查看下發(fā)的隧道，狀態(tài)正常。

6）在設(shè)備G上tracert隧道，同時在設(shè)備G上去往設(shè)備H鏈路的出方向抓取報文，觀察到的標(biāo)簽棧信息如表4所示：

7）經(jīng)驗證，通過PCEP下發(fā)到PCC的隧道與手動規(guī)劃結(jié)果一致。

（5）控制器路徑計算功能驗證

1）在匯聚網(wǎng)關(guān)至云網(wǎng)關(guān)間的各鏈路配置時延屬性，通過NETCONF更新到設(shè)備，具體配置值如表5所示：

2）通過BGP-LS更新拓?fù)湫畔?，在控制器上查看，各鏈路時延信息與表5一致。

3）在控制器上觸發(fā)隧道計算，隧道端點分別為設(shè)備A和設(shè)備H，約束條件為路徑總時延最小。

4）控制器通過PCEP將隧道分別下發(fā)給設(shè)備A和設(shè)備H。

5）分別在設(shè)備A和設(shè)備H上tracert時延最小隧道，結(jié)果如表6所示：

6）控制器向匯聚網(wǎng)關(guān)和云網(wǎng)關(guān)更新策略，DSCP值為EF的流量經(jīng)最低時延隧道轉(zhuǎn)發(fā)，其他流量經(jīng)IGP最短路徑轉(zhuǎn)發(fā)。

7）測試儀向設(shè)備1灌注6 Gbps流量，其中DSCP值為EF的流量為2 Gbps，DSCP值為0的流量為4 Gbps;向設(shè)備H灌注2 Gbps DSCP值為EF的流量，向設(shè)備G灌注4 Gbps DSCP值為0的流量。

8）在隧道各途徑鏈路上分別抓取上下行EF流量報文，觀察其標(biāo)簽棧信息，結(jié)果如表7所示：

9）在測試儀上觀察流量統(tǒng)計信息，從設(shè)備G接收到4 Gbps DSCP值為0的上行流量，從設(shè)備H接收到2 Gbps DSCP值為EF的上行流量;從設(shè)備1接收到4 Gbps DSCP值為0的下行流量和2 Gbps DSCP值為EF的下行流量。

10）EF流量路徑符合預(yù)期，流量出口和收發(fā)符合預(yù)期。

綜上所述，實驗內(nèi)容的5個方面均取得預(yù)期結(jié)果，符合期望。

4 ? ?結(jié)束語

本文從運營商業(yè)務(wù)發(fā)展的需求出發(fā)，分析了運營商重構(gòu)原有網(wǎng)絡(luò)管控系統(tǒng)的需求，基于這些需求介紹了其中的關(guān)鍵技術(shù)，最后基于實驗室環(huán)境對這些關(guān)鍵技術(shù)的協(xié)同部署進(jìn)行了驗證，初步具備超海量業(yè)務(wù)高效開通、避免誤配置、集中式網(wǎng)絡(luò)信息收集和路徑計算的能力，為下一步現(xiàn)網(wǎng)試點和大規(guī)模推廣提供了技術(shù)儲備和實施參考。

參考文獻(xiàn)：

[1] ? ? 尹遠(yuǎn)陽，盧泉，孫嘉琪，等. 基于OpenDayLight的IP RAN網(wǎng)絡(luò)資源編排系統(tǒng)設(shè)計及實現(xiàn)[J]. 電信技術(shù)， 2017（6）： 75-79.

[2] ? ?R E， M B， J S， et al. RFC 6241-Network Configuration Protocol （NETCONF）[S/OL]. （2011-06）[2019-08-29]. https：//tools.ietf.org/html/rfc6241.

[3] ? ? M B. RFC 6020-YANG-A Data Modeling Language for the Network Configuration Protocol （NETCONF）[S/OL]. （2010-10）[2019-08-29]. https：//tools.ietf.org/html/rfc6020.

[4] ? ? ?IETF. IETF RFC 8402： Segment Routing Architecture[S]. 2018.

[5] ? ?何曉明，盧泉，邢亮. 分段路由網(wǎng)絡(luò)研究及其在流量工程中的應(yīng)用[J]. 電信科學(xué)， 2016（6）： 186-194.

[6] ? ?H G， J M， A F. RFC 7752-North-Bound Distribution of Link-State and Traffic Engineering （TE） Information Using BGP[S/OL]. （2016-03）[2019-08-29]. https：//tools.ietf.org/html/rfc7752.

[7] ? ?J P V， J L L R. RFC 5440-Path Computation Element （PCE） Communication Protocol （PCEP）[S/OL]. （2009-03）[2019-08-29]. https：//tools.ietf.org/html/rfc5440.