張麗娟 中國聯(lián)通安徽省分公司運行維護部工程師

IPRAN本地網(wǎng)絡優(yōu)化研究

張麗娟 中國聯(lián)通安徽省分公司運行維護部工程師

隨著新技術的發(fā)展，傳統(tǒng)的SDH網(wǎng)絡在現(xiàn)網(wǎng)中逐步減少乃至消失，IPRAN/PTN等新型傳輸網(wǎng)絡的建設、擴展以及承載業(yè)務量不斷增加，如何安全、穩(wěn)定、更優(yōu)質(zhì)地保障業(yè)務網(wǎng)絡的需求，解決網(wǎng)絡隱患，優(yōu)化網(wǎng)絡性能，則成為當務之急。本文以某本地網(wǎng)為例，對IPRAN網(wǎng)絡的優(yōu)化方法進行了研究探討，以期拋磚引玉，為IPRAN網(wǎng)絡的維護優(yōu)化添磚加瓦。

IPRAN；組網(wǎng)結構優(yōu)化；參數(shù)優(yōu)化

1 引言

傳送網(wǎng)絡是整個通信網(wǎng)絡的基礎，隨著移動通信網(wǎng)絡技術的不斷演進，業(yè)務網(wǎng)絡不斷向IP化、集中化、寬帶化、軟件化的方向發(fā)展，以實現(xiàn)移動用戶的高速移動上網(wǎng)。移動通信的快速發(fā)展進對傳送網(wǎng)帶寬要求越來越高，很顯然傳統(tǒng)SDH/MSTP獨享剛性管道傳輸網(wǎng)絡無法滿足條件。而新型分組傳送網(wǎng)的出現(xiàn)，分組交換和統(tǒng)計復用大大提高網(wǎng)絡利用率，大帶寬問題得到了有效解決。隨著IPRAN/PTN等新型傳輸網(wǎng)絡的建設、擴展以及承載業(yè)務量的增加，如何安全、穩(wěn)定、更優(yōu)質(zhì)地保障業(yè)務網(wǎng)絡的需求，解決網(wǎng)絡隱患，優(yōu)化網(wǎng)絡性能，則成為當務之急。本文以某本地網(wǎng)為例，對IP RAN網(wǎng)絡的優(yōu)化方法進行了研究探討，以期拋磚引玉，為IPRAN網(wǎng)絡的維護優(yōu)化添磚加瓦。

2 IPRAN網(wǎng)絡概況

（1）基本概念

IP RAN中的IP指的是互聯(lián)協(xié)議，RAN指的是RadioAccessNetwork。相對于傳統(tǒng)的SDH傳送網(wǎng)，IP RAN的意思：“無線接入網(wǎng)IP化”，是基于IP的傳送網(wǎng)。具有多業(yè)務承載、超高帶寬、完備的QoS（服務質(zhì)量）、高可靠性的承載能力，其特點是端到端的IP化大大降低了網(wǎng)絡復雜度、具有更高效的網(wǎng)絡資源利用率、能實現(xiàn)多業(yè)務承載、具有成熟的標準和良好的互通性。

PTN（分組傳送網(wǎng)，PacketTransportNetwork）是指這樣一種光傳送網(wǎng)絡架構和具體技術：在IP業(yè)務和底層光傳輸媒質(zhì)之間設置了一個層面，它針對分組業(yè)務流量的突發(fā)性和統(tǒng)計復用傳送的要求而設計，以分組業(yè)務為核心并支持多業(yè)務提供，具有更低的總體使用成本，同時秉承光傳輸?shù)膫鹘y(tǒng)優(yōu)勢，包括高可用性和可靠性、高效的帶寬管理機制和流量工程、便捷的OAM和網(wǎng)管、可擴展、較高的安全性等。

（2）某本地網(wǎng)的組網(wǎng)方式

某本地網(wǎng)采用的是IPRAN/PTN設備混合組網(wǎng)，IPRAN設備組建成核心匯聚層，PTN組建接入層。PTN設備形態(tài)大多是在傳統(tǒng)二層交換機基礎上改進而成，基于MPLS-TP技術，靜態(tài)尋址，提供二層以太網(wǎng)業(yè)務服務；而IPRAN設備形態(tài)大多是在傳統(tǒng)路由器+交換機基礎上改進而成，基于IP/MPLS動態(tài)技術，采取動態(tài)尋址理念為初衷，可以直接承載各類IP三層業(yè)務。

（3）某本地網(wǎng)IPRAN網(wǎng)絡現(xiàn)狀

建網(wǎng)初期，謹慎起見，結合技術和設備的成熟情況，IPRAN設備組網(wǎng)根據(jù)廠家技術建議的采用了相對保守的全靜態(tài)技術組網(wǎng)。當IPRAN設備升級至新的版本后，設備對動態(tài)三層技術有較好的支持，即實施了IPRAN靜轉動態(tài)部署調(diào)整割接。隨著技術進步，IPRAN設備再次升級，優(yōu)化了動態(tài)路由計算算法優(yōu)化，提高了動態(tài)路由收斂效率。在IPRAN設備繼續(xù)升級后，增加了動態(tài)隧道自動1：1等新功能，結合ECMP的應用，實現(xiàn)核心設備—匯聚設備之間上/下行流量負載分擔、提高帶寬資源利用率。

隨著網(wǎng)絡的擴展、業(yè)務承載量的增加以及維護經(jīng)驗的積累，發(fā)現(xiàn)現(xiàn)網(wǎng)有很多不足和有待改進優(yōu)化之處。為打造更安全穩(wěn)定、效率更高的網(wǎng)絡，提升服務質(zhì)量，用戶感知，降低投訴，網(wǎng)絡優(yōu)化勢在必行。優(yōu)化內(nèi)容不僅包括設備自身硬件、組網(wǎng)結構，也包括各種動態(tài)技術應用優(yōu)化。優(yōu)化主要方式是結合工程建設大量設備入網(wǎng)，按照設計目標拓撲圖，通過調(diào)整匯聚環(huán)、接入環(huán)下沉等割接來動態(tài)調(diào)整優(yōu)化組網(wǎng)結構，同時割接調(diào)整過程中，逐步優(yōu)化IPRAN網(wǎng)絡中各種動態(tài)技術。

3 組網(wǎng)結構優(yōu)化

3.1 IPRAN網(wǎng)絡多層次劃分組網(wǎng)

建網(wǎng)初期，IPRAN設備較少，每個縣僅有2臺IP RAN匯聚設備，通過本地城域波分不同的方向的兩個10GE波道，直連兩個核心機房的核心設備——兩臺匯聚設備，形成單層口子型組網(wǎng)（見圖1）。初期組網(wǎng)設備少，承載接入環(huán)少，可以快速滿足業(yè)務需求。但隨著網(wǎng)絡擴展，在此種組網(wǎng)模式的弊端逐步顯現(xiàn)。

圖1 優(yōu)化前單層次口子型拓撲

一是縣里所有接入環(huán)都必須雙掛這兩臺匯聚設備，物理覆蓋范圍較廣，光纜纖芯物理資源的有限，造成縣內(nèi)接入環(huán)網(wǎng)元數(shù)量龐大，極易造成超大環(huán)。

二是接入環(huán)網(wǎng)元越多，意味著接入環(huán)業(yè)務量會越來越多，而接入環(huán)鏈路帶寬是固定的，極易造成接入環(huán)帶寬資源占用過大，發(fā)生接入環(huán)流量擁塞。

三是一旦相關光纜中斷，造成接入環(huán)開環(huán)的風險更大。

3.2 結合工程建設優(yōu)化組網(wǎng)結構

后期網(wǎng)絡建設新增41臺IPRAN設備，主要投入縣分使用。在原來的接入環(huán)中，選擇較重要的機房建設綜合業(yè)務接入點，利舊光纜或新增光纜資源，完成2級、3級的IPRAN匯聚環(huán)網(wǎng)的組建（見圖2）。具體構架方案為將分布在不同區(qū)域的41臺PTN接入設備被成功替換成IPRAN設備，多個超大接入環(huán)被裂環(huán)，3層業(yè)務下沉割接。在1級匯聚環(huán)下，基本不會再出現(xiàn)接入環(huán)上掛的現(xiàn)象，超大接入環(huán)自然消失，且后期的新建的接入環(huán)可以雙跨就近的綜合接入點IPRAN匯聚設備，雙跨2級或3級匯聚環(huán)，物理范圍大大縮小，光纜資源更加充裕，容易組建，可以提高接入環(huán)的成環(huán)率。

圖2 優(yōu)化后多層次環(huán)型拓撲

3.3 優(yōu)化業(yè)務路徑實現(xiàn)上下行流量負載均衡

早期IPRAN核心——匯聚設備采用VPNFRR主備模型配置，手工指定主備核心或主備匯聚設備，在正常無故障時，業(yè)務流量路徑在主用核心——主用匯聚設備的LSP工作隧道路徑之間完成數(shù)據(jù)轉發(fā)（見圖3）。

以LTE基站業(yè)務上/下行流量路徑為例，對于下行流量流向分析：兩臺承載網(wǎng)B網(wǎng)AR—兩臺IPRAN核心口子型組網(wǎng)，下行流量負載分擔（通過承載網(wǎng)B網(wǎng)AR設備控制策略實現(xiàn)），因而核心1、核心2都能收到對應B網(wǎng)AR設備發(fā)來的LTE基站的下行流量。在本地IPRAN網(wǎng)絡內(nèi)部，核心1—2級匯聚1設備的IGP路由方向是：核心1—1級匯聚1—2級匯聚1；核心2—2級匯聚1設備的IGP路由方向是：核心2—核心1—1級匯聚1—2級匯聚1。2級匯聚1主設備—到對應PTN設備之間是靜態(tài)LSP1：1二層隧道，通常主用方向也是按照習慣，從左到右的順序，人工指定配置而成。因此，2級匯聚1主用設備收到的匯總下行流量會按照PTN1—PTN2…PTNN的方向，送給對應LTE基站，完成整個接入環(huán)LTE下行流量的轉發(fā)。對于上行流量分析：同理LTE基站上行流量同樣要先沿著靜態(tài)2層主用LSP方向PTNN—PTN2—PTN1；上行流量匯總到2級匯聚1主設備，再經(jīng)1級匯聚1設備轉發(fā)給核心1設備，核心1設備收到的匯總上行流量，直接通過直連接口，轉發(fā)給AR1設備，完成LTE上行流量的轉發(fā)。從業(yè)務流量在IPRAN網(wǎng)絡中的流轉路徑中可以看到，IPRAN內(nèi)部流量正常情況下全部承載在主用側，備用側基本不參與流量處理，僅在應急情況下發(fā)生作用，網(wǎng)絡資源帶寬未能得到充分利用。在組網(wǎng)初期或業(yè)務輕載時弊端不明顯，但隨著業(yè)務量增長，網(wǎng)絡需要承載大流量負荷時，則會出現(xiàn)主用側不堪重負發(fā)生丟包、時延大、擁塞等問題，而備用側依然閑置的不均衡問題。優(yōu)化方案：取消了VPNFRR的主備模型組網(wǎng)，采用ECMP負載分擔模型部署后，核心設備去往對應LTE基站的下行路由的下一跳會指向對應的兩臺匯聚設備，匯聚設備去往EPC核心網(wǎng)的上行路由下一跳會指向兩臺核心設備。并嚴格了核心—匯聚設備之間動態(tài)隧道LSP的嚴格路徑（見圖4）。優(yōu)化后的網(wǎng)絡帶寬資源利用率得到了充分的利用，流量路徑實現(xiàn)負載均衡，大大降低了核心—匯聚設備之間上下行流量擁塞的可能，保障網(wǎng)絡安全，提升用戶使用業(yè)務感知。

圖3 優(yōu)化前業(yè)務流路徑

圖4 優(yōu)化后多層次環(huán)型拓撲

4 IPRAN動態(tài)技術優(yōu)化

4.1 IGP路由控制優(yōu)化

IGP是內(nèi)部網(wǎng)關協(xié)議，是一類協(xié)議的統(tǒng)稱，工作一個AS系統(tǒng)內(nèi)部，具體協(xié)議主要包括RIPOSPFISIS等。RIP用于小型網(wǎng)絡；OSPF和ISIS動態(tài)路由協(xié)議比較相似，都屬于鏈路狀態(tài)動態(tài)路由協(xié)議，使用SPF最短路徑優(yōu)先算法，通常用在較大型網(wǎng)絡中應用。早期由于IPRAN設備較少，網(wǎng)絡拓撲層次簡單，分組傳送網(wǎng)IGP使用了ISIS協(xié)議，基本上采用默認配置，未做任何優(yōu)化。此類配置較適合純1層口子行拓撲結構組網(wǎng)，對于后期規(guī)模較大的IPRAN網(wǎng)絡則很快出現(xiàn)弊端。

每個本地網(wǎng)通常至少部署兩臺核心設備，圖5舉例5臺IPRAN設備環(huán)型組網(wǎng)，所有IPRAN全部啟用ISIS協(xié)議，單進程、單區(qū)域、宣告各自的互聯(lián)接口和L0環(huán)回口（全是10GE接口，COST為默認都為10，僅啟用BFDFORISIS，其他未做配置），第1次全網(wǎng)ISIS路由學習完成后，IGP鄰居自動建立，發(fā)現(xiàn)拓撲，自動學習到全網(wǎng)IGP路由。根據(jù)ISIS最短路徑優(yōu)先算法原則，即路由開銷最小的被寫入路由表，很明顯匯聚1—核心12設備的LO環(huán)回口路由的出接口都是7/1口，IGP路由有交集部分，存在一定的安全隱患，若出現(xiàn)匯聚1—核心1設備光纜中斷，會造成匯聚1—核心12兩臺設備的L0環(huán)回口路由全部中斷。等ISIS路由震蕩，重新收斂計算后恢復。為加快鏈路故障時的快速恢復，主要從IGP的收斂速度和減少路由開銷這兩個方面著手優(yōu)化。

（1）加快ISIS路由震蕩收斂速度

優(yōu)化SPF的功能算法。ISIS是周期性傳遞LSA（鏈路狀態(tài)通告）的方式，路由器在收到整個LSA的時候再向鄰居擴散LSP。因而在網(wǎng)絡規(guī)模擴大時，LSDB（鏈路狀態(tài)數(shù)據(jù)庫）隨之增大，SPF的計算時間就更長。SPF計算方法是否更優(yōu)是直接影響收斂效率快慢的主要原因之一。實現(xiàn)SPF的功能算法有多種多樣，各廠家設備計算的方法的可能各有不同，但最終的計算結果應當都相同，通過廠家研發(fā)新的軟件版本，優(yōu)化了SPF算法，大大提高了收斂效率。

啟用LSP快速擴散功能。當LSP發(fā)生變化而導致SPF重新計算，在SPF重新計算前，把導致SPF重新計算的定量LSP快速擴散出去，加快LSDB同步的過程，可以提高快速收斂性能。

圖5 5臺IPRAN設備環(huán)型組網(wǎng)拓撲

啟用SFP智能定時器。如果觸發(fā)路由計算的間隔較長，同樣會影響網(wǎng)路的收斂速度。使用毫秒級定時器可以縮短這個間隔時間，但如果網(wǎng)絡閃斷故障比較頻繁，又會造成過度占用CPU資源。SPF智能定時器既可以對少量的外界突發(fā)事件進行快速響應，又可以避免過度的占用CPU資源，助力提高收斂效率。

（2）減少ISIS路由開銷

ISIS是根據(jù)SPF最短路徑優(yōu)先算法，以自己為根，到達目的網(wǎng)絡路由開銷最小路由。COST值是決定路由開銷的主要因素，合理優(yōu)化COST值，可以優(yōu)化相關IGP路由選路方向。早期的IPRAN網(wǎng)絡拓撲僅存在1個級別層次結構,在1級IPRAN設備下面直接下掛PTN接入層設備，且所有的1級匯聚環(huán)基本上都是口子型直連核心設備，拓撲網(wǎng)絡很簡單，COST默認配置即可滿足。

隨著網(wǎng)絡擴展新增了41臺IPRAN設備后，設備總數(shù)量近60臺。按照目標設計，邊調(diào)整邊割接，拓撲最終成型，1級設備下掛了2級甚至3級網(wǎng)絡，且下級別的匯聚環(huán)上網(wǎng)元的數(shù)量基本上是3～6個。而ISIS初期配置都是單進程單區(qū)域應用，大量重要的IGP路由會有重疊路由現(xiàn)象，包括下一級別的IPRAN設備——上級雙跨的兩臺IPRAN設備的L0環(huán)回口IGP路由，會造成走同一個方向。一旦出現(xiàn)相關鏈路光纜中斷，會重新計算全網(wǎng)相關的大量IGP路由，震蕩面大，對現(xiàn)網(wǎng)影響也大。

結合現(xiàn)網(wǎng)拓撲結構，重新規(guī)劃IPRAN全網(wǎng)COST值設計并在現(xiàn)網(wǎng)中應用后，登錄到任何一臺下一級別IPRAN設備，查看IGP路由表，去往上一級別的重要IGP路由的出接口方向是不同的，路由震蕩面可以減小，完成IPRAN全網(wǎng)ISIS路由開銷的優(yōu)化。如果本地IP RAN數(shù)量上升到更龐大的時候，還必須要考慮全網(wǎng)ISIS多進程或多區(qū)域劃分應用。

4.2 BGP路由控制優(yōu)化

BGP是邊界網(wǎng)關路由協(xié)議，用于不同AS（自治系統(tǒng)）之間的互聯(lián)，稱為EBGP；工作在同一個AS內(nèi)部，稱為IBGP。BGP并不能像IGP那樣自動發(fā)現(xiàn)計算路由，建立BGP鄰居前提條件需要有IGP提供路由支撐，通過Network/Redistribute方式將IP路由表中的真實存在路由條目通告或引入進BGP路由表中，利用BGP的豐富路由策略，控制BGP路由的傳播和最佳路由選擇，BGP支持路由表的條目遠遠大于IGP路由表條目，采用增量更新機制，適用于Internet上傳播大量路由信息，在互聯(lián)網(wǎng)骨干路由器中廣泛應用，而在IPRAN網(wǎng)絡中，BGP主要用于傳播三層VPN私網(wǎng)路由的作用。

（1）1LTE基站EBGP路由匯總優(yōu)化

眾所周知，LTE網(wǎng)絡結構更加扁平化，eNodeB直接與EPC核心網(wǎng)互通，物理簡化拓撲如圖6所示。

本地網(wǎng)的核心IPRAN設備，直連對接承載網(wǎng)AR設備，口子型組網(wǎng)，通過互聯(lián)接口直連路由建立EBGP鄰居關系。初期構建網(wǎng)絡時，本地網(wǎng)IPRAN核心設備通過EBGP鄰居向承載網(wǎng)AR設備發(fā)布該本地網(wǎng)LTE基站的明細路由（通過攜帶BGP的AS-PATH屬性，以防環(huán)路）；承載網(wǎng)AR設備將學習到的EPC核心網(wǎng)100多條路由條目+其他本地網(wǎng)的LTE基站明細路由條目，通過EBGP鄰居向各本地網(wǎng)IPRAN核心設備方向發(fā)布，從而建立全省LTE網(wǎng)絡。

初期建網(wǎng)時LTE基站數(shù)量少，平均每個本地網(wǎng)100多，大多數(shù)本地網(wǎng)LTE基站的IP地址按照30位掩碼規(guī)劃，相當于1個LTE基站占用1條路由，即全省LTE基站路由條目總和+EPC核心網(wǎng)路由不超過2000條，總路由條目較少。隨著網(wǎng)絡第二期、第三期的建設，總路由條目激增，可能達到1～2萬條路由。對于BGP而言，傳播幾萬條路由條目也沒問題。但是隨著網(wǎng)絡繼續(xù)擴張，路由表越來越大，對每次路由查表所需時間相應增加，數(shù)據(jù)包轉發(fā)效率便會有所影響。就全省規(guī)劃而言，全省LTE基站IP地址有各本地網(wǎng)的規(guī)劃，可通過各本地網(wǎng)核心IPRAN設備——對承載網(wǎng)AR設備發(fā)布LTE基站EBGP匯總路由，就可以極大縮小LTEVRF虛擬路由表，提高數(shù)據(jù)包轉發(fā)效率，惠及全省網(wǎng)絡。

圖6 LTE業(yè)務承載簡化拓撲

優(yōu)化效果：該本地網(wǎng)通過EBGP路由匯總的優(yōu)化后，LTE基站的管理和業(yè)務各幾百條路由，匯聚成2條匯總路由對外發(fā)布,全省本地網(wǎng)全部照此優(yōu)化后，承載網(wǎng)B網(wǎng)AR設備學習到的全省LTE總路由表的條目在200條以內(nèi)，大大減小LTEVRF路由表，LTE上網(wǎng)數(shù)據(jù)包在經(jīng)過承載網(wǎng)AR設備的轉發(fā)效率得到有效提高。

（2）RR的應用，減輕核心IPRAN設備——匯聚設備IBGP連接壓力

在同一個AS內(nèi)部，通常都是利用IPRAN設備的L0環(huán)回口的IGP路由可達，就可以建立IBGP鄰居，無需要求形成IBGP鄰居的設備必須物理直連。早期的IPRAN設備并不多，單層次口子行組網(wǎng)，網(wǎng)絡拓撲層次簡單，采用的是核心IPRAN設備——所有的IPRAN匯聚設備都要組建IBGP對等體關系，如果全網(wǎng)采用IBGP全互聯(lián)的模型，那么全網(wǎng)要建立的IBGP對等體數(shù)量就為n（n-1）/2個，這種模型不適用于后期較大的IPRAN網(wǎng)絡，大量的IBGP連接數(shù)量，會造成網(wǎng)絡資源和設備的CPU資源消耗更大，為了解決該問題，引用了RR路由反射器的應用。

根據(jù)現(xiàn)網(wǎng)IPRAN拓撲結構和IPRAN路由器的數(shù)量，來合理規(guī)劃RR和它的Client。RR和它歸屬的Client組成一個集群（Cluster），RR-Client之間反射BGP路由信息,而Client之間不需要建立BGP連接。在多級別層次網(wǎng)絡的中，可對RR進行分級管理：將一級IP RAN設備，定義成一級RR，兩臺核心IPRAN設備和對應下掛的二級匯聚IPRAN設備都定義成對應一級RR的Client；將相關的二級IPRAN設備定義成二級RR，將對應下掛的第三級IPRAN設備定義成對應二級RR的Client，以此類推。為防止單節(jié)點RR故障，增強網(wǎng)絡的可靠性，通常在一個Cluster集群中配置兩個RR，共同工作，又起到互為備份的作用，這兩個RR同時作為上一級RR的Client。Cluster集群內(nèi)的所有Client同時與這兩個RR建立IBGP連接。按照這樣的思路去部署應用后，1級匯聚環(huán)網(wǎng)絡本已經(jīng)構成，后期基本不需調(diào)整；網(wǎng)絡擴展新增的IPRAN設備，基本在二級或更低級別的網(wǎng)絡層次，相應不會增加IPRAN核心設備的IBGP連接的數(shù)量，大大減輕IPRAN核心設備處理大量IBGP連接的壓力。

5 結束語

本地分組傳送網(wǎng)從組建至今，通過持續(xù)的網(wǎng)絡優(yōu)化調(diào)整，網(wǎng)絡結構兼具安全和效率，設備功能逐步完善，參數(shù)設置更趨合理。相較初期網(wǎng)絡，通過優(yōu)化，網(wǎng)絡更加智能、高效、安全穩(wěn)定。隨著新技術的發(fā)展，傳統(tǒng)的SDH網(wǎng)絡在現(xiàn)網(wǎng)中逐步減少乃至消失，將完全被IPRAN/PTN所替代。在日常維護工作中，主動學習研究相關網(wǎng)絡新知識，夯實理論基礎，把握網(wǎng)絡優(yōu)化的正確方向，結合現(xiàn)行網(wǎng)絡，多思考、多實踐，繼續(xù)努力打造精品網(wǎng)絡。

2016-11-10）