高曉冬

鐵路數(shù)據(jù)通信廣域網(wǎng)的高可用性設(shè)計

高曉冬

摘 要：為滿足鐵路通信系統(tǒng)、安全生產(chǎn)監(jiān)控系統(tǒng)和信息系統(tǒng)業(yè)務(wù)的IP化快速發(fā)展需求，如何構(gòu)建一個高可用的承載多業(yè)務(wù)的鐵路數(shù)據(jù)通信網(wǎng)廣域網(wǎng)成為設(shè)計過程中應(yīng)關(guān)注的重點，從互連拓?fù)浣Y(jié)構(gòu)、網(wǎng)絡(luò)組件、路由協(xié)議等方面進(jìn)行分析，并提出設(shè)計建議。

關(guān)鍵詞：鐵路數(shù)據(jù)通信網(wǎng);廣域網(wǎng);高可用性

隨著鐵路數(shù)據(jù)通信的發(fā)展，鐵路會議視頻、視頻監(jiān)控、GPRS等通信系統(tǒng)，安全生產(chǎn)監(jiān)測及監(jiān)控系統(tǒng) (信號微機(jī)監(jiān)測、5T等)，鐵路信息系統(tǒng)(辦公、旅客服務(wù)、運輸生產(chǎn)、經(jīng)營管理等)，以及新生IP業(yè)務(wù)都需要接入數(shù)據(jù)通信網(wǎng)，因此構(gòu)建一個高可用的承載多業(yè)務(wù)的綜合數(shù)據(jù)通信的廣域網(wǎng)是當(dāng)務(wù)之急。如何構(gòu)建一個高可用的承載多業(yè)務(wù)的鐵路數(shù)據(jù)通信廣域網(wǎng)是設(shè)計過程中應(yīng)關(guān)注的重點，為此，從互連拓?fù)浣Y(jié)構(gòu)、網(wǎng)絡(luò)組件、路由協(xié)議等方面進(jìn)行分析，并提出設(shè)計建議。

1 鐵路數(shù)據(jù)通信網(wǎng)總體拓?fù)浼軜?gòu)

網(wǎng)絡(luò)的規(guī)劃應(yīng)面向業(yè)務(wù)，即網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)應(yīng)與業(yè)務(wù)的流量、流向相匹配;網(wǎng)絡(luò)的管理體系應(yīng)與業(yè)務(wù)的管理相對應(yīng);網(wǎng)絡(luò)組件的選擇、單節(jié)點設(shè)備的設(shè)置、設(shè)備間的互連方式，應(yīng)滿足部分設(shè)備或設(shè)備組件故障、設(shè)備間部分鏈路中斷等不影響業(yè)務(wù)的正常使用，或?qū)I(yè)務(wù)的影響要達(dá)到最小;單個鐵路局區(qū)域內(nèi)網(wǎng)絡(luò)的故障，不影響其他路局及總公司至鐵路局的業(yè)務(wù)穩(wěn)定性;網(wǎng)絡(luò)協(xié)議的選擇能適應(yīng)業(yè)務(wù)、用戶不斷增長的趨勢，并且具備穩(wěn)定、安全和可實現(xiàn)靈活的路由控制策略的特性。

承載于數(shù)據(jù)通信網(wǎng)的業(yè)務(wù)按照業(yè)務(wù)使用涉及范圍可分為鐵路局內(nèi)、鐵路局間和總公司至鐵路局三類。在鐵路局內(nèi)部，通信系統(tǒng)、安全生產(chǎn)監(jiān)測及監(jiān)控系統(tǒng)、信息系統(tǒng)的業(yè)務(wù)中心點主要分布在鐵路局和辦事處 (原鐵路分局)所在地，業(yè)務(wù)中心點之間有互訪需求。對于鐵路局內(nèi)這種業(yè)務(wù)層次分明，各層有互訪需求的業(yè)務(wù)模型，建議在鐵路局內(nèi)采用樹形拓?fù)浼軜?gòu)。即在鐵路局設(shè)鐵路局區(qū)域網(wǎng)的核心節(jié)點，在辦事處和站段設(shè)置較集中的地區(qū)設(shè)匯聚節(jié)點，在有業(yè)務(wù)接入需求的站段設(shè)接入節(jié)點。同時，在核心節(jié)點和匯聚節(jié)點同址設(shè)置接入節(jié)點，用于各業(yè)務(wù)中心點的接入。這種結(jié)構(gòu)能夠覆蓋較大的區(qū)域，易于延伸和擴(kuò)展，可以適應(yīng)接入鐵路數(shù)據(jù)通信網(wǎng)的站點數(shù)目迅速增加的趨勢。這種樹狀多層拓?fù)溥€便于部署MPLS VPN等虛擬化技術(shù)，實現(xiàn)網(wǎng)絡(luò)的虛擬化，為鐵路不同業(yè)務(wù)或?qū)I(yè)提供橫向隔離的業(yè)務(wù)通道，保證業(yè)務(wù)或?qū)I(yè)之間互不影響。

圖1 鐵路數(shù)據(jù)通信網(wǎng)總體拓?fù)浼軜?gòu)

在網(wǎng)絡(luò)的分層、分域管理方面，樹形拓?fù)浼軜?gòu)也是與鐵路通信網(wǎng)絡(luò)的維護(hù)管理匹配的。按照維規(guī)的要求，鐵路局的通信網(wǎng)管中心負(fù)責(zé)本鐵路局區(qū)域網(wǎng)的總體管理和配置，各車間的網(wǎng)管分中心對本車間內(nèi)的網(wǎng)絡(luò)進(jìn)行日常的監(jiān)控和故障處理，而車間的管轄范圍與匯聚節(jié)點及所轄的接入節(jié)點是基本一致的。因此，建議每個鐵路局的數(shù)據(jù)通信網(wǎng)構(gòu)成一個自治域 (AS)，為網(wǎng)管中心和網(wǎng)管分中心分配不同的管理范圍和權(quán)限，從而實現(xiàn)網(wǎng)絡(luò)的分權(quán)分域管理。

鐵路總公司至18個鐵路局均有業(yè)務(wù)互通需求，例如會議視頻、視頻監(jiān)控、應(yīng)急等通信系統(tǒng)及各類管理信息系統(tǒng);鐵路局間的主要業(yè)務(wù)為GPRS、視頻監(jiān)控、接口監(jiān)測等，鐵路局間流量集中在相鄰局和個別業(yè)務(wù)中心局與其他鐵路局之間。由于在鐵路總公司設(shè)置各業(yè)務(wù)系統(tǒng)總公司級業(yè)務(wù)中心，鐵路總公司至鐵路局的流量要明顯高于相鄰局流量，因此建議按照地理位置劃分，在總公司和部分路局設(shè)置大區(qū)節(jié)點，大區(qū)節(jié)點之間采用全網(wǎng)狀的互連結(jié)構(gòu)，構(gòu)成數(shù)據(jù)網(wǎng)的骨干網(wǎng)絡(luò)，為鐵路局區(qū)域網(wǎng)絡(luò)間、鐵路局區(qū)域網(wǎng)絡(luò)與總公司業(yè)務(wù)中心的流量交互提供穩(wěn)定、冗余的網(wǎng)絡(luò)平臺。

這樣，各鐵路局區(qū)域網(wǎng)絡(luò)通過本區(qū)域的核心路由器接入數(shù)據(jù)網(wǎng)骨干網(wǎng)絡(luò)，鐵路局區(qū)域網(wǎng)內(nèi)的流量交互不占用骨干網(wǎng)絡(luò)資源，區(qū)域網(wǎng)間及區(qū)域網(wǎng)與鐵路總公司的業(yè)務(wù)中心的交互通過骨干網(wǎng)絡(luò)實現(xiàn)，相鄰鐵路局跨局業(yè)務(wù)流量只與互聯(lián)的大區(qū)節(jié)點相關(guān)，而不影響其他大區(qū)節(jié)點。骨干網(wǎng)絡(luò)與區(qū)域網(wǎng)絡(luò)劃分獨立的路由自治域，便于保持網(wǎng)絡(luò)的穩(wěn)定性和業(yè)務(wù)路由的策略控制。鐵路數(shù)據(jù)通信網(wǎng)總體拓?fù)浼軜?gòu)如圖1所示。

在這種網(wǎng)絡(luò)結(jié)構(gòu)下，結(jié)合路由匯聚策略的部署，區(qū)域網(wǎng)絡(luò)內(nèi)部的網(wǎng)絡(luò)調(diào)整和故障不會擴(kuò)展到骨干網(wǎng)絡(luò)和其他區(qū)域網(wǎng)絡(luò)，有效隔離了局部網(wǎng)絡(luò)震蕩對全網(wǎng)業(yè)務(wù)的影響。

2 網(wǎng)絡(luò)設(shè)備選擇及設(shè)備間互連方式

高可用的網(wǎng)絡(luò)不能頻繁出現(xiàn)故障，即使出現(xiàn)故障也應(yīng)能很快修復(fù)。故障次數(shù)少和修復(fù)時間短基本概括了高可用網(wǎng)絡(luò)的特點。根據(jù)統(tǒng)計學(xué)的概念，用可用性 (Availability)參數(shù)來度量網(wǎng)絡(luò)的可用性。

Availability=MTBF/(MTBF+MTTR)

其中，MTBF為平均無故障時間 (Mean Time Between Failures)，MTTR為平均修復(fù)時間 (Mean Time To Repair)。若提高網(wǎng)絡(luò)可用性，可以增加MTBF或降低MTTR。MTBF取決于網(wǎng)絡(luò)設(shè)備本身硬件、軟件及設(shè)備間互連傳輸電路的質(zhì)量;而通過合理的組網(wǎng)設(shè)計可以提高網(wǎng)絡(luò)的自愈能力，有效地減小MTTR，實現(xiàn)網(wǎng)絡(luò)的高可用性。

2.1 網(wǎng)絡(luò)組件的選擇

網(wǎng)絡(luò)組件完成網(wǎng)絡(luò)的基本連接和數(shù)據(jù)包的路由轉(zhuǎn)發(fā)，是構(gòu)成網(wǎng)絡(luò)的基本元素，典型代表為路由器和交換機(jī)等網(wǎng)絡(luò)設(shè)備。網(wǎng)絡(luò)組件的高可用性包括硬件結(jié)構(gòu)和軟件系統(tǒng)2個層面。

2.1.1 硬件方面

1．采用控制和轉(zhuǎn)發(fā)分離架構(gòu)的路由設(shè)備，并且要做到主控冗余。原因在于控制和轉(zhuǎn)發(fā)分離可實現(xiàn)數(shù)據(jù)包的快速轉(zhuǎn)發(fā);與單主控相比，主控冗余的收斂性能要好很多。因為在雙主控情況下，備用控制板已經(jīng)預(yù)先完成映像文件的加載和配置的初始化工作，當(dāng)主用控制板出現(xiàn)故障時，業(yè)務(wù)接口板不需要重新注冊，二三層接口也不會出現(xiàn)Down。另外，由于備用控制板上已經(jīng)備份有轉(zhuǎn)發(fā)表項，可以立即承擔(dān)轉(zhuǎn)發(fā)任務(wù)，一定程度上可以避免業(yè)務(wù)中斷。例如二層及從本設(shè)備往外發(fā)送的流量，如果和鄰居之間配置的是靜態(tài)路由，流量也不會中斷。

2．支持單板熱拔插功能。這樣新增單板不會影響在線使用的其他單板業(yè)務(wù);當(dāng)確認(rèn)板卡故障更換板件時，新單板能繼承原來舊板卡的配置;在添加或拔插接口單板時，路由轉(zhuǎn)發(fā)信息表能同步到單板，從而有效減少故障的處理時間。單板熱拔插與跨板的鏈路捆綁技術(shù)結(jié)合，一定程度上可提供接口板間的1：N備份功能。

3．關(guān)鍵節(jié)點設(shè)備的電源模塊供電采用1：N備份模式。即一個電源模塊為其他N個提供備份，在檢修或故障處理需要拔出某一個電源模塊時，其他模塊能提供足夠電源功率。

2.1.2 軟件方面

網(wǎng)絡(luò)設(shè)備軟件系統(tǒng)支持熱補(bǔ)丁。在不影響系統(tǒng)正常運行的情況下，可實現(xiàn)對系統(tǒng)錯誤的修正，即完成對系統(tǒng)進(jìn)行動態(tài)升級。

2.2 單節(jié)點設(shè)備數(shù)量及設(shè)備間互連方式

每個節(jié)點設(shè)備設(shè)置數(shù)量和設(shè)備間的互連關(guān)系決定了網(wǎng)絡(luò)可用性的計算方法。如圖2所示，常用的互連拓?fù)浣Y(jié)構(gòu)包括：單點單歸、單點雙歸、雙點單歸、雙點雙歸和雙歸屬。

圖2中A1和A2是網(wǎng)絡(luò)設(shè)備自身的可用性指標(biāo)，當(dāng)網(wǎng)絡(luò)設(shè)備僅有1個方向與相鄰設(shè)備連接時，其組成的部分網(wǎng)絡(luò)系統(tǒng)的可用性為A1×A2;當(dāng)網(wǎng)絡(luò)設(shè)備有2個或2個以上方向與相鄰設(shè)備連接時，其組成的部分網(wǎng)絡(luò)系統(tǒng)的可用性為1減去所有方向同時不可用時的值。由此得出的不同拓?fù)溥B接方式下的可用性計算結(jié)果對比如表1所示。

表1 不同拓?fù)溥B接方式下的可用性計算結(jié)果對比

圖2 常用的互連拓?fù)浣Y(jié)構(gòu)

99.999%的網(wǎng)絡(luò)可用性為電信行業(yè)建網(wǎng)要求，而《鐵路客運專線通信技術(shù)裝備標(biāo)準(zhǔn)》中數(shù)據(jù)通信網(wǎng)絡(luò)的可用性要求大于99.99%。由表1可見，雙點雙歸和雙歸屬的拓?fù)溥B接方式明顯優(yōu)于其他3種連接方式，并且滿足電信行業(yè)的標(biāo)準(zhǔn);而這兩者相比，可用率相差甚微，考慮到雙歸屬比雙點雙歸多使用2條鏈路并且每臺設(shè)備多占用1個端口，對于廣域網(wǎng)來說，鏈路、設(shè)備端口資源非常寶貴，因此在匯聚層及以上節(jié)點、鐵路總公司和鐵路局的業(yè)務(wù)中心的接入節(jié)點等關(guān)鍵節(jié)點處設(shè)置雙設(shè)備，并采用雙點雙歸互連拓?fù)浣Y(jié)構(gòu)。鐵路通信傳輸網(wǎng)接入層一般是按鐵路線建設(shè)的，對于只用于業(yè)務(wù)和用戶接入的普通數(shù)據(jù)網(wǎng)接入節(jié)點，可以采用鏈型串接后雙歸至匯聚節(jié)點的互連方式，經(jīng)計算串接節(jié)點數(shù)不超過5個時可滿足鐵路標(biāo)準(zhǔn)。雙點單歸在所使用設(shè)備端口的數(shù)量和長途互連電路方面均與雙點雙歸一樣，但網(wǎng)絡(luò)的可用率比雙點雙歸結(jié)構(gòu)差很多，不建議使用。上述結(jié)論在實現(xiàn)重要業(yè)務(wù)接入數(shù)據(jù)通信網(wǎng)時同樣適用。

以上結(jié)論是基于傳輸、電源等設(shè)備100%可用的前提下計算得到的，廣域網(wǎng)傳輸電路設(shè)置時要盡可能做到雙歸鏈路分布在物理路徑不同的傳輸系統(tǒng)上，盡量避免1臺或1個節(jié)點的傳輸設(shè)備故障時影響雙歸的2條鏈路;還要考慮核心節(jié)點中的核心路由器、路由反射器做到同城異地設(shè)置，有條件的匯聚節(jié)點做到同城異地設(shè)置，在進(jìn)行雙點雙歸時選擇非同址設(shè)置的上層節(jié)點進(jìn)行互連等。

2.3 廣域網(wǎng)路由協(xié)議部署

路由協(xié)議的高可用設(shè)計與節(jié)點、業(yè)務(wù)設(shè)置數(shù)量、所選的鏈路種類等息息相關(guān)。按照《“十二五”鐵路通信網(wǎng)規(guī)劃》，廣域網(wǎng)中的互連鏈路選用高帶寬的SDH鏈路，由于傳輸系統(tǒng)對承載業(yè)務(wù)的保護(hù)已經(jīng)相當(dāng)成熟，鏈路的穩(wěn)定性較高，很少出現(xiàn)閃斷和震蕩的情況，因此設(shè)備、用戶、業(yè)務(wù)的設(shè)置數(shù)量，路由策略的靈活性和對流量的控制能力成為路由協(xié)議選擇應(yīng)考慮的重點。

對于鐵路數(shù)據(jù)通信網(wǎng)這種分布到站段的泛在的網(wǎng)絡(luò)，用戶路由條目數(shù)會隨著用戶數(shù)量和承載業(yè)務(wù)的增加而不斷擴(kuò)張。用戶路由條目多，數(shù)量可以達(dá)到幾十萬甚至更多，同時需要對路由策略和業(yè)務(wù)流量等有強(qiáng)大的控制能力，但對收斂速度要求不高，建議用戶路由采用BGP協(xié)議承載。而劃分多個區(qū)域網(wǎng)絡(luò)后，每個自治域的設(shè)備路由條目是可控的，設(shè)備路由對收斂速度要求高，內(nèi)部網(wǎng)關(guān)路由協(xié)議(IGP)中基于鏈路狀態(tài)算法的中間系統(tǒng)到中間系統(tǒng)(IS-IS)協(xié)議和最短路徑優(yōu)先(OSPF)協(xié)議均可以滿足要求。OSPF和IS-IS兩者原理相同，功能相似?？紤]到IS-IS協(xié)議設(shè)計比OSPF簡單，功能同樣強(qiáng)大，直接運行于鏈路層上，支持IP、OSI二種路由，協(xié)議安全性好，網(wǎng)絡(luò)運營管理成本低，建議鐵路數(shù)據(jù)通信網(wǎng)的設(shè)備路由采用IS-IS協(xié)議承載。在域間互聯(lián)采用BGP協(xié)議，以實現(xiàn)對域間流量的合理控制。在骨干網(wǎng)的路由控制中，建議采用雙平面的方式對業(yè)務(wù)流量進(jìn)行疏導(dǎo)，即在設(shè)備配置時，將出口宣告業(yè)務(wù)分為粗、細(xì)2種路由，從而實現(xiàn)對各互聯(lián)接口的入流量控制和對業(yè)務(wù)路由的冗余保護(hù)。建議采用A平面承載與運輸生產(chǎn)關(guān)系密切的業(yè)務(wù)，B平面承載辦公、經(jīng)營管理信息等管理業(yè)務(wù)，這樣當(dāng)A平面出現(xiàn)多點故障時，業(yè)務(wù)可自動切換到B平面，并通過預(yù)先設(shè)定的QoS實現(xiàn)業(yè)務(wù)的優(yōu)先傳送。雙平面的方式可以充分利用網(wǎng)絡(luò)資源，并使重點業(yè)務(wù)的通信質(zhì)量得到有效保證。總之，數(shù)據(jù)通信網(wǎng)廣域網(wǎng)的高可用性設(shè)計，需要從互連拓?fù)浣Y(jié)構(gòu)、網(wǎng)絡(luò)組件、路由協(xié)議等多方面全盤考慮。隨著網(wǎng)絡(luò)的逐步建成，網(wǎng)絡(luò)運維、網(wǎng)絡(luò)支撐及網(wǎng)絡(luò)優(yōu)化將成為下一步需要關(guān)注的重點工作。

［1］中華人民共和國鐵道部．鐵運［2013］10號．“十二五”鐵路通信網(wǎng)規(guī)劃［S］．2013.

Abstract:In order to meet the needs of the rapid developing railway communication system，safety production monitoring system and information system services that adopt IP technology，how to construct a high availability railway data communication wide area network which bears a variety of services must be the focus of attention in design process．This article analyzes the interconnection topology，network components，routing protocol in the network．Some proper design suggestions are proposed．

Key words:Railway data communication network;Wide area network;High availability

高曉冬：北京鐵路通信技術(shù)中心 高級工程師 100038 北京

2013-05-28

(責(zé)任編輯：諸 紅)