金巨亮

（中國聯(lián)合網(wǎng)絡(luò)通信有限公司遼寧省分公司 沈陽110041）

1 項目實施背景和目標

1.1 項目實施背景

隨著寬帶業(yè)務(wù)的發(fā)展和用戶數(shù)的增加，電信運營商正面臨著一場廣泛而且影響深遠的業(yè)務(wù)變革浪潮。在業(yè)務(wù)需求發(fā)生變化且運營商正在積極探索新盈利模式的前提下，IP網(wǎng)絡(luò)的優(yōu)化和改造具有深遠的意義。

網(wǎng)絡(luò)扁平化是電信網(wǎng)絡(luò)發(fā)展的必然趨勢，整個網(wǎng)絡(luò)建設(shè)模式將從以前的“骨干網(wǎng)+省網(wǎng)+城域網(wǎng)”的多層次結(jié)構(gòu)向“骨干網(wǎng)+城域網(wǎng)”的扁平化網(wǎng)絡(luò)結(jié)構(gòu)發(fā)展。

早期建設(shè)的互聯(lián)網(wǎng)因為歷史的原因，常常在同一地點設(shè)置兩套路由設(shè)備，進行背靠背的連接，以劃分管理界面。一個運營商或公司內(nèi)部如果存在過多這樣的連接，不但增加了投資，而且使網(wǎng)絡(luò)質(zhì)量下降，故障點增多。

網(wǎng)絡(luò)扁平化的源動力就是節(jié)約投資、降低維護成本、提升網(wǎng)絡(luò)競爭力，而高端路由器功能和性能的不斷增強則為網(wǎng)絡(luò)扁平化提供了推動力。

1.2 項目實施目標

（1）結(jié)構(gòu)扁平化

城域網(wǎng)直接與骨干網(wǎng)互連，從而降低設(shè)備跳數(shù)，減少網(wǎng)絡(luò)瓶頸和網(wǎng)絡(luò)延時。

（2）層次清晰化

使互聯(lián)網(wǎng)形成全網(wǎng)統(tǒng)一的“骨干網(wǎng)+城域網(wǎng)”兩級網(wǎng)絡(luò)結(jié)構(gòu)，形成統(tǒng)一、清晰的網(wǎng)絡(luò)層次。

（3）路由合理化

城域網(wǎng)與骨干網(wǎng)BGP互連，縮小OSPF區(qū)域，降低IGP路由表條目，減少OSPF路由震蕩，實現(xiàn)高效路由。

（4）管理標準化

促進網(wǎng)絡(luò)維護管理模式和維護管理手段的集中化、標準化，實現(xiàn)全網(wǎng)在網(wǎng)絡(luò)的技術(shù)實現(xiàn)、路由策略、網(wǎng)絡(luò)管理等方面的統(tǒng)一。

（5）運營高效化

大幅節(jié)省投資，充分發(fā)揮網(wǎng)絡(luò)資源效能，從而降低企業(yè)運營成本，提高企業(yè)的市場競爭力。

2 扁平化實施過程

2.1 扁平化前網(wǎng)絡(luò)結(jié)構(gòu)

遼寧聯(lián)通互聯(lián)網(wǎng)采用雙星型結(jié)構(gòu)，17個節(jié)點（14地市城域網(wǎng)、沈大IDC及省中心）分別通過N×10 Gbit/s鏈路，使用EBGP分別上聯(lián)至沈陽、大連省核心路由器，城域網(wǎng)內(nèi)主要使用OSPF和靜態(tài)路由協(xié)議。

沈陽、大連核心路由器分別通過N×10 Gbit/s鏈路使用EBGP分別上聯(lián)至中國聯(lián)通集團沈陽、大連A1核心路由器。扁平化前網(wǎng)絡(luò)拓撲如圖1所示。

2.2 扁平化后網(wǎng)絡(luò)結(jié)構(gòu)

15個節(jié)點（城域網(wǎng)+省中心）通過N×10 Gbit/s鏈路分別上聯(lián)至省網(wǎng)沈陽、大連核心路由器，承載認證計費、網(wǎng)管、MPLS VPN、IPTV、DNS及DHCP等省內(nèi)業(yè)務(wù)流量。

14個地市城域網(wǎng)分別通過 N×40 Gbit/s/N×10 Gbit/s鏈路上聯(lián)至中國聯(lián)通集團骨干網(wǎng)沈陽、大連A1核心路由器，承載出省和除省內(nèi)業(yè)務(wù)外的互訪流量。扁平化后網(wǎng)絡(luò)拓撲如圖2所示。

圖1 扁平化前網(wǎng)絡(luò)拓撲

圖2 扁平化后網(wǎng)絡(luò)拓撲結(jié)構(gòu)

2.3 扁平化路由策略及實施

2.3.1 路由整體策略

城域網(wǎng)核心路由器與骨干網(wǎng)A1路由器間啟用EBGP協(xié)議，骨干網(wǎng)A1路由器向城域網(wǎng)廣播國內(nèi)詳細路由及缺省路由，將ISIS Metric轉(zhuǎn)化為BGP MED，引導(dǎo)城域網(wǎng)出流量，城域網(wǎng)向骨干網(wǎng)A1路由器和省網(wǎng)核心路由器廣播本城域網(wǎng)路由，使用不同的MED值引導(dǎo)回流量；城域網(wǎng)核心路由器與省網(wǎng)核心路由器建立BGP鄰居關(guān)系時引入AS過濾策略，城域網(wǎng)不接收來自其他城域網(wǎng)的路由通告，城域網(wǎng)互訪流量通過骨干A1路由器轉(zhuǎn)發(fā)。城域網(wǎng)核心路由器與省網(wǎng)核心路由器間啟用EBGP協(xié)議，省網(wǎng)核心路由器僅向城域網(wǎng)廣播省內(nèi)AS64920域內(nèi)路由，省內(nèi)訪問流量（DNS、RADIUS、跨城域網(wǎng) MPLS VPN業(yè)務(wù)流量等）通過城域網(wǎng)核心路由器至省網(wǎng)核心路由器的電路實現(xiàn)。城域網(wǎng)內(nèi)兩臺出口路由器之間運行IBGP路由協(xié)議，城域網(wǎng)自治域內(nèi)的IGP協(xié)議（OSPF）保持不變。

2.3.2 路由策略部署方案

（1）出省出流量

骨干網(wǎng)同時向省網(wǎng)和城域網(wǎng)下發(fā)國內(nèi)詳細路由及缺省路由，城域會收到來自省網(wǎng)和骨干網(wǎng)的相同路由，但由于來自省網(wǎng)的路由AS-Path較長，城域會自動優(yōu)選來自骨干網(wǎng)的路由。

城域網(wǎng)出口路由器從骨干接收聯(lián)通全網(wǎng)國內(nèi)路由和默認BGP路由，同時不對接收路由條目的屬性進行修改，使城域網(wǎng)的出流量在城域網(wǎng)出口進行路由優(yōu)選，城域網(wǎng)出口路由器的互聯(lián)電路有流量互穿，可以使互穿的流量保持在城域網(wǎng)之內(nèi)，減輕了中國聯(lián)通集團骨干網(wǎng)在核心節(jié)點的互穿壓力。

城域網(wǎng)內(nèi)路由策略保持不變，城域網(wǎng)兩臺出口路由器下發(fā)默認路由，城域網(wǎng)內(nèi)BAS/SR設(shè)備出流量通過上聯(lián)鏈路設(shè)置相同的Cost值達到流量負載均衡，如圖3所示。

（2）出省入流量

城域同時向省網(wǎng)和骨干網(wǎng)發(fā)布城域內(nèi)路由，根據(jù)AS-Path的長短，骨干網(wǎng)會優(yōu)選來自直連的城域的路由。城域網(wǎng)宣告BGP路由時將城域網(wǎng)內(nèi)地址經(jīng)過匯聚，并在城域網(wǎng)出口路由器上配置路由控制策略，針對不同的IP段賦予不同的MED值引導(dǎo)回流量，保證城域網(wǎng)入流量的負載均衡。

回流量不會在兩個城域網(wǎng)出口路由器間穿越，而是通過下聯(lián)BAS/SR的接口設(shè)置相同的OSPF Cost值保障下聯(lián)鏈路流量負載均衡，如圖4所示。

（3）互訪流量

對于省內(nèi)互訪流量，城域網(wǎng)應(yīng)優(yōu)選骨干網(wǎng)的路由。城域網(wǎng)會同時接收來自省網(wǎng)和骨干網(wǎng)的其他城域網(wǎng)路由，并且AS-Path長度相同。為了優(yōu)選來自骨干網(wǎng)的路由，城域網(wǎng)在與省網(wǎng)建立BGP鄰居關(guān)系時，應(yīng)加路由策略，使城域網(wǎng)不接收來自其他城域網(wǎng)的路由通告，這樣城域網(wǎng)不會從省網(wǎng)學(xué)到其他城域網(wǎng)的路由，流量會選擇骨干網(wǎng)進行中轉(zhuǎn)，如圖5所示。

2.4 扁平化具體實施步驟

·確保城域網(wǎng)上聯(lián)骨干網(wǎng)及核心間新開電路正常，無丟包。

圖3 出省出流量示意

圖4 出省入流量示意

圖5 互訪流量示意

·建立城域網(wǎng)一側(cè)核心路由器與骨干網(wǎng)A路由器間的EBGP鄰接關(guān)系。由于骨干網(wǎng)將國內(nèi)詳細路由廣播給該城域網(wǎng)核心，因此城域網(wǎng)全部出省流量都將通過此核心與骨干網(wǎng)互聯(lián)電路出省。城域網(wǎng)在與省網(wǎng)建立BGP鄰居關(guān)系時，應(yīng)加路由策略，使城域網(wǎng)不接收來自其他城域網(wǎng)的路由通告，這樣城域網(wǎng)不會從省網(wǎng)學(xué)到其他城域網(wǎng)的路由，流量會選擇骨干網(wǎng)進行中轉(zhuǎn)。

·建立城域網(wǎng)另一側(cè)核心路由器與骨干網(wǎng)A路由器間的EBGP鄰接關(guān)系。城域網(wǎng)出省流量通過兩核心與骨干網(wǎng)互聯(lián)電路出省。城域網(wǎng)在與省網(wǎng)建立BGP鄰居關(guān)系時，加入路由策略，使用流量選擇骨干網(wǎng)進行中轉(zhuǎn)。

以朝陽城域網(wǎng)為例，具體割接步驟如下。

·所有新購板卡到位，加電運行無問題。光纖布放完畢測試無問題。開通朝陽至中國聯(lián)通集團A1的40 Gbit/s出口電路。省網(wǎng)到沈陽、大連A1設(shè)備的跳纖布放完畢后測試無問題。

·開通R1-A-CY與中國聯(lián)通集團大連A1的BGP PEER，同時對A1發(fā)布城域網(wǎng)路由時加入正則表達式，只發(fā)布城域網(wǎng)本地路由，并加入MED的路由策略，控制回流量。

·將R1-A-CY至省網(wǎng)R1-C-DL的10 Gbit/s電路斷開，割接至大連A1。

·在省網(wǎng)核心R1-C-DL建立AS過濾策略，并引入到R1-C-DL與朝陽城域網(wǎng)R1-A-CY的BGP鄰居關(guān)系中，使得R1-C-DL拒絕轉(zhuǎn)發(fā)來自正則表達式列表中的城域網(wǎng)AS的路由通告。

·開通R2-A-CY與中國聯(lián)通集團沈陽A1的BGP PEER，同時對A1發(fā)布城域網(wǎng)路由時加入正則表達式，只發(fā)布城域網(wǎng)本地路由，并加入MED的路由策略，控制回流量。

·將R2-A-CY至省網(wǎng)R1-C-SY的10 Gbit/s電路斷開，割接到沈陽A1。

·在省網(wǎng)核心R1-C-SY建立AS過濾策略，并引入到R1-C-SY與朝陽城域網(wǎng)R2-A-CY的BGP鄰居關(guān)系中，使得R1-C-SY拒絕轉(zhuǎn)發(fā)來自正則表達式列表中的城域網(wǎng)AS的路由通告。

·業(yè)務(wù)測試。

2.5 扁平化后的應(yīng)急預(yù)案

遼寧聯(lián)通城域網(wǎng)扁平化之后，城域網(wǎng)與省網(wǎng)之間的大部分鏈路將遷移至城域網(wǎng)與骨干網(wǎng)之間，城域網(wǎng)與省網(wǎng)間將保留很小的帶寬用于MPLS VPN、組播、計費認證等省內(nèi)業(yè)務(wù)，省內(nèi)IDC將割接到沈大城域網(wǎng)上。但是，目前省內(nèi)IDC上聯(lián)省網(wǎng)，IDC到城域網(wǎng)的流量完全承載在城域網(wǎng)與省網(wǎng)之間的鏈路上，該流量很大，但城域網(wǎng)與省網(wǎng)間的鏈路帶寬有限并且承載著關(guān)鍵業(yè)務(wù)，如果出現(xiàn)擁塞將直接影響到認證計費等關(guān)鍵業(yè)務(wù)，所以需要將這部分流量暫時性引導(dǎo)到城域網(wǎng)與骨干之間的鏈路上。扁平化后的應(yīng)急預(yù)案示意如圖6所示。

沈大IDC上聯(lián)到省網(wǎng)，IDC到城域網(wǎng)的流量必然要經(jīng)過省網(wǎng)轉(zhuǎn)發(fā)，IDC發(fā)出的IP包在省網(wǎng)上進行IP路由表查詢后必然直接轉(zhuǎn)發(fā)到城域網(wǎng)，本應(yīng)急預(yù)案是利用MPLS Label，在IDC與骨干之間搭建MPLS隧道，將從IDC發(fā)出的流量打上MPLS Label，在省網(wǎng)上作標簽轉(zhuǎn)發(fā)，不作IP轉(zhuǎn)發(fā)，從而避免流量到達省網(wǎng)后直接轉(zhuǎn)發(fā)到城域網(wǎng)。

圖6 應(yīng)急預(yù)案示意

實現(xiàn)方法如圖7所示。

（1）省網(wǎng)節(jié)點10、11分別配置指向骨干節(jié)點7、8的Loopback0的靜態(tài)路由，下一跳均為直連接口，IDC節(jié)點18、19分別配置指向骨干節(jié)點7、8的Loopback0的靜態(tài)路由，下一跳分別為省網(wǎng)節(jié)點10、11。

（2）省網(wǎng)節(jié)點10、11分別與IDC節(jié)點18、19之間運行MPLS IDP。

（3）省網(wǎng)節(jié)點10、11上配置到IDC出方向的BGP策略，將需要調(diào)整的城域網(wǎng)路由的下一跳分別修改為骨干節(jié)點7、8的 Loopback0地址。

3 網(wǎng)絡(luò)扁平化的實施經(jīng)驗

在扁平化實施中總結(jié)了以下幾條經(jīng)驗。

·當城域網(wǎng)核心設(shè)備與省網(wǎng)核心設(shè)備采用單鏈路連接時，應(yīng)使用接口地址建立BGP鄰居關(guān)系，以便在鏈路變化時加快BGP的收斂。

·省IP網(wǎng)向各地市城域網(wǎng)通告缺省路由，各地市城域網(wǎng)接收省IP網(wǎng)的缺省路由，同時也接收由省IP網(wǎng)通告的細化路由。城域網(wǎng)核心路由器應(yīng)采用強制下發(fā)方式將默認路由發(fā)送給本地城域網(wǎng)，同時保證城域網(wǎng)核心直連電路的Cost值小于所有其他城域網(wǎng)核心之間可能存在路徑的Cost值。

·業(yè)務(wù)閑時實施割接，保證城域網(wǎng)單核心上聯(lián)骨干網(wǎng)及省網(wǎng)電路能夠承載全部業(yè)務(wù)。

·調(diào)整城域網(wǎng)路由策略，防止城域網(wǎng)將省內(nèi)詳細路由廣播給骨干網(wǎng)，導(dǎo)致全部出省流量穿行扁平化城域網(wǎng)。

·優(yōu)化BRAS地址池，盡量采用多段地址，避免連續(xù)大段地址作為單臺BRAS地址池，防止業(yè)務(wù)忙時上聯(lián)電路因回程流量不均衡出現(xiàn)擁塞。

圖7 應(yīng)急預(yù)案實現(xiàn)方法

4 結(jié)束語

在全省14個地市成功地實施了扁平化改造，遼寧聯(lián)通互聯(lián)網(wǎng)的結(jié)構(gòu)更加清晰，路由策略更加科學(xué)合理；在減少網(wǎng)絡(luò)層次、優(yōu)化網(wǎng)絡(luò)性能的同時，節(jié)約了大量的設(shè)備投資。