王建明，唐利莉

（中國移動通信集團設計院有限公司，北京 100080）

1 背景情況

為落實工信部關于設立互聯(lián)網(wǎng)骨干直聯(lián)點的建設要求，改善我國互聯(lián)網(wǎng)絡性能，滿足社會信息服務需求，由工信部統(tǒng)一牽頭組織，各運營商集團公司主管建設，已分別于2010-2017年先后三期進行骨干直聯(lián)點的建設工程，在北京、上海、廣州、武漢、成都、南京、西安、沈陽、鄭州、重慶、福建、杭州、貴陽等全國13個城市設立骨干直聯(lián)點。

骨干直聯(lián)點的開通，保障了我國互聯(lián)單位之間的網(wǎng)間通信流量疏通，合理地增設骨干直聯(lián)點能夠減少流量長途繞轉(zhuǎn)，有利于提高網(wǎng)間流量疏通能力，提升網(wǎng)間通信質(zhì)量，有利于推動云計算、數(shù)據(jù)中心以及各種互聯(lián)網(wǎng)信源向更廣大地區(qū)提供互聯(lián)網(wǎng)信息服務。

隨機、無序的增設骨干直聯(lián)點不僅達不到有效疏通網(wǎng)間流量的效果，反而會引起網(wǎng)絡結(jié)構(gòu)復雜、流量疏導不均衡等不良影響，所以本文旨在通過對標國際網(wǎng)間互聯(lián)架構(gòu)經(jīng)驗，結(jié)合我國互聯(lián)網(wǎng)發(fā)展實際情況和互聯(lián)單位特點，分析增設骨干直聯(lián)點對網(wǎng)絡資源、質(zhì)量等方面的影響，分析后續(xù)增設骨干直聯(lián)點的必要性和建設方案。

2 現(xiàn)狀概述

2.1 我國網(wǎng)間互聯(lián)現(xiàn)狀

我國互聯(lián)網(wǎng)的互聯(lián)互通主要是指7家全國性互聯(lián)單位之間骨干網(wǎng)絡的互聯(lián)，即中國電信、中國移動、中國聯(lián)通三家運營商和教育和科研網(wǎng)、經(jīng)貿(mào)網(wǎng)、長城網(wǎng)和科技網(wǎng)四家分屬不同行業(yè)的互聯(lián)單位。

我國互聯(lián)網(wǎng)的互聯(lián)互通方式是以骨干直連點、交換中心和省內(nèi)第三方出口實現(xiàn)。其中，骨干直連點主要承載三家運營商以及教育網(wǎng)的網(wǎng)間互訪需求，其他三家互聯(lián)單位接入的帶寬較小。

2000年左右，國內(nèi)建立了北京、上海、廣州3個交換中心，開通帶寬為30 Gbit/s，但由于我國目前獨立AS的網(wǎng)絡較少，接入成員較少，且有一定的接入限制條件，大型運營商缺乏接入動力，所以長期以來實際通過交換中心疏導的網(wǎng)間流量很少。

省內(nèi)第三方出口以NAT方式為主，現(xiàn)階段全國共有18個省份開通第三方帶寬540 Gbit/s左右，由于第三方出口的網(wǎng)絡質(zhì)量較差且不穩(wěn)定，隨著骨干網(wǎng)間結(jié)算費用的不斷降低，省內(nèi)第三方出口逐步再減少。

2.2 發(fā)達國家互聯(lián)方式

美國國內(nèi)擁有6張Tier 1骨干網(wǎng)：Verizon、Sprint、AT&T、C&W、Qwest和Level 3。6家Tier 1運營商之間實現(xiàn)對等免費直連，同時向其他ISP、ICP提供轉(zhuǎn)接服務。

美國互聯(lián)網(wǎng)間的互通超過30個城市設有互通節(jié)點，其中在8個大型城市設置骨干直聯(lián)點，其余城市設置區(qū)域性互聯(lián)點。美國交換中心多達84個，通過設置交換節(jié)點解決多方ISP接入并實現(xiàn)互通、實現(xiàn)本地流量的疏導。

歐洲中小型ISP規(guī)模較多，參與互聯(lián)的網(wǎng)絡較多，因此交換中心發(fā)展較好,交換中心接入的網(wǎng)絡超越美國。歐洲各國有133個交換中心，其中成員數(shù)量超過100的大型交換中心有20個。歐洲公益性交換中心發(fā)展較好,例如阿姆斯特丹交換中心、倫敦交換中心接入成員數(shù)量達到400個，疏導的流量達到1 Tbit/s以上。

2.3 網(wǎng)間互聯(lián)方式對比

對比我國與其他國家的網(wǎng)間互聯(lián)方式，具體情況見表1所示。

骨干直聯(lián)適用于大型ISP之間大帶寬的私有互聯(lián)，可方便進行流量控制，我國目前主要以此方式進行網(wǎng)間互聯(lián)。

區(qū)域性互聯(lián)解決本地網(wǎng)間資源互訪，實現(xiàn)本地流量的疏導，美國部分州設置有區(qū)域性互聯(lián)點。

表1 我國與發(fā)達國家網(wǎng)間互聯(lián)方式對比

交換中心通常是由中小ISP發(fā)起，避免向運營商支付高額的轉(zhuǎn)接費用，歐美各國運營商、ISP之間比較常用。

第三方出口網(wǎng)絡質(zhì)量差，經(jīng)常遭遇關停和封堵，逐步在減少這種方式的互聯(lián)。

我國現(xiàn)階段主要以建設骨干直聯(lián)點方式進行網(wǎng)間互聯(lián)。

2.4 我國網(wǎng)間互聯(lián)存在的問題

2.4.1 骨干直聯(lián)點擴展性差、帶寬利用率不均衡

互聯(lián)雙方通過在同一地區(qū)設置骨干直聯(lián)點實現(xiàn)兩網(wǎng)直接互聯(lián)，能夠滿足大型網(wǎng)絡之間對等互聯(lián)或者大型網(wǎng)絡與少數(shù)中小網(wǎng)絡之間轉(zhuǎn)接互聯(lián)。但隨著互聯(lián)主體不斷增多，可擴展性差的問題愈加突出。

由于各運營商骨干網(wǎng)絡架構(gòu)策略不同，網(wǎng)間互聯(lián)設備部署情況也有存在差別，導致網(wǎng)間互聯(lián)設備外側(cè)帶寬不對稱，而網(wǎng)絡需要在同節(jié)點2臺路由器設備上通過向?qū)Χ税l(fā)送不等價的路由（以省為單位）去引導流量，導致帶寬利用率不均衡，且均衡控制比較困難。在設置BGP策略時，需要人為把不同省份的路由通過不同鏈路進行發(fā)布，而目前流控系統(tǒng)是以省為單位進行流量調(diào)整，顆粒度過大，調(diào)整起來比較困難。

2.4.2 交換中心利用率不高

由于我國目前獨立AS的網(wǎng)絡較少，接入交換中心的成員數(shù)量也較少，而且以交換中心為互聯(lián)方式的各互聯(lián)單位仍需雙方商定互通協(xié)議，沒有實質(zhì)性的滿足多網(wǎng)接入的需求，且增加互聯(lián)單位額外工作量，所以雖然目前三個交換中心已經(jīng)開通30 Gbit/s帶寬，但實際通過交換中心疏導的網(wǎng)間流量很少。

2.4.3 第三方出口網(wǎng)絡質(zhì)量不穩(wěn)定

由于骨干互聯(lián)鏈路結(jié)算費用高昂，因此省內(nèi)通過第三方出口疏通到電信聯(lián)通的流量，但經(jīng)常遭遇對方封堵、關停，導致網(wǎng)絡穩(wěn)定性差，投訴增加。另外，NAT方式的地址轉(zhuǎn)換和一個地址對應多個用戶的情況，造成用戶無法正常使用某些業(yè)務應用（例如VPN、網(wǎng)游等），降低部分應用的用戶感知。

3 骨干直聯(lián)點建設方案分析

中國移動CMNet2017年國內(nèi)網(wǎng)間流量預測結(jié)果顯示，至2021年末，CMNet骨干網(wǎng)總流量將達到261 Tbit/s，預測國內(nèi)網(wǎng)間流量將達到9.2 Tbit/s，根據(jù)流量預測結(jié)果判斷，未來5年仍有必要增設骨干直聯(lián)點，下面就增設骨干直連點對路由策略、網(wǎng)間質(zhì)量以及流量均衡等方面的影響進行分析。

3.1 增設骨干直連點對路由策略的影響

增設骨干直連點一方面可以減少骨干網(wǎng)層面的省際流量繞轉(zhuǎn)，另一方面可緩解周邊直連點的疏導壓力。現(xiàn)階段我國通過骨干直聯(lián)點疏導網(wǎng)間流量的場景大致分兩類，即跨省訪問外網(wǎng)資源和同省訪問外網(wǎng)資源。

場景1，用戶跨省訪問外網(wǎng)資源。以中國移動山西用戶訪問中國電信北京內(nèi)容提供商為例：增設太原直聯(lián)點前，資源下載路由會選擇臨近的鄭州骨干直聯(lián)點入網(wǎng)，再由鄭州繞轉(zhuǎn)至太原。增設后資源下載路徑由太原直連點入網(wǎng)，無需再經(jīng)過鄭州骨干網(wǎng)繞轉(zhuǎn)，同時減少了鄭州直連點的疏導壓力。具體情況詳見圖1所示。

場景2，用戶同省訪問外網(wǎng)資源：以中國移動山西用戶訪問中國電信山西內(nèi)容提供商為例：增設太原直聯(lián)點之前，雖然用戶和內(nèi)容源均在本省，但是請求和下載路徑均需要通過臨近的鄭州骨干直聯(lián)點繞轉(zhuǎn)；增設后，雙向路徑由太原直連點出、入網(wǎng)，無需再經(jīng)過骨干網(wǎng)繞轉(zhuǎn)，同時減少了鄭州直連點的疏導壓力。具體情況詳見圖2所示。

隨著未來內(nèi)容源的不斷發(fā)展，同省訪問量增加，可以考慮在省網(wǎng)層面增設區(qū)域性直連點。在本省增加省內(nèi)直聯(lián)點后，本省用戶訪問本省CP資源，無需從其他直聯(lián)點繞轉(zhuǎn)，可有效降低骨干網(wǎng)疏導壓力。但做為省內(nèi)直聯(lián)點，僅可以交換本省用戶、CP的路由信息。具體情況詳如圖3所示。

圖1 用戶跨省訪問外網(wǎng)資源情況下增設骨干直聯(lián)點路由策略變化示意圖

圖2 用戶同省訪問外網(wǎng)資源情況下增設骨干直聯(lián)點路由策略變化示意圖

圖3 增設區(qū)域性直聯(lián)點路由策略變化示意圖

3.2 增設骨干直連點對網(wǎng)間質(zhì)量的影響

2017年6月，杭閩貴3個骨干直聯(lián)點建成并投入運營，分析增設3個骨干直聯(lián)點前后兩個月的撥測數(shù)據(jù)，從數(shù)據(jù)上看，增設直連點之后減少骨干網(wǎng)路由繞轉(zhuǎn)，所以時延略有下降，但分組丟失率并沒有明顯改善，原因為網(wǎng)間質(zhì)量的優(yōu)劣同時受本端骨干網(wǎng)質(zhì)量以及對端網(wǎng)內(nèi)質(zhì)量影響，單純靠增設直連點不足以明顯改善網(wǎng)間質(zhì)量，要整體改善我國骨干網(wǎng)網(wǎng)絡環(huán)境才能更有效的提高網(wǎng)間質(zhì)量。增設骨干直聯(lián)點前后網(wǎng)絡質(zhì)量變化情況詳見圖4所示。

圖4 增設骨干直聯(lián)點前后網(wǎng)絡質(zhì)量變化情況

3.3 增設骨干直聯(lián)點對流量均衡的影響

增設骨干直聯(lián)點后，將會打破原有流量疏導現(xiàn)狀，原有骨干直連點疏導區(qū)域需做調(diào)整，每增加一個骨干直聯(lián)點，需要網(wǎng)管系統(tǒng)重新配置一次路由策略，勢必會增加流量均衡的復雜性和數(shù)據(jù)配置工作量。

隨著網(wǎng)絡流量控制技術的不斷發(fā)展，針對現(xiàn)網(wǎng)流量不均衡問題建議考慮引入基于SDN的RR+解決方案設計思路，此方案可以通過統(tǒng)一操作界面，實現(xiàn)網(wǎng)絡狀態(tài)和流量可視，全局計算并選擇最優(yōu)路徑，而后通過命令行界面（CLI）、 Netconfig等進行配置執(zhí)行自動調(diào)度，從而實現(xiàn)對拓撲和BGP的關系管理，按照流量調(diào)整要求生成新的BGP路由策略下發(fā)給設備，達到提升和均衡帶寬利用率的目的，同時還能達到自動化維護、簡化管理運維的目的。

3.4 增設骨干直聯(lián)點利弊分析

增加骨干直聯(lián)帶寬可以有兩種方式：一是在現(xiàn)有骨干直聯(lián)點增擴帶寬；二是通過增加新的骨干直聯(lián)點增加帶寬。如果在現(xiàn)有骨干直聯(lián)點上增擴帶寬，現(xiàn)有路由組織基本維持不變；如果采用新增加骨干直聯(lián)點方式，網(wǎng)絡架構(gòu)和路由需要進行調(diào)整，但可減少新增直聯(lián)點所在省份的網(wǎng)間流量繞轉(zhuǎn)，降低業(yè)務時延，提高用戶業(yè)務體驗。增設骨干網(wǎng)間直聯(lián)點的利弊分析詳見表2所示。

4 骨干直聯(lián)點建設方案建議

骨干直聯(lián)點是我國互聯(lián)網(wǎng)網(wǎng)間互聯(lián)架構(gòu)的頂層關鍵環(huán)節(jié)，需國家工信部統(tǒng)籌設計，各互聯(lián)單位應嚴格按照工信部的統(tǒng)一部署，結(jié)合各自骨干網(wǎng)發(fā)展狀況，根據(jù)各省帶寬需求，分批、有序的建設，并且需要控制骨干直聯(lián)點數(shù)量，避免重復建設。

現(xiàn)網(wǎng)13個骨干直聯(lián)點部署在我國東北、華北、華中、華南、西南和西北六片區(qū)，開通帶寬能力達到2 Tbit/s，無論是從分布區(qū)域還是從承載能力角度來講，現(xiàn)階段骨干直聯(lián)點可以滿足分片覆蓋、就近疏導原則。因此，不建議后續(xù)再大量增設骨干直聯(lián)點，尤其是在傳輸條件和網(wǎng)絡質(zhì)量較差的區(qū)域。如個別省份確實有增設需求，議在符合下列條件的地區(qū)可以適當考慮增設骨干直聯(lián)點。

表2 增設骨干網(wǎng)間直聯(lián)點利弊情況

（1）在骨干網(wǎng)網(wǎng)絡核心節(jié)點，便于匯聚鄰近省的網(wǎng)間流量需求；

（2）政府和骨干網(wǎng)互聯(lián)單位重點支持的區(qū)域；

（3）寬帶用戶和信源發(fā)展好及發(fā)展?jié)摿Υ蟮膮^(qū)域。

從建設管理角度分析，由于骨干直聯(lián)點設備屬于各運營商骨干網(wǎng)自治域內(nèi)，運行同一個域內(nèi)路由協(xié)議，需要統(tǒng)一的流量疏導策略規(guī)劃和優(yōu)化。因此原則上應該由各運營商集團公司統(tǒng)一管理建設，建議作為集團主管項目進行建設，也便于與工信部以及對端運營商的協(xié)調(diào)。

5 結(jié)語與展望

現(xiàn)階段由于我國互聯(lián)網(wǎng)環(huán)境的特殊性，仍會是以骨干直聯(lián)點為主要疏導途徑，有效、合理的增設骨干直聯(lián)點能使網(wǎng)絡更優(yōu)，效率更高。與此同時，隨著騰訊、阿里等互聯(lián)網(wǎng)企業(yè)飛速成長，隨著這些新型互聯(lián)單位和ISP服務商的不斷發(fā)展，勢必會形成大量的接入需求，能夠承載多元化網(wǎng)絡接入的“新型”交換中心勢必會成為未來網(wǎng)間互聯(lián)互通的發(fā)展趨勢。

我國未來網(wǎng)間互聯(lián)架構(gòu)的設計思路是骨干直聯(lián)點+“新型”交換中心的多層次組網(wǎng)方式，即在設置有骨干核心節(jié)點的城市設置骨干直聯(lián)點，實現(xiàn)運營商之間對等免費直連，同時向其他ISP、ICP提供轉(zhuǎn)接服務；其他城市根據(jù)網(wǎng)絡環(huán)境情況設置“新型”交換中心，通過設置交換節(jié)點解決多方ISP接入并實現(xiàn)互通、實現(xiàn)本地流量的疏導。兩種方式相結(jié)合，分層次疏導各互聯(lián)單位的網(wǎng)間流量，實現(xiàn)“多層次、全方位、立體化”的目標架構(gòu)。

未來我國互聯(lián)網(wǎng)實現(xiàn)互聯(lián)互通將會是以骨干直聯(lián)點+“新型”交換中心為主要方式。怎樣將建成的骨干直連點與“新型”交換中心有機結(jié)合，既能避免浪費資源，又能合理的發(fā)揮各自的優(yōu)勢，形成網(wǎng)絡架構(gòu)先進、建設方式合理的網(wǎng)間互聯(lián)互通方式是我們需要不斷研究的課題。