廖艷娟,黃卓華,王立軍
(1 中國移動通信集團(tuán)設(shè)計院有限公司廣東分公司,廣州 510623; 2 中國移動鐵通有限公司廣東分公司,廣州 510080)
近年來,網(wǎng)絡(luò)信息技術(shù)日新月異,云計算、大數(shù)據(jù)等應(yīng)用蓬勃發(fā)展,中國互聯(lián)網(wǎng)網(wǎng)絡(luò)接入服務(wù)市場迎來了巨大的發(fā)展機(jī)遇,但無序發(fā)展的苗頭也隨之顯現(xiàn)。為進(jìn)一步規(guī)范市場秩序,強(qiáng)化網(wǎng)絡(luò)信息安全管理,工業(yè)和信息化部在2017年初發(fā)布了信管函[2017]32號文,在全國范圍內(nèi)對互聯(lián)網(wǎng)網(wǎng)絡(luò)接入服務(wù)市場開展清理規(guī)范工作。
IDC業(yè)務(wù)的發(fā)展不僅是中國移動一個新的收入增長點,同時能夠引入豐富的內(nèi)容資源。使得用戶在發(fā)起內(nèi)容訪問時不用出網(wǎng)就可直接從IDC處獲得,用戶的訪問速度大大提升、用戶體驗有效提升,并減少了互聯(lián)互通流量,降低網(wǎng)間結(jié)算成本。因而 IDC業(yè)務(wù)作為重要業(yè)務(wù),網(wǎng)間流量主要是從CMNet骨干網(wǎng)間出口疏通。而近兩年來中國移動多個省公司都發(fā)現(xiàn),部分IDC客戶存在利用從移動低價租用的大帶寬用以發(fā)展第三方家寬、違規(guī)轉(zhuǎn)租帶寬等違規(guī)行為或者存在內(nèi)容資源調(diào)度策略不合理的行為。從而造成大量網(wǎng)間流量從CMNet骨干網(wǎng)出口疏通,致使出口流量擁堵、質(zhì)量不佳等問題。而本文中網(wǎng)間異常流量指的就是上述行為所導(dǎo)致的網(wǎng)間大流量。
移動某省公司IDC出口均已部署DPI設(shè)備,達(dá)到全覆蓋監(jiān)控。IDC出口的流量已被全部采集,目前缺少的是準(zhǔn)確有效的方案精確區(qū)分網(wǎng)間異常流量和精準(zhǔn)定位網(wǎng)間異常流量產(chǎn)生的原因。本文提出了一種基于DPI技術(shù)的IDC業(yè)務(wù)網(wǎng)間異常流量的診斷處置方案。單IP地址的流量行為特征分析技術(shù)手段,能夠以單個IP地址為粒度精確區(qū)分流量的業(yè)務(wù)類型。針對不同業(yè)務(wù)類型和應(yīng)用場景確定了多種處置方案。
1.1.1 DPI分析IDC客戶的請求響應(yīng)流量
圖1 中國移動統(tǒng)一DPI應(yīng)用場景
中國移動統(tǒng)一DPI設(shè)備按照部署位置的不同,可以分為5個應(yīng)用場景,如圖1所示。本文適用的是IDC出口的場景,指IDC連接省網(wǎng)/骨干網(wǎng)的出口,即IDC出口路由器與外部承載網(wǎng)絡(luò)之間的鏈路。移動某省公司IDC出口現(xiàn)網(wǎng)部署1×100 GE DPI設(shè)備、4×10 GE DPI設(shè)備上百臺,DPI采集服務(wù)器上百臺,其它服務(wù)器近兩百臺,包括后臺服務(wù)器、WLAN服務(wù)器等,具有較強(qiáng)的DPI流量分析能力。
資源提供型業(yè)務(wù)指的是向公眾用戶提供網(wǎng)絡(luò)內(nèi)容服務(wù)的業(yè)務(wù),例如網(wǎng)站。IDC業(yè)務(wù)屬于資源提供型業(yè)務(wù),請求響應(yīng)流量中不應(yīng)該存在非資源提供型業(yè)務(wù)的業(yè)務(wù)特征,如視頻觀看、移動終端即時通信等。通過DPI技術(shù)分析IDC客戶的請求響應(yīng)流量是否具有非資源提供型特征能夠判斷IDC客戶是否存在發(fā)展第三方家寬或者違規(guī)轉(zhuǎn)租帶寬等違規(guī)行為。這里的請求響應(yīng)流量,指的是IDC客戶向外發(fā)出請求以及外部響應(yīng)IDC請求所產(chǎn)生的流量,即圖2中紅色線所代表的流量。
1.1.2 IDC網(wǎng)間異常流量模型關(guān)
鍵指標(biāo)體系(如表1所示)
本文提出了一個關(guān)鍵指標(biāo)體系,包括移動終端請求占比、視頻行為次數(shù)、移動終端即時通信次數(shù)3個指標(biāo)。通過判斷這些指標(biāo)是否超過閾值來確定請求響應(yīng)流量中是否存在相應(yīng)的行為特征。指標(biāo)的統(tǒng)計均是基于DPI技術(shù),通過XDR日志和特征庫匹配,匹配后數(shù)據(jù)再進(jìn)行匯聚處理,根據(jù)記錄數(shù)統(tǒng)計各個指標(biāo)。考慮到DPI分析可能存在的誤差以及視頻測試行為等情況,通過對6個IDC客戶樣本的學(xué)習(xí)確定了每個關(guān)鍵指標(biāo)的閾值。
1.1.3 IDC網(wǎng)間異常流量模型(如表2所示)
圖2 DPI采集IDC客戶流量示意圖
表1 IDC網(wǎng)間異常流量模型關(guān)鍵指標(biāo)
表2 IDC網(wǎng)間異常流量模型
視頻觀看行為、移動終端即時通信行為屬于非資源提供型業(yè)務(wù)的行為特征,同時考慮到可能存在的CDN代理行為特征,對于單個IP地址通過關(guān)聯(lián)3個關(guān)鍵指標(biāo)建立IDC網(wǎng)間異常流量模型。IP地址行為特征可定性為非資源提供型特征、CDN代理行為特征和資源提供型特征。
因為存在網(wǎng)間異常流量行為的IDC客戶只占少數(shù),同時考慮到IDC客戶全量IP地址全量話單的分析需要消耗大量的計算資源,因此有必要建立一套準(zhǔn)確有效的診斷方法及工作流程,避免資源的浪費。用一種更為簡單有效的方法先對IDC客戶進(jìn)行初診,初診為疑似含有異常流量的客戶再做進(jìn)一步的IP地址行為特征分析。
1.2.1 核心指標(biāo):網(wǎng)間回源吐出比
一般來說IDC客戶的網(wǎng)間回源流量是十分有限的。但是如果IDC客戶存在違規(guī)轉(zhuǎn)租帶寬或者是調(diào)度策略不合理等行為,都會使得CMNet骨干出口網(wǎng)間回源流量明顯增加。綜合考慮IDC客戶的吐出流量,本文提出了網(wǎng)間回源吐出比指標(biāo),用于初步評價IDC客戶網(wǎng)間回源流量的合理性,同時也是判斷資源提供型業(yè)務(wù)是否存在調(diào)度策略不合理問題的評判標(biāo)準(zhǔn)。IDC客戶CMNet骨干網(wǎng)網(wǎng)間流量流向示意如圖3所示。
(1) 指標(biāo)定義:CMNet骨干網(wǎng)出口網(wǎng)間回源流量與吐出流量的比值。一般情況下網(wǎng)間回源流量遠(yuǎn)大于網(wǎng)間請求流量,所以計算時將電信或聯(lián)通等互聯(lián)單位流向移動網(wǎng)絡(luò)的流量均視為網(wǎng)間回源流量;吐出流量指的是IDC客戶的上行流量。
(2) 指標(biāo)算法:網(wǎng)間回源吐出比=CMNet骨干出口網(wǎng)間回源流量/吐出流量×100%,即圖3中流量2除以流量1′。
圖3 IDC客戶CMNet骨干網(wǎng)網(wǎng)間流量流向示意圖
(3) 指標(biāo)閾值:1.5%。通過對TOP20網(wǎng)站的研究分析確定閾值,超出閾值則判定IDC客戶可能含有網(wǎng)間異常流量。
1.2.2 IDC客戶網(wǎng)間異常流量診斷處置流程:三步診斷法
如圖4所示,提出“三步診斷法”:客戶網(wǎng)間流量初診、IP地址行為特征透視、資源提供型業(yè)務(wù)網(wǎng)間流量復(fù)診,并針對診斷出的不同類型的網(wǎng)間異常流量采取不同的處置方案。
(1)IDC客戶網(wǎng)間流量初診。監(jiān)測IDC客戶一周,計算網(wǎng)間回源吐出比。如果網(wǎng)間回源吐出比超1.5%,則說明客戶流量疑似含有網(wǎng)間異常流量,不超1.5%則暫定客戶流量不含網(wǎng)間異常流量。對于疑似網(wǎng)間異常流量的客戶需對其IP地址的流量行為特征進(jìn)一步分析。
(2)IP地址流量行為特征透視。對于第1步初診確定的疑似含有網(wǎng)間異常流量的IDC客戶,利用DPI以IP地址為粒度分析請求響應(yīng)流量的行為特征,區(qū)分其是資源提供型業(yè)務(wù)還是非資源提供型業(yè)務(wù)。對于非資源提供型業(yè)務(wù),將IP地址段將疏通至專設(shè)出口(處置方案1)。對于資源提供型業(yè)務(wù)需對其網(wǎng)間流量進(jìn)行復(fù)診。
(3)資源提供型業(yè)務(wù)網(wǎng)間流量復(fù)診。對于第2步確定的資源提供型業(yè)務(wù),計算其網(wǎng)間回源吐出比。若網(wǎng)間回源吐出比大于1.5%,判定為含有網(wǎng)間異常流量;若不超過1.5%則認(rèn)為無網(wǎng)間異常流量。對于含異常流量的IP地址段,結(jié)合第2步的行為特征分析,判斷是否為代理行為資源提供型業(yè)務(wù)。若為代理行為資源提供型業(yè)務(wù),則將回源IP地址段疏通至普通出口(處置方案6);若不是代理行為資源提供型業(yè)務(wù),則根據(jù)具體情況從處置方案2~5中選取一種或者組合多種處置方案進(jìn)行處理。
1.2.3 多場景處置方案集
圖4 IDC客戶網(wǎng)間異常流量診斷流程
表3 IDC網(wǎng)間異常流量處置方案集
本文總共規(guī)定了6種處置方案,如表3所示。對于本就不應(yīng)該存在IDC業(yè)務(wù)中非資源提供型業(yè)務(wù),將其所有IP地址段疏通至專設(shè)出口。專設(shè)出口不新建不擴(kuò)容,不保證網(wǎng)間業(yè)務(wù)質(zhì)量。網(wǎng)間出口質(zhì)量:CMNet骨干出口>普通出口>專設(shè)出口。資源提供型業(yè)務(wù)能夠為移動公眾客戶提供內(nèi)容資源,減少CMNet骨干出口網(wǎng)間流量,因此采取“一事一議” 的原則,根據(jù)具體情況確定處置方案,盡量避免客戶撤出最終導(dǎo)致更大的網(wǎng)間回源流量。
2017年1~4月采用DPI系統(tǒng)按周依次輪流監(jiān)測IDC客戶,已處置9家IDC客戶的網(wǎng)間異常流量,合計43.75 G。與2016年12月底相比,IDC業(yè)務(wù)網(wǎng)間異常流量清理取得顯著效果。與2016年12月底相比,CMNet骨干出口IDC業(yè)務(wù)回源忙時平均流量下降了71.42%;雖IDC客戶整體IDC吐出流量上漲89%,而網(wǎng)間回源吐出比由1.75%下降至0.13%;優(yōu)質(zhì)出口雖然帶寬有所下降,但是質(zhì)量卻明顯提高,分組丟失率下降75%,時延縮短49%。
2.2.1 案例1:IDC接入商混有非資源提供型業(yè)務(wù)
IDC接入商從移動獲取帶寬和IP地址等資源后,發(fā)展下游客戶。由于其對下游客戶把控不嚴(yán),下游客戶除了正常的資源提供型業(yè)務(wù)外,還可能混有非資源提供型業(yè)務(wù),其自身也沒有手段區(qū)分這些異常流量出來。
案例說明:某公司是IDC接入商,其租用移動200 G IDC帶寬,引入芒果TV,東方財富網(wǎng)等內(nèi)容資源。
診斷情況:周監(jiān)測網(wǎng)間回源吐出比為17%;IP地市行為特征分析發(fā)現(xiàn)14個IP屬于非資源提供型行為,資源提供型業(yè)務(wù)的回源吐出比為8.6%。
處置情況:將其非資源提供型地址段疏通至專設(shè)出口;再由該公司提供承諾函,對資源提供型業(yè)務(wù)整改,將回源吐出比降至1.5%以下。
2.2.2 案例2:資源提供型業(yè)務(wù)內(nèi)容資源調(diào)度策略不合理
CP內(nèi)容資源調(diào)度問題,同樣會導(dǎo)致直接通過集團(tuán)出口從電信和聯(lián)通的源站回源,而不是從具有三線功能的第三方IDC站點回源。
案例說明:某公司租用移動IDC帶寬2G,引入美圖網(wǎng)等內(nèi)容資源。
診斷情況:周監(jiān)測網(wǎng)間回源吐出比為35%;IP地址行為特征分析發(fā)現(xiàn)其全部為資源提供型業(yè)務(wù),入境流量基本都來自于美圖網(wǎng)。原因是客戶回源控制技術(shù)出現(xiàn)問題,導(dǎo)致從他網(wǎng)節(jié)點進(jìn)行回源,而不是從網(wǎng)內(nèi)的其它節(jié)點回源。
處置情況:通知客戶在規(guī)定時間內(nèi)調(diào)整回源策略;次周客戶進(jìn)行調(diào)整后網(wǎng)間回源吐出比降至0.08%。
本文提出基于DPI的核心技術(shù)手段——IP地址流量行為特征分析技術(shù),能夠?qū)γ總€IP地址提供的業(yè)務(wù)類型進(jìn)行準(zhǔn)確定性。通過三步診斷法,準(zhǔn)確有效地診斷異常流量的原因,精確區(qū)分出不同業(yè)務(wù)類型的網(wǎng)間異常流量,采取多場景的處置方案。從而能夠有效地降低網(wǎng)間出口流量、提升CMNet骨干出口質(zhì)量、封堵風(fēng)險漏洞。