□ 文 郝 航 潘智勇
隨著互聯(lián)網(wǎng)的高速發(fā)展,企業(yè)的運轉(zhuǎn)和服務(wù)模式發(fā)生了巨大變化,企業(yè)運轉(zhuǎn)越來越依靠信息系統(tǒng),隨著信息系統(tǒng)數(shù)量的增多和規(guī)模的增大,企業(yè)對互聯(lián)網(wǎng)接入帶寬需求也越來越大,導致企業(yè)互聯(lián)網(wǎng)流量激增,這對企業(yè)的互聯(lián)網(wǎng)帶寬接入能力帶來了極大的挑戰(zhàn)?;ヂ?lián)網(wǎng)帶寬需求劇增帶來的不僅是容量問題,更是管理問題,單純擴展帶寬容量是不能解決企業(yè)內(nèi)部不同系統(tǒng)、不同業(yè)務(wù)之間對有限帶寬資源爭用的問題。
同時在企業(yè)數(shù)字化轉(zhuǎn)型過程中,對各項投入進行成本核算已成為常態(tài),是企業(yè)實現(xiàn)精細化運營的必經(jīng)之路。在眾多核算項中,互聯(lián)網(wǎng)帶寬租賃費用作為企業(yè)長期高額投入的部分,對其建立完善的內(nèi)部核算機制已迫在眉睫。
通過建立企業(yè)互聯(lián)網(wǎng)帶寬資源的計量計費模式,可實現(xiàn)互聯(lián)網(wǎng)接入成本在各類系統(tǒng)、各類業(yè)務(wù)的分攤,從而建立良性的發(fā)展模式,優(yōu)化有限帶寬資源的分配和利用,實現(xiàn)企業(yè)增效降本提質(zhì)的目標。本文旨在設(shè)計一套基于Netflow流量采樣的互聯(lián)網(wǎng)帶寬計量計費系統(tǒng),實現(xiàn)覆蓋企業(yè)所有園區(qū)互聯(lián)網(wǎng)出口的帶寬資源系統(tǒng)維度、業(yè)務(wù)維度的統(tǒng)計,同時提出了基于鏈路繁忙度的動態(tài)激勵計費模式,對引導各類業(yè)務(wù)錯峰上網(wǎng),優(yōu)化企業(yè)互聯(lián)網(wǎng)帶寬資源分配具有重要意義。
NetFlow是1996年由Cisco公司開發(fā)的一款用于分析網(wǎng)絡(luò)數(shù)據(jù)包信息的流量輪廓監(jiān)控技術(shù),它描述了路由器輸出關(guān)于被路由套接字對(the routed socket pairs)統(tǒng)計信息的方法。NetFlow常見的部署結(jié)構(gòu)如圖1所示,一套基于NetFlow的流量統(tǒng)計分析系統(tǒng)通常包括數(shù)據(jù)導出模塊(NetFlow Data Exporter)、數(shù)據(jù)采集模塊(NetFlow Data Colle c tor)和數(shù)據(jù)分析模塊(Net Flow D at a Analyzer)。
NetFlow的工作原理為:NetFlow首先使用標準的交換模式對IP包的數(shù)據(jù)初始化,同時把IP包的數(shù)據(jù)緩存下來,形成NetFlow緩存,隨后NetFlow在同一數(shù)據(jù)流中傳輸緩存信息相似的數(shù)據(jù),從而完成數(shù)據(jù)包的計數(shù)和統(tǒng)計。當設(shè)備緩存的NetFlow數(shù)據(jù)包超過上限或緩存的NetFlow條目達到老化時間,就會把該NetFlow數(shù)據(jù)發(fā)送至采集模塊進行統(tǒng)一存儲,存儲在收集器中的NetFlow條目最后會被分析器加載,完成流量數(shù)據(jù)的最終統(tǒng)計分析。
傳統(tǒng)的NTA(Network Traffic Analysis)設(shè)備通常采用實時采樣的方式感知監(jiān)控鏈路的流量,對設(shè)備的性能要求較高,而本文設(shè)計的帶寬計量計費系統(tǒng)是通過周期性的啟動、關(guān)閉探針實現(xiàn)對監(jiān)控鏈路的周期性采樣,與傳統(tǒng)的實時采樣相比,周期性采樣的流量統(tǒng)計分析系統(tǒng)具有以下優(yōu)勢:
(1)減輕統(tǒng)計分析設(shè)備負載
企業(yè)內(nèi)部網(wǎng)絡(luò)設(shè)備負載通常處于較高水平,如采用全流量實時采樣的方式勢必會額外增加設(shè)備的計算開銷,導致設(shè)備負載持續(xù)走高,影響設(shè)備性能和可靠性。而對企業(yè)互聯(lián)網(wǎng)流量進行周期性采樣可以有效降低流量監(jiān)控范圍,其統(tǒng)計結(jié)果也具備較高的可信度。
(2)避免產(chǎn)生過多背景流量
由于NetFlow本身會產(chǎn)生統(tǒng)計報文,因此勢必會在企業(yè)網(wǎng)絡(luò)中引入背景流量,從而影響企業(yè)網(wǎng)絡(luò)性能,為盡量降低背景流量對企業(yè)網(wǎng)絡(luò)的干擾,必須考慮減少NetFlow的生成速率,而周期性采樣流量方式可有效降低NetFlow的生成速率,從而減少對現(xiàn)網(wǎng)的影響。
(3)簡化統(tǒng)計模型設(shè)計
企業(yè)內(nèi)部往往運行眾多服務(wù)器和業(yè)務(wù)系統(tǒng),每臺服務(wù)器每個業(yè)務(wù)系統(tǒng)都會產(chǎn)生大量的聯(lián)網(wǎng)數(shù)據(jù),基于實時采樣數(shù)據(jù)的統(tǒng)計模型的設(shè)計和實現(xiàn)難度極大。為實現(xiàn)統(tǒng)計模型的簡化,抓住統(tǒng)計重點,必須減少統(tǒng)計的樣本數(shù)量,因此適合采用周期性采樣的方式進行統(tǒng)計。
1.3.1 總體架構(gòu)
本文設(shè)計的統(tǒng)計系統(tǒng)包含探針、收集器和分析器三部分,其功能架構(gòu)如圖2所示。
探針負責根據(jù)收集器下發(fā)的采樣任務(wù)對監(jiān)控鏈路進行周期性采樣,并在一個采樣周期結(jié)束后或緩存的NetFlow條目達到緩存上線后將NetFlow統(tǒng)計信息發(fā)送至收集器。
收集器負責所有探針的采樣任務(wù)管理和統(tǒng)計數(shù)據(jù)的收集、存儲,并通過REST接口提供統(tǒng)計報文的查詢服務(wù)。
分析器中部署了帶寬計量模型和計費模型,通過從收集器中獲取統(tǒng)計數(shù)據(jù)并運行計量、計費模型產(chǎn)生業(yè)務(wù)系統(tǒng)維度和業(yè)務(wù)部門維度的帶寬使用報表,并提供可視化大屏展示。
主要功能模塊說明如下:
(1)通信模塊:負責探針、收集器和分析器之間的底層數(shù)據(jù)通信,采用非阻塞式異步通信框架,避免各節(jié)點之間因耗時任務(wù)執(zhí)行導致的通信異常。
(2)心跳模塊:用于探針和收集器之間的心跳?;睿谔结槹l(fā)生故障后,收集器會因為心跳超時感知故障探針,標記探針狀態(tài)并及時發(fā)出告警。
(3)采樣任務(wù)模塊:收集器上的采樣任務(wù)模塊是針對探針采樣任務(wù)配置管理,包括設(shè)置探針采樣時長和采樣間隔等配置;探針上的采樣任務(wù)模塊主要是負責本節(jié)點采樣任務(wù)的定時啟停和結(jié)果上報。
(4)統(tǒng)計分析模塊:通過部署計量、計費模型,對收集器中存儲的NetFlow數(shù)據(jù)做進一步統(tǒng)計分析,生成可視化大屏所需的帶寬占用數(shù)據(jù)和費用數(shù)據(jù)。
部署架構(gòu)如圖3所示。
本文設(shè)計的系統(tǒng)充分考慮企業(yè)多園區(qū)結(jié)構(gòu),通過在不同園區(qū)內(nèi)部署探針設(shè)備,實現(xiàn)全域互聯(lián)網(wǎng)流量的監(jiān)測,從而實現(xiàn)覆蓋企業(yè)全部園區(qū)的互聯(lián)網(wǎng)帶寬計量和計費。在探針部署階段,對于支持鏡像端口的網(wǎng)絡(luò)設(shè)備,直接鏡像互聯(lián)網(wǎng)出口流量至探針設(shè)備;對于不支持鏡像端口的網(wǎng)絡(luò)設(shè)備,可以借助分流器等設(shè)備對原始流量進行克隆并引流至探針設(shè)備。
表1 采樣參數(shù)
1.3.2 流量采樣頻率
為降低帶寬資源統(tǒng)計分析系統(tǒng)的復雜度,同時考慮采樣數(shù)據(jù)的準確性,本文提出的帶寬資源統(tǒng)計模型中采樣間隔為5分鐘,24小時采樣,每日采樣數(shù)據(jù)包括288個/每IP的主機帶寬數(shù)據(jù)和288個鏈路帶寬數(shù)據(jù)。
1.3.3 帶寬計量模型
本文所設(shè)計的帶寬計量模型相關(guān)概念定義如下:
(1)主機采樣帶寬:采樣時刻主機實際使用帶寬。
(2)系統(tǒng)采樣帶寬:采樣時刻系統(tǒng)所屬的主機采樣帶寬之和。
(3)鏈路采樣帶寬:采樣時刻互聯(lián)網(wǎng)出口鏈路實際總使用帶寬。
(4)系統(tǒng)日帶寬:每日系統(tǒng)采樣帶寬的95峰值計為系統(tǒng)日帶寬。為避免系統(tǒng)對互聯(lián)網(wǎng)突發(fā)性訪問造成帶寬計量過高,系統(tǒng)日帶寬采用95峰值計量模式,即對系統(tǒng)所有采樣點進行降序排列,移除最高5%的采樣數(shù)據(jù)后的次高采樣數(shù)據(jù)作為系統(tǒng)日帶寬的計量數(shù)據(jù)。
1.3.4 帶寬計費模型
本文所設(shè)計的帶寬計費模型相關(guān)概念定義如下:
(1)鏈路帶寬:企業(yè)從運營商租賃的互聯(lián)網(wǎng)鏈路帶寬。
(2)鏈路繁忙時段:每日鏈路采樣帶寬超過鏈路帶寬50%的時段。
(3)系統(tǒng)高峰時段:每日系統(tǒng)采樣帶寬在80峰值以上的時段。
(4)系統(tǒng)日參堵率:系統(tǒng)高峰時段與鏈路繁忙時段重疊時長與鏈路繁忙時段總時長之比。當鏈路繁忙時段總時長為零時,所有系統(tǒng)日參堵率為零。
本文所設(shè)計的帶寬計費模型計算方式如下:
其中,C日是系統(tǒng)日費用;B日是系統(tǒng)日帶寬;C年度租賃費是互聯(lián)網(wǎng)鏈路年度租賃費;B總帶寬是鏈路總帶寬;S是計費激勵因子,計算公式:S=0.5*(1+系統(tǒng)日參堵率)。
在以上計費方式中,企業(yè)內(nèi)部系統(tǒng)占用帶寬產(chǎn)生的費用除了與實際占用帶寬大小有關(guān),還與企業(yè)互聯(lián)網(wǎng)鏈路的繁忙程度相關(guān),當鏈路處于非繁忙時段時,系統(tǒng)占用帶寬產(chǎn)生的費用將優(yōu)惠至多50%,而鏈路處于繁忙時段時,系統(tǒng)占用帶寬產(chǎn)生的費用優(yōu)惠力度大幅度降低,從而實現(xiàn)了根據(jù)鏈路繁忙度變化的動態(tài)激勵方式,達到鼓勵、引導企業(yè)不同系統(tǒng)、不同業(yè)務(wù)錯峰上網(wǎng),優(yōu)化互聯(lián)網(wǎng)帶寬資源使用的目的。
通過在某企業(yè)實際部署系統(tǒng),收集某天帶寬數(shù)據(jù)如圖4所示:
已知企業(yè)互聯(lián)網(wǎng)總帶寬為250Mbit/s,鏈路負載>50%總帶寬的時段是08:00~18:25,系統(tǒng)A、B、C、D的各項參數(shù)如表2所示:
表2 系統(tǒng)占用帶寬統(tǒng)計表
假設(shè)企業(yè)年帶寬租賃費用為100萬/年,使用帶寬計費公式計算A-D系統(tǒng)的日帶寬費用分別是:
由以上結(jié)果可知,系統(tǒng)A和C、系統(tǒng)B和D的系統(tǒng)日帶寬基本相同,但C、D系統(tǒng)的日參堵率較高,說明這兩個系統(tǒng)與其它系統(tǒng)之間存在帶寬爭用現(xiàn)象,因此在核算帶寬占用費時優(yōu)惠幅度小,其帶寬費用較日帶寬占用量相近的A、B系統(tǒng)高出近40%,C、D系統(tǒng)所屬業(yè)務(wù)部門應(yīng)當考慮調(diào)整用網(wǎng)時段以降低本部門帶寬成本,從而提高企業(yè)互聯(lián)網(wǎng)鏈路帶寬的綜合利用率。
隨著互聯(lián)網(wǎng)的發(fā)展,企業(yè)對互聯(lián)網(wǎng)帶寬的需求日益增長,如何提高企業(yè)互聯(lián)網(wǎng)帶寬資源的綜合利用率是當前研究的一個重點。本文對帶寬使用采樣統(tǒng)計進行數(shù)學模型分析,將解決問題的思路歸納為帶寬采樣、計量模型和計費模型三個方面,并設(shè)計了一套較完善的帶寬數(shù)據(jù)采集、存儲、分析、可視化的計量計費系統(tǒng),對加強企業(yè)互聯(lián)網(wǎng)資源的管理有重要意義。同時本文還提出了基于鏈路實時負載的動態(tài)激勵模式,對于引導企業(yè)內(nèi)部錯峰上網(wǎng),優(yōu)化帶寬資源使用有較高價值?!?/p>