程 光
(東南大學(xué) 計算機科學(xué)與工程學(xué)院,江蘇 南京 210096)
互聯(lián)網(wǎng)是一個由上億臺計算機互聯(lián)而成的全球性計算機網(wǎng)絡(luò),2010年7月統(tǒng)計,約有7.7億臺聯(lián)網(wǎng)主機[1]。網(wǎng)絡(luò)測量和分析作為監(jiān)控、理解和認識網(wǎng)絡(luò)行為的重要手段,越來越受到重視,網(wǎng)絡(luò)測量技術(shù)已成為研究熱點之一。
我院2009年開始為研究生開設(shè)“網(wǎng)絡(luò)測量與行為學(xué)”課程,該課程可增強學(xué)生在網(wǎng)絡(luò)方向的研究能力,了解網(wǎng)絡(luò)測量工具和流量仿真建模工具等。
目前國內(nèi)外有10多所高校開設(shè)了與網(wǎng)絡(luò)測量相關(guān)的課程。現(xiàn)討論四所國內(nèi)外大學(xué)對該課程設(shè)置情況。
清華大學(xué)于2008年開設(shè)“網(wǎng)絡(luò)測量與分析技術(shù)”課程[1],東南大學(xué)于2009年開設(shè)了“網(wǎng)絡(luò)測量與行為學(xué)”課程[2],兩校分別出版了教材《互聯(lián)網(wǎng)絡(luò)測量理論與應(yīng)用》[3]和《互聯(lián)網(wǎng)流測量》[4]。
清華大學(xué)開設(shè)的課程講授的內(nèi)容包括網(wǎng)絡(luò)性能測量技術(shù)、流量測量與建模方法、網(wǎng)絡(luò)拓撲與路由測量原理與技術(shù)、面向網(wǎng)絡(luò)應(yīng)用的測量,以及網(wǎng)絡(luò)測量技術(shù)的具體應(yīng)用等網(wǎng)絡(luò)測量與分析技術(shù)。
東南大學(xué)開設(shè)的課程主要介紹網(wǎng)絡(luò)測量方法、行為分析方法和行為學(xué)相關(guān)工具等3個部分。網(wǎng)絡(luò)測量方法介紹抽樣測量方法、流數(shù)和超點測量方法、重尾流測量、網(wǎng)絡(luò)流量應(yīng)用識別、匿名化算法、帶寬測量方法、拓撲和時延測量等,行為分析方法講授行為測度、自相似理論、網(wǎng)絡(luò)流量建模,相關(guān)工具介紹NS-2網(wǎng)絡(luò)仿真器和Planetlab等。
國外各個學(xué)校開設(shè)課程所授課內(nèi)容有較大的差別,如美國紐約大學(xué)以網(wǎng)絡(luò)性能測量為主,西北大學(xué)以應(yīng)用流量測量為主,采用教材如文獻[5]。
美國紐約大學(xué)工學(xué)院的“Network Measurement and Traffic Engineering”課程[6]的主要內(nèi)容有:流量測量與分析、報文丟包和時延特性、網(wǎng)絡(luò)有效帶寬的報文探測方法、網(wǎng)絡(luò)層析成像、流量異常檢測、流量矩陣估計、分布式網(wǎng)絡(luò)測量、網(wǎng)絡(luò)路由、覆蓋路由和擁塞控制等。
美國西北大學(xué)的“Internet Measurement and its Reverse Engineering”課程[7]的主要內(nèi)容包括:大規(guī)模網(wǎng)絡(luò)測量工程、主動被動測量及其工具、Web、P2P、DNS、游戲等各類應(yīng)用流量的測量與分析、Darknet、Botnet、Spyware、DOS、Web脆弱性測量與分析等。
網(wǎng)絡(luò)測量可分為主動測量和被動測量兩種方式,主動測量是通過主動產(chǎn)生流量直接測量網(wǎng)絡(luò)的屬性,是一種直接分析的方法。被動測量完全取決于被測網(wǎng)絡(luò)中目前已有的流量,它的最大優(yōu)點是在測量期間不影響被測網(wǎng)絡(luò)的流量。
按照網(wǎng)絡(luò)測量內(nèi)容來分可以分為流量測量、性能測量和拓撲測量等三大類。網(wǎng)絡(luò)流量是由大小不一的分組構(gòu)成的,收集到的數(shù)據(jù)可以進行各種流量分析。網(wǎng)絡(luò)性能測量的內(nèi)容包括時延、丟包率、帶寬等;拓撲測量主要是可視化和推斷網(wǎng)絡(luò)的拓撲結(jié)構(gòu)。
因特網(wǎng)主要經(jīng)歷了三個發(fā)展階段:NSFNET時代(1988-1995)、Web時代(1995-2000)和現(xiàn)在的高速網(wǎng)絡(luò)時代(2000年以來)。在1988年至1995年由NSFNET時代的TCP占90%的流量,TCP流量中SMTP占了約50%的流量。在NSFNET結(jié)束后,Web時代的應(yīng)用占總流量的近80%成為主要流量。進入了2000年,由于高速網(wǎng)絡(luò)的發(fā)展OC-48甚至OC-192,局域網(wǎng)也普遍使用高速千兆以太網(wǎng)技術(shù)。由于帶寬的增加和出現(xiàn)P2P、游戲和多媒體等應(yīng)用出現(xiàn),Web應(yīng)用在網(wǎng)絡(luò)流量中的比重逐漸下降,網(wǎng)絡(luò)流量行為也有了變化。
“網(wǎng)絡(luò)測量與行為學(xué)”課程授課是將課堂教學(xué)、討論和課后閱讀、實驗相結(jié)合。目的是讓學(xué)生掌握網(wǎng)絡(luò)測量和行為學(xué)的基本原理概念,并具有獨立的科研能力。教師對學(xué)生課程項目的選題、文獻的選擇和實驗的方法給予指導(dǎo),學(xué)生通過課程的學(xué)習(xí),在此基礎(chǔ)上圍繞課程項目進行展開。
學(xué)生按照教師所提供的資料或研究題目,根據(jù)自己的興趣2~3人組成課程項目小組,每個小組從論文閱讀、課堂討論以設(shè)計、實現(xiàn)和評估一個系統(tǒng)或方法。課程項目的成果以論文的形式提交,項目小組在課程初始階段提交項目方案初步報告。其內(nèi)容需要包括項目的研究目的、研究內(nèi)容、研究方法、目前的研究情況、可能所實現(xiàn)的結(jié)果和創(chuàng)新點及研究難點等。同時項目方案初步報告中需要提交至少10篇參考文獻。論文和對論文的報告效果作為該課程最終成績的來源。
根據(jù)數(shù)據(jù)的測量方法不同,網(wǎng)絡(luò)數(shù)據(jù)可以分為主動測量數(shù)據(jù)和被動測量數(shù)據(jù)。主動測量數(shù)據(jù)主要分為拓撲結(jié)構(gòu)測量數(shù)據(jù)和網(wǎng)絡(luò)性能測量數(shù)據(jù)。被動測量數(shù)據(jù)包括網(wǎng)絡(luò)流量日志數(shù)據(jù)、網(wǎng)絡(luò)安全數(shù)據(jù)和BGP數(shù)據(jù)等。根據(jù)測量網(wǎng)絡(luò)的類型可以分為有線網(wǎng)絡(luò)數(shù)據(jù)和無線網(wǎng)絡(luò)數(shù)據(jù)。
主動測量是指測量點主動向網(wǎng)絡(luò)中注入流量以測量網(wǎng)絡(luò)的性能、路由等狀況。目前互聯(lián)網(wǎng)中的公共主動測量數(shù)據(jù)源主要有三個:勞倫斯貝爾實驗室(LBL)的網(wǎng)絡(luò)探測幽靈(NPD);互聯(lián)網(wǎng)數(shù)據(jù)分析協(xié)作組織(CAIDA)使用Skitter工具測量的網(wǎng)絡(luò)拓撲和性能數(shù)據(jù);意大利的網(wǎng)絡(luò)工具和流量日志工程。由于主動測試產(chǎn)生的流量會影響網(wǎng)絡(luò)運行,因此和被動流量日志相比,主動流量日志量一般都比較小。
網(wǎng)絡(luò)流量日志數(shù)據(jù)的三個主要來源是CAIDA、美國國家自然基金會(NSF)資助的應(yīng)用網(wǎng)絡(luò)研究國家重點實驗室(NLANR)和江蘇省計算機網(wǎng)絡(luò)技術(shù)重點實驗室,從2006年6月30日開始NSF停止對NLANR資助,NLANR所有的機器和數(shù)據(jù)從2006年7月1日開始由CAIDA接管。江蘇省計算機網(wǎng)絡(luò)技術(shù)重點實驗室提供的CERNET華東北地區(qū)網(wǎng)絡(luò)中心所測量的CERNET主干鏈路的數(shù)據(jù)日志[8]。
相對有線網(wǎng)絡(luò)而言,無線網(wǎng)絡(luò)數(shù)據(jù)比較容易獲得,流量日志也較小。目前互聯(lián)網(wǎng)中公共的無線網(wǎng)絡(luò)日志源主要有美國加州大學(xué)Santa Barbara分校計算系的無線網(wǎng)絡(luò)擁塞分析(CONAN)項目,美國Dartmount學(xué)院計算機系的無線數(shù)據(jù)資源存檔項目(CRAWDAD),美國南加州大學(xué)(USC)電子工程系的移動和無線網(wǎng)絡(luò)測量共同體數(shù)據(jù)庫(MobiLib)項目,韓國Chungnam國立大學(xué)數(shù)據(jù)網(wǎng)絡(luò)實驗室測量和分析CDMA 1xEV-DO網(wǎng)絡(luò)項目等。
美國Oregon大學(xué)的路由可視化(Route Views)項目從位于互聯(lián)網(wǎng)幾個不同地方的主干網(wǎng)絡(luò)中采集實時的全球路由信息,Route Views從route-views.routeviews.org的路由器中收集 MRT格式的Cisco BGP RIB和BGP Updates數(shù)據(jù)日志。路由日志數(shù)據(jù)有使用Cisco路由軟件和Zebra路由軟件收集兩種不同的數(shù)據(jù)格式。Cisco的格式是每兩小時收集一次BGP路由信息;Zebra格式文件有兩種:RIBS和Updates,RIBS是兩小時收集一次的路由表快照,Updates是每15分鐘收集一次的在線文件。MRT格式的文件可以使用route_btoa工具進行提取,route_btoa將MRT格式的數(shù)據(jù)轉(zhuǎn)化成ASCII格式。
網(wǎng)絡(luò)測量與行為分析所涉及的工具有三類:測量工具、實驗床和仿真工具。
CAIDA組織將網(wǎng)絡(luò)測量的相關(guān)工具進行了組織分類,該組織將所有工具分類成6類:匿名化工具,該類工具主要是對網(wǎng)絡(luò)流量進行匿名化處理,以保護用戶的隱私;拓撲類工具,對互聯(lián)網(wǎng)的拓撲結(jié)構(gòu)進行可視化分析;流量測量和分析工具;網(wǎng)絡(luò)性能測量和分析工具;互聯(lián)網(wǎng)路由測量和可視化分析工具;組播路由器數(shù)據(jù)測量工具等。教師或?qū)W生可以從相關(guān)網(wǎng)站上下載這些工具。
國內(nèi)部分高校是PlanetLab實驗床的節(jié)點成員,可以使用Planetlab進行網(wǎng)絡(luò)測量的實驗工作,Planetlab是由全球1000多個連接到互聯(lián)網(wǎng)的節(jié)點構(gòu)成。PlanetLab的用戶有三種角色,即:普通用戶(User),Node 的 主 要 負 責 人 (PI)和 技 術(shù) 支 持(Technical Contact)。普通用戶先在http://www.planet-lab.org/上申請賬戶,等待PI對賬戶進行處理;PI給分配一個Slice,但是該Slice是空的,它里面沒有加入任何Node;然后在自己的Iinux上生成一對RSA公私鑰;最后將生成的公鑰文件上傳到服務(wù)器上,用戶就可以在自己的Slice增加/刪除Node的操作。
網(wǎng)絡(luò)仿真工具最流行的是NS-2軟件。NS-2提供在無線或有線網(wǎng)絡(luò)上的TCP、路由和組播等多種協(xié)議的模擬。NS-2經(jīng)過多年的發(fā)展之后,于1995年得到施樂公司(Xerox)的支持,加入VINT項目。
網(wǎng)絡(luò)測量與行為學(xué)文獻的相關(guān)文獻很多,但是主要來源為以下的三個會議:互聯(lián)網(wǎng)測量會議IMC(Internet Measurement Conference)、被動和主動測量會議PAM(Passive & Active Measurement Conference)和ACM SIGMETRICS。每個會議每年大概發(fā)表約30篇涉及網(wǎng)絡(luò)測量和行為研究相關(guān)的論文。另外,IEEE INFOCOM、ACM SIGCOMM 的年會也有網(wǎng)絡(luò)測量和行為分析相關(guān)的論文。
本文重點探討“網(wǎng)絡(luò)測量與行為學(xué)”課程設(shè)置的必要性,該課程設(shè)置的現(xiàn)狀、相關(guān)教學(xué)內(nèi)容和授課方法、以及該課程所涉及的相關(guān)資料等。我院于2009年開設(shè)該課程以來已連續(xù)兩屆培養(yǎng)了38名研究生。該課程的設(shè)置在一定程度上提高了學(xué)生在網(wǎng)絡(luò)上的認識和理解能力,達到了課程設(shè)置的效果。本文介紹我院開設(shè)該課程中的授課方法和課程體系,以期吸引國內(nèi)更多高校教師對該課程的興趣,進而培養(yǎng)更多網(wǎng)絡(luò)測量與行為學(xué)相關(guān)的研究人才。
[1]清華大學(xué)網(wǎng)絡(luò)測量與分析技術(shù)課程,http://nmgroup.tsinghua.edu.cn/classes/index.htm
[2]東南大學(xué)網(wǎng)絡(luò)測量與行為學(xué)課程,http://cse.seu.edu.cn/people/gcheng/index.htm
[3]楊家海,吳建平,安常青.互聯(lián)網(wǎng)絡(luò)測量理論與應(yīng)用[M].北京:人民郵電出版社,2009
[4]程光.互聯(lián)網(wǎng)流測量[M].南京:東南大學(xué)出版社,2008
[5]M.crovella,B.krishna murthy.Internet Measurement Infrastructure,Traffic and Applications
[6]EL 933Network Measurement and Traffic Engineering,http://eeweb.poly.edu/el933/
[7]EECS 395/495Internet Measurement and its Reverse Engineering,http://www.cs.northwestern.edu/~ychen/classes/IMRE-s06/
[8]NJNET TRACE,http://iptas.edu.cn/