網(wǎng)絡(luò)數(shù)據(jù)流量分析研究

河南中煙工業(yè)有限責任公司許昌卷煙廠 王新峰

?

網(wǎng)絡(luò)數(shù)據(jù)流量分析研究

河南中煙工業(yè)有限責任公司許昌卷煙廠 王新峰

【摘要】隨著現(xiàn)代卷煙工業(yè)園區(qū)的不斷建設(shè)與發(fā)展，廠區(qū)的網(wǎng)絡(luò)結(jié)構(gòu)也采取了最新的網(wǎng)絡(luò)技術(shù)，整個廠區(qū)的網(wǎng)絡(luò)區(qū)域分為：核心區(qū)、管理業(yè)務(wù)服務(wù)器區(qū)、生產(chǎn)業(yè)務(wù)服務(wù)器區(qū)、互聯(lián)網(wǎng)區(qū)、廣域網(wǎng)區(qū)、安防網(wǎng)區(qū)和生產(chǎn)網(wǎng)區(qū)，其中生產(chǎn)網(wǎng)區(qū)下面又接入了：制絲中控網(wǎng)絡(luò)、卷包中控網(wǎng)絡(luò)、生產(chǎn)視頻監(jiān)控、動力能源和物流自控等網(wǎng)絡(luò)區(qū)域。整個廠區(qū)的網(wǎng)絡(luò)規(guī)模復(fù)雜性比較高，為了保障業(yè)務(wù)更好的運行，對網(wǎng)絡(luò)的流量分析提出了更高的要求。

【關(guān)鍵詞】網(wǎng)絡(luò)流量；趨勢分析；異常報警；信息審計

1 項目目標

流量分析是一個有助于網(wǎng)絡(luò)管理者進行網(wǎng)絡(luò)規(guī)劃、網(wǎng)絡(luò)優(yōu)化、網(wǎng)絡(luò)監(jiān)控、流量趨勢分析等工作的工具，通過對網(wǎng)絡(luò)信息流（數(shù)據(jù)流）的采集并分析可幫助網(wǎng)絡(luò)管理者得到網(wǎng)絡(luò)流量的準確信息，為網(wǎng)絡(luò)的正常、穩(wěn)定、可靠運行提供保障。為廠數(shù)據(jù)采集系統(tǒng)、MES系統(tǒng)等業(yè)務(wù)系統(tǒng)提供可靠的網(wǎng)絡(luò)運維環(huán)境，保障煙廠的生產(chǎn)連續(xù)性。本次主要是幫助網(wǎng)絡(luò)管理人員了解企業(yè)內(nèi)部網(wǎng)絡(luò)之運行狀況，及時發(fā)現(xiàn)并解決網(wǎng)絡(luò)中的性能瓶頸問題、網(wǎng)絡(luò)異常現(xiàn)象，也能方便網(wǎng)絡(luò)管理員進行網(wǎng)絡(luò)優(yōu)化、網(wǎng)絡(luò)設(shè)備投資、網(wǎng)絡(luò)帶寬優(yōu)化等的參考，并方便網(wǎng)絡(luò)管理員及時解決網(wǎng)絡(luò)異常問題。

2 技術(shù)特點

2.1 高效數(shù)據(jù)采集機制

綜合采用SNMP、SPAN數(shù)據(jù)采集技術(shù)和帶外數(shù)據(jù)傳輸機制，能夠透明部署在核心鏈路上，對原有系統(tǒng)的穩(wěn)定性和性能無負面影響。

2.2 良好的兼容性和擴展能力

基于行業(yè)標準的數(shù)據(jù)采集協(xié)議和Collector+Controller的方案架構(gòu)，能夠提供對不同品牌設(shè)備良好的兼容能力，并可以較小代價實現(xiàn)系統(tǒng)的擴充升級，有效保護既有投資。

2.3 異常行為判別

實時檢測因大量數(shù)據(jù)包的泛濫式攻擊造成的網(wǎng)絡(luò)流量異常，包括網(wǎng)絡(luò)中的DoS/DDoS攻擊、蠕蟲病毒、大量的垃圾郵件等異常流量。

2.4 異常行為溯源

通過異常行為特征信息和IP路由、端口CAM信息關(guān)聯(lián)分析，可將異常流量源頭準確定位到網(wǎng)元設(shè)備物理端口級別上，為實施針對性的防護響應(yīng)提供明確指引。

2.5 應(yīng)用層攻擊檢測

采用數(shù)據(jù)流智能重組、特征檢測、協(xié)議分析相結(jié)合的檢測方法，根據(jù)強大的攻擊特征庫檢測各種攻擊，并提供攻擊報告和補救建議措施。

2.6 通信服務(wù)質(zhì)量實時監(jiān)控

通過對網(wǎng)絡(luò)設(shè)備和網(wǎng)絡(luò)流量的實時監(jiān)控，提供多種詳細的設(shè)備、系統(tǒng)、帶寬資源占用情況和服務(wù)進程響應(yīng)情況的圖形和報表顯示，便于管理員了解和掌握全網(wǎng)運行狀況和通信服務(wù)質(zhì)量，保證關(guān)鍵業(yè)務(wù)安全穩(wěn)定的正常運行。

2.7 攻擊實時響應(yīng)

對于檢測到的異常流量，將通Syslog、Email、SNMP Trap等進行報警，并可將異常流量隔離進行重點監(jiān)控和深度檢測，如調(diào)整ACL、黑洞路由、防火墻、防垃圾郵件系統(tǒng)等安全設(shè)備對各種異常流量進行防御等。

3 實施效果

系統(tǒng)提供萬兆網(wǎng)絡(luò)流量數(shù)據(jù)實時采集、實時分析、高效存儲，提供歷史數(shù)據(jù)分析以及簡單高效的數(shù)據(jù)挖掘技術(shù)，幫助用戶重現(xiàn)發(fā)生故障時的歷史網(wǎng)絡(luò)通訊狀態(tài)，快速分析當時的網(wǎng)絡(luò)故障原因。同時，系統(tǒng)能夠?qū)ν诰虻木W(wǎng)絡(luò)數(shù)據(jù)進行精細化的二次分析，實現(xiàn)集中、高效的網(wǎng)絡(luò)管理需求。

3.1 實時監(jiān)控

系統(tǒng)對關(guān)鍵網(wǎng)絡(luò)鏈路提供持續(xù)的圖形化流量監(jiān)控功能，能夠?qū)α髁繑?shù)據(jù)進行長期的統(tǒng)計分析，主動分析網(wǎng)絡(luò)和應(yīng)用運行規(guī)律、網(wǎng)絡(luò)行為規(guī)律，以及運行的趨勢，從而幫助用戶確立網(wǎng)絡(luò)運行的基線，便于在網(wǎng)絡(luò)日常運行過程中發(fā)現(xiàn)異常情況。

3.1.1 實時流量監(jiān)控

系統(tǒng)采用全新的圖表控件，直觀的展現(xiàn)網(wǎng)絡(luò)流量運行趨勢。趨勢圖是以時間為單位，能夠?qū)Ω鞣N網(wǎng)絡(luò)流量參數(shù)進行監(jiān)控和趨勢展現(xiàn)，包括利用率（總利用率、進網(wǎng)利用率和出網(wǎng)利用率）、數(shù)據(jù)包（總數(shù)據(jù)包數(shù)、進網(wǎng)數(shù)據(jù)包數(shù)和出網(wǎng)數(shù)據(jù)包數(shù)）、總流量（總流量、進網(wǎng)流量和出網(wǎng)流量）和TCP數(shù)據(jù)包（TCP同步包和TCP同步確認包）。

3.1.2 異常流量報警

系統(tǒng)可實時進行網(wǎng)絡(luò)異常流量監(jiān)控，對于異常流量，產(chǎn)生告警信息。同時觸發(fā)的警報信息可以通過E-mail發(fā)送給指定人員，或者是發(fā)送到指定的SYSLOG服務(wù)器。

3.2 流量趨勢預(yù)警

3.2.1 基于流分析

系統(tǒng)基于流的流量分析功能，可通過旁路抓包采集數(shù)據(jù)，也提供收集Flow信息的能力；可以對接口、傳輸協(xié)議、應(yīng)用協(xié)議、源目的地址、源目的端口、會話進行統(tǒng)計分析，可以多條件組合分析；支持流量趨勢分析；支持流量分析的下鉆與上卷；可對數(shù)據(jù)包的字節(jié)數(shù)、包個數(shù)、傳輸速率進行統(tǒng)計、分析、告警。

系統(tǒng)可對設(shè)備總流量、接口流量、上下行流量、接口進出流量進行統(tǒng)計分析，包括流量字節(jié)數(shù)、包個數(shù)、速率等，用戶可自定義查詢時間段和查詢條件。

可基于流量某種屬性進行TOP排名，以該屬性為出發(fā)點進行多次下鉆，最終定位到最細粒度（源IP、目的IP、應(yīng)用協(xié)議、傳輸協(xié)議）的會話流量字節(jié)數(shù)、包個數(shù)、歷史趨勢圖等。

3.2.2 端口流量分析

端口流量分析可以統(tǒng)計TCP端口和UDP端口的流量信息。通過數(shù)據(jù)挖掘功能，可以快速挖掘到與該端口相關(guān)的客戶端IP、TCP會話/UDP會話和服務(wù)訪問記錄。

3.3 數(shù)據(jù)流中的攻擊檢測功能

以數(shù)據(jù)流為對象，通過特征檢測、協(xié)議分析相結(jié)合的檢測方法，檢測網(wǎng)絡(luò)流量中的各種數(shù)據(jù)流攻擊。并提供攻擊報告和建議措施，包括各類攻擊的詳細內(nèi)容和可采取的安全措施。系統(tǒng)支持自定義攻擊事件，用戶還可以基于每個規(guī)則制定不同的響應(yīng)措施。

3.3.1 入侵檢測

系統(tǒng)內(nèi)置入侵檢測規(guī)則庫，可自動識別、監(jiān)測蠕蟲攻擊、木馬攻擊、SQL注入、RPC調(diào)用、溢出攻擊等檢測，用戶也可以自定義安全行為特征，手動更新規(guī)則庫。

3.3.2 DDOS檢測

系統(tǒng)可檢測FLOOD攻擊、異常包攻擊，對產(chǎn)生的攻擊進行日志留存、告警處理，對于用戶重點關(guān)注的設(shè)備，如服務(wù)器、路由器等，如被DDOS攻擊，可直接查看當前的資源耗用情況。

3.4 通信行為分析

3.4.1 應(yīng)用監(jiān)控分析

系統(tǒng)支持對用戶指定的自定義應(yīng)用進行實時監(jiān)控和質(zhì)量分析。實時監(jiān)控界面中根據(jù)刷新頻率顯示應(yīng)用的實時數(shù)據(jù)、趨勢圖、TOP網(wǎng)段、TOP主機、警報日志和矩陣信息。質(zhì)量分析界面中顯示了選中時間段內(nèi)，該應(yīng)用的統(tǒng)計數(shù)據(jù)信息，統(tǒng)計視圖包括客戶端、服務(wù)器、網(wǎng)段統(tǒng)計、IP會話、TCP會話和警報日志。

3.4.2 應(yīng)用交互分析

系統(tǒng)支持對用戶指定的自定義應(yīng)用進行交互分析。通過應(yīng)用交互分析，可以直觀的看到該應(yīng)用交互處理數(shù)量、交互處理時間和交互窗臺趨勢圖，以及各種流量參數(shù)、會話參數(shù)、交互統(tǒng)計參數(shù)和交互日志等信息。

3.5 通信服務(wù)質(zhì)量實時監(jiān)控

可自動發(fā)現(xiàn)網(wǎng)絡(luò)設(shè)備，可對網(wǎng)絡(luò)設(shè)備進行分類，如交換機、路由器、服務(wù)器等，可針對客戶重點關(guān)注的網(wǎng)絡(luò)設(shè)備，如服務(wù)器、交換機等，實時監(jiān)控設(shè)備狀態(tài)，包括網(wǎng)絡(luò)設(shè)備的鏈路連接狀態(tài)、端口啟停、開啟服務(wù)、CPU、內(nèi)存、存儲、流量等狀態(tài)；系統(tǒng)可結(jié)合設(shè)備的相關(guān)告警信息進行整個設(shè)備的風險評估分析。

3.6 網(wǎng)絡(luò)信息審計

3.6.1 時間窗口

網(wǎng)絡(luò)流量趨勢可以直觀的反應(yīng)出網(wǎng)絡(luò)通訊的正常與否。系統(tǒng)以時間為單位，直觀的展現(xiàn)出該時段的流量趨勢，用戶可自由的放大或縮小時間窗口。系統(tǒng)提供4分鐘、20分鐘、1小時、4小時、10天等時間窗口供用戶選擇，配合時間選擇器的使用，快速檢索到異常數(shù)據(jù)。

3.6.2 數(shù)據(jù)存儲

系統(tǒng)最大支持萬兆處理性能，實現(xiàn)骨干鏈路大流量的線速分析能力。同時，系統(tǒng)支持多網(wǎng)卡捕捉，同時匯聚分析多路網(wǎng)絡(luò)流量。

系統(tǒng)具備長時間、大容量的數(shù)據(jù)存儲能力，能長期實時保存捕獲的原始數(shù)據(jù)包、數(shù)據(jù)流、網(wǎng)絡(luò)會話、應(yīng)用日志等各種統(tǒng)計數(shù)據(jù)。同時具備快速的數(shù)據(jù)檢索能力，能夠方便的對已發(fā)生的網(wǎng)絡(luò)行為、應(yīng)用數(shù)據(jù)和主機數(shù)據(jù)進行回溯分析，用戶可以隨時分類查看及調(diào)用任意時間段的數(shù)據(jù)。

當發(fā)現(xiàn)問題時，提供一定時間范圍內(nèi)的回溯分析，為迅速定位問題發(fā)生原因提供了更全面的分析依據(jù)，同時為網(wǎng)絡(luò)安全提供了強有力的數(shù)據(jù)分析保障。

?數(shù)據(jù)包存儲

數(shù)據(jù)包是網(wǎng)絡(luò)通訊最真實、最原始的數(shù)據(jù)，系統(tǒng)支持全千兆流量的數(shù)據(jù)包長期存儲功能，全面保存所有通訊的數(shù)據(jù)包。同時，系統(tǒng)具備靈活的擴展性，可以通過增加服務(wù)器的存儲空間以滿足存儲容量增加的需求。

?網(wǎng)絡(luò)會話存儲

網(wǎng)絡(luò)通訊會話是分析網(wǎng)絡(luò)問題的關(guān)鍵數(shù)據(jù)之一，通過對網(wǎng)絡(luò)會話的存儲，用戶可以查看和了解任意時間的網(wǎng)絡(luò)會話信息，及時發(fā)現(xiàn)異常的通訊會話，快速查找各種網(wǎng)絡(luò)問題。

?統(tǒng)計數(shù)據(jù)存儲

系統(tǒng)實時分析、統(tǒng)計和存儲各種網(wǎng)絡(luò)通訊數(shù)據(jù)，如協(xié)議統(tǒng)計、總流量、廣播/組播流量、上行/下行流量、數(shù)據(jù)包、利用率等多種網(wǎng)絡(luò)數(shù)據(jù)，幫助用戶快速了解和掌握網(wǎng)絡(luò)運行狀態(tài)，及時發(fā)現(xiàn)異常數(shù)據(jù)。

3.6.3 數(shù)據(jù)挖掘

系統(tǒng)支持快速、易用的數(shù)據(jù)挖掘功能，能引導(dǎo)用戶從不同的視角，不同的層次快速挖掘所需要的數(shù)據(jù)，使用戶在海量的網(wǎng)絡(luò)數(shù)據(jù)中快速查找到需要的數(shù)據(jù)。

?簡單易用的挖掘分析

?多角度，多層次的挖掘分析

3.6.4 專家分析

在數(shù)據(jù)挖掘過程中，可以對選取歷史時間段時所得到的數(shù)據(jù)，進行專家分析。數(shù)據(jù)包解碼精細分析提供詳細、直觀的數(shù)據(jù)包解碼分析視圖。為用戶判斷分析網(wǎng)絡(luò)問題和應(yīng)用問題提供最可靠的數(shù)據(jù)依據(jù)。

?數(shù)據(jù)流分析

?日志分析

?診斷

3.7 報表與告警

3.7.1 報表系統(tǒng)支持報表功能，系統(tǒng)提供的報表包括全局流量報表、流量報表、IP地址流量報表、IP地址應(yīng)用報表、MAC地址流量報表、應(yīng)用質(zhì)量分析報表、Top應(yīng)用報表、Top主機報表、Top內(nèi)網(wǎng)主機報表、Top網(wǎng)段報表、警報統(tǒng)計報表，支持的報表格式包括：Pdf、Excel、Csv、Html。

3.7.2 告警

系統(tǒng)可將異常流量告警、入侵檢測告警、DDOS攻擊告警、設(shè)備性能告警等信息通過多種方法外發(fā)，通知管理員。

告警方式包括：Syslog告警、SNMP Trap告警、郵件告警、防火墻聯(lián)動等。

4 創(chuàng)新研究與分析

4.1 歷史數(shù)據(jù)回溯

在傳統(tǒng)的網(wǎng)絡(luò)管理中，當網(wǎng)絡(luò)中發(fā)現(xiàn)問題或被報告出現(xiàn)問題時，由于沒有保存當時的數(shù)據(jù)，往往錯過了最佳分析時機，不能得到有效的分析數(shù)據(jù)。

網(wǎng)絡(luò)流量管理回溯分析系統(tǒng)有效的解決了這一問題。系統(tǒng)利用存儲的數(shù)據(jù)，能夠再現(xiàn)歷史故障現(xiàn)象，包括故障產(chǎn)生時相關(guān)的異常信息，對稍縱即逝的問題進行精細重現(xiàn)，幫助用戶快速發(fā)現(xiàn)并解決網(wǎng)絡(luò)問題。如關(guān)鍵網(wǎng)絡(luò)業(yè)務(wù)在某個時段間歇性出現(xiàn)問題時，可直接將該時段的通訊數(shù)據(jù)導(dǎo)出進行分析，快速分析定位問題產(chǎn)生的原因。

4.2 基線學習技術(shù)

系統(tǒng)可基于正常網(wǎng)絡(luò)流量進行基線自學習，學習出正常網(wǎng)絡(luò)情況下，單個主機被訪問的數(shù)據(jù)包個數(shù)速率、主機之間的數(shù)據(jù)包傳輸個數(shù)速率，該基線值可用于異常流量檢測、DDOS檢測等。

4.3 虛擬鏈路分析技術(shù)

系統(tǒng)支持創(chuàng)建虛擬鏈路。用戶可以根據(jù)需要創(chuàng)建VLAN類型或者MPLS VPN類型的虛擬鏈路。在創(chuàng)建虛擬鏈路時，同一條鏈路中的虛擬接口類型必須一致。

4.4 多段分析技術(shù)

多段分析是針對同一條會話在兩個或兩個以上采集點上獲得的數(shù)據(jù)進行對比和關(guān)聯(lián)分析，并提供直觀的分析界面，幫助用戶快速定位網(wǎng)絡(luò)中的故障點。

多段分析包括概要分析和詳細分析，在詳細分析界面中，還可以查看單個數(shù)據(jù)包的解碼信息。

參考文獻

[1]Flow-Scan網(wǎng)站:http://www.caida.org/tools/utilities/flowscan/.

[2]韓春靜,唐海娜,李俊.IP網(wǎng)絡(luò)協(xié)議分析儀的設(shè)計與實現(xiàn)[J].計算機工程與應(yīng)用,2005.

[3]宮一鳴.利用NetFlow在大規(guī)模網(wǎng)絡(luò)進行蠕蟲和網(wǎng)絡(luò)異常行為監(jiān)測[J].

[4]Lincoln D.Stein著.王超,劉云譯,Perl網(wǎng)絡(luò)編程[M].北京科海電子出版社,2002.