基于堆疊條形圖和平行坐標(biāo)的網(wǎng)絡(luò)數(shù)據(jù)安全可視化分析方法研究

趙立軍1，張健2

(1. 裝備學(xué)院 信息裝備系，北京 101416；2. 裝備學(xué)院 研究生管理大隊(duì)，北京 101416)

摘要針對網(wǎng)絡(luò)安全數(shù)據(jù)海量、高維、異構(gòu)的特點(diǎn)，對安全可視化分析方法進(jìn)行了研究。為了提高用戶分析的效率和理解數(shù)據(jù)的能力，提出了基于熵的堆疊條形圖設(shè)計(jì)方法和基于平行坐標(biāo)的安全可視化方法。該方法把總圖瀏覽和細(xì)節(jié)分析相結(jié)合，降低了分析人員的認(rèn)知困難。實(shí)驗(yàn)表明該方法對分析網(wǎng)絡(luò)安全數(shù)據(jù)有效。

關(guān)鍵詞網(wǎng)絡(luò)安全；可視分析；熵；堆疊條形圖；平行坐標(biāo)

收稿日期2015-01-27

基金項(xiàng)目部委級資助項(xiàng)目

作者簡介趙立軍(1967-)，男，副教授，博士，主要研究方向?yàn)樾畔踩?。zlj0908@sina.com

中圖分類號TP391

文章編號2095-3828(2015)05-0086-05

DOI文獻(xiàn)標(biāo)志碼A 10.3783/j.issn.2095-3828.2015.05.019

Study on Network Data Security Visualization Based on

Stacked Bar Chart and Parallel Coordinates

ZHAO Lijun1，ZHANG Jian2

(1. Department of Information Equipment, Equipment Academy, Beijing 101416, China；

2. Department of Graduate Management, Equipment Academy, Beijing 101416, China)

AbstractIn the field of network security, data has characteristics as isomerism, magnanimity and high-dimension. Therefore the paper researches the method of security visualization analysis. To improve analytical efficiency and capacity of data understanding, the paper brings out a new method called stacked bar chart based on entropy and a method of security visualization based on parallel coordinates. The method combines overview with detail which can reduce cognitive difficulty. Experiments show the effectiveness of these methods in analyzing network security data.

Keywordsnetwork security; visual analysis; entropy; stacked bar chart; parallel coordinates

網(wǎng)絡(luò)安全問題日益受到人們的關(guān)注。在網(wǎng)絡(luò)運(yùn)行和維護(hù)過程中，產(chǎn)生了海量的網(wǎng)絡(luò)流量和日志數(shù)據(jù)。然而在海量數(shù)據(jù)中檢測異常是一件十分復(fù)雜的工作?？梢暦治隹梢酝ㄟ^人機(jī)交互及可視化技術(shù)協(xié)助安全分析人員快速發(fā)現(xiàn)異常，減少分析過程中的工作量。

網(wǎng)絡(luò)安全可視化越來越引起人們的重視。自2004年開始的網(wǎng)絡(luò)安全可視化國際會議推動了該領(lǐng)域的快速發(fā)展。IEEE Visualization 舉辦的可視分析挑戰(zhàn)賽VAST Challenge，2011—2014年的競賽數(shù)據(jù)都包含網(wǎng)絡(luò)安全分析。國內(nèi)清華、北大、浙大和中南大學(xué)都展開了針對網(wǎng)絡(luò)安全的可視分析。趙穎[1]848-857結(jié)合雷達(dá)圖和堆疊流圖提出了協(xié)同分析網(wǎng)絡(luò)流量的方法；陳思明[2]提出了在線協(xié)作分析網(wǎng)絡(luò)安全的設(shè)計(jì)方法，引入了可視化隱喻“連接河流(Connection River)”以及“環(huán)圖(Ring Graph)”。McPherson[3]提出的方法PortVis和趙穎[4]提出的方法PortMatrix用散點(diǎn)或者矩陣網(wǎng)格的方式分別對端口號及對應(yīng)的流量進(jìn)行了可視化，直觀地展現(xiàn)端口和流量的關(guān)系，方便分析人員快速發(fā)現(xiàn)流量異常的端口。

雖然入侵檢測系統(tǒng)可以幫助人們分析安全數(shù)據(jù)，但大量的研究人員將精力放在了如何使檢測更加準(zhǔn)確和全面上，而對如何讓用戶能更加準(zhǔn)確地“讀懂”入侵檢測系統(tǒng)傳遞的信息，做的顯然還不夠，這樣不可避免地使用戶感到看不懂入侵檢測系統(tǒng)的報(bào)警信息。常規(guī)的網(wǎng)絡(luò)管理和流量監(jiān)控手段通常僅能夠看到流量異常突發(fā)的現(xiàn)象，卻不能夠讓管理人員深入分析異常流量產(chǎn)生的原因，無法了解異常流量是哪些IP地址造成的，是否是惡意攻擊行為，異常流量的行為特點(diǎn)、傳輸內(nèi)容、對網(wǎng)絡(luò)和業(yè)務(wù)有多大影響等，導(dǎo)致難以采用正確的處理措施。本文在現(xiàn)有研究的基礎(chǔ)上，設(shè)計(jì)了面向網(wǎng)絡(luò)安全數(shù)據(jù)的可視分析平臺。在數(shù)據(jù)分析過程中，融入圖形圖像，借助人腦對可視化結(jié)果的直觀感知和主動認(rèn)知能力，采用“總圖+細(xì)節(jié)(overview+detail)”模式，使分析人員既能快速讀懂?dāng)?shù)據(jù)，又能進(jìn)行深入分析，從而降低認(rèn)知困難，達(dá)到快速識別異常、發(fā)現(xiàn)攻擊模式的目的。

1基于熵的堆疊條形圖設(shè)計(jì)

在可視化網(wǎng)絡(luò)安全數(shù)據(jù)時(shí)，急需了解當(dāng)前網(wǎng)絡(luò)的狀況，如每秒鐘發(fā)送的數(shù)據(jù)、TCP、UDP、ICMP和其他協(xié)議的發(fā)包速率、流量速率以及流速率(一個(gè)流表示使用相同源地址、目的地址、源端口、目的端口的一系列數(shù)據(jù)包)。而僅依靠分析人員從原始數(shù)據(jù)中篩選或者通過簡單圖表反映數(shù)據(jù)則費(fèi)時(shí)費(fèi)力，很多信息不能直觀表達(dá)。

信息熵能有效反應(yīng)通信中消息的信息量，還能反映系統(tǒng)不確定程度，可用于檢測大規(guī)模網(wǎng)絡(luò)流量DDoS攻擊[5]，易于刻畫網(wǎng)絡(luò)的整體態(tài)勢信息。某一維度的信息熵大小能反映該維度的集中和離散情況。對于DDoS攻擊，統(tǒng)計(jì)時(shí)間段內(nèi)的目的端口熵較小，源端口熵較大，對應(yīng)著目的端口較為集中，源端口數(shù)量巨大，符合DDoS攻擊的特征。對于掃描攻擊，統(tǒng)計(jì)時(shí)間段內(nèi)的目的端口熵和目的IP熵較大，而源端口熵和源IP熵較小，對應(yīng)著少量主機(jī)的少量端口對網(wǎng)絡(luò)的主機(jī)及端口進(jìn)行掃描，以獲取被掃描對象的狀態(tài)，為后續(xù)攻擊收集信息。

堆疊條形圖充分利用了條形圖直觀和對比性強(qiáng)的特點(diǎn)。Abdullah[6]借助堆疊條形圖可視化主機(jī)活動，取得了很好的效果。趙穎[1]853-854借助河流這一可視化隱喻，利用堆疊流圖對局域網(wǎng)活動狀況進(jìn)行了可視化，其思想來源于堆疊條形圖。

本文將熵和條形圖相結(jié)合，首先對數(shù)據(jù)進(jìn)行采樣融合，提取出八元組(timeSeconds、ipLayerProtocol、firstSeenSrcIp、firstSeenDestIp、firstSeenSrcPort、firstSeenDestPort、packetCount、bytesCount)，八元組中元素分別是Unix時(shí)間、IP層協(xié)議、源IP地址、目的IP地址、源端口號、目的端口號、包數(shù)量、字節(jié)數(shù)。熵按下式定義為

(1)

式中：H(x)代表熵；n代表統(tǒng)計(jì)時(shí)間段內(nèi)的總記錄數(shù)；xi代表不同IP地址或者端口號的數(shù)量；N代表IP地址或者端口號的種類數(shù)。

設(shè)定一定的間隔時(shí)間，本文中設(shè)定30 s的統(tǒng)計(jì)時(shí)間間隔。在該時(shí)間段內(nèi)，分別統(tǒng)計(jì)IP地址或者端口的種類及每個(gè)種類的數(shù)量，并按照式(1)計(jì)算H(x)，再對H(x)根據(jù)其大小轉(zhuǎn)換到合適的區(qū)間內(nèi)，以對應(yīng)條形圖的高度，最后以x軸為基準(zhǔn)向y軸堆疊，形成如圖1所示的堆疊條形圖。

圖1　基于熵的堆疊條形圖

如圖1，統(tǒng)計(jì)時(shí)間間隔為2013-04-06-T06:00:00/2013-04-06-T07:00:00。年月日顯示在界面最上方，具體的小時(shí)和分鐘顯示在中間的時(shí)間線位置處。時(shí)間線上方是堆疊條形圖，從下往上分別代表源IP熵、目的IP熵、源端口熵、目的端口熵。堆疊條形圖既可以觀察單一統(tǒng)計(jì)變量隨時(shí)間變化的趨勢，也可以展示堆疊變量的總趨勢和各變量之間的差異性；時(shí)間線下方默認(rèn)顯示的是發(fā)包速率，當(dāng)超過設(shè)定閾值時(shí)，條形圖被置為紅色，代表發(fā)包速率超過警戒，若速率未超過閾值則如圖顯示為黃色。界面左方設(shè)計(jì)FlowRate和ConCount選項(xiàng)，可分別顯示流速率和連接數(shù)量。左上方設(shè)計(jì)協(xié)議類型選項(xiàng)，默認(rèn)顯示的是TCP協(xié)議。在時(shí)間線上，可用鼠標(biāo)框選出更小的時(shí)間段，以便于在平行坐標(biāo)中進(jìn)行更細(xì)致的觀察。

基于熵的堆疊條形圖給安全分析人員提供了一種以“總圖”的方式分析數(shù)據(jù)的方法，通過該方法，管理員可以拖動時(shí)間窗格，以瀏覽圖片的方式觀察數(shù)據(jù)，并可框選時(shí)間線上受關(guān)注的時(shí)間段，為進(jìn)一步分析受關(guān)注數(shù)據(jù)提供了有力的支持。

2基于平行坐標(biāo)的安全可視化方法

上節(jié)介紹的堆疊條形圖對掌握局域網(wǎng)總體狀況有作用，本節(jié)借助平行坐標(biāo)進(jìn)一步深入分析所關(guān)注的數(shù)據(jù)。平行坐標(biāo)作為傳統(tǒng)的最為廣泛使用和研究的可視化方法之一，有著很好的可視化效果[7]。平行坐標(biāo)的原理是將高維數(shù)據(jù)進(jìn)行預(yù)處理，提取感興趣的維度，每個(gè)維度對應(yīng)平行坐標(biāo)的一個(gè)軸，數(shù)據(jù)在平行坐標(biāo)中繪制成一條折線。袁曉如[8]把平行坐標(biāo)和聚類相結(jié)合，在顯示數(shù)據(jù)時(shí)先進(jìn)行聚類，解決了可視化大數(shù)據(jù)時(shí)數(shù)據(jù)混亂的問題；翟旭君[9]在平行坐標(biāo)中應(yīng)用了分層平行坐標(biāo)的概念，先利用分層聚類算法構(gòu)造分層聚類樹，對數(shù)據(jù)進(jìn)行多種層次的顯示，同樣解決了平行坐標(biāo)數(shù)據(jù)混亂的缺點(diǎn)。他們都在可視化數(shù)據(jù)細(xì)節(jié)方面取得了良好的效果。

在網(wǎng)絡(luò)安全數(shù)據(jù)可視化中，掌握網(wǎng)絡(luò)的細(xì)節(jié)信息以追蹤威脅的來源極其重要，如什么協(xié)議侵占了帶寬，哪個(gè)端口的流量較大，是否存在病毒等，如震蕩波病毒會同時(shí)向隨機(jī)生成的多個(gè)IP發(fā)起445端口的TCP連接請求；紅色代碼病毒具有目的端口80，協(xié)議類型80，包數(shù)量3，字節(jié)數(shù)144的特點(diǎn)。

為解決上述問題，利用平行坐標(biāo)易于顯示細(xì)節(jié)信息的特點(diǎn)，根據(jù)上節(jié)中給出的八元組定義，再把IP地址拆分成四元數(shù)組，IP地址的每個(gè)字段單獨(dú)作為平行坐標(biāo)的一個(gè)軸來顯示，其處理方式跟普通數(shù)據(jù)一樣。最終顯示如圖2所示。

圖2　利用平行坐標(biāo)對網(wǎng)絡(luò)安全數(shù)據(jù)的可視化

時(shí)間放在源端口號和目的端口號之間，有利于觀察和選擇重點(diǎn)關(guān)注的時(shí)間段。對IP地址的可視化采用了把IP地址拆分成一個(gè)四元數(shù)組然后分別在平行坐標(biāo)上顯示的方式。每個(gè)維度的數(shù)據(jù)按照大小映射到每個(gè)平行軸相應(yīng)的坐標(biāo)，連接點(diǎn)便形成了一個(gè)數(shù)據(jù)記錄的折線。在交互設(shè)計(jì)中，加入了刷技術(shù)，在平行坐標(biāo)軸上拖動選中一個(gè)數(shù)據(jù)段，可以把落在選中區(qū)域的折線進(jìn)行高亮顯示，把未選中的折線當(dāng)作背景，高亮顯示的數(shù)據(jù)記錄會在控制臺中進(jìn)行詳細(xì)顯示；每個(gè)坐標(biāo)軸的頂部設(shè)計(jì)一個(gè)三角形，可以對該平行坐標(biāo)軸進(jìn)行從大到小或者從小到大排序；在平行坐標(biāo)軸的底部設(shè)計(jì)一個(gè)移動圖標(biāo)，向左或向右拖動該平行坐標(biāo)軸，可以改變平行坐標(biāo)的間隔和排序，以觀察相關(guān)度較高的平行坐標(biāo)數(shù)據(jù)之間的關(guān)系。

3實(shí)驗(yàn)驗(yàn)證

3.1實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)環(huán)境基于Microsoft Windows 7平臺，在Processing開發(fā)環(huán)境中編寫實(shí)現(xiàn)。Processing開源編程語言和集成開發(fā)環(huán)境是由美國麻省理工學(xué)院媒體實(shí)驗(yàn)室成員Casey Reas與Ben Fry創(chuàng)作。設(shè)計(jì)的目的是在電子藝術(shù)的環(huán)境下介紹程序語言，并以可視化的方式介紹給程序編程人員[10]。Processing作為前端顯示界面，后臺使用MySQL 5.6數(shù)據(jù)庫存儲數(shù)據(jù)。數(shù)據(jù)集是可視分析挑戰(zhàn)賽VAST Challenge 2013 中關(guān)于網(wǎng)絡(luò)安全數(shù)據(jù)的競賽數(shù)據(jù)。該數(shù)據(jù)集是模擬國際跨國公司內(nèi)部局域網(wǎng)2周的運(yùn)維日志數(shù)據(jù)，分別是流量數(shù)據(jù)Netflow、防火墻數(shù)據(jù)以及主機(jī)狀態(tài)監(jiān)控?cái)?shù)據(jù)bigbrother。數(shù)據(jù)txt文件存儲，總共10 G大小，9 000萬條記錄。

3.2數(shù)據(jù)處理

網(wǎng)絡(luò)數(shù)據(jù)種類很多，主要有流量監(jiān)控?cái)?shù)據(jù)、狀態(tài)監(jiān)控?cái)?shù)據(jù)和事件監(jiān)控?cái)?shù)據(jù)[11]。本文主要用流量數(shù)據(jù)Netflow來驗(yàn)證可視化的有效性。由于數(shù)據(jù)記錄了局域網(wǎng)中所有的行為，1 s的數(shù)據(jù)量很大，所以本實(shí)驗(yàn)通過10∶1采樣，既減少了數(shù)據(jù)量，又不影響對網(wǎng)絡(luò)狀況的可視化。為簡單起見，選擇剔除缺失維度所對應(yīng)記錄的方法，因數(shù)據(jù)量大，并不影響原始數(shù)據(jù)的真實(shí)性。在平行坐標(biāo)中把IP地址拆分成一個(gè)四元數(shù)組，并在數(shù)據(jù)組記錄分隔點(diǎn)的位置，方便在顯示IP地址時(shí)進(jìn)行恢復(fù)。

3.3實(shí)例分析

實(shí)例1通過時(shí)間窗以瀏覽的方式選擇顯示的時(shí)間段，如圖3所示。選擇2013-04-06-T 11:00:00/2013-04-06-T12:00:00 共60 min的時(shí)間段，發(fā)現(xiàn)堆疊條形圖目的端口熵較大，意味著目的端口較多。

通過框選30~40 min之間的一段時(shí)間，在平行坐標(biāo)中可以發(fā)現(xiàn)少量的源IP和源端口對應(yīng)著較多的目的IP和目的端口，懷疑存在掃描攻擊。在平行坐標(biāo)軸上拖動鼠標(biāo)選擇DIP4底端的區(qū)域在控制臺顯示出來，發(fā)現(xiàn)源IP地址10.0.0.14通過80端口對局域網(wǎng)的主機(jī)進(jìn)行了掃描。再通過查詢原始數(shù)據(jù)發(fā)現(xiàn)，在6日11時(shí)至12時(shí)之間有大概21萬條數(shù)據(jù)記錄，確定此時(shí)發(fā)生了較為嚴(yán)重的掃描攻擊。

圖3　掃描攻擊的可視化

實(shí)例2如圖4所示，從堆疊條形圖可以看出源端口熵較大，目的端口熵較小，說明源端口種類較多，目的端口較為集中，并且二者相比有明顯的差距；在時(shí)間線下方包速率條形圖上可以看出，大部分時(shí)間間隔內(nèi)的數(shù)據(jù)都超過了閾值，說明發(fā)包速率較大。選中一定時(shí)間段，在平行坐標(biāo)中進(jìn)行顯示，發(fā)現(xiàn)源IP地址和源端口較為分散，而目的端口和目的IP較為集中，懷疑發(fā)生了DDoS攻擊。通過選中平行坐標(biāo)的一段時(shí)間在控制臺中顯示，發(fā)現(xiàn)大量IP地址通過不同端口對局域網(wǎng)主機(jī)的80端口進(jìn)行了攻擊。通過查詢原始數(shù)據(jù)發(fā)現(xiàn)，在4月2日5時(shí)至6時(shí)的時(shí)間里，有大約53萬條數(shù)據(jù)記錄，大量主機(jī)通過不同端口實(shí)施了DDoS攻擊。

圖4　DDoS攻擊的可視化

4結(jié) 束 語

本文提出的基于熵的堆疊條形圖設(shè)計(jì)方法和基于平行坐標(biāo)的可視分析方法，對協(xié)助網(wǎng)絡(luò)安全分析人員在分析海量數(shù)據(jù)時(shí)提供了一種有效的方法。在快速發(fā)現(xiàn)和分析異常、對局域網(wǎng)進(jìn)行“總圖+細(xì)節(jié)”2個(gè)層級的分析上具有較大優(yōu)勢，能夠達(dá)到快速定位并能深入分析異常的目的。但是由于Processing在進(jìn)行顯示時(shí)需要不停地刷新，導(dǎo)致程序不停地從數(shù)據(jù)庫中讀取數(shù)據(jù)，使系統(tǒng)計(jì)算速度和交互上有一定欠缺，因此難以滿足實(shí)時(shí)處理的要求，需要在后續(xù)工作中進(jìn)行完善。

參考文獻(xiàn)(References)

[1]趙穎，樊曉平，周芳芳,等.大規(guī)模網(wǎng)絡(luò)安全數(shù)據(jù)協(xié)同可視分析方法研究[J].計(jì)算機(jī)科學(xué)與探索，2014，8(7):848-857.

[2]CHEN S M，GUO C，YUAN X R，et al.OCEANS：online collaborative explorative analysis on network security[C]//Proceedings of the Eleventh Workshop on Visualization for Cyber Security.New York:ACM，2014：1-8.

[3]MCPHERSON J，MA K L，KRYSTOSK P，et al.PortVis：a tool for port-based detection of security events [C]//Proceedings of the 2004 ACM Workshop on Visualization and Data Mining for Computer Security.New York:ACM，2004：73-81.

[4]ZHAO Y，LIANG X，WANG Y，et al.MVSec：a novel multi-view visualization system for network security[C]//Proceedings of Visual Analytics Science and Technology.Los.Alamitos：IEEE Computer Society Press,2013:7-8

[5]趙慧明，劉衛(wèi)國.基于信息熵聚類的DDoS 檢測算法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2010，19 (12):164-167.

[6]ABDULLAH K，LEE C，CONTI G，et al.Visualizing network data for intrusion detection[C] //Proceedings from the 6th Annual IEEE SMC Information Assurance Workshop,(IAW'05).Piscataway，NJ，USA：IEEE，2005：100-108.

[7]袁曉如，張昕，肖何,等.可視化研究前沿及展望[J].科研信息化技術(shù)與應(yīng)用，2011，2(4)：3-13.

[8]YUAN X Y，GUO P，XIAO H，et al.Scattering points in parallel coordinates[J].IEEE Transactions on Visualization and Computer Graphics，2009，15(6)：1001-1008.

[9]翟旭君，李春平.平行坐標(biāo)及其在聚類分析中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用研究,2005,22(8):1-3.

[10]REAS C,FRY B.Processing：a programming handbook for visual designers and artists[M].Boston,USA:MIT Press,2007:1-2.

[11]趙穎,樊曉平,周芳芳,等.網(wǎng)絡(luò)安全數(shù)據(jù)可視化綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2014，26(5)：687-697.

(編輯：李江濤)