基于孤立森林算法的移動(dòng)警務(wù)網(wǎng)絡(luò)流量監(jiān)測(cè)方法研究

袁藝芳，李雁，陳緒，高永龍，席新

摘 ?要： 本文針對(duì)移動(dòng)警務(wù)網(wǎng)絡(luò)復(fù)雜多變、數(shù)據(jù)量大的特點(diǎn)，提出一種基于孤立森林算法的網(wǎng)絡(luò)流量監(jiān)測(cè)方法。該方法以網(wǎng)絡(luò)IP數(shù)據(jù)流為基礎(chǔ)，通過對(duì)IP數(shù)據(jù)流提取特征參數(shù)，并將特征參數(shù)作為輸入向量，利用孤立森林算法進(jìn)行訓(xùn)練以實(shí)現(xiàn)監(jiān)測(cè)。這種方法能夠快速、有效地檢測(cè)出移動(dòng)警務(wù)網(wǎng)絡(luò)中的異常流量，精確率高，在一定程度上對(duì)移動(dòng)警務(wù)網(wǎng)絡(luò)的智能運(yùn)維和安全防護(hù)起到重要作用。

關(guān)鍵詞： 孤立森林，算法，移動(dòng)警務(wù)，網(wǎng)絡(luò)，流量監(jiān)測(cè)

中圖分類號(hào)： TP391.0 ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ?DOI：10.3969/j.issn.1003-6970.2019.12.051

本文著錄格式：袁藝芳，李雁，陳緒，等. 基于孤立森林算法的移動(dòng)警務(wù)網(wǎng)絡(luò)流量監(jiān)測(cè)方法研究[J]. 軟件，2019，40（12）：229232

Research on Mobile Police Network Traffic Monitoring Method

Based on Isolated Forest Algorithm

YUAN Yi-fang1， LI Yan2， CHEN Xu2， GAO Yong-long2， XI Xin2

（1. Science and Technology Information Bureau of the Ministry of public security 100005， China;

2. Tianjin Public Security Bureau Science and Technology Information Office 300393， China）

【Abstract】： Mobile police network is complicated and changeable， and it has a very large amount of data to be handled. According to these characteristics， a network traffic monitoring method based on isolated forest algorithm is proposed in this paper. This method is based on the IP network data. Feature parameters are extracted for each IP data flow， and the feature parameters are taken as the input vectors for isolated forest algorithm to train isolated trees and achieve monitoring. This method can detect abnormal traffic in mobile police network quickly and effectively， which can play an important role in intelligent operation and security protection of mobile police network.

【Key words】： Isolated forest; Algorithm; Mobile police; Network; Traffic monitoring

0 ?引言

2002年以來(lái)，公安部對(duì)公安信息移動(dòng)接入及應(yīng)用系統(tǒng)安全建設(shè)進(jìn)行不斷完善，全國(guó)公安系統(tǒng)信息化得到了很大的提升。2017年初，天津市公安局新一代移動(dòng)警務(wù)系統(tǒng)開始建設(shè)，目前已建設(shè)完成投入運(yùn)行。新一代移動(dòng)警務(wù)平臺(tái)體系相對(duì)復(fù)雜、運(yùn)維成本高且難度大，平臺(tái)中一旦出現(xiàn)問題，往往需要大量的專業(yè)人員參與，協(xié)同診斷問題，耗時(shí)長(zhǎng)，代價(jià)高。為緩解以上問題，我們對(duì)移動(dòng)警務(wù)平臺(tái)中網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行分析，利用一種基于孤立森林算法的網(wǎng)絡(luò)流量監(jiān)測(cè)方法對(duì)網(wǎng)絡(luò)流量異常檢測(cè)。目的是可以及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)攻擊行為和網(wǎng)絡(luò)結(jié)構(gòu)問題引起的異常流量，從而增強(qiáng)網(wǎng)絡(luò)態(tài)勢(shì)感知能力和安全防護(hù)能力，對(duì)移動(dòng)警務(wù)平臺(tái)的智能化運(yùn)維有重要推進(jìn)作用。

網(wǎng)絡(luò)流量異常是指網(wǎng)絡(luò)的流量行為偏離正常行為的情形，引起的原因有網(wǎng)絡(luò)設(shè)備異常、網(wǎng)絡(luò)操作異常、閃現(xiàn)擁擠異常、網(wǎng)絡(luò)攻擊行為等。目前，國(guó)內(nèi)外學(xué)者已經(jīng)提出了多種網(wǎng)絡(luò)流量異常檢測(cè)方法，通?？煞譃榛诜诸悺⒒诮y(tǒng)計(jì)、基于聚類及基于信息論的網(wǎng)絡(luò)流量異常檢測(cè)方法等[1-4]。這些網(wǎng)絡(luò)流量異常檢測(cè)方法，通常首先需要對(duì)正常和異常的網(wǎng)絡(luò)行為、網(wǎng)絡(luò)流量模式分別進(jìn)行定義和分析，其次通過特征分析、數(shù)據(jù)建模等方式對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行檢測(cè)。大多方法局限性較強(qiáng)，對(duì)特定模式或者特定特征的網(wǎng)絡(luò)異常行為才有較好的檢測(cè)效果，而且前期數(shù)據(jù)分析和建模工作量大，部分方法復(fù)雜度也很高[5，6]。

移動(dòng)警務(wù)網(wǎng)絡(luò)復(fù)雜多變、數(shù)據(jù)量大，未知的網(wǎng)絡(luò)結(jié)構(gòu)或者網(wǎng)絡(luò)行為模式時(shí)有發(fā)生，而且在移動(dòng)警務(wù)網(wǎng)絡(luò)流量分析中異常流量具有隨機(jī)性、孤立性和稀疏性，因此獲取網(wǎng)絡(luò)異常流量的難度較大。因此很多情況需要在無(wú)監(jiān)督下進(jìn)行檢測(cè)，在執(zhí)行監(jiān)測(cè)任務(wù)中，對(duì)時(shí)效性要求往往也比較高，這進(jìn)一步對(duì)我們選擇的方法提出了更高的要求。孤立森林算法是一種基于集成的快速無(wú)監(jiān)督異常檢測(cè)方法，具有線性時(shí)間復(fù)雜度和高精準(zhǔn)度[7]。本文基于孤立森林算法提出了一種網(wǎng)絡(luò)流量監(jiān)測(cè)方法，可以快速、有效地進(jìn)行網(wǎng)絡(luò)流量異常檢測(cè)，對(duì)于未知網(wǎng)絡(luò)結(jié)構(gòu)或者網(wǎng)絡(luò)行為的情況有較好的檢測(cè)效果，可適用于移動(dòng)警務(wù)網(wǎng)絡(luò)流量監(jiān)測(cè)中。

1 ?孤立森林（iForest，Isolation Forest）算法原理

3.2 ?性能度量

由于實(shí)驗(yàn)使用的是移動(dòng)警務(wù)網(wǎng)絡(luò)的實(shí)際數(shù)據(jù)，數(shù)據(jù)量大，無(wú)法對(duì)數(shù)據(jù)進(jìn)行標(biāo)記，因而采用精確度（Precision）作為性能評(píng)估參數(shù)。精確度是指所有判斷為異常的樣本中，真正為異常的樣本所占的比例，即P=TP/（TP+FP）。其中TP為判斷為異常的異常樣本數(shù)，F(xiàn)P為判斷為異常的正常樣本數(shù)，（TP+FP）即為判斷為異常的樣本總數(shù)。

3.3 ?實(shí)驗(yàn)評(píng)估

在根據(jù)孤立森林算法訓(xùn)練階段步驟進(jìn)行訓(xùn)練時(shí)，構(gòu)建100棵樹，每棵樹的最大高度是8，使用有放回的抽樣構(gòu)造每一棵孤立樹，采樣數(shù)為256個(gè)樣本。訓(xùn)練完成后，對(duì)測(cè)試數(shù)據(jù)集進(jìn)行檢測(cè)，得到實(shí)驗(yàn)結(jié)果如表1所示。

表1 ?在五臺(tái)服務(wù)器上的實(shí)驗(yàn)結(jié)果

Tab.1 ?Experimental results on five servers

測(cè)試數(shù)據(jù)集 異常比例 精確度

1號(hào)服務(wù)器 0.88% 90.3%

2號(hào)服務(wù)器 0.83% 89.9%

3號(hào)服務(wù)器 0.76% 90.0%

4號(hào)服務(wù)器 0.97% 90.9%

5號(hào)服務(wù)器 0.51% 91.7%

平均值 0.79% 90.6%

表2中是抽取的異常流參數(shù)示例。與未判定為異常的數(shù)據(jù)比較，可以看出，得到的異常流基本上都是傳輸數(shù)據(jù)量大、持續(xù)時(shí)間長(zhǎng)、包重發(fā)數(shù)多的流。這與訓(xùn)練數(shù)據(jù)的構(gòu)成有關(guān)。在正常業(yè)務(wù)流中，這樣的流占極少數(shù)，因而被判定為異常。如表2所示。

表2 ?異常流參數(shù)示例

Tab.2 ?Exception flow parameter example

序號(hào) 1 2 3 4 5 6

包數(shù) 3910 632 2030 895 508 1991

平均包長(zhǎng) 1297.88 1232.72 1168.18 1062.48 843.44 1170.33

最大包長(zhǎng) 1500 1500 1500 1500 1500 1500

長(zhǎng)包數(shù) 3401 523 1611 671 362 1623

短包數(shù) 501 107 390 199 134 356

總延時(shí) 109937 109918 52729 52715 149829 149829

包最大延時(shí) 65001 65002 26107 26123 65015 64999

平均延時(shí) 28.12 174.20 25.99 58.97 295.52 75.29

長(zhǎng)延時(shí)包數(shù) 5 3 11 9 12 17

單向包數(shù) 532 110 448 256 216 439

包重發(fā)數(shù) 494 101 383 195 130 350

經(jīng)對(duì)檢測(cè)出的異常流數(shù)據(jù)查看分析，該算法在保持檢測(cè)精確度的情況下，也達(dá)到了較高的查全率，有較好的檢測(cè)效果。

4 ?結(jié)論

新一代移動(dòng)警務(wù)的網(wǎng)絡(luò)安全防護(hù)、態(tài)勢(shì)感知和智能運(yùn)維面臨著多方面的挑戰(zhàn)，大數(shù)據(jù)分析和人工智能的發(fā)展則為移動(dòng)警務(wù)網(wǎng)絡(luò)安全帶來(lái)更多的新技術(shù)、新方法，可以為移動(dòng)警務(wù)平臺(tái)的安全性和穩(wěn)定性起到重要支撐作用。本文提出了基于孤立森林算法的移動(dòng)警務(wù)網(wǎng)絡(luò)流量監(jiān)測(cè)方法，以對(duì)網(wǎng)絡(luò)IP數(shù)據(jù)流為基礎(chǔ)，通過IP數(shù)據(jù)流提取特征參數(shù)，利用孤立森林算法進(jìn)行訓(xùn)練以及異常檢測(cè)。該方法不需要預(yù)先進(jìn)行大量的數(shù)據(jù)分析和建模，能得到較高的檢測(cè)精確度和查全率，而且運(yùn)算速度快，能夠迅速、有效地檢測(cè)出移動(dòng)警務(wù)網(wǎng)絡(luò)中的異常流量，使異常流量能夠得到及時(shí)的回溯、定位和排查，為及時(shí)解決或預(yù)防網(wǎng)絡(luò)安全問題奠定基礎(chǔ)，為移動(dòng)警務(wù)網(wǎng)絡(luò)的智能運(yùn)維和安全防護(hù)提供支持。

參考文獻(xiàn)

[1]Monowar H. Bhuyan， D.K. Bhattacharyya， J.K. Kalita， A Multi-step Outlier-based Anomaly Detection Approach to Network-wide Traffic， Information Sciences[J]. 2016 Volume 348， 20 June 2016， Pages 243-271.

[2]Hamamoto， Anderson Hiroshi， Carvalho， Luiz Fernando， Sampaio， Lucas Dias Hiera. Network Anomaly Detection System using Genetic Algorithm and Fuzzy Logic， Expert Systems with Applications[J]. Volume 92， February 2018， Pages 390-402.

[3]王偉. 基于深度學(xué)習(xí)的網(wǎng)絡(luò)流量分類及異常檢測(cè)方法研究[D]. 北京： 中國(guó)科學(xué)技術(shù)大學(xué)， 2018年.

[4]M Ahmed， AN Mahmood， J Hu. A survey of network anomaly detection techniques， Journal of Network & Computer Applications[J]. Volume 60， January 2016， Pages 19-31.

[5]Hamamoto， Anderson Hiroshi， Carvalho， Luiz Fernando， Sampaio， Lucas Dias Hiera.Network Anomaly Detection System using Genetic Algorithm and Fuzzy Logic， Expert Systems with Applications[J]. Volume 92， February 2018， Pages 390-402.

[6]Hui Xia， Bin Fang， Matthew Roughan， Kenjiro Cho， Paul Tune. A Basis Evolution framework for network traffic anomaly detection， Computer Networks[J]. 2018 （135）， Pages 15-31.

[7]劉高. 基于Spark的孤立森林算法并行化研究[D]. 武漢： 華中科技大學(xué)， 2018.

[8]Fei Tony Liu ， Kai Ming Ting ， Zhi-Hua Zhou， Isolation Forest， Proceedings of the 2008 Eighth IEEE International Conference on Data Mining [C]. 2008， Pages 413-422.

[9]Fei Tony Liu， Kai Ming Ting， Zhi-Hua Zhou. Isolation-based Anomaly Detection. ACM Transactions on Knowledge Discovery from Data （TKDD） [C]. 2012， 6（1）： Article 3.

[10]張曉宇.基于流被動(dòng)測(cè)量的時(shí)間測(cè)度的研究[D]. 南京： 東南大學(xué)， 2009.

[11]朱河清， 梁存銘， 胡雪焜. 深入淺出DPDK [M]. 北京機(jī)械工業(yè)出版社. 2016年.Pages 30-49.

[12]石金龍， 孫翼. 基于Libnids庫(kù)的Internet網(wǎng)絡(luò)協(xié)議還原系統(tǒng)研究. 電子技術(shù)[J]. 2014， 13-19.Pages 13-19.