馮文博　洪征　吳禮發(fā)　付夢(mèng)琳

摘 要：網(wǎng)絡(luò)流量的協(xié)議類(lèi)型識(shí)別是進(jìn)行協(xié)議分析和網(wǎng)絡(luò)管理的前提，為此研究綜述了網(wǎng)絡(luò)協(xié)議識(shí)別技術(shù)。首先，描述了網(wǎng)絡(luò)協(xié)議識(shí)別的目標(biāo)，分析了協(xié)議識(shí)別的一般流程，探討了協(xié)議識(shí)別的現(xiàn)實(shí)需求，給出了評(píng)估協(xié)議識(shí)別方法的標(biāo)準(zhǔn);然后，從基于數(shù)據(jù)包的協(xié)議識(shí)別和基于數(shù)據(jù)流的協(xié)議識(shí)別兩個(gè)類(lèi)別分析了網(wǎng)絡(luò)協(xié)議技術(shù)的研究現(xiàn)狀，并對(duì)協(xié)議識(shí)別的各類(lèi)技術(shù)進(jìn)行了比較分析;最后，針對(duì)目前協(xié)議識(shí)別方法的缺陷和應(yīng)用需求，對(duì)協(xié)議識(shí)別技術(shù)的研究趨勢(shì)進(jìn)行了展望。

關(guān)鍵詞：應(yīng)用層協(xié)議;網(wǎng)絡(luò)流量;協(xié)議識(shí)別;特征工程;網(wǎng)絡(luò)管理

中圖分類(lèi)號(hào)： TP393.02計(jì)算機(jī)網(wǎng)絡(luò)與結(jié)果文獻(xiàn)標(biāo)志碼：A

Review of network protocol recognition techniques

FENG Wenbo1， HONG Zheng1*， WU Lifa2， FU Menglin1

（1. College of Command and Control Engineering， Army Engineering University of PLA， Nanjing Jiangsu 210007， China;

2. College of Computer Science and Technology， Nanjing University of Posts and Telecommunications， Nanjing Jiangsu 210023， China）

Abstract： Since the protocol classification of network traffic is a prerequisite for protocol analysis and network management， the network protocol recognition techniques were researched and reviewed. Firstly， the target of network protocol recognition was described， and the general process of protocol recognition was analyzed. The practical requirements for protocol recognition were discussed， and the criteria for evaluating protocol recognition methods were given. Then， the research status of network protocol techniques was summarized from two categories： packet-based protocol recognition methods and flow-based protocol recognition methods， and the variety of techniques used for protocol recognition were analyzed and compared. Finally， with the defects of current protocol recognition methods and the practical application requirements considered， the research trend of protocol recognition techniques was forecasted.

Key words： application-level protocol; network traffic; protocol recognition; feature engineering; network management

0 引言

網(wǎng)絡(luò)協(xié)議是通信實(shí)體在互聯(lián)網(wǎng)環(huán)境中進(jìn)行數(shù)據(jù)交換的基礎(chǔ)，是計(jì)算機(jī)網(wǎng)絡(luò)及數(shù)據(jù)通信不可缺少的組成成分。網(wǎng)絡(luò)協(xié)議描述了特定網(wǎng)絡(luò)環(huán)境下通信設(shè)備之間的通信過(guò)程，規(guī)定了通信報(bào)文的格式、處理方式和交互時(shí)序，其質(zhì)量關(guān)乎網(wǎng)絡(luò)通信的安全性、可靠性和穩(wěn)定性。常用的協(xié)議解析工具如Wireshark等[1]根據(jù)協(xié)議規(guī)范可以對(duì)協(xié)議實(shí)現(xiàn)快速準(zhǔn)確識(shí)別。

網(wǎng)絡(luò)協(xié)議識(shí)別是指通過(guò)人工或自動(dòng)化手段分析網(wǎng)絡(luò)協(xié)議或者應(yīng)用所產(chǎn)生的網(wǎng)絡(luò)流量，提取出能夠標(biāo)識(shí)網(wǎng)絡(luò)協(xié)議的關(guān)鍵特征，然后以這些特征為基礎(chǔ)標(biāo)識(shí)網(wǎng)絡(luò)流量所隸屬的應(yīng)用層協(xié)議[2]。網(wǎng)絡(luò)協(xié)議識(shí)別技術(shù)是管理和優(yōu)化網(wǎng)絡(luò)資源的重要基礎(chǔ)，能夠?qū)W(wǎng)絡(luò)流量的組成進(jìn)行精確分析，為網(wǎng)絡(luò)管理與維護(hù)、網(wǎng)絡(luò)內(nèi)容審計(jì)、網(wǎng)絡(luò)安全防御等多個(gè)研究領(lǐng)域提供技術(shù)支撐。隨著網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大、網(wǎng)絡(luò)應(yīng)用種類(lèi)的迅速增加，對(duì)網(wǎng)絡(luò)協(xié)議識(shí)別的效率和準(zhǔn)確性的要求越來(lái)越高，研究能夠提高協(xié)議識(shí)別準(zhǔn)確率和自動(dòng)化程度的方法具有重要的現(xiàn)實(shí)意義。

1 問(wèn)題描述與定義

網(wǎng)絡(luò)協(xié)議識(shí)別技術(shù)的研究主要從序列載荷的內(nèi)容特征和通信行為的外部特征兩個(gè)方面展開(kāi)?；谛蛄休d荷內(nèi)容特征的協(xié)議識(shí)別可以理解為微觀、具體的方法。這類(lèi)方法需要了解各層協(xié)議數(shù)據(jù)單元的字段結(jié)構(gòu)和字節(jié)取值分布，如采用傳輸控制協(xié)議（Transmission Control Protocol， TCP）層的端口信息進(jìn)行協(xié)議區(qū)分，基于特定協(xié)議字段的取值進(jìn)行協(xié)議區(qū)分?；谕ㄐ判袨橥獠刻卣鞯膮f(xié)議識(shí)別可以視為宏觀、抽象的方法。不同協(xié)議通常具有不同的傳輸特性和不同的統(tǒng)計(jì)分布規(guī)律，可以依據(jù)協(xié)議的各種宏觀統(tǒng)計(jì)信息來(lái)推斷流量所屬的網(wǎng)絡(luò)協(xié)議。為了剖析網(wǎng)絡(luò)協(xié)議識(shí)別的本質(zhì)，分析現(xiàn)有方法的優(yōu)勢(shì)與不足，本文將首先論述協(xié)議識(shí)別目標(biāo)、協(xié)議識(shí)別需求和主要判別指標(biāo)三方面的基礎(chǔ)內(nèi)容。

1.1 協(xié)議識(shí)別目標(biāo)

協(xié)議實(shí)體的通信通常是一個(gè)復(fù)雜的交互過(guò)程。出于簡(jiǎn)單化處理的考慮，協(xié)議設(shè)計(jì)時(shí)通常采用分層思想，將不同的通信功能在不同層次上實(shí)現(xiàn)。

TCP/IP協(xié)議族是使用最為廣泛的四層協(xié)議系統(tǒng)，其層次系統(tǒng)自下而上分為：鏈路層、網(wǎng)絡(luò)層、傳輸層和應(yīng)用層。鏈路層負(fù)責(zé)處理與傳輸媒介相關(guān)的問(wèn)題;網(wǎng)絡(luò)層負(fù)責(zé)處理分組在網(wǎng)絡(luò)中傳輸;傳輸層為兩個(gè)傳輸節(jié)點(diǎn)提供端到端通信;應(yīng)用層負(fù)責(zé)處理特定應(yīng)用程序與用戶的交互細(xì)節(jié)。鏈路層、網(wǎng)絡(luò)層和傳輸層都定義了各自的協(xié)議格式，根據(jù)RFC（Request For Comments）文檔便可以分析通信過(guò)程。而應(yīng)用層協(xié)議是根據(jù)應(yīng)用需求進(jìn)行定制，種類(lèi)繁多。區(qū)分應(yīng)用層協(xié)議是網(wǎng)絡(luò)協(xié)議識(shí)別的主要目標(biāo)。

網(wǎng)絡(luò)協(xié)議識(shí)別往往會(huì)以協(xié)議的分層為基礎(chǔ)，首先依據(jù)協(xié)議解析工具識(shí)別出幀頭格式，如以太網(wǎng)幀、點(diǎn)對(duì)點(diǎn)協(xié)議（Point to Point Protocol， PPP）幀，確定數(shù)據(jù)包中的網(wǎng)絡(luò)層首部和傳輸層首部，進(jìn)而提取出應(yīng)用層協(xié)議數(shù)據(jù)進(jìn)行分析。

網(wǎng)絡(luò)協(xié)議識(shí)別需要將連續(xù)的網(wǎng)絡(luò)流量按照一定粒度進(jìn)行劃分，常見(jiàn)的粒度包括Bit-level、Packet-level、Flow-level、Stream-level四類(lèi)。Bit-level關(guān)注網(wǎng)絡(luò)流量的內(nèi)容特征，從比特流中挖掘用于區(qū)分協(xié)議的特征序列，適用于無(wú)任何先驗(yàn)知識(shí)下的網(wǎng)絡(luò)協(xié)議識(shí)別。Packet-level關(guān)注數(shù)據(jù)包的內(nèi)容特征及其交互行為，如數(shù)據(jù)包內(nèi)容、大小分布、時(shí)間間隔等，適用于早期的互聯(lián)網(wǎng)流量的協(xié)議識(shí)別，現(xiàn)在多作為網(wǎng)絡(luò)協(xié)議識(shí)別的輔助分析手段。Flow-level關(guān)注數(shù)據(jù)流的內(nèi)容特征與交互行為，如數(shù)據(jù)流內(nèi)容、大小分布、到達(dá)時(shí)間等，這種以流為單位分析網(wǎng)絡(luò)傳輸數(shù)據(jù)的方法目前使用最為廣泛。Stream-level關(guān)注通信主機(jī)交互產(chǎn)生的流量，通過(guò)長(zhǎng)期收集來(lái)統(tǒng)計(jì)通信特性，適用于研究粗粒度且時(shí)間跨度較長(zhǎng)的骨干網(wǎng)流量。

同一種協(xié)議通信產(chǎn)生的網(wǎng)絡(luò)流量之間存在一定的相似性，可以利用這種相似性區(qū)分不同協(xié)議產(chǎn)生的網(wǎng)絡(luò)流量。網(wǎng)絡(luò)協(xié)議識(shí)別的本質(zhì)就是利用網(wǎng)絡(luò)流量的內(nèi)容信息或統(tǒng)計(jì)信息，建立一種函數(shù)映射關(guān)系f：X→C，將網(wǎng)絡(luò)流量映射為具體的協(xié)議類(lèi)型，其中：X表示待分類(lèi)的網(wǎng)絡(luò)流量集合，C表示協(xié)議類(lèi)型集合，

1.2 協(xié)議識(shí)別需求

網(wǎng)絡(luò)協(xié)議識(shí)別技術(shù)有助于對(duì)網(wǎng)絡(luò)流量的組成結(jié)構(gòu)進(jìn)行分析，保障網(wǎng)絡(luò)的正常運(yùn)轉(zhuǎn)。網(wǎng)絡(luò)協(xié)議識(shí)別的應(yīng)用需求主要體現(xiàn)在以下領(lǐng)域：

1）網(wǎng)絡(luò)管理與優(yōu)化。協(xié)議識(shí)別技術(shù)通過(guò)對(duì)網(wǎng)絡(luò)流量的分類(lèi)識(shí)別與統(tǒng)計(jì)分析有助于了解流量分布情況和網(wǎng)絡(luò)運(yùn)行狀態(tài)，通過(guò)細(xì)粒度的協(xié)議分析提高網(wǎng)絡(luò)監(jiān)控效能，通過(guò)配置合理的管理策略提供差異化的網(wǎng)絡(luò)服務(wù)。

2）網(wǎng)絡(luò)內(nèi)容監(jiān)管。面對(duì)海量的通信內(nèi)容，依賴人工識(shí)別的傳統(tǒng)內(nèi)容監(jiān)管方法難以為繼，網(wǎng)絡(luò)協(xié)議識(shí)別技術(shù)可以自動(dòng)獲取流量所承載的內(nèi)容，能夠針對(duì)性地過(guò)濾非法信息，有效降低監(jiān)管成本，提高網(wǎng)絡(luò)內(nèi)容監(jiān)管的效率和水平。

3）網(wǎng)絡(luò)安全防御。網(wǎng)絡(luò)流量是網(wǎng)絡(luò)行為的體現(xiàn)，通過(guò)深層次分析網(wǎng)絡(luò)中傳輸?shù)膬?nèi)容，可以發(fā)現(xiàn)通信流量中包含的病毒攻擊代碼和敏感信息，及時(shí)進(jìn)行告警并提供應(yīng)對(duì)方案，從而防范安全威脅，提高網(wǎng)絡(luò)安全防御水平。

1.3 主要判別指標(biāo)

目前，衡量網(wǎng)絡(luò)協(xié)議識(shí)別方法，主要采用以下一些判別指標(biāo)：

1）準(zhǔn)確性。衡量協(xié)議識(shí)別方法的預(yù)測(cè)值與真實(shí)值之間接近程度，主要包括總體識(shí)別衡量指標(biāo)（總體分類(lèi)準(zhǔn)確率Accuracy）和單類(lèi)識(shí)別衡量指標(biāo)（精確率Precision、召回率Recall和F值F-Measure）。在實(shí)際應(yīng)用中，需要考慮流量種類(lèi)的不平衡性，因?yàn)榱髁空急容^高的協(xié)議更容易被識(shí)別。

2）實(shí)時(shí)性。評(píng)估協(xié)議識(shí)別方法是否能夠?qū)崟r(shí)對(duì)網(wǎng)絡(luò)流量進(jìn)行類(lèi)型判別，較早識(shí)別出協(xié)議類(lèi)型有利于后續(xù)處理，例如及時(shí)對(duì)惡意流量進(jìn)行過(guò)濾攔截。

3）魯棒性。網(wǎng)絡(luò)數(shù)據(jù)傳輸過(guò)程中會(huì)發(fā)生一些特殊情況，如數(shù)據(jù)包亂序、丟失等。評(píng)估協(xié)議識(shí)別方法應(yīng)該具備處理這些特殊情況的能力，包容這些異常并且保證協(xié)議識(shí)別結(jié)果的準(zhǔn)確率。

4）擴(kuò)展性。評(píng)估協(xié)議識(shí)別方法在不同粒度劃分下的準(zhǔn)確率變化以及面對(duì)不同吞吐量的性能表現(xiàn)，擴(kuò)展性好的方法能夠保證協(xié)議識(shí)別結(jié)果的準(zhǔn)確率和效率。

5）安全性。衡量協(xié)議識(shí)別方法對(duì)于傳輸內(nèi)容的保護(hù)能力，安全性高的方法在進(jìn)行協(xié)議識(shí)別的同時(shí)能夠有效保護(hù)用戶隱私、防止隱私數(shù)據(jù)泄露。

6）協(xié)議無(wú)關(guān)性。協(xié)議識(shí)別方法除了能夠?qū)σ阎獏f(xié)議實(shí)現(xiàn)準(zhǔn)確識(shí)別，在實(shí)際應(yīng)用中，還可能會(huì)遇到新出現(xiàn)的未知協(xié)議產(chǎn)生的流量或經(jīng)過(guò)加密的流量，協(xié)議無(wú)關(guān)性好的方法應(yīng)該能夠識(shí)別出未知協(xié)議的網(wǎng)絡(luò)流量。

2 網(wǎng)絡(luò)協(xié)議識(shí)別流程

網(wǎng)絡(luò)協(xié)議的識(shí)別流程大體可分為五個(gè)階段：數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、特征提取、分類(lèi)模型的建立和模型驗(yàn)證，如圖 1所示。每個(gè)階段相對(duì)獨(dú)立，又互相關(guān)聯(lián)。模型驗(yàn)證的結(jié)果與數(shù)據(jù)預(yù)處理、特征提取和分類(lèi)模型建立密切相關(guān)。數(shù)據(jù)預(yù)處理是模型驗(yàn)證的數(shù)據(jù)原因，合理、有效的預(yù)處理有助于提高協(xié)議識(shí)別的準(zhǔn)確率;特征提取階段提取出的特征是模型驗(yàn)證的特征原因，完備的特征集有利于提高協(xié)議識(shí)別的檢測(cè)效率;分類(lèi)模型建立是模型驗(yàn)證的模型原因，簡(jiǎn)單、高效的分類(lèi)模型有利于提高協(xié)議識(shí)別的準(zhǔn)確率和檢測(cè)效率。數(shù)據(jù)采集和數(shù)據(jù)預(yù)處理階段的工作相對(duì)固定，本章將進(jìn)行重點(diǎn)介紹。特征提取和分類(lèi)模型的建立是協(xié)議識(shí)別領(lǐng)域的研究重點(diǎn)，將在后續(xù)章節(jié)結(jié)合研究進(jìn)展進(jìn)行介紹。

2.1 數(shù)據(jù)采集

網(wǎng)絡(luò)協(xié)議識(shí)別的第一步就是獲取網(wǎng)絡(luò)數(shù)據(jù)樣本。目前，協(xié)議識(shí)別的研究數(shù)據(jù)主要包括本地流量集和公開(kāi)數(shù)據(jù)集。下面對(duì)兩類(lèi)數(shù)據(jù)集進(jìn)行介紹。

2.1.1 本地?cái)?shù)據(jù)集

本地流量集是指協(xié)議分析人員根據(jù)實(shí)際需求捕獲的網(wǎng)絡(luò)流量，然后將網(wǎng)絡(luò)流量構(gòu)造為研究所用的數(shù)據(jù)集。一些機(jī)器學(xué)習(xí)算法要求建立訓(xùn)練數(shù)據(jù)集，其中的訓(xùn)練數(shù)據(jù)需要進(jìn)行標(biāo)注。數(shù)據(jù)集標(biāo)注的好壞會(huì)直接影響算法的學(xué)習(xí)性能，目前的標(biāo)注方法主要包括人工標(biāo)注方法和自動(dòng)標(biāo)注方法兩類(lèi)。人工標(biāo)注方法往往要求在實(shí)驗(yàn)環(huán)境中模擬目標(biāo)程序運(yùn)行，依據(jù)端口等已知信息對(duì)目標(biāo)程序產(chǎn)生的流量進(jìn)行協(xié)議類(lèi)型的標(biāo)注。自動(dòng)標(biāo)注方法利用深度包檢測(cè)（Deep Packet Inspection， DPI）方法或基于DPI的工具自動(dòng)地標(biāo)記流量，如L7-filter[3]、nDPI[4]、Libprotoident[5]等。DPI技術(shù)不僅檢測(cè)端口等信息，而且檢查包括包頭和載荷的完整數(shù)據(jù)包，通常這種方法準(zhǔn)確率優(yōu)于簡(jiǎn)單依賴于端口的方法。兩種標(biāo)注方法各有優(yōu)缺點(diǎn)，人工標(biāo)注方法的實(shí)驗(yàn)環(huán)境可能跟真實(shí)網(wǎng)絡(luò)環(huán)境有很大差距，因此產(chǎn)生的訓(xùn)練數(shù)據(jù)集不具有代表性。工具輔助標(biāo)記常常因應(yīng)用繁多、通信量較大等問(wèn)題，不能精確標(biāo)記樣本，因此實(shí)際應(yīng)用中常結(jié)合兩種方法進(jìn)行目標(biāo)數(shù)據(jù)的標(biāo)記。

2.1.2 公開(kāi)數(shù)據(jù)集

由于網(wǎng)絡(luò)流量可能包含用戶的隱私數(shù)據(jù)，出于對(duì)用戶隱私安全的考慮，協(xié)議識(shí)別領(lǐng)域缺乏廣泛認(rèn)可的標(biāo)準(zhǔn)流量數(shù)據(jù)集。為了避免泄露用戶隱私，數(shù)據(jù)集一般需要進(jìn)行匿名化處理。匿名化處理主要去除負(fù)載數(shù)據(jù)或載荷數(shù)據(jù)中的敏感信息，對(duì)IP地址匿名化。公開(kāi)數(shù)據(jù)集是由相關(guān)研究機(jī)構(gòu)收集而來(lái)，并對(duì)外公開(kāi)的流量數(shù)據(jù)集，表1給出了目前協(xié)議識(shí)別領(lǐng)域常用的公開(kāi)流量數(shù)據(jù)集：Moore[6]、CAIDA[7] 、UNIBS[8] 、WIDE[9] 、WITS[10] 、DARPA[11]。

表格（有表名）表1 常見(jiàn)公開(kāi)流量數(shù)據(jù)集

Tab. 1 Common public traffic datasets

序號(hào)數(shù)據(jù)集數(shù)據(jù)實(shí)例標(biāo)簽?zāi)涿幚?Moore248種統(tǒng)計(jì)特征有無(wú)2CAIDA流量數(shù)據(jù)無(wú)是3UNIBS無(wú)載荷數(shù)據(jù)有是4WIDE無(wú)負(fù)載數(shù)據(jù)無(wú)是5WITS64字節(jié)數(shù)據(jù)無(wú)是6DARPA流量數(shù)據(jù)無(wú)無(wú)

2.2 數(shù)據(jù)預(yù)處理

網(wǎng)絡(luò)協(xié)議識(shí)別的對(duì)象可以是數(shù)據(jù)包、流、會(huì)話等。數(shù)據(jù)預(yù)處理能夠?qū)惓?shù)據(jù)記錄的原始數(shù)據(jù)集轉(zhuǎn)化為適用于協(xié)議識(shí)別的數(shù)據(jù)集。

數(shù)據(jù)預(yù)處理主要包括數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換兩個(gè)步驟。數(shù)據(jù)清洗的目標(biāo)是提高數(shù)據(jù)質(zhì)量，保證數(shù)據(jù)的一致性。具體做法是對(duì)缺失數(shù)據(jù)、冗余數(shù)據(jù)、噪聲數(shù)據(jù)等異常進(jìn)行清洗，清洗檢查內(nèi)容包括包頭長(zhǎng)度是否在合理范圍內(nèi)、包到達(dá)時(shí)間間隔是否在合理區(qū)間內(nèi)等。數(shù)據(jù)轉(zhuǎn)換步驟的目標(biāo)是將數(shù)據(jù)從一個(gè)維度空間映射為另一個(gè)維度空間，常用的是歸一化處理方法。網(wǎng)絡(luò)流量從數(shù)學(xué)的角度看就是一種離散型數(shù)據(jù)，使用歸一化方法可以將離散特征取值映射到歐氏空間，離散特征值對(duì)應(yīng)于歐氏空間的某點(diǎn)，這樣可以使離散特征之間距離或者相似度的計(jì)算更加合理。

經(jīng)過(guò)數(shù)據(jù)預(yù)處理后，樣本集構(gòu)造成功。此外，還需要考慮數(shù)據(jù)集中各類(lèi)別數(shù)據(jù)的規(guī)模是否平衡，若不平衡，可以采取過(guò)采樣或欠采樣方法構(gòu)造平衡數(shù)據(jù)集。為了評(píng)估方法效果，通常還需要將數(shù)據(jù)集進(jìn)行分割，細(xì)分為訓(xùn)練集和驗(yàn)證集或訓(xùn)練集、驗(yàn)證集和測(cè)試集等形式。訓(xùn)練集用于構(gòu)建分類(lèi)模型，驗(yàn)證集用于驗(yàn)證模型識(shí)別效果是否達(dá)到指定要求，測(cè)試集用于評(píng)估在實(shí)際應(yīng)用中模型表現(xiàn)的泛化能力。數(shù)據(jù)集分割方法多樣，可以采用隨機(jī)抽樣、K折交叉驗(yàn)證法等。

3 研究進(jìn)展

網(wǎng)絡(luò)協(xié)議識(shí)別技術(shù)的研究根據(jù)研究思路的不同，主要可以分為兩個(gè)階段，分別是：基于數(shù)據(jù)包的協(xié)議識(shí)別階段和基于數(shù)據(jù)流的協(xié)議識(shí)別階段。每一階段都有不同的研究方法，如圖 2所示。本章對(duì)兩個(gè)階段的一些代表性方法進(jìn)行探討和分析。

3.1 基于數(shù)據(jù)包的協(xié)議識(shí)別階段

早期的網(wǎng)絡(luò)協(xié)議識(shí)別主要基于數(shù)據(jù)包進(jìn)行分析，可以分為兩類(lèi)協(xié)議識(shí)別方法：基于固定規(guī)則的協(xié)議識(shí)別方法和基于載荷特征的協(xié)議識(shí)別方法。

3.1.1 基于固定規(guī)則的協(xié)議識(shí)別方法

目前基于固定規(guī)則的協(xié)議識(shí)別方法多使用網(wǎng)絡(luò)傳輸?shù)奈逶M信息（源IP地址、目的IP地址、源端口號(hào)、目的端口號(hào)、傳輸層協(xié)議），一般通過(guò)比對(duì)數(shù)據(jù)包的端口或IP地址相關(guān)信息推斷協(xié)議類(lèi)型，可以細(xì)分為基于端口的協(xié)議識(shí)別方法和基于IP地址的協(xié)議識(shí)別方法。

基于端口的協(xié)議識(shí)別往往基于互聯(lián)網(wǎng)數(shù)字分配機(jī)構(gòu)（Internet Assigned Numbers Authority， IANA）[12]提供的端口協(xié)議對(duì)照表進(jìn)行查詢，在解析出數(shù)據(jù)包的端口號(hào)信息之后，推斷網(wǎng)絡(luò)流量所屬協(xié)議類(lèi)型，如表 2所示。IANA規(guī)定系統(tǒng)應(yīng)用端口號(hào)范圍為0～1023，用戶應(yīng)用端口號(hào)范圍為1024～49151，動(dòng)態(tài)端口號(hào)為49152～65535。但是隨著網(wǎng)絡(luò)應(yīng)用的快速發(fā)展，很多應(yīng)用都向用戶提供了自定義端口的功能，用戶可以根據(jù)自己的喜好設(shè)置網(wǎng)絡(luò)應(yīng)用所使用的端口。此外，點(diǎn)對(duì)點(diǎn)傳輸（Peer-to-Peer， P2P）、基于IP的語(yǔ)音傳輸（Voice over Internet Protocol， VoIP）等應(yīng)用為了避開(kāi)運(yùn)營(yíng)商監(jiān)控，采用動(dòng)態(tài)端口技術(shù)。一些僵尸網(wǎng)絡(luò)程序?yàn)榱硕惚芊阑饓z測(cè)，引入了端口偽裝技術(shù)，通過(guò)將通信端口更改為公認(rèn)端口欺騙依據(jù)端口進(jìn)行過(guò)濾的入侵檢測(cè)系統(tǒng)。這些技術(shù)的出現(xiàn)，導(dǎo)致基于端口的協(xié)議識(shí)別方法不再可靠。Moore等[6]與Madhukar等[13]分別通過(guò)實(shí)驗(yàn)證實(shí)基于端口的協(xié)議識(shí)別方法的識(shí)別準(zhǔn)確率從最初的70%已降低至20%以下。但是，由于此類(lèi)方法實(shí)現(xiàn)簡(jiǎn)單、運(yùn)行速度高，現(xiàn)在還常常作為協(xié)議識(shí)別的輔助手段。

基于IP地址的協(xié)議識(shí)別主要是利用數(shù)據(jù)包的IP地址信息進(jìn)行協(xié)議識(shí)別。這種方法的適用范圍較窄，多用于一些公開(kāi)應(yīng)用的識(shí)別，例如：如果數(shù)據(jù)包中包含的一方IP地址為31.13.83.16，該IP地址屬于Facebook站點(diǎn)，所有與此IP 地址交互的流量都被推斷為Facebook流量。以IP地址和通信端口作為協(xié)議特征進(jìn)行協(xié)議識(shí)別。Yoon等[14]將應(yīng)用流量與三元組〈IP，Port，Protocol〉進(jìn)行關(guān)聯(lián)，通過(guò)匹配三元組信息可以確定哪些流量屬于公開(kāi)應(yīng)用產(chǎn)生的。在可控環(huán)境下主機(jī)的所有應(yīng)用是前提已知的，通過(guò)篩查統(tǒng)計(jì)可以確定非公開(kāi)應(yīng)用產(chǎn)生的流量;但這種方法只能粗略地對(duì)流量進(jìn)行分類(lèi)，且在實(shí)際應(yīng)用中準(zhǔn)確率難以保證?；诠潭ㄒ?guī)則的協(xié)議識(shí)別方法雖然存在很大缺陷，但能夠?qū)α髁窟M(jìn)行初步分類(lèi)，有利于后續(xù)進(jìn)一步精確地進(jìn)行協(xié)議識(shí)別。

表格（有表名）表 2 IANA提供的常見(jiàn)端口協(xié)議映射

Tab. 2 Common port-protocol mappings provided by IANA

端口號(hào)協(xié)議傳輸協(xié)議描述20FTP-DATATCP/UDP文件傳輸協(xié)議數(shù)據(jù)端口21FTPTCP/UDP文件傳輸協(xié)議控制端口23TELNETTCP/UDP遠(yuǎn)程登錄協(xié)議25SMTPTCP/UDP簡(jiǎn)單郵件傳輸協(xié)議53DNSTCP/UDP域名服務(wù)80HTTPTCP/UDP超文本傳輸協(xié)議110POP3TCP/UDP郵件接收協(xié)議

3.1.2 基于載荷特征的協(xié)議識(shí)別方法

為了提高協(xié)議識(shí)別的準(zhǔn)確率，基于載荷特征的協(xié)議識(shí)別方法被提出，此類(lèi)方法主要采用深度包檢測(cè)技術(shù)。深度包檢測(cè)技術(shù)不僅檢查數(shù)據(jù)包的頭首部信息，還對(duì)部分載荷或者全部載荷進(jìn)行檢測(cè)，通過(guò)尋找預(yù)定義的字符串特征，與特征庫(kù)進(jìn)行比對(duì)確定數(shù)據(jù)包的協(xié)議類(lèi)型。表 3給出了部分應(yīng)用協(xié)議的識(shí)別規(guī)則[15-16]。

基于載荷特征的協(xié)議識(shí)別方法能夠避免對(duì)端口的過(guò)分依賴，減小端口濫用、偽裝等技術(shù)對(duì)協(xié)議識(shí)別的影響。早期的特征提取需要一定專家知識(shí)，隨著技術(shù)的不斷發(fā)展，采用機(jī)器學(xué)習(xí)中深度學(xué)習(xí)方法可以自動(dòng)完成特征提取。Sen等[17]通過(guò)對(duì)載荷的分析實(shí)現(xiàn)了P2P流的分類(lèi)，通過(guò)檢查數(shù)據(jù)包載荷識(shí)別應(yīng)用特征，能夠在高速網(wǎng)絡(luò)上基于特征準(zhǔn)確識(shí)別P2P流量，相較基于端口的方法，準(zhǔn)確率提高了3倍。Yun等 [18]提出了一種基于語(yǔ)義信息的網(wǎng)絡(luò)協(xié)議識(shí)別方法。該方法首先對(duì)原始流量進(jìn)行3-gram切分處理，得到3-gram序列;然后，基于隱含狄利克雷分布（Latent Dirichlet Allocation， LDA）算法挖掘協(xié)議關(guān)鍵字，得到協(xié)議關(guān)鍵字模型;最后，通過(guò)協(xié)議關(guān)鍵字模型提取協(xié)議數(shù)據(jù)包特征，進(jìn)而完成聚類(lèi)，實(shí)現(xiàn)協(xié)議格式的提取。

從理論上看，分析數(shù)據(jù)包的載荷內(nèi)容，協(xié)議識(shí)別的準(zhǔn)確率可以接近100%[19]。但典型的深度包檢測(cè)方法存在以下三方面的問(wèn)題：1）提取協(xié)議識(shí)別特征較為困難，特征庫(kù)需要不斷維護(hù)。協(xié)議識(shí)別特征的提取依賴于專家領(lǐng)域知識(shí)，需要人工手動(dòng)確定;且當(dāng)協(xié)議版本升級(jí)或新協(xié)議出現(xiàn)時(shí)，需要及時(shí)將特征存入特征庫(kù)中;面對(duì)網(wǎng)絡(luò)的快速發(fā)展，特征庫(kù)需要持續(xù)更新維護(hù)。2）適用范圍有限，該方法無(wú)法應(yīng)用于加密流量和協(xié)議規(guī)范信息未知的網(wǎng)絡(luò)流量。流量的加密會(huì)使得網(wǎng)絡(luò)數(shù)據(jù)表現(xiàn)出隨機(jī)性和不確定性，難以進(jìn)行協(xié)議特征的提取。而對(duì)于一些私有協(xié)議，由于協(xié)議規(guī)范信息未知，在特征庫(kù)中找不到特征與之匹配。3）系統(tǒng)開(kāi)銷(xiāo)較高。當(dāng)特征庫(kù)中的特征數(shù)量超過(guò)一定規(guī)模時(shí)，耗費(fèi)的系統(tǒng)資源會(huì)急劇增加。

盡管存在許多不足，此類(lèi)方法仍是目前較為準(zhǔn)確的一類(lèi)協(xié)議識(shí)別方法，在工業(yè)界應(yīng)用廣泛，也是高速網(wǎng)絡(luò)環(huán)境部署的最佳選擇[16，20]。近年來(lái)，不少研究人員針對(duì)DPI的不足，提出了各類(lèi)改進(jìn)方法。DPI的技術(shù)研究不斷朝著智能化、系統(tǒng)化的方向發(fā)展。

深度流檢測(cè)（Deep Flow Inspection， DFI）技術(shù)是DPI技術(shù)一個(gè)改進(jìn)，其檢測(cè)粒度從單一數(shù)據(jù)包擴(kuò)展到完整數(shù)據(jù)流。DFI技術(shù)是基于流量行為的識(shí)別技術(shù)，即不同類(lèi)型流量數(shù)據(jù)的流狀態(tài)不同。與DPI技術(shù)相比，DFI能夠?qū)ξ粗髁亢图用芰髁窟M(jìn)行識(shí)別;但總體上看，該技術(shù)的識(shí)別準(zhǔn)確率低于DPI技術(shù)[21]，具體如表 4所示。Wang等[22]綜合DPI和DFI的優(yōu)勢(shì)，提出了一種基于DPI和DFI的新型P2P流量識(shí)別系統(tǒng)，該系統(tǒng)比單個(gè)基于DPI或DFI識(shí)別系統(tǒng)具有更廣泛的識(shí)別范圍，且具有自主學(xué)習(xí)能力。葉文晨等[23]提出了一種以DPI技術(shù)為主、DFI技術(shù)為輔的協(xié)議識(shí)別方法，并為此設(shè)計(jì)了軟硬件結(jié)合的識(shí)別設(shè)備，其中：DPI技術(shù)是由MPC8572網(wǎng)絡(luò)處理器提供硬件支撐，DFI技術(shù)則是通過(guò)軟件程序完成。該方法主要通過(guò)對(duì)內(nèi)存池進(jìn)行讀寫(xiě)處理，DPI實(shí)現(xiàn)細(xì)粒度的分類(lèi)，并在內(nèi)存池中寫(xiě)入涉及分類(lèi)識(shí)別的相應(yīng)信息，以此來(lái)更新會(huì)話流的統(tǒng)計(jì)信息和識(shí)別結(jié)果。DFI用于檢測(cè)DPI誤識(shí)別情況，若DPI與DFI識(shí)別結(jié)果一致，則確定識(shí)別結(jié)果;否則，清除識(shí)別結(jié)果，進(jìn)行重新檢測(cè)。這種方法比簡(jiǎn)單地使用DPI或DFI技術(shù)的識(shí)別方法效果好;但面對(duì)加密等情況，DPI技術(shù)失效，只能使用DFI進(jìn)行流量的粗分類(lèi)。

高效的特征匹配算法是實(shí)現(xiàn)高性能DPI的基礎(chǔ)，因此很多研究人員從降低特征匹配算法的復(fù)雜度著手改進(jìn)DPI技術(shù)。特征匹配算法分為字符串匹配方法和正則表達(dá)式匹配方法。字符串匹配方法是對(duì)一個(gè)或多個(gè)固定特征串（模式）的簡(jiǎn)單規(guī)則的匹配，通常對(duì)載荷的前幾十個(gè)字節(jié)進(jìn)行匹配，包括KMP（Knuth-Morris-Pratt）、BM（Boyer-Moore）算法、WM（Wu-Manber）算法、AC（Aho-Corasick）自動(dòng)機(jī)算法等。這類(lèi)方法通過(guò)縮減檢測(cè)范圍，提高DPI的數(shù)據(jù)處理能力;但該類(lèi)方法的主要缺點(diǎn)是面對(duì)協(xié)議特征位置不固定的協(xié)議，識(shí)別準(zhǔn)確率較低。

正則表達(dá)式匹配方法可以面向復(fù)合型條件的查詢和模糊匹配，能夠?qū)崿F(xiàn)復(fù)雜規(guī)則的匹配，即通過(guò)一個(gè)表達(dá)式表示一組規(guī)則，也支持規(guī)則之間的關(guān)聯(lián)[24]。與字符串匹配方法相比，此類(lèi)方法具有更強(qiáng)的字符串描述能力，靈活高效，能夠識(shí)別非固定位置的協(xié)議特征，但存在空間開(kāi)銷(xiāo)大、處理速度慢等問(wèn)題。付文亮等[25]針對(duì)正則表達(dá)式的計(jì)算復(fù)雜度高、存儲(chǔ)消耗大等問(wèn)題，提出了一種基于現(xiàn)場(chǎng)可編程邏輯門(mén)陣列（Field Programmable Gate Array， FPGA）的正則表達(dá)式匹配方法，通過(guò)對(duì)數(shù)據(jù)結(jié)構(gòu)、流管理策略等方面進(jìn)行優(yōu)化，提高協(xié)議識(shí)別的處理能力。Kumar等[26]也提出了基于硬件的正則表達(dá)式方法，通過(guò)縮減確定有限狀態(tài)自動(dòng)機(jī)（Deterministic Finite Automaton， DFA）硬件存儲(chǔ)空間來(lái)提高匹配識(shí)別的速率。Tong等[27]針對(duì)大多數(shù)協(xié)議識(shí)別方法存在的吞吐量性能瓶頸，從軟硬件兩方面提高協(xié)議識(shí)別的吞吐量。該方法首先利用C4.5決策樹(shù)構(gòu)造識(shí)別器;然后，采用優(yōu)化決策樹(shù)和分治技術(shù)，對(duì)協(xié)議識(shí)別器進(jìn)行加速;最后，基于FPGA和多核處理器，對(duì)協(xié)議識(shí)別器進(jìn)行硬件加速。

為了將DPI技術(shù)部署在高速網(wǎng)絡(luò)環(huán)境中，研究人員嘗試以自動(dòng)化、半自動(dòng)化方式獲得應(yīng)用特征，比較常用的是基于統(tǒng)計(jì)指紋（即模式）的方法，采用統(tǒng)計(jì)方法自動(dòng)推導(dǎo)網(wǎng)絡(luò)協(xié)議的指紋特征，然后利用特征進(jìn)行協(xié)議識(shí)別。Finamore 等[28]提出了KISS方法處理用戶數(shù)據(jù)包協(xié)議（User Datagram Protocol， UDP）流量，利用UDP流量載荷的統(tǒng)計(jì)特征，通過(guò)卡方測(cè)試推導(dǎo)協(xié)議統(tǒng)計(jì)指紋。該方法在實(shí)驗(yàn)測(cè)試中效果較好，不足之處是使用范圍有限，僅適用于UDP流量載荷。Crotti 等[29]提出一種基于數(shù)據(jù)包大小、到達(dá)時(shí)間和到達(dá)順序三個(gè)簡(jiǎn)單屬性的協(xié)議識(shí)別方法，通過(guò)這些流量屬性來(lái)表示協(xié)議指紋;但此方法只考慮TCP流量載荷。

3.2 基于數(shù)據(jù)流的協(xié)議識(shí)別階段

網(wǎng)絡(luò)協(xié)議識(shí)別領(lǐng)域研究的第二個(gè)階段是基于數(shù)據(jù)流的協(xié)議識(shí)別階段，該階段最為典型的方法包括基于主機(jī)行為的協(xié)議識(shí)別方法和基于統(tǒng)計(jì)分析的協(xié)議識(shí)別方法。加密協(xié)議的使用導(dǎo)致依賴數(shù)據(jù)包固定特征串的方法不再可靠，研究者轉(zhuǎn)向分析數(shù)據(jù)包的行為特征、統(tǒng)計(jì)特征等外部信息，將分析粒度從單個(gè)數(shù)據(jù)包擴(kuò)展到了完整的數(shù)據(jù)流。

3.2.1 基于主機(jī)行為的協(xié)議識(shí)別方法

基于主機(jī)行為的協(xié)議識(shí)別方法從宏觀的角度對(duì)網(wǎng)絡(luò)流量進(jìn)行分類(lèi)識(shí)別，主要利用了網(wǎng)絡(luò)流量的統(tǒng)計(jì)特性，如數(shù)據(jù)流持續(xù)時(shí)間、字節(jié)數(shù)、傳輸間隔時(shí)間等在網(wǎng)絡(luò)通信過(guò)程可直接測(cè)量的統(tǒng)計(jì)參數(shù)。此類(lèi)方法有效避免了具體數(shù)據(jù)特征的提取，能夠防止用戶信息泄露，計(jì)算效率高，存儲(chǔ)開(kāi)銷(xiāo)小，并且能夠處理加密數(shù)據(jù)流;但這種方法的主要缺點(diǎn)是統(tǒng)計(jì)信息采集繁瑣，且受網(wǎng)絡(luò)環(huán)境影響，統(tǒng)計(jì)結(jié)果可能不穩(wěn)定，實(shí)時(shí)性差，協(xié)議識(shí)別的準(zhǔn)確度偏低。

Karagiannis等[30]提出了基于主機(jī)行為的BLINC流量分類(lèi)框架，提取網(wǎng)絡(luò)流的社會(huì)行為、功能行為和應(yīng)用行為特征。其中：社會(huì)層關(guān)注主機(jī)與其他主機(jī)的交互行為，如連接數(shù)量、社區(qū)關(guān)系;功能層關(guān)注特定主機(jī)的網(wǎng)絡(luò)角色，如客戶端、服務(wù)器;應(yīng)用層捕獲特定主機(jī)在特定端口傳輸?shù)男畔?，如流的長(zhǎng)度、大小。該方法首先基于經(jīng)驗(yàn)推導(dǎo)出每種協(xié)議的主機(jī)行為，并將這些行為以圖的形式存儲(chǔ)下來(lái)，BLINC通過(guò)圖匹配進(jìn)行協(xié)議識(shí)別，實(shí)驗(yàn)測(cè)試能夠識(shí)別80%～90%的網(wǎng)絡(luò)流量，且準(zhǔn)確率超過(guò)95%。后續(xù)基于主機(jī)行為的協(xié)議識(shí)別方法多以BLINC的分類(lèi)框架為基礎(chǔ)。

Iliofotou等[31]提出了一種利用流量散度圖監(jiān)測(cè)、分析網(wǎng)絡(luò)流量的方法，首先通過(guò)TDG（Traffic Dispersion Graph）建模網(wǎng)絡(luò)通信場(chǎng)景，借鑒社交網(wǎng)絡(luò)理論，使用IP地址代替社交網(wǎng)絡(luò)中的個(gè)人，以散度圖的節(jié)點(diǎn)表示通信主機(jī)，邊代表主機(jī)間的信息交換，不同協(xié)議的TDG明顯不同，通過(guò)分析連通子圖、節(jié)點(diǎn)分布情況，可以推斷出網(wǎng)絡(luò)流的協(xié)議信息。

3.2.2 基于機(jī)器學(xué)習(xí)的協(xié)議識(shí)別方法

面對(duì)與日俱增的網(wǎng)絡(luò)流量，一些研究人員提出將機(jī)器學(xué)習(xí)方法應(yīng)用于協(xié)議識(shí)別領(lǐng)域。機(jī)器學(xué)習(xí)是人工智能領(lǐng)域的一項(xiàng)重要技術(shù)，通過(guò)計(jì)算機(jī)對(duì)大規(guī)模數(shù)據(jù)進(jìn)行挖掘，分析數(shù)據(jù)特征之間的規(guī)律。機(jī)器學(xué)習(xí)以強(qiáng)大的自適應(yīng)性、自學(xué)習(xí)能力為分類(lèi)問(wèn)題提供了一種有效的決策手段。協(xié)議識(shí)別的本質(zhì)是分類(lèi)問(wèn)題，可以通過(guò)機(jī)器學(xué)習(xí)的方法解決。這種方法雖具有很高的準(zhǔn)確率以及很強(qiáng)的數(shù)據(jù)處理能力，但也存在對(duì)特征的依賴嚴(yán)重、在真實(shí)網(wǎng)絡(luò)環(huán)境部署困難等問(wèn)題。

目前，基于機(jī)器學(xué)習(xí)的協(xié)議識(shí)別方法可以分為基于有監(jiān)督學(xué)習(xí)的協(xié)議識(shí)別方法、基于無(wú)監(jiān)督學(xué)習(xí)的協(xié)議識(shí)別方法，以及基于半監(jiān)督學(xué)習(xí)的機(jī)器學(xué)習(xí)方法，其中有監(jiān)督學(xué)習(xí)是研究較多的一類(lèi)。下面對(duì)這三類(lèi)方法的研究情況進(jìn)行介紹。

1） 有監(jiān)督學(xué)習(xí)方法。

有監(jiān)督學(xué)習(xí)方法又稱分類(lèi)方法，需要一個(gè)預(yù)先分類(lèi)的標(biāo)簽訓(xùn)練集，即數(shù)據(jù)集中有輸入數(shù)據(jù)信息和期望的輸出結(jié)果。有監(jiān)督學(xué)習(xí)的目標(biāo)是通過(guò)分類(lèi)模型能夠降低樣本實(shí)際標(biāo)簽與期望結(jié)果之間的差距。有監(jiān)督學(xué)習(xí)方法的基本識(shí)別流程分為訓(xùn)練和測(cè)試兩個(gè)階段。在訓(xùn)練階段，首先對(duì)網(wǎng)絡(luò)數(shù)據(jù)流進(jìn)行預(yù)處理轉(zhuǎn)化為向量或矩陣形式;然后，通過(guò)特征工程方法獲取適合的特征作為判別依據(jù);最后，選擇有監(jiān)督學(xué)習(xí)算法構(gòu)造訓(xùn)練分類(lèi)器，并對(duì)訓(xùn)練分類(lèi)器進(jìn)行訓(xùn)練。在測(cè)試階段，也需要進(jìn)行預(yù)處理完成數(shù)據(jù)類(lèi)型轉(zhuǎn)化，并通過(guò)特征工程選擇出代表網(wǎng)絡(luò)數(shù)據(jù)流的特征;然后，將提取出的特征信息輸入訓(xùn)練好的分類(lèi)器，預(yù)測(cè)網(wǎng)絡(luò)流量所對(duì)應(yīng)的協(xié)議類(lèi)型。目前，分類(lèi)模型主要采用了樸素貝葉斯（Naive Bayesian， NB）、支持向量機(jī)（Support Vector Machine， SVM）、神經(jīng)網(wǎng)絡(luò)（Neural Network， NN）、決策樹(shù)（Decision Tree， DT）、K近鄰（K-Nearest Neighbors， KNN）等方法。

貝葉斯網(wǎng)絡(luò)是一種概率圖模型，也是有向無(wú)環(huán)圖，節(jié)點(diǎn)代表變量，有向邊代表節(jié)點(diǎn)之間的條件概率。貝葉斯分類(lèi)器是基于貝葉斯公式解決分類(lèi)問(wèn)題的概率模型，目前研究較多的貝葉斯分類(lèi)器是樸素貝葉斯。該方法是基于特征向量各分量之間相互獨(dú)立的假設(shè)，首先基于此假設(shè)學(xué)習(xí)數(shù)據(jù)輸入與結(jié)果輸出的聯(lián)合概率分布模型，然后利用模型基于貝葉斯原理求出輸入數(shù)據(jù)后驗(yàn)概率最大的輸出值。Moore等[6]使用有監(jiān)督的簡(jiǎn)單樸素貝葉斯分類(lèi)算法對(duì)數(shù)據(jù)集進(jìn)行分類(lèi)，所使用的網(wǎng)絡(luò)數(shù)據(jù)集由248個(gè)統(tǒng)計(jì)特征組成，如流持續(xù)時(shí)間、包到達(dá)時(shí)間的傅里葉變換等，且已被人工分類(lèi)，并指明了分類(lèi)標(biāo)簽，使用有監(jiān)督的簡(jiǎn)單樸素貝葉斯分類(lèi)算法進(jìn)行分類(lèi)的準(zhǔn)確率為65%，然而通過(guò)方法改進(jìn)，使用基于核密度估計(jì)的樸素貝葉斯（Naive Bayes with Kernel density Estimation， NBKE）算法和基于快速相關(guān)的過(guò)濾器（Fast Correlation-Based Filter， FCBF）的樸素貝葉斯減少特征維度，分類(lèi)準(zhǔn)確率可以提高到95%以上。李君等[32]采用貝葉斯網(wǎng)絡(luò)進(jìn)行流量分類(lèi)，首先通過(guò)分析流統(tǒng)計(jì)特征確定所需提取的特征屬性，然后通過(guò)遺傳算法選擇最優(yōu)的特征子集，最后基于特征子集采用貝葉斯網(wǎng)絡(luò)識(shí)別P2P流量。該方法能夠快速識(shí)別P2P業(yè)務(wù)，且分類(lèi)準(zhǔn)確率達(dá)95%。張澤鑫等[33]提出一種基于加權(quán)的樸素貝葉斯流量分類(lèi)方法，采用特征選擇算法ReliefF和相關(guān)系數(shù)方法計(jì)算出每個(gè)特征的權(quán)重值，然后通過(guò)貝葉斯確定流量所屬類(lèi)別。

支持向量機(jī)是針對(duì)二值分類(lèi)問(wèn)題提出的，但通過(guò)構(gòu)造多個(gè)SVM分類(lèi)模型或與二叉決策樹(shù)相結(jié)合，可以將其推廣到多分類(lèi)問(wèn)題[34]。支持向量機(jī)是一種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理的分類(lèi)方法，目標(biāo)是尋找能夠分離樣本的分類(lèi)超平面。Li等[35]和Yang等[36]針對(duì)以往方法復(fù)雜、難以實(shí)時(shí)分類(lèi)，且在條件獨(dú)立假設(shè)不成立和先驗(yàn)知識(shí)存有不足的情況下，使用SVM分別對(duì)校園流量和P2P流量進(jìn)行識(shí)別分類(lèi)，通過(guò)支持向量機(jī)將流量分類(lèi)問(wèn)題轉(zhuǎn)化為二次尋優(yōu)問(wèn)題，當(dāng)面對(duì)流量各類(lèi)別先驗(yàn)概率未知或不足的情況時(shí)，其分類(lèi)準(zhǔn)確率比樸素貝葉斯方法要高。Groleat等[37]提出一種結(jié)合FPGA硬件加速技術(shù)的SVM協(xié)議識(shí)別模型，對(duì)于高速網(wǎng)絡(luò)環(huán)境，這種方法的分類(lèi)性能遠(yuǎn)遠(yuǎn)超過(guò)純軟件實(shí)現(xiàn)，并且能夠?qū)崿F(xiàn)實(shí)時(shí)分類(lèi)。王一鵬等[38]提出一種基于主動(dòng)學(xué)習(xí)和SVM的網(wǎng)絡(luò)協(xié)議識(shí)別方法。該方法能夠克服網(wǎng)絡(luò)數(shù)據(jù)流的獲取與標(biāo)記工作對(duì)于領(lǐng)域知識(shí)的依賴，避免SVM分類(lèi)器對(duì)無(wú)意義、重復(fù)樣本的學(xué)習(xí)，不僅能夠減少標(biāo)記所用時(shí)間，而且提高了學(xué)習(xí)效率。曹杰[39]提出一種過(guò)濾式封裝式（Filter-Wrapper）特征選擇方法，該方法能夠改善特征維冗余引發(fā)分類(lèi)性能的下降問(wèn)題，增強(qiáng)SVM流量分類(lèi)的泛化能力。Lobato等[40]提出了一種能夠?qū)崟r(shí)檢測(cè)零日攻擊的流量識(shí)別方法，該方法從蜜罐中收集攻擊流量，將分類(lèi)器的輸入視為合法輸入，若分類(lèi)器識(shí)別為攻擊流量時(shí)報(bào)警，識(shí)別為正常流量時(shí)進(jìn)行參數(shù)更新。

DBSCAN算法是一種基于密度的聚類(lèi)算法，通過(guò)尋找密度相連的最大集合來(lái)確定聚類(lèi)結(jié)果，將具有高密度的區(qū)域劃分為一類(lèi)。何震凱等[61]提出一種基于DBSCAN的協(xié)議識(shí)別方法，以主成分分析作為特征選擇方法，選出合適的特征子集，進(jìn)而利用DBSCAN算法聚類(lèi)成簇，利用簇構(gòu)建流量分類(lèi)器。

無(wú)監(jiān)督學(xué)習(xí)方法還包括層次聚類(lèi)、譜聚類(lèi)、高斯混合模型聚類(lèi)和隱馬爾可夫模型聚類(lèi)算法等方法。張鳳荔等[62]提出基于改進(jìn)凝聚層次聚類(lèi)的協(xié)議分類(lèi)算法，該算法以層次凝聚（AGglomErative NeSting， AGENS）算法為基礎(chǔ)，采用邊聚類(lèi)邊提取結(jié)果的方式，實(shí)現(xiàn)對(duì)數(shù)據(jù)的快速聚類(lèi)。周文剛等[63]針對(duì)網(wǎng)絡(luò)流量復(fù)雜、動(dòng)態(tài)的特性，采用譜聚類(lèi)的思想將網(wǎng)絡(luò)流量的分類(lèi)識(shí)別問(wèn)題轉(zhuǎn)化為無(wú)向圖的多路劃分問(wèn)題，使用拉普拉斯矩陣完成高維數(shù)據(jù)向低維數(shù)據(jù)的轉(zhuǎn)換，然后利用譜圖劃分的思想構(gòu)建分類(lèi)器，最終基于圖劃分結(jié)果對(duì)流量進(jìn)行分類(lèi)識(shí)別。Bernaille等[64]采用K均值、高斯混合模型、隱馬爾可夫模型這三種聚類(lèi)方法對(duì)TCP網(wǎng)絡(luò)流量進(jìn)行分類(lèi)，研究發(fā)現(xiàn)高斯混合模型聚類(lèi)和隱馬爾可夫模型聚類(lèi)算法的分類(lèi)準(zhǔn)確率接近，且高于K均值聚類(lèi)。

3） 半監(jiān)督學(xué)習(xí)方法。

有標(biāo)記數(shù)據(jù)少、無(wú)標(biāo)記數(shù)據(jù)多的現(xiàn)象普遍存在，但它們具有相似的數(shù)據(jù)分布，為了解決這類(lèi)問(wèn)題出現(xiàn)了半監(jiān)督學(xué)習(xí)。半監(jiān)督學(xué)習(xí)方法介于有監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)之間，能夠利用少量標(biāo)記樣本和大量未標(biāo)記樣本，指導(dǎo)進(jìn)行分類(lèi)工作。

趙英等[65]提出一種基于馬爾可夫模型的半監(jiān)督學(xué)習(xí)方法。該方法利用馬爾可夫模型提取特征值，通過(guò)密度計(jì)算的方法估計(jì)聚類(lèi)中心點(diǎn)，有效避免了傳統(tǒng)聚類(lèi)算法不穩(wěn)定的問(wèn)題，提升了識(shí)別準(zhǔn)確率。Erman等[66]提出一種基于K-Means的半監(jiān)督學(xué)習(xí)方法，首次將半監(jiān)督學(xué)習(xí)引入到流量分類(lèi)領(lǐng)域，通過(guò)K均值算法將包含有少量標(biāo)記樣本和大量未標(biāo)記樣本數(shù)據(jù)的數(shù)據(jù)集劃分為若干簇，然后選擇簇中比例最大的已標(biāo)記樣本，以相應(yīng)的類(lèi)標(biāo)記作為簇的類(lèi)別。Zhang等[67]利用網(wǎng)絡(luò)數(shù)據(jù)流的相關(guān)性信息擴(kuò)展有監(jiān)督數(shù)據(jù)集，根據(jù)未標(biāo)記流和預(yù)先標(biāo)記流之間的相關(guān)性自動(dòng)標(biāo)記未標(biāo)記流，擴(kuò)展了有監(jiān)督數(shù)據(jù)集的規(guī)模和質(zhì)量，提高了分類(lèi)識(shí)別的性能。丁偉等[68]提出基于層次聚類(lèi)的半監(jiān)督學(xué)習(xí)方法，利用層次聚類(lèi)將內(nèi)容相近的數(shù)據(jù)流聚為一類(lèi)，首先利用互信息選擇最相關(guān)的統(tǒng)計(jì)特征，縮減數(shù)據(jù)流的特征空間，然后采用高斯函數(shù)進(jìn)行數(shù)據(jù)流的高維特征映射，根據(jù)高維空間的距離進(jìn)行聚類(lèi)，實(shí)驗(yàn)結(jié)果表明該方法能夠?qū)Υ蟛糠至髁窟M(jìn)行準(zhǔn)確的分類(lèi)識(shí)別。Wang等[69]研究了基于先驗(yàn)知識(shí)的協(xié)議識(shí)別方法，該方法將標(biāo)記數(shù)據(jù)集和未標(biāo)記數(shù)據(jù)集作為輸入，首先利用約束聚類(lèi)算法提取未標(biāo)記數(shù)據(jù)的新模式，且這些模式是標(biāo)記數(shù)據(jù)未出現(xiàn)的，并以此模式代表未知協(xié)議，然后基于標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)的新模式訓(xùn)練多個(gè)二元分類(lèi)器，根據(jù)分類(lèi)器的結(jié)果確定樣本數(shù)據(jù)的協(xié)議類(lèi)型。

3.3 方法比較

從上述的基于固定規(guī)則、載荷特征、主機(jī)行為、機(jī)器學(xué)習(xí)這四類(lèi)協(xié)議識(shí)別技術(shù)可以看出，很難憑借一種方法識(shí)別出所有流量，大部分方法適用于特定場(chǎng)景。為了進(jìn)一步分析四種技術(shù)的不同，本文從準(zhǔn)確性、實(shí)時(shí)性、魯棒性、伸縮性、安全性、協(xié)議無(wú)關(guān)性這六種判別指標(biāo)著手，對(duì)四種技術(shù)進(jìn)行對(duì)比和分析，結(jié)果如表 5所示。

表格（有表名）表5 不同協(xié)議識(shí)別方法的性能比較

Tab. 5 Performance comparison of different protocol recognition methods

方法準(zhǔn)確性實(shí)時(shí)性魯棒性伸縮性安全性協(xié)議無(wú)關(guān)固定規(guī)則低較高較高較高最高最低載荷特征較高較高低低最低最低主機(jī)行為較低較低中中最高中機(jī)器學(xué)習(xí)中中中最高最高最高

在準(zhǔn)確性方面，基于固定規(guī)則的識(shí)別方法能夠很好識(shí)別常見(jiàn)的標(biāo)準(zhǔn)協(xié)議，如超文本傳輸協(xié)議（HyperText Transfer Protocol， HTTP）、文件傳輸協(xié)議（File Transfer Protocol， FTP）、域名系統(tǒng)（Domain Name System， DNS）等，但識(shí)別其他協(xié)議時(shí)，尤其是非固定端口的協(xié)議，準(zhǔn)確性會(huì)大幅下降，總的來(lái)說(shuō)，這種方法的準(zhǔn)確性偏低?；谳d荷特征的識(shí)別方法是目前工業(yè)界應(yīng)用較多的方法，這種方法為每一種協(xié)議建立識(shí)別規(guī)則。雖然規(guī)則庫(kù)的建立和維護(hù)成本較高，但準(zhǔn)確性是最好的，原因在于識(shí)別規(guī)則與協(xié)議規(guī)范是密切聯(lián)系的，建立規(guī)則可以理解為提取協(xié)議規(guī)范的固定模式?；谥鳈C(jī)行為或機(jī)器學(xué)習(xí)的方法需要預(yù)先建立模型，識(shí)別準(zhǔn)確性與模型完備性、訓(xùn)練數(shù)據(jù)集等都密切相關(guān)，且大多情況下，識(shí)別準(zhǔn)確性不如基于載荷特征的方法。

在實(shí)時(shí)性方面，基于固定規(guī)則、載荷特征的實(shí)時(shí)性較好，這與處理對(duì)象是有直接聯(lián)系的，匹配規(guī)則通常分析數(shù)據(jù)包的前幾十字節(jié)或是指定位置，能夠快速分析出流量的類(lèi)型?；谥鳈C(jī)行為的方法是對(duì)通信的網(wǎng)絡(luò)進(jìn)行分析，對(duì)每一種協(xié)議的通信行為進(jìn)行統(tǒng)計(jì)建模，該方法計(jì)算量大、耗時(shí)長(zhǎng)，因此實(shí)時(shí)性較差?；跈C(jī)器學(xué)習(xí)的方法需要提取數(shù)據(jù)流的內(nèi)容或統(tǒng)計(jì)特征。若提取統(tǒng)計(jì)特征，則與基于主機(jī)行為方法相似，實(shí)時(shí)性較差。若提取內(nèi)容特征，則實(shí)時(shí)性與提取特征的位置有關(guān)：有些方法認(rèn)為特征應(yīng)當(dāng)從數(shù)據(jù)流開(kāi)始和結(jié)束的幾十個(gè)字節(jié)中提取，這種特征提取方法難以保證實(shí)時(shí)性;也有的研究人員選擇從數(shù)據(jù)流開(kāi)始的幾百個(gè)字節(jié)進(jìn)行提取，這種提取方法實(shí)時(shí)性較好?？傮w來(lái)看，基于機(jī)器學(xué)習(xí)的協(xié)議識(shí)別方法實(shí)時(shí)性一般。

在魯棒性方面，基于固定規(guī)則的識(shí)別方法適用性較強(qiáng)，只需簡(jiǎn)單地從IP頭或TCP頭提取地址和端口，便能作出判斷。這種方法能夠容忍網(wǎng)絡(luò)出現(xiàn)異常，魯棒性也是四種方法中最好的?；谥鳈C(jī)行為、機(jī)器學(xué)習(xí)的識(shí)別方法的魯棒性取決于多種因素，如提取特征的質(zhì)量或位置、數(shù)據(jù)集的完備性。整體來(lái)看，這兩種方法魯棒性一般?；谳d荷特征的識(shí)別方法魯棒性較差，主要是因?yàn)閷?duì)數(shù)據(jù)包的重傳、亂序等異常現(xiàn)象較為敏感，如果流量經(jīng)過(guò)加密處理，數(shù)據(jù)的特性被隱藏，該方法將失效，因此這種方法的魯棒性相較其他三種方法是最差的。

在擴(kuò)展性方面，基于固定規(guī)則的識(shí)別方法只需提取協(xié)議頭部的端口等信息，該方法簡(jiǎn)單、高效，伸縮性最好?；谳d荷特征的識(shí)別方法在面臨吞吐量較大的情況時(shí)，需要進(jìn)行大量的特征匹配，計(jì)算開(kāi)銷(xiāo)也會(huì)急劇增加，需要結(jié)合軟硬件設(shè)備才能滿足性能要求，其伸縮性偏低?；谥鳈C(jī)行為、機(jī)器學(xué)習(xí)的識(shí)別方法當(dāng)面臨吞吐量較大的情況時(shí)，也需要更大的內(nèi)存空間來(lái)存儲(chǔ)特征。在對(duì)數(shù)據(jù)流進(jìn)行分析時(shí)，伸縮性較好，因?yàn)閺臄?shù)據(jù)流提取的特征更完備;在數(shù)據(jù)包進(jìn)行分析時(shí)，伸縮性相對(duì)較差。整體來(lái)看，這兩種方法伸縮性一般。

在安全性方面，基于載荷特征的識(shí)別方法需要檢測(cè)數(shù)據(jù)包的應(yīng)用層數(shù)據(jù)，容易造成隱私泄露問(wèn)題?；诠潭ㄒ?guī)則的識(shí)別方法不需要對(duì)應(yīng)用層數(shù)據(jù)匹配特征模式等，也就不存在安全問(wèn)題?；谥鳈C(jī)行為、機(jī)器學(xué)習(xí)的識(shí)別方法在對(duì)統(tǒng)計(jì)特征進(jìn)行分析時(shí)，不分析流量的具體內(nèi)容，只分析流量的通信行為，安全性較高。另外，基于機(jī)器學(xué)習(xí)的識(shí)別方法也存在分析應(yīng)用層數(shù)據(jù)的情況，但不深入檢測(cè)應(yīng)用層具體內(nèi)容，安全性問(wèn)題并不嚴(yán)重。

在協(xié)議無(wú)關(guān)性方面，基于固定規(guī)則的識(shí)別方法只能識(shí)別已知的標(biāo)準(zhǔn)協(xié)議，根據(jù)端口協(xié)議的映射關(guān)系進(jìn)行識(shí)別，對(duì)未知協(xié)議的流量，尤其端口非固定的協(xié)議，該方法會(huì)失效?；谳d荷特征的識(shí)別方法面對(duì)未知流量、加密流量都會(huì)失效。這種方法的識(shí)別依賴于識(shí)別規(guī)則庫(kù)，規(guī)則庫(kù)中因沒(méi)有未知流量的識(shí)別規(guī)則而失效;加密會(huì)掩蓋協(xié)議特征而使方法失效?；谥鳈C(jī)行為的識(shí)別方法是對(duì)流量外部特征進(jìn)行分析，因此不會(huì)受到流量?jī)?nèi)容加密所帶來(lái)的影響;但這種方法是對(duì)已知協(xié)議的通信行為進(jìn)行建模，也就導(dǎo)致無(wú)法識(shí)別未知流量?；跈C(jī)器學(xué)習(xí)的識(shí)別方法與基于主機(jī)行為的識(shí)別方法類(lèi)似，當(dāng)對(duì)統(tǒng)計(jì)行為特征進(jìn)行分析時(shí)，能夠識(shí)別加密流量;當(dāng)對(duì)內(nèi)容特征進(jìn)行分析時(shí)，根據(jù)同一協(xié)議內(nèi)部特征表現(xiàn)出的相似性，可以識(shí)別出未知流量的協(xié)議信息。因此基于機(jī)器學(xué)習(xí)的識(shí)別方法適用范圍最廣。

4 未來(lái)研究方向

協(xié)議識(shí)別技術(shù)經(jīng)過(guò)十幾年的研究，從傳統(tǒng)的基于固定規(guī)則和載荷特征的數(shù)據(jù)包識(shí)別階段，發(fā)展到目前的基于主機(jī)行為和機(jī)器學(xué)習(xí)的數(shù)據(jù)流識(shí)別階段，識(shí)別準(zhǔn)確率和效率雖然有所提高，但還不能很好適應(yīng)網(wǎng)絡(luò)的持續(xù)性變化。為了應(yīng)對(duì)各類(lèi)新興的網(wǎng)絡(luò)技術(shù)和紛繁復(fù)雜的應(yīng)用，協(xié)議識(shí)別技術(shù)可以嘗試在以下方向有所突破：

1）數(shù)據(jù)采集與可信標(biāo)注。目前協(xié)議識(shí)別缺乏公認(rèn)的數(shù)據(jù)集，研究人員多采用自身實(shí)驗(yàn)網(wǎng)絡(luò)環(huán)境下捕獲的原始流量數(shù)據(jù)，然后使用人工方法或DPI工具進(jìn)行類(lèi)別標(biāo)注。人工方法繁瑣、工作量大，易出錯(cuò)，適用于小樣本標(biāo)記。DPI工具能夠大批量、自動(dòng)化地標(biāo)記樣本，但是Carela-espanol等[70]的測(cè)試發(fā)現(xiàn)L7-fiter的平均準(zhǔn)確率只有38.13%，達(dá)不到結(jié)果可信的水平。然而協(xié)議識(shí)別需要大量的樣本，因?yàn)闃颖驹蕉嘣侥芊从吵鰠f(xié)議的特性，不能僅僅依賴于人工標(biāo)記的方法，因此標(biāo)準(zhǔn)的數(shù)據(jù)集與值得信任的標(biāo)注方法是需要研究人員考慮解決的問(wèn)題之一。

2）未知協(xié)議的識(shí)別。未知協(xié)議在互聯(lián)網(wǎng)中越來(lái)越多，很多應(yīng)用軟件使用了自己設(shè)計(jì)的通信協(xié)議，這類(lèi)協(xié)議是Wireshark等通用協(xié)議解析工具無(wú)法解析的。但未知協(xié)議與已知協(xié)議一樣，具有相對(duì)固定的格式，當(dāng)同一類(lèi)型未知協(xié)議的流量數(shù)據(jù)不斷累積，流量數(shù)據(jù)在物理取值和統(tǒng)計(jì)分布方面的特性也會(huì)變得愈加明顯，從中尋找規(guī)律也成為可能。未知協(xié)議識(shí)別需要首先通過(guò)尋找相對(duì)固定的特征序列識(shí)別出幀頭，然后在此基礎(chǔ)上，挖掘出上層協(xié)議特征，最后使用協(xié)議特征指導(dǎo)后續(xù)的協(xié)議識(shí)別。

3）加密流量識(shí)別。一些軟件出于安全防護(hù)的考慮，采用了加密和隧道化傳輸技術(shù)，如安全套接層（Secure Sockets Layer， SSL）、安全外殼（Secure SHell， SSH）協(xié)議、虛擬專用網(wǎng)絡(luò)（Virtual Private Network， VPN）等，加密后的流量數(shù)據(jù)缺乏明顯的協(xié)議特性，增加了分類(lèi)的難度。不僅要考慮這些加密流量的檢測(cè)，更要進(jìn)一步識(shí)別它們的協(xié)議類(lèi)型，這就顯得尤為困難。

4）P2P協(xié)議識(shí)別。P2P技術(shù)的普及，導(dǎo)致難以采集完整有效的數(shù)據(jù)。P2P節(jié)點(diǎn)在行為上兼具Server 和Client兩種身份，跟傳統(tǒng)的C/S或B/S訪問(wèn)模式中通信端點(diǎn)的一一映射關(guān)系有很大的不同，只能收集到部分流量。除此之外，P2P應(yīng)用類(lèi)型多樣，包括文件下載、內(nèi)容共享、即時(shí)通信、網(wǎng)絡(luò)電話和流媒體等。在這種情況下，如何細(xì)粒度地區(qū)分P2P協(xié)議是目前研究難點(diǎn)。

5）類(lèi)別不平衡的協(xié)議識(shí)別。目前機(jī)器學(xué)習(xí)方法是協(xié)議識(shí)別的研究熱點(diǎn)，其分類(lèi)模型多是由類(lèi)別平衡的實(shí)驗(yàn)環(huán)境下的數(shù)據(jù)訓(xùn)練得到，但在實(shí)際網(wǎng)絡(luò)環(huán)境中，存在嚴(yán)重的類(lèi)別不平衡現(xiàn)象。如果采用重采樣技術(shù)，多采樣小類(lèi)別的樣本或從大類(lèi)別中刪除一部分樣本，這種處理方式會(huì)破壞原本的樣本分布情況。若部署在真實(shí)網(wǎng)絡(luò)環(huán)境中，可能將小類(lèi)別流量誤識(shí)別為大類(lèi)別流量，在類(lèi)別不平衡條件下，保證小類(lèi)別協(xié)議識(shí)別的準(zhǔn)確率也是研究人員需要考慮的問(wèn)題。

5 結(jié)語(yǔ)

網(wǎng)絡(luò)協(xié)議識(shí)別技術(shù)在網(wǎng)絡(luò)安全領(lǐng)域具有重要的作用。隨著網(wǎng)絡(luò)技術(shù)的不斷升級(jí)，傳統(tǒng)的基于端口的協(xié)議識(shí)別技術(shù)識(shí)別效果越來(lái)越差?；谳d荷特征的方法雖然準(zhǔn)確，但容易泄露用戶隱私。基于主機(jī)行為的方法建模復(fù)雜，且多停在理論分析階段?；跈C(jī)器學(xué)習(xí)方法的雖然高效、準(zhǔn)確率高，但嚴(yán)重依賴于特征導(dǎo)致其難以在真實(shí)環(huán)境中部署。

本文綜述了網(wǎng)絡(luò)協(xié)議識(shí)別領(lǐng)域的研究方法和相關(guān)成果。首先介紹網(wǎng)絡(luò)協(xié)議識(shí)別的識(shí)別目標(biāo)、識(shí)別需求和評(píng)估準(zhǔn)則;然后分析網(wǎng)絡(luò)協(xié)議識(shí)別的基本流程;接著從兩個(gè)類(lèi)別詳細(xì)分析了不同協(xié)議識(shí)別方法的優(yōu)缺點(diǎn);最后展望了未來(lái)的研究方向。

雖然研究人員在流量識(shí)別領(lǐng)域取得了不少成果，但是協(xié)議識(shí)別技術(shù)仍面臨著眾多的挑戰(zhàn)：

1）復(fù)雜網(wǎng)絡(luò)環(huán)境的挑戰(zhàn)，例如移動(dòng)網(wǎng)絡(luò)、云平臺(tái)環(huán)境。移動(dòng)互聯(lián)網(wǎng)發(fā)展迅速和智能終端的快速普及都極大改變了傳統(tǒng)互聯(lián)網(wǎng)的行為模式，智能終端的應(yīng)用數(shù)量也不斷增加，所產(chǎn)生網(wǎng)絡(luò)流量也在急劇增長(zhǎng)，如何在移動(dòng)網(wǎng)絡(luò)下進(jìn)行網(wǎng)絡(luò)流量的協(xié)議識(shí)別分類(lèi)也顯得更加重要。越來(lái)越多的應(yīng)用采用云平臺(tái)環(huán)境部署。云平臺(tái)的出入口流量混合了多種不同應(yīng)用的流量，且經(jīng)常對(duì)應(yīng)用的部署進(jìn)行動(dòng)態(tài)調(diào)整，難以得到純凈的訓(xùn)練樣本，實(shí)現(xiàn)精確的協(xié)議識(shí)別。

2）大數(shù)據(jù)高速網(wǎng)絡(luò)實(shí)時(shí)分類(lèi)的挑戰(zhàn)。面對(duì)網(wǎng)絡(luò)流量的大數(shù)據(jù)，結(jié)合Hadoop、FPGA等并行處理技術(shù)和硬件加速技術(shù)成為研究趨勢(shì)。實(shí)時(shí)分類(lèi)不同于離線分類(lèi)，要求盡早識(shí)別出協(xié)議類(lèi)型。從目前協(xié)議識(shí)別的研究情況來(lái)看，大多數(shù)研究方法都圍繞著提高識(shí)別準(zhǔn)確率展開(kāi)，基于固定規(guī)則、載荷特征兩種方法雖具有早期識(shí)別的優(yōu)勢(shì)，但準(zhǔn)確率和運(yùn)行效率難以保證?；谥鳈C(jī)行為和基于機(jī)器學(xué)習(xí)的兩類(lèi)方法依賴于離線學(xué)習(xí)。除此之外，高速網(wǎng)絡(luò)越來(lái)越普及，如何將協(xié)議識(shí)別方法部署在高速網(wǎng)絡(luò)，實(shí)時(shí)進(jìn)行協(xié)議識(shí)別且能保證識(shí)別準(zhǔn)確率，是學(xué)術(shù)界、工業(yè)界面臨的重要挑戰(zhàn)。

3）網(wǎng)絡(luò)流量持續(xù)動(dòng)態(tài)變化的挑戰(zhàn)。網(wǎng)絡(luò)流量持續(xù)性動(dòng)態(tài)變化會(huì)導(dǎo)致概念漂移現(xiàn)象的產(chǎn)生，具體表現(xiàn)是處于不同網(wǎng)絡(luò)環(huán)境的同一類(lèi)協(xié)議的流量數(shù)據(jù)分布會(huì)出現(xiàn)較大差異。然而現(xiàn)有方法假設(shè)同種協(xié)議具有相同分布的特性，且著重于流量的靜態(tài)識(shí)別，沒(méi)有考慮流量概念漂移的影響。面對(duì)網(wǎng)絡(luò)流量的持續(xù)變化，將不同網(wǎng)絡(luò)環(huán)境的流量進(jìn)行統(tǒng)一處理，是協(xié)議識(shí)別領(lǐng)域的嚴(yán)峻挑戰(zhàn)。

參考文獻(xiàn) （References）

[1]SANDERS C. Practical Packet Analysis： Using Wireshark to Solve Real-World Network Problems [M]. San Francisco： No Starch Press， 2011： 192-194.

[2]陳亮，龔儉，徐選.應(yīng)用層協(xié)議識(shí)別算法綜述[J].計(jì)算機(jī)科學(xué)，2007，34（7）：73-75.（CHEN L， GONG J， XU X. A survey of application-level protocol identification algorithm [J]. Computer Science， 2007， 34（7）： 73-75.）

[3]SourceForge. L7-filter： application layer packet classifier for Linux [EB/OL]. [2019-04-14]. http：//l7-filter.sourceforge.net/.

[4]DERI L， MARTINELLI M， BUJLOW T， et al. nDPI： open-source high-speed deep packet inspection [C]// Proceedings of the 2014 Wireless Communications and Mobile Computing Conference. Piscataway： IEEE， 2014： 617-622.

[5]ALCOCK S， NELSON R. Libprotoident： traffic classification using lightweight packet inspection： technical report [R/OL]. [2019-04-14]. http：//www.wand.net.nz/publications/lpireport.

[6]MOORE A W， ZUEV D. Internet traffic classification using Bayesian analysis techniques [J]. ACM SIGMETRICS Performance Evaluation Review， 2005， 33（1）： 50-60.

[7]CAIDA. CAIDA data-overview of datasets， monitors and reports [EB/OL]. [2019-04-14]. http：//www.caida.org/data/overview/.

[8]Università degli Studi di Brescia. UNIBS： data sharing [EB/OL]. [2019-04-14]. http：//netweb.ing.unibs.it/～ntw/tools/traces.

[9]The MAWI Working Group. MAWI working group traffic archive [EB/OL]. [2019-04-14]. http：//mawi.wide.ad.jp/mawi/.

[10]WAND network research group. WITS： Waikato Internet traffic storage [EB/OL]. [2019-04-14]. https：//wand.net.nz/wits/.

[11]LIPPMANN R， HAINES J W， FRIED D J， et al. The 1999 DARPA off-line intrusion detection evaluation [J]. Computer Networks， 2000， 34（4）： 579-595.

[12]TOUCH J， MANKIN A， KOHLER E， et al. Service name and transport protocol port number registry [EB/OL]. [2019-04-14]. https：//www.iana.org/assignments/service-names-port-numbers/service-names-port-numbers.xhtml.

[13]MADHUKAR A， WILLIAMSON C. A longitudinal study of P2P traffic classification [C]// Proceedings of the 14th International Symposium on Modeling， Analysis， and Simulation. Piscataway： IEEE， 2006： 179-188.

[14]YOON S H， PARK J W， PARK J S， et al. Internet application traffic classification using fixed IP-port [C]// Proceedings of the 12th Asia-pacific Network Operations and Management Conference on Management Symposium， LNCS 5787. Berlin： Springer， 2009： 21-30.

[15]KARAGIANNIS T， BROIDO A， FALOUTSOS M， et al. Transport layer identification of P2P traffic [C]// Proceedings of the 4th ACM SIGCOMM Internet Measurement Conference. New York： ACM， 2004： 121-134.

[16]汪立東，錢(qián)麗萍，王大偉，等.網(wǎng)絡(luò)流量分類(lèi)方法與實(shí)踐[M].北京：人民郵電出版社，2013：122-126.（WANG L D， QIAN L P， WANG D W， et al. Network Traffic Classification [M]. Beijing： Posts and Telecom Press， 2013： 122-126.）

[17]SEN S， SPATSCHECK O， WANG D. Accurate， scalable in-network identification of P2P traffic using application signatures [C]// Proceedings of the 2004 13th International Conference on World Wide Web. New York： ACM， 2004： 512-521.

[18]YUN X， WANG Y， ZHANG Y， et al. A semantics-aware approach to the automated network protocol identification [J]. IEEE/ACM Transactions on Networking， 2016， 24（1）： 583-595.

[19]MOORE A W， PAPAGIANNAKI K. Toward the accurate identification of network applications [C]// Proceedings of the 6th International Workshop on Passive and Active Network Measurement， LNCS 3431. Berlin： Springer， 2005： 41-54.

[20]BUJLOW T， CARELA-ESPANOL V， BARLET-ROS P. Independent comparison of popular DPI tools for traffic classification [J]. Computer Networks， 2015， 76： 75-89.

[21]CHEN H， HU Z， YE Z， et al. A new model for P2P traffic identification based on DPI and DFI [C]// Proceedings of the 2009 International Conference on Information Engineering and Computer Science. Piscataway： IEEE， 2009： 1-3.

[22]WANG C， ZHOU X， YOU F， et al. Design of P2P traffic identification based on DPI and DFI [C]// Proceedings of the 2009 International Symposium on Computer Network and Multimedia Technology. Piscataway： IEEE， 2009： 1-4.

[23]葉文晨，汪敏，陳云寰，等.一種聯(lián)合DPI和DFI的網(wǎng)絡(luò)流量檢測(cè)方法[J].計(jì)算機(jī)工程，2011，37（10）：102-104，107.（YE W C， WANG M， CHEN Y H， et al. Network flow inspection method of joint DPI and DFI [J]. Computer Engineering， 2011， 37（10）： 102-104， 107.）

[24]林冠洲.網(wǎng)絡(luò)流量識(shí)別關(guān)鍵技術(shù)研究[D].北京：北京郵電大學(xué)，2011：10.（LIN G Z. Research on the key technologies of network traffic classification [D]. Beijing： Beijing University of Posts and Telecommunications， 2011： 10.）

[25]付文亮，嵩天，周舟.RocketTC：一種基于FPGA的高性能網(wǎng)絡(luò)流量分類(lèi)架構(gòu)[J].計(jì)算機(jī)學(xué)報(bào)，2014，37（2）：414 -422.（FU W L， SONG T， ZHOU Z. RocketTC： a high throughput traffic classification architecture on FPGA [J]. Chinese Journal of Computers， 2014， 37（2）： 414-422.）

[26]KUMAR S， DHARMAPURIKAR S， YU F， et al. Algorithms to accelerate multiple regular expressions matching for deep packet inspection [J]. ACM SIGCOMM Computer Communication Review， 2006， 36（4）： 339-350.

[27]TONG D， QU Y R， PRASANNA V K. Accelerating decision tree based traffic classification on FPGA and multicore platforms [J]. IEEE Transactions on Parallel and Distributed Systems， 2017， 28（11）： 3046-3059.

[28]FINAMORE A， MELLIA M， MEO M， et al. KISS： stochastic packet inspection classifier for UDP traffic [J]. IEEE/ACM Trans on Networking， 2010， 18（5）： 1505-1515.

[29]CROTTI M， DUSI M， GRINGOLI F， et al. Traffic classification through simple statistical fingerprinting [J]. ACM SIGCOMM Computer Communication Review， 2007， 37（1）： 5-16.

[30]KARAGIANNIS T， PAPAGIANNAKI K， FALOUTSOS M. BLINC： multilevel traffic classification in the dark [C]// Proceedings of the 2005 Conference on Applications， Technologies， Architectures， and Protocols for Computer Communications. New York： ACM， 2005： 229-240.

[31]ILIOFOTOU M， PAPPU P， FALOUTSOS M， et al. Network monitoring using Traffic Dispersion Graphs （TDGs） [C]// Proceedings of the 7th ACM SIGCOMM Conference on Internet Measurement. New York： ACM， 2007： 315-320.

[32]李君，張順頤，王浩云，等.基于貝葉斯網(wǎng)絡(luò)的Peer-to-Peer識(shí)別方法[J].應(yīng)用科學(xué)學(xué)報(bào)，2009，27（2）：124-130.（LI J， ZHANG S Y， WANG H Y， et al. Peer-to-peer traffic identification using Bayesian networks [J]. Journal of Applied Sciences， 2009， 27（2）： 124-130）

[33]張澤鑫，李俊，常向青.基于特征加權(quán)的樸素貝葉斯流量分類(lèi)方法研究[J].高技術(shù)通訊，2016，26（2）：119-128.（ZHANG Z X， LI J， CHANG X Q. Internet traffic classification using the attribute weighted naive Bayes algorithm [J]. High Technology Letters， 2016， 26（2）： 119-128.）

[34]孫德山.支持向量機(jī)分類(lèi)與回歸方法研究[D].長(zhǎng)沙：中南大學(xué)，2004：10.（SUN D S. The researches on support vector machine classification and regression methods [D]. Changsha： Central South University， 2004： 10.）

[35]LI Z， YUAN R， GUAN X. Accurate classification of the Internet traffic based on the SVM method [C]// Proceedings of the 2007 IEEE International Conference on Communications. Piscataway： IEEE， 2007： 1373-1378.

[36]YANG A， JIANG S， DENG H. A P2P network traffic classification method using SVM [C]// Proceedings of the 9th International Conference for Young Computer Scientists. Piscataway： IEEE， 2008： 398-403.

[37]GROLEAT T， ARZEL M， VATON S. Hardware acceleration of SVM-based traffic classification on FPGA [C]// Proceedings of the 8th International Wireless Communications and Mobile Computing Conference. Piscataway： IEEE， 2012： 443-449.

[38]王一鵬，云曉春，張永錚，等.基于主動(dòng)學(xué)習(xí)和SVM方法的網(wǎng)絡(luò)協(xié)議識(shí)別技術(shù)[J].通信學(xué)報(bào)，2013，34（10）：135-142.（WANG Y P， YUN X C， ZHANG Y Z， et al. Network protocol identification based on active learning and SVM algorithm [J]. Journal on Communications， 2013， 34（10）： 135-142.）

[39]曹杰.基于SVM的網(wǎng)絡(luò)流量特征降維與分類(lèi)方法研究[D].長(zhǎng)春：吉林大學(xué)，2017：10.（CAO J. Research of feature reduction and traffic classification method based on SVM [D]. Changchun： Jilin University， 2017： 10.）

[40]LOBATO A G P， LOPEZ M A， SANZ I J， et al. An adaptive real-time architecture for zero-day threat detection [C]// Proceedings of the 2018 International Conference on Communications. Piscataway： IEEE， 2018： 1-6.

[41]譚駿，陳興蜀，杜敏，等.基于自適應(yīng)BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量識(shí)別算法[J].電子科技大學(xué)學(xué)報(bào)，2012，41（4）：580-585.（TAN J， CHEN X S， DU M， et al. Internet traffic identification algorithm based on adaptive BP neural network [J]. Journal of University of Electronic Science and Technology of China， 2012， 41（4）： 580-585）

[42]WANG W， ZHU M， ZENG X， et al. Malware traffic classification using convolutional neural network for representation learning [C]// Proceedings of the 2017 International Conference on Information Networking. Piscataway， NJ： IEEE， 2017： 712-717.

[43]王勇，周慧怡，俸皓，等.基于深度卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量分類(lèi)方法[J].通信學(xué)報(bào)，2018，39（1）：14-23.（WANG Y， ZHOU H Y， FENG H， et al. Network traffic classification method basing on CNN [J]. Journal on Communications， 2018， 39（1）： 14-23.）

[44]JAIN A V. Network traffic identification with convolutional neural networks [C]// Proceedings of the IEEE 16th International Conference on Dependable， Autonomic and Secure Computing， 16th International Conference on Pervasive Intelligence and Computing， 4th International Conference on Big Data Intelligence and Computing and 2018 International Conference on Cyber Science and Technology. Piscataway： IEEE， 2018： 1001-1007.

[45]陳雪嬌，王攀，俞家輝. 基于卷積神經(jīng)網(wǎng)絡(luò)的加密流量識(shí)別方法[J].南京郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，38（6）：40-45.（CHEN X J， WANG P， YU J H. CNN based encrypted traffic identification method [J]. Journal of Nanjing University of Posts and Telecommunications （Natural Science Edition）， 2018， 38（6）： 40-45）

[46]葉松.基于現(xiàn)代網(wǎng)絡(luò)的深度學(xué)習(xí)應(yīng)用協(xié)議識(shí)別技術(shù)研究與實(shí)現(xiàn)[J].軟件導(dǎo)刊，2018，17（10）：194-199.（YE S. Research and implementation of deep learning application protocol recognition technology based on modern network [J]. Software Guide， 2018， 17（10）： 194-199.）

[47]REN J， WANG Z. A novel deep learning method for application identification in wireless network [J]. China Communications， 2018， 15（10）： 73-83.

[48]WILLIAMS N， ZANDER S， ARMITAGE G. A preliminary performance comparison of five machine learning algorithms for practical IP traffic flow classification [J]. ACM SIGCOMM Computer Communication Review， 2006， 36（5）： 5-16.

[49]徐鵬，林森.基于C4.5決策樹(shù)的流量分類(lèi)方法[J].軟件學(xué)報(bào)，2009，20（10）：2692-2704.（XU P， LIN S. Internet traffic classification using C4.5 decision tree [J]. Journal of Software， 2009， 20（10）： 2692-2704.）

[50]周劍峰，陽(yáng)愛(ài)民，劉吉財(cái).基于改進(jìn)的C4.5算法的網(wǎng)絡(luò)流量分類(lèi)方法[J].計(jì)算機(jī)工程與應(yīng)用，2012，48（5）：71-74.（ZHOU J F， YANG A M， LIU J C. Traffic classification approach based on improved C4.5 algorithm [J]. Computer Engineering and Applications， 2012， 48（5）： 71-74）

[51]王朝正.基于Hadoop的C4.5決策樹(shù)及其在網(wǎng)絡(luò)流量中的應(yīng)用[D].重慶：重慶郵電大學(xué)，2016：10.（WANG C Z. C4.5 decision tree based on Hadoop and its application in network traffic [D]. Chongqing： Chongqing University of Posts and Telecommunications， 2016： 10.）

[52]程珊，鈕焱，李軍.基于網(wǎng)絡(luò)資源的KNN網(wǎng)絡(luò)流量分類(lèi)模型的研究[J].湖北工業(yè)大學(xué)學(xué)報(bào)，2016，31（4）：75-79，82.（CHENG S， NIU Y， LI J. A study on network traffic classification model of KNN based on network resources [J]. Journal of Hubei University of Technology， 2016， 31（4）： 75-79， 82.）

[53]SU M Y. Using clustering to improve the KNN-based classifiers for online anomaly network traffic identification [J]. Journal of Network and Computer Applications， 2011， 34（2）： 722-730.

[54]ZHANG J， XIANG Y， WANG Y， et al. Network traffic classification using correlation information [J]. IEEE Transactions on Parallel and Distributed Systems， 2013， 24（1）： 104-117.

[55]WU D， CHEN X， CHEN C， et al. On addressing the imbalance problem： a correlated KNN approach for network traffic classification [C]// Proceedings of the 2015 International Conference on Network and System Security， LNCS 8792. Cham： Springer， 2015： 138-151.

[56]MCGREGOR A， HALL M， LORIER P， et al. Flow clustering using machine learning techniques [C]// Proceedings of the 2004 International Workshop on Passive and Active Network Measurement， LNCS 3015. Berlin： Springer， 2004： 205-214.

[57]LIU S， HU J， HAO S， et al. Improved EM method for Internet traffic classification [C]// Proceedings of the 8th International Conference on Knowledge and Smart Technology. Piscataway： IEEE， 2016： 13-17.

[58]ZANDER S， NGUYEN T， ARMITAGE G. Automated traffic classification and application identification using machine learning [C]// Proceedings of the 2005 IEEE Conference on Local Computer Networks 30th Anniversary. Piscataway： IEEE， 2005： 250-257.

[59]LIU Y， LI W， LI Y. Network traffic classification using k-means clustering [C]// Proceedings of the 2nd International Multi-symposiums on Computer and Computational Sciences. Piscataway： IEEE， 2007： 360-365.

[60]彭大芹，項(xiàng)磊，李司坤，等.多協(xié)議下智能家居協(xié)議的分類(lèi)方法[J].重慶郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，30（3）：321-328.（PENG D Q， XIANG L， LI S K， et al. Classification of intelligent home protocol under multi-protocols [J]. Journal of Chongqing University of Posts and Telecommunications （Natural Science Edition）， 2018， 30（3）： 321-328.）

[61]何震凱，陽(yáng)愛(ài)民，劉永定，等.一種使用DBSCAN聚類(lèi)的網(wǎng)絡(luò)流量分類(lèi)方法[J].計(jì)算機(jī)應(yīng)用研究，2009，26（9）：3461-3464.（HE Z K， YANG A M， LIU Y D， et al. Method of network traffic classification using DBSCAN clustering [J]. Application Research of Computers， 2009， 26（9）： 3461-3464.）

[62]張鳳荔，周洪川，張俊嬌，等.基于改進(jìn)凝聚層次聚類(lèi)的協(xié)議分類(lèi)算法[J].計(jì)算機(jī)工程與科學(xué)，2017，39（4）：796-803.（ZHANG F L， ZHOU H C， ZHANG J J， et al. A protocol classification algorithm based on improved AGENS [J]. Computer Engineering and Science， 2017， 39（4）： 796-803.）

[63]周文剛，陳雷霆，董仕.基于譜聚類(lèi)的網(wǎng)絡(luò)流量分類(lèi)識(shí)別算法[J].電子測(cè)量與儀器學(xué)報(bào)，2013，27（12）：1114-1119.（ZHOU W G， CHEN L T， DONG S. Network traffic classification algorithm based on spectral clustering [J]. Journal of Electronic Measurement and Instrument， 2013， 27（12）： 1114-1119.）

[64]BERNAILLE L， TEIXEIRA R， SALAMATIAN K. Early application identification [C]// Proceedings of the 2006 ACM Conference on Emerging Network Experiment and Technology. New York： ACM， 2006： Article No. 6.

[65]趙英，韓春昊.馬爾科夫模型在網(wǎng)絡(luò)流量分類(lèi)中的應(yīng)用與研究[J].計(jì)算機(jī)工程，2018，44（5）：291-295.（ZHAO Y， HAN C H. Application and research of Markov model in network traffic classification [J]. Computer Engineering， 2018， 44（5）： 291-295.）

[66]ERMAN J， MAHANTI A， ARLITT M， et al. Semi-supervised network traffic classification [J]. ACM SIGMETRICS Performance Evaluation Review， 2007， 35（1）： 369-370.

[67]ZHANG J， CHEN C， XIANG Y， et al. Semi-supervised and compound classification of network traffic [C]// Proceedings of the 32nd International Conference on Distributed Computing Systems Workshops. Piscataway： IEEE， 2012： 617-621.

[68]丁偉，徐杰，卓文輝.基于層次聚類(lèi)的網(wǎng)絡(luò)流識(shí)別算法研究[J].通信學(xué)報(bào)，2014，35（Z1）：41-45.（DING W， XU J， ZHUO W H. Net traffic identifier based on hierarchical clustering [J]. Journal on Communications， 2014， 35（Z1）： 41-45.）

[69]WANG Y， XUE H， LIU Y， et al. Statistical network protocol identification with unknown pattern extraction [J]. Annals of Telecommunications， 2019， 74（7/8）： 473-482.

[70]CARELA-ESPANOL V， BUJLOW T， BARLET-ROS P. Is our ground-truth for traffic classification reliable？ [C]// Proceedings of the 2014 International Conference on Passive and Active Network Measurement， LNCS 8362 . Cham： Springer， 2014： 98-108.

This work is partially supported by the National Key Research and Development Program of China （2017YFB0802900）.

FENG Wenbo， born in 1994， M. S. candidate. His research interests include network protocol recognition， machine learning.

HONG Zheng， born in 1979， Ph. D.， associate professor. His research interests include network security， protocol reverse engineering.

WU Lifa， born in 1968， Ph. D.， professor. His research interests include network security， network management.

FU Menglin， born in 1995， M. S. candidate. Her research interests include vulnerability mining， blockchain security.

收稿日期：2019-06-06;修回日期：2019-08-07;錄用日期：2019-08-08?；痦?xiàng)目：國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2017YFB0802900）。

作者簡(jiǎn)介：馮文博（1994—），男，河南周口人，碩士研究生，主要研究方向：網(wǎng)絡(luò)協(xié)議識(shí)別、機(jī)器學(xué)習(xí); 洪征（1979—），男，江蘇南京人，副教授，博士，主要研究方向：網(wǎng)絡(luò)安全、協(xié)議逆向工程; 吳禮發(fā)（1968—），男，湖北黃石人，教授，博士，CCF會(huì)員，主要研究方向：網(wǎng)絡(luò)安全、網(wǎng)絡(luò)管理; 付夢(mèng)琳（1995—），女，江蘇南京人，碩士研究生，主要研究方向：漏洞挖掘、區(qū)塊鏈安全。

文章編號(hào)：1001-9081（2019）12-3604-11 DOI：10.11772/j.issn.1001-9081.2019050949