黃偉，劉存才，祁思博

針對(duì)設(shè)備端口鏈路的LSTM網(wǎng)絡(luò)流量預(yù)測(cè)與鏈路擁塞方案

黃偉，劉存才，祁思博

（中國(guó)電子科技集團(tuán)公司第五十四研究所，河北 石家莊 050081）

針對(duì)設(shè)備端口鏈路流量，提出兩種基于長(zhǎng)短期記憶網(wǎng)絡(luò)的預(yù)測(cè)模型。第一種針對(duì)在大時(shí)間粒度下平穩(wěn)變化的流量；第二種則針對(duì)在小時(shí)間粒度下波動(dòng)劇烈的非平穩(wěn)流量。通過(guò)選用不同的數(shù)據(jù)劃分方式與模型訓(xùn)練方法，構(gòu)建兩種具有不同網(wǎng)絡(luò)結(jié)構(gòu)的流量預(yù)測(cè)模型。實(shí)驗(yàn)結(jié)果表明，前者在處理平穩(wěn)變化的流量時(shí)能夠達(dá)到極高的預(yù)測(cè)精度，后者在處理非平穩(wěn)流量時(shí)具有明顯優(yōu)于SVR模型、BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)效果。在第二種預(yù)測(cè)模型的基礎(chǔ)上，提出了參數(shù)可調(diào)的鏈路擁塞預(yù)警方案，實(shí)驗(yàn)證明該方案具有一定的可行性。

長(zhǎng)短期記憶網(wǎng)絡(luò)；機(jī)器學(xué)習(xí)；網(wǎng)絡(luò)流量預(yù)測(cè)；非平穩(wěn)流量預(yù)測(cè)；時(shí)間序列預(yù)測(cè)

1 引言

近年來(lái)，網(wǎng)絡(luò)業(yè)務(wù)日益復(fù)雜多元化，網(wǎng)絡(luò)流量更多地呈現(xiàn)出突發(fā)性與自相似性，流量的時(shí)間序列也愈加難以使用傳統(tǒng)的線性方法進(jìn)行建模描述。為此，研究者開始嘗試將SVR[1-2]、BP神經(jīng)網(wǎng)絡(luò)[3-5]等機(jī)器學(xué)習(xí)方法應(yīng)用于網(wǎng)絡(luò)流量乃至交通流量預(yù)測(cè)，試圖通過(guò)對(duì)歷史流量的學(xué)習(xí)來(lái)預(yù)測(cè)未來(lái)時(shí)間流量。從以往的研究中來(lái)看，多數(shù)研究者需要利用流量的周期性特征，這主要適用于較大時(shí)間粒度的流量預(yù)測(cè)[3-6]，需要長(zhǎng)時(shí)間的訓(xùn)練數(shù)據(jù)且無(wú)法保證預(yù)測(cè)的時(shí)效性。另外一種為短時(shí)流量預(yù)測(cè)[7-9]，由于小時(shí)間粒度下流量序列前后波動(dòng)的不確定性，很難使用傳統(tǒng)機(jī)器學(xué)習(xí)方法對(duì)其進(jìn)行精確的描述。但經(jīng)過(guò)大量的數(shù)據(jù)研究后發(fā)現(xiàn)，即使是短時(shí)間內(nèi)前后差異明顯的網(wǎng)絡(luò)流量數(shù)據(jù)，在一段時(shí)間范圍內(nèi)確實(shí)可能呈現(xiàn)不同程度上升或下降的趨勢(shì)，與此同時(shí)流量數(shù)據(jù)本身又不可避免地呈現(xiàn)波動(dòng)性。

本文由上述觀點(diǎn)出發(fā)，試圖尋找一種能夠有效描述流量變化趨勢(shì)的方法，對(duì)大時(shí)間粒度下平穩(wěn)變化的流量進(jìn)行精確的預(yù)測(cè)，對(duì)小時(shí)間粒度下波動(dòng)劇烈的流量進(jìn)行可靠的預(yù)測(cè)。之后，本文在短時(shí)流量預(yù)測(cè)的基礎(chǔ)上，綜合考慮以往的流量波動(dòng)情況，探討判斷未來(lái)鏈路擁塞的預(yù)警方法。

2 相關(guān)研究

在第二類預(yù)測(cè)模型中，可以為1或大于1。此時(shí)，模型將使用更多時(shí)段的歷史數(shù)據(jù)而不僅是相鄰時(shí)間的數(shù)據(jù)進(jìn)行訓(xùn)練。一般來(lái)說(shuō)，這種方式劃分的訓(xùn)練數(shù)據(jù)更能反映流量數(shù)據(jù)一段時(shí)間的變化。的取值越大則訓(xùn)練模型考慮的時(shí)間范圍越廣，相應(yīng)地，模型的學(xué)習(xí)能力越容易飽和。循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)時(shí)序變化的數(shù)據(jù)具有很好的學(xué)習(xí)能力，文獻(xiàn)[9]提出了一種基于EMD的循環(huán)神經(jīng)網(wǎng)絡(luò)，它對(duì)具有周期性變化特性的非平穩(wěn)流量有較好的預(yù)測(cè)效果。文獻(xiàn)[10]針對(duì)具有混沌特性的非線性時(shí)間序列提出了一種名為Elman-NARX的神經(jīng)網(wǎng)絡(luò)模型。文獻(xiàn)[11]將協(xié)同進(jìn)化算法引入Elman神經(jīng)網(wǎng)絡(luò)，提高了對(duì)混沌時(shí)間序列的預(yù)測(cè)精度。文獻(xiàn)[12]提出一種基于循環(huán)小波神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)模型，相較傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型有更好的預(yù)測(cè)效果。然而上述模型在處理較長(zhǎng)的時(shí)間序列時(shí)，均存在發(fā)生梯度消失和梯度爆炸的風(fēng)險(xiǎn)。LSTM網(wǎng)絡(luò)不同于上述循環(huán)神經(jīng)網(wǎng)絡(luò)，可以很好地解決梯度消失問(wèn)題[13]。它具有長(zhǎng)短期記憶能力，適用于較長(zhǎng)時(shí)間序列的預(yù)測(cè)。目前，LSTM網(wǎng)絡(luò)已經(jīng)較多地在交通流量預(yù)測(cè)的相關(guān)研究中被發(fā)掘和使用[14-17]。文獻(xiàn)[18]提出一種基于-means聚類的LSTM模型，其只考慮了相鄰時(shí)間點(diǎn)的數(shù)據(jù)變化。文獻(xiàn)[19]提出了一種三層混合的LSTM交通流量預(yù)測(cè)模型，文獻(xiàn)[20]提出了一種基于LSTM網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測(cè)模型，然而它們?cè)跁r(shí)間延遲上的取值均為1，不足以反映數(shù)據(jù)的長(zhǎng)期變化，模型存在改進(jìn)空間。本文以LSTM網(wǎng)絡(luò)為基礎(chǔ)，提出了一種改進(jìn)的時(shí)段劃分方法，將訓(xùn)練數(shù)據(jù)的時(shí)段區(qū)間與時(shí)間延遲參數(shù)相對(duì)應(yīng)，對(duì)模型進(jìn)行階段性地訓(xùn)練和預(yù)測(cè)。不同于傳統(tǒng)LSTM模型中訓(xùn)練過(guò)程與預(yù)測(cè)過(guò)程相分離的特性，本文的網(wǎng)絡(luò)流量預(yù)測(cè)模型能夠隨實(shí)時(shí)數(shù)據(jù)不斷地進(jìn)行更新。模型的訓(xùn)練和預(yù)測(cè)依賴于最新獲取的流量數(shù)據(jù)，同時(shí)能繼承模型之前的參數(shù)，從而使預(yù)測(cè)結(jié)果保留歷史數(shù)據(jù)的部分特性。

對(duì)于本文要處理的網(wǎng)絡(luò)流量數(shù)據(jù)，預(yù)測(cè)難度更大一些，尤其是對(duì)于在小時(shí)間粒度下波動(dòng)劇烈的非平穩(wěn)流量。在時(shí)間刻度上突發(fā)的無(wú)規(guī)則特性，無(wú)疑會(huì)加大學(xué)習(xí)流量數(shù)據(jù)真實(shí)的變化趨勢(shì)的難度。本文旨在不忽略極端數(shù)據(jù)的情況下，保證預(yù)測(cè)模型的穩(wěn)定性。針對(duì)這一問(wèn)題，本文在下文的中將再做探討。

3 基于LSTM網(wǎng)絡(luò)的平穩(wěn)流量預(yù)測(cè)模型

本節(jié)詳細(xì)闡述基于LSTM網(wǎng)絡(luò)構(gòu)建流量預(yù)測(cè)模型的方法。其中包括原始數(shù)據(jù)的處理、訓(xùn)練數(shù)據(jù)的劃分、模型的訓(xùn)練以及未來(lái)流量的預(yù)測(cè)。

對(duì)之后獲取的任意流量序列都做如下處理。

以T長(zhǎng)度的時(shí)間為一個(gè)周期，每經(jīng)過(guò)T時(shí)間長(zhǎng)度就需要添加最新的數(shù)據(jù)來(lái)繼續(xù)訓(xùn)練LSTM網(wǎng)絡(luò)。這樣，隨著新數(shù)據(jù)的到來(lái)，LSTM網(wǎng)絡(luò)的一系列參數(shù)也能隨之更新，從而可以滿足預(yù)測(cè)的實(shí)時(shí)性要求。更新方法是去除最舊的T時(shí)間長(zhǎng)度的數(shù)據(jù)，添加最新的T時(shí)間長(zhǎng)度的數(shù)據(jù)，從而保證流量序列的長(zhǎng)度為，的長(zhǎng)度為D+1。LSTM網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示，這里主要給出本文所采用的數(shù)據(jù)處理方式。如需了解LSTMCell的內(nèi)部結(jié)構(gòu)和原理，請(qǐng)參見(jiàn)文獻(xiàn)[11]。

4 基于改進(jìn)LSTM網(wǎng)絡(luò)的非平穩(wěn)流量預(yù)測(cè)模型

第3節(jié)闡述了構(gòu)建LSTM流量預(yù)測(cè)模型的具體方法，然而該模型只適用于平穩(wěn)變化的流量序列。考慮如下形式的非平穩(wěn)流量序列。即若干時(shí)間長(zhǎng)度以來(lái)的流量均在較高的數(shù)值范圍內(nèi)波動(dòng)，而當(dāng)前時(shí)間長(zhǎng)度內(nèi)的流量卻大幅度地降低了，事實(shí)上這種突發(fā)的情況僅僅持續(xù)了時(shí)間長(zhǎng)度。在前文構(gòu)建的LSTM模型中，最新的時(shí)間長(zhǎng)度內(nèi)的流量恰恰是訓(xùn)練所使用的參照數(shù)據(jù)，也可以稱作標(biāo)簽。因此該模型的訓(xùn)練會(huì)在很大程度上受到當(dāng)前時(shí)間長(zhǎng)度內(nèi)的流量抖動(dòng)的影響。對(duì)于上述形式的非平穩(wěn)流量序列，當(dāng)前時(shí)間長(zhǎng)度內(nèi)突減的流量很可能造成模型對(duì)未來(lái)流量的預(yù)測(cè)值遠(yuǎn)低于真實(shí)值。

實(shí)際數(shù)據(jù)與以往經(jīng)驗(yàn)表明，多數(shù)情況下的網(wǎng)絡(luò)流量數(shù)據(jù)是非平穩(wěn)的。而且為完成網(wǎng)絡(luò)流量的實(shí)時(shí)預(yù)測(cè)，需要在小時(shí)間粒度下進(jìn)行處理，此時(shí)網(wǎng)絡(luò)流量的抖動(dòng)更加明顯。對(duì)于已經(jīng)發(fā)生的流量抖動(dòng)，一種處理方法是忽略大幅度偏離歷史經(jīng)驗(yàn)的數(shù)據(jù)，即不使用這部分?jǐn)?shù)據(jù)對(duì)模型進(jìn)行更新。但這必然會(huì)導(dǎo)致一部分?jǐn)?shù)據(jù)信息的丟失，使模型對(duì)于數(shù)據(jù)的變化不再敏感。本文旨在保證數(shù)據(jù)信息完整性的同時(shí)弱化最新時(shí)間長(zhǎng)度內(nèi)的流量數(shù)據(jù)的影響。因此本文將選用更多的數(shù)據(jù)關(guān)系信息進(jìn)行模型的訓(xùn)練，而不僅僅以最新時(shí)間長(zhǎng)度內(nèi)的數(shù)據(jù)作為參照。本文將在LSTM流量預(yù)測(cè)模型的基礎(chǔ)上進(jìn)行改進(jìn)，使模型在處理非平穩(wěn)流量時(shí)仍能夠有效學(xué)習(xí)數(shù)據(jù)的變化趨勢(shì)信息，從而保證預(yù)測(cè)的穩(wěn)定性。

改進(jìn)后的LSTM（LSTM-modified）網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。觀察虛線可以直觀地發(fā)現(xiàn)，模型的訓(xùn)練使用了多個(gè)相鄰時(shí)間長(zhǎng)度的流量數(shù)據(jù)作為參照。理論上該模型既可以學(xué)習(xí)到歷史流量的變化趨勢(shì)，又能夠在一定程度上避免突發(fā)的流量抖動(dòng)的影響，從而保證流量均值預(yù)測(cè)的穩(wěn)定性。

圖2 LSTM-modified網(wǎng)絡(luò)結(jié)構(gòu)

5 實(shí)驗(yàn)與分析

本節(jié)的實(shí)驗(yàn)內(nèi)容分為3部分：在第1部分中測(cè)試LSTM模型對(duì)于平穩(wěn)變化的流量的預(yù)測(cè)精度，并與SVR、BP神經(jīng)網(wǎng)絡(luò)構(gòu)建的模型進(jìn)行對(duì)比；在第2部分中，對(duì)比SVR、BP神經(jīng)網(wǎng)絡(luò)、LSTM網(wǎng)絡(luò)、LSTM-modified網(wǎng)絡(luò)所構(gòu)建的模型對(duì)非平穩(wěn)變化的流量的預(yù)測(cè)性能；在第3部分中，基于LSTM-modified模型預(yù)測(cè)的流量均值探討并驗(yàn)證未來(lái)鏈路擁塞的預(yù)警方法。

本文基于Python3.5.2進(jìn)行編程實(shí)驗(yàn)。SVR使用scikit-learn(0.19.1)實(shí)現(xiàn)，BP神經(jīng)網(wǎng)絡(luò)、LSTM網(wǎng)絡(luò)、LSTM-modified網(wǎng)絡(luò)均使用tensorflow(1.4.0)實(shí)現(xiàn)。SVR采用rbfkernel，其中=1×103=0.1。BP神經(jīng)網(wǎng)絡(luò)采取三層結(jié)構(gòu)，使用sigmoid激勵(lì)函數(shù)，隱藏層節(jié)點(diǎn)數(shù)目設(shè)置為36。LSTM與LSTM-modified網(wǎng)絡(luò)，包括Cell在內(nèi)也可看成三層結(jié)構(gòu)，Cell的大小設(shè)置為36。學(xué)習(xí)率的取值需要根據(jù)處理的數(shù)據(jù)適當(dāng)調(diào)整，本文推薦的取值范圍是0.01~0.25。

5.1 平穩(wěn)流量預(yù)測(cè)實(shí)驗(yàn)

實(shí)驗(yàn)數(shù)據(jù)為某運(yùn)營(yíng)商時(shí)長(zhǎng)一天的DNS流量。實(shí)驗(yàn)中取值為12，取值為1 200。以秒為最小時(shí)間單位，則實(shí)驗(yàn)?zāi)康氖峭ㄟ^(guò)4 h的歷史流量來(lái)預(yù)測(cè)未來(lái)20 min的流量均值。對(duì)于平穩(wěn)流量，本文定義<0.1的情況為準(zhǔn)確預(yù)測(cè)，>0.2的情況為不可信預(yù)測(cè)。實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)在表1中。

表1 運(yùn)營(yíng)商DNS流量預(yù)測(cè)效果

表1表明，對(duì)于運(yùn)營(yíng)商DNS流量的預(yù)測(cè)，LSTM模型具有最高的預(yù)測(cè)準(zhǔn)確率，比SVR模型高5.17%，比BP模型高3.45%。雖然其不可信預(yù)測(cè)的概率稍高于其他模型，但仍然保持在很低的水平。實(shí)驗(yàn)中LSTM模型的預(yù)測(cè)過(guò)程如圖3所示。

圖3 運(yùn)營(yíng)商DNS流量均值預(yù)測(cè)（以20 min為時(shí)間單位）

觀察圖3可以發(fā)現(xiàn)，預(yù)測(cè)值基本與真實(shí)值重合，這表明LSTM模型對(duì)平穩(wěn)流量有極強(qiáng)的預(yù)測(cè)能力。

5.2 非平穩(wěn)流量預(yù)測(cè)實(shí)驗(yàn)

實(shí)驗(yàn)數(shù)據(jù)為兩種具有不同突發(fā)程度的非平穩(wěn)流量數(shù)據(jù)，這里稱作MMPP流量與SelfLike流量。MMPP流量一般由若干個(gè)相關(guān)的流疊加產(chǎn)生，是網(wǎng)絡(luò)中較為常見(jiàn)流量類型。相較于MMPP流量，SelfLike流量具有更明顯的自相似特征，表現(xiàn)出更強(qiáng)的突發(fā)性。實(shí)驗(yàn)中取值為12，取值為300。以秒為最小時(shí)間單位，則實(shí)驗(yàn)?zāi)康氖峭ㄟ^(guò)1h的歷史流量來(lái)預(yù)測(cè)未來(lái)5 min的流量均值。對(duì)于非平穩(wěn)流量，本文定義<0.25的情況為準(zhǔn)確預(yù)測(cè)，>0.50的情況為不可信預(yù)測(cè)。對(duì)以上兩種流量數(shù)據(jù)進(jìn)行4種模型的預(yù)測(cè)驗(yàn)證，實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)在表2和表3中。

表2 MMPP流量預(yù)測(cè)效果

表3 SelfLike流量預(yù)測(cè)效果

表2表明，對(duì)于MMPP流量的預(yù)測(cè)，LSTM-modified模型具有最高的準(zhǔn)確率和最低的不可信率，其中LSTM-modified模型的預(yù)測(cè)準(zhǔn)確率相較于其他模型優(yōu)勢(shì)明顯，比SVR模型高12.05%，比BP模型高8.43%，比LSTM模型高7.23%。這說(shuō)明本文對(duì)LSTM網(wǎng)絡(luò)的改進(jìn)方法切實(shí)有效，能夠有效地提高模型對(duì)MMPP流量的預(yù)測(cè)能力。

表3表明，對(duì)于SelfLike流量的預(yù)測(cè)，LSTM模型具有最高的預(yù)測(cè)準(zhǔn)確率和最低的不可信率，其中LSTM模型的預(yù)測(cè)準(zhǔn)確率比SVR模型高27.71%，比BP模型高1.21%，比LSTM-modified模型高4.82%。可見(jiàn)神經(jīng)網(wǎng)絡(luò)模型在預(yù)測(cè)自相似流量時(shí)比SVR模型更具優(yōu)勢(shì)。不過(guò)由于自相似流量的特點(diǎn)，即在任何時(shí)間尺度上都具有相當(dāng)大的突發(fā)性，各神經(jīng)網(wǎng)絡(luò)模型對(duì)SelfLike流量的預(yù)測(cè)效果沒(méi)有過(guò)多的差距。綜合來(lái)說(shuō)，LSTM-modified模型相比于其他模型的適應(yīng)性更強(qiáng)。因此，在不知道流量類型與特點(diǎn)的情況下，使用LSTM-modified模型進(jìn)行流量預(yù)測(cè)是一個(gè)不錯(cuò)的選擇。實(shí)驗(yàn)中LSTM-modified模型的預(yù)測(cè)過(guò)程如圖4、圖5所示。

圖4 MMPP流量均值預(yù)測(cè)（以5 min為時(shí)間單位）

圖5 SelfLike流量均值預(yù)測(cè)（以5 min為時(shí)間單位）

從圖中不難發(fā)現(xiàn)，模型的預(yù)測(cè)值會(huì)隨著真實(shí)值的出現(xiàn)而不斷改變。直觀上看，預(yù)測(cè)值基本保持在真實(shí)值波動(dòng)的中間區(qū)域。這說(shuō)明LSTM- modified模型確實(shí)能夠?qū)W習(xí)到流量的變化趨勢(shì)，并且具備一定程度的流量預(yù)測(cè)能力。仔細(xì)觀察即可發(fā)現(xiàn)，圖中確實(shí)存在一些極端的真實(shí)值，不過(guò)它們并沒(méi)有對(duì)模型接下來(lái)的預(yù)測(cè)造成很大的干擾。這符合本文在第3節(jié)中的假設(shè)，并且印證了LSTM-modified模型的穩(wěn)定性。

5.3 鏈路擁塞預(yù)警實(shí)驗(yàn)

本文的鏈路擁塞預(yù)警實(shí)驗(yàn)以LSTM-modified流量預(yù)測(cè)模型為基礎(chǔ)，預(yù)警方法綜合考慮了預(yù)測(cè)的流量均值、歷史流量的波動(dòng)情況以及鏈路帶寬等多個(gè)因素。在緩存并不充足的情況下，一旦瞬時(shí)流量超過(guò)鏈路帶寬，就會(huì)面臨分組丟失的風(fēng)險(xiǎn)。本文假設(shè)緩存為0，能容忍的發(fā)生分組丟失的時(shí)間比例上限為1%?？紤]5 min的流量，時(shí)間單位為秒。若總計(jì)發(fā)生分組丟失的時(shí)間超過(guò)3 s，則認(rèn)為鏈路達(dá)到擁塞的臨界狀態(tài)。

根據(jù)5.2節(jié)的實(shí)驗(yàn)，本文已經(jīng)具備通過(guò)1 h的歷史流量預(yù)測(cè)接下來(lái)5 min流量均值的能力，這里仍命名為Prediction。取前30(5×6) min的流量，計(jì)算最大18(3×6) s的流量均值，減去30 min的流量均值，得到近期流量的振幅Amplitude。Prediction、Amplitude、Correction相加可看作未來(lái)可能達(dá)到的流量上界，記為UpperBound。鏈路帶寬表示為Bandwidth，若滿足如下公式，則認(rèn)為未來(lái)鏈路存在擁塞的風(fēng)險(xiǎn)

≥(8)

其中Correction為一個(gè)修正值，一般取值為正。原因是Prediction加上Amplitude并不是精確的流量上界，而且擁塞的預(yù)警一般需要一個(gè)提前量，以保證在鏈路擁塞之前做出應(yīng)對(duì)措施。Correction的取值需要根據(jù)實(shí)際情況而定，本文實(shí)驗(yàn)中所使用的取值為0.16×。鏈路帶寬設(shè)為5.8×(byte/s)，以一段SelfLike流量為實(shí)驗(yàn)材料，實(shí)驗(yàn)過(guò)程如圖6所示。

點(diǎn)A為滿足擁塞預(yù)警式(8)的第一個(gè)點(diǎn)，此時(shí)發(fā)生分組丟失的時(shí)間比例為0.33%，點(diǎn)B處發(fā)生分組丟失的時(shí)間比例為1.33%，點(diǎn)C處發(fā)生分組丟失的時(shí)間比例為0.67%，點(diǎn)D處發(fā)生分組丟失的時(shí)間比例為1.0%，點(diǎn)E處發(fā)生分組丟失的時(shí)間比例為0.33%，點(diǎn)F處發(fā)生分組丟失的時(shí)間比例為0.33%?？梢?jiàn)，實(shí)驗(yàn)中在點(diǎn)A處給出了鏈路擁塞的預(yù)警，而在其后點(diǎn)B與點(diǎn)D所對(duì)應(yīng)的時(shí)段，鏈路確實(shí)達(dá)到了本文所定義的擁塞的條件，因此在點(diǎn)A給出鏈路擁塞的預(yù)警是適宜的。實(shí)驗(yàn)結(jié)果表明，本文提出的預(yù)警方法切實(shí)有效，能夠幫助提前對(duì)未來(lái)鏈路的擁塞與否做出判斷。

圖6 流量上界預(yù)測(cè)與擁塞判斷

6 結(jié)束語(yǔ)

本文分類總結(jié)了關(guān)于網(wǎng)絡(luò)流量預(yù)測(cè)的歷史研究情況，針對(duì)在大時(shí)間粒度下平穩(wěn)變化的流量，提出了LSTM流量預(yù)測(cè)模型，并驗(yàn)證了該模型具有優(yōu)于SVR模型、BP神經(jīng)網(wǎng)絡(luò)模型的極高的預(yù)測(cè)精度。針對(duì)在小時(shí)間粒度下波動(dòng)劇烈的非平穩(wěn)流量，提出了具有改進(jìn)的長(zhǎng)短期記憶網(wǎng)絡(luò)結(jié)構(gòu)的LSTM-modified流量預(yù)測(cè)模型。本文通過(guò)實(shí)驗(yàn)驗(yàn)證了該模型在處理非平穩(wěn)的MMPP流量時(shí)具有明顯優(yōu)于其他模型的預(yù)測(cè)效果。在處理自相似特征明顯的SelfLike流量時(shí)，基于LSTM及其改進(jìn)網(wǎng)絡(luò)的模型具有大幅度優(yōu)于SVR模型的預(yù)測(cè)能力。本文的主要研究目標(biāo)是實(shí)現(xiàn)網(wǎng)絡(luò)流量的實(shí)時(shí)預(yù)測(cè)，這對(duì)于未來(lái)鏈路擁塞的判斷具有很高參考價(jià)值。本文在LSTM-modified模型的基礎(chǔ)上探討了一種鏈路擁塞預(yù)警方法，并通過(guò)實(shí)驗(yàn)證明了該方法能夠及時(shí)有效地預(yù)測(cè)鏈路擁塞的發(fā)生。

[1] YU, F LIU, W GAO, C et al. Network situation prediction based on optimized SVR model[C]//International Conference on Mechatronic Sciences. 2014: 2414-2419.

[2] LIANG, Y QIU. L Network Traffic Prediction based on SVR improved by chaos theory and ant colony optimization[J]. International Journal of Future Generation Communication & Networking, 2015, 8: 484-488.

[3] LIU, J HUANG. Y L Nonlinear network traffic prediction based on BP neural network[J]. Journal of Computer Applications, 2007, 27(7):1770-1772.

[4] ZHU L, QIN L, XUE K Y, et al. A novel bp neural network model for traffic prediction of next generation network[C]//International Conference on Natural Computation. 2009(1): 32-38.

[5] WANG, X ZHANG, C ZHANG. S Modified Elman neural network and its application to network traffic prediction[C]//IEEE International Conference on Cloud Computing & Intelligent Systems. 2012: 629-633.

[6] GAO F. Network traffic prediction based on neural network[C]//. International Conference on Intelligent Transportation. 2016: 527-530.

[7] WANG. J S Modeling and prediction for network traffic based on elman neural network[J]. Computer Engineering, 2009, 35(9): 190-191.

[8] MA, X TAO, Z WANG, Y H Yu,et al. Long short-term memory neural network for traffic speed prediction using remote microwave sensor data[J]. Transportation Research Part C, 2015, 54: 187-197.

[9] CHEN S Y, CHOU. W Y Short-term traffic flow prediction using EMD-based recurrent Hermite neural network approach[C]// International IEEE Conference on Intelligent Transportation Systems. 2012: 1821-1826.

[10] ARDALANI-FARSA, M ZOLFAGHARI. S Chaotic time series prediction with residual analysis method using hybrid Elman– NARX neural networks[J]. Neurocomputing, 2010, 73(13-15): 2540-2553.

[11] CHANDRA, R ZHANG. M Cooperative coevolution of Elman recurrent neural networks for chaotic time series prediction[J]. Neurocomputing, 2012, 86(12): 116-123.

[12] ZHANG, K CHAI, Y FU. X A A network traffic prediction model based on recurrent wavelet neural network[C]//International Conference on Computer Science & Network Technology. 2013: 1630-1633.

[13] HOCHREITER S, SCHMIDHUBER J. Long short-term memory[M]. Springer Berlin Heidelberg,2012, 9(8): 1735-1780.

[14] TIAN, Y PAN. L predicting short-term traffic flow by long short-term memory recurrent neural network[C]//IEEE International Conference on Smart City/Socialcom/Sustaincom. 2015: 153-158.

[15] DUAN, Y LV, Y WANG. F Y Travel time prediction with LSTM neural network[C]//IEEE International Conference on Intelligent Transportation Systems. 2016: 1053-1058.

[16] FU, R ZHANG, Z LI. L Using LSTM and GRU neural network methods for traffic flow prediction[C]//Chinese Association of Automation. 2017: 324-328.

[17] SHAO, H SOONG. B H Traffic flow prediction with long short-term memory networks (LSTMs)[C]//Region 10 Conference. 2017: 2986-2989.

[18] XUE, Z XUE. Y Multi long-short term memory models for short term traffic flow prediction[J]. IEICE Transactions on Information and Systems, 2018, 101(12): 3272-3275.

[19] LEE, Y J MIN. O Long short-term memory recurrent neural network for urban traffic prediction: a case study of seoul[C]// IEEE Conference on Intelligent Transportation Systems. 2018: 1279-1284.

[20] ZHUO, Q LI, Q HAN, Y et al. Long short-term memory neural network for network traffic prediction[C]//12th International Conference on Intelligent Systems and Knowledge Engineering. 2018: 1-6.

LSTM network traffic prediction and link congestion warning scheme for single port and single link

HUANG Wei, LIU Cuncai, QI Sibo

The 54th Research Institute of China Electronic Technology Group Corporation, Shijiazhuang 050081, China

To predict the traffic at single port and single link, two network traffic prediction models based on long short-term memory neural network were proposed. The first model is for the traffic which changes smoothly at large time granularity. The second model is for the nonstationary traffic which fluctuates violently at small time granularity. By selecting different methods of splitting data and training models, two traffic prediction models with different neural network structures were constructed. The experimental results show that the former can achieve a very high accuracy when predicting smoothly changed traffic, the latter has a significantly better prediction effect than the support vector regression model and the back propagation neural network model when dealing with nonstationary traffic. Based on the second model, a link congestion warning scheme with variable parameters was proposed. The scheme is proved to be practicable by experiments.

long short-term memory (LSTM), machine learning, network traffic prediction, nonstationary traffic prediction, time series prediction

The National Defence Science and Technology Key Laboratories Foundation of China (No.614210401050217)

TP393

A

10.11959/j.issn.2096?109x.2019066

黃偉（1978? ），男，河北保定人，中國(guó)電子科技集團(tuán)公司第五十四研究所高級(jí)工程師，主要研究方向?yàn)橥ㄐ畔到y(tǒng)總體技術(shù)、通信系統(tǒng)與網(wǎng)絡(luò)仿真。

劉存才（1965? ），男，河北石家莊人，中國(guó)電子科技集團(tuán)公司第五十四研究所高級(jí)工程師，主要研究方向?yàn)橥ㄐ啪W(wǎng)仿真和通信網(wǎng)可靠性研究。

祁思博（1991-），男，河北石家莊人，中國(guó)電子科技集團(tuán)公司第五十四研究所工程師，主要研究方向?yàn)橥ㄐ啪W(wǎng)仿真和軟件定義網(wǎng)絡(luò)。

論文引用格式：黃偉, 劉存才, 祁思博. 針對(duì)設(shè)備端口鏈路的LSTM網(wǎng)絡(luò)流量預(yù)測(cè)與鏈路擁塞方案[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào), 2019, 5(6): 50-57.

HUANG W, LIU C C, QI S B. LSTM network traffic prediction and link congestion warning scheme for single port and single link[J]. Chinese Journal of Network and Information Security, 2019, 5(6): 50-57.

2019-01-15；

2019-02-20

祁思博，773624104@qq.com

國(guó)防科技重點(diǎn)實(shí)驗(yàn)室基金資助項(xiàng)目（No.614210401050217）