一種參數(shù)聯(lián)合優(yōu)化的網(wǎng)絡(luò)流量非線性預(yù)測模型

張顯江，劉小強(qiáng)

1.濱州學(xué)院計算機(jī)科學(xué)技術(shù)系，山東濱州 256603

2.三門峽職業(yè)技術(shù)學(xué)院信息工程系，河南三門峽 472000

◎網(wǎng)絡(luò)、通信、安全◎

一種參數(shù)聯(lián)合優(yōu)化的網(wǎng)絡(luò)流量非線性預(yù)測模型

張顯江1，劉小強(qiáng)2

1.濱州學(xué)院計算機(jī)科學(xué)技術(shù)系，山東濱州 256603

2.三門峽職業(yè)技術(shù)學(xué)院信息工程系，河南三門峽 472000

為了提高網(wǎng)絡(luò)流量預(yù)測精度，利用相空間重構(gòu)和神經(jīng)網(wǎng)絡(luò)參數(shù)間的相互聯(lián)系，提出一種參數(shù)聯(lián)合優(yōu)化的網(wǎng)絡(luò)流量非線性預(yù)測模型。將相空間重構(gòu)和預(yù)測模型參數(shù)作為粒子群優(yōu)化算法的粒子，網(wǎng)絡(luò)流量預(yù)測精度作為粒子適應(yīng)度函數(shù)，通過粒子之間相互協(xié)作獲得全局最優(yōu)參數(shù)，根據(jù)最優(yōu)參數(shù)建立最優(yōu)網(wǎng)絡(luò)流量非線性預(yù)測模型，通過網(wǎng)絡(luò)流量實例對模型性能進(jìn)行測試。結(jié)果表明，相對于傳統(tǒng)參數(shù)優(yōu)化方法，參數(shù)聯(lián)合優(yōu)化方法大幅度提高了網(wǎng)絡(luò)流量的預(yù)測精度，為非線性預(yù)測問題提供了一種新的研究思路。

網(wǎng)絡(luò)流量預(yù)測；相空間重構(gòu)；神經(jīng)網(wǎng)絡(luò)；粒子群優(yōu)化算法

隨著網(wǎng)絡(luò)規(guī)模和業(yè)務(wù)種類的不斷增長，網(wǎng)絡(luò)流量成為一個具有非平穩(wěn)性、突變和混沌的動力系統(tǒng)，網(wǎng)絡(luò)流量預(yù)測是網(wǎng)絡(luò)管理的基礎(chǔ)，可以應(yīng)用于接入控制、網(wǎng)絡(luò)帶寬分配和網(wǎng)絡(luò)擁塞控制等許多方面[1]。

針對網(wǎng)絡(luò)流量預(yù)測問題，學(xué)者們進(jìn)行了大量深入研究，提出許多網(wǎng)絡(luò)流量的預(yù)測模型。傳統(tǒng)預(yù)測模型有：線性回歸分析、灰色模型和時間序列等[2-4]，這些方法基于線性建模，無法準(zhǔn)確刻畫現(xiàn)代網(wǎng)絡(luò)流量非平穩(wěn)性、突變和混沌等非線性變化特點，預(yù)測結(jié)果不可靠[5]。近年來，隨著非線性理論不斷發(fā)展，出現(xiàn)基于混沌理論的網(wǎng)絡(luò)流量非線性預(yù)測模型，其主要包括相空間重構(gòu)、預(yù)測模型選擇以及參數(shù)優(yōu)化等問題[6]。相空間重構(gòu)主要確定最佳延遲時間（τ）和嵌入維（m），對隱藏于網(wǎng)絡(luò)流量數(shù)據(jù)間的信息進(jìn)行深入挖掘，恢復(fù)網(wǎng)絡(luò)流量時間序列原動力系統(tǒng)；預(yù)測模型根據(jù)重構(gòu)后的數(shù)據(jù)進(jìn)行訓(xùn)練和建模，對未來時刻的網(wǎng)絡(luò)流量值進(jìn)行預(yù)測[7]。BP神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的自學(xué)習(xí)能力和逼近任意非線性系統(tǒng)的能力，成為網(wǎng)絡(luò)流量的主要預(yù)測算法[8]。因此本研究選擇BP神經(jīng)網(wǎng)絡(luò)作為網(wǎng)絡(luò)流量的預(yù)測模型。BP神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)流量非線性預(yù)測過程中，τ、m與BP神經(jīng)網(wǎng)絡(luò)參數(shù)相互聯(lián)系，共同決定了網(wǎng)絡(luò)流量的預(yù)測精度，然而當(dāng)前兩者卻常分開、單獨優(yōu)化，完全割裂了兩者間的內(nèi)在聯(lián)系，無論先優(yōu)化τ和m或者BP神經(jīng)網(wǎng)絡(luò)參數(shù)，均難以保證它們達(dá)到全局最優(yōu)，因此，為了使網(wǎng)絡(luò)流量預(yù)測精度達(dá)到最高，τ、m和BP神經(jīng)網(wǎng)絡(luò)參數(shù)應(yīng)該聯(lián)合優(yōu)化[9]。

針對當(dāng)前網(wǎng)絡(luò)流量非線性預(yù)測模型參數(shù)單獨、分開優(yōu)化存在的不足，本研究提出了參數(shù)聯(lián)合優(yōu)化的網(wǎng)絡(luò)流量非線性預(yù)測模型（IPSO-BPNN），并通過具體網(wǎng)絡(luò)流量數(shù)據(jù)對其性能進(jìn)行驗證。

1 相空間重構(gòu)和BP神經(jīng)網(wǎng)絡(luò)算法

1.1 相空間重構(gòu)

具有混沌特性的網(wǎng)絡(luò)流量數(shù)據(jù)通過相空間重構(gòu)可以得到一種低階、非線性的動力學(xué)系統(tǒng)，近似恢復(fù)網(wǎng)絡(luò)流量變化系統(tǒng)變化軌跡[10]。

設(shè)觀測到的網(wǎng)絡(luò)流量時間序列為：{x(t)};t=1,2,…,n，其中n表示樣本數(shù)。根據(jù)Takens定理，通過τ和m可以將網(wǎng)絡(luò)流量數(shù)據(jù)重構(gòu)為：

從式（1）可知，相空間重構(gòu)結(jié)果的優(yōu)劣由τ和m決定。根據(jù)Takens定理，對于沒有噪聲、無限的網(wǎng)絡(luò)流量時間序列，與m沒有聯(lián)系，但實際網(wǎng)絡(luò)流量時間序列不能保證序列長度足夠長且不可避免地帶有噪音，因此實際網(wǎng)絡(luò)流量預(yù)測中，τ和m應(yīng)該聯(lián)合優(yōu)化。

1.2 BP神經(jīng)網(wǎng)絡(luò)算法

BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)通常包括輸入層、隱含層和輸出層，同層神經(jīng)元節(jié)點之間無聯(lián)系，層與層間神經(jīng)元通過連接權(quán)值（w）及閾值（θ）互連。設(shè)BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為N-L-M，輸入向量為X=[x0，x1，…，x6]，隱含層和輸出層的輸出向量分別為H=[h0，h1，…，h7]，Y=[y0，y1，…，ym]，目標(biāo)輸出向量為D=[d0，d1，…，dm]，輸入層節(jié)點i到隱含層節(jié)點j的權(quán)重為Vij，隱含層節(jié)點j到輸出層節(jié)點k的權(quán)重為Wjk。BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程為：

（1）計算隱含層和輸出層各神經(jīng)元節(jié)點的輸出為：

式中，θk和φj分別表示輸入神經(jīng)元和隱含神經(jīng)元的閾值。

（2）將輸出神經(jīng)元yk與目標(biāo)向量dk進(jìn)行比較，計算出M層輸出誤差項：

（3）計算各權(quán)重的調(diào)整量：

式中，η表示學(xué)習(xí)速率。

（4）依據(jù)以下公式進(jìn)行網(wǎng)絡(luò)權(quán)重的調(diào)整：

（5）返回第（1）步，繼續(xù)迭代，直到預(yù)測的誤差達(dá)到預(yù)定的目標(biāo)。

當(dāng)前BP神經(jīng)網(wǎng)絡(luò)連接權(quán)值（w）及閾值（θ）優(yōu)化方法主要有遺傳算法（Genetic Algorithm，GA）、粒子群優(yōu)化算法（Particle Swarm Optimization，PSO）和梯度下降算法等[11-13]。梯度下降算法速度慢，耗內(nèi)存多，運(yùn)算量大，難以獲得全局最優(yōu)解，容易陷入局部最優(yōu)；而傳統(tǒng)基于GA和PSO算法僅對BP神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，沒有考慮BP神經(jīng)網(wǎng)絡(luò)參數(shù)和相空間重構(gòu)間的聯(lián)系，存在一定的缺陷[14]。

2 網(wǎng)絡(luò)流量預(yù)測模型參數(shù)聯(lián)合優(yōu)化設(shè)計

PSO算法是一種模擬鳥群捕食行為、具有代表性的集群智能方法，通過粒子之間信息交流、相互協(xié)作找到最優(yōu)位置，容易實現(xiàn)，能夠在較短時間找到全局最優(yōu)解，因此本研究采用PSO算法對τ、m、w和θ進(jìn)行聯(lián)合優(yōu)化，并對基本PSO算法進(jìn)行改進(jìn)。

2.1 改進(jìn)粒子群優(yōu)化算法

在PSO算法中，粒子通過跟蹤個體最優(yōu)值(Pbest)和全局最優(yōu)值(gbest)來更新自己的速度和位置，具體更新為：

式中，v(i)和v(i+1)分別為粒子當(dāng)前和更新后的速度，c1、c2為加速因子；x(i)和x(i+1)分別為更新前后的粒子位置；rand()表示隨機(jī)數(shù)，w1表示慣性權(quán)重。

在粒子飛行過程中，當(dāng)某個粒子找到一個局部最優(yōu)解，則其他粒子就會快速聚集到附件，導(dǎo)致收斂過早，陷入局部最優(yōu)解[15]。為此，本文對基本PSO算法進(jìn)行改進(jìn)（IPSO），將遺傳算法中的變異算子引入到PSO中，來提高粒子群的多樣性。IPSO的具體改進(jìn)過程為：

（1）在PSO迭代過程中，首先對粒子群最優(yōu)粒子位置是否在不斷變化進(jìn)行判斷，當(dāng)最優(yōu)位置連續(xù)不變化次數(shù)大于閾值時，那么就認(rèn)為有集聚傾向，即出現(xiàn)早熟收斂。

（2）若出現(xiàn)集聚傾向，則對粒子群位置向量進(jìn)行變異操作，具體變異公式為：

式中，pk表示變異算子。

式中，σ2表示粒子群群體適應(yīng)度方差，pmax和pmin分別表示最大和最小變異概率。

2.2 粒子編碼設(shè)計

粒子用一個二進(jìn)制位串表示，粒子位置包括四部分：τ、m、w和θ，具體如圖1所示。

圖1 粒子群的個體設(shè)計

最優(yōu)粒子位置采用式（14）轉(zhuǎn)換為模型的實際參數(shù)。

式中，minp和maxp表示參數(shù)的最小值和最大值，p表示參數(shù)的十進(jìn)制值，l表示參數(shù)位串長度，d表示參數(shù)的二進(jìn)制位串的十進(jìn)制值。

2.3 適應(yīng)度函數(shù)設(shè)計

適應(yīng)度函數(shù)用來衡量一個粒子的優(yōu)劣，網(wǎng)絡(luò)流量預(yù)測模型參數(shù)聯(lián)合優(yōu)化的實質(zhì)就是提高網(wǎng)絡(luò)流量的預(yù)測精度，因此粒子群的適應(yīng)度函數(shù)f(x)定義為：

其中，均方誤差MSE（Mean Squared Error）為：

式中，n表示網(wǎng)絡(luò)流量訓(xùn)練樣本數(shù)，yi和i分別表示網(wǎng)絡(luò)流量的實際值和預(yù)測值。

2.4 網(wǎng)絡(luò)流量預(yù)測模型參數(shù)聯(lián)合優(yōu)化過程

（1）初始化粒子群。在空間Rn中隨機(jī)產(chǎn)生n個粒子x1，x2，…，xn，組成初始種群x(t)，隨機(jī)產(chǎn)生各粒子的初始速度v1，v2，…，vn，組成速度矩陣v(t)，每個粒子的個體最優(yōu)值Pbest(i)的初始值為xi。

（2）對粒子進(jìn)行反編碼，然后根據(jù)m、τ對網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行重構(gòu)，然后BP神經(jīng)網(wǎng)絡(luò)根據(jù)參數(shù)w和θ對網(wǎng)絡(luò)流量訓(xùn)練樣本進(jìn)行學(xué)習(xí)和訓(xùn)練，計算粒子適應(yīng)度值。

（3）對Pbest和gbest進(jìn)行更新操作。

（4）通過式（10）和式（11）更新粒子的速度和位置，產(chǎn)生新粒子群x(t+1)。

（5）當(dāng)粒子群有集聚傾向時，則根據(jù)式（12）對粒子群節(jié)點位置向量發(fā)生變異操作。

（6）判斷算法結(jié)束條件。若滿足結(jié)束條件，則返回全局最優(yōu)參數(shù)τ、m、w和θ；否則繼續(xù)迭代，并轉(zhuǎn)至步驟（2）。

（7）根據(jù)最優(yōu)參數(shù)τ、m重構(gòu)網(wǎng)絡(luò)流量樣本，BP神經(jīng)網(wǎng)絡(luò)采用w和θ對網(wǎng)絡(luò)流量預(yù)測集進(jìn)行訓(xùn)練和預(yù)測，輸出最優(yōu)預(yù)測結(jié)果。流程圖如圖2所示。

圖2 網(wǎng)絡(luò)流量預(yù)測模型參數(shù)聯(lián)合優(yōu)化流程圖

3 仿真實驗

3.1 數(shù)據(jù)集來源

實驗數(shù)據(jù)來源學(xué)院網(wǎng)絡(luò)中心服務(wù)器從2009年2月1日到4月25日的每天網(wǎng)絡(luò)的每小時訪問流量，得到2 000個數(shù)據(jù)，以前1 500個數(shù)據(jù)作為訓(xùn)練集建立網(wǎng)絡(luò)流量預(yù)測模型，后500個數(shù)據(jù)作為測試集進(jìn)行預(yù)測檢驗，具體如圖3所示。

圖3 網(wǎng)絡(luò)流量數(shù)據(jù)

3.2 網(wǎng)絡(luò)流量數(shù)據(jù)歸一化處理

實際網(wǎng)絡(luò)流量具有突變性，變化幅度較大，為了提高訓(xùn)練的效率，對其進(jìn)行歸一化處理，具體為：

最后對網(wǎng)絡(luò)流量預(yù)測結(jié)果進(jìn)行反歸一化處理，得到模型的實際預(yù)測值。

式中，x表示網(wǎng)絡(luò)流量原始數(shù)據(jù)，xmin和xmax分別表示最小值和最大值。

3.3 模型評價指標(biāo)

為了說明IPSO-BPNN模型的有效性，在Matlab2009環(huán)境下，采用在Matlab2007平臺上編寫程序?qū)崿F(xiàn)算法。同時為了使IPSO-BPNN模型的預(yù)測結(jié)果具有可比性，采用CC-BPNN和基本粒子算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)（PSO-BPNN）作為對比模型，其中CC-BPNN首先采用C-C進(jìn)行相空間重構(gòu)，BPNN參數(shù)采用PSO進(jìn)行優(yōu)化；PSO-BPNN為采用基本粒子群算法對模型參數(shù)進(jìn)行聯(lián)合優(yōu)化。模型性能的評價指標(biāo)為均方根誤差（RMSE）和平均絕對百分誤差（MAPE），具體定義如下：

式中，yt表示網(wǎng)絡(luò)流量實際觀測值，t表示預(yù)測值。

3.4 結(jié)果與分析

3.4.1 各模型的擬合能力對比

將訓(xùn)練樣本分別輸入到采用IPSO-BPNN、PSO-BPNN和CC-BPNN中進(jìn)行訓(xùn)練和建模，并采用建立的最優(yōu)模型對網(wǎng)絡(luò)流量的訓(xùn)練樣本進(jìn)行擬合，擬合結(jié)果的RMSE和MAPE如表1所示。

表1 幾種預(yù)測模型擬合誤差對比

從表1可知，在所有預(yù)測模型中，IPSO-BPNN的擬合誤差最小，擬合精度最好，說明IPSO-BPNN擬合值與網(wǎng)絡(luò)流量實際值最吻合，相對于對比模型，ISPO-BPNN具有一定的優(yōu)越性，對比結(jié)果初步表明IPSO-BPNN的參數(shù)聯(lián)合優(yōu)化模型思想是正確的、有效的。

3.4.2 各模型的泛化能力對比

由于評價一個預(yù)測模型性能的優(yōu)劣，主要考察其預(yù)測能力而非擬合能力，因此，分別采用IPSO-BPNN、PSO-BPNN和CC-BPNN模型對網(wǎng)絡(luò)流量的測試集進(jìn)行預(yù)測，各模型預(yù)測結(jié)果的誤差見表2。

表2 幾種預(yù)測模型的性能對比

從表2的對比結(jié)果可知，在所有預(yù)測模型，IPSO-BPNN預(yù)測結(jié)果誤差遠(yuǎn)遠(yuǎn)小于對比模型CC-BPNN和PSO-BPNN，預(yù)測精度得到了進(jìn)一步提高，對比結(jié)果表明，對相空間重構(gòu)和預(yù)測模型的參數(shù)進(jìn)行聯(lián)合優(yōu)化，可以提高網(wǎng)絡(luò)流量的預(yù)測精度，克服傳統(tǒng)分開、單獨優(yōu)化難以找到全局最優(yōu)參數(shù)缺陷，IPSO-BPNN能夠更加精確描述網(wǎng)絡(luò)流量變化趨勢，預(yù)測結(jié)果更加可靠，進(jìn)一步說明對網(wǎng)絡(luò)流量非線性預(yù)測模型的參數(shù)進(jìn)行聯(lián)合優(yōu)化是必須的，同時也是合理的。

4 結(jié)束語

在網(wǎng)絡(luò)流量預(yù)測過程中，由于網(wǎng)絡(luò)流量具有時變性、混沌性，需要進(jìn)行相空間重構(gòu)和預(yù)測模型參數(shù)優(yōu)化，本研究利用兩者間相互聯(lián)系，提出了一種參數(shù)聯(lián)合優(yōu)化的網(wǎng)絡(luò)流量非線性預(yù)測模型，并通過具體實例對模型性能進(jìn)行了測試，測試結(jié)果表明，相對于傳統(tǒng)參數(shù)單獨、分開優(yōu)化的模型，本研究提出的參數(shù)聯(lián)合優(yōu)化模型的預(yù)測精度得到了進(jìn)一步提高，其適應(yīng)性更廣，為非線性預(yù)測問題提供了一種新的研究思路。

[1]Nguyen T T，Armitage G.A survey of techniques for internet traffic classification using machine learning[J].IEEE Communications Surveys and Tutorials，2008，10（4）：56-76.

[2]高波，張欽宇，梁永生，等.基于EMD及ARMA的自相似網(wǎng)絡(luò)流量預(yù)測[J].通信學(xué)報，2011（4）.

[3]Ames T，Rego C，Glover F.Multistart tabu search and diversification strategies for the quadratic assignment problem[J].IEEE Transactions on Systems，Man，and Cybernetics：Part A Systems and Humans，2009，39：579-596.

[4]Jin Yi，Zhou Gan.Theoretical mean-variance relationship of IP network traffic based on ON/OFF model[J].China Ser F-Inf Sci，2009，52（4）：645-655.

[5]王升輝，裘正定.結(jié)合多重分形的網(wǎng)絡(luò)流量非線性預(yù)測[J].通信學(xué)報，2007，28（2）：45-50.

[6]Silva C G.Time series forecasting with a nonlinear model and the scatter search meta-heuristic[J].Information Sciences，2008，178（16）：3288-3299.

[7]Wang W S，Jin J J，Li Y Q.Prediction of inflow at three gorges dam in yangtze river with wavelet network model[J]. Water Resources Management，2009，23（13）：2791-2803.

[8]Este A，Gringoli F，Salgarelli L.Support vector machines for TCP traffic classification[J].Computer Networks，2009，53（14）：2476-2490.

[9]胡俊，胡玉清，肖中卿.基于小波變換的網(wǎng)絡(luò)流量預(yù)測模型[J].計算機(jī)工程，2008，34（19）：112-114.

[10]Wang R，Liu Y，Yang Y X，et al.Solving the app-level classification problem of P2P traffic via optimized support vectormachines[C]//Sixth International Conference on Intelligent Systems Design and Applications，Jinan，China，2006：534-539.

[11]李松，劉力軍，解永樂.遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的短時交通流混沌預(yù)測[J].控制與決策，2011，26（10）：1581-1585.

[12]馮華麗，劉淵.小波分析和AR-LSSVM的網(wǎng)絡(luò)流量預(yù)測[J].計算機(jī)工程與應(yīng)用，2011，47（20）：88-90.

[13]劉杰，黃亞樓.基于BP神經(jīng)網(wǎng)絡(luò)的非線性網(wǎng)絡(luò)流量預(yù)測[J].計算機(jī)應(yīng)用，2007，27（7）：1770-1772.

[14]張春濤，馬千里，彭宏.基于信息熵優(yōu)化相空間重構(gòu)參數(shù)的混沌時間序列預(yù)測[J].物理學(xué)報，2010（11）：7623-7629.

[15]伍鐵斌，成運(yùn)，周桃云，等.基于混沌遺傳算法的PID參數(shù)優(yōu)化[J].計算機(jī)仿真，2009，26（5）：202-205.

ZHANG Xianjiang1,LIU Xiaoqiang2

1.Department of Computer Science&Technology,Binzhou University,Binzhou,Shandong 256603,China
2.Department of Information Engineering,Sanmenxia Polytechnic University,Sanmenxia,Henan 472000,China

In order to improve the prediction precision of network traffic,this paper proposes a nonlinear network traffic prediction model based on parameters joint optimization algorithm,which uses the relationship between the phase space reconstruction and prediction model parameters.The phase space reconstruction and prediction model parameters are taken as particle of Improved Particle Swarm Optimization algorithm（IPSO）while the prediction accuracy of network traffic as the evaluation function of CPSO,and then,the optimization parameters are obtained by collaboration among particles.The optimal nonlinear network traffic prediction model is built according to the parameters.The performance of the proposed model is tested by network traffic data.The results show that the proposed method has improved the prediction precision of network traffic compared with the traditional parameters optimization algorithm;it has provided a new way for the nonlinear prediction problem. Key words：network traffic prediction;phase space reconstruction;neural network;Particle Swarm Optimization（PSO）

A

TP393

10.3778/j.issn.1002-8331.1211-0186

ZHANG Xianjiang,LIU Xiaoqiang.Nonlinear network traffic prediction model based on parameters joint optimization.Computer Engineering and Applications,2014,50（6）：64-67.

張顯江（1980—），男，碩士，主要研究領(lǐng)域為計算機(jī)技術(shù)；劉小強(qiáng)（1982—），男，講師，主要研究領(lǐng)域為基于網(wǎng)絡(luò)的軟件設(shè)計與開發(fā)。

2012-11-16

2013-01-05

1002-8331（2014）06-0064-04

CNKI網(wǎng)絡(luò)優(yōu)先出版：2013-01-29，http://www.cnki.net/kcms/detail/11.2127.TP.20130129.1539.013.html