基于Stacking集成學習的網(wǎng)絡安全態(tài)勢預測方法

曹 波，李成海，宋亞飛，陳 晨

(空軍工程大學防空反導學院，西安，710051)

網(wǎng)絡安全態(tài)勢預測就是通過對歷史網(wǎng)絡數(shù)據(jù)即態(tài)勢評估得來的態(tài)勢值進行分析融合，挖掘數(shù)據(jù)之間的深層關系，運用專家知識等理論方法預測未來態(tài)勢的發(fā)展趨勢，為安全管理人員提供決策依據(jù)[1]。

伴隨著機器學習的不斷發(fā)展，神經(jīng)網(wǎng)絡在網(wǎng)絡安全態(tài)勢預測領域得到了廣泛應用。神經(jīng)網(wǎng)絡通過組合低層特征形成更加抽象的非線性的高層表示，進而挖掘數(shù)據(jù)之間的輸入輸出關系，在態(tài)勢預測領域取得了較好的效果。文獻[2]通過結(jié)合深度可分離卷積和卷積分解技術(shù)的思想對態(tài)勢要素和態(tài)勢值進行映射，但是該模型忽略了原始數(shù)據(jù)屬性之間的重要性差異。文獻[3]提出一種基于BP神經(jīng)網(wǎng)絡的態(tài)勢預測模型，將模擬退火算法引入人群搜索算法中實現(xiàn)對模型參數(shù)的優(yōu)化，取得較好效果。文獻[4]提出一種基于差分WGAN的態(tài)勢預測方法，該方法利用生成對抗網(wǎng)絡(generating adversarial network，GAN)模擬態(tài)勢的發(fā)展過程，引入Wasserstein距離作為GAN的損失函數(shù)，同時添加差分項提升態(tài)勢值的預測精度。文獻[5]提出一種改進遺傳粒子群算法優(yōu)化極限學習機的態(tài)勢預測方法，但是樣本數(shù)目和滑動窗口數(shù)設置不合理時對模型效果有很大的影響。文獻[6]提出一個兩層的長短期記憶網(wǎng)絡和門控循環(huán)單元的預測模型，雖然提升了預測精度，但是也增加了模型復雜度和訓練的時間成本。文獻[7]提出一種動態(tài)K-means與粒子群的網(wǎng)絡安全態(tài)勢預測優(yōu)化算法，通過動態(tài)K-means算法對態(tài)勢數(shù)據(jù)進行聚類，再通過粒子群算法選擇RBF網(wǎng)絡的權(quán)值，模型預測精度提高了14倍。

為提升網(wǎng)絡安全態(tài)勢預測模型的預測精度和泛化能力，本文提出一種基于Stacking集成學習的網(wǎng)絡安全態(tài)勢預測方法。

1 基于Stacking算法的網(wǎng)絡安全態(tài)勢預測模型

基于Stacking算法的網(wǎng)絡安全態(tài)勢預測模型主要包括4個部分：數(shù)據(jù)預處理，基本預測模型，Stacking融合以及粒子群算法優(yōu)化，其具體結(jié)構(gòu)見圖1。

圖1 基于Stacking算法的網(wǎng)絡安全態(tài)勢預測模型結(jié)構(gòu)示意圖

1.1 數(shù)據(jù)預處理

態(tài)勢數(shù)據(jù)預處理的主要流程為：

1)讀取數(shù)據(jù)并進行數(shù)據(jù)清洗；

2)將清洗后的數(shù)據(jù)進行歸一化處理，本文采用min-max歸一化的方法將特征數(shù)據(jù)規(guī)范到-1和1之間；

3)滑動窗口處理。為有效學習歷史數(shù)據(jù)的變化趨勢，采樣滑動窗口法對歸一化后的數(shù)據(jù)進行處理。假設滑動窗口設置為s=m+1，樣本總數(shù)為n，則經(jīng)過滑動窗口法后生成n-(m+1)+1個樣本。

1.2 基本預測模型：卷積神經(jīng)網(wǎng)絡

CNN是一類具有稀疏連通性和權(quán)值共享特性的深度前饋神經(jīng)網(wǎng)絡，在CNN的演變過程中，出現(xiàn)了多種利用CNN來挖掘數(shù)據(jù)的時間特性的模型，如WaveNet和TCN等，在提取長距離依賴信息時表現(xiàn)出較好的性能，因此本文選擇這兩種神經(jīng)網(wǎng)絡。

時域卷積神經(jīng)網(wǎng)絡(temporal convolution network，TCN)是Shaojie Bai等人[8]在卷積神經(jīng)網(wǎng)絡的基礎上提出的一種用于處理時間序列數(shù)據(jù)的網(wǎng)絡結(jié)構(gòu)。TCN結(jié)構(gòu)主要是由堆疊的一維全連接卷積層(fully-convolution network，F(xiàn)CN)組成，每個基本卷積層包含因果關系，這樣可以避免從未來到過去的信息“泄露”，同時TCN還強調(diào)通過加深網(wǎng)絡深度和擴展卷積相結(jié)合的方式提升學習時間序列特征的能力。簡單來說，TCN結(jié)構(gòu)可由式(1)表示：

TCN=1DFCN+Casual Convolution

(1)

本文首次將TCN網(wǎng)絡引入網(wǎng)絡安全態(tài)勢預測任務中，它能夠準確學習時間序列的長短依賴關系，同時擁有足夠的記憶內(nèi)存，從而取得較好的效果。

具體而言，假設模型輸入X∈Rn，f∈Rk表示一維空洞因果卷積核，則經(jīng)過空洞因果卷積操作后的結(jié)果如式(2)所示：

(2)

式中：d代表膨脹因子；k代表卷積核大小，s-di代表輸入序列對應的位置點。從中可以看出當d=1時，空洞因果卷積會對輸入數(shù)據(jù)通過常規(guī)計算方式進行計算；d≠1時，對輸入數(shù)據(jù)進行卷積運算。一般情況下，膨脹因子d會隨著網(wǎng)絡層數(shù)i按照式(3)的方式變化：

d=O(2i)

(3)

這樣的變化方式可以保證在卷積核尺寸k變化時，TCN的感受域能夠迅速增加，網(wǎng)絡中高層卷積核的感受域可以覆蓋輸入時間序列的所有有效輸入，進而對信息進行更好地融合，并且對序列中的長期模式進行有效建模。

WaveNet是2016年Google DeepMind開發(fā)的一種用于處理音頻信號開發(fā)的網(wǎng)絡模型[9]。該網(wǎng)絡模型結(jié)構(gòu)由多個殘差模塊構(gòu)成，每個殘差模塊均包含多層擴張卷積和批量歸一化層。它通過采用擴張卷積和跳躍連接的方式提升了神經(jīng)網(wǎng)絡對長距離依賴的學習能力，因而對于時間序列數(shù)據(jù)具有較好的提取特征能力.

1.3 基本預測模型：循環(huán)神經(jīng)網(wǎng)絡

循環(huán)神經(jīng)網(wǎng)絡是最基本的處理時間序列的深度學習模型。它以序列數(shù)據(jù)作為輸入，在序列的演進方向進行遞歸且所有節(jié)點均按照鏈式進行連接。RNN因其具有記憶性、參數(shù)共享且圖靈完備的特性在序列的非線性特征進行學習時具有一定的優(yōu)勢。但是，由于RNN結(jié)構(gòu)無法學習長距離依賴，因而在現(xiàn)代的機器學習問題中很少直接使用，同時產(chǎn)生諸如長短期記憶網(wǎng)絡、門控循環(huán)單元等多種變種算法。GRU和LSTM作為RNN的變種，通過門控單元的引入提升了其提取長距離信息的能力，因此本文通過這兩種模型來學習原始態(tài)勢數(shù)據(jù)在時間上的特征。

長短期記憶網(wǎng)絡是最早提出的對于RNN的改進[10]，其主要由輸入門、遺忘門和輸出門來代替原來的循環(huán)單元，相較于RNN對系統(tǒng)建立的遞歸計算，LSTM的3個門在LSTM單元的內(nèi)部建立了自循環(huán)。輸入門決定當前時間步的輸入和前一個時間步的系統(tǒng)狀態(tài)對內(nèi)部狀態(tài)的更新；遺忘門決定前一個時間步內(nèi)部狀態(tài)對當前時間步內(nèi)部狀態(tài)的更新；輸出門決定內(nèi)部狀態(tài)對系統(tǒng)狀態(tài)的更新。

2014年，Cho提出了更加簡單的、將長短時記憶網(wǎng)絡的單元狀態(tài)和隱層狀態(tài)進行合并的、還有一些其他的變動的GRU模型[11]。GRU是LSTM的一種變體，能夠有效的解決長期記憶和反向傳播中的梯度問題。GRU主要包含更新門、重置門兩個部分。重置門來計算是否忘記之前計算狀態(tài)，更新門決定將上一步多少信息繼續(xù)迭代到當前步驟[12]。

1.4 Stacking集成學習算法

集成學習是使用一系列學習器進行學習，并使用某種規(guī)則將所得結(jié)果進行整合從而獲得比單一學習器效果更好的模型的方法，通常有Bagging, Boosting, Stacking等方式[13]。本文采用Stacking算法將基預測模型進行融合，進一步增強模型的泛化能力，提高預測模型的靈活性，進而獲得更好的預測模型，其主要流程如圖2所示。

圖2 Stacking集成學習算法流程圖

2 實驗仿真

2.1 實驗設置

為驗證所提CNN-RNN態(tài)勢預測算法的性能，本文設置多組實驗，預測模型實驗和對比實驗都在64位的Windows Intel(R)Core(TM)i7-7700HQ CPU(2.80 GHz)上進行的，該CPU具有16 GB RAM和基于python的Nvidia GeForce GTX 1050 GPU(4 GB)，使用Python的TensorFlow庫編寫本文的TCN、Attention、GRU模型和PSO優(yōu)化算法。

本文所提態(tài)勢預測模型在訓練過程中需要對多個參數(shù)進行設定，包括WaveNet、TCN網(wǎng)絡的膨脹因子、GRU、LSTM的神經(jīng)元數(shù)、優(yōu)化器的學習率、批處理大小等。這些參數(shù)的設置會直接影響模型訓練的結(jié)果。本文采用粒子群算法[14]對涉及到的參數(shù)進行優(yōu)化，尋找模型參數(shù)的最優(yōu)組合。

本文實驗參數(shù)具體設置如下：PSO算法中種群大小為5，迭代次數(shù)為30，慣性權(quán)重為0.6，學習因子c1、c2為0.5。經(jīng)過PSO算法優(yōu)化后的網(wǎng)絡模型參數(shù)具體如表1所示。

表1 優(yōu)化后模型參數(shù)設置

2.2 實驗數(shù)據(jù)及評價標準

為了驗證本文所提CNN-RNN態(tài)勢預測算法，本文選擇2個數(shù)據(jù)集進行實驗，兩組數(shù)據(jù)的具體情況如下：

數(shù)據(jù)1：為了獲取真實有效的網(wǎng)絡安全態(tài)勢值，本研究采用文獻[15]中搭建的網(wǎng)絡環(huán)境所得的實驗數(shù)據(jù)：通過網(wǎng)絡安全評估系統(tǒng)每隔30 min對主機遭受的攻擊次數(shù)、攻擊種類和攻擊嚴重程度進行綜合性評估，計算出當前時段的網(wǎng)絡安全態(tài)勢值，最終選取150個態(tài)勢值經(jīng)過歸一化處理得到本次實驗的樣本數(shù)據(jù)如圖3所示。

圖3 數(shù)據(jù)1網(wǎng)絡安全態(tài)勢值

數(shù)據(jù)2：來源于國家互聯(lián)網(wǎng)應急中心網(wǎng)站[16]公布的真實數(shù)據(jù)。本文選取該網(wǎng)站發(fā)布的自2018年1月7日至2021年4月11日共計171期的態(tài)勢周報數(shù)據(jù)為基礎進行實驗驗證。安全態(tài)勢周報公布的數(shù)據(jù)主要從境內(nèi)感染網(wǎng)絡病毒的主機數(shù)量、境內(nèi)被篡改網(wǎng)站總數(shù)、境內(nèi)被植入后門網(wǎng)站總數(shù)、境內(nèi)網(wǎng)站的仿冒頁面數(shù)量和新增信息安全漏洞數(shù)量5個角度進行評估。為了直觀體現(xiàn)網(wǎng)絡安全態(tài)勢，本文采用文獻[17]中提到的態(tài)勢評估方法進行量化，根據(jù)對網(wǎng)絡安全威脅的程度高低分配不同權(quán)重，具體如表2所示，之后按照式(4)計算每周的態(tài)勢值。

表2 網(wǎng)絡安全威脅權(quán)重分配

(4)

式中：Ti代表某周某種網(wǎng)絡安全威脅的數(shù)量(i代表安全威脅的種類)；Timax代表是選取的171期數(shù)據(jù)中該種安全威脅的最大數(shù)量；ωi代表其對應的權(quán)重。經(jīng)過歸一化處理后的數(shù)據(jù)如圖4所示。

圖4 數(shù)據(jù)2網(wǎng)絡安全態(tài)勢值

為評價本文所提預測模型的效果，選取平均絕對誤差(mean absolute error，MAE)、均方誤差(mean square error，MSE)以及擬合優(yōu)度決定系數(shù)(the coefficient of determination，R2)3個參數(shù)作為評價指標，評價指標的計算公式如下所示[18]：

(6)

(7)

(8)

2.3 實驗結(jié)果分析

2.3.1 預測精度對比

為有效對比本文模型與其他模型預測能力的差別，設置以下實驗：在相同的實驗條件下設置滑動窗口數(shù)s=5，基于數(shù)據(jù)1、數(shù)據(jù)2，分別用Attention-GRU、AIS-LSTM、MLP、SVM、CNN-RNN這5種模型進行預測，得到預測態(tài)勢值與真實態(tài)勢值對比圖如圖5所示，不同模型評價指標見表3。

(a)數(shù)據(jù)1

表3 不同模型評價指標對比

從圖5中可以看出，對于數(shù)據(jù)1、數(shù)據(jù)2而言，當滑動窗口設置為5時，對比的5種模型均可實現(xiàn)對于態(tài)勢值的預測，但是不同模型的預測性能卻有很大的差別。從圖5(a)中可以看出，對于數(shù)據(jù)1而言，文獻[19]中提出的Attention-GRU模型預測效果一般，所得預測態(tài)勢值如此，MLP模型預測所得態(tài)勢值同樣普遍小于真實值，而SVM模型預測效果最差；從圖(b)中可以看出，對于數(shù)據(jù)2而言，文獻[20]中提出的Attention-GRU模型相較其他兩個模型預測所得態(tài)勢值與真實值之間有很大的偏差，而SVM模型雖能夠預測態(tài)勢值的變化趨勢，但效果很差。分析原因發(fā)現(xiàn)：SVM適用于解決小樣本線性回歸問題，當樣本數(shù)目較多時，所得預測結(jié)果較差，誤差較大；MLP雖可以解決樣本較多時的線性回歸問題，但是其難以捕捉時間序列之間的長距離依賴關系，預測效果一般。本文CNN-RNN預測模型融合了TCN、WaveNet、GRU和LSTM在提取時間序列之間關系的特性，預測結(jié)果更加準確。

從表3中可以看出，本文所提CNN-RNN預測模型的誤差值最小，相比其他模型有很大的優(yōu)勢。對于數(shù)據(jù)1，CNN-RNN模型相比Attention-GRU模型，MAE降低了34.43%，MSE降低了60%；相比AIS-LSTM，MAE降低了65.57%，MSE降低了86.67%。對于數(shù)據(jù)2，CNN-RNN模型相比Attention-GRU模型，MAE降低了85.42%，MSE降低了97.62%；相比AIS-LSTM，MAE降低了31.28%，MSE降低了66.67%。結(jié)果表明對于不同數(shù)據(jù)而言，CNN-RNN模型對于網(wǎng)絡安全態(tài)勢值的預測較為有效，且相比其他模型預測精度較高。

2.3.2 擬合度對比

為進一步驗證本文所提CNN-RNN模型的有效性，基于數(shù)據(jù)1、數(shù)據(jù)2對比測試結(jié)果的擬合度，如圖6所示。

圖6 不同模型擬合度對比

從圖6中可以看出，CNN-RNN模型的擬合度相較其他8種模型最高。對于數(shù)據(jù)1，CNN-RNN模型的擬合度高達0.999 36；對于數(shù)據(jù)2，CNN-RNN模型的擬合度高達0.999 02。進一步證明本文所提CNN-RNN預測模型所得到的預測曲線相較其他模型更加準確，同時也證明了CNN-RNN預測模型在預測態(tài)勢值時的有效性和準確性。

2.3.3 收斂性分析

圖7給出了模型訓練誤差隨迭代步數(shù)變化曲線圖，本文CNN-RNN預測模型在收斂速度和收斂精度上都優(yōu)于其他模型，證明了該模型能夠充分學習時序數(shù)據(jù)的特征，取得效果較好。

(a)數(shù)據(jù)1

2.3.4 運行時間分析

模型進行預測時不僅要考慮預測的精確度，同時還要考慮模型運行所需時間，即模型訓練時間和預測時間。模型運行的時間與模型的復雜度、迭代次數(shù)、批處理大小等都有關系，通過實驗得到不同預測模型的運行時間見表4。

表4 不同預測模型運行時間 單位：s

從表中可以看出，SVM、MLP兩種模型所用時間較少，但是二者在處理數(shù)據(jù)時較為簡單，取得結(jié)果預測精度較低，不能夠準確預測態(tài)勢值；Attention-GRU模型經(jīng)過粒子群算法優(yōu)化后得到批處理值為1，因而預測時間較長；本文所提CNN-RNN模型在提升預測精確度的同時，花費時間較少。

3 結(jié)語

為了對網(wǎng)絡安全態(tài)勢值進行準確預測，同時降低過擬合風險并提高泛化能力，本文提出一種基于Stacking集成學習的態(tài)勢預測模型，該模型首先通過TCN、WaveNet兩種卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)以及GRU、LSTM兩種循環(huán)神經(jīng)網(wǎng)絡結(jié)構(gòu)挖掘并學習數(shù)據(jù)的時間特征，之后借助Stacking融合算法將這四種模型進行融合。隨后通過邏輯回歸算法實現(xiàn)最終態(tài)勢值的預測。為進一步提升預測結(jié)果的準確度，引入粒子群算法對模型的參數(shù)進行優(yōu)化。本文通過在兩個數(shù)據(jù)集上進行的多個實驗證明了模型在處理網(wǎng)絡數(shù)據(jù)時具有較強的特征提取能力和較高的預測精度，說明了本文模型的高效性和實用性。