基于PCA與WNN的網絡安全態(tài)勢要素提取方法

張 然,潘芷涵,朱 亮,尹毅峰

(鄭州輕工業(yè)大學 計算機與通信工程學院,河南 鄭州 450001)

0 引 言

在計算機網絡、大數(shù)據、云計算技術飛速發(fā)展的時代,安全問題也接踵而至。網絡安全威脅通常以有組織有預謀的行為模式展開,隨著網絡的普及,網絡安全威脅也逐漸演變?yōu)橐环N深層次、不可預估的社會行為,其對網絡的破壞直接影響著現(xiàn)實生活的社會秩序、人們的生命財產安全以及國家安全。網絡安全態(tài)勢感知技術具有全面洞察安全系統(tǒng)風險的能力,可以幫助網絡管理員及時、動態(tài)地掌握網絡的運行狀況。網絡安全態(tài)勢感知技術主要分為三個步驟:數(shù)據收集、態(tài)勢要素提取、態(tài)勢的評估和預測。其中,態(tài)勢要素提取是態(tài)勢感知的準備工作,主要負責對從安全設備中收集到的多源異構數(shù)據進行處理并提取出影響網絡正常運行的因素,然后按照一定的規(guī)則進行分類識別,獲得最終的不同類別的態(tài)勢要素。因此,態(tài)勢要素提取也可以被視作數(shù)據的分類問題。態(tài)勢要素提取質量的好壞直接影響著網絡態(tài)勢評估和預測的準確性,因此采用精準有效的方法進行網絡安全態(tài)勢要素的提取具有重要意義。

1 相關工作

國外在態(tài)勢要素提取領域的研究開始較早。Tim Bass[1]將數(shù)據挖掘技術與多傳感器數(shù)據融合的網絡態(tài)勢感知框架相結合來實現(xiàn)態(tài)勢要素的提取。Jin等人[2]結合戰(zhàn)爭態(tài)勢及其環(huán)境問題構造了基于概念模型的態(tài)勢要素提取方法。美國VIStology公司[3]在針對態(tài)勢感知進行研究時,提出了對態(tài)勢要素提取技術具有一定引導作用的抽象實體的概念。Bhandari[4]提出了一種基于特征選擇的數(shù)據預處理技術,使用卡方檢驗和排序搜索方法進行特征約簡,降低數(shù)據維度,以方便下一步使用貝葉斯分類器進行識別攻擊。近年來,國內研究者針對態(tài)勢要素提取也開展了大量研究工作。很多文獻通過智能優(yōu)化算法對分類器進行優(yōu)化以提高態(tài)勢要素提取的分類效率。文獻[5]提出一種改進的粒子群優(yōu)化算法和邏輯回歸算法相結合的態(tài)勢要素提取模型來提高網絡安全態(tài)勢數(shù)據提取的正確率。文獻[6]則使用粒子群算法對BP(Back Propagation)神經網絡進行改進來提高BP神經網絡的學習精度和收斂速度,并引入模糊技術對輸入神經網絡的歷史態(tài)勢要素進行處理,以實現(xiàn)態(tài)勢要素的提取,但該方法不能處理具有分布式特點的網絡攻擊所要求的關聯(lián)多元異構數(shù)據。針對網絡規(guī)模擴大帶來的態(tài)勢要素提取難度的不斷增加,文獻[7]提出了一種基于人工魚群算法和粗糙集的新型屬性約簡算法。文獻[8]針對目前大多網絡安全態(tài)勢要素提取方法未考慮到的多特征降維態(tài)勢信息導致誤警率較高的問題,提出了一種多特征降維的網絡安全態(tài)勢要素提取模型。文獻[9]采用粗糙集理論對數(shù)據集進行屬性約簡,并使用隨機森林分類器來實現(xiàn)態(tài)勢要素的提取。也有研究者針對態(tài)勢要素提取不完整、小類攻擊樣本不能被有效檢測的問題進行了研究。文獻[10]為了解決網絡安全態(tài)勢要素提取中存在的數(shù)據特征提取不完整等問題,提出一種將CNN(Convolutional Neural Network)與BiLSTM(Bi-directional Long Short-Term Memory)相結合的方法,并從時間和空間兩個方面提取數(shù)據的時序特征和空間特征,同時挖掘數(shù)據間的隱藏關系。文獻[11]針對小類攻擊樣本不能被有效檢測的問題,提出一種基于卷積神經網絡與生成對抗網絡相結合的態(tài)勢要素提取模型。

上述方法在進行態(tài)勢要素提取時,主要針對態(tài)勢要素提取的模型和方法進行改進,雖然在一定程度上提高了態(tài)勢要素提取的分類精度和效率,但還有進一步改進提高的空間。該文將主成分分析法(Principal Component Analysis,PCA)與改進的小波神經網絡(Wavelet Neural Network,WNN)相結合,利用PCA算法對預處理后的數(shù)據集進行降維,并用增加動量因子(Momentum Factor,MF)的方法對小波神經網絡的參數(shù)進行修正,提出一種基于PCA-MF-WNN的態(tài)勢要素提取模型,該模型不僅提高了分類精度,而且分類效率也得到有效提高。

2 基本理論

該文選用PCA算法對采集到的網絡數(shù)據進行屬性約簡,在降低數(shù)據復雜度的同時盡可能地用少數(shù)幾個主成分來保留原始數(shù)據集的信息。由于傳統(tǒng)WNN在訓練過程中采用梯度下降法對參數(shù)進行修正,而該算法自身存在的缺陷是導致WNN效率不高的主要原因,因此,通過加入動量因子的方法來提升WNN的學習效率,將經過PCA降維后的安全數(shù)據輸入改進的WNN中進行分類訓練,以實現(xiàn)態(tài)勢要素的高效提取。

2.1 主成分分析法

主成分分析法(Principal Component Analysis,PCA)[12]是一種統(tǒng)計分析、簡化數(shù)據集的方法,由卡爾·皮爾遜于1901年提出,常用于數(shù)據降維,即把多個變量化為少數(shù)幾個主成分(綜合變量),而這些主成分能夠反映原始變量的絕大部分信息,它們通常表示為原始變量的某種線性組合。

如何將多維變量變換為低維變量并去除冗余信息以降低數(shù)據復雜度是主成分分析法要解決的問題。該方法主要通過對協(xié)方差矩陣進行特征分解,以得出數(shù)據的主成分(即特征向量)與它們的權值(即特征值)。其具體計算步驟如下[13]:

(1)假設數(shù)據集X包含n個樣本,令X=[x1,x2,…,xn],其中每個樣本有m維。

(2)計算協(xié)方差矩陣R,其中i=1,2,…,n。

UUT

(1)

(3)計算特征值和特征向量。

計算協(xié)方差矩陣R的特征值λ1,λ2,…,λn,以及對應的特征向量U=[u1,u2,…,un],并將特征值重新排序使得λ1≥λ2≥…≥λn。

λiui=Rui,i=1,2,…,n

(2)

(4)計算特征值中前p(p≤n)個主成分的累計信息貢獻率ηp。

特征值λi的信息貢獻率yi計算公式如下:

(3)

ηp的計算公式如下:

(4)

一般情況下,若特征值中前p(p≤n)個主成分的累計信息貢獻率ηp達到85%以上,則說明這前p個主成分可以代表全部數(shù)據的絕大部分信息。

(5)計算降維結果。

變換矩陣Tp=(t1,t2,…,tp)'由前p個特征值對應的特征向量組成,降維后的結果為pi=TpX1。

主成分分析法不僅能減少數(shù)據集的維數(shù),同時能保留住數(shù)據集中對方差貢獻最大的特征。這是通過保留低階主成分,忽略高階主成分做到的,因為低階成分往往能夠保留住數(shù)據的最重要方面。當數(shù)據有多個維度時,有些維度對于數(shù)據的貢獻大,有些維度對數(shù)據的貢獻小。通過主成分分析,保留重要的維度,去掉次要的維度,可降低數(shù)據復雜度,減少數(shù)據處理的計算量,從而提高分類效率?？梢?采用主成分分析法降維對分類精度的影響較小,而對分類效率的影響較大。

2.2 小波神經網絡

小波神經網絡(Wavelet Neural Network,WNN)[14]是一種在小波分析研究獲得突破的基礎上提出的一種人工神經網絡。它是基于小波分析理論以及小波變換所構造的一種分層的、多分辨率的新型人工神經網絡模型[15],它的結構更加簡單,且具有更強的學習能力[16]。與傳統(tǒng)神經網絡不同的是,小波神經網絡隱含層節(jié)點的傳遞函數(shù)為小波基函數(shù),小波分析能夠通過小波基函數(shù)的變換分析信號的局部特征,并且在二維情況下具有選擇信號方向的能力。

小波神經網絡一般由三層構成,分別為:輸入層、隱含層和輸出層。其工作原理是在輸入數(shù)據經由輸入層到達神經網絡內部后,先計算出隱含層的輸出值,然后根據隱含層的輸出值再計算輸出層的輸出值,最后依照輸出層的輸出值與期望輸出之間的誤差來修正小波神經網絡的權值和小波基函數(shù)系數(shù),使小波神經網絡的預測輸出值與期望輸出值不斷接近。WNN的拓撲結構如圖1所示。

圖1 小波神經網絡拓撲結構

圖1中,X1,X2,…,Xk是小波神經網絡的輸入參數(shù),Y1,Y2,…,Ym是小波神經網絡的預測輸出,ωij和ωjk分別是小波神經網絡輸入層與隱含層、隱含層與輸出層之間的連接權值。

在輸入信號序列為xi(i=1,2,…,k)時,隱含層輸出計算公式為[12]:

(5)

其中,h(j)為隱含層第j個節(jié)點輸出值,ωij為輸入層和隱含層的連接權值,bj為小波基函數(shù)hj的平移因子,aj為小波基函數(shù)hj的伸縮因子。

文中采用的小波基函數(shù)為Morlet母小波基函數(shù),表達式如下:

y=cos(1.75x)e-x2/2

(6)

小波神經網絡輸出層的計算公式如下:

(7)

其中,h(i)為隱含層第i個節(jié)點的輸出值,l為隱含層節(jié)點數(shù),m為輸出層節(jié)點數(shù)。

小波神經網絡采用梯度下降法對網絡的權值和小波基函數(shù)參數(shù)進行修正,從而使其預測輸出與期望輸出不斷接近,修正過程如下:

(1)計算網絡預測誤差,公式為:

(8)

其中,yn(k)為期望輸出,y(k)為小波神經網絡的預測輸出。

(2)根據預測誤差error修正小波神經網絡權值和小波基函數(shù)參數(shù),使網絡的預測值逼近期望值,其公式如下:

(9)

(10)

(11)

(12)

其中,η為ωij和ωjk的學習速率,μ是aj和bj的學習速率。

小波神經網絡具有小波變換的優(yōu)點,同時避免了BP神經網絡結構設計上的盲目性,但是隱含層的節(jié)點數(shù)以及各層之間的權值、尺度因子的初始化參數(shù)難以確定,影響了網絡的收斂速度。小波神經網絡通常采用梯度下降算法對權值和參數(shù)進行修正,但傳統(tǒng)的梯度下降法每輪迭代梯度更新方向隨機震蕩且期望的梯度更新方向行進緩慢,即訓練軌跡會呈現(xiàn)鋸齒狀大幅擺動,會大大延長小波神經網絡的訓練時間,而且有可能會由于步伐太大而偏離最小值。

2.3 利用動量因子改進小波神經網絡

該文通過增加動量因子(MF)來提高神經網絡的學習效率。其主要思想是通過積累之前的動量來加速當前的梯度,使得梯度方向在不變的維度上,參數(shù)更新變快,梯度有所改變時,更新參數(shù)變慢,從而加快算法的收斂速度并且減少梯度下降法的震蕩趨勢。

通過在公式(9)～(12)中加入動量因子改進小波神經網絡的權值和參數(shù),其修正公式如下:

ωij(i-1))

(13)

(14)

aj(i-1))

(15)

bj(i-1))

(16)

其中,δ∈(0,1)為動量因子。

3 基于PCA-MF-WNN的網絡安全態(tài)勢要素提取方法

網絡安全態(tài)勢要素會引起網絡安全狀況的變化,這些信息也反映了網絡環(huán)境的運行狀態(tài),但是這些態(tài)勢要素無法在網絡環(huán)境中直接獲得而是反映在網絡安全事件中,因此需要從收集到的眾多網絡安全事件中提取出態(tài)勢要素信息。

3.1 基于PCA-MF-WNN的網絡安全態(tài)勢要素提取模型

在對網絡安全態(tài)勢進行感知時,由于待分類的數(shù)據規(guī)模比較龐大,一般需要先對數(shù)據進行屬性約簡,然后再對數(shù)據進行分類處理。該文引入主成分分析法(PCA)對預處理后的網絡安全數(shù)據進行屬性約簡,并在小波神經網絡(WNN)中加入動量因子(MF)來提高其學習效率,最后將改進的小波神經網絡(MF-WNN)應用于網絡安全態(tài)勢要素提取。整個態(tài)勢要素提取過程分為三部分,具體的提取模型如圖2所示。

圖2 基于PCA-MF-WNN的網絡安全態(tài)勢要素提取模型

(1)數(shù)據處理。

收集到的原始數(shù)據由于數(shù)據類型、格式等不完全相同,因此需要先對數(shù)據集進行預處理,然后再使用PCA算法對預處理后的數(shù)據集進行屬性約簡。

(2)生成分類模型。

根據輸入輸出數(shù)據的特征確定小波神經網絡的結構,通過加入動量因子的方式提高小波神經網絡的學習效率;將處理后的訓練數(shù)據輸入改進后的小波神經網絡對其進行學習和訓練,得到具有分類能力的PCA-MF-WNN態(tài)勢要素提取模型。

(3)要素提取與結果分析。

將處理后的測試數(shù)據輸入到具有分類能力的PCA-MF-WNN態(tài)勢要素提取模型中得到分類結果,根據對比實驗結果分析判斷不同態(tài)勢要素提取模型的分類效果和性能。

3.2 基于PCA-MF-WNN的態(tài)勢要素提取算法

基于PCA-MF-WNN的網絡安全態(tài)勢要素提取算法步驟如下,流程如圖3所示。

圖3 基于PCA-MF-WNN的網絡安全態(tài)勢要素提取流程

Step1:對采集到的數(shù)據進行預處理,統(tǒng)一數(shù)據格式和類型。

Step2:通過PCA算法對預處理后的數(shù)據進行降維,在保持數(shù)據本質信息的同時將多維變量變換到低維空間并去除冗余信息,降低數(shù)據復雜度,提高數(shù)據處理效率。

Step3:隨機初始化小波函數(shù)伸縮因子aj、平移因子bj以及網絡連接權值ωij和ωjk,設置網絡學習速率η和μ、動量因子δ。

Step4:將降維后的數(shù)據劃分為訓練集和測試集,分別用于改進小波神經網絡的訓練和測試。

Step5:將訓練集輸入到改進的小波神經網絡中進行訓練,得到用于態(tài)勢要素提取的小波分類器,并計算網絡預測輸出以及網絡預測輸出與期望輸出之間的誤差error。

Step6:根據誤差error,按照式(13)～(16)修正網絡權值和小波函數(shù)參數(shù),使網絡的預測輸出不斷接近期望輸出。

Step7:判斷算法是否達到設定的目標誤差精度或達到最大迭代次數(shù),如果沒有,跳轉到Step5。

Step8:將測試樣本數(shù)據輸入到具有分類預測能力的改進小波神經網絡中檢驗其分類性能,根據分類結果進行分析與總結。

4 實驗與結果分析

對該方法的有效性進行了實驗驗證。實驗采用Matlab R2019a進行仿真,操作系統(tǒng)為Windows 10,硬件環(huán)境采用1.80 GHz CPU和8 GB內存。

4.1 數(shù)據預處理

實驗所使用的數(shù)據集為美國林肯實驗室的公開數(shù)據集KDDCUP99。在該數(shù)據集中,每條數(shù)據包含41個屬性和1個標識類別的值,這41個屬性特征可以按以下方式分類:1～9為TCP連接的基本特征;10～22為TCP連接的內容特征;23～31為基于時間的網絡流量統(tǒng)計特征;32～41為基于主機的網絡流量統(tǒng)計特征。1個標識類別的屬性則被分為兩大類:正常(Normal)或異常(Attack),異常類型有四大類:DOS、Probe、U2R、R2L,每大類異常攻擊類型又包含若干個子類,具體攻擊子類分布情況如表1所示。

表1 樣本分類情況

KDDCUP99數(shù)據集具體樣本數(shù)據如下所示:

2, tcp, smtp, SF, 1 684, 363, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0.00, 0.00, 0.00, 0.00, 1.00, 0.00, 0.00, 104, 66, 0.63, 0.03, 0.01, 0.00, 0.00, 0.00, 0.00, 0.00, normal

0, icmp, ecr_i, SF, 1 032, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 511, 511, 0, 0, 0, 0, 1, 0, 0, 255, 255, 1, 0, 1, 0, 0, 0, 0, 0, smurf

上述兩條數(shù)據每條數(shù)據信息所包含的數(shù)據類型不完全相同,因此在實驗前需要先對數(shù)據集進行預處理。

在每條數(shù)據的42個屬性中,第2、3、4和42維屬性為非數(shù)值形式,在預處理過程中需要將這些離散特征進行數(shù)據編碼轉化。轉化規(guī)則如下:

第2維:利用數(shù)字1～3對tcp、udp和icmp進行編碼;

第3維:利用數(shù)字1～70對70種服務類型進行編碼;

第4維:利用數(shù)字1～11對11種連接狀態(tài)進行編碼;

第42維:共有五種狀態(tài),可用數(shù)字1～5進行編碼。

針對連續(xù)型特征,采用歸一化的方式進行處理,歸一化公式如下:

(17)

其中,Xmin和Xmax分別表示實驗數(shù)據中的最小值數(shù)據和最大值數(shù)據,Xi為實驗數(shù)據中第i個數(shù)據值,Yi為Xi歸一化后的值。

實驗將隨機抽取數(shù)據集的10%作為訓練集和測試集,不同情況的樣本數(shù)量如表2所示。

表2 不同攻擊類別的實驗樣本數(shù)量

4.2 實驗結果分析與比較

(1)參數(shù)對性能的影響。

從表2可以看到,U2R類攻擊樣本的數(shù)量較少,且在大多研究中U2R攻擊的分類精度都較低。為了更好的說明所提方法對小類攻擊樣本識別的影響,下面將WNN模型與PCA-MF-WNN模型在不同的隱含層節(jié)點數(shù)的情況下對U2R類攻擊樣本進行分類精度比較,其結果如圖4所示。

圖4 隱含層節(jié)點數(shù)對態(tài)勢要素分類精確度的影響

從圖4中可以看出,在隱含層節(jié)點數(shù)不同的情況下,與PCA相結合的改進WNN模型和未改進的WNN相比都明顯提高了U2R小類攻擊樣本要素提取的精確度。這說明對WNN模型的改進在隱含層節(jié)點數(shù)不同的情況下都是有效的。

(2)幾種要素提取模型的精確度對比與分析。

為了進一步說明所提出的態(tài)勢要素提取模型的有效性,對常用于態(tài)勢要素提取領域的BPNN(Back Propagation Neural Network)模型[17]、PNN(Probabilistic Neural Network)模型[18]、WNN模型[14]以及改進的WNN模型的分類精準度進行了比較。實驗結果如表3所示。其中,BPNN的迭代次數(shù)為100次,PNN采用四層結構,SPREAD值選取為1.5。

表3 幾種算法模型的分類精準度 %

從表3可以看出,這五種模型對于五類攻擊的識別能力都是在U2R小類攻擊樣本上表現(xiàn)最差;BPNN模型在五類樣本上的分類精確度均偏低,其中U2R類的分類精確度最低,只有21.49%;PNN模型在R2L類攻擊樣本上的分類精確度為47.37%,對該類攻擊的識別能力在五種模型中是最差的;WNN模型在五類攻擊樣本上的分類精確度比BPNN模型和PNN模型均有較大提升;使用PCA算法對數(shù)據進行降維后,PCA-WNN模型與未改進的三種基本模型相比,在五類樣本上的分類精確度進一步得到了提高;引入動量因子后的PCA-MF-WNN態(tài)勢要素提取模型的分類準確率比PCA-WNN模型又進一步有所提高,尤其是在Probe類和R2L類攻擊樣本上的要素提取分類準確率提升最為明顯?？梢?在五類提取方法中PCA-MF-WNN態(tài)勢要素提取模型的精確度是最高的。

表4對五種不同模型的總體分類準確率和錯誤率進行了對比。從整體準確率來看,WNN模型的分類準確率比BPNN模型和PNN模型分別高出24.17百分點和12.79百分點,PCA-WNN模型的分類準確率比WNN模型提高了1.29%,而PCA-MF-WNN模型的分類準確率比PCA-WNN模型提高了1.7%,是五種算法中準確率最高的;就錯誤率指標來看,PCA-MF-WNN模型總體的分類錯誤率為0.78%,是五種算法中最小的。這說明在這幾種算法模型中,PCA-MF-WNN模型的準確率最高且錯誤率最低,對WNN的每一次改進都提高了分類準確率。可見,利用主成分分析法對數(shù)據進行降維處理并在小波神經網絡中增加動量因子對提高態(tài)勢要素提取的分類精度具有更好的效果,與其他算法模型相比,所提出的基于PCA-MF-WNN的態(tài)勢要素提取模型具有更高的樣本分類精準度。

表4 幾種模型的總體準確率和錯誤率 %

(3)時間復雜度的比較與分析。

時間復雜度是算法性能的一種體現(xiàn),也是算法效率的一種度量。用于實驗的態(tài)勢要素樣本數(shù)為n,樣本維度為d,標簽類別數(shù)為l,算法的迭代次數(shù)為t。采用BPNN、PNN與WNN算法時的時間復雜度分別為O(n×t×d×l2)、O((n+1)×d)、O(n)。顯然,WNN比BPNN和PNN算法的時間復雜度更低,效率更高。

表5給出了利用WNN和兩種改進的WNN提取態(tài)勢要素所用時間的對比。從表5中可以看出,所提的用PCA-MF-WNN進行態(tài)勢要素提取所用的時間與只用PCA降維數(shù)據但不改進WNN(PCA-WNN)以及未改進的WNN相比有明顯的減少?？梢?PCA-MF-WNN模型在執(zhí)行效率方面具有較明顯優(yōu)勢,提高了態(tài)勢要素提取的分類效率。

表5 不同算法的執(zhí)行時間對比 s

5 結束語

該文構建了一種基于PCA-MF-WNN的網絡安全態(tài)勢要素提取模型,該模型將主成分分析法(PCA)引入態(tài)勢要素提取中,對經過預處理后的數(shù)據集進行降維,用盡可能少量的數(shù)據表示原始數(shù)據集的信息,然后用增加動量因子的方法對小波神經網絡中的小波函數(shù)伸縮因子、平移因子以及網絡連接權值進行修正,獲取最優(yōu)參數(shù),以達到提升小波分類器的分類精準度和分類效率的目的。實驗結果表明,所提模型與傳統(tǒng)態(tài)勢要素提取模型和未改進的WNN相比,有效提高了態(tài)勢要素提取的分類準確率和分類效率。當然,該模型還有優(yōu)化空間,如何優(yōu)化小波神經網絡的結構以提高小波分類器的分類精度和效率將是下一步的工作方向。