數(shù)據(jù)挖掘在入侵檢測中的應用

馮瑩瑩

(阜陽師范學院信息工程學院，安徽 阜陽 236041)

入侵檢測技術作為一種動態(tài)防護安全技術，主要通過對計算機網(wǎng)絡節(jié)點定期搜集數(shù)據(jù)并加以分析，找出其中被攻擊的跡象和違反安全策略的行為［1］。入侵檢測技術處于不斷完善中，仍存在許多問題。

首先入侵防御能力較低。入侵檢測系統(tǒng)的任務重點是對入侵行為進行識別，現(xiàn)有技術對黑客行為的檢測和內外攻防能力不強，入侵防御實時性差導致現(xiàn)有入侵檢測系統(tǒng)缺乏有效性。其次，誤報率和漏報率高。入侵檢測系統(tǒng)通常采用的檢測方法有特征檢測、異常檢測、狀態(tài)檢測等，這些檢測方式都存在某方面缺陷。在高速網(wǎng)絡時代，入侵檢測系統(tǒng)不能檢測所有的數(shù)據(jù)包并且分析不準確，新的攻擊沒有對應的檢測規(guī)則，檢測手段的更新永遠跟不上入侵攻擊手段的更新，經常發(fā)生誤報或漏報。同時，入侵檢測系統(tǒng)應向開放性、分布性方向發(fā)展。分布式協(xié)同攻擊是一種極具威脅的攻擊方式，隨著網(wǎng)絡攻擊形式的不斷更新，分布式入侵行為的破壞性與隱蔽性也越來越強?，F(xiàn)有的入侵檢測系統(tǒng)基本上采用IDS體系結構，各個IDS之間無法交換信息，很難在新的計算條件下重新使用或者定制入侵檢測系統(tǒng)。IDS體系結構應向分布式，協(xié)同式方向發(fā)展，加強各IDS之間的相互協(xié)作，全力防御所有攻擊。

1 數(shù)據(jù)挖掘概念及基本算法

數(shù)據(jù)挖掘是指借助于數(shù)學、統(tǒng)計學、人工智能等多種科學方法，從大型數(shù)據(jù)庫中提取出隱含的、先前未知且有潛在價值的信息的決策支持過程［2］，其數(shù)據(jù)挖掘的過程如圖1所示。

圖1 數(shù)據(jù)挖掘過程

目前應用到入侵檢測技術中的數(shù)據(jù)挖掘算法主要有關聯(lián)分析、聚類和概念描述。

(1)關聯(lián)分析。關聯(lián)分析可以分析出在大型數(shù)據(jù)庫中數(shù)據(jù)之間的聯(lián)系，序列模式和關聯(lián)規(guī)則是兩種最主要的表現(xiàn)形式。序列模式會根據(jù)前因推斷出后果，比如某顧客買了電腦不久可能要買其他配件。關聯(lián)規(guī)則是分析出多個事件的相互聯(lián)系，比如某用戶買了牙刷的同時是否會買牙膏。

(2)聚類。聚類是在對數(shù)據(jù)對象不了解的前提條件下，把多個事物劃分成多個類別。在同一類別中的多個事物間具有相似性。

(3)概念描述。用戶期待用簡潔的語言描述數(shù)據(jù)庫中龐雜的數(shù)據(jù)集合。概念描述是對同一類對象特征的提取和抽象。

2 基于關聯(lián)規(guī)則的入侵檢測技術

在入侵檢測系統(tǒng)中應用數(shù)據(jù)挖掘技術，有效克服了傳統(tǒng)入侵檢測系統(tǒng)的一些缺點，使獲得的異常行為模式具有精確性以及可適應性，并自動從紛繁的網(wǎng)絡數(shù)據(jù)中提取出與系統(tǒng)安全特性相關的屬性，據(jù)此自動生成挖掘模型，并能自動鑒別安全事件，最終建立一套能用于數(shù)據(jù)采集、預處理、特征變量選取、挖掘結果比較分析等過程的入侵檢測模型。數(shù)據(jù)挖掘是整個過程中的核心，而對數(shù)據(jù)進行分析是入侵檢測的基本工作。

關聯(lián)規(guī)則挖掘是指從數(shù)據(jù)庫表中找出屬性相關、頻繁出現(xiàn)的模式，演變成關聯(lián)規(guī)則［3］，依據(jù)生成的關聯(lián)規(guī)則進行入侵檢測。應用關聯(lián)規(guī)則進行入侵檢則數(shù)據(jù)挖掘分為3個步驟:

(1)對訓練數(shù)據(jù)進行預處理(包括離散化、缺失值處理等);

(2)挖掘關聯(lián)規(guī)則:包括頻繁項集挖掘和關聯(lián)規(guī)則生成及對規(guī)則進行處理;

從目前孤兒救助方式、孤兒需求以及民間組織自身優(yōu)勢等方面分析來看，民間組織介入孤兒救助有很大的空間可拓展。

(3)入侵檢測器用于檢測不正常的網(wǎng)絡數(shù)據(jù)包，從中挖掘出網(wǎng)絡異常數(shù)據(jù)包中潛在的入侵行為模式，生成關聯(lián)規(guī)則集并更新到規(guī)則庫中。

2.1 關聯(lián)規(guī)則在入侵檢測中的應用

參數(shù)關聯(lián)模型應用分為訓練階段和檢測階段，訓練階段需要找出正常事件的模型參數(shù)，檢測階段需要報告異常事件的概率。

令T為程序的所有參數(shù)名集合，T1為必定定出現(xiàn)的參數(shù)集合，T1-2為T1中所有枚舉參數(shù)名集合，則存在 T1-2≤T1≤T［4］。R 為測試集，I是 R 中所有參數(shù)名T1-2的參數(shù)—值對應的集合，于是有:

在此q表示一個請求所包含的參數(shù)，即q=(p1，v1)，(p2，v2)，(pn，vn)。如果 R 中任意一條記錄的參數(shù)q與I有交集，那么此交集產生一個事務T，集合D指的是由R中所有記錄構成的事務T。

引入?yún)?shù)關聯(lián)的目的是在集合D上分析出I中多個參數(shù)之間可能存在的關聯(lián)規(guī)則。在檢測階段，Passociation為記錄輸出不正常時的概率，M是待檢測關聯(lián)規(guī)則列表，(ai，bi)是M列表中的任意有序規(guī)則對，則Passociatio可以計算如下:可見，從分析關聯(lián)規(guī)則的角度來看，違反規(guī)則的數(shù)量與規(guī)則的置信度及該請求異常的可能性成正比。違反的規(guī)則越大，置信度越大，產生異常請求的可能性就越大。

2.2 異常檢測

圖2所示為異常檢測流程，分為2個階段。第一階段為訓練初始階段，正常事件的模型參數(shù)及異常概率閡值在系統(tǒng)中已知［5］。第二階段為實施檢測算法階段，系統(tǒng)獲得HTTP請求并解析HTTP請求數(shù)據(jù)后，將URL的程序名和各參數(shù)的參數(shù)值進行分離，從而獲得一定數(shù)量的異常概率。如果異常概率大于系統(tǒng)設定的閡值，判決單元認定此次訪問不合法，為入侵行為，反之，為正常訪問。

圖2 異常檢測流程圖

2.3 一種基于數(shù)據(jù)挖掘的入侵檢測模型

入侵檢測模型包含嗅探器、原始數(shù)據(jù)庫、數(shù)據(jù)預處理、知識庫、模式規(guī)則、數(shù)據(jù)差異分析、結果與驗證等7部分，如圖3所示。

圖3 一種基于數(shù)據(jù)挖掘的入侵檢測模型

(1)嗅探器的任務是對網(wǎng)絡上的原始信息進行定期搜集，并提供一個向網(wǎng)絡簡單抓取信息的接口［6］。

(2)原始數(shù)據(jù)庫主要用于按照指定格式存放由嗅探器搜集的信息。

(3)數(shù)據(jù)預處理，是指對搜集到的網(wǎng)絡原始數(shù)據(jù)進行過濾、清理，去除影響系統(tǒng)安全的“臟”數(shù)據(jù)，為數(shù)據(jù)挖掘內核提供更有針對性的有效數(shù)據(jù)，能更好地起到決策和預測作用。

(4)知識庫，用于存儲挖掘好的信息、規(guī)則，并與數(shù)據(jù)挖掘引擎實現(xiàn)交互。

(5)模式規(guī)則，此部分任務是將搜集到的歷史信息和訓練數(shù)據(jù)集數(shù)據(jù)利用相關的挖掘算法進行特征提取，形成模式規(guī)則，添加到知識庫中。

(6)數(shù)據(jù)差異分析，是由事件分析器根據(jù)模式規(guī)則庫中的關聯(lián)規(guī)則，將當前事件與歷史事件使用凝聚算法進行關聯(lián)分類，從模式中計算新的行為輪廓，對知識庫中的知識特征進行回歸分析，更新知識庫，判斷此行為是否為協(xié)同入侵的分支，并做出相應處理。

(7)結果與驗證，指對上述步驟中得到的結論進行分析和驗證。

此入侵檢測模型的運行機理是，嗅探器負責搜集主機活動信息并在初始化數(shù)據(jù)庫中進行保存，然后對此數(shù)據(jù)進行過濾、清潔等形成數(shù)據(jù)挖掘算法需要的格式。當入侵檢測系統(tǒng)發(fā)現(xiàn)攻擊行為時，如果是已知的入侵行為，必定匹配成功;如果是未知的入侵行為，送到異常檢測器進行檢測，得到新的規(guī)則，最終存入模式庫，以便檢測器有效利用該規(guī)則。

3 實驗分析

實驗環(huán)境采用P4中央處理器，內存2G，Windows2000環(huán)境，硬盤320G的系統(tǒng)。實驗數(shù)據(jù)集采用KDD Cup 99網(wǎng)絡入侵檢測數(shù)據(jù)集。此數(shù)據(jù)集是目前應用的最為廣泛的用于測試入侵檢測的有效數(shù)據(jù)。主要包含以下4類入侵攻擊類型:拒絕服務DOS(Denial-Of-Service)，如 ping-of-death，syn flood，smurf等;遠程未授權訪問R2L(Remote-to-Local)，例如guessing password;未授權提升權限訪問U2R(User-to-Root)，例如 buffer overflow attacks;PROBE–端口監(jiān)視或掃描，例如port-scan，ping-sweep等。

實驗主要采用5組實驗數(shù)據(jù)集，得出不同類型的異常模式，最終形成規(guī)則庫。實驗檢測數(shù)據(jù)如表1所示。

表1 實驗數(shù)據(jù)

由圖4可見，DOS攻擊的檢測率接近三分之二，攻擊檢測率保持在50%左右的為R2L、PROBE類攻擊，對于未知U2R攻擊檢測率相對較低，此算法有待進一步改進。

圖4 攻擊檢測結果

4 結語

本文討論了傳統(tǒng)入侵檢測的主要缺點，分析了將數(shù)據(jù)挖掘應用到入侵檢測的必要性并提出了一種新的基于數(shù)據(jù)挖掘的入侵檢測模型。最后通過實驗表明，該模型從數(shù)據(jù)采集、數(shù)據(jù)預處理、數(shù)據(jù)差異分析方面實現(xiàn)了入侵檢測的協(xié)同處理，能有效檢測出已知的攻擊類型，提高了入侵檢測系統(tǒng)的能力，有一定的可行性和有效性。

［1］劉勇國，李學明.基于數(shù)據(jù)挖掘的入侵檢測［J］.重慶大學學報，2002，25(10):128-131，135.

［2］唐正軍.網(wǎng)絡入侵檢測系統(tǒng)的設計與實現(xiàn)［M］.北京:電子工業(yè)出版社，2002.

［3］戴英俠，連一峰，王航，等.系統(tǒng)安全與入侵檢測［M］.北京:清華大學出版社，2002:99-137.

［4］茅潔，蔣雄文.基于數(shù)據(jù)挖掘的入侵檢測技術［J］.現(xiàn)代電子技術，2004，27(6):25-27.

［5］張銀奎，廖麗，宋俊，等.數(shù)據(jù)挖掘原理［M］.北京:機械工業(yè)出版社，2003:93-105.

［6］李志波，李遠清，胡剛.基于數(shù)據(jù)挖掘的入侵檢測系統(tǒng)［J］.工業(yè)工程，2003，6(3):36-39.

［7］向繼，高能，荊繼武.聚類算法在網(wǎng)絡入侵檢測中的應用［J］.計算機工程，2003，29(16):1-3.

［8］劉莘，張永平，萬艷麗.決策樹算法在入侵檢測中的應用分析及改進［J］.計算機工程與設計，2006，27(19):3641-3643.

［9］王雨晨.系統(tǒng)漏洞原理與常見攻擊方法［J］.計算機工程與應用，2001(3):62-64.

［10］龔儉，陸晟，王倩.計算機網(wǎng)絡安全導論［M］.南京:東南大學出版社，2000(8):212-236.

［11］曾志峰，楊義先.網(wǎng)絡安全的發(fā)展與研究［J］.計算機工程與應用，2000(10):1-3.