基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知關(guān)鍵技術(shù)研究

王以伍 張牧

摘要：隨著大數(shù)據(jù)、人工智能、云計(jì)算等信息化技術(shù)的發(fā)展，以及“網(wǎng)絡(luò)空間安全”上升到國家戰(zhàn)略層面的高度，網(wǎng)絡(luò)安全態(tài)勢(shì)感知也成為網(wǎng)絡(luò)安全領(lǐng)域的新熱點(diǎn)。利用大數(shù)據(jù)相關(guān)技術(shù)對(duì)網(wǎng)絡(luò)運(yùn)行相關(guān)海量數(shù)據(jù)進(jìn)行分析、過濾、融合、識(shí)別已知和未知的安全威脅，建立完善可靠的安全體系，指導(dǎo)網(wǎng)絡(luò)安全運(yùn)維工作，從而有效保障網(wǎng)絡(luò)安全。

關(guān)鍵詞：態(tài)勢(shì)感知;網(wǎng)絡(luò)安全;關(guān)聯(lián)分析;復(fù)雜事件;日志;告警

中圖分類號(hào)：TP393.08 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）15-0043-04

1引言

隨著互聯(lián)網(wǎng)的快速發(fā)展，各種網(wǎng)絡(luò)安全事件層出不窮，從簡單的網(wǎng)頁篡改、掛馬到威脅國家安全的網(wǎng)絡(luò)攻擊行為屢見不鮮。網(wǎng)絡(luò)攻擊逐漸呈組織化、規(guī)模化發(fā)展。近年來，像“震網(wǎng)病毒”“BlackEnergy"“委內(nèi)瑞拉大規(guī)模停電”等網(wǎng)絡(luò)安全事件影響巨大，甚至威脅到國家穩(wěn)定。

2017年6月1日，《網(wǎng)絡(luò)安全法》的頒布實(shí)施，各機(jī)構(gòu)、單位對(duì)網(wǎng)絡(luò)安全越發(fā)重視，落實(shí)等級(jí)保護(hù)制度，部署相應(yīng)的安全設(shè)施。傳統(tǒng)的網(wǎng)絡(luò)安全管理方式注重安全功能的疊加，通過建設(shè)防火墻、漏洞掃描、WAF、IPS等安全設(shè)備查漏補(bǔ)缺，完成各方面的安全防護(hù)。但網(wǎng)絡(luò)攻擊日漸精進(jìn)，黑客正在全球布局，高明的攻擊手段一般長期潛伏、持續(xù)滲透，隱蔽性極強(qiáng)。

1999年，網(wǎng)絡(luò)態(tài)勢(shì)感知（Cyberspace situational Awareness，CSA）的概念首次被提出。近年來，網(wǎng)絡(luò)安全態(tài)勢(shì)感知的概念逐漸引起研究人員的興趣，希望通過大數(shù)據(jù)、人工智能等技術(shù)從大量且存在噪聲的數(shù)據(jù)中提取隱藏的安全事件，方便管理人員宏觀地把握整個(gè)網(wǎng)絡(luò)的安全狀況。這對(duì)于提高網(wǎng)絡(luò)系統(tǒng)的監(jiān)控能力和應(yīng)急響應(yīng)能力具有積極的作用。態(tài)勢(shì)感知不僅在2016年“419”講話中被提及，《“十三五”國家信息化規(guī)劃》也明確提出，“建立政府和企業(yè)網(wǎng)絡(luò)安全信息共享機(jī)制，加強(qiáng)網(wǎng)絡(luò)安全大數(shù)據(jù)挖掘分析，更好感知網(wǎng)絡(luò)安全態(tài)勢(shì)，做好風(fēng)險(xiǎn)防范工作?！?/p>

2網(wǎng)絡(luò)安全態(tài)勢(shì)感知架構(gòu)

采集和分析各種異構(gòu)的傳感器安全事件，進(jìn)行匯總、分析、處理，以直觀的方式呈現(xiàn)，方便管理者把握復(fù)雜、多變的安全態(tài)勢(shì)是態(tài)勢(shì)感知的核心工作。但是，目前實(shí)現(xiàn)網(wǎng)絡(luò)安全態(tài)勢(shì)感知還存在一些困難，主要體現(xiàn)在以下幾個(gè)方面：

（1）精簡復(fù)雜事件，提煉出有效信息，降低誤報(bào)率是網(wǎng)絡(luò)安全態(tài)勢(shì)建模的主要問題。

（2）不同傳感器對(duì)攻擊活動(dòng)定義的呈現(xiàn)方式存在差異，在瑣碎的告警信息中將同類信息進(jìn)行相互的關(guān)聯(lián)是個(gè)重要問題。

（3）傳感器產(chǎn)生的告警數(shù)據(jù)繁多，但是針對(duì)告警的處理知識(shí)卻很少，主要通過專家?guī)煲?guī)則來進(jìn)行，通常無法滿足需求。

本文通過開源分布式技術(shù)架構(gòu)建立的一套以大數(shù)據(jù)技術(shù)為基礎(chǔ)的態(tài)勢(shì)感知平臺(tái)，全方位整合孤立的防護(hù)孤島和信息孤島，對(duì)網(wǎng)絡(luò)設(shè)備、安全設(shè)備、應(yīng)用系統(tǒng)、終端、數(shù)據(jù)庫等各種日志等海量安全數(shù)據(jù)進(jìn)行集中采集、存儲(chǔ)和分析，打破了原有安全防護(hù)措施的煙囪式防護(hù)方式，將所有安全防護(hù)措施打通，利用其對(duì)海量數(shù)據(jù)的高效計(jì)算能力，結(jié)合復(fù)雜事件處理技術(shù)，建立可靠的威脅檢測模型，從整體上提升對(duì)安全威脅的發(fā)現(xiàn)識(shí)別、理解分析、響應(yīng)處置能力的一種方式，實(shí)現(xiàn)網(wǎng)絡(luò)防御從被動(dòng)到主動(dòng)的轉(zhuǎn)變，建立起全網(wǎng)安全態(tài)勢(shì)感知能力。網(wǎng)絡(luò)安全態(tài)勢(shì)感知架構(gòu)如圖1所示。

如圖所示，態(tài)勢(shì)感知主要涉及四個(gè)環(huán)節(jié)的內(nèi)容，在數(shù)據(jù)采集階段通過對(duì)海量數(shù)據(jù)的采集，匯入到數(shù)據(jù)庫中，數(shù)據(jù)源搜集的信息包括以下方面：

（1）日志數(shù)據(jù)：包括網(wǎng)絡(luò)設(shè)備、主機(jī)、應(yīng)用、安全設(shè)備記錄的日志和告警信息。

（2）流量數(shù)據(jù)：網(wǎng)絡(luò)流量數(shù)據(jù)。

（3）支持?jǐn)?shù)據(jù)：整個(gè)網(wǎng)絡(luò)中所有的資產(chǎn)信息、相關(guān)的人員信息、賬號(hào)信息以及與資產(chǎn)相關(guān)的漏洞信息和威脅情報(bào)信息等。

數(shù)據(jù)采集和預(yù)處理是對(duì)數(shù)據(jù)源收集的信息進(jìn)行解析、標(biāo)準(zhǔn)化和豐富化處理，從而為數(shù)據(jù)分析提供高質(zhì)量的數(shù)據(jù)。主要工作包括以下幾方面：

（1）數(shù)據(jù)解析：通過Syslog、SNMP和文件共享等方式進(jìn)行數(shù)據(jù)的解析。

（2）標(biāo)準(zhǔn)化：對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，便于事件檢索和實(shí)時(shí)關(guān)聯(lián)分析。

（3）豐富化：對(duì)數(shù)據(jù)進(jìn)行豐富化，從而提高事件分析的可信度，降低誤報(bào)率。

數(shù)據(jù)存儲(chǔ)是指全量存儲(chǔ)網(wǎng)絡(luò)中原始的網(wǎng)絡(luò)數(shù)據(jù)，使數(shù)據(jù)結(jié)果分析更加全面可信。對(duì)所有網(wǎng)絡(luò)行為數(shù)據(jù)建立索引，便于陜速查詢、管理分析和舉證。

數(shù)據(jù)分析是在安全數(shù)據(jù)搜索引擎的基礎(chǔ)上，充分利用大數(shù)據(jù)分析的模型算法和處理能力，從海量數(shù)據(jù)中自動(dòng)挖掘出有價(jià)值的信息。

數(shù)據(jù)應(yīng)用是依據(jù)數(shù)據(jù)分析結(jié)果，實(shí)現(xiàn)網(wǎng)絡(luò)安全態(tài)勢(shì)感知、告警管理、追蹤溯源等應(yīng)用。

3關(guān)鍵技術(shù)分析

3.1關(guān)聯(lián)分析

關(guān)聯(lián)分析又稱關(guān)聯(lián)挖掘，是一種用于發(fā)現(xiàn)存在于海量數(shù)據(jù)集的關(guān)聯(lián)性或相關(guān)陛的分析技術(shù)。通過關(guān)聯(lián)分析，查找存在于項(xiàng)目集合或?qū)ο蠹现g的頻繁模式、關(guān)聯(lián)規(guī)則、相關(guān)性或者因果結(jié)構(gòu)。

例如網(wǎng)絡(luò)中的防火墻、WAF、入侵檢測行為審計(jì)等安全設(shè)備（探針）都會(huì)對(duì)進(jìn)入網(wǎng)絡(luò)的安全事件進(jìn)行日志記錄，當(dāng)出現(xiàn)某一特定的安全事件，各安全探針均會(huì)產(chǎn)生大量的告警日志，而這些日志之間存在著很多的冗余和關(guān)聯(lián)。因此關(guān)聯(lián)分析的任務(wù)就是將這些分散的原始日志轉(zhuǎn)換為直觀的、易于理解的事件。

對(duì)提取的事件基于規(guī)則、統(tǒng)計(jì)、資產(chǎn)等屬性進(jìn)行分析，通過邏輯符號(hào)and、and、not來表示屬性的邏輯關(guān)系。當(dāng)符合相應(yīng)的限制條件時(shí)，則激活相應(yīng)的規(guī)則進(jìn)行誤報(bào)排除、事件源推論、安全事件級(jí)別重新定義、閾值關(guān)聯(lián)、黑名單等動(dòng)作。

通過關(guān)聯(lián)、融合，減少事件復(fù)雜度，更準(zhǔn)確地生成安全態(tài)勢(shì)。

3.2事件統(tǒng)計(jì)分析

事件統(tǒng)計(jì)分析是指采用統(tǒng)計(jì)學(xué)方法，對(duì)各類事件的狀態(tài)、頻次、發(fā)生周期等數(shù)據(jù)量化特征進(jìn)行計(jì)算、得出事件數(shù)據(jù)的分布狀況、主要特征、時(shí)間序列的趨勢(shì)性、是否存在異常值、事件匯總結(jié)果等內(nèi)容，事件統(tǒng)計(jì)分析結(jié)果可直接用于事件性質(zhì)的判定、解釋和決策。

3.3復(fù)雜事件處理技術(shù)

復(fù)雜事件處理（CEP）是目前針對(duì)事實(shí)事件流進(jìn)行檢測、分析、處理的最佳技術(shù)。其主要應(yīng)用于事件驅(qū)動(dòng)系統(tǒng)架構(gòu)中，以便開發(fā)出更復(fù)雜的邏輯架構(gòu)，實(shí)現(xiàn)系統(tǒng)智能化處理。

基于復(fù)雜事件處理的概念，針對(duì)單位內(nèi)部的各種安全設(shè)備用戶預(yù)先在系統(tǒng)中定義需要檢測的復(fù)雜事件模式，具體的一種案例模式來說就是對(duì)日志數(shù)據(jù)進(jìn)行以源ip、目的ip、類型等維度進(jìn)行復(fù)雜的關(guān)聯(lián)分析處理、包含去重、合并等對(duì)原始日志數(shù)據(jù)進(jìn)行篩選、統(tǒng)計(jì)、關(guān)聯(lián)分析出具有威脅的日志數(shù)據(jù)。

4主要工作

因此，網(wǎng)絡(luò)安全態(tài)勢(shì)感知形成的過程主要是對(duì)網(wǎng)絡(luò)中各安全探針采集的日志進(jìn)行過濾、融合、關(guān)聯(lián)等一系列的復(fù)雜事件處理，對(duì)網(wǎng)絡(luò)中的各種類型網(wǎng)絡(luò)攻擊行為即時(shí)發(fā)現(xiàn)，并對(duì)安全趨勢(shì)、危害程度提供評(píng)估參考。建立安全態(tài)勢(shì)的主要工作包括：

4.1數(shù)據(jù)標(biāo)準(zhǔn)化

數(shù)據(jù)標(biāo)準(zhǔn)化是從原始數(shù)據(jù)信息中解析出各個(gè)不同的屬性信息，將原始數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的標(biāo)準(zhǔn)化的數(shù)據(jù)，為后續(xù)分析處理提供統(tǒng)一的標(biāo)準(zhǔn)化數(shù)據(jù)結(jié)構(gòu)，標(biāo)準(zhǔn)化數(shù)據(jù)參考格式如表1所示：

4.2數(shù)據(jù)豐富化

對(duì)采集到的數(shù)據(jù)進(jìn)行字段補(bǔ)全，使入庫數(shù)據(jù)結(jié)構(gòu)盡量完整，為后期的安全分析提供更多的分析維度。主要補(bǔ)全的內(nèi)容如下：

（1）補(bǔ)全源IP、目的IP二元組。

（2）補(bǔ)全源IP、源端口、協(xié)議、目的IP、目的端口五元組。

（3）根據(jù)源IP，關(guān)聯(lián)geo庫中對(duì)應(yīng)ip信息，補(bǔ)全源IP對(duì)應(yīng)國家、省份、城市、經(jīng)緯度等。

（4）根據(jù)源IP（目的IP）關(guān)聯(lián)資產(chǎn)庫補(bǔ)全源IP（目的IP）對(duì)應(yīng)資產(chǎn)ID、資產(chǎn)類型、資產(chǎn)所屬組織機(jī)構(gòu)、資產(chǎn)所屬業(yè)務(wù)系統(tǒng)、安全域、地理位置等。

（5）根據(jù)設(shè)備IP，關(guān)聯(lián)資產(chǎn)庫，補(bǔ)全設(shè)備資產(chǎn)ID，補(bǔ)全設(shè)備資產(chǎn)類型ID等。

4.3事件處理

利用復(fù)雜事件處理引擎，采用關(guān)聯(lián)分析、統(tǒng)計(jì)分析等復(fù)雜事件處理技術(shù)，對(duì)輸入的標(biāo)準(zhǔn)化事件進(jìn)行合并、去重，得到簡單事件，同時(shí)對(duì)事件進(jìn)行啟發(fā)式學(xué)習(xí)，降低漏報(bào)率，提高系統(tǒng)精確度。

5應(yīng)用場景

通過安全態(tài)勢(shì)體系的建立，集中了網(wǎng)絡(luò)內(nèi)各種安全設(shè)備及系統(tǒng)的告警日志，豐富的事件日志能對(duì)安全威脅做出更精準(zhǔn)、有效的響應(yīng)。安全事件應(yīng)用場景舉例如下：

5.1密碼猜測攻擊

密碼猜測攻擊的態(tài)勢(shì)感知過程是通過對(duì)系統(tǒng)登錄日志、IDS、IPS、WAF告警進(jìn)行檢測分析，識(shí)別和發(fā)現(xiàn)疑似密碼猜測或撞庫攻擊行為的檢測結(jié)果，從中抽取密碼猜測或暴力破解攻擊為事件源。例如，在△t內(nèi)，對(duì)同一destIP，不同的devNO，如果登錄行為特征為密碼暴力破解攻擊，則全部歸并為同一事件e。被歸并事件的原始日志需要保留。對(duì)于相同檢測結(jié)果，將獲得同一結(jié)果的來源設(shè)備和來源索引合并為輸出。

5.2 WEB攻擊

Web攻擊的態(tài)勢(shì)感知過程是通過對(duì)安全設(shè)備告警日志、WEB中間件訪問日志、服務(wù)器日志和流量日志進(jìn)行檢測分析，對(duì)識(shí)別的CC攻擊、SQL注人攻擊、WebShell攻擊、跨站攻擊等攻擊行為進(jìn)行關(guān)聯(lián)分析處理的過程。根據(jù)訪問時(shí)間、IP、端口、訪問請(qǐng)求內(nèi)容，將上述檢測結(jié)果中屬于同一攻擊事件的結(jié)果進(jìn)行歸并，確保同一事件只輸出一個(gè)結(jié)果，被歸并事件的原始日志需要保留。對(duì)于相同檢測結(jié)果，將獲得同一結(jié)果的來源設(shè)備和來源索引合并為輸出。

6結(jié)束語

態(tài)勢(shì)感知的部署，對(duì)于機(jī)構(gòu)內(nèi)部網(wǎng)絡(luò)安全統(tǒng)一管理，掌握網(wǎng)絡(luò)安全狀況，為網(wǎng)絡(luò)安全優(yōu)化提供決策依據(jù)具有重要意義。雖然當(dāng)前伴隨大數(shù)據(jù)、人工智能、機(jī)器學(xué)習(xí)、云計(jì)算等信息化技術(shù)的發(fā)展，網(wǎng)絡(luò)安全態(tài)勢(shì)感知基于此取得了一些突破，但總的來說，對(duì)于網(wǎng)絡(luò)安全態(tài)勢(shì)感知的研究還處于初級(jí)階段，如何進(jìn)一步提高感知的精確度、對(duì)安全事件做出自動(dòng)的響應(yīng)等問題有待進(jìn)一步研究和完善。