基于大數(shù)據(jù)的能源集團(tuán)統(tǒng)一運(yùn)行監(jiān)測(cè)與安全預(yù)警平臺(tái)

王靜，高昆侖，卞超軼，梁瀟

（1.國(guó)家電力投資集團(tuán)有限公司，北京 100033；2.全球能源互聯(lián)網(wǎng)研究院有限公司，北京 102209；3.北京郵電大學(xué)，北京 100876）

1 引言

能源集團(tuán)實(shí)施網(wǎng)絡(luò)安全隔離[1]是在當(dāng)今嚴(yán)峻的網(wǎng)絡(luò)安全形勢(shì)下，加強(qiáng)全集團(tuán)信息安全保護(hù)慎重決策的一項(xiàng)重大工程。在網(wǎng)絡(luò)隔離建設(shè)過(guò)程中，全集團(tuán)分別建設(shè)信息內(nèi)網(wǎng)、信息外網(wǎng)，并配套建設(shè)統(tǒng)一防病毒、實(shí)現(xiàn)內(nèi)網(wǎng)入侵檢測(cè)、完善統(tǒng)一終端安全管理等信息安全綜合防護(hù)措施。尤為重要的是，為了實(shí)現(xiàn)信息內(nèi)網(wǎng)信息安全統(tǒng)一監(jiān)測(cè)，逐步實(shí)現(xiàn)安全預(yù)警與集中審計(jì)，需要建設(shè)能源集團(tuán)統(tǒng)一運(yùn)行監(jiān)測(cè)與安全預(yù)警平臺(tái)。

2 技術(shù)方案

2.1 現(xiàn)狀與需求

能源集團(tuán)整體網(wǎng)絡(luò)分為3個(gè)層次：集團(tuán)總部、二級(jí)單位、三級(jí)單位，采用樹形結(jié)構(gòu)廣域網(wǎng)系統(tǒng)實(shí)現(xiàn)互聯(lián)。信息內(nèi)網(wǎng)在各級(jí)單位統(tǒng)一部署防病毒系統(tǒng)、終端安全管理、網(wǎng)絡(luò)隔離與數(shù)據(jù)安全交換、內(nèi)網(wǎng)入侵檢測(cè)系統(tǒng)（intrusion detection system，IDS）等，總部集中部署綜合辦公、人力資源和采購(gòu)管理等系統(tǒng)。隨著建設(shè)范圍的不斷擴(kuò)大，業(yè)務(wù)支撐設(shè)備和安全防范技術(shù)越來(lái)越復(fù)雜，面臨如下問(wèn)題。

· 難以實(shí)現(xiàn)各個(gè)業(yè)務(wù)平臺(tái)統(tǒng)一的網(wǎng)絡(luò)設(shè)備、服務(wù)器設(shè)備、安全設(shè)備、業(yè)務(wù)系統(tǒng)運(yùn)行狀態(tài)綜合監(jiān)控、預(yù)警和應(yīng)急響應(yīng)處理。

· 大量部署的安全產(chǎn)品的配置、管理方法都不相同，安全管理人員很難對(duì)每個(gè)安全產(chǎn)品都精通。

· 不同安全產(chǎn)品相對(duì)獨(dú)立的部署方式使各個(gè)設(shè)備獨(dú)立配置、各個(gè)引擎產(chǎn)生獨(dú)立的事件報(bào)警，難以形成全局的安全風(fēng)險(xiǎn)監(jiān)控，安全策略和配置難以統(tǒng)一協(xié)調(diào)。

· 與安全相關(guān)的數(shù)據(jù)量越來(lái)越大，難以對(duì)海量數(shù)據(jù)集中存儲(chǔ)和分析處理，從大量、孤立的單條事件中無(wú)法準(zhǔn)確發(fā)現(xiàn)全局、整體的安全威脅行為。

因此，迫切需要建設(shè)統(tǒng)一運(yùn)行監(jiān)測(cè)與安全預(yù)警平臺(tái)，將業(yè)務(wù)系統(tǒng)運(yùn)行的各項(xiàng)指標(biāo)監(jiān)控起來(lái)，將各自為戰(zhàn)的安全產(chǎn)品集中監(jiān)控起來(lái)，實(shí)現(xiàn)對(duì)安全事件和安全狀態(tài)的全局管理。

2.2 技術(shù)路線

面對(duì)日益復(fù)雜的網(wǎng)絡(luò)安全形勢(shì)，傳統(tǒng)的安全信息和事件管理（SIEM）分析難以應(yīng)對(duì)高級(jí)持續(xù)性威脅（advanced persistent threat，APT）攻擊[2]等未知特征的威脅形式。統(tǒng)一運(yùn)行監(jiān)測(cè)與安全預(yù)警平臺(tái)基于全網(wǎng)海量多源異構(gòu)數(shù)據(jù)（例如告警數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)、網(wǎng)管與運(yùn)維數(shù)據(jù)和內(nèi)控?cái)?shù)據(jù)），通過(guò)對(duì)數(shù)據(jù)的集中分析，構(gòu)建安全場(chǎng)景分析，實(shí)現(xiàn)安全風(fēng)險(xiǎn)與態(tài)勢(shì)的實(shí)時(shí)感知。

平臺(tái)將風(fēng)險(xiǎn)可視化技術(shù)應(yīng)用到信息安全風(fēng)險(xiǎn)管理全生命周期，對(duì)事前風(fēng)險(xiǎn)合規(guī)性管理運(yùn)維流程的成果進(jìn)行量化，對(duì)事中發(fā)生的各類安全告警和異常行為及時(shí)感知，并將事后監(jiān)測(cè)到的業(yè)務(wù)異動(dòng)和事件處置運(yùn)維流程情況全部匯總統(tǒng)一成態(tài)勢(shì)感知的業(yè)務(wù)數(shù)據(jù)鏈，從多層面、多視角研究信息安全風(fēng)險(xiǎn)量化評(píng)估模型、態(tài)勢(shì)評(píng)價(jià)模型、可視化展現(xiàn)框架和可視化交互技術(shù)，并加以應(yīng)用。

統(tǒng)一運(yùn)行監(jiān)測(cè)與安全預(yù)警平臺(tái)與傳統(tǒng)的安全操作中心（security operations center，SOC）[3]相比，在數(shù)據(jù)采集、大數(shù)據(jù)分析、安全態(tài)勢(shì)感知、預(yù)警監(jiān)控和可視化等諸多方面有重要突破和創(chuàng)新，主要對(duì)比見(jiàn)表1。

3 總體設(shè)計(jì)和應(yīng)用

3.1 整體架構(gòu)

平臺(tái)以大數(shù)據(jù)采集和關(guān)聯(lián)分析模塊作為技術(shù)支撐，以風(fēng)險(xiǎn)管理、態(tài)勢(shì)感知、安全預(yù)警和工單管理作為應(yīng)用重點(diǎn)，通過(guò)公共數(shù)據(jù)服務(wù)接口集成第三方產(chǎn)品，最終通過(guò)可視化子系統(tǒng)綜合呈現(xiàn)全網(wǎng)安全態(tài)勢(shì)。平臺(tái)總體架構(gòu)如圖1所示。

表1 功能對(duì)比

圖1 平臺(tái)總體架構(gòu)

3.2 功能架構(gòu)

根據(jù)平臺(tái)總體架構(gòu)，設(shè)計(jì)基于大數(shù)據(jù)技術(shù)的統(tǒng)一運(yùn)行監(jiān)測(cè)與安全預(yù)警平臺(tái)功能架構(gòu)，如圖 2所示，分為日志采集層、大數(shù)據(jù)處理層、管控層、綜合展現(xiàn)層和系統(tǒng)管理層。

（1）日志采集層

日志采集層負(fù)責(zé)從網(wǎng)絡(luò)設(shè)備、安全設(shè)備、業(yè)務(wù)系統(tǒng)和服務(wù)器等采集各種安全信息、日志信息、流量信息及其他業(yè)務(wù)信息，經(jīng)過(guò)數(shù)據(jù)格式標(biāo)準(zhǔn)化、數(shù)據(jù)歸并、數(shù)據(jù)壓縮等處理后，提交給上層數(shù)據(jù)處理平臺(tái)，數(shù)據(jù)采集層提供了多種采集協(xié)議去采集各種異構(gòu)數(shù)據(jù)源信息。

通過(guò) Flume[7]在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，同時(shí)對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，然后將數(shù)據(jù)上傳到大數(shù)據(jù)處理層。來(lái)源于關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)通過(guò)Sqoop[8]上傳到大數(shù)據(jù)處理層。

圖2 平臺(tái)功能架構(gòu)

（2）大數(shù)據(jù)處理層

大數(shù)據(jù)處理層的作用是對(duì)采集的數(shù)據(jù)進(jìn)行預(yù)處理和存儲(chǔ)。將需要的數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)和對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行索引和存儲(chǔ)。日志采集層傳上來(lái)的數(shù)據(jù)分別被存儲(chǔ)在分布式內(nèi)存數(shù)據(jù)庫(kù)Redis[9]和離線存儲(chǔ)數(shù)據(jù)庫(kù)Hadoop中。

實(shí)時(shí)分析包括對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析、統(tǒng)計(jì)分析、漏洞分析、可信度分析和溯源分析，結(jié)果會(huì)在綜合展現(xiàn)層進(jìn)行展示，同時(shí)會(huì)作為預(yù)警分析和風(fēng)險(xiǎn)計(jì)算的輸入進(jìn)行后續(xù)計(jì)算分析。

離線分析主要有歷史數(shù)據(jù)統(tǒng)計(jì)分析、數(shù)據(jù)查詢和數(shù)據(jù)建模分析，結(jié)果同樣可以作為預(yù)警分析和風(fēng)險(xiǎn)計(jì)算的輸入進(jìn)行后續(xù)的計(jì)算分析。

（3）管控層

管控層定制實(shí)現(xiàn)平臺(tái)整體風(fēng)險(xiǎn)管理、預(yù)警管理和態(tài)勢(shì)感知[10]等核心預(yù)警分析功能。

風(fēng)險(xiǎn)管理是對(duì)風(fēng)險(xiǎn)進(jìn)行識(shí)別和分類，對(duì)每一個(gè)風(fēng)險(xiǎn)類型進(jìn)行分析，確定風(fēng)險(xiǎn)產(chǎn)生的因素和風(fēng)險(xiǎn)來(lái)源，并確定風(fēng)險(xiǎn)是否可以控制，對(duì)風(fēng)險(xiǎn)進(jìn)行定性和定量分析，及時(shí)對(duì)風(fēng)險(xiǎn)進(jìn)行預(yù)警，提高對(duì)風(fēng)險(xiǎn)的監(jiān)控效率。

預(yù)警管理利用大數(shù)據(jù)分析技術(shù)針對(duì)海量網(wǎng)絡(luò)安全日志數(shù)據(jù)進(jìn)行深層次的分析，發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)系和規(guī)則，根據(jù)現(xiàn)有的數(shù)據(jù)預(yù)測(cè)未來(lái)的發(fā)展趨勢(shì)，發(fā)現(xiàn)潛在的安全威脅和攻擊。

態(tài)勢(shì)感知需根據(jù)用戶實(shí)際的業(yè)務(wù)場(chǎng)景進(jìn)行新規(guī)則的制定，根據(jù)宏觀態(tài)勢(shì)分析模型計(jì)算某一時(shí)間段內(nèi)安全事件所屬安全域或者業(yè)務(wù)系統(tǒng)的整體安全狀態(tài)，并預(yù)測(cè)下一步整體安全走勢(shì)。

（4）綜合展現(xiàn)層

綜合展現(xiàn)層一方面通過(guò)豐富的圖形化展示方式呈現(xiàn)業(yè)務(wù)網(wǎng)絡(luò)整體安全狀況，另一方面實(shí)現(xiàn)整個(gè)平臺(tái)的靈活展示和配置管理。綜合展現(xiàn)層提供以下7個(gè)概念視圖，代表特定的關(guān)注領(lǐng)域。

· 風(fēng)險(xiǎn)視圖：主要對(duì)風(fēng)險(xiǎn)管理產(chǎn)生的風(fēng)險(xiǎn)和預(yù)警進(jìn)行統(tǒng)一展示和分析，通過(guò)資產(chǎn)、安全域、全網(wǎng)多個(gè)維度進(jìn)行分析和展示。

· 事件視圖：主要對(duì)實(shí)時(shí)分析產(chǎn)生的告警事件進(jìn)行統(tǒng)一展示和分析，同樣通過(guò)資產(chǎn)、安全域、全網(wǎng)多個(gè)維度進(jìn)行分析和展示。

· 問(wèn)題視圖：結(jié)合IT基礎(chǔ)架構(gòu)庫(kù)運(yùn)維中產(chǎn)生的問(wèn)題，提供統(tǒng)一的展示和分析。

· 威脅視圖：結(jié)合威脅情報(bào)信息和威脅預(yù)警，進(jìn)行統(tǒng)一的威脅展示。

· 應(yīng)用系統(tǒng)安全視圖：從業(yè)務(wù)系統(tǒng)監(jiān)控維度，針對(duì)重點(diǎn)業(yè)務(wù)系統(tǒng)進(jìn)行全面的安全監(jiān)控展示。

· 綜合安全狀態(tài)檢測(cè)視圖：從總體安全態(tài)勢(shì)上進(jìn)行全面分析，分析整個(gè)網(wǎng)絡(luò)環(huán)境的安全狀態(tài)信息。

· 漏洞視圖：從漏洞角度對(duì)整體的漏洞信息進(jìn)行綜合分析和展示。

（5）系統(tǒng)管理層

系統(tǒng)管理層主要完成系統(tǒng)自身監(jiān)控和系統(tǒng)配置以及系統(tǒng)運(yùn)維。

3.3 應(yīng)用情況

統(tǒng)一運(yùn)行監(jiān)測(cè)與安全預(yù)警平臺(tái)在能源集團(tuán)分二期進(jìn)行建設(shè)。

（1）一期建設(shè)內(nèi)容

一期建設(shè)內(nèi)容主要為實(shí)現(xiàn)對(duì)安全設(shè)備進(jìn)行統(tǒng)一安全日志集中管理、統(tǒng)一事件關(guān)聯(lián)分析和統(tǒng)一安全事件處理流程。

對(duì)海量網(wǎng)絡(luò)安全日志數(shù)據(jù)、外部通報(bào)和漏洞等，匹配用戶資產(chǎn)數(shù)據(jù)，進(jìn)行深層次的分析，從中發(fā)現(xiàn)有價(jià)值的信息，幫助用戶進(jìn)行安全預(yù)警。預(yù)警分析主要通過(guò)接收來(lái)自實(shí)時(shí)分析層的告警事件、風(fēng)險(xiǎn)計(jì)算層的風(fēng)險(xiǎn)預(yù)警、漏洞掃描產(chǎn)生的漏洞信息以及威脅情報(bào)信息，通過(guò)分析形成有效的預(yù)警功能，從而事前通知安全運(yùn)維人員。

實(shí)現(xiàn)綜合安全審計(jì)，需采集用戶業(yè)務(wù)系統(tǒng)的操作日志信息，并配合堡壘機(jī)等行為審計(jì)產(chǎn)品，進(jìn)行綜合關(guān)聯(lián)分析，實(shí)現(xiàn)業(yè)務(wù)操作全過(guò)程分析、回放和展現(xiàn)[11]。

（2）二期建設(shè)內(nèi)容

平臺(tái)綜合各方面的安全因素，從整體上動(dòng)態(tài)反映網(wǎng)絡(luò)安全狀況，并對(duì)網(wǎng)絡(luò)安全的發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)。

實(shí)現(xiàn)攻擊溯源過(guò)程分析，針對(duì)安全事件進(jìn)行IP地址回溯分析[12]。通過(guò)源IP地址和目的IP地址的不斷迭代，將調(diào)查的軌跡逐步定位到邊界。這個(gè)邊界可以是網(wǎng)絡(luò)的邊界，代表攻擊者來(lái)自互聯(lián)網(wǎng)；也可以是內(nèi)網(wǎng)，代表攻擊者來(lái)自內(nèi)網(wǎng)。通過(guò)有層次的分析，同時(shí)輔助動(dòng)態(tài)的圖形化展示，可以清晰地將IP地址移動(dòng)軌跡分析出來(lái)。

借助機(jī)器學(xué)習(xí)等算法進(jìn)行自動(dòng)分析處理與深度挖掘，對(duì)網(wǎng)絡(luò)的安全狀態(tài)進(jìn)行分析評(píng)價(jià)，建立網(wǎng)絡(luò)攻擊模型，感知網(wǎng)絡(luò)中的異常事件與整體安全態(tài)勢(shì)。

系統(tǒng)集中部署在集團(tuán)總部，二、三級(jí)單位部署數(shù)據(jù)采集引擎。平臺(tái)在能源集團(tuán)運(yùn)行以來(lái)取得了良好的應(yīng)用效果，為不同視角人員（如決策者、安全運(yùn)維人員、業(yè)務(wù)部門人員和系統(tǒng)管理等）提供不同的安全業(yè)務(wù)數(shù)據(jù)和統(tǒng)計(jì)分析。通過(guò)平臺(tái)的管理界面將內(nèi)網(wǎng)資產(chǎn)的各類信息安全事件與資產(chǎn)弱點(diǎn)進(jìn)行直觀展示，加強(qiáng)各級(jí)人員對(duì)相關(guān)事件的重視，并對(duì)安全事件快速響應(yīng)處置，降低安全事件誤報(bào)；將被動(dòng)式信息安全管理轉(zhuǎn)為主動(dòng)式信息安全管理，逐步提升對(duì)信息安全風(fēng)險(xiǎn)的精確管控、動(dòng)態(tài)決策和持續(xù)改進(jìn)能力。

4 核心技術(shù)

4.1 風(fēng)險(xiǎn)分析模型

平臺(tái)的風(fēng)險(xiǎn)分析將JDL（joint director of laboratory）模型[13]作為參考，JDL模型將數(shù)據(jù)融合分成5個(gè)級(jí)別：0級(jí)（子對(duì)象評(píng)估）、1級(jí)（對(duì)象評(píng)估）、2級(jí)（態(tài)勢(shì)評(píng)估）、3級(jí)（影響評(píng)估）、4級(jí)（過(guò)程改善）。平臺(tái)的風(fēng)險(xiǎn)評(píng)估模塊利用該模型進(jìn)行更進(jìn)一步分析，每個(gè)功能模塊在實(shí)現(xiàn)的同時(shí)已經(jīng)為最終的風(fēng)險(xiǎn)評(píng)估提供了必要的數(shù)據(jù)或者接口。風(fēng)險(xiǎn)分析流程如圖3所示。

圖3 處理流程

4.2 多源告警數(shù)據(jù)交叉確認(rèn)機(jī)制

多源告警數(shù)據(jù)交叉確認(rèn)機(jī)制主要研究模糊推理理論及算法，提高多源告警數(shù)據(jù)的可靠性。該機(jī)制的數(shù)據(jù)基礎(chǔ)是平臺(tái)全面收集的與審計(jì)相關(guān)的各種系統(tǒng)信息和業(yè)務(wù)信息。當(dāng)多源審計(jì)結(jié)果匯總后該機(jī)制對(duì)其進(jìn)行交叉驗(yàn)證，輸出其中得到確認(rèn)的審計(jì)告警信息。多源告警數(shù)據(jù)交叉確認(rèn)機(jī)制如圖4所示。

圖4 多源告警數(shù)據(jù)交叉確認(rèn)機(jī)制流程

4.3 安全審計(jì)模型

以真實(shí)可靠告警數(shù)據(jù)作為安全審計(jì)模型的輸入，對(duì)平臺(tái)監(jiān)控環(huán)境的安全狀態(tài)進(jìn)行量化評(píng)估。技術(shù)路線如圖5所示。

圖5 技術(shù)路線

安全審計(jì)模型的計(jì)算評(píng)估過(guò)程分為以下3個(gè)過(guò)程。

· 利用系統(tǒng)靜態(tài)漏洞評(píng)估的結(jié)果和確認(rèn)后的警告信息得到綜合評(píng)估矩陣，利用系統(tǒng)靜態(tài)評(píng)估結(jié)果和前次得到的可能入侵方式排序得到評(píng)估因素的權(quán)重向量。

· 利用綜合評(píng)估矩陣和評(píng)估因素權(quán)重向量計(jì)算系統(tǒng)當(dāng)前的安全狀態(tài)指標(biāo)，同時(shí)可以得到系統(tǒng)當(dāng)前可能遭受的入侵方式排序列表。

· 對(duì)前次計(jì)算所得的可能入侵方式列表進(jìn)行驗(yàn)證。當(dāng)本次的警告信息仍然被該列表包括時(shí)，則認(rèn)為安全狀態(tài)的評(píng)估正常，否則認(rèn)為評(píng)估的結(jié)果無(wú)法對(duì)提交的警告信息進(jìn)行解釋。此時(shí)有可能發(fā)生新類型的入侵，應(yīng)該提高安全警告的等級(jí)以引起安全管理人員的注意。

4.4 平臺(tái)性能分析

本平臺(tái)通過(guò)從各種網(wǎng)絡(luò)設(shè)備及服務(wù)器中采集數(shù)據(jù)，經(jīng)過(guò)加工預(yù)處理后存入 Hadoop大數(shù)據(jù)系統(tǒng)，再使用多種分析算法對(duì)數(shù)據(jù)進(jìn)行計(jì)算處理，進(jìn)而得出相關(guān)結(jié)論并提交至上層，以發(fā)出預(yù)警并進(jìn)行可視化展示。為了避免或盡可能降低安全威脅造成的經(jīng)濟(jì)損失，識(shí)別風(fēng)險(xiǎn)、發(fā)出報(bào)警并快速響應(yīng)非常重要，而平臺(tái)的性能就直接影響到是否能夠及時(shí)發(fā)現(xiàn)潛在的安全威脅。平臺(tái)的性能主要受到兩方面因素的影響，一是數(shù)據(jù)的采集及加工預(yù)處理過(guò)程，二是使用Hadoop集群對(duì)大數(shù)據(jù)的分析處理過(guò)程。將前者導(dǎo)致的時(shí)延記為T1，后者導(dǎo)致的時(shí)延記為T2，則從安全威脅產(chǎn)生到被發(fā)現(xiàn)的總時(shí)延為T1+T2。下面對(duì)這兩部分時(shí)延分別進(jìn)行簡(jiǎn)單分析與計(jì)算。

相對(duì)而言，T1的計(jì)算較為簡(jiǎn)單，可以由如下計(jì)算式給出：T1=max(n/B,n/v)。其中，n表示數(shù)據(jù)量，B表示網(wǎng)絡(luò)傳輸帶寬，v表示數(shù)據(jù)預(yù)處理及導(dǎo)入Hadoop平臺(tái)的速率。一般來(lái)說(shuō)，數(shù)據(jù)預(yù)處理及Hadoop平臺(tái)導(dǎo)入的速率在數(shù)據(jù)樣式及平臺(tái)導(dǎo)入工具（如Flume、Sqoop）確定的情況下，主要受到平臺(tái)的硬件配置影響，其中主要是預(yù)處理需要的運(yùn)算資源和與存儲(chǔ)相關(guān)的磁盤 I/O性能。所以對(duì)于給定的數(shù)據(jù)，T1的大小通過(guò)對(duì)網(wǎng)絡(luò)帶寬和預(yù)處理及導(dǎo)入涉及的硬件資源之間的平衡來(lái)調(diào)節(jié)。

T2可具體分為兩個(gè)部分，一部分是使用Hadoop集群完成對(duì)輸入數(shù)據(jù)的特定分析得出結(jié)論所需時(shí)間；另一部分則是由于計(jì)算資源有限而導(dǎo)致的排隊(duì)等待時(shí)間。對(duì)于某種特定的分析，假定平臺(tái)為其分配預(yù)定的計(jì)算資源，這些計(jì)算資源可供N個(gè)分析任務(wù)同時(shí)執(zhí)行，若預(yù)定的資源已全部在使用中，那么后續(xù)的分析任務(wù)只能排隊(duì)等待，直到前面任務(wù)完成、計(jì)算資源被釋放出來(lái)后，再按先來(lái)后到的順序繼續(xù)執(zhí)行。這一問(wèn)題可以使用排隊(duì)論模型進(jìn)行分析。特別地，若分析任務(wù)的到達(dá)時(shí)間間隔服從指數(shù)分布，完成分析任務(wù)所需的時(shí)間也服從指數(shù)分布，那么該問(wèn)題可看作準(zhǔn)M/M/N（或稱M/M/c）隊(duì)列問(wèn)題[14]，從而能夠計(jì)算出平均的響應(yīng)時(shí)間（分析時(shí)間與等待時(shí)間之和），即T2的平均值。具體的計(jì)算式本文略去，但其中可用的 Hadoop集群計(jì)算資源將直接影響完成分析任務(wù)所需的平均時(shí)間以及可并行的分析任務(wù)個(gè)數(shù)，從而可以通過(guò)對(duì)計(jì)算資源的控制調(diào)節(jié)T2的大小。

綜上所述，對(duì)于平臺(tái)上的特定分析任務(wù)，可以通過(guò)理論分析計(jì)算其完成時(shí)延，并能明確網(wǎng)絡(luò)帶寬及Hadoop集群計(jì)算能力與其的關(guān)系，從而可以根據(jù)識(shí)別安全威脅的時(shí)延與安全威脅可能帶來(lái)的經(jīng)濟(jì)損失之間的關(guān)系部署相關(guān)的硬件（網(wǎng)絡(luò)、磁盤及計(jì)算節(jié)點(diǎn)）支持，實(shí)現(xiàn)經(jīng)濟(jì)效能的最優(yōu)。

為了驗(yàn)證上述理論分析是否有效，開展實(shí)驗(yàn)記錄集群的運(yùn)行狀況，再將統(tǒng)計(jì)與理論計(jì)算結(jié)果進(jìn)行比對(duì)。實(shí)驗(yàn)采用了簡(jiǎn)單的場(chǎng)景設(shè)置，只關(guān)注核心的數(shù)據(jù)采集及運(yùn)算處理部分，也就是理論分析涉及的內(nèi)容。具體地，使用Flume收集日志，由6臺(tái)服務(wù)器組成的Hadoop集群負(fù)責(zé)存儲(chǔ)，其中4臺(tái)服務(wù)器構(gòu)成Spark集群承擔(dān)計(jì)算處理任務(wù)。實(shí)驗(yàn)中固定了硬件資源和網(wǎng)絡(luò)傳輸帶寬，通過(guò)調(diào)節(jié)日志產(chǎn)生的速度以及變更Spark計(jì)算任務(wù)計(jì)劃（包括數(shù)據(jù)量大小及計(jì)算復(fù)雜度、計(jì)算任務(wù)個(gè)數(shù)等）模擬不同場(chǎng)景，從而比較理論分析與實(shí)際測(cè)試結(jié)果的偏差。實(shí)驗(yàn)結(jié)果顯示，理論分析計(jì)算能夠很好地估算出計(jì)算時(shí)延，并指出其中的性能瓶頸所在，從而可以為硬件資源的合理配置給出相應(yīng)的建議，具有非常重要的實(shí)際指導(dǎo)價(jià)值。

5 結(jié)束語(yǔ)

能源集團(tuán)從信息安全風(fēng)險(xiǎn)管理視角，采用大數(shù)據(jù)技術(shù)，在物理、網(wǎng)絡(luò)、主機(jī)、應(yīng)用、數(shù)據(jù)以及進(jìn)一步細(xì)化的層次上，建立起統(tǒng)一運(yùn)行監(jiān)測(cè)與安全預(yù)警平臺(tái)，實(shí)現(xiàn)可交互的安全事件監(jiān)控、綜合安全審計(jì)和實(shí)時(shí)的安全態(tài)勢(shì)感知，并形成一系列知識(shí)庫(kù)、場(chǎng)景庫(kù)、指標(biāo)庫(kù)等最佳實(shí)踐成果。把關(guān)注技術(shù)細(xì)節(jié)的信息安全產(chǎn)品、關(guān)注事件處置流程的運(yùn)維、關(guān)注整體安全態(tài)勢(shì)的管理層面有機(jī)地融合在一起。因此該平臺(tái)的建設(shè)不僅是安全技術(shù)手段的快速提升，同時(shí)也是管理體系上的高效改進(jìn)，對(duì)能源集團(tuán)網(wǎng)絡(luò)和信息安全水平的提高起到了重要作用。

參考文獻(xiàn)：

[1]王靜, 高昆侖, 張波.基于網(wǎng)絡(luò)隔離與安全數(shù)據(jù)交換的發(fā)電集團(tuán)雙網(wǎng)體系研究與設(shè)計(jì)[J].電信科學(xué), 2017, 33(2)：163-172.WANG J, GAO K L, ZHANG B.Research and design in dual network scheme of power corporation based on network isolation and secure data exchange[J].Telecommunications Science,2017, 33(2)： 163-172.

[2]林龍成, 陳波, 郭向民.傳統(tǒng)網(wǎng)絡(luò)安全防御面臨的新威脅：APT攻擊[J].信息安全與技術(shù), 2013, 4(3)： 20-25.LIN L C, CHEN B, GUO X M.The new threat to traditional network security defense： APT attack[J].Information Security and Technology, 2013, 4(3)： 20-25.

[3]BIDOU R.Security operation center concepts & implementation[Z].2014.

[4]Apache Software Foundation.Apache Hadoop[EB].2011.

[5]李敏, 李煒, 于仕, 等.基于大數(shù)據(jù)分析和未知威脅感知的電網(wǎng)企業(yè)信息安全主動(dòng)防御體系研究[J].科技廣場(chǎng), 2016(8)：82-85.LI M, LI W, YU S, et al.Research on information security active protection system for power grid enterprises based on big data analysis and unknown threat perception[J].Science Mosaic,2016(8)： 82-85.

[6]ECharts[EB].2013.

[7]Apache Software Foundation.Apache Flume[EB].2012.

[8]Apache Software Foundation.Apache Sqoop[EB].2012.

[9]Redis Labs.Redis[EB].2009.

[10]席榮榮, 云曉春, 金舒原, 等.網(wǎng)絡(luò)安全態(tài)勢(shì)感知研究綜述[J].計(jì)算機(jī)應(yīng)用, 2012, 32(1)： 1-4.XI R R, YUN X C, JIN S Y, et al.Research survey of network security situation awareness[J].Journal of Computer Applications, 2012, 32(1)： 1-4.

[11]王興念, 李宏偉, 施振華, 等.基于大數(shù)據(jù)的智能配電網(wǎng)運(yùn)行監(jiān)控平臺(tái)關(guān)鍵技術(shù)研究與應(yīng)用[J].電工技術(shù), 2017, 2(A)： 9-12.WANG X N, LI H W, SHI Z H, et al.Research and application of key technology of intelligent distribution network operation monitoring platform based on big data[J]. Electric Engineering, 2017, 2(A)：9 -12.

[12]MURUGESAN V, SHALINIE M, NEETHIMANI N.A brief survey of IP traceback methodologies[J].Acta Polytechnica Hungarica, 2014, 11(9)： 197-216.

[13]BLASCH E, STEINBERG A, DAS S, et al.Revisiting the JDL model for information Exploitation[C]//The 16th International Conference on Information Fusion (FUSION), July 9-12, 2013,Istanbul, Turkey.Piscataway： IEEE Press, 2013： 129-136.

[14]林闖.計(jì)算機(jī)網(wǎng)絡(luò)和計(jì)算機(jī)系統(tǒng)的性能評(píng)價(jià)[M].北京： 清華大學(xué)出版社, 2001.LIN C.Performance evaluation of computer network and computer system[M].Beijing： Tsinghua University Press, 2001.