◆陳小波

淺談網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用

◆陳小波

（國網(wǎng)福州供電公司 福建 350000）

網(wǎng)絡(luò)安全指的是網(wǎng)絡(luò)系統(tǒng)中對硬件、軟件及相關(guān)數(shù)據(jù)進(jìn)行保護(hù)，運(yùn)用大數(shù)據(jù)技術(shù)是當(dāng)前保護(hù)網(wǎng)絡(luò)安全不受到破壞、泄露和篡改的主要措施?；诖?，本文分析網(wǎng)絡(luò)安全中引入大數(shù)據(jù)技術(shù)的必要性，并從信息的采集與存儲(chǔ)、信息的檢索與數(shù)據(jù)分析、多源數(shù)據(jù)與多階段組合的關(guān)聯(lián)分析等方面舉例闡述大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用，同時(shí)也詳細(xì)說明網(wǎng)絡(luò)安全平臺的相關(guān)技術(shù)支持。

網(wǎng)絡(luò)安全分析；大數(shù)據(jù)；技術(shù)應(yīng)用

0 引言

網(wǎng)絡(luò)安全具有保密性、完整性、可用性、可控性和可審查性的特點(diǎn)。網(wǎng)絡(luò)安全問題，應(yīng)該如同家家戶戶的防火防盜問題一樣，做到防范于未然，威脅一旦發(fā)生，就會(huì)造成巨大的損失。因此，合理利用大數(shù)據(jù)技術(shù)有利于為網(wǎng)絡(luò)安全提供保障，有效提高網(wǎng)絡(luò)安全防護(hù)的作用，在進(jìn)行網(wǎng)絡(luò)安全分析時(shí)提供幫助，有利于企業(yè)的信息安全，也有利于人們?nèi)粘Ｉ钪械碾[私安全。

1 網(wǎng)絡(luò)安全分析引入大數(shù)據(jù)技術(shù)的必要性

網(wǎng)絡(luò)分析是整個(gè)系統(tǒng)運(yùn)行中的網(wǎng)絡(luò)管理者，它能夠在各種網(wǎng)絡(luò)安全的問題中找到合適的網(wǎng)絡(luò)管理方案，對系統(tǒng)中所有傳輸?shù)臄?shù)據(jù)進(jìn)行檢測、診斷和分析，幫助廣大用戶規(guī)避風(fēng)險(xiǎn)，提高網(wǎng)絡(luò)安全性能，為用戶創(chuàng)造一個(gè)和諧無污染的網(wǎng)絡(luò)環(huán)境。目前，隨著大數(shù)據(jù)技術(shù)的應(yīng)用，管理者不再擔(dān)心網(wǎng)絡(luò)事故無法解決，大數(shù)據(jù)技術(shù)可以幫助企業(yè)和用戶將故障和風(fēng)險(xiǎn)降到最低，安全性能提升到最高。由此，網(wǎng)絡(luò)安全分析引入大數(shù)據(jù)技術(shù)的必要性如下：

（1）容量大，大數(shù)據(jù)技術(shù)支持海量異構(gòu)數(shù)據(jù)在運(yùn)行中的計(jì)算與存儲(chǔ)，整個(gè)過程中信息是安全可靠的。

（2）成本低，與傳統(tǒng)數(shù)據(jù)庫的價(jià)格相比，分布式數(shù)據(jù)庫成本低廉，且可以適用所有硬件的擴(kuò)展。

（3）速度快，對數(shù)據(jù)的存檔和檢索速度加快，采集信息和檢測響應(yīng)的速度也快了許多。

（4）精度高，對數(shù)據(jù)的挖掘能力不斷提升，支持多維多階段的關(guān)聯(lián)分析，提升了數(shù)據(jù)分析的深度和廣度。

2 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

2.1信息的采集與存儲(chǔ)

運(yùn)用大數(shù)據(jù)技術(shù)，通過Flume、Scribe等相關(guān)工具對網(wǎng)絡(luò)系統(tǒng)中所有數(shù)據(jù)進(jìn)行分布式的采集，每秒內(nèi)可以完成百兆以上的采集工作，尤其是對用戶的日志數(shù)據(jù)信息進(jìn)行處理時(shí)有著良好的作用。此外，還可以利用傳統(tǒng)模式數(shù)據(jù)鏡像采集，對全系統(tǒng)進(jìn)行全方位的流量數(shù)據(jù)采集。例如，利用大數(shù)據(jù)技術(shù)門戶網(wǎng)站可以每天自動(dòng)采集成千上百的指定網(wǎng)站中的數(shù)據(jù)內(nèi)容，對上千媒體進(jìn)行新聞信息采集，想要觀看什么隨時(shí)隨地都能看到，不少用戶在雙十一期間準(zhǔn)備淘寶搶購，就是利用大數(shù)據(jù)的技術(shù)每天自動(dòng)采集淘寶網(wǎng)上價(jià)格的信息和更新變化情況，甚至產(chǎn)品的說明和圖片也能一目了然。

信息的存儲(chǔ)技術(shù)可以利用HDFS開展數(shù)據(jù)采集后的存儲(chǔ)，如果在一段時(shí)間內(nèi)文件數(shù)據(jù)量過大，要想保證數(shù)據(jù)的處理和分析效率，在存儲(chǔ)時(shí)可以通過HDFS進(jìn)行，實(shí)現(xiàn)所有文件能夠達(dá)到64兆字節(jié)。例如新聞媒體都要自動(dòng)采集成千上萬個(gè)指定網(wǎng)站上的新聞內(nèi)容，并對這些內(nèi)容進(jìn)行來源和數(shù)量上收集存儲(chǔ)。隨后相關(guān)工作人員通過對該地區(qū)情況的整合，按照專題編寫當(dāng)日的新聞內(nèi)容，每天內(nèi)容在發(fā)布后都要進(jìn)行存儲(chǔ)，以方便日后的檢索和總結(jié)，就是因?yàn)檫@種大數(shù)據(jù)技術(shù)，用戶在該網(wǎng)站進(jìn)行新聞信息查詢時(shí)輕松就可以找到[1]。

2.2信息的檢索與數(shù)據(jù)分析

對于信息的檢索，可以采用Map Reduce作為架構(gòu)形式，輸入具體的檢索要求，并且系統(tǒng)進(jìn)行分析和處理，計(jì)算后大幅度提高了信息的檢索能力，由此可見大數(shù)據(jù)技術(shù)在信息檢索方面也有著積極的作用。例如，企業(yè)想要開會(huì)前尋找到一些有用的信息做參考，就可以利用大數(shù)據(jù)技術(shù)進(jìn)行信息檢索，實(shí)時(shí)而準(zhǔn)確地采集國內(nèi)外相關(guān)行業(yè)新聞和技術(shù)性文章，并找到競爭對手和供應(yīng)商的新聞、產(chǎn)品、人事、價(jià)格等信息，以此做對比。同時(shí)，大數(shù)據(jù)技術(shù)還能夠采集行業(yè)論壇中的信息，了解到消費(fèi)者的需求與反饋，并準(zhǔn)確地在網(wǎng)絡(luò)公共信息中采集到銷售線索，甚至通過這種大數(shù)據(jù)檢索功能可以挖掘出潛在客戶的資料。

數(shù)據(jù)分析也稱數(shù)據(jù)解析，該技術(shù)利用HIVE方法對數(shù)據(jù)進(jìn)行展開分析，使用SQL中HIVEQL語言使HDFS和HBASE可以對不能構(gòu)成結(jié)構(gòu)式的數(shù)據(jù)進(jìn)行檢索，此外，大數(shù)據(jù)技術(shù)下還能夠利用Mahout達(dá)到以H adoop為前提的機(jī)械研究，所有數(shù)據(jù)能夠進(jìn)行深度挖掘與整理解析。例如，政府機(jī)關(guān)或者軍隊(duì)可以實(shí)時(shí)跟蹤并采集相關(guān)國內(nèi)外的新聞數(shù)據(jù)，并通過這些數(shù)據(jù)整理出該地方的政策法規(guī)和經(jīng)濟(jì)產(chǎn)業(yè)信息，還能利用大數(shù)據(jù)技術(shù)解決與因特網(wǎng)隔離的重要部門對于因特網(wǎng)的信息需求問題解決政府主網(wǎng)站對各地級子網(wǎng)站的信息采集與整合問題[2]。

2.3多源數(shù)據(jù)與多階段組合的關(guān)聯(lián)分析

多源數(shù)據(jù)和多階段組合的關(guān)聯(lián)分析過程是繁瑣而又有規(guī)律的，首先確定采集任務(wù)，針對不同的目標(biāo)數(shù)據(jù)源進(jìn)行采集配置，以確?？梢圆杉綌?shù)據(jù)；隨后對任務(wù)進(jìn)行調(diào)度，與目標(biāo)站點(diǎn)同步更新、增量采集，采集到的結(jié)果完成數(shù)據(jù)異構(gòu)到同構(gòu)的過程；最后通過發(fā)布服務(wù)器，將數(shù)據(jù)發(fā)布到應(yīng)用平臺。大數(shù)據(jù)技術(shù)能夠不斷增強(qiáng)數(shù)據(jù)的存儲(chǔ)和解析效率，及時(shí)發(fā)現(xiàn)并解析多源數(shù)據(jù)，從而防止發(fā)生安全隱患并制止網(wǎng)絡(luò)攻擊行為產(chǎn)生。如果一個(gè)計(jì)算機(jī)中存在安全隱患，甚至還會(huì)有攻擊現(xiàn)象，通過大數(shù)據(jù)技術(shù)可以查看其它計(jì)算機(jī)系統(tǒng)是否同樣有相似的情況，這樣在最短的時(shí)間能找到問題產(chǎn)生的原因，并采取相應(yīng)措施保證所有機(jī)器系統(tǒng)的安全運(yùn)行。例如，美國國家衛(wèi)生研究院的生物科技信息中心(NCBI)公布的大量基因相關(guān)數(shù)據(jù)，這些數(shù)據(jù)的來源可以實(shí)時(shí)跟蹤、采集相關(guān)的國內(nèi)外科技信息與新聞，對科研數(shù)據(jù)在各個(gè)網(wǎng)站網(wǎng)頁中進(jìn)行整合，再通過本地文本數(shù)據(jù)抽取最后整合出完整且有實(shí)際作用的最終數(shù)據(jù)。

3 網(wǎng)絡(luò)安全平臺實(shí)現(xiàn)的技術(shù)支持

隨著計(jì)算機(jī)技術(shù)的發(fā)展和信息化技術(shù)的普及，大數(shù)據(jù)技術(shù)越來越多的參與到網(wǎng)絡(luò)安全平臺的建設(shè)活動(dòng)當(dāng)中，并為網(wǎng)絡(luò)安全平臺提供了相關(guān)技術(shù)支持：

（1）大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺框架建立，從采集層、存儲(chǔ)層、分析層到最終的呈現(xiàn)層，整個(gè)平臺框架構(gòu)造完善，數(shù)據(jù)采集層可以運(yùn)用分布式的方法對所有用戶進(jìn)行身份信息的收集，為了保障網(wǎng)絡(luò)運(yùn)行安全，部分機(jī)構(gòu)還會(huì)對用戶進(jìn)行安全事件的信息收集。存儲(chǔ)層能夠?qū)π畔⑦M(jìn)行永久的數(shù)據(jù)存儲(chǔ)，并實(shí)現(xiàn)結(jié)構(gòu)化的存儲(chǔ)模式，通過均衡算法讓數(shù)據(jù)具有實(shí)時(shí)性，在所有相應(yīng)的文件夾中分布，以此加快用戶檢索的速度。

（2）平臺實(shí)現(xiàn)的技術(shù)支撐，數(shù)據(jù)同樣有采集層、存儲(chǔ)層、解析層和顯示層，其他層同大數(shù)據(jù)平臺架構(gòu)一樣，解析層的功能卻更加突出，網(wǎng)絡(luò)安全系統(tǒng)進(jìn)行分析時(shí)對實(shí)時(shí)數(shù)據(jù)進(jìn)行解析關(guān)聯(lián)、解析情況，并掌握其中的特征，從而發(fā)現(xiàn)安全事件，是否有潛在的威脅和攻擊性行為存在，如果存在則分析原因進(jìn)行解決。此外，數(shù)據(jù)顯示層可以將分析后的數(shù)據(jù)顯現(xiàn)出來，利用多個(gè)維度表現(xiàn)出網(wǎng)絡(luò)安全此時(shí)此刻的狀態(tài)。

（3）基于數(shù)據(jù)的挖掘與分析，平臺一般使用M ahout完成機(jī)械學(xué)習(xí)，針對事件流的關(guān)聯(lián)和分析，平臺運(yùn)用CPE，將系統(tǒng)數(shù)據(jù)作為事件類型，在有關(guān)聯(lián)性的時(shí)間里解析，分門別類的將簡單事件轉(zhuǎn)化為高級事件，從海量信息資源中查詢到網(wǎng)絡(luò)安全隱患問題。

（4）網(wǎng)絡(luò)安全平臺中的安全性問題關(guān)系到未來網(wǎng)絡(luò)應(yīng)用的深入發(fā)展，它涉及安全策略、移動(dòng)代碼、指令保護(hù)、密碼學(xué)、操作系統(tǒng)、軟件工程和網(wǎng)絡(luò)安全管理等內(nèi)容。建議內(nèi)部網(wǎng)絡(luò)與公用網(wǎng)絡(luò)進(jìn)行隔離并采用“防火墻”技術(shù)，這種防護(hù)技術(shù)是計(jì)算機(jī)硬件和軟件的組合，將互聯(lián)網(wǎng)與區(qū)域內(nèi)部網(wǎng)絡(luò)之間建立一個(gè)安全網(wǎng)關(guān)，保護(hù)內(nèi)部網(wǎng)絡(luò)的安全，免遭外部非法侵入和篡改。

4 總結(jié)

總而言之，在當(dāng)今大數(shù)據(jù)時(shí)代發(fā)展下，人們越來越重視網(wǎng)絡(luò)安全問題，對大數(shù)據(jù)技術(shù)的研究不斷深入，多方技術(shù)結(jié)合力求網(wǎng)絡(luò)環(huán)境的和諧和上網(wǎng)過程中安全可靠，無論是信息的采集還是收集，甚至是最后的解析與呈現(xiàn)，大數(shù)據(jù)的應(yīng)用造福了所有企業(yè)與用戶，保護(hù)了所有人的隱私，提供了海量的共享信息，為生活提供了便利，有效的提升了網(wǎng)絡(luò)世界的安全防御能力。

[1]劉夢飛.大數(shù)據(jù)背景下計(jì)算機(jī)網(wǎng)絡(luò)信息安全風(fēng)險(xiǎn)及防護(hù)措施[J/OL].現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化, 2017.

[2]王帥, 汪來富, 金華敏等.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J].電信科學(xué), 2015.

[3]管磊, 胡光俊, 王專.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)研究[J].信息網(wǎng)絡(luò)安全, 2016.

[4]劉蘭, 林軍, 蔡君.面向大數(shù)據(jù)的異構(gòu)網(wǎng)絡(luò)安全監(jiān)控及關(guān)聯(lián)算法研究[J].電信科學(xué), 2014.