劉瑜 王洪艷

摘 要：當(dāng)今社會，隨著網(wǎng)絡(luò)技術(shù)跨步式的發(fā)展，全球數(shù)據(jù)存有量呈現(xiàn)出急劇遞增的趨勢。網(wǎng)絡(luò)中的數(shù)據(jù)正在向分散化、多樣化，復(fù)雜化的方向發(fā)展，導(dǎo)致了數(shù)據(jù)分析在很多時候難以滿足人們的要求，數(shù)據(jù)安全性問題也隨之變得異常尖銳。將大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全的分析，將會逐漸成為業(yè)界研究的熱點。本文在闡述大數(shù)據(jù)技術(shù)及其優(yōu)勢的基礎(chǔ)上，初步探討了大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的基本應(yīng)用。

關(guān)鍵詞：網(wǎng)絡(luò)安全；大數(shù)據(jù)技術(shù)；應(yīng)用

中圖分類號：TP393.08 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2018）02-0158-03

Application of Big Data Technology in Network Security Analysis

LIU Yu，WANG Hongyan

（Dalian University of Finance and Economics，Dalian 116622，China）

Abstract：In today's society，with the rapid development of network technology，the amount of global data is increasing rapidly. Data in the network is developing towards decentralization，diversification and complexity，resulting in data analysis difficult to meet people's needs at many times，and data security problem has also become extraordinarily sharp. The application of large data technology to network security analysis will gradually become a hot topic in the field of research. Based on the introduction of large data technology and its advantages，the basic application of large data technology in network security analysis is preliminarily discussed.

Keywords：network security；big data technology；application

0 引 言

人類進(jìn)入21世紀(jì)以來，信息數(shù)據(jù)量呈幾何級趨勢驟增，網(wǎng)絡(luò)技術(shù)也隨之加倍出現(xiàn)。網(wǎng)絡(luò)中的數(shù)據(jù)量越來越大，這會在生活和工作中給我們帶來便利，但是也暴露出一些安全問題，給生活和工作帶來阻礙，甚至?xí)：θ松怼?shù)據(jù)來源的多樣性和內(nèi)容的豐富性，加上傳統(tǒng)的網(wǎng)絡(luò)安全分析手段的落后和漏洞的增加，使其無法做到有效地分析和保護(hù)。而大數(shù)據(jù)技術(shù)可以用其自身的存儲量大、處理速度快等優(yōu)點來提高網(wǎng)絡(luò)安全防護(hù)的力度，因此，研究大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用具有非常重要的現(xiàn)實意義。

1 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的優(yōu)勢

如今，互聯(lián)網(wǎng)發(fā)展的速度如百米沖刺般迅速，其數(shù)據(jù)量更如宇宙中的繁星那樣浩大。信息的內(nèi)容和來源變得更加豐富、也更加細(xì)化，對它們進(jìn)行分析的維度也更加廣泛，這就給網(wǎng)絡(luò)安全分析帶來了新的任務(wù)，即它必須更快，更精準(zhǔn)地檢驗出安全漏洞和惡意攻擊行為。將大數(shù)據(jù)技術(shù)應(yīng)用到網(wǎng)絡(luò)安全分析中具有以下優(yōu)勢：

1.1 容量大

大數(shù)據(jù)可以支持大量級不同數(shù)據(jù)的計算、存儲，能夠大幅提升數(shù)據(jù)存數(shù)量，在非程序化的多變復(fù)雜數(shù)據(jù)處理上，它可保持有效性和數(shù)據(jù)完整性。這使得儲存和分析原始海量數(shù)據(jù)成為了現(xiàn)實。

1.2 成本低

對普通硬件環(huán)境來說，大數(shù)據(jù)技術(shù)在應(yīng)用方面沒有局限性。另外，分布式數(shù)據(jù)庫是大數(shù)據(jù)的核心，分布式數(shù)據(jù)庫相比于結(jié)構(gòu)化數(shù)據(jù)庫的價格大大降低，在性能較差的硬件優(yōu)化上表現(xiàn)很好，運(yùn)行穩(wěn)定的同時也能夠降低維護(hù)費用。

1.3 速度快

大數(shù)據(jù)技術(shù)可以對異構(gòu)數(shù)據(jù)完成處理并進(jìn)行存儲，而且是更快地查詢和存儲，這使系統(tǒng)處理數(shù)據(jù)信息分析速度更快，更迅速地進(jìn)行安全信息的收集，更及時地響應(yīng)檢測的時機(jī)。

1.4 精度高

大數(shù)據(jù)技術(shù)可提升挖掘數(shù)據(jù)的能力，支持存儲大量的異構(gòu)數(shù)據(jù)，并能從多維度、多階段的基礎(chǔ)數(shù)據(jù)中進(jìn)行分析與處理，甚至可以基于更長時間數(shù)據(jù)與數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系來處理數(shù)據(jù)來提高分析的深度和廣度。

2 大數(shù)據(jù)技術(shù)

目前，在網(wǎng)絡(luò)安全分析中，日志和流量是需要處理的兩大關(guān)鍵因素。除此之外，資產(chǎn)、配置、漏洞、訪問、應(yīng)用行為、用戶行為、業(yè)務(wù)行為、外部報告等輔助類信息關(guān)聯(lián)分析也有著較大的作用。將大數(shù)據(jù)技術(shù)的優(yōu)勢融入網(wǎng)絡(luò)安全分析中，可以優(yōu)化各類數(shù)據(jù)的分析處理，集中將一些雜亂的日志和流量數(shù)據(jù)整合，還利用大數(shù)據(jù)高效的采集、儲存、檢索、分析技術(shù)，來減少分析處理的時間，節(jié)約整體成本，有效改善處理效果。

2.1 數(shù)據(jù)采集

利用大數(shù)據(jù)技術(shù)，在工具方面使用Flume、Chukwa、Scribe等來采集數(shù)據(jù)信息，根據(jù)數(shù)據(jù)的類型，應(yīng)用分布采集式高效完成流量和日志等數(shù)據(jù)的采集。憑借迅速的數(shù)據(jù)采集能力，它既可以保證數(shù)據(jù)的完整采集，也能夠保障數(shù)據(jù)的準(zhǔn)確性。還可以應(yīng)用數(shù)據(jù)鏡像的采集方式，采集相關(guān)的流量數(shù)據(jù)。

2.2 數(shù)據(jù)儲存

應(yīng)對數(shù)據(jù)種類的多元化和傳輸?shù)母咝?，是傳統(tǒng)網(wǎng)絡(luò)安全分析面臨的主要困難。面對錯綜復(fù)雜的數(shù)據(jù)，要使分析與檢索的速度逐步提高，必須需要存儲數(shù)據(jù)的各式各樣分析尋求，以不同的存儲方式來存儲不同類型的數(shù)據(jù)，可以提升處理信息效率。日志流量及歷史痕跡的原始安全數(shù)據(jù)，可使用供檢索作為存儲方法，在此可發(fā)揮作用的是H base、G base等列式存儲，它的好處在于索引高效，響應(yīng)迅速，可分類化存儲原始安全數(shù)據(jù)。用于構(gòu)架計算的Hadoop分布式方法處理的數(shù)據(jù)是經(jīng)標(biāo)準(zhǔn)化處理的原始安全數(shù)據(jù)，把放在計算節(jié)點的經(jīng)分類的安全數(shù)據(jù)進(jìn)行處理分析，運(yùn)用腳本分析挖掘安全數(shù)據(jù)，最后將整理統(tǒng)計報告和分析預(yù)警的報告存放在列式存儲。而采用storm、spark等流式計算，適用于需要實時分析的安全數(shù)據(jù)。在每個計算節(jié)點上有等待分析的原始數(shù)據(jù)，分析過程中，系統(tǒng)會在實時數(shù)據(jù)流經(jīng)對應(yīng)節(jié)點時自動進(jìn)行分析數(shù)據(jù)工作，進(jìn)而生成安全警告與統(tǒng)計數(shù)據(jù)轉(zhuǎn)化成最后的成果分析，其成果最終顯示在流式存儲中。

2.3 數(shù)據(jù)檢索

大數(shù)據(jù)技術(shù)應(yīng)用的安全數(shù)據(jù)檢索與查詢以MapReduce為架構(gòu)基礎(chǔ)，相對應(yīng)的節(jié)點分析指令處理其中請求主語查詢，查詢節(jié)點收到請求，使用分布式計算方法查詢節(jié)點所需數(shù)據(jù)，滿足上需請求查詢的情況，信息數(shù)據(jù)將顯示所需流量及日志。這極大地提高了數(shù)據(jù)查詢和檢索數(shù)據(jù)的速度，可以有效提升工作效率。

2.4 數(shù)據(jù)分析

網(wǎng)絡(luò)安全分析中，最后的數(shù)據(jù)分析是重要的步驟，大數(shù)據(jù)技術(shù)處理數(shù)據(jù)時會使用不同的處理和分析技術(shù)。storm或spark等流式計算架構(gòu)是對數(shù)據(jù)進(jìn)行實時分析的基礎(chǔ)，在此之上運(yùn)用定制的電聯(lián)分析計算方法及復(fù)雜事件處理技術(shù)，聯(lián)合對數(shù)據(jù)進(jìn)行實時內(nèi)存分析、實時監(jiān)控安全內(nèi)容、實時捕捉異常和實時處理。這既使數(shù)據(jù)安全性得到提升，也能保證在最短時間內(nèi)找出問題并進(jìn)行有效地解決，及時地進(jìn)行數(shù)據(jù)保存和數(shù)據(jù)轉(zhuǎn)移，來保護(hù)用戶的數(shù)據(jù)信息。使用Hadoop架構(gòu)可對歷史數(shù)據(jù)、統(tǒng)計結(jié)果等非實時數(shù)據(jù)進(jìn)行分析，這些對時效性沒有太高需求的部分可利用HDFS分布式存儲和MapReduce分布式計算，并行應(yīng)用數(shù)據(jù)聚合，數(shù)據(jù)挖掘，數(shù)據(jù)抽取等多種數(shù)據(jù)處理技術(shù)。另外它能對隱藏風(fēng)險進(jìn)行離線統(tǒng)計及對應(yīng)特殊處理，及時分析風(fēng)險事態(tài)，攻擊起始源并阻斷風(fēng)險。

2.5 多源數(shù)據(jù)和多階段組合的關(guān)聯(lián)分析

系統(tǒng)借助大數(shù)據(jù)技術(shù)在存儲、查詢、分析上不斷地提升效率。在復(fù)雜處理中，它能對多源異構(gòu)數(shù)據(jù)進(jìn)行挖掘，同時發(fā)現(xiàn)大規(guī)模網(wǎng)絡(luò)系統(tǒng)的安全風(fēng)險，且對攻擊行為的特征進(jìn)行不同階段的分析處理。集合數(shù)據(jù)分組會攻擊逆源數(shù)據(jù)和莫管數(shù)據(jù)，同時深度分析外界情報，從而獲得全方位分析結(jié)果，來提升處理效率。若某網(wǎng)絡(luò)系統(tǒng)或主機(jī)有漏洞甚至被攻擊，關(guān)聯(lián)局域網(wǎng)內(nèi)或系統(tǒng)中的其他主機(jī)，便可實施綜合檢測，這樣能以最快速度發(fā)現(xiàn)隱患的具體位置，及時解決問題，防范危險情況。

3 大數(shù)據(jù)技術(shù)在安全分析中的應(yīng)用

網(wǎng)絡(luò)中的個人賬戶包括網(wǎng)絡(luò)應(yīng)用賬戶、銀行賬戶等，它們均是信息分析的重點對象。

3.1 大數(shù)據(jù)分析設(shè)置密碼習(xí)慣

對于個人賬戶來說，密碼至關(guān)重要?，F(xiàn)在有很多報道提到賬號被盜、失竊的問題，這首先是因為為了密碼記憶方便，喜歡使用簡單的組合或有關(guān)姓名、出生年月等個人信息，這樣的密碼極其容易被破解，還會暴露個人信息，這些個人信息還可能被不法分子用于非法活動，進(jìn)而危害用戶人身安全。解決該問題可以運(yùn)用大數(shù)據(jù)技術(shù)在平臺上分析數(shù)據(jù)，在注冊賬號的時候，平臺上早先存儲的個人信息被調(diào)出，設(shè)置密碼時，平臺檢索相似內(nèi)容，進(jìn)行分析確認(rèn)并向客戶發(fā)出警告，要求更換，以此來提高第一道防線的安全性。

3.2 大數(shù)據(jù)分析管理異地登錄

如果說密碼是第一道防線，若這層防御被突破，且用戶在未知情的狀況下登錄賬號，就可能會造成損失。當(dāng)前，新聞經(jīng)常報道兒童在家長不知情的狀況下，用家長的支付賬號買東西或給某些主播刷禮物；還有陌生人竊取銀行賬號、游戲賬號、微信賬號等情況，并偷轉(zhuǎn)錢財，破壞賬號主體，甚至偽裝成本人詐騙好友錢財，做出一些違法亂紀(jì)的事情，這不僅會給賬號主體帶來經(jīng)濟(jì)損失，還會造成極其不良的社會影響。針對該情況，可以通過大數(shù)據(jù)技術(shù)記憶并綁定常用設(shè)備，且關(guān)聯(lián)手機(jī)號和郵箱等安全信息，當(dāng)在不常用設(shè)備登錄時，大數(shù)據(jù)技術(shù)會在平臺檢索賬號安全信息，第一時間向用戶發(fā)送短信和郵件，若為本人操作，即輸入驗證碼登錄。此外還可以限制異地登錄次數(shù)，由客戶設(shè)置次數(shù)，若超過上限，平臺會發(fā)出警告并通知客戶，由客戶自己選擇暫時封號，報警或其他處理方式。

3.3 大數(shù)據(jù)定位找回被盜賬號

若陌生人使用非常手段盜取賬號，找回賬號就變得非常困難。即使找到了，還原數(shù)據(jù)也基本是不可能的了。使用大數(shù)據(jù)技術(shù)在平臺上進(jìn)行定位，檢索被盜賬號登陸地區(qū)，實施封鎖IP及賬號的辦法，把賬號先傳輸在平臺上，并清空內(nèi)容，將原數(shù)據(jù)存儲在平臺，僅需失主提供個人信息且驗證符合要求后，就可以返還賬號并還原數(shù)據(jù)。

3.4 檢測被控主機(jī)與控制源

面對黑客攻擊網(wǎng)絡(luò)漏洞，木馬僵尸網(wǎng)絡(luò)、移動惡意程序等僅靠防范措施無法應(yīng)付的威脅，就需要精確分析，早期預(yù)警。應(yīng)用路由器配置數(shù)據(jù)、僵木蠕檢測事件、僵木蠕特征庫、DPI檢測DDoS攻擊事件，DNS訪問日志、外部渠道獲取的僵木蠕源IP地址，在平臺中維護(hù)更新被入侵主機(jī)IP庫，用大數(shù)據(jù)分析入侵主機(jī)并進(jìn)行控制源檢測。

（1）疑似被入侵主機(jī)IP地址，查詢DNS日志記錄，運(yùn)用URL庫對比，確認(rèn)被控制主機(jī)；（2）信息DPI查找通信記錄或惡意URL訪問記錄，若存在匹配記錄，則確認(rèn)被控主機(jī)；（3）通過僵木蠕系統(tǒng)，DPI檢測等渠道獲取木蠕信息，查詢DNS訪問記錄是否有惡意URL記錄，綜合驗證分散系統(tǒng)檢測結(jié)果，提升檢索準(zhǔn)確性。

4 結(jié) 論

大數(shù)據(jù)技術(shù)在眾多領(lǐng)域應(yīng)用寬泛，效率提升明顯，還大大地節(jié)約成本。其在網(wǎng)絡(luò)安全分析方面的應(yīng)用，有效地減緩了傳統(tǒng)網(wǎng)絡(luò)安全分析的壓力。專家正在深入研究如何在更大范圍內(nèi)運(yùn)用大數(shù)據(jù)技術(shù)，這是業(yè)界討論的重中之重。未來，在網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)必將成為網(wǎng)絡(luò)領(lǐng)域中的焦點。

參考文獻(xiàn)：

[1] 曾秋梅.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)與實踐探究 [J].信息系統(tǒng)工程，2017（4）：77.

[2] 賈孫玉.淺談網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用 [J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017（4）：102+106.

[3] 崔玉禮，黃麗君.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用 [J].網(wǎng)絡(luò)空間安全，2016，7（6）：75-77.

[4] 杜娟.大數(shù)據(jù)時代的信息安全問題淺議 [J].現(xiàn)代信息科技，2017，1（2）：78-80.