大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

張曉靖 胡珉 王子瑋

（上海市信息網(wǎng)絡(luò)有限公司 上海市 200081）

隨著網(wǎng)絡(luò)應(yīng)用范圍逐步增大，網(wǎng)絡(luò)安全問題也日益嚴(yán)重。此時應(yīng)該注意，網(wǎng)絡(luò)安全如果無法保證，會嚴(yán)重威脅人們的信息安全性，且給國家保密信息產(chǎn)生不利的影響，尤其是當(dāng)前大數(shù)據(jù)技術(shù)的應(yīng)用，網(wǎng)絡(luò)數(shù)據(jù)以幾何倍數(shù)的形式增長，數(shù)據(jù)量激增，使得網(wǎng)絡(luò)安全管理根本無法有效的應(yīng)用，極大的威脅傳統(tǒng)網(wǎng)絡(luò)運行安全，造成非常嚴(yán)重的影響。網(wǎng)絡(luò)安全分析實踐中，把大數(shù)據(jù)融入到系統(tǒng)內(nèi)，可以讓現(xiàn)代社會網(wǎng)絡(luò)運行更加的安全。因此，應(yīng)該綜合分析大數(shù)據(jù)在網(wǎng)絡(luò)安全分析中的作用，并且能夠合理的應(yīng)用，以確保網(wǎng)絡(luò)運行安全性。

1 網(wǎng)絡(luò)安全分析實踐中利用大數(shù)據(jù)技術(shù)所產(chǎn)生的價值

現(xiàn)代社會互聯(lián)網(wǎng)發(fā)展速度非?？?，流量數(shù)據(jù)增幅比較大，這樣能夠保證互聯(lián)網(wǎng)的應(yīng)用效果滿足要求，但是也會給網(wǎng)絡(luò)安全分析帶來巨大的壓力，具體是如下兩點：其一，網(wǎng)絡(luò)安全分析中所需要處理的數(shù)據(jù)量增大，數(shù)據(jù)種類也比較多，能夠從多維度方面來展開數(shù)據(jù)分析和處理；其二，數(shù)據(jù)量非常大，同時也會對于傳輸速度有著較高的要求，要想進行數(shù)據(jù)的分析和處理，就要提高數(shù)據(jù)分析和處理的速度，并且加強信息安全分析，這樣會導(dǎo)致網(wǎng)絡(luò)安全分析難度增加。傳統(tǒng)網(wǎng)絡(luò)分析是利用結(jié)構(gòu)數(shù)據(jù)庫實施數(shù)據(jù)存儲和使用，但是這一方式的成本無法控制。通常來說，要想實現(xiàn)系統(tǒng)運行成本的降低，首先是進行數(shù)據(jù)處理，能夠減少數(shù)據(jù)量，進而可以降低成本，可以促進數(shù)據(jù)存儲量的提升，但是會導(dǎo)致數(shù)據(jù)處理中出現(xiàn)數(shù)據(jù)信息丟失的情況，如果存儲時間過長，會存在數(shù)據(jù)流失出去，無法達到完整性的標(biāo)準(zhǔn)，也無法對于復(fù)雜性的數(shù)據(jù)來實施處理，應(yīng)用效果比較差，不管是分析速度還是查詢效率都比較低，這些問題在大數(shù)據(jù)時代中尤為明顯，要采取必要的措施解決和處理，以提升系統(tǒng)運行效果。

大數(shù)據(jù)技術(shù)應(yīng)用到網(wǎng)絡(luò)安全分析中，能夠有效的提升總體的使用效果。首先，大數(shù)據(jù)技術(shù)的應(yīng)用可以促進網(wǎng)絡(luò)容量的提高。應(yīng)用大數(shù)據(jù)技術(shù)，可以快速的進行海量、復(fù)雜性較高的數(shù)據(jù)來實現(xiàn)處理，可以提升效率和效果，能夠在保存海量數(shù)據(jù)以達到完整性的標(biāo)準(zhǔn)。第二，大大數(shù)據(jù)技術(shù)合理使用可以促進網(wǎng)絡(luò)分析成本的下降。利用該技術(shù)能夠根據(jù)需要形成完善的分布式數(shù)據(jù)庫信息，要比結(jié)構(gòu)數(shù)據(jù)的成本低很多，且硬件的要求也比較低，能夠確保系統(tǒng)的穩(wěn)定運行，所以成本是很低的。第三，大數(shù)據(jù)技術(shù)幫助網(wǎng)絡(luò)分析速度的提升。大數(shù)據(jù)技術(shù)的使用之下，保證異構(gòu)數(shù)據(jù)分析可以有序的進行，且工作速度非常快，讓信息處理快速的完成。第四，大數(shù)據(jù)技術(shù)讓數(shù)據(jù)分析和使用更加精準(zhǔn)，不會出現(xiàn)嚴(yán)重數(shù)據(jù)錯誤的情況。大數(shù)據(jù)技術(shù)的應(yīng)用能夠?qū)崿F(xiàn)多層級、多維度的數(shù)據(jù)分析和處理，進而可以能夠提升數(shù)據(jù)的處理精度。

2 網(wǎng)絡(luò)安全分析過程大數(shù)據(jù)使用效果分析

網(wǎng)絡(luò)分析操作實踐中，主要是通過進行日志、流量等信息的處理，數(shù)據(jù)量是非常大的，包含的內(nèi)容種類也比較多。從實踐中分析，大數(shù)據(jù)技術(shù)開展網(wǎng)絡(luò)安全分析，可以促進數(shù)據(jù)分析處理，可以更好的把分散性的數(shù)據(jù)信息實現(xiàn)綜合應(yīng)用分析，提高處理的效果和質(zhì)量，讓網(wǎng)絡(luò)安全分析效果得以提升。還能夠進行安全信息的關(guān)聯(lián)性分析，可以達到多維度處理效果，及時發(fā)現(xiàn)所存在的問題，可以保證安全分析效果。在具體的操作中，主要是根據(jù)如下幾個方面來開展工作。

2.1 數(shù)據(jù)采集

結(jié)合不同使用場景，選擇最佳大數(shù)據(jù)技術(shù)，能夠通過Flume、Scribe 等工具，能夠進行分布式采集處理，提高采集處理效率，一般處理速度可以達到每秒數(shù)百兆數(shù)據(jù)的采集，也就能夠在短時間內(nèi)進行日志數(shù)據(jù)的處理。

2.2 數(shù)據(jù)存儲

網(wǎng)絡(luò)安全分析時，能夠開展數(shù)據(jù)存儲和應(yīng)用，并且完成不同信息和數(shù)據(jù)類型的分別設(shè)置，也就是選擇不同的存儲方式，以提升數(shù)據(jù)查詢、存儲的效率。在進行日志信息數(shù)據(jù)查詢中，通過列式存儲的方式可以產(chǎn)生非常好的效果，提升查詢工作水平，而在進行標(biāo)準(zhǔn)化數(shù)據(jù)的處理，要通過分布式計算方法，數(shù)據(jù)處理后可以得到相應(yīng)的結(jié)果，以列式存儲的方式存在；即時數(shù)據(jù)信息通過流式計算有著很好的效果，分析處理后能夠準(zhǔn)確的記錄，依然是列式存儲的方式。

2.3 數(shù)據(jù)查詢

大數(shù)據(jù)技術(shù)使用實踐中，主要是通過MapReduce 來實施基礎(chǔ)架構(gòu)的建設(shè)，如果需要查詢系統(tǒng)內(nèi)某個數(shù)據(jù)信息，通過發(fā)布指令的方式以進行節(jié)點處理，保證查詢順利開展和進行。這種查詢處理方式，可以加速系統(tǒng)反應(yīng)，數(shù)據(jù)處理也更快。

2.4 數(shù)據(jù)分析

數(shù)據(jù)分析是網(wǎng)絡(luò)安全分析的重要工作，一般是進行下面兩種情況的工作：其一，實時數(shù)據(jù)分析。能夠做好流式計算和分析，主要是通過CEP技術(shù)來實現(xiàn)處理與應(yīng)用，能夠快速的了解數(shù)據(jù)異常情況；其二，做好結(jié)果數(shù)據(jù)分析和存儲。這一部分工作的時效性要求較低，多數(shù)都會利用分布式存儲的方式來進行，可以進行多種類型數(shù)據(jù)的處理，并且能夠達到離線處理的效果，有效的消除風(fēng)險分析方法，切實提升數(shù)據(jù)的安全性。

2.5 復(fù)雜數(shù)據(jù)分析處理

大數(shù)據(jù)技術(shù)應(yīng)用實踐中，可以按照操作者的需要來完成大量數(shù)據(jù)的存儲、分析與查詢工作，可以進行復(fù)雜數(shù)據(jù)的有效處理，尤其是針對多源異構(gòu)、系統(tǒng)安全性、關(guān)聯(lián)性攻擊分析處理。比如，僵尸網(wǎng)絡(luò)是比較普遍存在的安全問題，該問題之下，能夠利用大數(shù)據(jù)充分的掌握系統(tǒng)特點，然后就是按照系統(tǒng)運行標(biāo)準(zhǔn)實現(xiàn)發(fā)散性的關(guān)聯(lián)分析，同時要了解到數(shù)據(jù)所具備的各個方面功能，實現(xiàn)全面化的分析，保證數(shù)據(jù)應(yīng)用有序開展。再比如，一旦發(fā)現(xiàn)了系統(tǒng)中有任何的缺陷或者問題，都能夠做好各個關(guān)聯(lián)性主機的處理，進而能夠及時發(fā)現(xiàn)各個主機系統(tǒng)，能夠掌握安全問題所處的位置，以便于做出必要的反應(yīng)和處理。

3 大數(shù)據(jù)網(wǎng)絡(luò)安全分析平臺構(gòu)建

3.1 大數(shù)據(jù)的網(wǎng)絡(luò)安全平臺架構(gòu)

該平臺中包含多個組成結(jié)構(gòu)部分，主要如下所示：數(shù)據(jù)采集的作用就是能夠了解全部信息，主要是存在的隱患信息等；存儲層則是進行系統(tǒng)內(nèi)各項數(shù)據(jù)的存儲，不同類型的數(shù)據(jù)都可以存儲到系統(tǒng)內(nèi)，并且根據(jù)規(guī)定的算法來實現(xiàn)數(shù)據(jù)的處理和應(yīng)用，可以提升數(shù)據(jù)檢索效率；數(shù)據(jù)挖掘分析層能夠做好實時數(shù)據(jù)的分析關(guān)聯(lián)、分析情境、提取特征等，可以充分的掌握了解安全事件信息，如果存在異常情況要追根溯源，能夠更好的查詢相關(guān)答復(fù)數(shù)據(jù)信息，并且做好定位，以便于后續(xù)有效的處理；數(shù)據(jù)呈現(xiàn)層能的作用就是完成系統(tǒng)可視化分析，可以通過系統(tǒng)實現(xiàn)網(wǎng)絡(luò)安全管控，不會有任何安全風(fēng)險威脅系統(tǒng)的安全。

3.2 平臺實現(xiàn)的技術(shù)支持

3.2.1 數(shù)據(jù)采集技術(shù)

本平臺采取Flume、Kafka、Storm 結(jié)合的方式來完成數(shù)據(jù)的采集工作。使用Flume 完成海量數(shù)據(jù)信息采集、整合與傳輸，主要的優(yōu)勢就是可靠性強、分布式形式等，利用定制數(shù)據(jù)信息，把發(fā)送方的各項數(shù)據(jù)信息都能夠充分的掌握，將數(shù)據(jù)進行必要的加工和處理之后就能夠傳輸給定制方。對于活躍流失數(shù)據(jù)來完成數(shù)據(jù)處理，是可將Kafka 作為數(shù)據(jù)采集和流式數(shù)據(jù)進行緩存處理。Kafka 中是開展邏輯性的分析服務(wù)，能夠確定生產(chǎn)者、消費、代理的相關(guān)邏輯信息，然后形成高吞吐量的分布式訂閱系統(tǒng)。

3.2.2 數(shù)據(jù)存儲技術(shù)

使用HDFS 可以根據(jù)需要做好數(shù)據(jù)的采集和處理，并且能夠達到比較高的實際應(yīng)用價值，根據(jù)需要來確定元數(shù)據(jù)節(jié)點系統(tǒng)，然后把這些數(shù)據(jù)信息都能夠存儲到系統(tǒng)內(nèi)部，以便于在使用時可以隨時的查詢和使用。元數(shù)據(jù)節(jié)點和數(shù)據(jù)文件以對比的形式存在，如果時間是相同的情況，訪問數(shù)據(jù)量是非常多的情況下，系統(tǒng)的多項功能都無法實現(xiàn)，會給網(wǎng)絡(luò)運行的安全性造成極為嚴(yán)重的負面影響。因此，為了能夠提升數(shù)據(jù)的分析質(zhì)量和效率，該平臺中應(yīng)用的存儲單元是HDFS 數(shù)據(jù)塊存儲，所有數(shù)據(jù)實現(xiàn)整合與處理之后，能夠確保各個文件都能夠達到64 兆字節(jié)的大小。

3.2.3 數(shù)據(jù)分析技術(shù)

該平臺的作用是完成系統(tǒng)內(nèi)部各項數(shù)據(jù)的分析和處理，以使用者需要的形式來體現(xiàn)出來，能夠給應(yīng)用者提供便利條件，從而可以保證數(shù)據(jù)使用更加高效的進行。

數(shù)據(jù)挖掘分析多數(shù)的情況下都是以Mahout 系統(tǒng)，基于Hadoop的機械學(xué)習(xí)，內(nèi)蒙古更好的做好分析工作。如果在系統(tǒng)中要進行事件流關(guān)聯(lián)使用，此時會通過CPE 的方式來實現(xiàn)，把各項數(shù)據(jù)根據(jù)應(yīng)用的需要快速制作完成，能夠掌握關(guān)聯(lián)方面的信息，就能夠組建成為序列庫的形式，保證全部的數(shù)據(jù)都能夠?qū)崿F(xiàn)必要的轉(zhuǎn)化，也就能夠從大量的數(shù)據(jù)信息中掌握必要的隱患信息，也能夠針對實際情況做出安全分析和處理。

4 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

日志和流量為當(dāng)前的網(wǎng)絡(luò)安全分析中的數(shù)據(jù)對象，其包含的內(nèi)容是比較多的，比如報告信息、用戶行為、業(yè)務(wù)行為、訪問、資源等等方面。大數(shù)據(jù)技術(shù)在應(yīng)用到網(wǎng)絡(luò)安全分析中，就能夠?qū)崿F(xiàn)多項數(shù)據(jù)的綜合應(yīng)用，并且做好必要的檢索和處理工作，可以提升網(wǎng)絡(luò)分析效果，提高分析效率。在應(yīng)用信息關(guān)聯(lián)、階段組合、場景關(guān)聯(lián)等分析方式，能夠及時的掌握事件之間所存在的關(guān)聯(lián)，能夠了解到安全漏洞、數(shù)據(jù)被攻擊、數(shù)據(jù)泄露等方面的風(fēng)險，主動防御這些風(fēng)險問題，確保數(shù)據(jù)系統(tǒng)的安全性。

4.1 信息的采集

數(shù)據(jù)采集可以使用Chukwa 等工具，把全部的信息都融入到系統(tǒng)內(nèi)，其處理的速度都能夠達到百兆級別，為后續(xù)的存儲、查詢和分析工作提供良好基礎(chǔ)條件。

4.2 信息的存儲

對于復(fù)雜性較高的數(shù)據(jù)類型以及多樣化的應(yīng)用形式，要想實現(xiàn)分析標(biāo)準(zhǔn)和存儲需要，能夠提升檢索和分析的效率，可以選擇多種存儲方式來完成數(shù)據(jù)存儲。

檢索之下所形成的數(shù)據(jù)信息，主要是通過GBase、Hbase 等列式存儲的方式提升索引效果，實現(xiàn)數(shù)據(jù)響應(yīng)速度的提升。

對于標(biāo)準(zhǔn)化的安全性數(shù)據(jù)信息，然后是根據(jù)Hahoop 來建設(shè)系統(tǒng)結(jié)構(gòu)構(gòu)架，并且保證所有的數(shù)據(jù)都能夠通過進行計算節(jié)點使用，使用Hive 等完成腳本信息，能夠了解各項數(shù)據(jù)信息的應(yīng)用情況，從而可以做好報告的分析和處理，然后再把結(jié)構(gòu)都存放到列式存儲中。

根據(jù)需要進行數(shù)據(jù)的實時分析，可采取Storm、Spark 等流式計算方法，然后將需要的數(shù)據(jù)分別放置在各個計算節(jié)點中，可以達到數(shù)據(jù)流在節(jié)點系統(tǒng)內(nèi)完成自動分析，能夠形成安全凈高，然后就能夠存儲到流失存儲中。

4.3 信息的檢索

信息檢索的目的就是發(fā)現(xiàn)所存在的隱患信息，是通過系統(tǒng)架構(gòu)來實現(xiàn)的，能夠做好各項查詢信息的節(jié)點處理和應(yīng)用，以分布式計算方式為主，能夠保證檢索工作水平和效率達標(biāo)。

4.4 數(shù)據(jù)的分析

實時數(shù)據(jù)分析最為主要的特點就是實時性，能夠快速的掌握必要的數(shù)據(jù)信息，以便于為數(shù)據(jù)分析提供良好基礎(chǔ)條件。這一方式能夠進行實時數(shù)據(jù)分析、內(nèi)存與監(jiān)控和關(guān)聯(lián)安全信息等，能夠充分的了解系統(tǒng)所存在的異常情況。非實時數(shù)據(jù)分析通過使用Hadoop 架構(gòu)來進行，能夠進行數(shù)據(jù)挖掘和處理，統(tǒng)計風(fēng)險問題，及時發(fā)現(xiàn)攻擊源的信息。

4.5 多源數(shù)據(jù)與多階段的綜合性分析

大數(shù)據(jù)技術(shù)在應(yīng)用之后可以促進存儲、分析的效率提升，快速的完成多源異構(gòu)數(shù)據(jù)的挖掘處理，能夠及時發(fā)現(xiàn)數(shù)據(jù)所存在的安全隱患、不同環(huán)節(jié)中的攻擊特性等。比如，對于僵尸網(wǎng)絡(luò)的分析，不僅能夠根據(jù)流量和DNS 特征來了解具體情況，還能夠?qū)崿F(xiàn)數(shù)據(jù)源的分析或擴充，把數(shù)據(jù)信息實現(xiàn)全面的掌握和分析。再比如，某個主機因為攻擊而存在漏洞，則要分析其他關(guān)聯(lián)主機是否存在漏洞問題，要做好及時防范。

5 結(jié)束語

綜上所述，大數(shù)據(jù)技術(shù)應(yīng)用到網(wǎng)絡(luò)安全分析中，可以通過該先進科學(xué)技術(shù)來提升網(wǎng)絡(luò)安全性水平，所以被大量的應(yīng)用到人們的生活中。因此，在網(wǎng)絡(luò)安全推廣和實施中，互聯(lián)網(wǎng)數(shù)據(jù)的增加量比較大，會導(dǎo)致網(wǎng)絡(luò)分析存在一定的問題和不足。在現(xiàn)代社會，通過大數(shù)據(jù)技術(shù)的合理應(yīng)用，促進網(wǎng)絡(luò)安全分析有序進行，建設(shè)完善的安全管理系統(tǒng)，提高安全防護效果，促進網(wǎng)絡(luò)技術(shù)的完善與發(fā)展。