網(wǎng)絡(luò)安全分析的大數(shù)據(jù)技術(shù)實(shí)踐解析 

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了網(wǎng)絡(luò)安全分析的大數(shù)據(jù)技術(shù)實(shí)踐解析 范文，希望能給你帶來靈感和參考，敬請(qǐng)閱讀。

摘要：網(wǎng)絡(luò)信息技術(shù)的迅速發(fā)展，使得人們的生活生產(chǎn)變得更為方便，但是面對(duì)呈井噴式增長(zhǎng)的數(shù)據(jù)，再加上其復(fù)雜程度越來越高，都使得網(wǎng)絡(luò)安全面臨較大威脅，網(wǎng)絡(luò)安全問題已經(jīng)引起了人們的廣泛重視。本文著眼于大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析中的重要性，對(duì)其實(shí)踐應(yīng)用進(jìn)行了分析，并探究了大數(shù)據(jù)技術(shù)背景下網(wǎng)絡(luò)安全平臺(tái)的建設(shè)策略，希望對(duì)構(gòu)建安全網(wǎng)絡(luò)環(huán)境具有幫助作用。

關(guān)鍵詞：網(wǎng)絡(luò)安全分析；大數(shù)據(jù)技術(shù)；重要性；平臺(tái)建設(shè)

0引言

網(wǎng)絡(luò)化、信息化時(shí)代背景下，人們對(duì)互聯(lián)網(wǎng)的依賴程度越來越高，但是網(wǎng)絡(luò)信息安全問題也變得更為嚴(yán)峻，近些年所發(fā)生的網(wǎng)絡(luò)安全事件屢見不鮮，如2017年老牌信用機(jī)構(gòu)Equifax遭黑客攻擊，1.43億用戶信息被盜事件，全球爆發(fā)WannaCrypt勒索病毒等。面對(duì)愈發(fā)復(fù)雜的網(wǎng)絡(luò)環(huán)境以及海量增長(zhǎng)的數(shù)據(jù)信息，傳統(tǒng)網(wǎng)絡(luò)安全防護(hù)技術(shù)已經(jīng)無法滿足實(shí)際需求，將大數(shù)據(jù)技術(shù)加以充分應(yīng)用，構(gòu)建網(wǎng)絡(luò)安全平臺(tái)，能夠顯著增強(qiáng)網(wǎng)絡(luò)安全等級(jí)，是當(dāng)下研究的熱點(diǎn)。

1大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析中的重要性

大數(shù)據(jù)技術(shù)具有有數(shù)據(jù)量大、種類繁多、速度快、價(jià)值密度低等特點(diǎn)，在網(wǎng)絡(luò)安全分析中有著較高的應(yīng)用價(jià)值，其重要性具體體現(xiàn)在以下幾方面。第一，大數(shù)據(jù)技術(shù)可以拓寬數(shù)據(jù)存儲(chǔ)容量，滿足海量數(shù)據(jù)安全分析需求，并且在對(duì)多源數(shù)據(jù)和多階段組合進(jìn)行分析時(shí)，在保證運(yùn)算效率的同時(shí)，還能確保數(shù)據(jù)的完整性。第二，大數(shù)據(jù)技術(shù)能夠?qū)W(wǎng)絡(luò)數(shù)據(jù)進(jìn)行多層級(jí)、多精度分析，理清數(shù)據(jù)間的復(fù)雜關(guān)系，找出其中潛在的安全隱患和風(fēng)險(xiǎn)，網(wǎng)絡(luò)安全分析精度大幅提升。第三，利用大數(shù)據(jù)分析技術(shù)，可以對(duì)異構(gòu)數(shù)據(jù)進(jìn)行存儲(chǔ)和分析，顯著提高了網(wǎng)絡(luò)安全分析速率，能夠在更短時(shí)間內(nèi)發(fā)現(xiàn)并解決網(wǎng)絡(luò)安全問題[1]。第四，傳統(tǒng)網(wǎng)絡(luò)安全平臺(tái)為結(jié)構(gòu)化數(shù)據(jù)庫，而基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺(tái)為分布式數(shù)據(jù)庫，具有良好的經(jīng)濟(jì)效益，設(shè)備成本較低且性能良好，減少了系統(tǒng)維修費(fèi)用，降低了網(wǎng)絡(luò)安全平臺(tái)構(gòu)建成本。

2網(wǎng)絡(luò)安全分析的大數(shù)據(jù)技術(shù)實(shí)踐

將大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析方面，可以實(shí)現(xiàn)對(duì)日志和流量的集中化存儲(chǔ)與分析，深層挖掘數(shù)據(jù)之間的關(guān)系，增強(qiáng)了網(wǎng)絡(luò)安全檢測(cè)及防防護(hù)能力。

2.1數(shù)據(jù)采集

網(wǎng)絡(luò)安全分析需要依托全面、完整的信息數(shù)據(jù)，在應(yīng)用大數(shù)據(jù)技術(shù)時(shí)，應(yīng)先完成數(shù)據(jù)采集。對(duì)于每秒數(shù)百兆的日志信息來講，可以利用Chukwa等工具對(duì)其進(jìn)行采集；對(duì)于全數(shù)量數(shù)據(jù)來講，可以使用傳統(tǒng)數(shù)鏡向方式對(duì)其進(jìn)行采集[2]。

2.2數(shù)據(jù)存儲(chǔ)

完成數(shù)據(jù)采集后，需依托數(shù)據(jù)庫對(duì)其進(jìn)行集中存儲(chǔ)，在大數(shù)據(jù)技術(shù)的幫助下，數(shù)據(jù)類型存在差異時(shí)，可以采用與其相匹配的方式完成存儲(chǔ)，不僅能夠保證數(shù)據(jù)之間的明確分類，又可以方便數(shù)據(jù)查詢。數(shù)據(jù)類型為即時(shí)數(shù)據(jù)時(shí)，可采用列式存儲(chǔ)方法，先運(yùn)用流式計(jì)算方式進(jìn)行分析，然后存儲(chǔ)所得結(jié)果。數(shù)據(jù)類型為日志時(shí)，為提高數(shù)據(jù)查詢效率，可選用列式存儲(chǔ)方法完成存儲(chǔ)。另外，當(dāng)數(shù)據(jù)經(jīng)過標(biāo)準(zhǔn)化處理后，需要先對(duì)其進(jìn)行處理，所用方法為分布式計(jì)算方法，然后再采用列式存儲(chǔ)方法進(jìn)行存儲(chǔ)。

2.3數(shù)據(jù)查詢

將大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析中去，就數(shù)據(jù)查詢來講，可依托MapReduce完成[3]。系統(tǒng)發(fā)出查詢指令后，在對(duì)應(yīng)的節(jié)點(diǎn)位置完成處理，并將多種結(jié)果加以整合，然后可以通過檢索得到自己所需數(shù)據(jù)信息。相較于傳統(tǒng)網(wǎng)絡(luò)安全分析平臺(tái)，這種數(shù)據(jù)查詢方式的指令反應(yīng)及處理更為迅速，大大提高了查詢效率。

2.4數(shù)據(jù)分析

基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全分析平臺(tái)，當(dāng)數(shù)據(jù)類型不同時(shí)，所用分析處理方法也是不一樣的。首先，如果數(shù)據(jù)類型為實(shí)時(shí)數(shù)據(jù)時(shí)，在對(duì)其進(jìn)行分析和處理時(shí)，主要用到了流式計(jì)算方式、CEP技術(shù)、關(guān)聯(lián)分析算法等，可以及時(shí)發(fā)現(xiàn)潛在的安全隱患及威脅。其次，如果數(shù)據(jù)類型為歷史數(shù)據(jù)、統(tǒng)計(jì)結(jié)果時(shí)，在實(shí)效性方面要求并不嚴(yán)格，可對(duì)其進(jìn)行離線處理，完成更為深入、全面的分析，所用方法主要為分布式存儲(chǔ)與計(jì)算，既能夠發(fā)現(xiàn)其中的風(fēng)險(xiǎn)隱患，又可以找出攻擊來源。

2.5復(fù)雜數(shù)據(jù)處理

面對(duì)越來越復(fù)雜以及關(guān)聯(lián)性越來越強(qiáng)的數(shù)據(jù)，以大數(shù)據(jù)技術(shù)為依托的網(wǎng)絡(luò)安全分析平臺(tái)，也可以更加迅速、精準(zhǔn)地對(duì)其進(jìn)行處理，包括多源異構(gòu)數(shù)據(jù)、系統(tǒng)安全隱患以及關(guān)聯(lián)性攻擊行為等。以網(wǎng)絡(luò)安全問題中常見的僵尸網(wǎng)絡(luò)為例，借助大數(shù)據(jù)技術(shù)，不但能夠從流量和DNS訪問特性出發(fā)，而且能進(jìn)行發(fā)散性關(guān)聯(lián)分析，同時(shí)結(jié)合多方面的數(shù)據(jù)信息，可對(duì)數(shù)據(jù)進(jìn)行多維度、深層次、全方位分析，確保了數(shù)據(jù)處理的有效性。

3大數(shù)據(jù)技術(shù)背景下網(wǎng)絡(luò)安全平臺(tái)建設(shè)

基于大數(shù)據(jù)技術(shù)所體現(xiàn)出的多方面優(yōu)勢(shì)，已經(jīng)在網(wǎng)絡(luò)安全分析方面得到了越來越廣泛的應(yīng)用，在構(gòu)建網(wǎng)絡(luò)安全平臺(tái)時(shí)，需要科學(xué)設(shè)計(jì)其基礎(chǔ)構(gòu)架，并嚴(yán)格把控關(guān)鍵技術(shù)環(huán)節(jié)，充分發(fā)揮其應(yīng)用價(jià)值。

3.1平臺(tái)構(gòu)架

以大數(shù)據(jù)技術(shù)為依托，所搭建的網(wǎng)絡(luò)安全平臺(tái)分為四個(gè)層級(jí)，包括數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)挖掘分析層、數(shù)據(jù)呈現(xiàn)層，四個(gè)層級(jí)功能各不相同，需要分別對(duì)其進(jìn)行分析。首先，數(shù)據(jù)采集層主要負(fù)責(zé)采集各種類型數(shù)據(jù)，包括即時(shí)數(shù)據(jù)、用戶身份信息、日志等，實(shí)現(xiàn)方式為分布式采集。其次，數(shù)據(jù)存儲(chǔ)層的能夠?qū)崿F(xiàn)海量信息的長(zhǎng)期保存，并采用結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化方式對(duì)其進(jìn)行統(tǒng)一存儲(chǔ)，使用均衡算法將現(xiàn)實(shí)數(shù)據(jù)均勻分布在分布式文件系統(tǒng)上[4]。另外，網(wǎng)絡(luò)安全異常的發(fā)現(xiàn)及溯源，則是在數(shù)據(jù)挖掘分析層完成，具體方法包括特征提取、情境分析、關(guān)聯(lián)分析等，可通過檢索查詢對(duì)異常網(wǎng)絡(luò)行為進(jìn)行準(zhǔn)確定位。最后，數(shù)據(jù)呈現(xiàn)層則可以通過可視化形式將大數(shù)據(jù)分析結(jié)果呈現(xiàn)出來，通過多種維度展現(xiàn)網(wǎng)絡(luò)安全狀態(tài)。

3.2關(guān)鍵技術(shù)

構(gòu)建網(wǎng)絡(luò)安全平臺(tái)時(shí)，所用到的關(guān)鍵技術(shù)主要有數(shù)據(jù)采集技術(shù)、數(shù)據(jù)存儲(chǔ)技術(shù)、數(shù)據(jù)分析技術(shù)等。此次研究所用數(shù)據(jù)采集技術(shù)包括Flume、Kafka、Storm等，F(xiàn)lume能夠采用分布式方式，對(duì)來源不同的數(shù)據(jù)進(jìn)行收集和整理，經(jīng)過處理后將其傳輸至定制方。Kafka中應(yīng)用了Zookeeper平臺(tái)，可實(shí)現(xiàn)數(shù)據(jù)的集群配置管理，能夠作為一個(gè)高吞吐量的分布式訂閱系統(tǒng)應(yīng)用，平衡數(shù)據(jù)處理環(huán)節(jié)的系統(tǒng)負(fù)荷。完成數(shù)據(jù)采集后，采用HDFS分布式文件系統(tǒng)對(duì)其進(jìn)行存儲(chǔ)，其容錯(cuò)性和吞吐量都比較高，使用元數(shù)據(jù)管理節(jié)點(diǎn)文件系統(tǒng)對(duì)空間命名，數(shù)據(jù)文件保存至數(shù)據(jù)節(jié)點(diǎn)，基本存儲(chǔ)單位為64兆字節(jié)的數(shù)據(jù)塊。數(shù)據(jù)文件會(huì)隨著元數(shù)據(jù)節(jié)點(diǎn)的增多而減少，兩者之間呈反比關(guān)系，多個(gè)文件同時(shí)被訪問時(shí)，會(huì)對(duì)系統(tǒng)性能造成影響，而HDFS分布式文件系統(tǒng)的應(yīng)用可有效避免這種問題。在數(shù)據(jù)分析環(huán)節(jié)，該平臺(tái)所用技術(shù)為Hivc，對(duì)于非結(jié)構(gòu)化數(shù)據(jù)的檢索，所用語言為HiveQL，與HDFS和HBase匹配性良好。API的封裝則是采用Hive完成，使用定制的插件開發(fā)和實(shí)現(xiàn)各種數(shù)據(jù)的處理、分析與統(tǒng)計(jì)。

4結(jié)束語

將大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析領(lǐng)域，不僅能夠提高分析速率、分析精準(zhǔn)度，而且還可以降低技術(shù)成本，有著多方面顯著優(yōu)勢(shì)，是未來網(wǎng)絡(luò)安全防護(hù)的必然發(fā)展方向。在實(shí)際應(yīng)用時(shí)，應(yīng)采用層級(jí)結(jié)構(gòu)構(gòu)建網(wǎng)絡(luò)安全平臺(tái)，就數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析等關(guān)鍵技術(shù)環(huán)節(jié)進(jìn)行重點(diǎn)把控，以此來改善當(dāng)前網(wǎng)絡(luò)安全分析中的缺陷與不足，提高網(wǎng)絡(luò)安全等級(jí)。

參考文獻(xiàn)：

[1]孫玉.淺談網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017.

[2]王帥,汪來富,金華敏等.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J].電信科學(xué)，2015.

[3]賈衛(wèi).網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用探討[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2016.

[4]萬明秀,宋秋蓮.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用探討[J].無線互聯(lián)科技，2017.

作者:許茂森 單位:菏澤職業(yè)學(xué)院