高校網(wǎng)絡(luò)日志大數(shù)據(jù)分析平臺(tái)研究

單康康+王佶+常曉潔+牟星亮+張華+朱生

摘 要： 許多高校面臨著用戶快速增長(zhǎng)、網(wǎng)絡(luò)數(shù)據(jù)龐大、信息安全隱患等多方面的問(wèn)題，校園網(wǎng)每天生成NAT、DNS、Web、VPN等海量網(wǎng)絡(luò)日志，對(duì)網(wǎng)絡(luò)IT運(yùn)維管理和大數(shù)據(jù)處理提出挑戰(zhàn)。通過(guò)介紹一種基于大數(shù)據(jù)的海量網(wǎng)絡(luò)日志分析平臺(tái)，研究大數(shù)據(jù)分析平臺(tái)的技術(shù)架構(gòu)與總線模塊，實(shí)現(xiàn)了對(duì)校園網(wǎng)海量日志進(jìn)行統(tǒng)一收集與大數(shù)據(jù)分析。

關(guān)鍵詞： 校園網(wǎng)； 信息化建設(shè)； 網(wǎng)絡(luò)日志； 運(yùn)維管理； 大數(shù)據(jù)分析

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2017）04- -03

Abstract： Many colleges and universities are faced with the problems of rapid growth of users， massive network data and information security risks etc.， the campus network generates massive network logs of NAT， DNS， Web， VPN and so on， it challenges the network IT Operations Management （ITOM） and big data processing. This paper introduces a massive network logs analysis platform based on the big data technology， studies the technology architecture and bus module of big data analysis platform， and realizes the collection and big data analysis of the campus massive network logs.

Key words： campus network； information construction； network logs； ITOM； big data analysis

0 引言

隨著信息技術(shù)日新月異，各類應(yīng)用層出不窮，部分高校已經(jīng)建成一個(gè)集普適服務(wù)網(wǎng)、科研學(xué)術(shù)專網(wǎng)、物聯(lián)感知專網(wǎng)于一體，融數(shù)據(jù)、語(yǔ)音、視頻等各類信息通訊能力于一身，高速通暢、安全可靠的下一代校園綜合支撐網(wǎng)絡(luò)環(huán)境[1]。高校網(wǎng)絡(luò)用戶逐年遞增，網(wǎng)站流量、DNS域名解析、VPN數(shù)據(jù)、郵箱等應(yīng)用每天產(chǎn)生海量數(shù)據(jù)。對(duì)校園網(wǎng)每天產(chǎn)生的海量日志進(jìn)行存儲(chǔ)、計(jì)算、分析，研究如何充分利用大數(shù)據(jù)技術(shù)對(duì)校園網(wǎng)數(shù)據(jù)進(jìn)行有效整合，更好地為廣大師生提供服務(wù)，為學(xué)校管理者提供更好的決策依據(jù)十分必要，這也是校園網(wǎng)運(yùn)維未來(lái)發(fā)展和打造智慧校園的一部分。

1 需求與目標(biāo)

高校的信息化建設(shè)普遍面臨著運(yùn)維問(wèn)題，即：校園網(wǎng)絡(luò)用戶規(guī)模逐年遞增，運(yùn)維難度增大、比較被動(dòng)、效率低。用戶基本通過(guò)電話報(bào)修，運(yùn)維人員難以遠(yuǎn)程定位故障，而上門維護(hù)時(shí)又難以再現(xiàn)故障，現(xiàn)有的網(wǎng)絡(luò)運(yùn)維管理系統(tǒng)對(duì)運(yùn)維的支持力度有限。如何充分利用現(xiàn)有的運(yùn)維管理軟件，以及各類有線網(wǎng)/無(wú)線網(wǎng)運(yùn)維過(guò)程產(chǎn)生的大量的結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，是亟待解決的一個(gè)主要問(wèn)題。

我們需要具備更強(qiáng)大的數(shù)據(jù)存儲(chǔ)、處理、分析的大數(shù)據(jù)平臺(tái)，以提高校園有線與無(wú)線網(wǎng)絡(luò)的運(yùn)維效率、大數(shù)據(jù)分析和利用能力，需建設(shè)一套涵蓋有線與無(wú)線網(wǎng)大數(shù)據(jù)運(yùn)維支持平臺(tái)系統(tǒng)，實(shí)現(xiàn)校園網(wǎng)運(yùn)行數(shù)據(jù)的獲取、存儲(chǔ)、分析[2]。通過(guò)大數(shù)據(jù)處理，實(shí)現(xiàn)運(yùn)維分析和查詢，提高運(yùn)維主動(dòng)性和效率、解決運(yùn)維難題，能夠解決目前運(yùn)維過(guò)程中發(fā)生的問(wèn)題。例如，將現(xiàn)有VPN有線上網(wǎng)日志、無(wú)線上網(wǎng)用戶日志、DNS域名日志、網(wǎng)站訪問(wèn)日志等相關(guān)的數(shù)據(jù)庫(kù)、信息系統(tǒng)日志文本數(shù)據(jù)等進(jìn)行相關(guān)的處理分析，以提高運(yùn)維方面的效率。該平臺(tái)軟件系統(tǒng)需要能夠平滑擴(kuò)展，為未來(lái)的海量數(shù)據(jù)分析提供更多的數(shù)據(jù)利用的應(yīng)用接口。

2 校園網(wǎng)大數(shù)據(jù)分析平臺(tái)總體框架

2.1 平臺(tái)拓?fù)?/p>

校園網(wǎng)大數(shù)據(jù)分析平臺(tái)，對(duì)有線網(wǎng)和無(wú)線網(wǎng)運(yùn)行數(shù)據(jù)進(jìn)行獲取、存儲(chǔ)、分析，通過(guò)大數(shù)據(jù)處理，實(shí)現(xiàn)運(yùn)維分析和查詢，提高校園網(wǎng)運(yùn)維主動(dòng)性和效率，能夠解決目前運(yùn)維過(guò)程中發(fā)生的問(wèn)題。圖1為校園網(wǎng)大數(shù)據(jù)平臺(tái)拓?fù)浣Y(jié)構(gòu)。

2.2 平臺(tái)角色定義

校園網(wǎng)大數(shù)據(jù)分析平臺(tái)有如下系統(tǒng)功能角色定義和要求，如表1。

2.3 功能模塊

校園網(wǎng)大數(shù)據(jù)分析平臺(tái)需實(shí)現(xiàn)以下基本功能模塊。

⑴ 數(shù)據(jù)感知與獲取

運(yùn)維數(shù)據(jù)不僅是實(shí)時(shí)數(shù)據(jù)，更要?dú)v史數(shù)據(jù)，定期采集的多業(yè)務(wù)系統(tǒng)的歷史數(shù)據(jù)，對(duì)運(yùn)維分析十分有用。整合認(rèn)證系統(tǒng)、用戶管理系統(tǒng)、網(wǎng)管系統(tǒng)等多業(yè)務(wù)系統(tǒng)的數(shù)據(jù)[3]，實(shí)時(shí)或離線收集有線網(wǎng)絡(luò)/無(wú)線網(wǎng)絡(luò)的設(shè)備運(yùn)行于用戶狀態(tài)數(shù)據(jù)，實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)管理分析平臺(tái)，解決多平臺(tái)之間手動(dòng)切換的低效率運(yùn)行模式。

⑵ 數(shù)據(jù)存儲(chǔ)與管理

大數(shù)據(jù)運(yùn)維支撐平臺(tái)可以按需將歷史數(shù)據(jù)進(jìn)行展示，可以是以用戶為中心的歷史展示，也可以是以設(shè)備為中心的歷史數(shù)據(jù)展示。例如，用戶報(bào)修宿舍有線/無(wú)線網(wǎng)絡(luò)不穩(wěn)定或者信號(hào)差等問(wèn)題并提供賬號(hào)和房間號(hào)等簡(jiǎn)單信息，運(yùn)維人員可以根據(jù)該用戶的歷史數(shù)據(jù)進(jìn)行分析，例如歷史關(guān)聯(lián)AP信息，歷史信號(hào)強(qiáng)度信息等分析故障原因，實(shí)現(xiàn)數(shù)據(jù)支持的運(yùn)維模式，提高運(yùn)維效率。

⑶ 數(shù)據(jù)挖掘與計(jì)算

提供一個(gè)全面、準(zhǔn)確、快速的跨系統(tǒng)檢索、比對(duì)、碰撞，同時(shí)又能進(jìn)行海量數(shù)據(jù)運(yùn)算，為全校網(wǎng)絡(luò)運(yùn)維和無(wú)線AP故障排查提供智能化服務(wù)的應(yīng)用平臺(tái)是當(dāng)前的迫切需求[4]。例如：無(wú)線網(wǎng)運(yùn)行數(shù)據(jù)匯聚與處理功能模塊，提供AP事件聚合，Top 10 AP使用統(tǒng)計(jì)等功能；無(wú)線網(wǎng)運(yùn)維人員查詢定位功能模塊，通過(guò)配置管理和調(diào)用地圖，確定AP位置，同時(shí)能夠通過(guò)搜索快速定位；無(wú)線全網(wǎng)運(yùn)行情況統(tǒng)計(jì)功能模塊，支持基于上網(wǎng)地點(diǎn)、所在小區(qū)、客戶端類型、使用的上網(wǎng)設(shè)備型號(hào)等方面的統(tǒng)計(jì)；無(wú)線網(wǎng)智能化分析判斷功能模塊，要求能夠支持報(bào)警信息分析，支持圖表方式實(shí)時(shí)監(jiān)控上下載速度、AP連接終端數(shù)、AP狀態(tài)，快速定位故障AP位置等功能，為實(shí)現(xiàn)快速運(yùn)維優(yōu)化提供技術(shù)保障。

⑷ 數(shù)據(jù)安全與共享

校園網(wǎng)絡(luò)數(shù)據(jù)日志能夠較好地體現(xiàn)全校師生的日?；顒?dòng)范圍、日常生活情況、日常心理狀態(tài)等，這些對(duì)于提高全校師生的管理是非常有效的。利用相關(guān)數(shù)據(jù)日志，通過(guò)有效的數(shù)據(jù)挖掘、數(shù)據(jù)研判，獲取相關(guān)有用的信息，已成為校園管理信息化的基本要求。數(shù)據(jù)共享要求實(shí)現(xiàn)用戶隱私的保護(hù)，確保數(shù)據(jù)安全。通過(guò)處理分析數(shù)據(jù)，推送給第三方業(yè)務(wù)分析廠商使用，深度挖掘數(shù)據(jù)的價(jià)值[5]。在提供給第三方廠商開發(fā)或其他使用時(shí)，需要對(duì)提供的數(shù)據(jù)進(jìn)行合理處理。如確保關(guān)鍵個(gè)人隱私信息如（身份證、電話號(hào)碼）部分位置隱藏等。

3 結(jié)束語(yǔ)

大數(shù)據(jù)技術(shù)的發(fā)展為數(shù)字化校園建設(shè)帶來(lái)了新的技術(shù)手段和依據(jù)。本文研究校園網(wǎng)絡(luò)日志大數(shù)據(jù)分析平臺(tái)架構(gòu)和功能模塊，對(duì)有線網(wǎng)和無(wú)線網(wǎng)運(yùn)行數(shù)據(jù)進(jìn)行獲取、存儲(chǔ)、分析，通過(guò)大數(shù)據(jù)處理，實(shí)現(xiàn)運(yùn)維分析和查詢，提高校園網(wǎng)運(yùn)維主動(dòng)性和效率，能夠解決目前運(yùn)維過(guò)程中發(fā)生的問(wèn)題，針對(duì)高校大數(shù)據(jù)的實(shí)際情況，有針對(duì)性地利用大數(shù)據(jù)思想和技術(shù)，充分發(fā)掘和分析高校大數(shù)據(jù)的價(jià)值，可以有效的加強(qiáng)運(yùn)維保障水平，提高數(shù)據(jù)管理質(zhì)量，提升部門工作效率，為高校管理決策提供支撐，并對(duì)教學(xué)、學(xué)習(xí)、校園安全的開展十分有益。

參考文獻(xiàn)（Reference）：

[1] 任凱，鄧武，俞琰.基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)日志分析系統(tǒng)研究[J].現(xiàn)代電子技術(shù)，2016.39（2）：39-41

[2] 姜開達(dá)，章思宇，孫強(qiáng).基于Hadoop的校園網(wǎng)站日志系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].華東師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2015.B03：126-131

[3] 章思宇，孫強(qiáng)，姜開達(dá).自動(dòng)化運(yùn)維中的大數(shù)據(jù)分析[J].中國(guó)教育網(wǎng)絡(luò)，2015.7：27-28

[4] 張春生，郭長(zhǎng)杰，尹兆濤.基于大數(shù)據(jù)技術(shù)的IT基礎(chǔ)設(shè)施日志分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].微型電腦應(yīng)用，2016.32（6）：49-52

[5] 單留舉，王曉東，馬英運(yùn).基于大數(shù)據(jù)的用戶學(xué)習(xí)偏好建模及應(yīng)用[J].計(jì)算機(jī)應(yīng)用與軟件，2016.33（1）：77-80