基于分布式計(jì)算的異常網(wǎng)站篩查系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

姜鵬，趙正利

(1.中國(guó)海洋大學(xué)網(wǎng)絡(luò)與信息中心,山東 青島 266100；2.中國(guó)海洋大學(xué)教育系,山東 青島 266100)

?

基于分布式計(jì)算的異常網(wǎng)站篩查系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

姜鵬1，趙正利2

(1.中國(guó)海洋大學(xué)網(wǎng)絡(luò)與信息中心,山東 青島 266100；2.中國(guó)海洋大學(xué)教育系,山東 青島 266100)

摘要：設(shè)計(jì)了一種在大型園區(qū)環(huán)境下對(duì)互聯(lián)網(wǎng)異常網(wǎng)站進(jìn)行篩查的系統(tǒng)，系統(tǒng)在.NET框架下開(kāi)發(fā)運(yùn)行，基于分布式計(jì)算的模式部署，采用HDFS和SQL Server存儲(chǔ)數(shù)據(jù)。分布在多個(gè)子區(qū)域的探針根據(jù)多設(shè)備日志的排序數(shù)據(jù)進(jìn)行異常網(wǎng)站的篩查，核心服務(wù)部分進(jìn)行故障匯總分析、任務(wù)分發(fā)推送和知識(shí)庫(kù)歸檔等操作。該系統(tǒng)具有一定的故障分析能力，可以根據(jù)已有知識(shí)庫(kù)形成故障分析指導(dǎo)，通過(guò)調(diào)用預(yù)定義腳本啟用備用設(shè)備或線路。系統(tǒng)運(yùn)行結(jié)果表明，設(shè)計(jì)科學(xué)有效，能夠給大型企事業(yè)單位的網(wǎng)絡(luò)運(yùn)維和管理提供參考依據(jù)。

關(guān)鍵詞：分布式計(jì)算；信息系統(tǒng)；B/S模式；.NET

隨著信息化的深入發(fā)展，大多數(shù)的企事業(yè)單位尤其是高等院校，在自己園區(qū)內(nèi)擁有著相當(dāng)數(shù)量的臺(tái)式機(jī)、工控機(jī)和服務(wù)器，進(jìn)而自行組建局域網(wǎng)環(huán)境為自己的生產(chǎn)和辦公服務(wù)。為了滿足其設(shè)備上網(wǎng)的需求，這些單位往往同時(shí)租用多個(gè)網(wǎng)絡(luò)運(yùn)營(yíng)商線路，并把它們部署在自己的園區(qū)網(wǎng)絡(luò)邊界，采用NAT、代理等服務(wù)方式對(duì)內(nèi)網(wǎng)用戶和設(shè)備提供服務(wù)。這種方式既節(jié)約總體成本、提高內(nèi)部工作效率，又能有效保護(hù)自己的內(nèi)網(wǎng)安全。

但是這種網(wǎng)絡(luò)模式在日常運(yùn)維中也出現(xiàn)了一些問(wèn)題，其中較為突出是某些內(nèi)部訪問(wèn)量較高的互聯(lián)網(wǎng)網(wǎng)站有時(shí)出現(xiàn)訪問(wèn)異常的故障，而此類網(wǎng)站列表和異常的程度不斷地變化，有時(shí)僅有部分網(wǎng)絡(luò)區(qū)域訪問(wèn)異常，各個(gè)子園區(qū)區(qū)域訪問(wèn)體驗(yàn)不一致。如果單位常用網(wǎng)站出現(xiàn)訪問(wèn)異常的狀況，日常工作會(huì)被影響，進(jìn)而影響企事業(yè)單位效益。其常見(jiàn)的成因有：運(yùn)營(yíng)商線路內(nèi)部微調(diào)甚至故障中斷；異常網(wǎng)站自身問(wèn)題；園區(qū)NAT、代理服務(wù)卡頓故障；園區(qū)內(nèi)網(wǎng)絡(luò)擁塞或病毒擴(kuò)散以及用戶設(shè)備自身問(wèn)題等。在發(fā)生類似問(wèn)題后，單位員工通過(guò)各種通訊方式向運(yùn)維工作人員或報(bào)修系統(tǒng)反饋。故障發(fā)生后定位及排除的常用方法有以下幾種：采取告警性能分析法、應(yīng)用配置數(shù)據(jù)分析法、采用替換法和查看計(jì)算機(jī)網(wǎng)絡(luò)設(shè)備日志[1]。這類傳統(tǒng)處理方式的主要弊端是網(wǎng)絡(luò)運(yùn)維被動(dòng)接受故障信息，處理流程浪費(fèi)用戶的大量時(shí)間；大量異常網(wǎng)站無(wú)人反映以及日志和故障處理的記錄不完整，無(wú)法形成知識(shí)庫(kù)。同時(shí)傳統(tǒng)處理方式為了避免核心設(shè)備的單點(diǎn)故障，盡量做到在整個(gè)計(jì)算機(jī)網(wǎng)絡(luò)的容錯(cuò)系統(tǒng)內(nèi)，每個(gè)部分都有與之相匹配的冗余設(shè)計(jì)[2]。但其觸發(fā)機(jī)制一般與自身設(shè)備狀態(tài)綁定，無(wú)法根據(jù)復(fù)雜網(wǎng)絡(luò)情況自我調(diào)整，因此需要建立自動(dòng)機(jī)制在整個(gè)網(wǎng)絡(luò)層面調(diào)整設(shè)備的配置。

為了保證全網(wǎng)用戶的上網(wǎng)體驗(yàn)，可以利用從分布式信息系統(tǒng)中的不同監(jiān)測(cè)點(diǎn)收集到的監(jiān)測(cè)數(shù)據(jù)對(duì)系統(tǒng)故障檢測(cè)與診斷進(jìn)行研究[3]。把此監(jiān)測(cè)數(shù)據(jù)與網(wǎng)絡(luò)用戶的故障報(bào)修數(shù)據(jù)匯總形成故障維修工單，具有一定用戶主觀性的報(bào)修數(shù)據(jù)能夠補(bǔ)充自動(dòng)檢測(cè)體系的遺漏。分析已處理故障形成知識(shí)庫(kù)，包含故障的典型特征、關(guān)聯(lián)設(shè)備、影響區(qū)域和處理方式等。知識(shí)管理將分散的內(nèi)部應(yīng)用進(jìn)行有效整合，提高資源的共享效率[4]。大量現(xiàn)代社會(huì)的數(shù)據(jù)存儲(chǔ)于XML、JSON和未被充分利用的半結(jié)構(gòu)化數(shù)據(jù)(傳感器、系統(tǒng)、應(yīng)用和事件等日志)[5]中，本系統(tǒng)要保存和分析的多類設(shè)備日志文件具有半結(jié)構(gòu)化數(shù)據(jù)特征，需要構(gòu)筑一個(gè)大容量、價(jià)格低廉且支持在線分析的存儲(chǔ)庫(kù)。分布式文件系統(tǒng)可高效可靠地運(yùn)行在多個(gè)節(jié)點(diǎn)上，提供多種對(duì)外數(shù)據(jù)接口[6]，利用現(xiàn)有主機(jī)組成分布式文件系統(tǒng)對(duì)大數(shù)據(jù)存儲(chǔ)和操作提供有效支持。本研究在充分利用現(xiàn)有網(wǎng)絡(luò)投資的基礎(chǔ)上，構(gòu)建了一個(gè)自動(dòng)化的故障發(fā)現(xiàn)處理系統(tǒng)。

1　設(shè)計(jì)目標(biāo)

根據(jù)對(duì)已有問(wèn)題的分析和信息化發(fā)展的趨勢(shì)，新的異常網(wǎng)站篩查系統(tǒng)計(jì)劃實(shí)現(xiàn)以下的功能和特征，最終建立一套具有故障自診斷功能的異常網(wǎng)站發(fā)現(xiàn)處置系統(tǒng)，保證與其他網(wǎng)絡(luò)設(shè)備和服務(wù)實(shí)現(xiàn)有效數(shù)據(jù)交換，在管理、安全和技術(shù)層面建立完整的異常網(wǎng)站故障篩查體系。

(1)用于保存網(wǎng)絡(luò)設(shè)備日志的存儲(chǔ)選型需要達(dá)到投資較少且性能優(yōu)越的目標(biāo)，充分利用現(xiàn)有服務(wù)器硬件。

(2)系統(tǒng)自動(dòng)在線檢測(cè)多種系統(tǒng)日志，自動(dòng)發(fā)現(xiàn)、分析并匯總故障。

(3)前臺(tái)功能包括普通網(wǎng)絡(luò)用戶報(bào)修和回訪頁(yè)面，用戶可以上報(bào)異常網(wǎng)站地址、現(xiàn)象以及聯(lián)系方式等。

(4)具有已經(jīng)處理問(wèn)題的展示頁(yè)面，普通網(wǎng)絡(luò)用戶可以匿名訪問(wèn)和查詢，合理利用知識(shí)庫(kù)。

(5)后臺(tái)功能完全由Web界面提供，功能詳盡、流程清晰。后臺(tái)操作人員分為系統(tǒng)管理員、監(jiān)督員、故障分派員和故障處理員等幾個(gè)層次。

(6)開(kāi)發(fā)手機(jī)可用的后臺(tái)界面，給上門(mén)服務(wù)的網(wǎng)絡(luò)維護(hù)人員使用。

(7)具有一定的人工智能，可以學(xué)習(xí)已經(jīng)處理完畢的故障流程并給出處理建議。

(8)與現(xiàn)有的邊界設(shè)備有互動(dòng)接口，在某些常見(jiàn)故障發(fā)生的時(shí)候，可以自動(dòng)進(jìn)行處理并記錄。

(9)把普通用戶上報(bào)和系統(tǒng)自動(dòng)發(fā)現(xiàn)故障形成統(tǒng)一的工單，自動(dòng)推送或由故障分派員分發(fā)給相應(yīng)的故障處理員。

(10)形成故障分析報(bào)表功能，通過(guò)對(duì)多發(fā)故障的分析，確定某故障頻發(fā)的園區(qū)子區(qū)域，并進(jìn)一步分析其產(chǎn)生原因；方便后期出口網(wǎng)絡(luò)設(shè)備優(yōu)化；指導(dǎo)設(shè)備購(gòu)置的方向；與網(wǎng)絡(luò)接入商進(jìn)行溝通協(xié)調(diào)等。

2　系統(tǒng)設(shè)計(jì)

在充分利用.NET安全特性的基礎(chǔ)上，按照設(shè)計(jì)目標(biāo)進(jìn)行系統(tǒng)的設(shè)計(jì)開(kāi)發(fā)。利用分布式存儲(chǔ)來(lái)保存分析海量日志數(shù)據(jù)，同時(shí)在關(guān)系數(shù)據(jù)庫(kù)上存儲(chǔ)系統(tǒng)運(yùn)行數(shù)據(jù)。采用分層設(shè)計(jì)理念開(kāi)發(fā)，包括數(shù)據(jù)層、底層功能層、應(yīng)用層和前端展示層，每層包含自己的功能模塊和相對(duì)獨(dú)立的接口。系統(tǒng)功能構(gòu)架如圖1所示。

圖1　系統(tǒng)總體設(shè)計(jì)Fig.1　System overall design

2.1技術(shù)構(gòu)架

本系統(tǒng)采用集成了編程、編譯和運(yùn)行環(huán)境等部分的整體方案，需要其具有安全性、穩(wěn)定性、易用性及可擴(kuò)展性等特點(diǎn)。ASP.NET不僅是ASP的下一個(gè)版本,而且是一種建立在通用語(yǔ)言上的程序構(gòu)架，能被一臺(tái)Web服務(wù)器用于建立強(qiáng)大的Web應(yīng)用程序[7]。系統(tǒng)部署在WindowsServer2012上，采用.NET框架開(kāi)發(fā)，應(yīng)用B/S架構(gòu)。 .NET技術(shù)順序是先編譯后執(zhí)行，并且以ASP腳本解釋執(zhí)行機(jī)制為基礎(chǔ)，可以獲得比較好的運(yùn)行速度[8]。采用C#作為系統(tǒng)開(kāi)發(fā)語(yǔ)言，理論上可以使用任何與公共語(yǔ)言運(yùn)行庫(kù)兼容的語(yǔ)言(包括VisualBasic、VisualC# 和JScript.NET)來(lái)創(chuàng)作應(yīng)用程序，但最合適的編程語(yǔ)言還是MicrosoftStudio為ASP.NETFramework( 框架) 專門(mén)推出的C#[9]。

采用高容錯(cuò)、快速以及可擴(kuò)展的分布式存儲(chǔ)，來(lái)保存和分析大量文本類型的服務(wù)日志。Hadoop成為了典型的大數(shù)據(jù)批量處理架構(gòu),由HDFS負(fù)責(zé)靜態(tài)數(shù)據(jù)的存儲(chǔ)，并通過(guò)MapReduce將計(jì)算邏輯分配到各數(shù)據(jù)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)計(jì)算和價(jià)值發(fā)現(xiàn)[10]。使用Hadoop分布式存儲(chǔ)原始的網(wǎng)絡(luò)設(shè)備日志數(shù)據(jù)，部署運(yùn)行自動(dòng)腳本，間隔固定時(shí)間導(dǎo)入網(wǎng)絡(luò)服務(wù)設(shè)備的完整日志。目前大數(shù)據(jù)分析處理工具中常用的有Hadoop、HPCC、Storm、ApacheDrill、RapidMiner、PentahoBI等[11]。計(jì)劃采用Drill作為中間層，.NET框架下的語(yǔ)言通過(guò)ODBC以類似關(guān)系數(shù)據(jù)庫(kù)的方式操作分布式存儲(chǔ)上半結(jié)構(gòu)化格式的日志[12]。通過(guò)Zookeeper的集群功能把查詢操作分流在多臺(tái)Linux服務(wù)器上[13]。部署SQLServer作為后臺(tái)的底層數(shù)據(jù)庫(kù)，存儲(chǔ)用戶信息、權(quán)限身份和分析數(shù)據(jù)等。

2.2功能模塊

在同一功能層級(jí)內(nèi)采用分界清晰的模塊設(shè)計(jì)來(lái)實(shí)現(xiàn)系統(tǒng)功能，對(duì)大量設(shè)備數(shù)據(jù)自動(dòng)篩選，程序獲取其是否可達(dá)、訪問(wèn)延遲、下載速率以及每小時(shí)訪問(wèn)權(quán)重等參數(shù)作為后期處理優(yōu)先依據(jù)。把故障網(wǎng)站按評(píng)分級(jí)別自動(dòng)推送或人工分配到具體故障處理人員，按照工單流程處理完畢后進(jìn)行詳情反饋確認(rèn)，從而進(jìn)行故障歸類并形成知識(shí)庫(kù)。編寫(xiě)普通上網(wǎng)用戶反饋入口，用戶可以通過(guò)內(nèi)網(wǎng)進(jìn)行故障網(wǎng)站報(bào)修，也同上形成工單及后續(xù)動(dòng)作。

在知識(shí)庫(kù)形成一定規(guī)模后，高級(jí)查詢功能可以對(duì)用戶提供已經(jīng)發(fā)生的典型故障的處理流程。普通用戶甚至可以通過(guò)查詢已解決的故障過(guò)程，自行處理簡(jiǎn)單問(wèn)題。網(wǎng)絡(luò)維護(hù)人員通過(guò)參考已成功處理故障的完整報(bào)告促進(jìn)故障解決。開(kāi)發(fā)與第三方設(shè)備的聯(lián)動(dòng)接口，在出現(xiàn)典型故障時(shí)，按照事先定義的動(dòng)作操作NAT、DNS和出口路由器等設(shè)備。編寫(xiě)用于網(wǎng)絡(luò)維護(hù)的APP，方便外出維護(hù)人員進(jìn)行故障維修。詳細(xì)報(bào)表功能通過(guò)多種圖表展示，對(duì)某段時(shí)間故障按照類型、區(qū)域和出口排序，可以形成詳盡工作量考核報(bào)表并對(duì)網(wǎng)絡(luò)設(shè)備故障排序等等。

2.3安全與權(quán)限

安全策略和制度的落實(shí)貫徹在系統(tǒng)的整個(gè)生命周期內(nèi)，而開(kāi)發(fā)階段更是系統(tǒng)安全的基礎(chǔ)，該設(shè)計(jì)部署多種安全策略確保核心功能和數(shù)據(jù)的安全。嚴(yán)格控制用戶權(quán)限，對(duì)每個(gè)功能函數(shù)和頁(yè)面進(jìn)行權(quán)限定義，采用組策略的方式管理。ASP.NET內(nèi)置了強(qiáng)大的用戶賬號(hào)和角色管理功能，提供了ASP.NET配置工具和7個(gè)組件控件，簡(jiǎn)化用戶調(diào)用相關(guān)功能[14]。利用C#語(yǔ)言的安全特性，細(xì)化輸入的過(guò)濾和頁(yè)面的展現(xiàn)過(guò)程。對(duì)用戶身份和密碼等數(shù)據(jù)，進(jìn)行加密存儲(chǔ)。利用數(shù)據(jù)加密技術(shù)把密鑰和加密數(shù)據(jù)分別存儲(chǔ)，把密鑰與要保護(hù)的數(shù)據(jù)物理隔離起來(lái)，提高數(shù)據(jù)存儲(chǔ)的安全性[15]。配置證書(shū)服務(wù)，利用SSL加密傳輸網(wǎng)絡(luò)用戶上網(wǎng)數(shù)據(jù)，在必須使用Cookies的頁(yè)面啟用Secure功能，確保Cookies流量不被攻擊者與網(wǎng)絡(luò)監(jiān)聽(tīng)截獲[16]。

3　部署實(shí)現(xiàn)

部署和調(diào)優(yōu)分布式文件系統(tǒng)、Drill和SQLServer后，在確定每個(gè)層次功能的基礎(chǔ)上，細(xì)化每個(gè)模塊指標(biāo)參數(shù)，采用C#語(yǔ)言進(jìn)行系統(tǒng)軟件方面的開(kāi)發(fā)測(cè)試。程序全面采用B/S模式構(gòu)架，下面詳細(xì)介紹環(huán)境部署和代碼開(kāi)發(fā)的幾個(gè)關(guān)鍵環(huán)節(jié)。

(1)在局域網(wǎng)內(nèi)的多臺(tái)Linux服務(wù)器上配置Hadoop環(huán)境，每臺(tái)服務(wù)器到交換機(jī)之間都使用雙鏈路鏈接，安裝優(yōu)化HDFS，配置為3物理節(jié)點(diǎn)冗余，使其通過(guò)固定端口對(duì)特定IP提供服務(wù)，調(diào)試自動(dòng)腳本把網(wǎng)絡(luò)設(shè)備的日志文件每間隔半小時(shí)抽取到HDFS上，按照文件格式分別放置。

(2)建立Drill的基于Zookeeper的集群運(yùn)行機(jī)制，配置HDFS作為其半結(jié)構(gòu)數(shù)據(jù)查詢?cè)?。最后在幾臺(tái)互為HTTP服務(wù)負(fù)載均衡的Windows服務(wù)器上安裝DrillODBCDriver，并配置.NET運(yùn)行環(huán)境。

(3)通過(guò)Drill中間層從HDFS抽取最近一小時(shí)的數(shù)據(jù)進(jìn)行分析。在域名服務(wù)器日志篩選過(guò)去一小時(shí)內(nèi)前1 000個(gè)訪問(wèn)量最多的域名的查詢記錄。

…selecttop1000hostname,count(hostname)fromdataesgroupbyhostnameorderbycount(hostname)desc…

//hostname為原始數(shù)據(jù)中的“域名”字段名稱，dataes表格臨時(shí)保存抽取的過(guò)去一小時(shí)原始數(shù)據(jù)。

...

while(reader1.Read())

//依次遍歷1000條記錄

{

stringhostname_temp=reader1[0].ToString();

floatweight1 =float.Parse(reader1[1].ToString()) /count_all;

//count_all為最近一小時(shí)所有的DNS日志總查詢數(shù)。

…

//獲取每條查詢的域名和訪問(wèn)量權(quán)重，全部保存到數(shù)據(jù)庫(kù)待查。

}

//可以通過(guò)類似方式獲取網(wǎng)絡(luò)總出口計(jì)費(fèi)、NAT代理服務(wù)的日志，在子區(qū)域部署探針設(shè)備，自動(dòng)匯總到核心服務(wù)。

(4)另外一個(gè)模塊處于自動(dòng)值守模式，只要數(shù)據(jù)中有上個(gè)步驟最終產(chǎn)生的待查數(shù)據(jù)，就立即運(yùn)行分析，然后把結(jié)論寫(xiě)入相應(yīng)記錄并打上已處理標(biāo)簽。同時(shí)系統(tǒng)管理員也可以預(yù)設(shè)一些固定的典型網(wǎng)址，加入此模塊的分析隊(duì)列。

…

stringIP1 =GetHostEntry(hostName1).AddressList.GetValue(0).ToString();

//把域名轉(zhuǎn)換為IP。

…

interr_times=0;//定義錯(cuò)誤次數(shù)

floattime1=0;

floatavg1;//定義平均ping包返回時(shí)間

for(inti= 1;i<= 5;i++)//采用連續(xù)的5次ping測(cè)試，并記錄結(jié)果

{

Pingping1 =newPing();

PingReplypingReply=ping1.Send(IP1);

if(pingReply.Status==IPStatus.Success)

time1 =time1 +float.Parse(pingReply.RoundtripTime.ToString());

else

err_times++;//獲取ping失敗次數(shù)并記錄

}

avg1 =time1 / (5 -err_times); // 計(jì)算平均ping返回時(shí)間并記錄

…

部署運(yùn)行后形成初步的故障分析列表，如圖2所示。后臺(tái)程序自動(dòng)形成初步的故障分析數(shù)據(jù)，并存儲(chǔ)于SQLServer中；通過(guò)預(yù)定義常用的典型各運(yùn)營(yíng)商網(wǎng)址，可以探測(cè)到多條出口線路的傳輸質(zhì)量；展示界面支持多約束條件自由組合的模糊查詢；可以根據(jù)失敗數(shù)、ping均值等進(jìn)行排序，方便故障的排除。

圖2　初步分析示例Fig.2　Illustration of a preliminary analysis

(5)對(duì)已經(jīng)處理過(guò)的故障進(jìn)行評(píng)級(jí)并記錄詳細(xì)的故障現(xiàn)象，按照異常地址列表、涉及設(shè)備、線路列表和影響子區(qū)域等分類形成指標(biāo)體系。系統(tǒng)把同時(shí)段內(nèi)所有的故障進(jìn)行篩選，與現(xiàn)有知識(shí)庫(kù)的故障多種特征進(jìn)行匹配，各自乘以權(quán)重指數(shù)后計(jì)算相似值，按照故障相似值的高低向用戶或維護(hù)人員進(jìn)行建議推送。展示界面如圖3所示。系統(tǒng)自動(dòng)把類似故障進(jìn)行歸類并綜合分析并且分析故障的緊急程度并進(jìn)行評(píng)分、預(yù)設(shè)一些可行的在線自動(dòng)應(yīng)急方案(如出口線路切換、備用設(shè)備頂替、病毒子區(qū)域暫停等)，配置好各自的腳本以遠(yuǎn)程控制相應(yīng)設(shè)備，如果新發(fā)故障相似值超過(guò)95%，程序調(diào)用相應(yīng)自動(dòng)腳本并通知管理人員進(jìn)行后續(xù)處理。

圖3　綜合分析處理示例Fig.3　Illustration of a comprehensive analysis and event handling

4　結(jié)論

本系統(tǒng)在長(zhǎng)期合理使用的基礎(chǔ)上會(huì)產(chǎn)生不斷增加的價(jià)值，可以有效利用現(xiàn)有軟硬件投資，把多個(gè)設(shè)備進(jìn)行數(shù)據(jù)高效互聯(lián)，其分析報(bào)表功能可以為企事業(yè)單位在網(wǎng)絡(luò)硬件、人員聘用和帶寬租用上節(jié)省大量資金。但由于實(shí)際的網(wǎng)絡(luò)設(shè)備通常由多個(gè)廠家設(shè)備組成，所以聯(lián)動(dòng)部分在試運(yùn)行后需要通過(guò)不斷的調(diào)優(yōu)操作來(lái)適應(yīng)系統(tǒng)版本和設(shè)備硬件的更替。另外，本系統(tǒng)的分布式存儲(chǔ)保留了主要的出口日志，構(gòu)架了半結(jié)構(gòu)化數(shù)據(jù)的類SQL查詢中間層，在后期通過(guò)增加相應(yīng)功能模塊，可以很方便地把本系統(tǒng)擴(kuò)展為網(wǎng)絡(luò)訪問(wèn)日志的存儲(chǔ)查詢分析平臺(tái)。

參考文獻(xiàn)：

[1]王嘉慶. 計(jì)算機(jī)網(wǎng)絡(luò)常見(jiàn)故障及其維護(hù)管理[J]. 信息與電腦:理論版, 2016(2):167-168.

[2]顏興輝. 容錯(cuò)技術(shù)在計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)中的應(yīng)用[J]. 電腦知識(shí)與技術(shù), 2015, 11(24):31-32.

[3]尹娟, 葛愿, 王炎,等. 大型分布式信息系統(tǒng)故障檢測(cè)研究[J]. 安徽工程大學(xué)學(xué)報(bào), 2015(5):45-52.

[4]問(wèn)梁軍. 企業(yè)信息化建設(shè)中的知識(shí)管理探討[J]. 工程建設(shè)與設(shè)計(jì), 2012(11):178-180.

[5]RAJP,RAMANA,NAGARAJD,etal.High-PerformanceIntegratedSystems,Databases,andWarehousesforBigandFastDataAnalytics[M]//High-PerformanceBig-DataAnalytics.Berlin:SpringerInternationalPublishing, 2015.

[6]MAZUMDERS.BigDataToolsandPlatforms[M]//BigDataConcepts,Theories,andApplications.Berlin:SpringerInternationalPublishing, 2016.

[7]王璠, 王廷璇. 基于ASP.NET的物流倉(cāng)儲(chǔ)管理子系統(tǒng)的設(shè)計(jì)[J]. 物流技術(shù), 2014, 33(1):349-353.

[8]李強(qiáng).ASP、ASP.NET和JSP是動(dòng)態(tài)網(wǎng)頁(yè)設(shè)計(jì)技術(shù)比較[J]. 電腦知識(shí)與技術(shù), 2014，10(34):8296-8297.

[9]余翠蘭. 基于ASP.NET的學(xué)生住宿管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 軟件, 2014(4):37-41.

[10]程學(xué)旗, 靳小龍, 王元卓,等. 大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J]. 軟件學(xué)報(bào), 2014，25(9):1889-1908.

[11]方巍, 鄭玉, 徐江. 大數(shù)據(jù):概念、技術(shù)及應(yīng)用研究綜述[J]. 南京信息工程大學(xué)學(xué)報(bào)：自然科學(xué)版, 2014，6(5):405-419.[12]APACHEDRILL.ODBC/JDBCInterfaces[EB/OL]. [2016-01-20].http://drill.apache.org/docs/odbc-jdbc-interfaces/.

[13]Hadoop.ZooKeeper3.4Documentation[EB/OL]. [2016-01-08].http://zookeeper.apache.org/doc/trunk/zookeeperOver.html.[14]方開(kāi)紅, 劉小園.ASP.NET網(wǎng)站開(kāi)發(fā)技術(shù)的安全性研究與應(yīng)用[J]. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用, 2014(5):32-33.

[15]陳紅松, 韓至, 鄧淑寧. 智慧城市中大數(shù)據(jù)安全分析與研究[J]. 信息網(wǎng)絡(luò)安全, 2015(7):1-6.

[16]CHENP,NIKIFORAKISN,DESMETL,etal.SecurityAnalysisoftheChineseWeb:Howwellisitprotected?[C]//Proceedingsofthe2014WorkshoponCyberSecurityAnalytics,IntelligenceandAutomation.[S.l.]:ACM, 2014:3-9.

DOI:10.3976/j.issn.1002-4026.2016.04.020

收稿日期：2016-04-12

作者簡(jiǎn)介：姜鵬(1979-)，男，工程師，研究方向?yàn)檐浖こ?、信息安全?/p>

中圖分類號(hào)：TP311.1

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1002-4026(2016)04-0106-06

Design and implementation of distributed computingbasedscreeningsystemofabnormalwebsites

JIANG Peng1, ZHAO Zheng-li2

(1.Network and Information Center, Ocean University of China,Qingdao 266100,China;2.DepartmentofEducation,OceanUniversityofChina,Qingdao266100,China)

Abstract∶We devise an automatic screening system for abnormal websites on the Internet in a large-scale zone. It is implemented with .NET Framework, distributed deployment, HDFS and SQL Server. Multiple sub-areas deployed probes can automatically screen out abnormal sites based on the sorted log data from multiple devices. Its core services include meta-analysis of fault, task distribution, and knowledge base archive. It has certain fault analysis capability, fault analysis and guidance based on existing knowledge base, alternate devices or lines startup by calling predefined scripts. Its operation results show that it is scientific and effective, and can provide a reference for network operation and maintenance of large-scale enterprises.

Key words∶distributed computing; information system; B/S mode; .NET