基于Web挖掘的網(wǎng)絡(luò)課程平臺(tái)研究

李偉群

（廣州民航職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)系，廣東 廣州 510403）

基于Web挖掘的網(wǎng)絡(luò)課程平臺(tái)研究

李偉群

（廣州民航職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)系，廣東 廣州 510403）

通過(guò)分析了目前網(wǎng)絡(luò)課程應(yīng)用中存在的問(wèn)題，提出基于web挖掘的網(wǎng)絡(luò)課程平臺(tái)設(shè)計(jì)模型，并重點(diǎn)對(duì)Web挖掘系統(tǒng)模塊關(guān)鍵技術(shù)進(jìn)行介紹。論文對(duì)增強(qiáng)網(wǎng)絡(luò)課程應(yīng)用的實(shí)用性、可評(píng)價(jià)性有較大作用。

網(wǎng)絡(luò)課程，Web挖掘，系統(tǒng)結(jié)構(gòu)，挖掘方法

網(wǎng)絡(luò)課程沒(méi)有準(zhǔn)確的定義，一般是指在先進(jìn)的教育思想、教學(xué)理論與學(xué)習(xí)理論指導(dǎo)下的基于Web的課程，從教育技術(shù)手段來(lái)看就是在Internet上通過(guò)WWW瀏覽器來(lái)學(xué)習(xí)的課程。通過(guò)使用網(wǎng)絡(luò)課程平臺(tái)，使學(xué)員學(xué)習(xí)突破時(shí)空限制，并增強(qiáng)師生交互性，實(shí)現(xiàn)學(xué)習(xí)開(kāi)放性，它成為課堂教學(xué)的有益補(bǔ)充，為教學(xué)質(zhì)量的提高起到推動(dòng)作用。在國(guó)家“教育信息化”和“學(xué)習(xí)終身化”的教育進(jìn)程中，網(wǎng)絡(luò)課程更是通過(guò)其教學(xué)資源的豐富可共享的優(yōu)勢(shì)得到教育機(jī)構(gòu)的高度重視。

目前，網(wǎng)絡(luò)課程主要包括以下功能模塊：各類(lèi)學(xué)習(xí)資源（主要以“發(fā)布”的方式出現(xiàn)，包括PPT、案例、作業(yè)等），自我測(cè)試（可以自動(dòng)判分），公告欄，討論區(qū)（聊天室、BBS等），站內(nèi)消息，個(gè)別平臺(tái)還利用虛擬現(xiàn)實(shí)技術(shù)增加了“模擬實(shí)驗(yàn)”模塊等，這些立體化的學(xué)習(xí)資源為學(xué)生的學(xué)習(xí)提供了很大幫助。但是，在互聯(lián)網(wǎng)資源無(wú)限豐富的今天，網(wǎng)絡(luò)課程的學(xué)習(xí)給教學(xué)機(jī)構(gòu)也帶來(lái)了一系列值得思考的問(wèn)題：

第一，在師生時(shí)空分離的環(huán)境下，學(xué)生良好的自我約束能力成為保障網(wǎng)絡(luò)課程學(xué)習(xí)效果的前提。然而，事實(shí)證明，缺乏有效監(jiān)控機(jī)制的學(xué)習(xí)其學(xué)習(xí)效果難以令人滿意。因此，如何收集學(xué)員的在線學(xué)習(xí)時(shí)間、學(xué)習(xí)情況，并通過(guò)平臺(tái)給予信息推送、學(xué)習(xí)監(jiān)督顯得尤為重要和有意義。

第二，“學(xué)習(xí)資源豐富，知識(shí)貧乏搜索”。近些年來(lái)，國(guó)家倡導(dǎo)建立“學(xué)習(xí)資源庫(kù)”，將網(wǎng)絡(luò)教學(xué)資源共享，面對(duì)大量的網(wǎng)絡(luò)課程資源，如何讓其變成“知識(shí)”是教育界關(guān)注的熱點(diǎn)問(wèn)題。自然語(yǔ)言處理技術(shù)為“智能搜索引擎”的實(shí)現(xiàn)提供了技術(shù)支持。

第三，資源完善，站點(diǎn)改進(jìn)。根據(jù)學(xué)生對(duì)學(xué)習(xí)資源的學(xué)習(xí)頻率和關(guān)注度，增加、完善、調(diào)整學(xué)習(xí)資源，解決學(xué)生學(xué)習(xí)問(wèn)題，同時(shí)，根據(jù)學(xué)員行為記錄和反饋信息為網(wǎng)站設(shè)計(jì)者提供改進(jìn)依據(jù)。

根據(jù)對(duì)學(xué)生特征數(shù)據(jù)的分析，將學(xué)生進(jìn)行分類(lèi)，并進(jìn)行管理，為其提供個(gè)性化服務(wù)。

因此，開(kāi)發(fā)一個(gè)能解決以上問(wèn)題的網(wǎng)絡(luò)課程平臺(tái)顯得尤為重要。論文提出的基于Web挖掘的網(wǎng)絡(luò)課程平臺(tái)旨在解決以上問(wèn)題。

1 基于Web挖掘的網(wǎng)絡(luò)課程平臺(tái)設(shè)計(jì)

1.1 平臺(tái)設(shè)計(jì)原理

利用Web挖掘技術(shù)進(jìn)行網(wǎng)絡(luò)課程平臺(tái)的數(shù)據(jù)挖掘，其系統(tǒng)架構(gòu)如圖1所示。

圖1 “Web挖掘”網(wǎng)絡(luò)課程平臺(tái)系統(tǒng)架構(gòu)圖Fig.1 Structure diagram of the network course platform based on web Mining

除了搭建一般網(wǎng)絡(luò)課程的功能模塊，在線學(xué)習(xí)、資源庫(kù)、交流互動(dòng)、虛擬實(shí)驗(yàn)平臺(tái)等之外，系統(tǒng)應(yīng)重點(diǎn)解決網(wǎng)絡(luò)課程“有效監(jiān)控”、“資源調(diào)整”、“個(gè)性化服務(wù)”幾個(gè)問(wèn)題。其中，Web個(gè)性化服務(wù)是指Web站點(diǎn)能夠根據(jù)用戶(hù)的喜好和需求自動(dòng)調(diào)整Web站點(diǎn)的信息組織和表示[1]。解決思路如下：當(dāng)用戶(hù)在Web界面發(fā)送請(qǐng)求時(shí)，Web服務(wù)器根據(jù)請(qǐng)求類(lèi)型選擇是向后臺(tái)數(shù)據(jù)庫(kù)存取數(shù)據(jù)還是通過(guò)Web挖掘系統(tǒng)提取相關(guān)數(shù)據(jù)，數(shù)據(jù)庫(kù)和Web挖掘系統(tǒng)會(huì)向Web服務(wù)器發(fā)送響應(yīng)數(shù)據(jù)，同時(shí)，Web挖掘系統(tǒng)也會(huì)根據(jù)挖掘情況向用戶(hù)（學(xué)員）推送相關(guān)信息，例如一些學(xué)習(xí)建議等，為學(xué)員提供個(gè)性化服務(wù)。

1.2 Web挖掘系統(tǒng)

Web挖掘是指用數(shù)據(jù)挖掘技術(shù)在WWW相關(guān)資源和行為中發(fā)現(xiàn)潛在的、感興趣的信息[2]。Web資源中蘊(yùn)藏著大量的知識(shí)，但是Web數(shù)據(jù)由于數(shù)據(jù)的分布性、異構(gòu)性、動(dòng)態(tài)性，復(fù)雜性，其挖掘相對(duì)于普通數(shù)據(jù)挖掘來(lái)講較復(fù)雜，因此，Web挖掘是目前數(shù)據(jù)挖掘領(lǐng)域及知識(shí)發(fā)現(xiàn)領(lǐng)域研究的重要課題之一。

Web挖掘可以根據(jù)挖掘?qū)ο蟮牟煌譃?類(lèi)[3]，即Web內(nèi)容挖掘、Web結(jié)構(gòu)挖掘、Web使用挖掘。Web內(nèi)容挖掘是從Web上的文檔內(nèi)容或描述信息中獲取潛在的、有價(jià)值的信息或模式的過(guò)程，有兩種方式：Web文檔挖掘，如Web查詢(xún)語(yǔ)言Web Log，Web SQL等；搜索結(jié)果挖掘，如對(duì)搜索引擎的返回結(jié)果進(jìn)行聚類(lèi)。Web結(jié)構(gòu)挖掘是指從Web的鏈接結(jié)構(gòu)中獲取有用知識(shí)的過(guò)程。對(duì)Web站點(diǎn)的結(jié)果進(jìn)行分析、變形和歸納將Web頁(yè)面進(jìn)行分類(lèi)，使其有利于信息的檢索[4]。Web使用挖掘主要是利用是從Web訪問(wèn)日志 （如Web服務(wù)器日志、代理服務(wù)器日志、瀏覽器日志、用戶(hù)profiles、注冊(cè)數(shù)據(jù)、用戶(hù)事務(wù)、cookies、用戶(hù)查詢(xún)、地址簿、鼠標(biāo)點(diǎn)擊和其它人機(jī)交互數(shù)據(jù)等）中發(fā)現(xiàn)用戶(hù)的訪問(wèn)模式，預(yù)測(cè)用戶(hù)的瀏覽行為，因此，有時(shí)又被稱(chēng)作Web日志挖掘[5]。通常，應(yīng)根據(jù)挖掘?qū)ο蟮牟煌x用相應(yīng)的挖掘技術(shù)。當(dāng)然，很多時(shí)候都是多種技術(shù)綜合運(yùn)用。

1.2.1 web挖掘系統(tǒng)結(jié)構(gòu)

“Web挖掘系統(tǒng)”主要包括了3個(gè)過(guò)程：Web資源收集、數(shù)據(jù)預(yù)處理、挖掘算法執(zhí)行。如圖2所示。

圖2 Web挖掘系統(tǒng)結(jié)構(gòu)圖Fig.2 Structure diagram of Web mining

Web挖掘的網(wǎng)絡(luò)課程平臺(tái)應(yīng)該對(duì)學(xué)生的學(xué)習(xí)行為進(jìn)行跟蹤和收集。系統(tǒng)中的Web資源收集模塊主要是記錄學(xué)員訪問(wèn)系統(tǒng)的行為，包括學(xué)員登錄的IP地址、訪問(wèn)頻率、在線學(xué)習(xí)時(shí)間、日志文件、Web緩存等。其主要通過(guò)客戶(hù)端、代理服務(wù)器端的數(shù)據(jù)采集的數(shù)據(jù)采集，這些數(shù)據(jù)將為有效的挖掘提供支撐。

數(shù)據(jù)預(yù)處理是指對(duì)Web數(shù)據(jù)進(jìn)行數(shù)據(jù)清理、用戶(hù)識(shí)別、會(huì)話識(shí)別和路徑補(bǔ)充4個(gè)部分。其中數(shù)據(jù)清理主要是消解數(shù)據(jù)的不一致性，并將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)統(tǒng)一為一個(gè)數(shù)據(jù)存儲(chǔ)。用戶(hù)識(shí)別指從訪問(wèn)日志中識(shí)別出訪問(wèn)網(wǎng)站的每個(gè)用戶(hù)。較多見(jiàn)技術(shù)就是日志／站點(diǎn)的方法，并通過(guò)一些啟發(fā)式規(guī)則來(lái)幫助識(shí)別用戶(hù)。

接下來(lái)，在Web挖掘之前，信息檢索和信息抽取很重要，前者主要是獲取相關(guān)的Web文檔，常見(jiàn)的有模板方式和網(wǎng)頁(yè)庫(kù)結(jié)構(gòu)化兩種方法。后者從Web文檔中獲取所需的感興趣的信息，并對(duì)Web文檔進(jìn)行整理、排序。

1.2.2 Web挖掘方法

整個(gè)挖掘系統(tǒng)最重要的部分就是挖掘方法的選用。模式庫(kù)由規(guī)則組成，用于對(duì)學(xué)員在線學(xué)習(xí)的活動(dòng)進(jìn)行分類(lèi)、推理。這里對(duì)相關(guān)技術(shù)做簡(jiǎn)要介紹，為系統(tǒng)模式庫(kù)的建立提供了支持。

關(guān)聯(lián)規(guī)則用于發(fā)現(xiàn)用戶(hù)之間、頁(yè)面之間以及用戶(hù)瀏覽頁(yè)面和網(wǎng)上行為之間存在的潛在關(guān)系。Apriori算法是一種最有影響的挖掘布爾關(guān)聯(lián)規(guī)則頻繁項(xiàng)集的算法。另外，Agrawal的頻集方法[6]，主要是避免需要大量空間存儲(chǔ)中間結(jié)果和需要反復(fù)掃描數(shù)據(jù)庫(kù)而帶來(lái)的算法上的缺陷。

Web分類(lèi)是一種機(jī)器學(xué)習(xí)的方式，先按照預(yù)先定義的分類(lèi)方法，將每一個(gè)Web文檔歸入某一類(lèi)別。其優(yōu)勢(shì)是通過(guò)限制搜索范圍提高搜索效率，同時(shí)方便用戶(hù)瀏覽文檔。典型有VSM方法，其分類(lèi)效果較好，得到較多應(yīng)用。

Web聚類(lèi)在智能信息檢索、自動(dòng)文摘等諸多領(lǐng)域應(yīng)用非常廣泛。Web聚類(lèi)不同于Web分類(lèi)，其目標(biāo)是將相似的文檔盡可能聚在一起，而不相似的文檔分到不同類(lèi)。挖掘系統(tǒng)中，常采用的有3種聚類(lèi)方法：基于詞、基于知識(shí)、基于信息。其典型算法有層次聚類(lèi)算法、平面劃分法、基于密度的方法、基于網(wǎng)絡(luò)的方法等。

樸素貝葉斯（NB）在Web挖掘中其思路是將Web文檔中的詞匯應(yīng)用貝葉斯算法進(jìn)行分類(lèi)。它的特點(diǎn)是貝葉斯分類(lèi)中所有的屬性都參與分類(lèi)，因此所有屬性都潛在地起作用。除此之外還有其他的一些方法，例如支持向量機(jī)（SVM）方法等。

利用知識(shí)庫(kù)對(duì)挖掘出來(lái)有用信息需要一定的處理，以良好的方式呈現(xiàn)給學(xué)員，一般來(lái)講有可視化技術(shù)、知識(shí)查詢(xún)等方式。統(tǒng)計(jì)分析以文字、數(shù)字的形式呈現(xiàn)給學(xué)員；可視化適合顯示數(shù)據(jù)對(duì)象的各種統(tǒng)計(jì)值，如某頁(yè)面的訪問(wèn)次數(shù)、頁(yè)面跳轉(zhuǎn)的頻率或次數(shù)等或者是表現(xiàn)用戶(hù)的訪問(wèn)序列。例如目前提出的幾種適合在數(shù)據(jù)挖掘過(guò)程中使用的查詢(xún)語(yǔ)言，如DMQL，WebSSQL、WebLQM 和 Squeal等。

2 結(jié)束語(yǔ)

對(duì)網(wǎng)絡(luò)課程進(jìn)行Web挖掘是一個(gè)有巨大應(yīng)用前景的研究方向，同時(shí)也是推進(jìn)教育信息化、提升網(wǎng)絡(luò)課程價(jià)值，提高網(wǎng)絡(luò)課程生命力的有效途徑之一。本文提出基于Web挖掘技術(shù)的網(wǎng)絡(luò)課程平臺(tái)系統(tǒng)架構(gòu)，并對(duì)其關(guān)鍵技術(shù)進(jìn)行介紹。深入研究和改進(jìn)Web挖掘技術(shù)的各種算法以及設(shè)計(jì)更高效的Web挖掘網(wǎng)絡(luò)課程是今后努力的方向。

[1]朱志國(guó)，鄧貴仕.Web使用挖掘技術(shù)的分析與研究[J].計(jì)算機(jī)應(yīng)用研究，2008（1）:30-35.

ZHU Zhi-guo，DENG Gui-shi.Analysis and research on web usage mining[J].Application Research of Computers，2008（1）:30-35.

[2]鄭巖.數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘原理及應(yīng)用[M].北京：清華大學(xué)出版社，2011.

[3]Madria S K，Bhowmick S.Research issue in web data mining[C]//Proc.of the lstlnt’l on Data warehousing and knowledge Discovery，Canada:AAAI Press，1999:303-312.

[4]龔漢明，周長(zhǎng)勝.一種Web挖掘的框架[J].計(jì)算機(jī)工程與設(shè)計(jì)，2005（8）：2118-2130.

GONG Han-ming，ZHOU Chang-sheng.Framework for Web mining[J].Computer Engineering and Design，2005 （8）：2128-2130.

[5]高鵬，高嶺，王崢.基于Web挖掘的個(gè)性化算法及其在網(wǎng)絡(luò)教學(xué)平臺(tái)的應(yīng)用[J].計(jì)算機(jī)應(yīng)用，2005（5）：1012-1015.

GAO Peng，GAO Ling，WANG Zheng.Personal recommendation algorithm based on Web mining and its application in Web basededucation[J].ComputerApphcafions，2005（5）：1012-1015.

[6] Cohen E，Datar M，F(xiàn)ujiwara S. Finding interesting associations without support pruning[J].Communications of ACM，2002，49（8）：122-131.

Research of network course platform based on Web mining

LI Wei-qun
（Department of Computer，Guangzhou Civil Aviation College，Guangzhou510403，China）

By anaylizing the problems in the application of Network course，this paper proposed a network course platform model based on Web mining by analyzing the problems of the application of network course，then mainly introduced the key techniques on Web mining.This paper plays an role on enhancing the practicality and evaluation of the network course’s application.

network course； Web mining； system structure； mining method

TP391

A

1674－6236（2012）04-0133-02

2011-12-16 稿件編號(hào)：201112098

李偉群（1980—），女，山西襄汾人，碩士研究生，講師。研究方向：計(jì)算機(jī)網(wǎng)絡(luò)、圖形圖像。