edx平臺(tái)教育大數(shù)據(jù)的學(xué)習(xí)行為分析與預(yù)測(cè)

賀超凱　吳蒙

【摘 要】 教育數(shù)據(jù)挖掘是一門新興學(xué)科，通過分析學(xué)習(xí)行為記錄歸納學(xué)習(xí)者的行為特點(diǎn)以提高教育質(zhì)量，大規(guī)模在線開放課程學(xué)習(xí)者的學(xué)習(xí)行為記錄為此提供充足素材。2012-2013學(xué)年哈佛大學(xué)和麻省理工學(xué)院在edX平臺(tái)上開設(shè)了17門課程，本文選擇其中16門課程60余萬人次學(xué)習(xí)行為記錄，歸納學(xué)習(xí)者學(xué)習(xí)行為特征，對(duì)部分典型行為特征進(jìn)行數(shù)據(jù)挖掘，采用邏輯斯諦回歸方法對(duì)成績(jī)進(jìn)行預(yù)測(cè)。實(shí)驗(yàn)表明，通過學(xué)習(xí)者的典型學(xué)習(xí)行為分析可以有效地判別其是否可以完成學(xué)習(xí)任務(wù)并獲得證書。

【關(guān)鍵詞】 慕課；學(xué)習(xí)行為；數(shù)據(jù)挖掘；成績(jī)預(yù)測(cè)；學(xué)習(xí)者特征

【中圖分類號(hào)】 G420 【文獻(xiàn)標(biāo)識(shí)碼】 A 【文章編號(hào)】 1009—458x（2016）06—0054—06

MOOCs（Massive Open Online Courses），即大規(guī)模在線開放課程（慕課），是由加拿大學(xué)者Bryan Alexander和Dave Cormier在2008年提出的。2012年《科學(xué)》雜志上出現(xiàn)了研究人員對(duì)慕課的介紹，并展望它將改變未來的教育[1]。2013年《自然》雜志詳細(xì)介紹慕課的發(fā)展、現(xiàn)狀和趨勢(shì)[2]。以edX、Coursera和Udacity為代表，慕課理念和實(shí)踐得到了哈佛大學(xué)、麻省理工學(xué)院等國際優(yōu)秀大學(xué)的認(rèn)同 [3]。北京大學(xué)李曉明教授認(rèn)為兩個(gè)因素：一是信息技術(shù)，主要是網(wǎng)絡(luò)基礎(chǔ)設(shè)施、Web2.0、音視頻和云計(jì)算四個(gè)方面，使得慕課教學(xué)的良好體驗(yàn)成為可能；二是以學(xué)習(xí)者為中心的教育技術(shù)思想的成熟，使得慕課得以迅速流行[4]。慕課以其獨(dú)特的共享優(yōu)勢(shì)，使教育機(jī)會(huì)和教育公平變?yōu)楝F(xiàn)實(shí)，并得到廣大學(xué)習(xí)者的高度認(rèn)可，近千萬用戶通過網(wǎng)絡(luò)學(xué)習(xí)優(yōu)秀大學(xué)的優(yōu)質(zhì)課程，世界范圍內(nèi)大規(guī)模在線教育時(shí)代已經(jīng)到來。

不同于傳統(tǒng)的通過電視廣播、互聯(lián)網(wǎng)、輔導(dǎo)專線、函授等形式的遠(yuǎn)程教育，也不完全等同于近期興起的教學(xué)視頻網(wǎng)絡(luò)共享公開課，更不同于基于網(wǎng)絡(luò)的學(xué)習(xí)軟件或在線應(yīng)用。與傳統(tǒng)的授課過程相比，慕課主要呈現(xiàn)出以下特點(diǎn)：① 慕課提供了豐富的課程資源，學(xué)習(xí)者可以根據(jù)自己的興趣愛好，選擇不同的授課者進(jìn)行學(xué)習(xí)。② 慕課課程以知識(shí)點(diǎn)為一個(gè)授課環(huán)節(jié)，一般時(shí)間在10-20分鐘之間。 ③ 學(xué)習(xí)者可以根據(jù)課程進(jìn)度安排，隨意選擇學(xué)習(xí)地點(diǎn)，重復(fù)學(xué)習(xí)課程內(nèi)容。④ 慕課學(xué)習(xí)者的問題一般能得到及時(shí)回復(fù)。⑤ 慕課的成績(jī)?cè)u(píng)價(jià)則結(jié)合學(xué)習(xí)者在整個(gè)學(xué)習(xí)過程中的表現(xiàn)。此外，在慕課模式下，課堂教學(xué)、學(xué)習(xí)進(jìn)程、學(xué)生者的體驗(yàn)、師生互動(dòng)過程、學(xué)習(xí)者互動(dòng)過程等被完整、系統(tǒng)地在線實(shí)現(xiàn)。慕課的主體是學(xué)習(xí)者，慕課最大的特點(diǎn)在于海量的學(xué)習(xí)者和各種各樣的學(xué)習(xí)者群體。學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)、受教育程度、學(xué)習(xí)態(tài)度、學(xué)習(xí)方法也呈現(xiàn)多樣性。慕課平臺(tái)上學(xué)習(xí)者的相關(guān)資料（如年齡、性別、受教育程度、來自國家和地區(qū)等）和學(xué)習(xí)行為（如觀看授課視頻次數(shù)、參與教學(xué)互動(dòng)次數(shù)、瀏覽教學(xué)內(nèi)容次數(shù)、解答問題數(shù)、學(xué)習(xí)者之間的交互學(xué)習(xí)等）都會(huì)以豐富多樣的形式記錄下來。如何充分利用數(shù)據(jù)，根據(jù)學(xué)習(xí)者的相關(guān)資料及學(xué)習(xí)行為記錄，對(duì)其學(xué)習(xí)成績(jī)進(jìn)行評(píng)定是一個(gè)挑戰(zhàn)。

一、相關(guān)工作

教育數(shù)據(jù)挖掘是一門新興學(xué)科，關(guān)注從海量數(shù)據(jù)中挖掘出對(duì)教育者和學(xué)習(xí)者有用的信息，以提高教育管理效率和學(xué)習(xí)效率。慕課處于高速發(fā)展階段，已經(jīng)有學(xué)者利用教育數(shù)據(jù)挖掘方法對(duì)慕課學(xué)習(xí)行為數(shù)據(jù)進(jìn)行分析。Ho等分析了edX平臺(tái)上的慕課學(xué)習(xí)者，認(rèn)為：學(xué)習(xí)者已經(jīng)遍布全球，歐洲學(xué)習(xí)者學(xué)習(xí)的課程數(shù)量最多，參與率最高，而東亞的少；男性學(xué)習(xí)者比例較高；慕課對(duì)于已經(jīng)獲得學(xué)士學(xué)位的學(xué)習(xí)者更有吸引力；學(xué)習(xí)者的平均年齡為24歲；半數(shù)學(xué)習(xí)者從未完成課程的學(xué)習(xí)；社會(huì)科學(xué)類課程的參與率最高，而人文科學(xué)類課程的參與率最低；課程參與率最高的人群是已獲得博士學(xué)位的學(xué)習(xí)者；大多數(shù)學(xué)習(xí)者僅注冊(cè)了一門課程，注冊(cè)了多門課程的學(xué)習(xí)者的參與率更高，而注冊(cè)課程多于6門的學(xué)習(xí)者參與率則下降[5]。國內(nèi)也有學(xué)者采用問卷調(diào)查等形式對(duì)MOOC課程學(xué)習(xí)過程進(jìn)行研究[6]。

對(duì)慕課學(xué)習(xí)者的學(xué)習(xí)行為分析與成績(jī)預(yù)測(cè)的研究從方法上可以分為以下4類。

1. 通過率預(yù)測(cè)

Jiang 等人根據(jù)學(xué)習(xí)者一周的學(xué)習(xí)記錄對(duì)其最終成績(jī)進(jìn)行預(yù)測(cè)[7]。Ramesh等人對(duì)學(xué)習(xí)者的線上學(xué)習(xí)行為進(jìn)行了區(qū)分，作為預(yù)測(cè)最終成績(jī)的潛在特征[8]，也用于預(yù)測(cè)學(xué)習(xí)者是否會(huì)參加最終測(cè)試[9]。

2. 退出率預(yù)測(cè)

Balakrishnan等分析了伯克利大學(xué)開設(shè)的一門課程的退出情況，采用隱形馬爾科夫模型，主要根據(jù)學(xué)習(xí)者觀看授課視頻的時(shí)間、瀏覽學(xué)習(xí)論壇帖子的數(shù)目、發(fā)帖數(shù)和學(xué)習(xí)所用的時(shí)間4個(gè)因素，判定學(xué)習(xí)者退出學(xué)習(xí)的機(jī)率[10]。Halawa、Greene和Mitchell通過學(xué)習(xí)者的學(xué)習(xí)特征判定是否對(duì)學(xué)習(xí)失去興趣，對(duì)退出率給出較準(zhǔn)確的預(yù)測(cè)[11]。Kloft采用決策支持向量機(jī)分析學(xué)習(xí)者的點(diǎn)擊序列，對(duì)退出率進(jìn)行判定[12]。Taylor等基于學(xué)習(xí)者的群體特征進(jìn)行判定[13]。

3. 干預(yù)式預(yù)測(cè)

edX、Coursera、Udacity等平臺(tái)上的慕課通過率都很低。一種解決辦法是及時(shí)識(shí)別學(xué)習(xí)困難者，并及時(shí)干預(yù)，給予學(xué)習(xí)者一定的提醒和幫助。Williams 從認(rèn)知心理學(xué)的角度進(jìn)行了深入的研究，通過在MOOC課程視頻中添加提問的方式提高學(xué)習(xí)者的積極性，對(duì)減少退出率的有效性進(jìn)行了驗(yàn)證，并分析了不同交流措施對(duì)通過率的影響[14][15][16]。He 等人根據(jù)多維因素對(duì)邏輯斯諦回歸方法進(jìn)行改進(jìn)，通過預(yù)測(cè)，對(duì)處于邊緣的學(xué)習(xí)者進(jìn)行干預(yù)[17]。

4. 關(guān)系挖掘

主要是分析哪些因素影響課程通過率或失敗率。DeBoer等研究了年齡、性別、地區(qū)等人口統(tǒng)計(jì)特征對(duì)課程通過率的影響[18]。Yang等研究了學(xué)習(xí)行為和在學(xué)習(xí)論壇中的地位對(duì)通過率的影響，以及學(xué)習(xí)者在論壇中的評(píng)論和學(xué)習(xí)者之間的相互作用對(duì)通過率的影響[19][20]。這些研究對(duì)慕課課程設(shè)計(jì)有很大幫助。

二、學(xué)習(xí)者特征

傳統(tǒng)教育活動(dòng)中，學(xué)習(xí)者群體的學(xué)習(xí)動(dòng)機(jī)基本相同，學(xué)習(xí)者的心智發(fā)展和知識(shí)水平大體相當(dāng)。慕課環(huán)境下，學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)和知識(shí)背景差異呈現(xiàn)多樣化。2012年秋季到2013年夏季，哈佛大學(xué)和麻省理工學(xué)院在edX平臺(tái)上開設(shè)了17門課程。本文選定其中16門課程60余萬條學(xué)習(xí)行為記錄進(jìn)行學(xué)習(xí)者特征的統(tǒng)計(jì)分析，16門課程的信息（如課程代碼、課程名稱、注冊(cè)時(shí)間、開始時(shí)間、終止時(shí)間、課程天數(shù)、注冊(cè)學(xué)生數(shù)、通過考試獲得證書學(xué)生數(shù)、通過率等）如表1所示。

1. 學(xué)習(xí)者類別

根據(jù)平臺(tái)上的學(xué)習(xí)記錄，將學(xué)習(xí)者分為3類：

注冊(cè)者（only registered）：注冊(cè)賬號(hào)后，未完成任何一項(xiàng)學(xué)習(xí)任務(wù)。

瀏覽者（only viewed）：注冊(cè)賬號(hào)后，學(xué)習(xí)內(nèi)容少于課程內(nèi)容的一半。

探索者（only explored）：注冊(cè)賬號(hào)后，學(xué)習(xí)內(nèi)容超過課程內(nèi)容的一半。

每類學(xué)習(xí)者所占比例、性別、教育程度、年齡以及課程開始前注冊(cè)人數(shù)、課程進(jìn)行中注冊(cè)人數(shù)及課程結(jié)束后注冊(cè)人數(shù)等信息如表2所示。

2. 教育背景

按照初級(jí)教育水平、中級(jí)教育水平、高級(jí)教育水平、副學(xué)士、學(xué)士、碩士、博士7個(gè)等級(jí)進(jìn)行統(tǒng)計(jì)，學(xué)習(xí)者的平均受教育水平是學(xué)士，HealthStat課程學(xué)習(xí)者平均受教育水平是碩士，擁有博士學(xué)位的學(xué)習(xí)者占10%。通過考試并取得證書的學(xué)習(xí)者中，教育水平在學(xué)士學(xué)位以上的占54%。

3. 年齡

每門課程學(xué)習(xí)者的平均年齡均小于30歲，通過考核獲得證書的學(xué)習(xí)者平均年齡略高?？赡苁钦n程主題的關(guān)系，哈佛大學(xué)慕課學(xué)習(xí)者的年齡和受教育程度均高于麻省理工學(xué)院。每門課程的學(xué)習(xí)者年齡分布和完成學(xué)習(xí)獲得證書的學(xué)習(xí)者年齡分布如圖1所示。

4. 性別

圖2表示女性學(xué)習(xí)者各門課程中所占的比例以及完成學(xué)習(xí)獲得證書的比例?？茖W(xué)類、工程類、技術(shù)類、數(shù)學(xué)類課程女性學(xué)習(xí)者的比例比人文和社會(huì)科學(xué)類的課程低，完成學(xué)習(xí)獲得證書的比例更低。

三、典型學(xué)習(xí)行為選取

除了受學(xué)習(xí)者年齡、性別、教育背景等因素影響外，學(xué)習(xí)動(dòng)機(jī)和投入程度也很大程度上影響著學(xué)習(xí)效果。為了準(zhǔn)確地描述學(xué)習(xí)者行為，本文選取了學(xué)習(xí)時(shí)間、學(xué)習(xí)事件次數(shù)、抽樣統(tǒng)計(jì)學(xué)習(xí)次數(shù)、觀看視頻次數(shù)、學(xué)習(xí)章節(jié)數(shù)以及在學(xué)習(xí)論壇上發(fā)帖數(shù)等作為學(xué)習(xí)行為分析的客觀依據(jù)，以此為基礎(chǔ)進(jìn)行成績(jī)預(yù)測(cè)。

時(shí)間：在開課前幾周就有注冊(cè)課程的記錄，一半以上的學(xué)習(xí)者在課程開始前完成注冊(cè)。約有8%的學(xué)習(xí)者在課程結(jié)束后注冊(cè)課程。文中的學(xué)習(xí)時(shí)間用學(xué)習(xí)者最后學(xué)習(xí)記錄日期減去注冊(cè)時(shí)間。

學(xué)習(xí)事件次數(shù)：通過分析系統(tǒng)日志，得到學(xué)習(xí)者與課程交互活動(dòng)的次數(shù)。

抽樣統(tǒng)計(jì)學(xué)習(xí)次數(shù)：系統(tǒng)在特定的時(shí)間對(duì)學(xué)習(xí)行為進(jìn)行的抽樣統(tǒng)計(jì)。

觀看視頻次數(shù)：學(xué)習(xí)期間觀看視頻的次數(shù)。

學(xué)習(xí)章節(jié)數(shù)：從課程開始到課程結(jié)束，學(xué)習(xí)者學(xué)習(xí)的內(nèi)容章節(jié)數(shù)。

發(fā)帖數(shù)：學(xué)習(xí)者關(guān)于課程內(nèi)容在學(xué)習(xí)論壇上發(fā)起的話題，包括回復(fù)別人提出的問題等。

四、邏輯斯諦回歸算法框架

邏輯斯諦回歸算法主要包括對(duì)學(xué)習(xí)記錄數(shù)據(jù)的歸一化處理、構(gòu)造預(yù)測(cè)函數(shù)、構(gòu)造損失函數(shù)、采用優(yōu)化算法求解等過程（如圖3所示）。

1. 構(gòu)造預(yù)測(cè)函數(shù)

設(shè)Y是 0-1型變量，表示學(xué)習(xí)者是否通過學(xué)習(xí)并取得證書。表示影響學(xué)習(xí)效果Y的相關(guān)變量，與的關(guān)系為：

函數(shù)的值表示結(jié)果取1的概率，因此對(duì)于輸入分類結(jié)果，值為 1和值為0的概率分別為：

五、實(shí)驗(yàn)結(jié)果與分析

1. 實(shí)驗(yàn)數(shù)據(jù)集

本文用到的數(shù)據(jù)集包括641，138個(gè)注冊(cè)學(xué)習(xí)者在學(xué)習(xí)16門課程期間的相關(guān)學(xué)習(xí)記錄，刪除了特征記錄不完整的數(shù)據(jù)，有效記錄338，888條，按課程以80%和20%比例拆分，得到訓(xùn)練集和測(cè)試集。

2. 評(píng)價(jià)指標(biāo)

為了衡量算法的效果，文中采用了準(zhǔn)確率、精確率、召回率和調(diào)和值作為評(píng)價(jià)指標(biāo)。

TP：記錄值為1，預(yù)測(cè)值為1的記錄數(shù)；

FN：記錄值為1，預(yù)測(cè)值為0的記錄數(shù)；

FP：記錄值為0，預(yù)測(cè)值為1的記錄數(shù)；

TN：記錄值為0，預(yù)測(cè)值為0的記錄數(shù)；

準(zhǔn)確率=（TP+TN）/（TP+FN+FP+TN）；

精確率=TP/（TP+FP）；

召回率=TP/（TP+FN）；

調(diào)和值=2TP/（2TP+FP+FN）；

迭代次數(shù)達(dá)到40次時(shí)，準(zhǔn)確率、精確率、召回率、調(diào)和值均達(dá)到最佳值（如圖4所示）。

3. 學(xué)習(xí)效果預(yù)測(cè)

對(duì)16門課程進(jìn)行了實(shí)驗(yàn)分析，結(jié)果如表3所示。

實(shí)驗(yàn)結(jié)果表明，應(yīng)用邏輯斯諦回歸方法，根據(jù)學(xué)習(xí)者的學(xué)習(xí)記錄，能比較準(zhǔn)確地預(yù)測(cè)后期學(xué)習(xí)效果，充分說明了本文提出的算法的合理性和有效性。

4. 其他數(shù)據(jù)分析

實(shí)驗(yàn)結(jié)果表明，選取的學(xué)習(xí)者行為特征可以在課程進(jìn)行中有效地區(qū)分學(xué)習(xí)者，在全部課程上均有較好的實(shí)驗(yàn)效果。從數(shù)據(jù)中發(fā)現(xiàn)的現(xiàn)象和主要結(jié)論如下：

（1）可以根據(jù)學(xué)習(xí)記錄較準(zhǔn)確地預(yù)測(cè)學(xué)習(xí)效果

雖然學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)、學(xué)習(xí)目的以及想要達(dá)成的目標(biāo)等主觀情感無法計(jì)算，但可根據(jù)學(xué)習(xí)者的年齡、教育背景、學(xué)習(xí)行為的過程化記錄數(shù)據(jù)（觀看視頻數(shù)、學(xué)習(xí)章節(jié)數(shù)、抽樣學(xué)習(xí)行為記錄數(shù)、學(xué)習(xí)論壇發(fā)帖數(shù)、學(xué)習(xí)課程用時(shí)數(shù)等）等客觀數(shù)據(jù)預(yù)測(cè)學(xué)習(xí)者的最終學(xué)習(xí)效果。實(shí)驗(yàn)證明，采用邏輯斯諦回歸方法進(jìn)行預(yù)測(cè)效果較好。

（2）學(xué)習(xí)者教育背景對(duì)學(xué)習(xí)效果影響不大

實(shí)驗(yàn)中完成學(xué)習(xí)環(huán)節(jié)、獲得證書的學(xué)習(xí)者中初等及以下的受教育者占3%，獲得博士學(xué)位的占3%，中等教育占28%，本科占35%，碩士占31%。初中等教育的學(xué)習(xí)者與本科和碩士學(xué)習(xí)效果區(qū)分不顯著。

（3）性別因素對(duì)學(xué)習(xí)效果影響不大

實(shí)驗(yàn)表明，性別與學(xué)習(xí)效果間沒有顯著關(guān)系。

六、結(jié) 論

本文對(duì)edX平臺(tái)上開設(shè)的16門課程60余萬條學(xué)習(xí)行為記錄進(jìn)行了分析，選取了學(xué)習(xí)時(shí)間、學(xué)習(xí)事件次數(shù)、抽樣統(tǒng)計(jì)學(xué)習(xí)次數(shù)、觀看視頻次數(shù)、學(xué)習(xí)章節(jié)數(shù)、發(fā)帖數(shù)等作為學(xué)習(xí)行為關(guān)鍵記錄，對(duì)學(xué)習(xí)者是否可以完成學(xué)習(xí)任務(wù)并獲得證書進(jìn)行了預(yù)測(cè)。實(shí)驗(yàn)證明，可以通過分析學(xué)習(xí)行為關(guān)鍵記錄預(yù)測(cè)學(xué)習(xí)效果。

學(xué)習(xí)效果是學(xué)習(xí)行為的最終體現(xiàn)，受動(dòng)機(jī)、目的、情感等多方面的影響。edX平臺(tái)上的學(xué)習(xí)行為主要是學(xué)習(xí)者的一些客觀行為表現(xiàn)。雖然采用邏輯斯諦回歸方法可以準(zhǔn)確判定學(xué)習(xí)效果，但是學(xué)習(xí)過程中的主觀因素未得到體現(xiàn)。如何體現(xiàn)主觀因素，并應(yīng)用于學(xué)習(xí)效果預(yù)測(cè)，是一個(gè)有趣且復(fù)雜的課題，對(duì)充分理解學(xué)習(xí)者的學(xué)習(xí)行為、提高學(xué)習(xí)效率、科學(xué)地設(shè)置課程內(nèi)容、干預(yù)學(xué)習(xí)進(jìn)程等都有很大的幫助。

[參考文獻(xiàn)]

[1] Stein L A. Casting a wider net [J].Science， 2012， 338（6113）：1422-1423.

[2] Waldrop M M. Online learning： Campus 2.0 [J].Nature， 2013， 495（7440）：160-163.

[3] 蔣卓軒，張巖，李曉明. 基于MOOC數(shù)據(jù)的學(xué)習(xí)行為分析與預(yù)測(cè)[J]. 計(jì)算機(jī)研究與發(fā)展，2015，52（3）：614-628

[4] 李曉明. 慕課：是櫥窗？還是店堂？[J]. 中國計(jì)算機(jī)學(xué)會(huì)通訊，2013，9（12）：24-28.

[5] Ho， A. D.， Reich， J.， Nesterko， S.， Seaton D. T.， Mullaney， T.， Waldo， J.， & Chuang， I. [2014]. HavardX and MITX： The first year of open online courses. （HarvardX and MITx Working Paper No. 1）. http：//dx.doi.org/10.2139/ssrn.2381263

[6] 范逸洲，王宇，馮菲，汪瓊，李曉明. MOOCS課程學(xué)習(xí)與評(píng)價(jià)調(diào)查[J]. 中國遠(yuǎn)程教育，2014，20（3）：27-35.

[7] S. Jiang， A. E.Williams， K.Schenke， M.Warschauer， D. ODowd. Predicting MOOC performance with week 1 behavior[C]. In Proceedings of the 7th International Conference on Educational Data Mining. 2014.

[8] Ramesh A， Goldwasser D， Huang B， et al. Modeling learner engagement in MOOCs using probabilistic soft logic[C]. NIPS workshop on data drive education， 2013.

[9] Ramesh， A. Goldwasser， D. Huang， B. Daume III， H. and Getoor， L. Learning latent engagement patterns of students in online courses. [C] In Proceedings of the Twenty Eighth AAAI Conference on Artificial Intelligence. AAAI Press. 2014.

[10] Balakrishnan G. Predicting student retention in massive open online courses using hidden markov models， UCB/EECS 2013-109. Berkeley： University of California， Berkeley.2013. http：//www.eecs.berkeley.edu/Pubs/TechRpts/2013/EECS-2013-109.pdf

[11] Halawa， S.， Greene， D.， and Mitchell， J. Dropout prediction in MOOCs using learner activity features[C]. In Proceedings of the European MOOC Summit. 2014 .

[12] Kloft， M. Stiehler， F. Zheng， Z. and Pinkwart， N. Predicting MOOC dropout over weeks using machine learning methods[C]. In Proceedings of the EMNLP Workshop on Modeling Large Scale Social Interaction in Massively Open Online Courses. 2014.

[13] Taylor， C. Veeramachaneni， K. and OReilly， U.-M. 2014. Likely to stop？ predicting stopout in massive open online courses[J]. Eprint arXiv. 2014.

[14] Willams J J， Williams B. Using interventions to improve online learning [C]. NIPS workshop on data driven education， 2013.

[15] Willams J J， Improving Learning in MOOCs by Applying Cognitive Science[C] Paper presented at the MOOCshop Workshop， International Conference on Artificial Intelligence in Education， Memphis， TN.

[16] Williams， J. J.， Paunesku， D.， Haley， B.， & Sohl-Dickstein， J.. Measurably Increasing Motivation in MOOCs[C]. Talk presented at the MOOC shop Workshop， International Conference on Artificial Intelligence in Education， Memphis， TN. 2013.

[17] He. J.， Bailey J.， Rubinstein Zhang R.， Identifying at risk students in massive open online courses[C] Twenty-Ninth AAAI Conference on Artificial Intelligence. 2015.

[18] DeBoer， J. Stump， G. Seaton， D. and Breslow， L. Diversity in MOOC students backgrounds and behaviors in relationship to performance in 6.002 x[C]. In Proceedings of the Sixth Learning International Networks Consortium Conference.2013.

[19] Yang， D.， Wen， M.， and Rose， C. Peer influence on attrition in massive open online courses[C]. Proceedings of Educational Data Mining. 2014.

[20] Wen， M.； Yang， D.； and Rose， C. P. Sentiment analysis'in MOOC discussion forums： What does it tell us？ [C]. Proceedings of Educational Data Mining. 2014.

收稿日期：2015-11-23

定稿日期：2016-01-31

作者簡(jiǎn)介：賀超凱，南京郵電大學(xué)計(jì)算機(jī)學(xué)院（210003）。

吳蒙，南京郵電大學(xué)通信與信息工程學(xué)院（210003）。

責(zé)任編輯 韓世梅