李童 楊楠 王煜

摘 要：傳統(tǒng)學(xué)習(xí)行為分析注重事后分析，即根據(jù)學(xué)習(xí)結(jié)果評價學(xué)習(xí)效果。計(jì)算機(jī)類課程不同于其它領(lǐng)域課程，實(shí)踐性很強(qiáng)，對學(xué)生動手能力要求較高。由于學(xué)生在該課程中的學(xué)習(xí)行為涉及大量動手操作，如建模、編程、測試等，通過監(jiān)控、存儲與分析相關(guān)數(shù)據(jù)，可對學(xué)生學(xué)習(xí)過程持續(xù)進(jìn)行學(xué)習(xí)行為分析，從而及時發(fā)現(xiàn)學(xué)生學(xué)習(xí)中的困難，并給予相應(yīng)反饋。設(shè)計(jì)并實(shí)現(xiàn)一個BJUTModeling系統(tǒng)平臺，以持續(xù)監(jiān)控與記錄學(xué)生的建模操作數(shù)據(jù)，并利用頻繁序列挖掘技術(shù)進(jìn)行學(xué)習(xí)分析，取得了較好的實(shí)際教學(xué)效果。

關(guān)鍵詞：過程監(jiān)控;行為模式挖掘;學(xué)習(xí)行為分析;學(xué)習(xí)效果評價;本科教育

DOI：10. 11907/rjdk. 191966 開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

中圖分類號：G434文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2020）002-0249-05

英標(biāo)：Analysis of Learning Behaviors in the Courses of Computer Sciences Based on Learning Process Monitoring

英作：LI Tong1，YANG Nan2，WANG Yu1

英單：（1. Faculty of Information Technology， Beijing University of Technology， Beijing 100124， China;2. Institute of Higher Education， Beijing Academy of Educational Sciences， Beijing 100036， China;3. Fan Gongxiu Honors College， Beijing University of Technology， Beijing 100124， China）

Abstract： Traditional learning behavior analysis focuses on ex-post analysis， which is to evaluate learning effectiveness based on learning outcomes. Computer courses are different from those in other fields， and they are highly practical and have high requirements for students hands-on ability. Therefore， student learning behavior involves a lot of hands-on operations such as modeling， programming， testing， and so on. This study proposes to monitor， store and analyze these data to achieve continuous learning behavior analysis in the learning process， so as to find out the difficulties of student learning in time and provide corresponding feedback. Specifically， this study designs and implements the BJUTModeling system， continuously monitors and records studentsmodeling operation and uses frequent sequence pattern mining， which achieves a good result of teaching.

Key Words： process monitoring; behavior pattern mining;learning behaviors analysis;learning effectiveness assessment; undergraduate education

0 引言

2016年我國正式加入《華盛頓協(xié)議》，標(biāo)志著中國高等工程教育質(zhì)量標(biāo)準(zhǔn)與國際實(shí)質(zhì)等效。黨的十九大提出建設(shè)教育強(qiáng)國是中華民族偉大復(fù)興的基礎(chǔ)工程，教育質(zhì)量標(biāo)準(zhǔn)建設(shè)是提高教育質(zhì)量的基礎(chǔ)工程。2018年1月，教育部發(fā)布《普通高等學(xué)校本科專業(yè)類教學(xué)質(zhì)量國家標(biāo)準(zhǔn)》（簡稱“國標(biāo)”），這是我國面向全國、全世界的第一個高等教育教學(xué)質(zhì)量國家標(biāo)準(zhǔn)。工程教育在我國高等教育中占有重要地位，高素質(zhì)工程科技人才是支撐產(chǎn)業(yè)轉(zhuǎn)型升級、實(shí)施國家重大發(fā)展戰(zhàn)略的重要保障。計(jì)算機(jī)類專業(yè)包括計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程、網(wǎng)絡(luò)空間信息安全等學(xué)科，是工程教育的重要組成部分。對計(jì)算機(jī)類課程教學(xué)質(zhì)量評價開展研究，是提升計(jì)算機(jī)類專業(yè)人才培養(yǎng)質(zhì)量的重要抓手，更是對“國標(biāo)”實(shí)際應(yīng)用的有益探索，具有重要意義。

1 相關(guān)文獻(xiàn)梳理

1.1 學(xué)習(xí)分析領(lǐng)域及其主要研究分支

大數(shù)據(jù)和人工智能的發(fā)展為各領(lǐng)域帶來了一場技術(shù)變革，教育領(lǐng)域也不例外。學(xué)習(xí)分析作為教育大數(shù)據(jù)的重要應(yīng)用方向，是一個新興的交叉學(xué)科研究領(lǐng)域[1]。2011年3月，加拿大班夫召開了第一屆學(xué)習(xí)分析與知識國際會議。學(xué)習(xí)分析是指通過對學(xué)習(xí)者及其學(xué)習(xí)情境進(jìn)行測量、收集與分析，并形成報(bào)告，從而優(yōu)化學(xué)習(xí)環(huán)境，提升學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)和學(xué)習(xí)效果[2]。

現(xiàn)有國內(nèi)外學(xué)習(xí)分析研究可分為兩大類型：理論性和實(shí)證性。理論性研究涉及論述學(xué)習(xí)分析的重要性[3-4]、學(xué)習(xí)分析的挑戰(zhàn)與倫理問題[5-7]、學(xué)習(xí)分析與其它領(lǐng)域（諸如學(xué)習(xí)設(shè)計(jì)、教育數(shù)據(jù)挖掘）關(guān)系[8-10]、學(xué)習(xí)分析質(zhì)量評價[11]以及學(xué)習(xí)分析新趨勢[12-13]等;實(shí)證性研究可細(xì)分為話語分析、預(yù)測與早期預(yù)警、學(xué)習(xí)軌跡、智能輔導(dǎo)等多個方面。

具體而言，話語分析類研究主要通過論壇討論[14-15]、寫作[16]、學(xué)術(shù)論文[17]、訪談[18]等相關(guān)數(shù)據(jù)分析學(xué)生學(xué)習(xí)效果。例如，文獻(xiàn)[16]使用WordNet作為詞法參考進(jìn)行工具開發(fā)，自動可視化學(xué)生寫作中首次出現(xiàn)的原創(chuàng)思想和用語，幫助教師掌握學(xué)生學(xué)習(xí)進(jìn)展并根據(jù)學(xué)生已掌握的知識調(diào)整教學(xué)計(jì)劃;文獻(xiàn)[18]運(yùn)用計(jì)算語言學(xué)方法自動分析訪談數(shù)據(jù)（以54位中學(xué)生對四季的解釋為例），以了解學(xué)生對科學(xué)概念的理解程度。

預(yù)測與早期預(yù)警主要運(yùn)用推論統(tǒng)計(jì)分析方法探索各種因素對學(xué)生學(xué)習(xí)效果的影響[19-22]。例如，文獻(xiàn)[19]根據(jù)學(xué)生人口統(tǒng)計(jì)特征、以往學(xué)術(shù)表現(xiàn)、學(xué)生努力程度和考試成績等因素，預(yù)測學(xué)生學(xué)術(shù)表現(xiàn);文獻(xiàn)[20]探索學(xué)生在多項(xiàng)選擇題中正確與錯誤答題用時對其最終成績的影響。

學(xué)習(xí)行為軌跡類研究主要利用數(shù)據(jù)挖掘方法及可視化技術(shù)展現(xiàn)學(xué)生實(shí)際學(xué)習(xí)特定內(nèi)容的過程[23-24]。文獻(xiàn)[23]研究學(xué)生如何在游戲環(huán)境中進(jìn)行數(shù)學(xué)學(xué)習(xí);文獻(xiàn)[24]收集37名學(xué)生在解決線性函數(shù)問題時的眼動數(shù)據(jù)，通過分析發(fā)現(xiàn)學(xué)生注意力在興趣區(qū)域間轉(zhuǎn)換的通用模式。

智能輔導(dǎo)主要通過數(shù)據(jù)挖掘技術(shù)分析用戶行為，從而判斷用戶學(xué)習(xí)狀態(tài)，并為用戶提供個性化輔導(dǎo)方案[6，25-27]。例如，文獻(xiàn)[27]在一個擁有超過44萬條數(shù)據(jù)的關(guān)于九九乘法表的答題數(shù)據(jù)庫中應(yīng)用馬爾科夫鏈，根據(jù)不同順序的馬爾科夫鏈識別學(xué)習(xí)者答題模式，判斷學(xué)生對乘法表的掌握情況，并根據(jù)個體情況優(yōu)化出題順序。

1.2 基于學(xué)習(xí)過程數(shù)據(jù)的學(xué)習(xí)效果相關(guān)研究

學(xué)習(xí)分析領(lǐng)域研究與傳統(tǒng)教育教學(xué)研究的最大區(qū)別在于對學(xué)習(xí)過程數(shù)據(jù)的收集與分析。首先，學(xué)習(xí)過程數(shù)據(jù)較以往變得異常豐富，這些數(shù)據(jù)包括學(xué)生學(xué)習(xí)過程中的情緒狀態(tài)[28]、學(xué)生答題過程中的具體解題步驟[29]、學(xué)生鼠標(biāo)點(diǎn)擊流數(shù)據(jù)[30]、考試中題目應(yīng)答時間及正確與否[31]、在線學(xué)習(xí)環(huán)境中的專注時間[32-33]、學(xué)生姿勢或體力活動[34-35]等。其次，面向數(shù)據(jù)的分析方法更為復(fù)雜。例如，遞歸定量分析方法可探測出學(xué)生在閱讀與學(xué)習(xí)過程中發(fā)生的改變，如學(xué)習(xí)策略和參與程度等[36];多元回歸模型可對學(xué)生成績進(jìn)行預(yù)測[37]; Monte Carlo貝葉斯知識追蹤模型可通過分析學(xué)生的在線學(xué)習(xí)活動數(shù)據(jù)，從而發(fā)現(xiàn)“有問題的學(xué)生”[38];隱樸素貝葉斯模型可自動檢測在線學(xué)習(xí)中的不專注行為[33];知識成分模型可針對學(xué)生的錯誤理解進(jìn)行建模，從而預(yù)估隱性知識[39];概率圖模型可用于提升對學(xué)習(xí)效果的預(yù)測準(zhǔn)確度[40]等。另外還可運(yùn)用逐步線性回歸、隨機(jī)森林和線性混合效應(yīng)模型對學(xué)習(xí)效果進(jìn)行預(yù)測[41]，運(yùn)用N-gram技術(shù)進(jìn)行日志數(shù)據(jù)的時間序列分析[29]，使用Coh-Metrix工具進(jìn)行文本分析[39]，運(yùn)用模糊集定性比較分析方法對學(xué)生測驗(yàn)中的應(yīng)答時間和前后測數(shù)據(jù)進(jìn)行建模[31]等。

1.3 小結(jié)

總體而言，目前學(xué)習(xí)分析領(lǐng)域研究內(nèi)容豐富且廣泛，既有相對宏觀層面的研究，如學(xué)校利用人口統(tǒng)計(jì)數(shù)據(jù)、以往學(xué)術(shù)成績表現(xiàn)預(yù)測學(xué)生在所讀專業(yè)學(xué)習(xí)期間是否會輟學(xué)等;也有相對微觀層面的研究，如利用在線學(xué)習(xí)環(huán)境的日志數(shù)據(jù)和學(xué)生在線學(xué)習(xí)表現(xiàn)，了解學(xué)生學(xué)習(xí)行為及對所學(xué)內(nèi)容的掌握程度等。基于學(xué)習(xí)過程數(shù)據(jù)的學(xué)習(xí)效果研究是學(xué)習(xí)分析與傳統(tǒng)教育教學(xué)研究的主要區(qū)別所在。學(xué)習(xí)行為軌跡是學(xué)習(xí)過程中的一個具體方面，側(cè)重于研究學(xué)生思考過程，這些原本只存在于學(xué)生大腦的數(shù)據(jù)在傳統(tǒng)教育情景中幾乎無法獲取與分析，大數(shù)據(jù)技術(shù)將“不可能”變?yōu)榱恕翱赡堋?。聚焦學(xué)生思考過程的學(xué)習(xí)行為軌跡類研究無疑是學(xué)習(xí)分析中一個極具價值的研究方向，更是教育研究的一個重要組成部分，有助于教師通過分析學(xué)生學(xué)習(xí)思路，了解學(xué)生對所學(xué)內(nèi)容的實(shí)際掌握情況，從而創(chuàng)新教育教學(xué)方法，培養(yǎng)出更多高質(zhì)量的人才，最終實(shí)現(xiàn)高等教育的內(nèi)涵式發(fā)展。

2 學(xué)習(xí)行為軌跡監(jiān)測平臺BJUTModeling設(shè)計(jì)

2.1 系統(tǒng)功能簡介

BJUTModeling是面向《軟件工程導(dǎo)論》課程設(shè)計(jì)開發(fā)的基于用戶建模行為的學(xué)生學(xué)習(xí)效果評價系統(tǒng)。盡管目前市面上存在大量建模工具，如ProcessOn、Lucid Chart、Draw.io等，但這些平臺采用的是封閉數(shù)據(jù)集，用戶數(shù)據(jù)由平臺公司保密。BJUTModeling的開發(fā)旨在收集學(xué)生建模行為的第一手?jǐn)?shù)據(jù)，方便教師了解學(xué)生對建模知識的掌握程度。BJUTModeling的前端開發(fā)語言涉及html、css與JavaScript。JavaScript中的GoJS包提供了對圖形建模的強(qiáng)大支持，因此用戶數(shù)據(jù)可以在結(jié)構(gòu)清晰的服務(wù)器中進(jìn)行記錄。從BJUTModeling在線建模平臺收集的數(shù)據(jù)采用JSON格式，之后可利用機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法輕松識別，從而保證了平臺的靈活性和可用性，為數(shù)據(jù)分析提供了極大便利。

2.2 數(shù)據(jù)預(yù)處理與數(shù)據(jù)清洗

記錄在服務(wù)器中的數(shù)據(jù)由兩部分組成：日志數(shù)據(jù)和模型數(shù)據(jù)。模型數(shù)據(jù)顯示數(shù)據(jù)流圖（DFD）的最終視圖，缺少處理數(shù)據(jù)。相反，Log數(shù)據(jù)將所有用戶行為記錄為操作，其中包含大量信息，在學(xué)生建模行為分析方面具有很大潛力。因此，該項(xiàng)目專注于BJUTModeling在線建模平臺的日志數(shù)據(jù)研究。用戶日志原始數(shù)據(jù)存儲在具有JSON格式的txt文件中，txt日志數(shù)據(jù)示例如圖1所示。

單個用戶日志包含該用戶在在線建模平臺BJUTModeling中進(jìn)行的所有操作，因此txt文件需要進(jìn)行操作分離。使用Python可以輕松地將每個操作與“＼ n”字符分開，代表操作的結(jié)束（一行）。因此，每個用戶的日志清理結(jié)構(gòu)化數(shù)據(jù)如圖2所示。

2.3 操作編碼

BJUTModeling系統(tǒng)上有16種操作，從清洗后的學(xué)生數(shù)據(jù)中可明確標(biāo)注不同操作類型（見表1），從而準(zhǔn)確地表示操作序列。具體而言，每一種操作類型表示一種原子操作，而不同原子操作所組成的序列則可能包含特定語義模式。通過對這些模式的挖掘與分析，能夠有效分析學(xué)生建模行為所蘊(yùn)含的信息。

2.4 頻繁序列模式挖掘

在對操作進(jìn)行編碼后，即可與符號化序列數(shù)據(jù)庫一起進(jìn)行頻繁序列模式挖掘。很明顯，單個操作序列長度不是均勻分布的，有些學(xué)生的操作順序很長，而有些學(xué)生的日志相對較短，因此需要為FreSeqPat算法設(shè)置最大長度閾值以避免序列爆炸。通過考慮數(shù)據(jù)流圖、結(jié)構(gòu)分析特征以及實(shí)際任務(wù)要求，單個頻繁長度中50個操作的最大長度是合理值。此外，基于在數(shù)據(jù)流圖分析中所積累的關(guān)于學(xué)生建模的經(jīng)驗(yàn)知識，將FreSeqPat算法中的參數(shù)min_sup設(shè)置為4。這兩個限制可以避免對操作過多的模式進(jìn)行計(jì)數(shù)，并排除操作序列中的異常，從而挖掘并發(fā)現(xiàn)有效行為特征。

2.5 基于行為模式的特征工程

根據(jù)特征工程的方法論，好的特征在數(shù)據(jù)挖掘中將起到至關(guān)重要的作用。因此，通過軟件設(shè)計(jì)的領(lǐng)域知識，本文總結(jié)了來自操作序列數(shù)據(jù)集的新特征，以更好地分析學(xué)生建模行為。

（1）操作時間。根據(jù)網(wǎng)站運(yùn)營特點(diǎn)，可以很容易地發(fā)現(xiàn)運(yùn)營時間對于用戶行為分析非常重要。無論用戶是不假思索地進(jìn)行頻繁操作，還是在不同步驟間進(jìn)行長時間思考，這種操作時間特征對于該項(xiàng)目而言都是非常重要的。

（2）元素移動距離。從操作序列數(shù)據(jù)集概述可以清楚地看出，元素移動距離是一個重要特征。原始數(shù)據(jù)僅記錄操作的舊位置和新位置，而不記錄移動距離，因此需要導(dǎo)出該計(jì)算結(jié)果。

（3）添加新元素位移?？紤]繪制數(shù)據(jù)流圖的真實(shí)情況，重要的是要考慮用戶在添加元素操作后立即移動新添加元素的位移，該功能也是度量用戶建模習(xí)慣好壞的一個重要指標(biāo)。

3 基于真實(shí)課堂數(shù)據(jù)的學(xué)習(xí)行為模式分析

本文研發(fā)的系統(tǒng)已在北京工業(yè)大學(xué)2018-2019春季學(xué)期的《軟件工程引論》課程中投入使用（出于隱私保護(hù)考慮，以序號代替學(xué)生學(xué)號）。該課程中布置了數(shù)據(jù)流圖建模作業(yè)，并要求學(xué)生在建模平臺上完成作業(yè)，最終平臺在作業(yè)期間總共獲取到30位學(xué)生的建模信息，其中學(xué)生的建模操作數(shù)如表2所示。

通過頻繁序列模式挖掘，本文在學(xué)生實(shí)際建模行為中，觀察與挖掘到以下兩種有意義的用戶行為習(xí)慣模式：

（1）學(xué)生更有可能先完成一種類型的所有動作，然后再做其它類型動作。以編號12的動作序列為例，如圖3所示。學(xué)生首先執(zhí)行更改鏈接和更改元素的動作集，然后執(zhí)行更改鏈接和編輯文本的操作集。這些順序模式表明該學(xué)生更喜歡一次性做同樣的動作，然后轉(zhuǎn)向另一種動作。

（2）根據(jù)統(tǒng)計(jì)數(shù)據(jù)，改變的元素除以新添加元素的平均值為21.2，改變的鏈接除以新添加鏈接的平均值為21.4。這些極高的比值證實(shí)了學(xué)生在添加元素或鏈接后傾向于作大量的模型調(diào)整。

4 結(jié)語

本文針對計(jì)算機(jī)類課程實(shí)踐性強(qiáng)、對學(xué)生動手能力要求高的特點(diǎn)，設(shè)計(jì)并實(shí)現(xiàn)了一個學(xué)習(xí)行為檢測與分析系統(tǒng)。系統(tǒng)利用頻繁序列挖掘技術(shù)分析學(xué)生操作模式，從而可以有效分析學(xué)生學(xué)習(xí)過程中的優(yōu)點(diǎn)與不足，并及時給予必要的支持和幫助。未來計(jì)劃在更多課堂上進(jìn)行實(shí)踐研究，從而對該系統(tǒng)作進(jìn)一步完善。

參考文獻(xiàn)：

[1] 黃志南，陸星兒，胡賀寧，等. 學(xué)習(xí)分析主題結(jié)構(gòu)研究及可視化分析[J]. 開放教育研究，2016，22（5）：102-111.

[2] FERGUSON R. The state of learning analytics in 2012： a review and future challenges [M].? Knowledge Media Institute，The Open University， 2012.

[3] 劉清堂，王洋，雷詩捷，等. 教育大數(shù)據(jù)視角下的學(xué)習(xí)分析應(yīng)用研究與思考[J]. 遠(yuǎn)程教育雜志， 2017， 35（3）：71-77.

[4] ELIAS T. Learning analytics： definitons， processes and potential[EB/OL]https：//pdfs.semanticscholar.org/732e/452659685fe3950b0e515 a28ce89d9c5592a.pdf.

[5] DRACHSLER H， GRELLER W. Privacy and analytics： it's a DELICATE issue a checklist for trusted learning analytics[C]. Proceedings of the sixth international conference on learning analytics & knowledge， 2016：89-98.

[6] NIEMANN K，WOLPERS M，STOITSIS G，et al. Aggregating social and usage datasets for learning analytics： data-oriented challenges[C]. Proceedings of the Third International Conference on Learning Analytics and Knowledge， 2013：245-249.

[7] SWENSON J， DUIN A H. A matrix to address ethical concerns in the design， application， and documentation of learning analytics in postsecondary education[M]. The Wiley Handbook of Educational Policy， 2018： 551-573.

[8] 李艷燕，馬韶茜，黃榮懷. 學(xué)習(xí)分析技術(shù)：服務(wù)學(xué)習(xí)過程設(shè)計(jì)和優(yōu)化[J]. 開放教育研究， 2012， 18（5）：18-24.

[9] DYCKHOFF A L，LUKAROV V A，CHATTI M A，et al. Supporting action research with learning analytics[C]. International Conference on Learning Analytics And Knowledge. ACM， 2013：220-229.

[10] BAKER R S J D， DUVAL E， STAMPER J， et al. Panel： educational data mining meets learning analytics[C]. International Conference On Learning Analytics and Knowledge. ACM， 2012：20.

[11] SCHEFFEL M， DRACHSLER H， SPECHT M. Developing an evaluation framework of quality indicators for learning analytics[C]. International Conference on Learning Analytics and Knowledge. ACM， 2015：16-20.

[12] DAWSON S， GA？EVI？ D， SIEMENS G， et al. Current state and future trends： a citation network analysis of the learning analytics field[C]. International conference on learning analytics and knowledge. ACM， 2014：231-240.

[13] 張琪， 武法提.? 學(xué)習(xí)分析中的生物數(shù)據(jù)表征——眼動與多模態(tài)技術(shù)應(yīng)用前瞻[J].? 電化教育研究， 2016（9）：76-81.

[14] WISE A F，ZHAO Y，HAUSKNECHT S N. Learning analytics for online discussions： a pedagogical model for intervention with embedded and extracted analytics[C]. Proceedings of the Third International Conference on Learning Analytics and Knowledge. ACM， 2013：48-56.

[15] LIDDO A D， SHUM S B， QUINTO I， et al. Discourse-centric learning analytics[C]. International Conference on Learning Analytics And Knowledge. ACM， 2011：23-33.

[16] LáRUSSON J A，WHITE B. Monitoring student progress through their written point of originality[C]. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge. ACM， 2012：212-221.

[17] SIMSEK D， SANDOR A， SHUM S B， et al. Correlations between automated rhetorical analysis and tutors' grades on student essays[C]. International Conference on Learning Analytics and Knowledge. ACM， 2015：355-359.

[18] SHERIN B. Using computational methods to discover student science conceptions in interview data[C]. International Conference on Learning Analytics and Knowledge. ACM， 2012：188-197.

[19] ARNOLD K E，PISTILLI M D. Course signals at purdue： using learning analytics to increase student success[C]. International conference on learning analytics and knowledge. ACM，2012：267-270.

[20] LONN S，KRUMM A E，WADDINGTON R J， et al. Bridging the gap from knowledge to action： putting analytics in the hands of academic advisors[C]. International Conference on Learning Analytics and Knowledge. ACM， 2012：184-187.

[21] LAURíA E J， MOODY E W， JAYAPRAKASH S M， et al. Open academic analytics initiative： initial research findings[C].? Proceedings of the Third International Conference on Learning Analytics and Knowledge. ACM：150-154.

[22] PAPAMITSIOU Z K，TERZIS V，ECONOMIDES A A. Temporal learning analytics for computer based testing[C]. International Conference on Learning Analytics and Knowledge. ACM，2014：31-35.

[23] MARTIN T，AGHABABYAN A，PFAFFMAN J，et al. Nanogenetic learning analytics： Illuminating student learning pathways in an online fraction game[C]. International Conference on Learning Analytics and Knowledge. ACM， 2013：165-169.

[24] ZHU M，F(xiàn)ENG G. An exploratory study using social network analysis to model eye movements in mathematics problem solving[C]. Proceedings of the Fifth International Conference on Learning Analytics And Knowledge. ACM，2015：383-387.

[25] VERBERT K，DRACHSLER H，MANOUSELIS N，et al. Dataset-driven research for improving recommender systems for learning[C]. Proceedings of the 1st International Conference on Learning Analytics and Knowledge. ACM，2011：44-53.

[26] SCH？N M， EBNER M，KOTHMEIER G. It's just about learning the multiplication table[C]. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge. ACM，2012：73-81.

[27] TARAGHI B，EBNER M，SARANTI A，et al. On using markov chain to evidence the learning structures and difficulty levels of one digit multiplication[C]. Proceedings of the Fourth International Conference on Learning Analytics And Knowledge. ACM， 2014：68-72.

[28] GRAWEMEYER B，MAVRIKIS M，HOLMES W，et al. Affecting off-task behaviour： how affect-aware feedback can improve student learning[C]. Proceedings of the sixth international conference on learning analytics & knowledge.ACM，2016：104-113.

[29] BROOKS C，THOMPSON C， TEASLEY S. A time series interaction analysis method for building predictive models of learners using log data[C].? International Conference on Learning Analytics and Knowledge. ACM， 2015：126-135.

[30] PARK J， DENARO K， RODRIGUEZ F， et al. Detecting changes in student behavior from clickstream data[C]. International Learning Analytics & Knowledge Conference. ACM， 2017：21-30.

[31] PAPAMITSIOU Z， ECONOMIDES A A， PAPPAS I O， et al. Explaining learning performance using response-time， self-regulation and satisfaction from content： an fsQCA approach[C]. Proceedings of the 8th International Conference on Learning Analytics and Knowledge. ACM，2018：181-190.

[32] KOVANOVI？ V， GA？EVI？ D， DAWSON S， et al. Penetrating the black box of time-on-task estimation[C]. Proceedings of the Fifth International Conference on Learning Analytics And Knowledge.ACM，2015：184-193.

[33] XING W， GOGGINS S. Learning analytics in outer space： a Hidden Na？ve Bayes model for automatic student off-task behavior detection[C]. Proceedings of the Fifth International Conference on Learning Analytics and Knowledge. ACM，2015：176-183.

[34] OKADA M， TADA M. Formative assessment method of real-world learning by integrating heterogeneous elements of behavior， knowledge， and the environment[C]. International Conference on Learning Analytics and Knowledge. ACM， 2014：1-10.

[35] WATANABE E，OZEKI T， KOHAMA T. Analysis of interactions between lecturers and students[C]. Proceedings of the 8th International Conference on Learning Analytics and Knowledge. ACM，2018：370-374.

[36] LIKENS A D，MCCARTHY K S，ALLEN L K，et al. Recurrence quantification analysis as a method for studying text comprehension dynamics[C]. Proceedings of the 8th International Conference on Learning Analytics and Knowledge. ACM，2018：111-120.

[37] ELBADRAWY A，STUDHAM R S，KARYPIS G. Collaborative multi-regression models for predicting students' performance in course activities[C].? International Conference on Learning Analytics and Knowledge. ACM， 2015：103-107.

[38] GWEON G H，LEE H S，DORSEY C， et al. Tracking student progress in a game-like learning environment with a Monte Carlo Bayesian knowledge tracing model[C]. International Conference on Learning Analytics and Knowledge. ACM， 2015：166-170.

[39] ALLEN L K，MILLS C，JACOVINA M E，et al. Investigating boredom and engagement during writing using multiple sources of information： the essay， the writer， and keystrokes[J].? LAK '16 Proceedings of the Sixth International Conference on Learning Analytics & Knowledge，2016：114-123.

[40] KASER T，HALLINEN N R，SCHWARTZ D L. Modeling exploration strategies to predict student performance within a learning environment and beyond[C]. International Learning Analytics & Knowledge Conference. ACM， 2017：31-40.

[41] FANCSALI S E，RITTER S. Context personalization， preferences， and performance in an intelligent tutoring system for middle school mathematics[C]. International Conference on Learning Analytics and Knowledge. ACM， 2014：73-77.

（責(zé)任編輯：黃 健）