孫發(fā)勤 馮銳

摘要：如何利用數(shù)據(jù)和模型來預(yù)測學(xué)業(yè)成功與失敗是學(xué)習(xí)分析領(lǐng)域的核心問題。該文通過對現(xiàn)有文獻(xiàn)檢索分析出目前研究中主要影響學(xué)業(yè)成就的要素，結(jié)合對原始數(shù)據(jù)的深度處理，得到和學(xué)習(xí)相關(guān)的高級行為指標(biāo)，利用機器學(xué)習(xí)中神經(jīng)網(wǎng)絡(luò)、決策樹及線性回歸算法分別建模分析。研究發(fā)現(xiàn)：學(xué)習(xí)態(tài)度、學(xué)習(xí)及時水平和投入水平是影響在線學(xué)業(yè)成就的主要因素，耐挫水平為次要因素，而互動水平、積極水平和階段成效對最終的學(xué)業(yè)成就無關(guān)。該文最后對研究結(jié)果進(jìn)行了反思后認(rèn)為，課程選取對研究在線學(xué)業(yè)成就要素有非常大的影響。

關(guān)鍵詞：學(xué)習(xí)分析;在線課程;學(xué)業(yè)成就;機器學(xué)習(xí)

中圖分類號：G434 文獻(xiàn)標(biāo)識碼：A

一、引言

隨著大數(shù)據(jù)的應(yīng)用普及，很多行業(yè)（如金融、零售）都發(fā)生了巨大的變化。但一直以來，教育領(lǐng)域是在大數(shù)據(jù)中受益最少的領(lǐng)域之一，缺乏“數(shù)據(jù)驅(qū)動的思維（Data-driven Mind-set）”是教育領(lǐng)域當(dāng)今面臨的主要障礙。相對于流程清晰規(guī)范的金融系統(tǒng)，教育是一個超級復(fù)雜的系統(tǒng)，各類教育實踐活動產(chǎn)生了比金融行業(yè)要多得多的數(shù)據(jù)。因此，如何利用好教育數(shù)據(jù)，并從中發(fā)掘其背后的教育規(guī)律成了研究者最近關(guān)注的重點。自2010年起，學(xué)習(xí)分析（Learning Analytics，簡稱LA）逐漸從分析領(lǐng)域獨立出來，吸納數(shù)據(jù)挖掘、社會網(wǎng)絡(luò)分析、統(tǒng)計分析等多種分析方法，形成了一個獨立的新興領(lǐng)域。從此，學(xué)習(xí)分析作為分析技術(shù)在教育領(lǐng)域中的應(yīng)用和發(fā)展，受到越來越多研究者的關(guān)注和重視。運用在教育領(lǐng)域的學(xué)習(xí)分析主要任務(wù)是通過對學(xué)習(xí)者產(chǎn)生和收集到的相關(guān)數(shù)據(jù)進(jìn)行分析和闡釋，來評估學(xué)習(xí)者的學(xué)業(yè)成就、預(yù)測其學(xué)習(xí)表現(xiàn)并發(fā)現(xiàn)存在問題的過程。因此如何利用學(xué)習(xí)分析技術(shù)來預(yù)測學(xué)業(yè)成功與失敗是該領(lǐng)域核心問題。

二、文獻(xiàn)綜述

最近幾年，圍繞學(xué)業(yè)分析與學(xué)業(yè)成就這一話題，國內(nèi)外學(xué)者的研究主要聚焦在學(xué)業(yè)成就模型和指標(biāo)的研究上。Usamah通過對14個典型的學(xué)習(xí)分析系統(tǒng)和應(yīng)用進(jìn)行研究后指出，學(xué)習(xí)分析中數(shù)據(jù)輸入應(yīng)該包含盡可能多的數(shù)據(jù)，而不應(yīng)綁定在兩種或三種類型的數(shù)據(jù)中，并最終梳理出包含學(xué)習(xí)者往期學(xué)業(yè)表現(xiàn)、課程參與情況、學(xué)習(xí)者背景、社交表現(xiàn)等多個預(yù)測學(xué)業(yè)表現(xiàn)的重要指標(biāo)。Bukralia使用學(xué)業(yè)能力、經(jīng)濟(jì)水平、學(xué)業(yè)目標(biāo)、技術(shù)準(zhǔn)備、人口統(tǒng)計、課程動機與參與以及課程特征作為預(yù)測學(xué)業(yè)風(fēng)險或成就的指標(biāo)。G.Siemens等對學(xué)習(xí)者基本情況、學(xué)習(xí)目標(biāo)、動機水平、認(rèn)知風(fēng)格、學(xué)習(xí)需要的數(shù)據(jù)進(jìn)行收集，并對在線學(xué)習(xí)影響因素進(jìn)行分析，其成果為促進(jìn)學(xué)生學(xué)業(yè)成功提供了有力支撐。武法提和牟智佳基于學(xué)習(xí)者行為分析提出了以教學(xué)目標(biāo)分類理論、個性化學(xué)習(xí)理論和社會認(rèn)知理論為指導(dǎo)的，以“目標(biāo)-過程-結(jié)果”為思想的學(xué)習(xí)結(jié)果分類預(yù)測框架，并以edX平臺上一門MOOC課程的學(xué)習(xí)行為數(shù)據(jù)為研究對象進(jìn)行探索，通過將視頻學(xué)習(xí)次數(shù)、文本學(xué)習(xí)次數(shù)、評價參與時長、評價參與次數(shù)和論壇主題發(fā)起數(shù)作為行為指標(biāo)組合，發(fā)現(xiàn)學(xué)習(xí)次數(shù)的預(yù)測效果要好于學(xué)習(xí)時長，并與學(xué)習(xí)時長和學(xué)習(xí)次數(shù)結(jié)合后的預(yù)測效果接近。李爽等基于學(xué)習(xí)者在線學(xué)習(xí)行為投入歸納出參與、堅持、專注、交互、學(xué)術(shù)挑戰(zhàn)、學(xué)習(xí)自我監(jiān)控等六個在線學(xué)業(yè)成就評價指標(biāo)維度。陳子健等通過計算所有單個數(shù)據(jù)屬性和學(xué)業(yè)成績類別之間的相關(guān)系數(shù)及計算所有屬性的信息增益率兩種方法共同確定學(xué)業(yè)成績的影響因素。

通過對以上分析研究發(fā)現(xiàn)，在研究內(nèi)容及數(shù)據(jù)的處理上，目前大部分研究主要以理論探討、框架分析為主，部分以數(shù)據(jù)為基礎(chǔ)的實證分析主要是使用了在線平臺基礎(chǔ)的原始數(shù)據(jù)，如各類行為的時長、頻次等，對同一行為的多條數(shù)據(jù)的處理方法主要是取均值，如用所有練習(xí)的成績平均值來代表最終成績等。鑒于在線學(xué)習(xí)不同用戶的學(xué)習(xí)習(xí)慣不同、分配時間的方式不同、每個練習(xí)難度也不同，同一個學(xué)習(xí)者完成相似任務(wù)所需要的時間及次數(shù)差異都非常大，不同的學(xué)習(xí)者完成不同任務(wù)的次數(shù)和時間會相差更大，對原始數(shù)據(jù)簡單的均值處理顯然不太合理，因此需要對原始數(shù)據(jù)進(jìn)行歸一化處理。如Grabe和Sigler通過研究對各類時間進(jìn)行了估計，所有超過2分鐘的學(xué)習(xí)行為時間將被替換成2分鐘，選擇題答題時間最高設(shè)定為90秒，使用這種簡單規(guī)則，的確降低了數(shù)據(jù)的處理難度，在一定程度上對數(shù)據(jù)進(jìn)行了歸一化處理，但同時也丟失了包含大量用戶特征的數(shù)據(jù)。在研究方法上，很多研究都通過理論分析指出了影響在線學(xué)習(xí)學(xué)業(yè)成就的因素，然后通過調(diào)查問卷或少量在線數(shù)據(jù)來建模驗證，數(shù)據(jù)處理的方式多用回歸分析或結(jié)構(gòu)方程模型，很少使用大數(shù)據(jù)研究所采用的機器學(xué)習(xí)算法來進(jìn)行建模并對模型進(jìn)行深入分析。

三、分析框架

本研究參照上述文獻(xiàn)中關(guān)于學(xué)業(yè)成就框架的研究結(jié)果，對基本的原始數(shù)據(jù)進(jìn)行歸一化處理后，結(jié)合文獻(xiàn)中研究得出的影響學(xué)業(yè)成就指標(biāo)，選取了及時水平、投入水平、互動水平、耐挫水平、積極水平、學(xué)習(xí)態(tài)度、階段成效等七個維度作為分析在線學(xué)業(yè)成績的指標(biāo)，并選擇了對相關(guān)底層數(shù)據(jù)進(jìn)行更深入挖掘后所形成的“高級數(shù)據(jù)”作為以上維度的指標(biāo)項，構(gòu)建了學(xué)業(yè)成績要素分析的框架，如表1所示。使用線下成績作為學(xué)業(yè)成就的標(biāo)簽數(shù)據(jù)，利用機器學(xué)習(xí)算法構(gòu)建模型，分析哪些指標(biāo)是影響在線學(xué)習(xí)成就的主要指標(biāo)。

（一）第一次學(xué)習(xí)課程時間

考慮到課程的創(chuàng)建與發(fā)布時間不一定就是學(xué)習(xí)者可以學(xué)習(xí)的時間，因此本研究使用課程第一個學(xué)習(xí)者開始學(xué)習(xí)的時間為起始點，其他學(xué)習(xí)者第一次學(xué)習(xí)課程的時間與起始點之間的間隔，即為該學(xué)習(xí)者的第一次學(xué)習(xí)課程時間，該時間為相對時間，以天為單位。第一次學(xué)習(xí)課程的時間反映了學(xué)習(xí)者能否迅速開始學(xué)習(xí)活動。

（二）平均客觀題開始答題時間

客觀題開始答題時間：采用和第一次學(xué)習(xí)課程時間相同的研究方法，將從每個客觀題作業(yè)第—個學(xué)習(xí)者開始答題的時間開始，到其他學(xué)習(xí)者開始作答該客觀題作業(yè)時間結(jié)束，定義為該學(xué)習(xí)者該客觀題的開始答題時間，該時間為相對時間，以天為單位。

平均客觀題開始答題時間：某學(xué)習(xí)者某一門課程全部客觀題作業(yè)的客觀題開始答題時間的平均值定義為該學(xué)習(xí)者的平均客觀題開始答題時間。通過平均客觀題開始答題時間，可以反映出學(xué)習(xí)者開始學(xué)習(xí)課程新資源的主動性和及時性。

（三）客觀題平均答題時長偏移

客觀題答題合理時長：本研究以每個客觀題任務(wù)為單位，基于在線認(rèn)真學(xué)習(xí)的學(xué)習(xí)者成績大部分都能超過均分的假設(shè)，選取所有完成該任務(wù)且評分大于本題均分的學(xué)習(xí)者完成時間為樣本計算該任務(wù)的答題合理時間。具體做法如下：對于每個課程的客觀題，不同學(xué)生完成時間相差非常大，如某客觀題任務(wù)（10道選擇題）最短答題時間12秒，最長時間約1200秒，相差近100倍，因此在計算答題平均時間時如果將所有的樣本都計算在內(nèi)，必然有很大誤差。在實際操作時，先通過箱線圖去除異常值，將剩下的樣本時間計算均值，得到某個課程客觀題答題合理時長。如果答題時間過長或過短，都可能是學(xué)習(xí)者完成任務(wù)時投入不夠，過長的答題時間意味著學(xué)習(xí)者在完成任務(wù)過程中有其他和當(dāng)前任務(wù)無關(guān)的行為，過短的答題時間則可能是學(xué)習(xí)者對所回答的問題缺乏深入的思考。

客觀題平均答題時長偏移：將每次任務(wù)的時長減去該任務(wù)合理時長定義為答題時長偏移，所有的答題時長偏移的絕對值的均值即客觀題平均答題時長偏移。該指標(biāo)項反映了學(xué)生的學(xué)習(xí)投入水平。

（四）觀看視頻是否中斷

視頻中斷的類型分為2種，一種是暫停視頻播放做某個其他事情后繼續(xù)播放（視頻頁面沒有關(guān)閉），另一種是直接關(guān)閉視頻播放頁面后退出視頻的播放。鑒于第一種暫停行為頁面沒有關(guān)閉，可能是學(xué)習(xí)者正在完成某個練習(xí)，或者暫停做線下筆記（也可能是做線下和學(xué)習(xí)無關(guān)的事，但無法及時檢測），所以認(rèn)為學(xué)習(xí)仍在進(jìn)行。本研究主要關(guān)注的是第二種，即是否能在不關(guān)閉視頻窗口的情況下一次完整看完視頻。

觀看進(jìn)度與觀看次數(shù)：每個視頻每次的觀看時間和視頻長度之比定義為視頻的觀看進(jìn)度。某個視頻每次觀看進(jìn)度越大，觀看次數(shù)越少，則說明用戶觀看視頻注意力越集中;而視頻每次觀看進(jìn)度越小，觀看次數(shù)越多則可以認(rèn)為學(xué)習(xí)者投入學(xué)習(xí)活動的程度不夠。因此，可以使用課程內(nèi)所有視頻的平均觀看進(jìn)度和觀看次數(shù)來描述學(xué)習(xí)者觀看視頻的精力集中程度。

（五）論壇中發(fā)帖、回帖及跟帖

本研究中為了方便描述，對發(fā)帖、回帖及跟帖定義界定如下：

發(fā)帖：學(xué)習(xí)者在課程的論壇中，發(fā)表一個新話題供大家討論的行為，定義為發(fā)帖。

回帖：學(xué)習(xí)者在課程論壇對某個發(fā)貼發(fā)表的自己關(guān)于本話題的看法的行為，定義為回帖。

跟帖：學(xué)習(xí)者在課程論壇中對某發(fā)貼的回帖給予一定評價或看法的行為，定義為跟帖。

通過學(xué)習(xí)者在課程論壇中是否回帖或跟帖及回帖跟帖的數(shù)量作為指標(biāo)來反映學(xué)習(xí)者主動參與互動的情況。一般可以認(rèn)為，回帖跟帖的數(shù)量越多，學(xué)習(xí)者參與互動的主動性越強。在論壇中是否能主動發(fā)帖，可以反映出學(xué)習(xí)者在學(xué)習(xí)過程中遇到問題后，是否能主動向同伴尋求幫助。

（六）堅持度

當(dāng)學(xué)習(xí)者遇到較難任務(wù)時，能夠克服困難，克服畏難情緒，繼續(xù)任務(wù)的傾向程度，可以表示為堅持度。在線課程的學(xué)習(xí)中，會有一定的主觀題作業(yè)和客觀題作業(yè)。在完成作業(yè)的過程中，如果連續(xù)答題遭到挫折（成績低于60分），學(xué)習(xí)者一般會產(chǎn)生畏難情緒，放棄后續(xù)課程的學(xué)習(xí)，最終導(dǎo)致學(xué)習(xí)失敗;如果學(xué)習(xí)者能克服困難，堅持完成后續(xù)的學(xué)習(xí)，則有可能獲得最后的成功。樣本中課程共8周，有8個客觀題練習(xí)，按周次把練習(xí)題分成了前后2部分。如總體受到的挫折次數(shù)（NoS： Number of Setbacks）較多，且后期答題次數(shù)（NoA： Number of Answers）仍然較多，則認(rèn)為該學(xué)習(xí)者堅持度（DoP：Degree of Persistence）比較高。學(xué)習(xí)者在遭受挫折（或成功，NoS=O）后，放棄了后期的答題（NoA=O），則其堅持度為0，如果NoA>O，則采用NoS+NoA表示學(xué)習(xí)者堅持度。堅持度值越大，表示學(xué)習(xí)者耐挫水平越高。

（七）學(xué)習(xí)者好勝度

學(xué)習(xí)者在完成客觀題作業(yè)任務(wù)后，如果對第一次成績不滿意，很多同學(xué)會嘗試重新做題，再次“刷分”，“刷分”次數(shù)的多少可以描述學(xué)習(xí)者學(xué)習(xí)的積極水平。在本研究樣本中，首次答題分值超過90分但不是滿分的學(xué)習(xí)者，約有34%的學(xué)習(xí)者會繼續(xù)“刷分”以取得更高的分?jǐn)?shù)，這部分學(xué)習(xí)者雖然成績已經(jīng)超過選課的大部分同學(xué)，但他們?nèi)阅芘μ岣咦约旱募寄?，具有強烈的好勝欲?/p>

（八）主觀題評價他人平均次數(shù)

大多數(shù)網(wǎng)絡(luò)在線課程的主觀題都是采取同伴評價的方式，積極主動參加評價他人主觀題的次數(shù)多少，也反映了該學(xué)習(xí)者的學(xué)習(xí)積極水平。

（九）作業(yè)完成的數(shù)量

在本研究中作業(yè)完成數(shù)量分為客觀作業(yè)完成數(shù)量和主觀作業(yè)完成數(shù)量。作業(yè)完成的數(shù)量多少，反映了學(xué)習(xí)者基本的學(xué)習(xí)態(tài)度。

（十）作業(yè)完成的質(zhì)量

作業(yè)完成的質(zhì)量通過主觀題完成后的分值和客觀題完成后的分值來體現(xiàn)。前面提到，基于項目反映理論，由于題目難度不一，不宜直接取所有作業(yè)成績的均值。基于某項作業(yè)成績服從正態(tài)分布的假設(shè)，先計算某項作業(yè)的均值和方差，用學(xué)習(xí)者某項作業(yè)成績偏離該項作業(yè)均值的差再除以方差來描述，即用偏離均值多少個標(biāo)準(zhǔn)差來歸一化主觀題和客觀題分值（作業(yè)的標(biāo)準(zhǔn)成績）。多個作業(yè)的成績用這些作業(yè)的標(biāo)準(zhǔn)成績的均值來描述。

四、數(shù)據(jù)的收集、處理和分析

（一）數(shù)據(jù)收集

本研究的數(shù)據(jù)來自揚州大學(xué)通識教育平臺線上課程《戲曲鑒賞》。自課程開設(shè)以來，共有2819名學(xué)生注冊。通過對系統(tǒng)數(shù)據(jù)庫和網(wǎng)站日志處理，提取了包括視頻查看、資源訪問、客觀題答題、主觀題答題、論壇討論、主觀題互評等相關(guān)的學(xué)生在線學(xué)習(xí)數(shù)據(jù)，為了研究的需要，除了線上的數(shù)據(jù)外，本研究還收集了包括學(xué)習(xí)結(jié)束后的線下考試成績及相關(guān)問卷數(shù)據(jù)。

為了驗證線下成績是否能反映平時的各種在線學(xué)習(xí)所體現(xiàn)的技能水平，能否反映學(xué)習(xí)者的在線學(xué)業(yè)成就，本研究采用線下考試成績和線上綜合成績之差的分布情況來驗證。課程最后安排的線下閉卷考試成績?yōu)榫€下成績，線上成績由課件查看（20%）、客觀練習(xí)（30%）、主觀練習(xí)（30%）、線上討論（20%）四部分組成。為了研究最終線下成績是否和線上各項行為成績相關(guān)，取每個學(xué)習(xí)者的線下線上成績之差，繪制了的成績差值的分布圖，如圖1所示。由分布圖可以看出，線上線下成績差值基本服從均值為0，方差為14的正態(tài)分布。當(dāng)然，圖中右側(cè)還有一部分樣本占了不少的比重但不服從分布的區(qū)域，經(jīng)過對樣本詳細(xì)研究后發(fā)現(xiàn)，這個群體的學(xué)習(xí)者很少有線上活動（線上成績幾乎為0），但經(jīng)過自己的線下復(fù)習(xí)，最后參加了線下考試，并獲得了成績，因此這部分學(xué)習(xí)者的線下和線上成績是沒有相關(guān)性的。排除掉這部分沒有線上學(xué)習(xí)的學(xué)習(xí)者，由圖1可以說明各種在線學(xué)習(xí)所體現(xiàn)的技能水平是真實的，研究中所選取線下成績的代表學(xué)習(xí)者在線學(xué)業(yè)成就的標(biāo)簽也是可信的。

（二）數(shù)據(jù)處理

本研究數(shù)據(jù)處理過程采用機器學(xué)習(xí)的標(biāo)準(zhǔn)流程進(jìn)行處理。首先從平臺數(shù)據(jù)庫和日志文件中獲取底層原始信息，鑒于在線學(xué)習(xí)數(shù)據(jù)的稀疏性，首先清洗掉那些在線行為較少的學(xué)習(xí)者，并對數(shù)據(jù)進(jìn)行處理和變換，得到較高級的指標(biāo)項，將得到的數(shù)據(jù)分成測試集和訓(xùn)練集，訓(xùn)練集用來訓(xùn)練模型，測試集用來對模型的優(yōu)劣進(jìn)行評價，最后將得到的模型用于在線學(xué)習(xí)用戶行為反饋，并根據(jù)反饋優(yōu)化模型，如圖2所示。

1.數(shù)據(jù)抽取

從在線學(xué)習(xí)后臺數(shù)據(jù)庫中獲取學(xué)習(xí)者各項行為的結(jié)果數(shù)據(jù)，如主觀題答題成績、視頻觀看進(jìn)度等結(jié)果數(shù)據(jù)。從日志獲取各學(xué)習(xí)者的各項行為數(shù)據(jù)，如何時開始學(xué)習(xí)、視頻觀看過程是否暫停、視頻暫停后線上行為等過程數(shù)據(jù)。本研究通過對原始數(shù)據(jù)的分析，選取了開始學(xué)習(xí)時間、客觀題答題時間及結(jié)果信息、主觀題答題及互評信息、視頻觀看時間及行為信息、論壇互動時間及行為信息等原始信息作為最基礎(chǔ)的分析數(shù)據(jù)。

2.數(shù)據(jù)探索與預(yù)處理

本流程主要任務(wù)是對結(jié)果數(shù)據(jù)集和過程數(shù)據(jù)集進(jìn)行數(shù)據(jù)探索分析與預(yù)處理，對數(shù)據(jù)缺失值（如部分學(xué)習(xí)者沒有開始答題時間）與異常值（如客觀題答題時間超過1天）進(jìn)行處理，對數(shù)據(jù)的屬性進(jìn)行規(guī)約、清洗和變換。通過對原始數(shù)據(jù)的規(guī)約和變換，最終等到15個維度的指標(biāo)項，如表1所示。去除掉在線成績小于20的樣本，因為產(chǎn)生這些數(shù)據(jù)的學(xué)習(xí)者的學(xué)習(xí)行為有極大的隨機性，不太合適用模型去估計。同樣，還需要去除線下成績小于20的數(shù)據(jù)，因為很多課程學(xué)習(xí)者即使沒有上課，按照他們原有的知識水平或者靠運氣也可以得到線下20分以下的分?jǐn)?shù)。將處理好的數(shù)據(jù)進(jìn)行分層抽樣，分成訓(xùn)練集測試集，訓(xùn)練集用于建立模型，測試集評估模型的預(yù)測等能力。

3.建模與應(yīng)用

根據(jù)數(shù)據(jù)挖掘經(jīng)驗，使用神經(jīng)網(wǎng)絡(luò)建模相對于其他建模方式，通常計算時間較長，有比較好的準(zhǔn)確度，雖然其不可解釋，但可以使用其作為其他建模算法的性能參照。因此，本研究首先通過神經(jīng)網(wǎng)絡(luò)算法進(jìn)行建模得到一組性能指標(biāo)，再通過決策樹算法進(jìn)行建模并與前述的模型指標(biāo)進(jìn)行對比，以驗證決策樹算法構(gòu)建模型泛化能力的優(yōu)劣。

本研究利用多層前饋神經(jīng)網(wǎng)絡(luò)、10折交叉驗證的方法來對模型進(jìn)行訓(xùn)練和測試。交叉驗證是一種統(tǒng)計學(xué)上將數(shù)據(jù)樣本切割成較小子集的實用方法，先在一個子集上做分析，而其它子集則用來做后續(xù)對此分析的確認(rèn)及驗證，依次循環(huán)，這樣可以最大化利用樣本進(jìn)行訓(xùn)練。本研究將線下成績分成了3個等級，不合格（0-59）、合格（60-79）和優(yōu)秀（80-100）使用神經(jīng)網(wǎng)絡(luò)算法分類算法學(xué)習(xí)建模。經(jīng)過參數(shù)調(diào)優(yōu)，得到的模型準(zhǔn)確度達(dá)到65.81%，Kappa（評價分類結(jié)果一致性和信度的重要指標(biāo)值為0.434，說明得出的模型和數(shù)據(jù)中度一致，分類結(jié)果的混淆矩陣如表2所示。

從表2中可以看出，不論是準(zhǔn)確率還是召回率都是分類為不合格的樣本最小、分類為優(yōu)秀的樣本最大，即成績較好（大于80）的學(xué)習(xí)者比較容易識別，而成績較差的學(xué)習(xí)者比較難以識別。經(jīng)過仔細(xì)研究后發(fā)現(xiàn)成績較差（線下成績40-60）的學(xué)習(xí)者由于其在網(wǎng)絡(luò)上行為相對較少，研究所得的模型無法對較少數(shù)據(jù)的樣本進(jìn)行準(zhǔn)確預(yù)測。同時，研究也發(fā)現(xiàn)，實際為不合格分類的樣本被預(yù)測為優(yōu)秀的數(shù)量為0，分類為優(yōu)秀的樣本只有1個被預(yù)測為不合格，這說明樣本中優(yōu)秀和不合格還是有很好的區(qū)分度的，難以區(qū)分的是分類為不合格的樣本與分類為合格的樣本，以及分類為合格的樣本與分類為優(yōu)秀的樣本，經(jīng)過研究后發(fā)現(xiàn)這和我們將成績這個連續(xù)量強制分成3個離散區(qū)段有關(guān)，因為成績值本來是連續(xù)的，60和59只差一分，離散化后卻是不同等級了，因此導(dǎo)致相鄰的分類區(qū)分度不高。但通過該模型可以看出線下成績的確和本研究所選取的15個指標(biāo)有關(guān)，由于神經(jīng)網(wǎng)絡(luò)分類算法結(jié)果沒法直觀解釋，只能用于預(yù)測，所以只能說線下成績和我們的指標(biāo)項相關(guān)，但和哪些指標(biāo)項最為相關(guān)、相關(guān)度如何還需要進(jìn)步一研究。

在機器學(xué)習(xí)算法中，相對比較直觀也容易解釋的算法就是決策樹分類方法了，因此為了找到哪些指標(biāo)對在線學(xué)習(xí)成就影響最大，本研究將機器學(xué)習(xí)算法由神經(jīng)網(wǎng)絡(luò)算法更換為決策樹算法，再次對數(shù)據(jù)進(jìn)行了學(xué)習(xí)建模。考慮到分類結(jié)果的可解釋性，學(xué)習(xí)過程中設(shè)置了決策樹最大深度為5層，最終得到了精確度為59.91%，Kappa為0.301的預(yù)測模型。相比較神經(jīng)網(wǎng)絡(luò)，不論是精確度還是Kappa值都降低了不少，但如果把決策樹層數(shù)設(shè)置為20時，精確度提升至為69.73%，而Kappa也上升為0.485，相比較神經(jīng)網(wǎng)絡(luò)算法相關(guān)性能而言，使用決策樹算法得到的分類模型還是比較準(zhǔn)確的。決策樹分類圖如圖3所示，所對應(yīng)的分類結(jié)果混淆矩陣如表3所示。從分類結(jié)果的混淆矩陣可以看出，使用決策樹分類后，不合格的準(zhǔn)確率得到了大幅度提升，而不合格的召回率大大降低，說明相對于神經(jīng)網(wǎng)絡(luò)算法，決策樹算法在本研究中預(yù)測比較樂觀。從圖3也可以看出，影響在線學(xué)習(xí)學(xué)業(yè)成就的主要因素有主觀題的完成數(shù)、視頻平均觀看進(jìn)度、客觀題完成數(shù)、視頻觀看次數(shù)以及第一次學(xué)習(xí)課程的時間。

考慮到線下成績被離散化后，可能會影響預(yù)測結(jié)果，最后再次用線性回歸算法來重新建模，得到的模型的指標(biāo)R2（Squared Correlation）為0.212，線性回歸的結(jié)果如下頁表4（僅僅列出了p值小于0.005屬性）。參照Chin的建議，R2在0.19左右表示模型的解釋能力薄弱說明模型不能很好地和數(shù)據(jù)擬合。不過可以從表4中大致看出，第一次學(xué)習(xí)課程時間、堅持度、視頻平均觀看次數(shù)及主觀題完成數(shù)是對線下成績影響顯著。

（三）數(shù)據(jù)結(jié)果分析

通過對以上學(xué)習(xí)模型的分析，我們發(fā)現(xiàn)，雖然線性回歸算法得到的在線學(xué)業(yè)成就影響指標(biāo)和決策樹算法得到的影響指標(biāo)有差異，但也有不少指標(biāo)是重合的。主觀題完成次數(shù)（學(xué)習(xí)態(tài)度）、視頻平均觀看次數(shù)（投入水平）及第一次學(xué)習(xí)課程時間（及時水平）同時出現(xiàn)，而視頻平均觀看進(jìn)度（投入水平）、客觀題完成數(shù)（學(xué)習(xí)態(tài)度）及堅持度（耐挫水平）只在其中一個模型中出現(xiàn)，說明學(xué)習(xí)態(tài)度、投入水平和及時水平是影響在線學(xué)習(xí)學(xué)習(xí)成就的主要因素，耐挫水平為次要因素，而互動水平、積極水平和階段成效在本研究中對最終的學(xué)業(yè)成就無關(guān)。

五、討論與反思

得到以上研究結(jié)果，似乎有些不合常理。因為之前很多研究都揭示論壇的活躍情況及答題情況等對學(xué)業(yè)成就成績有很大影響，但在本研究顯示論壇活躍情況、答題正確率、答題速度等和最終學(xué)業(yè)成就之間相關(guān)性很小，而這些指標(biāo)在以前關(guān)于學(xué)業(yè)成就的研究中都是顯而易見的影響指標(biāo)。本研究發(fā)現(xiàn)影響學(xué)業(yè)成就最大的因素是學(xué)習(xí)的態(tài)度、投入水平和及時水平。本文認(rèn)為可能有如下因素導(dǎo)致了本研究和其他研究者研究結(jié)果的不一致：

第一，課程的選取：不同類型的課程，有其不同特點，也有其不同的學(xué)習(xí)方法。有的課程學(xué)習(xí)內(nèi)容比較開放，這類課程互動水平就可能會影響其學(xué)業(yè)成就，而一般的識記、技能型課程互動水平對學(xué)業(yè)成就影響就會比較小。

第二，之前研究的討論數(shù)據(jù)可能是經(jīng)過控制的數(shù)據(jù)：本研究中選課的2819人，約有1900人（67%）沒有參加課程討論（回帖跟帖次數(shù)為0），在參與討論的學(xué)習(xí)者中，只有約10%左右學(xué)習(xí)者回帖數(shù)量在15個以上，發(fā)帖和跟帖的人更少，如圖4和圖5所示。從發(fā)帖的內(nèi)容來看，不少帖子主題和課程內(nèi)容無關(guān)?；谏鲜鰞蓚€原因，最終導(dǎo)致了研究結(jié)果中互動水平和學(xué)業(yè)成就無關(guān)?；谀壳按蟛糠衷诰€課程的論壇數(shù)據(jù)都是很稀疏的事實，本文推測之前得出互動水平和學(xué)業(yè)成就有關(guān)研究的論壇數(shù)據(jù)可能是受到控制后的結(jié)果。

第三，學(xué)業(yè)成就標(biāo)簽數(shù)據(jù)需要調(diào)整：結(jié)論中答題的速度及每次答題的分?jǐn)?shù)和最終的學(xué)業(yè)成就也沒有關(guān)系，是否意味著最終線下考核試題是作為選修的線上課程的客觀題或主觀題部分題目的再現(xiàn)。所有的題目都見過、做過并且重新“刷過”，最終這樣的線下考核當(dāng)然就看學(xué)習(xí)者的態(tài)度和投入水平了，因此后續(xù)研究需要從更多的維度來描述學(xué)業(yè)成就而不單純使用線下成績來表示在線學(xué)業(yè)成就。

根據(jù)本研究結(jié)果，也給參加在線課程學(xué)習(xí)的學(xué)習(xí)者就如何能獲得較好學(xué)習(xí)成就提供一些建議：首先，加強時間管理，積極及時參加在線課程學(xué)習(xí)。由于在線學(xué)習(xí)沒有線下學(xué)習(xí)課堂管理的各種約束，很多在線學(xué)習(xí)者會無意識拖延課程學(xué)習(xí)，直到最后放棄課程學(xué)習(xí)。本研究數(shù)據(jù)表明，未完成前兩周課程的學(xué)習(xí)者占最終放棄課程學(xué)習(xí)的比例高達(dá)近78%;其次，提高投入水平，認(rèn)真完成課程資源學(xué)習(xí)。對課程資源尤其是視頻資源的學(xué)習(xí)，最好能集中精力，做到一氣呵成，多次短時間的視頻觀看會導(dǎo)致更多的精力消耗在系統(tǒng)的切換中;最后，堅持目標(biāo)導(dǎo)向，努力完成在線課程每周的各類練習(xí)。研究結(jié)果表明，完成練習(xí)的數(shù)量影響最終的學(xué)習(xí)成就，所以不要拘泥于每次練習(xí)的具體成績，而是要能堅持完成盡量多的練習(xí)。通過練習(xí)促使學(xué)習(xí)者自己能認(rèn)真學(xué)習(xí)在線課程各類資源，最后達(dá)到較好的學(xué)業(yè)成就。

學(xué)習(xí)分析作為教育技術(shù)專業(yè)新興的研究領(lǐng)域，通過機器學(xué)習(xí)算法對海量教育進(jìn)行分析時，可能會得到很多看似不合邏輯的結(jié)論，對這些結(jié)論不能不加分析進(jìn)行使用，只有抱著科學(xué)的懷疑精神，對結(jié)果進(jìn)行理性分析，找出背后的教育規(guī)律才能使學(xué)習(xí)分析技術(shù)真正服務(wù)于精準(zhǔn)教育，改善信息化環(huán)境下的教與學(xué)，讓個性化教學(xué)成為現(xiàn)實。

作者簡介：

孫發(fā)勤：講師，在讀博士，研究方向為教育大數(shù)據(jù)、教育數(shù)據(jù)挖掘與學(xué)習(xí)分析（fqsun@yzu.edu.cn）。

馮銳：教授，博士生導(dǎo)師，研究方向為新媒體開發(fā)與應(yīng)用、教育信息化建設(shè)、學(xué)習(xí)科學(xué)與技術(shù)設(shè)計（frzx0519@163.com）。