魏勍颋 鄒宏 左有遊

摘要：網(wǎng)絡(luò)課程學習過程評價形式單一的問題亟待解決。因此提出一種基于隱馬爾可夫模型的多維評價方法，對學生學習事件進行持續(xù)跟蹤和統(tǒng)計，運用隱馬爾可夫模型識別隱含在學習事件序列中不同維度學習狀態(tài)序列，將其作為網(wǎng)絡(luò)課程學習過程多維度評價結(jié)果。實驗表明，該評價方法準確率、精度和召回率分別平均達到0.64、0.75和0.80。基于HMM模型的網(wǎng)絡(luò)課程學習過程多維評價結(jié)果可有效反映學生學習狀態(tài)過程性變化。

關(guān)鍵詞：網(wǎng)絡(luò)課程;學習過程;多維評價;隱馬爾可夫模型

DOI：10. 11907/rjdk. 192679 開放科學（資源服務(wù)）標識碼（OSID）：

中圖分類號：G434文獻標識碼：A 文章編號：1672-7800（2020）005-0247-05

0 引言

網(wǎng)絡(luò)課程因其交互、共享和開放的優(yōu)勢，已成為傳統(tǒng)課堂教學改革的一種重要形式。與傳統(tǒng)課堂教學一樣，學習評價是網(wǎng)絡(luò)課程學習的一個重要環(huán)節(jié)，是檢驗學習效果是否達到預期教學目標的有效手段。近年來，網(wǎng)絡(luò)課程學習評價不再以關(guān)注學習成果作為唯一評價指標，而是把關(guān)注點更多地放在對學習過程的考核上[1]。但是網(wǎng)絡(luò)課程學習活動大部分是由學生自主進行的，教師無法面對面地了解學生學習狀態(tài)。即使許多學習平臺提供了作業(yè)、測驗、討論和學習統(tǒng)計等功能，在一定程度上可反映學生學習狀態(tài)，但教師仍然很難完整地把握每個學生學習過程，只能簡單地根據(jù)一些指標給出終結(jié)性或階段性分數(shù)或等級。

因此本文針對網(wǎng)絡(luò)課程學習過程，提出一種有效的評價方法——基于隱馬爾可夫模型（Hidden Markov Model，HMM）[2]的多維評價方法。該方法可綜合分析和評價學習者整個學習過程，不同于傳統(tǒng)單一的分數(shù)或等級評價。具體指對每位學習者學習過程中的學習事件進行持續(xù)跟蹤和統(tǒng)計，運用隱馬爾可夫模型識別隱含在學習事件序列中不同維度學習狀態(tài)的序列，作為網(wǎng)絡(luò)課程學習過程多維度評價結(jié)果。應(yīng)用該方法的學習過程評價目的不再是分出優(yōu)劣，而是讓教師和學生把握學習狀態(tài)變化，找到學習進步或退步的內(nèi)在規(guī)律，從而更好地促進學習。同時本文還提供一套可進行學習數(shù)據(jù)分析與學習過程評價的自動化軟件工具，可較方便地利用現(xiàn)有網(wǎng)絡(luò)教學平臺學習數(shù)據(jù)，對平臺上已開設(shè)的課程進行學習過程評價。

1 網(wǎng)絡(luò)課程學習過程評價研究現(xiàn)狀

網(wǎng)絡(luò)課程學習過程評價指在網(wǎng)絡(luò)課程學習過程中，在過程性評價等理論指導下，依據(jù)相關(guān)評價標準，利用計算機網(wǎng)絡(luò)記錄和跟蹤技術(shù)，從學習者學習過程中學習動機、學習方法和學習效果等多維角度進行的持續(xù)跟蹤評價活動[3]。目前國內(nèi)大多數(shù)高校已建立網(wǎng)絡(luò)教學平臺，并在互聯(lián)網(wǎng)上開放了慕課、微課，由此網(wǎng)絡(luò)課程學習過程評價研究成為教育技術(shù)研究熱點。相關(guān)研究工作可分為評價標準、評價指標體系、評價方法和評價工具等幾個方面。本文研究工作可歸于評價方法與工具范疇。

評價標準方面的研究工作國外居多。比較著名的網(wǎng)絡(luò)學習評價標準包括Lynette Gillis等[4]提出的“網(wǎng)絡(luò)學習認證標準（E-Learning Certification Standards）”、英國Wales Bangor大學Sandy Britain等[5]完成的“虛擬學習環(huán)境的教育評價框架（A Framework for Pedagogical Evaluation of Virtual Learning Environments）”，以及美國國家教育政策研究所和BlackBoard公司聯(lián)合發(fā)布的“在線基準質(zhì)量（Quality On The Line）”[6]。朱凌云等[7]通過比較分析以上標準，總結(jié)出網(wǎng)絡(luò)課程評價應(yīng)遵循全面、客觀和唯一原則。此外，還有美國社會訓練與發(fā)展組織制定的網(wǎng)絡(luò)課程認證標準（E-learning Courseware Certification Standards）[8]、歐洲標準委員會制定的質(zhì)量保證指南（Quality Assurance Standard）[9]和我國教育部科技司開展的現(xiàn)代遠程教育標準研究項目[10]。高丹丹[11]指出，國內(nèi)外制定的標準在評價組織、數(shù)據(jù)定量、學習效果評價等方面涉及不多。

評價指標體系方面的研究工作集中在國內(nèi)。王均霞等[12]就“現(xiàn)代教育技術(shù)”課程確定了學習能力目標、 知識理解目標和技能應(yīng)用目標為課程的評價目標，并基于此設(shè)計了相應(yīng)評價指標體系;趙蔚等[13]從動機、過程和效果3個維度構(gòu)建網(wǎng)絡(luò)學習評價體系，設(shè)計了不同的功能模塊;王江[14]建立了包含知識成果、資源利用、交流協(xié)作及網(wǎng)絡(luò)態(tài)度4個維度的網(wǎng)絡(luò)學習過程評價模型，并使用層次分析法確定了各評價指標的權(quán)重;杜茹娟[15]以實際網(wǎng)絡(luò)學習平臺為基礎(chǔ)，從用戶日志及數(shù)據(jù)庫中提取用戶行為數(shù)據(jù)作為指標，找出其中與學習成績顯著相關(guān)的16項指標;李君玉等[16]研究了學生對網(wǎng)絡(luò)學習平臺的訪問時長與其學習成績的相關(guān)性。但這些評價指標體系研究大多從教育學意義上進行分析和描述，因此相關(guān)模型一般無法采用計算機進行模擬和仿真。

網(wǎng)絡(luò)學習評價方法主要包括總分法、加權(quán)平均法、模糊綜合分析法和層次分析法[14]。肖鳳翔等[17]在課程評價上提出采用3種方法：①通過等級評價量表測評予以量化分值最終得出加權(quán)平均值;②一級指標采用模糊綜合評價統(tǒng)計模糊綜合評價結(jié)果;③采用蘇格拉底式研討評定法進行質(zhì)性研究。鄭志高等[18]在對xMooc的學習評價研究中，通過對Coursera、ed X及 Udacity 3個平臺各門課程學習評價方法進行梳理和統(tǒng)計分析，認為這些網(wǎng)絡(luò)課程評價還是近似于傳統(tǒng)學習評價，缺少學習過程評價。

常見學習過程評價工具包括：電子檔案袋、問卷評估表、學習契約等。電子檔案袋評價是以音頻、視頻、圖片、文本等多種媒體形式記錄學習過程的數(shù)據(jù)，并收集和組織在電子檔案袋中，是學習者學習過程的全紀錄[19];問卷評估表是以問題或評價條目組織的表單，讓學習者通過回答預選設(shè)計好的問題啟發(fā)反思;學習契約是一份學習者擬定了學習目標、學習內(nèi)容和方法、學習時間和評估方式的合同，通過檢查學習者是否履行契約達到學習過程評價的目的。但這些評價工具操作比較復雜，容易讓學習者產(chǎn)生回避評價的心理，而且評價可能存在主觀性誤差，使評價結(jié)果無法準確反映網(wǎng)絡(luò)課程學習者各階段學習狀態(tài)變化。

2 基于隱馬爾可夫模型的網(wǎng)絡(luò)課程學習過程多維評價

學習評價不但需關(guān)注學習結(jié)果，更應(yīng)關(guān)注學習過程中的進步[20]。遵循該思想，本文將模式識別領(lǐng)域經(jīng)典的隱馬爾可夫模型運用到網(wǎng)絡(luò)課程學習過程評價中。從學習動機、學習方法或?qū)W習效果3個維度，通過識別學習過程狀態(tài)序列，從本質(zhì)上理解學習過程中的現(xiàn)象和規(guī)律，提出不同于現(xiàn)有研究常用的分數(shù)（量性）或等級（質(zhì)性）評價的一種評價結(jié)果形式。

2.1 評價維度

網(wǎng)絡(luò)課程的學習是一個多元素協(xié)同作用的復雜過程，包含學習者學習動機、學習方法和學習效果等要素。學習動機是引發(fā)與維持學習行為、并使之指向一定學業(yè)目標的一種動力傾向，是學習的起因;學習方法是通過學習實踐總結(jié)出的快速掌握知識的方法，是學習過程的推動因素;學習效果是學習過程的成效和結(jié)果。三者缺一不可。因此，參照文獻[3]對網(wǎng)絡(luò)課程學習過程評價的定義，本文從學習動機、學習方法和學習效果3個維度入手，研究網(wǎng)絡(luò)課程學習過程多維評價方法。

2.2 評價結(jié)果形式

學習動機、學習方法和學習效果這3個維度，對應(yīng)網(wǎng)絡(luò)課程學習過程的不同要素，其在某個學習階段總處于一定的狀態(tài)。例如，學習動機的狀態(tài)可以是強或一般，學習方法狀態(tài)可以是適合或不適合，學習效果狀態(tài)可以是理想或不理想。本文將各維度網(wǎng)絡(luò)課程學習過程評價結(jié)果表示為維度要素在不同學習階段所處狀態(tài)的序列，采取一種簡化的維度要素狀態(tài)集合，如圖1所示。

以學習動機維度為例，如果評價時間范圍為4個連續(xù)的教學單元，評價結(jié)果可能表示為學習動機要素的狀態(tài)序列“q1q2q2q1”。將幾個維度的狀態(tài)序列綜合在一起，構(gòu)成整個網(wǎng)絡(luò)課程學習過程評價結(jié)果。

2.3 評價依據(jù)

學習動機、學習方法和學習效果在不同學習階段所處狀態(tài)是隱含的，并不能被直接觀測到，只能通過觀察各階段與網(wǎng)絡(luò)課程學習活動相關(guān)事件，分析各維度要素狀態(tài)變化序列。這些事件往往是特定學習狀態(tài)下才會產(chǎn)生。譬如，學習動機強時進入課程的次數(shù)增多，學習方法適合時參與課程活動的次數(shù)增多，學習效果令人滿意時階段測驗分數(shù)也會同時提高。最終本文選擇了比較容易觀測和統(tǒng)計的3種類型事件，即訪問數(shù)、任務(wù)完成比例、測驗成績，分別作為與學習動機、學習方法和學習效果狀態(tài)相關(guān)的代表性事件，如圖2所示。其中任務(wù)是指教師布置的學習任務(wù)，包含學習PPT、觀看視頻及上交作業(yè)等。d1、d2和d3均為設(shè)置的閾值，通過實驗反復比較，本文方法將其分別設(shè)為10、0.5和60。

2.4 評價模型

為識別網(wǎng)絡(luò)課程學習過程中各維度學習狀態(tài)序列，本文使用模式識別領(lǐng)域的隱馬爾可夫模型（Hidden Markov Model，HMM）。HMM是一種統(tǒng)計模型，用來描述一個含有隱含未知參數(shù)的馬爾可夫過程。該類過程在每個時間點處于某個狀態(tài)，每個狀態(tài)的轉(zhuǎn)移只依賴于狀態(tài)序列中前k個狀態(tài)。當k=1時，稱為一階馬爾可夫過程。隱馬爾可夫模型實際上是標準馬爾可夫模型的擴展，其過程中各時刻狀態(tài)是隱藏的，不能直接被觀察到，只能通過分析觀測狀態(tài)序列獲得。任意時刻是哪一種可觀測狀態(tài)僅依賴于當前時刻隱藏狀態(tài)。

在網(wǎng)絡(luò)課程學習過程中，學習動機、學習方法和學習效果變化也可認為是具有馬爾可夫性質(zhì)的隨機過程。以網(wǎng)絡(luò)課程學習動機狀態(tài)變化為例，當表示為隨機變量S，則P（St+1=s | S0，…， St）=P（St+1=s | St），符合馬爾可夫過程特征。同時學習過程狀態(tài)是隱藏的，只能通過觀測學習事件狀態(tài)，倒推學習過程狀態(tài)。因此，本文分別構(gòu)建學習動機、學習方法和學習效果的隱馬爾可夫模型，評價網(wǎng)絡(luò)課程學習過程。

2.4.1 模型定義

通常隱馬爾可夫模型可以用5個元素描述λ=（Q，V，π，A，B），包括2個狀態(tài)集合（隱含狀態(tài)集合Q、可觀測狀態(tài)集合V）和3個概率矩陣（初始狀態(tài)概率矩陣π、隱含狀態(tài)轉(zhuǎn)移概率矩陣A、觀測狀態(tài)轉(zhuǎn)移概率矩陣B）。對于學習動機、學習方法和學習效果的HMM模型，隱含狀態(tài)集合分別為圖1所示的Qa、Qb和Qc?？捎^測狀態(tài)是各維度要素的學習事件，集合分別為Va、Vb和Vc，如圖2所示。而另外3個參數(shù)定義如下（以包含N個隱含狀態(tài)和M個可觀測狀態(tài)的HMM為例）：

2.4.2 模型參數(shù)設(shè)置

構(gòu)建隱馬爾可夫模型的一個重要問題是模型參數(shù)π、A和B的設(shè)置。如果已知樣本觀測序列和隱藏狀態(tài)序列，可用極大似然估計方法，先統(tǒng)計初始隱藏狀態(tài)、隱藏狀態(tài)轉(zhuǎn)移以及觀測狀態(tài)轉(zhuǎn)移頻數(shù)，再計算參數(shù)近似估計。但在多數(shù)情況下，只有樣本觀測序列，無法得到對應(yīng)隱藏狀態(tài)序列。

本文采用Baum-Welch算法[21]，對學習動機、學習方法和學習效果的HMM模型中參數(shù)π、A和B分別進行估計。該算法利用已知樣本觀測序列，通過學習反推最有可能導致這樣結(jié)果的參數(shù)值，即求解使P（O|λ）最大化的π、A和B。參數(shù)學習的過程由最大期望算法（Expectation-Maximization Algorithm，EM）[22]實現(xiàn)：先確定觀測序列O和隱藏狀態(tài)序列I的對數(shù)似然函數(shù)logP（O，I|λ），再求該函數(shù)關(guān)于隨機變量I的數(shù)學期望Q，然后通過求偏導計算使Q極大化的各個參數(shù)式，在多次迭代后獲得模型參數(shù)π、A和B。

2.4.3 基于HMM模型的狀態(tài)序列解碼

在本文方法中，網(wǎng)絡(luò)課程學習過程的評價等價于：根據(jù)學習動機、學習方法和學習效果的觀測序列求取最有可能的狀態(tài)序列。該問題實際上是隱馬爾可夫模型解碼問題，即根據(jù)模型λ為觀測序列O=O1O2…OT尋找一條最有可能的狀態(tài)序列P*，模型在狀態(tài)序列的每一個隱藏狀態(tài)下均生成一個可觀測事件，要求使得P（O|P*）最大。

本文采用Viterbi算法[21]解決該問題。Viterbi算法使用動態(tài)規(guī)劃求解概率最大（最優(yōu)）路徑。從t=1時刻開始，遞推計算在時刻t狀態(tài)為i（1≤i≤N）的各條部分路徑最大概率。直到計算到時刻T，各條路徑最大概率即為最優(yōu)路徑概率。將每個時刻部分路徑概率最大狀態(tài)連接起來，即得到最優(yōu)路徑所有節(jié)點。

3 實驗

為對本文方法進行驗證，從南昌大學網(wǎng)絡(luò)課程學習平臺導出2019年生物信息學課程378名學生連續(xù)4個月的真實學習數(shù)據(jù)。根據(jù)圖2所示的學習事件的定義，將數(shù)據(jù)轉(zhuǎn)換為學習動機、學習方法和學習效果觀測序列集合。觀測序列集被分為3個子集：訓練集、驗證集和測試集，序列樣本數(shù)分別為131、125和122。

先使用訓練集觀測序列學習HMM模型的參數(shù)，對驗證集學生發(fā)放調(diào)查問卷，獲取學生對各階段學習動機、學習方法和學習效果狀態(tài)自我評價;使用驗證集觀測序列預測狀態(tài)序列結(jié)果，與調(diào)查問卷相比較，檢驗模型有效性并調(diào)節(jié)模型;最后對測試集學生的學習動機、學習方法和學習效果的狀態(tài)序列進行預測，作為網(wǎng)絡(luò)課程學習過程評價結(jié)果。

3.1 評價準備

3.2 模型驗證

以調(diào)查問卷的結(jié)果作為參照，采用準確率（Accuracy）、精度（Precision）和召回率（Recall）3個指標，衡量建立的HMM模型對驗證集學生的學習動機、學習方法和學習效果預測結(jié)果是否符合學生自我評價。指標定義如下：

其中TP代表預測正確的正樣本，TN代表預測正確的負樣本。正樣本指狀態(tài)為“q1”的樣本，負樣本指狀態(tài)為“q2”的樣本。FP和FN則代表錯誤的正/負預測。模型對驗證集的預測結(jié)果如表1所示。

從對驗證集預測結(jié)果來看，本文建立的HMM模型預測準確率、精度和召回率分別平均達到0.64、0.75和0.80。尤其是對學習動機正樣本的預測，召回率可高達0.98，說明模型對學習動機處于“強”的狀態(tài)比較敏感。

3.3 預測分析

使用驗證并調(diào)節(jié)后的HMM模型，對測試集122名學生的學習動機、學習方法和學習效果的狀態(tài)序列進行預測，作為網(wǎng)絡(luò)課程學習過程的評價結(jié)果。預測結(jié)果中，第1個月的學習狀態(tài)始終為q1，這表明課程學習開始時，學生學習動機均為“強”，學習方法為“適合”，學習效果為“理想”。但是，從第2個月開始，學生學習狀態(tài)出現(xiàn)了分化。表2列出了3個維度8種可能的狀態(tài)序列實際對應(yīng)的預測樣本數(shù)。圖5給出了表2預測結(jié)果的時間變化示意圖，圓圈代表狀態(tài)（圖中只有q1和q2兩種狀態(tài)），帶箭頭的線條代表狀態(tài)在不同月之間的跳轉(zhuǎn)，線條粗細程度根據(jù)狀態(tài)序列預測樣本數(shù)進行設(shè)定。

從表2和圖5可以看出，測試集107名學生（107/122=87.7%）在4個月的學習過程中學習動機始終保持“強”的狀態(tài)，15名學生（12.3%）學習動機從第2個月起持續(xù)為“弱”。這說明，學生學習動機具有時間連續(xù)性，課程學習的第2個月對激發(fā)學生的學習興趣至關(guān)重要。

測試集28名學生（23.0%）的學習方法始終為“適合”的狀態(tài)，67名學生（54.9%）的學習方法從第2個月起變?yōu)椤安贿m合”，其它3種狀態(tài)序列的27名學生（22.1%）學習方法在中間某一個月或者兩個月暫時為“不適合”，最后變?yōu)椤斑m合”，沒有學生在學習的最后一個或兩個月學習方法由“適合”變?yōu)椤安贿m合”。這說明學習方法的掌握一般在學習過程前期，有部分學生一開始就掌握了適合自己的學習方法，大部分學生從第2個月被困于錯誤的學習方法，少量學生可在學習中間階段糾正錯誤的學習方法。

測試集52名學生（42.6%）的學習效果始終為“理想”狀態(tài)，18名學生（14.8%）從第2個月起學習效果變?yōu)椤安焕硐搿辈⒁恢毕萦谠摖顟B(tài)，33名學生（27.0%）在中間兩個月學習效果為“不理想”，最后一個月才變?yōu)椤袄硐搿?，其它兩種狀態(tài)序列的19名學生（15.6%）在學習的最后一個或兩個月學習效果由“理想”變?yōu)椤安焕硐搿?，沒有學生可在中間某一個月學習效果由為“不理想”突變?yōu)椤袄硐搿?。這說明學習效果的負作用周期較長，一旦某個月的學習效果變差，將嚴重打擊學生學習積極性，使后續(xù)一個或多個月學習效果持續(xù)不佳。

4 結(jié)語

基于隱馬爾可夫模型的網(wǎng)絡(luò)課程學習過程多維評價是網(wǎng)絡(luò)課程教學方法改革的一種新探索。在跟蹤和統(tǒng)計學習事件的基礎(chǔ)上，構(gòu)建不同維度學習狀態(tài)的隱馬爾可夫模型，根據(jù)學習事件序列預測學習狀態(tài)序列，并將其作為網(wǎng)絡(luò)課程學習過程多維評價結(jié)果。課題組已在生物信息學課程網(wǎng)絡(luò)輔助教學中運用該學習過程評價方法。實踐表明，學習狀態(tài)序列形式的評價結(jié)果比較符合學生對各階段學習動機、學習方法和學習效果的自我評價。基于該方法的評價結(jié)果，任課教師可較全面地把握學生學習狀態(tài)變化過程，在課程成績評定時考慮該評價結(jié)果。此外，本文方法還可以推廣到國內(nèi)其它高校網(wǎng)絡(luò)教學平臺，或在互聯(lián)網(wǎng)慕課、微課中使用，為我國教育現(xiàn)代化建設(shè)助力。

下一步將把基于隱馬爾可夫模型的網(wǎng)絡(luò)課程學習過程多維評價方法應(yīng)用于南昌大學網(wǎng)絡(luò)教學平臺其它的網(wǎng)絡(luò)課程，改革學習過程評價形式，以期激發(fā)學生學習興趣，提高課程教學質(zhì)量，改進課程管理流程，創(chuàng)新課程學習考核方式。

參考文獻：

[1] 萬正剛. 基于SCLEs 的網(wǎng)絡(luò)學習過程評價方法研究[J]. 科教導刊，2012（3）：45，49.

[2] RABINER L， JUANG B. An Introduction to Hidden Markov Models[J]. IEEE ASSP Magazine， 1986（3）： 4-16.

[3] 王娜. 網(wǎng)絡(luò)課程中學習過程評價的方法研究[D]. 長春：東北師范大學，2010.

[4] 黃榮懷，張進寶，董艷. 關(guān)于網(wǎng)絡(luò)教學過程認證標準的研究[J]. 開放教育研究，2003（5）：5-9.

[5] BRITAIN S，LIBER O. A framework for pedagogical evaluation of virtual learning environments[R]. ?U.S.： Joint Information Systems Committee （JISC），1999.