學(xué)習(xí)行為分析與質(zhì)量評(píng)估的技術(shù)和模型研究

曹 菡，亓 瑤，于汪洋，劉永勃

（陜西師范大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，陜西 西安 710062）

學(xué)習(xí)行為分析與質(zhì)量評(píng)估的技術(shù)和模型研究

曹 菡，亓 瑤，于汪洋，劉永勃

（陜西師范大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，陜西 西安 710062）

探討學(xué)生網(wǎng)絡(luò)學(xué)習(xí)行為分析與質(zhì)量評(píng)估的技術(shù)與模型，提出一套完整的學(xué)習(xí)行為分析與質(zhì)量評(píng)估方案，并以Blackboard網(wǎng)絡(luò)教學(xué)平臺(tái)的學(xué)習(xí)分析實(shí)例指出學(xué)習(xí)分析技術(shù)在網(wǎng)絡(luò)學(xué)習(xí)分析中的應(yīng)用。

混合式教學(xué)模式；學(xué)習(xí)行為分析；網(wǎng)絡(luò)學(xué)習(xí)評(píng)估；評(píng)估指標(biāo)；Blackboard教學(xué)平臺(tái)

1 背 景

目前，網(wǎng)絡(luò)學(xué)習(xí)行為分析與效果評(píng)估已成為教育界普遍關(guān)注的熱點(diǎn)問題。早在2005年，Romero等就開始對(duì)Moodle教學(xué)平臺(tái)日志的學(xué)習(xí)分析[1]。近年來國(guó)內(nèi)顧小清、李青、祝智庭等也從不同角度對(duì)學(xué)習(xí)分析的研究和發(fā)展做了綜述性研究[24]。魏順平以實(shí)例從管理者、輔導(dǎo)教師和學(xué)習(xí)者等多個(gè)視角展示了學(xué)習(xí)分析技術(shù)在網(wǎng)絡(luò)學(xué)習(xí)分析中的應(yīng)用[5]，李杏研究了教師網(wǎng)絡(luò)學(xué)習(xí)行為分析及其系統(tǒng)模型[6]，王均霞給出了現(xiàn)代教育技術(shù)網(wǎng)絡(luò)課程學(xué)習(xí)評(píng)價(jià)的設(shè)計(jì)[7]。然而現(xiàn)有的網(wǎng)絡(luò)學(xué)習(xí)行為分析及評(píng)估模型還存在著評(píng)估指標(biāo)不完善，不能很好地處理不確定性和分析網(wǎng)絡(luò)學(xué)習(xí)軌跡等方面的問題，而且也很少有教學(xué)行為分析和質(zhì)量評(píng)估模型在網(wǎng)絡(luò)教學(xué)中真正發(fā)揮作用。

2 學(xué)習(xí)行為分析與質(zhì)量評(píng)估體系的構(gòu)建

指標(biāo)體系構(gòu)建是學(xué)生網(wǎng)絡(luò)學(xué)習(xí)行為分析與質(zhì)量評(píng)估的基礎(chǔ)，為行為分析與質(zhì)量評(píng)估提供依據(jù)，行為分析與評(píng)估系統(tǒng)反過來驗(yàn)證指標(biāo)體系的正確性，檢測(cè)指標(biāo)體系的構(gòu)建是否科學(xué)合理。

1）多級(jí)評(píng)估指標(biāo)體系的構(gòu)建。

指標(biāo)體系的構(gòu)建通?；诘聽柗品ê蛯哟畏治龇āＴu(píng)估指標(biāo)體系設(shè)計(jì)的一般過程是：先對(duì)目標(biāo)進(jìn)行分解，導(dǎo)出評(píng)估對(duì)象特征，然后建立評(píng)估標(biāo)準(zhǔn)，進(jìn)行標(biāo)準(zhǔn)的描述，確立價(jià)值取向的原則，最后確定指標(biāo)的權(quán)重。

以AHP層次分析法構(gòu)建學(xué)生網(wǎng)絡(luò)學(xué)習(xí)行為及效果評(píng)估指標(biāo)體系為例。構(gòu)建學(xué)生網(wǎng)絡(luò)學(xué)習(xí)行為及效果評(píng)估體系時(shí)，應(yīng)針對(duì)學(xué)生網(wǎng)絡(luò)學(xué)習(xí)行為分析與質(zhì)量評(píng)估普遍關(guān)注的問題，結(jié)合網(wǎng)絡(luò)學(xué)習(xí)學(xué)生群體的主要特征，參考中國(guó)網(wǎng)絡(luò)教育技術(shù)標(biāo)準(zhǔn)CELTS的近30項(xiàng)規(guī)范，以指導(dǎo)性標(biāo)準(zhǔn)、學(xué)習(xí)環(huán)境相關(guān)標(biāo)準(zhǔn)、學(xué)習(xí)資源相關(guān)標(biāo)準(zhǔn)、學(xué)習(xí)者相關(guān)標(biāo)準(zhǔn)、教育管理相關(guān)標(biāo)準(zhǔn)等5類標(biāo)準(zhǔn)為目標(biāo)。以學(xué)習(xí)成績(jī)、參與程度等各項(xiàng)重點(diǎn)考慮的目標(biāo)因素為基礎(chǔ)，選取多位不同學(xué)科專業(yè)的專家，利用層次分析法中的成對(duì)比較法對(duì)模型中的各個(gè)影響因素即指標(biāo)進(jìn)行賦值。在此基礎(chǔ)上對(duì)專家賦值的結(jié)果進(jìn)行反復(fù)的回溯與求證，直至各位專家對(duì)各個(gè)因素的賦值結(jié)果趨于一致，得到基于目標(biāo)的多級(jí)評(píng)估指標(biāo)體系。圖1為基于層次分析法構(gòu)建的學(xué)習(xí)資源易用性指標(biāo)AHP模型。

專家對(duì)各指標(biāo)進(jìn)行賦值，建立層次模型后，為保障決策結(jié)果的正確性，還需構(gòu)造各層次的判斷矩陣，并對(duì)所構(gòu)建的指標(biāo)體系的判斷矩陣進(jìn)行一致性檢驗(yàn)。

2）權(quán)值尋優(yōu)。

圖1 學(xué)習(xí)資源易用性指標(biāo)AHP層次模型

在求得初始指標(biāo)權(quán)重的基礎(chǔ)上，采用蟻群算法、粒子群算法等，根據(jù)不同專家的歷史值數(shù)據(jù)對(duì)權(quán)值進(jìn)行尋優(yōu)，獲得更加合理準(zhǔn)確的指標(biāo)權(quán)重。

3）評(píng)估數(shù)據(jù)加權(quán)融合。

運(yùn)用證據(jù)理論合成法則，對(duì)合成法則進(jìn)行加權(quán)處理。由專家對(duì)各個(gè)指標(biāo)的重要程度進(jìn)行評(píng)分選擇，并進(jìn)行權(quán)值優(yōu)化以獲取最終較為客觀的指標(biāo)權(quán)重；最后，運(yùn)用證據(jù)理論的合成法則將多個(gè)指標(biāo)的評(píng)估值結(jié)合獲取的各指標(biāo)權(quán)值進(jìn)行數(shù)據(jù)融合，綜合評(píng)估出最終的指標(biāo)等級(jí)。

4） “不確定”性處理。

由于獲取的各項(xiàng)指標(biāo)的評(píng)估信息必然存在諸多的“不確定”性，在云模型理論的基礎(chǔ)上，利用主觀的AHP法和客觀的熵權(quán)法相結(jié)合來確定各指標(biāo)的權(quán)重，進(jìn)行權(quán)重的優(yōu)化融合，這樣在對(duì)指標(biāo)進(jìn)行評(píng)估時(shí)結(jié)果更加客觀精確。

云模型的特性：云模型所表達(dá)概念的整體特性可以用云的數(shù)字特征來反映，云用期望（expected value）、 熵（entropy）、 超 熵（hyper entropy）3個(gè)屬性作為云的數(shù)字特征。

基于云模型處理網(wǎng)絡(luò)教育資源評(píng)估的“不確定”性，首先要建立網(wǎng)絡(luò)教育資源及網(wǎng)絡(luò)學(xué)習(xí)行為質(zhì)量評(píng)估多級(jí)指標(biāo)體系，方法如前所述；其次是結(jié)合層次分析法和熵權(quán)法確定指標(biāo)綜合權(quán)重。針對(duì)網(wǎng)絡(luò)教育資源的易用性評(píng)估，基于云模型的網(wǎng)絡(luò)教育資源及網(wǎng)絡(luò)學(xué)習(xí)行為質(zhì)量評(píng)估模型如圖2所示。

圖2 基于云模型的網(wǎng)絡(luò)教育資源及網(wǎng)絡(luò)學(xué)習(xí)行為質(zhì)量評(píng)估模型

網(wǎng)絡(luò)教育資源及網(wǎng)絡(luò)學(xué)習(xí)行為質(zhì)量評(píng)估是一個(gè)多目標(biāo)決策問題，需要以指導(dǎo)性標(biāo)準(zhǔn)、學(xué)習(xí)環(huán)境相關(guān)標(biāo)準(zhǔn)、學(xué)習(xí)資源相關(guān)標(biāo)準(zhǔn)、學(xué)習(xí)者相關(guān)標(biāo)準(zhǔn)、教育管理相關(guān)標(biāo)準(zhǔn)等5類標(biāo)準(zhǔn)為目標(biāo)進(jìn)行合理分析比較。

（1）AHP確定指標(biāo)主觀權(quán)重，利用層次分析法確定指標(biāo)權(quán)重步驟與前（2）同。

（2）熵權(quán)法確定指標(biāo)客觀權(quán)重，利用熵權(quán)法確定指標(biāo)權(quán)重的步驟如下：

步驟1：構(gòu)造指標(biāo)評(píng)估矩陣如下：

其中：m為評(píng)估指標(biāo)個(gè)數(shù)，n為評(píng)估對(duì)象個(gè)數(shù)。

步驟2： 將評(píng)估矩陣進(jìn)行標(biāo)準(zhǔn)化處理得R=(rij)mn，其中rij稱為第j個(gè)度量對(duì)象在指標(biāo)i上的值，且rij∈[0,1]。

步驟3：計(jì)算評(píng)估指標(biāo)熵值為

步驟4 由熵值計(jì)算評(píng)估指標(biāo)熵權(quán)值為

（3）確定指標(biāo)綜合權(quán)重，層次分析法（AHP）對(duì)指標(biāo)主觀賦權(quán)，忽視了評(píng)估指標(biāo)權(quán)重的客觀性。AHP難以避免人為因素和模糊隨機(jī)性對(duì)指標(biāo)重要程度的影響；熵權(quán)法不能充分體現(xiàn)專家和決策者的建議，可能會(huì)造成指標(biāo)的實(shí)際重要程度與權(quán)重值不相符合?；诖?，采用AHP法和熵權(quán)法相結(jié)合來確定指標(biāo)的綜合權(quán)重。

設(shè)采用AHP法確定的權(quán)重為λi，熵權(quán)法確定的權(quán)重為θi，則指標(biāo) 綜合權(quán)重為

（2）、B磨分離器擋板開度為30°、40°、50°時(shí)，煤粉細(xì)度R90分別為22.8%、24.0%、24.4%，隨著分離器擋板逐步開大，煤粉細(xì)度雖逐步增大，但調(diào)節(jié)范圍較小，因此可見B磨分離器擋板對(duì)煤粉細(xì)度的調(diào)節(jié)能力較差；

由式（4）可得綜合權(quán)重 ω=(ω1,ω2,ω3, ωm）。

5）仿真實(shí)驗(yàn)。

對(duì)已構(gòu)建的多級(jí)指標(biāo)體系和質(zhì)量評(píng)估模型，采集網(wǎng)絡(luò)教學(xué)平臺(tái)的學(xué)習(xí)數(shù)據(jù)，進(jìn)行仿真實(shí)驗(yàn)，評(píng)估該指標(biāo)體系的科學(xué)性和有效性。

3 學(xué)習(xí)行為分析與質(zhì)量評(píng)估模型的設(shè)計(jì)

單純以定性評(píng)估的模型、方法或定量評(píng)估的模型、方法都無法有效、全面進(jìn)行學(xué)習(xí)行為分析與質(zhì)量評(píng)估，因此需要采用定性評(píng)估和定量評(píng)估相結(jié)合的評(píng)估模型和方法。①定性評(píng)估和定量評(píng)估相結(jié)合；②人工智能與機(jī)器學(xué)習(xí)；③社會(huì)網(wǎng)絡(luò)模型；④數(shù)據(jù)挖掘與數(shù)據(jù)倉(cāng)庫(kù)。

網(wǎng)絡(luò)學(xué)習(xí)行為及效果評(píng)估的模型、方法如圖3所示。

圖3 網(wǎng)絡(luò)學(xué)習(xí)行為及效果評(píng)估的模型與方法

4 教育云服務(wù)平臺(tái)總體架構(gòu)

教育云服務(wù)平臺(tái)綜合運(yùn)用多種成熟的信息技術(shù)手段，建立完整的教學(xué)資源管理與評(píng)估平臺(tái)，其總體架構(gòu)如圖4所示。

5 學(xué)生學(xué)習(xí)行為分析實(shí)例

本節(jié)通過Blackboard網(wǎng)絡(luò)教學(xué)平臺(tái)的學(xué)習(xí)分析實(shí)例來展示學(xué)習(xí)分析技術(shù)在網(wǎng)絡(luò)學(xué)習(xí)分析中的應(yīng)用。研究對(duì)象選取了陜西師范大學(xué)2015年4—7月在Blackboard平臺(tái)中注冊(cè)并使用數(shù)據(jù)庫(kù)課程資源的計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)兩個(gè)班的學(xué)生，共71人。研究過程中所使用的數(shù)據(jù)均來自Blackboard平臺(tái)。

圖4 教育云服務(wù)平臺(tái)總體架構(gòu)

5.1 研究過程

5.1.1 學(xué)習(xí)者學(xué)習(xí)行為分析

圖5 點(diǎn)擊量與成績(jī)關(guān)系散點(diǎn)圖

5.1.2 關(guān)聯(lián)分析

本節(jié)通過關(guān)聯(lián)分析得出學(xué)生Blackboard平臺(tái)的學(xué)習(xí)行為與其學(xué)習(xí)成績(jī)的相關(guān)性。

1）點(diǎn)擊量與成績(jī)。

通過分析學(xué)生的考試成績(jī)并進(jìn)行抽樣對(duì)比，發(fā)現(xiàn)大多數(shù)期末成績(jī)較高的學(xué)生，他們對(duì)平臺(tái)的點(diǎn)擊量相對(duì)也較高，期末成績(jī)較低的學(xué)生，平臺(tái)的點(diǎn)擊量相對(duì)也較低。在進(jìn)行相關(guān)分析前，可以通過散點(diǎn)圖初步確定兩個(gè)變量間是否存在相關(guān)趨勢(shì)。如圖5所示，通過散點(diǎn)圖，可以得到點(diǎn)擊量和成績(jī)兩組數(shù)據(jù)的分布關(guān)系。通過總計(jì)擬合線，發(fā)現(xiàn)點(diǎn)擊量和成績(jī)之間有正相關(guān)關(guān)系，線性相關(guān)系數(shù)為0.400。確定了兩組數(shù)據(jù)的相關(guān)關(guān)系后，下一步進(jìn)行相關(guān)性分析，以獲得點(diǎn)擊量和成績(jī)之間更為精準(zhǔn)的相關(guān)關(guān)系數(shù)據(jù)。從相關(guān)分析的結(jié)果可以看出，平臺(tái)訪問量和期末成績(jī)之間不相關(guān)的假設(shè)檢驗(yàn)值P為0.000，小于0.01，所以否定原假設(shè)，認(rèn)為平臺(tái)訪問量和期末成績(jī)之間是相關(guān)的。平臺(tái)訪問量和期末成績(jī)之間的相關(guān)系數(shù)是r=0.632，0.5＜r＜0.8,所以平臺(tái)訪問量和期末成績(jī)之間是中度相關(guān)的關(guān)系。平臺(tái)點(diǎn)擊量越高的學(xué)習(xí)者，其期末成績(jī)?cè)礁摺?/p>

2）點(diǎn)擊量與參與度。

單從研究對(duì)象的點(diǎn)擊量來說，可能存在數(shù)據(jù)誤差，影響最終的結(jié)果，比如某一部分學(xué)習(xí)者只是訪問了平臺(tái)，點(diǎn)擊了某一部分學(xué)習(xí)內(nèi)容，其本身并未習(xí)得知識(shí)，所以為了確保分析結(jié)果的正確性和準(zhǔn)確性，本研究對(duì)研究對(duì)象在平臺(tái)中的題庫(kù)和章節(jié)習(xí)題中的完成情況作了統(tǒng)計(jì)，并把這些情況轉(zhuǎn)化成參與度這一屬性，重新獲取一組數(shù)據(jù)，再次對(duì)參與度和成績(jī)進(jìn)行相關(guān)性分析。從結(jié)果中可以看出，平臺(tái)參與度和期末成績(jī)之間不相關(guān)的假設(shè)檢驗(yàn)值P為0.000，所以平臺(tái)參與度和期末成績(jī)之間是相關(guān)的。平臺(tái)訪問量和期末成績(jī)之間的相關(guān)系數(shù)是r=0.784，平臺(tái)參與度和期末成績(jī)之間是中度相關(guān)的關(guān)系。平臺(tái)參與度越高的學(xué)生，其期末成績(jī)也越高。

3）內(nèi)部差異性。

進(jìn)一步把兩個(gè)班的學(xué)生分別看作是一個(gè)獨(dú)立的樣本進(jìn)行分析，1班的樣本數(shù)量是37，2班的樣本數(shù)量是34。兩個(gè)班由同一位老師教授，上課時(shí)間也相同。采用控制變量法的思想，通過對(duì)兩個(gè)班的成績(jī)進(jìn)行差異性檢驗(yàn)，得到統(tǒng)計(jì)結(jié)果如表1、表2所示。

表1 方差Levene檢驗(yàn)

表2 均值T檢驗(yàn)

根據(jù)方差Levene檢驗(yàn)值和均值T檢驗(yàn)判斷兩個(gè)班成績(jī)是否有差異性。表2的方差Levene檢驗(yàn)值中，方差相等的情況下，F(xiàn)值是3.627，相伴概率Sig=0.61，大于0.05，不能拒絕原假設(shè)，即這時(shí)方差是齊性的。再考察均值T檢驗(yàn)中“假設(shè)方差相等”的情況，Sig=0.011，小于0.05，達(dá)到了顯著水平，拒絕T檢驗(yàn)的零假設(shè)。也就是說，兩個(gè)班的人均平均成績(jī)存在顯著差異。表2中，從樣本的均值差的95%置信區(qū)間看，區(qū)間沒有跨0，也說明兩個(gè)班的成績(jī)平均值存在顯著差異。

另外對(duì)比點(diǎn)擊量數(shù)據(jù)可以發(fā)現(xiàn)，1班的平均平臺(tái)點(diǎn)擊量為130.73，而2班的平均點(diǎn)擊量為110.21，1班的平均點(diǎn)擊量比2班高出了18.7%，由此從另一個(gè)角度說明了，平臺(tái)的訪問量越高，學(xué)習(xí)者取得的成績(jī)?cè)胶谩?/p>

6 結(jié) 語

我們提出的理論研究和實(shí)例分析，只有實(shí)時(shí)、全面地采集、分析學(xué)習(xí)者的學(xué)習(xí)行為信息，才能為學(xué)習(xí)者量身定做最適合的指導(dǎo)。解決這個(gè)問題的首要方法是在國(guó)家權(quán)威部門的評(píng)估指標(biāo)體系基礎(chǔ)上，借鑒國(guó)內(nèi)外網(wǎng)絡(luò)教育標(biāo)準(zhǔn)和規(guī)范，探索制定多級(jí)多樣的高等教育、中小學(xué)教育網(wǎng)絡(luò)學(xué)習(xí)評(píng)估指標(biāo)體系，進(jìn)而根據(jù)指標(biāo)體系來研究構(gòu)建學(xué)習(xí)者的行為模型，再根據(jù)模型采集學(xué)習(xí)行為數(shù)據(jù)，進(jìn)行合理分析評(píng)估，給出指導(dǎo)建議。

[1] Romero C, Ventura S, Garcia E. Data mining in course management systems: Moodle case study and tutorial[J]. Computers &Education, 2008(1): 368-384.

[2] 顧小清, 張進(jìn)良, 蔡慧英. 學(xué)習(xí)分析: 正在浮現(xiàn)中的數(shù)據(jù)技術(shù)[J]. 遠(yuǎn)程教育雜志, 2012(1): 18-25.

[3] 李青, 王濤. 學(xué)習(xí)分析技術(shù)研究與應(yīng)用現(xiàn)狀述評(píng)[J]. 中國(guó)電化教育, 2012(8): 129-133.

[4] 祝智庭. 學(xué)習(xí)分析學(xué): 智慧教育的科學(xué)力量[J]. 電化教育研究, 2013(5): 5-12.

[5] 魏順平. 學(xué)習(xí)分析技術(shù): 挖掘大數(shù)據(jù)時(shí)代下教育數(shù)據(jù)的價(jià)值[J]. 現(xiàn)代教育技術(shù), 2013(2): 5-11.

[6] 李杏, 謝先成. 教師網(wǎng)絡(luò)學(xué)習(xí)行為分析及其系統(tǒng)模型探究[J]. 天津電大學(xué)報(bào), 2015(1): 62-66.

[7] 王均霞, 陳明選. 高校網(wǎng)絡(luò)課程學(xué)習(xí)評(píng)價(jià)的設(shè)計(jì)與實(shí)現(xiàn)——以“現(xiàn)代教育技術(shù)”網(wǎng)絡(luò)課程為例[J]. 中國(guó)電化教育, 2011(8): 70-72, 76.

[8] 李德毅, 劉常昱. 論正態(tài)云模型的普適性[J]. 中國(guó)工程科學(xué), 2004(8): 28-34.

1672-5913(2017)11-0043-05

G642

2016年陜西師范大學(xué)校級(jí)重點(diǎn)教學(xué)改革綜合研究項(xiàng)目“面向師范院校計(jì)算機(jī)專業(yè)本科生的工程能力培養(yǎng)與評(píng)估研究”；陜西師范大學(xué)教師教育招標(biāo)項(xiàng)目“基于信息技術(shù)教學(xué)的中小學(xué)教師教學(xué)方法和教學(xué)效果研究”；陜西師范大學(xué)“名師工作室”專項(xiàng)建設(shè)經(jīng)費(fèi)資助項(xiàng)目。

曹菡，女，教授，研究方向?yàn)閷W(xué)習(xí)分析、空間數(shù)據(jù)挖掘、智慧旅游，caohan@snnu.edu.cn。

（編輯：郭田珍）