肖睿 劉千慧 尚俊杰 黃文彬
【摘要】? 隨著注冊(cè)學(xué)生規(guī)模的擴(kuò)大,在線教學(xué)平臺(tái)面臨著學(xué)生輟學(xué)率高、參與度低的挑戰(zhàn),通過分析學(xué)生狀態(tài)并提供及時(shí)指導(dǎo)是提高教學(xué)效果的主要途徑。學(xué)生的學(xué)習(xí)參與方式被認(rèn)為是與學(xué)生成績明顯相關(guān)的一個(gè)重要因素。ICAP框架(Interactive-Constructive-Active-Passive Framework)提出了一種將學(xué)習(xí)活動(dòng)分類為不同參與方式的方法,本文利用平臺(tái)日志數(shù)據(jù),通過構(gòu)建不同學(xué)習(xí)活動(dòng)所對(duì)應(yīng)的三個(gè)特征(被動(dòng)視頻時(shí)長占比、主動(dòng)視頻時(shí)長占比和作業(yè)時(shí)長占比),等級(jí)聚類得到學(xué)生的學(xué)習(xí)參與方式。結(jié)果表明,共840個(gè)學(xué)習(xí)回合被劃分為四類參與方式:被動(dòng)(n=80)、主動(dòng)(n=366)、建構(gòu)(n=75)和閑散(n=319)。研究發(fā)現(xiàn),不同參與方式下的學(xué)習(xí)成績存在差異,且根據(jù)學(xué)生參與方式序列可以識(shí)別出困難型、平衡型和輕松型三類學(xué)習(xí)狀態(tài)。研究表明,基于ICAP框架,利用在線教學(xué)平臺(tái)日志數(shù)據(jù)自動(dòng)識(shí)別學(xué)生不同學(xué)習(xí)參與方式,可以為在線學(xué)情分析和教學(xué)設(shè)計(jì)改善等提供有益參考。
【關(guān)鍵詞】? 在線教學(xué)平臺(tái);在線學(xué)習(xí);學(xué)生參與;學(xué)習(xí)投入;ICAP框架;等級(jí)聚類;學(xué)習(xí)分析;日志分析
【中圖分類號(hào)】?? G434???????? 【文獻(xiàn)標(biāo)識(shí)碼】? A?????? 【文章編號(hào)】? 1009-458x(2021)7-0067-09
一、問題提出
隨著互聯(lián)網(wǎng)與計(jì)算機(jī)的全球化普及,在線教育成為一種受全世界學(xué)習(xí)者青睞的學(xué)習(xí)方式。然而,在注冊(cè)學(xué)習(xí)者規(guī)模大幅增長的同時(shí),學(xué)習(xí)者后續(xù)的學(xué)習(xí)參與度卻極低,僅有大約5%的學(xué)生能夠完成課程并取得最終成績(蔣卓軒, 等, 2015),影響在線教育課程的教學(xué)效果。學(xué)習(xí)參與是衡量學(xué)生學(xué)習(xí)過程質(zhì)量的一個(gè)重要指標(biāo),反映了學(xué)習(xí)者對(duì)于正在經(jīng)歷的學(xué)習(xí)活動(dòng)在認(rèn)知、情感和行為上的投入狀態(tài)(張娜, 2012)。積極的學(xué)習(xí)參與可以促進(jìn)學(xué)生學(xué)術(shù)和個(gè)人的發(fā)展(Ng, Barlow, & Elliott, 2018),因此對(duì)于教育者、管理者以及其他相關(guān)方而言促進(jìn)學(xué)生參與是當(dāng)前的重要問題(Lutz, et al., 2018)。對(duì)在線教學(xué)平臺(tái)上的學(xué)習(xí)參與進(jìn)行量化研究,實(shí)現(xiàn)自動(dòng)標(biāo)記,并提供適當(dāng)?shù)膶W(xué)情監(jiān)測和學(xué)習(xí)干預(yù)等支持服務(wù),對(duì)于促進(jìn)學(xué)生的深層次學(xué)習(xí)(穆肅, 等, 2019)、提高在線教學(xué)平臺(tái)的教學(xué)效果具有重要意義。
學(xué)生參與(student engagement)也可譯為“學(xué)習(xí)投入”“學(xué)業(yè)投入”“學(xué)習(xí)參與度”。張娜(2012)認(rèn)為,參與主要側(cè)重于行為,而投入側(cè)重以行為為載體的心理活動(dòng),尤其是情感的高度投入。由于本研究主要討論的是在線教學(xué)平臺(tái)上學(xué)生的日志數(shù)據(jù),側(cè)重于學(xué)生的行為分析,因此本文統(tǒng)一以“學(xué)生參與”指代這一名詞。學(xué)生參與是一個(gè)寬泛而復(fù)雜的多維度概念(Anderson, 2017),涉及學(xué)生教育經(jīng)歷的不同方面和時(shí)間的不同維度(Dmello, Dieterle, & Duckworth, 2017)?;诓煌睦碚搨鹘y(tǒng),學(xué)生參與可以被分為情感參與、行為參與和認(rèn)知參與等幾種類型(Fredricks, Blumenfeld, & Paris, 2004)。
在線教學(xué)過程中,促使學(xué)生參與學(xué)習(xí)正在成為一個(gè)越來越難實(shí)現(xiàn)的任務(wù)(Astleitner, 2018)。教師無法通過與學(xué)習(xí)者面對(duì)面的接觸收集更多的信息,同時(shí)參與的學(xué)習(xí)者人數(shù)更多,在線學(xué)習(xí)的互動(dòng)方式和評(píng)價(jià)方式等均發(fā)生了明顯變化。因此,如何在在線教育的新環(huán)境中識(shí)別學(xué)生參與情況成為一個(gè)有挑戰(zhàn)的議題。與傳統(tǒng)教學(xué)環(huán)境不同,在線教學(xué)環(huán)境的一個(gè)優(yōu)勢是積累了豐富的日志數(shù)據(jù),記錄了學(xué)生具體的學(xué)習(xí)活動(dòng)信息,研究者與教師可以通過對(duì)學(xué)習(xí)者行為模式的闡述而推斷得到學(xué)習(xí)者的學(xué)習(xí)參與情況(Ramesh, Goldwasser, Huang, Daumé III, & Getoor, 2013)。
本研究結(jié)合ICAP框架,基于在線教學(xué)平臺(tái)的日志數(shù)據(jù)分析學(xué)習(xí)者的參與方式,從而為學(xué)習(xí)者提供個(gè)性化的教學(xué)方案,提高教學(xué)質(zhì)量。研究中關(guān)注的問題包括:如何基于學(xué)生的日志數(shù)據(jù)識(shí)別不同的參與方式?如何驗(yàn)證識(shí)別得到的不同參與方式?學(xué)生參與方式的識(shí)別對(duì)學(xué)生學(xué)情分析與教學(xué)設(shè)計(jì)改善具有什么啟示?
二、相關(guān)研究
(一)學(xué)生參與
學(xué)生參與常用的測量方法是自我報(bào)告法,這類方法成本較低,易于管理,但是存在主觀程度高,易受社會(huì)期望、回憶偏差影響等問題(Dmello, et al., 2017)。非問卷的參與測量方法(如訪談法、教師打分法、工作樣本分析法等)(張娜, 2012)依然相對(duì)主觀,存在同樣的問題。Dmello等人(2017)提出了一類“先進(jìn)—分析—自動(dòng)”的學(xué)習(xí)參與測量方法,其中基于日志數(shù)據(jù),通過分析學(xué)生的交互模式可以識(shí)別學(xué)生參與。學(xué)習(xí)分析技術(shù)可以深入挖掘與分析學(xué)生在各個(gè)維度的學(xué)習(xí)參與數(shù)據(jù),獲取其學(xué)習(xí)參與行為的潛在規(guī)律和特點(diǎn)(萬力勇, 2019)。
在在線教育領(lǐng)域,現(xiàn)有對(duì)學(xué)生參與的研究多是基于對(duì)“參與”的一種寬泛的定義,缺乏理論基礎(chǔ)(Lan, Brinton, Yang, & Chiang, 2017),因此很難適用于不同的在線教學(xué)平臺(tái)。Anderson等人(2014)通過分析高成績和低成績學(xué)生的不同行為模式來描繪學(xué)生在慕課的參與情況。蔣卓軒等人(2015)從時(shí)間、成績和論壇三個(gè)角度分析學(xué)生的學(xué)習(xí)參與行為。還有研究者將學(xué)生參與簡單分為是否兩種狀態(tài)加以討論(Kizilcec, Piech, & Schneider, 2013)。另一類研究將學(xué)生參與視為隱性變量加以測量。Ramesh等人(2013)根據(jù)論壇行為特征將學(xué)生的參與方式分為被動(dòng)、主動(dòng)和不參與三類。Lan等人(2017)將學(xué)習(xí)參與視作一個(gè)與學(xué)習(xí)成績直接相關(guān)的、有具體取值的潛變量。
(二)ICAP框架
ICAP框架(Interactive-Constructive-Active- Passive Framework)是基于學(xué)生活動(dòng)區(qū)分學(xué)習(xí)參與方式的理論框架(Lutz, et al., 2018)。2009年其雛形被提出(Chi, 2009),隨后Chi與Wylie(2014)基于對(duì)多個(gè)實(shí)驗(yàn)的總結(jié)梳理提出了完整的ICAP框架。根據(jù)潛在的知識(shí)改變過程、預(yù)期認(rèn)知結(jié)果與學(xué)習(xí)成果,表1列出了ICAP四種參與方式的區(qū)別,據(jù)此提出了一個(gè)可驗(yàn)證的假設(shè)——在學(xué)習(xí)效果方面:交互活動(dòng) > 建構(gòu)活動(dòng) > 主動(dòng)活動(dòng) > 被動(dòng)活動(dòng)。
ICAP框架以“學(xué)習(xí)者為中心”理念關(guān)照學(xué)習(xí)發(fā)生過程(王志軍, 等, 2019),考慮認(rèn)知參與和行為參與的對(duì)應(yīng)關(guān)系,并給出了每種參與方式的操作化定義,是一種綜合性教育理論和實(shí)證研究結(jié)果(李麗琴, 等, 2019)。盛群力和丁旭(2018)認(rèn)為,ICAP框架可以在教學(xué)中幫助轉(zhuǎn)變學(xué)習(xí)方式,辨別外顯活動(dòng)與認(rèn)知過程的一致性,評(píng)估學(xué)習(xí)效果,指導(dǎo)課程設(shè)計(jì),改進(jìn)教學(xué)實(shí)踐。研究人員可以根據(jù)學(xué)習(xí)者的行為表現(xiàn)判斷學(xué)習(xí)者的不同認(rèn)知層次,并以此預(yù)測學(xué)習(xí)者可能的學(xué)習(xí)成果。ICAP框架已被用于分類學(xué)生的各種活動(dòng),從而提供教學(xué)反饋,提高元認(rèn)知技能(Marzouk, Rakovic, & Winne, 2016);衍生形成有層次的教學(xué)指導(dǎo)策略(Astleitner, 2018);改善教學(xué)方式,促使學(xué)生進(jìn)一步參與活動(dòng)(Chi, et al., 2018);改進(jìn)任務(wù)設(shè)計(jì)方式(Lam & Muldner, 2017);標(biāo)注學(xué)生評(píng)論信息,從而改善教學(xué)內(nèi)容(Yogev, Gal, Karger, Facciotti, & Igo, 2018);對(duì)學(xué)生的論壇消息(Wang, Yang, Wen, Koedinger, & Rosé, 2015)、參與類型(Piotrkowicz, Dimitrova, Mitrovic, & Lau, 2018; Le Lant & Lawson, 2019)和教師的指導(dǎo)活動(dòng)(Demonbrun, et al., 2017)等進(jìn)行分類。
然而,現(xiàn)有針對(duì)ICAP框架的實(shí)證研究多是基于線下傳統(tǒng)的實(shí)驗(yàn)或者教室場景,對(duì)在線教育的相關(guān)討論十分有限。有個(gè)別研究者將ICAP框架應(yīng)用到了在線教育領(lǐng)域中,如Haney等人(2016)通過對(duì)學(xué)生的點(diǎn)擊行為和成績數(shù)據(jù)的描述性分析發(fā)現(xiàn),與具體學(xué)習(xí)行為相對(duì)應(yīng)的學(xué)生參與方式會(huì)影響學(xué)生的整體成績。國內(nèi)也少有學(xué)者討論和應(yīng)用ICAP框架(盛群力, 等, 2017)。
綜上所述,現(xiàn)有學(xué)生參與研究存在測量方法不理想、缺乏理論基礎(chǔ)等問題,且國內(nèi)較少有學(xué)者應(yīng)用ICAP框架探討學(xué)生參與。根據(jù)ICAP框架,在線教學(xué)平臺(tái)中學(xué)習(xí)者的各類學(xué)習(xí)行為(如觀看視頻、完成作業(yè)、參與討論、線上測試等),可以根據(jù)其潛在的認(rèn)知過程被劃分為不同的參與方式,從而實(shí)現(xiàn)對(duì)學(xué)習(xí)者學(xué)習(xí)行為、參與方式和學(xué)習(xí)成果等的描述和理解,為平臺(tái)的改善、課程的設(shè)置和教學(xué)的改進(jìn)等提供理論支撐和有效建議。
三、研究設(shè)計(jì)
(一)數(shù)據(jù)來源
本研究的數(shù)據(jù)來源于“課工場”在線教學(xué)平臺(tái)上的WEB前端課程,該課程分為44個(gè)課程小節(jié),每個(gè)小節(jié)包含學(xué)生必須學(xué)習(xí)的視頻、作業(yè)和測試。在測試中,如果每個(gè)知識(shí)點(diǎn)的答題準(zhǔn)確率均超過0.67,學(xué)生就可以學(xué)習(xí)下一個(gè)課程小節(jié),否則學(xué)生就需要在一段時(shí)間后重新測試。因此,為了通過課程小節(jié),學(xué)生有可能進(jìn)行多次的測試。完成所有的課程內(nèi)容后,最終測試用于評(píng)估學(xué)生的最終學(xué)習(xí)成果。2017年共14位學(xué)生進(jìn)行了為期4個(gè)月的學(xué)習(xí)。在線教學(xué)平臺(tái)記錄下的日志數(shù)據(jù)包含學(xué)生觀看視頻、完成作業(yè)、進(jìn)行測試的記錄,原始數(shù)據(jù)集共包含322,307條記錄。在線下學(xué)生每天至少參加一次小組討論,班主任會(huì)人工記錄每位學(xué)生的問題。
為了更好地描述學(xué)生在每一學(xué)習(xí)階段的參與情況,定義學(xué)生每完成一次測試即為完成一個(gè)學(xué)習(xí)回合。在每個(gè)學(xué)習(xí)回合中學(xué)生可能會(huì)進(jìn)行各種學(xué)習(xí)活動(dòng),每個(gè)課程小節(jié)中可能需要經(jīng)過多個(gè)回合的學(xué)習(xí)才能通過。然后,清理數(shù)據(jù)記錄中的重復(fù)值和異常值,共得到14位學(xué)生的501條課程小節(jié)記錄和840條學(xué)習(xí)回合記錄,課程小節(jié)與學(xué)習(xí)回合時(shí)長的平均值、中位數(shù)和四分位差如表2所示。
每一課程小節(jié)中的學(xué)生人數(shù)和回合總數(shù)如圖1所示。從圖中可以看到,并不是所有學(xué)生都可以完成44個(gè)小節(jié)的學(xué)習(xí)內(nèi)容,其中一些人在課程的中后期,特別是在第30個(gè)小節(jié)之后被落下。同時(shí),人數(shù)的逐漸減少也導(dǎo)致了總回合數(shù)的逐漸減少。通過初步分析可以發(fā)現(xiàn),為了通過每個(gè)課程小節(jié)學(xué)生可能會(huì)進(jìn)行多個(gè)學(xué)習(xí)回合,根據(jù)ICAP框架的定義每個(gè)回合的參與方式都有可能發(fā)生變化。因此,本研究選取840個(gè)學(xué)習(xí)回合作為研究對(duì)象,基于日志數(shù)據(jù)識(shí)別每個(gè)回合中學(xué)生采取的參與方式。
(二)聚類特征的抽取
為了理解學(xué)生在每一學(xué)習(xí)回合中的不同參與方式,本文希望基于ICAP框架從數(shù)據(jù)集中抽取學(xué)生的行為特征對(duì)應(yīng)于3類不同的學(xué)習(xí)活動(dòng)。首先,為了區(qū)別被動(dòng)與主動(dòng)的學(xué)習(xí)活動(dòng),定義被動(dòng)與主動(dòng)的視頻觀看記錄。ICAP框架中對(duì)被動(dòng)學(xué)習(xí)活動(dòng)的舉例即為學(xué)生在沒有更多操作行為的情況下一直觀看視頻,此時(shí)學(xué)生是在被動(dòng)地接受老師所講授的知識(shí),達(dá)到的是對(duì)知識(shí)的最淺層理解;主動(dòng)學(xué)習(xí)活動(dòng)舉例是學(xué)生在視頻中多次進(jìn)行暫停、重播、拖動(dòng)等交互操作,此時(shí)學(xué)生是在對(duì)視頻中的知識(shí)進(jìn)行選擇性地學(xué)習(xí)、回憶與加強(qiáng)。因此,如果視頻中學(xué)生的交互操作越多,學(xué)生更有可能是在記錄學(xué)習(xí)筆記或者幫助更好地理解學(xué)習(xí)材料,學(xué)生在學(xué)習(xí)中的參與程度就越深。一般來說,學(xué)生會(huì)在視頻最開始點(diǎn)擊播放,因此每次觀看視頻活動(dòng)至少有一次交互。為了盡量剔除沒有真正體現(xiàn)學(xué)生操作視頻的交互記錄,區(qū)分主動(dòng)與被動(dòng)的學(xué)習(xí)活動(dòng),參考已有對(duì)觀看視頻記錄的區(qū)分方法(Haney, Atiq, Deboer, & Cox, 2016),如果交互的次數(shù)大于兩次(一次最初播放+一次其他交互),則標(biāo)記這條記錄為主動(dòng),否則標(biāo)記為被動(dòng)。
然后,定義每個(gè)學(xué)習(xí)回合中被動(dòng)、主動(dòng)和建構(gòu)三類學(xué)習(xí)活動(dòng)的對(duì)應(yīng)行為特征:被動(dòng)視頻時(shí)長占比、主動(dòng)視頻時(shí)長占比和作業(yè)時(shí)長占比。課程中的作業(yè)都是具體的課程項(xiàng)目,學(xué)生需要綜合應(yīng)用學(xué)到的知識(shí),并通過編寫代碼的方式將思路和想法付諸實(shí)踐。每一個(gè)作業(yè)都沒有參考答案,因此在完成作業(yè)的過程中學(xué)生是在對(duì)已學(xué)習(xí)、已掌握的知識(shí)進(jìn)行進(jìn)一步加工,生成一個(gè)新的綜合性的學(xué)習(xí)成果。因此,完成作業(yè)可以被歸為建構(gòu)的學(xué)習(xí)活動(dòng)。為了消除學(xué)習(xí)回合時(shí)長差異的影響,將三個(gè)總時(shí)長分別除以所處學(xué)習(xí)回合時(shí)長,得到對(duì)應(yīng)活動(dòng)的時(shí)長占比。三個(gè)特征的平均值、中位數(shù)和四分位差如表3所示。
(三)研究方法
聚類是一種將相似樣本劃分到同一類簇中的無監(jiān)督算法。為了探究與不同行為特征對(duì)應(yīng)的學(xué)生參與方式,本研究對(duì)840個(gè)學(xué)習(xí)回合進(jìn)行聚類分析,每一個(gè)回合對(duì)應(yīng)一種參與方式。每一回合通過一個(gè)3維向量表示,對(duì)應(yīng)上文所述的3類特征。數(shù)量級(jí)不同的特征會(huì)導(dǎo)致無效的聚類結(jié)果,因此在聚類前對(duì)每一個(gè)特征進(jìn)行標(biāo)準(zhǔn)化處理。然后計(jì)算向量兩兩之間的余弦相似度距離,對(duì)于兩個(gè)向量[Vi]=(v1i,v2i,…,vti)與[Vj]=(v1j,v2j,…,vtj),余弦相似度計(jì)算如公式(1)所示,而向量[Vi]與[Vj]的距離通過1-sim([Vi],[Vj])計(jì)算。
sim([Vi],[Vj])=[Vi?VjVi*|Vj|]????????????????? (1)
基于余弦相似度距離,本研究采用等級(jí)聚類中的凝聚方法,連接方法采用完全連接法(Johnson, 1967; Defays, 1977)。凝聚方法是一種自下而上的等級(jí)聚類方法,在最初每一個(gè)數(shù)據(jù)點(diǎn)均被視作一個(gè)類簇,隨后類簇之間相繼凝聚直到最終僅保留下一個(gè)類簇。在每一輪迭代中,類簇之間兩兩被連接為一個(gè)新類簇,完全連接法通過計(jì)算連接后新類簇的直徑(類簇內(nèi)數(shù)據(jù)點(diǎn)兩兩之間距離的最大值),選擇直徑最小的新類簇作為一輪迭代的凝聚結(jié)果。
然后,通過計(jì)算Clainski-Harabaz(CH)指數(shù)確定最佳的聚類個(gè)數(shù),如公式(2)所示。
s = [SSBSSW] × [N-kk-1]????????????????????? (2)
式中k是聚類個(gè)數(shù),N是總樣本數(shù)。[SSB]表示類間平均離差,用于衡量類簇之間的分離程度;[SSW]表示類內(nèi)平均離差,用于衡量類簇內(nèi)樣本之間的分離程度(Caliński & Harabasz, 1974)。CH指數(shù)越高表明聚類效果越好。在本研究中,等級(jí)聚類算法通過Python實(shí)現(xiàn),計(jì)算結(jié)果標(biāo)明最佳聚類個(gè)數(shù)為4。
四、數(shù)據(jù)分析與發(fā)現(xiàn)
(一)參與方式聚類結(jié)果
通過等級(jí)聚類的凝聚方法得到四個(gè)類之后,計(jì)算每一類三個(gè)特征的平均值,結(jié)果如圖2所示。通過對(duì)四類子群的學(xué)習(xí)活動(dòng)特征的分析,本研究對(duì)四類參與方式進(jìn)行了探索與界定。
類別1:被動(dòng)參與方式
類別1包含10%(n=80)的學(xué)習(xí)回合。類別1的主動(dòng)視頻時(shí)長占比與作業(yè)時(shí)長占比均不太突出,都僅高于類別4,唯一比其他三類高的是被動(dòng)視頻時(shí)長占比。在初期接觸新知識(shí)時(shí),一些學(xué)生在觀看視頻過程中并不會(huì)過多地采取暫停和拖動(dòng)行為?;谳^高的被動(dòng)視頻時(shí)長占比、較少的操作行為和作業(yè)時(shí)長,定義類別1為被動(dòng)參與方式。
類別2:主動(dòng)參與方式
類別2包含44%(n=366)的學(xué)習(xí)回合。類別2的主動(dòng)視頻時(shí)長占比明顯高于其他類別,而被動(dòng)視頻時(shí)長占比和作業(yè)時(shí)長占比則較低。該類描繪了一種學(xué)生主動(dòng)采取行動(dòng)的學(xué)習(xí)參與方式。學(xué)習(xí)中如果遇到較難理解的部分,一些學(xué)生會(huì)在觀看視頻時(shí)頻繁進(jìn)行暫停和拖動(dòng)操作,從而消化、回顧、比較不同的知識(shí)點(diǎn)。基于較高的主動(dòng)視頻時(shí)長占比,定義類別2為主動(dòng)參與方式。
類別3:建構(gòu)參與方式
類別3包含9%(n=75)的學(xué)習(xí)回合。類別3的視頻相關(guān)特征均不突出,僅比類別4高一些,但是作業(yè)時(shí)長占比是四個(gè)類別中最高的。這表明在類別3中,學(xué)生通常將主要精力放在解決、完成作業(yè)中遇到的問題上。在完成作業(yè)的過程中,學(xué)生是在進(jìn)一步加工所學(xué)知識(shí),并生成新的學(xué)習(xí)成果,從而達(dá)到對(duì)知識(shí)的深度理解,因此根據(jù)ICAP框架定義類別3為建構(gòu)參與方式。
類別4:閑散參與方式
類別4包含38%(n=319)的學(xué)習(xí)回合。和其他類別相比,類別4的三個(gè)特征的標(biāo)準(zhǔn)化后均值都非常小,表明學(xué)生并沒有進(jìn)行過多的學(xué)習(xí)活動(dòng)。類別4的產(chǎn)生更多是因?yàn)閷W(xué)生在沒有通過測試的情況下,需要間隔一定的時(shí)間后才能再次進(jìn)行測試。在多輪測試未通過的過程中,學(xué)生可能已經(jīng)對(duì)相應(yīng)的知識(shí)點(diǎn)進(jìn)行了多次的復(fù)習(xí)和回顧,不再需要重新觀看視頻或者完成作業(yè),因此處在一種閑散等待的狀態(tài)中?;蛘呤窃诮?jīng)歷了多次挫折之后,學(xué)生選擇了偷懶放松,希望能在多次測試中刷到足夠數(shù)量的題目,從而在下一次測試中順利通過?;谳^少的行為記錄,定義類別4為閑散參與方式。
在得到四種不同類別的參與方式之后,將類別作為因素、三個(gè)特征作為觀察值進(jìn)行單因素方差分析。計(jì)算得到的p值均小于0.05,表明四個(gè)類別的三個(gè)特征有顯著差別,聚類結(jié)果可以用于后續(xù)的進(jìn)一步分析與討論。
(二)參與方式整體分布
為了探究四種不同的參與方式在整體學(xué)習(xí)過程中的分布,繪制每個(gè)課程小節(jié)四種參與方式的平均回合數(shù)(如圖3所示)。
整體而言,前半學(xué)期的學(xué)習(xí)回合總數(shù)要多于后半部分。最初學(xué)生通常需要一些時(shí)間來適應(yīng)平臺(tái)上課程的運(yùn)作方式和具體規(guī)則,相應(yīng)地可能需要更多的回合去完成每個(gè)課程小節(jié)的學(xué)習(xí)。針對(duì)小節(jié)1和3的較高的平均學(xué)習(xí)回合數(shù),主要是因?yàn)閷W(xué)生被某個(gè)具體的測試題目卡住而無法通過。這些過多的閑散回合可能表明學(xué)生可能正在跨越知識(shí)上的一些“盲點(diǎn)”,他們無法在測試中通過這些知識(shí)點(diǎn)的考察,同時(shí)也沒有或者不知道該如何采取行動(dòng)去掌握這些知識(shí)點(diǎn)。這種問題信號(hào)可以被及時(shí)反饋給老師,幫助提供相應(yīng)的輔導(dǎo)。
從四種參與方式的對(duì)比來看,被動(dòng)、主動(dòng)和建構(gòu)三種參與方式的平均總回合數(shù)在整個(gè)學(xué)期都比較穩(wěn)定,總數(shù)在1上下浮動(dòng)。被動(dòng)和建構(gòu)的參與方式在課程的最開始即出現(xiàn),而主動(dòng)參與方式更多地出現(xiàn)在小節(jié)25及以后,隨后被動(dòng)的參與方式逐漸減少,主動(dòng)和建構(gòu)的參與方式逐漸占據(jù)主導(dǎo)。
(三)參與方式與學(xué)習(xí)成績
為探究不同參與方式下學(xué)習(xí)成績的差異,在控制回合發(fā)生排序一定的情況下,比較不同參與方式的平均成績。從數(shù)據(jù)集中分別截取課程小節(jié)中排序?yàn)?和2的回合數(shù)據(jù)(排序在3及以后的學(xué)習(xí)回合數(shù)據(jù)過少,不在此進(jìn)行討論),比較不同參與方式下的平均成績(如表4所示)。
從表4數(shù)據(jù)可知,排序?yàn)?時(shí),平均成績是主動(dòng)參與方式高于被動(dòng)參與方式;排序?yàn)?時(shí),主動(dòng)參與方式的平均成績略低于被動(dòng)參與,且四種參與方式的成績存在顯著差異。這可能是因?yàn)榕判驗(yàn)?時(shí)的樣本數(shù)過少導(dǎo)致的。根據(jù)ICAP框架的假設(shè),認(rèn)知程度越深入的參與方式越有利于學(xué)習(xí)者獲得更好的學(xué)習(xí)成績,因此被動(dòng)、主動(dòng)和建構(gòu)三種參與方式的回合成績應(yīng)該逐步提高。分析結(jié)果表明,三類參與方式對(duì)應(yīng)的成績與ICAP框架的假設(shè)基本吻合。
值得說明的一點(diǎn)是,閑散參與方式的平均成績是四種參與方式中最高的。這一現(xiàn)象存在兩種可能性。一種是因?yàn)榻?jīng)過之前回合中學(xué)習(xí)的積累,學(xué)生只要再通過一次測試即可以完成課程小節(jié)的學(xué)習(xí),導(dǎo)致閑散參與的回合發(fā)生總是與高成績相聯(lián)系。另外一種可能性是,高水平的學(xué)生主動(dòng)選擇了閑散參與的方式。有部分學(xué)生已經(jīng)事先掌握了課程小節(jié)中的知識(shí),在學(xué)習(xí)過程中會(huì)采取更少的學(xué)習(xí)行為,但是在測試中可能取得更高的分?jǐn)?shù),從而產(chǎn)生一次高成績的閑散回合。
(四)不同學(xué)生的參與方式
為了展示典型學(xué)生的參與方式序列,對(duì)每位學(xué)生學(xué)習(xí)的小節(jié)數(shù)、回合數(shù)、小節(jié)數(shù)/回合數(shù)和最終成績進(jìn)行了統(tǒng)計(jì)(如表5所示)。小節(jié)數(shù)與回合數(shù)的比值越高,說明學(xué)生能夠在更少的學(xué)習(xí)回合內(nèi)通過課程小節(jié),根據(jù)這一比值的大小,可以將學(xué)生大致均分為三類:第一類學(xué)生(n=5)的比值較低,且整體上完成的小節(jié)數(shù)也有限;第二類學(xué)生(n=5)的比值中等;第三類學(xué)生(n=4)的比值較高,完成的小節(jié)數(shù)也都在40及以上。
在這三類學(xué)生中分別挑選4、8、14三位學(xué)生,繪制他們的參與方式序列(如圖4a、4b、4c所示)。三位學(xué)生分別代表困難型、平衡型和輕松型三種不同的學(xué)習(xí)狀態(tài)。
如圖4a所示,學(xué)生4的學(xué)習(xí)狀態(tài)表現(xiàn)得較為困難。從整體上來看,學(xué)生4經(jīng)歷了更少的小節(jié)和更多的回合,特別是在小節(jié)10與12中學(xué)習(xí)回合數(shù)分別為8和7。學(xué)生4一開始采取的主要是被動(dòng)與建構(gòu)方式,小節(jié)13之后以閑散方式為主,小節(jié)27之后僅涉及被動(dòng)和主動(dòng)方式。線下的記錄也可以反映該學(xué)生的這一狀態(tài)。在小節(jié)1,這位學(xué)生被評(píng)價(jià)為“缺乏編程訓(xùn)練,學(xué)習(xí)進(jìn)度較慢”,所以在編程作業(yè)上花費(fèi)了大量時(shí)間,使得小節(jié)1均為建構(gòu)回合。在小節(jié)10~12之間,學(xué)生4連續(xù)若干天反映自己“完成測試題有難度,需要查詢后作答”“看懂視頻比較吃力”,從而解釋小節(jié)10和12的較多學(xué)習(xí)回合,且以被動(dòng)和主動(dòng)參與方式為主。同時(shí),學(xué)生也反映自己在小節(jié)13之后,“通過測試有難度,不太能理解視頻內(nèi)容”,因此在參與方式上表現(xiàn)得比較消極。
相比之下,學(xué)生8的學(xué)習(xí)狀態(tài)表現(xiàn)得更為平衡。絕大部分課程小節(jié)都能夠在3個(gè)回合中完成,且學(xué)生8的閑散回合更少。同時(shí),隨著課程的進(jìn)行,被動(dòng)參與方式越來越少,主動(dòng)、建構(gòu)和閑散參與方式也在學(xué)習(xí)的后期被更多地采用。
與學(xué)生4和學(xué)生8相比,學(xué)生14的學(xué)習(xí)狀態(tài)整體來說更加輕松。大部分小節(jié)可以在一個(gè)回合內(nèi)結(jié)束,且多數(shù)是在一個(gè)閑散回合內(nèi)結(jié)束。在小節(jié)30及以后,學(xué)生14以主動(dòng)的學(xué)習(xí)參與方式較多,說明學(xué)生14習(xí)慣多次交互幫助理解課程內(nèi)容,因此可以推測學(xué)生14的理解能力也比較強(qiáng)。根據(jù)線下記錄,學(xué)生14的學(xué)習(xí)進(jìn)度一直快于其他學(xué)生,學(xué)習(xí)進(jìn)程基本是按部就班地推進(jìn),并且很少會(huì)被記錄到存在一些異常問題。
五、討論
本研究基于ICAP框架,提出了利用日志數(shù)據(jù)自動(dòng)識(shí)別學(xué)習(xí)者參與方式的方案,通過一門在線課程的數(shù)據(jù)進(jìn)行了實(shí)證研究,并在此基礎(chǔ)上分析了整體課程期間參與方式的分布,探究了參與方式與學(xué)習(xí)成績之間的關(guān)系,以及不同學(xué)生參與方式的差異?;谏鲜鰯?shù)據(jù)分析結(jié)果,可以得出以下結(jié)論:
第一,ICAP框架可以作為在線學(xué)習(xí)數(shù)據(jù)分析的理論基礎(chǔ),實(shí)現(xiàn)對(duì)學(xué)生參與方式的自動(dòng)標(biāo)注。通過定義ICAP框架中與被動(dòng)、主動(dòng)和建構(gòu)相對(duì)應(yīng)的學(xué)習(xí)活動(dòng)特征并聚類,可以發(fā)現(xiàn)在參與方式上具有明顯不同模式的學(xué)習(xí)者,從而為后續(xù)的學(xué)情監(jiān)測和學(xué)習(xí)干預(yù)等服務(wù)提供支撐。同時(shí),分析結(jié)果中不同參與方式成績的比較也基本驗(yàn)證了ICAP框架中對(duì)學(xué)習(xí)成果的假設(shè),即建構(gòu) >被動(dòng) >主動(dòng),這也與Haney等人(2016)的研究結(jié)論相一致。然而,受本研究平臺(tái)數(shù)據(jù)的限制,暫時(shí)無法討論其他可以從ICAP框架衍生出的更為豐富的學(xué)習(xí)活動(dòng)特征,后續(xù)ICAP框架的應(yīng)用研究可以在此基礎(chǔ)上進(jìn)一步擴(kuò)展。
第二,教學(xué)管理方式會(huì)影響學(xué)生實(shí)際采取的參與方式。本研究所采用的課程規(guī)定學(xué)生必須觀看視頻、完成作業(yè)之后才能進(jìn)行測試,反映到參與方式的整體分布上,每一課程小節(jié)學(xué)生基本都需要經(jīng)歷被動(dòng)、主動(dòng)和建構(gòu)三種參與方式中的一種或者多種,這一現(xiàn)象可能與所學(xué)習(xí)的知識(shí)點(diǎn)無關(guān)。隨著學(xué)習(xí)的逐步深入,學(xué)生也會(huì)逐步調(diào)整合適的參與方式以適應(yīng)課程內(nèi)容,反映在后期主動(dòng)和建構(gòu)參與方式的增多。根據(jù)ICAP框架,被動(dòng)、主動(dòng)和建構(gòu)三種參與方式對(duì)學(xué)習(xí)效果的促進(jìn)程度是逐漸遞增的,已有學(xué)者結(jié)合ICAP框架改進(jìn)學(xué)習(xí)資源設(shè)計(jì)(王志軍, 等, 2019)和教學(xué)模式(李麗琴, 等, 2019),因此如何改善教學(xué)設(shè)計(jì)以促進(jìn)學(xué)生更深層次的學(xué)習(xí)參與是可以研究且需要深入探討的問題。
第三,本研究發(fā)現(xiàn),同一參與方式如果發(fā)生的順序不同,對(duì)應(yīng)學(xué)習(xí)成績也存在差異。被動(dòng)與主動(dòng)的參與方式隨著發(fā)生順序的延后,平均學(xué)習(xí)成績有所降低??赡艿慕忉屖?,如果被動(dòng)與主動(dòng)的參與方式傾向于隨后發(fā)生,更可能說明學(xué)生在學(xué)習(xí)過程中遇到了困難,或者反映了學(xué)生的學(xué)習(xí)能力不足。被動(dòng)的參與方式一般會(huì)在知識(shí)點(diǎn)學(xué)習(xí)初期出現(xiàn),而如果學(xué)生在后期采取了被動(dòng)參與方式,可能是因?yàn)橛龅搅藷o法解決的難題,同時(shí)又不清楚難題對(duì)應(yīng)的知識(shí)點(diǎn)的具體位置,只能“回爐重造”,從頭開始學(xué)習(xí)相應(yīng)的視頻內(nèi)容。在這種情況下,學(xué)生對(duì)整體的知識(shí)體系沒有明確的把握,甚至對(duì)個(gè)別知識(shí)點(diǎn)還沒有達(dá)到簡單記憶的水平,因此很有可能在小節(jié)測試中取得比較低的成績,此時(shí)就需要提供對(duì)應(yīng)的教學(xué)指導(dǎo)或者干預(yù),而建構(gòu)與閑散參與方式隨著發(fā)生順序的延后,平均學(xué)習(xí)成績?cè)谔岣?。這比較符合正常的學(xué)習(xí)規(guī)律,說明后來發(fā)生的建構(gòu)參與和閑散參與更有可能幫助學(xué)生提高成績。
第四,學(xué)生在整個(gè)課程中的參與方式序列可以反映不同學(xué)生的學(xué)習(xí)狀態(tài)。本研究根據(jù)學(xué)生參與方式的序列識(shí)別出學(xué)生三類學(xué)習(xí)狀態(tài):困難型、平衡型和輕松型。教師對(duì)學(xué)生的線下記錄也驗(yàn)證了學(xué)生的實(shí)際學(xué)習(xí)狀態(tài)與問題。比較三位典型學(xué)生的情況可以發(fā)現(xiàn),學(xué)生整體的學(xué)習(xí)狀態(tài)又可能受到學(xué)生本人的學(xué)習(xí)能力、課程的教學(xué)設(shè)計(jì)和教師的教學(xué)水平等因素的影響,從而影響學(xué)生整體的學(xué)習(xí)效率。后續(xù)基于對(duì)更多學(xué)生日志數(shù)據(jù)的收集與分析,有可能進(jìn)一步實(shí)現(xiàn)學(xué)生學(xué)習(xí)狀態(tài)的分類,以及對(duì)學(xué)生整體學(xué)習(xí)效果的預(yù)測,從而為及時(shí)的教學(xué)干預(yù)提供參考。
六、總結(jié)
本研究基于日志數(shù)據(jù),根據(jù)ICAP框架對(duì)認(rèn)知參與活動(dòng)的操作性界定,創(chuàng)造性地提出了與三種參與方式相對(duì)應(yīng)的學(xué)習(xí)活動(dòng)特征——被動(dòng)視頻時(shí)長占比、主動(dòng)視頻時(shí)長占比和作業(yè)時(shí)長占比,并通過聚類分析得到了被動(dòng)、主動(dòng)、建構(gòu)和閑散四種參與方式。本研究所提取的三種特征與具體的學(xué)習(xí)環(huán)境無關(guān),因此可以被推廣應(yīng)用到其他在線教學(xué)場景中。通過學(xué)習(xí)成績的對(duì)比可以發(fā)現(xiàn),不同參與方式下的成績與ICAP框架的假設(shè)基本吻合,學(xué)生整體的參與方式序列還可以反映不同學(xué)生的學(xué)習(xí)狀態(tài),線下記錄也驗(yàn)證了描述的合理性。本研究的結(jié)果說明,ICAP框架可以用于識(shí)別學(xué)生參與方式,從而為后續(xù)的教學(xué)設(shè)計(jì)和成績預(yù)測等提供參考。
雖然得到了一些較有啟發(fā)性的研究結(jié)果,本研究還存在以下不足:首先,數(shù)據(jù)所涵蓋的學(xué)生數(shù)量有限,現(xiàn)有研究也不足以通過14人的數(shù)據(jù)分析學(xué)生在整體學(xué)習(xí)參與方式上的差異。后續(xù)計(jì)劃通過收集更多學(xué)生的日志數(shù)據(jù),嘗試比較不同學(xué)生的學(xué)習(xí)參與方式序列,從而識(shí)別出不同學(xué)生的學(xué)習(xí)行為模式。其次,在ICAP框架中,同樣的學(xué)習(xí)活動(dòng)蘊(yùn)含的可能是不同層次的認(rèn)知活動(dòng)(Chi, et al., 2014),本文并沒有對(duì)此加以討論。例如,盡管學(xué)生在不進(jìn)行任何操作的情況下觀看視頻,如果學(xué)生在這一過程中進(jìn)行的是將新知識(shí)與已掌握的舊知識(shí)進(jìn)行對(duì)比、整合等認(rèn)知活動(dòng),那么這些行為就應(yīng)該被劃分到主動(dòng)而不是被動(dòng)參與方式下。因此,有研究也指出應(yīng)該結(jié)合行為和認(rèn)知兩個(gè)層次上的信息去定義和分析學(xué)生參與(Lutz, et al., 2018)。最后,限于數(shù)據(jù)來源,本研究無法將ICAP框架中交互的參與方式囊括到具體的分析中。后續(xù)計(jì)劃通過對(duì)線下記錄的編碼處理,梳理學(xué)生在討論、協(xié)作等方面的學(xué)習(xí)活動(dòng),從而為交互參與方式的描繪提供數(shù)據(jù)支持。
[參考文獻(xiàn)]
蔣卓軒,張巖,李曉明. 2015. 基于MOOC數(shù)據(jù)的學(xué)習(xí)行為分析與預(yù)測[J]. 計(jì)算機(jī)研究與發(fā)展,52(3):614-628.
李麗琴,許鋒華. 2019. 基于ICAP學(xué)習(xí)方式分類學(xué)的初中物理習(xí)題教學(xué)模式變革[J]. 教學(xué)與管理(36):115-118.
穆肅,王孝金. 2019. 參與和投入而非膚淺和簡單——在線學(xué)習(xí)中的深層次學(xué)習(xí)[J]. 中國遠(yuǎn)程教育(2):17-25,92-93.
盛群力,丁旭. 2018. “ICAP學(xué)習(xí)方式分類學(xué)”的循證研究[J]. 武漢科技大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),20(2):218-223.
盛群力,丁旭,滕梅芳. 2017. 參與就是能力——“ICAP 學(xué)習(xí)方式分類學(xué)”研究述要與價(jià)值分析[J]. 開放教育研究,23(2):46-54.
萬力勇. 2019. 數(shù)字化學(xué)習(xí)中的學(xué)習(xí)者參與:聯(lián)結(jié)學(xué)習(xí)動(dòng)機(jī)與學(xué)習(xí)績效——訪俄亥俄州立大學(xué)知名學(xué)者謝魁教授[J]. 現(xiàn)代遠(yuǎn)程教育研究,31(4):11-18,46.
王志軍,馮小燕. 2019. 基于學(xué)習(xí)參與視角的移動(dòng)學(xué)習(xí)資源畫面設(shè)計(jì)研究[J]. 電化教育研究(6):91-97.
張娜. 2012. 國內(nèi)外學(xué)習(xí)參與及其學(xué)校影響因素研究綜述[J]. 心理研究,5(2):83-92.
Anderson, E. (2017). Measurement of online student engagement: utilization of continuous online student behavior indicators as items in a partial credit rasch model. USA: University of Denver.
Anderson, A., Huttenlocher, D., Kleinberg, J., & Leskovec, J. (2014). Engaging with massive online courses. In Proceedings of the 23rd International Conference on World Wide Web (pp. 687-698). ACM.
Astleitner, H. (2018). Multidimensional engagement in learning-an integrated instructional design approach. Journal of Instructional Research, 7, 6-32.
Caliński, T., & Harabasz, J. (1974). A dendrite method for cluster analysis. Communications in Statistics-Theory and Methods, 3(1), 1-27.
Chi, M. T. (2009). Active-constructive-interactive: A conceptual framework for differentiating learning activities. Topics in Cognitive Science, 1(1), 73-105.
Chi, M. T., Adams, J., Bogusch, E. B., Bruchok, C., Kang, S., Lancaster, M., et al. (2018). Translating the ICAP theory of cognitive engagement into practice. Cognitive Science, 42(6), 1777-1832.
Chi, M. T., & Wylie, R. (2014). The ICAP framework: Linking cognitive engagement to active learning outcomes. Educational Psychologist, 49(4), 219-243.
Defays, D. (1977). An efficient algorithm for a complete link method. The Computer Journal, 20(4), 364-366.
Demonbrun, M., Finelli, C. J., Prince, M., Borrego, M., Shekhar, P., Henderson, C., et al. (2017). Creating an instrument to measure student response to instructional practices. Journal of Engineering Education, 106(2), 273-298.
Dmello, S., Dieterle, E., & Duckworth, A. (2017). Advanced, analytic, automated (AAA) measurement of engagement during learning. Educational Psychologist, 52(2), 104-123.
Fredricks, J. A., Blumenfeld, P. C., & Paris, A. H. (2004). School engagement: Potential of the concept, state of the evidence. Review of Educational Research, 74(1), 59-109.
Johnson, S. C. (1967). Hierarchical clustering schemes. Psychometrika, 32(3), 241-254.
Haney, C. L., Atiq, S. Z., Deboer, J., & Cox, D. (2016). Comparing different learning activities in a global neuroscience MOOC. In Proceedings of the 123rd ASEE Annual Conference & Exposition. ASEE.
Kizilcec, R. F., Piech, C., & Schneider, E. (2013). Deconstructing disengagement: analyzing learner subpopulations in massive open online courses. In Proceedings of the 3rd International Conference on Learning Analytics and Knowledge (pp. 170-179). ACM.
Kuh, G. D. (2003). What were learning about student engagement from nsse: benchmarks for effective educational practices. Change: The Magazine of Higher Learning, 35(2), 24-32.
Lam, R., & Muldner, K. (2017). Manipulating cognitive engagement in preparation-to-collaborate tasks and the effects on learning. Learning and Instruction, 52, 90-101.
Lan, A. S., Brinton, C. G., Yang, T. Y., & Chiang, M. (2017). Behavior-based latent variable model for learner engagement. In Proceedings of the 10th International Conference on Educational Data Mining (pp. 64-71). ERIC.
Le Lant, C., & Lawson, M. J. (2019). A new student engagement observational instrument for use with students with intellectual disability. Journal of Research in Special Educational Needs, 19(4), 304-314.
Lutz, B. D., Barlow, A. J., Hunsu, N., Groen, C. J., Brown, A. P. E. S., Adesope, O., et al. (2018). Measuring engineering students in-class cognitive engagement: survey development informed by contemporary educational theories. In Proceedings of the 125th ASEE Annual Conference & Exposition. ASEE.
Marzouk, Z., Rakovic, M., & Winne, P. H. (2016). Generating learning analytics to improve learners metacognitive skills using nstudy trace data and the ICAP framework. In Proceedings of the Learning Analytics and Knowledge Workshop on Learning Analytics for learners (pp. 11-16). CEUR.
Ng, C., Bartlett, B., & Elliott, S. N. (2018). Engagement for what purpose? Engagement toward what outcome? Empowering engagement for students from challenging backgrounds. In C. Ng, B. Bartlett, & S.N. Elliott (Eds.), Empowering engagement (pp.191-209). New York: Springer.
Piotrkowicz, A., Dimitrova, V., Mitrovic, A., & Lau, L. (2018). Using the explicit user profile to predict user engagement in active video watching. In Proceedings of the 26th Conference on User Modeling, Adaptation and Personalization (pp. 365-366). ACM.
Ramesh, A., Goldwasser, D., Huang, B., Daumé III, H., & Getoor, L. (2013). Modeling learner engagement in MOOCs using probabilistic soft logic. In Proceedings of NIPS Workshop on Data Driven Education.
Wang, X., Yang, D., Wen, M., Koedinger, K., & Rosé, C. P. (2015). Investigating how students cognitive behavior in mooc discussion forums affect learning gains. In Proceedings of the 8th International Conference on Educational Data Mining (pp.226-233). ERIC.
Yogev, E., Gal, K., Karger, D., Facciotti, M. T., & Igo, M. (2018). Classifying and visualizing students cognitive engagement in course readings. In Proceedings of the 5th Annual ACM Conference on Learning at Scale (pp.1-10). ACM.
收稿日期:2020-03-25
定稿日期:2020-08-04
作者簡介:肖睿,博士研究生,北京大學(xué)教育學(xué)院學(xué)習(xí)科學(xué)實(shí)驗(yàn)室(100871)。
劉千慧,碩士研究生,本文通訊作者,北京大學(xué)信息管理系(100871)。
尚俊杰,博士,副教授,博士生導(dǎo)師,北京大學(xué)教育學(xué)院學(xué)習(xí)科學(xué)實(shí)驗(yàn)室(100871)。
黃文彬,博士,副教授,碩士生導(dǎo)師,北京大學(xué)信息管理系(100871)。