張 琪武法提許文靜

（1.淮北師范大學(xué) 教育學(xué)院，安徽淮北 235000；2.北京師范大學(xué) 教育技術(shù)學(xué)院，北京 100875）

一、引言

學(xué)習(xí)投入既是可以被環(huán)境塑造的變量，也是學(xué)生興趣、學(xué)業(yè)成績(jī)、學(xué)習(xí)留存率的強(qiáng)有力預(yù)測(cè)指標(biāo)[1]。在過(guò)去的20年中，學(xué)術(shù)界對(duì)學(xué)習(xí)投入的研究興趣與日俱增[2]，其概念與模型日益成熟，形成了穩(wěn)定且富有成效的研究領(lǐng)域。雖然學(xué)習(xí)投入理論方面的研究推動(dòng)了評(píng)測(cè)技術(shù)的發(fā)展，但鑒于學(xué)習(xí)投入的動(dòng)態(tài)、復(fù)雜特征以及直接評(píng)估內(nèi)部狀態(tài)的困難性[3]，導(dǎo)致傳統(tǒng)方法很難對(duì)其做出有效評(píng)價(jià)。在教育技術(shù)尤其是學(xué)習(xí)分析領(lǐng)域，“投入”一詞經(jīng)常被使用，但很少被定義。對(duì)學(xué)習(xí)投入評(píng)測(cè)大多限于對(duì)學(xué)習(xí)行為的記錄與采集，其內(nèi)涵與“學(xué)習(xí)”復(fù)雜性的意蘊(yùn)相距甚遠(yuǎn)。

進(jìn)入智能教育時(shí)代，學(xué)習(xí)環(huán)境的顯著變化使其容納了日益增長(zhǎng)的真實(shí)要素，如，將學(xué)習(xí)延伸并拓展至課堂之外的空間，學(xué)習(xí)者聚焦于真實(shí)情境中的問(wèn)題解決。尤其是伴隨低成本、高分辨率的模態(tài)傳感器以及分析工具的日益成熟，多模態(tài)學(xué)習(xí)分析異軍突起，這大大提高了研究人員在各種環(huán)境中捕獲海量數(shù)據(jù)的能力，從而為更好地理解和表征真實(shí)學(xué)習(xí)環(huán)境中的學(xué)習(xí)投入，提供大數(shù)據(jù)支撐。多模態(tài)學(xué)習(xí)投入評(píng)測(cè)借助于腦科學(xué)、認(rèn)知科學(xué)、神經(jīng)科學(xué)以及數(shù)據(jù)科學(xué)等多樣化研究視角與方法，從多維時(shí)空尺度揭示學(xué)習(xí)的深層機(jī)制[4]，有助于超越對(duì)學(xué)生“點(diǎn)擊數(shù)據(jù)”的觀察，形成理解學(xué)習(xí)結(jié)果和與學(xué)習(xí)相關(guān)構(gòu)件的更為有效的方法，為智能教育的創(chuàng)新實(shí)踐提供了強(qiáng)有力的支撐。

二、學(xué)習(xí)投入的概念與特征

學(xué)習(xí)投入是個(gè)體學(xué)習(xí)過(guò)程中充沛精力、認(rèn)知深度、思維靈活性以及情感體驗(yàn)的綜合表征，是學(xué)習(xí)者領(lǐng)悟?qū)W習(xí)本質(zhì)、沉浸其中的體現(xiàn)[5]。盡管，學(xué)習(xí)投入在概念的一致性、理論體系以及評(píng)測(cè)方式上還存在不完善之處，但始終是教育領(lǐng)域的重要研究?jī)?nèi)容，而日益受到關(guān)注[6]。原因可歸為三個(gè)方面：一是學(xué)習(xí)投入是有意義學(xué)習(xí)的必要條件，是長(zhǎng)期成就和學(xué)業(yè)成功的關(guān)鍵要素[7]，如，Kuh等就指出，教育質(zhì)量高低的核心要素是提升學(xué)習(xí)者的投入度[8]；二是學(xué)習(xí)投入會(huì)影響學(xué)習(xí)者興趣、心理和社交經(jīng)歷；三是學(xué)習(xí)投入會(huì)對(duì)學(xué)術(shù)適應(yīng)能力以及應(yīng)對(duì)壓力方面產(chǎn)生作用，進(jìn)而影響學(xué)習(xí)者的長(zhǎng)期學(xué)術(shù)思維[9]。

學(xué)習(xí)投入是學(xué)習(xí)者在學(xué)術(shù)、社交和情感方面取得的積極成果。相反地，“脫離投入”也會(huì)產(chǎn)生嚴(yán)重后果，尤其對(duì)弱勢(shì)背景學(xué)生更是如此[10]。此外，學(xué)習(xí)投入在科學(xué)學(xué)習(xí)中的作用尤為突出，是成功獲得學(xué)習(xí)科學(xué)技能、概念以及STEM學(xué)習(xí)經(jīng)歷的重要因素，對(duì)于解決低成就和高輟學(xué)率至關(guān)重要[11]。

（一）學(xué)習(xí)投入的概念化

鑒于學(xué)習(xí)投入構(gòu)造的復(fù)雜性與觀察的間接性，很難對(duì)其進(jìn)行精準(zhǔn)定義。在過(guò)去，研究者傾向?qū)?dòng)機(jī)與投入置于同一理論框架內(nèi)進(jìn)行闡釋?zhuān)淅碚摷僭O(shè)是學(xué)習(xí)投入與學(xué)習(xí)中的脫離狀態(tài)相關(guān)聯(lián)，由此產(chǎn)生了大量利用學(xué)習(xí)行為表征學(xué)習(xí)投入的研究。當(dāng)前，相對(duì)共識(shí)的觀點(diǎn)，是將動(dòng)機(jī)與投入概念化為不同的結(jié)構(gòu)，即投入本身是一個(gè)多維構(gòu)造，由此產(chǎn)生了學(xué)習(xí)投入的二維、三維與四維模型。例如，Martin提出了包含認(rèn)知和行為維度的二維模型[12]；Fredricks等在二維模型基礎(chǔ)上增加了情感維度[13]，已有大量研究采用該模型框架開(kāi)展研究；Appleton等添了學(xué)術(shù)成分的第四維度[14]，包括任務(wù)時(shí)間、獲得的學(xué)分和完成作業(yè)情況。學(xué)習(xí)投入維度的差異性，使得研究結(jié)果很難統(tǒng)一進(jìn)行比較。也有研究表明，上述分類(lèi)并不容易遷移至混合或在線教育環(huán)境中[15]。到目前為止，教育技術(shù)界對(duì)這類(lèi)環(huán)境如何定義和衡量投入，依然缺乏共識(shí)[16]。

（二）學(xué)習(xí)投入的境脈特征

新的投入理論已取得了一定進(jìn)展，不再將學(xué)習(xí)投入概念化為學(xué)習(xí)個(gè)體的屬性，而將其視為是一種被師生、任務(wù)、資源等因素影響的可塑性狀態(tài)[17]，即學(xué)習(xí)投入是由個(gè)體與情境的相互作用而產(chǎn)生。由于學(xué)習(xí)者參與學(xué)術(shù)任務(wù)的行動(dòng)部分是可被觀察的，因此，可以從個(gè)體層面進(jìn)行跟蹤。代表性的理論體系是ICAP （Interactive， Constructive， Active， Passive Mode）框架[18]。該框架以差異性知識(shí)變化為基礎(chǔ)，定義和區(qū)分了學(xué)習(xí)行為的不同模式，提出了能夠預(yù)測(cè)不同水平學(xué)習(xí)成果的假說(shuō)。其中，互動(dòng)性行為可以最大程度促進(jìn)學(xué)習(xí)；其次，是建設(shè)性行為、主動(dòng)行為和被動(dòng)行為。ICAP框架能夠指導(dǎo)設(shè)計(jì)更利于投入的課程內(nèi)容與學(xué)習(xí)活動(dòng)，并被大量實(shí)證研究所支持。

從“情境交互”的更廣義范疇，Anderson提出了分析學(xué)習(xí)投入的連續(xù)頻譜[19]。該頻譜考慮極短時(shí)間內(nèi)發(fā)生的學(xué)習(xí)行為，包括較低頻段中的生物與認(rèn)知頻譜，以及影響人類(lèi)行為的更大的理性與社交頻譜?；谠摲治鲱l譜，學(xué)習(xí)投入可以從生物數(shù)據(jù) （百微秒）、認(rèn)知數(shù)據(jù)（數(shù)秒）、理性思考數(shù)據(jù)（數(shù)十秒至數(shù)分鐘）以及社會(huì)交流數(shù)據(jù)（數(shù)小時(shí)至數(shù)月）等方面進(jìn)行分析，通過(guò)多維數(shù)據(jù)的基本融合、特征級(jí)融合與決策級(jí)融合，可以全面地表征學(xué)習(xí)投入水平，從而為多模態(tài)學(xué)習(xí)投入建模，提供了理論支撐。

三、多模態(tài)數(shù)據(jù)的建模

經(jīng)典學(xué)習(xí)分析，多關(guān)注e-learning環(huán)境中學(xué)習(xí)者的過(guò)程性學(xué)習(xí)行為與表現(xiàn)，在各類(lèi)在線學(xué)習(xí)分析系統(tǒng)或模型中，均能得到較好的解釋與驗(yàn)證。很多學(xué)習(xí)平臺(tái)在初期可能未考慮為分析而建設(shè)，但也傾向于采集過(guò)程性行為數(shù)據(jù)。通常以學(xué)習(xí)者的可視化交互情況、豐富的行為記錄以及成熟的算法，使其成為學(xué)習(xí)分析理想的實(shí)踐領(lǐng)域。相比之下，在非數(shù)字化環(huán)境中的學(xué)習(xí)者動(dòng)作難以被記錄，即便在e-learning環(huán)境中，經(jīng)典學(xué)習(xí)分析也鮮有考慮學(xué)生發(fā)生困惑的面部與肢體等信息。這種對(duì)在線環(huán)境研究的偏愛(ài)，很可能導(dǎo)致“路燈效應(yīng)”（Streetlight Effect），即學(xué)習(xí)分析的研究者專(zhuān)注于尋找易于建模的方案，而回避涉及“真實(shí)場(chǎng)景”中的問(wèn)題。過(guò)度依賴(lài)在線學(xué)習(xí)環(huán)境的模型來(lái)理解與優(yōu)化學(xué)習(xí)過(guò)程，是早期學(xué)習(xí)分析應(yīng)用的弊端。因此，學(xué)習(xí)分析領(lǐng)域應(yīng)專(zhuān)注于如何從現(xiàn)實(shí)世界自動(dòng)收集各種細(xì)粒度的學(xué)習(xí)痕跡，并納入新的數(shù)據(jù)來(lái)源，從不同學(xué)習(xí)源融合分析作為多模態(tài)數(shù)據(jù)建模的主要目標(biāo)。

多模態(tài)數(shù)據(jù)的建?？梢宰匪葜辽鲜兰o(jì)90年代，Ambady等基于視頻“切片”，來(lái)量化學(xué)習(xí)者肢體與非語(yǔ)言行為，以預(yù)測(cè)期末成績(jī)的研究[20]，這類(lèi)早期發(fā)現(xiàn)，為多模態(tài)研究范式鋪平了道路。從社會(huì)學(xué)的視角，人類(lèi)交流的形式本身是互補(bǔ)的，學(xué)習(xí)者也通過(guò)多種形式來(lái)表達(dá)意圖與情感。因此，多模態(tài)方法更符合人類(lèi)交流的本質(zhì)，“多模態(tài)”即隱喻不同形式的信號(hào)如何相互作用與互補(bǔ)，以使傳達(dá)的意義“致密化”。

學(xué)習(xí)是一個(gè)復(fù)雜而多維的過(guò)程[21]，學(xué)習(xí)投入的評(píng)測(cè)也已由傳統(tǒng)的問(wèn)卷測(cè)量，轉(zhuǎn)向交互行為數(shù)據(jù)以及多種模態(tài)數(shù)據(jù)的綜合應(yīng)用，從而契合學(xué)習(xí)投入的動(dòng)態(tài)、多維、境脈特征。與之對(duì)應(yīng)，智能技術(shù)的成熟，也必將有助于研發(fā)易用、適用的學(xué)習(xí)自診斷系統(tǒng)[22]。借鑒Nigay等對(duì)多模態(tài)的界定，“多”指的是 “多樣化”，意味著廣泛獲取的數(shù)據(jù)源；“模態(tài)”代表“形態(tài)”與“模式”。其中“形態(tài)”是用于傳達(dá)和獲取定義數(shù)據(jù)交換的信道類(lèi)型；“模式”是指信息的上下文的狀態(tài)[23]。學(xué)習(xí)投入的多模態(tài)數(shù)據(jù)，包括學(xué)習(xí)行為（序列）、肢體動(dòng)作、面部表情、眼動(dòng)、腦電、事件相關(guān)電位、皮膚電反應(yīng)、心電、紅外光譜等[24]。學(xué)習(xí)投入的多模態(tài)建模，試圖將不同的學(xué)習(xí)痕跡源納入學(xué)習(xí)投入的表征與評(píng)價(jià)中，形成學(xué)習(xí)分析的子領(lǐng)域。若可以從不同的模態(tài)中提取學(xué)習(xí)痕跡，則可以使用學(xué)習(xí)分析工具提供連續(xù)的實(shí)時(shí)反饋循環(huán)，以?xún)?yōu)化學(xué)習(xí)過(guò)程。

多模態(tài)數(shù)據(jù)支持的學(xué)習(xí)投入研究正在成為教育技術(shù)，尤其是學(xué)習(xí)分析領(lǐng)域的研究熱點(diǎn)。其興起不僅是源于技術(shù)的發(fā)展或物聯(lián)網(wǎng)等的應(yīng)用，更是基于人類(lèi)對(duì)真實(shí)環(huán)境交互連接的需求，藉此來(lái)探索協(xié)作學(xué)習(xí)和集體意識(shí)形成[25]。對(duì)于學(xué)習(xí)分析領(lǐng)域同樣如此，多模態(tài)數(shù)據(jù)中的生物指標(biāo)，對(duì)認(rèn)知負(fù)荷、學(xué)習(xí)情感、心理狀態(tài)等非常敏感，適用于評(píng)估引起學(xué)習(xí)者認(rèn)知、情感狀態(tài)發(fā)生變化的外在因素與交互事件，具備精準(zhǔn)性、動(dòng)態(tài)性、客觀性等優(yōu)勢(shì)，從而可通過(guò)刻畫(huà)更為全面的學(xué)習(xí)圖景，幫助我們洞察學(xué)習(xí)過(guò)程。在分析不完整的數(shù)據(jù)集時(shí)，多模態(tài)數(shù)據(jù)的信息補(bǔ)償有利于對(duì)數(shù)據(jù)集整體意義的還原[26]。此外，跨越多個(gè)時(shí)間尺度的分析，則有可能會(huì)改善相應(yīng)事件的建模精度。

四、基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)投入評(píng)測(cè)

學(xué)習(xí)投入的多模態(tài)數(shù)據(jù)建模源于技術(shù)發(fā)展。其中，模態(tài)傳感可用于收集微觀行為事件的高頻和細(xì)粒度特征，或者采集學(xué)習(xí)者交互行為中的情景特征；物聯(lián)網(wǎng)方法可以在傳感器與學(xué)習(xí)者、環(huán)境之間建立連接。從數(shù)據(jù)源的獲取方式對(duì)學(xué)習(xí)投入建模研究，進(jìn)行分類(lèi)，符合多模態(tài)建模的應(yīng)有之意。本文采納了多模態(tài)的廣義界定，將多種學(xué)習(xí)行為特征的組合研究，以及模態(tài)傳感器建模亦納入研究范疇。根據(jù)模態(tài)傳感器的有無(wú)及種類(lèi)，將其分為交互情景中的行為分析、單模態(tài)傳感器與多模態(tài)傳感器三個(gè)方面。表1梳理了三類(lèi)典型案例在建模場(chǎng)景、數(shù)據(jù)源、精度等方面的結(jié)果。

表1 基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)投入建模典型案例

建模維度 研究者 建模場(chǎng)景 數(shù)據(jù)源 標(biāo)注方式 算 法 建模結(jié)果Sinha等（2014）MOOC平臺(tái)點(diǎn) 擊 （播放、暫停、前后搜索、上下滾動(dòng)等）與論壇交互數(shù)據(jù)無(wú) LibSVM平均AUC分別為0.692與0.623無(wú)交互行為Coffrin等（2014）MOOC平臺(tái)顯示頻率計(jì)數(shù)、學(xué)生活動(dòng)時(shí)間的折線圖和條形圖、社交網(wǎng)絡(luò)圖、溝通活動(dòng)的Q-Q圖、論壇和學(xué)生學(xué)習(xí)日志狀態(tài)轉(zhuǎn)移圖、視頻瀏覽與作業(yè)提交轉(zhuǎn)移圖準(zhǔn)確率51.5%至52.7%Motz等（2019）MOOC平臺(tái)19個(gè)日志行為變量 無(wú)聚類(lèi)、回歸、馬爾科夫模型準(zhǔn)確率42.9%至48.6%Gobert等（2015）Inq-ITS虛擬實(shí)驗(yàn)環(huán)境日志文件（動(dòng)作總數(shù)、動(dòng)作間隔時(shí)間、最長(zhǎng)暫停時(shí)間等）無(wú)決策樹(shù)等11種分類(lèi)算法平均AUC為0.81 Natasha等（2014）MetaTu tor智能教學(xué)系統(tǒng)眼動(dòng)數(shù)據(jù) 自動(dòng)隨機(jī)森林、樸素貝葉斯、邏輯回歸和SVM最佳準(zhǔn)確率66.17%單模態(tài)傳感器Bixler等（2016）計(jì)算機(jī)閱讀 眼動(dòng)數(shù)據(jù) 在線自我報(bào)告貝葉斯 PR值為0.70 Whitehill等（2014）認(rèn)知技能培訓(xùn) 面部視頻 專(zhuān)業(yè)人員編碼Gabor濾波器與SVM、Boost、MLR在2AFC量度實(shí)現(xiàn)0.73的準(zhǔn)確率Raca等（2014）課堂環(huán)境面部視頻（包含眼動(dòng)特征）在線自我報(bào)告Lucas Kanade光流法PR值為0.58 Arroyo等（2009）智能導(dǎo)師系統(tǒng)面部表情、頭部動(dòng)作、姿勢(shì)傾斜、運(yùn)動(dòng)變化、鼠標(biāo)傳感器的壓力在線自我報(bào)告線性回歸 準(zhǔn)確率47%Bosch等（2015）教育物理游戲日志文件（難度、行為、反饋和響應(yīng)時(shí)間等）、面部視頻專(zhuān)業(yè)人員編碼基于面部模型和交互模型建立回歸模型平均AUC為 0.5，非任務(wù)行為AUC為0.816 Bosch等（2016）教育物理游戲日志文件、面部視頻SVM、C4.5等14種算法平均AUC為0.69多模態(tài)傳感器人工、BRO MP協(xié)議、FACET Yun等（2018）兒童交互式閱讀面部視頻 專(zhuān)業(yè)人員編碼卷積神經(jīng)網(wǎng)絡(luò) 準(zhǔn)確率91%Ashwin等（2018）信息技術(shù)課堂面部視頻、上半身肢體動(dòng)作專(zhuān)業(yè)人員編碼卷積神經(jīng)網(wǎng)絡(luò)平均AUC分別為0.89與0.86 Cohn等（2015）圓桌交談場(chǎng)景日志、網(wǎng)絡(luò)攝像機(jī)視頻、皮膚電導(dǎo)和Kinect視頻手動(dòng)注釋與CERT貝葉斯信息準(zhǔn)則、逐步線性回歸平均類(lèi)內(nèi)相關(guān)為0.89、馬修斯相關(guān)系數(shù)為0.61 Bandara等（2016）俄羅斯方塊心電、皮膚電、腦電在線自我報(bào)告貝葉斯分類(lèi)器、回歸樹(shù)、K近鄰最高準(zhǔn)確率93.93%曹曉明等（2019）MOOC平臺(tái)面部表情與腦電專(zhuān)業(yè)人員編碼融合策略的深度學(xué)習(xí)算法準(zhǔn)確率87%

（一）交互情景中的行為分析

測(cè)量投入度的常用方法，是對(duì)學(xué)習(xí)行為進(jìn)行建模。該方法基于技術(shù)環(huán)境中學(xué)習(xí)者交互產(chǎn)生的系統(tǒng)日志文件，來(lái)識(shí)別學(xué)習(xí)行為。在技術(shù)與教育深度耦合的情境中，學(xué)習(xí)系統(tǒng)會(huì)產(chǎn)生豐富的日志數(shù)據(jù)，其涵蓋了學(xué)習(xí)者的點(diǎn)擊行為、交互行為、響應(yīng)反饋等。學(xué)習(xí)投入的建模，會(huì)因?yàn)橛涗浫罩镜牧６纫约皩?duì)學(xué)習(xí)投入的界定不同而產(chǎn)生差異。

1．智能導(dǎo)學(xué)系統(tǒng)

智能導(dǎo)學(xué)系統(tǒng)在模擬教師教學(xué)的基礎(chǔ)上，采用自然語(yǔ)言與學(xué)生對(duì)話(huà)，引導(dǎo)學(xué)生構(gòu)建理想答案，使用提示引導(dǎo)學(xué)生的反應(yīng)。其多維度、豐富的交互行為，可以作為學(xué)習(xí)投入建模的有效變量。D’Mello等較早闡釋了基于行為分析的情感投入測(cè)量。學(xué)習(xí)者使用Auto Tutor導(dǎo)學(xué)系統(tǒng)學(xué)習(xí)課程，研究者基于對(duì)離線視頻編碼，以識(shí)別無(wú)聊、走神、困惑、沮喪、愉悅和中性的瞬間事件，從日志文件中的瞬時(shí)信息、響應(yīng)信息、應(yīng)答質(zhì)量評(píng)估、與教師連接性等維度抽取特征變量，建立學(xué)習(xí)情感投入監(jiān)控模型[27]。類(lèi)似的，Pardos等基于BROMP觀測(cè)方法協(xié)議[28]，對(duì)使用ASSISTments導(dǎo)學(xué)系統(tǒng)的學(xué)習(xí)者情感狀態(tài)進(jìn)行標(biāo)注，提取日志文件的行為特征變量，來(lái)區(qū)分不同的情感狀態(tài)[29]。在此之后，Ocumpaugh等通過(guò)追加更為豐富的數(shù)據(jù)集，以提升該模型的泛化性，在對(duì)城市、郊區(qū)和農(nóng)村的獨(dú)立樣本進(jìn)行測(cè)試時(shí)，模型的平均精度提高了18%、16%與6%[30]。

2．在線學(xué)習(xí)平臺(tái)

低投入度、高輟學(xué)率一直是遠(yuǎn)程教育領(lǐng)域面臨的核心問(wèn)題[31]。以MOOC為代表的在線學(xué)習(xí)平臺(tái)的興起，使得海量學(xué)習(xí)行為數(shù)據(jù)易于采集與存儲(chǔ)，為學(xué)習(xí)投入的評(píng)測(cè)提供了重要的數(shù)據(jù)支撐。Sinha等基于MOOC平臺(tái)細(xì)粒度的視頻交互行為，包括點(diǎn)擊 （播放、暫停、前后搜索、上下滾動(dòng)、速率增減等）與論壇交互數(shù)據(jù)，利用時(shí)間戳排序形成N-gram行為序列，進(jìn)而探索導(dǎo)致或誘發(fā)學(xué)生輟學(xué)的活動(dòng)結(jié)構(gòu)。據(jù)此構(gòu)建社會(huì)網(wǎng)模型和行為序列模型，可用于比較兩種模型預(yù)測(cè)輟學(xué)的可能性[32]。研究發(fā)現(xiàn)，社會(huì)網(wǎng)模型的識(shí)別精度（0.692）優(yōu)于行為序列模型（0.623），學(xué)習(xí)者一周內(nèi)的交互活動(dòng)，比持續(xù)數(shù)周內(nèi)交互活動(dòng)的預(yù)測(cè)輟學(xué)效能更精確。

在粗糙粒度下，相關(guān)研究利用學(xué)習(xí)環(huán)境中行為數(shù)據(jù)的加權(quán)指標(biāo)進(jìn)行分析，以衡量或比較學(xué)習(xí)投入的水平。Hernández等通過(guò)對(duì)教學(xué)序列的差異性來(lái)分析學(xué)習(xí)投入度[33]。Coffrin等對(duì)學(xué)習(xí)者特殊時(shí)段觀看視頻的情況、參與評(píng)估情況以及開(kāi)始兩周的成績(jī)趨勢(shì)，來(lái)衡量學(xué)習(xí)投入水平[34]。Motz等利用跨校區(qū)的大規(guī)模數(shù)據(jù)集，驗(yàn)證了活動(dòng)日志評(píng)估學(xué)習(xí)投入的有效性。研究抽取了19個(gè)行為變量，將學(xué)習(xí)者聚為6類(lèi)，對(duì)每類(lèi)群體進(jìn)行回歸建模[35]。研究發(fā)現(xiàn)，學(xué)生在LMS內(nèi)的互動(dòng)特征與教師對(duì)學(xué)生投入水平的主觀評(píng)價(jià)之間，存在正相關(guān)關(guān)系，“投入”行為在課程之間存在差異性，在特定群體中模型判定優(yōu)于教師的主觀判斷。

3．虛擬實(shí)驗(yàn)環(huán)境

虛擬實(shí)驗(yàn)環(huán)境中的學(xué)習(xí)者具有高自主權(quán)，學(xué)生通過(guò)提出科學(xué)現(xiàn)象的假設(shè)，模擬實(shí)驗(yàn)收集、分析數(shù)據(jù)來(lái)佐證假設(shè)，該類(lèi)環(huán)境通常被用來(lái)識(shí)別更為細(xì)粒度的投入指標(biāo)。Gobert等開(kāi)發(fā)了Inq-ITS“微觀世界”虛擬實(shí)驗(yàn)環(huán)境[36]，將與學(xué)習(xí)任務(wù)相關(guān)但與設(shè)計(jì)目標(biāo)或激勵(lì)無(wú)關(guān)的行為，定義為“非生產(chǎn)行為”（DTG）。該研究利用日志文件的片段對(duì)其進(jìn)行編碼，根據(jù)動(dòng)作總數(shù)、動(dòng)作間隔時(shí)間、最長(zhǎng)暫停時(shí)間和模擬運(yùn)行次數(shù)等，建立機(jī)器學(xué)習(xí)模型。研究發(fā)現(xiàn)，在區(qū)分DTG與其他學(xué)習(xí)行為時(shí)，采用最小生成樹(shù)建模精度的平均值，達(dá)到了較高的水平。該研究對(duì)于深化學(xué)習(xí)投入的理解、開(kāi)發(fā)有效的干預(yù)策略，具有顯著意義。

（二）單模態(tài)傳感器

利用攝像頭、麥克風(fēng)、眼動(dòng)設(shè)備、心率傳感器、姿態(tài)記錄儀等模態(tài)傳感器，可以脫離“在線”學(xué)習(xí)場(chǎng)景，對(duì)學(xué)習(xí)過(guò)程中的生物數(shù)據(jù)進(jìn)行采集。在現(xiàn)階段，學(xué)習(xí)投入評(píng)測(cè)多使用相對(duì)成熟的攝像頭識(shí)別情感狀態(tài)，或利用眼動(dòng)數(shù)據(jù)挖掘與認(rèn)知投入相關(guān)的指標(biāo)，部分研究還結(jié)合日志文件進(jìn)行投入的測(cè)量。

1．眼動(dòng)指標(biāo)

眼動(dòng)數(shù)據(jù)能夠量化認(rèn)知過(guò)程與注意力分配狀態(tài)，從而深化對(duì)認(rèn)知規(guī)律的理解，這已成為教育技術(shù)領(lǐng)域進(jìn)行學(xué)習(xí)評(píng)價(jià)的新范式[37]。Natasha等聚合學(xué)習(xí)者眼動(dòng)數(shù)據(jù)特征，包括注視次數(shù)與時(shí)間數(shù)據(jù)，以及眼跳長(zhǎng)度、連續(xù)眼跳角度等指標(biāo)，分析給定興趣區(qū)（AOI）上的注視持續(xù)時(shí)間、注視所占比例以及每對(duì)興趣區(qū)之間注視轉(zhuǎn)移的數(shù)量和比例[38]。研究聚焦于無(wú)聊和好奇的情緒分類(lèi)，利用隨機(jī)森林、樸素貝葉斯、邏輯回歸和支持向量機(jī)進(jìn)行數(shù)據(jù)建模。結(jié)果表明，邏輯回歸呈現(xiàn)出最佳的效能。研究還發(fā)現(xiàn)，不同情緒的學(xué)生會(huì)呈現(xiàn)出明顯的眼動(dòng)數(shù)據(jù)特征。例如，學(xué)習(xí)內(nèi)容固定長(zhǎng)度增加與學(xué)習(xí)內(nèi)容之間的轉(zhuǎn)移增加，可以有效預(yù)測(cè)好奇心。

根據(jù)腦科學(xué)加工機(jī)制，眼動(dòng)指標(biāo)屬于淺層認(rèn)知加工，會(huì)出現(xiàn)心智游移（Mind Wandering）。作為認(rèn)知投入的重要指標(biāo)，心智游移是注意力從學(xué)習(xí)任務(wù)轉(zhuǎn)移到與任務(wù)無(wú)關(guān)想法時(shí)的狀態(tài)反映[39]，是一種復(fù)雜、內(nèi)隱的認(rèn)知狀態(tài)。如，Bixler等通過(guò)眼動(dòng)凝視分析學(xué)習(xí)者計(jì)算機(jī)閱讀時(shí)的心智游移[40]：研究者設(shè)計(jì)了不同難度的文本，文本劃分為若干個(gè)探測(cè)頁(yè)面，學(xué)習(xí)者在觸發(fā)頁(yè)面探針時(shí)做出反應(yīng)，以提取不同時(shí)間間隔的眼動(dòng)特征。凝視特征包括全局與局部?jī)蓚€(gè)層次：前者集中在一般眼睛注視模式上，包括注視次數(shù)、注視持續(xù)時(shí)間、注視持續(xù)時(shí)間的變化性以及掃視長(zhǎng)度；后者是某類(lèi)型的注視長(zhǎng)度，包括對(duì)單詞的第一次注視與回視等。凝視特征是與情境相關(guān)的特征，包括正在閱讀的當(dāng)前頁(yè)面、閱讀時(shí)間和文本難度等。由此，可建立涵蓋全局凝視特征、局部凝視特征以及情境特征的機(jī)器學(xué)習(xí)模型。研究發(fā)現(xiàn)，在控制先驗(yàn)知識(shí)的前提下，該模型的預(yù)測(cè)效能超過(guò)學(xué)生的自我報(bào)告測(cè)量。該研究團(tuán)隊(duì)[41]在后續(xù)使用模型的變體時(shí)，對(duì)學(xué)習(xí)者心智游移進(jìn)行再評(píng)估，模型預(yù)測(cè)的心智游移率與階段性問(wèn)題表現(xiàn)的相關(guān)系數(shù)，再次證明了客觀測(cè)量方法的有效性。

2．面部特征

面部識(shí)別技術(shù)可以從靜態(tài)圖像或動(dòng)態(tài)視頻序列中分離出特定的表情狀態(tài)，從而確定學(xué)習(xí)者的情感投入水平。Whitehill等利用攝像頭錄制移動(dòng)學(xué)習(xí)環(huán)境中的面部視頻，對(duì)學(xué)習(xí)投入水平進(jìn)行人工標(biāo)注，發(fā)現(xiàn)學(xué)習(xí)投入的二值性判斷（是與否）標(biāo)注可靠性較高[42]。該研究對(duì)視頻進(jìn)行標(biāo)簽化處理與人臉配準(zhǔn)，提取視頻面部特征，利用Gabor濾波器與支持向量機(jī)（SVM），對(duì)面部細(xì)節(jié)進(jìn)行記錄。使用自主設(shè)計(jì)的表情識(shí)別工具箱（CERT），對(duì)面部肌肉動(dòng)作進(jìn)行編碼，訓(xùn)練模型精度以及模型估計(jì)值與評(píng)估成績(jī)之間的相關(guān)性，表明了系統(tǒng)的預(yù)測(cè)效度。

與其他研究方法不同，Raca等依據(jù)雙眼追蹤理論建立學(xué)習(xí)投入模型[43]。雙眼追蹤理論認(rèn)為，學(xué)習(xí)協(xié)作質(zhì)量與理解程度可以通過(guò)分析學(xué)習(xí)者凝視模式的一致性來(lái)評(píng)估[44]。該研究利用空間金字塔Lucas Kanade光流法[45]，建立凝視模型，以此評(píng)判學(xué)習(xí)投入水平。同時(shí)，整合了面部識(shí)別與眼動(dòng)研究范式，不僅提供了關(guān)于學(xué)習(xí)者的實(shí)時(shí)信息，還提供了學(xué)習(xí)者注意力水平隨時(shí)間的綜合測(cè)量方式，從而建立了評(píng)測(cè)學(xué)習(xí)過(guò)程的新方法。

（三）多模態(tài)傳感器

對(duì)于單模態(tài)數(shù)據(jù)無(wú)法充分診斷的情景，可以根據(jù)其它數(shù)據(jù)源以及上下文信息的數(shù)據(jù)融合，提升建模精度，從而獲得對(duì)學(xué)習(xí)過(guò)程更為清晰的圖景。Arroyo等較早進(jìn)行了計(jì)算機(jī)教室環(huán)境中的多模態(tài)建模研究。學(xué)習(xí)者使用智能輔導(dǎo)系統(tǒng)進(jìn)行數(shù)學(xué)課程學(xué)習(xí)，對(duì)學(xué)習(xí)興趣、自信、興奮和沮喪程度進(jìn)行自我評(píng)估[46]。研究提取了面部表情、頭部動(dòng)作、姿勢(shì)傾斜、運(yùn)動(dòng)變化、生理喚醒量以及鼠標(biāo)傳感器上的壓力等特征，結(jié)合日志文件建立多元線性回歸模型預(yù)測(cè)模型。

視頻采集過(guò)程中面部特征度量通常是有限的，由于遮擋、光線、對(duì)焦等因素，在很多情境下無(wú)法進(jìn)行視頻測(cè)量。為了解決這個(gè)問(wèn)題，Bosch等結(jié)合日志文件中的數(shù)據(jù)（難度、行為、反饋和響應(yīng)時(shí)間等）以及面部模型，建立回歸模型，驗(yàn)證了多種環(huán)境下模型的有效性[47]?？紤]到真實(shí)教學(xué)場(chǎng)景的復(fù)雜性，該研究尤其具備推廣價(jià)值。該團(tuán)隊(duì)后續(xù)基于物理教育游戲的互動(dòng)數(shù)據(jù)、學(xué)生臉部和上半身視頻，進(jìn)行綜合建模[48]。使用BROMP觀測(cè)方法協(xié)議對(duì)學(xué)習(xí)者無(wú)聊、集中、困惑、沮喪等狀態(tài)實(shí)時(shí)注釋?zhuān)焕肍ACET工具[49]，評(píng)估面部動(dòng)作單元、頭部姿勢(shì)；基于濾波算法，從視頻中分析身體運(yùn)動(dòng)狀態(tài)。研究表明，該模型在跨時(shí)間、班級(jí)、性別方面均具備穩(wěn)定性。

近年來(lái)，深度學(xué)習(xí)技術(shù)被廣泛應(yīng)用于多模態(tài)數(shù)據(jù)的建模中，拓展了學(xué)習(xí)分析的應(yīng)用場(chǎng)景并提升了數(shù)據(jù)精度。Yun等利用網(wǎng)絡(luò)攝像頭和Kinect體感設(shè)備，記錄人體運(yùn)動(dòng)的骨骼特征，利用卷積神經(jīng)網(wǎng)路（CNN）算法，提取與學(xué)習(xí)者面部相關(guān)的特征，建立深度學(xué)習(xí)模型，驗(yàn)證了該算法在學(xué)習(xí)投入建模上的精度與穩(wěn)健性[50]。Ashwin等建立了真實(shí)教學(xué)情境中基于深度學(xué)習(xí)的學(xué)習(xí)投入評(píng)測(cè)系統(tǒng)[51]。該研究通過(guò)網(wǎng)絡(luò)攝像機(jī)捕捉視頻信息，基于YOLO目標(biāo)檢測(cè)對(duì)視頻進(jìn)行坐標(biāo)定位，并進(jìn)行逐幀裁剪與注釋?zhuān)镁矸e神經(jīng)網(wǎng)絡(luò)算法，將學(xué)生劃分為非常投入至非常不投入4個(gè)層級(jí)，據(jù)此建立數(shù)據(jù)模型。教學(xué)實(shí)驗(yàn)表明，該模型的平均分類(lèi)精度與AUC評(píng)價(jià)指標(biāo)分別為0.89與0.86，高于其他評(píng)測(cè)模型。學(xué)習(xí)成績(jī)與機(jī)器學(xué)習(xí)建模結(jié)果的皮爾遜相關(guān)檢驗(yàn)，也驗(yàn)證該模型的準(zhǔn)確性。由于該評(píng)測(cè)系統(tǒng)幾乎不具備入侵性，設(shè)備需求低，因此，在真實(shí)的課堂中更具應(yīng)用前景。

相對(duì)于面部表情、頭部動(dòng)作、姿態(tài)等建模的研究，基于心電、皮膚電、腦電建模的研究相對(duì)稀少。生物電數(shù)據(jù)可以反映學(xué)習(xí)者的認(rèn)知能力與情緒喚醒水平[52]，能更加精準(zhǔn)地描述學(xué)習(xí)者的學(xué)習(xí)投入狀態(tài)。Cohn等建立了包含學(xué)習(xí)過(guò)程的數(shù)據(jù)庫(kù)日志、網(wǎng)絡(luò)攝像機(jī)視頻、皮膚電導(dǎo)和Kinect視頻的學(xué)習(xí)投入評(píng)測(cè)系統(tǒng)[53]。該研究利用手動(dòng)注釋與計(jì)算機(jī)表情識(shí)別工具箱（CERT），對(duì)精細(xì)面部動(dòng)作（由眉毛高低、眼瞼收緊和嘴角凹陷等）進(jìn)行標(biāo)注，構(gòu)建邏輯回歸模型，驗(yàn)證了利用CERT進(jìn)行面部識(shí)別的準(zhǔn)確性與精度?；谏鲜鎏卣?，研究者使用貝葉斯信息準(zhǔn)則（BIC），建立包含學(xué)習(xí)持久性、時(shí)間需求、沮喪特征的投入預(yù)測(cè)模型。結(jié)果表明，特定的面部運(yùn)動(dòng)可以預(yù)測(cè)投入、困惑和學(xué)習(xí)效果。例如，眉毛下垂與困惑有關(guān)；嘴部凹陷能預(yù)測(cè)學(xué)生學(xué)習(xí)任務(wù)的成功表現(xiàn)。Bandara等將學(xué)習(xí)者心電數(shù)據(jù)與情感投入之間的關(guān)系，拓展到人機(jī)交互領(lǐng)域，以記錄學(xué)習(xí)者在完成不同難度多媒體學(xué)習(xí)材料中的心電（ECG）、皮膚電（EDA）以及被近紅外光譜（fNIRS）數(shù)據(jù)[54]。研究表明，樸素貝葉斯分類(lèi)器在組合三類(lèi)生物數(shù)據(jù)時(shí)，準(zhǔn)確度更高。曹曉明等基于MOOC中學(xué)習(xí)者的面部表情與腦電數(shù)據(jù)進(jìn)行多模態(tài)建模，基于后期融合策略與卷積神經(jīng)網(wǎng)絡(luò)，構(gòu)建多模態(tài)融合深度學(xué)習(xí)模型[55]。研究表明，多模態(tài)融合模型比單模態(tài)具有識(shí)別精度的優(yōu)勢(shì)，再次驗(yàn)證了綜合使用生物電數(shù)據(jù)，表征學(xué)習(xí)投入的可能性以及建立生物數(shù)據(jù)集的必要性。

五、分析與討論

教育技術(shù)不僅要重視理論體系建構(gòu)，更應(yīng)側(cè)重于探索可操作的模式與適合落地的工具。對(duì)于學(xué)習(xí)投入而言，如果沒(méi)有合適的指標(biāo)結(jié)構(gòu)以及行之有效的數(shù)據(jù)采集與建模方法，這種理想的綜合評(píng)價(jià)方式就會(huì)成為空中樓閣。相比投入理論的探索，對(duì)學(xué)習(xí)投入的評(píng)測(cè)研究卻一直處于滯后狀態(tài)，其關(guān)鍵原因不僅在于理論體系本身，更在于數(shù)據(jù)獲取的及時(shí)性、豐富性與便捷性等問(wèn)題遲遲未尋找到有效的解決方案。在學(xué)習(xí)投入理論體系尚未完全建立、數(shù)據(jù)可獲取性還未完全解決的條件下，有必要通過(guò)循環(huán)迭代的方式來(lái)展開(kāi)研究。一方面，無(wú)論是衡量學(xué)科投入還是課堂學(xué)習(xí)投入程度，首先面臨的是投入的界定問(wèn)題。研究者必須確定學(xué)習(xí)投入的研究邊界與分析粒度，提煉有針對(duì)性的理論模型與指標(biāo)框架；另一方面，應(yīng)結(jié)合現(xiàn)有的數(shù)據(jù)，從測(cè)量建模流程、核心技術(shù)與未來(lái)發(fā)展等視角審視問(wèn)題。只有從教育學(xué)規(guī)律、腦科學(xué)神經(jīng)機(jī)制和數(shù)據(jù)的聚合三個(gè)維度相向而行，才能確保形成具有科學(xué)性與可操作性的解決方案。

（一）多模態(tài)數(shù)據(jù)建模的價(jià)值

盡管學(xué)習(xí)理論經(jīng)歷了由“行為主義”“建構(gòu)主義”到“聯(lián)通學(xué)習(xí)觀”的更迭，但“最優(yōu)”的教育方式依然存在爭(zhēng)論。除了教育方式適用性的問(wèn)題，數(shù)十年來(lái)的心理測(cè)量學(xué)和標(biāo)準(zhǔn)化測(cè)試研究表明，“直接指導(dǎo)”方法更易于測(cè)試和量化，而建構(gòu)主義教學(xué)策略更多依賴(lài)于不確定性的干預(yù)與相對(duì)復(fù)雜的研究方法?！懊鞔_定義內(nèi)容的直接教學(xué)”與“以學(xué)生為中心探索不明確領(lǐng)域”之爭(zhēng)的背后，映射出教育領(lǐng)域?qū)W(xué)習(xí)測(cè)量與干預(yù)研究的滯后性。

在教育智能化時(shí)代，學(xué)習(xí)者在開(kāi)放的學(xué)習(xí)環(huán)境中與同伴開(kāi)展互動(dòng)，“人機(jī)協(xié)同”以創(chuàng)建解決問(wèn)題的獨(dú)特方案，其過(guò)程性學(xué)習(xí)的評(píng)估與反饋顯得尤其困難。多模態(tài)數(shù)據(jù)建模的“全景”與“精細(xì)”數(shù)據(jù)收集和分析，有助于形成新的研究范式，揭示特定學(xué)習(xí)活動(dòng)中學(xué)習(xí)者的軌跡，并對(duì)復(fù)雜的認(rèn)知能力進(jìn)行更全面的評(píng)估，有助于彌合“評(píng)價(jià)反饋”的不對(duì)稱(chēng)性，并幫助研究人員設(shè)計(jì)更好的干預(yù)策略與學(xué)習(xí)內(nèi)容。鑒于全球范圍內(nèi)對(duì)協(xié)作教室、項(xiàng)目式學(xué)習(xí)以及學(xué)生導(dǎo)向?qū)W習(xí)的需求日益增加，多模態(tài)數(shù)據(jù)建模范式的實(shí)踐，比以往任何時(shí)間都更顯必要。

（二）學(xué)習(xí)投入的分析粒度

傳統(tǒng)教育研究中的學(xué)習(xí)行為投入，多通過(guò)對(duì)學(xué)習(xí)、課堂以及任務(wù)過(guò)程的描述來(lái)闡釋?zhuān)灰灿袑W(xué)者從遵守規(guī)則、課堂配合程度以及積極行為的角度來(lái)闡釋。此外，時(shí)間、努力程度和參與性也是學(xué)習(xí)行為投入的重要因素。認(rèn)知投入研究的差異，可歸結(jié)為評(píng)估學(xué)習(xí)內(nèi)部過(guò)程的不同方法導(dǎo)致。直接評(píng)估要求學(xué)習(xí)者報(bào)告學(xué)習(xí)課程及參與活動(dòng)的過(guò)程；間接評(píng)估則利用可觀察的指標(biāo)或問(wèn)卷進(jìn)行測(cè)量。

對(duì)于情感投入，相對(duì)共識(shí)的界定是學(xué)習(xí)者對(duì)學(xué)科領(lǐng)域或?qū)W習(xí)過(guò)程中的情緒反應(yīng)。Pekrun等的情感分類(lèi)假設(shè)認(rèn)為，學(xué)習(xí)情感投入存在積極/消極、激活性/失活性的情感分類(lèi)[56]。其中，激活性情感與投入相關(guān)；失活性情感則會(huì)讓學(xué)生注意力不集中，不再關(guān)注材料或文本。積極情感在提高投入水平方面效果優(yōu)于消極情感[57]。與認(rèn)知投入相同，情感投入通常通過(guò)外部指標(biāo)來(lái)評(píng)估，這也導(dǎo)致了研究?jī)?nèi)涵與外延的泛化。

相對(duì)而言，教育技術(shù)領(lǐng)域的投入評(píng)測(cè)指標(biāo)相對(duì)明確。在學(xué)習(xí)投入方面，多采用交互度、流體驗(yàn)、脫離任務(wù)目標(biāo)、成功表現(xiàn)以及輟學(xué)率等指標(biāo)；在行為投入維度，多采用適應(yīng)性行為、持久性以及時(shí)間需求等指標(biāo)；在認(rèn)知投入維度，多采用凝視特征、認(rèn)知能力、認(rèn)知負(fù)荷以及心智游移等指標(biāo)；在情感投入維度，多采用積極與消極的情感狀態(tài)、興趣、好奇心以及情緒喚醒水平等指標(biāo)。總的來(lái)看，當(dāng)前的研究多聚焦在學(xué)習(xí)投入的單個(gè)組件，鮮有針對(duì)多個(gè)維度綜合的分析以及內(nèi)在相互作用的研究。

（三）多模態(tài)數(shù)據(jù)表征學(xué)習(xí)投入的實(shí)質(zhì)

在瞬時(shí)狀態(tài)下，多模態(tài)數(shù)據(jù)對(duì)學(xué)習(xí)投入不同粒度的狀態(tài)以二元形式（0或1）來(lái)表示。但在持續(xù)時(shí)間內(nèi)，如果研究者能夠明確投入維度，界定各維度的重合情況與邊界，并給出其計(jì)算模型，則各數(shù)據(jù)在時(shí)間維度的聚合，能夠構(gòu)建反映注意力被捕獲、保持興趣、消失時(shí)段以及何時(shí)重新出現(xiàn)等狀態(tài)，進(jìn)而能夠表征分析粒度數(shù)值。當(dāng)對(duì)多個(gè)組件進(jìn)行建模時(shí)，時(shí)間序列分析可以說(shuō)明，各個(gè)組件隨時(shí)間表現(xiàn)出的相互作用。例如，時(shí)間推移下興趣與心智游移的相關(guān)關(guān)系分析，兩者的滯后關(guān)系分析，這些關(guān)系如何隨時(shí)間展開(kāi)，以及它們?nèi)绾斡绊懶袨楹推渌睦頎顟B(tài)等。多模態(tài)數(shù)據(jù)建模既利用質(zhì)性方法進(jìn)行標(biāo)注，又具備精確的自動(dòng)化測(cè)量特征，其模型一旦建立起來(lái)，就很容易規(guī)?；茝V與應(yīng)用。此外，基于細(xì)粒度時(shí)間分辨率的機(jī)器學(xué)習(xí)建模，可以反映投入的動(dòng)態(tài)與跨場(chǎng)景特征，有可能突破單一數(shù)據(jù)源難以實(shí)現(xiàn)的邏輯整合問(wèn)題，對(duì)其的深度應(yīng)用，有利于推動(dòng)數(shù)據(jù)驅(qū)動(dòng)范式進(jìn)行教與學(xué)規(guī)律的研究。

（四）多模態(tài)數(shù)據(jù)的建模過(guò)程

基于上述分析，學(xué)習(xí)投入的多模態(tài)數(shù)據(jù)建模遵循“數(shù)據(jù)表征—數(shù)據(jù)轉(zhuǎn)換—數(shù)據(jù)融合—系統(tǒng)應(yīng)用”的研究思路，如圖1所示。即基于理論體系框架建立投入指標(biāo)，在學(xué)習(xí)者特定學(xué)習(xí)情境中采集數(shù)據(jù)信號(hào)，從原始信號(hào)計(jì)算特征，進(jìn)行特征提取。隨后從學(xué)生自我報(bào)告、外部觀察者或通過(guò)其他方法，獲得反映各種投入維度的人工注釋?zhuān)糜斜O(jiān)督機(jī)器學(xué)習(xí)方法，計(jì)算模型特征與同步注釋之間的關(guān)系。最后生成模型，計(jì)算投入度估值，并與人工提供的注釋比較，以驗(yàn)證其精確度。

圖1 學(xué)習(xí)投入的多模態(tài)數(shù)據(jù)建模流程

與手工標(biāo)注相比，自動(dòng)數(shù)據(jù)標(biāo)注已有了突破性的進(jìn)展，專(zhuān)業(yè)自動(dòng)化的標(biāo)注技術(shù)，大大提高了標(biāo)注的精度與效率。例如，計(jì)算機(jī)表情識(shí)別工具箱（CERT），由美國(guó)加利福尼亞大學(xué)圣地亞哥分校開(kāi)發(fā)，可以對(duì)來(lái)自面部動(dòng)作編碼系統(tǒng)的30個(gè)面部動(dòng)作單元，進(jìn)行檢測(cè)與標(biāo)注。FACET（CERT的商業(yè)版本）基于細(xì)粒面部特征或面部動(dòng)作單元，可以在視頻幀中檢測(cè)、定位和跟蹤面部特征，并使用基于支持向量機(jī)的分類(lèi)器，輸出一組面部表情的逐幀檢測(cè)概率。BROMP則是對(duì)學(xué)生行為和情感的定量田野觀察方法，其執(zhí)行程序運(yùn)行于移動(dòng)終端，以菜單形式提供情感或行為類(lèi)別的編碼，并自動(dòng)列出潛在的行為序列類(lèi)別。

在建模算法方面，常用監(jiān)督式學(xué)習(xí)算法被廣泛使用在學(xué)習(xí)投入建模中。近年來(lái)，研究者試圖利用深度學(xué)習(xí)建立更為復(fù)雜的神經(jīng)網(wǎng)絡(luò)，或處理存在少量未標(biāo)識(shí)數(shù)據(jù)的數(shù)據(jù)集。在算法的應(yīng)用場(chǎng)景方面，面部特征提取一般采用支持向量機(jī)與卷積神經(jīng)網(wǎng)絡(luò)；肢體動(dòng)作與姿勢(shì)多采用馬爾科夫模型；皮膚電數(shù)據(jù)多采用過(guò)濾分類(lèi)器與LAD Tree；肢體交互模式、心率、面部紋理的提取、眼球運(yùn)動(dòng)以及語(yǔ)境線索的分析，多采用動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)來(lái)完成。在模型有效性的判定方面，則綜合利用識(shí)別率PR值、AUC值以及準(zhǔn)確率進(jìn)行衡量。上述案例的PR值集中在0.58至0.70之間，AUC值集中在0.5至0.89之間，準(zhǔn)確率集中在42.9%至93.9%之間。其中，識(shí)別率為機(jī)器學(xué)習(xí)分類(lèi)結(jié)果與人類(lèi)提供的注釋相匹配情況的比例；AUC值是被試ROC曲線（工作特征曲線）與坐標(biāo)軸圍成的面積；準(zhǔn)確率是預(yù)測(cè)正確的結(jié)果占總樣本的比率。此外 ，Pardos 等[58]、Gobert 等[59]、Bosch[60]、Bixler 等[61]、Yun等[62]研究，還提供了評(píng)測(cè)模型對(duì)新樣本的預(yù)測(cè)效能，進(jìn)一步驗(yàn)證了模型的泛化性能。

（五）研究之局限

學(xué)習(xí)投入的評(píng)測(cè)涉及復(fù)雜心理結(jié)構(gòu)的推理以及多層次的模糊判斷問(wèn)題。學(xué)術(shù)界越來(lái)越認(rèn)識(shí)到，“具身特性”的認(rèn)知情感身心系統(tǒng)，并不是一個(gè)“剛性”映射的機(jī)器，而是具備一定的容差特性，可以對(duì)不同的輸入持續(xù)產(chǎn)生相同的輸出。這也進(jìn)一步表明，心理狀態(tài)與生理信號(hào)之間的關(guān)系還有待進(jìn)一步被解釋。雖然有大量的研究證明，從學(xué)習(xí)中的面部表情可以分離出相應(yīng)的一組離散情緒，但面部表情和情緒之間的關(guān)系似乎更加復(fù)雜[63]，各種生物信號(hào)之間也存在弱相關(guān)[64]，這無(wú)疑增加了理論框架設(shè)計(jì)的難度。此外，機(jī)器學(xué)習(xí)方法依賴(lài)于人類(lèi)提供的注釋標(biāo)注，但外部觀察者與自我報(bào)告之間的一致性卻非常低。雖然也有研究引入?yún)⒖伎蚣芤员ＷC觀察者之間的一致性，但并未增加學(xué)習(xí)者與觀察者之間的一致性[65]。

當(dāng)前，研究對(duì)噪聲的魯棒性未有足夠重視。在很多情況下，面部的遮擋與變形、照度的變化以及背景噪聲對(duì)建模的阻礙等，都未納入研究的范疇。對(duì)于課堂環(huán)境中的建模，噪聲數(shù)據(jù)更為常態(tài)，這直接導(dǎo)致了各類(lèi)評(píng)測(cè)系統(tǒng)，只能在“理想”環(huán)境中具備使用價(jià)值。因此，需要在建模前進(jìn)行約束與界定，而不是盲目的利用清洗提高數(shù)據(jù)精度。此外，盡管有一些研究通過(guò)對(duì)新樣本的準(zhǔn)實(shí)驗(yàn)研究以評(píng)估建模的泛化性，但只有極少數(shù)研究考慮到跨越時(shí)間和跨地域的泛化性能。

六、發(fā)展趨向

基于實(shí)踐導(dǎo)向，從原始多模態(tài)記錄中提取學(xué)習(xí)痕跡并非易事。計(jì)算機(jī)視覺(jué)、語(yǔ)音處理、骨架識(shí)別和其他計(jì)算機(jī)科學(xué)領(lǐng)域開(kāi)發(fā)的技術(shù)，必須以學(xué)習(xí)科學(xué)、教育研究和行為科學(xué)提供的理論作為指導(dǎo)。正如Tytler等[66]所指出的：需要一個(gè)更好的理論模型，來(lái)解釋學(xué)生的投入和“脫離”狀態(tài)。最近研究人員強(qiáng)調(diào)了在現(xiàn)有的教育研究和理論基礎(chǔ)上進(jìn)行計(jì)算分析的重要性。然而，在“在線”與“混合”學(xué)習(xí)環(huán)境研究中，理論性的投入文獻(xiàn)卻很少受到關(guān)注。未來(lái)應(yīng)重點(diǎn)關(guān)注在“互聯(lián)網(wǎng)+”環(huán)境中學(xué)習(xí)投入的概念與內(nèi)涵，了解學(xué)生投入度、衡量標(biāo)準(zhǔn)和中介因素，探索數(shù)據(jù)表征理論結(jié)構(gòu)的能力；同時(shí)，確保對(duì)這些結(jié)構(gòu)的測(cè)量是有效解釋學(xué)習(xí)過(guò)程和影響學(xué)習(xí)結(jié)果的因素。進(jìn)一步厘清學(xué)習(xí)投入與學(xué)習(xí)動(dòng)機(jī)、沉浸感之間的區(qū)別，從學(xué)習(xí)活動(dòng)的心理狀態(tài)和質(zhì)量的指標(biāo) （學(xué)習(xí)堅(jiān)持性、心理韌性、專(zhuān)注情況、學(xué)習(xí)熱情等），來(lái)表征學(xué)習(xí)投入。

其中，注意力機(jī)制的研究值得重視。在人工智能社區(qū)中，注意力機(jī)制已成為神經(jīng)架構(gòu)的重要組成部分，并在自然語(yǔ)言處理、統(tǒng)計(jì)學(xué)習(xí)、語(yǔ)音和計(jì)算機(jī)視覺(jué)中大量應(yīng)用。此外，可以通過(guò)定義和識(shí)別與脫離相關(guān)的行為，界定學(xué)習(xí)投入，明晰脫離行為與學(xué)習(xí)投入的關(guān)系，圍繞識(shí)別與脫離投入的相關(guān)指標(biāo)、模型與系統(tǒng)展開(kāi)探索，鼓勵(lì)開(kāi)發(fā)針對(duì)特定種類(lèi)的干預(yù)措施。

將“體態(tài)”納入多模態(tài)學(xué)習(xí)投入建模，是富有潛力的研究領(lǐng)域。先前有限的研究多集中于學(xué)習(xí)者頭部位置的分析，捕捉動(dòng)作最常見(jiàn)的解決方案是錄制主體視頻，其采集分辨率取決于使用視頻進(jìn)行的特征提取類(lèi)型，對(duì)于身體動(dòng)作的建模還比較稀少。自動(dòng)提取人體運(yùn)動(dòng)最常用的設(shè)備是Kinect，通過(guò)視頻和深度捕捉設(shè)備的混合，能夠?yàn)檠芯咳藛T提供每個(gè)捕獲幀的重建骨架。Kinect新版本也能夠提取手勢(shì)特征，各類(lèi)低成本2D與3D傳感器，可以實(shí)時(shí)提供骨架的空間位置。

未來(lái)應(yīng)加強(qiáng)兩個(gè)方面的研究：一是分析教師不同肢體形態(tài)對(duì)學(xué)習(xí)者的影響。例如，教師的指示手勢(shì)（敲擊強(qiáng)調(diào)某一問(wèn)題或用作停頓）、情意手勢(shì)（握拳或擺臂）、面對(duì)學(xué)生的身體靠近、傾聽(tīng)時(shí)的身體微斜等。二是分析不同階段學(xué)習(xí)者體態(tài)的層級(jí)作用，確定其與學(xué)習(xí)方式的關(guān)系。體態(tài)包括姿勢(shì)（Posture）、手勢(shì)（Gestures）和動(dòng)作（Motion），從具身認(rèn)知的視角看，這三類(lèi)運(yùn)動(dòng)模式是相互關(guān)聯(lián)的。學(xué)習(xí)者采用的姿勢(shì)一般與獲得的技能有關(guān)。手勢(shì)來(lái)自身體不同部位的協(xié)調(diào)運(yùn)動(dòng)，這種非言語(yǔ)形態(tài)的信號(hào)往往是有意識(shí)的，被用于在學(xué)習(xí)過(guò)程中提供短反饋循環(huán)（如，專(zhuān)注過(guò)程中的握拳）或強(qiáng)化某種信號(hào)特征（如，面對(duì)困難時(shí)的垂頭）。非動(dòng)作技能領(lǐng)域的動(dòng)作，很多是無(wú)意識(shí)身體運(yùn)動(dòng)的結(jié)果，在學(xué)習(xí)過(guò)程中揭示了學(xué)習(xí)者的內(nèi)在狀態(tài)。例如，學(xué)習(xí)者表現(xiàn)出緊張或懷疑的不穩(wěn)定動(dòng)作。

將激勵(lì)措施嵌入技術(shù)平臺(tái)以增加投入度[67]，促進(jìn)學(xué)習(xí)者愉快、高效、有效的學(xué)習(xí)，是學(xué)習(xí)投入的重要實(shí)踐領(lǐng)域。良好的學(xué)習(xí)體驗(yàn)，需要確定脫離產(chǎn)生的原因。脫離投入可能源于多種因素，應(yīng)聚焦對(duì)投入發(fā)生的機(jī)制與“彈性范圍”的經(jīng)驗(yàn)數(shù)據(jù)展開(kāi)探索。對(duì)脫離投入的學(xué)習(xí)者，需要超越無(wú)聊、興奮、倦怠等狀態(tài)的評(píng)測(cè)，應(yīng)重點(diǎn)評(píng)估導(dǎo)致每種狀態(tài)的先導(dǎo)性因素[68]，建立使學(xué)習(xí)者“重新投入”的干預(yù)措施，從而支撐新一代學(xué)習(xí)投入的理論體系構(gòu)建。

生理與身體信號(hào)反映了學(xué)習(xí)者身體內(nèi)部的快速變化，但這種反應(yīng)是非特異性的，且可能由社交面具（Social Mask）產(chǎn)生，并且不能以外部觀察來(lái)進(jìn)行。未來(lái)應(yīng)繼續(xù)聚焦于學(xué)習(xí)者生物屬性、心理特征與學(xué)習(xí)環(huán)境之間的關(guān)系的研究，從更高水平的身體、生理信號(hào)以及交互情境方面展開(kāi)探索。要充分借助腦科學(xué)、教育神經(jīng)科學(xué)的技術(shù)手段（例如，腦機(jī)接口以及紅外光譜技術(shù)），從“突觸—神經(jīng)元—神經(jīng)網(wǎng)絡(luò)—生物系統(tǒng)—學(xué)習(xí)行為”的邏輯，對(duì)學(xué)生投入提供因果解釋?zhuān)钊胩綄W(xué)習(xí)者的外部行為表現(xiàn)、認(rèn)知過(guò)程與內(nèi)部生理機(jī)制之間的相關(guān)關(guān)系。

生物數(shù)據(jù)庫(kù)的建設(shè)，是開(kāi)展深度學(xué)習(xí)技術(shù)建模學(xué)習(xí)投入的基礎(chǔ)。從生理學(xué)與模態(tài)數(shù)據(jù)的映射關(guān)系考量，眼睛凝視和中樞生理學(xué)適用于認(rèn)知投入表征；面部特征和外周生理學(xué)適用于情感投入表征；行為投入源于交互特征分析。目前，國(guó)際還鮮有上述開(kāi)放數(shù)據(jù)集，即便在研究相對(duì)集中的面部識(shí)別領(lǐng)域，也大多采用非學(xué)習(xí)場(chǎng)景的面部識(shí)別數(shù)據(jù)庫(kù)，并且存在跨文化或種族準(zhǔn)確率差異的弊端[69]。除了識(shí)別率的問(wèn)題，通用數(shù)據(jù)庫(kù)很難解決學(xué)習(xí)過(guò)程中學(xué)習(xí)者的瞬時(shí)、微表情等問(wèn)題。因此，建立開(kāi)放、共享、協(xié)同創(chuàng)作的本土學(xué)習(xí)者生物數(shù)據(jù)集，更具迫切性與現(xiàn)實(shí)意義。

七、結(jié)語(yǔ)

伴隨低成本可穿戴設(shè)備、無(wú)線傳感器、物聯(lián)網(wǎng)設(shè)備等的成熟，給學(xué)習(xí)投入的多模態(tài)評(píng)測(cè)帶來(lái)了新機(jī)遇。多模態(tài)數(shù)據(jù)建模的重要意義不僅歸咎于技術(shù)本身，更源于跨媒體智能的訴求。多模態(tài)數(shù)據(jù)建模通過(guò)“數(shù)據(jù)融合與推理”，跨越和消除語(yǔ)義鴻溝和異構(gòu)鴻溝[70]，實(shí)現(xiàn)對(duì)世界的感知和理解，從而為知識(shí)的發(fā)現(xiàn)提供了新視角。學(xué)習(xí)投入的多模態(tài)數(shù)據(jù)建模，有助于我們更為深入地了解智能時(shí)代的學(xué)習(xí)機(jī)理及其社會(huì)化過(guò)程，從而為智能時(shí)代的個(gè)性化學(xué)習(xí)提供“增值”。