王一巖 王楊春曉 鄭永和

摘要：智能感知技術(shù)的發(fā)展為學(xué)習(xí)分析領(lǐng)域的變革提供了多元的數(shù)據(jù)支持，實現(xiàn)智能技術(shù)與教育研究的深度融合，推動多模態(tài)學(xué)習(xí)分析的研究進展。該文立足于人工智能時代“多模態(tài)”的價值內(nèi)涵，從多模態(tài)信息感知、多模態(tài)數(shù)據(jù)表征、多模態(tài)計算方法三個方面實現(xiàn)了“多模態(tài)”意蘊的多元分解。論述了多模態(tài)學(xué)習(xí)分析的歷史沿革和研究意義，從多源性、層次性、時序性、情境性四個層面分析了多模態(tài)學(xué)習(xí)分析的潛在特征。人工智能時代多模態(tài)學(xué)習(xí)分析研究的開展需要從面向智能精準(zhǔn)測評的學(xué)習(xí)者建模、面向智慧學(xué)習(xí)空間的教育情境建模、面向教育生態(tài)治理的教育系統(tǒng)建模三個方面加以重視，實現(xiàn)多模態(tài)學(xué)習(xí)分析與真實教育場景的深度融合。未來多模態(tài)學(xué)習(xí)分析研究的開展需要從多學(xué)科融合的基礎(chǔ)理論體系建構(gòu)、多模態(tài)數(shù)據(jù)集的創(chuàng)建共享、學(xué)生認知結(jié)構(gòu)的量化表征、基于多模態(tài)學(xué)習(xí)分析的智能服務(wù)體系以及數(shù)據(jù)安全和倫理道德規(guī)范等方面加以重視。

關(guān)鍵詞：多模態(tài);多模態(tài)感知;多模態(tài)數(shù)據(jù);多模態(tài)機器學(xué)習(xí);多模態(tài)學(xué)習(xí)分析

中圖分類號：G434

文獻標(biāo)識碼：A

近年來，隨著眼動儀、腦電儀、功能磁共振等智能感知設(shè)備的發(fā)展，以及人工智能領(lǐng)域自然語言處理、計算機視覺、語音識別、生理信息識別等智能技術(shù)的成熟，為智能教育帶來了新的發(fā)展契機，有助于實現(xiàn)面向智慧學(xué)習(xí)空間的多模態(tài)數(shù)據(jù)采集，挖掘教育過程的潛在規(guī)律，為認知診斷、情感計算、交互分析、情境感知等研究的開展帶來多元化的數(shù)據(jù)支持，實現(xiàn)多模態(tài)數(shù)據(jù)驅(qū)動的教育現(xiàn)象的解釋和教育規(guī)律的發(fā)現(xiàn)，創(chuàng)設(shè)智能技術(shù)支持的智能教育服務(wù)模式，推動教育研究逐漸向數(shù)據(jù)化、科學(xué)化、精準(zhǔn)化的方向發(fā)展。本文重點關(guān)注多模態(tài)的理論和方法與學(xué)習(xí)分析領(lǐng)域的深度融合機制，從“多模態(tài)”的價值內(nèi)涵出發(fā)論述多模態(tài)學(xué)習(xí)分析的價值意蘊、應(yīng)用目標(biāo)和研究要點，理清多模態(tài)學(xué)習(xí)分析對智能教育時代學(xué)習(xí)分析研究開展的多元化應(yīng)用前景，以期為后續(xù)相關(guān)研究的開展提供借鑒意義。

一、多模態(tài)

（一）從“模態(tài)”到“多模態(tài)”

模態(tài)（Modality）是“物質(zhì)媒體經(jīng)過社會長時間塑造而形成的意義潛勢，是用于表征和交流意義的社會文化資源”[1]。關(guān)于“模態(tài)”的代表性觀點主要有以查理斯為代表的符號系統(tǒng)說和以克瑞斯為代表的交互方式說[2]。前者建立在社會符號學(xué)的基礎(chǔ)上，認為“模態(tài)”是“可以被具體的感知過程解釋的社會符號系統(tǒng)”[3]，如：聲音、圖像、文字等;后者認為“模態(tài)”是“人類通過感覺器官建立的與外部環(huán)境之間的交互方式”，如視覺、聽覺、觸覺、嗅覺、味覺等。近年來，隨著人工智能領(lǐng)域前沿研究的快速發(fā)展，賦予其新的價值意蘊，相關(guān)學(xué)者從數(shù)據(jù)感知模式和數(shù)據(jù)表征方式的角度將“模態(tài)”定義為機器對外界信息的感知模式或信息通道[4]，主要包括三個方面：其一，數(shù)據(jù)表征模式。按照人工智能的細分研究領(lǐng)域進行劃分，將“多模態(tài)”定義為融合文本、語音、視頻、生理信息的數(shù)據(jù)表征模式;其二，數(shù)據(jù)采集機制。將“多模態(tài)”與多傳感器相關(guān)聯(lián)，將每種傳感設(shè)備采集到的數(shù)據(jù)視為一種“模態(tài)”，如：生理信息識別中基于眼動、腦電、紅外等智能傳感設(shè)備采集的生理信息數(shù)據(jù);其三，數(shù)據(jù)特征主體。體現(xiàn)為對特征主體局部信息的數(shù)據(jù)化表征，如計算機視覺領(lǐng)域?qū)θ说难劬?、嘴巴等表情特征的描述和對頭部姿態(tài)、骨架等肢體特征的描述均可視為一種“模態(tài)”。對智能教育領(lǐng)域“多模態(tài)”意義的詮釋要建立在對“模態(tài)”概念深入解析的基礎(chǔ)上，結(jié)合人工智能背景下數(shù)據(jù)感知融合與智能分析的發(fā)展現(xiàn)狀，對“多模態(tài)”的意義加以闡述，構(gòu)建基于多模態(tài)數(shù)據(jù)感知與融合的智能教育應(yīng)用機制，增強不同模態(tài)信息之間的互補性，構(gòu)建多模態(tài)的符號表征體系，實現(xiàn)基于多模態(tài)數(shù)據(jù)融合的精準(zhǔn)分析。

人是多模態(tài)學(xué)習(xí)的總和，通過視覺、聽覺、味覺、嗅覺等感官系統(tǒng)建立與復(fù)雜環(huán)境的交互機制，進而經(jīng)由大腦皮層完成對外界信息的完整意義建構(gòu)。人工智能作為一門模擬人類智能對外部信息進行加工、處理和意義建構(gòu)的技術(shù)科學(xué)，其基本業(yè)務(wù)邏輯與人類對外部信息的感知、獲取和處理過程較為相似，均包含外部世界的符號表征體系以及智能實體（人類智能和機器智能）對外部世界的信息感知通道和意義建構(gòu)模式。因此將智能教育領(lǐng)域的多模態(tài)劃分為多模態(tài)的“符號表征體系”、多模態(tài)的“信息感知通道”和多模態(tài)的“意義建構(gòu)模式”三個層面。多模態(tài)符號表征體系是對真實教學(xué)場景的多元分解，包含構(gòu)成完整教學(xué)情境的“學(xué)習(xí)者一教師一教學(xué)內(nèi)容一教學(xué)媒體一教學(xué)活動一教學(xué)環(huán)境”等要素，從學(xué)習(xí)分析的角度可以進一步拆解為與學(xué)習(xí)者學(xué)習(xí)過程和認知發(fā)展相關(guān)的“行為一認知一情感一交互”等層面，進而構(gòu)建面向真實教學(xué)場景的符號表征體系，包含“語音一表情一動作一文本一呼吸一心跳一體溫一眼動一腦電一皮膚電一激素水平”等方面;多模態(tài)信息感知通道是機器對外界環(huán)境的感知系統(tǒng)，旨在利用智能傳感設(shè)備實現(xiàn)對教學(xué)情境的多元感知，通過多通道信息的感知與融合生成面向智能分析的多模態(tài)數(shù)據(jù)，服務(wù)于智慧教學(xué)分析的實際需要;多模態(tài)的意義建構(gòu)模式指利用人工神經(jīng)網(wǎng)絡(luò)模擬人類加工處理信息的計算過程，對相關(guān)信息進行有機整合，提取相關(guān)符號表征狀態(tài)潛藏的語義信息，根據(jù)先前研究經(jīng)驗和現(xiàn)有符號表征模式，生成與教學(xué)活動開展有關(guān)的信息、知識和智慧，從而完成對多模態(tài)信息的完整意義建構(gòu)，指導(dǎo)相關(guān)教學(xué)研究工作的開展。

（二）“多模態(tài)”意蘊的多元分解

1.基于多媒體學(xué)習(xí)認知理論的多模態(tài)信息感知

多媒體學(xué)習(xí)認知理論的雙通道假設(shè)認為， “學(xué)習(xí)者的認知發(fā)展是大腦對言語信息和非言語信息雙重編碼的結(jié)果，借助言語系統(tǒng)和非言語系統(tǒng)的內(nèi)部連結(jié)形成對事物完整的意義建構(gòu)”[5]。多媒體學(xué)習(xí)認知理論認為學(xué)習(xí)的發(fā)生是學(xué)習(xí)者利用視覺通道和聽覺通道對外界信息進行加工和處理的過程，將學(xué)習(xí)發(fā)生過程分解為“感知注意、信息組織和信息整合”三個階段，重視對語言表征信息和視覺表征信息的選擇性加工以及與先驗知識的主動整合[6]。圖文理解整合模型進一步強化了學(xué)習(xí)者知覺和認知層面之間的復(fù)雜作用關(guān)系[7]，強調(diào)知識建構(gòu)的過程是通過不同通道對圖、文信息進行獲取和加工，基于言語信息和視覺信息的整合形成命題表征和心理模型，再由命題表征和心理模型的交互整合以完成知識信息的整體建構(gòu)[8]。認知神經(jīng)科學(xué)領(lǐng)域的相關(guān)研究表明，學(xué)習(xí)者對于外部信息的感知是視覺、聽覺、觸覺等信息感知通道與大腦共同作用的結(jié)果，外部符號表征體系通過不同感知通道信息的相互補充在學(xué)習(xí)者大腦進行神經(jīng)成像，形成學(xué)習(xí)者對事物的完整感知。大量研究表明， “視一聽”融合的多模態(tài)信息加工機制對于人類感知和理解世界具有重要意義，基于多模態(tài)的信息整合，實現(xiàn)不同感知通道的內(nèi)部連結(jié)和信息互補，進而完成完整的意義建構(gòu)?；诙嗝襟w學(xué)習(xí)認知理論的多模態(tài)信息感知對于多模態(tài)學(xué)習(xí)分析的開展具有良好的現(xiàn)實意義，有助于構(gòu)建人類智能和機器智能之間的橋梁[9]，幫助機器更好地模擬人類對外界多模態(tài)信息的感知和加工模式，構(gòu)建面向智慧學(xué)習(xí)空間的多模態(tài)符號表征體系，利用智能感知技術(shù)構(gòu)建面向多模態(tài)特征的信息加工通道，進而挖掘多模態(tài)數(shù)據(jù)潛藏的語義信息，完成對數(shù)據(jù)潛在信息的完整意義建構(gòu)。

2.基于人工智能技術(shù)的多模態(tài)數(shù)據(jù)表征

當(dāng)前階段，人工智能領(lǐng)域的發(fā)展已經(jīng)由基于神經(jīng)網(wǎng)絡(luò)和遺傳算法的計算智能階段邁向以文本、語音和圖像等符號系統(tǒng)表征的語義信息的識別和加工為核心的感知智能階段[10]。以計算機視覺、語音識別、自然語言處理、生理信息識別、平臺數(shù)據(jù)采集技術(shù)為代表的人工智能前沿研究領(lǐng)域的發(fā)展為教育數(shù)據(jù)的智能感知提供了多元的技術(shù)支持?；谟嬎銠C視覺技術(shù)對智慧教育場景中學(xué)生的表情、動作等圖像信息進行智能化的采集，用以分析學(xué)生的課堂表現(xiàn)，對學(xué)生課堂學(xué)習(xí)過程中的專注度、情感狀態(tài)等信息進行智能識別;基于語音識別技術(shù)，對學(xué)生課堂發(fā)言中的話語信息進行采集，根據(jù)學(xué)習(xí)者的語音語調(diào)信息和話語信息，分析學(xué)習(xí)者的認知發(fā)展?fàn)顩r和情感狀態(tài);基于自然語言處理技術(shù)，從語義層面分析對學(xué)習(xí)者所表述的信息進行深入的挖掘分析，提取其中潛在的觀點和情感信息，基于語義網(wǎng)絡(luò)和知識圖譜分析學(xué)習(xí)者的認知發(fā)展?fàn)顩r;基于腦電感應(yīng)、眼神追蹤等生理信息識別技術(shù)，對學(xué)習(xí)者的眼動、腦電、皮膚電、激素分泌等數(shù)據(jù)進行采集，為學(xué)習(xí)分析相關(guān)研究的開展提供多樣化的生理數(shù)據(jù)支持;基于平臺數(shù)據(jù)采集技術(shù)，對學(xué)習(xí)者在智慧教學(xué)平臺的學(xué)習(xí)過程進行精準(zhǔn)監(jiān)測，形成面向?qū)W習(xí)者個體的在線學(xué)習(xí)流數(shù)據(jù)，根據(jù)學(xué)習(xí)者的檢索、瀏覽、觀看、測試數(shù)據(jù)分析學(xué)習(xí)者的學(xué)習(xí)偏好和知識掌握程度，為其提供智能化的認知診斷和學(xué)習(xí)資源推薦服務(wù)。通過對學(xué)生多源異構(gòu)數(shù)據(jù)的采集分析，形成面向?qū)W習(xí)者的多模態(tài)數(shù)據(jù)集，利用智能化分析方法對學(xué)生深層次的認知和情感狀態(tài)進行精準(zhǔn)測評，實現(xiàn)面向?qū)W習(xí)者的精準(zhǔn)化學(xué)習(xí)分析。

3.基于機器學(xué)習(xí)技術(shù)的多模態(tài)計算方法

多模態(tài)數(shù)據(jù)為我們感知和理解世界提供了多元的信息支持，對于多模態(tài)數(shù)據(jù)的采集和處理也是數(shù)據(jù)科學(xué)家們研究的關(guān)鍵問題，衍生出了多模態(tài)機器學(xué)習(xí)[11]這一旨在利用機器學(xué)習(xí)技術(shù)處理和關(guān)聯(lián)多種模態(tài)信息的前沿研究領(lǐng)域。其中多模態(tài)融合是近年來多模態(tài)機器學(xué)習(xí)領(lǐng)域的一個重要研究方向，在多模態(tài)情緒感知[12]、多模態(tài)交互分析[13]等前沿研究領(lǐng)域具有廣泛應(yīng)用，能夠為多模態(tài)學(xué)習(xí)分析研究的開展提供良好的技術(shù)解決方案。多模態(tài)融合旨在將從不同的單模數(shù)據(jù)中提取的信息集成到一個緊湊的多模態(tài)表示中，利用多模態(tài)數(shù)據(jù)的信息互補機制對復(fù)雜環(huán)境中的多元信息進行完整表征。根據(jù)其融合階段和融合機制的不同可以分為以下三種模式：數(shù)據(jù)級融合是將從文本、視頻、語音等多種模態(tài)信息中提取的特征組合起來成為單一的特征矩陣，然后輸入到機器學(xué)習(xí)的分類器中，在模型訓(xùn)練過程中通過相同模態(tài)和不同模態(tài)之間的特征組合，以充分挖掘多模態(tài)數(shù)據(jù)的潛藏信息，缺點在于需要在模型訓(xùn)練之前把不同模態(tài)的特征調(diào)整為同一格式，在此過程中容易造成數(shù)據(jù)的失真;特征級融合是指將不同模態(tài)的數(shù)據(jù)映射到高維空間，再從模型的中間層選取適當(dāng)?shù)奈恢眠M行融合操作，主要包括基于簡單操作的方法、基于注意力的方法和基于張量融合的方法，由于其操作的靈活性，逐漸成為多模態(tài)融合領(lǐng)域研究的重要方向;決策級融合指對不同模態(tài)特征采用最適合的模型分別進行訓(xùn)練，對所得到的結(jié)果進行加權(quán)處理以獲得最佳的決策支持[14]。

二、多模態(tài)學(xué)習(xí)分析

（一）多模態(tài)學(xué)習(xí)分析的發(fā)展沿革

關(guān)于多模態(tài)學(xué)習(xí)分析的研究由來已久，2012年相關(guān)學(xué)者提出將文本、視頻、音頻等多模態(tài)數(shù)據(jù)運用于多模態(tài)交互研究領(lǐng)域，為多模態(tài)學(xué)習(xí)交互領(lǐng)域相關(guān)研究的開展提供了新的研究方向，也奠定了多模態(tài)學(xué)習(xí)在交互分析領(lǐng)域的核心價值;2012年的多模態(tài)交互國際會議（ICMI）首次以工作坊的形式組織相關(guān)學(xué)者參與“多模態(tài)學(xué)習(xí)分析”的研討活動，確立了多模態(tài)學(xué)習(xí)分析的前沿地位[15]，指出該研究領(lǐng)域旨在將多模態(tài)分析技術(shù)與學(xué)習(xí)科學(xué)研究相結(jié)合，幫助研究者更好地理解學(xué)習(xí)的發(fā)生機制;2016年，學(xué)習(xí)分析與知識國際會議（LAK2016）設(shè)立面向多模態(tài)學(xué)習(xí)分析的數(shù)據(jù)挑戰(zhàn)工作坊，組織領(lǐng)域內(nèi)相關(guān)學(xué)者參與到多模態(tài)數(shù)據(jù)分析的實踐工作中，探究多模態(tài)數(shù)據(jù)支持的學(xué)習(xí)分析研究的發(fā)展方向[16];次年，LAK2017邀請相關(guān)學(xué)者做了關(guān)于多模態(tài)學(xué)習(xí)分析的主題報告，對基于多種傳感設(shè)備的多模態(tài)生物識別技術(shù)的進行了系統(tǒng)闡述，并對其在學(xué)習(xí)者外在行為表征和內(nèi)在生理信息的數(shù)據(jù)采集機制進行了詳細論述，提出利用線上、線下一體化的學(xué)習(xí)分析解決混合學(xué)習(xí)環(huán)境中的關(guān)鍵問題[17]; 2019年美國教育研究協(xié)會（AERA）年會提出利用文本、圖表、視音頻等多模態(tài)數(shù)據(jù)構(gòu)建基于多模態(tài)敘事的研究范式，為教育研究尋求證據(jù)公平[18]。

（二）多模態(tài)學(xué)習(xí)分析的意義解讀

多模態(tài)學(xué)習(xí)分析的概念最早由Stefan Scherer等人在第十四屆多模態(tài)交互國際會議上提出[19]，認為多模態(tài)學(xué)習(xí)分析是多模態(tài)教學(xué)與學(xué)習(xí)、多模態(tài)數(shù)據(jù)、計算機支持的分析三個概念的復(fù)合體，旨在利用三個概念之間所形成的三角關(guān)系來描述或模擬復(fù)雜學(xué)習(xí)環(huán)境中的學(xué)生學(xué)習(xí)[20]。人工智能時代對于多模態(tài)學(xué)習(xí)分析研究范疇的界定，需要立足于多模態(tài)學(xué)習(xí)分析研究開展的實際需要，搭建學(xué)習(xí)分析理論和人工智能技術(shù)之間的橋梁，利用智能傳感設(shè)備和智能分析技術(shù)探究學(xué)習(xí)生態(tài)的全貌，深化學(xué)習(xí)分析的研究底蘊，促進學(xué)習(xí)分析研究朝著數(shù)據(jù)化、科學(xué)化、智能化的方向發(fā)展。

隨著人工智能領(lǐng)域的發(fā)展和技術(shù)模型的成熟，賦予了學(xué)習(xí)分析新的價值意蘊，使得相關(guān)研究的開展不再局限于傳統(tǒng)的學(xué)習(xí)平臺數(shù)據(jù)的采集分析層面，加強對不同教學(xué)場景的關(guān)注，實現(xiàn)多元學(xué)習(xí)空間的深度融合，探究學(xué)習(xí)者行為、認知、情感狀態(tài)的變化，揭示深層次的學(xué)習(xí)發(fā)生機制。在理論層面，借助多模態(tài)數(shù)據(jù)實現(xiàn)多學(xué)科、寬領(lǐng)域的建模分析，參照“腦科學(xué)、認知神經(jīng)科學(xué)、數(shù)據(jù)科學(xué)”等領(lǐng)域的研究成果，幫助機器更好地模擬人類的感知、計算和意義建構(gòu)模式，探究學(xué)習(xí)者外在行為表征模式與內(nèi)在認知發(fā)展之間的潛在作用關(guān)系，推動學(xué)習(xí)分析領(lǐng)域基礎(chǔ)理論體系的變革;在技術(shù)層面，將自然語言處理、計算機視覺、語音識別、生理信息識別技術(shù)和平臺采集技術(shù)相結(jié)合，擴展學(xué)習(xí)分析的數(shù)據(jù)感知通道，實現(xiàn)基于文本、語音、視頻、生理信息、在線學(xué)習(xí)行為等數(shù)據(jù)的多元采集與融合，為多模態(tài)學(xué)習(xí)分析的開展提供了多元的數(shù)據(jù)支持，利用多模態(tài)機器學(xué)習(xí)技術(shù)實現(xiàn)對多模態(tài)數(shù)據(jù)的融合分析，借助多模態(tài)數(shù)據(jù)間的信息互補機制，拓寬學(xué)習(xí)分析的廣度和深度;在應(yīng)用層面，多模態(tài)數(shù)據(jù)為學(xué)習(xí)分析研究的開展提供了廣泛的證據(jù)支持，實現(xiàn)多模態(tài)數(shù)據(jù)驅(qū)動的行為分析、認知診斷、情感計算、交互分析和情境感知，實現(xiàn)多模態(tài)數(shù)據(jù)賦能的學(xué)習(xí)現(xiàn)象的解釋和學(xué)習(xí)規(guī)律的發(fā)現(xiàn)。

（三）多模態(tài)學(xué)習(xí)分析的特征分解

1.多源性：教學(xué)信息的多源互補

教學(xué)信息的多源互補是多模態(tài)學(xué)習(xí)分析相關(guān)研究開展的前提，通過對多模態(tài)教學(xué)數(shù)據(jù)的采集分析，強化不同模態(tài)數(shù)據(jù)之間的信息互補機制，有效還原教學(xué)生態(tài)的全貌。多模態(tài)學(xué)習(xí)分析的多源互補體現(xiàn)在信息加工層面的多源互補和數(shù)據(jù)感知層面的多源互補兩個方面。前者表現(xiàn)為“視一聽”結(jié)合的雙通道編碼，能夠幫助學(xué)習(xí)者形成完整的意義建構(gòu)，如：中國傳統(tǒng)文化中的“察言觀色”，表示通過觀察說話人的語調(diào)、表情能夠幫助傾聽者更好的理解言語信息表達的核心思想;后者體現(xiàn)在數(shù)據(jù)分析層面的視覺和聽覺信息互相補充，能夠?qū)δＰ偷挠?xùn)練提供多元的數(shù)據(jù)支持，如：在多模態(tài)情緒識別任務(wù)中，基于語音和視頻的多模態(tài)數(shù)據(jù)能夠取得比單模態(tài)數(shù)據(jù)更高的精確度[21]。通過對多場景、多學(xué)科、多時序的教學(xué)信息進行智能化的采集分析，實現(xiàn)教學(xué)信息的多源互補，利用量化學(xué)習(xí)的思想對教學(xué)場景中的信息進行數(shù)據(jù)化表征，實現(xiàn)教學(xué)生態(tài)全貌的有機分解，為智能化學(xué)習(xí)分析研究的開展提供數(shù)據(jù)支持。

2.層次性：教學(xué)生態(tài)的層次分解

多模態(tài)學(xué)習(xí)分析的層次性體現(xiàn)在利用多模態(tài)數(shù)據(jù)對一定學(xué)習(xí)周期內(nèi)“教育主體、教育客體、教育情境、教育資源”進行精準(zhǔn)監(jiān)測，對與教學(xué)過程和教學(xué)結(jié)果相關(guān)的潛在特征進行有機分解，理清其中的層次作用機理，構(gòu)筑基于多模態(tài)學(xué)習(xí)分析的智慧教學(xué)過程層次分解機制。（1）教學(xué)情境的層次分解。利用多模態(tài)數(shù)據(jù)構(gòu)建智慧教育視域下智慧學(xué)習(xí)空間物理環(huán)境、社會環(huán)境、心理環(huán)境的層次分析機制，對影響學(xué)習(xí)者的環(huán)境要素進行多元分析，為智慧學(xué)習(xí)環(huán)境的創(chuàng)建提供支持;（2）學(xué)習(xí)者模型的層次分解。通過對智慧學(xué)習(xí)環(huán)境下學(xué)習(xí)者的行為、生理、心理信息的監(jiān)測，探究學(xué)習(xí)者的外在表征和內(nèi)隱狀態(tài)之間的潛在作用關(guān)系，分析學(xué)習(xí)者的認知、情感、交互發(fā)展?fàn)顩r，構(gòu)建基于多層次數(shù)據(jù)表征的精準(zhǔn)化學(xué)習(xí)者模型;（3）交互模式的層次分解。通過對多模態(tài)數(shù)據(jù)的精準(zhǔn)分析，構(gòu)建面向智慧學(xué)習(xí)空間中“人一機一物”的交互分解機制，挖掘深層次的教育發(fā)展規(guī)律，服務(wù)于智能化教學(xué)分析研究的開展;（4）教學(xué)過程的層次分解。構(gòu)建面向智慧課堂“教師行為、學(xué)生行為、教學(xué)媒體、教學(xué)內(nèi)容、教學(xué)活動”的序列化分析模型，研究教學(xué)過程的各構(gòu)成要素對教學(xué)過程和教學(xué)結(jié)果的影響機理。

3.情境性：教學(xué)情境的智能感知

教學(xué)情境的智能感知是學(xué)習(xí)分析領(lǐng)域需要解決的關(guān)鍵問題，也是多模態(tài)學(xué)習(xí)分析相關(guān)研究的重要組成部分。按照Korhonen等人的情境劃分方法，可以將情境分為用戶情境、任務(wù)情境、環(huán)境情境、社會情境、時空情境、設(shè)備情境、服務(wù)情境和網(wǎng)絡(luò)連接情境八種類型[22]。教育情境的復(fù)雜性為智能教育相關(guān)研究的開展帶來了極大挑戰(zhàn)，如何對教育情境進行精準(zhǔn)建模，實現(xiàn)教育情境的可計算是未來一段時間內(nèi)智能教育領(lǐng)域相關(guān)研究人員需要解決的關(guān)鍵問題[23]。利用多模態(tài)學(xué)習(xí)分析的思想，借助可穿戴設(shè)備和智能感知技術(shù)實現(xiàn)對智慧學(xué)習(xí)空間中復(fù)雜教育情境的多元分解，實現(xiàn)對學(xué)習(xí)者行為、生理、心理等方面的全方位監(jiān)測，通過對特定情境下學(xué)習(xí)者相關(guān)表現(xiàn)的智能監(jiān)測和精準(zhǔn)分析，構(gòu)建面向智能化教學(xué)場景的感知計算模式，挖掘復(fù)雜教育情境下學(xué)習(xí)者的行為序列模式和交互發(fā)生機制，用以分析教學(xué)情境要素對學(xué)習(xí)者深層次知識建構(gòu)和認知發(fā)展的潛在作用機理。

4.時序性：教學(xué)分析的時空融合

多模態(tài)學(xué)習(xí)分析的時序性是指在構(gòu)建多模態(tài)學(xué)習(xí)分析機制的基礎(chǔ)上，重視與學(xué)生學(xué)習(xí)過程相關(guān)的周期性變化規(guī)律，構(gòu)建面向時空融合的多元化教學(xué)分析模型。重視完整學(xué)習(xí)周期中學(xué)習(xí)者知識、能力、情感的發(fā)展變化情況，分析學(xué)習(xí)者認知和情感的遷移和變化規(guī)律，挖掘深層次的學(xué)習(xí)發(fā)生機制，實現(xiàn)基于時間序列的學(xué)習(xí)者建模分析;強化基于時間序列的教學(xué)場景數(shù)據(jù)的采集和分析，構(gòu)建多模態(tài)、時序性的教學(xué)分析模型，挖掘教學(xué)內(nèi)容、教學(xué)過程、教學(xué)活動相關(guān)信息與學(xué)生學(xué)業(yè)發(fā)展之間的作用機理，實現(xiàn)面向?qū)W習(xí)全周期的縱向挖掘分析，構(gòu)建智能化學(xué)習(xí)支持服務(wù)體系，助力于智能教學(xué)工作的開展。

三、多模態(tài)學(xué)習(xí)分析的應(yīng)用場景

（一）面向智能精準(zhǔn)測評的學(xué)習(xí)者建模

學(xué)習(xí)者模型的構(gòu)建是學(xué)習(xí)分析領(lǐng)域的重要研究內(nèi)容，也是多模態(tài)學(xué)習(xí)分析需要解決的關(guān)鍵問題。利用多模態(tài)學(xué)習(xí)分析技術(shù)構(gòu)建面向個體學(xué)習(xí)者的全空間、多場景、時序性的建模分析，對智慧學(xué)習(xí)空間中學(xué)習(xí)者的表情、動作、呼吸、心跳、語言、皮膚電等數(shù)據(jù)進行全方位的采集分析，借助多模態(tài)數(shù)據(jù)實現(xiàn)面向?qū)W習(xí)者“認知一行為一情感一交互”外在表征模式的可計算。結(jié)合教育學(xué)、心理學(xué)、腦科學(xué)、認知神經(jīng)科學(xué)的相關(guān)研究內(nèi)容對學(xué)習(xí)者內(nèi)部潛在特征進行系統(tǒng)解釋，探究學(xué)習(xí)者“認知發(fā)展?fàn)顩r一行為表達模式一情感發(fā)生機制一學(xué)習(xí)交互模式”的協(xié)同進化機理，在更深層次上探究學(xué)習(xí)者的學(xué)習(xí)發(fā)生機制。

1.實現(xiàn)面向?qū)W習(xí)者的智能化認知診斷

認知診斷是通過對一定學(xué)習(xí)周期內(nèi)學(xué)習(xí)者的學(xué)業(yè)診斷數(shù)據(jù)進行持續(xù)性的采集分析，對學(xué)習(xí)者的認知發(fā)展?fàn)顩r進行連續(xù)性的隱式建模，從而實現(xiàn)對個體認知結(jié)構(gòu)、認知過程和信息加工模式的精準(zhǔn)測評[24]。利用多模態(tài)學(xué)習(xí)分析技術(shù)實現(xiàn)對學(xué)習(xí)者多時空、多學(xué)科、多領(lǐng)域的全方位建模分析，構(gòu)建面向?qū)W習(xí)者個體的學(xué)科知識圖譜和能力圖譜，實現(xiàn)對學(xué)習(xí)者認知發(fā)展?fàn)顩r的全方位的精準(zhǔn)測評，探究學(xué)習(xí)者學(xué)業(yè)發(fā)展的影響因素，為學(xué)習(xí)者制定智能化的學(xué)業(yè)提升服務(wù)。

2.實現(xiàn)面向?qū)W習(xí)者的智能化行為分析

學(xué)習(xí)行為是學(xué)習(xí)者在某種動機指引下為獲得某種特定學(xué)習(xí)結(jié)果而選擇各種各樣的手段去實現(xiàn)學(xué)習(xí)結(jié)果的活動的總和[25]。課堂教學(xué)環(huán)境下學(xué)習(xí)行為的發(fā)生是教師、教學(xué)活動、教學(xué)環(huán)境等情境要素和學(xué)習(xí)者認知、情感等潛在要素共同作用的結(jié)果，如何利用多模態(tài)數(shù)據(jù)實現(xiàn)學(xué)習(xí)行為的可計算，分析線上、線下、課內(nèi)、課外等多種學(xué)習(xí)情境中學(xué)習(xí)者的行為表征模式，挖掘相關(guān)要素對學(xué)習(xí)者行為表達模式的影響機理，是多模態(tài)學(xué)習(xí)分析需要解決的關(guān)鍵問題。需要實現(xiàn)基于多通道感知的學(xué)習(xí)行為建模與理解，對學(xué)習(xí)者的學(xué)習(xí)行為進行量化表征，研究學(xué)習(xí)者認識、情感要素對學(xué)習(xí)者外在行為表征的作用機理，挖掘深層次的學(xué)習(xí)行為發(fā)生機理。

3.實現(xiàn)面向?qū)W習(xí)者的智能化情緒感知

心理學(xué)的研究表明，個體情緒的發(fā)生機制和表達機制均具有一定的復(fù)雜性，強調(diào)外界刺激和內(nèi)部生理、心理和認知狀態(tài)對于個體情緒變化的共同作用。因此單一模態(tài)的情感數(shù)據(jù)難以對個體的情緒狀態(tài)進行準(zhǔn)確表征，需要利用多種智能傳感設(shè)備實現(xiàn)對學(xué)習(xí)者語音、表情、文本、生理信息等多模態(tài)數(shù)據(jù)的精準(zhǔn)化采集，對學(xué)習(xí)者的情感狀態(tài)進行精準(zhǔn)測評，進而實現(xiàn)對學(xué)習(xí)者情緒外在表征模式和內(nèi)在發(fā)生機理的全方位建模分析，構(gòu)建基于個體特征、外界刺激、內(nèi)部需要的多層次情感表達模型，對學(xué)習(xí)者的情感發(fā)生機制進行多學(xué)科、多層次、寬領(lǐng)域的深度詮釋。

4.實現(xiàn)面向?qū)W習(xí)者的智能化交互分析

重視對智慧教育環(huán)境下學(xué)習(xí)者交互模式的挖掘分析，通過對交互參與者的語音、表情、姿態(tài)、腦電等可表征的符號信息系統(tǒng)的監(jiān)測，判斷交互主體的心理狀態(tài)，分析學(xué)習(xí)發(fā)生過程中學(xué)習(xí)者與教師、教學(xué)資源、教學(xué)媒體、教學(xué)環(huán)境之間的交互機制，挖掘復(fù)合交互情境對學(xué)習(xí)者認知、行為、情感的影響機理[26]，有助于優(yōu)化教學(xué)資源和教學(xué)媒體的服務(wù)模式，為教師提供個性化的教學(xué)建議，促進教學(xué)績效的提升。

多模態(tài)學(xué)習(xí)分析旨在利用學(xué)習(xí)者的外在表征信息實現(xiàn)對學(xué)習(xí)者內(nèi)隱狀態(tài)的智能化測評，為學(xué)習(xí)者學(xué)習(xí)發(fā)生機制研究的開展提供多元化的數(shù)據(jù)支持。后續(xù)研究的開展需要關(guān)注智慧教育環(huán)境下“認知一行為一情感一交互”的協(xié)同進化機理，在實踐研究開展層面挖掘?qū)W習(xí)者認知、行為、情感、交互的關(guān)聯(lián)關(guān)系，挖掘?qū)W習(xí)者認知發(fā)展和情感變化對學(xué)習(xí)者行為表達的影響機制;在理論層面運用腦科學(xué)、認知科學(xué)、教育學(xué)、心理學(xué)等多學(xué)科的理論知識對學(xué)習(xí)者的學(xué)習(xí)發(fā)生機制進行精準(zhǔn)解讀，推動學(xué)習(xí)科學(xué)領(lǐng)域相關(guān)研究的開展。

（二）面向智慧學(xué)習(xí)空間的教育情境建模

面向智慧課堂的智能化教學(xué)情境感知是多模態(tài)學(xué)習(xí)分析要解決的關(guān)鍵問題，如何利用多模態(tài)的思想實現(xiàn)對智慧教育情境的多元分解，模擬智慧課堂的演化模式，對于智慧課堂環(huán)境下學(xué)習(xí)現(xiàn)象的解釋和學(xué)習(xí)規(guī)律的發(fā)現(xiàn)具有重要意義。

1.實現(xiàn)教學(xué)場景構(gòu)成要素的多元分解

構(gòu)建面向不同教學(xué)構(gòu)成要素的多模態(tài)數(shù)據(jù)集，通過對“教師一學(xué)生一媒體一資源一環(huán)境”的全方位、細粒度測評分析，實現(xiàn)課堂教學(xué)構(gòu)成要素的有機分解，利用大數(shù)據(jù)的分析方法挖掘其中潛在的教育發(fā)展規(guī)律，實現(xiàn)細粒度的教學(xué)場景感知，幫助教師優(yōu)化教學(xué)設(shè)計模式，提升課堂教學(xué)的成效。

2.實現(xiàn)教育情境信息的多元感知與融合

利用智能感知技術(shù)實現(xiàn)對智慧學(xué)習(xí)空間中“用戶情境、時間情境、物理情境、社會情境、心理情境、活動情境”[27]的精準(zhǔn)刻畫，綜合考量學(xué)生個體、教學(xué)媒體、教學(xué)活動、教學(xué)交互等要素構(gòu)建的復(fù)合教育情境，分析相關(guān)構(gòu)成要素對教師教學(xué)策略和學(xué)生學(xué)習(xí)成效的影響機理，實現(xiàn)面向教學(xué)全過程的全方位建模分析。

3.實現(xiàn)基于教育情境感知的智能教育服務(wù)

對特定教學(xué)情境下與學(xué)習(xí)相關(guān)的媒體、資源、環(huán)境、事件進行精準(zhǔn)刻畫，分析相關(guān)構(gòu)成要素對教師教學(xué)策略和學(xué)生學(xué)習(xí)成效的影響機理，實現(xiàn)面向教學(xué)全過程的全方位建模分析，綜合考量學(xué)生的認知發(fā)展?fàn)顩r、情感發(fā)生機制、學(xué)習(xí)交互模式和教師的專業(yè)素養(yǎng)、教學(xué)方式以及選用的教學(xué)媒體和教學(xué)內(nèi)容對學(xué)習(xí)者學(xué)習(xí)成效的影響機理，進而優(yōu)化智能教育服務(wù)模式，創(chuàng)設(shè)智能技術(shù)驅(qū)動的智慧教育新樣態(tài)。

（三）面向教育生態(tài)治理的教育系統(tǒng)建模

從系統(tǒng)科學(xué)的觀點來看，大到區(qū)域教育生態(tài)系統(tǒng)，小到智慧課堂生態(tài)系統(tǒng)，均能夠被視作一個系統(tǒng)。如何從系統(tǒng)科學(xué)的角度探究各級各類教育系統(tǒng)的發(fā)展規(guī)律，實現(xiàn)智能化的教育生態(tài)治理，是智能教育領(lǐng)域急需解決的關(guān)鍵問題。多模態(tài)學(xué)習(xí)分析為此問題提出了新的解決方案，利用大數(shù)據(jù)的思想通過數(shù)據(jù)化、標(biāo)簽化的方法對系統(tǒng)的構(gòu)成要素、系統(tǒng)結(jié)構(gòu)進行精準(zhǔn)刻畫，進而模擬系統(tǒng)的運作模式和演化機理，在最大程度上還原系統(tǒng)的全貌，實現(xiàn)教育系統(tǒng)的精準(zhǔn)測評。

1.智慧課堂生態(tài)系統(tǒng)建模

智慧課堂生態(tài)系統(tǒng)是智能技術(shù)與智慧教學(xué)深度融合的產(chǎn)物[28]。旨在以大數(shù)據(jù)和人工智能技術(shù)為依托，以培育面向未來社會發(fā)展的優(yōu)秀人才為導(dǎo)向，強調(diào)現(xiàn)代教育理念與新興智能技術(shù)的協(xié)同作用，研究智慧課堂的構(gòu)成要素、系統(tǒng)結(jié)構(gòu)和運行模式，探究智慧課堂內(nèi)部的數(shù)據(jù)流動機制、信息治理機制和生態(tài)反饋機制，強調(diào)智慧課堂環(huán)境下各構(gòu)成要素的交互作用機制，創(chuàng)設(shè)智慧課堂教學(xué)文化新樣態(tài)，促進智慧課堂教學(xué)生態(tài)的系統(tǒng)變革。

多模態(tài)學(xué)習(xí)分析為智慧課堂生態(tài)系統(tǒng)的建構(gòu)提供了多元的理論和技術(shù)支持。利用量化學(xué)習(xí)[29]的思想實現(xiàn)智慧課堂生態(tài)系統(tǒng)構(gòu)成要素的多元分解，基于多模態(tài)數(shù)據(jù)的感知與融合，實現(xiàn)對智慧課堂生態(tài)系統(tǒng)構(gòu)成要素的精準(zhǔn)化建模分析;構(gòu)建時空融合的多模態(tài)數(shù)據(jù)表征體系，模擬智慧課堂的數(shù)據(jù)流動機制，理清相關(guān)構(gòu)成要素對學(xué)習(xí)生態(tài)變革的作用機理，實現(xiàn)多模態(tài)數(shù)據(jù)驅(qū)動的智慧課堂教學(xué)生態(tài)的精準(zhǔn)治理;利用智能技術(shù)實現(xiàn)智能化的教育情境感知和交互作用模式，模擬智慧課堂的運行模式，理清智慧課堂生態(tài)系統(tǒng)中“人一機一物”的交互作用機制，為智慧課堂生態(tài)系統(tǒng)的建構(gòu)提供理論支持。

2.區(qū)域教育生態(tài)系統(tǒng)建模

從生態(tài)學(xué)視角來看，教育活動的發(fā)生和學(xué)生個體的發(fā)展依托于區(qū)域、學(xué)校、家庭、社會為學(xué)生成長創(chuàng)設(shè)的各級各類教育環(huán)境，大到區(qū)域的社會經(jīng)濟文化發(fā)展?fàn)顩r，小到班級的文化氛圍都會對學(xué)生的成長產(chǎn)生影響。智能教育時代區(qū)域教育生態(tài)系統(tǒng)的構(gòu)建需要利用多模態(tài)學(xué)習(xí)分析的思想對區(qū)域教育發(fā)展過程中全時空、多領(lǐng)域的數(shù)據(jù)進行采集和融合，構(gòu)建深度分析模型，評估區(qū)域教育發(fā)展過程中環(huán)境要素和人的要素之間的作用機理，利用教育生態(tài)學(xué)的方法揭示教育生態(tài)系統(tǒng)的發(fā)展規(guī)律和演變機理，構(gòu)建面向區(qū)域教育生態(tài)系統(tǒng)的精準(zhǔn)體系，保障教育生態(tài)系統(tǒng)的良性發(fā)展。

多模態(tài)學(xué)習(xí)分析為破解生態(tài)學(xué)視域下區(qū)域教育系統(tǒng)的發(fā)展規(guī)律和演化機理奠定了基礎(chǔ)，利用數(shù)據(jù)科學(xué)的思想在最大程度上還原區(qū)域教育生態(tài)系統(tǒng)全貌，運用生態(tài)學(xué)的理論和方法對區(qū)域教育發(fā)展過程中“教育系統(tǒng)與教育環(huán)境、教育投入與教育產(chǎn)出、教育主體和教育客體”的作用機理進行精準(zhǔn)分析，推動數(shù)據(jù)驅(qū)動的區(qū)域教育生態(tài)變革。實現(xiàn)對區(qū)域人口、環(huán)境、資源、教育經(jīng)費投入、教師人才結(jié)構(gòu)以及學(xué)生家庭社會經(jīng)濟文化狀況等方面的全方位建模分析，研究相關(guān)構(gòu)成要素與區(qū)域教育產(chǎn)出之間的協(xié)同作用關(guān)系，探究復(fù)雜教育系統(tǒng)的演化機理，實現(xiàn)多模態(tài)數(shù)據(jù)驅(qū)動的區(qū)域教育生態(tài)治理，為智能化教育決策的制定提供支持。

四、多模態(tài)學(xué)習(xí)分析的發(fā)展進路

多模態(tài)學(xué)習(xí)分析旨在利用“多模態(tài)”的思想和方法對智能教育領(lǐng)域的關(guān)鍵問題進行深度詮釋，進而挖掘教育規(guī)律、優(yōu)化學(xué)習(xí)過程、創(chuàng)新智能服務(wù)，推動學(xué)習(xí)分析研究體系的系統(tǒng)變革，探究“多模態(tài)”驅(qū)動的智能教育研究新趨向。本文結(jié)合智能教育領(lǐng)域已有研究從多模態(tài)學(xué)習(xí)分析的基礎(chǔ)理論體系建構(gòu)、多模態(tài)數(shù)據(jù)集的創(chuàng)建共享、學(xué)生認知結(jié)構(gòu)的量化表征、基于多模態(tài)學(xué)習(xí)分析的智能服務(wù)體系以及數(shù)據(jù)安全和倫理道德規(guī)范等方面對多模態(tài)學(xué)習(xí)分析的研究進路加以論述，以期為后續(xù)相關(guān)研究的開展理清方向。

（一）多學(xué)科融合的多模態(tài)學(xué)習(xí)分析理論體系建構(gòu)

多模態(tài)學(xué)習(xí)分析研究的開展旨在從系統(tǒng)科學(xué)的角度對學(xué)習(xí)者、學(xué)習(xí)情境、學(xué)習(xí)過程等要素進行有機分解，探究教育系統(tǒng)的發(fā)展規(guī)律和演化機理，利用數(shù)據(jù)科學(xué)的方法實現(xiàn)對教育現(xiàn)象的解釋和教育規(guī)律的發(fā)現(xiàn)。其研究內(nèi)容涉及教育學(xué)、心理學(xué)、數(shù)據(jù)科學(xué)、腦科學(xué)、認知神經(jīng)科學(xué)等多個領(lǐng)域。因此，需要從多模態(tài)學(xué)習(xí)分析研究的實際需要出發(fā)，構(gòu)建多科學(xué)融合的智能教育理論體系，為后續(xù)研究的開展理清方向。其一，借助多媒體學(xué)習(xí)認知理論探究人類對外界信息的感知、注意和理解模式，構(gòu)建人類智能和機器智能之間的橋梁，幫助機器更好地模擬人類對外界信息的感知和理解模式，運用多模態(tài)的數(shù)據(jù)采集和分析方法，實現(xiàn)面向教學(xué)主體和教學(xué)過程的全方位、多層次的建模分析，構(gòu)建基于多模態(tài)數(shù)據(jù)的感知、加工、理解和應(yīng)用模式。其二，借助量化學(xué)習(xí)理論從數(shù)據(jù)層面剖析學(xué)習(xí)發(fā)生的表征形態(tài)，運用數(shù)據(jù)科學(xué)的思想對學(xué)習(xí)過程進行全方位的建模分析，突出大數(shù)據(jù)“建模、分析、預(yù)測”的技術(shù)功用，構(gòu)建面向智慧教育發(fā)展的數(shù)據(jù)化認知方式，為學(xué)習(xí)者提供個性化的學(xué)習(xí)支持服務(wù)，構(gòu)建面向未來教育發(fā)展的精準(zhǔn)教育服務(wù)模式。其三，借助經(jīng)典教育理論詮釋教育發(fā)展規(guī)律。教育是一個復(fù)雜系統(tǒng)，多模態(tài)學(xué)習(xí)分析研究的開展涉及學(xué)習(xí)者建模、教育情境建模、教育系統(tǒng)建模等多個層次，相關(guān)研究內(nèi)容涉及學(xué)習(xí)者行為、認知、情感、交互以及智慧課堂教學(xué)生態(tài)系統(tǒng)和區(qū)域教育生態(tài)系統(tǒng)發(fā)展規(guī)律的詮釋，需要立足于多模態(tài)學(xué)習(xí)分析研究的實際需要，運用多學(xué)科的研究思想對教育規(guī)律加以詮釋，構(gòu)建多學(xué)科融合的理論體系，實現(xiàn)復(fù)雜教育系統(tǒng)中教育規(guī)律的發(fā)現(xiàn)和教育現(xiàn)象的解釋。

（二）面向真實教學(xué)場景的多模態(tài)數(shù)據(jù)采集與分析

從長遠來看，要推動多模態(tài)學(xué)習(xí)分析研究的開展并在領(lǐng)域內(nèi)形成規(guī)?；芯矿w系，需要立足于我國教育教學(xué)實踐研究開展的實際情況，參照國外先進教學(xué)經(jīng)驗，面向真實的教學(xué)場景，利用智能感知設(shè)備進行多模態(tài)數(shù)據(jù)采集，構(gòu)建跨越時空的多模態(tài)數(shù)據(jù)融合機制，實現(xiàn)對真實教學(xué)場景中相關(guān)要素的精準(zhǔn)刻畫。同時，加強多模態(tài)學(xué)習(xí)分析數(shù)據(jù)集的開放力度，鼓勵領(lǐng)域內(nèi)相關(guān)學(xué)者積極參與多模態(tài)學(xué)習(xí)分析的相關(guān)研究，形成規(guī)?；难芯矿w系，共同推動多模態(tài)學(xué)習(xí)分析研究的開展。

多模態(tài)數(shù)據(jù)的融合分析旨在對同一時空情境下學(xué)習(xí)者的語音、文本、視頻、眼動、腦電等數(shù)據(jù)進行精準(zhǔn)化的采集和融合分析，是多模態(tài)機器學(xué)習(xí)領(lǐng)域研究的重點，也是破解多模態(tài)學(xué)習(xí)分析領(lǐng)域技術(shù)壁壘的關(guān)鍵。需要探究多模態(tài)數(shù)據(jù)的對齊和融合機制，借由多模態(tài)數(shù)據(jù)之間的信息互補，提升學(xué)習(xí)分析的準(zhǔn)確度，充分借鑒人工智能領(lǐng)域成熟的技術(shù)模型，構(gòu)建面向單一模態(tài)的數(shù)據(jù)感知通道，再借由多模態(tài)融合算法實現(xiàn)多模態(tài)信息的深度融合，進而提升多模態(tài)學(xué)習(xí)分析的準(zhǔn)確度。

（三）基于多模態(tài)數(shù)據(jù)的學(xué)生認知結(jié)構(gòu)量化表征

人工智能領(lǐng)域相關(guān)研究的最終目標(biāo)是在最大程度上幫助機器模擬人的感覺、思維模式，借助算力的提升和算法的優(yōu)化實現(xiàn)智能感知與預(yù)測。智慧學(xué)習(xí)空間中關(guān)于人的行為、認知、情感、交互的量化表征是多模態(tài)學(xué)習(xí)分析相關(guān)研究開展的重點，如何在保證數(shù)據(jù)真實有效的前提下對學(xué)習(xí)者的行為模式、認知狀態(tài)、情感態(tài)度進行準(zhǔn)確表征，挖掘?qū)W習(xí)者認知情感狀態(tài)的協(xié)同進化機理，對多模態(tài)學(xué)習(xí)分析研究的開展帶來了極大挑戰(zhàn)。需要在認知神經(jīng)科學(xué)和量化學(xué)習(xí)理論的指導(dǎo)下，實現(xiàn)面向真實教學(xué)場景的實踐探索，利用多模態(tài)學(xué)習(xí)分析技術(shù)對學(xué)習(xí)者和學(xué)習(xí)過程進行準(zhǔn)確表征，挖掘其中潛藏的教育發(fā)展規(guī)律;結(jié)合教育學(xué)、心理學(xué)、腦科學(xué)、認知神經(jīng)科學(xué)的研究內(nèi)容，對智慧學(xué)習(xí)空間中的學(xué)習(xí)發(fā)生機制進行深層次的挖掘分析，構(gòu)建面向智慧學(xué)習(xí)空間的符號表征體系和信息加工通道，利用智能分析技術(shù)模擬其中的意義建構(gòu)模式，實現(xiàn)學(xué)生認知結(jié)構(gòu)的量化表征。

（四）基于多模態(tài)學(xué)習(xí)分析的智能教育服務(wù)模式

多模態(tài)學(xué)習(xí)分析的研究愿景是通過多模態(tài)數(shù)據(jù)的采集、分析、應(yīng)用、反饋，賦予傳統(tǒng)學(xué)習(xí)分析新的價值意蘊，拓展教育科學(xué)研究的廣度和深度，創(chuàng)設(shè)多模態(tài)學(xué)習(xí)分析支持下的智慧教育新樣態(tài)。智能技術(shù)的引入能夠為教學(xué)過程的改進和教學(xué)結(jié)果的優(yōu)化提供全方位支持，促進智能技術(shù)與真實教學(xué)場景的有機融合，構(gòu)建基于智能化數(shù)據(jù)“采集、分析、應(yīng)用、反饋”的數(shù)據(jù)閉環(huán)，強調(diào)智能技術(shù)支持下的人與機器的協(xié)同發(fā)展，強化“教學(xué)智慧、學(xué)習(xí)智慧、數(shù)據(jù)智慧”的深度融合，為教學(xué)決策的制定和學(xué)習(xí)計劃的生成提供支持，有助于創(chuàng)新教育科學(xué)研究范式、優(yōu)化智能教育服務(wù)模式，實現(xiàn)數(shù)據(jù)驅(qū)動的教育系統(tǒng)精準(zhǔn)治理。（1）實現(xiàn)系統(tǒng)精準(zhǔn)學(xué)習(xí)測評。借助智能診斷技術(shù)，對學(xué)生的“認知發(fā)展?fàn)顩r一行為表達模式一情感發(fā)生機制一學(xué)習(xí)交互模式”等方面進行精準(zhǔn)化的建模分析，為學(xué)習(xí)者提供個性化的資源推薦和學(xué)習(xí)路徑規(guī)劃服務(wù);（2）推動智慧課堂精準(zhǔn)教學(xué)。通過對教師教學(xué)行為、教學(xué)內(nèi)容、教學(xué)資源、教學(xué)媒體以及學(xué)生表現(xiàn)的全方位建模，分析課堂教學(xué)的構(gòu)成要素對學(xué)生學(xué)習(xí)表現(xiàn)的影響機理，為教師提供智能化的教學(xué)設(shè)計策略，創(chuàng)設(shè)數(shù)據(jù)支持的智慧課堂教學(xué)模式[3];（3）創(chuàng)設(shè)課堂精準(zhǔn)治理體系。實現(xiàn)面向教師、學(xué)生、教學(xué)環(huán)境、教學(xué)媒體、教學(xué)資源的時序性、細粒度建模分析，挖掘物理環(huán)境、社會環(huán)境、心理環(huán)境等要素對學(xué)習(xí)過程和學(xué)習(xí)結(jié)果的影響機理，分析教學(xué)成功的構(gòu)成要素，形成數(shù)據(jù)啟發(fā)式的教學(xué)決策模式，優(yōu)化智慧課堂精準(zhǔn)管理的體制與機制，實現(xiàn)面向智慧課堂的精準(zhǔn)治理;（4）重構(gòu)智能教育評價模式。教育改革發(fā)展新時期，完善教育評價體系，變革教育評價機制，是現(xiàn)代教育教學(xué)快速發(fā)展的現(xiàn)實需求，也是智能時代優(yōu)化教育供給模式、完善教育服務(wù)體系的重要依據(jù)。需要從宏觀層面構(gòu)建智能時代教育評價的邏輯框架，實現(xiàn)面向“教師、學(xué)生、學(xué)校、區(qū)域”的全方位測評，實現(xiàn)數(shù)據(jù)驅(qū)動的精準(zhǔn)化教育評價模式，推動評價方法的科學(xué)化;（5）變革教育科學(xué)研究范式。多模態(tài)數(shù)據(jù)的采集為教育研究的開展提供了多元的數(shù)據(jù)支持，對教育實證研究的開展帶來了新的發(fā)展契機，強化數(shù)據(jù)科學(xué)與教育研究的深度融合，實現(xiàn)數(shù)據(jù)驅(qū)動的“循證式”教育科學(xué)研究[31]，探究深層次的教育發(fā)展規(guī)律，為教育教學(xué)實踐活動的開展提供有益指導(dǎo)。

（五）面向多模態(tài)學(xué)習(xí)分析的數(shù)據(jù)安全和倫理道德規(guī)范

教育數(shù)據(jù)倫理是大數(shù)據(jù)時代教育領(lǐng)域關(guān)于道德重構(gòu)的哲學(xué)研究[32]，關(guān)注大數(shù)據(jù)從業(yè)人員的道德信念和行為規(guī)范，通過制定相應(yīng)的法律法規(guī)和行業(yè)規(guī)范，保障數(shù)據(jù)采集分析工作的開展能夠真正推動行業(yè)的良性發(fā)展。多模態(tài)學(xué)習(xí)分析研究開展需要在腦科學(xué)、認知科學(xué)、數(shù)據(jù)科學(xué)的指導(dǎo)下，借助多種智能傳感設(shè)備對學(xué)生進行多模態(tài)的數(shù)據(jù)采集，探究學(xué)習(xí)者的認知、行為、情感發(fā)展?fàn)顩r，進而為教師、學(xué)生、管理者提供智能化的教育支持服務(wù)。所需數(shù)據(jù)的多樣性、時序性、層次性將在極大程度上揭示個體學(xué)習(xí)發(fā)生的內(nèi)在機理，對人工智能時代的數(shù)據(jù)安全和倫理道德問題帶來極大挑戰(zhàn)。如何保證學(xué)習(xí)數(shù)據(jù)不被不法分子獲取，保障學(xué)習(xí)者的隱私不被披露，需要在政策層面加強教育大數(shù)據(jù)的立法工作，制定行業(yè)發(fā)展的職業(yè)道德規(guī)范，構(gòu)建面向?qū)嵺`層面的數(shù)據(jù)脫敏機制，明確教育主體的數(shù)據(jù)權(quán)力，形成行業(yè)工作人員可以遵循的行為規(guī)范，使得數(shù)據(jù)安全問題不會阻礙人工智能時代教育科學(xué)研究的開展。

五、總結(jié)和展望

多模態(tài)學(xué)習(xí)分析對于學(xué)習(xí)分析研究的開展具有多元的價值意蘊，能夠在極大程度上推動認知診斷、情感計算、交互分析、場景感知、學(xué)習(xí)者建模等研究領(lǐng)域的發(fā)展，為智能教育領(lǐng)域研究的開展提供理論和技術(shù)支持，有助于在更深層次上探究人工智能時代的學(xué)習(xí)發(fā)生機制，促進智能教育領(lǐng)域研究體系的變革。在智能技術(shù)快速發(fā)展的時代背景下，強化認知神經(jīng)科學(xué)理論與智能感知技術(shù)的深度融合，推動多模態(tài)學(xué)習(xí)分析在教育研究實踐中的廣泛應(yīng)用，促進其理論體系和技術(shù)模型的完善，將在極大程度上拓展學(xué)習(xí)分析的研究范疇，促進智慧教育生態(tài)的變革。后期將在現(xiàn)有研究的基礎(chǔ)上，強化對情感計算、情境感知、交互分析等具體應(yīng)用領(lǐng)域的探索，挖掘多模態(tài)學(xué)習(xí)分析的深層次價值內(nèi)涵和技術(shù)服務(wù)模式，加深對多模態(tài)學(xué)習(xí)分析機制的理解，推動多模態(tài)學(xué)習(xí)分析領(lǐng)域的長足發(fā)展。

參考文獻：

[1] Kress G，Leeuwen T V V.Multimodal discourse：the modes and media ofcontemporary communication [M].London：Edward Amold，2001.

[2]王慧君，王海麗.多模態(tài)視域下翻轉(zhuǎn)課堂教學(xué)模式研究[J]電化教育研究，2015.36（12）：70-76.

[3] Kress （;.MultimodalitTA Social Semiotic Approach to ContemporaryCommunication [J].Joumal of Ptagmatics，2010，43（14）：3624-3626.

[4] Lahat D，Adali T.et aI.Multimodal data fusion：an overviewof methods，challenges，and prospects [J].Proceedings of theIEEE.2015，103 （9）：1449-1477.

[5] Clark J M，Paivio A.Dual Coding Theory and Education [J].EducationalPsychological and Review，1991.2（3）：149-210.

[6] Mayer R E.Applying the science of learning to medical education[J]. Medical Education，2010.44（6）：543-549.

[7] Schnotz W.Bannert M.Construction and interferenc.e inlearning from multiple representation [J].Learning andInstruction.2003.13（2）： 141-156.

[8]李松清，趙慶柏等.多媒體學(xué)習(xí)中圖文加工的認知神經(jīng)機制[J].心理科學(xué)進展，2015.23（ 8）：1361-1370.

[9]張琪，李福華等.多模態(tài)學(xué)習(xí)分析：走向計算教育時代的學(xué)習(xí)分析 學(xué)[J].中國電化教育，2020，（9）：7-14+39.

[10]肖睿，肖海明等.人工智能與教育變革：前景、困難和策略[J]中國電化教育，2020，（4）：75-86.

[11]BaltruS aitis T，Ahuja C，et al.Multimodal Machine Leaming：A Surveyand Taxonomy [J].IEEE Transactions on Pattern Analysis and MachineIntelligence，2018.41（2）t423-443.

[12] Soleymani M.Carcia D.et aI.A survey of multimodal sentimentanalysis[J].lmage and Vision Computing，2017，65：3-14.

[13]田陽，陳鵬等.面向混合學(xué)習(xí)的多模態(tài)交互分析機制及優(yōu)化策略[J].電化教育研究，2019，40（9）：67-74.

[14] Wollmer M，Weninger F，et aI.YouTube Movie Reviews：SentimentAnalysis in an Audio-Visual Context [J].IEEE IntelligentSystems.2013，28（3）：46-53.

[15]鐘薇，李若晨等.學(xué)習(xí)分析技術(shù)發(fā)展趨向——多模態(tài)數(shù)據(jù)環(huán)境下的研究與探索[J]中國遠程教育，2018，（11）：41-49.

[16]李香勇，左明章等.學(xué)習(xí)分析的研究現(xiàn)狀與未來展望-2016年學(xué)習(xí)分析和知識國際會議述評[J]開放教育研究，2017，23（1）：46-55.

[17]吳永和，李若晨等.學(xué)習(xí)分析研究的現(xiàn)狀與未來發(fā)展——2017年學(xué)習(xí)分析與知識國際會議評析[J]開放教育研究，2017，23（5）：42-56.

[18]吳忭，彭曉玲等.教育研究的去蕪存菁之路：從多模態(tài)敘事到證據(jù)公平——美國AERA 2019年會述評[J].遠程教育雜志，2019，37（4）：13-23.

[19] Scherer S，Worsley M，et al.lst international workshop onmultimodal learning analytics [A].Proceedings of the 14th ACMinternational conference on multimodal interaction [C].NewYork：ACM.2012：353-356.

[20] Worsley M.Abrahamson D.et aI.Multiruodal learning analytics [A].Proceedings of the 12th International Conference of the LearningSciences，ICLS[C].New York：ACM.2016.1346-1349.

[21] Hossain M S.Muhammad G.Emotion recognition using deep learningapproach from audio-visual emotional hig data [J].lnformationFusion.2019.49：69-78.

[22] Korhonen H.Arrasvuori J.et al.Analysing user experience of personalmobile products through contextual factors [A].Proceedings of the 9thInternational Conference on Mohile and Ubiquitous Multimedia [C].Limassol，Cyprus：ACM.2010.1一10.

[23]田陽，萬青青等.多空間融合視域下學(xué)習(xí)環(huán)境及學(xué)習(xí)情境探究[J].中國電化教育，2020.（3）：123-130.

[24]黃濤，王一巖等.智能教育場域中的學(xué)習(xí)者建模研究趨向[J]遠程教育雜志，2020.38（1）：50-60.

[25]李松林課堂教學(xué)行為分析引論叫教育理論與實踐，2005，25（4）：48-51.

[26] Andrade A.Understanding student learning trajectories usingmultimodal learning analytics within an emhodied-interaction learningenvironment [A].Proceedings of the Seventh International LearningAnalytics&Knowledge Conference [C].Vancouvera：ACM.201 7.70-79.

[27]黃志芳，趙呈領(lǐng)等.基于情境感知的適應(yīng)性學(xué)習(xí)路徑推薦研究[J].電化教育研究，2015.36（5）：77-84.

[28]李逢慶，尹苗等智慧課堂生態(tài)系統(tǒng)的構(gòu)[J].中國電化教育，2020.（6}58-64.

[29]劉三女牙，李卿等.量化學(xué)習(xí)：數(shù)字化學(xué)習(xí)發(fā)展前瞻[J].教育研究，2016， 37（7）：119-126.

[30]劉邦奇.智能技術(shù)支持的“因材施教”教學(xué)模式構(gòu)建與應(yīng)用——以智慧課堂為例[J]中國電化教育，20207（9）：30-39.

[31]管玨琪，孫一冰等.智慧教室環(huán)境下數(shù)據(jù)啟發(fā)的教學(xué)決策研究[J].中國電化教育，2019，（2）：22-28+42.

[32]劉三女牙，楊宗凱等.教育數(shù)據(jù)倫理：大數(shù)據(jù)時代教育的新挑戰(zhàn)[J].教育研究，2017，38（4）：15-20.

作者簡介：

王一巖：在讀博士，研究方向為智能教育、情感計算。

王楊春曉：在讀博士，研究方向為教育認知神經(jīng)科學(xué)、科學(xué)教育。

鄭永和：教授，博士生導(dǎo)師，研究方向為智能教育、科學(xué)教育、教育信息科學(xué)與技術(shù)、科技與教育政策。