基于跨模態(tài)理解與重構(gòu)的適應(yīng)性數(shù)字教育資源：模型構(gòu)建與實踐框架

羅江華 張玉柳

摘要：數(shù)字教育資源在推進教育高質(zhì)量發(fā)展的過程中扮演著重要角色。人工智能時代，如何讓數(shù)字教育資源從之前的“讓人適應(yīng)”變?yōu)槟堋爸鲃舆m應(yīng)人”，是數(shù)字教育資源建設(shè)亟待解決的關(guān)鍵問題。隨著人工智能生成內(nèi)容（AIGC）應(yīng)用場景的持續(xù)拓展，跨模態(tài)理解與重構(gòu)技術(shù)為破解數(shù)字教育資源的適應(yīng)性問題提供了可行的技術(shù)支持。具體而言，就是主張“人—境—機—物”多主體協(xié)同，利用跨模態(tài)理解與重構(gòu)技術(shù)對復(fù)雜教育情境中的多模態(tài)教學(xué)行為和多模態(tài)數(shù)字教育資源進行智能挖掘和耦合計算，實現(xiàn)適用于人機協(xié)同環(huán)境的教育資源推薦，挖掘數(shù)字教育資源服務(wù)的供需適配關(guān)系，達成數(shù)字教育資源生成鏈的自我調(diào)度，由此即可構(gòu)建起適應(yīng)性數(shù)字教育資源模型。在實踐推進層面，應(yīng)構(gòu)建起包括數(shù)據(jù)采集層、智能分析層、規(guī)則約束層、應(yīng)用服務(wù)層四個層次的適應(yīng)性數(shù)字教育資源實踐框架，以期在對多模態(tài)教育資源和師生行為進行跨模態(tài)理解的基礎(chǔ)上，切實推進對數(shù)字教育資源的智能管理和個性化服務(wù)。

關(guān)鍵詞：跨模態(tài)重構(gòu)；跨模態(tài)理解；適應(yīng)性數(shù)字教育資源；人機協(xié)同；AIGC

中圖分類號：G434 ? 文獻標(biāo)識碼：A ? ?文章編號：1009-5195（2023）06-0091-11 ?doi10.3969/j.issn.1009-5195.2023.06.011

基金項目：國家社會科學(xué)基金2021年度教育學(xué)重點課題“以教育新基建支撐高質(zhì)量教育體系建設(shè)研究”（ACA210010）。

作者簡介：羅江華，博士，教授，博士生導(dǎo)師，西南大學(xué)西南民族教育與心理研究中心（重慶 400715）；張玉柳，博士研究生，西南大學(xué)西南民族教育與心理研究中心（重慶 400715）。

一、引言

在我國推進教育高質(zhì)量發(fā)展的過程中，數(shù)字教育資源扮演著重要角色。聚合起高質(zhì)量、體系化、多類型的數(shù)字教育資源，能有效推動教育資源的數(shù)字化與配置公平化，可滿足學(xué)習(xí)者個性化選擇的需求（懷進鵬，2023）。這意味著要全面提升數(shù)字教育資源服務(wù)的適應(yīng)性能力（羅江華等，2023），以科技創(chuàng)新為基點推動優(yōu)質(zhì)資源聚合，不斷提升數(shù)字教育資源的供需適配度（鄭永和等，2023），并加強對其的智能化組織管理和監(jiān)管評價（柯清超等，2023）。

跨模態(tài)理解與重構(gòu)是人工智能生成內(nèi)容（AI-Generated Content，AIGC）的關(guān)鍵技術(shù)，其引領(lǐng)的AIGC應(yīng)用效果和質(zhì)量大幅提升，應(yīng)用模式從專用走向通用，應(yīng)用流程從分發(fā)走向生成，應(yīng)用場景從單一走向多元（吳砥等，2023）。這些突破不僅為數(shù)字教育資源個性化服務(wù)提供了技術(shù)支撐，而且為破解數(shù)字教育資源的適應(yīng)性生成難題提供了可能。傳統(tǒng)數(shù)字教育資源服務(wù)雖然具有“人工累積、標(biāo)準(zhǔn)化供給”的鮮明特征，但也存在效率低和制作成本高的缺陷（陳明選等，2021）。而應(yīng)用跨模態(tài)理解與重構(gòu)技術(shù)，可幫助人機高質(zhì)量協(xié)作，更好地理解數(shù)字教育資源的屬性、資源關(guān)聯(lián)、語義信息，以及教學(xué)對象的行為意圖，處理和分析復(fù)雜教學(xué)過程中的多模態(tài)數(shù)據(jù)，通過迭代優(yōu)化智能生成數(shù)字教育資源，進而實現(xiàn)“知識魔法”，即根據(jù)師生的偏好和需求來提供個性化教育資源服務(wù)（楊欣，2023）。

本研究關(guān)注如何基于跨模態(tài)理解與重構(gòu)技術(shù)為師生生成適應(yīng)性數(shù)字教育資源。一方面，從多模態(tài)教學(xué)行為特征視角對數(shù)字教育資源應(yīng)用的復(fù)雜性進行深入探究，利用跨模態(tài)理解與重構(gòu)技術(shù)實現(xiàn)對多模態(tài)教學(xué)行為和多模態(tài)數(shù)字教育資源的系統(tǒng)化建模分析，并探究適應(yīng)性數(shù)字教育資源形成要素之間的交互作用模式；另一方面，挖掘適應(yīng)性數(shù)字教育資源生成及應(yīng)用的適配機理，并分析其對于人機協(xié)同教育生態(tài)發(fā)展的核心價值。

二、相關(guān)概念詮釋

1.跨模態(tài)理解與重構(gòu)

多模態(tài)和跨模態(tài)技術(shù)經(jīng)常被同時使用，以實現(xiàn)更全面、更準(zhǔn)確和更高效的信息處理和分析。多模態(tài)技術(shù)（Multimodal Technology）是一種使不同信息形態(tài)相互作用和協(xié)同的技術(shù)，旨在將文字、圖像、聲音和視頻等加以集成和融合，從而提供更豐富、靈活和個性化的交互體驗和表達方式（吳友政等，2022）。而跨模態(tài)技術(shù)（Cross-Modal Technology）則是一種在不同感知模態(tài)之間進行信息交換和處理的技術(shù)，旨在將不同感知模態(tài)的信息進行相互轉(zhuǎn)換和整合（陳寧等，2021）。由此可見，多模態(tài)技術(shù)注重如何融合和整合不同模態(tài)的信息，而跨模態(tài)技術(shù)則側(cè)重如何建立不同模態(tài)數(shù)據(jù)之間的聯(lián)系和橋梁。

多模態(tài)與跨模態(tài)技術(shù)的持續(xù)發(fā)展和廣泛應(yīng)用催生了跨模態(tài)理解與重構(gòu)的進化?？缒B(tài)理解（Cross-Modal Understanding）是指在多個不同的感知模態(tài)之間建立聯(lián)系，目的是將不同感知模態(tài)的信息進行整合，以促進更加全面、準(zhǔn)確的理解和推理（Liu et al.，2021）。例如，將文章中的圖片、視頻等多模態(tài)元素與文章內(nèi)容結(jié)合起來，就可更好地把握文章主旨。跨模態(tài)重構(gòu)（Cross-Modal Reconstruction）是指利用一種或多種感知模態(tài)的信息來生成另一種感知模態(tài)的信息，目的是利用不同感知模態(tài)之間的相互關(guān)系來彌補信息缺失或豐富信息表達（Choi et al.，2020）。例如，將音頻轉(zhuǎn)化為視頻，或?qū)D像轉(zhuǎn)化為三維模型。

2.適應(yīng)性數(shù)字教育資源

適應(yīng)性被認(rèn)為是數(shù)字資源服務(wù)的重要發(fā)展方向，旨在提升數(shù)字交互的匹配度和友好性，其重點是以師生興趣為導(dǎo)向（Mérida et al.，2010）。Rozo等（2019）認(rèn)為適應(yīng)性數(shù)字教育資源應(yīng)當(dāng)突出資源使用情境、內(nèi)容表示、界面呈現(xiàn)和流程提示，其設(shè)計目的是增強學(xué)習(xí)體驗，引導(dǎo)學(xué)生在學(xué)習(xí)活動中自定步調(diào)進行學(xué)習(xí)。羅江華等（2022）強調(diào)應(yīng)以師生真實需求和個性特征為數(shù)字教育資源服務(wù)的前提，重點提升數(shù)字教育資源生成與教學(xué)應(yīng)用之間的適配性。

從發(fā)展趨勢看，適應(yīng)性數(shù)字教育資源的建設(shè)和應(yīng)用已經(jīng)超越了作為“資源平臺和資源池”的初級階段，現(xiàn)已建立起多主體協(xié)同、跨模態(tài)耦合和適應(yīng)性增強的計算模型，并且強調(diào)“模型即服務(wù)”（楊洋等，2022）。在這個服務(wù)過程中，如何促進多模態(tài)資源的有效識別、轉(zhuǎn)化與匯聚，是滿足師生對資源個性化需求的關(guān)鍵。這在本質(zhì)上是數(shù)字教育資源的跨模態(tài)生成，即將不同模態(tài)的資源進行有機融合，以生成新的、具有豐富信息且適配于教學(xué)活動的跨模態(tài)數(shù)據(jù)（?elaszczyk et al.，2023）。更為重要的是，適應(yīng)性數(shù)字教育資源的組織與應(yīng)用，需從跨模態(tài)實體語義關(guān)系知識模型出發(fā)，引入面向教學(xué)場景的師生用戶模型與智能計算服務(wù)框架（林健等，2022）；還需依據(jù)學(xué)習(xí)者特征實現(xiàn)資源的適應(yīng)性設(shè)計、生成與供給的智能服務(wù)，尤其要重點設(shè)計“內(nèi)容”與“結(jié)構(gòu)”松耦合的適應(yīng)性學(xué)習(xí)資源模型（王琦等，2022）。

三、適應(yīng)性數(shù)字教育資源的價值定位

推進適應(yīng)性數(shù)字教育資源建設(shè)，已成為教育數(shù)字化行動戰(zhàn)略的關(guān)鍵環(huán)節(jié)。具體來說，探究教育資源智能化服務(wù)過程中的人機交互規(guī)律，明確了解、理解和響應(yīng)師生需求，提升數(shù)字教育資源的交互性與適配程度，既是數(shù)字教育資源服務(wù)質(zhì)量提升的目標(biāo)，也是適應(yīng)性數(shù)字教育資源的價值指向。

1.切實推進人機協(xié)同環(huán)境下的教育資源推薦

伴隨智能技術(shù)深度介入教育情境，構(gòu)建人機協(xié)同學(xué)習(xí)的智慧教育情境（彭紅超等，2018）變得越來越容易。此種情境下，人和機之間的互動不是簡單的機械式操作，而是一種共軛共生的關(guān)系，即以人的價值為根本遵循，借助智能技術(shù)實現(xiàn)個體的自我發(fā)展（艾興等，2020）。適應(yīng)性數(shù)字教育資源模型的運行機制便是一種借助技術(shù)的中介效應(yīng)打破人、機與物之間的邊界，探析“人—境—機—物”多主體之間復(fù)雜信息交換和多元交互的機制。其主要體現(xiàn)在三個方面：在適應(yīng)性數(shù)字教育資源的數(shù)據(jù)采集與理解階段，人機協(xié)同是師生主觀感知和智能傳感器采集信息的有效聚合。在信息處理階段，人機協(xié)同是將師生行為特征、教育資源與機器強大的算力結(jié)合起來，進而建構(gòu)新的資源適應(yīng)性推薦途徑。在數(shù)據(jù)輸出階段，人機協(xié)同是將教育教學(xué)的發(fā)展規(guī)律和機器的算法決策相聯(lián)結(jié)，從而助益教育資源應(yīng)用的優(yōu)化與決策（劉偉，2021）。

2.精準(zhǔn)反饋數(shù)字教育資源服務(wù)的供需適配關(guān)系

由于“技術(shù)是工具”的論斷并沒有充分考慮教育對象的意向性，因而導(dǎo)致技術(shù)的情境適應(yīng)性缺失的問題（蔡連玉等，2023）。近來已有研究關(guān)注到師生行為需求對于提升個性化教育資源服務(wù)效率具有積極作用，但領(lǐng)域知識組織架構(gòu)中知識來源類型單一、更新緩慢以及師生特征識別率不高等問題，已成為阻礙教育資源應(yīng)用效率提升的關(guān)鍵原因。而適應(yīng)性數(shù)字教育資源的研究正是依托數(shù)據(jù)科學(xué)和人工智能技術(shù)支持，利用先進的感知技術(shù)和數(shù)據(jù)挖掘方法，對師生多模態(tài)教學(xué)行為和多模態(tài)數(shù)字教育資源進行多層次、細(xì)粒度的精準(zhǔn)建模，即從師生需求側(cè)和資源供給側(cè)兩方面進行耦合計算，動態(tài)反饋數(shù)字教育資源服務(wù)的供需適配關(guān)系，以便在數(shù)字教育環(huán)境下實現(xiàn)資源的精準(zhǔn)適配和定制，推動數(shù)字教育資源的形式多樣化、內(nèi)容境遇化、交互動態(tài)化以及服務(wù)智能化。

3.真正實現(xiàn)數(shù)字教育資源生成鏈的自我調(diào)度

人工智能技術(shù)在很大程度上已變革了教育教學(xué)的組織方式，其技術(shù)整合范式強調(diào)多通道推送知識和技術(shù)，重視利用數(shù)字技術(shù)賦能數(shù)字教育資源動態(tài)、靈活地自我組織，以促進學(xué)生對知識的深度習(xí)得（蔡連玉等，2023）。適應(yīng)性數(shù)字教育資源服務(wù)的核心是基于人工智能算法賦能數(shù)字教育資源生成、流轉(zhuǎn)和應(yīng)用等全流程智能化。從資源生成鏈的角度來看，適應(yīng)性數(shù)字教育資源提供了更加靈活的資源生成和管理方式，其優(yōu)點在于能夠為數(shù)字教育資源生成提供更好的自我調(diào)度功能，提高數(shù)字教育資源的多模態(tài)融合度和復(fù)用性。同時，適應(yīng)性數(shù)字教育資源也能更好地管理數(shù)字教育資源的生命周期，及時更新和優(yōu)化資源內(nèi)容和形式，實現(xiàn)對適應(yīng)性數(shù)字教育資源服務(wù)涉及的數(shù)據(jù)流、算法流、知識流等多層次和多維度的理解、優(yōu)化及數(shù)據(jù)化表征，提高數(shù)字教育資源的豐富性和實用性，滿足師生多樣化的教與學(xué)需求。

四、基于跨模態(tài)理解與重構(gòu)的適應(yīng)性數(shù)字教 育資源模型構(gòu)建

智慧教學(xué)是由“人—機—物”等多主體在“物理—信息—心理”等多空間相互作用的復(fù)雜過程，面臨多空間融合、多主體協(xié)同、多環(huán)節(jié)匯通、多模式適配等挑戰(zhàn)（劉三女牙等，2021）。同理，適應(yīng)性數(shù)字教育資源的生成亦可以認(rèn)為是在“人—境—機—物”等多主體協(xié)同下，有效實現(xiàn)資源多元化和師生意向性全面融合的過程（闕玉葉，2022）。為指導(dǎo)具體實踐活動，須建構(gòu)基于跨模態(tài)理解與重構(gòu)的適應(yīng)性數(shù)字教育資源模型，詮釋適應(yīng)性數(shù)字教育資源動態(tài)生成的內(nèi)在機理。

1.設(shè)計理念：資源“適應(yīng)”人的意向性

迄今為止，對于人類主體性的強調(diào)是人工智能時代的一個關(guān)鍵議題。“以人為本”標(biāo)尺下的人機協(xié)同，是現(xiàn)階段人工智能在教育領(lǐng)域內(nèi)“植入”式發(fā)展的必由之路（喻國明，2022）。傳統(tǒng)的教育資源供給通常是固定的、預(yù)設(shè)的，師生只能按照既定步驟和內(nèi)容進行學(xué)習(xí)和實踐。隨著人工智能生成內(nèi)容技術(shù)的發(fā)展，有必要通過精準(zhǔn)理解師生多模態(tài)教學(xué)行為，探明其具體的資源需求，把握其資源意向與資源智能推送之間的適配關(guān)系。只有當(dāng)師生積極表達自己的資源需求，以及計劃如何發(fā)展新的知識時，適應(yīng)性數(shù)字教育資源才能更好地進行定制化生成。因此，適應(yīng)性數(shù)字教育資源模型應(yīng)當(dāng)遵循資源“適應(yīng)”人的設(shè)計理念，考慮如何依據(jù)師生的需求和反饋信息進行資源的智能組織和推薦優(yōu)化，從而靈活、智能地為師生提供生成性教育資源。

2.要素篩選：適應(yīng)性數(shù)字教育資源模型分析

通過梳理和分析自2010年以來國際上主流的適應(yīng)性教育資源模型（見表1）發(fā)現(xiàn)，其共同涉及的關(guān)鍵要素可以概括為：人（學(xué)生與老師）、境（教育情境）、機（智能設(shè)備與技術(shù)）、物（教育資源）四個方面。厘清各關(guān)鍵要素的潛在特征及其交互作用機制，是適應(yīng)性數(shù)字教育資源有效生成的重要前提。

（1）人：學(xué)生與教師

人是教育的主體，本研究中主要指教師和學(xué)生。教師是教學(xué)活動的組織者與指導(dǎo)者，其外顯行為主要包括話語、肢體動作、教學(xué)設(shè)備使用以及與學(xué)生的互動情況等。學(xué)生是學(xué)習(xí)活動的主體，其外顯行為表現(xiàn)為表情、話語、學(xué)習(xí)風(fēng)格、學(xué)習(xí)日志、身體動作，以及與學(xué)習(xí)終端、教師或其他感知設(shè)備的交互等；其內(nèi)隱行為表現(xiàn)為認(rèn)知、情感、動機以及生理特征等。

（2）境：教育情境

“境”通常是指教育活動所發(fā)生的場所和環(huán)境，包括傳統(tǒng)的課堂教學(xué)場景、實驗室教學(xué)場景、實習(xí)教學(xué)場景、在線學(xué)習(xí)場景以及虛擬教學(xué)場景等，具有多樣性和復(fù)雜性。在教育情境中，師生通過進行有效的教學(xué)和學(xué)習(xí)活動，可實現(xiàn)知識的傳遞和學(xué)習(xí)目標(biāo)的達成。

（3）機：智能設(shè)備與技術(shù)

“機”是指支持教與學(xué)的智能技術(shù)或應(yīng)用設(shè)備，本研究中主要是指利用智能設(shè)備與技術(shù)等對多模態(tài)數(shù)據(jù)進行挖掘分析。具體而言，智能設(shè)備主要是指通過計算機技術(shù)和傳感器技術(shù)實現(xiàn)自主智能的設(shè)備，如智能學(xué)習(xí)設(shè)備、VR頭盔、眼動儀、高清攝像頭等，其通常擁有高度的聯(lián)網(wǎng)能力，可通過互聯(lián)網(wǎng)與其他設(shè)備及云端服務(wù)進行交互，從而提供更加智能化的服務(wù)。而智能技術(shù)則是指利用人工智能、大數(shù)據(jù)、機器學(xué)習(xí)、自然語言處理等技術(shù)，對資源數(shù)據(jù)進行處理和挖掘，從而實現(xiàn)智能化的資源組織與決策。

（4）物：適應(yīng)性數(shù)字教育資源

“物”主要是指適應(yīng)性數(shù)字教育資源，其能夠根據(jù)多模態(tài)教學(xué)行為特征，自動適應(yīng)人的意向并生成智能化組織的數(shù)字教育資源。適應(yīng)性數(shù)字教育資源的應(yīng)用范圍非常廣泛，既可應(yīng)用于各級各類教育階段和學(xué)科領(lǐng)域，為學(xué)生提供更加個性化的教育服務(wù)，幫助學(xué)生更好地掌握知識和技能；同時也可為教師提供更具針對性的教學(xué)方案和資源，提高教學(xué)效果和質(zhì)量。適應(yīng)性數(shù)字教育資源具有三方面的特點：一是通過改變內(nèi)容結(jié)構(gòu)邏輯及知識組織方式體現(xiàn)其復(fù)合性，二是通過提升多元化的內(nèi)容生產(chǎn)體現(xiàn)其多樣性，三是通過提升資源育人的功能效果體現(xiàn)其增值性。

3.模型構(gòu)建：基于跨模態(tài)理解與重構(gòu)的適應(yīng)性數(shù)字教育資源建模

結(jié)合馬海云等（2022）所設(shè)計的面向知識服務(wù)的領(lǐng)域知識結(jié)構(gòu)，本研究首先對適應(yīng)性數(shù)字教育資源中的知識組織進行了分層聚類，在此基礎(chǔ)上構(gòu)建了如圖1所示的基于跨模態(tài)理解與重構(gòu)的適應(yīng)性數(shù)字教育資源模型，以探析適應(yīng)性數(shù)字教育資源的動態(tài)生成機制。

（1）多主體協(xié)同

在人工智能為教育領(lǐng)域全面賦能的背景下，傳統(tǒng)的“師生”二元關(guān)系逐漸被“人—境—機—物”多主體協(xié)同互動的新型關(guān)系所取代，且貫穿當(dāng)前數(shù)字化教學(xué)的全過程（張樂樂等，2022）。在“人—境—機—物”多主體協(xié)同互動的智慧教學(xué)中，只有實現(xiàn)了不同主體間數(shù)據(jù)的共享和互通，才能實現(xiàn)人與“機”、人與“物”之間的協(xié)同，即“機”要為不同“境”下的人提供智能化和個性化的“物”。

（2）跨模態(tài)耦合

適應(yīng)性數(shù)字教育資源的動態(tài)能力形成需依據(jù)智能技術(shù)對多模態(tài)教育資源和多模態(tài)教學(xué)行為分別進行理解和表征。如圖1所示，跨模態(tài)數(shù)據(jù)理解能力U可以分為跨模態(tài)師生行為理解能力U1和跨模態(tài)數(shù)字教育資源理解能力U2兩種子能力，耦合兩種理解能力能夠形成跨模態(tài)教育資源重構(gòu)能力R，R可表示為公式（1）：

R＝f（U1，U2） ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

其中，f（·）表示跨模態(tài)數(shù)據(jù)理解能力對跨模態(tài)教育資源重構(gòu)能力的影響函數(shù)?；诳缒B(tài)重構(gòu)生成的數(shù)字教育資源可以有效反映出適應(yīng)性數(shù)字教育資源的動態(tài)能力D，D可表示為公式（2）：

D＝g（R） ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（2）

其中，g（·）表示跨模態(tài)數(shù)字教育資源重構(gòu)能力對適應(yīng)性數(shù)字教育資源動態(tài)能力的影響函數(shù)。由此適應(yīng)性數(shù)字教育資源的動態(tài)能力可表示為公式（3）：

D＝g（R）＝g（f（U1，U2）） ? ? ? ? ? ?（3）

跨模態(tài)師生行為理解能力與跨模態(tài)數(shù)字教育資源理解能力通過跨模態(tài)數(shù)字教育資源重構(gòu)能力相互耦合，形成適應(yīng)性數(shù)字教育資源的動態(tài)能力，其生成機理符合楊現(xiàn)民等所提出的資源進化模式（楊現(xiàn)民等，2011）。其中，跨模態(tài)資源理解屬于其“資源的內(nèi)容進化”模式，即“量變”；跨模態(tài)資源重構(gòu)屬于其“資源的關(guān)聯(lián)進化”模式，即“質(zhì)變”，“量質(zhì)并舉”形成了適應(yīng)性數(shù)字教育資源高效生成的動態(tài)能力。

跨模態(tài)數(shù)據(jù)理解包括多模態(tài)教育資源和多模態(tài)教學(xué)行為理解兩種類型，如圖2所示，其主要目的是對不同模態(tài)的數(shù)據(jù)進行識別、理解與融合，以此作為后續(xù)數(shù)字教育資源適應(yīng)性重構(gòu)的基礎(chǔ)?？缒B(tài)數(shù)據(jù)理解類似于企業(yè)中通常遵循的資源編排理論，根據(jù)發(fā)展需求對不同表現(xiàn)形式的資源進行識別、理解后的拆解、重構(gòu)，從而改變數(shù)字內(nèi)容的生產(chǎn)邏輯及形式。

跨模態(tài)資源理解是為了保障跨模態(tài)資源消除冗余，降低不必要的復(fù)雜度，以及提高數(shù)字資源的高韌性和可理解性。通常來說，一個知識點可以用含有其語義信息的圖片、文本、音視頻等不同模態(tài)的資源來表示。在對齊序列場景下，若干個多模態(tài)數(shù)據(jù)組成一組，使用單模態(tài)編碼器處理輸入文本、音頻、視頻和圖像等模態(tài)信息后，可得到初始文本嵌入T＝{t1，...，tn}、音頻嵌入A＝{a1，...，an}，視頻嵌入V＝{v1，...，vn}和圖像嵌入I＝{i1，...，in}等。為了建模文本、視覺和音頻之間的跨模態(tài)交互，引入基于Transformer的跨模態(tài)編碼器將多模態(tài)表征的高維稀疏特征向量轉(zhuǎn)換為低維稠密特征向量，并映射到一個統(tǒng)一的表征空間。然后通過跨模態(tài)關(guān)聯(lián)建模獲取具有語義一致性的跨模態(tài)資源，進而增強后續(xù)生成內(nèi)容的內(nèi)在邏輯性。此外，對于學(xué)習(xí)資源內(nèi)容的上下文表征M可用公式（4）表示，其中[；]表示組合操作（Liu et al.，2021）。

M＝CrossEncoder（[T；A；V；…；I]） ? ? ?（4）

除了綜合跨模態(tài)教育資源的語義關(guān)聯(lián)，還需集約師生的資源需求，這是一個更復(fù)雜的多模態(tài)信息處理問題?？缒B(tài)教學(xué)行為理解與跨模態(tài)資源理解的技術(shù)實現(xiàn)過程大體一致，既要正確理解師生資源需求，也要更好地表示和記錄師生的多模態(tài)教學(xué)行為數(shù)據(jù)，尤其要重點關(guān)注師生的心理、認(rèn)知、情感狀態(tài)，從而建立物理空間、生理空間、心理空間、數(shù)字空間四位一體的資源需求理解機制。

教育資源蘊含著多元價值，跨模態(tài)資源重構(gòu)可以實現(xiàn)多種表現(xiàn)形式的學(xué)習(xí)資源的轉(zhuǎn)換、重構(gòu)和生成，為師生提供最適合他們需求的資源服務(wù)。跨模態(tài)資源重構(gòu)更關(guān)注全局信息，其核心是“應(yīng)變”，需依據(jù)跨模態(tài)師生行為理解和跨模態(tài)教育資源理解的量化表征而生成適應(yīng)性教育資源。其中，資源重構(gòu)能力是教育資源動態(tài)能力的低階構(gòu)成（Teece et al.，1997）。資源重構(gòu)具有兩個維度，即資源重組（Recombination）與資源重置（Reallocation）（Karim，2006）。資源重組涉及資源之間的相互作用，旨在使資源之間重新組合形成新的資源，類似于資源之間所發(fā)生的“化學(xué)變化”。資源重置不涉及資源之間的相互作用，僅指通過融合或精簡的方式對資源進行重新分配，類似于資源之間所發(fā)生的“物理變化”（Karim et al.，2004）。在本研究中，資源重構(gòu)是指對已有教育資源進行優(yōu)化和重組并生成適應(yīng)性資源的技術(shù)。其流程如圖3所示。

鑒于不同模態(tài)的資源在具體事件和應(yīng)用中具有高度相關(guān)性，因此為了更好地以師生的意向性為導(dǎo)向從中抽取具有因果性、區(qū)分性、顯著性和魯棒性的有效特征，研究將跨模態(tài)資源語義圖譜假設(shè)為Gr＝G（Vr，Er），其中Vr是節(jié)點集合，Er是邊集合；將跨模態(tài)師生特征圖譜假設(shè)為Gf＝（Vf，Ef），其中Vf是節(jié)點集合，Ef是邊集合；通過利用Gr和Gf對多模態(tài)教育資源進行跨模態(tài)重構(gòu)，即可生成適應(yīng)性數(shù)字教育資源，步驟如下：

第一，將跨模態(tài)資源語義圖譜和跨模態(tài)師生特征圖譜進行關(guān)聯(lián)，以獲取耦合圖譜G＝（V，E），其中V＝Vr∪Vf，表示節(jié)點集合的并集；E＝Er∪Ef，表示邊集合的并集。然后利用加權(quán)鄰接矩陣A∈Rn×n來表征耦合圖譜的結(jié)構(gòu)，其中n＝|V|，表示耦合圖譜中的節(jié)點數(shù)量。A中的每個元素aij表示節(jié)點i和節(jié)點j之間的連接權(quán)重。

第二，將耦合圖譜G中的節(jié)點特征表示為一個矩陣X∈Rn×d，其中d是節(jié)點特征的維度；再將節(jié)點i的特征表示為xi∈Rd。具體地，對于跨模態(tài)資源語義圖譜中的節(jié)點，利用其語義信息來表示其特征；對于跨模態(tài)師生特征圖譜中的節(jié)點，利用其教學(xué)行為和應(yīng)用語境信息來表示其特征。

第三，使用圖卷積神經(jīng)網(wǎng)絡(luò)（Graph Convolution Network，GCN）對耦合圖譜進行表示和學(xué)習(xí)（Kipf et al.，2016），定義每個圖卷積層的傳播規(guī)則為公式（5）：

第四，利用節(jié)點表示矩陣H（L），通過注意力機制、多層感知器等進行資源內(nèi)容預(yù)選，對數(shù)值、時間等類型數(shù)據(jù)進行推理，實現(xiàn)聯(lián)合訓(xùn)練和優(yōu)化，從而克服多模態(tài)資源之間的異構(gòu)鴻溝。同時定義一個前向傳播函數(shù)f∶H（L）→Y，其中Y表示生成的適應(yīng)性數(shù)字教育資源的概率分布；f（·）定義為公式（6）：

f（H（L））＝softmax（MLP（ATT（H（L））））（6）

其中，ATT是注意力機制（Attention），它可以為每個節(jié)點計算一個權(quán)重向量，表示該節(jié)點在生成適應(yīng)性數(shù)字教育資源時的重要程度。對于節(jié)點i，其權(quán)重向量為ai。注意力機制的計算如公式（7）所示，Hi（L）表示第i個節(jié)點在GCN的第L層中學(xué)習(xí)得到的特征向量，softmax（ai）表示節(jié)點i的權(quán)重，可以通過一個多層感知器學(xué)習(xí)得到。

ATT（H（L））＝∑i=1 softmax（ai）Hi（L）（7）

另外，MLP是多層感知器，用于將節(jié)點的上下文表示映射到適應(yīng)性數(shù)字教育資源的空間中。對于節(jié)點i，其上下文可表示為ci＝MLP（ATT（H（L））||Hi（L）），其中||表示向量的拼接操作，MLP可以包含多個全連接層和激活函數(shù)，也可通過反向傳播算法學(xué)習(xí)得到。

通過注意力機制，對節(jié)點表示矩陣H（L）進行加權(quán)平均，還可得到每個節(jié)點的上下文表示。通過多層感知器，將節(jié)點的上下文表示映射到適應(yīng)性數(shù)字教育資源的空間中，最終通過softmax函數(shù)生成概率分布。softmax是一種激活函數(shù)，可以將任意實數(shù)向量轉(zhuǎn)化為概率分布，即保證每個元素的概率都在[0，1]之間且概率和為1。

第五，使用交叉熵?fù)p失函數(shù)衡量基于模型生成的適應(yīng)性數(shù)字教育資源與其實際滿足師生資源需求之間的差異，以便對生成的適應(yīng)性數(shù)字教育資源進行訓(xùn)練和優(yōu)化。交叉熵?fù)p失函數(shù)定義為公式（8）：

綜上所述，我們可以利用公式（11）表示如何基于跨模態(tài)資源語義圖譜和跨模態(tài)師生特征圖譜對跨模態(tài)教育資源進行重構(gòu)，從而為師生生成適應(yīng)性數(shù)字教育資源。

Y＝f（H（L））＝softmax（MLP（ATT（H（L）） ?） ） （11）

其中，H（L）是耦合圖譜經(jīng)過多層GCN網(wǎng)絡(luò)學(xué)習(xí)得到的節(jié)點表示矩陣，f是前向傳播函數(shù)。

通過以上過程，可為師生提供的適應(yīng)性數(shù)字教育資源包括重新排列和組合的原始資源的不同部分、添加的新的圖像、音頻或視頻元素等，以使其更適合師生的特定需求，并在共享和復(fù)用過程中實現(xiàn)其價值增值（楊文正等，2018）。

（3）適應(yīng)性增強

動態(tài)能力理論致力于研究一個組織面對一個快速變化的環(huán)境所擁有的改變、更新和創(chuàng)造新資源的能力（Teece，2000）。資源視角下的動態(tài)能力主要由三個維度構(gòu)成：一是快速識別和理解有價值資源的能力，二是有效獲取有價值資源的能力，三是匯聚、重構(gòu)資源以維持優(yōu)勢的能力（Teece，2007）。教育資源具有動態(tài)能力意味著教育領(lǐng)域能夠?qū)Y源進行數(shù)智化組織與重新配置，進而實現(xiàn)對資源智能服務(wù)模式的有效創(chuàng)新。簡而言之，適應(yīng)性數(shù)字教育資源的適應(yīng)性增強體現(xiàn)了其動態(tài)能力的高階性，以及對于師生教學(xué)行為需求特征挖掘的成熟度和資源理解與重構(gòu)的成熟度。

教育資源是知識的重要載體，學(xué)習(xí)資源與知識本體的結(jié)合是未來學(xué)習(xí)技術(shù)標(biāo)準(zhǔn)的一大發(fā)展趨勢（趙厚福等，2010）。適應(yīng)性教育資源的形成，即是以知識單元為單位的資源增值服務(wù)，其知識組織分為四個層次：知識信息層、核心要素層、問題求解層以及補全擴展層。其中，知識信息層包含了知識的概念、屬性以及載體類型等特征，完整地反映了某一領(lǐng)域資源的知識信息。知識信息層是構(gòu)成多模態(tài)領(lǐng)域知識的最小單位，也是領(lǐng)域知識結(jié)構(gòu)的基礎(chǔ)。核心要素層通過對多模態(tài)領(lǐng)域知識基礎(chǔ)細(xì)節(jié)層中的各個特征進行編碼處理，篩選出領(lǐng)域知識的核心要素，由此構(gòu)成了反映多模態(tài)領(lǐng)域知識的核心內(nèi)容。問題求解層是在核心要素層的基礎(chǔ)上，根據(jù)師生教學(xué)行為需求進行跨模態(tài)知識單元的重構(gòu)，以便形成能夠解決師生實際問題的知識單元。補全擴展層是在對多模態(tài)知識單元以及師生行為需求進行匹配計算后，通過不斷更新和優(yōu)化資源以補全或擴展教育資源庫，使其更加貼近師生動態(tài)變化的資源需求。在知識組織層次分類技術(shù)的支撐下，適應(yīng)性數(shù)字教育資源服務(wù)不僅能為師生提供一份生成性的教育資源，還能從全流程視角觀照師生資源需求、進行資源匹配、實現(xiàn)資源重構(gòu)以及個性化和智能化推送。當(dāng)對師生需求挖掘的成熟度和資源理解與重構(gòu)的成熟度越來越高時，適應(yīng)性數(shù)字教育資源的動態(tài)能力也會不斷增強。這種持續(xù)發(fā)展的能力可表示為：適應(yīng)性數(shù)字教育資源的動態(tài)能力∝f（師生需求挖掘的成熟度，資源理解與重構(gòu)的成熟度）＋ε，其中，f（·）在一般情況下是一個回歸函數(shù)，ε表示適應(yīng)性數(shù)字教育資源動態(tài)能力的基線水平。

五、基于跨模態(tài)理解與重構(gòu)的適應(yīng)性數(shù)字教 育資源實踐框架

在提升數(shù)字教育資源服務(wù)質(zhì)量的過程中，資源的智能組織和服務(wù)策略是同等重要的，因此還需要以適應(yīng)性為主旨構(gòu)建實踐框架。盡管已有學(xué)者從“數(shù)據(jù)發(fā)現(xiàn)、數(shù)據(jù)融合、數(shù)據(jù)利用”方面梳理了教育資源的實踐框架（Shankar et al.，2019）；但如何融合師生多模態(tài)行為分析，有效提升數(shù)字教育資源的識別、理解、轉(zhuǎn)化、重構(gòu)、生成與高效應(yīng)用，仍是構(gòu)建數(shù)字教育資源實踐框架的關(guān)鍵（Hercheui et al.，2020；Mikalef et al.，2021）。本研究從數(shù)據(jù)采集、智能分析、規(guī)則約束和應(yīng)用服務(wù)四個方面，構(gòu)建了如圖4所示的基于跨模態(tài)理解與重構(gòu)的適應(yīng)性數(shù)字教育資源實踐框架。

1.數(shù)據(jù)采集層：多模態(tài)教育資源和師生行為采集

適應(yīng)性數(shù)字教育資源的智能呈現(xiàn)既需要對師生行為與教育資源的關(guān)聯(lián)表征，也需要大量師生內(nèi)隱與外顯行為，以及資源的多維數(shù)據(jù)指標(biāo)的支持。數(shù)據(jù)采集層主要針對教育情境下的多模態(tài)教育資源和多模態(tài)教學(xué)行為進行全方位、伴隨式數(shù)據(jù)采集。針對師生行為數(shù)據(jù)，主要利用多模態(tài)學(xué)習(xí)分析方法對“人—境—機—物”多主體協(xié)同進行精準(zhǔn)分析，通過傳感器、監(jiān)控器、智能學(xué)習(xí)設(shè)備等方式采集不同學(xué)習(xí)空間的行為數(shù)據(jù)，以便形成多模態(tài)行為可計算的表征模式。針對多模態(tài)教育資源，主要依托國家智慧教育公共服務(wù)體系，匯集多類型、多尺度、多時相的多源異構(gòu)數(shù)據(jù)源（如文本、視頻、音頻和圖像等），通過爬蟲或API等方式獲取。在數(shù)據(jù)采集的過程中，還需要保證數(shù)據(jù)的質(zhì)量、安全性和隱私。

2.智能分析層：基于多模態(tài)數(shù)據(jù)的理解與適應(yīng)性重構(gòu)

智能分析層主要通過人工智能等技術(shù)進行模型訓(xùn)練和優(yōu)化，深度挖掘不同模態(tài)的師生行為需求和教育資源信息并對其進行高效關(guān)聯(lián)，以此對適應(yīng)性數(shù)字教育資源的動態(tài)能力生成進行深入分析。在應(yīng)用數(shù)字教育資源時，應(yīng)充分考慮師生行為特征對于適應(yīng)性重構(gòu)的需求，跳出模式的“深井”，融合用戶行為需求與場景語義的資源分片、知識標(biāo)注、構(gòu)件裝配等深加工技術(shù)（劉三女牙等，2021）。研究采用Encoder-Decoder架構(gòu)對多模態(tài)數(shù)字教育資源進行智能分析：首先，使用單模態(tài)編碼器提取輸入文本、圖像和音頻等的表示。其次，運用Embedding處理/操作將不同模態(tài)的數(shù)據(jù)合并成一個張量。然后，使用Transformer編碼器處理文本、圖像和音頻等內(nèi)容之間的交互，得到多模態(tài)數(shù)字教育資源的統(tǒng)一表征。同理，多模態(tài)教學(xué)行為的智能分析亦使用Transformer編碼器，通過處理師生多模態(tài)教學(xué)行為之間的交互，可得到多模態(tài)行為數(shù)據(jù)的統(tǒng)一表征。最后，基于兩個跨模態(tài)解碼器對數(shù)字教育資源進行適應(yīng)性重構(gòu)，從而生成符合師生意向的教育資源。在適應(yīng)性重構(gòu)過程中，還可以使用不同的神經(jīng)網(wǎng)絡(luò)模型，根據(jù)需要設(shè)計合適的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)配置，以實現(xiàn)對適應(yīng)性數(shù)字教育資源的智能推送。

3.規(guī)則約束層：資源生成中的質(zhì)量監(jiān)控與倫理安全

技術(shù)的邏輯在于成功與高效，即“成事”與“成物”，但教育的邏輯在于“成人”（李政濤，2020）?；诳缒B(tài)理解與重構(gòu)技術(shù)生成的適應(yīng)性數(shù)字教育資源依賴于多模態(tài)大模型的優(yōu)勢特征（Luo et al.，2020；Huang et al.，2023）。它在為師生的教與學(xué)提供諸多便利的同時，也面臨如何在資源生成過程中發(fā)揮育人功能和保障數(shù)據(jù)安全等挑戰(zhàn)。而且適應(yīng)性數(shù)字教育資源的生成對數(shù)據(jù)的多樣性、時序性和層次性的要求很高。若對數(shù)據(jù)的采集、獲取和使用方式不加以約束，將在很大程度上造成師生隱私的泄露，并導(dǎo)致人在創(chuàng)新活動中的主體地位出現(xiàn)階梯式消解（李建中，2019）。除此之外，適應(yīng)性數(shù)字教育資源的生成和應(yīng)用還涉及知識產(chǎn)權(quán)、認(rèn)證標(biāo)準(zhǔn)、內(nèi)容審查等方面的技術(shù)倫理問題。規(guī)則約束層即是為了解決這些問題，對技術(shù)應(yīng)用的場景和邊界進行嚴(yán)格界定，開展符合教育規(guī)律的人機協(xié)同審查（郭炯等，2019）。具體來說，就是要明確智能技術(shù)的應(yīng)用規(guī)范、倫理道德邊界，遵循教育資源服務(wù)的知識組織原理、教育教學(xué)規(guī)律與育人目標(biāo)定位，從技術(shù)檢測和專家測評兩個層面探析如何建構(gòu)適應(yīng)性數(shù)字教育資源的測評體系，實現(xiàn)資源質(zhì)量、育人、倫理等多維度的科學(xué)測評。

4.應(yīng)用服務(wù)層：推進資源的智能管理和個性化服務(wù)

數(shù)字教育資源智能管理是指通過提升數(shù)字教育資源的組織和維護效率，以使其更好地支持教育活動的過程?；诳缒B(tài)理解與重構(gòu)的適應(yīng)性數(shù)字教育資源能為數(shù)字教育資源組織與管理效率的提升提供學(xué)理基礎(chǔ)，具有多源聚類與知識重組等特點。適應(yīng)性數(shù)字教育資源的知識組織層次，能夠達到對教育資源知識單元的可控、可分目的，實現(xiàn)資源的共享優(yōu)化，并創(chuàng)新教育資源的粒度化管理。通過挖掘多模態(tài)資源間隱含的知識關(guān)聯(lián)進而實現(xiàn)跨模態(tài)、多角度的資源重構(gòu)，可以有效地對各類數(shù)字教育資源進行建序優(yōu)化，并促進其由碎片化向集約化、智能化轉(zhuǎn)型。這將大大提升隱性知識識別、理解、轉(zhuǎn)化、創(chuàng)新應(yīng)用的效率，一定程度上滿足了數(shù)據(jù)驅(qū)動與需求驅(qū)動相結(jié)合的數(shù)字教育資源共享與重用，也拓展了資源價值的輻射邊界。

智慧教育服務(wù)是指應(yīng)用人工智能等技術(shù)為學(xué)生與教師提供更加智能化和個性化的教育服務(wù)，并以提高教育質(zhì)量為目標(biāo)的一種服務(wù)形態(tài)。而適應(yīng)性數(shù)字教育資源具有多模態(tài)行為分析和跨模態(tài)資源生成的“雙元”特性，能夠根據(jù)師生需求進行智能化調(diào)整和優(yōu)化，規(guī)避數(shù)字教育資源組織中的“路徑依賴”困境。學(xué)生可以根據(jù)適應(yīng)性數(shù)字教育資源的知識導(dǎo)航，基于多樣化的教學(xué)資源，實現(xiàn)個性化學(xué)習(xí)。教師可以利用適應(yīng)性數(shù)字教育資源更好地針對學(xué)生的學(xué)習(xí)需求和特點進行教學(xué)設(shè)計和教學(xué)實施，通過優(yōu)化學(xué)習(xí)路徑不斷提高教學(xué)效率。這些服務(wù)不僅可以讓教育更加智能化和個性化，還可以大大拓展教育的覆蓋范圍，提高教育教學(xué)的質(zhì)量和效率，促進教育的公平和包容。

六、結(jié)語

適應(yīng)性數(shù)字教育資源是數(shù)字教育資源生成、流轉(zhuǎn)和應(yīng)用等全鏈條智能化的結(jié)果，其核心是構(gòu)建基于跨模態(tài)理解與重構(gòu)的適應(yīng)性數(shù)字教育資源模型，目標(biāo)是動態(tài)生成供需適配的資源鏈，即依托跨模態(tài)理解與重構(gòu)技術(shù)生成適用于復(fù)雜教育情境的多模態(tài)教育資源。未來，我們將在現(xiàn)有研究的基礎(chǔ)上，進一步結(jié)合多模態(tài)大模型的技術(shù)進化，將該模型與適應(yīng)性數(shù)字教育資源的實踐框架相結(jié)合并驗證其有效性，以實現(xiàn)復(fù)雜教育情境下人機協(xié)同學(xué)習(xí)的互惠共生。

參考文獻：

[1]艾興，趙瑞雪（2020）.人機協(xié)同視域下的智能學(xué)習(xí)：邏輯起點與表征形態(tài)[J].遠(yuǎn)程教育雜志，38（1）：69-75.

[2]蔡連玉，金明飛，周躍良（2023）.教育數(shù)字化轉(zhuǎn)型的本質(zhì)：從技術(shù)整合到人機融合[J].華東師范大學(xué)學(xué)報（教育科學(xué)版），41（3）：36-44.

[3]陳明選，李蘭（2021）.我國數(shù)字教育平臺資源配置與服務(wù)：問題與對策[J].中國遠(yuǎn)程教育，（1）：17-26，77.

[4]陳寧，段友祥，孫歧峰（2021）.跨模態(tài)檢索研究文獻綜述[J].計算機科學(xué)與探索，15（8）：1390-1404.

[5]丁繼紅，劉華中（2017）.影響教育資源選擇的學(xué)習(xí)者模型構(gòu)建[J].遠(yuǎn)程教育雜志，35（4）：97-103.

[6]郭炯，郝建江（2019）.人工智能環(huán)境下的學(xué)習(xí)發(fā)生機制[J].現(xiàn)代遠(yuǎn)程教育研究，31（5）：32-38.

[7]懷進鵬（2023）.數(shù)字變革與教育未來——在世界數(shù)字教育大會上的主旨演講[N].中國教育報，2023-02-14（001）.

[8]柯清超，劉麗麗，鮑婷婷等（2023）.國家智慧教育平臺賦能區(qū)域教育數(shù)字化轉(zhuǎn)型的四重機制[J].中國電化教育，（3）：30-36.

[9]李寶，張文蘭（2015）.智慧教育環(huán)境下學(xué)習(xí)資源推送服務(wù)模型的構(gòu)建[J].遠(yuǎn)程教育雜志，33（3）：41-48.

[10]李建中（2019）.人工智能時代的知識學(xué)習(xí)與創(chuàng)新教育的轉(zhuǎn)向[J].中國電化教育，（4）：10-16.

[11]李政濤（2020）.現(xiàn)代信息技術(shù)的“教育責(zé)任”[J].開放教育研究，26（2）：13-26.

[12]林健，柯清超，黃正華等（2022）.學(xué)科知識圖譜的動態(tài)生成及其在資源智能組織中的應(yīng)用[J].遠(yuǎn)程教育雜志，40（4）：23-34.

[13]劉三女牙，孫建文（2021）.人工智能時代的課堂創(chuàng)變：解構(gòu)與重構(gòu)[J].國家教育行政學(xué)院學(xué)報，（9）：16-22.

[14]劉偉（2021）.人機融合：超越人工智能[M].北京：清華大學(xué)出版社：34.

[15]羅江華，馮瑞（2022）.學(xué)習(xí)平臺的適應(yīng)性進化及其對教育新基建的啟示[J].現(xiàn)代教育技術(shù)，32（10）：17-25.

[16]羅江華，王琳（2023）.新基建賦能教育數(shù)字化轉(zhuǎn)型的邏輯、挑戰(zhàn)與實踐路向[J].中國電化教育，（3）：37-45.

[17]馬海云，薛翔（2022）.面向知識服務(wù)的領(lǐng)域知識結(jié)構(gòu)研究[J].情報學(xué)報，41（1）：73-82.

[18]彭紅超，祝智庭（2018）.人機協(xié)同的數(shù)據(jù)智慧機制：智慧教育的數(shù)據(jù)價值煉金術(shù)[J].開放教育研究，24（2）：41-50.

[19]闕玉葉（2022）.人工智能實現(xiàn)完全意向性何以可能？——人機融合智能：未來人工智能發(fā)展方向[J].自然辯證法研究，38（9）：55-61.

[20]王琦，余勝泉，萬海鵬（2022）.內(nèi)容與結(jié)構(gòu)松耦合的適應(yīng)性學(xué)習(xí)資源模型及應(yīng)用研究[J].電化教育研究，43（3）：51-59.

[21]吳砥，李環(huán)，陳旭（2023）.人工智能通用大模型教育應(yīng)用影響探析[J].開放教育研究，29（2）：19-25，45.

[22]吳友政，李浩然，姚霆等（2022）.多模態(tài)信息處理前沿綜述：應(yīng)用、融合和預(yù)訓(xùn)練[J].中文信息學(xué)報，36（5）：1-20.

[23]楊文正，徐杰，李慧慧（2018）.生態(tài)學(xué)視角下數(shù)字教育資源優(yōu)化配置模型構(gòu)建[J].現(xiàn)代遠(yuǎn)程教育研究，（2）：94-102.

[24]楊現(xiàn)民，余勝泉（2010）.泛在學(xué)習(xí)環(huán)境下的學(xué)習(xí)資源信息模型構(gòu)建[J].中國電化教育，（9）：72-78.

[25]楊現(xiàn)民，余勝泉（2011）.泛在學(xué)習(xí)環(huán)境下的學(xué)習(xí)資源進化模型構(gòu)建[J].中國電化教育，296（09）：80-86.

[26]楊欣（2023）.基于生成式人工智能的教育轉(zhuǎn)型圖景——ChatGPT究竟對教育意味著什么[J].中國電化教育，（5）：1-8，14.

[27]楊洋，況琨，陳政聿等（2022）.基于端云協(xié)同體系的預(yù)訓(xùn)練大模型及其服務(wù)化[J].人工智能， （6）：103-120.

[28]余平，管玨琪，徐顯龍等（2016）.情境信息及其在智慧學(xué)習(xí)資源推薦中的應(yīng)用研究[J].電化教育研究，37（2）：54-61.

[29]喻國明（2022）.“以人為本”標(biāo)尺下的“人—機”協(xié)同[J].新聞與寫作，（10）：1.

[30]張進良，葉求財（2019）.大數(shù)據(jù)視閾下學(xué)習(xí)資源智能推薦模型構(gòu)建[J].湖南科技大學(xué)學(xué)報（社會科學(xué)版），22（4）：178-184.

[31]張樂樂，顧小清（2022）.多模態(tài)數(shù)據(jù)支持的課堂教學(xué)行為分析模型與實踐框架[J].開放教育研究，28（6）：101-110.

[32]趙厚福，祝智庭，吳永和（2010）.數(shù)字化學(xué)習(xí)技術(shù)標(biāo)準(zhǔn)發(fā)展的趨勢、框架和建議[J].中國遠(yuǎn)程教育，（2）：69-75.

[33]鄭永和，王一巖（2023）.科技賦能教育高質(zhì)量發(fā)展：價值內(nèi)涵、表征樣態(tài)與推進策略[J].中國電化教育，（1）：118-126.

[34]Choi， S.， Lee， S.， & Kim， Y. et al. （2020）. Hi-CMD： Hierarchical Cross-Modality Disentanglement for Visible-Infrared

Person Re-Identification[C]// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition.WA： Seattle：10254-10263.

[35]Hercheui， M.， & Ranjith， R. （2020）. Improving Organization Dynamic Capabilities Using Artificial Intelligence[J]. Global Journal of Business Research， 14（1）：87-96.

[36]Huang， S.， Dong， L.， & Wang， W. et al. （2023）. Language Is Not All You Need： Aligning Perception with Language Models[J]. ArXiv：2302.14045.

[37]Karim， S. （2006）. Modularity in Organizational Structure： The Reconfiguration of Internally Developed and Acquired Business Units[J]. Strategic Management Journal， 27：799-823.

[38]Karim， S.， & Mitchell， W. （2004）. Innovating Through Acquisition and Internal Development： A Quarter-Century of Boundary Evolution at Johnson & Johnson[J]. Long Range Planning， 37：525-547.

[39]Kipf， T. N.， & Welling， M. （2016）. Semi-Supervised Classification with Graph Convolutional Networks[J]. ArXiv：1609.02907.

[40]Liu， J.， Zhu， X.， & Liu， F. et al. （2021）. OPT： Omni-Perception Pre-Trainer for Cross-Modal Understanding And Generation[J]. ArXiv：2107.00249.

[41]Luo， H.， Ji， L.， & Shi， B. et al. （2020）. UniVL： A Unified Video and Language Pre-Training Model for Multimodal Understanding and Generation[J]. ArXiv：2002.06353.

[42]Mérida， D.， Fabregat， R.， & Baldiris， S. （2010）. Sistemas Heterogéneos Adaptativos Basados en el Contexto[J]. Revista Iberoamericana de Educacióon a Distancia， 13（2）：73-105.

[43]Mikalef， P.， Conboy， K.， & Krogstie， J. （2021）. Artificial Intelligence as an Enabler of B2B Marketing： A Dynamic Capabilities Micro-Foundations Approach[J]. Industrial Marketing Management， 98：80-92.

[44]Rozo， H.， & Real， M. （2019）. Pedagogical Guidelines for the Creation of Adaptive Digital Educational Resources： A Review of the Literature[J]. Journal of Technology and Science Education， 9（3）：308-325.

[45]Sawadogo， D.， Champagnat， R.， & Estraillier， P. （2014）. Adaptive Digital Resource Modelling for Interactive System[C]// Proceedings of the 2014 International Conference on Control， Decision and Information Technologies （CoDIT）. IEEE：663-668.

[46]Shankar， S. K.， Ruiz-Calleja， A.， & Serrano-Iglesias， S. et al. （2019）. A Data Value Chain to Model the Processing of Multimodal Evidence in Authentic Learning Scenarios[C]// Proceedings of CEUR Workshop LASI Spain. Vigo， Spain： CEUR：71-83.

[47]Teece， D. J. （2000）. Strategies for Managing Knowledge Assets： The Role of Firm Structure and Industrial Context[J]. Long Range Planning， 33（1）：35-54.

[48]Teece， D. J. （2007）. Explicating Dynamic Capabilities： The Nature and Micro foundations of （Sustainable） Enterprise Performance[J]. Strategic Management Journal， 28（13）：1319-1350.

[49]Teece， D. J.， Pisano， G.， & Shuen， A. （1997）. Dynamic Capabilities and Strategic Management[J]. Strategic Management Journal， 18（7）：509-533.

[50]Wei， X.， Sun， S.， & Wu， D. et al. （2021）. Personalized Online Learning Resource Recommendation Based on Artificial Intelligence and Educational Psychology[J]. Frontiers in Psychology， 12：767837.

[51]?elaszczyk， M.， & Mańdziuk， J. （2023）. Cross-Modal Text and Visual Generation： A Systematic Review. Part 1： Image to Text[J]. Information Fusion， 93：302-329.

收稿日期 2023-06-05 責(zé)任編輯 劉選

Adaptive Digital Educational Resources Based on Cross-Modal Understanding and Reconstruction：

Model Construction and Practical Framework

LUO Jianghua， ZHANG Yuliu

Abstract： Digital educational resources play an important role in the process of promoting high-quality development of education. In the era of artificial intelligence， how to make digital educational resources change from “l(fā)etting human adapt” to “actively adapting to human” is the key issue to be solved urgently in the construction of digital educational resources. As the application scenarios of artificial intelligence-generated content continue to expand， cross-modal understanding and reconstruction technologies provide feasible technical support for addressing the adaptability of digital educational resources. Specifically， it advocates multi-disciplinary collaboration among humans， educational contexts， computers and educational resources， and uses cross-modal understanding and reconstruction technology to carry out intelligent mining and coupling calculation of multi-modal teaching behaviors and multi-modal digital educational resources in complex educational situations， so as to realize the recommendation of educational resources suitable for man-machine collaborative environment， explore the supply-demand adaptation of digital educational resources services， and realize the self-scheduling of digital educational resources generation chain， so that we can build an adaptive digital educational resources model. At a practical level， a practical framework of adaptive digital educational resources should be constructed， which includes data collection layer， intelligent analysis layer， rule constraint layer and application service layer， to effectively promote the intelligent management and personalized service of digital educational resources on the basis of cross-modal understanding of multi-modal educational resources as well as behaviors of teachers and students.

Keywords： Cross-Modal Reconstruction; Cross-Modal Understanding; Adaptive Digital Educational Resources; Human-Machine Collaboration; Artificial Intelligence-Generated Content