人工智能在多模態(tài)學(xué)習(xí)中跨學(xué)科知識整合研究

摘 要：本研究引入一種新的跨學(xué)科知識整合方法，即KIDDT（Knowledge Integration for Diverse Disciplinary Teams）算法，并通過一系列試驗(yàn)評估其在多模態(tài)學(xué)習(xí)環(huán)境中的性能。采用3種不同的模型，分別使用K-Means聚類算法、主成分分析和支持向量機(jī)、以及深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)（CNN），對比它們的準(zhǔn)確率和生成時間，深入研究了算法在不同條件下的表現(xiàn)。試驗(yàn)結(jié)果表明，在不同數(shù)據(jù)塊數(shù)量和突變概念飄移影響下，3種模型展現(xiàn)出不同的性能特征。使用CNN的模型三在準(zhǔn)確率方面表現(xiàn)出色，尤其在突變概念飄移的環(huán)境中更穩(wěn)定，由于生成時間較長，因此在實(shí)際應(yīng)用中需要在準(zhǔn)確性和效率之間進(jìn)行權(quán)衡。

關(guān)鍵詞：人工智能；多模態(tài)數(shù)據(jù)；跨學(xué)科

中圖分類號：G 202" " " " " 文獻(xiàn)標(biāo)志碼：A

人工智能（AI）技術(shù)已經(jīng)滲透到各個領(lǐng)域中。隨著知識圖譜和跨學(xué)科研究的興起，如何在多模態(tài)學(xué)習(xí)環(huán)境中整合跨學(xué)科知識成為一個備受關(guān)注的課題。在這個背景下引用相關(guān)文獻(xiàn)，更好地理解并探討多模態(tài)學(xué)習(xí)環(huán)境中的跨學(xué)科知識整合。過去的研究已經(jīng)在知識圖譜的構(gòu)建、學(xué)科教學(xué)知識構(gòu)建和跨庫知識整合等方面取得了一系列重要成果。曾曉玲等[1]研究了基于黃河資源整合共享的知識圖譜，為資源整合方面提供了啟示。劉冬萍等[2]在課堂切片與診斷方面的研究以及王素月等[3]對教師整合人工智能的學(xué)科教學(xué)知識建構(gòu)的研究為后續(xù)提供了寶貴的經(jīng)驗(yàn)，有一定參考價值。

1 知識整合

1.1 算法概述

KIDDT（Knowledge Integration and Dynamic-Teaching Algorithm for Domain Transfer）算法的核心思想是自適應(yīng)學(xué)習(xí)和語義關(guān)聯(lián)的融合。該算法構(gòu)建1個多維知識空間來整合不同學(xué)科的知識。這個多維知識空間中的每個維度都對應(yīng)一個特定的學(xué)科。用K來表示這個多維知識空間，其中Kij表示第i個學(xué)科和第j個知識維度的關(guān)聯(lián)。其大小為m×n，其中m表示學(xué)科的數(shù)量，n表示知識的維度。

在自適應(yīng)學(xué)習(xí)過程中，引入一個自適應(yīng)學(xué)習(xí)矩陣W，其目的是在知識整合的過程中自動調(diào)整權(quán)重，使不同學(xué)科的知識能夠得到合理整合。Wij的計(jì)算過程如公式（1）所示。

（1）

式中：Wij為自適應(yīng)學(xué)習(xí)矩陣中的元素；i和j分別為學(xué)科的索引。Kik和 Kkj分別為學(xué)科i和學(xué)科j在知識空間中的向量表示的元素。求和符號表示對所有知識維度k進(jìn)行求和。

公式（1）的核心思想是通過計(jì)算知識空間中不同學(xué)科之間的余弦相似度來更新權(quán)重。在更新過程中，相似度較高的學(xué)科之間的權(quán)重會得到提高，而相似度較低的學(xué)科之間的權(quán)重則會相應(yīng)降低。這樣，KIDDT算法就能夠根據(jù)知識空間的動態(tài)變化自適應(yīng)地調(diào)整權(quán)重，從而對知識進(jìn)行有效整合。

1.2 多模態(tài)信息關(guān)聯(lián)

在多模態(tài)學(xué)習(xí)環(huán)境中面對的不是單一類型的數(shù)據(jù)或信息，而是多種模態(tài)的混合體。將視覺、聽覺和文字等多模態(tài)信息表示為向量V、A、T，它們分別對應(yīng)視覺、聽覺和文字學(xué)科的知識。為了進(jìn)行信息關(guān)聯(lián)，定義1個關(guān)聯(lián)矩陣R，其目的是捕捉不同模態(tài)之間的語義關(guān)聯(lián)。關(guān)聯(lián)矩陣的更新過程如公式（2）所示。

（2）

式中：Rij為模態(tài)i和模態(tài)j之間的關(guān)聯(lián)。tanh是一種常見的非線性激活函數(shù)。它能夠更好地捕捉信息之間的復(fù)雜關(guān)系，通常用于神經(jīng)網(wǎng)絡(luò)中。TVA為視覺模態(tài)V與聽覺模態(tài)A之間的交互。

通過內(nèi)積運(yùn)算，它捕捉了視覺信息和聽覺信息之間的相關(guān)性。TAT為聽覺模態(tài)A和文字模態(tài)T之間的交互。通過內(nèi)積運(yùn)算，它衡量了聽覺信息和文字信息之間的關(guān)聯(lián)程度。TTV為文字模態(tài)T和視覺模態(tài)V之間的交互。通過內(nèi)積運(yùn)算，它描述了文字信息和視覺信息之間的相關(guān)性。

在多模態(tài)學(xué)習(xí)中，各種信息之間的關(guān)系往往是非線性的，因此引入非線性映射是必要的。

在這類領(lǐng)域的相關(guān)研究中，更多研究也探討了基于知識庫的知識整合與知識管理。盧利農(nóng)等討論了知識庫整合與知識指紋設(shè)計(jì)[4]。張喜征等對碎片化知識整合的知識圖譜構(gòu)建進(jìn)行分析[5]?；诖?，在多模態(tài)學(xué)習(xí)環(huán)境中，理解和整合不同模態(tài)之間的關(guān)聯(lián)是至關(guān)重要的，而KIDDT算法提供了一個有效的工具來實(shí)現(xiàn)該目標(biāo)。

1.3 復(fù)雜性分析

時間復(fù)雜度衡量的是算法運(yùn)行所需的時間與輸入規(guī)模之間的關(guān)系。在KIDDT算法中，學(xué)科數(shù)量、知識維度和模態(tài)數(shù)量都會影響算法的運(yùn)行時間。KIDDT 算法的時間復(fù)雜度如公式（3）所示。

OTC=O（mn2+pn2）" " " " " " " " （3）

式中： OTC為時間復(fù)雜度；O為復(fù)雜度；m為學(xué)科數(shù)量；n為知識維度；p為模態(tài)數(shù)量。這個公式涵蓋了算法中的不同計(jì)算部分，包括自適應(yīng)學(xué)習(xí)矩陣的更新、多模態(tài)信息的關(guān)聯(lián)等。從公式（3）可以看出，算法的時間復(fù)雜度與學(xué)科數(shù)量、知識維度和模態(tài)數(shù)量的平方成正比。說明隨著這些參數(shù)增加，算法的運(yùn)行時間也會相應(yīng)增加?？臻g復(fù)雜度則衡量了算法所需存儲空間的大小。在KIDDT算法中，需要存儲自適應(yīng)學(xué)習(xí)矩陣、關(guān)聯(lián)矩陣以及不同模態(tài)的向量表示等信息?？臻g復(fù)雜度如公式（4）所示。

OSC=O（mn+pn） （4）

式中：OSC為時間復(fù)雜度；m為學(xué)科數(shù)量；n為知識維度；p為模態(tài)數(shù)量。

公式（4）包括了自適應(yīng)學(xué)習(xí)矩陣、關(guān)聯(lián)矩陣以及不同模態(tài)向量表示所需的存儲空間?？臻g復(fù)雜度與學(xué)科數(shù)量、知識維度和模態(tài)數(shù)量的線性關(guān)系成正比。這類知識管理體系對實(shí)踐應(yīng)用相關(guān)知識來說有重要價值，例如李占雷等對知識管理能力的差異性和企業(yè)商業(yè)模式創(chuàng)新影響進(jìn)行分析[6]。基于此，相應(yīng)復(fù)雜度分析結(jié)果也說明隨著這些參數(shù)增加，算法所需的存儲空間也會相應(yīng)增加。

2 測試結(jié)果

2.1 測試用模型

為了評估KIDDT算法在多模態(tài)學(xué)習(xí)環(huán)境中的性能，在試驗(yàn)環(huán)境中對其進(jìn)行測試。為了全面了解多模態(tài)數(shù)據(jù)經(jīng)過進(jìn)一步降維過程的差別，采用3種不同的模型進(jìn)行測試。模型一基于K-Means聚類算法，它是一種無監(jiān)督學(xué)習(xí)方法，通過迭代尋找數(shù)據(jù)的簇中心，將數(shù)據(jù)點(diǎn)劃分到不同的簇。這種方法在知識整合的初步階段非常有效，能夠幫助人們了解數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和模式。通過K-Means聚類，可以將多模態(tài)數(shù)據(jù)劃分為若干個簇，每個簇代表一個知識領(lǐng)域或主題。模型二結(jié)合了主成分分析和支持向量機(jī)的方法。主成分分析（PCA）是一種降維技術(shù)，它通過線性變換將原始特征轉(zhuǎn)換為新的特征集合，新特征按照方差從大到小的順序排列。這樣做的目的是提取數(shù)據(jù)的主要特征，去除冗余和無關(guān)的信息，使數(shù)據(jù)更加簡潔和易于處理。而支持向量機(jī)（SVM）則是一種分類算法，用于識別數(shù)據(jù)中的模式和分類任務(wù)。通過結(jié)合PCA和SVM，模型二能夠利用多模態(tài)信息，考慮數(shù)據(jù)的降維處理，進(jìn)行有效分類和模式識別。模型三采用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，特別是卷積神經(jīng)網(wǎng)絡(luò)（CNN）。深度學(xué)習(xí)算法在圖像識別、語音識別和自然語言處理等領(lǐng)域廣泛應(yīng)用。 因?yàn)镃NN能夠自動學(xué)習(xí)數(shù)據(jù)的特征表示，所以特別適合處理圖像等多模態(tài)數(shù)據(jù)。通過訓(xùn)練，CNN可以識別出圖像中的邊緣、紋理等低級特征以及更高級別的抽象特征。模型三利用深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)了更復(fù)雜的語義關(guān)聯(lián)，能夠更準(zhǔn)確地整合多模態(tài)知識。

2.2 準(zhǔn)確率對比

為了直觀地展示不同模型在多模態(tài)學(xué)習(xí)環(huán)境中的準(zhǔn)確率，進(jìn)行對比試驗(yàn)。試驗(yàn)結(jié)果如圖1所示。

從圖1中可以看出，模型一在數(shù)據(jù)塊較小的情況下，與模型二的表現(xiàn)相似。因?yàn)閿?shù)據(jù)規(guī)模較小，所以模型一和模型二都能夠較好地處理數(shù)據(jù)并提取有效信息。隨著數(shù)據(jù)塊數(shù)量增加，模型一的準(zhǔn)確率逐漸穩(wěn)定，表現(xiàn)出對更大規(guī)模數(shù)據(jù)的適應(yīng)能力。這說明K-Means聚類算法處理大規(guī)模多模態(tài)數(shù)據(jù)時仍能保持較好的性能。模型二在數(shù)據(jù)塊數(shù)量較小的情況下表現(xiàn)稍好，但在大規(guī)模數(shù)據(jù)下準(zhǔn)確率趨于穩(wěn)定。模型二對中等規(guī)模的數(shù)據(jù)塊來說有更好的適應(yīng)性。結(jié)合主成分分析和支持向量機(jī)的模型二能夠更全面地利用多模態(tài)信息，因此在大規(guī)模數(shù)據(jù)下仍能保持一定的準(zhǔn)確率。模型三在整個試驗(yàn)過程中都表現(xiàn)出最高的準(zhǔn)確率。尤其在大規(guī)模數(shù)據(jù)下，模型三的性能與其他模型相比更出色。這可能是因?yàn)樯疃葘W(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠自動學(xué)習(xí)多模態(tài)數(shù)據(jù)的特征表示，所以能更好地捕捉不同模態(tài)之間的復(fù)雜關(guān)系。深度學(xué)習(xí)網(wǎng)絡(luò)通過訓(xùn)練能夠提取更高級別的特征表示，從而提高了知識整合的準(zhǔn)確性。試驗(yàn)結(jié)果表明，KIDDT算法在多模態(tài)學(xué)習(xí)環(huán)境中能夠有效整合不同模態(tài)的信息，并在更大規(guī)模的數(shù)據(jù)塊下最大程度地提高性能。模型三的準(zhǔn)確率優(yōu)勢可能源于其更復(fù)雜的語義關(guān)聯(lián)模型，能夠更好地捕捉多模態(tài)信息之間的復(fù)雜關(guān)系。

2.3 生成時間對比

除了準(zhǔn)確率，生成時間也是評估算法性能的重要指標(biāo)之一。為了全面了解KIDDT算法在多模態(tài)學(xué)習(xí)環(huán)境中的生成時間表現(xiàn)，對此進(jìn)行試驗(yàn)，并記錄當(dāng)數(shù)據(jù)塊數(shù)量不同時，模型一、模型二和模型三的生成時間，如圖2所示。從圖2可以看出，模型一的生成時間隨數(shù)據(jù)塊數(shù)量增加逐漸增加。與模型二和模型三相比，模型一在所有數(shù)據(jù)塊數(shù)量下的生成時間都較短。這可能是因?yàn)槟Ｐ鸵皇且环N相對簡單和高效的算法，采用K-Means聚類算法對數(shù)據(jù)塊的生成速度較快。模型二在初始數(shù)據(jù)塊數(shù)量下的生成時間較快。隨著數(shù)據(jù)塊數(shù)量增加，生成時間逐漸延長，且趨勢比模型一更顯著。因?yàn)槟Ｐ投Y(jié)合了主成分分析和支持向量機(jī)的方法，所以需要進(jìn)行更多計(jì)算和數(shù)據(jù)處理，生成時間相對較長。模型三在所有數(shù)據(jù)塊數(shù)量下都展現(xiàn)出最長的生成時間。在較大規(guī)模數(shù)據(jù)下，其生成時間的增長趨勢也更明顯。因?yàn)槟Ｐ腿捎蒙疃葘W(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，需要進(jìn)行復(fù)雜的特征學(xué)習(xí)和模式識別，所以增加了計(jì)算成本，延長生成時間。從生成時間的結(jié)果可以看出，模型三在準(zhǔn)確率上表現(xiàn)出了顯著的優(yōu)勢，但同時生成時間也更長。在實(shí)際應(yīng)用中，須根據(jù)具體需求來權(quán)衡模型的準(zhǔn)確性和生成時間。在某些對實(shí)時性要求較高的場景中，模型一或模型二可能更合適；而在對知識整合精度要求較高的情況下，模型三則能夠提供更好的性能。

2.4 考慮突變概念飄移的準(zhǔn)確率對比

突變概念飄移是指當(dāng)學(xué)習(xí)系統(tǒng)中的數(shù)據(jù)分布發(fā)生明顯變化時的現(xiàn)象。在學(xué)習(xí)過程中，如果訓(xùn)練數(shù)據(jù)的統(tǒng)計(jì)特性發(fā)生顯著改變，那么學(xué)習(xí)模型可能會失效，導(dǎo)致性能下降。這種變化是由外部因素、數(shù)據(jù)源變更和環(huán)境演變等因素引起的，模型在新的數(shù)據(jù)分布下難以適應(yīng)。由于市場需求變化、新技術(shù)的引入或環(huán)境變遷，因此學(xué)習(xí)系統(tǒng)可能面臨各種概念的快速變化。為了保證模型在不同情境下的穩(wěn)健性，測試突變概念飄移是至關(guān)重要的。同時，對突變概念飄移進(jìn)行測試有助于增強(qiáng)學(xué)習(xí)系統(tǒng)的魯棒性。魯棒的系統(tǒng)能夠處理未知的數(shù)據(jù)變化，從而更好地適應(yīng)新的任務(wù)和環(huán)境。本文在引入突變概念飄移的基礎(chǔ)上進(jìn)一步進(jìn)行測試，結(jié)果如圖3所示。

在突變概念飄移的影響下，模型一的準(zhǔn)確率整體呈上升趨勢。盡管初始準(zhǔn)確率相對較低，但是隨著數(shù)據(jù)塊數(shù)量增加，模型逐漸適應(yīng)了突變概念飄移。模型二在突變概念飄移下的準(zhǔn)確率相對較高，但是當(dāng)數(shù)據(jù)塊數(shù)量增加時，準(zhǔn)確率波動較大。模型二可能對突變概念飄移的適應(yīng)性有一定局限。模型三在所有數(shù)據(jù)塊數(shù)量下的準(zhǔn)確率均為最高。尤其在突變概念飄移的情況下，與其他模型相比，模型三表現(xiàn)更穩(wěn)定。試驗(yàn)結(jié)果表明，KIDDT算法在突變概念飄移影響下仍能有效整合不同模態(tài)的信息，并在更大規(guī)模數(shù)據(jù)塊下取得更好的性能。模型三在突變概念飄移的環(huán)境中的穩(wěn)定性更強(qiáng)，說明其對概念變化的適應(yīng)性更好。

3 結(jié)論

本研究引入KIDDT算法，成功探索了在多模態(tài)學(xué)習(xí)環(huán)境中跨學(xué)科知識整合的新途徑。試驗(yàn)證明，利用該算法能夠更好地整合不同學(xué)科領(lǐng)域的知識，為學(xué)習(xí)者提供更豐富、全面的學(xué)習(xí)體驗(yàn)。在教育領(lǐng)域，為未來人工智能在多領(lǐng)域應(yīng)用中的發(fā)展提供有益的經(jīng)驗(yàn)和思路。本研究的成果能夠促進(jìn)跨學(xué)科研究的合作，推動人工智能技術(shù)在教育和其他領(lǐng)域的創(chuàng)新應(yīng)用。未來將繼續(xù)改進(jìn)算法，提高對突變概念飄移的適應(yīng)性，以更好地滿足實(shí)際應(yīng)用的需求。這項(xiàng)研究為跨學(xué)科合作、人工智能教育和知識整合領(lǐng)域的發(fā)展提供有益的指導(dǎo)。

參考文獻(xiàn)

[1]曾曉玲，張弓.基于黃河資源整合共享的知識圖譜研究和應(yīng)用[J].人民黃河，2021，43（增刊2）：282-284.

[2]劉冬萍，張海，崔宇路，等.課堂切片與診斷：基于TPACK“六邊模型”的圖譜分析新視角[J].遠(yuǎn)程教育雜志，2021，39（2）：95-102.

[3]王素月，羅生全.教師整合人工智能的學(xué)科教學(xué)知識建構(gòu)[J].湖南師范大學(xué)教育科學(xué)學(xué)報(bào)，2021，20（4）：68-74.

[4]盧利農(nóng)，祝忠明，張旺強(qiáng)，等.基于Lingo3G聚類算法的機(jī)構(gòu)知識庫跨庫知識整合與知識指紋服務(wù)實(shí)現(xiàn)[J].數(shù)據(jù)分析與知識發(fā)現(xiàn)，2021，5（5）：127-132.

[5]張喜征，羅文，蔡月月.基于知識圖譜的用戶生成內(nèi)容平臺中碎片化知識整合研究[J].科技管理研究，2019，39（5）：159-165.

[6]李占雷，霍帆帆，霍朝光.商業(yè)模式創(chuàng)新男女有別？——基于知識管理視角[J].華東經(jīng)濟(jì)管理，2017，31（10）：128-135.