融合知識(shí)交互關(guān)系的認(rèn)知診斷深度模型

張所娟 余曉晗 陳恩紅 沈雙宏 鄭 雨 黃 松

ZHANG Suojuan1,2, YU Xiaohan1, CHEN Enhong2, SHEN Shuanghong2, ZHENG Yu1, HUANG Song1

隨著大數(shù)據(jù)、人工智能技術(shù)與教育的深度融合，以及各類在線學(xué)習(xí)平臺(tái)的廣泛應(yīng)用，大量的在線學(xué)習(xí)數(shù)據(jù)被積累，為實(shí)現(xiàn)更智能的個(gè)性化學(xué)習(xí)提供支撐.而實(shí)現(xiàn)個(gè)性化學(xué)習(xí)的基礎(chǔ)是認(rèn)知診斷，即通過可觀測(cè)的學(xué)習(xí)行為數(shù)據(jù)揭示學(xué)習(xí)者的認(rèn)知狀態(tài)(知識(shí)的掌握水平)[1].在學(xué)習(xí)者在線學(xué)習(xí)過程中，完成學(xué)習(xí)任務(wù)時(shí)產(chǎn)生作答行為記錄(作答得分)，根據(jù)學(xué)習(xí)任務(wù)對(duì)應(yīng)的知識(shí)，通過認(rèn)知診斷模型獲取學(xué)習(xí)者在各個(gè)知識(shí)上的掌握水平.認(rèn)知診斷作為許多相關(guān)教育場(chǎng)景應(yīng)用的基礎(chǔ)任務(wù)[2]，在學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)預(yù)測(cè)、學(xué)習(xí)資源個(gè)性化推薦、在線教育自適應(yīng)學(xué)習(xí)、試題合理組卷等應(yīng)用中發(fā)揮重要作用.

認(rèn)知診斷研究源于心理與教育學(xué)理論[3]，通過傳統(tǒng)計(jì)量方法建立學(xué)習(xí)者作答反應(yīng)數(shù)據(jù)與知識(shí)掌握水平之間的關(guān)系，由此設(shè)計(jì)開發(fā)一系列適應(yīng)不同學(xué)習(xí)場(chǎng)景的認(rèn)知診斷模型，包括經(jīng)典的IRT(Item Response Theory)[4]、DINA(Deterministic Inputs，Noisy "and" Gate)等[5]，并在此基礎(chǔ)上發(fā)展一系列拓展模型，如MIRT(Multidimensional IRT)[6]、G-DINA(Generalized DINA)[7].

隨著學(xué)習(xí)數(shù)據(jù)的積累和計(jì)算能力的發(fā)展，基于機(jī)器學(xué)習(xí)的方法逐步被引入診斷領(lǐng)域，將作答反應(yīng)模式轉(zhuǎn)換為分類問題.認(rèn)知診斷研究由依賴于人工方式的統(tǒng)計(jì)測(cè)量方法，逐步向利用智能技術(shù)捕捉學(xué)習(xí)者、試題和知識(shí)間復(fù)雜關(guān)系能力的方向發(fā)展[8].學(xué)者們結(jié)合智能技術(shù)，從數(shù)據(jù)驅(qū)動(dòng)的角度提出不同的認(rèn)知診斷模型，如針對(duì)不同試題類型的FuzzyCDF(Fuzzy Cognitive Diagnosis Framework)[9]、結(jié)合神經(jīng)網(wǎng)絡(luò)的NeuralCD(Neural Cognitive Diagnosis)[10]、定量表達(dá)練習(xí)與知識(shí)之間的外顯關(guān)系和內(nèi)隱關(guān)系的QRCDM(Quantitative Relationship Cognitive Diagnosis Model)[11]等.

在學(xué)習(xí)場(chǎng)景中，知識(shí)之間并不孤立[12-13]，知識(shí)的交互關(guān)系普遍存在.隨著研究的深入，知識(shí)間的交互關(guān)系也受到更多的關(guān)注[14-15].目前知識(shí)交互關(guān)系建模工作多集中于遵循學(xué)科規(guī)律表達(dá)知識(shí)的結(jié)構(gòu)關(guān)系[16].在這種情況下，知識(shí)交互關(guān)系可看作是相對(duì)靜態(tài)、穩(wěn)定的，如知識(shí)層級(jí)結(jié)構(gòu)[17-18]、先決關(guān)系[19]等.

認(rèn)知診斷模型對(duì)知識(shí)建模時(shí)，通常將各個(gè)知識(shí)視為同等重要.然而同一學(xué)習(xí)任務(wù)中不同知識(shí)的重要性存在差異，而這種差異由學(xué)習(xí)任務(wù)中多個(gè)知識(shí)間存在的交互關(guān)系產(chǎn)生.若忽視學(xué)習(xí)任務(wù)(本文中的學(xué)習(xí)任務(wù)特指包含多個(gè)知識(shí)的試題)中多知識(shí)間的交互關(guān)系帶來的不同權(quán)重，會(huì)影響診斷結(jié)果[20-22].例如，編程實(shí)現(xiàn)兩個(gè)城市之間最快路線的算法并打印輸出距離，完成該任務(wù)考察最短路徑算法實(shí)現(xiàn)、打印輸出及基本語法結(jié)構(gòu)等知識(shí)，其中最短路徑算法這一知識(shí)的重要性明顯高于其它知識(shí).

在實(shí)際應(yīng)用中，面向?qū)W習(xí)任務(wù)的知識(shí)交互關(guān)系帶來不同的知識(shí)權(quán)重.若學(xué)習(xí)者在更重要的知識(shí)上掌握得更好，則可能作答成績(jī)也更好，答對(duì)的概率也更高.此外，知識(shí)交互關(guān)系不僅是存在于兩兩知識(shí)之間的關(guān)系，知識(shí)集合之間也存在交互作用[23].由于現(xiàn)有的認(rèn)知診斷模型未考慮知識(shí)間的交互關(guān)系，知識(shí)交互信息很難直接嵌入已有的認(rèn)知診斷模型中.

針對(duì)上述問題，本文提出融合知識(shí)交互的認(rèn)知診斷深度模型(A Concept Interaction-Based Cognitive Diagnosis Deep Model，CI-CDM)，將知識(shí)及知識(shí)集合間的交互關(guān)系融入認(rèn)知診斷的過程中，實(shí)現(xiàn)學(xué)習(xí)者認(rèn)知狀態(tài)及面向?qū)W習(xí)任務(wù)的知識(shí)權(quán)重的統(tǒng)一學(xué)習(xí).首先構(gòu)建認(rèn)知診斷模型框架.再提出基于多個(gè)學(xué)習(xí)任務(wù)的知識(shí)權(quán)重學(xué)習(xí)算法，用于表征知識(shí)交互關(guān)系.然后，提出模糊測(cè)度的深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network Based on Fuzzy Measures, FM-Net),預(yù)測(cè)學(xué)習(xí)者作答表現(xiàn)，實(shí)現(xiàn)融合知識(shí)交互的認(rèn)知診斷深度模型構(gòu)建.最后，在公開數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上進(jìn)行學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)預(yù)測(cè)實(shí)驗(yàn)，驗(yàn)證模型效果，并結(jié)合實(shí)際學(xué)習(xí)任務(wù)進(jìn)行案例分析.

1 問題描述

本節(jié)介紹必要的假設(shè)及認(rèn)知診斷的問題描述定義，并闡明本文使用的數(shù)學(xué)符號(hào)的具體含義.

假設(shè)1一個(gè)學(xué)習(xí)任務(wù)對(duì)應(yīng)多個(gè)知識(shí)，知識(shí)或知識(shí)集合之間存在不同的交互關(guān)系.

假設(shè)2考慮學(xué)習(xí)任務(wù)中知識(shí)及知識(shí)集合存在的交互關(guān)系，知識(shí)集合對(duì)于學(xué)習(xí)任務(wù)達(dá)成的支持力度不同，稱為知識(shí)權(quán)重.

假定有I個(gè)學(xué)習(xí)者構(gòu)成學(xué)習(xí)者集合

S={si|i=1,2,…,I}，

在J項(xiàng)學(xué)習(xí)任務(wù)上完成作答，構(gòu)成學(xué)習(xí)任務(wù)集合

T={tj|j=1,2,…,J}.

J項(xiàng)學(xué)習(xí)任務(wù)考察的知識(shí)

X={xk|k=1,2,…,K}，

其中K表示知識(shí)數(shù)量.同時(shí)由領(lǐng)域?qū)＜医o定的矩陣

Q=[q1,q2,…,qJ]

建立學(xué)習(xí)任務(wù)與其考察知識(shí)的關(guān)系.知識(shí)權(quán)重

V=[v1,v2…,vJ]，

其中vj表示第j項(xiàng)學(xué)習(xí)任務(wù)的知識(shí)權(quán)重向量.得分矩陣R=(rij)I×J,rij表示第i個(gè)學(xué)習(xí)者在第j項(xiàng)學(xué)習(xí)任務(wù)上的得分.學(xué)習(xí)者i在學(xué)習(xí)任務(wù)tj上形成的作答記錄可表示為一個(gè)四元組{si,tj,qj,rij}，其中,si∈S，tj∈T，rij表示R中元素，qj表示Q矩陣中第j個(gè)列向量.

認(rèn)知診斷過程具體包含如下3個(gè)流程.

1)模型輸入.輸入學(xué)習(xí)者作答記錄的四元組歷史學(xué)習(xí)數(shù)據(jù)，對(duì)于學(xué)習(xí)者si，輸入數(shù)據(jù)

log={(si,tj,qj,rij)|i=1,2,…,I,j=1,2,…,J}.

2)模型構(gòu)建.基于Choquet積分提出融合知識(shí)交互關(guān)系的認(rèn)知診斷深度模型(CI-CDM).

3)模型應(yīng)用.將CI-CDM應(yīng)用于如下3個(gè)任務(wù)：學(xué)習(xí)者表現(xiàn)預(yù)測(cè)、認(rèn)知狀態(tài)診斷及知識(shí)交互表征.

為了更清晰地說明，表1列舉本文重要的數(shù)學(xué)符號(hào).

表1 本文中的重要符號(hào)

2 融合知識(shí)交互關(guān)系的認(rèn)知診斷深度模型

本節(jié)基于認(rèn)知診斷的一般流程,提出融合知識(shí)交互關(guān)系的認(rèn)知診斷深度模型(CI-CDM)，框架如圖1所示.該模型建模學(xué)習(xí)者作答時(shí)與學(xué)習(xí)任務(wù)交互的過程并輸出作答結(jié)果預(yù)測(cè)值(如答對(duì)的概率).模型框架的構(gòu)建分別從學(xué)習(xí)者、學(xué)習(xí)任務(wù)及知識(shí)聚合三方面實(shí)現(xiàn)學(xué)習(xí)者認(rèn)知狀態(tài)表征、面向?qū)W習(xí)任務(wù)的知識(shí)權(quán)重表征及融合知識(shí)權(quán)重的作答表現(xiàn)預(yù)測(cè)這三個(gè)模塊，最終實(shí)現(xiàn)CI-CDM.

圖1 CI-CDM框架

2.1 學(xué)習(xí)者認(rèn)知狀態(tài)表征

認(rèn)知診斷的核心目標(biāo)在于挖掘?qū)W習(xí)者潛在的認(rèn)知狀態(tài)，沿用DINA的建模思路，將學(xué)習(xí)者的認(rèn)知狀態(tài)(即各知識(shí)上的掌握水平αi)作為CI-CDM中的學(xué)習(xí)者特征向量.在CI-CDM中，首先將學(xué)習(xí)者集合

S={si|i=1,2,…,I}

作為輸入,通過多層融合網(wǎng)絡(luò)模型學(xué)習(xí)獲得相同維度的知識(shí)掌握水平.學(xué)習(xí)者知識(shí)掌握水平矩陣為：

A=[α1,α2,…,αK]T,

其中，

αi=[α1,α2…,αK]

對(duì)應(yīng)學(xué)習(xí)者si在K個(gè)知識(shí)上的掌握水平，K表示輸入模型的所有學(xué)習(xí)任務(wù)考察知識(shí)的數(shù)量.例如，多個(gè)學(xué)習(xí)任務(wù)共考察4個(gè)知識(shí)，學(xué)習(xí)者s1的知識(shí)掌握水平

α1=[0.9,0.6,0.3,0.1]

表示該學(xué)習(xí)者對(duì)知識(shí)x1的掌握水平最高為0.9，但在知識(shí)x3上的掌握水平較低,只有0.3，對(duì)知識(shí)x4的掌握水平最低，只有0.1.模型實(shí)現(xiàn)時(shí)，可將學(xué)習(xí)者si的知識(shí)掌握水平表達(dá)為

其中，index表示將二值的Q矩陣(取值為0或1)進(jìn)行維度擴(kuò)展，通過index篩選學(xué)習(xí)者在各項(xiàng)任務(wù)上的知識(shí)掌握水平，

例如，若3個(gè)學(xué)習(xí)任務(wù)共考察5個(gè)知識(shí)，每個(gè)任務(wù)考察其中的4個(gè)知識(shí)，如學(xué)習(xí)任務(wù)t1考察知識(shí)x1、x3、x4、x5.對(duì)于一個(gè)學(xué)習(xí)者而言，其知識(shí)掌握水平被劃分為對(duì)應(yīng)3個(gè)學(xué)習(xí)任務(wù)的知識(shí)掌握水平向量：

α(1)=[α1,α3,α4,α5]，

α(2)=[α2,α3,α4,α5]，

α(3)=[α1,α2,α3,α5].

具體如圖2所示.

圖2 Q矩陣篩選學(xué)習(xí)任務(wù)對(duì)應(yīng)的知識(shí)掌握水平

2.2 面向?qū)W習(xí)任務(wù)的知識(shí)權(quán)重表征

每項(xiàng)學(xué)習(xí)任務(wù)考察的知識(shí)不同，不同任務(wù)中知識(shí)集合間存在不同的交互關(guān)系.每個(gè)知識(shí)在特定學(xué)習(xí)任務(wù)中的重要程度不同.相應(yīng)地，同個(gè)知識(shí)在不同任務(wù)中的權(quán)重也不同.因此，對(duì)于每項(xiàng)學(xué)習(xí)任務(wù)，都需要建立一個(gè)知識(shí)權(quán)重表征向量.學(xué)習(xí)任務(wù)對(duì)應(yīng)的知識(shí)權(quán)重表示為V=[v1,v2,…,vJ]，vj表示第j項(xiàng)學(xué)習(xí)任務(wù)的知識(shí)權(quán)重向量.

本文充分考慮知識(shí)集合間的交互關(guān)系，采用模糊測(cè)度表征知識(shí)權(quán)重.例如，知識(shí)x1的權(quán)重表示為v(A)∈[0,1]，A={x1}.根據(jù)模糊測(cè)度的定義[24]，知識(shí)權(quán)重集合的元素?cái)?shù)量為知識(shí)的冪集，v(?)=0不影響計(jì)算結(jié)果，則第j項(xiàng)學(xué)習(xí)任務(wù)的知識(shí)權(quán)重向量vj∈R1×(2Kj-1)，其中Kj表示學(xué)習(xí)任務(wù)tj考察的知識(shí)數(shù)量.

例如，學(xué)習(xí)任務(wù)t1考察3個(gè)知識(shí)，對(duì)應(yīng)如下的知識(shí)權(quán)重向量：

v1=[v({x1}),v({x2}),v({x3}),v({x1,x2}),

v({x1,x3}),v({x2,x3}),v({x1,x2,x3})].

這里學(xué)習(xí)任務(wù)t1的知識(shí)權(quán)重?cái)?shù)量為

23-1=7個(gè).

知識(shí)權(quán)重向量的維度由知識(shí)的個(gè)數(shù)確定.需要說明的是，本文僅針對(duì)等量知識(shí)的學(xué)習(xí)任務(wù)討論，即每項(xiàng)任務(wù)考察的知識(shí)點(diǎn)數(shù)目相等.

為了方便計(jì)算，建立知識(shí)集合A?X與整數(shù)集I={1,2,…,2Kj-1}之間的一一映射關(guān)系，從而建立知識(shí)權(quán)重向量中的模糊測(cè)度v(A)的索引編碼.具體編碼方式如下.

1)取整數(shù)集I中的集合元素轉(zhuǎn)化為二進(jìn)制表示.例如，元素i=4，對(duì)應(yīng)的二進(jìn)制表示為

i=4?100.

2)對(duì)于學(xué)習(xí)任務(wù)tj，定義索引表征向量c∈

{0,1}Kj.

若知識(shí)xi∈A，cKj-i+1=1，否則cKj-i+1=0.其中，知識(shí)集合

A?Xj={x1,x2,…,xKj}，

|Xj|=Kj表示學(xué)習(xí)任務(wù)tj考察的知識(shí)個(gè)數(shù)為Kj.

3)根據(jù)索引表征向量c確定v(A)在整數(shù)集I中位置.

舉例來說，學(xué)習(xí)任務(wù)tj考察的知識(shí)Kj=3個(gè).當(dāng)知識(shí)集合A={x1}時(shí)，索引表征向量c=(0,0,1).相應(yīng)地，v(A)對(duì)應(yīng)整數(shù)集I的元素

i=1(i=1?001)，v({x1})=v1.

當(dāng)知識(shí)集合A={x1,x3}時(shí)，索引表征向量c=(1,0,1)，此時(shí)v(A)對(duì)應(yīng)整數(shù)集I的元素

i=5(i=5?101)，v({x1,x3})=v5.

以知識(shí)集合X={x1,x2,x3}為例，按照表2的二進(jìn)制編碼方式，進(jìn)而確定知識(shí)集合模糊測(cè)度的位置，最后實(shí)現(xiàn)知識(shí)權(quán)重度向量vj的有序排列.

表2 知識(shí)權(quán)重二進(jìn)制編碼方式

本文基于模糊測(cè)度的深度神經(jīng)網(wǎng)絡(luò)FM-Net訓(xùn)練參數(shù),獲得知識(shí)權(quán)重的表征.為了方便表達(dá)，簡(jiǎn)化如下.將知識(shí)x1構(gòu)成的單點(diǎn)知識(shí)集合的權(quán)重v({x1})記作v1，將知識(shí)集合{x1,x3}的權(quán)重v({x1,x3})記作v13，以此類推，v({x1,x2,x3})記作v123.由于知識(shí)交互關(guān)系隨學(xué)習(xí)任務(wù)不同而變化，需要對(duì)應(yīng)學(xué)習(xí)任務(wù)的神經(jīng)網(wǎng)絡(luò)以學(xué)習(xí)知識(shí)權(quán)重對(duì)應(yīng)的參數(shù).具體的參數(shù)學(xué)習(xí)過程如圖3所示.

圖3 FM-Net參數(shù)學(xué)習(xí)過程

FM-Net的構(gòu)建采用文獻(xiàn)[24]中的參數(shù)學(xué)習(xí)的基本思想，初始化模糊測(cè)度學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)參數(shù)矩陣W=(wvA)∈RJ×(2K-1)，對(duì)應(yīng)于具體學(xué)習(xí)任務(wù)的知識(shí)權(quán)重生成一個(gè)相應(yīng)的網(wǎng)絡(luò)權(quán)重參數(shù).對(duì)于?A?X，A≠?，初始化參數(shù)統(tǒng)一賦值如下：

其中Kj表示FM-Net對(duì)應(yīng)的學(xué)習(xí)任務(wù)tj考察的知識(shí)數(shù)量.由此可見，F(xiàn)M-Net的初始參數(shù)取值與知識(shí)數(shù)量相關(guān).具體分為如下2種情況，計(jì)算學(xué)習(xí)任務(wù)tj中的知識(shí)權(quán)重.

if|A|=1，v(A)=ReLU(wvA).

例如，知識(shí)x1的權(quán)重

v1=v({x1})=wv1，

知識(shí)x2的權(quán)重

v2=v({x2})=wv2.

2)知識(shí)集合的模糊測(cè)度表征

根據(jù)模糊測(cè)度性質(zhì)中的單調(diào)性約束，若A?X,B?X，同時(shí)B?A，則v(A)≤v(B).這意味著知識(shí)子集的權(quán)重取值應(yīng)符合該約束條件.具體定義如下：

if|A|>1，

v(A)=max{v(B)}+ReLU(wvA),

(1)

其中,B?A，|B|=|A|-1，v(A)表示知識(shí)集合A的權(quán)重.

由式(1)可得,v(A)≥v(B)，由此保證v(A)取值的單調(diào)性.例如，知識(shí)集合A={x1,x2}，則該知識(shí)集合的權(quán)重表示為

v12=max{v1,v2}+ReLU(wv12).

上述兩類知識(shí)集合涵蓋單項(xiàng)學(xué)習(xí)任務(wù)中所有知識(shí)集合的模糊測(cè)度.按索引編碼的順序依次拼接后，獲得該學(xué)習(xí)任務(wù)的知識(shí)權(quán)重向量:

2.3 融合知識(shí)權(quán)重的作答表現(xiàn)預(yù)測(cè)

由于學(xué)習(xí)者的知識(shí)掌握水平屬于內(nèi)隱狀態(tài)，現(xiàn)有數(shù)據(jù)集中的知識(shí)掌握水平未被標(biāo)記，無法直接評(píng)價(jià)從認(rèn)知診斷模型計(jì)算知識(shí)掌握水平的準(zhǔn)確性.但是，學(xué)習(xí)者的作答表現(xiàn)(如作答分?jǐn)?shù))可基于知識(shí)掌握水平進(jìn)行預(yù)測(cè)，并且實(shí)際的作答分?jǐn)?shù)在數(shù)據(jù)集上已標(biāo)記.因此，本文利用認(rèn)知診斷模型獲取作答表現(xiàn)的預(yù)測(cè)結(jié)果，以反映認(rèn)知診斷結(jié)果的有效性.學(xué)習(xí)任務(wù)涉及多個(gè)知識(shí)，學(xué)習(xí)者的作答反應(yīng)由該學(xué)習(xí)者在各個(gè)知識(shí)上的掌握水平及特定學(xué)習(xí)任務(wù)中的知識(shí)權(quán)重共同決定.考慮將反映知識(shí)交互關(guān)系的知識(shí)集合權(quán)重通過模糊積分的方式嵌入認(rèn)知診斷過程中，在充分考慮模糊測(cè)度的約束條件基礎(chǔ)上學(xué)習(xí)獲得知識(shí)權(quán)重的表征向量vj，通過模糊積分神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)融合知識(shí)權(quán)重的聚合方法.

模糊積分(Fuzzy Integral)以模糊測(cè)度為核心建立聚合函數(shù)，能利用信息源之間豐富的相互作用.模糊測(cè)度可建模集合元素之間的交互作用，通常被描述為重要性、可靠性、滿意度等相似的概念.Choquet積分作為模糊積分中廣泛使用的方法之一，在分類[25]、模式識(shí)別[26]，MCDM(Multiple Criteria Decision-Making)[27]等多個(gè)領(lǐng)域得到應(yīng)用.

關(guān)于模糊測(cè)度m和輸入X，Choquet積分可表示為

(2)

其中,x(i)表示對(duì)輸入XZ={x(1),x(2),…,x(n)}非遞減排列后對(duì)應(yīng)的元素，即

x(1)≤x(2)≤…≤x(n).

Hi={(i),(i+1),…,(n)}

表示前n-i+1個(gè)最大元素對(duì)應(yīng)下標(biāo)構(gòu)成的集合.這里選擇廣泛性較好的Choquet積分作為知識(shí)聚合函數(shù),預(yù)測(cè)學(xué)習(xí)者的作答反應(yīng).換個(gè)角度來看，式(2)中Choquet積分可看作是關(guān)于知識(shí)權(quán)重向量的線性函數(shù).為了構(gòu)建適合于神經(jīng)網(wǎng)絡(luò)的表達(dá)形式，可將Choquet積分轉(zhuǎn)換為

(3)

其中，m(A)表示知識(shí)權(quán)重，gA(α)表示關(guān)于知識(shí)掌握水平的函數(shù).經(jīng)文獻(xiàn)[28]證明，式(2)與式(3)等價(jià).

本文采用Choquet積分聚合知識(shí)權(quán)重和認(rèn)知狀態(tài)，構(gòu)建融合知識(shí)交互關(guān)系的認(rèn)知診斷深度模型，實(shí)現(xiàn)學(xué)習(xí)者認(rèn)知狀態(tài)和學(xué)習(xí)任務(wù)知識(shí)權(quán)重的統(tǒng)一表達(dá).結(jié)合認(rèn)知診斷應(yīng)用場(chǎng)景，學(xué)習(xí)者si在學(xué)習(xí)任務(wù)tj中的理想作答表現(xiàn)為：

(4)

其中，vj(A)表示學(xué)習(xí)任務(wù)tj的知識(shí)權(quán)重向量，gA(αi)表示學(xué)習(xí)者si關(guān)于知識(shí)掌握水平αi的函數(shù).由式(4)可知，Choquet積分中知識(shí)權(quán)重向量vj的取值會(huì)影響該學(xué)習(xí)者在學(xué)習(xí)任務(wù)tj的作答表現(xiàn).

具體地，對(duì)于每個(gè)知識(shí)集合A?X，令

(5)

其中α(ik)表示對(duì)αik進(jìn)行遞減排序后的結(jié)果，即

α(i1)≥α(i2)≥…≥α(iK).

為了方便描述，可將gA(αi)簡(jiǎn)寫為gA.

需要注意的是，集合A是知識(shí)掌握水平αi中前k個(gè)最大元素對(duì)應(yīng)下標(biāo)構(gòu)成集合的子集，即

A?{x(1),x(2),…,x(k)}，gA=0.

例如，

A={x(1),x(2),…,x(k-1)}，

則

gA=max(0,α(i(k-1))-α(ik))=0.

舉例來說，學(xué)習(xí)任務(wù)t1涉及3個(gè)知識(shí)，即X={x1,x2,x3}，若學(xué)習(xí)者s2的知識(shí)掌握水平分別為

α(21)=0.5，α(22)=0.4，α(23)=0.7，

將知識(shí)掌握水平按照從大到小順序排列，可得α(21)=0.7，對(duì)應(yīng)知識(shí)x3.同理，

α(22)=0.5，α(23)=0.4，

分別對(duì)應(yīng)知識(shí)x1和x2.計(jì)算過程如下：

g123=max(min(α(21),α(22),α(23))-0)=0.4,

g13=max(0,min(α(21),α(22))-α(23))=0.1,

g3=max(0,α(21)-max(α(22),α(23)))=0.2,

g1=g2=g12=g23=0.

代入式(4)、式(5)計(jì)算理想作答反應(yīng)，可得

v({x1,x2,x3})g123+v({x1,x3})g13+v({x3})g3.

CI-CDM的目標(biāo)是通過學(xué)習(xí)者知識(shí)掌握水平向量α(j)和基于知識(shí)交互的知識(shí)權(quán)重向量vj生成聚合結(jié)果，預(yù)測(cè)學(xué)習(xí)者的作答表現(xiàn).將學(xué)習(xí)者編號(hào)生成的嵌入向量輸入多層神經(jīng)網(wǎng)絡(luò)后得到知識(shí)掌握水平α，根據(jù)Q矩陣，獲得學(xué)習(xí)任務(wù)tj的知識(shí)掌握水平向量α(j).經(jīng)過一系列變換后(如式(5)所示)，得到需要的知識(shí)掌握水平表征形式gA(α)，由此獲得作答預(yù)測(cè)模塊的其中一個(gè)輸入.另一方面，將模糊測(cè)度深度神經(jīng)網(wǎng)絡(luò)輸出的表征向量vj(第j項(xiàng)任務(wù)的知識(shí)權(quán)重向量)作為第2個(gè)輸入，經(jīng)Choquet積分的聚合后，計(jì)算得到理想作答表現(xiàn)N=(ηij)I×J.基于Choquet積分的理想作答反應(yīng)計(jì)算實(shí)現(xiàn)過程見如下算法.

算法基于Choquet積分的理想作答反應(yīng)計(jì)算

實(shí)現(xiàn)過程

輸入學(xué)習(xí)者si知識(shí)掌握水平αi，

學(xué)習(xí)任務(wù)tj的知識(shí)權(quán)重向量vj

輸出學(xué)習(xí)者si在學(xué)習(xí)任務(wù)tj上的理想作答反應(yīng)

ηij

step 1 初始化知識(shí)掌握水平向量函數(shù)

gA(αi)∈{0}1×(2K-1).

step 3 獲取差值向量：

Δα=α′(i)[0∶Kj]-α′(i)[1∶Kj].

step 4 取2sort_id按列求和，獲得定位loc,將Δα按定位賦值給gA(αi)[loc]=Δα.

step 5 理想作答反應(yīng)計(jì)算：

圖4 融合知識(shí)權(quán)重的作答表現(xiàn)預(yù)測(cè)過程

圖5 預(yù)測(cè)得分的one-hot 向量

聯(lián)合知識(shí)掌握水平和知識(shí)權(quán)重向量，通過Choquet積分獲得理想作答反應(yīng)，同時(shí)連接多層神經(jīng)網(wǎng)絡(luò)，預(yù)測(cè)最終的作答表現(xiàn).

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證CI-CDM的有效性，分別在公開數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn).由于本文討論的認(rèn)知診斷模型考慮面向?qū)W習(xí)任務(wù)的知識(shí)交互關(guān)系，因此學(xué)習(xí)任務(wù)與知識(shí)一一對(duì)應(yīng)的映射關(guān)系的數(shù)據(jù)集不適合于CI-CDM的應(yīng)用場(chǎng)景.因此，本文采用知識(shí)交互較多的公開數(shù)據(jù)集Math1和Math2(http://staff.ustc.edu.cn/～qiliuql/data/math2015.rar).

由于CI-CDM面向具有等量知識(shí)的學(xué)習(xí)任務(wù)，預(yù)處理階段根據(jù)Q矩陣篩選數(shù)據(jù)集上知識(shí)數(shù)目相同的學(xué)習(xí)任務(wù)，生成Math_A、Math_B數(shù)據(jù)集，如圖6所示.Math_A數(shù)據(jù)集為Math1數(shù)據(jù)集篩選后的結(jié)果，每項(xiàng)任務(wù)均包含3個(gè)知識(shí)(每項(xiàng)任務(wù)可能對(duì)應(yīng)不同的3個(gè)知識(shí)).例如，學(xué)習(xí)任務(wù)t5包含知識(shí)x1、x5和x8.Math2數(shù)據(jù)集選擇考察4個(gè)知識(shí)的學(xué)習(xí)任務(wù)后構(gòu)成Math_B數(shù)據(jù)集.例如，學(xué)習(xí)任務(wù)t1包含知識(shí)x1、x2、x9和x12.

(a)Math_A

同時(shí)選取編程學(xué)習(xí)平臺(tái)產(chǎn)生的真實(shí)數(shù)據(jù)集(Program數(shù)據(jù)集).平臺(tái)允許學(xué)習(xí)者多次重復(fù)作答，在本文實(shí)驗(yàn)場(chǎng)景中，作答數(shù)據(jù)僅記錄學(xué)習(xí)者前兩次作答的記錄以保證公平性.在預(yù)處理環(huán)節(jié)，選取考察3個(gè)知識(shí)的學(xué)習(xí)任務(wù),包含22個(gè)學(xué)習(xí)任務(wù)，共涉及30個(gè)知識(shí)，123 750條作答記錄.

各數(shù)據(jù)集基本情況如表3所示.

表3 實(shí)驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)信息

學(xué)習(xí)者的作答數(shù)據(jù)以json格式文件讀入模型，每條學(xué)生作答記錄包括學(xué)生編號(hào)、任務(wù)編號(hào)、任務(wù)得分、考察的知識(shí)這4個(gè)屬性.

本文基于Pytorch深度學(xué)習(xí)框架實(shí)現(xiàn)CI-CDM.為了保證實(shí)驗(yàn)的公平性，所有對(duì)比模型參數(shù)均調(diào)整至最優(yōu)性能.在知識(shí)掌握水平的多層網(wǎng)絡(luò)中，網(wǎng)絡(luò)參數(shù)維度分別設(shè)置為128，256，1.同時(shí)將ReLU作為中間層的激活函數(shù).

為了保證知識(shí)掌握水平的范圍在[0,1]區(qū)間，輸出層采用Sigmoid激活函數(shù).在初始化網(wǎng)絡(luò)參數(shù)階段，使用Xavier初始化參數(shù)[29]，根據(jù)N(0,std2)采樣隨機(jī)值填充權(quán)重.在模糊測(cè)度神經(jīng)網(wǎng)絡(luò)中網(wǎng)絡(luò)層數(shù)取決于學(xué)習(xí)的模糊測(cè)度個(gè)數(shù).單個(gè)知識(shí)對(duì)應(yīng)的模糊測(cè)度為第1層，兩個(gè)知識(shí)組合的知識(shí)集合對(duì)應(yīng)第2層，以此類推.Choquet積分計(jì)算結(jié)果輸入全連接層，維度分別設(shè)置為256，128，1.

為了防止過擬合情況發(fā)生，在全連接層的每一層加入Dropout機(jī)制(p=0.5)，并同樣采用ReLU作為激活函數(shù)，輸出層采用Sigmoid激活函數(shù).最后使用交叉熵作為損失函數(shù)訓(xùn)練CI-CDM(https://github.com/kathy-sj/CI-CDM.)

為了驗(yàn)證CI-CDM的有效性，本文選取如下基準(zhǔn)模型預(yù)測(cè)學(xué)習(xí)者的學(xué)習(xí)表現(xiàn).

1)NeuralCD[10].具有較好泛化性的深度學(xué)習(xí)認(rèn)知診斷模型，通過神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)復(fù)雜的交互函數(shù)，實(shí)現(xiàn)認(rèn)知診斷.

2)IRT[4].認(rèn)知診斷方法，通過線性函數(shù)對(duì)學(xué)習(xí)者的潛在特質(zhì)和任務(wù)特征參數(shù)(如難度與區(qū)分度)建模，實(shí)現(xiàn)認(rèn)知診斷.

3)MIRT(Multidimensional Item Response Theo-ry)[6].作為IRT的多維擴(kuò)展，對(duì)學(xué)習(xí)者和學(xué)習(xí)任務(wù)的多維度知識(shí)的熟練程度進(jìn)行建模.

4)概率矩陣分解(Probabilistic Matrix Factoriza-tion，PMF)[30].通過分解學(xué)習(xí)者得分矩陣，得到學(xué)習(xí)者和學(xué)習(xí)任務(wù)的潛在特征向量.

3.2 實(shí)驗(yàn)結(jié)果對(duì)比

為了衡量CI-CDM的性能，從回歸和分類的角度采用AUC(Area Under Curve)、F1-score、MAE(Mean Absolute Error)指標(biāo).

首先，將數(shù)據(jù)集作答數(shù)據(jù)中80%的記錄劃分為訓(xùn)練集，其余部分平均劃分為驗(yàn)證集和測(cè)試集.

實(shí)驗(yàn)對(duì)比CI-CDM和基準(zhǔn)模型的預(yù)測(cè)表現(xiàn)，各模型在學(xué)習(xí)者表現(xiàn)預(yù)測(cè)上的總體性能如表4所示，表中黑體數(shù)字表示最優(yōu)的預(yù)測(cè)結(jié)果.由表可得如下結(jié)論.

表4 各模型在學(xué)習(xí)者表現(xiàn)預(yù)測(cè)上的性能對(duì)比

1)在Math_A數(shù)據(jù)集上，相比NCD，CI-CDM的MAE值下降2.86%，同時(shí)AUC和F1-score值均有提升.同時(shí)，相比IRT、MIRT和PMF，CI-CDM更具有明顯優(yōu)勢(shì).這表明，融合知識(shí)交互關(guān)系的CI-CDM對(duì)于學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)預(yù)測(cè)任務(wù)是有效的，可獲得更準(zhǔn)確診斷結(jié)果，提高預(yù)測(cè)精度.

2)在Math_B數(shù)據(jù)集上，CI-CDM的預(yù)測(cè)表現(xiàn)幾乎都優(yōu)于不考慮知識(shí)交互的基準(zhǔn)模型.CI-CDM的F1-score值略低于NCD，但相比RT、MIRT和PMF,CI-CDM仍具有一定的優(yōu)勢(shì).這可能與Math_B數(shù)據(jù)集上知識(shí)本身的特征有關(guān)，部分學(xué)習(xí)任務(wù)中知識(shí)之間存在的交互關(guān)系較弱(如掌握概率論和等差數(shù)列的能力之間是相對(duì)獨(dú)立的).因此，是否融合知識(shí)交互關(guān)系進(jìn)行學(xué)習(xí)預(yù)測(cè)對(duì)結(jié)果影響并不明顯.但同時(shí)也可說明CI-CDM對(duì)認(rèn)知診斷工作的適用性，在知識(shí)交互關(guān)系較弱的學(xué)習(xí)場(chǎng)景下，CI-CDM同樣具有相對(duì)較優(yōu)的性能.

3)在Program數(shù)據(jù)集上CI-CDM的性能明顯優(yōu)于其它模型.由此可知在編程學(xué)習(xí)領(lǐng)域，CI-CDM同樣具有較好的適用性.編程學(xué)習(xí)強(qiáng)調(diào)綜合運(yùn)用多個(gè)知識(shí)解決問題，知識(shí)間的關(guān)聯(lián)關(guān)系更顯著，因此使用融合知識(shí)交互關(guān)系的認(rèn)知診斷模型在處理這一類學(xué)習(xí)場(chǎng)景時(shí)更具有優(yōu)勢(shì).

3.3 案例分析

案例分析1面向?qū)W習(xí)任務(wù)的知識(shí)全局重要度及交互指標(biāo)

CI-CDM可得到每個(gè)學(xué)習(xí)任務(wù)的知識(shí)權(quán)重向量，進(jìn)而可得出知識(shí)的全局重要度和交互指標(biāo)[31].這里的知識(shí)全局重要度是綜合考慮各知識(shí)自身的權(quán)重及包含該知識(shí)的集合權(quán)重，也就是充分利用知識(shí)交互關(guān)系后得出的全局重要度.交互指標(biāo)反映兩兩知識(shí)點(diǎn)在整個(gè)知識(shí)集合中的交互作用.若兩個(gè)知識(shí)點(diǎn)之間的交互指標(biāo)越高，說明這兩個(gè)知識(shí)點(diǎn)間的互補(bǔ)性越強(qiáng).

Math_A數(shù)據(jù)集上的知識(shí)全局重要度如圖7所示.由圖可知，學(xué)習(xí)任務(wù)知識(shí) “計(jì)算”出現(xiàn)在6項(xiàng)學(xué)習(xí)任務(wù)中，可看作這6項(xiàng)學(xué)習(xí)任務(wù)共同的知識(shí)基礎(chǔ).從考察目標(biāo)上看，“計(jì)算”必然不是學(xué)習(xí)任務(wù)重點(diǎn)關(guān)注的一個(gè)知識(shí)，因此它在各項(xiàng)學(xué)習(xí)任務(wù)中的重要程度是最低的，這也符合圖7的結(jié)果.

圖7 Math_A數(shù)據(jù)集上的知識(shí)全局重要度

同時(shí)可知，Math_A數(shù)據(jù)集上學(xué)習(xí)任務(wù)t2考察的知識(shí)包括函數(shù)圖像(x4)、空間想象(x5)和推理論證(x7)，學(xué)習(xí)任務(wù)t5考察的知識(shí)包括三角函數(shù)(x1)、空間想象(x5)和計(jì)算(x8)，學(xué)習(xí)任務(wù)t6考察的知識(shí)包括函數(shù)性質(zhì)(x3)、空間想象(x5)和計(jì)算(x8).知識(shí)空間想象(x5)出現(xiàn)在3項(xiàng)學(xué)習(xí)任務(wù)中，即t2、t5和t6.t2任務(wù)中知識(shí)x5對(duì)應(yīng)的重要度

φ(x5)=0.37，

在t5任務(wù)中知識(shí)x5對(duì)應(yīng)的重要度

φ(x5)=0.43，

而在任務(wù)t6中知識(shí)x5對(duì)應(yīng)的重要度

φ(x5)=0.39.

由此可看出，同個(gè)知識(shí)在不同的學(xué)習(xí)任務(wù)中，重要程度隨學(xué)習(xí)任務(wù)的不同而不同.

再看交互指標(biāo)，以Math_B數(shù)據(jù)集上的學(xué)習(xí)任務(wù)t6為例，該任務(wù)涉及4個(gè)知識(shí):線性規(guī)劃(x1)、算法定義(x2)、空間想象(x3)及推理論證(x4).根據(jù)CI-CDM可獲得知識(shí)權(quán)重如表5所示.

表5 CI-CDM學(xué)習(xí)獲得的知識(shí)權(quán)重

由表5可得如下結(jié)論：

v({x1})+v({x2})=v({x1,x2})，

v({x1})+v({x3})=v({x1,x3})，

v({x2,x3,x4})=v({x2,x4})+v({x3}).

根據(jù)研究[22]可知該任務(wù)中各個(gè)知識(shí)及知識(shí)集合之間為獨(dú)立關(guān)系.同時(shí)各知識(shí)的交互指標(biāo)應(yīng)接近于0(如圖8所示)，表示各個(gè)知識(shí)之間相對(duì)獨(dú)立.

圖8 Math_B數(shù)據(jù)集上第6項(xiàng)學(xué)習(xí)任務(wù)的知識(shí)交互指標(biāo)

綜上可知，實(shí)驗(yàn)結(jié)果符合學(xué)科的一般認(rèn)知規(guī)律，同時(shí)也印證Math_B數(shù)據(jù)集上知識(shí)交互關(guān)系較弱，結(jié)論具有一定的可解釋性.根據(jù)CI-CDM得到的知識(shí)權(quán)重可獲得知識(shí)全局重要度和交互指標(biāo)，有利于較好地理解學(xué)習(xí)任務(wù)特征.

案例分析2學(xué)習(xí)者的認(rèn)知狀態(tài)診斷結(jié)果

兩個(gè)學(xué)習(xí)者s1、s2對(duì)于Math_A數(shù)據(jù)集上8個(gè)知識(shí)的掌握水平如圖9所示.

圖9 學(xué)習(xí)者知識(shí)掌握水平示例

由圖9可看出：學(xué)習(xí)者s1對(duì)知識(shí)3的掌握程度較高，對(duì)其它知識(shí)的掌握程度較平均；學(xué)習(xí)者s2對(duì)知識(shí)2的掌握程度很高，而在知識(shí)8上的知識(shí)掌握水平較低.學(xué)習(xí)者的知識(shí)掌握水平通過認(rèn)知診斷方法診斷獲得，展現(xiàn)學(xué)習(xí)者潛在的認(rèn)知狀態(tài)可視化.

案例分析3知識(shí)交互關(guān)系分析

在Program數(shù)據(jù)集編程學(xué)習(xí)的立體幾何計(jì)算任務(wù)上，要求使用Scanf輸入數(shù)據(jù)(指定為double型浮點(diǎn)數(shù))，輸出圓柱體積的計(jì)算結(jié)果，輸出時(shí)取小數(shù)點(diǎn)后兩位數(shù)字.任務(wù)考察3個(gè)知識(shí)：輸入輸出函數(shù)x1、浮點(diǎn)數(shù)x2、乘法運(yùn)算x3.從任務(wù)描述中可知重點(diǎn)考察的知識(shí)是輸入輸出函數(shù)x1和浮點(diǎn)數(shù)x2.從CI-CDM獲得知識(shí)權(quán)重，可得

v({x1})=0.12，v({x2})=0.2，v({x3})=0.13.

同時(shí)，可知

v({x1,x2})=0.78，v({x2,x3})=0.3，

這樣就可以計(jì)算得出知識(shí)間的關(guān)聯(lián)關(guān)系及強(qiáng)度[23].例如，

v({x1,x2})>v({x1})+v({x2})，

v({x2,x3})

可推出知識(shí)x1、x2存在協(xié)同增強(qiáng)關(guān)系，交互強(qiáng)度為0.46.知識(shí)x2、x3存在負(fù)協(xié)同關(guān)系，接近獨(dú)立關(guān)系.同時(shí)計(jì)算全局重要度，可得

φ(x1)=0.465，φ(x2)=0.308，φ(x3)=0.227.

從重要度的排序結(jié)果來看，

φ(x1)>φ(x2)>φ(x3)，

即輸入輸出函數(shù)x1、浮點(diǎn)數(shù)x2均較重要，而乘法運(yùn)算x3對(duì)于完成該任務(wù)的重要度相對(duì)較弱.這與任務(wù)的考察重點(diǎn)一致，能較準(zhǔn)確地表征知識(shí)交互關(guān)系.

4 結(jié)束語

本文面向?qū)W習(xí)任務(wù)，提出融合知識(shí)交互關(guān)系的認(rèn)知診斷深度模型(CI-CDM)，實(shí)現(xiàn)學(xué)習(xí)者認(rèn)知狀態(tài)與知識(shí)交互關(guān)系的統(tǒng)一表達(dá).針對(duì)知識(shí)數(shù)量相同的學(xué)習(xí)任務(wù)場(chǎng)景，提出多個(gè)學(xué)習(xí)任務(wù)的知識(shí)權(quán)重學(xué)習(xí)算法，反映知識(shí)交互關(guān)系.最后，提出模糊測(cè)度的深度神經(jīng)網(wǎng)絡(luò)(FM-Net)，實(shí)現(xiàn)對(duì)學(xué)習(xí)者作答反應(yīng)的預(yù)測(cè)，在刻畫知識(shí)交互關(guān)系的基礎(chǔ)上構(gòu)建認(rèn)知診斷深度模型.本文進(jìn)行學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)預(yù)測(cè)實(shí)驗(yàn)，在公開數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上驗(yàn)證模型效果，并結(jié)合CI-CDM的實(shí)驗(yàn)結(jié)果，從學(xué)習(xí)任務(wù)的知識(shí)交互關(guān)系和知識(shí)掌握水平診斷結(jié)果兩方面進(jìn)行案例分析.

然而實(shí)際場(chǎng)景中學(xué)習(xí)任務(wù)的知識(shí)數(shù)量在大多數(shù)情況下并不相同，本文的研究?jī)H針對(duì)相同知識(shí)數(shù)量的學(xué)習(xí)任務(wù)進(jìn)行診斷，尚未解決多學(xué)習(xí)任務(wù)中知識(shí)數(shù)量不同的情況.下一步將進(jìn)行優(yōu)化以拓展CI-CDM的應(yīng)用范圍.學(xué)習(xí)任務(wù)涉及的知識(shí)數(shù)目不同，知識(shí)權(quán)重表征向量的長(zhǎng)度也相應(yīng)變化.每個(gè)知識(shí)子集對(duì)應(yīng)的索引位置也不相同，這為模糊積分計(jì)算帶來挑戰(zhàn).另一方面，由于知識(shí)掌握程度的取值影響知識(shí)權(quán)重變量被訪問的次數(shù)，因此無法確定數(shù)據(jù)支持哪些知識(shí)權(quán)重變量.隨著知識(shí)點(diǎn)數(shù)目的增加，知識(shí)權(quán)重變量被訪問的次數(shù)通常會(huì)變得更稀疏，如何對(duì)這部分變量進(jìn)行學(xué)習(xí)更新，同樣也是困難的.因此，如何更準(zhǔn)確地表征學(xué)習(xí)知識(shí)權(quán)重以應(yīng)對(duì)學(xué)習(xí)任務(wù)的復(fù)雜場(chǎng)景同樣值得深入研究.