詹沛達(dá) 邊玉芳 王立君

(1北京師范大學(xué) 中國(guó)基礎(chǔ)教育質(zhì)量監(jiān)測(cè)協(xié)同創(chuàng)新中心, 北京 100875)

(2浙江師范大學(xué) 心理系, 金華 321004)

1 引言

目前, 診斷分類評(píng)估(diagnostic classification assessment, DCA)已經(jīng)受到了國(guó)內(nèi)外學(xué)者的廣泛關(guān)注, 在教育與心理測(cè)量實(shí)踐中具有光明的未來(lái)。而診斷分類模型(diagnostic classification models,DCMs) (Rupp, Templin, & Henson, 2010)是對(duì) DCA數(shù)據(jù)進(jìn)行分析的必要工具。至今, 國(guó)內(nèi)外學(xué)者已經(jīng)開發(fā)了眾多的 DCMs, 常見的有 DINA (Junker &Sijtsma, 2001)、DINO (Templin & Henson, 2006)、LLM (Maris, 1999)、GDM (von Davier, 2005)、LCDM(Henson, Templin, & Willse, 2009)、G-DINA (de la Torre, 2011)、HO-DINA (de la Torre & Douglas, 2004)等等。

但縱觀現(xiàn)有的 DCMs, 絕大部分是基于二分屬性(dichotomous attributes, e.g., 用“0 和 1”分別表示“未掌握”和“掌握”)和二分 Q 矩陣(dichotomous Q-matrix, Q) (Tatsuoka, 1983, 1985)建構(gòu)的, 而對(duì)多分屬性(polytomous attributes)和多分 Q矩陣(polytomous Q-matrix, Q) (Karelitz, 2004)的關(guān)注并不多(e.g., Karelitz, 2004; von Davier, 2005; Chen &de la Torre, 2013; Sun, Xin, Zhang, & de la Torre,2013)。而在實(shí)際教學(xué)和測(cè)驗(yàn)中更多情況是對(duì)知識(shí)技能(i.e., 屬性)的多水平要求和考查, 比如《全日制義務(wù)教育數(shù)學(xué)課程標(biāo)準(zhǔn)(修改稿)》中就使用了“了解(認(rèn)識(shí))”、“理解”、“掌握”和“運(yùn)用”這 4 個(gè)順序類別詞匯來(lái)表述知識(shí)技能目標(biāo)的不同水平, 具有現(xiàn)實(shí)應(yīng)用價(jià)值和前景。此時(shí), 若想進(jìn)行 DCA則應(yīng)使用順序類別屬性編碼(ordered-category attribute coding,OCAC) (Karelitz, 2004)來(lái)對(duì)屬性的各個(gè)水平(類別)進(jìn)行編碼(e.g., 用“0至3”分別表示上述4個(gè)順序類 別詞匯, 或用“0至 2”分別表示“掌握很差”、“掌握一般”和“掌握很好”)。多分屬性比二分屬性能提供更詳細(xì)的診斷信息、更具有實(shí)際應(yīng)用價(jià)值, 且能夠?qū)Ρ辉囎龀龈鼮榫?xì)地劃分。傳統(tǒng)的二分屬性可被視為多分屬性的特例, 進(jìn)而基于二分屬性的 DCMs就無(wú)法處理此類情況, 因此很有必要開發(fā)一些適用于處理多分屬性的 DCMs (polytomous attributes DCMs, Pa-DCMs)。

圖1 三種具有代表性的診斷分類模型的理想作答概率示例

查閱國(guó)內(nèi)外相關(guān)文獻(xiàn), 目前關(guān)于 Pa-DCMs的研究還處于初期探索階段, 僅有少許DCMs可以處理多分屬性(e.g., Karelitz, 2004; Templin, 2004; von Davier, 2005; Chen & da la Torre, 2013), 而其中基于OCAC的僅有OCAC-DINA (Karelitz, 2004)和pGDINA (Chen & de la Torre, 2013)。OCAC-DINA限制了所有題目擁有相同的題目參數(shù); 而 pG-DINA因涉及到G-DINA (de la Torre, 2011)的相關(guān)概念,所以理解和解釋起來(lái)稍顯麻煩, 不利于多分屬性在實(shí)際應(yīng)用中的推廣。為簡(jiǎn)化理解難度, 可嘗試將pG-DINA按不同的縮合規(guī)則(condensation rule)(Maris, 1995, 1999)進(jìn)行約束轉(zhuǎn)化。在DCMs中通常假設(shè)各屬性對(duì)正確作答概率存在3種貢獻(xiàn)方式或縮合規(guī)則：連接(conjunctive)、分離(disjunctive)和補(bǔ)償(compensatory) (詹沛達(dá), 李曉敏, 王文中, 邊玉芳, 王立君, 2015), 其代表模型分別是 DINA、DINO和LLM, 如圖1所示, 可發(fā)現(xiàn)3類縮合規(guī)則的主要差異在于假設(shè)被試掌握部分屬性(Part = 1)時(shí)的正確作答概率不同, 補(bǔ)償可以視為連接和分離的折中。目前, 滿足連接縮合規(guī)則的診斷分類方法被研究的較多, 而滿足分離和補(bǔ)償縮合規(guī)則的診斷分類方法目前還未被充分挖掘, 具有很高待研究前景。另外, 國(guó)內(nèi)關(guān)于多分屬性的相關(guān)研究也處于相對(duì)匱乏階段(e.g., 丁樹良, 羅芬, 汪文義, 熊建華,2015)。此外, 也未發(fā)現(xiàn)有相關(guān)研究在多分屬性情境下探討Pa-DCMs判準(zhǔn)率的影響因素。

對(duì)此, 本研究將從兩方面切入, 第一部分對(duì)應(yīng)二分屬性情境下具有代表性的 DINA、DINO和LLM, 分別給出 3種易理解且易解釋的重參數(shù)化Pa-DCMs (reparametrized Pa-DCMs, RPa-DCMs)表達(dá)式：RPa-DINA、RPa-DINO和 RPa-LLM; 第二部分則基于多分屬性的數(shù)量、多分屬性的最高水平數(shù)、各多分屬性之間的相關(guān)性、多分屬性間的層級(jí)結(jié)構(gòu)、被試量和題目數(shù)這6個(gè)潛在的影響因素來(lái)探討新模型的判準(zhǔn)率。需要強(qiáng)調(diào)的是因?yàn)?3個(gè)RPa-DCMs基于不同的縮合規(guī)則, 所以關(guān)于3者的探究是平行進(jìn)行的。

2 三種具有代表性的RPa-DCMs

2.1 多分屬性和多分Q矩陣

Q矩陣(

I

×

K

, 其中

I

表示題目數(shù)量,

K

表示屬性數(shù)量)是連接題目與屬性的紐帶, 通常 Q矩陣是由0與1所組成的, 它的元素

q

界定了題目

i

與第

k

個(gè)屬性間的關(guān)系, 若

q

= 1表示題目

i

考查了第

k

個(gè)屬性, 反之為

q

= 0。而作為Q矩陣的拓廣, Q矩陣是由非負(fù)整數(shù)所組成的(Karelitz, 2004), 它的元素

q

界定了題目

i

對(duì)第

k

個(gè)屬性考查水平。式(1)和式(2)分別列出了相對(duì)應(yīng)的Q矩陣和Q矩陣,

以第1題為例, Q矩陣描述了第1題考查了第2和第3個(gè)屬性, 而Q矩陣不僅描述了第1題考查了第2和第3個(gè)屬性, 且描述了第1題對(duì)第2個(gè)屬性的考查水平相對(duì)更高。因此, Q矩陣比 Q矩陣能提供更多的診斷信息。

2.2 RPa-DINA簡(jiǎn)介

二分屬性情境下的DINA由于其參數(shù)較少、計(jì)算簡(jiǎn)便且易于解釋等特點(diǎn), 近些年得到了國(guó)內(nèi)外較廣泛的關(guān)注和研究(e.g., de la Torre, 2008, 2009;Huang & Wang, 2014; Li & Wang, 2015; 涂冬波,蔡艷, 戴海崎, 丁樹良, 2010; 詹沛達(dá)等, 2015; 詹沛達(dá), 邊玉芳, 2015)。Maris (1995, 1999)將連接縮合規(guī)則(conjunctive condensation rule)描述為：

式中,

Y

表示在作答題目

i

時(shí), 被試

n

的顯變量;

X

表示在作答題目

i

時(shí), 被試

n

的第

k

個(gè)潛變量;

C

函數(shù)為縮合規(guī)則。則式(3)表示當(dāng)且僅當(dāng)

K

個(gè)

X

均為1時(shí),

Y

才為1。應(yīng)用至DCA中, 則表示當(dāng)被試

n

掌握題目

i

考查的全部

K

個(gè)屬性時(shí), 其理想正確作答概率才為1。

相對(duì)于 Chen和 de la Torre (2013)給出的Pa-DINA表達(dá)式, 本研究給出一種理解和解釋起來(lái)相對(duì)簡(jiǎn)單且與之等價(jià)的RPa-DINA表達(dá)式：

另外, 當(dāng)

L

= 1時(shí)式(4)就可直接用于描述DINA, 無(wú)需做任何形式上的改變, 這符合“DINA應(yīng)是RPa-DINA的約束模型(特例)”這一基本邏輯。

2.3 RPa-DINO簡(jiǎn)介

DINO與DINA的區(qū)別是假設(shè)各屬性之間滿足分離縮合規(guī)則(disjunctive condensation rule) (Maris,1995, 1999)：

各參數(shù)含義同上, 其表示任意第

k

個(gè)

X

為1時(shí),

Y

就等于1。應(yīng)用至DCA中, 則表示當(dāng)被試

n

掌握題目

i

考查的任意第

k

個(gè)屬性時(shí), 其理想正確作答概率就是1。Maris (1995, 1999)認(rèn)為分離縮合規(guī)則反映出題目允許被試采用多策略(利用不同的屬性或?qū)傩越M合)來(lái)解答。因此, DINO適合測(cè)量一些非能力心理特質(zhì)(Templin & Henson, 2006)且在診斷被試作答錯(cuò)誤原因方面也很有優(yōu)勢(shì)。與 DINO對(duì)應(yīng),則RPa-DINO可被描述為：

2.4 RPa-LLM簡(jiǎn)介

Maris (1999)借鑒 Muthén (1978)、Bock 和 Aitkin(1981)的題目因素分析模型的思想, 指出補(bǔ)償模型(compensatory model)的背后假設(shè)是當(dāng)題目考查多個(gè)潛變量時(shí), 被試對(duì)各潛變量的掌握程度能夠相互彌補(bǔ)。則補(bǔ)償縮合規(guī)則可被描述為：

式中各參數(shù)含義同上, 其表示

Y

等于

K

個(gè)

X

之和。應(yīng)用至DCA中, 是指被試

n

對(duì)題目

i

的正確作答概率(的對(duì)數(shù)發(fā)生比)會(huì)隨著被試掌握該題目所考查的屬性個(gè)數(shù)的增加而增加。因此, LLM適合測(cè)量言語(yǔ)類能力, 因?yàn)橥ǔＵJ(rèn)為言語(yǔ)類能力之間是可以相互補(bǔ)償?shù)?Bernhardt, 2010; Stanovich, 2000)。關(guān)于 LLM 的介紹可參閱 Maris (1999)和詹沛達(dá)等(2015), 不再贅述。則RPa-LLM可被描述為：

式中,

λ

為題目

i

的截距, exp (

λ

)/[1+exp (

λ

)]用于描述正確作答題目

i

的基線概率;

λ

為題目

i

中屬性

k

的權(quán)重(即

λ

≥0), 用于描述掌握屬性

k

對(duì)正確作答題目

i

的概率的對(duì)數(shù)發(fā)生比的增量; 其他參數(shù)含義同上。同樣, 當(dāng)

L

= 1時(shí)式(8)就可直接用于描述LLM, 無(wú)需做任何形式上的改變, 這符合“LLM 應(yīng)是RPa-LLM的約束模型”這一基本邏輯。

3 實(shí)驗(yàn)設(shè)計(jì)

3.1 研究?jī)?nèi)容及自變量設(shè)定

本研究涉及6個(gè)潛在影響因素：多分屬性的數(shù)量(

K

= 3, 5, 7)、多分屬性的最高水平數(shù)(

L

= 2, 3, 4,5)、各多分屬性之間相關(guān)性(

Cor =

零相關(guān)(0)

、

低相關(guān)(0.2)、中等相關(guān)(0.5)和高相關(guān)(0.8))、多分屬性間的層級(jí)結(jié)構(gòu)(

H

= 離散型、線型、發(fā)散型、聚合型, 見圖2 (Sun et al., 2013))、被試量(

N

= 500、1000、2000)和題目數(shù)(

I

= 25、50)。

為便于清晰地探究各潛在影響因素, 本文包含兩個(gè)研究, 其中：研究1側(cè)重于探討前4個(gè)主要自變量對(duì)RPa-DCMs的獨(dú)立影響, 包括4個(gè)子研究(1)多分屬性數(shù)量對(duì)RPa-DCMs的判準(zhǔn)率影響; (2)多分屬性的最高水平數(shù)對(duì)RPa-DCMs的判準(zhǔn)率影響; (3)多分屬性間的相關(guān)性對(duì) RPa-DCMs的判準(zhǔn)率影響;(4)多分屬性層級(jí)結(jié)構(gòu)對(duì) RPa-DCMs的判準(zhǔn)率影響;而實(shí)際測(cè)驗(yàn)中應(yīng)存在多自變量的共同影響, 研究 2就側(cè)重于探討多個(gè)自變量對(duì) RPa-DCMs的判準(zhǔn)率的共同影響。以期為實(shí)證研究者提供相關(guān)理論支持。

圖2 多分屬性之間的層級(jí)結(jié)構(gòu)示例

3.2 評(píng)價(jià)指標(biāo)

采用屬性判準(zhǔn)率

ACCR

和屬性模式判準(zhǔn)率

PCCR

作為屬性返真性的評(píng)價(jià)指標(biāo)：

式中,

N

為樣本容量,

K

為屬性個(gè)數(shù),

3.3 測(cè)驗(yàn)Qp矩陣的建構(gòu)

基于多分認(rèn)知屬性層級(jí)結(jié)構(gòu)建構(gòu)多分可達(dá)矩陣(polytomous reachability matrix, R), 之后根據(jù)擴(kuò)張算法即可得到簡(jiǎn)化 Q矩陣, 具體操作方法可參見Sun等(2013)和丁樹良等(2015)。以圖 2中3個(gè)多分屬性(離散型/

L

= 2)為例, 則其對(duì)應(yīng)的R矩陣和簡(jiǎn)化Q矩陣見表1, 其余情況讀者可自行推算。

表1 3個(gè)多分屬性(離散型/L = 2)的Rp矩陣和簡(jiǎn)化Qp矩陣

3.4 被試屬性掌握狀態(tài)

當(dāng)不考慮屬性層級(jí)結(jié)構(gòu)時(shí)(離散型), 被試屬性掌握狀態(tài)采用如下方法生成：(1)依據(jù)多元正態(tài)分布

MVN

(0, Σ)生成

K

維連續(xù)變量矩陣; (2)設(shè)定各連續(xù)變量滿足標(biāo)準(zhǔn)正態(tài)分布, 則對(duì)其按Z值表進(jìn)行面積均等的(

L

+1)段切割(e.g.,

L

= 2時(shí), 就按?0.44和0.44進(jìn)行3段切割); (3)通過(guò)設(shè)定Σ矩陣來(lái)調(diào)控各多分屬性之間的相關(guān)。當(dāng)考慮屬性層級(jí)結(jié)構(gòu)時(shí)(發(fā)散型、聚合型、線型), 被試屬性掌握狀態(tài)在簡(jiǎn)化 Q矩陣(增加全 0模式)中隨機(jī)抽取, 且盡量保持每種掌握每種屬性模式的被試數(shù)量相等。

3.5 模擬作答

模擬作答時(shí), 首先根據(jù)各參數(shù)“真值”和RPa-DCMs計(jì)算被試

n

在項(xiàng)目

i

上的正確作答概率

P

。其次生成一個(gè)隨機(jī)數(shù)

r

(0≤

r

≤1), 則得 1分的條件為：

3.6 參數(shù)估計(jì)

本文采用基于貝葉斯MCMC算法的OpenBUGS(Spiegelhalter, Thomas, Best, & Lunn, 2014)進(jìn)行參數(shù)估計(jì), OpenBUGS代碼可向第一作者索取。另外,讀者若使用Chen和de la Torre (2013)的pG-DINA模型, 可直接使用R軟件中的CDM包來(lái)實(shí)現(xiàn)更為快速的參數(shù)估計(jì)。作者已驗(yàn)證, 使用RPa-DCMs與直接使用 pG-DINA的約束模型去擬合同一批數(shù)據(jù)可得到相同的參數(shù)估計(jì)結(jié)果, 包括屬性(模式)估計(jì)值和需要相互轉(zhuǎn)化的題目參數(shù)。

4 研究1：4個(gè)主要自變量對(duì)RPa-DCMs判準(zhǔn)率的獨(dú)立影響

4.1 多分屬性數(shù)量對(duì)RPa-DCMs的判準(zhǔn)率影響

4.1.1 研究目的與基本參數(shù)設(shè)定

在二分屬性情境下已經(jīng)有大量研究表明DCMs的判準(zhǔn)率隨被考查屬性數(shù)量的增加而降低(e.g., de la Torre, 2009; 涂冬波, 蔡艷, 戴海琦, 2013; 蔡艷, 涂冬波, 丁樹良, 2013; 詹沛達(dá), 王立君, 陳飛鵬,2013)。那么在多分屬性情境下是否會(huì)有同樣的結(jié)論？研究1就針對(duì)該問(wèn)題進(jìn)行探討, 未避免其余變量對(duì)結(jié)果的影響, 將它們固定為：

L

= 2,

Cor

= 0,

H

= 離散型,

N

= 2000,

I

= 50, 在相同實(shí)驗(yàn)條件下3個(gè)RPa-DCMs采用相同的測(cè)驗(yàn) Q矩陣, 相同的被試掌握屬性狀態(tài)。

4.1.2 研究結(jié)果與結(jié)論

研究結(jié)果見表 2, 低于 0.6的結(jié)果已用粗體標(biāo)出, 下同。針對(duì) RPa-DINA, 當(dāng)多分屬性個(gè)數(shù)為 3時(shí), 均ACCR為0.969, PCCR為0.921; 當(dāng)多分屬性數(shù)量提高到 5時(shí), 均 ACCR降為 0.926, 而 PCCR的降幅達(dá)0.2左右; 當(dāng)多分屬性數(shù)量提高到7個(gè)時(shí),均ACCR已降至0.9以下, PCCR僅為0.555, 已經(jīng)不足以滿足實(shí)際測(cè)驗(yàn)需要。與 RPa-DINA類似,RPa-DINO和RPa-LLM的均ACCR和PCCR也隨著多分屬性數(shù)量的增加而降低。且RPa-LLM受多分屬性個(gè)數(shù)的影響相對(duì)更大, 這可能與 RPa-LLM的縮合規(guī)則需要更多的信息量有關(guān)。

4.2 多分屬性的最高水平數(shù)對(duì)RPa-DCMs的判準(zhǔn)率影響

4.2.1 研究目的與基本參數(shù)設(shè)定

多分屬性與二分屬性的最大區(qū)別就是屬性的水平數(shù)差異, 多分屬性比二分屬性的劃分更為精細(xì),理論上可提供更多、更精細(xì)的診斷信息。但正如上文所述, 隨著屬性被劃分為更多的水平, 其可能的屬性模式數(shù)將大幅提升, 可能會(huì)對(duì)判準(zhǔn)率帶來(lái)一定影響, 那么在具體應(yīng)用中把最高水平設(shè)定為多少是合適的呢？研究2就針對(duì)該問(wèn)題進(jìn)行探討, 為避免其余變量對(duì)結(jié)果的影響, 將它們固定為：

K

= 3,

Cor

=0,

H

= 離散型,

N

= 2000,

I

= 50, 在相同實(shí)驗(yàn)條件下3個(gè)RPa-DCMs采用相同的測(cè)驗(yàn)Q矩陣, 相同的被試掌握屬性狀態(tài)。題目參數(shù)設(shè)定同研究1一致。

表2 不同多分屬性數(shù)量時(shí)RPa-DCMs的判準(zhǔn)率

4.2.2 研究結(jié)果與結(jié)論

研究結(jié)果見表 3。當(dāng)多分屬性最高水平數(shù)為 2時(shí), 3個(gè)RPa-DCMs的均ACCR和PCCR基本相等且較高; 當(dāng)最高水平數(shù)達(dá)到 5時(shí), RPa-DINA和RPa-DINO的PCCR降至0.7左右, 而RPa-LLM的降至0.6左右。隨著最高水平數(shù)的提升, RPa-DINA和RPa-DINO的均ACCR和PCCR出現(xiàn)等幅下降,而 RPa-LLM 的下降趨勢(shì)相對(duì)較大。另外, 相比于多分屬性數(shù)量的提升, 最高水平數(shù)提升時(shí)的降幅較小。此外, 我們還計(jì)算了各水平的判準(zhǔn)率, 基本結(jié)果趨勢(shì)與整體相當(dāng)且各水平的判準(zhǔn)率基本一致, 限于篇幅原因未呈現(xiàn)。

表3 不同多分屬性最高水平數(shù)時(shí)RPa-DCMs的判準(zhǔn)率

RPa-DINO 2 0.967 0.969 0.973 0.969 0.924 3 0.931 0.926 0.918 0.925 0.840 4 0.893 0.903 0.886 0.894 0.779 RPa-LLM 5 0.855 0.839 0.843 0.845 0.690 2 0.977 0.975 0.975 0.976 0.934 3 0.921 0.914 0.911 0.915 0.797 4 0.878 0.857 0.866 0.867 0.702 5 0.828 0.808 0.821 0.819 0.625

4.3 多分屬性間的相關(guān)性對(duì)RPa-DCMs的判準(zhǔn)率影響

4.3.1 研究目的與基本參數(shù)設(shè)定

以往關(guān)于 DCMs的模擬研究大都假設(shè)屬性之間是零相關(guān)或忽視了生成屬性之間的相關(guān)性(e.g.,涂冬波等, 2013; 蔡艷等, 2013; Chen & de la Torre,2013; 詹沛達(dá)等, 2015), 但大量實(shí)證研究表明屬性之間通常是存在相關(guān)性的。那么, DCMs的判準(zhǔn)率會(huì)不會(huì)受到屬性間相關(guān)性的影響？基于零相關(guān)假設(shè)或忽視了生成屬性間相關(guān)情境下得到的研究結(jié)論是否存在局限性？對(duì)此, 本研究將探討多分屬性間的相關(guān)性對(duì)RPa-DCMs判準(zhǔn)率的影響, 為避免其余變量對(duì)結(jié)果的影響, 將它們固定為：

K

= 3,

L

= 2,

H

= 離散型,

N

= 2000,

I

= 50, 在相同實(shí)驗(yàn)條件下3個(gè) RPa-DCMs采用相同的測(cè)驗(yàn) Q矩陣, 相同的被試掌握屬性狀態(tài)。題目參數(shù)設(shè)定同研究1一致。

4.3.2 研究結(jié)果與結(jié)論

研究結(jié)果見表 4。發(fā)現(xiàn), 3個(gè) RPa-DCMs的均ACCR和PCCR均隨著多分屬性間的相關(guān)性提升而提升, 盡管幅度不大。增幅最大處在中等相關(guān)到高相關(guān)這一階段。該結(jié)果表明, 盡管以往研究在生成屬性時(shí)存在零相關(guān)假設(shè)或忽視了屬性間的相關(guān)性,但它們得到的結(jié)論仍對(duì)實(shí)證研究具有指導(dǎo)意義。

總之, RPa-DCMs的判準(zhǔn)率隨多分屬性之間的相關(guān)性的增加而增加。當(dāng)然, 在實(shí)際測(cè)驗(yàn)中測(cè)驗(yàn)編制者是很難操控該自變量, 但至少本研究表明：當(dāng)實(shí)證研究中屬性間存在一定程度相關(guān), 對(duì)判準(zhǔn)率來(lái)講并非壞事。另外, 作者認(rèn)為屬性層級(jí)結(jié)構(gòu)(Leighton,Gierl, & Hunka, 2004)與屬性之間相關(guān)性至少在概念上是可以相互獨(dú)立的, 屬性層級(jí)結(jié)構(gòu)描繪的是屬性之間的邏輯關(guān)系, 是測(cè)驗(yàn)編制者可以操控的, 而屬性之間相關(guān)性是一個(gè)一定程度上依附于抽樣群體的統(tǒng)計(jì)值, 測(cè)驗(yàn)編制者難以操控。同樣的屬性層級(jí)結(jié)構(gòu)會(huì)隨著抽樣群體的不同而得到不同的屬性間相關(guān)性, 類似, 同樣的屬性間相關(guān)性也可能存在于不同的屬性層級(jí)結(jié)構(gòu)之中。

表4 多分屬性間不同的相關(guān)性時(shí)RPa-DCMs的判準(zhǔn)率

4.4 多分屬性層級(jí)結(jié)構(gòu)對(duì)RPa-DCMs的判準(zhǔn)率影響

4.4.1 研究目的與基本參數(shù)設(shè)定

在二分屬性情境下, 涂冬波等(2013)和蔡艷等(2013)曾探討了5種假設(shè)屬性間滿足連接縮合規(guī)則的診斷分類方法在不同屬性層級(jí)結(jié)構(gòu)下的表現(xiàn), 他們建議當(dāng)無(wú)法確定屬性層級(jí)結(jié)構(gòu)是否正確時(shí)應(yīng)使用DINA, 即DINA受屬性層級(jí)結(jié)構(gòu)的影響相對(duì)較小。詹沛達(dá)等(2013)也曾探討了假設(shè)屬性間滿足分離縮合規(guī)則的DINO對(duì)屬性層級(jí)結(jié)構(gòu)的敏感性, 其結(jié)果表明DINO更適用于處理離散型屬性關(guān)系的數(shù)據(jù), 而在線型、發(fā)散型和聚合型層級(jí)結(jié)構(gòu)中表現(xiàn)較差。那么這些結(jié)論在多分屬性情境下是否同樣適用？本研究將針對(duì)該問(wèn)題進(jìn)行探討, 多分屬性層級(jí)結(jié)構(gòu)(見圖 2)及多分屬性個(gè)數(shù)(

K

= 3)參見 Sun等(2013)一文, 為避免其余變量對(duì)結(jié)果的影響, 將它們固定為：

L

= 3,

Cor

= 0,

N

= 2000,

I

= 50, 在相同實(shí)驗(yàn)條件下3個(gè)RPa-DCMs采用相同的測(cè)驗(yàn)Q矩陣, 相同的被試掌握屬性狀態(tài)。題目參數(shù)設(shè)定同研究1一致。

4.4.2 研究結(jié)果與結(jié)論

研究結(jié)果的具體數(shù)值見表 5。盡管 3個(gè)RPa-DCMs其自身均不考慮屬性層級(jí)結(jié)構(gòu)(i.e., 所有屬性模式均納入?yún)?shù)估計(jì)), 但它們的判準(zhǔn)率還是會(huì)受到屬性層級(jí)結(jié)構(gòu)的影響。其中, RPa-DINA受屬性層級(jí)結(jié)構(gòu)的影響最小。而RPa-DINO對(duì)屬性層級(jí)結(jié)構(gòu)最敏感, 無(wú)論是聚合型、發(fā)散型還是線型,其均ACCR和PCCR均是最低的, 尤其是在線型和聚合型中, 屬性 3的判準(zhǔn)率已經(jīng)降到 0.25和 0.35左右了, 已失去可用性。因此, RPa-DINO僅適用于多分屬性間滿足離散關(guān)系的測(cè)驗(yàn)情境中, 這也驗(yàn)證了詹沛達(dá)等(2013)在二分屬性情境下得到的結(jié)論。再有, RPa-LLM對(duì)屬性層級(jí)結(jié)構(gòu)也較為敏感, 判準(zhǔn)率處于 RPa-DINA和 RPa-DINO之間, 盡管其PCCR保持在 0.6以上, 但實(shí)際使用中還是建議使用在屬性之間滿足離散關(guān)系的測(cè)驗(yàn)情境中。另外,還可發(fā)現(xiàn)當(dāng)屬性間存在層級(jí)結(jié)構(gòu)時(shí), 子屬性的判準(zhǔn)率會(huì)低于其父屬性的判準(zhǔn)率, 以線型為例, 從

α

到

α

再到

α

, 其ACCR依次降低, 發(fā)散型和聚合型也有類似的結(jié)果。最后需要說(shuō)明的是, 如果在數(shù)據(jù)分析前能確保測(cè)驗(yàn)Q矩陣或?qū)傩詫蛹?jí)結(jié)構(gòu)是正確的,則可以將不符合層級(jí)結(jié)構(gòu)的屬性模式在參數(shù)估計(jì)時(shí)刪除。屬性的最高水平數(shù)增加而降低, 建議實(shí)際使用中不超過(guò)4水平; (3)隨多分屬性間的相關(guān)性增加而增加,且對(duì)判準(zhǔn)率的影響相對(duì)較小; (5)會(huì)受到多分屬性層級(jí)結(jié)構(gòu)的影響, 其中 RPa-DINA受影響最小,RPa-LLM居中, RPa-DINO受影響最大, 建議實(shí)際使用RPa-DINO和RPa-LLM分析數(shù)據(jù)前, 要確定屬性間是否存在潛在的層級(jí)結(jié)構(gòu)。

根據(jù)研究1中4個(gè)子研究的結(jié)果, 將結(jié)論整理如下：RPa-DCMs的判準(zhǔn)率(1)隨多分屬性數(shù)量的增加而降低, 建議實(shí)際使用中不超過(guò)5個(gè); (2)隨多分

表5 不同屬性層級(jí)結(jié)構(gòu)下RPa-DCMs的判準(zhǔn)率

5 研究2：RPa-DCMs判準(zhǔn)率的影響的多因素設(shè)計(jì)模擬研究

5.1 研究目的與基本參數(shù)設(shè)定

根據(jù)已有研究結(jié)果(e.g., de la Torre, Hong, &Deng, 2010; Chen & de la Torre, 2013; 蔡艷等, 2013;詹沛達(dá)等, 2015)可知, 足夠的被試量和題目數(shù)是模型實(shí)現(xiàn)準(zhǔn)確和穩(wěn)定參數(shù)估計(jì)結(jié)果的必要前提, 通常越復(fù)雜的模型對(duì)被試量和題目數(shù)的要求越高。研究1在探討多分屬性數(shù)量、屬性最高水平數(shù)、屬性間相關(guān)性和屬性層級(jí)結(jié)構(gòu)這4個(gè)主要自變量時(shí), 將被試量與題目數(shù)固定在一個(gè)較充足的條件下, 而實(shí)際測(cè)驗(yàn)很有可能無(wú)法保證足夠的被試量與題目數(shù), 則此時(shí)RPa-DCMs的表現(xiàn)又如何？另外, 根據(jù)研究1的結(jié)論可知屬性間相關(guān)性對(duì)判準(zhǔn)率的影響不大且在離散型層級(jí)結(jié)構(gòu)下探討 RPa-DINO和 RPa-LLM才有意義, 因此研究2中將這兩個(gè)自變量進(jìn)行固定(

Cor

= 0,

H

= 離散型), 僅探討被試量、題目數(shù)、多分屬性數(shù)量與最高水平數(shù)這4個(gè)自變量同時(shí)存在時(shí)3個(gè)RPa-DCMs的判準(zhǔn)率表現(xiàn)。

圖3 多個(gè)自變量同時(shí)存在對(duì)RPa-DINA判準(zhǔn)率影響

5.2 研究結(jié)果與結(jié)論

研究2結(jié)果見圖3至圖5, 每個(gè)模型下均有24種實(shí)驗(yàn)條件。其中一些結(jié)果驗(yàn)證了研究1中的結(jié)論：

圖4 多個(gè)自變量同時(shí)存在對(duì)RPa-DINO判準(zhǔn)率影響

圖5 多個(gè)自變量同時(shí)存在對(duì)RPa-LLM判準(zhǔn)率影響

當(dāng)固定被試量和題目數(shù)后, 判準(zhǔn)率隨屬性數(shù)量和屬性最高水平數(shù)的增加而降低, 且當(dāng)兩者同時(shí)存在時(shí),對(duì)判準(zhǔn)率的影響更大(e.g.,

K

= 5/

L

= 4比

K

= 3/

L

=2的判準(zhǔn)率低0.5左右)。另外還可發(fā)現(xiàn), 增加題目數(shù)可促進(jìn)判準(zhǔn)率增加且影響相對(duì)較大, 而被試量對(duì)判準(zhǔn)率幾乎無(wú)影響。這與二分屬性情境下的研究結(jié)論類似(e.g., 蔡艷等, 2013; 詹沛達(dá)等, 2015), 另外結(jié)合de la Torre等(2010)和詹沛達(dá)等(2015)的研究結(jié)果可知被試量主要影響的是題目參數(shù)的返真性,而題目數(shù)則影響被試參數(shù)(i.e., 屬性或能力)的返真性。如若實(shí)際測(cè)驗(yàn)中更關(guān)注的是判準(zhǔn)率, 而對(duì)題目參數(shù)返真性的要求沒有那么高, 那么在使用RPa-DCMs時(shí)首先要保證的是有充足的題目數(shù), 以減少對(duì)被試的診斷信息出現(xiàn)誤導(dǎo)的可能。

6 討論與總結(jié)

6.1 討論

6.1.1 多分屬性與多級(jí)評(píng)分之間的關(guān)系

觀察3個(gè)RPa-DCMs后, 很容易發(fā)現(xiàn)盡管它們考慮到了屬性的多水平劃分, 但它們?nèi)允嵌?jí)評(píng)分(dichotomous scoring)DCMs。目前, 在DCA中盡管已有一些研究在探討如何實(shí)現(xiàn)多級(jí)評(píng)分, 但還缺乏一個(gè)被普遍認(rèn)可的方法。大體可將現(xiàn)有的多級(jí)評(píng)分方法分為兩類：屬性與分?jǐn)?shù)相對(duì)應(yīng)法(e.g., 祝玉芳,丁樹良, 2009; 田偉, 辛濤, 2012; Sun et al., 2013)和屬性與分?jǐn)?shù)相獨(dú)立法(e.g., Templin, Henson, Rupp,Jang, & Ahmed, 2008; Hansen, 2013; 涂冬波等,2010)。其中, 前者是指非純心理測(cè)量模型診斷法(e.g., RSM (Tatsuoka, 1983, 1985)、AHM (Leighton et al., 2004))特有的一種需要滿足一系列假設(shè)的評(píng)分方法。假設(shè)依次為(1)“屬性外顯假設(shè)”：評(píng)分者能夠根據(jù)被試的作答(當(dāng)被試未給出某題的正確答案時(shí), 評(píng)分者能夠根據(jù)現(xiàn)有的答案(或作答流程))判斷出被試可能掌握了哪些屬性及對(duì)這些屬性掌握水平; (2)“屬性與分?jǐn)?shù)相對(duì)應(yīng)假設(shè)”：被試得分等于被試正確作答的題目所考察的屬性最高水平數(shù)加權(quán)之和, 可被描述為：

式中,

Score

表示被試

n

在題目

i

上的得分,

β

表示屬性

k

的得分加權(quán),

q

為Q矩陣中的元素,

ω

為潛在作答。當(dāng)各屬性權(quán)重相等(

β

=

β

)時(shí), 式(12)退化為多分屬性情境下的屬性與分?jǐn)?shù)相對(duì)應(yīng)評(píng)分方法(e.g., Sun et al., 2013)。進(jìn)一步當(dāng)

β

=

β

且

L

= 1時(shí), 式(12)就退化為二分屬性情境下的屬性與分?jǐn)?shù)相對(duì)應(yīng)評(píng)分方法(e.g., 祝玉芳, 丁樹良, 2009; 田偉,辛濤, 2012); (3)“屬性間滿足連接縮合規(guī)則假設(shè)”：由式(12)知, 該評(píng)分方法其實(shí)是一個(gè)潛在作答的累加過(guò)程, 僅當(dāng)被試所有的潛在作答均為1時(shí)才能累加得到滿分, 因此各屬性之間必須滿足連接縮合規(guī)則。而這3個(gè)假設(shè)的存在會(huì)大大限制屬性與分?jǐn)?shù)相對(duì)應(yīng)法的適用范圍, 比如：不適用于多項(xiàng)選擇題(multiple-choice item) (因?yàn)檫x項(xiàng)數(shù)量的限制, 當(dāng)屬性(水平)數(shù)量之和大于選項(xiàng)數(shù)量時(shí), 則分?jǐn)?shù)與屬性(數(shù)量)之間的關(guān)系無(wú)法被合適地描述); 另外, 當(dāng)建構(gòu)反應(yīng)題(constructed response item)的評(píng)分細(xì)則中的采分點(diǎn)與屬性不對(duì)應(yīng)時(shí), 該方法也無(wú)法使用。

與之不同, 屬性與分?jǐn)?shù)相獨(dú)立法則是源自于IRT 中的多級(jí)評(píng)分方法(e.g., 等級(jí)反應(yīng)(graded response)、部分評(píng)分(partial credit)、稱名反應(yīng)(nomial response)等), 該方法認(rèn)為評(píng)分與潛質(zhì)(i.e.,屬性或能力)是兩個(gè)相互獨(dú)立的概念, 即評(píng)分方法僅涉及題目參數(shù)的而與被試參數(shù)無(wú)關(guān)。單維(相當(dāng)于 1道題目?jī)H考查 1個(gè)屬性)題目亦可以有多級(jí)評(píng)分, 同理, 題目?jī)?nèi)多維(相當(dāng)于1道題目考查多個(gè)屬性)題目亦可僅有二級(jí)評(píng)分, 即“多維度不等于多級(jí)評(píng)分”。該方法不存在與屬性與分?jǐn)?shù)相對(duì)應(yīng)法相類似的強(qiáng)假設(shè), 適用范圍更廣泛(e.g., 多項(xiàng)選擇題、建構(gòu)反應(yīng)題等)。在二分屬性情境下, Hansen (2013)在LCDM (Henson et al., 2009)的基礎(chǔ)上使用等級(jí)反應(yīng)評(píng)分法提出了等級(jí)反應(yīng)LCDM。Templin等(2008)在LCDM (Henson et al., 2009)的基礎(chǔ)上使用稱名反應(yīng)評(píng)分法提出了稱名反應(yīng)診斷模型。這兩個(gè)模型可被視為是屬性與分?jǐn)?shù)相獨(dú)立評(píng)分法的代表。

綜上所述, 當(dāng)多級(jí)評(píng)分采用屬性與分?jǐn)?shù)相對(duì)應(yīng)法時(shí), 多級(jí)評(píng)分將依賴于多分屬性的水平數(shù); 而當(dāng)采用屬性與分?jǐn)?shù)相獨(dú)立法時(shí), 多分屬性與多級(jí)評(píng)分也是相獨(dú)立的, 本研究評(píng)分方式為屬性與分?jǐn)?shù)相獨(dú)立法, 相應(yīng)的多級(jí)評(píng)分RPa-DCMs已另攥文闡述。

6.1.2 多分屬性與二分屬性之間的關(guān)系

圖6 多分屬性與二分屬性對(duì)應(yīng)關(guān)系示例

丁樹良等(2015)也使用膨脹算法探討了如何將R矩陣轉(zhuǎn)化為與之相對(duì)應(yīng)的二分矩陣(稱之為M矩陣), 從中也能得出與Karelitz (2004)相同的結(jié)論。以圖1中聚合型層級(jí)結(jié)構(gòu)為例, 假設(shè)3個(gè)多分屬性的

L

= 2, 即

a

∈{0,1,2}, 則其對(duì)應(yīng)的R矩陣以及相對(duì)應(yīng)的M矩陣為：

為了讓讀者更好地理解多分屬性與二分屬性之間的關(guān)系, 我們結(jié)合 Karelitz (2004)和丁樹良等(2015)的研究, 以線型和聚合型為例把多分屬性(

L

=2)和二分屬性的之間的對(duì)應(yīng)關(guān)系以圖式表示出來(lái),見圖 7, 其中二分屬性中的“1-1”和“1-2”是指由多分屬性“1”拆分而來(lái)的(見圖 6), 其余屬性同理。仍以聚合型為例, 經(jīng)推算圖7中右側(cè)6個(gè)二分屬性的可達(dá)矩陣, 可得到式(13)中的 M 矩陣, 同時(shí)經(jīng)推算圖7左邊的3個(gè)多分屬性的可達(dá)矩陣, 可得到式(13)中的R矩陣。同時(shí)可發(fā)現(xiàn), 當(dāng)假設(shè)3個(gè)多分屬性之間存在層級(jí)結(jié)構(gòu)時(shí), 其對(duì)應(yīng)的二分屬性之間的層級(jí)結(jié)構(gòu)僅存在于屬性“1-1”、“2-1”和“3-1”之間, 而“1-2”、“2-2”和“3-2”之間相互獨(dú)立。同理可知, 無(wú)論多分屬性的最高水平數(shù)

L

多大, 各屬性之間的層級(jí)結(jié)構(gòu)僅建構(gòu)在第1和第2水平(i.e., 0和1)上。另外根據(jù)上述內(nèi)容也可推知, 當(dāng)把多分屬性轉(zhuǎn)換為與之對(duì)等的二分屬性后, 其可能是潛在屬性模式(或待估計(jì)屬性模式參數(shù))數(shù)量仍保持不變。

圖7 線型與聚合型層級(jí)結(jié)構(gòu)下多分屬性與二分屬性的對(duì)應(yīng)關(guān)系

6.2 總結(jié)

由于多分屬性將被試對(duì)屬性的掌握情況進(jìn)行了更為細(xì)致的劃分, 所以它比二分屬性提供更多地診斷反饋信息, 也更符合當(dāng)前國(guó)家教育政策(e.g.,《全日制義務(wù)教育數(shù)學(xué)課程標(biāo)準(zhǔn)(修改稿)》)中對(duì)知識(shí)技能的多水平要求, 具有較好的應(yīng)用前景。本文首先介紹了多分屬性和多分 Q 矩陣的概念; 之后重參數(shù)化了3個(gè)分別滿足連接、分離和補(bǔ)償縮合規(guī)則的RPa-DCMs表達(dá)式, 以期簡(jiǎn)化讀者對(duì)Pa-DCMs理解;然后, 我們探討了多分屬性數(shù)量、多分屬性最高水平數(shù)、多分屬性之間的相關(guān)性、多分屬性層級(jí)結(jié)構(gòu)、被試量和題目數(shù)對(duì)3個(gè)RPa-DCMs判準(zhǔn)率的影響,根據(jù)研究結(jié)果發(fā)現(xiàn)：(1)RPa-DCMs的判準(zhǔn)率隨多分屬性數(shù)量的增加而降低, 受影響程度從大到小依次為RPa-LLM、RPa-DINO和RPa-DINA。當(dāng)多分屬性的最高水平數(shù)較低且題目數(shù)量充足時(shí), 多分屬性數(shù)量也不宜超過(guò)5個(gè); (2)判準(zhǔn)率隨多分屬性最高水平數(shù)的增加而降低, 其中 RPa-LLM 受影響程度相對(duì)最大, 而RPa-DINA和RPa-DINO受影響程度類似。當(dāng)多分屬性的最高水平數(shù)較低且題目數(shù)量充足時(shí), 多分屬性的最高水平數(shù)不宜超過(guò) 4; (3)判準(zhǔn)率隨多分屬性之間的相關(guān)性的增加而增加, 但影響程度相對(duì)較小, 實(shí)際測(cè)驗(yàn)中可不用考慮該因素對(duì)判準(zhǔn)率的影響; (4)多分屬性間的層級(jí)結(jié)構(gòu)對(duì)不同模型的影響不同, 受影響程度從大到小依次為RPa-DINO、RPa-LLM和RPa-DINA。建議實(shí)際使用RPa-DINO和 RPa-LLM 分析數(shù)據(jù)前, 要確定屬性間是否存在潛在的層級(jí)結(jié)構(gòu); (5)被試量對(duì)判準(zhǔn)率影響很小, 若實(shí)際測(cè)驗(yàn)中更關(guān)注的是判準(zhǔn)率而非題目參數(shù)的返真性, 則尋找較小的樣本量即可滿足測(cè)驗(yàn)需求; (6)題目數(shù)對(duì)判準(zhǔn)率的影響很大, 當(dāng)題目數(shù)量從較少(25題)提升到中等(50題)時(shí), 3個(gè)RPa-DCMs的判準(zhǔn)率均有 10%～20%左右的提升。因此實(shí)際測(cè)驗(yàn)中充足的題目數(shù)是得到準(zhǔn)確、有效診斷結(jié)果的必要前提之一。最后, 本文還探討了“多分屬性與多級(jí)評(píng)分之間的關(guān)系”和“多分屬性與二分屬性之間的關(guān)系”這兩個(gè)的問(wèn)題。以期為實(shí)證研究者提供相關(guān)的理論支持與使用建議。

當(dāng)然, 由于精力和篇幅有限且為聚焦研究主題,本文對(duì)部分研究條件做了簡(jiǎn)化或限定：(1) Q矩陣界定正確; (2)多分屬性層級(jí)結(jié)構(gòu)界定正確; (3)題目參數(shù)固定; (4)各屬性考查次數(shù)均衡; (5)限于二級(jí)評(píng)分?jǐn)?shù)據(jù)等等, 而這些限定的研究條件也均可能是RPa-DCMs判準(zhǔn)率的影響因素, 值得今后研究進(jìn)一步探討。

Bernhardt, E. B. (2010).

Understanding advanced secondlanguage reading

. New York: Routledge.Bock, R. D., & Aitkin, M. (1981). Marginal maximum likelihood estimation of item parameters: Application of an EM algorithm.

Psychometrika, 46

, 443–459.Cai, Y., Tu, D. B., & Ding, S. L. (2013). A simulation study to compare five cognitive diagnostic models.

Acta Psychologica Sinica,45

, 1295–1304.[蔡艷, 涂冬波, 丁樹良. (2013). 五大認(rèn)知診斷模型的診斷正確率比較及其影響因素: 基于分布形態(tài)、屬性數(shù)及樣本容量的比較.

心理學(xué)報(bào), 45

, 1295–1304.]Chen, J. S., & de la Torre, J. (2013). A general cognitive diagnosis model for expert-defined polytomous attributes.

Applied Psychological Measurement, 37

, 419–437.de la Torre, J. (2008). An empirically based method of Q-matrix validation for the DINA model: development and applications.

Journal of Educational Measurement, 45

,343–362.de la Torre, J. (2009). DINA model and parameter estimation:A didactic.

Journal of Educational and Behavioral Statistics,34

, 115–130.de la Torre, J. (2011). The generalized DINA model framework.

Psychometrika, 76

, 179–199.de la Torre, J., & Douglas, J. A. (2004). Higher-order latent trait models for cognitive diagnosis.

Psychometrika, 69

, 333–353.de la Torre, J., Hong, Y., & Deng, W. L. (2010). Factors affecting the item parameter estimation and classification accuracy of the DINA model.

Journal of Educational Measurement, 47

, 227–249.Ding, S. L., Luo, F., Wang, W. Y., & Xiong, J. H. (2015). The properties of 0-1 and polytomous reach ability matrices and their applications.

Journal of Jiangxi Normal University(Natural Science Edition), 39

, 64–68.[丁樹良, 羅芬, 汪文義, 熊建華. (2015). 0-1和多值可達(dá)矩陣的性質(zhì)及應(yīng)用.

江西師范大學(xué)學(xué)報(bào)(自然科學(xué)版), 39

,64–68.]Ding, S. L., Wang, W. Y., & Yang, S. Q. (2011). The design of cognitive diagnostic test blueprints.

Journal of Psychological Science, 34

, 258–265.[丁樹良, 汪文義, 楊淑群. (2011). 認(rèn)知診斷測(cè)驗(yàn)藍(lán)圖的設(shè)計(jì).

心理科學(xué), 34

, 258–265.]Ding, S. L., Yang, S. Q., & Wang, W. Y. (2010). The importance of reachability matrix in constructing cognitively diagnostic testing.

Journal of Jiangxi Normal University (Natural Sciences Edition), 34

, 490–494.[丁樹良, 楊淑群, 汪文義. (2010). 可達(dá)矩陣在認(rèn)知診斷測(cè)驗(yàn)編制中的重要作用.

江西師范大學(xué)學(xué)報(bào)(自然科學(xué)版),34

, 490–494.]Embretson, S. (1984). A general latent trait model for response processes.

Psychometrika, 49

, 175–186.Hansen, M. P. (2013).

Hierarchical item response models for cognitive diagnosis

(Unpublished doctoral dissertation).University of California, LA.Huang, H. Y., & Wang, W. C. (2014). The random-effect DINA model.

Journal of Educational Measurement

,

51

,75–97.Henson, R. A., Templin, J. L., & Willse, J. T. (2009). Defining a family of cognitive diagnosis models using log-linear models with latent variables.

Psychometrika, 74

, 191–210.Junker, B. W., & Sijtsma, K. (2001). Cognitive assessment models with few assumptions, and connections with nonparametric item response theory.

Applied Psychological Measurement, 25

(3), 258–272.Karelitz, T. M. (2004).

Ordered category attribute coding framework for cognitive assessments

(Unpublished doctoral dissertation). University of Illinois at Urbana–Champaign.Leighton, J. P., Gierl, M. J., & Hunka, S. M. (2004). The attribute hierarchy method for cognitive assessment: A variation on Tatsuoka’s rule-space approach.

Journal of Educational Measurement, 41

, 205–237.Li, X. M., & Wang, W.-C. (2015). Assessment of differential item functioning under cognitive diagnosis models: The DINA model example.

Journal of Educational Measurement,52

, 28–54.Maris, E. (1995). Psychometric latent response models.

Psychometrika, 60

, 523–547.Maris, E. (1999). Estimating multiple classification latent class models.

Psychometrika, 64

, 187–212.Muthén, B. (1978). Contributions to factor analysis of dichotomous variables.

Psychometrika, 43

, 551–560.Rupp, A. A., Templin, J., & Henson, R. A. (2010).

Diagnostic measurement: Theory, methods, and applications

. New York: Guilford Press.Spiegelhalter, D., Thomas, A., Best, N., & Lunn, D. (2014).

OpenBUGS

User

Manual

Version

3.2.3

. URL:http://www.openbugs.net/Manuals/Manual.htmlStanovich, K. E. (2000).

Progress in understanding reading:Scientific foundations and new frontiers

. New York: The Guilford Press.Sun, J. N., Xin, T., Zhang, S. M., & de la Torre. (2013). A polytomous extension of the generalized distance discriminating method.

Applied Psychological Measurement,37

, 503–521.Tatsuoka, K. K. (1983). Rule Space: An approach for dealing with misconceptions based on item response theory.

Journal of Educational Measurement, 20

, 345–354.Tatsuoka, K. K. (1985). A probabilistic model for diagnosing misconceptions by the pattern classification approach.

Journal of Educational Statistics, 10

, 55–73.Templin, J. L., & Henson, R. A. (2006). Measurement of psychological disorders using cognitive diagnosis models.

Psychological Methods, 11

, 287–305.Templin, J. (2004).

Generalized linear mixed proficiency models for cognitive diagnosis

(Unpublished doctoral dissertation).University of Illinois at Urbana–Champaign.Templin, J., Henson, R., Rupp, A., Jang, E., & Ahmed, M.(2008).

Cognitive diagnosis models for nominal response data

. Paper presentation at the annual meeting of the National Council on Measurement in Education Society,New York, NY.Tian, W., & Xin, T. (2012). A polytomous extension of rule space method based on graded response model.

Acta Psychologica Sinica, 44

, 249–269.[田偉, 辛濤. (2012). 基于等級(jí)反應(yīng)模型的規(guī)則空間方法.

心理學(xué)報(bào), 44

, 249–269.]Tu, D. B., Cai, Y., & Dai, H. Q. (2013). Comparison and selection of five noncompensatory cognitive diagnosis models based on attribute hierarchy structure.

Acta Psychologica Sinica, 45

, 243–252.[涂冬波, 蔡艷, 戴海琦. (2013). 幾種常用非補(bǔ)償型認(rèn)知診斷模型的比較與選用: 基于屬性層級(jí)關(guān)系的考量.

心理學(xué)報(bào), 45

, 243–252.]Tu, D. B., Cai, Y., Dai, H. Q., & Ding, S. L. (2010). A polytomous cognitive diagnosis model: P-DINA model.

Acta Psychologica Sinica, 42

, 1011–1020.[涂冬波, 蔡艷, 戴海琦, 丁樹良. (2010). 一種多級(jí)評(píng)分的認(rèn)知診斷模型: P-DINA模型的開發(fā).

心理學(xué)報(bào), 42

,1011–1020.]von Davier, M. (2005).

A general diagnostic model applied to language testing data

(ETS Research Report no. RR-05-16).Princeton, NJ: Educational Testing Service.Whitely, S. E. (1980). Multicomponent latent trait models for ability tests.

Psychometrika, 45

, 479–494.Zhan, P. D., & Bian, Y. F. (2015). The probabilistic-inputs,noisy “and” gate model.

Journal of Psychological Science,38

, 1230–1238.[詹沛達(dá), 邊玉芳. (2015). 概率性輸入, 噪音“與”門(PINA)模型.

心理科學(xué), 38

, 1230–1238.]Zhan, P. D., Li, X. M., Wang, W.-C., Bian, Y.-F., & Wang, L. J.(2015). The multidimensional testlet-effect cognitive diagnostic models.

Acta Psychologica Sinica, 47

, 689–701.[詹沛達(dá), 李曉敏, 王文中, 邊玉芳, 王立君. (2015). 多維題組效應(yīng)認(rèn)知診斷模型.

心理學(xué)報(bào), 47

, 689–701.]Zhan, P. D., Wang, L. J., & Chen, F. P. (2013). Influence of various factors on the DINO's diagnostic accuracy.

Examinations Research,

(4), 60–67.[詹沛達(dá), 王立君, 陳飛鵬. (2013). 不同因素對(duì)認(rèn)知診斷DINO模型診斷準(zhǔn)確率的影響.

考試研究,

(4), 60–67.]Zhu, Y. F., & Ding, S. L. (2009). A polytomous extension of attribute hierarchy method based on graded response model.

Acta Psychologica Sinica, 41

, 267–275.[祝玉芳, 丁樹良. (2009). 基于等級(jí)反應(yīng)模型的屬性層級(jí)方法.

心理學(xué)報(bào), 41

, 267–275.]