白娟

（教育部考試中心，北京 100084）

基于多元概化理論的全國碩士研究生中醫(yī)綜合考試質(zhì)量分析*

白娟

（教育部考試中心，北京 100084）

中醫(yī)綜合考試；多元概化理論；試卷結(jié)構(gòu)；測量精度

全國碩士研究生入學中醫(yī)綜合考試的目的是科學、公平、有效地測試考生是否具備繼續(xù)攻讀中醫(yī)碩士學位所需要的中醫(yī)藥學基礎(chǔ)知識和基本技能?！吨嗅t(yī)綜合考試大綱》規(guī)定考試涵蓋中醫(yī)基礎(chǔ)理論、中醫(yī)診斷學、中藥學、方劑學、中醫(yī)內(nèi)科學和針灸學6門課程，設(shè)有A型、B型、X型3種題型。對照《考試大綱》，多元概化理論為試卷結(jié)構(gòu)、學科比例分配、信度等問題的研究與論證提供了框架[1]。

概化理論（GT）是一種把測量誤差作為模型參數(shù)來處理的測量理論，是經(jīng)典測量理論與實驗設(shè)計、方差分析相結(jié)合的產(chǎn)物。根據(jù)測量目的的不同，研究者可以設(shè)計不同的概括全域，通過多個決策研究計算出不同概括全域上的多個信度指標，尤其是多元概化理論，在處理含有多個潛在能力因子，且因子之間存在相關(guān)的測量問題方面有獨到之處[2]。

本文應用多元概化理論評估2010—2012年全國碩士研究生入學中醫(yī)綜合考試的試卷結(jié)構(gòu)和測量精度等，獲取“平均”或“趨勢”的結(jié)果，從整體上評價中醫(yī)綜合考試，并為今后修訂《考試大綱》、改進命題方案、提高考試質(zhì)量提供參考依據(jù)。

1 資料與方法

1.1 研究樣本本研究采取分層等距抽樣法，各年度考生抽取人數(shù)及考試數(shù)據(jù)的描述統(tǒng)計見表1。

1.2 測量的設(shè)計根據(jù)多元概化理論的研究設(shè)計，從測量學科能力的角度，可以將中醫(yī)綜合能力看成是包含中醫(yī)基礎(chǔ)理論、中醫(yī)診斷學、中藥學、方劑學、中醫(yī)內(nèi)科學、針灸學共6個學科因子的單面p0×i0設(shè)計。另外，可以將中醫(yī)綜合考試看成是包含A型題、B型題、X型題3種題型因子的p0×i0設(shè)計。

表1 2010—2012年中醫(yī)綜合考試的描述統(tǒng)計

2 研究結(jié)果

2.1 關(guān)于6個學科因子的分析

2.1.1 G研究各效應在6種學科因子上的方差協(xié)方差分量。

運用mGENOVA軟件可以得到考生（p）、試題（i）以及考生與試題之間交互效應（p×i）在6個學科因子上的方差和協(xié)方差分量的估計矩陣，見表2。

在6個學科因子中，2010—2012年方差分量最大的均是方劑學和中藥學，其次為針灸學和中醫(yī)內(nèi)科學，中醫(yī)基礎(chǔ)理論和中醫(yī)診斷學的方差分量相對較低。這說明在研究生入學中醫(yī)綜合考試中，方劑學和中藥學發(fā)揮作用最大，其次為針灸學和中醫(yī)內(nèi)科學，中醫(yī)基礎(chǔ)理論和中醫(yī)診斷學的作用還應進一步加強。同時，根據(jù)協(xié)方差分量的估計值，發(fā)現(xiàn)連續(xù)3年各個學科與其它5個因子的協(xié)方差分量值都小于0.1，說明考生在各學科所得分數(shù)高低的一致性程度相對較低，各學科因子在預測考生能力水平方面發(fā)揮各自不同的作用[3]。

2.1.2 D研究各學科因子全域分估計及全域總分估計的精度問題。

按照6個學科因子試題量所占比重來決定權(quán)系數(shù)，對6個學科因子全域分進行合成，可以得到全域總分的方差以及相應誤差的方差分量估計，進而估計全域總分的概化系數(shù)，見表3。

表2 G研究中各效應在6個學科因子上的方差協(xié)方差分量估計

表3 考生全域分數(shù)等在6個學科因子以及全域總分上估計的方差分量值

綜合2010—2012年3年的考試數(shù)據(jù)，方劑學、中藥學、中醫(yī)內(nèi)科學和針灸學測量的相對誤差小，概化系數(shù)高，這表明在中醫(yī)綜合考試中，這4門學科的測量精度相對較高。中醫(yī)基礎(chǔ)理論和中醫(yī)診斷學的概化系數(shù)介于0.6～0.7之間，其測量精度處于可接受水平，但與其它4門學科相比相對較低，有待進一步提高?？傮w上，分析3年考后數(shù)據(jù)，按照6個學科因子合成的全域總分的相對誤差很?。ㄐ∮?.005），概化系數(shù)均在0.93以上，表明中醫(yī)綜合考試的整體測量精度比較理想。

2.2 關(guān)于3種題型因子的分析

2.2.1 G研究各效應在3種題型因子上的方差協(xié)方差分量。

運用mGENOVA軟件可以得到考生（p）、試題（i）以及考生與試題之間交互效應（p×i）在三種題型因子上的方差和協(xié)方差分量的估計矩陣，見表4。

表4 G研究中各效應在3個題型因子上的方差協(xié)方差分量估計

由表4可知，2010—2012年連續(xù)3年，在3種題型因子中，方差分量最大的是X型題，其次為B型題，最小的是A型題。這說明在中醫(yī)綜合考試中，X型題的作用最大，A型題的作用最小。同時，根據(jù)協(xié)方差分量的估計值，發(fā)現(xiàn)各個題型與其它2個因子的協(xié)方差分量值都小于0.1，說明考生在各題型上所得分數(shù)高低確定順序的一致性程度相對較低。

2.2.2 D研究各題型因子全域分估計及全域總分估計的精度問題。

按照3個題型因子試題量所占比重來決定權(quán)系數(shù)，對3種題型因子全域分進行合成，可以得到全域總分的方差以及相應誤差的方差分量估計，進而估計全域總分的概化系數(shù)，見表5。

表5 考生全域分數(shù)等在3個題型因子以及全域總分上估計的方差分量值

綜合2010—2012年3年數(shù)據(jù)，由于A型題測量誤差最小，因而相對于其它兩種題型，A型題概化系數(shù)最高，測量精度最高。X型題和B型題的相對誤差也較小，概化系數(shù)在0.8以上，測量精度也較高?？傮w上，3年中醫(yī)綜合考試各題型全域總分的相對誤差都很小，概化系數(shù)高，這表明，從題型合成角度來看，整體測量精度非常理想。

3 討論與結(jié)論

本文運用多元概化理論分別從學科和題型的角度探討了全國碩士研究生入學中醫(yī)綜合考試的試卷結(jié)構(gòu)和測量精度問題，結(jié)果發(fā)現(xiàn)有以下幾個方面。

3.1 從考試內(nèi)容看中醫(yī)綜合考試從考試內(nèi)容來看，各學科因子的方差和協(xié)方差成分的估計是比較穩(wěn)定的，這說明各個學科試題的命制是嚴格遵循《考試大綱》的，各個學科的分量分配是基本合適的。相對而言，方劑學、中藥學、針灸學和中醫(yī)內(nèi)科學的貢獻總體較高，中醫(yī)基礎(chǔ)理論和中醫(yī)診斷學的分量和貢獻還需要進一步平衡。從D研究的結(jié)果看，中醫(yī)綜合考試的整體測量精度較高，中醫(yī)基礎(chǔ)理論和中醫(yī)診斷學的測量精度有待進一步加強[4-6]。

從概化理論D研究的角度來講，提高樣本容量，信度會有一定程度的提高。但是考慮到中醫(yī)綜合試卷共有180道題，已經(jīng)是一個比較長的試卷，完全靠增加題量提高信度是不太可行的。對中醫(yī)基礎(chǔ)理論和中醫(yī)診斷學的試題本身進行分析發(fā)現(xiàn)，這兩門學科的試題難度總體上低于整張綜合試卷的平均難度，不同水平的考生答對概率相對較高，導致題目的區(qū)分度相對較低，為此，適當提高題目難度，提高區(qū)分度可能是改進中醫(yī)基礎(chǔ)理論和中醫(yī)診斷學試題的一個方向。另外，考慮到中醫(yī)基礎(chǔ)理論和中醫(yī)診斷學的學科本身，有一些知識點存在一定爭議，不十分明確的知識點相對其它學科較多，在一定程度上增加了命題難度。

3.2 從題型設(shè)計看中醫(yī)綜合考試從題型來看，各題型的方差和協(xié)方差成分的估計是比較穩(wěn)定的，不同年度的試卷在結(jié)構(gòu)上可看成是“平行的”。從D研究的結(jié)果來看，按照題型合成分數(shù)，由于都是客觀選擇題型，總體上測量誤差小，測量精度非常理想。

中醫(yī)綜合考試連續(xù)多年采用的都是客觀題的形式，題型相對一致統(tǒng)一，答案精確，評分誤差影響很小，因此采用多元概化理論進行試卷分析的適用度很高。但是，由于國家大規(guī)?？荚嚨木窒扌?，本研究在使用多元概化理論分析試卷時也存在一定不足，例如，由于是國家統(tǒng)一考試，每年都使用不同的試卷，沒有共同題和共同人，無法對不同年度的分數(shù)進行等值處理，可能會在一定程度上影響到分數(shù)的可比性。

[1]張伯禮，于越，周桂彤.中醫(yī)藥高等教育教學改革思路探討[J].天津中醫(yī)藥大學學報，2008，27（2）：87-88.

[2]楊志明,張雷.測評的概化理論及其應用[M].北京:教育科學出版社,2003.

[3]關(guān)丹丹,王博,車宏生.2007—2010年心理學專業(yè)基礎(chǔ)綜合考試的多元概化理論研究[J].心理科學,2011,34 (4):950-956.

[4]張艷軍，于虹，高秀梅.加強實踐教學環(huán)節(jié)，增強藥學類專業(yè)學生創(chuàng)新實踐能力[J].天津中醫(yī)藥大學學報，2006，25（3）：153-154.

[5]于河，王思成，白俊杰，等.中醫(yī)教育循證決策研究方法與應用舉隅[J].天津中醫(yī)藥大學學報，2012，31（3）：166-168.

[6]張?zhí)燔?，何強，周桂桐，?中醫(yī)學專業(yè)認證管理模式研究[J].天津中醫(yī)藥大學學報，2013，32（4）：232-233.

G424.74

A

1673－9043（2014）01－0044-03

10.11656/j.issn.1673-9043.2014.01.15

2013-12-10）

全國教育科學規(guī)劃2011年度教育部重點課題資助項目（GFA111012）。

白娟（1980-），女，助理研究員，研究方向為教育考試理論與評價。