楊宏博 趙 軒

(教育部考試中心，北京 100084)

1 問題提出

教師資格考試是衡量教師資格制度現(xiàn)代化和科學(xué)化的重要指標，是國家進行教師資格制度改革實踐的突破口。2011年起，中小學(xué)教師資格考試作為落實《國家中長期教育改革和發(fā)展規(guī)劃綱要（2010-2020年）》的改革項目，開始在浙江、湖北試點。2013年8月，教育部發(fā)布《中小學(xué)教師資格考試暫行辦法》，該辦法指出，中小學(xué)教師資格考試是“評價申請教師資格人員是否具備從事教師職業(yè)所必需的教育教學(xué)基本素質(zhì)和能力的考試?？荚嚢üP試和面試兩部分。筆試合格后參加面試，筆試和面試都合格者，才能申請認定教師資格證書”（教育部, 2013）。截至2017年上半年，考試已經(jīng)拓展到全國28個?。ㄊ?、自治區(qū)），累計筆試考生規(guī)模達到623萬、面試考生規(guī)模達到246萬（教育部考試中心, 2017）。

隨著中小學(xué)教師資格考試的快速發(fā)展，檢驗教師資格考試改革的有效性，檢測考試評價本身的科學(xué)性和公平性，建立科學(xué)有效的考試質(zhì)量評價方式成為重要的研究課題。教師資格考試旨在區(qū)分申請人從事教師職業(yè)的基本能力和素養(yǎng)是否符合國家標準，對測試的測量精度有較高的要求。中小學(xué)教師資格考試包括幼兒園、小學(xué)和中學(xué)三個類別，分筆試和面試兩部分。其中《綜合素質(zhì)》（中學(xué)）是申請中學(xué)類別教師資格的筆試公共科目，是歷次考試考生人數(shù)最多的科目，2017年上半年考試人數(shù)達到28萬?！毒C合素質(zhì)》（中學(xué)）是主要考查申請人是否具備先進教育理念、良好法律意識和職業(yè)道德、具備從事教師職業(yè)的文化素養(yǎng)和閱讀理解、語言表達等能力。從測量的角度來探究這個科目的科學(xué)性、考試內(nèi)容的合理性，考察其測量信度是否具有典型的參考價值。

經(jīng)典測量理論（classical test theory，CTT）是常見的用于大規(guī)模測驗統(tǒng)計分析的測量方法，可用于分析題目的難度、區(qū)分度和測驗的信度。自2011年中小學(xué)教師資格考試首次開考以來，一直采用經(jīng)典測量理論的測量方法監(jiān)測題目的質(zhì)量（教育部考試中心，2012-2017）。CTT的優(yōu)點在于能簡便的對每道題目的質(zhì)量進行評估，但它對測試整體情況的評估卻不夠理想。盡管CTT中的信度可以評估測驗的整體可靠性，但此時的信度指標僅僅是一個“粗值”，并未將不同來源的誤差（如評分者、被測者、題目等）加以區(qū)分（羅杰, 戴曉陽, 2016）。

概化理論（generalizability theory, GT）是在經(jīng)典測量理論基礎(chǔ)之上發(fā)展起來的現(xiàn)代測量理論（Brennan, 2001a）。它從宏觀角度出發(fā)，立足于測驗的外部效度，采取數(shù)學(xué)建模和統(tǒng)計調(diào)整的方法，綜合分析各種變異來源（陳維, 趙守盈, 2016）。它重點探討考生能力水平與考試題目之間的實質(zhì)性關(guān)系，能夠達到區(qū)分考生、評估應(yīng)考者真實水平的目的，并較好地控制測評誤差。概化理論的基本原理是運用實驗設(shè)計的思想，分析影響測驗分數(shù)差異的各項因素（如考生個體水平的差異、題目難度等），并運用方差分析的技術(shù)，分別估計各項因素對分數(shù)總變異的貢獻（以方差分量作為指標）（陳維, 盧聰, 楊曉曉, 張進輔, 2016; 黎光明, 張敏強, 2017）。根據(jù)不同研究目的的需要，分別考察研究目標在分數(shù)總變異中所占的比重。測量信度的概念在概化理論中用概化系數(shù)或可靠性系數(shù)來代替（羅照盛, 郭小軍, 2014; 楊志明, 張雷, 2003）。

概化理論用方差分析的方法來全面估計出各種方差成分的相對大小，并可直接比較其大?。徊粌H能估計出主效應(yīng)，也能估計出交互作用效應(yīng)，并能對各估計值的大小進行直接比較。在概化理論中，理論估出各方差成分相對大小的過程，稱為概化理論的G研究（楊志明, 張雷, 2003）。在G研究的基礎(chǔ)上，可通過實驗性研究，進一步考察不同測驗設(shè)計條件下的概化系數(shù)的變化狀況，如試題容量變化對于概化系數(shù)的影響，從而尋找最佳能夠控制誤差的方法，作出最佳的設(shè)計決策，為改進測驗的內(nèi)容、方式方法提供有價值的信息。這一階段稱為概化理論的D研究（劉遠我, 張厚粲, 1998）。

多元概化理論（multivariate generalizability theory, MGT）在概化理論的基礎(chǔ)上，深入研究測量目標具有多個全域分數(shù)等方面的問題（如總測驗可以分解為多個不同維度的分測驗）。主要可應(yīng)用于測試多門學(xué)科或多種能力的綜合測驗（楊志明, 張雷, 2003）。近些年來，基于這一理論的研究設(shè)計應(yīng)用于高考、研究生考試、高等教育自學(xué)考試等大規(guī)模測驗，拓展了標準化常模參照測驗或標準參照測驗的信度檢驗方式（白娟, 2014; 陳維, 何壯, 趙守盈, 2016; 關(guān)丹丹, 任子朝, 2009; 田霖,韋小滿, 王橋影, 趙曉茫, 2013）。《綜合素質(zhì)》（中學(xué)）是考查考生多種基本素養(yǎng)和能力的綜合性測試，根據(jù)其考試目標，可以將其分解為多個分測驗，因此對其測驗信度進行研究適宜采用多元概化理論的原理和方法（Brennan, 2001b）。

2 研究方法

2.1 研究目的

本研究旨在通過多元概化模型分析中小學(xué)教師資格考試《綜合素質(zhì)》（中學(xué)）試卷，探討各模塊及全卷的測量精度（信度），考查內(nèi)容模塊樣本容量變化對考試信度（概化系數(shù)）的影響，分析各模塊對總測驗的貢獻率，為試卷優(yōu)化、提高命題質(zhì)量提出合理化建議。

2.2 研究樣本

全國參加2017年上半年中小學(xué)教師資格考試《綜合素質(zhì)》（中學(xué)）科目的考生人數(shù)為282 050人（教育部考試中心, 2017）。為避免評分者因素對樣本數(shù)據(jù)產(chǎn)生影響，本研究抽取由同一批評分者批閱的2 379份試卷，該2 379名考生為全體考生中系統(tǒng)隨機選取得到。剔除總分為零分的試卷7份，最終確認有效試卷2 372份。

2.3 測量工具

《綜合素質(zhì)》（中學(xué)）是中小學(xué)教師資格考試申請中學(xué)學(xué)段教師資格的必考科目，考試采用教育部考試中心組織命制的試卷，包括職業(yè)理念、教育法律法規(guī)、教師職業(yè)道德規(guī)范、文化素養(yǎng)、基本能力五個內(nèi)容模塊。題型為單項選擇題、材料分析題、寫作題，考查申請人的理解能力、分析能力、綜合能力、表達應(yīng)用能力。鑒于寫作題分值較高，為保證得分的可靠性，閱卷時采用雙評模式。為具體考量其誤差，將寫作題單獨作為一個測量分項。在具體的模型設(shè)計中，將寫作成績視作兩次評分成績的合成。試卷總題量為33道，全卷滿分150分。對試卷測量內(nèi)容的具體描述如表 1所示。

表1內(nèi)容源自《綜合素質(zhì)》（中學(xué)）的大綱、命題組提供的2017年上半年的試卷結(jié)構(gòu)表?！毒C合素質(zhì)》（中學(xué)）考試大綱對考試的內(nèi)容及其分值比例的規(guī)定為: 職業(yè)理念13%、教育法律法規(guī)13%、教師職業(yè)道德規(guī)范13%、文化素養(yǎng)13%、基本能力48%。通過對比可見，2017年上半年的試卷各內(nèi)容分值比例較好地符合了考試大綱的要求。

2.4 測量設(shè)計

本研究將《綜合素質(zhì)》（中學(xué)）考試的內(nèi)容按照模塊分類，設(shè)計為六內(nèi)容因子的單面交叉設(shè)計（p×i多元概化模型, 其中p代表考生, i代表試題）。運用多元概化模型，完成G研究和D研究的數(shù)據(jù)統(tǒng)計與分析。

2.5 數(shù)據(jù)分析工具

本研究采用Brennan開發(fā)的mGENOVA軟件完成多元概化理論的計算（Brennan，2001c）。

表 1 《綜合素質(zhì)》（中學(xué)）試卷測量內(nèi)容描述

3 研究結(jié)果

3.1 六因子模型的G研究

根據(jù)理論模型，可編寫一個涉及六個分測驗的mGENOVA程序，分別對整個試卷及六個模塊進行G研究，以估計整個測驗和各個模塊的測量信度。同時，利用有關(guān)信息評價各個模塊對總測驗的貢獻程度。G研究采用p×i六因子隨機單面交叉設(shè)計，可以得到各效應(yīng)在六個因子上的方差和協(xié)方差變量估計矩陣，如表 2所示。其中V1表示“職業(yè)理念”模塊，V2表示“教育法律法規(guī)”模塊，V3表示“教師職業(yè)道德規(guī)范”模塊，V4表示“文化素養(yǎng)”模塊，V5表示“基本能力”模塊，V6表示“寫作能力”模塊。

由表 2可知，V2和V4與其他因子的協(xié)方差分量較小，這說明考生在“教育法律法規(guī)”和“文化素養(yǎng)”模塊中的得分高低順序與他們在其他模塊中的順序不太一致，即這兩個模塊中的題目在區(qū)分考生能力方面功能較弱。在效應(yīng)p上，因子V6的方差分量最大，因子V2、V3的方差分量較低，表明在本次考試中，“寫作能力”模塊對考生的區(qū)分能力較強，而“教育法律法規(guī)”“教師職業(yè)道德規(guī)范”模塊對考生的區(qū)分能力相對較弱。

3.2 六因子模型的D研究

3.2.1 各因子全域分數(shù)估計精度

D研究采用p×i六因子隨機單面交叉設(shè)計，基于G研究估計的方差與協(xié)方差矩陣，進一步估計出考生在六個因子上的全域分數(shù)及相應(yīng)誤差項的方差分量，進而估計概化系數(shù)與可靠性指數(shù)，如表 3所示。

表 2 各效應(yīng)在六因子的方差與協(xié)方差分量估計

由表 3可知，六因子中全域分數(shù)方差分量從高到低依次為“寫作能力”“基本能力”“文化素養(yǎng)”“職業(yè)理念”“教育法律法規(guī)”“教師職業(yè)道德規(guī)范”?？紤]到各分量誤差方差的因素，測量信度最高的因子是V6（可靠性指數(shù)為0.806）。結(jié)果表明本次考試中，“寫作能力”模塊的測量信度較高。

表 3 六因子全域分數(shù)各項指標的估計

3.2.2 全域合成分數(shù)的測量精度

本研究按照各測量分項試題量所占比例來確定權(quán)系數(shù)b，V1至V6六個因子的權(quán)系數(shù)分別是：0.147、0.235、0.147、0.265、0.147、0.059。對六因子全域分數(shù)進行合成，可以得到全域總分的方差為0.090，全域合成分數(shù)相對誤差方差為0.037，全域合成分數(shù)絕對誤差方差為0.106，進而可計算出全域合成分數(shù)的概化系數(shù)為0.707，可靠性系數(shù)為0.458。

可見，全域合成分數(shù)的概化系數(shù)較高。而六因子未進行全域分數(shù)合成時，各因子全域分數(shù)的概化系數(shù)及可靠性系數(shù)均較低，在全域分數(shù)合成總分后測量精度顯著提高（除V6外），因此對六個分測驗的分數(shù)進行合成是合理的。

3.2.3 各因子對總方差的貢獻比例

為了考查六個模塊對試卷總分方差的實際影響程度，可使用mGENOVA程序同時估計出各模塊對考試總分方差的實際貢獻率（比例），如表 4所示。

表 4 各模塊方差貢獻比例與試卷賦分比例的比較

由表 4可知，因子V6對總體方差的貢獻比例較試卷賦分比例高，其它因子對總體方差貢獻的比例較試卷賦分比例略低?？傮w而言，各分測驗基本達到考試的預(yù)期測量目的。

3.2.4 各因子樣本容量對測量信度的影響

為了改善測驗方法，進一步改進測量信度，本研究考察了各因子樣本容量變化對各分測驗自身及試卷總分測量信度（采用總分概化系數(shù)作為信度指標）的影響情況，如表 5所示。

由表 5可知，當各因子樣本容量為2倍模式時，全域總分的概化系數(shù)可增至0.828；當各因子樣本容量為3倍模式時，全域總分的概化系數(shù)可增至0.878。

表 5 各因子樣本容量與可靠性指數(shù)的變化關(guān)系

由于V1、V2、V3、V4、V5因子的全域分數(shù)誤差方差相對較小，因此，提升這幾部分的題量對整卷的概化系數(shù)的影響并不顯著。而V6因子容量提升至2倍時，全域總分的概化系數(shù)可增至0.841，提升至3倍時，全域總分的概化系數(shù)可增至0.897?？梢娖鋵y量信度影響顯著。

根據(jù)總分概化系數(shù)的變化情況，可以繪制出六個因子樣本容量與概化系數(shù)的變化關(guān)系圖，更加直觀地反映出樣本容量對各因子及整卷測量信度的影響，如圖 1所示。

由圖 1 可以看出，相對于V1～V5模塊，V6樣本容量的增加對試卷的測量信度影響是最大的。為進一步考察V2、V3、V4、V5模塊的樣本容量增加對試卷的信度影響，可將圖 1的局部放大為圖 2。

由圖 2可以看出，在V1、V3、V5樣本容量增加的情況下，這三個模塊的測量精度（ 可靠性指數(shù)） 也逐漸增加。在V2樣本容量增加的情況下，這個模塊的測量精度（可靠性指數(shù)）在逐漸降低。在V4樣本容量增加的情況下，這個模塊的測量精度（可靠性指數(shù)）降低至一定程度后，呈現(xiàn)緩慢回升的趨勢。

4 討論

多元概化理論的引入，為探索教師資格考試的質(zhì)量評價方式提供了更多的可能性。從研究結(jié)果給我們的啟示來看，多元概化理論克服了經(jīng)典測量理論的缺陷，提供了有效提高信度的方案，但是仍然不能解決所有的測量誤差控制問題（安哲鋒, 駱方, 張厚粲, 2008）。一方面，對于試卷結(jié)構(gòu)的調(diào)整，受限于考試時間的限定、考試大綱對模塊分布的確定性要求，但是它提供了在現(xiàn)有模塊結(jié)構(gòu)內(nèi)部的精細化調(diào)整方案，而這一結(jié)論以及后續(xù)研究的結(jié)果將對修訂考試大綱、調(diào)整試卷結(jié)構(gòu)和分值有重要的參考意義。另一方面，運用多元概化理論進行試卷結(jié)構(gòu)分析，各模塊之間的分值差異以及題型的差異也會對結(jié)果產(chǎn)生影響。在統(tǒng)一題型和各模塊分值相當?shù)那闆r下，其結(jié)論更有針對性。因此，多元概化理論對于研究中小學(xué)教師資格考試的質(zhì)量評價有重要的意義，與經(jīng)典測量理論的測量結(jié)論相結(jié)合，可以得到更為準確的試題單題質(zhì)量和試卷整體質(zhì)量改進方案。

中小學(xué)教師資格考試改革試點項目實施至今，已成為教師教育相關(guān)領(lǐng)域研究關(guān)注的重點。基于真實數(shù)據(jù)的實證化研究是今后考試項目可持續(xù)化發(fā)展的依據(jù)和支撐。以本文為例，上述研究的結(jié)論，可以應(yīng)用于針對《中小學(xué)教師資格考試筆試大綱（試行）》頒布實施后修訂的政策建議。這一研究方法可進一步拓展至教師資格考試的其他筆試科目，結(jié)合其他測量理論進行分析和研究，形成質(zhì)量評價文本，供考試政策決策部門參考，以不斷提升考試的科學(xué)化水平，維護考試的公信力。

5 結(jié)論

本研究采用六因子多元概化模型，對2017年上半年《綜合素質(zhì)》（中學(xué)）試卷進行分析，可以得到以下結(jié)論：

（1）本次考試所使用的試卷質(zhì)量不錯。試卷總體測量信度較好，可靠性指數(shù)達到中等水平；分測驗對全域總分方差的貢獻比例與命制試卷的賦分意圖基本一致。

（2）試卷的現(xiàn)有試題數(shù)量是比較適宜的。綜合考慮考試性質(zhì)、試卷長度、作答時間限制等因素，通過增加寫作題的題量以提高測量信度的方案在實際操作中不太可能實現(xiàn)，在120分鐘考試時間內(nèi)，保持現(xiàn)有的試題數(shù)量是比較合適的。

（3）可通過題型題量的調(diào)整來達到更高的測量信度。對于《綜合素質(zhì)》（中學(xué)）可靠性指數(shù)較低的模塊，可以采取減少客觀題數(shù)量，增加主觀題數(shù)量的方式來提高信度。