何必凱

摘 要：運用Rasch模型對一份高中英語學(xué)業(yè)測試試卷進行質(zhì)量分析，從試題難度，難度與學(xué)生能力匹配及試卷區(qū)分度來評估試題質(zhì)量。結(jié)果表明，試卷整體信效度較高，能較好對學(xué)生的英語能力進行測試。最后進行學(xué)業(yè)診斷分析并提出教學(xué)建議。

關(guān)鍵詞：Rasch模型;試題質(zhì)量分析;學(xué)業(yè)診斷

中圖分類號：G4 ? ? 文獻標(biāo)識碼：A ? ? ?doi：10.19311/j.cnki.1672-3198.2021.20.078

經(jīng)典測量理論框架下，題目難度的評價方法比較簡單，一般以題目的正確率（客觀題）、得分率（主觀題）來表示。但這種難度存在如下問題：難度指標(biāo)與實際意義相悖。正確率、得分率的理論取值在[0，1]之間，該值越高，代表題目越簡單;該值越低代表題目越難。難度系數(shù)的絕對值與其代表的含義相悖，因此，正確率、得分率等通過率指標(biāo)更應(yīng)稱為“容易”度。

難度的計算受學(xué)生群體的能力分布影響。通過率受學(xué)生群體總體水平的影響，同一題目，在整體水平較高的學(xué)校，通過率高，則可能被判定為簡單題;在整體水平較差的學(xué)校，通過率低，卻又可能被判定為難題。即便是同一群體，不同時間段得到的通過率也不是穩(wěn)定的。因此，通過率僅可作為參考，不能作為評價題目難度的指標(biāo)。

本研究引入Rasch模型進行題目難度估計，該模型有跨群體、跨情境的穩(wěn)定性，解決了經(jīng)典測量理論框架下以通過率作為難度指標(biāo)的弊端。

1 難度

Rasch模型將題目平均難度設(shè)定為0，題目難度分布在[-∞，+∞]之間。以0為中心，可以將題目難度劃分為5個等級，難度在（3，1]之間稱為難題，難度在（1，-1]之間稱為中等題，難度在（-1，-3]之間稱為簡單題，難度大于等于3的難題、難度低于-3的簡單題均稱為極端難度題目，如表1所示。統(tǒng)計結(jié)果顯示簡單題、中等題占總題數(shù)的79%難度配比比較合理，但存在4道極端難題。

從不同題型來看，聽力題、單選、情境和完形題以中、低難度為主，難題較少;閱讀理解和基礎(chǔ)知識應(yīng)用以中、高難度題目為主，簡單題較少。

Rasch模型通過擬合指數(shù)評價題目、數(shù)據(jù)的質(zhì)量，最常用的指標(biāo)為Infit MNSQ，該指標(biāo)的理論最佳取值為1，當(dāng)Infit MNSQ為1，代表實際數(shù)據(jù)與Rasch模型的預(yù)測完全相同。一般認(rèn)為擬合指數(shù)取值在[0.7，1.3]之間時，題目與數(shù)據(jù)擬合較好，未出現(xiàn)數(shù)據(jù)與理論假設(shè)嚴(yán)重不符的情況。因此，擬合指標(biāo)可以用來評價在一次考試過程中單個題目的質(zhì)量，若擬合指數(shù)超出相關(guān)理論建議的范圍，則認(rèn)為該題對整個測評的貢獻不大，質(zhì)量較差。本次數(shù)據(jù)分析，發(fā)現(xiàn)有4個題目擬合指數(shù)大于1.3，占總題目數(shù)的5%。進一步分析后發(fā)現(xiàn)，這些題目均為難題，其中閱讀理解2個題目、聽力1個題目、單選和1個題目。主要原因是有難度題容易出現(xiàn)猜測答題的情況，猜測答題，尤其是那些猜對題目答案的被試，實際作答情況與模型預(yù)測不符，最終導(dǎo)致不擬合。

2 難度與學(xué)生能力匹配度

Rasch模型將題目難度和學(xué)生能力統(tǒng)一在同一個量尺上，實現(xiàn)了學(xué)生能力與題目難度的直接比較。基于這一特征繪制的題目難度——學(xué)生能力分布圖可以非常直觀得反應(yīng)整套試卷難度與學(xué)生能力的匹配程度。本次測試的題目——學(xué)生分布圖如圖1所示。

圖形從左向右分成三個區(qū)域，左側(cè)“Measr”列稱為Rasch量尺，即衡量題目難度和學(xué)生能力的一把“尺子”。該尺子的刻度與傳統(tǒng)意義上的尺子不同，其參照點0點在尺子的中間。Rasch模型將所有題目的平均難度設(shè)定為0。中間的“Students”列代表學(xué)生，以“*”和“.”表示，每個“*”代表3名學(xué)生，低于三人時用“.”表示。分布位置越往上，代表能力水平越高，反之則代表能力水平越低。右側(cè)的“Items”列代表題目，分布位置越往上，代表難度越高，反之則代表難度越低。

從圖形上看，本次考試以中等和簡單題目為主，但是也有4道極端難題（66、68、70、75）和較簡單題目（5題）。

學(xué)生能力主要分布在[-2，3]之間，題目難度分布在[-2.5，2.5]之間。試卷難度相較于學(xué)生整體能力偏簡單。但是本套試卷又存在4道極端難度題，這在一定程度上影響了本次測試對這一群體的評價精度;對于難度在[-3.-1]之間的題目，沒有相對應(yīng)的學(xué)生，這些題目對學(xué)生總體來講過于簡單，沒能在診斷中起到足夠的作用。在后續(xù)的試卷修訂過程中，可以考慮對極端難度題的替換;同時在整卷中選擇一些中等題目，替換為過于簡單的題目，以提高對高水平學(xué)生的診斷效果。

基礎(chǔ)教育階段考試的目的除了對學(xué)生進行診斷外，還希望將學(xué)生劃分為不同能力等級，以滿足升學(xué)、分層教學(xué)等需求。因此，對試卷區(qū)分學(xué)生的能力“試卷的區(qū)分度”評價也是本次數(shù)據(jù)分析的內(nèi)容之一。本次測試，通過Rasch的分隔系數(shù)、分割信度等指標(biāo)來評價試卷的這一特性。

Rasch模型通過被試分隔系數(shù)（Person Separation Index）、分隔信度（Person Separation Reliability， PSR）和分隔指數(shù)（Strata）評價測量精度。分隔指數(shù)表示試卷可以將學(xué)生區(qū)分為幾個有顯著差異的組別，Strata=（4*PSI+1）/3，當(dāng)PSI=2時，Strata=3，即量表可以將被試區(qū)分為高分、中分、低分三組;同時，PSR應(yīng)高于0.8。本次測驗的PSI=3.49，Strata=5.0，PSR=0.92，說明本次測驗雖然有部分題目難度設(shè)置不合理，但因題目總數(shù)較大，仍可起到區(qū)分不同英語水平學(xué)生的作用，具備一定的測量精度。

3 學(xué)業(yè)診斷

Rasch模型的基本原理認(rèn)為被試正確作答題目的概率可以用個體能力θ與該題目難度δ的一個簡單函數(shù)來表示。

Pni1=e（θn-δi）1+e（θn-δi）