董連忠

（中國(guó)勞動(dòng)關(guān)系學(xué)院，北京 100048）

0 引言

信度、效度和可行性是衡量語(yǔ)言測(cè)試質(zhì)量的重要標(biāo)準(zhǔn)，其中效度指測(cè)試的有效性，即測(cè)試在多大程度上測(cè)到了想要測(cè)試的內(nèi)容，從而為成績(jī)的解釋及其使用提供理論依據(jù)和實(shí)證參考，是測(cè)試研發(fā)與評(píng)價(jià)的最根本要求［1］。大學(xué)英語(yǔ)測(cè)試是大學(xué)英語(yǔ)教學(xué)的重要組成部分，包括各高校大學(xué)英語(yǔ)教學(xué)過(guò)程中自行組織實(shí)施的課堂測(cè)驗(yàn)，期中、期末等校本學(xué)業(yè)成就考試，也包括大學(xué)英語(yǔ)四、六級(jí)考試（CET4&6）。雖然CET4與期末考試同為學(xué)業(yè)成就考試，但由于前者是面向全國(guó)非英語(yǔ)專業(yè)大學(xué)生的統(tǒng)一考試，更傾向于大學(xué)生英語(yǔ)水平考試，而后者是檢查大學(xué)英語(yǔ)基礎(chǔ)階段學(xué)生所學(xué)內(nèi)容的掌握情況，因而兩個(gè)考試在考試目的、考試內(nèi)容、考試任務(wù)等方面應(yīng)有所不同［2］。多年來(lái)，由于CET4具有較高的信度和效度，自施測(cè)以來(lái)得到了業(yè)界及社會(huì)的廣泛認(rèn)可［3］；同時(shí)受大學(xué)英語(yǔ)教師教學(xué)任務(wù)重、科研壓力較大，再加上多數(shù)教師缺乏測(cè)評(píng)素養(yǎng)等主客觀因素的影響，一些普通高校校本考試選用CET4真題內(nèi)容，照搬CET4題型，使大學(xué)英語(yǔ)學(xué)業(yè)成就考試效度令人質(zhì)疑［4］。本研究以某高校19級(jí)法學(xué)、經(jīng)濟(jì)管理和財(cái)務(wù)管理3個(gè)班SET3為例，在對(duì)考試內(nèi)容和考試題型進(jìn)行對(duì)比的基礎(chǔ)上，對(duì)3個(gè)班學(xué)生的考試成績(jī)進(jìn)行了相關(guān)性驗(yàn)證，試圖發(fā)現(xiàn)期末考試存在的問(wèn)題，以期提升大學(xué)英語(yǔ)學(xué)業(yè)成就考試質(zhì)量。本研究擬回答以下問(wèn)題：（1）兩個(gè)考試學(xué)生的總成績(jī)及單項(xiàng)技能成績(jī)的相關(guān)性如何？（2）受試對(duì)兩個(gè)考試難度及考試任務(wù)難度的評(píng)價(jià)如何？

1 研究設(shè)計(jì)

1.1 研究對(duì)象

參與本研究的為某高校2019級(jí)法學(xué)、經(jīng)濟(jì)管理和財(cái)務(wù)管理3個(gè)班的123名學(xué)生，其中男生34人，女生89人。受試分別于2020年12月參加了CET4和SET3。

1.2 研究工具

本研究采用的研究工具為某高校19級(jí)SET3和2020年12月CET4試卷、考試成績(jī)和調(diào)查問(wèn)卷。兩個(gè)考試內(nèi)容、任務(wù)、題量及賦分比例等情況如表1所示。

表1 CET4與SET3試卷構(gòu)成及賦分比例

由表1可知兩個(gè)考試的考試內(nèi)容（聽(tīng)力、閱讀、寫(xiě)作和翻譯）和考試任務(wù)（閱讀部分除快速閱讀外）基本相同。該校的外語(yǔ)教師均有CET4&6主觀題評(píng)分經(jīng)歷，SET3的主觀題（寫(xiě)作和翻譯）均由全體外語(yǔ)教師在同一時(shí)間內(nèi)按CET4評(píng)分標(biāo)準(zhǔn)要求進(jìn)行評(píng)分（客觀題機(jī)讀），以確保評(píng)分客觀公正。

最后對(duì)3個(gè)班學(xué)生實(shí)施了問(wèn)卷調(diào)查。由于兩個(gè)考試間隔不足2周，且考試環(huán)境基本相同，因而問(wèn)卷僅對(duì)兩個(gè)考試的總體難度和單項(xiàng)任務(wù)難度進(jìn)行了調(diào)查。問(wèn)卷信度0.97，使用SPSS對(duì)兩個(gè)考試成績(jī)和問(wèn)卷結(jié)果進(jìn)行了統(tǒng)計(jì)分析。

2 結(jié)果分析與討論

由表2可知，除“綜合”部分外，SET3的總分（69.86）、聽(tīng)力（22.62）和閱讀（30.59）平均分均高于CET4，SET3成績(jī)分布較為分散，CET4相對(duì)較為集中。其中，SET3和CET4的閱讀部分平均分差異明顯，得分率分別為76.39%和68.09%，部分原因或許與SET3不考查快速閱讀有關(guān)。兩個(gè)考試的偏態(tài)值無(wú)明顯偏離0的變量，表明兩個(gè)考試成績(jī)基本呈正態(tài)分布；除CET4的綜合部分偏態(tài)值為正數(shù)，即得分偏低，低于平均分的人數(shù)超過(guò)了50%外，兩個(gè)考試的其他部分偏態(tài)值均為負(fù)數(shù)，表示這些題得分偏高，高于平均分的人數(shù)超過(guò)50%。

表2 考試分?jǐn)?shù)描述性統(tǒng)計(jì)

峰度值一行顯示，僅SET3的綜合部分和CET4的閱讀部分峰值為正數(shù)，表示這兩個(gè)變量的峰比正態(tài)分布的峰矮平，即分?jǐn)?shù)過(guò)于分散；兩個(gè)考試其他部分均為負(fù)數(shù)，表示以上變量的峰比理想正態(tài)分布的峰要高尖，即分?jǐn)?shù)過(guò)分集中在中分段；最大值和最小值兩行顯示，除SET3綜合部分外，無(wú)論是總平均分還是單項(xiàng)技能平均分，最大值與最小值之差SET3均高于CET4，表明SET3成績(jī)差異較大，說(shuō)明部分學(xué)生未考出真實(shí)英語(yǔ)水平。表3顯示了兩個(gè)考試成績(jī)的相關(guān)性情況。

表3 考試分?jǐn)?shù)相關(guān)性分析

由表3可知，兩個(gè)考試總成績(jī)高度相關(guān)（0.863），單項(xiàng)成績(jī)中度相關(guān)（0.311～0.567）；就內(nèi)部相關(guān)而言，SET3呈弱到中度相關(guān)（0.311～0.448），CET4呈高度相關(guān)（0.706～863）。造成這種結(jié)果的原因或許是SET3部分內(nèi)容是本學(xué)期所學(xué)內(nèi)容，如聽(tīng)力、閱讀理解及漢譯英均有選用了部分教材課后練習(xí)和課上CET4輔導(dǎo)內(nèi)容，造成SET3內(nèi)部相關(guān)性較低?？梢?jiàn)，雖然SET3與CET4采用相同題型，但受試的考試表現(xiàn)有所不同。因此，考試的開(kāi)發(fā)與設(shè)計(jì)首先應(yīng)考慮考試目的，考試目的決定考試任務(wù)的選用，而非照搬“權(quán)威”考試題型。表4顯示了兩個(gè)考試的總體和單項(xiàng)難度情況。

表4 兩個(gè)考試總體和單項(xiàng)難度

由表4可知，兩個(gè)考試均有一定的難度，無(wú)論是單項(xiàng)技能難度還是總體難度，僅有SET3的寫(xiě)作和漢譯英在3.00及以上，且CET4的總體難度和單項(xiàng)難度均高于SET3，且均具有顯著性差異，表明CET4難度較大。差值較高的分別為聽(tīng)力（0.52）、漢譯英（0.49）和寫(xiě)作（0.46），表明這3項(xiàng)技能CET4難度更大。表5進(jìn)一步顯示了兩個(gè)考試的任務(wù)難度差異。

表5 考試任務(wù)難度

由表5可知，兩個(gè)考試采用的相同任務(wù)中，CET4難度均大于SET3，差值較大的分別為閱讀部分的選詞填空（1.00）、聽(tīng)力部分的新聞理解（0.55）和對(duì)話理解（0.50）及綜合部分的漢譯英（0.49），而寫(xiě)作、仔細(xì)閱讀和篇章理解難度相對(duì)較小。這一結(jié)果或許與SET3選用部分課后習(xí)題（聽(tīng)力）和本學(xué)期輔導(dǎo)的CET4真題（仔細(xì)閱讀、寫(xiě)作）有關(guān)。

3 討論與啟示

效度是程度概念，它對(duì)分?jǐn)?shù)的解釋取決于所得的證據(jù)多大程度上能夠支撐效度主張，因而效度驗(yàn)證是收集不同的數(shù)據(jù)對(duì)分?jǐn)?shù)作出合理解釋的過(guò)程［5］。按不同發(fā)展階段，效度大致可分為分類效度、整體效度和基于論證的效度驗(yàn)證方法。基于分類效度觀，所收集的支持分?jǐn)?shù)解釋的證據(jù)又主要分為內(nèi)容效度、校標(biāo)關(guān)聯(lián)效度和構(gòu)念效度的意義［6］。本研究中的兩個(gè)考試均屬大學(xué)英語(yǔ)學(xué)業(yè)成就考試，SET3的考試內(nèi)容、考試任務(wù)與CET4基本相同，因而兩個(gè)考試的內(nèi)容效度和構(gòu)念效度的意義無(wú)顯著差異。本研究?jī)H通過(guò)校標(biāo)關(guān)聯(lián)效度和學(xué)生對(duì)兩個(gè)考試難度的認(rèn)識(shí)對(duì)SET3予以探析，從而發(fā)現(xiàn)SET3存在的問(wèn)題與不足。

3.1 兩個(gè)考試學(xué)生的總成績(jī)及單項(xiàng)技能成績(jī)的相關(guān)性

研究發(fā)現(xiàn)，兩個(gè)考試考查內(nèi)容和考試任務(wù)基本相同，均考查了聽(tīng)力、閱讀（SET3未考查快速閱讀）、寫(xiě)作和翻譯；兩個(gè)考試學(xué)生的總成績(jī)相關(guān)度較高，即測(cè)量受試整體語(yǔ)言水平的一致性較高，而單項(xiàng)成績(jī)呈中度相關(guān)；內(nèi)部相關(guān)SET3呈弱到中度相關(guān)，CET4相關(guān)度較高。

一個(gè)語(yǔ)言測(cè)試主要關(guān)注三方面的問(wèn)題，即考什么、怎么考和考試結(jié)果的使用［7］。SET3和CET4均為大學(xué)英語(yǔ)學(xué)業(yè)成就考試，考試內(nèi)容（考什么）和考試任務(wù)的選用（怎么考）基本相同，充分顯示大規(guī)模高風(fēng)險(xiǎn)考試對(duì)期末考試的“標(biāo)桿”作用。然而作為全國(guó)非英語(yǔ)專業(yè)大學(xué)生英語(yǔ)水平考試，CET4與期末考試相比又有其特殊性?！洞髮W(xué)英語(yǔ)教學(xué)指南（2020）29-30》明確指出，不同高校應(yīng)基于校本辦學(xué)特色和辦學(xué)定位，“采取選用與開(kāi)發(fā)相結(jié)合的形式，制定科學(xué)完善的校本大學(xué)英語(yǔ)測(cè)試體系”，從而充分發(fā)揮測(cè)試的導(dǎo)向作用［8］。而該校期末考試形式、考試內(nèi)容嚴(yán)重四級(jí)化，缺少基于校本學(xué)情的測(cè)試設(shè)計(jì)與開(kāi)發(fā)體系。

3.2 受試對(duì)兩個(gè)考試難度和考試任務(wù)難度的評(píng)價(jià)

調(diào)查結(jié)果表明，受試認(rèn)為兩個(gè)考試總體難度較大，與CET4相比，SET3的漢譯英、寫(xiě)作和閱讀部分的選詞填空（15選10）難度相對(duì)較小。造成這一現(xiàn)象的主要原因是SET3采用了本學(xué)期部分所學(xué)內(nèi)容的課后練習(xí)和CET4真題輔導(dǎo)內(nèi)容，降低了試題難度。事實(shí)上，為提升期末考試效度，可適當(dāng)增加主觀題，采用基于所學(xué)內(nèi)容、形式多樣的考試任務(wù)，而非全盤(pán)照搬CET4考試題型，從而減少大規(guī)?？荚嚱o教學(xué)帶來(lái)的負(fù)面影響。綜合以上分析，本研究得到如下啟示。

3.2.1 增加綜合測(cè)試任務(wù)，減少多項(xiàng)選擇題

語(yǔ)言測(cè)試設(shè)計(jì)首先考慮考試目的，其次是測(cè)試任務(wù)的選擇［9］。為提高考試效率，大規(guī)模高風(fēng)險(xiǎn)考試通常采用較多的多項(xiàng)選擇題，如托福、雅思、四六級(jí)考試及英語(yǔ)專業(yè)四、八級(jí)考試等。作為一種常用的測(cè)試題型，多項(xiàng)選擇題的科學(xué)性和有效性已得到語(yǔ)言測(cè)試界的認(rèn)可，但其對(duì)教學(xué)同樣有重知識(shí)傳授、輕運(yùn)用能力培養(yǎng)等嚴(yán)重的負(fù)面影響［10］。因此，大學(xué)英語(yǔ)校本期末考試應(yīng)從教學(xué)實(shí)際出發(fā)，結(jié)合不同學(xué)期的教學(xué)內(nèi)容，采用靈活多樣的考試任務(wù)，如復(fù)合式聽(tīng)寫(xiě)、簡(jiǎn)答題及讀后續(xù)寫(xiě)等題型，為教學(xué)提供準(zhǔn)確的反饋信息，以便調(diào)整教學(xué)內(nèi)容、改進(jìn)教學(xué)方法，全面提升大學(xué)英語(yǔ)教學(xué)效果。

3.2.2 探索基于《量表》的大學(xué)英語(yǔ)校本測(cè)試體系

語(yǔ)言測(cè)試的目的是提供一種科學(xué)的測(cè)量工具，即通過(guò)語(yǔ)言運(yùn)用的抽樣，對(duì)受試語(yǔ)言能力進(jìn)行客觀、準(zhǔn)確和公正的評(píng)價(jià)。多年來(lái)，由于缺乏開(kāi)發(fā)、實(shí)施考試的時(shí)間和經(jīng)費(fèi)，教師測(cè)評(píng)素養(yǎng)水平較低，再加上大學(xué)英語(yǔ)教師教學(xué)壓力大、科研任務(wù)重等主客觀因素的影響，多數(shù)普通高校大學(xué)英語(yǔ)校本考試設(shè)計(jì)和考查內(nèi)容不盡合理，考試效度有待提升［11］?！吨袊?guó)英語(yǔ)能力等級(jí)量表》（教育部、國(guó)家語(yǔ)委2018，簡(jiǎn)稱《量表》）立足我國(guó)不同階段的英語(yǔ)學(xué)情，為各級(jí)各類英語(yǔ)考試提供科學(xué)的能力指標(biāo)體系和準(zhǔn)確的能力標(biāo)尺，為英語(yǔ)教學(xué)的過(guò)程性、終結(jié)性等測(cè)評(píng)方式提供能力參照標(biāo)準(zhǔn)［12-13］。因此，應(yīng)將大學(xué)英語(yǔ)基礎(chǔ)階段校本期末考試與量表對(duì)接，使考試設(shè)計(jì)更加全面、系統(tǒng)，從而有利于提高大學(xué)英語(yǔ)期末考試效度。

3.2.3 加強(qiáng)教師培訓(xùn)，提升大學(xué)英語(yǔ)教師測(cè)評(píng)素養(yǎng)

語(yǔ)言測(cè)試是一門(mén)跨學(xué)科的科學(xué)，試卷開(kāi)發(fā)是一項(xiàng)技術(shù)很強(qiáng)的工作，從試卷設(shè)計(jì)、命題、預(yù)測(cè)等到實(shí)施是一套系統(tǒng)工程。這就要求命題人員具備一定的測(cè)評(píng)素養(yǎng)，既要知曉語(yǔ)言測(cè)評(píng)的基本原理，掌握一定的測(cè)評(píng)技術(shù)與方法，熟悉測(cè)評(píng)質(zhì)量的評(píng)判標(biāo)準(zhǔn)，同時(shí)又具有一定的應(yīng)用語(yǔ)言學(xué)理論基礎(chǔ)、豐富的教學(xué)經(jīng)驗(yàn)，還應(yīng)對(duì)學(xué)生的語(yǔ)言能力及學(xué)習(xí)中的困難有較深入的了解［14-15］。因此，加強(qiáng)語(yǔ)言測(cè)評(píng)培訓(xùn)，提升大學(xué)英語(yǔ)教師測(cè)評(píng)素養(yǎng)是提高大學(xué)英語(yǔ)期末考試質(zhì)量及大學(xué)英語(yǔ)教學(xué)效果的重要途徑。

4 結(jié)語(yǔ)

測(cè)試是教學(xué)的組成部分，對(duì)教學(xué)具有導(dǎo)向作用，因而效度是語(yǔ)言測(cè)試研發(fā)人員永久追求的目標(biāo)。與CET4相比，大學(xué)英語(yǔ)校本學(xué)業(yè)成就考試具有規(guī)模小、考試內(nèi)容與題型的選擇相對(duì)靈活等特點(diǎn)，其目的主要是檢查教學(xué)效果，為教學(xué)提供及時(shí)反饋，以提高教學(xué)效果。本文僅通過(guò)一所高校3個(gè)班的大學(xué)英語(yǔ)期末考試成績(jī)與CET4成績(jī)進(jìn)行相關(guān)分析和問(wèn)卷調(diào)查，對(duì)大學(xué)英語(yǔ)期末考試效度進(jìn)行了探析，研究結(jié)果僅為探索性結(jié)論。為進(jìn)一步挖掘普通高校大學(xué)英語(yǔ)學(xué)業(yè)成就考試效度，應(yīng)對(duì)多所高校大學(xué)英語(yǔ)期中、期末考試及課堂測(cè)驗(yàn)等進(jìn)行深入地研究，提升大學(xué)英語(yǔ)測(cè)試效度，從而促進(jìn)大學(xué)英語(yǔ)教學(xué)的不斷發(fā)展。