考試中測(cè)試效度、測(cè)試方法概述及對(duì)雅思學(xué)術(shù)寫(xiě)作的預(yù)測(cè)效度分析

【摘要】當(dāng)一場(chǎng)考試確實(shí)考核了它打算考核的內(nèi)容時(shí)，才會(huì)被稱為有效的考試，效度在考試設(shè)計(jì)中起著指導(dǎo)性作用。本文從內(nèi)容效度（Content Validity）、效標(biāo)效度（Criterion Validity）和建構(gòu)效度（Construct Validity）三個(gè)方面論述效度并給出了每種效度的測(cè)試方法和框架。最后針對(duì)雅思學(xué)術(shù)寫(xiě)作考試，就其是否具有從屬于效標(biāo)效度下的預(yù)測(cè)效度進(jìn)行了詳細(xì)的分析。

【關(guān)鍵詞】考試;效度;雅思學(xué)術(shù)寫(xiě)作

【作者簡(jiǎn)介】薛睿哲，電子科技大學(xué)成都學(xué)院。

考試的效度是衡量其是否為有效考試的重要標(biāo)準(zhǔn)，效度體現(xiàn)在哪幾個(gè)方面以及如何檢測(cè)考試的效度是需要掌握的。雅思考試是很多國(guó)家的高校判斷學(xué)生是否具備足夠的英語(yǔ)能力在英語(yǔ)授課國(guó)家進(jìn)行學(xué)習(xí)的標(biāo)準(zhǔn)。論文寫(xiě)作是很多高校主要的作業(yè)形式，雅思學(xué)術(shù)寫(xiě)作是否具有足夠的預(yù)測(cè)效度，能夠預(yù)測(cè)學(xué)生入學(xué)后的寫(xiě)作能力和水平，也是本文討論的話題。

一、 內(nèi)容效度

內(nèi)容效度反映了考試內(nèi)容在多大程度上覆蓋和關(guān)聯(lián)了考試設(shè)計(jì)者想要測(cè)試的內(nèi)容。比如，一個(gè)打算測(cè)試學(xué)生口語(yǔ)交流能力的考試卻給了學(xué)生一些需要用到語(yǔ)法知識(shí)的寫(xiě)作題目，那么這個(gè)考試就沒(méi)有足夠的內(nèi)容效度。但是如果學(xué)生被給了一些真實(shí)的對(duì)話場(chǎng)景并被要求進(jìn)行口語(yǔ)輸出，這就具有很高的內(nèi)容效度。

通常測(cè)試內(nèi)容效度的方法是請(qǐng)專家判斷某項(xiàng)考試多大程度上能夠測(cè)驗(yàn)其打算測(cè)驗(yàn)的內(nèi)容。具體方法是把關(guān)于考試的說(shuō)明和考試的實(shí)際內(nèi)容進(jìn)行系統(tǒng)對(duì)比，過(guò)程為：（1）專家寫(xiě)下自己認(rèn)為每道問(wèn)題在測(cè)驗(yàn)什么技能，或?qū)＜視?huì)拿到一個(gè)列表，然后在他們認(rèn)為每道題測(cè)驗(yàn)的技能旁打勾。（2）收集專家和學(xué)生所寫(xiě)的列表內(nèi)容并尋找他們之間的共同點(diǎn)。專家普遍認(rèn)為，出試題者打算測(cè)試的技能和實(shí)際測(cè)試的技能相符度高的考試可以被稱作有高度內(nèi)容效度的考試。

然而一次考試只能容納有限范圍的知識(shí)，很難確定讓專家評(píng)估的例卷是足夠有代表性的，所以選取哪些題目放在考試?yán)锸切枰苌髦乜紤]的。此外，考試任務(wù)的設(shè)置、答案的形式、題目的順序都是判斷內(nèi)容效度的因素，這些也都是出題人需要考慮的方面。

二、效標(biāo)效度

效標(biāo)效度是指考試結(jié)果與用其他標(biāo)準(zhǔn)測(cè)量考生某方面能力的結(jié)果具有較高的一致性。效標(biāo)效度下有兩個(gè)分支，一個(gè)是同時(shí)效度（concurrent validity），一個(gè)是預(yù)測(cè)效度（predictive validity）。同時(shí)效度指的是一個(gè)考試結(jié)果和考試者參加其他考試的結(jié)果一致，需要注意的是，這些考試的時(shí)間應(yīng)該是相距較近的。預(yù)測(cè)效度指的是考試者在該考試中的表現(xiàn)可以被用來(lái)預(yù)測(cè)他在該領(lǐng)域未來(lái)的表現(xiàn)。

為了檢測(cè)同時(shí)效度，在獲取了第一個(gè)考試結(jié)果后，其他反映該能力的指標(biāo)可以通過(guò)以下方法獲得：首先，其他和第一個(gè)考試類似的考試的結(jié)果;其次，教過(guò)該學(xué)生很長(zhǎng)一段時(shí)間的老師給出的學(xué)生排名;再次，給老師一個(gè)表格，請(qǐng)老師對(duì)該學(xué)生的技能進(jìn)行打分。

檢測(cè)預(yù)測(cè)效度需要先對(duì)學(xué)生進(jìn)行一個(gè)考試，然后該種能力在未來(lái)需要進(jìn)行檢測(cè)時(shí)，通常通過(guò)獲取該生另一個(gè)同類型考試的成績(jī)、在學(xué)期末獲取的相關(guān)課程的成績(jī)、來(lái)自老師或同事的評(píng)價(jià)三種方式，但需要注意的是，來(lái)自老師和同事的評(píng)價(jià)不一定是可靠或客觀的。

三、建構(gòu)效度

建構(gòu)效度指的是考試結(jié)果和基于理論對(duì)考試者作出的預(yù)判之間的相關(guān)度。它可以用來(lái)檢測(cè)考試分?jǐn)?shù)與一些無(wú)法直接通過(guò)考試來(lái)考核的能力之間的關(guān)系。

檢測(cè)建構(gòu)效度的主要方法有以下幾種：一是比較要檢測(cè)的理論和考試的關(guān)系，把需要檢測(cè)的理論提供給專家，并判斷考試和該理論的關(guān)聯(lián)度。二是內(nèi)部關(guān)聯(lián)性檢測(cè)，即一個(gè)考試的組成部分之間的相關(guān)性以及子測(cè)驗(yàn)和總測(cè)驗(yàn)之間的關(guān)聯(lián)性。三是因素分析，包括兩方面探索性因素分析（EFA），即探索和考試相關(guān)度最大的因素并在基于理論的情況下給它們標(biāo)上標(biāo)簽;驗(yàn)證性因素分析（CFA），即先從理論上對(duì)某些因素和考試之間的關(guān)系進(jìn)行檢驗(yàn)，然后再通過(guò)數(shù)據(jù)進(jìn)行證明。

四、雅思學(xué)術(shù)寫(xiě)作考試的預(yù)測(cè)效度討論

雅思考試是很多英語(yǔ)授課國(guó)家的大學(xué)要求國(guó)際學(xué)生參加的考試，雅思分?jǐn)?shù)也是進(jìn)行學(xué)校申請(qǐng)的一個(gè)必要條件。其作用是檢測(cè)考試參與者是否準(zhǔn)備好在英語(yǔ)授課國(guó)家進(jìn)行學(xué)習(xí)和生活。這意味著在雅思學(xué)術(shù)寫(xiě)作考試中，如果學(xué)生得到了符合要求的分?jǐn)?shù)，就證明他們已經(jīng)做好了出國(guó)上學(xué)的準(zhǔn)備，能夠按要求完成國(guó)外課程的學(xué)習(xí)。下面將會(huì)就兩個(gè)實(shí)驗(yàn)討論雅思學(xué)術(shù)寫(xiě)作是否具有預(yù)測(cè)效度，即雅思學(xué)術(shù)寫(xiě)作考試是否能夠預(yù)測(cè)考生在國(guó)外學(xué)校的寫(xiě)作水平。一個(gè)實(shí)驗(yàn)是關(guān)于雅思學(xué)術(shù)寫(xiě)作和大學(xué)學(xué)術(shù)寫(xiě)作之間內(nèi)容和所需技能的比較，另一個(gè)是關(guān)于學(xué)生雅思學(xué)術(shù)寫(xiě)作分?jǐn)?shù)和大學(xué)作業(yè)分?jǐn)?shù)之間關(guān)系的研究。

Moorea和Morton做了一個(gè)關(guān)于雅思學(xué)術(shù)寫(xiě)作Task 2和大學(xué)作業(yè)的體裁、參考信息來(lái)源和修辭功能的對(duì)比研究。數(shù)據(jù)顯示，大學(xué)里的作業(yè)涉及各種體裁，其中論文是最常見(jiàn)的體裁，其次是案例研究、練習(xí)和研究報(bào)告。然而，在雅思學(xué)術(shù)寫(xiě)作中，體裁是比較有限的。學(xué)生一般會(huì)被要求寫(xiě)多大程度上他們同意或不同意某種觀點(diǎn)，或針對(duì)一個(gè)現(xiàn)象給出理由和解決方案，這是考試中最常見(jiàn)的兩種題目方向?？梢钥闯?，雅思學(xué)術(shù)寫(xiě)作和大學(xué)里所需的寫(xiě)作體裁之間的共性是比較小的。

從參考信息來(lái)源方面來(lái)分析，大學(xué)的作業(yè)通常要求學(xué)生借鑒很多學(xué)者的著作或者發(fā)表的文章，或者用課上老師提供的文獻(xiàn)，引用文獻(xiàn)的能力是很重要的。學(xué)生論文中每個(gè)觀點(diǎn)都需要文獻(xiàn)的支撐來(lái)進(jìn)行論證，而不是憑借自己的生活常識(shí)或經(jīng)驗(yàn)進(jìn)行空想，或主觀地認(rèn)為某些觀點(diǎn)是成立的。并且引用文獻(xiàn)的格式方面也有系統(tǒng)的要求，時(shí)常有學(xué)生因?yàn)橐酶袷讲徽_或引用方式不恰當(dāng)而掛科。然而在雅思學(xué)術(shù)寫(xiě)作中，學(xué)生不需要知道引用文獻(xiàn)的方法，而需要很大程度上用到考生以前的知識(shí)或常識(shí)來(lái)論證觀點(diǎn)，所舉的例子也是來(lái)源于考生自己的積累，可以是自身經(jīng)歷也可以是社會(huì)現(xiàn)象。但是在大學(xué)作業(yè)中，對(duì)以前知識(shí)和生活常識(shí)的掌握程度的要求是很少被提及的，但這卻是雅思學(xué)術(shù)寫(xiě)作用來(lái)論證觀點(diǎn)的重要積累。所以，雅思學(xué)術(shù)寫(xiě)作沒(méi)有讓學(xué)生知道在真正的大學(xué)場(chǎng)景中，需要用到什么樣的寫(xiě)作能力，導(dǎo)致不少學(xué)生出國(guó)之后才發(fā)現(xiàn)國(guó)外的論文作業(yè)要求和他們之前所以為的并不一致，短時(shí)間內(nèi)很難適應(yīng)國(guó)外論文的寫(xiě)作方式并達(dá)到要求。

在修辭功能方面，在大學(xué)學(xué)術(shù)寫(xiě)作的作業(yè)中，平均每個(gè)作業(yè)會(huì)要求有2.5個(gè)修辭功能。在認(rèn)識(shí)功能方面（epistemic function），2/3的作業(yè)會(huì)要求評(píng)價(jià)功能（evaluation），這也是被要求最多的一個(gè)功能，其次是描述功能（description）和總結(jié)功能（summarisation）。然而在雅思學(xué)術(shù)寫(xiě)作中，雖然評(píng)價(jià)功能也是被要求最多的，但是其他大學(xué)學(xué)術(shù)寫(xiě)作需要的功能卻很少被要求。

Dooey和Oliver做的實(shí)驗(yàn)，對(duì)學(xué)生的雅思分?jǐn)?shù)和他們出國(guó)上學(xué)后在大學(xué)的分?jǐn)?shù)進(jìn)行了對(duì)比研究，65名以英語(yǔ)為第二語(yǔ)言的學(xué)生和23名以英語(yǔ)為母語(yǔ)的學(xué)生被包括在內(nèi)，只有15%沒(méi)有達(dá)到雅思分?jǐn)?shù)要求的學(xué)生在大學(xué)中掛科，并且一個(gè)雅思單科和總分都沒(méi)有達(dá)到要求的學(xué)生在第一學(xué)期的大學(xué)課程中拿到了81分。對(duì)于以英語(yǔ)為母語(yǔ)的學(xué)生來(lái)說(shuō)，他們的雅思分?jǐn)?shù)很明顯會(huì)比第二語(yǔ)言學(xué)習(xí)者高。然而，他們中有15人在大學(xué)中掛了科，他們中甚至有雅思學(xué)術(shù)寫(xiě)作分?jǐn)?shù)和在大學(xué)中的分?jǐn)?shù)呈現(xiàn)相反關(guān)系的情況出現(xiàn)，即雅思學(xué)術(shù)寫(xiě)作分?jǐn)?shù)高的學(xué)生在大學(xué)中得到的分?jǐn)?shù)卻相對(duì)更低。雖然在大學(xué)中影響分?jǐn)?shù)的因素有很多，但鑒于大學(xué)的作業(yè)多數(shù)為論文形式，需要學(xué)生進(jìn)行學(xué)術(shù)寫(xiě)作，學(xué)生的期末分?jǐn)?shù)在某種程度上來(lái)說(shuō)還是可以反映學(xué)生的寫(xiě)作水平的。通過(guò)這個(gè)實(shí)驗(yàn)我們可以看出，從分?jǐn)?shù)上來(lái)看，雅思學(xué)術(shù)寫(xiě)作分?jǐn)?shù)高的學(xué)生，在大學(xué)里的學(xué)術(shù)寫(xiě)作方面的表現(xiàn)不一定好。相反，雅思學(xué)術(shù)寫(xiě)作單科沒(méi)有達(dá)到入學(xué)分?jǐn)?shù)要求的學(xué)生，在大學(xué)里也有可能獲得高分。由此可見(jiàn)，雅思學(xué)術(shù)寫(xiě)作的分?jǐn)?shù)，并不能準(zhǔn)確預(yù)測(cè)學(xué)生在今后的大學(xué)學(xué)習(xí)過(guò)程中的寫(xiě)作表現(xiàn)。

五、結(jié)語(yǔ)

內(nèi)容效度、效標(biāo)效度和建構(gòu)效度并不是完全分開(kāi)的，而是互為補(bǔ)充。在選擇方法去檢測(cè)效度時(shí)，建議采用組合的方式進(jìn)行，以保證檢測(cè)的有效性。雅思考試組織者宣稱學(xué)術(shù)寫(xiě)作分?jǐn)?shù)能夠反映學(xué)生是否為國(guó)外大學(xué)的學(xué)習(xí)做好準(zhǔn)備，也就是符合所謂的預(yù)測(cè)效度。但從文中提到的兩個(gè)實(shí)驗(yàn)來(lái)看，它并不具備預(yù)測(cè)效度。

參考文獻(xiàn)：

[1]Lynch B K. Language Assessment and Programme Evaluation， 1st edn[M]. Edinburgh： Edinburgh University Press Ltd， 2003.

[2]Green A. Exploring Language Assessment and Testing， 1st edn[M]. Oxon： Routledge， 2014.

[3]Alderson J C， Clapham C， Wall D. Language Test Construction and Evaluation， 1st edn[M]. Cambridge： Cambridge University Press， 1995.

[4]Weir C J. Language Testing and Validation， 1st edn[M]. New York： Palgrave Macmillan， 2005.

[5]Fulcher G， Davidson F. Language Testing and Assessment， 1st edn[M]. New York： Routledge， 2007.

[6]Bachman L F. Fundamental Considerations in Language Testing， 1st edn[M]. Oxford： Oxford University Press， 1990.

[7]Cronbach L J， Meehl P E.Construct validity in psychological tests[J]. Psychological Bulletin， 52： 281-302. http：//dx.doi.org/10.1037/h0040957， 1995.

[8]Moorea T， Morton J. Dimensions of difference： a comparison of university writing and IELTS writing[J]. Journal of English for Academic Purposes， 4： 43-66. https：//doi.org/10.1016/j.jeap.2004.02. 001， 2005.