蘭 娟

?

教師自行構(gòu)建校內(nèi)英語(yǔ)聽力題庫(kù)的有效性研究——以保山學(xué)院為例

蘭 娟

（保山學(xué)院 外國(guó)語(yǔ)學(xué)院，云南 保山 678000）

建立高信度和效度的試題庫(kù)，有利于保證測(cè)試安全。出于教學(xué)和研究需要，各個(gè)學(xué)校往往結(jié)合自身實(shí)際自行構(gòu)建試題庫(kù)。試題庫(kù)的有效性檢測(cè)，成為各個(gè)學(xué)校都會(huì)面臨的問(wèn)題，筆者以所在的保山學(xué)院為例，從校本英語(yǔ)專業(yè)聽力測(cè)試題庫(kù)中隨機(jī)抽取出來(lái)五套聽力試卷，基于對(duì)其測(cè)試結(jié)果的分析，以測(cè)試學(xué)的專業(yè)手段對(duì)該試題庫(kù)的有效性做出了科學(xué)評(píng)估。

聽力測(cè)試；試題庫(kù)；信度；效度

建立試題庫(kù)對(duì)語(yǔ)言測(cè)試有很多好處，最顯著的就是以較少的時(shí)間精力投入，即可讓構(gòu)卷者制作出多套較高質(zhì)量的平行試卷。因此，國(guó)內(nèi)外很多大型高風(fēng)險(xiǎn)測(cè)試，如托?？荚?、大學(xué)英語(yǔ)考試、大學(xué)漢語(yǔ)考試等都充分利用了試題庫(kù)組卷的方式；同時(shí)，一些大學(xué)也紛紛致力于試題庫(kù)建設(shè)。但是，在各類研究中，筆者很難發(fā)現(xiàn)針對(duì)英語(yǔ)專業(yè)學(xué)習(xí)者聽力測(cè)試題庫(kù)的研究；另一方面，作為一名多年從事聽力課程教學(xué)的教師，筆者深深體會(huì)到此類試題庫(kù)建設(shè)的必要性。因此，筆者及團(tuán)隊(duì)自行構(gòu)建了符合所在院校實(shí)際教學(xué)情況的英語(yǔ)專業(yè)聽力測(cè)試題庫(kù)，并希望通過(guò)一系列的實(shí)驗(yàn)和研究驗(yàn)證其有效性，以為廣大高校解決此類問(wèn)題提供一種方式。

一　試題庫(kù)構(gòu)成情況

根據(jù)《高等學(xué)校英語(yǔ)專業(yè)教學(xué)大綱》的要求，結(jié)合筆者所在學(xué)校的實(shí)際情況，筆者初步建構(gòu)了英語(yǔ)專業(yè)聽力測(cè)試題庫(kù)。題庫(kù)中同時(shí)包括了選擇類答題方式和建構(gòu)類答題方式兩種題型10項(xiàng)不同類別的聽力測(cè)試任務(wù)，共計(jì)1266道試題。2010年，王建忠等人針對(duì)試題庫(kù)中題量與考試中試題量的關(guān)系進(jìn)行了研究，建議試題庫(kù)中題量與考試中抽取的試題量比例為30:1。而筆者構(gòu)建的試題庫(kù)題量與預(yù)測(cè)聽力試題題量比例為26:1，基本能夠滿足抽取試題的需求。

試題庫(kù)構(gòu)成詳細(xì)情況如下：

表1.試題庫(kù)題型題量構(gòu)成情況一覽表

題型單詞辨音響應(yīng)評(píng)價(jià)釋義識(shí)別對(duì)話篇章復(fù)合式聽寫總結(jié)/提綱總量 短長(zhǎng)選擇題正誤判斷題簡(jiǎn)答題 每套試題抽取量1010101023111149 理想題庫(kù)量3003003003006090303030301470 實(shí)際題庫(kù)量21220127130066120363830221266

二　測(cè)試實(shí)施

為了對(duì)試題庫(kù)進(jìn)行量化效度研究，筆者在EasyPaper 4.0軟件的輔助下從試題庫(kù)中抽取了5套試題分別發(fā)放給英語(yǔ)專業(yè)一、二年級(jí)的學(xué)生。依據(jù)Henning(2001:128)的建議，每套試題的受試者都達(dá)到了100人以上。試題構(gòu)成情況如下：

表2.抽取試題的構(gòu)成情況

部分測(cè)試一測(cè)試二測(cè)試三測(cè)試四測(cè)試五 Phonemic Discrimination510000 響應(yīng)評(píng)價(jià)50000 釋義識(shí)別1010101010 對(duì)話短對(duì)話10107810 長(zhǎng)對(duì)話00110 篇章正誤判斷(篇)11 111 選擇(篇)02 222 簡(jiǎn)答(篇)20000 復(fù)合式聽寫(篇)01011 總結(jié)/提綱0101 總量3334 22 2325

五套試題的構(gòu)成差異是由其針對(duì)的不同受試者決定的。測(cè)試一和測(cè)試二的測(cè)試對(duì)象是英語(yǔ)專業(yè)一年級(jí)的學(xué)生，因此，測(cè)試重點(diǎn)是音素、結(jié)構(gòu)的識(shí)別和短對(duì)話、短篇文章的理解。而測(cè)試四、測(cè)試五和測(cè)試六的測(cè)試對(duì)象為英語(yǔ)專業(yè)二年級(jí)的學(xué)生，測(cè)試重點(diǎn)強(qiáng)調(diào)長(zhǎng)短對(duì)話、篇章的理解以及記筆記的能力。

五套測(cè)試題滿分均為100分，最長(zhǎng)的一套測(cè)試音頻材料時(shí)長(zhǎng)為43分鐘，最短的一套為30分鐘。針對(duì)同一測(cè)試樣本的測(cè)試在語(yǔ)速相似，每一道選擇題后都有15秒的間隙，間隙的長(zhǎng)短與大學(xué)英語(yǔ)等級(jí)考試或英語(yǔ)專業(yè)等級(jí)考試等高風(fēng)險(xiǎn)測(cè)試一致。

五套測(cè)試均在語(yǔ)音室環(huán)境進(jìn)行，測(cè)試對(duì)象的基本情況如下：

表3.受試者基本情況

測(cè)試樣本一（一年級(jí)）樣本二（二年級(jí)） 一二三四五 受試者男生1111131416 女生9999111110114 合計(jì)110124124130

測(cè)試結(jié)束后，筆者使用SPSS軟件對(duì)測(cè)試結(jié)果進(jìn)行了分析。

三 有效性驗(yàn)證

（一）信度

信度被看做是一項(xiàng)優(yōu)秀測(cè)試的必要但不充分條件(Bachman,1999;Davies et al.2002;Moss,1994)。Henning(2001:74)認(rèn)為信度檢測(cè)的是測(cè)試實(shí)施之后受試者分?jǐn)?shù)的準(zhǔn)確性、一致性、可靠性、以及公平性，換句話說(shuō)，一套信度較高的測(cè)試，不管受試者是誰(shuí)或者測(cè)試了多少次，所得到的結(jié)果都是穩(wěn)定且一致的。

1.外部信度。在測(cè)試設(shè)計(jì)中針對(duì)同一個(gè)樣本進(jìn)行了平行試卷的測(cè)試，外部信度可以通過(guò)計(jì)算測(cè)試結(jié)果的相關(guān)系數(shù)進(jìn)行驗(yàn)證，測(cè)試結(jié)果相關(guān)性越高，則信度越好，相關(guān)系數(shù)是一個(gè)在+1到-1之間的數(shù)值，+1意味著絕對(duì)正相關(guān)，-1則代表了絕對(duì)的負(fù)相關(guān)，0表示兩個(gè)變量沒(méi)有關(guān)系（楊端和，2004:278）。因此，筆者針對(duì)測(cè)試一和測(cè)試二，測(cè)試三和測(cè)試四，測(cè)試四和測(cè)試五，測(cè)試三和測(cè)試五四組數(shù)據(jù)，采用皮爾遜相關(guān)系數(shù)分析公式，進(jìn)行了相關(guān)性分析，分析結(jié)果如下：

表4.測(cè)試一與測(cè)試二相關(guān)性分析

ONETWO ONEPearson Correlation1.739(**) Sig. (2-tailed)..000 N110110 TWOPearson Correlation.739(**)1 Sig. (2-tailed).000. N110110

** Correlation is significant at the 0.01 level (2-tailed).

表5.測(cè)試三、測(cè)試四和測(cè)試五相關(guān)性分析

THREEFOURFIVE THREEPearson orrelation1.527(**).590(**) Sig. (2-tailed)..000.000 N118118118 FOURPearson orrelation.527(**)1.514(**) Sig. (2-tailed).000..000 N118118118 FIVEPearson orrelation.590(**).514(**)1 Sig. (2-tailed).000.000. N118118118

分析結(jié)果表明，測(cè)試一與測(cè)試二的相關(guān)系數(shù)為0.739，測(cè)試三與測(cè)試四的相關(guān)系數(shù)為0.527，測(cè)試三與測(cè)試五之間的相關(guān)系數(shù)為0.590，測(cè)試四與測(cè)試五之間的相關(guān)系數(shù)為0.514。張厚粲等（2004）指出，當(dāng)兩個(gè)變量之間的相關(guān)系數(shù)大于0.4，這意味著這兩個(gè)變量之間有較強(qiáng)的正相關(guān)。因此，可以判斷，本項(xiàng)研究中的四組數(shù)據(jù)之間的正相關(guān)都是成立的。進(jìn)一步分析的話可以看出，四組數(shù)據(jù)的相關(guān)即使在顯著水平為0.01時(shí)依然是顯著的。因此可以推斷，從試題庫(kù)中提取的五套試題都具有較強(qiáng)的外部信度。

2.內(nèi)部信度。內(nèi)部信度體現(xiàn)了一套完整的測(cè)試試題中各個(gè)部分之間的內(nèi)部一致性，也就是說(shuō)，一套測(cè)試題中的不同任務(wù)是否測(cè)試了同樣的構(gòu)念。內(nèi)部信度的計(jì)算可以采用克倫巴赫阿爾法系數(shù)計(jì)算公式通過(guò)SPSS進(jìn)行運(yùn)算。運(yùn)算結(jié)果如下：

測(cè)試一：

Reliability Coefficients ? ? 5 items

Alpha = .6629 ? ? ? ? ? ? Standardized item alpha = .7618

測(cè)試二：

Reliability Coefficients ? ? 5 items

Alpha = .7709 ? ? ? ? ? ? Standardized item alpha = .7762

測(cè)試三：

Reliability Coefficients ? ? 4 items

Alpha = .5924 ? ? ? ? ? ? Standardized item alpha = .6090

測(cè)試四：

Reliability Coefficients ? ? 4 items

Alpha = .5165 ? ? ? ? ? ? ? Standardized item alpha = .5047

測(cè)試五：

Reliability Coefficients ? ?5 items

Alpha = .6355 ? ? ? ? ? ? Standardized item alpha = .6248

楊端和（2004:278）建議，在進(jìn)行內(nèi)部信度相關(guān)性檢驗(yàn)的時(shí)候，0.60應(yīng)該被視為臨界值，也就是說(shuō)，當(dāng)一套測(cè)試的信度系數(shù)大于0.60時(shí)，這套測(cè)試卷可以被視為具有較強(qiáng)的實(shí)用性。在本項(xiàng)研究中，通過(guò)克倫巴赫阿爾法系數(shù)運(yùn)算，五套測(cè)試卷的標(biāo)準(zhǔn)信度系數(shù)平均值為0.6553，這一平均值大于0.60，由此可以判斷，五套測(cè)試的內(nèi)部信度是可以接受的。但是，當(dāng)分別看這五套測(cè)試時(shí)，標(biāo)準(zhǔn)信度分別為0.7618,0.7762,0.6090,0.5047和0.6248，測(cè)試四的標(biāo)準(zhǔn)信度系數(shù)低于0.60，仍然存在一些問(wèn)題。但是，正如Henning(2001)和Bachman(1999)所指出的，測(cè)試的信度會(huì)受到很多因素的影響，例如測(cè)試的長(zhǎng)度、測(cè)試項(xiàng)目的區(qū)分度等等，因此針對(duì)測(cè)試四的信度還需要在日后從這些方面進(jìn)行進(jìn)一步地探討。

（二）效度

1.表面效度和內(nèi)容效度。表面效度和內(nèi)容效度是語(yǔ)言測(cè)試效度的兩個(gè)基本證據(jù)。一些測(cè)試專家，如Henning，Bachman等，傾向于把它們看做一組同義詞；也有一些專家把這兩者區(qū)分對(duì)待。根據(jù)測(cè)試專家的觀點(diǎn)，表面效度指一套測(cè)試在表面上看起來(lái)有沒(méi)有測(cè)試了它計(jì)劃要測(cè)試的東西(Davis et al.2002:59;Heaton,2000:160;Henning,2001:94)。因此，當(dāng)進(jìn)行表面效度驗(yàn)證時(shí)，構(gòu)卷人、受試者、專家等大眾的看法都可以作為參考。盡管這樣的證據(jù)看起來(lái)很主觀，它同樣可以為構(gòu)卷提供快速且有用的參考。內(nèi)容效度雖然也包含一些主觀的評(píng)判，但強(qiáng)調(diào)評(píng)判需要在專家評(píng)判的基礎(chǔ)上，或是量化分析的基礎(chǔ)上進(jìn)行(Heaton,2000:160;Henning,2001:95;Shepard,1993)。

本項(xiàng)研究中，在實(shí)施聽力測(cè)試之前，筆者向本學(xué)院的三位英語(yǔ)資深聽力任課老師詳細(xì)介紹了五套試卷的構(gòu)成，包括試卷的組成部分、內(nèi)容、時(shí)長(zhǎng)、分值、停頓等細(xì)節(jié)，并同時(shí)請(qǐng)三位教師請(qǐng)他們就五套測(cè)試的內(nèi)容與課程教學(xué)大綱進(jìn)行比對(duì)，從而對(duì)五套試題的表面效度和內(nèi)容效度做出評(píng)價(jià)，看五套試題是否能夠達(dá)到測(cè)試的目的。三位專家均認(rèn)同了五套測(cè)試卷的表面效度和內(nèi)容效度。

2.構(gòu)念效度。構(gòu)念效度假設(shè)在語(yǔ)言能力和語(yǔ)言習(xí)得過(guò)程中構(gòu)念的存在(Heaton,2000:161)，它同樣是效度驗(yàn)證的重要證據(jù)。就技能測(cè)試的效度而言，Guerrero(2000)建議檢驗(yàn)構(gòu)念效度時(shí)可以通過(guò)對(duì)一套試題進(jìn)行基本的統(tǒng)計(jì)分析，來(lái)了解其試卷內(nèi)部一致性，各組成部分之間的一致性和試卷與其它測(cè)試的關(guān)系。

在本項(xiàng)研究中，由于試卷內(nèi)部一致性和試卷與其它測(cè)試的關(guān)系在1.1和1.2中已經(jīng)進(jìn)行了探討，因此，筆者從試卷內(nèi)部組成部分的一致性角度對(duì)五套試題的構(gòu)念效度進(jìn)行檢驗(yàn)。檢驗(yàn)結(jié)果如下：

Correlation Matrix of Test One

ONE ? ? TWO ? ? THREE ? ? FOUR ? ? FIVE

ONE ? ? 1.0000

TWO ? ? .3691 ? ? 1.0000

THREE ? ? .3412 ? ? .5435 ? ? 1.0000

FOUR ? ? .3197 ? ? .3599 ? ? .5093 ? ? 1.0000

FIVE ? ? .3947 ? ? .3144 ? ? .3385 ? ? .4104 ? ? 1.0000

Correlation Matrix of Test Two

ONE ? ? TWO ? ? THREE ? ? FOUR ? ? FIVE

ONE ? ? 1.0000

TWO ? ? .2150 ? ? 1.0000

THREE ? ? .2220 ? ? .4837 ? ? 1.0000

FOUR ? ? .3513 ? ? .4728 ? ? .3724 ? ? 1.0000

FIVE ? ? .3862 ? ? .4914 ? ? .5130 ? ? .5874 ? ? 1.0000

Correlation Matrix of Test Three

ONE ? ? TWO ? ? THREE ? ? FOUR

ONE ? ? 1.0000

TWO ? ? .2758 ? ? 1.0000

THREE ? ? .2989 ? ? .3147 ? ? 1.0000

FOUR ? ? .1805 ? ? .3027 ? ? .3090 ? ? 1.0000

Correlation Matrix of Test Four

ONE ? ? TWO ? ? THREE ? ? FOUR

ONE ? ? 1.0000

TWO ? ? .3361 ? ? 1.0000

THREE ? ? .0890 ? ? .0488 ? ? 1.0000

FOUR ? ? .2236 ? ? .3471 ? ? .1737 ? ? 1.0000

Correlation Matrix of Test Five

ONE ? ? TWO ? ? THREE ? ? FOUR ? ? FIVE

ONE ? ? 1.0000

TWO ? ? .2329 ? ? 1.0000

THREE ? ? .2411 ? ? .0099 ? ?1.0000

FOUR ? ? .3775 ? ? .2545 ? ? .0004 ? ? 1.0000

FIVE ? ? .5524 ? ? .1926 ? ?.1204 ? ? .3351 ? ? 1.0000

從以上數(shù)據(jù)中可以看出，相關(guān)性最差的是測(cè)試五的第三和第四部分，相關(guān)系數(shù)低至0.0004，而相關(guān)性最好的是測(cè)試二的第四部分和第五部分，相關(guān)系數(shù)達(dá)到了0.5874。而從五套測(cè)試的整體情況看來(lái)，可以說(shuō)構(gòu)念效度并沒(méi)有預(yù)期的那么理想。首先，就測(cè)試一而言，數(shù)據(jù)顯示各項(xiàng)相關(guān)系數(shù)值均高于0.20，這也就是說(shuō)，測(cè)試一內(nèi)的各個(gè)部分之間有一定的聯(lián)系，在第二部分和第三部分，第三部分和第四部分，以及第四部分和第五部分之間的相關(guān)系數(shù)都高于0.40，可以被看做是具有相關(guān)性的。然而，在第一部分和其它部分，第二部分和第四、第五部分，第三部分和第五部分則幾乎不相關(guān)。與測(cè)試一相似的是，測(cè)試二中的第二和第三部分，第三和第五部分，第四和第五部分可以被看做相關(guān)，而其它部分幾乎不相關(guān)。在測(cè)試三、測(cè)試四和測(cè)試五中的內(nèi)部關(guān)系問(wèn)題更大，只有測(cè)試四中的第二和第三部分，測(cè)試五中的第一和第五部分可以被看做相關(guān)，而其它部分的相關(guān)性都非常低，更有甚者，有一些部分直接不相關(guān)，如測(cè)試四的第一和第三部分，第二和第三部分，測(cè)試五的第二和第三部分，第三和第四部分。

盡管從數(shù)據(jù)中無(wú)法判定從試題庫(kù)中抽取的測(cè)試卷內(nèi)的各個(gè)部分測(cè)試了同樣的構(gòu)念，但是，還是可以做出以下兩個(gè)推斷。第一，某些英語(yǔ)聽力課程中所要求培養(yǎng)的聽力技能，其發(fā)展是獨(dú)立的，這在測(cè)試分析中它們和其它技能的關(guān)系里可以體現(xiàn)出來(lái)。例如測(cè)試五中第三部分與第五部分相關(guān)性非常弱，由此可以推斷，學(xué)習(xí)者理解對(duì)話的能力發(fā)展與概括總結(jié)能力的發(fā)展是各自進(jìn)行的。其次，英語(yǔ)聽力課程中要求的某些聽力技能，其發(fā)展是互相促進(jìn)的，也就是說(shuō)，某一技能的發(fā)展會(huì)同時(shí)帶動(dòng)另外一項(xiàng)技能的改善。例如，在測(cè)試五中第一部分和第五部分的相關(guān)系數(shù)為0.554，由此可以推斷，單詞和句子聽寫的能力發(fā)展與概括總結(jié)能力的發(fā)展密切相關(guān)。

四 結(jié) 論

但就測(cè)試的信度和效度這兩項(xiàng)基本要素而言，從該教師自行構(gòu)建的聽力測(cè)試題庫(kù)中隨機(jī)抽取出來(lái)的五套試卷的質(zhì)量是基本令人滿意的。從信度上來(lái)看，即使是在0.01的顯著性水平上，五套試題的外部信度都非常理想，而五套試題的內(nèi)部信度平均值達(dá)到了0.66，這一數(shù)值也超過(guò)了0.60的臨界值，在分別討論這五套試題時(shí)，只有測(cè)試四還有待進(jìn)一步的分析。就效度而言，在表面效度和內(nèi)容效度這兩項(xiàng)形成性測(cè)試中較為關(guān)鍵的效度證據(jù)方面，五套試題都是理想的，然而所測(cè)試的構(gòu)念方面，每套試題內(nèi)部各個(gè)部分的一致性并不理想，筆者推斷這可能是由于英語(yǔ)聽力課程中所要求的各項(xiàng)技能的發(fā)展各有特點(diǎn)，有些技能的發(fā)展相互依賴，相互促進(jìn)，而某些技能的發(fā)展各自獨(dú)立這一原因造成的，而這一觀點(diǎn)的驗(yàn)證，需要深入聽力課堂教學(xué)中。

在本項(xiàng)研究中，筆者從信度和效度兩個(gè)方面對(duì)教師自行構(gòu)建的英語(yǔ)聽力測(cè)試題庫(kù)進(jìn)行了有效性驗(yàn)證，從這一角度證實(shí)了英語(yǔ)聽力測(cè)試試題庫(kù)的可靠性和實(shí)用性。但是，聽力測(cè)試題庫(kù)的構(gòu)建是一個(gè)動(dòng)態(tài)的、長(zhǎng)期的過(guò)程，要想真正使其在教師日常的形成性測(cè)試中發(fā)揮其作用，首先還需要對(duì)試題庫(kù)中的試題難易度、區(qū)分度進(jìn)行深入的項(xiàng)目分析，以保證試題項(xiàng)目的質(zhì)量；其次還需要對(duì)試題庫(kù)進(jìn)行不斷的擴(kuò)充，以滿足試題抽取的需要；再次，由于聽力測(cè)試不單需要文本試卷，還需要配套音頻的這一特點(diǎn)，還需要加強(qiáng)適用于英語(yǔ)聽力試題庫(kù)的軟件的開發(fā)。

[1]Bachman,L.F.Fundamental Considerations in Language Testing[M].Shanghai:Shanghai Foreign Language Education Press,1999.

[2]Davies,A.Three heresies of language testing research[J].Language Testing,2000,(20):355.

[3]Gueerrero,M.D.The unified validity of the four skills exam[M].Applying Messick’s framework.Language Testing,2003,(17):397- 421.

[4]Heaton,J. B.Writing English Language Tests[M].Beijing: Foreign Language Teaching and Research Press,2000.

[5]Henning,G.A Guide to Language Testing:Development,Evaluation and Research[M].Beijing:Foreign Language Teaching and Research Press,2001.

[6]Moss,P.A.Can there be validity without reliability[J].Educational Researcher,1994,(2):5-12.

[7]Shepard,L.A.Evaluating test validity[J].Review of Research in Education.1993,(19):405-450.

[8]王建忠,等.考試系統(tǒng)中題庫(kù)量與試題量的關(guān)系研究[J].計(jì)算機(jī)應(yīng)用研究,2010,(2):611-613.

[9]楊端和.語(yǔ)言研究應(yīng)用SPSS軟件實(shí)例大全[M].北京:中國(guó)社會(huì)科學(xué)出版社,2004.

[10]張厚粲,徐建平.現(xiàn)代心理與教育統(tǒng)計(jì)學(xué)[M].北京:北京師范大學(xué)出版社,2004.

（責(zé)任編校：張京華）

2016－11－12

保山學(xué)院2014年立項(xiàng)校級(jí)質(zhì)量工程項(xiàng)目“專業(yè)英語(yǔ)聽力教學(xué)團(tuán)隊(duì)”（項(xiàng)目編號(hào)14B001TJ）。

蘭娟（1982－），女，云南保山人，保山學(xué)院外國(guó)語(yǔ)學(xué)院講師，研究方向?yàn)檎Z(yǔ)言測(cè)試與評(píng)價(jià)。

H319

A

1673-2219（2017）01-0128-05