對《新HSK六級》真題的信度分析

肖依琴

摘要：語言測試是語言教學(xué)的重要組成部分。從教師來看，測試可以反映教學(xué)工作的質(zhì)量和效益，發(fā)現(xiàn)教學(xué)中存在的問題，起到改進(jìn)教學(xué)的作用；從學(xué)生來看，測試可以檢查學(xué)生的學(xué)習(xí)效果，檢驗(yàn)語言知識和技能的掌握情況，發(fā)現(xiàn)學(xué)習(xí)中的問題，以促進(jìn)學(xué)生更好地學(xué)習(xí)。本文將選擇一份語言測試題，分析其信度，并提出改進(jìn)意見。

關(guān)鍵詞：語言測試；信度；試卷分析

一、試卷分析的信度

一個好的語言測試必須注重其可靠性，又叫“信度”?！靶哦取敝笢y試結(jié)果的穩(wěn)定性，即用同一標(biāo)準(zhǔn)在同樣方式下測量同一個人時，每一次應(yīng)該產(chǎn)生相同的值（2004，周小兵）[1]。例如，同一篇作文，第一位教師評80分，第二位教師同樣給80分，則說明評分具有信度；如果第一位教師評80分，第二位教師評40分，則說明評分沒有信度。測試的信度一般用0.0-1.0之間的數(shù)字表達(dá)，叫可靠性系數(shù)，越接近1，可靠性越高（英語作為第二語言的托?？荚?，可靠性系數(shù)大約為0.95）。在語言測試項(xiàng)目中，語法、詞匯、閱讀的可靠性系數(shù)比較高，聽力、口語次之，因?yàn)閷懽鞯脑u分標(biāo)準(zhǔn)比較難把握，所以寫作部分的可靠性系數(shù)最低。

對測試信度產(chǎn)生影響的因素有很多，除了測試的場所、環(huán)境、設(shè)備，主要有以下幾點(diǎn)：（1）測試量的多少。在考慮學(xué)生考試狀態(tài)的前提下（避免題量過大引起的疲憊感），題目量越大，讓學(xué)生發(fā)揮的可能性越大，這樣能提高測試的信度；（2）評分的準(zhǔn)確性。根據(jù)評分標(biāo)準(zhǔn)的不同，一般來說，客觀題比主觀題的信度高，雖然如此，但在編寫試卷的時候也要注意客觀題和主觀題的分配比例，不能一味追求信度而忽視主觀題的編寫。

二、試卷分析

新漢語水平考試（新HSK）考查漢語非第一語言的考生在生活、學(xué)習(xí)和工作中運(yùn)用漢語進(jìn)行交際的能力（《新HSK考試大綱》，孔子學(xué)院總部）[2]。本文選取的是國家漢辦編制的2016年新HSK6級第2套卷。該卷共分為三個部分：聽力（50題，35分鐘）、閱讀（50題，50分鐘）、書寫（1題，45分鐘）。

（一）聽力

聽力細(xì)分為三小部分：①1-15題，給出一段情節(jié)完整的（約20秒）的個人朗讀音頻（其中男朗讀者、女朗讀者比例均衡），要求考生在四個選項(xiàng)中選出與所聽內(nèi)容一致的一項(xiàng)，其中每題的間隔作答時間為13秒；②16-30題，每5題為一個聽力單位（約2分30秒），先給出一段男女對話音頻，再依次提問；③31-50題，每4題為一個聽力單位（約1分50秒），給出一段個人朗讀音頻，再依次提問。

聽力部分存在以下幾個問題：①聽力的朗讀音頻均為標(biāo)準(zhǔn)普通話，不符合真實(shí)生活中的語境（真實(shí)語境應(yīng)是各種方言摻雜的語音，或者帶有鄉(xiāng)音的普通話）；②聽力環(huán)境安靜，話語節(jié)奏平穩(wěn)，語音清晰可辨，不符合真實(shí)生活中的語境（真實(shí)語境存在不可避免的雜音，說話者思考時的話語停頓及語序顛倒、重復(fù)）；③聽力類型單一，第16-30題的朗讀材料均為男女采訪音頻，而考生在實(shí)際生活、學(xué)習(xí)和工作場景中會遇到更多聽力類型，例如電話、新聞、演講、報(bào)告等；④答題選項(xiàng)提供的關(guān)鍵詞，會引導(dǎo)部分學(xué)生采取低級的聽力策略，如聽“關(guān)鍵詞”，而不是關(guān)注語篇本身的意義。例如第21、29、36題都是“數(shù)字題”，學(xué)生只要重點(diǎn)聽到該數(shù)字就可選出正確答案。又例如第27題，“A.很成功，B.不值得借鑒，C.效果不理想，D.有經(jīng)驗(yàn)也有教訓(xùn)”這四個選項(xiàng)態(tài)度區(qū)分明顯，A表肯定，B和C表否定，D表中立態(tài)度，各選項(xiàng)之間不存在干擾信息，只要聽到態(tài)度關(guān)鍵詞就能選出正確答案；⑤部分選項(xiàng)為常識題，不需要聽或理解內(nèi)容即可排除并進(jìn)行選擇。例如第2題，“A.不渴時不要喝水”這一選項(xiàng)在聽前就可以馬上排除，第14題，“C.《西游記》是一部歷史小說”這一選項(xiàng)涉及文化知識，如有了解中國古典文學(xué)的考生可在聽前排除這一選項(xiàng)，這類文化題也不應(yīng)在聽力部分出現(xiàn)。

（二）閱讀

閱讀細(xì)分為四小部分：①51-60題，給句子，選出有語病的一項(xiàng)；②61-70題，給不完整一句話或一小段內(nèi)容，選詞填空，補(bǔ)足句子或段落；③71-80題，給一篇不完整的文章，選句填空，補(bǔ)足文章，每五題為一大題；④81-100題，每四題為一大題，給出一段文章，根據(jù)問題選出正確答案。

閱讀部分存在以下幾個問題：①改病句屬于句子范疇的認(rèn)知，不應(yīng)在閱讀部分考察，閱讀屬于理解范疇，而改病句涉及到語法層面，二者考查范圍不同；②同理，選詞填空考察的是詞匯范疇的認(rèn)知（詞義相同，考察詞語的搭配練習(xí)），也不應(yīng)在閱讀部分考察，且選項(xiàng)部分設(shè)計(jì)不合理，考生可利用排除法得到正確答案。例如第61題“隨著生活節(jié)奏的不斷加快，現(xiàn)代人工作之余需要用娛樂來調(diào)節(jié)身體的緊張______，只一味地工作，不______任何娛樂活動，最終會______身體健康?！边x項(xiàng)“A.情況、舉行、不利，B.情形、舉辦、阻礙，C.狀況、參與、防止，D.狀態(tài)、參加、損害”，這四個選項(xiàng)中的三個詞語與其他選項(xiàng)各不相同，不存在互相干擾、混淆，如考生知道“損害+身體健康”，那他可以馬上鎖定D選項(xiàng)，其他都可以不再比對，即考生只需要選出其中一個正確答案就能得到整題的答案，并不會進(jìn)行完整地閱讀；③第三部分的選句填空雖然也是句子范疇的考察，但是優(yōu)于第一部分的改病句練習(xí)，因?yàn)檫x句填空涉及到上下文的銜接，需要通過閱讀語境來得到答案，但是部分選項(xiàng)的不合理設(shè)計(jì)也會使考生采取低級閱讀技巧作答，投機(jī)取巧，在不理解文意的情況下選出正確答案。例如第72題，“首先，是最強(qiáng)壯的狼，即咬死獵物的狼先吃，然后是強(qiáng)壯的狼吃，（72）_______”，我們可以清楚根據(jù)關(guān)聯(lián)詞“首先、然后”，推斷選項(xiàng)中含有“最后…”的為正確答案。其次，選項(xiàng)的個數(shù)與文章空缺的個數(shù)一致的問題，會導(dǎo)致考生減少一個題目的閱讀量，也就是說考生可以避開自己知識理解的薄弱環(huán)節(jié)，通過排除剩余法得到最后一個答案，這會大大降低考試的信度，判卷者無法根據(jù)答案得到哪個知識點(diǎn)為考生的薄弱環(huán)節(jié)，不能起到測試檢測考生學(xué)習(xí)效果的作用，也不能通過發(fā)現(xiàn)問題從而改正問題；④第四部分的根據(jù)文章選答案中也出現(xiàn)了詞匯范疇的考察（選擇詞語描述及詞語意義的考察），不適合出現(xiàn)在閱讀題中。例如第87題“文中畫線詞語“無惡不作”的意思是___________？”，選項(xiàng)“A.非常努力，B.忍受了很多痛苦，C.做了非常多的壞事，D.取得了很大的成就”，這一題是考察“無惡不作”這個成語的意義，且選項(xiàng)A、B、D的感情色彩都為褒義，通過排除法考生也能得到正確答案。又如第88題“根據(jù)上文，下列哪個詞最適合形容‘第三個人？”，四個選項(xiàng)“A.平凡，B.高尚，C.奢侈，D.聰明”也都是對形容詞“平凡、高尚、奢侈、聰明”的詞義理解；⑤根據(jù)《新HSK考試大綱》要求，測試目的在于考查漢語非第一語言的考生在生活、學(xué)習(xí)和工作中運(yùn)用漢語進(jìn)行交際的能力，那么測試內(nèi)容就應(yīng)該模擬生活、學(xué)習(xí)和工作情景或與之相關(guān)（議論文、說明文為佳，而不是記敘文、散文或者寓言故事），而第三、四部分的閱讀材料與這一原則不符，例如第76-80題的閱讀文本是一篇敘事性的勵志故事，第85-88題的閱讀文本是一篇神話寓言故事，這類閱讀在考生平時閱讀范圍內(nèi)的出現(xiàn)頻率較低，沒有貼近考生生活、學(xué)習(xí)和工作的閱讀環(huán)境。

（三）書寫

該測試要求考生在10分鐘內(nèi)閱讀一篇約960字的記敘文（閱讀時不允許抄寫、記錄），并要求在35分鐘內(nèi)將該記敘文縮寫至400字（只復(fù)述文章內(nèi)容，不加入自己觀點(diǎn)），標(biāo)題自擬。

書寫部分存在以下幾個問題：①該部分只考察了考生的縮寫能力（敘述故事的能力），不允許加入自己的觀點(diǎn)，不屬于真正意義上的寫作訓(xùn)練，不能突顯考生的寫作技能與邏輯；②從測試給出的要求來看，考生需復(fù)述文章內(nèi)容，并且在閱讀時不允許抄寫、記錄，這一點(diǎn)需要記憶因素的參與，偏離了寫作的目的和測試所想得到的理想結(jié)果；③根據(jù)漢語考試服務(wù)網(wǎng)公布的《新 HSK 考試評分說明》（0 分：空白。低檔分：內(nèi)容與提供材料相關(guān)性不大；內(nèi)容不連貫，有語法錯誤；有較多錯別字。中檔分：內(nèi)容與提供材料基本相符，有語法錯誤；內(nèi)容與提供材料基本相符，有少量錯別字；篇幅不夠。高檔分：內(nèi)容與提供材料相符，結(jié)構(gòu)合理，表達(dá)連貫，無語法錯誤、錯別字。）[3]來看，評分標(biāo)準(zhǔn)中將“錯別字”作為一個扣分項(xiàng)是不科學(xué)的，寫作并不是考察文字書寫的正確與否，而是考察邏輯思維和寫作技巧。筆者在該文的第一部分就已提到：“評分標(biāo)準(zhǔn)以及評分的準(zhǔn)確性會對測試信度產(chǎn)生影響”，如果寫作部分的評分標(biāo)準(zhǔn)將“錯別字”作為扣分項(xiàng)，那么這個測試的信度將會大大降低。

三、試卷改進(jìn)方法及建議

前文已對新HSK6級第2套卷進(jìn)行了大致的分析，指出了影響信度的因素以及編寫不足之處，針對這些不足，筆者將從聽力、閱讀、書寫部分分別提出試卷改進(jìn)方法及建議。

（一）聽力部分的改進(jìn)與建議

①聽力的朗讀音頻不應(yīng)該只有標(biāo)準(zhǔn)普通話，還應(yīng)加入各種方言摻雜的語音，或者帶有鄉(xiāng)音的普通話，努力貼近真實(shí)生活中將遇到的語音情境；②設(shè)置多樣的聽力環(huán)境，不僅要有安靜的（話語節(jié)奏平穩(wěn)，語音清晰可辨），還要有嘈雜的，斷斷續(xù)續(xù)的，模擬真實(shí)生活中的語境（真實(shí)語境存在不可避免的雜音，說話者思考時的話語停頓及語序顛倒、重復(fù)）；③設(shè)置多樣的聽力類型，不僅僅是男女采訪音頻，還要考慮在實(shí)際生活、學(xué)習(xí)和工作場景中可能遇到的更多聽力類型，例如電話、新聞、演講、報(bào)告等；④答題選項(xiàng)編寫完成后需要再次檢查，是否存在“聽力盲區(qū)”，即不需要聽、理解就能得到的常識性答案；⑤答題選項(xiàng)要盡量避開字面“提示詞”，編寫者可以考慮在問題上多繞彎來避免考生運(yùn)用自下而上的低級聽力策略，而不是直接的，關(guān)于內(nèi)容的提問。

（二）閱讀部分的改進(jìn)與建議

①編寫者在考慮閱讀題的形式時，要時刻謹(jǐn)記測試目的和原則，不能混淆對句子語法、詞匯意義的掌握與對閱讀材料的理解能力，要避免“改病句”、“詞義理解”這類題型出現(xiàn)在閱讀題型中；②在設(shè)置閱讀題的答案選項(xiàng)時，要注意每個選項(xiàng)的內(nèi)容與其他選項(xiàng)的關(guān)聯(lián)度，盡量設(shè)置混淆項(xiàng)，對于“選句填空”這類題目，應(yīng)該增加1到2個錯誤的干擾項(xiàng)，而不是將選項(xiàng)數(shù)量與空缺數(shù)量設(shè)置成對等數(shù)，這樣能避免考生利用排除法得到正確答案，以減少實(shí)際所需的閱讀量，在閱讀中出現(xiàn)“偷工減料”的現(xiàn)象；③根據(jù)《新HSK考試大綱》要求，測試內(nèi)容應(yīng)該模擬生活、學(xué)習(xí)和工作或與之相關(guān)的情景，選取考生平時閱讀范圍內(nèi)的出現(xiàn)頻率較高的材料。其中議論文、科學(xué)說明文為佳，盡量避免用記敘文、散文或者寓言故事、神話故事作為閱讀材料。

（三）書寫部分的改進(jìn)與建議

①書寫部分選取的縮寫題材不應(yīng)是敘述性的故事材料，而應(yīng)是帶有學(xué)術(shù)性質(zhì)的語篇材料，且不考慮記憶因素的干擾，應(yīng)允許考生根據(jù)原文進(jìn)行縮寫，并在最后呼吁考生發(fā)表自己的觀點(diǎn)，考察其語言概括、寫作技巧和辯證思考的能力；②完善書寫部分的評分標(biāo)準(zhǔn)，取消“錯別字”的扣分項(xiàng)，并對判卷者的評分進(jìn)行再處理，例如，同一篇文章由多位判卷者進(jìn)行評分，去掉一個最高分，去掉一個最低分，最后取其他判卷者評分的平均值為最終分?jǐn)?shù)，同時對于評分?jǐn)?shù)與其他判卷者差距懸殊的，要求駁回重判，通過這種方式來增評分的準(zhǔn)確性，從而保證測試的信度。

四、結(jié)語

現(xiàn)在的大部分論文都關(guān)注語言本體和教學(xué)方面的研究，而語言測試作為一個語言學(xué)習(xí)的重要環(huán)節(jié)，容易被大家所忽視，筆者希望通過該篇的分析能讓自己重新認(rèn)識語言測試，在以后的學(xué)習(xí)或工作上，能夠保持一種辯證發(fā)展的思維和科學(xué)的態(tài)度去看待問題，解決問題。

參考文獻(xiàn)：

[1]周小兵，對外漢語教學(xué)入門[M].廣州：中山大學(xué)出版社，2004：178.

[2]國家漢語水平考試委員會辦公室考試中心，新HSK考試大綱[Z].北京：經(jīng)濟(jì)科學(xué)出版社，2001.

[3]漢語考試服務(wù)網(wǎng)，新HSK 考試評分說明[Z].