高黎 黃珊

（陸軍工程大學(xué) 基礎(chǔ)部，江蘇 南京210002）

軍隊(duì)院校外語教學(xué)新大綱要求，軍隊(duì)院校大學(xué)英語課程包括通用英語和軍事英語兩部分，本科生軍官學(xué)員在完成通用英語階段學(xué)習(xí)后繼續(xù)學(xué)習(xí)軍事英語，并達(dá)到軍事英語能力分級(jí)培養(yǎng)與考核二級(jí)標(biāo)準(zhǔn)的要求。新大綱還規(guī)定終結(jié)性考核為課終考試，考試不及格則課程成績記為不及格。然而，雖然有了明確的考核標(biāo)準(zhǔn)，軍隊(duì)院校尚未建立軍事英語試題庫，也沒有標(biāo)準(zhǔn)化的軍事英語考試可供參考。在缺乏統(tǒng)一題庫和標(biāo)準(zhǔn)卷作為參考的情況下，課程組自行命題的試卷是否覆蓋了教學(xué)大綱所規(guī)定的內(nèi)容？能否準(zhǔn)確、科學(xué)地評(píng)價(jià)教學(xué)效果，形成良好的反撥作用？有必要對(duì)考試的信度和效度進(jìn)行研究。

近年來有不少研究檢驗(yàn)了不同層次、不同類型考試的效度，其中涉及大學(xué)英語的典型研究有大學(xué)英語四六級(jí)考試（楊惠中，1998）［1］（55-184）、大學(xué)英語口語考試（楊惠中，1999）［2］（48-57）、大學(xué)英語六級(jí)考試閱讀理解（劉娜，2014）［3］（113-116）和大學(xué)英語課程期末考試（王天發(fā)等，2006［4］（274-280）；王篤勤，2010［5］（13-20））等。但這些研究都圍繞通用英語考試而開展，鮮有涉及軍事英語課程考核的項(xiàng)目，更缺乏結(jié)合新大綱課程考核相關(guān)要求開展的研究，無法為軍事英語課程考核提供借鑒和指導(dǎo)。

一、信度和效度

信度指測試分?jǐn)?shù)的可靠性，即測試結(jié)果是否反映了測試對(duì)象的實(shí)際語言水平［6］（36-37）。測試的信度主要受試題本身的可靠性和評(píng)分的可靠性兩個(gè)因素的影響。試題本身是否可靠主要取決于試題的覆蓋面、數(shù)量和區(qū)分度等因素；評(píng)分是否可靠則看評(píng)分標(biāo)準(zhǔn)是否準(zhǔn)確客觀。

效度，即語言測試的有效性，指一套測試是否達(dá)到了預(yù)定的目的及是否測量了要測量的內(nèi)容［6］（38）。李筱菊將語言測試的效度分為內(nèi)在效度、外在效度、使用效度和超考試效度4大類［7］（38-43），其中，內(nèi)在效度即測試本身的效度，包括結(jié)構(gòu)效度和內(nèi)容效度。本文主要分析考試的內(nèi)在效度。

二、研究方法

（一）研究對(duì)象

某軍校大二年級(jí)共計(jì)1236名學(xué)員參加了大學(xué)英語III期末考試，大學(xué)英語III為軍事英語教學(xué)階段。本研究隨機(jī)抽取了全校7個(gè)專業(yè)217個(gè)學(xué)員的期末考試成績作為研究樣本。

（二）試卷介紹

研究試卷為該校二年級(jí)學(xué)員于2019年1月使用的一套期末考試卷。該試卷的目的主要是考查通用軍事英語知識(shí)和技能，具體包括：寫作、聽力、詞匯、閱讀和翻譯水平。題型與權(quán)重參考但不同于大學(xué)英語四級(jí)考試，包括五項(xiàng)測試任務(wù)：寫作15%、聽力理解25%、詞匯25%、閱讀理解25%和翻譯10%。其中客觀題70道，占75%。主觀題6道，占25%。每份試卷都配有專用答題紙，客觀題采用機(jī)器閱卷，主觀題由教員通過網(wǎng)上閱卷系統(tǒng)集中批改。

（三）研究工具

研究工具包括數(shù)據(jù)統(tǒng)計(jì)軟件SPSS 26.0、Microsoft Word 2007和Flesch易讀度美國參考量表。

三、研究結(jié)果

（一）信度

測試信度的系數(shù)以0.7—0.8之間為可接受性系數(shù)，用SPSS 26.0計(jì)算出本套測試卷的Cronbachα值為0.757，達(dá)到可接受標(biāo)準(zhǔn)。

表1測試成績描述統(tǒng)計(jì)

圖1總分正態(tài)分布圖

從圖1可以看出，標(biāo)準(zhǔn)差小，總分偏度值-1.253，在正態(tài)分布圖上偏向右邊，說明結(jié)果偏易。總分峰值為1.883，曲線分布過尖，分?jǐn)?shù)集中在某些分?jǐn)?shù)段，與聽力、詞匯兩項(xiàng)的分?jǐn)?shù)分布情況有關(guān)（見下圖）。

圖2聽力題正態(tài)分布圖

圖3詞匯題正態(tài)分布圖

（二）結(jié)構(gòu)效度

結(jié)構(gòu)效度是所有效度之本［7］（38-43），核心是顯示分?jǐn)?shù)意義及解釋的可靠性。結(jié)構(gòu)效度的高低可通過計(jì)算測試卷中各個(gè)項(xiàng)目的關(guān)聯(lián)性檢驗(yàn)。本套期末測試卷的相關(guān)系數(shù)如表2所示：

表2 Pearson相關(guān)系數(shù)

根據(jù)經(jīng)典測試?yán)碚?，因?yàn)榭偡质菍?duì)語言能力的綜合測量［8］（184），各題與總分的相關(guān)系數(shù)可能達(dá)到0.7或更高。從表2可看出這套試卷中各大題與總分在0.01水平上相關(guān)性顯著，相關(guān)系數(shù)分別為0.591、0.830、0.778、0.824和0.638，基本達(dá)到或接近經(jīng)典測試?yán)碚撈谕闹笜?biāo)。聽力、閱讀與總分之間相關(guān)性達(dá)到0.830和0.824，屬于高相關(guān)，說明這兩項(xiàng)的得分情況最能體現(xiàn)學(xué)員的軍事英語水平。

測試項(xiàng)目之間的相關(guān)系數(shù)如果在0.9—1，說明相關(guān)性很高，0.7—0.9相關(guān)性高，0.4—0.7相關(guān)性中等，0.2—0.4相關(guān)性低，0.2以下則相關(guān)性可以置之不顧［9］（191）。如兩題之間的相關(guān)系數(shù)過高，表明考查的是同一能力，保留一個(gè)即可。如兩題相關(guān)系數(shù)過低，則說明可能有語言之外的其他因素在起作用。本套試卷中各大題都在0.01水平上相關(guān)，相關(guān)系數(shù)大都在0.4以上。寫作與詞匯、閱讀低相關(guān)，分別為0.352和0.335，但與翻譯（0.426）的相關(guān)性有實(shí)質(zhì)意義，說明寫作任務(wù)完成得好的學(xué)員翻譯能力相應(yīng)更高。聽力與翻譯（0.393）低相關(guān)，但與詞匯（0.575）和閱讀理解（0.520）實(shí)質(zhì)相關(guān)，說明聽力水平與軍事詞匯和術(shù)語的積累量、語言理解能力相關(guān)度高。翻譯除與寫作相關(guān)，與詞匯（0.479）、和閱讀理解（0.437）有實(shí)質(zhì)性關(guān)系，反映了翻譯這一綜合度高的語言能力與其他要素的關(guān)系。各大項(xiàng)之間的相關(guān)性較為理想。

（三）內(nèi)容效度

內(nèi)容效度指測試內(nèi)容是否反映了既定的測試目的，測試內(nèi)容是否具有代表性，能否達(dá)到預(yù)期效果。內(nèi)容效度包括內(nèi)容的關(guān)聯(lián)性和內(nèi)容的覆蓋范圍兩個(gè)方面［9］（114），因此可以教學(xué)大綱為依據(jù)，檢驗(yàn)測試的內(nèi)容效度。新大綱要求大學(xué)英語課程軍事英語教學(xué)階段按照軍事英語能力分級(jí)培養(yǎng)與考核要求的一級(jí)、二級(jí)標(biāo)準(zhǔn)實(shí)施。本學(xué)期是軍事英語學(xué)習(xí)的第一學(xué)期，期末時(shí)學(xué)員應(yīng)該達(dá)到一級(jí)標(biāo)準(zhǔn)的要求。

測試卷第一項(xiàng)是短文寫作。大綱的軍事英語能力分級(jí)培養(yǎng)與考核一級(jí)標(biāo)準(zhǔn)要求學(xué)員能就簡單的軍事話題在半小時(shí)內(nèi)寫出120詞的短文。試卷第一部分是寫作，要求學(xué)員針對(duì)“戰(zhàn)場上影響指揮官?zèng)Q策的因素”在30分鐘內(nèi)寫一篇不少于120字的文章。該題與軍事話題相關(guān)，字?jǐn)?shù)要求符合一級(jí)要求的標(biāo)準(zhǔn)。

軍事英語一級(jí)標(biāo)準(zhǔn)要求能聽懂語速較慢的軍事主題類談話，明確大致的思想和主要支撐性事實(shí)，語速為每分鐘90詞左右。試卷第二項(xiàng)聽力理解包括單選、判斷正誤和聽寫三種題型。第一題是一篇關(guān)于巡邏路線和任務(wù)部署的短文，語速為每分鐘122詞，題型為單項(xiàng)選擇。第二題是一段關(guān)于聯(lián)合國維和任務(wù)發(fā)展歷程的介紹，語速為每分鐘102字，題型為判斷正誤。第三題是聽三段短文或?qū)υ捦瓿蓡卧~聽寫，分別是一段介紹一項(xiàng)名為Bright Star的國際聯(lián)合軍演的短文、一段巡邏過程中發(fā)生的電臺(tái)通信對(duì)話和一段維和人員在護(hù)送過程中被身份不明人員攔截后產(chǎn)生的對(duì)話，語速分別為每分鐘110字、95字、204字。內(nèi)容上符合大綱關(guān)于“軍事背景下日常生活、訓(xùn)練相關(guān)”的要求，但語速遠(yuǎn)超一級(jí)標(biāo)準(zhǔn)要求的每分鐘90詞的標(biāo)準(zhǔn)，接近甚至達(dá)到了二級(jí)標(biāo)準(zhǔn)的每分鐘120詞，最后一個(gè)對(duì)話甚至遠(yuǎn)超四級(jí)要求每分鐘160詞—180詞的標(biāo)準(zhǔn)。但因?yàn)樗新犃Σ牧暇鶃碓从诮滩模踔翞檎n堂講授過的聽力材料，而且聽寫任務(wù)中考生可以聽三次短文或?qū)υ?，語速過快造成的困擾可以得到緩解。雖然課程考試題較之教材原題做了一定的改編，但使用教材聽力內(nèi)容作為試題導(dǎo)致測試受記憶干擾過大，導(dǎo)致該題區(qū)分度小，影響全卷成績的正態(tài)分布。

試卷第三項(xiàng)是詞匯，包括根據(jù)縮略語默寫術(shù)語和術(shù)語中譯英兩部分，考查的均為軍事核心詞匯和術(shù)語，內(nèi)容符合新大綱的要求。但兩道題都只考察了詞匯和術(shù)語的拼寫，不能測試學(xué)習(xí)者能否正確使用核心詞匯和短語，結(jié)果偏易，區(qū)分度過低，導(dǎo)致正態(tài)分布負(fù)偏態(tài)向右偏移。

試卷第四項(xiàng)是閱讀理解?？忌枰喿x三篇短文，分別關(guān)于護(hù)送任務(wù)中指揮官的職責(zé)、戰(zhàn)爭原因、維和任務(wù)基本原則，長度分別為177詞、348詞和155詞，分別采取選詞填空、常規(guī)仔細(xì)閱讀和簡答題的形式。測試目標(biāo)符合新大綱對(duì)“掌握中心大意、理解主要事實(shí)和重要細(xì)節(jié)”的要求。三篇短文的體裁包括敘述文、說明文和議論文，話題涉及軍事背景的不同主題，符合大綱要求。為測定語篇的易讀度，本文參考了Flesch易讀度指數(shù)（Flesch Reading Ease）公式和易讀度美國參考量表，三篇短文的易讀度分別為40.7、61.3和35.8。根據(jù)Flesch易讀度參考量表［10］（211-233），分值為60—70的是“標(biāo)準(zhǔn)”閱讀材料，有該等級(jí)閱讀能力的人相當(dāng)于美國7年級(jí)—8年級(jí)的學(xué)員，在美國成年人中所占比例為80%；30—50是“難”的閱讀材料，有該等級(jí)閱讀能力的人相當(dāng)于美國大學(xué)生的閱讀水平，只有24%的美國成年人具備該等級(jí)閱讀能力。由此可見，此次測試的語篇對(duì)大二學(xué)員偏難。10道考題中，考查主旨大意1題，作者態(tài)度1題，推測判斷2題，猜測詞義1題，事實(shí)細(xì)節(jié)5題，覆蓋了不同閱讀技能。但是其中3題只考單句理解能力，另有2題只需依賴尋讀（scanning）就能迅速找到答案，使得考生在不需理解文章的情況下就能完成試題，影響該項(xiàng)目的效度。

表3 Flesch易讀參考量表［8］（184）

四、結(jié)語

語言測試的基本要求就是保證信度和效度。這套軍事英語課程考試卷的信度和效度雖然基本符合要求，但是存在一些問題。一是部分項(xiàng)目未能考查受試者的實(shí)際語言能力，測試成績受到非語言因素影響，區(qū)分度不高。二是個(gè)別項(xiàng)目難度設(shè)置不符合要求，影響測試的效度。

導(dǎo)致試卷信度和效度受影響的因素比較復(fù)雜。一方面，軍隊(duì)院校大學(xué)英語課程內(nèi)容的改革實(shí)踐過程較短，教學(xué)團(tuán)隊(duì)尚未積累足夠的軍事英語教學(xué)資源。通用英語教學(xué)中，得益于長期教學(xué)的豐富積累，教學(xué)團(tuán)隊(duì)可以根據(jù)需要選取資源，滿足日常教學(xué)與測試的需要。各課程團(tuán)隊(duì)軍事英語教學(xué)時(shí)間較短，教師經(jīng)驗(yàn)不足，教學(xué)資源短缺，團(tuán)隊(duì)在教學(xué)中經(jīng)常面臨“巧婦難為無米之炊”的窘境，導(dǎo)致考試命題選材難度不當(dāng)?shù)膯栴}。另一方面，由于尚未形成軍事英語課程試題庫，缺乏標(biāo)準(zhǔn)卷作為參考，課程考試依賴教學(xué)團(tuán)隊(duì)自行命題，質(zhì)量受到命題人語言測試研究水平、對(duì)課程大綱考核要求理解偏差等因素的影響，在測試內(nèi)容、題型的選擇上，未能有效檢測考生的軍事英語應(yīng)用能力，干擾考試信度和效度。

為了解決上述問題，需要課程團(tuán)隊(duì)重視語言測試?yán)碚撗芯?，做好相?yīng)的預(yù)測和調(diào)研工作，遵循語言測試的命題原則，把握好課程考試的信度和效度，不斷提高測試質(zhì)量，使測試結(jié)果能夠準(zhǔn)確評(píng)價(jià)學(xué)員的軍事英語能力，科學(xué)地反饋教學(xué)效果，對(duì)教學(xué)形成良好的反撥作用。與此同時(shí)，建立軍事英語課程試題庫的任務(wù)刻不容緩。課程組要以語言測試?yán)碚摓橹笇?dǎo)，根據(jù)教學(xué)大綱建立重點(diǎn)突出、難度分級(jí)，覆蓋面、題型、題量滿足課程考核要求的試題庫，為規(guī)范化、標(biāo)準(zhǔn)化的課程考試提供保障。