常誠 陶希雅 景艷燕

1內(nèi)容效度與大綱

內(nèi)容效度又稱邏輯效度，是指項(xiàng)目對預(yù)測的內(nèi)容或行為范圍取樣的適當(dāng)程度。內(nèi)容效度也經(jīng)常用于檢測教學(xué)質(zhì)量 ，目的是通過從大量的試題中取樣檢測學(xué)生對于某科知識的掌握情況。而一份準(zhǔn)確的樣題將全面檢測該學(xué)科內(nèi)容并且占據(jù)適當(dāng)?shù)谋壤?。本文的研究對象是德語專八測試卷翻譯試題（中譯德，德譯中）;語言測試的內(nèi)容效度就是檢測試題內(nèi)容是否符合考試大綱的要求。

而考試大綱是闡述考試目的，定義試題內(nèi)容，結(jié)構(gòu)以及形式的官方文件;它對參加考試的人員來說起著參考的作用。上文提及，語言測試的內(nèi)容效度就是檢測試題內(nèi)容是否符合考試大綱的要求，那么，考試大綱也是充當(dāng)著檢測內(nèi)容效度的標(biāo)準(zhǔn)。

1.1主題與大綱

關(guān)于翻譯試題主題，大綱中并沒有給出明確的定義;大綱指出，翻譯內(nèi)容試題內(nèi)容多來自中德兩國報(bào)紙、雜志、書籍和網(wǎng)頁上德文章;根據(jù)大綱所定義的選材原則，測試內(nèi)容相當(dāng)于各校翻譯課教學(xué)內(nèi)容平均水平的譯文。根據(jù)筆者對2007-2018年專八翻譯試題的統(tǒng)計(jì)，有關(guān)于民族文化的主題有5篇，有關(guān)于各國社會事件主題有9篇，有關(guān)于兩國國家政治體制經(jīng)濟(jì)的主題有8篇，有關(guān)于兩國交流合作主題有2篇。

1.2文章類型與大綱

該試題的主題則多涉及國家政治，外交經(jīng)濟(jì)，社會生活等內(nèi)容，其他方面的內(nèi)容設(shè)計(jì)較少。相對應(yīng)的文章類型多是說明文，新聞報(bào)刊為主。根據(jù)大綱對試題類型的描述，翻譯內(nèi)容試題內(nèi)容多來自中德兩國報(bào)紙、雜志、書籍和網(wǎng)頁上德文章。而考試試題多是從某篇文章中截取，并且試題尾部無文章來源，所以無法判斷其屬于說明文或是屬于報(bào)刊;但是根據(jù)文章內(nèi)容形式，大體可以判斷出其來自于應(yīng)用型文章。

1.3 翻譯長度與大綱

據(jù)大綱描述，漢譯德每篇約120個(gè)字，德譯漢每篇約150個(gè)字。從2007-2018試題統(tǒng)計(jì)表中，其中有兩篇字?jǐn)?shù)不超過100，有6篇字?jǐn)?shù)在100—110，有1篇字?jǐn)?shù)為112，有9篇字?jǐn)?shù)在120-130，有5篇字?jǐn)?shù)在130-140，還有3篇字?jǐn)?shù)超過150。大體上，翻譯試題的長度與大綱基本符合。

2信度驗(yàn)證分析

2.1信度與成績

信度（reliability）即可靠性，它指的是采取同樣的方法對同一對象重復(fù)進(jìn)行測量時(shí)，其所得結(jié)果相一致的程度。

考生在專八考試中的得分能在一定程度上客觀反映出德語專八考試翻譯試題的信度與評卷時(shí)的閱卷信度，信度的高低便能體現(xiàn)出試題是否能檢測出考生的真實(shí)水平，與閱卷老師的評分是否能公平的評判考生的能力。我們收集到17，18屆三所學(xué)校（南京大學(xué)、南京大學(xué)金陵學(xué)院、南京師范大學(xué)）的學(xué)生們的各項(xiàng)成績（聽力、詞匯、語法、閱讀、概況和翻譯總分）

2.2實(shí)驗(yàn)分析

本章的數(shù)據(jù)分析所運(yùn)用的主要方法為單因素方差分析法。

在方差分析中，我們將要考察的對象的某種特征稱為試驗(yàn)指標(biāo)，影響試驗(yàn)指標(biāo)的條件稱為因素。下面所討論的因素都是指可控制因素。每個(gè)因素又有若干個(gè)狀態(tài)可供選擇，因素可供選擇的每個(gè)狀態(tài)稱為該因素的水平。如果在一項(xiàng)試驗(yàn)中只有一個(gè)因素在改變，則稱為單因素試驗(yàn)。

該研究中，唯一的改變因素就是各個(gè)學(xué)生的能力，我們將17，18屆三所學(xué)校的學(xué)生們的各項(xiàng)成績都進(jìn)行了分別統(tǒng)計(jì)和歸納分析，并由此得出結(jié)論。

首先，我們將所得到的各項(xiàng)分?jǐn)?shù)數(shù)據(jù)進(jìn)行整合，為了使數(shù)據(jù)體現(xiàn)得更清晰，我們將17屆和18屆兩屆同學(xué)分開，并且分成了17屆合格同學(xué)各項(xiàng)得分、17屆不合格同學(xué)各項(xiàng)得分、18屆合格同學(xué)各項(xiàng)得分、18屆不合格同學(xué)各項(xiàng)得分。

我們將數(shù)據(jù)分成六列，本別為：聽力得分、詞匯得分、語法得分、閱讀得分、社會概況得分和翻譯總分，并用excel表格中的單因素方差分析得出下面數(shù)據(jù)：（數(shù)據(jù)選取小數(shù)點(diǎn)后兩位）

（1）17屆總分合格同學(xué)各項(xiàng)得分的方差：

聽力：11.50;詞匯：6.27;語法：2.77;閱讀：15.07;社會概況：2.02;翻譯：37.02

（2）17屆總分不合格同學(xué)各項(xiàng)得分的方差：

聽力：19.41;詞匯：4.53;語法：3.32;閱讀：22.42;社會概況：1.91;翻譯：37.72

（3）18屆總分合格同學(xué)各項(xiàng)得分的方差：

聽力：11.91;詞匯：7.38;語法：4.26;閱讀：13.23;社會概況：2.06;翻譯：15.99

（4）18屆總分不合格同學(xué)各項(xiàng)得分的方差：

聽力：14.84;詞匯：5.91;語法：7.12;閱讀：22.97;社會概況：2.73;翻譯：59.65

以上四組數(shù)據(jù)中，都是翻譯得分的方差最大，便可直接說明翻譯得分是所有單項(xiàng)得分中最不穩(wěn)定的一項(xiàng)。

在總分合格和不合格的翻譯方差相對穩(wěn)定的17屆同學(xué)中，我們挑選了10位客觀題得分相當(dāng)，但是翻譯得分差距較大的同學(xué)，為了更加清晰地反映出數(shù)據(jù)差距，我們將其得分做成了折線圖。

由折線圖便可看出，聽力、詞匯、語法和概況這種客觀題和主觀閱讀的得分相對穩(wěn)定，即這10位同學(xué)們的能力應(yīng)是大體相同的，可是折現(xiàn)波動最大的便是翻譯題得分，這也充分證明了這10位同學(xué)的翻譯能力差異較大，這便與之前的客觀題測試出的能力水平形成了較大的矛盾。

2.3實(shí)驗(yàn)結(jié)論

單因素方差實(shí)驗(yàn)中，我們可以清晰地看出專八翻譯試題中學(xué)生們得分的不穩(wěn)定性，這也從側(cè)面說明試題不能很好的反映出學(xué)生們真實(shí)的翻譯能力，我們亦或者可以解讀為閱卷老師針對翻譯試題部分的評分不能很好地反映出學(xué)生的真實(shí)語言能力，即閱卷信度。折線圖的實(shí)驗(yàn)更是能說明這一點(diǎn)，客觀題得分相對相似的10位同學(xué)在翻譯題中的得分卻是大相徑庭，得分高低之間的差距很顯然與考生的真實(shí)水平不符，所以試題信度與閱卷信度在此處都需打一個(gè)大大的問號。

同時(shí)，我們也整理了2007年至2018年的翻譯考試的內(nèi)容范圍，我們發(fā)現(xiàn)專八考試中的翻譯題目的選題范圍也較單一且與生活的關(guān)聯(lián)度較弱，所運(yùn)用的語言多是官方且復(fù)雜難懂的語言。

3小結(jié)

對比分析試題與考試大綱的過程，不難發(fā)現(xiàn)，大綱中對于試題主題，文章類型都沒有詳細(xì)進(jìn)行說明。這樣就必然導(dǎo)致考生在復(fù)習(xí)過程中，抓不住重點(diǎn)，找不到復(fù)習(xí)方向。

根據(jù)對試題分析，可以總結(jié)出試題的主題大多涉及國家政治，外交經(jīng)濟(jì)，社會生活等內(nèi)容，其他方面的內(nèi)容設(shè)計(jì)較少;文章類型偏實(shí)用性文章，相對應(yīng)的文章類型多是說明文，新聞報(bào)刊為主;諸如散文，小說，書信之類的文學(xué)體裁基本不涉及。注重實(shí)用性文章的翻譯必然會導(dǎo)致學(xué)生對文學(xué)性文章的忽視。

而文章的長短是符合考試大綱，大多是在90-130字范圍。值得注意的是，專八考試大綱并沒有明確給出詳細(xì)的評分準(zhǔn)則。

信度方面，翻譯試題的信度與老師閱卷的信度都有進(jìn)步的空間，現(xiàn)階段的翻譯試題與評分并不能很好的反映出學(xué)生的真實(shí)語言能力，我們在此建議，之后的德語專八考試的翻譯試題可以嘗試多元化出題，并且增加試題信度，使試題能真正地反映出考生的真實(shí)水平。

該論文受“2018年江蘇省大學(xué)生創(chuàng)新訓(xùn)練計(jì)劃項(xiàng)目”資助支持。

（作者單位：南京大學(xué)金陵學(xué)院）