西南交通大學(xué)希望學(xué)院 王 建 益陽廣播電視大學(xué) 方 舟

一、引言

國內(nèi)英語水平測(cè)試(如公共英語四、六級(jí)及英語專業(yè)八級(jí)考試)大多包括翻譯與寫作兩種題型。然而，翻譯和寫作測(cè)試最棘手的問題就是分?jǐn)?shù)的評(píng)定，往往需要招募大批的人工評(píng)閱者參與評(píng)卷工作，而人工評(píng)閱往往費(fèi)時(shí)費(fèi)力，效率低下，成本偏高，且因其主觀性因素，人工評(píng)閱者無法嚴(yán)格地運(yùn)用同一把“尺子”衡量作文或譯文的質(zhì)量。(白麗芳、王建 2019)面對(duì)此類問題，自動(dòng)評(píng)閱工具應(yīng)運(yùn)而生。隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，主觀題的自動(dòng)評(píng)價(jià)在語言測(cè)試領(lǐng)域的運(yùn)用被越來越多的測(cè)評(píng)機(jī)構(gòu)及研究機(jī)構(gòu)所關(guān)注，成為近年來測(cè)試領(lǐng)域較為熱門的話題。(江進(jìn)林、文秋芳 2012；郭蕾 2019)

目前，針對(duì)寫作的評(píng)分系統(tǒng)日趨成熟且運(yùn)用較廣。自動(dòng)作文評(píng)分系統(tǒng)的研究可追溯到20世紀(jì)60年代，最初旨在解決大規(guī)?？荚嚨淖魑脑u(píng)分問題，因此被稱為AES(Automated Essay Scoring)系統(tǒng)，后來發(fā)展為AWE(Automated Writing Evaluation system)系統(tǒng)，被應(yīng)用到寫作課堂。這些系統(tǒng)依托自然語言處理、人工智能及潛勢(shì)語義分析(latent semantic analysis)等技術(shù)的發(fā)展，模擬人工從量(分?jǐn)?shù))和質(zhì)(反饋)兩方面評(píng)閱作文，較之人工評(píng)閱者在及時(shí)性、高效性和客觀性等方面更有優(yōu)勢(shì)。(白麗芳、王建 2018)國外著名的評(píng)閱系統(tǒng)包括Criterion、My Access!及WritingRoad-map等(Dikli 2006)，國內(nèi)自主研發(fā)的句酷批改網(wǎng)、iWrite和冰果作文智能評(píng)閱系統(tǒng)等也已廣泛應(yīng)用于高校英語寫作教學(xué)中。

國內(nèi)針對(duì)AWE或AES系統(tǒng)的相關(guān)研究較為全面，包括對(duì)系統(tǒng)原理的介紹(如陳瀟瀟、葛詩利 2008)、AWE模型的建立(如梁茂成 2005)、機(jī)器評(píng)分的效度研究(如白麗芳、王建 2018)及使用者對(duì)系統(tǒng)的認(rèn)知和自動(dòng)反饋研究(如Bai & Hu 2017)，這些研究對(duì)翻譯機(jī)器評(píng)分的研究具有借鑒意義。相比之下，翻譯自動(dòng)評(píng)分系統(tǒng)的研究十分匱乏、滯后，不過近年來部分研究者開始關(guān)注此領(lǐng)域。下一節(jié)將對(duì)翻譯自動(dòng)評(píng)分的相關(guān)研究進(jìn)行概括和梳理。

二、翻譯自動(dòng)評(píng)分的相關(guān)研究概述

翻譯自動(dòng)評(píng)價(jià)的核心原理是比較譯文在句長、用詞和詞序等方面與參考譯文間的匹配度，具有代表性的評(píng)價(jià)方法包括基于測(cè)試點(diǎn)的評(píng)價(jià)方法、基于句子相似度的方法(主要依據(jù)N元組模型)、完全匹配法和編輯距離法(劉芳華等 2013；王金銓、文秋芳 2010)。目前國內(nèi)外翻譯自動(dòng)評(píng)分仍處于探索階段，尚無成熟的、可用于評(píng)價(jià)大規(guī)模測(cè)試中人工譯文的自動(dòng)評(píng)分系統(tǒng)?？v觀國內(nèi)文獻(xiàn)，與該領(lǐng)域相關(guān)的研究熱點(diǎn)主要涉及以下3個(gè)方面：

1) 介紹：這一方面的相關(guān)研究主要回顧國外AWE系統(tǒng)所具備的特點(diǎn)和運(yùn)用的自動(dòng)評(píng)分技術(shù)(文秋芳等 2009)，關(guān)注AWE系統(tǒng)對(duì)開發(fā)中國學(xué)生翻譯自動(dòng)評(píng)分系統(tǒng)的啟示，介紹國內(nèi)外翻譯自動(dòng)評(píng)分系統(tǒng)的發(fā)展與應(yīng)用(王金銓、文秋芳 2010；江進(jìn)林 2013；王金銓、朱周曄 2017)。

2) 評(píng)分模型構(gòu)建：一些研究探討了翻譯機(jī)評(píng)模型的構(gòu)建，包括英譯漢和漢譯英評(píng)分系統(tǒng)，但這些系統(tǒng)并未投入大規(guī)模使用。王金銓、文秋芳(2009)利用文本分析工具提取與譯文質(zhì)量相關(guān)的文本形式及語義特征項(xiàng)(具體的特征未見詳盡報(bào)道)，分別利用50篇、100篇和150篇譯文作為構(gòu)建模型的訓(xùn)練集。結(jié)果顯示，3種模型的人機(jī)評(píng)分高度相關(guān)(系數(shù)大于0.85)，說明評(píng)分模型能較為準(zhǔn)確地預(yù)測(cè)中國英語二語學(xué)習(xí)者的漢譯英成績。江進(jìn)林、文秋芳(2012)以說明文、記敘文及敘譯混合文3種文體各300篇譯文為訓(xùn)練集，提取學(xué)生譯文與參考譯文間的N元組匹配數(shù)量、詞對(duì)齊數(shù)量、評(píng)分點(diǎn)對(duì)齊數(shù)量及語義相似度等語義特征，構(gòu)建出來的英譯漢機(jī)評(píng)模型與人工評(píng)分高度一致，且評(píng)分效率更高。王金銓、朱周曄(2017)提取了3種不同文體(敘事文、說明文和議論文)的學(xué)生譯文在詞匯、句子、篇章及語義層面的54個(gè)量化特征，構(gòu)建了性能良好的、適合中國英語二語學(xué)習(xí)者的漢譯英自動(dòng)評(píng)分系統(tǒng)。郭蕾(2019)設(shè)計(jì)了一種基于自然語言處理的英語翻譯計(jì)算機(jī)智能評(píng)分系統(tǒng)，結(jié)果表明：該系統(tǒng)實(shí)用性較強(qiáng)，且整體性能優(yōu)于傳統(tǒng)系統(tǒng)。

3) 機(jī)器評(píng)分信度研究：專門針對(duì)該方面的研究較少。田艷(2008)對(duì)一個(gè)名為YanFa的課程測(cè)試系統(tǒng)的評(píng)分信度進(jìn)行了研究，該自動(dòng)測(cè)評(píng)系統(tǒng)采用關(guān)鍵詞匹配技術(shù)對(duì)英譯漢文本進(jìn)行評(píng)分。該研究以人工方式構(gòu)建譯文數(shù)據(jù)庫，預(yù)先標(biāo)記所有評(píng)分點(diǎn)，同時(shí)為每個(gè)評(píng)分點(diǎn)搜集4個(gè)同義或近義的譯文。結(jié)果顯示，人機(jī)評(píng)分顯著相關(guān)，但機(jī)器分?jǐn)?shù)略高于人工分?jǐn)?shù)。

翻譯機(jī)器評(píng)價(jià)系統(tǒng)主要通過文本中的1到4元組來比較被測(cè)譯文和參考譯文之間的距離。(王金銓、文秋芳 2010)因此，從嚴(yán)格意義上來講，機(jī)器評(píng)價(jià)系統(tǒng)更偏重于意義的評(píng)測(cè)，因?yàn)镹元組的匹配率主要反映意義。然而，無論是在評(píng)價(jià)翻譯還是寫作文本的質(zhì)量時(shí)，意義和形式都是不可分割的，不能偏廢其一。好的譯文除了應(yīng)忠實(shí)于原文，文本的語言質(zhì)量也十分關(guān)鍵，尤其是將漢語轉(zhuǎn)換為英語的過程中，語言的復(fù)雜性、流利性和準(zhǔn)確性將勢(shì)必影響譯文的質(zhì)量。所以，在構(gòu)建中國學(xué)生英語作文自動(dòng)評(píng)分模型時(shí)，梁茂成(2005)從語言、內(nèi)容和結(jié)構(gòu)3個(gè)方面衡量作文質(zhì)量，這對(duì)翻譯自動(dòng)評(píng)價(jià)系統(tǒng)的開發(fā)有一定的啟示作用。

近年來，國內(nèi)自主研發(fā)的自動(dòng)評(píng)價(jià)系統(tǒng)也增加了翻譯服務(wù)。類似于作文評(píng)閱，該系統(tǒng)不僅可以對(duì)譯文進(jìn)行及時(shí)評(píng)分，還提供詳細(xì)的反饋，提高了翻譯評(píng)閱效率，因此，許多高校一線教師通過該平臺(tái)發(fā)布翻譯任務(wù)，強(qiáng)化學(xué)生的練習(xí)。然而值得一提的是，開發(fā)者并未對(duì)系統(tǒng)評(píng)閱譯文的過程進(jìn)行詳細(xì)說明，比如系統(tǒng)是否從詞匯、句法、文章結(jié)構(gòu)或內(nèi)容等方面考察譯文質(zhì)量尚不得而知。因此，本文將利用語料庫研究工具Coh-Metrix分析英語二語學(xué)習(xí)者的譯文在詞匯、句法和篇章銜接等層面的量化特征值，推斷譯文量化特征與機(jī)器分?jǐn)?shù)的關(guān)系。

三、研究設(shè)計(jì)

(一)研究問題

本研究擬回答的問題如下：

1) 譯文在詞匯、句法及篇章銜接等層面的哪些量化特征與機(jī)評(píng)分?jǐn)?shù)相關(guān)？

2) 譯文量化特征對(duì)機(jī)評(píng)分?jǐn)?shù)是否具有預(yù)測(cè)能力？程度如何？

(二)語料選擇

本研究的研究語料來自西南某應(yīng)用型大學(xué)本科二年級(jí)3個(gè)教學(xué)班于國內(nèi)某自動(dòng)系統(tǒng)提交的一次漢譯英作業(yè)，內(nèi)容為某年英語四級(jí)真題，分值設(shè)置為15分，學(xué)生在系統(tǒng)上完成翻譯任務(wù)的時(shí)間為35分鐘，與英語四級(jí)考試時(shí)間相當(dāng)。因數(shù)據(jù)分析過程需要，要求學(xué)生根據(jù)系統(tǒng)的提示檢查拼寫錯(cuò)誤再進(jìn)行提交，以最大程度地控制數(shù)據(jù)誤差(具體原因見下一節(jié))。最終獲得語料153篇，所有譯文的機(jī)器分?jǐn)?shù)都被導(dǎo)入Excel表中。

(三)研究工具及量化特征選取

Coh-Metrix是由美國孟菲斯大學(xué)McNamara等人研發(fā)的基于網(wǎng)絡(luò)的文本分析工具。目前，Coh-Metrix 3.0在線版本(http://www.cohmetrix.com/)借助CELEX數(shù)據(jù)庫、潛勢(shì)語義分析(Latent Semantic Analysis)、MRC(Medical Research Council)心理語言學(xué)數(shù)據(jù)庫、詞網(wǎng)(WordNet)、Charniak句法分析器等對(duì)106項(xiàng)描述性統(tǒng)計(jì)量及詞匯、句法和語篇銜接的淺層及深層語言量化特征進(jìn)行自動(dòng)分析。(杜慧穎、蔡金亭 2013；許家金 2016)

本研究去除Coh-Metrix計(jì)算的6項(xiàng)指標(biāo)，包括段落數(shù)、段落長度及標(biāo)準(zhǔn)差、句子數(shù)和相鄰段落語義相似度平均數(shù)及標(biāo)準(zhǔn)差。首先，英語四級(jí)漢譯英試題篇幅通常為一個(gè)段落，故段落長度與譯文長度重合；其次，段落及句子數(shù)較為固定，對(duì)譯文的機(jī)器評(píng)分影響不大，因此，這幾項(xiàng)不作為研究的自變量。剩余量化特征包括詞匯、句法和語篇3個(gè)層面以及譯文長度，共11個(gè)模塊100項(xiàng)特征(見表1)，利用Coh-Metrix 3.0自動(dòng)文本分析軟件進(jìn)行計(jì)算。為避免軟件將拼寫錯(cuò)誤的單詞誤判為復(fù)雜詞或新詞，且本研究量化特征不涉及準(zhǔn)確性，除要求學(xué)生控制詞匯拼寫錯(cuò)誤率外，筆者還進(jìn)行人工校對(duì)，將拼寫錯(cuò)誤的單詞一一糾正。

表1 譯文量化指標(biāo)及數(shù)量

(四)統(tǒng)計(jì)分析

本研究利用SPSS 20.0分析所獲取的量化數(shù)據(jù)，具體的統(tǒng)計(jì)分析過程如下：1)任何與因變量(譯文機(jī)器分?jǐn)?shù))相關(guān)性不具有統(tǒng)計(jì)學(xué)意義(r<0.1)的指標(biāo)均被剔除，不做下一步分析(Kyle & Crossley 2015)； 2)相互高度相關(guān)(r≥0.8)的指標(biāo)被標(biāo)注，每個(gè)共線對(duì)中，與分?jǐn)?shù)相關(guān)性最高的指標(biāo)被保留，另一個(gè)被剔除(Tabachnick & Fidell 2001)；此外利用容差(tolerance)對(duì)剩余變量做多重共線性診斷分析，如果一個(gè)自變量的容差小于1-調(diào)整R2，則表明該自變量與其他變量存在多重共線性問題，需要被剔除(許宏晨 2013)； 3)剩余指標(biāo)作為自變量，作文機(jī)器分?jǐn)?shù)作為因變量，進(jìn)行逐步回歸分析(stepwise regression analysis)，選擇p值小于0.05，決定系數(shù)調(diào)整R2最高、擬合優(yōu)度最高的模型。

四、結(jié)果及討論

(一)統(tǒng)計(jì)結(jié)果

在假設(shè)檢驗(yàn)中，71項(xiàng)指標(biāo)與作文分?jǐn)?shù)的相關(guān)性未能達(dá)到統(tǒng)計(jì)學(xué)上的意義(r絕對(duì)值<0.1)，因此被剔除，不做進(jìn)一步分析。相關(guān)分析結(jié)果顯示，29項(xiàng)指標(biāo)與機(jī)器分?jǐn)?shù)呈弱相關(guān)或中等相關(guān)，r絕對(duì)值介于0.100～0.420(見下頁表2)。17項(xiàng)指標(biāo)與譯文機(jī)器分?jǐn)?shù)間顯著相關(guān)，其他12項(xiàng)與分?jǐn)?shù)不顯著相關(guān)，但由于這12項(xiàng)與分?jǐn)?shù)的相關(guān)系數(shù)達(dá)到了統(tǒng)計(jì)學(xué)意義，故保留。其中機(jī)器分?jǐn)?shù)與名詞上義度平均數(shù)(r=0.420，p=0.000)、譯文長度(r=0.406，p=0.000)相關(guān)性最高，呈顯著正相關(guān)。其次，多重共線性診斷結(jié)果顯示，剩余29項(xiàng)變量之間不存在共線性問題，因此均被保留以做進(jìn)一步分析。

表2 譯文機(jī)器分?jǐn)?shù)與各指標(biāo)的相關(guān)性矩陣

然后我們將29項(xiàng)預(yù)測(cè)變量導(dǎo)入SPSS 20.0做逐步回歸分析?；貧w分析獲得7個(gè)模型，比較分析發(fā)現(xiàn)模型7的擬合優(yōu)度最佳，因此被選入機(jī)器打分模型(見表3)。該模型包含7項(xiàng)預(yù)測(cè)變量，能解釋47.3%的差異(調(diào)整R2=0.473，F(xiàn)<1 144>=18.051，p=0.011)，逐步分析發(fā)現(xiàn)名詞上義度平均數(shù)(Hypernymy for nouns, mean)和譯文長度兩項(xiàng)預(yù)測(cè)變量的預(yù)測(cè)力最大，分別能解釋17.1%和12.2%的分?jǐn)?shù)差異。進(jìn)入回歸方程的7項(xiàng)量化指標(biāo)與機(jī)器分?jǐn)?shù)均顯著相關(guān)(見表2)，但除名詞上義度及譯文長度與譯文分?jǐn)?shù)的相關(guān)性呈中度相關(guān)外，其余5項(xiàng)相關(guān)性都較弱。

表3 多元線性回歸結(jié)果摘要表

模型7的標(biāo)準(zhǔn)化回歸方程為：機(jī)器分?jǐn)?shù)=4.639+(0.765×名詞上義度平均數(shù))+(0.0308×譯文長度)-(3.991×所有句子實(shí)詞重疊平均比例)+(1.405×所有句子潛勢(shì)語義重合)-(0.280×第三人稱單數(shù)代詞比)+(0.029×單位句子長度)+(0.014×?xí)r序連詞率)。從摘要表和回歸方程可以看出，名詞上義度、譯文長度、所有句子潛勢(shì)語義重合、單位句子長度和時(shí)序連詞率與機(jī)器評(píng)分呈正相關(guān)，即名詞上義度值越高，譯文越長，單位句子越長，時(shí)序連詞率越高，譯文的機(jī)器分就越高，而其他兩項(xiàng)與分?jǐn)?shù)呈負(fù)相關(guān)。

(二)討論

1) 量化特征值與譯文機(jī)評(píng)分?jǐn)?shù)關(guān)系的解釋

本研究發(fā)現(xiàn)29項(xiàng)指標(biāo)與譯文機(jī)器分?jǐn)?shù)相關(guān)，但只有7項(xiàng)對(duì)機(jī)器分?jǐn)?shù)具有預(yù)測(cè)力，其中相關(guān)性最高、解釋力最大的是名詞上義度和譯文長度。本研究名詞上義度與機(jī)器分?jǐn)?shù)呈正相關(guān)，說明名詞上義度值越高，機(jī)器分?jǐn)?shù)越高。上義度指的是詞匯間的語義層次關(guān)系，上義度值高的單詞具有更多的上義詞，如animal的上義詞包括organism、animate thing等。與詞匯具體度(concreteness)類似，詞匯的上義度在本質(zhì)上反映的是詞匯在具體-抽象連續(xù)體(continuum)中的漸變性。(杜慧穎、蔡金亭 2013)Coh-Metrix利用詞網(wǎng)(WordNet)計(jì)算詞匯上義度，在詞網(wǎng)中，每個(gè)單詞都位于一個(gè)等級(jí)尺度上，用于測(cè)量目標(biāo)單詞的下級(jí)單詞和上級(jí)單詞數(shù)量。一般而言，單詞的上義度越高，表達(dá)的概念越具體，將會(huì)產(chǎn)生的歧義越少，對(duì)讀者造成的認(rèn)知努力就越低。本研究選取的英語四級(jí)翻譯語料屬于說明文題材，對(duì)語言的形象性和生動(dòng)性較之?dāng)⑹鑫囊?，高質(zhì)量的譯文自然需要在概念表達(dá)上更為具體，避免語義的模糊。

其次，研究發(fā)現(xiàn)系統(tǒng)評(píng)判譯文的第二大標(biāo)準(zhǔn)是譯文的長度，譯文越長得分越高。國內(nèi)翻譯測(cè)試主要強(qiáng)調(diào)的是“信”“達(dá)”和“切”，在人工評(píng)閱中，譯者只要能做到忠實(shí)原文、通順達(dá)意、表達(dá)準(zhǔn)確，就能得到較為理想的成績，并非寫得越多譯文質(zhì)量就越高。但是，因水平不夠的緣故，譯者有可能漏譯一些細(xì)節(jié)或省譯某些不會(huì)的部分，這樣將減損原文的含義，致使其譯文得分較低。(江進(jìn)林 2016)而高水平的譯者傾向于使用較長的詞組及復(fù)合句使譯文表達(dá)更為豐富，比如在翻譯“強(qiáng)調(diào)”一詞時(shí)，研究語料中有直接處理為動(dòng)詞emphasize的，也有處理為lay emphasis on的；在翻譯“結(jié)合”時(shí)有直接譯為combine的，也有譯為is a combination of的，詞性的轉(zhuǎn)換及詞組的使用加長了譯文的長度。雖然兩種處理在翻譯中都做到了忠實(shí)于原文，但是機(jī)器較之人工評(píng)閱者更機(jī)械，機(jī)器評(píng)分主要是通過統(tǒng)計(jì)詞頻、詞數(shù)、目標(biāo)詞數(shù)量等淺層特征，對(duì)比與語料庫中的文章在各方面的相似度賦予分?jǐn)?shù)。(白麗芳、王建 2018)關(guān)于譯文長度，由美國國際商用機(jī)器公司IBM提出的BLUE(Bilingual Evaluation Understudy)翻譯測(cè)評(píng)方法針對(duì)過短的機(jī)器譯文引入了BP(Brevity Penalty)罰分，以降低機(jī)器譯文的得分，(王金銓、朱周曄 2017)這同樣可以部分地解釋本研究中系統(tǒng)的評(píng)分方式。

單位句子長度也與譯文分?jǐn)?shù)呈正相關(guān)，句子越長，分?jǐn)?shù)越高。在完成翻譯任務(wù)時(shí)，譯者要考慮譯文與原文的對(duì)等關(guān)系，(文秋芳等 2009)即要忠實(shí)于原文，但具有創(chuàng)造性的、高水平的譯者可能會(huì)利用復(fù)雜的句法關(guān)系完成任務(wù)，比如將兩個(gè)關(guān)系緊密的漢語句子合二為一，這些句法結(jié)構(gòu)的使用往往會(huì)增長譯文句子的長度。

與譯文分?jǐn)?shù)呈正相關(guān)的量化指標(biāo)還包括所有句子潛勢(shì)語義重合及時(shí)序連詞率，這與江進(jìn)林(2016)對(duì)翻譯人工評(píng)閱的研究結(jié)果一致。該研究指出，高分譯文的語義空間更為緊湊，譯文內(nèi)部的語義聯(lián)系更為緊密；高分譯文使用的時(shí)序連詞顯著多于低分譯文，通過更多的時(shí)序連詞來展現(xiàn)文章的結(jié)構(gòu)。

本研究還發(fā)現(xiàn)，所有句子實(shí)詞重疊與譯文機(jī)器分呈負(fù)相關(guān)，即句子間實(shí)詞重疊比例越高，譯文分?jǐn)?shù)越低。實(shí)詞重疊是指稱銜接中的一項(xiàng)指標(biāo)，實(shí)詞重疊越多，說明文本緊扣主題，語義越連貫。(Graesser & McNamara 2011)但詞匯重合越多，也可以推算出譯者積累的替換詞越少，即譯者的縱聚合聯(lián)想詞匯網(wǎng)構(gòu)建不完善，詞匯豐富性不夠。低水平譯者限于詞匯水平較低、翻譯實(shí)踐較少，其英語譯文更容易受漢語信息的影響，譯文的呈現(xiàn)方式和順序更加程式化，(江進(jìn)林 2016)在讀到某個(gè)漢語詞匯時(shí)會(huì)條件反射出最常用的單詞，而且往往是高頻詞。相比而言，高水平譯者會(huì)利用更多的詞匯語義資源，擺脫單一的詞匯及結(jié)構(gòu)，聯(lián)想詞匯也更為豐富，因此能與低水平譯者區(qū)分開來。第三人稱單數(shù)代詞比例也與機(jī)器分?jǐn)?shù)呈負(fù)相關(guān)，比例越高，分?jǐn)?shù)越低。筆者發(fā)現(xiàn)，翻譯語料中低分譯文濫用代詞it的現(xiàn)象比較嚴(yán)重，有的譯文除第一句用名詞做主語外，其他所有句子的主語均為代詞it，主語過于單一，自然導(dǎo)致譯文分?jǐn)?shù)低。梁茂成(2006)指出，過多使用人稱代詞等淺層的銜接手段會(huì)嚴(yán)重影響文本的連貫性。

總之，Coh-Metrix計(jì)算出的大部分量化指標(biāo)與譯文機(jī)器分之間的相關(guān)性不存在顯著差異，且進(jìn)入機(jī)器分?jǐn)?shù)回歸方程的變量較少，名詞上義度與譯文長度對(duì)分?jǐn)?shù)的預(yù)測(cè)力最強(qiáng)，其他變量的解釋力相對(duì)較弱。

2) 研究結(jié)果對(duì)教學(xué)的啟示

目前自動(dòng)評(píng)閱系統(tǒng)提供的翻譯評(píng)估服務(wù)，不但增加了學(xué)生練習(xí)的機(jī)會(huì)，同時(shí)也緩解了許多教師的評(píng)閱壓力，學(xué)生可以及時(shí)獲得機(jī)評(píng)分?jǐn)?shù)及修改反饋，因此也被多數(shù)教師直接運(yùn)用到教學(xué)過程中，助力形成性評(píng)價(jià)的實(shí)現(xiàn)。但值得注意的問題是：目前系統(tǒng)究竟采取何種過程評(píng)閱譯文？機(jī)器評(píng)分是否兼顧形式和意義？本研究的量化指標(biāo)僅能小部分地回答這些問題，機(jī)器評(píng)閱的面紗仍有待更多的研究來層層揭開。

為進(jìn)一步解釋自動(dòng)評(píng)閱系統(tǒng)對(duì)譯文的評(píng)閱過程，筆者對(duì)系統(tǒng)提供的翻譯反饋進(jìn)行了仔細(xì)研究，結(jié)果發(fā)現(xiàn)反饋中主要涉及淺層的文本特征， 如文章的寫作規(guī)范(如大小寫、拼寫及標(biāo)點(diǎn)等)、簡單句法的錯(cuò)誤使用以及近義詞的辨析等等。盡管本研究發(fā)現(xiàn)語義關(guān)系及指稱銜接等深層量化值特征(如名詞上義度及所有句子語義重合)能預(yù)測(cè)譯文的質(zhì)量，但系統(tǒng)的反饋中幾乎未涉及相關(guān)方面的指導(dǎo)。

鑒于此，必須引起重視的是，在機(jī)器評(píng)分性能尚未得到普遍認(rèn)可的情況下，已有不少教師直接將譯文機(jī)器分?jǐn)?shù)納入形成性考核中，這可能導(dǎo)致公平性問題，尤其是當(dāng)翻譯任務(wù)占平時(shí)成績比重較大從而關(guān)系到學(xué)生最終的成績、評(píng)優(yōu)甚至保送研究生等高風(fēng)險(xiǎn)決策時(shí)，學(xué)生會(huì)嘗試故意寫長句子、利用低頻詞去取悅機(jī)器，而譯文質(zhì)量不一定高。此外，譯文機(jī)器評(píng)分的信度研究還較為匱乏，人工評(píng)閱者與機(jī)器評(píng)分間的一致性尚未得到廣泛論證。因此，一線教師需更加謹(jǐn)慎地融入機(jī)評(píng)分?jǐn)?shù)。當(dāng)然，教師也不可完全否定機(jī)器評(píng)閱的作用，在“互聯(lián)網(wǎng)+”及教育信息技術(shù)發(fā)展的大背景下，教師應(yīng)充分挖掘“人機(jī)合作”，順應(yīng)時(shí)代的需要，充分利用教育信息技術(shù)的優(yōu)勢(shì)作為教學(xué)的補(bǔ)充。比如在形成性評(píng)價(jià)中，譯文的評(píng)閱工作不應(yīng)過分依賴機(jī)器，而應(yīng)借鑒作文自動(dòng)評(píng)價(jià)的做法，使評(píng)價(jià)主體朝著“系統(tǒng)評(píng)估+教師評(píng)估+同伴評(píng)估”三位一體的方向發(fā)展，(唐錦蘭、吳一安 2012)以彌補(bǔ)系統(tǒng)的缺陷。

五、結(jié)語

本研究利用文本處理軟件Coh-Metrix分析了153篇譯文的量化特征，初步探討了量化特征與譯文機(jī)評(píng)分?jǐn)?shù)的關(guān)系。研究結(jié)果表明，少數(shù)量化特征對(duì)機(jī)評(píng)分?jǐn)?shù)具有預(yù)測(cè)力。文章最后對(duì)結(jié)果進(jìn)行了分析并指出了對(duì)教學(xué)的啟示。但是本研究也存在不足之處：1)僅以Coh-Metrix分析的量化特征作為自變量，未考慮其他指標(biāo)如N元組的數(shù)量，也未分析詞匯、句法及篇章3個(gè)層次的準(zhǔn)確性量化數(shù)據(jù)，而這些量化特征可能會(huì)對(duì)機(jī)評(píng)分?jǐn)?shù)產(chǎn)生較大影響；2)本研究的語料均為說明文，研究結(jié)果能否推廣到議論文、敘述文或其他文體的譯文尚不得而知。因此，未來的研究可以充分考慮更多的量化指標(biāo)，涉及更多的文體。此外，譯文機(jī)器評(píng)分的信度、效度也需要更多研究者進(jìn)行充分的驗(yàn)證。