羅 琪，李茂西

(江西師范大學(xué) 計(jì)算機(jī)信息工程學(xué)院，江西 南昌 330022)

0 引言

機(jī)器譯文自動(dòng)評(píng)價(jià)是機(jī)器翻譯的重要組成部分。它不僅能在一定程度上度量翻譯系統(tǒng)的整體性能，還能在開發(fā)翻譯系統(tǒng)時(shí)指導(dǎo)其特征權(quán)值的優(yōu)化。因此，研究機(jī)器譯文自動(dòng)評(píng)價(jià)對(duì)機(jī)器翻譯的發(fā)展和應(yīng)用具有重要意義。

近年來，許多機(jī)器譯文自動(dòng)評(píng)價(jià)方法被相繼提出，它們將機(jī)器翻譯系統(tǒng)的輸出譯文與人工參考譯文進(jìn)行對(duì)比來定量刻畫譯文的質(zhì)量。根據(jù)對(duì)比時(shí)涉及的語(yǔ)言知識(shí)層次，它們可分為： 基于詞語(yǔ)匹配的方法，如BLEU[1]和NIST[2]等；基于淺層句法結(jié)構(gòu)匹配的方法，如POSBLEU[3]和POSF[3]等；基于深層語(yǔ)義信息匹配的方法，如引入復(fù)述的指標(biāo)Meteor Universal[4]和TERp[5]等；引入語(yǔ)義角色標(biāo)注的指標(biāo)MEANT[6]等。隨著深度學(xué)習(xí)的發(fā)展及其在自然語(yǔ)言處理中的廣泛應(yīng)用，一些研究者利用詞語(yǔ)深度表示和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比翻譯系統(tǒng)輸出譯文和人工參考譯文進(jìn)行譯文自動(dòng)評(píng)價(jià)，如基于靜態(tài)詞向量Word2Vec[7]的方法[8]、基于動(dòng)態(tài)詞向量BERT[9]的方法[10]、基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的方法ReVal[11]和RUSE[12]等。

然而，這些方法評(píng)價(jià)機(jī)器譯文的主要思路還是遵循BLEU[1]的基本觀點(diǎn)： “機(jī)器譯文越接近于人工參考譯文，其譯文質(zhì)量越高”。從這個(gè)觀點(diǎn)出發(fā)，譯文自動(dòng)評(píng)價(jià)即等同計(jì)算機(jī)器譯文和人工參考譯文的相似度評(píng)價(jià)。這樣的譯文自動(dòng)評(píng)價(jià)完全忽略了源語(yǔ)言句子，即在沒有對(duì)源語(yǔ)言句子充分利用的基礎(chǔ)上進(jìn)行該項(xiàng)任務(wù)。所以，找到結(jié)合源語(yǔ)言句子進(jìn)行譯文自動(dòng)評(píng)價(jià)的切入點(diǎn)，勢(shì)必能提高譯文自動(dòng)評(píng)價(jià)與人工評(píng)價(jià)的相關(guān)性。因此，我們嘗試引入從源語(yǔ)言句子及其機(jī)器譯文中提取的質(zhì)量向量(Quality Embedding, QE)，并將其與基于語(yǔ)境詞向量的譯文自動(dòng)評(píng)價(jià)方法[10]進(jìn)行深度融合來增強(qiáng)譯文自動(dòng)評(píng)價(jià)效果，提高譯文自動(dòng)評(píng)價(jià)與人工評(píng)價(jià)的相關(guān)性。

1 相關(guān)工作

在基于深度神經(jīng)網(wǎng)絡(luò)的機(jī)器譯文自動(dòng)評(píng)價(jià)中，Lo[6]和Chen等人[8]提出利用詞語(yǔ)的分布式表示，靜態(tài)預(yù)訓(xùn)練的詞向量Word2Vec[7]，來提高機(jī)器譯文和人工參考譯文對(duì)比時(shí)同義詞、近義詞和復(fù)述等匹配的準(zhǔn)確率。Guzmán等人[13]提出了一種基于詞向量和神經(jīng)網(wǎng)絡(luò)的機(jī)器譯文自動(dòng)評(píng)價(jià)方法，其目標(biāo)是在給定人工參考譯文的情況下，從一對(duì)機(jī)器譯文中選擇最佳譯文，使用神經(jīng)網(wǎng)絡(luò)可以方便地融合由詞向量捕獲的豐富語(yǔ)法和語(yǔ)義表示。Gupta等人[11]用基于樹結(jié)構(gòu)的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)[14](Long Short-Term Memory network,LSTM)對(duì)機(jī)器譯文和人工參考譯文進(jìn)行編碼，根據(jù)兩者之間的元素差異和夾角計(jì)算機(jī)器譯文的質(zhì)量得分。Shimanaka等人[12]使用雙向LSTM(Bidirectional LSTM,Bi-LSTM)對(duì)機(jī)器譯文和人工參考譯文進(jìn)行編碼，并利用多層感知機(jī)回歸模型計(jì)算機(jī)器譯文的質(zhì)量得分。Mathur等人[10]基于BERT[9]語(yǔ)境詞向量使用Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)機(jī)器譯文和人工參考譯文的句子表示，并將自然語(yǔ)言推理中啟發(fā)式方法[15]和增強(qiáng)序列推理模型[16](Enhanced Sequential Inference Model, ESIM)引入到機(jī)器譯文自動(dòng)評(píng)價(jià)中，該方法在WMT’19譯文自動(dòng)評(píng)價(jià)任務(wù)(Metrics Task)上取得了優(yōu)異成績(jī)，因此，本文將在Mathur等人[10]的工作基礎(chǔ)上，將利用源語(yǔ)言句子提取的質(zhì)量向量融入譯文自動(dòng)評(píng)價(jià)中，進(jìn)一步增強(qiáng)譯文自動(dòng)評(píng)價(jià)的性能。

2 背景知識(shí)

2.1 基于語(yǔ)境詞向量的譯文自動(dòng)評(píng)價(jià)

自然語(yǔ)言推斷關(guān)注假設(shè)結(jié)論(hypothesis)是否可以從前提語(yǔ)句(premise)中推斷獲取，它與譯文自動(dòng)評(píng)價(jià)任務(wù)非常類似。譯文的質(zhì)量越好，機(jī)器譯文被人工參考譯文表示(推斷)的程度越高，同時(shí)人工參考譯文被機(jī)器譯文表示(推斷)的程度也越高；反之亦然。在自然語(yǔ)言推斷的框架下，Mathur等人[10]使用語(yǔ)境詞向量分別表示機(jī)器譯文和人工參考譯文，并根據(jù)兩個(gè)表示的交互程度來度量機(jī)器譯文的質(zhì)量。使用自然語(yǔ)言推斷中啟發(fā)式方法[15]以及ESIM方法[16]，Mathur等人[10]分別提出了(Bi-LSTM+attention)BERT譯文自動(dòng)評(píng)價(jià)方法和(ESIM)BERT譯文自動(dòng)評(píng)價(jià)方法。

2.1.1 (Bi-LSTM+attention)BERT譯文自動(dòng)評(píng)價(jià)方法

m=[t⊕r⊕(t⊙r)⊕(t-r)]

(3)

其中，符號(hào)“⊕”表示向量拼接操作；符號(hào)“⊙”表示兩個(gè)向量逐元素相乘操作。最后向量m被作為前饋神經(jīng)網(wǎng)絡(luò)的輸入用于預(yù)測(cè)機(jī)器譯文被人工參考譯文表示的程度，即譯文質(zhì)量的得分。

2.1.2 (ESIM)BERT譯文自動(dòng)評(píng)價(jià)方法

ESIM方法利用式(4)和式(5)計(jì)算機(jī)器譯文被人工參考譯文表示的增強(qiáng)向量mt和人工參考譯文被機(jī)器譯文表示的增強(qiáng)向量mr。為降低模型參數(shù)的復(fù)雜性，利用一個(gè)前饋神經(jīng)網(wǎng)絡(luò)層將mt和mr轉(zhuǎn)換至模型的維度。Bi-LSTM網(wǎng)絡(luò)用作對(duì)降維后的信息進(jìn)行編碼，以便得到其局部信息的上下文表示向量。將編碼后的向量進(jìn)行平均池化和最大池化，并將池化后的結(jié)果vr,avg、vr,max和vt,avg、vt,max進(jìn)行拼接，形成固定長(zhǎng)度向量p，即:

最后向量p作為前饋神經(jīng)網(wǎng)絡(luò)的輸入用于預(yù)測(cè)機(jī)器譯文質(zhì)量的得分。

2.2 譯文質(zhì)量向量提取方法

譯文質(zhì)量向量是譯文質(zhì)量估計(jì)中描述翻譯質(zhì)量的向量，其從源語(yǔ)言句子和其相應(yīng)的譯文中抽取，完全不需要借助人工參考譯文進(jìn)行計(jì)算。目前主流的質(zhì)量向量提取方法包括基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)的編碼器-解碼器模型[17]的方法[18-19]和基于Transformer模型[20]的方法[21-22]。它們將源語(yǔ)言句子及其機(jī)器譯文使用強(qiáng)制學(xué)習(xí)的方式輸入已訓(xùn)練好的神經(jīng)機(jī)器翻譯模型，截取在使用前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行softmax分類前一層網(wǎng)絡(luò)的輸出向量，作為機(jī)器譯文當(dāng)前位置詞語(yǔ)的質(zhì)量向量。

給定源語(yǔ)言句子，為了獲取機(jī)器譯文中每個(gè)詞語(yǔ)的質(zhì)量向量，基于聯(lián)合神經(jīng)網(wǎng)絡(luò)的模型(Unified Neural Network for Quality Estimation,UNQE)[19]被用作提取質(zhì)量向量。聯(lián)合神經(jīng)網(wǎng)絡(luò)模型使用譯文質(zhì)量估計(jì)任務(wù)數(shù)據(jù)集聯(lián)合訓(xùn)練基于RNN的編碼器-解碼器模型和基于RNN的預(yù)測(cè)器，可以提取更優(yōu)的質(zhì)量向量，并且該模型在WMT18句子級(jí)別質(zhì)量估計(jì)任務(wù)中取得了優(yōu)異的成績(jī)[23]，證實(shí)了其效果。

3 結(jié)合質(zhì)量向量的機(jī)器譯文自動(dòng)評(píng)價(jià)

為了把源語(yǔ)言句子信息引入譯文自動(dòng)評(píng)價(jià)中，我們以質(zhì)量向量作為切入點(diǎn)，將給定源語(yǔ)言句子情況下機(jī)器譯文質(zhì)量的表示和給定人工參考譯文情況下機(jī)器譯文的增強(qiáng)表示進(jìn)行融合。模型結(jié)構(gòu)如圖1所示，其中，符號(hào)src、mt和ref分別表示源語(yǔ)言句子、機(jī)器譯文和人工參考譯文。圖左邊部分描述通過

圖1 引入譯文質(zhì)量向量增強(qiáng)機(jī)器譯文自動(dòng)評(píng)價(jià)的模型架構(gòu)

UNQE方法[19]從源語(yǔ)言句子及其機(jī)器譯文中提取出描述翻譯質(zhì)量的詞語(yǔ)級(jí)質(zhì)量向量，并將其利用Bi-LSTM網(wǎng)絡(luò)處理成句子級(jí)別的質(zhì)量向量；圖右邊部分描述通過(Bi-LSTM+attention)BERT或(ESIM)BERT方法[10]將機(jī)器譯文和人工參考譯文抽象為交互表示的增強(qiáng)向量，圖上表示將質(zhì)量向量與交互表示的增強(qiáng)向量進(jìn)行拼接，將拼接后的向量輸入前饋神經(jīng)網(wǎng)絡(luò)以預(yù)測(cè)機(jī)器譯文質(zhì)量得分。

3.1 (Bi-LSTM+attention)BERT+QE譯文自動(dòng)評(píng)價(jià)方法

由于從源語(yǔ)言句子和機(jī)器譯文中抽取的質(zhì)量向量是詞語(yǔ)級(jí)的，即機(jī)器譯文中每個(gè)詞(token)使用一個(gè)實(shí)數(shù)向量描述其翻譯質(zhì)量，而機(jī)器譯文和人工參考譯文的交互表示增強(qiáng)向量是句子級(jí)的，為了在同一層次將二者進(jìn)行融合，需要將質(zhì)量向量進(jìn)一步抽象成句子級(jí)別表示。Bi-LSTM網(wǎng)絡(luò)被用來對(duì)詞語(yǔ)級(jí)質(zhì)量向量eqe1:k(k=1，…，lt)進(jìn)行編碼，得到eqe1:k的包含上下文信息的向量hqe,k(k=1，…，lt)，通過對(duì)hqe進(jìn)行最大池化和平均池化處理，將池化后的結(jié)果拼接即得到了句子的質(zhì)量向量表示qe，如式(7)～式(9)所示。

在機(jī)器譯文和人工參考譯文的交互表示增強(qiáng)向量方面，Bi-LSTM網(wǎng)絡(luò)被用來對(duì)人工參考譯文和機(jī)器譯文的語(yǔ)境詞向量編碼，利用式(1)、式(2)求得人工參考譯文和機(jī)器譯文的相互表示，隨后利用式(8)的池化操作和式(9)的拼接操作求得人工參考譯文句子表示r和機(jī)器譯文句子表示t。

(10)

(11)

其中，參數(shù)w，W，b，b′均為前饋神經(jīng)網(wǎng)絡(luò)的權(quán)值。

為了訓(xùn)練模型的所有參數(shù)，譯文自動(dòng)評(píng)價(jià)得分yscore與人工評(píng)價(jià)得分h的均方差被用來對(duì)模型進(jìn)行優(yōu)化，優(yōu)化目標(biāo)正式描述如式(12)所示。

(12)

3.2 (ESIM)BERT+QE譯文自動(dòng)評(píng)價(jià)方法

獲取了機(jī)器譯文句子級(jí)別分值后，我們對(duì)整個(gè)測(cè)試集(或文檔集)中機(jī)器譯文的句子級(jí)別得分取平均值作為翻譯系統(tǒng)的系統(tǒng)級(jí)別(或文檔級(jí)別)得分。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證引入源端信息的機(jī)器譯文自動(dòng)評(píng)價(jià)方法的效果，我們?cè)赪MT’19 Metrics task[24]的德英任務(wù)、中英任務(wù)和英中任務(wù)上進(jìn)行實(shí)驗(yàn)。為了比較不同譯文自動(dòng)評(píng)價(jià)方法的性能，我們遵循WMT評(píng)測(cè)官方的做法利用皮爾森相關(guān)系數(shù)與肯德爾相關(guān)系數(shù)分別計(jì)算自動(dòng)評(píng)價(jià)結(jié)果和人工評(píng)價(jià)結(jié)果的系統(tǒng)級(jí)別相關(guān)性和句子級(jí)別相關(guān)性，皮爾森相關(guān)系數(shù)或肯德爾相關(guān)系數(shù)越大，相關(guān)性越好。

UNQE提取的中英、英中任務(wù)上的質(zhì)量向量維度為700，德英任務(wù)上質(zhì)量向量維度為500。模型中Bi-LSTM隱藏層狀態(tài)維度均固定為300，Dropout設(shè)置為0.2，使用Adam優(yōu)化器優(yōu)化訓(xùn)練，初始學(xué)習(xí)率為0.000 4，訓(xùn)練批次大小為32，使用“bert-base-uncased”提取英文句子語(yǔ)境詞向量，使用“bert-base-Chinese”提取中文句子語(yǔ)境詞向量。

實(shí)驗(yàn)中，我們不僅將本文提出的方法與BLEU[1]、chrF[25]以及BEER[26]等經(jīng)典的方法進(jìn)行比較，而且與Mathur等人[10]提出的自動(dòng)評(píng)價(jià)方法、與不使用人工參考譯文的譯文質(zhì)量估計(jì)方法UNQE[19]進(jìn)行了對(duì)比。需要說明的是，Mathur等人[10]是混合所有相同目標(biāo)語(yǔ)言(如德英和中英)譯文自動(dòng)評(píng)價(jià)訓(xùn)練集語(yǔ)料進(jìn)行模型訓(xùn)練，而我們引入了源端信息，考慮實(shí)際譯文打分需求且避免受不同源語(yǔ)言差異性的負(fù)面影響，我們針對(duì)每個(gè)語(yǔ)言對(duì)利用其訓(xùn)練集數(shù)據(jù)單獨(dú)訓(xùn)練模型。德英語(yǔ)言對(duì)使用的是WMT’15-17 Metrics task[27-29]德英語(yǔ)言對(duì)的句子級(jí)別任務(wù)數(shù)據(jù)集。對(duì)于中英和英中語(yǔ)言對(duì)而言，單獨(dú)訓(xùn)練可用訓(xùn)練集語(yǔ)料規(guī)模太小，因此加入了CWMT’18翻譯質(zhì)量評(píng)估在中英和英中語(yǔ)言對(duì)上的語(yǔ)料。德英方向按照9∶1的比例劃分訓(xùn)練集和開發(fā)集，中英和英中方向完全使用CWMT’18翻譯質(zhì)量評(píng)估數(shù)據(jù)的訓(xùn)練集和開發(fā)集，具體數(shù)據(jù)統(tǒng)計(jì)如表1所示。測(cè)試集為WMT’19 Metrics task的數(shù)據(jù)集，具體數(shù)據(jù)統(tǒng)計(jì)如表2所示。

表1 德英、中英和英中訓(xùn)練集、開發(fā)集數(shù)據(jù)統(tǒng)計(jì)

表2 WMT’19 Metrics task德英、中英和英中任務(wù)的測(cè)試集數(shù)據(jù)統(tǒng)計(jì)

4.2 實(shí)驗(yàn)結(jié)果

表3和表4分別給出了在WMT’19 Metrics task上引入源語(yǔ)言句子信息的譯文自動(dòng)評(píng)價(jià)方法和對(duì)比的譯文自動(dòng)評(píng)價(jià)方法與人工評(píng)價(jià)的句子級(jí)別和系統(tǒng)級(jí)別的相關(guān)性。

表3 在WMT’19 Metrics task的德英、中英和英中任務(wù)上自動(dòng)評(píng)價(jià)與人工評(píng)價(jià)的句子級(jí)別相關(guān)性

表4 在WMT’19 Metrics task的德英、英中和中英任務(wù)上自動(dòng)評(píng)價(jià)與人工評(píng)價(jià)的系統(tǒng)級(jí)別相關(guān)性

表3的數(shù)據(jù)表明引入源語(yǔ)言句子信息的方法“(Bi-LSTM+attention)BERT+QE”和“(ESIM)BERT+QE”在德英、中英和英中三個(gè)語(yǔ)言對(duì)上，與人工評(píng)價(jià)的句子級(jí)別相關(guān)性均值分別高于使用語(yǔ)境詞向量的方法“(Bi-LSTM+attention)BERT”和“(ESIM)BERT”?！?Bi-LSTM+attention)BERT+QE”相對(duì)于“(Bi-LSTM+attention)BERT”在德英、中英、英中三個(gè)任務(wù)上分別提升了4.6%、3.2%和3.8%，“(ESIM)BERT+QE”相對(duì)于“(ESIM)BERT”方法分別提升了7.5%、2.8%和6.3%。其中，“(Bi-LSTM+attention)BERT+QE”方法在三個(gè)語(yǔ)言對(duì)任務(wù)中句子級(jí)別相關(guān)系數(shù)均最高。這說明引入源端信息能增強(qiáng)機(jī)器譯文自動(dòng)評(píng)價(jià)與人工評(píng)價(jià)的句子級(jí)別相關(guān)性。

表4的數(shù)據(jù)表明，本文所提方法“(Bi-LSTM+attention)BERT+QE”和“(ESIM)BERT+QE”在德英、中英和英中三個(gè)語(yǔ)言對(duì)評(píng)測(cè)任務(wù)上，與人工評(píng)價(jià)的系統(tǒng)級(jí)別相關(guān)系數(shù)的均值分別高于“(Bi-LSTM+attention)BERT”和“(ESIM)BERT”。“(Bi-LSTM+attention)BERT+QE”相對(duì)于“(Bi-LSTM+attention)BERT”方法在德英、中英任務(wù)上提升了0.8%和1.7%，在英中任務(wù)上保持一致，“(ESIM)BERT+QE”相對(duì)于“(ESIM)BERT”方法在中英、英中任務(wù)上分別提升了0.7%和0.3%，在德英上保持一致。這說明引入源端信息能增強(qiáng)機(jī)器譯文自動(dòng)評(píng)價(jià)與人工評(píng)價(jià)的系統(tǒng)級(jí)別相關(guān)性。

令人驚奇的是，僅使用源端信息，完全不使用人工參考譯文的UNQE方法，也與人工評(píng)價(jià)結(jié)果有較好的相關(guān)性。盡管其在平均相關(guān)性上劣于所有使用人工參考譯文的方法，但是它與sentBLEU方法在平均句子級(jí)別相關(guān)性和平均系統(tǒng)級(jí)別相關(guān)性上的差距并不大，在英中的句子級(jí)別相關(guān)性(0.258)上甚至稍高于BEER方法(0.232)，在英中的系統(tǒng)級(jí)別相關(guān)性(0.916)上高于BLEU(0.901)、BEER(0.803)、chrF(0.880)等方法。這說明源端信息對(duì)譯文自動(dòng)評(píng)價(jià)非常有幫助，從一個(gè)側(cè)面佐證了正確地將質(zhì)量向量引入譯文自動(dòng)評(píng)價(jià)必將提高譯文自動(dòng)評(píng)價(jià)的性能。

4.3 實(shí)驗(yàn)分析

為了進(jìn)一步分析融合源端信息的譯文自動(dòng)評(píng)價(jià)方法的特點(diǎn)，我們?cè)陂_發(fā)集上分別抽取了中英和英中翻譯自動(dòng)評(píng)價(jià)的實(shí)例進(jìn)行分析。表5給出了對(duì)兩個(gè)譯文進(jìn)行打分的實(shí)例，其中HTER是指將機(jī)器譯文mt轉(zhuǎn)換成人工后編輯的參考譯文ref需要的最少編輯次數(shù)與譯文長(zhǎng)度的比值，它可以看作是譯文人工打分的結(jié)果。自動(dòng)評(píng)價(jià)方法對(duì)機(jī)器譯文的打分越接近人工打分(1-HTER)，表明該自動(dòng)評(píng)價(jià)方法對(duì)譯文的評(píng)價(jià)越準(zhǔn)確。

表5 不同自動(dòng)評(píng)價(jià)方法對(duì)機(jī)器譯文打分實(shí)例

在第一個(gè)實(shí)例中，源語(yǔ)言句子中“對(duì)城市交通來說”在機(jī)器譯文中缺乏對(duì)應(yīng)翻譯，存在漏譯的情況，但(Bi-LSTM+attention)BERT和(ESIM)BERT卻給了很高的分值，而本文的方法打分均更接近人工HTER分值，說明(Bi-LSTM+attention)BERT+QE和(ESIM)BERT+QE方法結(jié)合了源語(yǔ)言句子信息對(duì)譯文進(jìn)行評(píng)價(jià)，能更準(zhǔn)確地描述譯文的完整度特征，因此，相比于僅結(jié)合人工參考譯文信息打分的(Bi-LSTM+attention)BERT和(ESIM)BERT方法，引入源端信息的方法的評(píng)價(jià)更準(zhǔn)確。在第二個(gè)實(shí)例中，機(jī)器譯文中存在多譯、過度翻譯的情況，源語(yǔ)言句子中“Tokyo, Japan”被過度翻譯成“東京”和“日本”兩個(gè)地方。對(duì)于這種情況，本文方法依然比(Bi-LSTM+attention)BERT和(ESIM)BERT更接近人工打分結(jié)果HTER。這定性地說明結(jié)合源端信息的機(jī)器譯文自動(dòng)評(píng)價(jià)方法能更充分地利用源語(yǔ)言句子的信息對(duì)譯文質(zhì)量進(jìn)行評(píng)價(jià)。

5 結(jié)論

本文提出引入源端信息的機(jī)器譯文自動(dòng)評(píng)價(jià)方法。與傳統(tǒng)的BLEU、BEER、chrF等評(píng)價(jià)指標(biāo)相比，引入源端信息的機(jī)器譯文自動(dòng)評(píng)價(jià)方法，融合了源語(yǔ)言句子、人工參考譯文、機(jī)器譯文三者的信息，能更全面且有效地描述譯文質(zhì)量。未來的工作中，我們將嘗試在更大的語(yǔ)料庫(kù)、更多的語(yǔ)言對(duì)上進(jìn)行實(shí)驗(yàn)，以及引入更先進(jìn)的模型和方法來挖掘源端信息，以提高機(jī)器譯文自動(dòng)評(píng)價(jià)方法的性能。