阿布都哈力力·阿布都熱依木+卿松+張建業(yè)+張超+塔拉甫·加盤

摘要：為了提高漢-維電費(fèi)自助繳費(fèi)終端準(zhǔn)確率，給出了基于Moses算法的漢-維翻譯方法，并在此提出上設(shè)計(jì)了電費(fèi)自助繳費(fèi)終端。該終端系統(tǒng)對(duì)給予的維吾爾文字資料進(jìn)行詞法分析，根據(jù)預(yù)料的知識(shí)進(jìn)行翻譯，并輸出結(jié)果。由于新疆維吾爾自治區(qū)電力行業(yè)中還沒(méi)有漢語(yǔ)-維吾爾語(yǔ)自助繳費(fèi)終端，具有廣泛的應(yīng)用前景。

關(guān)鍵詞：moses；自助繳費(fèi)繳費(fèi)終端漢-維統(tǒng)計(jì)翻譯電力行業(yè)

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2014）34-8188-03

隨著社會(huì)向信息化社會(huì)發(fā)展，在西部大開發(fā)的推進(jìn)下，基于少數(shù)民族文的IT行業(yè)進(jìn)入快速發(fā)展的時(shí)期。在新疆維吾爾自治區(qū)電力系統(tǒng)中用電用戶的分布比較廣，13個(gè)地州公司，89個(gè)縣公司、營(yíng)業(yè)區(qū)，業(yè)務(wù)覆蓋用戶數(shù)約378萬(wàn)戶，電力自助繳費(fèi)終端的應(yīng)用很大程度上減少了電力公司收電費(fèi)成本。但是由于新疆是中國(guó)多民族多語(yǔ)言的省區(qū)，漢族與維吾爾族各占40%，剩下20%是其他民族，使用語(yǔ)言有漢語(yǔ)、維吾爾語(yǔ)、哈薩克語(yǔ)等，其中吐魯番、哈密、阿克蘇、巴州、疆南、和田六地州是居住少數(shù)民族同志較多的地區(qū)，大部分的維吾爾民族同志不會(huì)漢語(yǔ)，使電力自助繳費(fèi)終端的推廣受到阻礙。漢-維自助繳費(fèi)終端來(lái)說(shuō)，疆內(nèi)有建設(shè)銀行等銀行業(yè)有了初步的推廣應(yīng)用，但目前的電力行業(yè)還是以漢語(yǔ)版本為主，并且顯示的內(nèi)容是動(dòng)態(tài)信息，沒(méi)有提供具有本地化支持的自助繳費(fèi)終端。

1 Moses介紹

機(jī)器翻譯研究歷史可以追溯到上世紀(jì)三四十年代，當(dāng)時(shí)法國(guó)科學(xué)家G.B.阿爾楚尼提出了用機(jī)器來(lái)進(jìn)行翻譯的想法。從提出機(jī)器翻譯到現(xiàn)在已過(guò)80年的歷程，其中提出了許多基于數(shù)學(xué)與計(jì)算機(jī)方法的翻譯算法。這些算法大致分兩類一類是基于規(guī)則的方法，另一個(gè)是基于統(tǒng)計(jì)的方法。

基于規(guī)則的方法是把各種語(yǔ)法規(guī)則和雙語(yǔ)詞典告訴計(jì)算機(jī)，讓計(jì)算機(jī)通過(guò)這些規(guī)則完成翻譯。該方法優(yōu)點(diǎn)是直觀，能夠直接表達(dá)翻譯知識(shí)，具有較強(qiáng)的概括能力，擅長(zhǎng)處理復(fù)雜的結(jié)構(gòu)和進(jìn)行深層次的理解。缺點(diǎn)是規(guī)則提煉時(shí)間長(zhǎng)、需要大量的調(diào)試，規(guī)則之間容易發(fā)生沖突。

統(tǒng)計(jì)機(jī)器翻譯是將翻譯看作搜索問(wèn)題，而非匹配問(wèn)題，從所有可能的譯文中選擇概率最大的譯文，目前機(jī)器翻譯所用的主流算法。公式1中h為源語(yǔ)句即漢語(yǔ)，u為對(duì)應(yīng)h的維吾爾語(yǔ)序列，要找出最大評(píng)分參量?。

Moses是統(tǒng)計(jì)機(jī)器翻譯中最有效的統(tǒng)計(jì)翻譯系統(tǒng)。對(duì)任何語(yǔ)言可自動(dòng)進(jìn)行翻譯模型訓(xùn)練 ，把所有你所需要的翻譯文本放到平行語(yǔ)料庫(kù)中。在翻譯過(guò)程中你所訓(xùn)練的翻譯模型對(duì)平行語(yǔ)料庫(kù)進(jìn)行搜索，并且按照選擇指數(shù)把概率最高選為翻譯結(jié)果。

現(xiàn)在隨著電子和計(jì)算機(jī)網(wǎng)路技術(shù)的發(fā)展，使基于復(fù)雜算法的翻譯技術(shù)成為可能與此同時(shí)少數(shù)民族語(yǔ)言文字已進(jìn)入信息化時(shí)代，大量的少數(shù)民族詞庫(kù)可以通過(guò)互聯(lián)網(wǎng)找到并進(jìn)行翻譯。通過(guò)互聯(lián)網(wǎng)很容易對(duì)漢語(yǔ)和維吾爾語(yǔ)平行語(yǔ)料庫(kù)進(jìn)行改善和擴(kuò)充。

2 終端系統(tǒng)總體設(shè)計(jì)

系統(tǒng)設(shè)計(jì)上采用松散架構(gòu)，內(nèi)部耦合的方式進(jìn)行組織，要層次分明、模塊清晰易用，系統(tǒng)界面友好，技術(shù)上既要保證先進(jìn)可靠性，又要考慮擴(kuò)展性，以應(yīng)對(duì)未來(lái)變化，保證系統(tǒng)今后的擴(kuò)展順利完成。同時(shí)，系統(tǒng)保證要有很強(qiáng)的容錯(cuò)能力，進(jìn)行各種系統(tǒng)異常捕捉，保證系統(tǒng)的運(yùn)行穩(wěn)定。

漢-維電費(fèi)自助繳費(fèi)終端系統(tǒng)通過(guò)服務(wù)的方式，為電費(fèi)自助繳費(fèi)終端及其它電力業(yè)務(wù)系統(tǒng)提供機(jī)器翻譯服務(wù)，系統(tǒng)主要由數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)接口、應(yīng)用服務(wù)、Web service服務(wù)、電力業(yè)務(wù)系統(tǒng)、語(yǔ)料庫(kù)管理客戶端、漢-維電費(fèi)自助繳費(fèi)終端構(gòu)成。圖1中語(yǔ)料庫(kù)管理客戶端具有系統(tǒng)管理、語(yǔ)料庫(kù)維護(hù)以及對(duì)信息進(jìn)行編輯和審核的功能，信息通過(guò)語(yǔ)料庫(kù)管理客戶端發(fā)送到Web service服務(wù)層，通過(guò)Web service服務(wù)層到應(yīng)用服務(wù)層，應(yīng)用服務(wù)層對(duì)接收的信息進(jìn)行分析，并與雙語(yǔ)實(shí)例語(yǔ)料庫(kù)進(jìn)行對(duì)比，如果雙語(yǔ)實(shí)例庫(kù)維語(yǔ)庫(kù)中存在該信息，則直接發(fā)送到Web service服務(wù)層。反之通過(guò)機(jī)器翻譯對(duì)該信息進(jìn)行翻譯，機(jī)器翻譯采用Moses翻譯模型和SIRLM語(yǔ)言模型，翻譯結(jié)果發(fā)送到Web service服務(wù)層和維語(yǔ)庫(kù)。翻譯結(jié)果通過(guò)Web service服務(wù)層到電力業(yè)務(wù)系統(tǒng)，最后在自助繳費(fèi)終端中顯示。數(shù)據(jù)庫(kù)主要分雙語(yǔ)語(yǔ)料庫(kù)、漢語(yǔ)庫(kù)和維語(yǔ)庫(kù)，其中雙語(yǔ)語(yǔ)料庫(kù)中存儲(chǔ)靜態(tài)的漢語(yǔ)信息以及與其一一對(duì)應(yīng)的維語(yǔ)信息，它們主要用于終端頁(yè)面和一些固定信息的翻譯。漢語(yǔ)庫(kù)維動(dòng)態(tài)信息庫(kù)，用于存放一些及時(shí)更新的信息。數(shù)據(jù)接口主要用于數(shù)據(jù)庫(kù)和應(yīng)用服務(wù)連接，同時(shí)為語(yǔ)料庫(kù)的管理和維護(hù)提供語(yǔ)料庫(kù)管理服務(wù)。

漢-維翻譯服務(wù)采用Web Service技術(shù)部署實(shí)現(xiàn)，語(yǔ)料庫(kù)管理采用 C / S 架構(gòu)，項(xiàng)目整體采用 java 平臺(tái)開發(fā)，運(yùn)行環(huán)境基于JDK1.6，應(yīng)用服務(wù)中間件采用Tomcat 6.0版本。

系統(tǒng)總體技術(shù)架構(gòu)設(shè)計(jì)，如下圖：

終端主控制器采用32位ARM11嵌入式工控板作為主控單元，功耗低、處理能力強(qiáng)，高達(dá)2G Byte 的NAND Flash，特別采用4位糾錯(cuò)技術(shù)，確保信息存儲(chǔ)安全可靠；高速、安全的TCP/IP通訊方式，可輕松接入局域網(wǎng)內(nèi)工作。其中ARM11系列微處理器是ARM公司近年推出的新一代RISC處理器，它是ARM新指令架構(gòu)——ARMv6的第一代設(shè)計(jì)實(shí)現(xiàn)。該系列主要有ARM1136J，ARM1156T2和ARM1176JZ三個(gè)內(nèi)核型號(hào)，分別針對(duì)不同應(yīng)用領(lǐng)域。用戶通過(guò)觸摸屏和鍵盤對(duì)繳費(fèi)終端進(jìn)行操作，觸摸屏是15—17寸防爆、TFT32真彩色觸摸屏，操作指令通過(guò)主控制器進(jìn)行分類并按照指令要求進(jìn)行數(shù)據(jù)處理。在這過(guò)程中維吾爾族用電用戶可以在觸摸屏上對(duì)人機(jī)交互界面進(jìn)行切換，切換成維吾爾族文字的界面。Flash 存儲(chǔ)系統(tǒng)啟動(dòng)所需程序如Bootloadert等，SDRAM用存儲(chǔ)臨時(shí)數(shù)據(jù)這兩個(gè)存儲(chǔ)器通過(guò)總線與控制器連接。貨幣識(shí)別器可靠性高，可以識(shí)別目前流通的所有人民幣。讀卡器可支持銀聯(lián)卡的操作。終端使用嵌入式熱敏打印機(jī)，無(wú)需油墨，打印質(zhì)量高達(dá)200DPI（8dots/mm），憑條打印機(jī)可以檢測(cè)黑標(biāo)、自動(dòng)切紙，通過(guò)RS232與主控制器通信。供電模塊控制著開關(guān)電源和UPS電源，當(dāng)停電時(shí)自動(dòng)啟用UPS電源并對(duì)數(shù)據(jù)進(jìn)行備份和保存處理。主控制器通過(guò)TCP/IP方式與電力服務(wù)系統(tǒng)連接。endprint

3 漢-維翻譯引擎流程

機(jī)器翻譯服務(wù)是該系統(tǒng)的核心部分，其主要分為訓(xùn)練模型和基于統(tǒng)計(jì)的翻譯模型兩部分。在訓(xùn)練模型時(shí)首先建立大量的維吾爾文語(yǔ)料庫(kù)，其次對(duì)已建立的維吾爾文語(yǔ)料庫(kù)，在SRILM算法的基礎(chǔ)上建立維吾爾語(yǔ)的語(yǔ)言模型。對(duì)平行語(yǔ)料庫(kù)進(jìn)行基于Mkcls算法的單詞分類。用GIZA++實(shí)現(xiàn)了IBM模型1～5的所有代碼，在生成源語(yǔ)言語(yǔ)目標(biāo)語(yǔ)言之間翻譯概率的同時(shí)，產(chǎn)生了翻譯模型。

翻譯模型時(shí)從漢文數(shù)據(jù)庫(kù)提取相應(yīng)的漢文信息。對(duì)漢文進(jìn)行詞法分析。通過(guò)Moses譯碼機(jī)實(shí)現(xiàn)漢-維翻譯，并顯示維吾爾文的翻譯結(jié)果。

4 漢-維翻譯引擎實(shí)驗(yàn)

4.1 實(shí)驗(yàn)材料

本文用的語(yǔ)料庫(kù)是針對(duì)國(guó)網(wǎng)新疆電力公司專用的科學(xué)用電常識(shí)、安全用電常識(shí)、節(jié)約用電常識(shí)、電力設(shè)施保護(hù)條例、中華人民共和國(guó)電力法、電力供應(yīng)與使用條例，電力設(shè)施保護(hù)條例，國(guó)家電網(wǎng)公司供電服務(wù)“十項(xiàng)承諾”，國(guó)家電網(wǎng)公司供電服務(wù)“十項(xiàng)承諾”。

實(shí)驗(yàn)所用訓(xùn)練模型需要的漢-維平行語(yǔ)料庫(kù)是對(duì)上述材料進(jìn)行訓(xùn)練得到的句子，共3萬(wàn)個(gè)，實(shí)現(xiàn)語(yǔ)言模型的維文句子6萬(wàn)個(gè)，實(shí)驗(yàn)測(cè)試漢文句子500個(gè)。

4.2 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)用的譯碼機(jī)是Moses系統(tǒng)，一般Moses系統(tǒng)結(jié)果評(píng)價(jià)分人工評(píng)價(jià)和自動(dòng)評(píng)價(jià)兩種，該文中我們采用國(guó)際評(píng)價(jià)標(biāo)準(zhǔn)BLEU（Bilingual Evaluation Understudy）和NIST（The National Institute of Standards and Technology）來(lái)評(píng)價(jià)翻譯結(jié)果。

5 結(jié)束語(yǔ)

通過(guò)對(duì)漢-維機(jī)器翻譯方法的研究和分析，該文提出了基于Moses的翻譯方法，并開發(fā)了相應(yīng)的自助繳費(fèi)終系統(tǒng)和終端硬件設(shè)計(jì)。硬件采用32位ARM11嵌入式工控板，充分考慮了終端的各功能和相應(yīng)的軟件措施。Moses方法的應(yīng)用提高了系統(tǒng)的翻譯準(zhǔn)確度和翻譯速度，已經(jīng)完全能勝任電力營(yíng)銷業(yè)務(wù)和其他信息的翻譯，由于漢-維語(yǔ)料庫(kù)的量在不斷地?cái)U(kuò)充中，會(huì)進(jìn)一步提高翻譯準(zhǔn)確率執(zhí)行速率。

參考文獻(xiàn)：

[1] Hsin-Hsi Chen，Yung-Wei Ding，Shih-Chung Tsai.Named Entity Extraction for Information Retrieval[J].Computer Processing of Oriental Languages， Special Issue on Information Retrieval on Oriental Languages ， 1998，12（1）：75-85.

[2] Keller F， Lapata M.Using the Web to Obtain Frequencies for Unseen Bigrams[J].Computational Linguistics， 2003，29（3）：59-484.

[3] Resnik P， Smith N A. The Web as a Parallel Corpus[J].Computational Linguistics，2003，29（3）：349-380.endprint

3 漢-維翻譯引擎流程

機(jī)器翻譯服務(wù)是該系統(tǒng)的核心部分，其主要分為訓(xùn)練模型和基于統(tǒng)計(jì)的翻譯模型兩部分。在訓(xùn)練模型時(shí)首先建立大量的維吾爾文語(yǔ)料庫(kù)，其次對(duì)已建立的維吾爾文語(yǔ)料庫(kù)，在SRILM算法的基礎(chǔ)上建立維吾爾語(yǔ)的語(yǔ)言模型。對(duì)平行語(yǔ)料庫(kù)進(jìn)行基于Mkcls算法的單詞分類。用GIZA++實(shí)現(xiàn)了IBM模型1～5的所有代碼，在生成源語(yǔ)言語(yǔ)目標(biāo)語(yǔ)言之間翻譯概率的同時(shí)，產(chǎn)生了翻譯模型。

翻譯模型時(shí)從漢文數(shù)據(jù)庫(kù)提取相應(yīng)的漢文信息。對(duì)漢文進(jìn)行詞法分析。通過(guò)Moses譯碼機(jī)實(shí)現(xiàn)漢-維翻譯，并顯示維吾爾文的翻譯結(jié)果。

4 漢-維翻譯引擎實(shí)驗(yàn)

4.1 實(shí)驗(yàn)材料

本文用的語(yǔ)料庫(kù)是針對(duì)國(guó)網(wǎng)新疆電力公司專用的科學(xué)用電常識(shí)、安全用電常識(shí)、節(jié)約用電常識(shí)、電力設(shè)施保護(hù)條例、中華人民共和國(guó)電力法、電力供應(yīng)與使用條例，電力設(shè)施保護(hù)條例，國(guó)家電網(wǎng)公司供電服務(wù)“十項(xiàng)承諾”，國(guó)家電網(wǎng)公司供電服務(wù)“十項(xiàng)承諾”。

實(shí)驗(yàn)所用訓(xùn)練模型需要的漢-維平行語(yǔ)料庫(kù)是對(duì)上述材料進(jìn)行訓(xùn)練得到的句子，共3萬(wàn)個(gè)，實(shí)現(xiàn)語(yǔ)言模型的維文句子6萬(wàn)個(gè)，實(shí)驗(yàn)測(cè)試漢文句子500個(gè)。

4.2 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)用的譯碼機(jī)是Moses系統(tǒng)，一般Moses系統(tǒng)結(jié)果評(píng)價(jià)分人工評(píng)價(jià)和自動(dòng)評(píng)價(jià)兩種，該文中我們采用國(guó)際評(píng)價(jià)標(biāo)準(zhǔn)BLEU（Bilingual Evaluation Understudy）和NIST（The National Institute of Standards and Technology）來(lái)評(píng)價(jià)翻譯結(jié)果。

5 結(jié)束語(yǔ)

通過(guò)對(duì)漢-維機(jī)器翻譯方法的研究和分析，該文提出了基于Moses的翻譯方法，并開發(fā)了相應(yīng)的自助繳費(fèi)終系統(tǒng)和終端硬件設(shè)計(jì)。硬件采用32位ARM11嵌入式工控板，充分考慮了終端的各功能和相應(yīng)的軟件措施。Moses方法的應(yīng)用提高了系統(tǒng)的翻譯準(zhǔn)確度和翻譯速度，已經(jīng)完全能勝任電力營(yíng)銷業(yè)務(wù)和其他信息的翻譯，由于漢-維語(yǔ)料庫(kù)的量在不斷地?cái)U(kuò)充中，會(huì)進(jìn)一步提高翻譯準(zhǔn)確率執(zhí)行速率。

參考文獻(xiàn)：

[1] Hsin-Hsi Chen，Yung-Wei Ding，Shih-Chung Tsai.Named Entity Extraction for Information Retrieval[J].Computer Processing of Oriental Languages， Special Issue on Information Retrieval on Oriental Languages ， 1998，12（1）：75-85.

[2] Keller F， Lapata M.Using the Web to Obtain Frequencies for Unseen Bigrams[J].Computational Linguistics， 2003，29（3）：59-484.

[3] Resnik P， Smith N A. The Web as a Parallel Corpus[J].Computational Linguistics，2003，29（3）：349-380.endprint

3 漢-維翻譯引擎流程

機(jī)器翻譯服務(wù)是該系統(tǒng)的核心部分，其主要分為訓(xùn)練模型和基于統(tǒng)計(jì)的翻譯模型兩部分。在訓(xùn)練模型時(shí)首先建立大量的維吾爾文語(yǔ)料庫(kù)，其次對(duì)已建立的維吾爾文語(yǔ)料庫(kù)，在SRILM算法的基礎(chǔ)上建立維吾爾語(yǔ)的語(yǔ)言模型。對(duì)平行語(yǔ)料庫(kù)進(jìn)行基于Mkcls算法的單詞分類。用GIZA++實(shí)現(xiàn)了IBM模型1～5的所有代碼，在生成源語(yǔ)言語(yǔ)目標(biāo)語(yǔ)言之間翻譯概率的同時(shí)，產(chǎn)生了翻譯模型。

翻譯模型時(shí)從漢文數(shù)據(jù)庫(kù)提取相應(yīng)的漢文信息。對(duì)漢文進(jìn)行詞法分析。通過(guò)Moses譯碼機(jī)實(shí)現(xiàn)漢-維翻譯，并顯示維吾爾文的翻譯結(jié)果。

4 漢-維翻譯引擎實(shí)驗(yàn)

4.1 實(shí)驗(yàn)材料

本文用的語(yǔ)料庫(kù)是針對(duì)國(guó)網(wǎng)新疆電力公司專用的科學(xué)用電常識(shí)、安全用電常識(shí)、節(jié)約用電常識(shí)、電力設(shè)施保護(hù)條例、中華人民共和國(guó)電力法、電力供應(yīng)與使用條例，電力設(shè)施保護(hù)條例，國(guó)家電網(wǎng)公司供電服務(wù)“十項(xiàng)承諾”，國(guó)家電網(wǎng)公司供電服務(wù)“十項(xiàng)承諾”。

實(shí)驗(yàn)所用訓(xùn)練模型需要的漢-維平行語(yǔ)料庫(kù)是對(duì)上述材料進(jìn)行訓(xùn)練得到的句子，共3萬(wàn)個(gè)，實(shí)現(xiàn)語(yǔ)言模型的維文句子6萬(wàn)個(gè)，實(shí)驗(yàn)測(cè)試漢文句子500個(gè)。

4.2 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)用的譯碼機(jī)是Moses系統(tǒng)，一般Moses系統(tǒng)結(jié)果評(píng)價(jià)分人工評(píng)價(jià)和自動(dòng)評(píng)價(jià)兩種，該文中我們采用國(guó)際評(píng)價(jià)標(biāo)準(zhǔn)BLEU（Bilingual Evaluation Understudy）和NIST（The National Institute of Standards and Technology）來(lái)評(píng)價(jià)翻譯結(jié)果。

5 結(jié)束語(yǔ)

通過(guò)對(duì)漢-維機(jī)器翻譯方法的研究和分析，該文提出了基于Moses的翻譯方法，并開發(fā)了相應(yīng)的自助繳費(fèi)終系統(tǒng)和終端硬件設(shè)計(jì)。硬件采用32位ARM11嵌入式工控板，充分考慮了終端的各功能和相應(yīng)的軟件措施。Moses方法的應(yīng)用提高了系統(tǒng)的翻譯準(zhǔn)確度和翻譯速度，已經(jīng)完全能勝任電力營(yíng)銷業(yè)務(wù)和其他信息的翻譯，由于漢-維語(yǔ)料庫(kù)的量在不斷地?cái)U(kuò)充中，會(huì)進(jìn)一步提高翻譯準(zhǔn)確率執(zhí)行速率。

參考文獻(xiàn)：

[1] Hsin-Hsi Chen，Yung-Wei Ding，Shih-Chung Tsai.Named Entity Extraction for Information Retrieval[J].Computer Processing of Oriental Languages， Special Issue on Information Retrieval on Oriental Languages ， 1998，12（1）：75-85.

[2] Keller F， Lapata M.Using the Web to Obtain Frequencies for Unseen Bigrams[J].Computational Linguistics， 2003，29（3）：59-484.

[3] Resnik P， Smith N A. The Web as a Parallel Corpus[J].Computational Linguistics，2003，29（3）：349-380.endprint