朱琳 戴玉剛 李艾林 郝大鵬
摘 要: 本文以電子商務(wù)為平臺,以藏語和漢語語言特點為基礎(chǔ),以藏漢雙語可比語料為資源,分析當(dāng)前自然語言處理技術(shù),把雙語詞典和主題空間模型相結(jié)合,搭建藏漢跨語言信息檢索總體框架。為下一步把多語言電子商務(wù)、跨語言檢索、民族自然語言處理技術(shù)進(jìn)行結(jié)合提供了新的思路和途徑。
關(guān)鍵詞:電子商務(wù) 跨語言檢索 雙語詞典 主題空間模型
中圖分類號:TP391.3 文獻(xiàn)標(biāo)識碼:A 文章編號:1003-9082(2016)06-0015-02
一、引言
跨語言信息檢索(Cross Language Information Retrieval,CLIR),就是當(dāng)用戶用一種語言輸入要檢索的信息時,檢索的信息也可以用另外一種語言進(jìn)行呈現(xiàn)。它是一種打破語言障礙,涉及語言學(xué)、計算機(jī)科學(xué)、數(shù)學(xué)等多門學(xué)科知識進(jìn)行檢索信息的技術(shù)[1]。
1973年,G..Salton先生發(fā)表的《Experiments in multilingual information retrieval》,是對這項技術(shù)的最早研究。當(dāng)時所研究的檢索主要是對國際聯(lián)機(jī)進(jìn)行的,另外加上檢索系統(tǒng)不普及等因素,并沒有引起人們的關(guān)注。90年代后期,隨著Internet的迅猛發(fā)展, Internet的全球化信息結(jié)構(gòu)引發(fā)了人們對跨語言信息檢索的迫切需要,此時這項檢索技術(shù)真正成為了研究熱點[2]?,F(xiàn)在,許多公司都把檢索技術(shù)應(yīng)用到電子商務(wù)中,比如京東,雅虎,阿里巴巴等,但把跨語言技術(shù)應(yīng)用到電商中卻寥寥無幾,這與民族自然語言的特點與難點有關(guān),由于民族自然語言的特殊性,國外的一些自然語言處理技術(shù)研究成果也無法應(yīng)用到對國內(nèi)民族語言進(jìn)行處理。而針對藏漢跨語言檢索的研究成果更是甚少,所以把民族語言處理技術(shù)、跨語言檢索技術(shù)等應(yīng)用到面向電子商務(wù)中愈來愈重要。
二、搭建面向電子商務(wù)平臺的藏漢跨語言信息檢索總體框架
用戶輸入查詢語后,如何在查詢語和檢索語之間搭建有效的橋梁樞紐,就是跨語言信息檢索技術(shù)研究的最核心最關(guān)鍵的問題[3]。本文擬融合字典和語料庫兩種技術(shù)來實現(xiàn)跨語言信息檢索模型的研究,從而克服單種方法的不足。本文采用了一種基于翻譯的技術(shù)進(jìn)行CLTR,這種技術(shù)的一個顯著特點就是將翻譯過程和檢索過程分離,即:先借助于跨語言的語義資源或者機(jī)器翻譯系統(tǒng)將語言內(nèi)容翻譯成目標(biāo)語言表示的內(nèi)容,然后使用成熟的單語言信息檢索模型進(jìn)行檢索[4]。其分離的翻譯過程將導(dǎo)致目標(biāo)語言的語義空間與原始語義空間的語義偏離。為了解決語義偏離問題,本文引入雙語主題模型技術(shù),將目標(biāo)語言的語義空間與原始語義空間的語義進(jìn)行相似性計算。
三、構(gòu)建藏漢可比語料庫
藏漢雙語平行資源嚴(yán)重不足或沒有是當(dāng)前所面臨的嚴(yán)峻問題,可比語料具有來源廣、涉及領(lǐng)域全面、內(nèi)容豐富、易獲取等特點。本文擬建立面向跨語言信息檢索的藏漢可比語料庫,同時也可以為藏漢機(jī)器翻譯、雙語詞對和術(shù)語抽取、構(gòu)建語義詞典等研究提供基礎(chǔ)資源。主要從兩個方面進(jìn)行開展:1)從國內(nèi)公開發(fā)布的雙語電商網(wǎng)站搜集藏漢農(nóng)產(chǎn)品雙語語料;2)首先從互聯(lián)網(wǎng)上搜集藏語農(nóng)產(chǎn)品語料,然后進(jìn)行聚類,識別出相應(yīng)的主題,然后根據(jù)主題詞,人工翻譯成中文,據(jù)此采集相應(yīng)的中文農(nóng)產(chǎn)品語料。
本文主要從兩個方面進(jìn)行考慮:
(1)從支持藏漢雙語的網(wǎng)站上進(jìn)行采集
①搜集網(wǎng)頁:確定藏漢雙語主題相同的候選網(wǎng)站的平行網(wǎng)頁,設(shè)計網(wǎng)頁爬蟲程序自動從這些網(wǎng)站盡可能提取藏漢雙語主題平行的網(wǎng)頁;
②提取網(wǎng)頁內(nèi)容:分析各網(wǎng)站的網(wǎng)頁結(jié)構(gòu),并過濾非文本內(nèi)容,主要提取網(wǎng)頁的 Title、Body 和Time等內(nèi)容,進(jìn)行格式轉(zhuǎn)換,添加標(biāo)記,最后生成 XML 文件。
③XML 文件預(yù)處理:XML 文件進(jìn)行初步的預(yù)處理,包括去除僅有單語言的文件、網(wǎng)頁去重、非法字符過濾等。然后進(jìn)行一些必要的人工檢查和初的統(tǒng)計。如,刪除每個文件中的圖片標(biāo)題、錨文本等不相關(guān)的文本內(nèi)容;
④文檔對齊:對預(yù)處理后的 XML 文件進(jìn)行文檔自動對齊,對結(jié)果進(jìn)行人工檢查和校對。
⑤文檔類別標(biāo)注:目的是為了后續(xù)進(jìn)行跨語言分類分類和聚類的研究,從而建立跨語言文本分類語料庫,先對部分藏漢雙語文檔使用 K-Means 算法聚類分析,確定文檔的類別。使用 SVM 分類模型訓(xùn)練已標(biāo)注類別的文檔,然后對未標(biāo)注的文檔進(jìn)行類別標(biāo)注。根據(jù)文檔內(nèi)容進(jìn)行人工類別標(biāo)注進(jìn)行校對和調(diào)整。
(2)先從互聯(lián)網(wǎng)上的藏文網(wǎng)站采集有關(guān)藏文農(nóng)產(chǎn)品新聞?wù)Z料,然后對藏文新聞?wù)Z料進(jìn)行聚類分類,再找出類別主題詞,將聚類出的所有類別的主題詞翻譯成中文,根據(jù)中文主題詞搜索采集與之對應(yīng)主題的中文可比語料。具體的可比語料存儲舉例如下所示:
1.雙語相似性主題詞抽取和共現(xiàn)主題詞統(tǒng)計
本文針對文檔主題對偶空間的表示和構(gòu)建進(jìn)行重點研究:綜合考慮雙語可比語料庫的語義特性,即通過提取雙語主題對構(gòu)造主題對偶空間,由此構(gòu)建詞的語義關(guān)系和文檔的語義關(guān)系。在信息檢索中,一個主題(或者概念)可以理解為描述該主題的關(guān)鍵詞項集合。本質(zhì)上,除關(guān)鍵詞項外的其余詞與主題存在一定的相關(guān)性,在建模時賦予關(guān)鍵詞更大的權(quán)重,而其余詞賦予更小的權(quán)重。假如只考慮線性空間的方式,一個主題則表示為所有詞項表的線性組合。
本文通過實驗需設(shè)置一個閾值,并從雙語主題中分別找出權(quán)重大于的詞項(主題詞),并根據(jù)這些主題詞在文中的位置、上下文關(guān)系進(jìn)行篩選,然后構(gòu)建雙語主題相關(guān)的主題詞對應(yīng)關(guān)系,本文稱之為相似性主題詞。根據(jù)抽取出的雙語主題詞,將其返回到與之對應(yīng)的篇章結(jié)構(gòu)當(dāng)中,找出主題詞所在句子中的上下文中的相關(guān)詞,構(gòu)建共現(xiàn)詞網(wǎng)絡(luò)。
2.基于藏漢雙語電子詞典的跨語言檢索技術(shù)研究
本文采用基于詞典的查詢翻譯策略,把藏漢雙語電子詞典與雙語相似性主題詞對進(jìn)行結(jié)合。對于每個源語查詢項,可以用電子詞典中自動抽取的一種或多種目標(biāo)語翻譯進(jìn)行替換[6],獲取相應(yīng)的正確目標(biāo)語翻譯知識,這樣就在源語詞典以及目標(biāo)語詞典之間建立起鏈接,對譯詞在目標(biāo)語生成過程中就能獲取。另外,為了提高搜索的召回率,在查詢處理策略方面,根據(jù)現(xiàn)代同義詞電子詞典查詢的擴(kuò)展,再通過詞共現(xiàn)網(wǎng)絡(luò)進(jìn)行消歧。
結(jié)語
中國是擁有56個民族語言的大國,把民族自然語言加入到現(xiàn)代科技信息技術(shù)中,促進(jìn)了語言應(yīng)用領(lǐng)域的拓展和原有應(yīng)用領(lǐng)域的發(fā)展。本文通過分析研究自然語言處理的相關(guān)知識和技術(shù),構(gòu)建了面向電子商務(wù)平臺的藏漢跨語言信息檢索框架。本文研究工作還有很多不足之處,但為多種民族語言信息處理技術(shù)應(yīng)用到其他領(lǐng)域提供了很好的實例和基礎(chǔ),進(jìn)而打破語言障礙,增進(jìn)各民族交流,加快社會經(jīng)濟(jì)發(fā)展和民族文化的進(jìn)步。
參考文獻(xiàn)
[1]王曉偉.基于機(jī)器翻譯的查詢結(jié)果Rerank技術(shù)[D].內(nèi)蒙古大學(xué),2011.
[2]郭宇鋒.跨語言信息檢索在機(jī)器人信息數(shù)據(jù)庫中的應(yīng)用研究[D].上海交通大學(xué),2006.
[3]鞏文婧.基于語言模型的跨漢蒙信息檢索技術(shù)研究[D].內(nèi)蒙古大學(xué),2012.
[4]朱培焱,夏棟梁.漢英跨語言信息檢索研究[J].計算機(jī)與現(xiàn)代化,2011,08:13-16.
[5]趙耀紅.基于向量空間模型的信息檢索系統(tǒng)的研究與實現(xiàn)[J].長春大學(xué)學(xué)報(自然科學(xué)版),2009,08:25-27.
[6]楊輝,張玥杰,張濤.基于詞典的英漢雙向跨語言檢索方法[J].計算機(jī)工程,2009,16:273-277.
作者簡介:朱琳(1990.9-),山東菏澤人,女,碩士研究生,研究方向為智能信息服務(wù)系統(tǒng)。