郭建芳

(1.中北大學人文社會科學學院,山西太原030051;2.華中師范大學語言與語言教育研究中心,湖北武漢430079)

從自然語言處理視域新探漢英詞類差異

郭建芳1,2

(1.中北大學人文社會科學學院,山西太原030051;2.華中師范大學語言與語言教育研究中心,湖北武漢430079)

擬從自然語言處理的角度探討21世紀漢語詞類劃分標準,詳細分析中文信息處理與漢語詞類研究的關系及其相互作用和影響,進而嘗試找出在此形勢下漢語和英語詞類研究存在的問題及差異,并對詞類問題研究的發(fā)展方向提出建議。

語言本體;自然語言處理;相互作用;詞類差異

1 中文信息處理研究現(xiàn)狀

早在計算機出現(xiàn)之前,英國數(shù)學家圖靈(A.M.Turing)就預見到未來的計算機將會對自然語言研究提出新的問題。21世紀是信息時代,信息時代的主要特點就是利用計算機來逐步減輕人的體力勞動和腦力勞動。早在20世紀90年代,我國就已明確提出了建造信息高速公路和研制智能計算機的任務。但不管是建造信息高速公路還是研制智能計算機都離不開語言學研究成果的支撐。目前,世界上已形成了三個研制智能計算機的中心:一是美國,二是日本,三是歐盟。在研制和開發(fā)智能計算機的過程中,它們都不約而同地將自然語言信息處理(Natural Language Processing,NLP)放在極其重要的地位。在計算機硬件技術突飛猛進的今天,真正成為語言信息處理技術中的“瓶頸”卻是語言信息的計算機處理。

中國在中文信息處理方面的研究起步較早,在20世紀50年代末、60年代初就已開始研究機器翻譯,且在當時還處于世界先進水平。進入80年代后,中文信息處理尤其是在漢字信息處理方面也有比較大的發(fā)展,而且在全國成立了一些研究機構(gòu),但中文文本的自動分詞(Cutting)和自動詞性標注(Tagging)一直是中文信息處理中最基本的兩大技術難題。從計算機技術的角度來說,目前已初步解決了自動分詞和自動詞性標注的問題。劉遷等在《中文信息處理中自動分詞技術的研究與展望》一文中提出中文文本自動分詞技術取得了令人矚目的成果,國內(nèi)也研制出了一些實用的自動分詞系統(tǒng)。這些系統(tǒng)在分詞的精確度(精度達到99%以上)和分詞速度(速度達到千字/s)方面都具有相當高的水平[1],但是漢語自動分詞技術卻依然面臨著“詞”概念模糊等實際困難。造成這些困難的根源之一是對于漢語詞類的劃分標準不一,即對于中文信息處理中詞類到底該按意義標準、形態(tài)標準、語法功能標準還是按綜合標準來實施,我國漢語學界一直存有不同的見解。

2 21世紀漢語詞類劃分問題

2.1 漢語的詞類劃分問題介紹

早在漢代中國學者就開始了漢語詞類問題的研究。由于受到西方思想及印歐語等體系的影響,中國學者對于漢語詞類問題的研究經(jīng)歷了許多坎坷。在漢語語法學史上,最早出現(xiàn)的詞類劃分是以意義為標準的劃分方法,代表作有馬建忠的《馬氏文通》[2]、黎錦熙的《新著國語文法》[3]、呂叔湘的《中國文法要略》[4]、王力的《中國語法理論》和《中國現(xiàn)代語法》[5]。馬建忠鑒于漢語沒有足以區(qū)分詞類的形態(tài)變化,主張根據(jù)意義劃分詞類。后來隨著漢語語法學研究的進一步發(fā)展,又出現(xiàn)了以漢語語法特點為標準的劃分詞類的方法以及多標準劃分詞類的觀點。然而直到今天,中國學者對于漢語詞類問題的劃分標準仍未達成一致意見。

2.2 21世紀漢語詞類劃分的研究

在20世紀50年代～70年代的漢語詞類劃分研究中占流的是由“詞匯·語法范疇”理論指導下的多標準論,20世紀80年代至今則是結(jié)構(gòu)主義語言學理論影響下的單一的語法功能標準論占主流的時期。

單一的語法功能(句法功能)標準最早由陳望道明確提出。早在“文法革新討論”時,他就提出只有功能標準才能劃分漢語詞類。朱德熙也是堅決主張根據(jù)單一的功能標準區(qū)分詞類的。他在《語法講義》里又進一步強調(diào)“漢語的詞分類不能根據(jù)形態(tài),只能根據(jù)詞的語法功能”[6]。他在《語法答問》里再次強調(diào)“劃分詞類的根據(jù)只能是詞的語法功能”[7]。胡裕樹本來主張區(qū)分詞類應以形態(tài)(指“廣義形態(tài)”)為標準,但在其主編的《現(xiàn)代漢語》提出分類的基本根據(jù)是詞的語法功能。田申瑛也認為詞類是詞在語法上的功能類別,主張以語法功能作為劃分詞類的根據(jù)或標準。郭銳也認為“詞的語法功能為劃類標準”[8]。

呂叔湘在大討論時傾向于把結(jié)構(gòu)關系作為分類的主要標準,然后兼顧形態(tài)、意義等標準(多標準),但在《漢語語法分析問題》中提出“漢語沒有嚴格意義的形態(tài)變化,就不能不主要依靠句法功能”,所以他也明確主張用“句法功能”做劃分詞類的依據(jù)[9]。邢福義在《詞類問題的思考》中提出“語法特征是劃分詞類、判別詞性的根本依據(jù)”[10]。詞的語法特征主要表現(xiàn)為詞具有組合能力。在《詞類辯難》中他認為“劃分詞類時,既要根據(jù)語法特點,又要參酌詞的意義,這樣才能做到準確、合理”[11]。

在漢語詞類劃分標準問題上,目前的研究現(xiàn)狀是單標準和多標準并存的局面,二者各有利弊。單標準難以做到窮盡劃分詞類,而多標準在判斷起來相對復雜一些,尤其對于計算機而言。

3 中文信息處理與詞類問題研究

3.1 中文信息處理與漢語本體研究

進入21世紀,中文信息處理的快速發(fā)展無疑給漢語本體研究帶來了巨大的挑戰(zhàn),但同時也對漢語本體研究發(fā)揮著巨大的推動和促進作用。

3.1.1 自動分詞對漢語本體研究的啟示

中文信息處理中的自動分詞跟漢語本體中的分詞的目標基本是一致的,但考慮到如何更有利于中文信息處理,中文信息處理中的分詞和漢語本體研究中的分詞不完全相同。比如,對于“二分之一”,按漢語本體研究的方法應切分為“二”、“分”、“之”、“一”,但在中文信息處理過程中處理為三部分,即“二”、“分之”、“一”。中文信息處理注定優(yōu)先考慮計算機識別和使用,因此對今后的漢語本體研究也是一種啟示。

3.1.2 詞性自動標注軟件現(xiàn)狀——以“小句”為最好的觀測點

詞性自動標注是中文信息處理的基礎平臺。毫無疑問,這個平臺的質(zhì)量直接決定了中文信息處理后續(xù)工程(包括機器翻譯、信息檢索、自動文摘等)的水平。實踐表明,現(xiàn)行的詞類體系無法滿足中文信息處理的需要,其弊端是非常明顯的。

溫鎖林在其《從詞性標注看小句的中樞地位》一文中明確提出歷史上曾出現(xiàn)過五種“本位”①語法學界曾出現(xiàn)的五種本位:馬建忠的“詞類本位”、黎錦熙的“句本位”、朱德熙的“詞組本位”、徐通鏘的“字本位”和邢福義的“小句本位”。,而以邢福義先生的“小句本位”得出的規(guī)則為詞性自動標注的準確率最高(98%),極其適合計算機識別[12]。

對于漢語這種缺乏形態(tài)變化的語言來說,詞的語法特點只有在小句中才能觀察得更為詳盡、準確。如果不把詞放在小句的大本營中觀察,視野不寬,對詞的語法性質(zhì)就可能把握不準,難以達到觀察、描寫和解釋的充分性。與語法學家所提出和使用過的幾種主要的語法描寫和表述系統(tǒng)相比,小句中樞說在中文信息處理中具有其獨到的優(yōu)勢。

3.1.3 句處理對漢語本體研究提出新要求

句處理所需要的漢語知識實際上是一種涉及到語音、語匯、語法、語義等方面的綜合性知識。目前,中文信息處理學界都深感漢語本體知識的匱乏,深知目前的漢語本體知識遠遠不能滿足中文信息處理的需要。而加強漢語本體研究,無疑會加快中文信息處理技術中句處理的進程。

3.1.4 語言研究形式化問題——用數(shù)學方法研究自然語言

計算機是根據(jù)人們給它編制的程序進行工作的。計算機沒有思維能力,它所能做的就是執(zhí)行命令,而且所有的指令都必須是精確的信息,它無法直接接受自然語言的指揮。于是,建立一種“一是一,二是二”的形式化的語言就成為人機溝通的必要途徑。也就是說,計算機在加工語言信息時首要的一條是要求語言形式化,只有形式化才能算法化、自動化。語言研究的形式化就是用數(shù)學或形式邏輯的方法來研究語言,即用符號、公式把紛繁復雜的具體的語言現(xiàn)象抽象化、概念化,然后把這種研究成果編成計算機可以識別的規(guī)則。

漢語的形式化研究任重而道遠。我們現(xiàn)在對漢語的研究還很不深入,很不透徹,對自己語言的認知、理解還缺乏精細的刻畫,所以我們距離漢語形式化的描寫、距離計算機對漢語理解的真正實現(xiàn)還有一段相當遙遠的路程,這有待于計算機技術的進一步提高,但最主要的還是語言本體研究的問題。

3.2 自然語言處理與英語詞類

3.2.1 英語詞類在自然語言處理中的問題

在英語中,大多數(shù)單詞都沒有歧義,所以在自然語言處理中通常只有一個單獨的標記。但在最常用的英語單詞中很多都是有歧義的。例如,can可以做助動詞,表示“能夠”,相當于英語中的“be able to”;也可以充當名詞,表示“罐頭”,相當于英語中的“a metal container”;也可以充當動詞,表示“把某物裝進罐頭中”,相當于英語中的“to put something in a metal container”。詞類標注主要是對于兼類詞進行消歧。兼類詞的判定實際上是在詞匯中進行詞類的消歧,兼類詞的消歧是英語自動分析中必須認真對待的問題[13]。

3.2.2 兼類詞的排歧

英語詞類在自然語言處理中最主要的問題就是兼類詞的排歧。兼類詞的排歧主要有三種方法:

1)從形態(tài)上進行排歧。英語是具有豐富形態(tài)變化的語言,所以英語中各類詞的形態(tài)變化不盡相同,對于發(fā)生了形態(tài)變化的兼類詞,可以通過形態(tài)變化方式來判定它們所屬的詞類。例如,list兼有動詞和名詞兩種詞性。但在例句:I have listed all the contents中,listed是過去分詞形式,而名詞list不可能有這樣的變化形式,因此斷定此時的listed是動詞,詞義表示“列出”,而不是表示詞義“目錄、名單”等名詞。

2)按照上下文所提供的語境進行排歧。所謂詞的上下文就是指詞的分布。詞的分布是一種廣義的形態(tài),可以反映詞的句法功能。在英語中,名詞前可以出現(xiàn)數(shù)詞、形容詞、限定詞,由此分布語境可以判定動詞-名詞兼類詞是名詞;在英語中,動詞前可以出現(xiàn)助動詞,據(jù)此可以判斷助動詞后面的動詞-名詞兼類詞是動詞。在英語中,形容詞前可以出現(xiàn)副詞,而名詞前面不能出現(xiàn)副詞,根據(jù)這樣的分布可以判定形容詞和名詞的兼類詞情況。

3)按照語義進行排歧。詞與詞之間的搭配關系從本質(zhì)上來講是存在著一定的優(yōu)先序列關系的。例如,在及物動詞 make(制作)之后是 list時,由于make之后一般為人或物(somebody or something),所以其后的作為動詞-名詞兼類詞的list可以判定是名詞。

3.3 自然語言處理中漢英詞類差異的研究

3.3.1 漢英詞類的本質(zhì)差異

眾所周知,語言可以根據(jù)其詞匯形態(tài)特征分為孤立語、粘著語、屈折語和綜合語等4種主要類型。漢語是一種相當接近于孤立語型的語言。從形態(tài)語與非形態(tài)語對立的角度來看,漢英詞類的語法功能是有很大差別的。一般說來,漢語語法關系主要是通過詞序和虛詞等手段表現(xiàn)的。英語主要是通過形態(tài)變化表現(xiàn)的;而在漢語中,則不存在嚴格意義上的形態(tài)變化,具體形態(tài)上的變化手段主要使用的是重疊。在漢語中大部分動詞以及部分形容詞可以重疊。例如:看看、說說、圓圓、漂漂亮亮等。另外,指人的名詞一般可加“們”,表示復數(shù);動詞能加“著”、“了”、“過”等。

與漢語相比,英語采用的主要語法手段有附加、內(nèi)部屈折和異根等,因為這些變化是在詞的內(nèi)部進行的,通常稱之為形態(tài)變化。例如,英語中名詞的數(shù)、性、格,動詞的時、體、態(tài),形容詞的比較級、最高級等,在表示不同語法意義時不是采用附加的方式就是采用內(nèi)部屈折或異根的方式(flower的復數(shù)是flowers,sleep的過去時slept,good的比較級better等)。與英語不同,漢語的動詞、形容詞可以在不進行任何形態(tài)變化的情況下放在主語或賓語的位置上。

雖然漢語和英語都利用前綴和后綴構(gòu)詞,但漢語的前綴和后綴規(guī)模小,數(shù)量少,而且種類不多,而英語無論是前綴還是后綴,都是規(guī)模大,數(shù)量多,種類齊全。形態(tài)構(gòu)詞在漢語中仍處于發(fā)展階段,具有較強的生命力,是漢語擴充詞匯量的一種輔助手段。雖然目前利用這種構(gòu)詞法構(gòu)成的派生詞在整個詞匯中占的比例還不是很大,但有增長的趨勢。英語的形態(tài)構(gòu)詞(詞綴法)是最能產(chǎn)的構(gòu)詞手段,是英語擴充詞匯量的主要方式,通過這種方式構(gòu)成的詞在整個英語詞匯中占的比例很大。但是漢語形態(tài)構(gòu)詞法中引進了句法關系,這是漢語形態(tài)構(gòu)詞的一大特點,動賓關系、動補關系、并列關系、偏正關系和主謂關系都在這種構(gòu)詞法中得到了運用。

3.3.2 自然語言處理中漢英詞類的差異

在自然語言處理中,鑒于英語單詞之間本身就有間隔,所以在自然語言處理中無需象漢語那樣進行分詞。同時,由于漢語屬于孤立語,英語屬于屈折語,漢英詞類之間的語法功能存在著很大的差別。英語主要是通過形態(tài)變化,而在漢語中則不存在嚴格意義上的形態(tài)變化。所以在詞性標注中,相比漢語而言,英語在更多的情況下可以根據(jù)形態(tài)的諸多形式來進行,其難度較漢語的要小得多。

3.4 漢語詞類劃分對中文信息處理的影響及發(fā)展走向

3.4.1 目前詞類劃分問題對于中文信息處理的影響

目前,影響中文信息處理的詞類問題的關鍵就是各家學派對于詞類劃分標準的觀點不一致,沒有統(tǒng)一的詞類劃分標準。

詞類和意義有著無法否認的密切聯(lián)系。這種聯(lián)系主要表現(xiàn)在詞的語法功能類和意義類大體是一致的。通常情況下,名詞用來表示事物,動詞用來表示動作、行為、變化,形容詞用來表示性質(zhì)、狀態(tài)。但如果把意義作為該類詞的分類標準的話,卻不能反過來說表示事物的詞是名詞,表示動作、行為、變化的詞是動詞,表示性質(zhì)、狀態(tài)的詞是形容詞。所以說把詞的意義作為劃分詞類的標準是不可行的,詞的意義在必要時只是可以作為一種參考而已。

形態(tài)指詞的形態(tài)變化,即構(gòu)詞和構(gòu)形的語法形式。漢語是一種缺乏形態(tài)標記的語言,所以在給漢語劃分詞類時,單純依靠詞的形態(tài)劃分詞類是不符合漢語本身的特點的,是行不通的。形態(tài)在劃分詞類上可以作為參考項,但不能作為主要評判標準。

朱德熙、陸儉明、邢福渝和胡明揚都提出了劃分詞類根本上要依據(jù)句法標準。但事實上,完全依據(jù)詞的語法功能并不能窮盡地把詞類劃分出來,例如“開外”、“見方”等詞。

漢語本身既缺乏形態(tài)標記,又有諸多一詞多意等復雜現(xiàn)象,因此,所有的單標準詞類劃分方法都很難窮盡劃分漢語的詞類。邢福義先生在《詞類辯難》中認為詞類要“根據(jù)詞的語法特點,結(jié)合詞的意義”來劃分,提出在判別詞性時應該考慮三方面因素:①詞的形態(tài);②組合能力;③造句功能;最后還可藝輔助參酌詞義。顯然,采用綜合標準可以窮盡劃分漢語詞類,但這對于中文信息處理的應用無疑是有一定難度的。

就中文信息處理而言,漢語詞類劃分存在兩個嚴重的問題:一是沒有統(tǒng)一的漢語詞類劃分標準;二是漢語詞類劃分系統(tǒng)沒有劃分詞類最窮盡、而且最容易掌握和使用的漢語詞類劃分標準。

3.4.2 漢語詞類問題發(fā)展方向

針對漢語詞類劃分中出現(xiàn)的問題,要想結(jié)合中文信息處理技術就是要簡化漢語詞類劃分問題和方法,劃分的方法越簡單越公式就越好,越是利于與計算機結(jié)合,越利于操作。根據(jù)我國目前詞類研究現(xiàn)狀,詞類劃分的主流還是要憑借功能形式來探求驗證功能意義作為最根本的原則。語法功能是個語法范疇,而語法范疇都是語法意義和語法形式的統(tǒng)一,所以無論是句法功能、語義功能還是語用功能,它們都既含有意義又含有表現(xiàn)意義的形式。意義是隱層的、內(nèi)蘊的,形式是表層的、外顯的。意義容易見仁見智,而形式比較顯豁,所以在給詞分類的時候,應該更多地憑借形式去探求、驗證。

在劃分詞類時,還要注意分清一般規(guī)律和特殊現(xiàn)象,即要分清一個詞的一般功能和特殊功能以及特定情況下的臨時用法。就句法功能而言,在靜態(tài)語境下的功能是一般功能,在動態(tài)語境下的功能在多數(shù)情況下跟一般功能一致,但有時也會出現(xiàn)跟一般功能不一致的情況。名詞的一般的句法功能是作主語和賓語,在一定條件下作謂語就是特殊功能,如“淑女”、“香港”在一般情況下是名詞,可以做主語和賓語,但在“她很淑女”、“他的發(fā)型很香港”中的“淑女”和“發(fā)型”是臨時用法,都臨時變成形容詞,從而可以與“很”結(jié)合充當句子的謂語成分。當然,詞的分類或定性應當根據(jù)詞的一般功能,而不是特殊功能和臨時用法。

3.4.3 關于詞類問題研究的幾點拙見

1)根植于漢語語法事實。漢語語法研究始終都是圍繞漢語語法事實來進行的。但有些漢語語法事實的重要現(xiàn)象至今仍未得到充分的觀察,有些漢語事實的本質(zhì)和客觀規(guī)律性至今仍未得到充分挖掘,因此對于詞類問題的研究仍會出現(xiàn)這樣那樣難以解決的問題。在今后的漢語語法研究中,我們?nèi)匀槐仨殘猿忠詽h語語法事實的客觀規(guī)律性作為漢語語法包括詞類在內(nèi)的根本原則以及最終目標。

2)加強理論性思考及理論和事實的互證。在當前發(fā)展日新月異的時代里,除了分析語法事實,我們還需要發(fā)揚創(chuàng)新精神,提出一些建設性的理論來。邢福義先生1997年1月在華中師范大學舉行的一次座談會上也認為“中國語言學的發(fā)展已經(jīng)到了需要更多地進行理論思考的階段?！币磺须x開了事實的理論都是灰色的。

3) 漢語特性和語言共性的有機結(jié)合。在現(xiàn)代漢語語法研究中一定要擺正漢語特性和語言共性的關系,決不要片面強調(diào)漢語的特性。簡單搬用西方普通語言學理論來處理漢語是不可取的;但片面地強調(diào)漢語的特性,也是不可取的。徐烈炯先生指出“語言學就是語言學。如果還要提倡‘有中國特色的語言學’,在 21世紀就會落后于別人。[14]”

4 結(jié) 論

自 1999 年以來 ,Intel、IBM、Microsoft、Motorola等國外大公司登陸并進駐北京、上海等城市,設立中文信息處理研究機構(gòu),來爭奪中文信息處理的制高點。許嘉璐指出,現(xiàn)在必須有組織、有計劃地為漢語言學界和中文信息界搭起一座橋,使雙方在很大的范圍內(nèi)走到一起,不但一起解決當前中文信息處理所遇到的語言學瓶頸問題,而且促使語言學的研究更面向?qū)嶋H、面向現(xiàn)代化,進而培養(yǎng)出一批高水平的跨學科人才。

中文信息處理研究和漢語本體研究兩者之間是密切相關、密不可分,并相互影響和相互促進的。漢語本體研究成果是中文信息處理研究的前提條件和基礎工作,而中文信息處理研究過程中出現(xiàn)的問題將引導或指導漢語本體研究進行更加深入的研究。同時,在自然語言處理中,英語詞類雖與漢語詞類有著很大的不同,但是仍然存在著很多共性。正是由于漢英語之間具有相似性,語言之間的翻譯才成為可能,在自然語言處理過程中才具有系統(tǒng)性。

[1]劉遷,賈惠波.中文信息處理中自動分詞技術的研究與展望[J].計算機工程與應用,2006(3):175-182.

[2]馬建忠.馬氏文通[M].北京:商務印書館,1998.

[3]黎錦熙.新著國語文法[M].北京:商務印書館,2000:15-16.

[4]呂叔湘.中國文法要略[M].北京:商務印書館,1982:16-18.

[5]王力.中國現(xiàn)代語法[M].北京:商務印書館,2000:17-18.

[6]朱德熙.語法講義[M].北京:商務印書館,1998.

[7]朱德熙.語法答問[M].北京:商務印書館,2007.

[8]郭銳.現(xiàn)代漢語詞類研究[M].北京:商務印書館,2004:111-118.

[9]呂叔湘.漢語語法分析問題[M].北京:商務印書館,2005:28.

[10]邢福義.邢福義學術論著選[G].武漢:華中師范大學出版社,1999:144.

[11]邢福義.詞類辯難[M].北京:商務印書館,2003.

[12]溫鎖林.從詞性標注看小句的中樞地位[J].漢語學報,2004(1):52-60.

[13]馮志偉.機器翻譯研究[M].北京:中國對外翻譯出版公司,2005:156.

[14]徐烈炯.語言學就是語言學[J].語言文字應用,1998(1):7-8.

On Further Exploration of Category Divergence Between Modern Chinese and English from NLP

GUO Jianfang1,2
(1.School of Humanities and Social Sciences,North University of China,Taiyuan030051,China;2.Center for Language&Language Education,Central China Normal University,Wuhan430079,China)

From the perspective of Natural Language Processing,the author explores the criteria of modern Chinese,and makes a full analysis of interrelation and interaction between the study of Natural Language Processing and category in Chinese,in order that category divergence can be found.Therefore,some helpful suggestions can be proposed.

ontological language;natural language processing;interaction;category divergence

H313

A

10.3969/j.issn.1673-1646.2011.02.023

1673-1646(2011)02-0098-05

2010-09-19

國家社科基金資助項目:基于網(wǎng)絡媒體監(jiān)測語料庫(漢語)的性別語言比較研究 (09BYY018)

郭建芳(1977-),女,講師,博士生,從事專業(yè):中外語言比較。