摘 要：自20世紀(jì)90年代起，網(wǎng)絡(luò)用作語料庫（Web as Corpus，簡稱WaC）已經(jīng)成為獲取大量文本數(shù)據(jù)的主要方式，其分析研究可被用作驗證很多語言學(xué)假設(shè)的證據(jù)，其他應(yīng)用方法還包括：自然語言處理工具和方法的評估，計算機(jī)詞典編纂，以及對趨勢或話題監(jiān)測的大量文本實操分析?；诰W(wǎng)絡(luò)來構(gòu)建語料庫的優(yōu)勢有很多，例如低成本、效率高、實效好；但其弊端依然顯著，例如，非常有限的源數(shù)據(jù)（metadata）、難以自動化清理網(wǎng)絡(luò)文本內(nèi)容等。這篇文獻(xiàn)綜述聚焦網(wǎng)絡(luò)用作語料庫過往相關(guān)研究，尤其是WaC經(jīng)典示例和爬蟲技術(shù)所面臨的挑戰(zhàn)。

關(guān)鍵詞：網(wǎng)絡(luò)用作語料庫 （Web as Corpus/WaC）；語料庫語言學(xué)（Corpus Linguistics）；語料庫構(gòu)建（Corpus construction）；爬蟲（Crawling）

作者簡介：張世偉，英國肯特大學(xué)精算學(xué)研究生，外國語言學(xué)及應(yīng)用語言學(xué)專業(yè)在讀。

一、前言

語料庫語言學(xué)（Corpus Linguistics）通常是指為了語言學(xué)研究的目的，以一種有原則的方式對機(jī)器可讀的口語和書面語言樣本進(jìn)行的研究。語料庫語言學(xué)的研究對象是自然語言，它關(guān)注真實語境中的語言使用情況。因此，它經(jīng)常與喬姆斯基的語言學(xué)觀點形成對比，后者強(qiáng)調(diào)語言能力，并經(jīng)常以虛構(gòu)的例子作為探索語言的基礎(chǔ)。

在20世紀(jì)60年代，一百萬詞的Brown語料庫開啟了基于基于計算機(jī)的語言學(xué)研究；隨后到80年代初期，Sinclair 和 Atkins的COBUILD項目語料庫達(dá)到了八百萬詞；再有自從1988年起Atkins帶頭建構(gòu)的British National Corpus （BNC）的詞容量達(dá)到1億詞；1989年，語料庫發(fā)展開始進(jìn)入計算機(jī)語言學(xué)階段，雖然初期很多人質(zhì)疑它的學(xué)科性，但1993年Computational Linguistics - Association for Computational Linguistics期刊發(fā)表的Church與Mercer合著的Using Large Corpora一文有很大反響；在1999年的ACL會議上，網(wǎng)絡(luò)在語料庫中的應(yīng)用才開始被廣泛討論，網(wǎng)絡(luò)語料庫研究才慢慢多起來。

二、網(wǎng)絡(luò)用作語料庫的經(jīng)典案例

2005年英國伯明翰大學(xué)舉辦的WaC研討會上曾有專家指出，網(wǎng)絡(luò)用作語料庫（WaC）的主要模式分三類：

1.通過搜索引擎獲得特定關(guān)鍵詞的使用次數(shù);

2.在引擎檢索網(wǎng)頁上檢索關(guān)鍵詞，將搜索結(jié)果下載下來， 分析歸納整理建成一個新的語料庫;

3.利用網(wǎng)絡(luò)爬蟲技術(shù)，搭建一個可以同時間處理海量數(shù)據(jù)的特定檢索語料庫引擎。

本文列舉了幾個比較有代表性的網(wǎng)絡(luò)用作語料庫（WaC）案例：

（一）WebCorp

WebCorp語料庫 （又稱“WebCorp Live”），是由Birm-ingham City University的英語研究發(fā)展部門（RDUES）于1998年創(chuàng)建，并一直維護(hù)至今，被語料庫學(xué)者、詞典編纂者、語言老師和學(xué)生、出版商、記者、廣告商和其他領(lǐng)域的研究者廣泛使用。它提供一系列的分析工具，允許用戶將互聯(lián)網(wǎng)當(dāng)作一個語料庫，其從互聯(lián)網(wǎng)上抓取語言數(shù)據(jù)，揭露某個詞匯或短語是如何使用的，提供給用戶一個有質(zhì)量保證的原始的或分析后的語言學(xué)輸出，尤其針對無法在字典或傳統(tǒng)語料庫中展現(xiàn)的一些新詞或生僻詞。通過從互聯(lián)網(wǎng)頁面抓取檢索表（concordance lines），WebCorp界面提供給用戶很多可自定義的語言研究功能。

（二）iWeb

iWeb語料庫，是由Brigham Young University于2018年發(fā)布，抓取了近9萬5千個網(wǎng)站的2200多萬的網(wǎng)頁的文本，其庫容有140億詞，是COCA語料庫（5.6億詞）的25倍，是英國國家語料庫BNC（1億詞）的140倍。該語料庫提供了前6萬個高頻詞的詳覽功能，用戶可聽其發(fā)音，觀看語境視頻和該詞的谷歌相關(guān)圖片，還具有翻譯成其他語種和單詞收藏功能等。此外，用戶輸入關(guān)鍵詞后，iWeb其檢索僅需2-3秒，便可生成一個“虛擬語料庫”，提供多種有用信息，包括頻次、定義、同義詞、詞網(wǎng)條目、關(guān)聯(lián)話題、搭配詞、詞塊、索引行和相關(guān)網(wǎng)站，該語料庫受到眾多語言學(xué)習(xí)者、教師和研究人員的歡迎。

（三）WaCky

WaCky（The Web-As-Corpus Kool Yinitiative）語料庫由University of Bologn創(chuàng)建和維護(hù)，其是基于網(wǎng)絡(luò)文本資源構(gòu)建的幾個語料庫的集合，包括ukWaC（英語）、deWaC （德語）、itWaC （意大利語）、frWaC （法語），既可提供在線檢索界面，又可以下載完整的語錄庫原生數(shù)據(jù)。其中ukWaC其庫容有20億詞，其只爬取以“.uk”結(jié)尾的英國域名網(wǎng)站，以及將BNC的中頻詞（medium-frequency words）作為“種子”，該語料庫可通過TreeTggger將文本進(jìn)行詞性標(biāo)記（POS-tagging）和詞形還原（lemmatization）。

（四）KWiCFinder

KWiCFinder（Key Word in Context） 在線搜索工具，在1999年的CALICO會議上正式發(fā)布，其通過一個單獨的程序創(chuàng)建研究結(jié)果的緩存副本，該程序需要下載并在桌面上運行。通過上文提到的在線工具，可以收集詞表、詞性、搭配的主要信息，以及URL、時間、文本域的開銷信息，作為語料庫的來源。從這個角度來看，網(wǎng)絡(luò)不僅是語料庫的“surrogate替代品”，也是語料庫文本的來源。因為第三代語料庫的數(shù)據(jù)不限于印刷文本，而是電子文本，這比印刷文本更容易獲得，以節(jié)省勞動力成本和語料庫建設(shè)費用。遺憾的是，KWiCFinder目前已經(jīng)不再繼續(xù)維護(hù)和更新了，只能對其已涵蓋的文本進(jìn)行相應(yīng)研究。

三、網(wǎng)絡(luò)用作語料庫中爬蟲技術(shù)面臨的挑戰(zhàn)

搭建互聯(lián)網(wǎng)用作語料庫（Web as a Corpus）的4個步驟：

Select the “seed” URLs

Retrieve pages by crawling

Clean up the data

Annotate the data

爬蟲（crawling）是一個簡單的過程；然而，只有復(fù)雜的程序?qū)崿F(xiàn)才能讓人成功地進(jìn)行大規(guī)模爬網(wǎng)。當(dāng)前爬蟲技術(shù)面臨以下6個方面挑戰(zhàn)：

效率：當(dāng)檢索到更多頁面時，發(fā)現(xiàn)的URL隊列會變得非常大。因此，爬蟲程序必須能夠以內(nèi)存高效的方式管理如此大的列表。

重復(fù)：爬蟲程序必須確保只將尚未看到的URL添加到列表中。

原則：爬蟲程序必須遵守網(wǎng)站管理員在網(wǎng)站機(jī)器人中指定的指令txt文件。然而，它也應(yīng)該避免在短時間內(nèi)用數(shù)千個請求敲打同一個站點，并提供聯(lián)系爬網(wǎng)所有者的簡單方法。

陷阱：爬蟲程序應(yīng)該避免“蜘蛛陷阱”，即試圖阻止它的惡意網(wǎng)站，例如，通過引誘它進(jìn)入一個循環(huán)，它將繼續(xù)下載帶有隨機(jī)文本的動態(tài)生成頁面。

定制：爬蟲器應(yīng)該易于定制，并且考慮到大型爬蟲程序可能需要幾周時間才能完成，因此應(yīng)該可以監(jiān)控正在進(jìn)行的爬蟲，動態(tài)更改參數(shù)。

文件處理：考慮到一個大型爬網(wǎng)將檢索數(shù)百萬個文檔，爬網(wǎng)程序應(yīng)該以智能的方式處理檢索到的數(shù)據(jù)。

2022年5月，在法國馬賽舉行的第12屆網(wǎng)絡(luò)用作語料庫研討會上，Barbaresi等WAC詳細(xì)論述了當(dāng)前在擴(kuò)大素描引擎（Sketch Engine）的背景下構(gòu)建網(wǎng)絡(luò)語料庫，網(wǎng)絡(luò)爬?。╳eb crawling）文本信息時可能面臨的困難和挑戰(zhàn)，并對應(yīng)對辦法進(jìn)行了討論，主要包括以下幾個方面：

機(jī)器翻譯普遍存在于網(wǎng)絡(luò)，翻譯質(zhì)量較低，尤其是小眾語種的翻譯。

應(yīng)對方法：采用半自動化方法，即讓以該小眾語種為母語的人員檢查語料庫詞庫。

垃圾網(wǎng)站的存在也會將非自然的和不需要的內(nèi)容帶入到語料庫中，并且這些垃圾網(wǎng)站在與標(biāo)準(zhǔn)的商業(yè)搜索引擎“對弈”的這些年中，也在不斷地提供自己的文本生成算法，包括使用NLP方法。

應(yīng)對方法：其實一個有經(jīng)驗的NLP工程師在幾分鐘內(nèi)就可以甄別出是否是垃圾網(wǎng)站；選擇可信的種子域（seed domains）去爬蟲；語料庫研究者利用搭配（collocations）、正則表達(dá)式（regular expression）等分析工具去甄別出垃圾網(wǎng)站內(nèi)容，并批量剔除掉。

當(dāng)用瀏覽器從網(wǎng)絡(luò)上爬取文本時，一般來說，瀏覽器都對這些文本進(jìn)行了渲染（rendered）以保證用戶瀏覽的體驗感和功能性，但這就會使得爬蟲處理速度下降。

應(yīng)對方法：以headless模式運行該瀏覽器，這樣文本就會被以HTML形式展現(xiàn)；只要大部分網(wǎng)站不停止為非智能手機(jī)提供文本回退（textual fallback）功能，問題就可以得到解決。

越來越多優(yōu)質(zhì)的報紙或新聞網(wǎng)站已不再免費，需要用戶付費訂購或給予限量的免費閱讀權(quán)限，如果將來這些優(yōu)質(zhì)文本都需要付費，那互聯(lián)網(wǎng)語料庫的建設(shè)成本將會大大提高。

應(yīng)對辦法：只要某一領(lǐng)域的免費文本資源依然占據(jù)多數(shù)，那就不會成為大問題。

參考文獻(xiàn)：

[1]Baroni M， Bernardini S， Ferraresi A， Zanchetta E. The WaCky Wide Web： A Collection of Very Large Linguistically Processed Web-Crawled Corpora[J]. Language Resources and Evaluation， 2009（3）：209-226.

[2]Kilgarriff A， Grefenstette G.Introduction to the special issue on the Web as corpus[J]. Computational Linguistics， 2003（3）：333-347.

[3]Wette. The Routledge handbook of applied linguistics [Book Review][J]. New Zealand Studies in Applied Linguistics， 2014（1）：62-63.

[4]丁政.互聯(lián)網(wǎng)用作語料庫的原理與實踐[J].洛陽師范學(xué)院學(xué)報，2008（2）：93-95.