■張成智／河北大學外國語學院

一、多模態(tài)語料庫的定義

語料庫可以分為單模態(tài)和多模態(tài)兩種。單模態(tài)語料庫是純文本語料庫。在國內(nèi)，諸多學者在單模態(tài)語料庫的研制、應(yīng)用和普及等方面做出了開拓性的貢獻（王克非、秦洪武，2017；胡開寶，2017,2011；梁茂成，2010；秦洪武，2010；劉澤權(quán)，2008）。多模態(tài)語料庫是單模態(tài)語料庫的新發(fā)展，它是指音頻、視頻和文字語料等多種信息集成，研究者可以通過多模態(tài)方式加工、檢索和統(tǒng)計進行相關(guān)研究的語料庫（顧曰國，2013）。具體而言，多模態(tài)語料庫（Multimodal Corpus）是指包含經(jīng)過轉(zhuǎn)寫、處理與標注的語言文本及與文本緊密關(guān)聯(lián)的音視頻數(shù)據(jù)庫，目的在于采用實證的方法系統(tǒng)地研究語言符號與非語言符號之間的相互作用（Heiss &Soffritti，2008； Sotelo Dios, 2012）。 其內(nèi)涵已超出了Biber等人所定義的語料庫范疇——“口語或書面語文本的大規(guī)模集合”，而是“經(jīng)過標注的不同交際渠道協(xié)同的數(shù)據(jù)集合，包括話語、目光、手勢、身體姿勢等，而且通常是基于直接記錄的人類行為”（Foster et al.2007:307）。

二、國內(nèi)多模態(tài)語料庫的建設(shè)現(xiàn)狀

多模態(tài)語料庫是語料庫語言學中正在興起的一個分支，我國的多模態(tài)語料庫建設(shè)還在起步階段，其中顧曰國（2017）領(lǐng)銜研制的現(xiàn)場即席話語多模態(tài)語料庫、癡呆老人話語多模態(tài)語料庫等開創(chuàng)了國內(nèi)多模態(tài)語料庫研制與應(yīng)用的先河。近年來，國內(nèi)有學者也陸續(xù)研制了特色各異的多模態(tài)語料庫，如謝楠、張笛（2017）研制的漢語兒童多模態(tài)口語語料庫，金艷妮（2013）以教學錄像為材料構(gòu)建的小型多模態(tài)英語詞匯教學語料庫，彭娟娟（2013）以優(yōu)秀英語教師視頻為材料研制的多模態(tài)語料庫，張立新（2012）以課堂教學錄像為材料創(chuàng)建的多模態(tài)語料庫，潘鳴威（2010）制作的理工科大學生英語多模態(tài)語料庫等等。盡管如此，我國多模態(tài)語料庫依然奇缺，四大名著是我國傳統(tǒng)文學經(jīng)典，建設(shè)相關(guān)的多模態(tài)語料庫意義重大，可惜迄今為止還沒有學者做過相關(guān)嘗試。顧曰國（2016, 2015, 2014,2013, 2007）在多模態(tài)語料庫的理論、方法、研制和應(yīng)用前景等領(lǐng)域做出了開創(chuàng)性的貢獻。張德祿（2012, 2010,2009）在多模態(tài)話語分析、多模態(tài)文體學等領(lǐng)域作了引領(lǐng)性的研究。當然還有不少學者就多模態(tài)語料庫的研制方法、策略，用途，以及多模態(tài)語料庫在國內(nèi)外的研制概況做了介紹和整理（劉劍，2017；王正，張德祿，2016；黃立鶴，2015；劉劍，胡開寶，2015；張霄軍，2007）。盡管如此，國內(nèi)多模態(tài)語料庫的研究依然十分缺乏，相關(guān)文獻以綜述和評介居多，實證研究偏少。

三、國外多模態(tài)語料庫的建設(shè)現(xiàn)狀

在國外，多模態(tài)語料庫研制取得了豐碩的成果，如丹麥NOMCO多模態(tài)語料庫（Boholm & Allwood, 2010）、希臘PlayMancer多模態(tài)語料庫（Kostoulas,et al., 2010）、西班牙OSA多模態(tài)語料庫（Fernández et al., 2008）、日本嬰兒行為多模態(tài)語料庫（Kitazawa, et al., 2008）、歐盟AMI多模態(tài)語料庫（Carletta,2007）、德國SmartWeb多模態(tài)語料庫（Mogele, et al., 2006）。這些語料庫用于探索語言習得、人機互動、疾病診斷等目的。盡管有科研團隊以電視劇為語料建設(shè)多模態(tài)語料庫，但是還沒有學者以名著改編電視劇為基礎(chǔ)建設(shè)多模態(tài)語料庫。在多模態(tài)語料庫的應(yīng)用研究方面，不少學者對多模態(tài)語料庫的發(fā)展趨勢、功能和作用進行了介紹和 分 析（ Malisz,2016；Br?ne & Oben,2015; Bateman, 2014；Knight, 2011,2008, 2009），還有學者對多模態(tài)語料庫的建設(shè)方法和相關(guān)工具軟件的使用和技巧等方面進行了討論（Lihe Huang,2017; Campbell，2009；Baldry, Thibault,2006）、或者探索如何利用多模態(tài)語料庫促進語言學習（Ackerley & Coccetta，2007）。盡管上述多模態(tài)語料庫分別從語言學習、人機互動等多方面進行了富有成果的探索，但還沒有團隊將單模態(tài)語料庫和多模態(tài)語料庫相結(jié)合，開展語言研究。

綜上所述，多模態(tài)語料庫在國內(nèi)和國外已經(jīng)日益引起重視，但是目前無論國內(nèi)還是國外，大規(guī)模的多模態(tài)語料庫十分缺乏，多模態(tài)雙語平行語料庫更加罕見。多模態(tài)語料庫是單模態(tài)語料庫的發(fā)展和深化。多模態(tài)語料庫也是語料庫的高級形式和未來研究的重要趨勢。