常慧文

(北京航空航天大學(xué)外國語學(xué)院，北京100083)

引言

近年來，隨著科學(xué)技術(shù)的發(fā)展進(jìn)步，越來越多的多媒體語篇呈現(xiàn)在大眾面前，它們包含文本、圖像、聲音和動(dòng)畫，稱為多模態(tài)語篇。多模態(tài)語篇分析是對傳統(tǒng)“話語分析”的繼承和發(fā)展，因?yàn)樗粌H分析語言，還將圖像、聲音、動(dòng)作、建筑等納入分析范圍，研究其意義的表達(dá)。這一新的研究領(lǐng)域，受到了國內(nèi)外許多學(xué)者的關(guān)注。本文以一則視頻公益廣告——“垃圾分類”廣告為研究對象，以Royce的符際互補(bǔ)理論為框架，分析多模態(tài)公益廣告語篇的圖像模態(tài)和語言模態(tài)如何構(gòu)建概念意義，希望可以深入了解不同模態(tài)如何相互作用共同表達(dá)一致的概念意義

1.文獻(xiàn)綜述

對多模態(tài)語篇的研究始于上個(gè)世紀(jì)九十年代。以Kress和Van Leeuwen為代表的系統(tǒng)功能語言學(xué)家根據(jù)韓禮德的語言三大元功能理論提出了分析視覺意義的視覺語法，為分析圖像模態(tài)提供了理論框架(Kress＆Van Leeuwen 1996);Van Leeuwen(1999)又提出了聽覺語法，認(rèn)為聽覺符號同樣具有類似語言的三大元功能;O'Halloran(2005)研究了數(shù)學(xué)語篇中意義的構(gòu)建。O'Toole(1994)在其著作中運(yùn)用社會符號學(xué)理論對繪畫、雕塑等藝術(shù)作品進(jìn)行了多模態(tài)分析。在中國，胡壯麟(2006:3－12)，李戰(zhàn)子(2003:1－8)，張德祿(2009:24－30)，朱永生(2007:82－86)等語言學(xué)家在這一領(lǐng)域也做了大量理論和實(shí)踐研究。在國內(nèi)外許多語言學(xué)家的共同努力下，多模態(tài)領(lǐng)域的研究在不斷地發(fā)展和進(jìn)步。但是這些研究大多只關(guān)注各個(gè)模態(tài)的獨(dú)立意義，忽略了多模態(tài)語篇整體意義構(gòu)建中各個(gè)模態(tài)的相互作用。然而，多模態(tài)語篇中各個(gè)模態(tài)的相互關(guān)系在語篇意義的分析中十分重要。朱永生(2007:82－86)曾在其介紹多模態(tài)話語分析的理論基礎(chǔ)與研究方法的文章中指出:“多模態(tài)話語中往往由多種系統(tǒng)構(gòu)成，而每個(gè)系統(tǒng)中又有很多單個(gè)的成分，各種模態(tài)之間的互動(dòng)關(guān)系和互補(bǔ)關(guān)系難以確定?！庇纱丝梢?，多模態(tài)語篇中，各個(gè)模態(tài)的相互關(guān)系是語篇分析的難點(diǎn)。Royce(1999)提出的符際互補(bǔ)理論，以韓禮德的三大元功能思想為基礎(chǔ)，從概念功能，人際功能，和篇章功能三個(gè)方面，分別分析圖像模態(tài)與文本模態(tài)之間的相互關(guān)系，為這一難題的解決提供了理論基礎(chǔ)。

廣告語篇一直是備受國內(nèi)外語言學(xué)家青睞的研究對象。早在1966年，Leech就對英國廣告語篇中的用詞、句式、修辭做了探討，發(fā)現(xiàn)這些語言特點(diǎn)與廣告的關(guān)注度、可讀性和營銷力密切相關(guān)。之后，Geis(1982)、Vestergaard和Schroder(1985)、Cook(1992)等語言學(xué)家也都對廣告文本做了詳細(xì)研究。到20世界90年代，多模態(tài)語篇分析開始成為話語分析的一個(gè)新的研究領(lǐng)域，對廣告語篇的分析也開始系統(tǒng)地、科學(xué)地考察圖像、聲音的意義。Cook(1992)認(rèn)為廣告由多種不同元素構(gòu)成，例如參與者、社會、情景、功能、語言、圖片等。這些元素相互作用，在分析廣告語篇時(shí)不可忽視，否則就無法全面地解讀廣告。O'Halloran(2008:443－475)從系統(tǒng)功能語言學(xué)的角度利用計(jì)算機(jī)軟件分析了一則艾滋病平面廣告的概念意義構(gòu)成以及圖文關(guān)系。雖然針對廣告語篇的研究層出不窮，但視頻廣告語篇并未受到足夠的關(guān)注，尤其是視頻廣告語篇圖文關(guān)系方面的研究。因此，本文選取央視“垃圾分類”視頻廣告為研究對象，以Royce符際互補(bǔ)理論為基礎(chǔ)，研究視頻廣告中圖文關(guān)系，探討視頻廣告語篇中圖文概念意義的構(gòu)成。

2.理論框架

Royce的符際互補(bǔ)理論闡釋了圖像與文字的互補(bǔ)關(guān)系，其主要根據(jù)韓禮德的語言三大元功能思想和視覺語法理論，從概念特征，人際特征，和篇章特征這三個(gè)方面出發(fā)，分別進(jìn)行分析。Royce對圖文概念特征的研究揭示了圖像模態(tài)和文字模態(tài)相互作用構(gòu)建概念意義的過程。

Royce對圖文概念意義互補(bǔ)的研究大致分為三個(gè)步驟。第一步，確定圖像中包含哪些視覺信息符號;第二步，在文本中識別出與視覺信息符號有語義關(guān)系的文本信息符號;第三步，確定視覺信息符號與文本信息符號的關(guān)系。Royce將圖像與文本的關(guān)系分類為:重復(fù)，同義，反義，上下義，部分－整體關(guān)系和搭配關(guān)系。

圖文意義重復(fù)是指圖像和文字表達(dá)完全一樣的概念意義，且可以相互替換，例如:

近義是指圖像和文字表達(dá)近似的概念意義，例如:

反義指圖像和文字表達(dá)相反或矛盾的意思，例如:

上下義是指圖像的意義包含了文字的意義或者文字的意義包含了圖像意義，例如:

部分－整體關(guān)系是指圖像和文字所表達(dá)的意義構(gòu)成整體和組成部分的關(guān)系，例如:

搭配指圖像和文字表達(dá)的意義通常會一起出現(xiàn)在同一語境，例如:

基于Royce的符際互補(bǔ)理論，本文提出以下研究框架:

3.“垃圾分類”廣告中的概念符際互補(bǔ)關(guān)系

“垃圾分類”是中央電視臺播出的一條公益廣告(http://v.youku.com/v_show/id_XNTgzOTI3NDk2.html?from=y1.2－1－102.3.3－2.1－1－1－2－0)，意在告訴人們垃圾分類應(yīng)該從身邊做起。整個(gè)廣告由畫外音進(jìn)行解說，構(gòu)成了該廣告的聲音模態(tài)。在視覺模態(tài)方面，該廣告以辦公室為環(huán)境背景，以辦公人員為參與者，主要表現(xiàn)辦公人員往垃圾桶內(nèi)扔垃圾的場景。該廣告既有畫外音對垃圾分類行為的呼吁，又有垃圾分類行為的畫面，兩者共同作用，對觀眾的社會行為施加影響。本文將按照符際互補(bǔ)理論，首先研究圖像中的概念意義，接著在文本中找出與圖像概念意義有語義聯(lián)系的對應(yīng)項(xiàng)，并探討兩者具有怎樣的語義關(guān)系。

3.1 圖像中的概念意義

按照前文提出的研究框架，圖文關(guān)系研究的第一步便是解析圖像表征的參與者，即動(dòng)作的發(fā)出者和承受者;活動(dòng)，即動(dòng)作發(fā)出者對承受者做出的行為;環(huán)境，指背景，動(dòng)作發(fā)出者所使用的工具，以及未涉及動(dòng)作行為的參與者。本文將依次分析畫面中的參與者，活動(dòng)，環(huán)境，以解析圖像中的概念意義。

該廣告呈現(xiàn)的情景發(fā)生在辦公室中。辦公室整潔干凈，墻壁和辦公桌均為白色。白色象征純潔，加強(qiáng)了觀眾對整個(gè)環(huán)境“整潔”的感受。辦公室內(nèi)有兩個(gè)垃圾桶，一個(gè)上面貼著可回收利用的標(biāo)志，另一個(gè)貼著其他垃圾的標(biāo)志。不停有人往這兩個(gè)垃圾桶中扔垃圾。此時(shí)畫面中出現(xiàn)了手部動(dòng)作的特寫，只呈現(xiàn)扔垃圾這一個(gè)動(dòng)作。直到鏡頭由一只手的特寫，慢慢拉遠(yuǎn)，出現(xiàn)了一個(gè)年輕的職場男性。他將垃圾扔進(jìn)可回收垃圾桶，轉(zhuǎn)身離開時(shí)，垃圾桶卻開始抖動(dòng)，垃圾桶上的可回收標(biāo)志變成了紅色并且不停地轉(zhuǎn)動(dòng)，發(fā)出咔咔的聲音，引得他和辦公室的另外兩人轉(zhuǎn)頭盯著垃圾桶，臉上露出詫異的神情。這時(shí)一個(gè)被丟棄的餐盒突然從可回收垃圾桶內(nèi)飛出，同時(shí)屏幕上出現(xiàn)了兩行字，“被污染的紙制品不屬于可回收垃圾;請扔進(jìn)其他垃圾桶”，畫外音響起“請正確分類投放垃圾”。這則提醒出現(xiàn)后，男子再次向可回收垃圾桶扔垃圾，這次他拿的是整潔干凈的紙張，他的動(dòng)作小心翼翼，好像擔(dān)心垃圾再次被丟出來。這次垃圾桶的可回收標(biāo)志變?yōu)榫G色，綠色的標(biāo)志不停轉(zhuǎn)動(dòng)，卻沒有發(fā)出任何刺耳的聲音。這時(shí)，這個(gè)垃圾桶就像一臺打印機(jī)慢慢吐了一張紙，紙上印著1000公斤廢紙回收后變成700公斤新紙。紙上的文字和圖畫與此時(shí)的畫外音相互呼應(yīng)。接著男子從可回收垃圾箱里拿出了一疊厚厚的新紙。此時(shí)，畫外音提示我們“分類產(chǎn)生價(jià)值，垃圾變成資源”，畫面中也出現(xiàn)了這幾個(gè)字。廣告的最后，可回收垃圾桶出現(xiàn)在了桌子旁邊，像一臺打印機(jī)一樣，不停地吐出新紙，男子就在這些新紙上畫圖辦公。

經(jīng)過前文對廣告畫面的解析，可將圖像中的參與者，活動(dòng)，環(huán)境總結(jié)如下表(表一):

表一:視覺圖像的概念意義

上述分析得出該廣告視覺符號的概念意義，接下來的任務(wù)就是分析語言符號的概念意義，并且探討視覺模態(tài)和語言模態(tài)如何相互聯(lián)系構(gòu)建完整一致的概念意義。

3.2 語言中的概念意義

Royce在他的符際互補(bǔ)理論中認(rèn)為，確定圖文互補(bǔ)關(guān)系的第二步，是要根據(jù)韓禮德的語言及物性，分析文本語言中的過程，參與者，環(huán)境因素。

這則廣告以畫面為主，畫面中的人物并未發(fā)言。廣告語通過畫外音和圖畫上的字體呈現(xiàn)，一共有六句話。這六句話分別體現(xiàn)物質(zhì)過程和關(guān)系過程。對各個(gè)過程中的參與者，活動(dòng)和環(huán)境因素的具體分析如表二所示。

3.3 圖文概念意義中的符際互補(bǔ)關(guān)系

對比圖像和語言的概念意義，我們可以發(fā)現(xiàn)該廣告的圖像和語言具有緊密的聯(lián)系。廣告中主要呈現(xiàn)人們?nèi)永那榫埃@正與該廣告分類投放垃圾的主題相照應(yīng)。該廣告，通過畫面和語言，描繪了在辦公室情景中職員投放垃圾的行為。這個(gè)普通的場景，日常生活中常見的行為，極易使觀眾感同身受。畫面與語言共同作用呼吁生活中每一個(gè)普通人，從身邊做起，將垃圾正確分類投放。

表二:語言模態(tài)的概念意義

從廣告畫面來看，它描繪了一組辦公室情景。首先，畫面呈現(xiàn)了辦公室職員紛紛往垃圾桶丟棄紙張的場景?？墒钱?dāng)一個(gè)年輕男性職員將餐盒丟進(jìn)垃圾桶后，垃圾桶上的三角標(biāo)志突然變成了紅色，垃圾桶也開始抖動(dòng)，居然將剛剛的餐盒被丟了出來。這一情景讓這個(gè)男性職員和辦公室的另外兩個(gè)職員露出了驚訝的神情。接著這個(gè)男職員小心翼翼地往垃圾桶里塞了一張白紙。這時(shí)垃圾桶上的三角標(biāo)志變成綠色并開始轉(zhuǎn)動(dòng)，與此同時(shí)，一張白紙從垃圾桶傳遞出來?？瞻准垙?jiān)丛床粩嗟剌敵?。男職員開心地在這些紙張上辦公。

如果沒有圖像中的文字和畫外音的幫助，觀眾對圖像可以有各種各樣不同的理解，比如:認(rèn)為這個(gè)垃圾桶可以自己辨認(rèn)垃圾，還能把不合格的垃圾丟出去;還可以認(rèn)為，這個(gè)垃圾桶運(yùn)用了先進(jìn)科技，可以生產(chǎn)紙張;也可以理解為宣傳銷售垃圾桶的商業(yè)廣告?？傊?，只根據(jù)圖像，不同觀眾可以有各自不同的理解。所以，公益廣告設(shè)計(jì)者為了使廣告符合自己的意思表達(dá)，也使觀眾能夠準(zhǔn)確地理解廣告內(nèi)容，往往利用語言文字，一方面限定圖像所表達(dá)的意義，另一方面加強(qiáng)補(bǔ)充圖像的意義。這則廣告中，第一句廣告語“請正確分類投放垃圾”確定該廣告是一則有關(guān)垃圾分類的公益廣告，而不是以垃圾桶為主題，也不是商業(yè)廣告。隨后熒幕上出現(xiàn)“被污染的紙制品不屬于可回收垃圾，請扔進(jìn)其他垃圾桶”。其中“被污染的紙制品”，與圖像中的廢棄餐盒相比，是一個(gè)較為寬泛概括的概念，只是在圖像中具化為廢棄餐盒，但其概念并不局限于餐盒。另一個(gè)詞“可回收垃圾”，一方面，與圖像中廢紙的形象相比，含義更廣，兩者構(gòu)成上下義關(guān)系;另一方面，與圖像中垃圾桶上的可回收利用的三角標(biāo)志相照應(yīng)，由于兩者通常出現(xiàn)在同一語境，故具有搭配關(guān)系。接下來的廣告語“1000公斤廢紙回收利用可生產(chǎn)700公斤新紙”有兩層含義:一方面表達(dá)廢紙可以回收利用;另一方面表示廢紙回收利用產(chǎn)量很高。這其中，文字“廢紙”與圖像中的廢紙形象意義相同，文字“新紙”與垃圾桶輸出的白紙意義相同，是文字與圖像對“廢紙”“新紙”這兩個(gè)概念的重復(fù)表達(dá)，以加強(qiáng)意義。而且，圖像中大量的新紙輸出正與文字中體現(xiàn)的廢紙回收利用的高產(chǎn)量相互對應(yīng)。最后，廣告詞“分類產(chǎn)生價(jià)值，垃圾變成資源”中，“分類”指代畫面中人物將垃圾分類投放的行為，“垃圾”指的是可回收垃圾，而“價(jià)值”和“資源”在畫面中均體現(xiàn)為新紙。由此可見，在這則公益廣告中，廣告語主要表達(dá)概括、提煉性的原則，而圖像以生動(dòng)、形象的例子表達(dá)具體意義。抽象與生動(dòng)互補(bǔ)，構(gòu)成完整的概念意義。

為了進(jìn)一步清晰地呈現(xiàn)該廣告語言和圖像的具體互補(bǔ)關(guān)系，以及圖文如何構(gòu)建統(tǒng)一的概念意義，本文根據(jù)Royce的符際互補(bǔ)理論，將圖像和語言進(jìn)行對應(yīng)，并確定對應(yīng)關(guān)系是重復(fù)，同義，反義，上下義，部分－整體關(guān)系還是搭配關(guān)系(如表三所示)。需要注意的是，Royce提出的對應(yīng)只是語義關(guān)系上的對應(yīng)。

如表三所示，該廣告語篇中，許多圖像符號和語言符號之間都存在著一定的語義關(guān)系，例如重復(fù)，近義，上下義，反義和搭配關(guān)系。就該廣告語篇而言，圖像中的參與者與語言中的參與者，環(huán)境有對應(yīng)關(guān)系，同樣圖像中的活動(dòng)與語言中的活動(dòng)對應(yīng)，而且圖像中的環(huán)境因素與語言中的環(huán)境因素對應(yīng)。這說明，圖像與語言之間的語義對應(yīng)關(guān)系并不局限在參與者，活動(dòng)，和環(huán)境因素內(nèi)部。另外，該廣告圖像中大多數(shù)視覺信息符號包括參與者，活動(dòng)，環(huán)境與廣告語言都參與了語義的互補(bǔ)，這也說明該廣告的圖像和語言有著較強(qiáng)的互補(bǔ)關(guān)系。

表三:圖像和語言概念意義的互補(bǔ)關(guān)系

該廣告應(yīng)用圖像和語言兩種模態(tài)表達(dá)概念意義。無論是圖像還是語言，在描寫概念過程時(shí)都有著強(qiáng)大的表現(xiàn)力。雖然這兩種模態(tài)表達(dá)意義的方式各有不同，但這并不影響它們表達(dá)相同或相似的意義。例如:一個(gè)動(dòng)作，可以通過語言中的行為動(dòng)詞體現(xiàn)，也可以通過圖像中的向量體現(xiàn);位置關(guān)系，既可以通過語言中的方位介詞表現(xiàn)，也可以通過圖像中前景背景的相對關(guān)系表現(xiàn)。圖像和語言這兩種模態(tài)同時(shí)出現(xiàn)，表達(dá)的意義并不是兩種模態(tài)單獨(dú)意義的簡單相加，而是相互作用表達(dá)更加豐富的意義。對于一則優(yōu)秀的公益廣告，圖像和語言模態(tài)的相互作用可以增強(qiáng)表現(xiàn)力，更有利于提高人們的公益意識，更加強(qiáng)有力地呼吁公眾做出行動(dòng)，以改善社會問題。因此，對于公益廣告的制作者來說，注意廣告中圖像和語言的互補(bǔ)關(guān)系，能創(chuàng)作出更有說服力的公益廣告。而對于廣告的受眾，完全看懂一則公益廣告并解讀廣告背后的含義，不僅需要有理解語言，理解圖像的能力，還需要明白圖像和語言在表達(dá)概念意義時(shí)的相互關(guān)系。

結(jié)論

本文以Royce的符際互補(bǔ)理論為分析框架，對“垃圾分類”公益廣告進(jìn)行了研究，論述了圖像和語言在多模態(tài)公益廣告中的概念互補(bǔ)關(guān)系，論述了多模態(tài)公益廣告中圖像模態(tài)和語言模態(tài)如何構(gòu)建統(tǒng)一的概念意義。說明了多模態(tài)公益廣告語篇中，語言和圖像都發(fā)揮著必不可少的作用，只有兩者結(jié)合才能構(gòu)建完整的概念意義;說明了語言模態(tài)和圖像模態(tài)在概念意義構(gòu)建的構(gòu)成中，并不是單獨(dú)作用的，而是具有互補(bǔ)關(guān)系。但是，本文只論證了符際互補(bǔ)理論框架下概念意義的圖文互補(bǔ)關(guān)系，人際意義和篇章意義的研究并未涉及，在研究廣度和深度上還需進(jìn)一步拓展。

Cook，G.(1992).The Discourse of Advertising［M］.London:Routledge.

Geis，M.(1982).The Language of Television Advertising［M］.New York:Academic Press.

Kress，G.＆ Van Leeuwen，T.(1996).Reading Images:The Grammar of Visual Design［M］.London:Routledge.

Leech，G.(1968).English in Advertising:ALinguistic Study of Advertising in Great Britain［M］.London:Longmans.

O'Halloran，K.(2005).Mathematical Discourse— Language，Symbolism and Visual Images［M］.London:Continuum International Publishing Group Ltd.

O'Halloran，K.(2008).Systemic functional-multimodal discourse analysis(SF-MDA):Constructing ideational meaning using language and visual imagery［J］.Visual Communication(4).

O'Toole，M.(1994).The Language of Displayed Art［M］.London:Leicester University Press.

Royce，T.D.(1999).Visual-verbal Intersemioitc Complementarity in the Economist Magazine［D］.University of Reading.

Van Leeuwen，T.(1999).Speech，Music and Sound［M］.London:MacMillan.

Vestergaard，T.＆ Schroder，K.(1985).The Language of Advertising［M］.Oxford:Basil Blackwell.

胡壯麟(2006).意義的多模態(tài)構(gòu)建——對一次PPT演示競賽的語篇分析［J］.外語電化教學(xué) (3)。

李戰(zhàn)子(2003).多模式話語的社會符號學(xué)分析［J］.外語研究(5)。

張德祿(2009).多模態(tài)話語分析綜合理論框架探索［J］.中國外語(1)。

朱永生(2007).多模態(tài)話語分析的理論基礎(chǔ)與研究方法［J］.外語學(xué)刊(5)。