圖文關(guān)系及圖像元功能在多模態(tài)話語類型中的體現(xiàn)

汪燕華

圖文關(guān)系及圖像元功能在多模態(tài)話語類型中的體現(xiàn)

汪燕華

圖文關(guān)系和圖像元功能體現(xiàn)是多模態(tài)話語研究的核心問題。本文通過分析對比圖像學(xué)話語、美術(shù)史話語、世界歷史話語中圖像與文本之間的關(guān)系以及圖像的三大元功能的體現(xiàn)指出：多模態(tài)話語中的圖像與文本之間是一種動態(tài)的、開放的關(guān)系模式，它與話語類型息息相關(guān)；圖像的元功能隨著話語類型的不同而呈不均勻的分布。

多模態(tài)話語；圖文關(guān)系；語類；元功能

一、引言

多模態(tài)話語分析是話語分析實踐活動的新發(fā)展。而什么是多模態(tài)話語，它和一般意義上的話語模式有什么不同則一直是爭論的焦點。本文認為，把“多模態(tài)”作為“話語”的前置限定詞旨在強調(diào)話語的“物質(zhì)屬性”，這些物質(zhì)屬性既包括人類接收信息的多種感官形式，也包括話語生成的表層的、可見、可聽、可觸摸的形式，還包括生成這些形式的技術(shù)手段、傳播媒介（有形的或無形的）等等。如果我們把這些因素看作是組成多模態(tài)話語的子集的話，一個多模態(tài)話語將從以下幾個子集中選擇生成：符號形式（語言、圖像、音樂、姿態(tài)）、生產(chǎn)符號的技術(shù)手段（手工制作、印刷術(shù)、攝影復(fù)制技術(shù)、網(wǎng)絡(luò)技術(shù)），以及符號的傳播媒介（二維的，如紙制品、電腦屏幕；三維空間的，如博物館的展廳）。多模態(tài)話語分析就是要探究這些子集中的各個因素是如何在相互協(xié)助、融合、抵制的過程中實現(xiàn)交際意圖的。比照這三個集合，本文即將探討的圖像學(xué)、美術(shù)史、世界歷史話語均是由文字和圖像兩種符號形式表征，其生產(chǎn)符號的技術(shù)手段是印刷術(shù)，符號是呈現(xiàn)在紙質(zhì)媒介之上的或者說是通過紙質(zhì)得以傳播的。本文將通過分析三類話語中圖文關(guān)系以及圖像元功能的體現(xiàn)探討它們與話語類型的動態(tài)關(guān)系。

二、圖文關(guān)系研究的語言學(xué)視角

圖像與文本的關(guān)系是一個古老的問題，也是圖文并置話語分析的關(guān)健問題。哲學(xué)、社會學(xué)、認知心理學(xué)、圖像學(xué)和符號學(xué)等領(lǐng)域的許多學(xué)者都曾探討過這個問題?？紤]到本文的研究視角和取向，我們僅就在語言學(xué)的理論框架內(nèi)對此問題的研究成果和動態(tài)進行回顧。較早運用語言學(xué)理論分析圖文關(guān)系的是符號學(xué)家巴爾特（Barthes）。他以索緒爾的普通語言學(xué)理論為基礎(chǔ)區(qū)分了兩種圖文關(guān)系，即文本拓展了圖的意義或增加了圖的信息（或相反）；文本細化了圖像的意義，給予詳細說明或更準(zhǔn)確的重述（或相反）?？巳鹚购头病だ瘴模↘ress & van Leeuwen） 從社會符號學(xué)的視角切入探討圖文關(guān)系。他們指出，在識解意義的過程中，圖像并不依賴文字說明，因為它本身既是有組織的，又是有結(jié)構(gòu)的，不同的符號模式各自有其潛力和局限性，但要表達某種確定的意義，必須有語言來挽救。從他們的論述中可以看出語言符號在所有符號中的主控地位。馬西森（Matthiessen）運用系統(tǒng)功能語法中的“層次”理論解釋圖文關(guān)系。他認為在多模態(tài)話語中，由不同模態(tài)共同構(gòu)建的話語共享語類、語境、語義等居于詞匯語法之上的三個表達意義層次，而在詞匯語法層次分野，這里他暗示了圖像和文本如何在內(nèi)容層面相互作用、生成意義是多模態(tài)話語分析的難點和關(guān)鍵；他同時認為圖像和文本在制造意義的過程中也會出現(xiàn)沖突（如圖文內(nèi)容不一致時），沖突也是意義資源。羅伊斯（Royce）認為圖文之間存在著重復(fù)、同義、反義、下義、搭配等意義關(guān)系。在圖文并置話語的人際意義表達上，語言的意義更加確定，圖像需要借助文本將圖像意義確定。馬丁內(nèi)茨和薩爾維（Martinec & Salway）認為圖像和文本有四種關(guān)系：一是圖文各自為一個獨立的意義實體，彼此沒有關(guān)聯(lián)；二是圖像和文本的意義相互補充，彼此增強對方的意義；三是以文本意義為主、圖像意義為輔；四是圖像意義為主，文本意義為輔。在談到如何分析圖文關(guān)系的細節(jié)時，他們認為可以參照系統(tǒng)功能語法中描寫小句關(guān)系的概念，如文本可以“投射”和“擴展”圖像的意義，反之亦然。他還進一步運用投射和拓展的子系統(tǒng)把圖文關(guān)系精密化，如拓展可再精略到詳述、并列、加強等等。

本文認為，以上對圖文關(guān)系的分析主要考慮的是文本的詞匯語法和圖像圖素之間的局部的或微觀的關(guān)系，而多模態(tài)話語研究的主要目的則是為分析對象提供一個總的描述“語法”，一個決定著話語的整體連貫和組織的宏觀結(jié)構(gòu)。這個宏觀結(jié)構(gòu)由意義的整體結(jié)構(gòu)和形式的整體結(jié)構(gòu)組成，它既能夠解釋符號內(nèi)部的結(jié)構(gòu)關(guān)系，也能解釋符號與符號的關(guān)系，還能解釋符號與外部環(huán)境的關(guān)系。這個宏觀結(jié)構(gòu)就是語篇類型。在下面的討論中，我們將以三個不同文本類型為分析對象考察語篇類型和圖文關(guān)系之間的聯(lián)系，旨在探討在圖文并置的語篇中，語篇的宏觀結(jié)構(gòu)是如何通過圖文關(guān)系體現(xiàn)的，圖像的某一元功能是否隨著語篇類型的不同有所突顯。

三、語篇類型和圖文關(guān)系

本研究的分析對象為三個圖文并茂的紙質(zhì)文本：米歇爾（Mitchell）著的《圖像學(xué)》 、詹森（Janson）的《世界藝術(shù)史》和斯塔天里阿諾斯（Stavrianos）的《全球通史》，這三個文本是圖像研究、美術(shù)史和世界歷史研究領(lǐng)域的經(jīng)典著作，自出版以來，多次再版，可謂是圖像和文本兩種符號模態(tài)完美結(jié)合的典范。本研究采取內(nèi)容分析法對在三個文本中圖像和文本的關(guān)系作詳盡的描寫和分析，旨在客觀真實地再現(xiàn)圖文關(guān)系和文本類型之間的關(guān)系。

1.圖像的元功能在文本中的體現(xiàn)

視覺圖像、語言、音樂、身體姿態(tài)等均是社會文化的產(chǎn)物，是人們識解社會現(xiàn)象的意義資源。它們不僅可以反映客觀世界和主觀世界發(fā)生的各種事情，而且可以表現(xiàn)各種各樣的人際關(guān)系，與此同時，各種符號內(nèi)部也是一個有機連貫的整體。因此根據(jù)韓里德（Halliday）的元功能理論，所有的符號都同時表達概念功能、人際功能和語篇功能。然而，一些多模態(tài)分析者在實踐過程中發(fā)現(xiàn)，三大元功能在不同的符號體系中表現(xiàn)的意義并不均衡，在有些符號體系中，某種功能會起主導(dǎo)作用，而其它則次之?？伎颂颇群头病だ瘴模∕cDonald & van Leeuwen）認為音樂是以人際功能為導(dǎo)向的符號模式，語篇功能次之，概念功能最弱。馬丁內(nèi)茨對此觀點解釋道，符號功能地位的輕重與其功能的體現(xiàn)方式息息相關(guān)。韓里德在分析英語小句時發(fā)現(xiàn)小句的體現(xiàn)模式分別呈粒子式的、韻律式的、格律式的分布，馬丁內(nèi)茨認為這種體現(xiàn)模式不僅存在于語言中，也存在于其他符號系統(tǒng)。其中，粒子式指概念功能非連續(xù)的體現(xiàn)方式，關(guān)注的是成分及其相互關(guān)系；韻律式指人際功能（語氣、評價意義等）彌漫于整個語篇，無法作明顯的非連續(xù)的切分；格律式則指新舊信息的輪番出現(xiàn)、語篇的組織結(jié)構(gòu)如波峰與波谷相互交替。音樂主要是由韻律式結(jié)構(gòu)和格律式結(jié)構(gòu)生成的，其核心是韻律和節(jié)奏。從這種意義上說，音樂主要體現(xiàn)人際功能和語篇功能是有道理的。奧哈洛倫（0’Halloran）在分析數(shù)學(xué)話語中語言、數(shù)學(xué)符號和視覺圖形之間的關(guān)系時指出，數(shù)學(xué)話語中構(gòu)建數(shù)學(xué)公式的符號主要傳達的是概念意義，其人際意義最弱，語篇意義則是圍繞概念意義發(fā)揮作用的，而語言則發(fā)揮著元語篇的功能，為問題的提出提供語境，同時描述、解釋運算活動的步驟、序列，并討論運算結(jié)果的意義。馬丁內(nèi)茨對表現(xiàn)行為符號的元功能做了詳盡的分析，他指出，某些行動，如走路、游泳、騎馬主要體現(xiàn)的是顯而易見但同時又相當(dāng)復(fù)雜的經(jīng)驗結(jié)構(gòu)，而人際功能則不宜察覺，如肌肉緊張體現(xiàn)的某種不安情緒等；他同時認為，雖然克瑞斯和凡·勒文在分析圖像的視覺語法對圖像的三大元功能的體現(xiàn)沒有區(qū)分孰重孰輕，但他們對圖像的粒子結(jié)構(gòu)（過程/參與者/環(huán)境）的詳細描述顯然說明了圖像更多體現(xiàn)的是經(jīng)驗意義；奧哈洛倫運用層次級階理論對圖像的解讀也證明了這一點。

當(dāng)圖像與文本并置在同一頁面或文本中時，它們相互協(xié)作共同體現(xiàn)話語的“概念意義”、“人際意義”、“語篇意義”?？巳鹚购头病だ瘴脑谘芯繄D像的視覺語法時針對圖像的特性將圖像的三大元功能稱為“表征功能”、“互動功能”和“構(gòu)圖功能”，在這里為了討論的方便，我們將用系統(tǒng)語法的術(shù)語表達圖文并置話語的功能。通過考察圖像學(xué)、世界歷史和美術(shù)史話語中圖像元功能的體現(xiàn)，我們發(fā)現(xiàn)圖像的元功能在這三個話語中呈不均勻的分布態(tài)勢。在圖像學(xué)中，圖像主要體現(xiàn)的是“概念功能”，圖像與文本之間具有清晰的邏輯語義關(guān)系。具體表現(xiàn)為，文本詳述、擴張和增強圖像的意義；而在世界歷史話語中，圖像主要體現(xiàn)的是人際意義，圖像具有“言據(jù)性”，間接地對文本中的某些內(nèi)容進行佐證，增加文本講述的“可信度”；在藝術(shù)史話語中，圖像因為與文本之間的部分對應(yīng)關(guān)系而部分地體現(xiàn)其“概念意義”，它需要與文本的其它部分，如藝術(shù)作品的創(chuàng)作者、創(chuàng)作背景、流派歸屬和起源問題的描述融為一體，共同講述藝術(shù)的故事。

如果說在新聞話語、廣告話語中，圖像的“語篇意義”占據(jù)著主導(dǎo)地位，在本文中談到的三種話語類型中，“語篇意義”則呈現(xiàn)出相對“弱”的傾向。圖像在文本中的位置及其喚起的視覺效果和構(gòu)建的“閱讀路徑”對話語的識解遠不如在報紙、廣告話語中那么直接有效。讀者的視線會在圖像和文本之間來回穿梭，尋求某種闡釋和理解的共鳴。讀者自身的視覺修養(yǎng)和視覺體驗、知識背景等諸多主觀因素都在某種程度上削弱了頁面中圖像和文本構(gòu)建的“語篇意義”。此外，由于圖像的加入，使讀者在閱讀的過程中獲得了感官的愉悅，從而在話語與接受者之間建立了一種良好的人際關(guān)系。從這個意義上來說，圖文并置的話語所發(fā)揮的“人際功能”大于僅有語言文字構(gòu)建的話語。

2.語篇的宏觀結(jié)構(gòu)和圖文關(guān)系體現(xiàn)

在圖文并茂的多模態(tài)語篇中，語篇的宏觀結(jié)構(gòu)是由圖像和文本共同構(gòu)建的。同一幅圖在與不同類型的文本搭配時，其關(guān)系的疏密程度是不一致的。通過考證幾本圖像學(xué)的著作米歇爾（Mitchell）我們發(fā)現(xiàn)在圖像學(xué)話語中，圖像與文本之間具有清晰的邏輯語義關(guān)系。圖像作為研究的客體，是文本的全部所指。詞語幾乎是無孔不入，“竭盡全力”地詳述、擴展并增強圖像的意義，而圖像仿佛保持沉默，任由文本“擺弄”；文本或是詳述圖像的形式內(nèi)容、或是擴展圖像的象征意義，并通過闡述圖像產(chǎn)生的時間（時代背景）、地點（環(huán)境因素）及原因（意識形態(tài)），增強圖像的意義?！霸斒觥奔匆曈X內(nèi)容的語詞性再創(chuàng)造，它是一種語詞的繪畫，旨在對圖中客觀的事物做足夠精確的辨認。這時使用的方法是“所見即所得”，它將注意力放在圖像本身的視覺內(nèi)容上，此時“視覺文本優(yōu)于語境”；“擴展”則是對圖像中的諸多細節(jié)的意味做出解釋，經(jīng)常會揭示畫中某些微小的，看似無意識的元素。如果說“詳述”是通過詞語隱喻地重造了圖像，“擴展”則運用了轉(zhuǎn)喻，即一種為了意義的歸屬而將部分看作高于任何假定的整體的轉(zhuǎn)義，用文字的形式再創(chuàng)造一件視覺作品?！霸鰪姟笔侵肝谋玖D超越圖像的視覺元素，通過分析圖像產(chǎn)生的時代背景挖掘出圖像所承載的社會文化、意識形態(tài)等意義。

在世界美術(shù)史話語中，作者通過描述、評論一幅幅美術(shù)作品將各個時代的藝術(shù)家呈現(xiàn)出來，理清、構(gòu)建藝術(shù)發(fā)展的歷史脈絡(luò)。在此類話語中，圖文關(guān)系的互動協(xié)助關(guān)系發(fā)揮到了極致，我們無法想象只有文沒有圖的頁面該如何講述美術(shù)史。通過考察詹森著的世界美術(shù)史話語，我們發(fā)現(xiàn)在555頁中共插入848幅藝術(shù)作品的圖片。圖片多以黑白形式出現(xiàn)，頁間插入了少量的彩色圖片。圖片按照在文中出現(xiàn)的先后順序標(biāo)以數(shù)字編號，并輔以圖片的基本信息，如作者姓名、作品名稱、創(chuàng)作時間、作品實際尺寸、收藏地或收藏人等。如在同一頁面出現(xiàn)多幅圖片，會標(biāo)示簡單的方位詞，如above，far left，left 等。文本與圖片的關(guān)系主要通過三種方式建立。一是文字標(biāo)示。如，當(dāng)文本的內(nèi)容涉及或?qū)⒁婕皥D片時，我們會看到fig.778這樣的形式，它將作者的目光引向被講述的作品。此時，讀者的閱讀路徑由作者調(diào)控；如果作者講述的作品與文本不在同一頁面時，作者會標(biāo)以see fig.770提示讀者翻閱到指定頁面尋找正在描述中的圖片信息。通常書籍排版人會盡量將文本和所描述的圖片就近安排在同一頁面上，便于讀者閱讀。當(dāng)作者對兩種藝術(shù)形式或藝術(shù)家的風(fēng)格作比較分析時，他會標(biāo)以compare fig.26-28的說明。二是運用印刷排版信息，如全文中所有作品的名稱都以斜體出現(xiàn)，便于讀者形成某種固定的閱讀期待。三是詞匯語法的表現(xiàn)形式，其中最明顯的詞匯手段是時態(tài)的轉(zhuǎn)換和指稱形式的使用。文本的敘述在一般過去時和一般現(xiàn)在時之間來回轉(zhuǎn)換，一般過去時的形式常用來介紹畫家的生平、創(chuàng)作作品的時代背景和藝術(shù)風(fēng)格成型的原因，如畫家受到何種思潮、何人的影響，擯棄了哪些舊的繪畫傳統(tǒng)，吸收和借鑒了哪些藝術(shù)理念等等。在這一部分中，表達物質(zhì)過程的動詞使用頻率較高。當(dāng)文本中的敘述過程是為一般現(xiàn)在時體現(xiàn)時，其內(nèi)容便指向圖片，或是描述圖中的人物形象的動態(tài)特征，或是對作品中的某個繪畫元素進行主觀的闡釋和評價，一旦一般現(xiàn)在時所體現(xiàn)的過程終止，文本與圖片的顯性聯(lián)系也隨之結(jié)束。此外，某些指稱形式（e.g.this，it，the work，the man in the picture，etc）也構(gòu)成圖文相接的隱性表達機制，對它們的解讀需要參照圖像進行。依照馬丁內(nèi)茨和薩爾維的分析模式，在藝術(shù)史話語中文本與圖像的對應(yīng)單位是“段落”，它們之間的關(guān)系為“文字從屬于圖像的關(guān)系”。

在講述世界歷史的話語中，圖像的地位則不同于圖像學(xué)文本中的“它”，文本和圖像的關(guān)系是松散的，圖像的作用如同文本中的“引文”，發(fā)揮著“言據(jù)性”的功能：圖像證史。文本中提到的重要的人物，場景或事件會在圖像中有所顯現(xiàn)，但這種關(guān)系是隱晦的，語詞并不對圖像中展示的歷史事件進行“轉(zhuǎn)譯”或詳盡地描述，圖像隨意擺放在文本旁邊，似乎在自言自語，講述自己的故事。此時文本和圖像之間的聯(lián)系依靠讀者的百科知識和自由聯(lián)想來建立，讀者的閱讀路徑也不固定，或是從圖像走向文字，或是先閱讀文字，然后再通過閱讀圖像檢驗文字的真實性。

通過分析比較圖像學(xué)、世界美術(shù)史及世界歷史三個圖文并置的話語形式，可以發(fā)現(xiàn)，圖像和文本之間并不存在多模態(tài)話語分析家們所描寫的某種固定的關(guān)系，而是一種動態(tài)的，隨著話語類型的變化而變化的關(guān)系。從這種意義上說，話語類型在某種意義上決定著圖文關(guān)系的親疏。在圖像學(xué)話語中，文字“詳述”圖像的意義，在世界美術(shù)史話語中，文字“擴展”圖像的意義，不僅對藝術(shù)作品本身進行描述，還延伸至作品的創(chuàng)作背景，包括創(chuàng)作者的生平以及創(chuàng)作的時間地點等信息。在世界歷史話語中，圖像發(fā)揮著“言據(jù)性”的功能，僅對文本描述的“真值”起著佐證的作用。

四、結(jié)語

圖文并置的話語類型既關(guān)注圖像與文本的微觀層面的詞匯語法對應(yīng)關(guān)系，又關(guān)注由意義的整體結(jié)構(gòu)和形式的整體結(jié)構(gòu)構(gòu)成的宏觀結(jié)構(gòu)。本文分析對比了圖像學(xué)、世界美術(shù)史和世界歷史三種話語類型中圖像與文本之間的關(guān)系以及圖像的三大元功能在它們各自中的體現(xiàn)，旨在表明多模態(tài)話語中的圖像與文本之間是一種動態(tài)的、開放的關(guān)系模式，它與話語的宏觀結(jié)構(gòu)息息相關(guān)；圖像的元功能隨著話語類型的不同而呈現(xiàn)出不均勻的分布。希望本研究能夠進一步解決多模態(tài)話語分析中的圖文關(guān)系問題，同時能深化話語類型的研究并為圖像學(xué)、世界史、美術(shù)史的寫作編撰提供借鑒。

汪燕華 湖北第二師范學(xué)院 副教授 博士

［1］Barthes，R.Image-Music-Text ［M］.London： Fontana，1977.

［2］Bateman，J.，Delin，J.& Henschel，R.Mapping the multimodal genres of traditional and electronic newspapers ［A］.In Terry D.Royce and Wendy L.Bowcher （Eds.），New Directions in the Analysis of Multimidal Discourse ［C］.Lawrance Erlbaum Associates，Inc.，2007.

［3］Halliday，M.A.K.，& Maatthiessen，C.M.L.M.An Introdiction to Functional Grammar ［M］.London： Amold，1985/1994/2004.

［4］Halliday，M.A.K.，& Maatthiessen，C.M.L.M.Construing Experience through Meaning ［M］.London & New York： Cassell，1999/2006.

［5］Kress，G.and van Leeuwen，T.Reading Images： The Grammar of Visual Design ［M］.London：Routledge，1996.

［6］Martinec，R.A system for image·text relations in new （and old） media ［J］.Visual Communication，Vol.4，No.3，（337-371），2005.

［7］Martinec，R.Topics in multimodality，In Hasan，R.，Matthiessen，C.and Webster，J.，Continuing Discourse on Language： a Functional Perspective： Vol 2.London： Equinox，2005.

［8］Matthiessen，C.M.The multimodal page： a systemic functional exploration ［A］.In T.Royce and W.L.Bowcher （Eds.），New Directions in the Analysis of Multimodal Discourse ［C］.1-62.Mahwah，N.J.： Lawrence Erlbaum，2007.

［9］O' Halloran，K.L.Classroom discourse in mathematics： a multisemiotic analysis ［J］.Linguistics and Education，2000 （3）： 359-88，.

［10］O' Halloran，K.L.Mathematical Discourse： Language，Symbolism and Visual Images ［M］.London and New York： Continuum，2005.

［11］O' Toole，M.The Language of Displayed Art ［M］.Leicester： Leicester University Press，1994.

［12］Royce，T.Intersemiotic complementarity： A framework for multimodal discourse analysis ［A］.In T.Royce and W.L.Bowcher （Eds.），New Directions in the Analysis of Multimodal Discourse ［C］.63-110.Mahwah，N.J.： Lawrence Erlbaum，2007

J0

A

1009-4016（2016）01-0104-05

湖北省教育廳人文社科重點項目湖北教育廳人文社科項目“多模態(tài)語篇中語類和圖類的配置研究”（14D076）。