同濟(jì)大學(xué) 韓艷方

1. 引言

在讀圖時(shí)代的大背景下，多符號(hào)或多媒介信息在現(xiàn)代交際中的作用愈加凸顯，更迭了傳統(tǒng)的交際模式。在這類(lèi)新型多模態(tài)交際模式中，交際資源在交流者之間的各種關(guān)聯(lián)得以體現(xiàn)和建構(gòu)。作為多模態(tài)隱喻和多模態(tài)認(rèn)知語(yǔ)用研究的國(guó)際領(lǐng)軍人物之一的荷蘭阿姆斯特丹大學(xué)語(yǔ)言學(xué)家Charles Forceville，于2020年在牛津大學(xué)出版社出版了新著《視覺(jué)與多模態(tài)交際：運(yùn)用關(guān)聯(lián)原則》，該書(shū)即為關(guān)注多模態(tài)交際中參與者對(duì)明示信息的指代分配、歧義消解和關(guān)聯(lián)擴(kuò)展及視覺(jué)關(guān)聯(lián)的認(rèn)知和交際原則的一部作品。該書(shū)是作者十多年來(lái)語(yǔ)用關(guān)聯(lián)視角下多模態(tài)認(rèn)知語(yǔ)用研究的最終成果，也是國(guó)際多模態(tài)認(rèn)知語(yǔ)用研究的最新代表作。本文將對(duì)該書(shū)進(jìn)行內(nèi)容介紹和簡(jiǎn)要評(píng)價(jià)。

2. 內(nèi)容簡(jiǎn)介

該書(shū)聚焦于視覺(jué)與多模態(tài)交際明示信息在大眾傳播(mass-communication)中的視覺(jué)觸發(fā)源(visual stimuli)，旨在將關(guān)聯(lián)理論(Relevance Theory，RT)發(fā)展成為塑造多模態(tài)交際模式的綜合理論。全書(shū)分為11章，第1章為理論背景，最后一章為全書(shū)綜括，第2—5章為理論探討，其余5章為案例分析。

第1章：“背景”。作者概述了RT作為可解釋所有交流形式的理論所依據(jù)的一般背景。這些背景包括語(yǔ)言使用的目的及其作為聯(lián)合行為(joint action)、電影創(chuàng)造意義的認(rèn)知路徑、藝術(shù)作品的傳播維度、人類(lèi)和猿的合作傾向、人類(lèi)和生物進(jìn)化論等。它們強(qiáng)調(diào)了人類(lèi)在性別、性別偏好、年齡、種族背景、階級(jí)、居住環(huán)境、宗教和政治觀點(diǎn)、飲食習(xí)慣等諸多方面存在多樣性，這是交際共享的關(guān)鍵因素。特定群體為實(shí)現(xiàn)具體目的而形成的特有方式已被根植于文化傳統(tǒng)和價(jià)值觀中，這些方式即是他們的進(jìn)化共同點(diǎn)。

第2章：“關(guān)聯(lián)理論基礎(chǔ)”。作者總結(jié)了Sperber和Wilson所提出的RT基本原理，主要參考了面對(duì)面的口語(yǔ)交流。同時(shí)也為如何將RT應(yīng)用于視覺(jué)和多模態(tài)大眾傳播埋下伏筆。該章從認(rèn)知和交際的關(guān)聯(lián)原則、編碼/解碼、明示/暗指、關(guān)聯(lián)個(gè)體性、“癥候”交際(symptomatic communication)等多方面對(duì)RT的復(fù)雜性進(jìn)行深層剖視，探索RT復(fù)雜性與多模態(tài)研究者對(duì)關(guān)聯(lián)的理解之間的平衡。

第3章：“調(diào)整RT來(lái)適合視覺(jué)交際”。作者從多個(gè)維度論證了將RT運(yùn)用于視覺(jué)與多模態(tài)交際的適用性和理?yè)?jù)。首先，該章從多模態(tài)概念本身出發(fā)，對(duì)“關(guān)注所有用于構(gòu)成多模態(tài)整體的符號(hào)資源”的觀點(diǎn)提出了疑惑(Jewittetal.2016: 3)。作者認(rèn)為描述多少種模態(tài)參與語(yǔ)篇建構(gòu)是很困難的，由此提出該書(shū)的重點(diǎn)觀點(diǎn)之一，從視覺(jué)觸發(fā)源攜帶的關(guān)聯(lián)信息去解構(gòu)視覺(jué)/多模態(tài)語(yǔ)篇的復(fù)雜度。隨后，作者從視覺(jué)語(yǔ)篇的認(rèn)知和交際關(guān)聯(lián)原則、個(gè)體關(guān)聯(lián)、信息解構(gòu)、編碼模式以及信息的指代分配(reference assignment)、歧義消解(disambiguation)、信息富衍(enrichment)、松弛調(diào)用(loose use)等多維度論證RT在視覺(jué)語(yǔ)篇中的關(guān)聯(lián)建構(gòu)。該章指出視覺(jué)語(yǔ)篇關(guān)聯(lián)建構(gòu)不僅要關(guān)注明示和暗示，還要重視“癥候”意義(symptomatic meaning)的存在。同時(shí)，論證了認(rèn)知語(yǔ)言學(xué)的融合理論、概念整合理論及視覺(jué)/多模態(tài)隱喻與RT的深層聯(lián)系。該章最后還指出該書(shū)另一個(gè)重點(diǎn)之一，即視覺(jué)和多模態(tài)信息的大眾傳播本質(zhì)。

第4章：“關(guān)聯(lián)理論與媒介性大眾傳播”。作者以媒介性大眾傳播為重心，聚焦最佳關(guān)聯(lián)在媒介性和群體性交際中的關(guān)涉因素。該章提出媒介化交際中最佳關(guān)聯(lián)的受眾不是非單一的，而存在多元性，且與媒介的供用性相關(guān)。媒介的供用性除物質(zhì)性、感官性、時(shí)空性和符號(hào)性(Ellestr?m 2010)外，還應(yīng)關(guān)注媒介的技術(shù)性、機(jī)構(gòu)性、成本性、意識(shí)性等供用性和局限性。在視覺(jué)和多模態(tài)大眾傳播中，每個(gè)受眾將依據(jù)個(gè)人的知識(shí)、信仰、態(tài)度、情感和目的構(gòu)成的語(yǔ)境處理觸發(fā)源(Groarke 2015)。該章還強(qiáng)調(diào)從一對(duì)一到大眾傳播的模式轉(zhuǎn)變并不影響RT的中心原則，即關(guān)聯(lián)性始終與個(gè)體相關(guān)。但是，這些個(gè)體擁有一個(gè)動(dòng)態(tài)群體身份：知識(shí)、興趣、態(tài)度或信仰共有的集群個(gè)體。大眾傳播的交際和信息目的在于機(jī)構(gòu)賦予受眾的身份定位。

第5章：“體裁”。作者另辟新章，著重介紹了引導(dǎo)人們對(duì)視覺(jué)和多模態(tài)語(yǔ)篇進(jìn)行解讀的最重要因素：體裁，將體裁的概念從傳統(tǒng)內(nèi)涵延展至大到電影和小到插圖、徽標(biāo)。該章重點(diǎn)指出由于體裁具有規(guī)約性，因而能主導(dǎo)語(yǔ)篇的解讀。同時(shí)強(qiáng)調(diào)，討論體裁時(shí)不僅要關(guān)注其組成和典型事件結(jié)構(gòu)，還要重視體裁的語(yǔ)用性——人們和機(jī)構(gòu)通過(guò)體裁做何事及人們?nèi)绾螌Ⅲw裁進(jìn)行范疇化、分類(lèi)、評(píng)估、商業(yè)化和節(jié)日化等。該章還提出一種新的觀點(diǎn)，即體裁應(yīng)被視為“活動(dòng)類(lèi)型”(Activity Type)，是語(yǔ)篇與語(yǔ)境的接面。因?yàn)樽髡哒J(rèn)為成功參與到一種活動(dòng)類(lèi)型預(yù)示著一種主導(dǎo)該活動(dòng)類(lèi)型的規(guī)約意識(shí)，而體裁回歸(genre attribution)過(guò)程既受語(yǔ)篇內(nèi)部暗示也受語(yǔ)境中的語(yǔ)篇規(guī)約主導(dǎo)。而語(yǔ)篇實(shí)例回歸體裁過(guò)程本質(zhì)上是一種范疇化行為，這種范疇化圍繞其關(guān)聯(lián)原型展開(kāi)。該章最后總結(jié)了解讀關(guān)聯(lián)建構(gòu)依靠編碼目的、體裁意識(shí)和體裁知識(shí)、媒介供用性和局限性、語(yǔ)篇涉及元素的現(xiàn)實(shí)象似載體、百科知識(shí)等多種因素。

第6—10章：“案例研究”。為了證實(shí)理論研究，作者以不同體裁的豐富案例展示了RT的大眾傳播視覺(jué)分析的適用性。第6章專(zhuān)門(mén)討論象形圖、交通標(biāo)志和徽標(biāo)等體裁，作者稱(chēng)這類(lèi)體裁為編碼型視覺(jué)語(yǔ)篇(coded visuals)，因?yàn)樗鼈兪怯梢曈X(jué)物質(zhì)獨(dú)立或聯(lián)合其他字母、詞匯等資源構(gòu)成的，形成的多模態(tài)意義是高度具體和解碼的，不需要推斷，即編碼型語(yǔ)篇和場(chǎng)所聯(lián)合產(chǎn)生了具體的明示意義。它們的編碼特質(zhì)鼓勵(lì)或允許了暗含關(guān)聯(lián)的建構(gòu)。第7章探討了廣告體裁，作者強(qiáng)調(diào)在這類(lèi)體裁中視覺(jué)解碼元素和場(chǎng)景與語(yǔ)言解碼元素聯(lián)合形成明示意義，受眾依據(jù)這些明示意義在體裁所屬語(yǔ)境與情景和世界知識(shí)中沿著由最強(qiáng)到最弱的暗含意義連續(xù)體進(jìn)行解碼。第8章探討了卡通畫(huà)，作者在該章借助卡通畫(huà)分析了如何借助體裁規(guī)約、解碼成分和場(chǎng)景進(jìn)行指代分配和歧義消解。第9章討論了漫畫(huà)，作者認(rèn)為關(guān)聯(lián)性的獲得取決于象似現(xiàn)實(shí)、投射泡變化、圖畫(huà)符文、象形圖和媒介的具體規(guī)約。第10章“誤導(dǎo)性交際”(controversial communication)討論了一系列誤導(dǎo)性的視覺(jué)和多模態(tài)語(yǔ)篇，反思RT如何容納它們。

第11章：“總結(jié)評(píng)價(jià)”。該章首先回顧、總結(jié)了該書(shū)中有關(guān)RT的要點(diǎn)，闡明關(guān)聯(lián)原則在視覺(jué)和多模態(tài)交際中的適用性和實(shí)用性：基于視覺(jué)“編碼型”(coded)元素和行動(dòng)，聯(lián)合相宜語(yǔ)境信息進(jìn)行正確的體裁回歸，合理解碼明示意義和建構(gòu)關(guān)聯(lián)，將關(guān)聯(lián)個(gè)體置于群體身份中。在視覺(jué)與多模態(tài)交際中，建構(gòu)關(guān)聯(lián)的重點(diǎn)應(yīng)放在編碼型元素、體裁、媒介供用性和限制性及交際和信息目的上。(韓艷方 2022)最后，作者還總結(jié)提出了未來(lái)進(jìn)一步加強(qiáng)RT研究的趨勢(shì)：識(shí)解交際目的與明示信號(hào)和癥狀、信息編碼-歧義消解-指代分配-關(guān)聯(lián)建構(gòu)模式、邏輯形式與明示意義和暗指意義的關(guān)系、體裁與關(guān)聯(lián)，以及交際者、受眾和機(jī)構(gòu)的身份投射，號(hào)召其他學(xué)科的研究者一同探索RT在視覺(jué)與多模態(tài)研究中的潛力。

3. 簡(jiǎn)要評(píng)析

該書(shū)是Charles Forceville多年來(lái)多模態(tài)語(yǔ)用關(guān)聯(lián)研究的最終成果。作者采用理論探索與案例研究結(jié)合的論證范式和多維分析方法，尤其對(duì)涉及multimodality、affordance等概念的主流觀點(diǎn)提出了挑戰(zhàn)，見(jiàn)解獨(dú)到，觀點(diǎn)新穎，前沿性強(qiáng)。主要體現(xiàn)為以下特色：

第一，體現(xiàn)了視覺(jué)和多模態(tài)研究的學(xué)科融合視角。以往研究主要在單一學(xué)科路徑進(jìn)行多模態(tài)語(yǔ)篇分析，很少?gòu)膶W(xué)科融合視角進(jìn)行研究。該書(shū)正是以RT為基礎(chǔ)，提出了適用于多模態(tài)話語(yǔ)分析的多學(xué)科融合路徑。通過(guò)RT原理的深度剖析實(shí)現(xiàn)了語(yǔ)用學(xué)推理模式、認(rèn)知語(yǔ)言學(xué)的概念整合與原型范疇化、傳播學(xué)的大眾傳播和媒介化理論等的融合性分析與創(chuàng)新性結(jié)合，將觸發(fā)性編碼、體裁原型回歸、媒介供用性(Bateman 2017)等納入關(guān)聯(lián)分析的研究范圍，探索受眾在大眾傳播模式下是如何解碼信息、消解歧義、分配指代、建立關(guān)聯(lián)、獲取目的，從而在特定語(yǔ)境中完成視覺(jué)和多模態(tài)交際(Batemanetal.2019)。此外，該書(shū)并非關(guān)注簡(jiǎn)單的個(gè)體關(guān)聯(lián)，而是關(guān)注擁有一個(gè)動(dòng)態(tài)群體身份的集群關(guān)聯(lián)個(gè)體；并非單一立足關(guān)聯(lián)原則、運(yùn)用單一分析方法，而是強(qiáng)調(diào)圍繞產(chǎn)生關(guān)聯(lián)的多向度和多層次因素的綜合分析；不僅為視覺(jué)和多模態(tài)交際分析提供了新思路，也可以促進(jìn)專(zhuān)業(yè)實(shí)踐，如優(yōu)化視覺(jué)交際方式、提升媒介調(diào)用層次、改良設(shè)計(jì)方案等。

第二，凸顯了視覺(jué)和多模態(tài)研究的語(yǔ)用研究趨勢(shì)。該書(shū)關(guān)注視覺(jué)和多模態(tài)話語(yǔ)中的集群交際和語(yǔ)用關(guān)聯(lián)現(xiàn)象，不僅為視覺(jué)和多模態(tài)交際提供了新的語(yǔ)用研究維度，也將語(yǔ)用學(xué)應(yīng)用拓展至視覺(jué)交際領(lǐng)域，凸顯了多模態(tài)與語(yǔ)用學(xué)結(jié)合的必然趨勢(shì)，“彌補(bǔ)現(xiàn)有理論的不足”(陳新仁、錢(qián)永紅 2011: 89)。作者分析了視覺(jué)交際中的各類(lèi)關(guān)聯(lián)維度，應(yīng)用和拓展了RT和言語(yǔ)行為理論。例如，作者在第3章著重討論了視覺(jué)受眾如何通過(guò)解碼元素獲取視覺(jué)語(yǔ)篇的明示意義、暗指意義和“癥候”意義。在指代分配和信息富衍之后，視覺(jué)語(yǔ)篇不僅可以指導(dǎo)信息接收者獲得強(qiáng)或弱的暗示，還可以獲取明示，從而消解歧義以加強(qiáng)交際者之間意義傳遞的一致性，同時(shí)建構(gòu)集群關(guān)聯(lián)個(gè)體身份。書(shū)中諸如此類(lèi)攜帶語(yǔ)用因素的擴(kuò)展分析勢(shì)必為多模態(tài)語(yǔ)用研究帶來(lái)更大空間。

第三，推動(dòng)了RT的縱深發(fā)展。作者將經(jīng)典RT一對(duì)一交際模式擴(kuò)展到大眾傳播模式，并強(qiáng)調(diào)了體裁原型回歸在關(guān)聯(lián)分析中的核心地位，同時(shí)重新闡釋體裁為“活動(dòng)類(lèi)型”，是語(yǔ)篇與語(yǔ)境的接面。這一縱深拓展打破了RT重言語(yǔ)、輕體裁的傳統(tǒng)，大大豐富了RT的維度，使基于RT的多模態(tài)分析更具解釋力和客觀性。針對(duì)當(dāng)前多模態(tài)研究對(duì)非語(yǔ)言符號(hào)解釋主觀性強(qiáng)這一現(xiàn)狀，作者創(chuàng)新性地將媒介供用理論引入關(guān)聯(lián)分析中，重視媒介供用性相關(guān)的技術(shù)性、機(jī)構(gòu)性、成本性、意識(shí)性特征及其局限性，借由供用性實(shí)現(xiàn)對(duì)媒介產(chǎn)生關(guān)聯(lián)的深層解讀。此外，盡管體裁和供用性?xún)蓚€(gè)概念很早已被提出，但未在關(guān)聯(lián)分析領(lǐng)域得到足夠關(guān)注。作者在RT原理的基礎(chǔ)上運(yùn)用體裁和供用性來(lái)闡釋視覺(jué)和多模態(tài)交際實(shí)踐，將關(guān)聯(lián)分析的各個(gè)維度及不同關(guān)聯(lián)空間系統(tǒng)充分聯(lián)系在一起，不僅延展了體裁的內(nèi)涵，也使RT適用性更強(qiáng)。

第四，采用了多維關(guān)聯(lián)的多模態(tài)認(rèn)知分析方法(Forciville 1996, 2007)。該書(shū)聚焦視覺(jué)和多模態(tài)交際中的語(yǔ)用關(guān)聯(lián)，覆蓋了主要常見(jiàn)體裁，但對(duì)每種體裁的分析觀照又不盡相同，維度各有側(cè)重。例如，第6章關(guān)注編碼型語(yǔ)篇，即編碼型語(yǔ)篇+場(chǎng)所→具體明示意義；第7章關(guān)注廣告體裁，即視覺(jué)解碼元素+場(chǎng)景+語(yǔ)言解碼元素→明示意義；第8和9章關(guān)注卡通畫(huà)和漫畫(huà)體裁，即體裁規(guī)約+解碼成分+場(chǎng)景+象似現(xiàn)實(shí)→明示意義→暗指意義。每一章節(jié)的分析維度的側(cè)重都各不相同，但均以獲取關(guān)聯(lián)信息為核心。

誠(chéng)然，該書(shū)也存在少許不足。首先，視覺(jué)和多模態(tài)交際的關(guān)聯(lián)分析建立在編碼型語(yǔ)篇的體裁原型回歸基礎(chǔ)上，但該書(shū)并未明確給出編碼型語(yǔ)篇的界定標(biāo)準(zhǔn)，只是以象似畫(huà)、交通標(biāo)志和徽標(biāo)等體裁為例，這使分析過(guò)程中明示性編碼的解碼具有一定的主觀性。其次，對(duì)于視覺(jué)和多模態(tài)交際的語(yǔ)用關(guān)聯(lián)分析只是提供了一個(gè)分析框架，但作者未提出原創(chuàng)性的具體分析程序，尤其在體裁原型回歸分析維度的體現(xiàn)更為凸顯，不能使關(guān)聯(lián)分析很好地降噪。而且，該書(shū)主要采用例釋法，缺少具體的方法論作為指導(dǎo)。

4. 結(jié)語(yǔ)

總體來(lái)看，該書(shū)具有重大的理論價(jià)值和實(shí)踐意義。多模態(tài)話語(yǔ)分析的語(yǔ)用關(guān)聯(lián)視角這一課題比較新穎，給視覺(jué)與多模態(tài)研究領(lǐng)域注入了一股新的力量，突破了該領(lǐng)域原有的研究范式，凸顯了語(yǔ)用關(guān)聯(lián)對(duì)多模態(tài)研究的潛力，推動(dòng)了多模態(tài)認(rèn)知語(yǔ)用學(xué)的發(fā)展，是視覺(jué)與多模態(tài)研究者不可多得的參考書(shū)目。同時(shí)，在很大程度上也推進(jìn)了多模態(tài)話語(yǔ)分析的發(fā)展。