（江蘇科技大學(xué) 外國(guó)語(yǔ)學(xué)院 212003）

一、引言

時(shí)下人們的交際大都是圖、文、聲、動(dòng)同步進(jìn)行，以多種模態(tài)的形式呈現(xiàn)，使信息傳遞更加快捷、精確、全面，適應(yīng)時(shí)代交際的需求。這種運(yùn)用多種感覺（聽覺、視覺等）和符號(hào)資源（語(yǔ)言、圖像、聲音、動(dòng)作等）進(jìn)行交際的現(xiàn)象就是多模態(tài)話語(yǔ)。多模態(tài)話語(yǔ)分析研究語(yǔ)言和其他非語(yǔ)言的意義系統(tǒng)，突出圖像、音樂、顏色等其他符號(hào)系統(tǒng)在社會(huì)交際中的地位，能更加全面準(zhǔn)確地解讀話語(yǔ)意義，探索人類如何綜合使用多種模態(tài)順利進(jìn)行交際。經(jīng)過二十多年的發(fā)展，多模態(tài)話語(yǔ)分析逐漸從靜態(tài)語(yǔ)篇轉(zhuǎn)向?qū)σ曨l、電影等動(dòng)態(tài)語(yǔ)篇的研究。其中，Baldry等從多模態(tài)角度分析了媒體、網(wǎng)頁(yè)、電影和廣告等；Bateman和Schmidt提出了系統(tǒng)分析電影意義構(gòu)建的符號(hào)學(xué)框架；張德祿提出并運(yùn)用了動(dòng)態(tài)多模態(tài)話語(yǔ)分析理論框架來(lái)分析一則電視天氣預(yù)報(bào)中視聽等模態(tài)間協(xié)同，發(fā)現(xiàn)聽覺模態(tài)為主模態(tài)，其他模態(tài)對(duì)其補(bǔ)充或強(qiáng)化；管樂、張嵋琳在張德祿的理論框架下分別研究了兩場(chǎng)Ted演講，發(fā)現(xiàn)在演講視頻中，聽覺模態(tài)是主模態(tài)，其他模態(tài)與之協(xié)調(diào)配合達(dá)到具體交際目的；孟凡英從動(dòng)態(tài)多模態(tài)話語(yǔ)形式和關(guān)系方面分析中國(guó)申辦2022年冬奧會(huì)劉延?xùn)|陳述視頻，發(fā)現(xiàn)其中各種模態(tài)話語(yǔ)的形式（語(yǔ)言、聲覺和圖覺）相互關(guān)聯(lián)共同實(shí)現(xiàn)語(yǔ)篇的整體意義。整體來(lái)說(shuō)，從多模態(tài)角度分析動(dòng)態(tài)視頻中交際目的的達(dá)成，對(duì)人們社會(huì)交際產(chǎn)生積極指導(dǎo)作用，是社會(huì)發(fā)展的需求。

二、動(dòng)態(tài)多模態(tài)話語(yǔ)分析理論框架

張德祿基于系統(tǒng)功能語(yǔ)言學(xué)提出動(dòng)態(tài)多模態(tài)話語(yǔ)分析綜合框架，文化層、語(yǔ)境層、意義層、形式層及媒體層是其五大層面。針對(duì)形式層的分析，具體探討了多模態(tài)話語(yǔ)的形式及關(guān)系，不同模態(tài)有實(shí)現(xiàn)意義的不同表意形體和語(yǔ)法系統(tǒng)，如視覺模態(tài)中有圖像形體和圖像語(yǔ)法，前者是本身可以實(shí)現(xiàn)一定意義的圖像項(xiàng)目，后者是不同項(xiàng)目組合后形成的圖像結(jié)構(gòu)體，可體現(xiàn)一定的（更復(fù)雜的）意義。且各模態(tài)間構(gòu)成多種協(xié)同關(guān)系，分為互補(bǔ)性和非互補(bǔ)性兩大類。互補(bǔ)性關(guān)系指一種模態(tài)不能充分或全部表達(dá)話語(yǔ)的意義，需要第二種模態(tài)的補(bǔ)充，其下細(xì)分為強(qiáng)化（突出、主次和擴(kuò)充）和非強(qiáng)化（交叉、聯(lián)合和協(xié)調(diào)）；非互補(bǔ)關(guān)系則指第二種模態(tài)的出現(xiàn)對(duì)第一種模態(tài)在話語(yǔ)意義的表現(xiàn)上并沒有大的貢獻(xiàn)，分為內(nèi)包（整體與部分、抽象與具體）、交疊（冗余、排斥、抵消）、語(yǔ)境交互（獨(dú)立、依賴）。

三、《遙遠(yuǎn)星球的孩子》預(yù)告片的多模態(tài)協(xié)同分析

（一）語(yǔ)料和語(yǔ)料切分

2011年7月21日CCTV9頻道首播紀(jì)錄片《遙遠(yuǎn)星球的孩子》的預(yù)告片，時(shí)長(zhǎng)1分34秒。該預(yù)告片從醫(yī)學(xué)、倫理、家庭、工作、夢(mèng)想等多個(gè)角度為觀眾揭開孤獨(dú)癥患者獨(dú)特的內(nèi)心世界和生活，嘗試改變社會(huì)上“孤獨(dú)癥是一種神秘疾病”的刻板印象，立意深刻，引人深思。

作為典型的動(dòng)態(tài)語(yǔ)篇，該預(yù)告片以字幕、畫面、音樂、音效等多種符號(hào)來(lái)進(jìn)行意義建構(gòu)，其中視聽兩種模態(tài)是否巧妙協(xié)同直接影響著預(yù)告片的交際目的是否能實(shí)現(xiàn)。為了便于分析，首先依據(jù)張德祿對(duì)動(dòng)態(tài)語(yǔ)篇切分的三個(gè)標(biāo)準(zhǔn)（語(yǔ)篇結(jié)構(gòu)、經(jīng)驗(yàn)意義、前景化的事物和特征）切分該視頻。在一個(gè)語(yǔ)篇中，每個(gè)主題下有多個(gè)階段，每個(gè)階段下又有多個(gè)次要單位，隨著語(yǔ)篇內(nèi)容的發(fā)展，主題發(fā)生轉(zhuǎn)變，該轉(zhuǎn)折點(diǎn)可作為單位切分的界限，也帶來(lái)了語(yǔ)篇參與者和情景因素的變化，另外語(yǔ)篇中同主題密切相關(guān)的前景化事物和特征在語(yǔ)篇切分時(shí)也應(yīng)考慮。再者，從語(yǔ)篇整體上來(lái)看，張德祿指出，每個(gè)圖像可以實(shí)現(xiàn)一個(gè)事件，一系列交際事件形成一個(gè)情節(jié)，幾個(gè)情節(jié)可以組成一個(gè)故事或者一個(gè)作品。由此，該預(yù)告片被切分為5個(gè)階段，9個(gè)步驟、12個(gè)情節(jié)、19個(gè)事件和19個(gè)圖像。預(yù)告片的開始與結(jié)尾分別對(duì)應(yīng)階1和階5，主題發(fā)展對(duì)應(yīng)階2和3，高潮部分對(duì)應(yīng)階4。

（二）模態(tài)間協(xié)同關(guān)系分析

該預(yù)告片由不同的交際階段構(gòu)成，各階段有各自的交際目的，從而產(chǎn)生不同的多模態(tài)話語(yǔ)交際模式，具體存在提示型、提供信息型和求取注意型三類交際模式。

第一類：提示型交際模式（階1、5）。首先，與舒緩的背景音樂幾乎同時(shí)，配音陳坤以緩慢的語(yǔ)調(diào)向觀眾詢問“你知道嗎？你身邊每1000個(gè)人當(dāng)中，至少有6個(gè)人，他們無(wú)法溝通，無(wú)法表達(dá)，無(wú)法互動(dòng)?！痹诖穗A段聽覺模態(tài)始終處于前景中，為主模態(tài)，同時(shí)事件1中灰黑色整體色調(diào)下的少年背影（視覺模態(tài)）為聽覺模態(tài)提供背景信息，起強(qiáng)化突出作用，事件2、3、4依次呈現(xiàn)從窗口遙望的少年沉浸在自己的世界里，不與他人溝通；以奇怪的手勢(shì)扭杯子的少年不知要表達(dá)什么；在公眾場(chǎng)合直立身子，抬起手臂，雙手合十的少年則不知道如何與他人互動(dòng)，在這視覺與聽覺模態(tài)構(gòu)成非強(qiáng)化協(xié)調(diào)關(guān)系，共同表達(dá)該階段話語(yǔ)的整體意義。接著，在預(yù)告片結(jié)束部分（事件19），白底色下的藍(lán)色字“系列紀(jì)錄片；遙遠(yuǎn)星球的孩子；首播22：00”以及畫面左上角淺白色英文縮寫“CCTV9 紀(jì)錄”構(gòu)成的視覺模態(tài)為主模態(tài)，提示觀眾其預(yù)告的正片的相關(guān)信息，聽覺模態(tài)體現(xiàn)在逐漸消去的背景音樂，與視覺模態(tài)構(gòu)成強(qiáng)化突出關(guān)系。

第二類：提供信息型交際模式（階2、3、4）。首先，配音周迅將孤獨(dú)癥者既害怕身體接觸又怕與人交流的特點(diǎn)向觀眾緩緩道來(lái)（事件5、6），緊接著陳坤用數(shù)據(jù)向觀眾說(shuō)明孤獨(dú)癥者的高患病率（事件7、8），同時(shí)構(gòu)成聽覺模態(tài)的背景音樂，一改之前的輕柔舒緩，而是略有些低沉悲壯，引起觀眾情感波動(dòng)。接著，高潮部分（階4）講述孤獨(dú)癥者家長(zhǎng)認(rèn)為孤獨(dú)癥者很天真，呼吁社會(huì)大眾接受他們（事件11和12），以及孤獨(dú)癥者自身坦然接受現(xiàn)狀，積極做出改變（事13、14、15、16），并積極與地球人分享他們的世界（事件17、18）。在這交際階段聽覺模態(tài)始終為主模態(tài)，推動(dòng)主題的發(fā)展，控制預(yù)告片的進(jìn)程；視覺模態(tài)上，事件7和8中呈現(xiàn)一位小男孩的面部特寫和一位在空馬路上莫名奔跑的少年的圖像，沒有傳達(dá)新的意義，但具體化已傳達(dá)給觀眾的語(yǔ)篇意義，與聽覺模態(tài)構(gòu)成非互補(bǔ)內(nèi)包關(guān)系，其他事件中視覺模態(tài)提供具體形象的圖像信息，與聽覺模態(tài)共同傳達(dá)語(yǔ)篇的整體意義，構(gòu)成互補(bǔ)非強(qiáng)化協(xié)調(diào)關(guān)系，使觀眾快速準(zhǔn)確理解該預(yù)告片傳達(dá)的交際意義。

第三類：求取注意型交際模式（事件9和10）。在事件9中，不同于之前寫實(shí)的畫面，畫風(fēng)一轉(zhuǎn)為色調(diào)明亮，由顯眼簡(jiǎn)潔的圖形（分別代表孤獨(dú)癥、大于、艾滋病加癌癥和糖尿?。┖陀⑽目s寫（AUTISM、HIV、CANCER、DIABETES）構(gòu)成的動(dòng)畫，一目了然，接著事件10中，代表孤獨(dú)癥的人形圖形變大，代表艾滋病、癌癥和糖尿病的圖形從橫排有序排列變?yōu)橐粓F(tuán)，在整個(gè)畫面中占比變小，十分明確生動(dòng)地傳達(dá)出自閉癥人數(shù)持續(xù)增加的語(yǔ)篇意義。在這視覺模態(tài)為主模態(tài)，處于前景化中，聽覺模態(tài)補(bǔ)充和準(zhǔn)確其表達(dá)意義，兩者結(jié)合精確表達(dá)出語(yǔ)篇的整體意義，構(gòu)成非強(qiáng)化協(xié)調(diào)關(guān)系。

表1 《遙遠(yuǎn)星球的孩子》預(yù)告片的模態(tài)協(xié)同關(guān)系

四、結(jié)語(yǔ)

通過以上對(duì)《遙遠(yuǎn)星球的孩子》預(yù)告片的多模態(tài)協(xié)同分析可見，不同模態(tài)有著不同的意義潛勢(shì)，不同模態(tài)的擴(kuò)展和組合引起交際語(yǔ)篇整體意義范圍的擴(kuò)展，例如圖像能夠體現(xiàn)具體形象的意義、增強(qiáng)概念意義表達(dá)的精細(xì)度，音樂可以增加人際意義的表現(xiàn)范圍，其表達(dá)出的細(xì)膩情感難以用語(yǔ)言來(lái)描述，多種模態(tài)的組合使語(yǔ)篇整體意義的表達(dá)更加多維立體。此外在不同的交際階段，模態(tài)之間的關(guān)系不同。在預(yù)告片中，聲音起著表達(dá)內(nèi)容、連貫敘事和吸引觀眾的重要作用，除了展示孤獨(dú)癥高患病率（事件9、10）和結(jié)尾顯示預(yù)告的正片信息時(shí)（事件19）視覺模態(tài)為主模態(tài)，其余的都是聽覺模態(tài)為主模態(tài)，處于前景中。且在整個(gè)預(yù)告片語(yǔ)篇中，視覺模態(tài)與聽覺模態(tài)絕大部分處于互補(bǔ)關(guān)系（非強(qiáng)化協(xié)調(diào)或強(qiáng)化突出）中，共同構(gòu)成完整的語(yǔ)篇意義；在部分事件中，視覺模態(tài)與聽覺模態(tài)構(gòu)成非互補(bǔ)內(nèi)包關(guān)系，視覺上的圖像沒有提供新的信息，但使聽覺模態(tài)提供的信息更加具體形象。多種模態(tài)的配合，聚集了多種模態(tài)的表達(dá)優(yōu)勢(shì)，多方位迅速地傳達(dá)意義，使預(yù)告片語(yǔ)篇交際更加多元和真實(shí)，引起觀眾的情感共鳴、加深觀眾的印象，從而達(dá)到吸引觀眾的目的。