多模態(tài)互動視閾下TED演講模式研究

北京工業(yè)大學(xué) 楊曉蕾 梁梅紅

古今中外，演講的重要性已不言而喻，好的演講總能達(dá)到事半功倍的效果。古有毛遂以三寸之舌，強(qiáng)于百萬之師，今有馬丁· 路德·金對人權(quán)平等的吶喊。當(dāng)代社會，演講成為日常交際和工作交流的重要方式之一。但隨著信息與多媒體技術(shù)的發(fā)展，人們使用的交際模態(tài)發(fā)生了很大的變化，演講的形式也隨之發(fā)生很大改變。這體現(xiàn)在言語不再是交流的唯一模態(tài)，表情符號、圖片、幻燈片等多種模態(tài)的組合逐漸成為演講的新興趨勢。此外，在線視頻的興起也使得演講可以超越時空性，被更多的人下載和觀看。在這種背景下，多模態(tài)演講更能使觀眾把握演講者當(dāng)時真實的話語意義。

TED演講是典型的多模態(tài)語篇，并且以其學(xué)術(shù)性、多樣性和開放性受到學(xué)習(xí)者的歡迎。TED演講自2007年面向全球免費(fèi)開放后，到如今廣受歡迎，其宗旨是“傳播有價值的思想”。許多學(xué)者已經(jīng)對TED演講進(jìn)行了相關(guān)研究，如洪巖、梁林梅(2013)闡述了TED的歷史和發(fā)展以及TED在中國受歡迎的原因和對中國在線開放課程的啟發(fā)。TED演講逐漸在教育領(lǐng)域和語言學(xué)領(lǐng)域得到重視?，F(xiàn)有關(guān)于 TED 演講的研究多側(cè)重于從演講的語言技巧、演講內(nèi)容的組織安排以及演講的教學(xué)價值等角度進(jìn)行闡述(如Di Carlo 2014；姜暉 2020；楊曉蕾、梁梅紅 2020)。 而針對演講中的非言語因素，以及言語和非言語互動意義的研究相對較少。雖然Theunissen(2014)關(guān)注了TED演講中的視覺語言，但卻只局限于PPT演示。而且這些研究大多沒有客觀的數(shù)據(jù)支撐，缺乏直觀性和可信度。因此，本研究從多模態(tài)角度出發(fā)，整合構(gòu)建了TED演講多模態(tài)互動分析框架，以質(zhì)性研究為主，并且借助量化研究方法即多模態(tài)分析軟件ELAN，系統(tǒng)地探討TED演講中言語和非言語模態(tài)的應(yīng)用、分布及關(guān)系。本研究旨在通過系統(tǒng)分析TED演講中話語模態(tài)的使用，揭示演講中話語信息的傳播方式，以啟發(fā)演講者通過多種模態(tài)更好地傳遞思想。

1. 理論背景

1.1 多模態(tài)話語相關(guān)研究

多模態(tài)話語研究始于 Barthes(1977)對圖像在視覺意義表達(dá)上與文本之間相互作用的探討。直到20 世紀(jì) 90 年代，多模態(tài)話語分析理論才蓬勃發(fā)展起來，代表性作品是Kress & van Leeuwen(1996)合著的《閱讀圖像》。Kress & van Leeuwen(2001)首創(chuàng)多模態(tài)話語概念，認(rèn)為多模態(tài)是交際中多種符號模態(tài)的應(yīng)用。Jewitt(2009)認(rèn)為多模態(tài)話語分析主要有3個傳統(tǒng)：系統(tǒng)功能語言學(xué)視角、社會符號學(xué)視角和會話分析視角。此后還有多模態(tài)互動分析、語料庫語言學(xué)多模態(tài)話語分析以及多模態(tài)隱喻分析等。我國相關(guān)領(lǐng)域的研究始于 21 世紀(jì)，李戰(zhàn)子于2003 年把多模態(tài)話語研究引介到國內(nèi)。2007 年，朱永生從系統(tǒng)功能語言學(xué)角度探討了多模態(tài)話語分析的理論基礎(chǔ)和分析方法。迄今為止，從系統(tǒng)功能語言學(xué)角度出發(fā)的多模態(tài)話語分析研究占大多數(shù)。(潘艷艷、李戰(zhàn)子 2017)

從研究對象來看，國內(nèi)外學(xué)者對于多模態(tài)話語分析的研究多集中于理論研究和靜態(tài)語篇的研究，如報紙、雜志、海報等(張德祿、王群 2011； Fernndez-Fontechaetal. 2019)。雖然近幾年關(guān)于動態(tài)多模態(tài)語篇或者三維靜態(tài)語篇的研究陸續(xù)開展起來，但仍然是少數(shù)，例如對課堂教學(xué)、演講、電影、建筑的研究等(張德祿、袁艷艷 2011；Pratiwy & Wulan 2018)。原因如下：多模態(tài)話語分析始于對圖像和文字組合意義的探討，所以對靜態(tài)語篇的關(guān)注較早；動態(tài)語篇較靜態(tài)語篇更為復(fù)雜，在分析時切分難度相對較大；系統(tǒng)功能語言學(xué)指導(dǎo)下的多模態(tài)話語分析是目前的主要研究路徑，以分析“意義”為核心，更適用于靜態(tài)語篇的分析，而動態(tài)語篇更注重“行動”的過程，需要從其他角度進(jìn)行分析才能更加深刻，如多模態(tài)互動分析的角度(張佐成、陳瑜敏 2014)。綜上所述，多模態(tài)話語分析的方法和視角亟待完善和豐富。

1.2 多模態(tài)互動分析

思想的傳遞需要話語的支撐以及肢體語言和面部表情等的密切配合。為了探索TED演講傳播思想的語言模式，研究者需要有廣闊的視野。TED演講者不僅使用了言語模態(tài)，還使用了豐富的非言語模態(tài)，如手勢、頭部動作、面部表情等，所以TED演講屬于動態(tài)多模態(tài)語篇。因此，本研究的理論基礎(chǔ)是Norris的多模態(tài)互動分析方法及張德祿的多模態(tài)互動分析框架。Norris的多模態(tài)互動分析屬于整體分析，以“中介話語活動”為基本分析單位?；顒佑址譃楦邔踊顒印⒌蛯踊顒右约澳袒顒?。比如，參加一場演講，演講本身屬于高層活動，演講中使用的手勢屬于低層活動，而演講中使用過的筆屬于凝固活動。Norris(2004)認(rèn)為交際中的互動模態(tài)有9類，分別是言語、距離、身勢、手勢、頭部運(yùn)動、眼神、音樂、印刷物和布局。多模態(tài)互動分析的重點主要是這9類互動模態(tài)，但在具體的分析場景下，可根據(jù)語篇的特點進(jìn)行增添。

張德祿、王正(2016)在此基礎(chǔ)上提出了多層次多模態(tài)互動分析綜合框架，包括5個方面：文化語境、情景語境、互動話語、模態(tài)和媒介。他們還認(rèn)為話語意義中的一大部分是由非語言因素體現(xiàn)的，如伴語言特征：音響度、聲調(diào)、語調(diào)、音速等，身體特征：手勢、身勢、面部表情、動作、移動等，非身體特征：PPT、音響設(shè)備、網(wǎng)絡(luò)、實驗室、周圍的環(huán)境因素等。各個模態(tài)之間的協(xié)同關(guān)系，分為互補(bǔ)性的和非互補(bǔ)性的兩大類，互補(bǔ)性又包括強(qiáng)化和非強(qiáng)化，非互補(bǔ)性包括交疊、內(nèi)包和語境交互。(張德祿 2009)

1.3 TED演講多模態(tài)互動分析框架

多模態(tài)的應(yīng)用研究中存在的主要問題是理論框架沒有被調(diào)整或改變，只考慮了較少的特定語言功能，并將其直接應(yīng)用于分析對象，導(dǎo)致結(jié)果只是多模態(tài)話語的“重新描述”，而不是“分析”(潘艷艷 2019)。因此，為了對TED演講進(jìn)行有針對性的分析，本研究整合了現(xiàn)有的多模態(tài)互動分析框架，構(gòu)建了TED演講多模態(tài)互動分析框架，如下頁圖1所示。

圖1 TED演講多模態(tài)互動分析框架

該框架從3個層面對TED演講進(jìn)行了較為全面的多模態(tài)話語分析，分別是語境層面、互動話語層面、模態(tài)和媒介層面。語境層又分為文化語境和情景語境，是TED演講話語分析的基礎(chǔ)和先決因素；互動話語層的分析以“活動”為單位，尤其是低層活動，如手勢、身勢、面部表情等，同時考慮了說話人對活動不同的注意度；模態(tài)與媒介層面是互動話語的具體體現(xiàn)形式，也是本文的研究重點。本研究將模態(tài)分為聽覺模態(tài)與視覺模態(tài)，擬分析模態(tài)的應(yīng)用、功能以及關(guān)系，并對話語的媒介進(jìn)行簡要闡述。本研究以該框架為指導(dǎo)，采用自上而下的分析思路，探討TED演講模式中交際模態(tài)的應(yīng)用和分布情況，以及它們?nèi)绾喂餐瑯?gòu)建和傳達(dá)話語意義并實現(xiàn)傳播思想的目標(biāo)。研究的主要目的不是發(fā)現(xiàn)某種特定類型的話語中模態(tài)的應(yīng)用趨勢，而是以TED演講多模態(tài)語篇為例，揭示多模態(tài)演講在表達(dá)和交流思想上的潛力。

2. 研究設(shè)計

2.1 研究對象及研究問題

本研究選用的語料來源是www. ted. com，從中選擇了Erika Hamden題為 “What it takes to launch a telescope”的演講，該演講視頻總時長為7分18秒。演講中包含了豐富的模態(tài)，涉及聽覺模態(tài)及多種視覺模態(tài)，具有研究的價值和代表性。本研究旨在通過多模態(tài)互動分析框架探討該TED多模態(tài)演講的模式，研究問題為：1)影響TED演講模式構(gòu)建的語境因素有哪些？2)演講者話語中模態(tài)的整體應(yīng)用和分布有何特點?3)不同模態(tài)之間具有哪些協(xié)同關(guān)系，對演講產(chǎn)生了何種影響？

2.2 研究方法

本研究從質(zhì)性和量性兩個方面對該演講進(jìn)行系統(tǒng)分析。質(zhì)性研究是依據(jù)TED演講多模態(tài)互動分析理論框架的3個層次：首先通過語料觀察和文獻(xiàn)參考得出該篇TED演講的語境特征和互動話語的結(jié)構(gòu)，然后分析模態(tài)應(yīng)用的特點，最后研究模態(tài)的組合關(guān)系。量性研究采用多模態(tài)話語分析軟件ELAN (EUDICO Linguistic Annotator)。ELAN 是由荷蘭馬普心理語言學(xué)研究所開發(fā)的一個多模態(tài)話語分析軟件，廣泛運(yùn)用于態(tài)勢語研究、話語分析和口語語料庫建設(shè)等方面。本研究采用的版本是ELAN 5.8。該軟件可以精確到 0.01 秒，便于對動態(tài)視頻的分割、標(biāo)記、定位以及循環(huán)播放。

研究步驟是：先在ELAN中根據(jù)編碼(表1)對視頻中出現(xiàn)的重要模態(tài)進(jìn)行分類標(biāo)注，再統(tǒng)計這些模態(tài)在視頻總時長中出現(xiàn)的次數(shù)，最后根據(jù)分析結(jié)果總結(jié)語料中的模態(tài)關(guān)系，并探討這些關(guān)系對演講的影響。本研究的標(biāo)注模態(tài)分為聽覺模態(tài)(口語、音韻特征)和視覺模態(tài)(身勢、手勢、頭部運(yùn)動、面部表情、PPT)，具體的分析范圍體現(xiàn)為表1中的編碼。

表1 模態(tài)編碼表

3. 分析與結(jié)果

3.1 語境特征分析

從文化語境的角度來看，對語篇的分析應(yīng)該包括語篇發(fā)生的社會背景、交際目的和體裁。本研究中TED演講的社會背景是西方文化。 在西方，演講有著重要的地位，已經(jīng)成為一種歷史悠久的文化。 西方人在演講中最大程度地使用了各種口頭技巧和肢體語言。 在TED中，演講者還可以使用多媒體技術(shù)來演示其演講的內(nèi)容，因此演講中應(yīng)用的交際模態(tài)更加多樣化。TED演講是表達(dá)思想的一種方式，宗旨是傳遞有價值的思想，這是一種具有創(chuàng)新性的分享文化，交際目的是說服人們行動起來做出改變。此外，本研究的TED語料的體裁屬于科技類語篇，具有一定的規(guī)范性和學(xué)術(shù)性。

情景語境包括話語范圍、話語基調(diào)和話語方式。話語范圍主要指內(nèi)容的深度及廣度，科技類話題涉及社會發(fā)展的前沿問題且較為深奧，但又與人們的生活息息相關(guān)。話語基調(diào)指的是參加者之間的關(guān)系，包括參加者的社會地位以及他們之間的角色關(guān)系。TED的演講者可以是科學(xué)家、教育工作者，也可以是在某個領(lǐng)域有新的發(fā)現(xiàn)且樂于分享的人，參加的觀眾一般是對此話題感興趣的人。TED演講具有學(xué)術(shù)性，但參加的人不一定有相關(guān)的知識背景，所以演講又帶有一定的口語性。話語方式是指受環(huán)境、設(shè)備、模態(tài)資源等影響的演講方式。TED是舞臺性現(xiàn)場演講，所以言語模態(tài)是演講的主要表達(dá)方式。舞臺設(shè)備一般包括一個大顯示屏，這也讓圖片、文字及視頻等視覺語言的表現(xiàn)形式能夠得以實現(xiàn)。

根據(jù)語境和演講目的，本研究將TED多模態(tài)互動話語劃分為4個步驟：引入、主體、高潮和結(jié)尾。 這4個步驟屬于演講活動中的4個高層活動，在TED演講中以線性順序構(gòu)建，每個高層活動又包括了不同的低層交際活動，如手勢、頭部動作等。引入部分的目的是引入主題，包括簡短的自我介紹和主題介紹；主體部分用來闡述事實和擺明觀點，分配的時間最長；高潮部分提出演講的主題思想，是演講者情感的表達(dá)點；結(jié)尾部分表達(dá)了未來的行動和決心。通過這4個演講步驟，演講活動才得以完成。下文將分析交際模態(tài)的具體分布和應(yīng)用。

3.2 模態(tài)的應(yīng)用及分布

從語言表達(dá)的形式層面和媒體層面來看，該TED演講主要分為視覺模態(tài)和聽覺模態(tài)，模態(tài)使用的整體特征如表2所示。

表2 視覺模態(tài)和聽覺模態(tài)的整體標(biāo)注數(shù)量

從表2可以看出：在本篇演講中，聽覺模態(tài)的標(biāo)注數(shù)量為380次，大于視覺模態(tài)的214次，這說明了該演講中的聽覺模態(tài)占較大的比例，視覺模態(tài)處于次要地位。模態(tài)的具體表現(xiàn)形式如表3所示。

表3 視覺模態(tài)和聽覺模態(tài)的具體標(biāo)注數(shù)量

該TED演講的模態(tài)使用具體表現(xiàn)為口語的標(biāo)注數(shù)量最多，標(biāo)注時長也遠(yuǎn)遠(yuǎn)多于其他模態(tài)，音韻特征的標(biāo)注數(shù)量次之。視覺模態(tài)中標(biāo)注次數(shù)最多的是手勢，其余的依次是：頭部動作、身勢、面部表情和PPT。此外，該演講的引入部分、主體部分、高潮部分和結(jié)尾部分表現(xiàn)出不同的模態(tài)分布，各階段模態(tài)使用的特點如圖2所示。

圖2 演講各階段的模態(tài)分布

上圖中橫軸表示模態(tài)，豎軸是模態(tài)在不同演講階段使用的次數(shù)。從圖2可以看出，模態(tài)的分布在這4個階段的共同點是：PPT的使用在每個階段都較少，其中演講者用了少量圖片和視頻，突出了演講中的口語模態(tài)；口語中的重音、視覺語言中的開放性身體姿態(tài)較多，節(jié)拍手勢和隱喻手勢以及頭部左右擺動的動作在演講的各個階段都比較活躍。除此之外，模態(tài)的分布在不同階段具有差異性：引入階段中常出現(xiàn)口語中的重音、升降調(diào)，并且經(jīng)常結(jié)合視覺模態(tài)中的節(jié)拍手勢、點頭動作和左右擺頭動作來傳達(dá)信息；演講主體階段的模態(tài)最為豐富，語調(diào)中經(jīng)常出現(xiàn)重音、降升調(diào)、降調(diào)、停頓，加上手部的節(jié)拍動作、隱喻手勢，以及頭部的左右擺動，并且圖片也多次出現(xiàn)在主體部分；演講的高潮階段中，口語仍然是主要模態(tài)，口語中停頓、重音、升降調(diào)和降調(diào)經(jīng)常出現(xiàn)，節(jié)拍手勢以及左右擺頭動作也較常出現(xiàn)，但表情多為嚴(yán)肅；演講結(jié)尾的口語次數(shù)較少，體現(xiàn)了演講者語言的精練，視覺模態(tài)中隱喻手勢和點頭動作較多，表情多為微笑。

3.3 模態(tài)關(guān)系分析

模態(tài)之間的協(xié)同關(guān)系體現(xiàn)在該演講中，增加了演講的互動意義。在該演講中，模態(tài)的組合方式有很多種，但篇幅有限，本文不再一一舉例。主要的模態(tài)組合有以下3種：口語、語調(diào)和手勢；口語、面部表情和頭部動作；口語和圖片。下面就以這3種組合為例，從意義層面解釋其關(guān)系及產(chǎn)生的演講溝通效果。

(一)口語、語調(diào)和手勢

圖3 視頻截取畫面一

在這篇演講中，口語、語調(diào)和手勢的搭配組合最為常見，口語及語調(diào)都屬于聽覺模態(tài)，基本伴隨著演講的始終。演講者使用最多的視覺模態(tài)就是手勢，所以口語、語調(diào)和手勢的搭配在這篇演講中最多。以上圖為例，口語是“I’m an astronomer who builds telescopes”，語調(diào)為先升后降，并且伴隨節(jié)拍手勢。這3種模態(tài)屬于互補(bǔ)關(guān)系中的強(qiáng)化關(guān)系，就是說一種模態(tài)是主要的交際形式，而另一種或者多種形式是對它的強(qiáng)化。在強(qiáng)化關(guān)系中，一種模態(tài)的形式只提供背景信息，比如語言是主要的交際形式，那么手勢、身勢等交際形式就只起強(qiáng)化作用。

演講者用這句話來開場并且介紹自己的身份。主句是升調(diào)，讓聽眾意識到這句話還不完整；從句是降調(diào)，是對主句的補(bǔ)充和細(xì)化，通過語調(diào)的變化引起觀眾的注意力。并且相應(yīng)的節(jié)拍手勢分別出現(xiàn)在“astronomer”和“telescope”，這與語調(diào)的變化和口語表達(dá)的重要信息相一致，因此它們是互補(bǔ)強(qiáng)化關(guān)系，使演講者更具有表現(xiàn)力，增強(qiáng)了語言的交流效果。

(二)口語、面部表情和頭部動作

面部表情和頭部動作在這篇演講中也得到了很好的展現(xiàn)，演講者在表達(dá)內(nèi)心情感時會把這兩種視覺模態(tài)，即肢體語言與口語相結(jié)合。圖4中的口語是“But I look at it, and it makes me want to cry”。句末有停頓，面部表情是嚴(yán)肅狀，頭部動作是低頭頷首，若有所思。這3種模態(tài)屬于互補(bǔ)關(guān)系中的強(qiáng)化關(guān)系，面部表情和頭部動作強(qiáng)調(diào)了語言所表達(dá)的情感。

圖4 視頻截取畫面二

這里演講者想表達(dá)的是在經(jīng)過很多的努力后，仍然要面對失敗時的心情。句末的停頓和面部的表情引發(fā)觀眾的思考，進(jìn)而想知道下面發(fā)生了什么。頭部及眼神朝向地面，避免與觀眾眼神的接觸，這種舞臺上流露的真性情更能使觀眾產(chǎn)生共鳴，這樣的演講也更能抓住人心，表達(dá)的信息遠(yuǎn)遠(yuǎn)多于單純的口語表達(dá)。

(三)口語和圖片

在這篇演講中，演講者使用了PPT的演示方法，主要運(yùn)用了圖片和少量的短視頻。以圖5為例，圖片出現(xiàn)時，演講者的口語是“And I have this picture that’s taken right around sunset on that day of our balloon, FIREBall hanging from it, and the nearly full moon”。圖片的底色是漆黑一片，圖片偏右是一輪圓月，稍偏左是一個類似淚滴的發(fā)光體，其實是承載望遠(yuǎn)鏡的氣球?？谡Z是對圖片的講解，圖片是對口語的呈現(xiàn)，所以這個圖片和口語是互補(bǔ)關(guān)系中的非強(qiáng)化關(guān)系，即兩種交際模態(tài)互補(bǔ)，但是缺一不可，即缺乏任何一者，內(nèi)容都將不完整。

圖5 視頻截取畫面三

另外，圖片中大大的圓月與渺小的氣球形成了鮮明的對比，為下文演講者解釋失敗的原因做鋪墊，黑色的圖片底色更是增添了神秘和感傷的色彩。演講者口語描述中的“sunset”“hang”“full”也加劇了傷感的氛圍和畫面的反差感，與觀眾產(chǎn)生了強(qiáng)烈的情感互動。

(四) TED多模態(tài)演講模式

本研究在多模態(tài)互動分析的框架下對TED演講進(jìn)行了語篇分析，通過自上而下對語境層面、互動話語層面、模態(tài)及媒介層面進(jìn)行系統(tǒng)的分析，可以將該TED的演講模式概括為圖6。本研究從多模態(tài)角度對演講語篇進(jìn)行分析，區(qū)別于話語分析的視角，體現(xiàn)為兩點：一是基于多模態(tài)視角的分析綜合反映了講話者的話語特征，多維度和全方位地解釋了演講者話語信息的表達(dá)方式，對我們理解不同語境下的話語模態(tài)有啟發(fā)作用；二是對我們的指導(dǎo)也是立體的，演講不是一個純口語性的活動，身體語言和非身體語言都需要調(diào)動起來，甚至周圍的環(huán)境、道具、布置都是表達(dá)的方式，這使我們對演講有更全面的認(rèn)識。

圖6 TED多模態(tài)演講模式

4. 討論及建議

通過對TED多模態(tài)演講模式的分析，主要得出以下三點啟示：

4.1 注意語境和交際目的對交際形式的影響

交際的形式在本文中指交際模態(tài)，即手勢、姿勢、面部表情等。交際發(fā)生的語境和目的對交際模態(tài)的選擇具有重要影響。正如Norris(2004)所說，交際模態(tài)是基于一定的語境和文化發(fā)生的。本文中TED演講的社會語境屬于西方，尤其是發(fā)生在美國文化中，在一定程度上決定了演講的模式。文化批評家黛博拉·卡梅隆(Cameron 2005)將英美演講文化定義為“對真實、完整和可呈現(xiàn)自我的永久追求”。演講者被要求以自己的名義發(fā)言，表達(dá)自己的觀點；并且不僅以真實的方式說話，而且要成為一個真實的人，這樣才能獲得觀眾的信任和共鳴。本文中的TED演講體裁是科技類話題演講，體現(xiàn)了演講內(nèi)容的學(xué)術(shù)性。但TED演講的目的是分享思想，是面向大眾的，觀眾不一定有專業(yè)的知識背景。尤其是在網(wǎng)絡(luò)環(huán)境的影響下，交際雙方都在發(fā)生變化。TED的演講者不再局限于專家學(xué)者，觀眾分為實時觀眾和線上觀眾，所以觀眾的知識背景參差不齊。那么，要在有限的時間內(nèi)完成演講并且達(dá)到傳遞思想的效果，演講者語言的真實性要高于正式性，比如通過一些話語標(biāo)記語，如“well”“you know”“you guys”等營造親切的氛圍。因此，在多模態(tài)的背景下，演講能力包括了句法能力、文化能力及體裁能力(Rossette-Crake 2020),成功的英語演講不僅能夠運(yùn)用正確的單詞和使用正確的語法，還需要意識到并掌握背后的具體文化習(xí)俗。

4.2 要善于運(yùn)用言語及非言語模態(tài)

言語模態(tài)在演講中一般都是主要的模態(tài)，但也要善于使用視覺模態(tài)，如頭部動作、身體姿勢、面部表情和PPT等，這也是與觀眾互動的有效手段?？谡Z模態(tài)中音韻特征的變化經(jīng)常容易被演講者忽略，但是音調(diào)的變化對話語的意義產(chǎn)生了很大的影響。在該TED演講中，上升語調(diào)較少，且出現(xiàn)在疑問句后，大部分的句子都是以降調(diào)結(jié)尾，這也傳達(dá)出了一種確定性和可信性。演講中停頓的恰當(dāng)使用既給了觀眾思考的時間，也更容易使觀眾產(chǎn)生共鳴。此外，重讀也能增強(qiáng)語言表達(dá)的效果，所以言語模態(tài)中的音韻特征是演講中不可忽略的一部分。言語和非言語模態(tài)共同使用時，應(yīng)該把握不同模態(tài)結(jié)合的關(guān)系。話語的真實意義總是被不同的模態(tài)共同構(gòu)建的(Norris 2004)。因此，演講者要根據(jù)演講每個階段的目的，結(jié)合聽覺與視覺模態(tài)共同表達(dá)話語意義。該TED演講中模態(tài)的關(guān)系通常是互補(bǔ)關(guān)系，手勢、身勢、頭部動作及面部表情這幾個模態(tài)以身體為媒介，對言語的意義起到了強(qiáng)化及突出的作用。而PPT不以講話者身體為媒介，能夠與言語協(xié)調(diào)完成話語意義?？傊曈X模態(tài)與聽覺模態(tài)相互作用，共同構(gòu)建了話語意義，實現(xiàn)了TED傳遞思想的目的。

4.3 交際模態(tài)的選擇要遵循一定的原則

本研究發(fā)現(xiàn)模態(tài)結(jié)合的密度會隨著話語意義的不斷推進(jìn)而變化。演講的闡述階段是主體部分，觀點的闡述以及觀點的論證都會在這一部分得到集中的展示，所以闡述部分的模態(tài)使用密度最強(qiáng)。但模態(tài)的選擇和使用有一定的規(guī)律可尋，并非是隨意的。張德祿(2010)在外語教學(xué)設(shè)計中提出了對模態(tài)系統(tǒng)選擇的原則，總原則是最佳效果原則，下面包括3個一般原則：有效原則、適配原則和經(jīng)濟(jì)原則。本文認(rèn)為這幾個原則在演講的模態(tài)使用中同樣適用。其中有效原則指模態(tài)的使用要對話語意義產(chǎn)生正效應(yīng)，如PPT在演講中的使用。PPT作為一種工具對話語意義的表達(dá)提供了便利，這遵循了工具原則。再如TED舞臺的設(shè)計是與觀眾平視的角度，舞臺的布置非常簡單，只突出了大會的標(biāo)志和演講者，從內(nèi)部激發(fā)觀眾把注意力不自覺地集中到舞臺的演講者身上，這是模態(tài)發(fā)揮的引發(fā)作用，即引發(fā)原則。

此外，模態(tài)的選擇要遵循適配原則，即把握模態(tài)之間的關(guān)系。模態(tài)之間的關(guān)系在前文已經(jīng)提到，這里不再贅述。最后，演講中模態(tài)的選擇要遵循經(jīng)濟(jì)原則，以最小的代價換取最優(yōu)的效果。比如PPT是當(dāng)今交流的重要輔助形式，但是過于花哨和復(fù)雜的視覺設(shè)計反而會帶來負(fù)面的效果，尤其是TED演講的潛在觀眾是來自不同國家和不同背景的人群，PPT中的視覺元素一定要簡潔有力，所以簡單的圖片和文字是PPT的主要展現(xiàn)方式。這點在Theunissen(2014)的研究中有過類似的研究結(jié)果，通過對TED演講PPT展示中視覺模態(tài)的研究，該報告發(fā)現(xiàn)TED演講者傾向于應(yīng)用較少技術(shù)的視覺演示以迎合背景知識較少的聽眾。

5. 結(jié)語

通過ELAN標(biāo)注統(tǒng)計該TED演講多模態(tài)話語中的口語、音韻特征、身勢、手勢、頭部動作、面部表情、PPT, 并對它們的使用情況和相互關(guān)系進(jìn)行分析, 本研究發(fā)現(xiàn)該演講者的口語模態(tài)是主模態(tài)，口語中常用升降調(diào)和重音，視覺模態(tài)中多用節(jié)拍手勢和左右轉(zhuǎn)頭動作，PPT中用了圖片和視頻兩種表現(xiàn)形式。隨著演講的推進(jìn)，每個階段都有側(cè)重使用的模態(tài)，視覺模態(tài)與聽覺模態(tài)互為補(bǔ)充，促進(jìn)了思想的傳遞，共同體現(xiàn)了演講的互動意義并增添了演講的效果。

總之，TED演講是非常有價值的多模態(tài)話語分析語料。本文結(jié)合多模態(tài)互動分析理論對該TED演講進(jìn)行了定性和定量的研究，但是現(xiàn)實的分析過程比理論更為復(fù)雜多樣，比如TED視頻拍攝的遠(yuǎn)景導(dǎo)致有些手勢無法識別，這可能會影響整體的數(shù)據(jù)分布。作者深知本研究不能代表所有演講的模態(tài)特點，因此，僅以此文的個案為例來探討演講中模態(tài)運(yùn)用及意義表達(dá)的潛力，啟發(fā)演講者學(xué)習(xí)多模態(tài)演講的方法。以后的研究應(yīng)該擴(kuò)大研究范圍，建立語料庫進(jìn)行多模態(tài)話語分析會是今后的發(fā)展趨勢。