徐 艷
(巢湖學(xué)院 外語系,安徽 巢湖 238000)
多模態(tài)話語是指運(yùn)用視覺、聽覺、觸覺等多種感覺,通過語言、圖像、聲音、動作等多種手段和符號資源進(jìn)行交際的現(xiàn)象,且所有的模態(tài)都具有表達(dá)意義的潛勢。[1]多模態(tài)話語是普遍存在的。
多模態(tài)話語分析和研究基于系統(tǒng)功能語言學(xué)和社會符號學(xué)理論,認(rèn)為語言并非是唯一的交際模式,其他符號資源對交際的實(shí)現(xiàn)也同樣起作用。因此,單純從語言角度無法對話語進(jìn)行全面深入的研究和分析,多模態(tài)話語分析越來越受到國內(nèi)外學(xué)者的重視。Kress 和Leeuwen 致力于建立社會符號學(xué)的多模態(tài)分析方式,探討各種符號資源,包括視覺圖像、顏色語法以及版面設(shè)計等的作用。[2-3]Royce 研究了不同符號系統(tǒng)在多模態(tài)話語中的互補(bǔ)作用以及在第二語言課堂教學(xué)中多模態(tài)的協(xié)同作用。[4]國內(nèi)關(guān)于多模態(tài)話語的探討從理論研究到實(shí)踐分析都有所涉及。李戰(zhàn)子[5]、胡壯麟[6]、朱永生[7]和張德祿[1]等探討了多模態(tài)話語分析的理論基礎(chǔ)和研究方法,逐步為多模態(tài)話語研究提供了較為系統(tǒng)的理論框架。王紅陽[9]、李美霞和宋二春[10]、張旭紅[11]、張德祿和袁艷艷[12]等將多模態(tài)話語研究分別應(yīng)用于不同語類的語篇分析之中。與此同時,教學(xué)的多模態(tài)化也已經(jīng)成為一個重點(diǎn)研究領(lǐng)域,張德祿和王璐[13]通過對比兩個教學(xué)案例,探討在大學(xué)英語課堂實(shí)際教學(xué)過程中,不同模態(tài)之間的相互協(xié)同作用。王惠萍[14]的研究表明,在現(xiàn)代英語閱讀教學(xué)中有必要培養(yǎng)學(xué)生的多模態(tài)識讀能力。張征[15]進(jìn)行了多模態(tài)PPT 演示教學(xué)與學(xué)生學(xué)習(xí)績效的相關(guān)性研究。但是關(guān)于演示教學(xué)中多模態(tài)話語選擇以及意義整合的研究鮮有涉及。
把現(xiàn)代教育多媒體技術(shù)運(yùn)用于教學(xué),可以更加全面、更加準(zhǔn)確地解讀教學(xué)內(nèi)容。在教學(xué)多模態(tài)話語選擇中最關(guān)鍵的因素是如何使不同模態(tài)相互配合來獲得最佳教學(xué)效果。本文基于多模態(tài)話語分析理論框架,以首屆全國大學(xué)英語教學(xué)大賽綜合組十位獲獎選手所設(shè)計的演示教學(xué)作品(Power Point,PPT)為研究對象,探討演示教學(xué)中多模態(tài)意義的整合,從而為大學(xué)英語課堂演示教學(xué)提供更為有效的途徑。
本文以首屆“外教社杯”全國大學(xué)英語教學(xué)大賽綜合組一、二和三等獎獲得者所設(shè)計的演示教學(xué)作品(共10 個PPT)為語料來源。根據(jù)大賽規(guī)則,選手必須借助多媒體等先進(jìn)教學(xué)手段,用20 分鐘時間為現(xiàn)場15 位學(xué)生上一堂完整的教學(xué)課。利用計算機(jī)技術(shù)教學(xué),是大賽考察的重要環(huán)節(jié)。大賽組委會對電子課件(PPT)設(shè)立的評比標(biāo)準(zhǔn)包括課件的功能性、實(shí)用性、豐富性以及與授課內(nèi)容的關(guān)聯(lián)性。
此次大賽十位獲獎?wù)咴O(shè)計的PPT 篇幅最長的是52 張,最短的是12 張,平均篇幅約為26 張,包含文字、圖像、音頻和視頻等。此外,PPT 演示教學(xué)的設(shè)計還充分考慮了字體、顏色搭配、動畫效果、背景音樂及幻燈片切換方式等因素。PPT 演示教學(xué)是通過多種符號資源內(nèi)部的互動來實(shí)現(xiàn)意義的復(fù)合話語,屬于多模態(tài)話語范疇。[15]
隨著現(xiàn)代科技和傳媒技術(shù)的發(fā)展,話語的多模態(tài)性日趨增強(qiáng)和凸顯。多模態(tài)話語分析興起于20 世紀(jì)90 年代,其主要理論基礎(chǔ)是社會符號學(xué)和系統(tǒng)功能語言學(xué)。具體來說,多模態(tài)話語分析理論從韓禮德系統(tǒng)功能語言學(xué)中接受了語言是社會符號和意義潛勢的觀點(diǎn)。[7]這一分析理論認(rèn)為,多模態(tài)話語交際和單模態(tài)語言交際具有相同特征。每種模態(tài)都是符號資源,各種模態(tài)發(fā)展成產(chǎn)生意義的互相連接的可供選擇的網(wǎng)絡(luò),所有的模態(tài)及各種模態(tài)間的互動均具有表達(dá)意義的潛勢,都對意義的創(chuàng)建起作用。[16]張德祿認(rèn)為,多模態(tài)交際可以使受話人通過多通道獲得信息,比單模態(tài)話語更容易使受話者理解和記憶,而現(xiàn)代多媒體技術(shù)的發(fā)展為多模態(tài)話語交際提供了新的環(huán)境和條件,同時為多模態(tài)交際提供了新的途徑。[17]本文基于張德祿[1]建構(gòu)的多模態(tài)話語分析綜合理論框架(見圖1),分析首屆全國大學(xué)英語教學(xué)大賽十位獲獎選手如何在PPT 演示教學(xué)中選擇不同的模態(tài),構(gòu)建多模態(tài)意義。
張德祿建構(gòu)的多模態(tài)話語分析綜合框架,基于系統(tǒng)功能語言學(xué)理論,由文化、語境、意義、形式和媒體五個層面的系統(tǒng)組成。多模態(tài)交際受文化語境和情景語境的制約,實(shí)現(xiàn)概念、人際和語篇意義;在形式層面上,不同模態(tài)形式相互關(guān)聯(lián),共同體現(xiàn)話語意義(見圖2)。
多模態(tài)話語中,不同的模態(tài)形式之間是相互聯(lián)系的,主要分為互補(bǔ)和非互補(bǔ)的關(guān)系。互補(bǔ)關(guān)系又進(jìn)一步劃分為強(qiáng)化和非強(qiáng)化兩種類別,而非互補(bǔ)關(guān)系可區(qū)分為交疊、內(nèi)包和語境交互等類別。張德祿認(rèn)為,模態(tài)的選擇涉及最佳搭配,不是完全自由、隨意的。模態(tài)的選擇需以增加正效應(yīng)為原則,主要包括強(qiáng)化、協(xié)調(diào)、前景與背景、整體與部分和抽象與具體等;相反,如果模態(tài)之間產(chǎn)生矛盾,相互排斥或抵消,就會增加負(fù)效應(yīng)。[8]因此,如何使不同模態(tài)相互配合來獲得最佳教學(xué)效果成為PPT 演示教學(xué)多模態(tài)話語選擇的關(guān)鍵。
圖1 多模態(tài)話語分析綜合框架
全國大學(xué)英語教學(xué)大賽要求,采用演示教學(xué)模式為現(xiàn)場15 位學(xué)生上一堂完整的教學(xué)課(時間為20 分鐘),而演示教學(xué)運(yùn)用的媒體工具為PPT。PPT 是一種演示文稿圖形程序,可協(xié)助制作者創(chuàng)建永恒的視覺效果,增強(qiáng)多媒體的支持功能。PPT 演示教學(xué)包括文字、圖片、圖表、動畫、聲音、影片等,建構(gòu)了視覺和聽覺等模態(tài)形式。多模態(tài)PPT 演示教學(xué)指在教學(xué)設(shè)計過程中把兩種及兩種以上符號的系統(tǒng)資源,制作成PPT 課件供課堂教學(xué)演示的教學(xué)模式。[15]
全國大學(xué)英語教學(xué)大賽規(guī)定,教學(xué)內(nèi)容為《全新版大學(xué)英語》或《新視野大學(xué)英語》的課文,教學(xué)對象為臨時找來的大學(xué)一年級學(xué)生,教師在20 分鐘內(nèi)完成課文導(dǎo)入和課文解析等教學(xué)環(huán)節(jié)。張德祿[8]研究發(fā)現(xiàn),在外語教學(xué)中,模態(tài)選擇受教學(xué)內(nèi)容所涉及的領(lǐng)域(話語范圍)、教學(xué)對象的情況,教學(xué)對象與授課者之間的關(guān)系(話語基調(diào))和教學(xué)的條件及場所(話語方式)等制約。[8]鑒于此,十位獲獎選手利用現(xiàn)代媒體技術(shù),充分考慮不同模態(tài)之間的相互配合,力求為學(xué)生提供一個圖、文、聲、像環(huán)繞的交互式語言環(huán)境。獲獎選手在PPT 演示教學(xué)中主要選擇了以下幾類模態(tài):
圖2 多模態(tài)話語形式與關(guān)系
1.視覺模態(tài)
視覺模態(tài)主要包括文字類、圖片類和圖表類,是PPT 演示教學(xué)的主模態(tài)。
毋庸置疑,文字是表達(dá)意義的首要模態(tài)。Leeuwen 認(rèn)為,印刷體式包括字形、字體大小和顏色等,都是社會符號,具有意義潛勢,都是構(gòu)建意義的重要模態(tài)。[18]在演示教學(xué)中,要盡量減少需要顯示的文字?jǐn)?shù)量,不能把幻燈片制作得太滿,過多的文字閱讀不僅容易使學(xué)生產(chǎn)生視覺疲勞,而且干擾學(xué)生的感知,因此,字號、字體和顏色的選擇都很重要。文字和背景的顏色搭配要合理,字體顏色的選擇和背景顏色息息相關(guān),搭配要求醒目易讀。對于關(guān)鍵性的標(biāo)題和總結(jié),要以不同的字號、字體和顏色加以區(qū)別。三等獎獲得者張碧慧在其PPT 作品中采用白底黑字,字體為Times New Roman,標(biāo)題主要用藍(lán)字或紅字,字體變換為Monotype Corsiva。不同的文字內(nèi)容用不同的字體顏色顯示,可以更好地呈現(xiàn)教學(xué)內(nèi)容。在搭配合理的基礎(chǔ)上豐富色彩,能激發(fā)學(xué)生的興趣。字號、字體和顏色的變化在語義層面沒有提供新的信息,但可以吸引學(xué)生的注意力,具有人際意義。
圖片主要為漫畫式插圖、人物肖像或?qū)嵨铩?shí)景照片等。圖片與文字都是表達(dá)語義的基本方式。Kress 和Leeuwen 對照Halliday 三大元語言功能,即概念功能、人際功能和語篇功能,提出圖片等視覺符號同樣具有再現(xiàn)、互動和構(gòu)圖意義。[2]換言之,圖片不僅將要表達(dá)的內(nèi)容以直觀、濃縮的方式表達(dá)出來,也實(shí)現(xiàn)了人際互動意義。同時,圖片的語篇組織形式反映了作者的態(tài)度、觀點(diǎn)和意識形態(tài)。圖片對語篇意義的整體構(gòu)建起到不容小覷的作用。PPT 演示教學(xué)中,圖片可顯示文字難以表達(dá)的教學(xué)內(nèi)容,提供較為形象和直觀的教學(xué),使抽象的內(nèi)容形象化、枯燥的內(nèi)容具體化。例如二等獎獲得者趙芹在PPT 作品中解釋“on the latch”這一詞組時,選擇了一張表達(dá)相應(yīng)意義的實(shí)物照片,更加形象具體地體現(xiàn)了該詞組所表達(dá)的信息內(nèi)容,更便于學(xué)生理解和記憶。
圖表多為綱要式圖表、線索圖或示意圖等,將教學(xué)內(nèi)容分類、提煉和綱目化?;逎恼Z篇部分可由圖表來闡明,而圖表的意義也會由于文字語篇而變得清晰。[19]在PPT 演示教學(xué)中,圖表以簡單清晰的方式概括總結(jié)較為復(fù)雜的教學(xué)內(nèi)容。例如三等獎獲得者龐雅在PPT 作品中以綱要式圖表清楚地展示了文章結(jié)構(gòu),在有限的篇幅內(nèi)盡可能向?qū)W生傳遞最大的信息量,使學(xué)生更好地從宏觀上理解和把握課文。
此外,從分析的語料來看,所有選手在其PPT 中都設(shè)置了動畫效果。PPT 演示教學(xué)的動畫效果,是靜態(tài)內(nèi)容無法達(dá)到的。比如有些教學(xué)內(nèi)容需要提醒學(xué)生特別注意,可用動畫效果實(shí)現(xiàn)對教學(xué)內(nèi)容的突出強(qiáng)調(diào)作用。二等獎獲得者方衛(wèi)在其第九張幻燈片中,對“Homonym”這一單詞設(shè)置了波浪形的動畫效果,其目的是提示學(xué)生接下來的幻燈片將會對這一單詞作出進(jìn)一步的解釋??梢姡琍PT 的動畫效果也可有效地表達(dá)人際和語篇意義。
2.聲覺模態(tài)
它包括課文錄音、與教學(xué)內(nèi)容相關(guān)的聽力材料或背景音樂等。張德祿認(rèn)為,外語教學(xué)主要是培養(yǎng)學(xué)生的外語實(shí)踐能力,即在真實(shí)語境中的交際能力,所以盡可能提供真實(shí)的語境是外語教學(xué)十分有效的手段。[1]PPT 演示教學(xué)的聲覺模態(tài)可使學(xué)生獲得的語境知識更加具體,為語言學(xué)習(xí)提供背景信息。如三等獎獲得者張璐的教學(xué)內(nèi)容為“Taking a Booking”,她在PPT 中添加了關(guān)于“Making Reservation”的情景對話,讓學(xué)生直接接觸近乎真實(shí)的語境,提高了教學(xué)效果。
3.視頻模態(tài)
它包括電影片段或剪輯的訪談錄像。視頻模態(tài)的優(yōu)勢在于播放畫面的同時播放聲音,不同的模態(tài)共同參與主題意義的表達(dá),實(shí)現(xiàn)三維立體的教學(xué)方式,充分調(diào)動學(xué)生的各個感官,促進(jìn)學(xué)生立體思維、線性思維。例如,三等獎獲得者羅薇在其課文導(dǎo)入環(huán)節(jié)精心選擇了兩段電影片段,對比中國人和西方人在對待孩子教育上的不同態(tài)度,切合其課文主題“Learning,Chinese Style”,使學(xué)生體驗較為真實(shí)的語境,有身臨其境之感。
胡壯麟探討了“整合”一詞在外語教學(xué)和研究中的作用,其最為滿意的解釋是:“整合是通過把不同的事物與物質(zhì),使它們相互滲透相互交互,資源共享結(jié)合在一起,或叫集成在一起,讓它們通過結(jié)合發(fā)揮最大的價值,其主要的精髓在于將零散的要素組合起來,最終形成有價值有效率的一個整體?!保?0]多模態(tài)意義的整合關(guān)鍵在于使不同的模態(tài)相互配合、相互協(xié)調(diào),共同構(gòu)建概念意義、人際意義和語篇意義。
多模態(tài)話語可能只涉及一種感官,但包含兩個或兩個以上的符號系統(tǒng)。正如曾方本指出的那樣:多模態(tài)話語蘊(yùn)含著多種符號系統(tǒng)或符號變體,但不一定會涉及多種感官。[21]從語料分析的結(jié)果來看,PPT 演示教學(xué)的主模態(tài)——視覺模態(tài)由文字、圖片和圖表等符號系統(tǒng)組成,其中文字和圖片、文字和圖表是最為常見的多模態(tài)形式。由張德祿建立的多模態(tài)話語形式與關(guān)系框架(見圖2)可知,典型的多模態(tài)話語模式是一種模態(tài)的話語不能充分表達(dá)其意義,或無法表達(dá)其全部意義,需要借助另一種來補(bǔ)充,稱之為“互補(bǔ)關(guān)系”,而其他的稱為“非互補(bǔ)關(guān)系”,即一種模態(tài)對另一種模態(tài)在意義的表達(dá)上并沒有大的貢獻(xiàn),但仍作為一種模態(tài)出現(xiàn)。互補(bǔ)關(guān)系區(qū)分為強(qiáng)化關(guān)系和非強(qiáng)化關(guān)系,非互補(bǔ)關(guān)系包括交疊、內(nèi)包和語境交互。[1]
張德祿認(rèn)為,如果不同模態(tài)產(chǎn)生矛盾,相互抵消或互不銜接,則可能會降低教學(xué)效果。因此,模態(tài)之間的配合要以增加正效應(yīng)為原則。[8]
1.文字和圖片之間主要存在強(qiáng)化、非強(qiáng)化和內(nèi)包等關(guān)系
在強(qiáng)化關(guān)系中,第一種模態(tài)是主要的交際形式,第二種模態(tài)形式提供背景信息,讓第一種模態(tài)表達(dá)的信息更加突出。如三等獎獲得者潘俊峰所授內(nèi)容涉及“Vietnam War”,他在PPT 中展示了一系列與戰(zhàn)爭相關(guān)的圖片,從而強(qiáng)化了“terrible”這一意義。非強(qiáng)化關(guān)系表示兩種交際模態(tài)缺一不可,互為補(bǔ)充。例如,二等獎獲得者方衛(wèi)在其課文導(dǎo)入環(huán)節(jié)設(shè)置了“Brain-teaser(腦筋急轉(zhuǎn)彎):What is the smallest bridge in the world?”其答案呈現(xiàn)方式是一幅關(guān)于人體器官鼻子的圖片和一幅橋梁圖,且在器官圖上標(biāo)注了“bridge(鼻子)”一詞,圖片和文字共同表達(dá)主題意義。內(nèi)包關(guān)系是指其中一種或多種模態(tài)對整體意義的表達(dá)沒有新的貢獻(xiàn),只是給予更加具體的信息,主要是吸引學(xué)生的注意力,體現(xiàn)人際意義。以一等獎獲得者劉玲的PPT 作品為例,她在解釋“Hacker,Wow,Online shopping”等詞時,提供了相應(yīng)的圖片,使學(xué)生對抽象概念有了具體的認(rèn)識。
2.文字和圖表之間主要體現(xiàn)的是非強(qiáng)化關(guān)系中的協(xié)調(diào)關(guān)系
在協(xié)調(diào)關(guān)系中,不同的模態(tài)共同表達(dá)交際者的整體意義,缺乏任何一種都不完整,協(xié)調(diào)關(guān)系實(shí)際上是運(yùn)用多模態(tài)交際最有效的教學(xué)方式。[9]PPT 演示教學(xué)中,教師在解析文章結(jié)構(gòu)和介紹寫作方式時多用圖表形式呈現(xiàn)文字內(nèi)容,文字和結(jié)構(gòu)圖缺一不可,共同參與概念、人際和語篇意義的表達(dá)。
此外,在所分析的語料中還涉及視覺模態(tài)和聲覺模態(tài)、視覺模態(tài)和視頻模態(tài)的配合。譬如三等獎獲得者苗鳳波的教學(xué)內(nèi)容為“American Dream”,他在展示一系列與“美國夢”相關(guān)圖片的同時,以《追夢人》樂曲為背景音樂,是視覺模態(tài)和聲覺模態(tài)的有效配合。圖片表達(dá)基本的概念意義;音樂抒發(fā)情感,喚起學(xué)生的共鳴,表達(dá)的是人際意義。三等獎獲得者張璐在介紹酒店的房間類型時,選擇了文字和視頻兩種模態(tài),教學(xué)內(nèi)容以文字和視頻兩種方式展現(xiàn),是一種交叉體現(xiàn)意義的現(xiàn)象。
可見,多模態(tài)話語整合的意義在于,在意義表達(dá)過程中,不僅可以發(fā)揮語言系統(tǒng)的作用,而且使其他符號系統(tǒng)參與其中,整合后的多模態(tài)話語的語義蘊(yùn)含了單模態(tài)話語所無法準(zhǔn)確表達(dá)的內(nèi)容。
綜上所述,本文基于張德祿[1]建構(gòu)的多模態(tài)話語分析框架,通過分析首屆“外教社杯”全國大學(xué)英語教學(xué)大賽綜合組十位獲獎?wù)咴O(shè)計的PPT 作品發(fā)現(xiàn),PPT 演示教學(xué)主要包括視覺模態(tài)、聲覺模態(tài)和視頻模態(tài)等,多模態(tài)話語的整合不僅包括不同感官間的,還包括同一感官中的。為了取得更好的教學(xué)效果,教師在設(shè)計PPT 演示教學(xué)時,須合理選擇不同模態(tài),充分考慮模態(tài)間的相互配合,發(fā)揮多模態(tài)話語的積極作用。語言教學(xué)需要真實(shí)的語境,多媒體技術(shù)的發(fā)展為其提供了便利條件,大學(xué)英語課堂教學(xué)以演示教學(xué)模式展開已成為一種趨勢。本文研究了PPT 演示教學(xué)中多模態(tài)形式的整合,在實(shí)際課堂教學(xué)中,教師如何使PPT 演示教學(xué)為其語言和動作(如身勢語)服務(wù)是有待于進(jìn)一步研究的課題。
[1]張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國外語,2009(1):24-30.
[2]KRESS G,LEEUWEN T V.Reading images[M].London:Routledge,1996.
[3]KRESS G,LEEUWEN T V.Multimodal discourse:The modes and media of contemporary communication[M].London:Arnold,2001.
[4]ROYCE T.Multimodality in the TESOL classroom:Exploring visual-verbal synergy[J].Tesol Quarterly,2002 (2):191-205.
[5]李戰(zhàn)子.多模式話語的社會符號學(xué)分析[J].外語研究,2003(5):1-8.
[6]胡壯麟.社會符號學(xué)研究中的多模態(tài)化[J].語言教學(xué)與研究,2007(1):1-10.
[7]朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊,2007(5):82-86.
[8]張德祿.多模態(tài)話語理論與媒體技術(shù)在外語教學(xué)中的應(yīng)用[J].外語教學(xué),2009(4):15-20.
[9]王紅陽.多模態(tài)廣告語篇的互動意義的構(gòu)建[J].四川外語學(xué)院學(xué)報,2007(6):31-34.
[10]李美霞,宋二春.從多模態(tài)語篇分析角度解讀意義共建[J].外語教學(xué),2010(2):6-10.
[11]張旭紅.視覺詩Me up at does 多模態(tài)意義的構(gòu)建[J].外語學(xué)刊,2010(1):85-90.
[12]張德祿,袁艷艷.動態(tài)多模態(tài)話語的模態(tài)協(xié)同研究[J].山東外語教學(xué),2011(5):9-16.
[13]張德祿,王璐.多模態(tài)話語模態(tài)的協(xié)同及在外語教學(xué)中的體現(xiàn)[J].外語學(xué)刊,2010(2):97-102.
[14]王惠萍.英語閱讀教學(xué)中多模態(tài)識讀能力的培養(yǎng)[J].外語界,2010(5):20-25.
[15]張征.多模態(tài)PPT 演示教學(xué)與學(xué)生學(xué)習(xí)績效的相關(guān)性研究[J].中國外語,2010(3):54-58.
[16]李戰(zhàn)子,陸丹云.多模態(tài)符號學(xué):理論基礎(chǔ),研究途徑與發(fā)展前景[J].外語研究,2012 (2):1-8.
[17]張德祿.多模態(tài)外語教學(xué)的設(shè)計與模態(tài)調(diào)用初探[J].中國外語,2010(3):48-53.
[18]LEEUWEN T V.Towards a semiotics of typography[J].Information Design Journal,2006(2).
[19]NUTALL C.Teaching reading skills in a foreign language[M].Shanghai:Shanghai Foreign Language Education Press,2002:51-53.
[20]胡壯麟.閑話“整合”[J].中國外語,2008(5):19-23.
[21]曾方本.多模態(tài)符號整合后語篇意義的嬗變與調(diào)控[J].外語教學(xué),2009(6):28-31.