信息技術(shù)下外語(yǔ)課堂的多模態(tài)協(xié)同研究

王麗錦

摘要：本文探討了多媒體技術(shù)下外語(yǔ)課堂中的的多模態(tài)因素，各模態(tài)之間的關(guān)系，多模態(tài)選擇的原則和決定因素，多模態(tài)的作用等，并以公開課為例闡述各模態(tài)之間如何協(xié)作對(duì)教學(xué)產(chǎn)生效果。研究總結(jié)，教師應(yīng)充分利用多種模態(tài)和現(xiàn)有技術(shù)提高教學(xué)效果。

關(guān)鍵詞：多模態(tài) 協(xié)同 媒體 外語(yǔ)課堂

中圖分類號(hào)：H319 ?文獻(xiàn)標(biāo)識(shí)碼：A ?文章編號(hào)：1009-5349（2019）09-0001-04

隨著信息技術(shù)的飛速發(fā)展，人與人之間的溝通表達(dá)增加了文本、聲音、圖片的融合（Terry Royce，2002）。當(dāng)下，如果不了解多模態(tài)符號(hào)在文中表意中的作用，是不可能真正搞清楚意思，即便僅僅是語(yǔ)言部分（Kress，2000）。我們把交際現(xiàn)象分成三種：?jiǎn)文B(tài)、雙模態(tài)、多模態(tài)。單模態(tài)指運(yùn)用視覺、聽覺、觸覺等的其中一種感覺，通過(guò)文字、圖畫、聲音等其中一種符號(hào)資源進(jìn)行交際。雙模態(tài)指運(yùn)用視覺、聽覺、觸覺等的其中兩種感覺，通過(guò)文字、圖畫、聲音等其中兩種符號(hào)資源進(jìn)行交際的兩種模態(tài)。多模態(tài)指運(yùn)用聽覺、視覺、觸覺等多種感覺，通過(guò)語(yǔ)言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際的現(xiàn)象。在多模態(tài)交際中，交際的模態(tài)不僅局限于語(yǔ)言，或僅限于和語(yǔ)言相關(guān)的非語(yǔ)言模態(tài)（如目光、手勢(shì)、表情等），而是擴(kuò)大為多種模態(tài)。即除了語(yǔ)言符號(hào)，其他符號(hào)系統(tǒng)如圖像、聲音、動(dòng)畫、氣味、人的各種表情及肢體動(dòng)作等均可用來(lái)表意， 而多種符號(hào)系統(tǒng)協(xié)同進(jìn)行的表意，能更清晰更令人印象深刻（張德祿，2009）。

隨著電腦、智能手機(jī)及網(wǎng)絡(luò)的普及，過(guò)去長(zhǎng)期以來(lái)“一個(gè)黑板、一本教科書”的傳統(tǒng)書面為主的教學(xué)方式逐漸被生動(dòng)的圖像、動(dòng)畫、視頻等多模態(tài)教學(xué)所替代。Jewitt（2009）認(rèn)為課堂教學(xué)就是由多種模態(tài)來(lái)共同完成的，包括空間、手勢(shì)、凝視、身勢(shì)、移動(dòng)、聲音、腔調(diào)、音樂、三維事物、口語(yǔ)書面語(yǔ) 圖形、表格、圖畫、動(dòng)畫等（轉(zhuǎn)自張德祿，李玉香，2012）。至今為止，在多模態(tài)視覺語(yǔ)法上有所研究的學(xué)者主要有Kress，G.and van Leeuwen，T.，Clare Painter，J.R.Martin & Len Unsworth，馮德正等。分析信息技術(shù)下多種媒體多種模態(tài)的不同模態(tài)的形式特征和各模態(tài)間的配合，是目前比較匱乏的研究，也是本研究的重點(diǎn)問(wèn)題。

一、多模態(tài)及模態(tài)協(xié)同

Kolb and Whishaw（2003：174）指出，視、聽、觸、嗅、味五個(gè)感官被認(rèn)為是“五個(gè)模態(tài)”（five modalities）或“五組感官”（five groups of senses）。每個(gè)模態(tài)有各自的子模態(tài)（submodalities）。各個(gè)模態(tài)在大腦里有各自的首要專區(qū)分管，有的還有次要區(qū)域協(xié)助（Kolb and Whishaw，2003：81，轉(zhuǎn)自顧曰國(guó)，2007）。

（一）各種模態(tài)之間的關(guān)系

多模態(tài)之間的關(guān)系有補(bǔ)缺、強(qiáng)化、重疊等。

當(dāng)一個(gè)模態(tài)形式可以獨(dú)立表達(dá)其特殊意義，則不需要其他模態(tài)的輔助;當(dāng)一種模態(tài)不能清晰表義，需用另一種用更加具體和形象的模態(tài)來(lái)表達(dá)這種意義，即為補(bǔ)缺作用。例如，教師在講解什么是智能車時(shí)，如果通過(guò)語(yǔ)言仍舊無(wú)法讓學(xué)生明白時(shí)，則需要其他媒體的配合，比方說(shuō)向?qū)W生展示智能車的圖片、播放相關(guān)視頻。例如在有其他因素干擾的環(huán)境中，譬如在周遭噪音大或者教室比較大、沒有麥克風(fēng)的環(huán)境中，教師口頭講授無(wú)法讓后排的學(xué)生聽清，此時(shí)通過(guò)播放PPT等，視覺模態(tài)對(duì)聽覺模態(tài)起到補(bǔ)充作用;PPT展示中光提供圖畫，而沒有文字，讓受眾看不明白時(shí)，口頭話語(yǔ)能補(bǔ)缺意義。

當(dāng)主要以一種模態(tài)表達(dá)意義，同時(shí)以另一種模態(tài)或若干種模態(tài)來(lái)突出強(qiáng)調(diào)重點(diǎn)意義，這就是強(qiáng)化作用。使用其他模態(tài)的目的不是為了提供信息，而是強(qiáng)調(diào)或突出第一種模態(tài)表達(dá)的信息，使得第一模態(tài)傳達(dá)的信息更加準(zhǔn)確。例如，在英語(yǔ)口語(yǔ)中用重讀音節(jié)或重讀單詞強(qiáng)調(diào)重點(diǎn)詞，用較大的嗓音、較慢音調(diào)、拉長(zhǎng)的吐字、變音調(diào)、提高音高來(lái)強(qiáng)調(diào)信息，在PPT中以加粗的字體、不同顏色的字、有特色的藝術(shù)字來(lái)強(qiáng)調(diào)重點(diǎn)詞句，在播放中以聲音提醒、特設(shè)動(dòng)畫效果出現(xiàn)等方式提醒觀眾注意觀看重點(diǎn)內(nèi)容，在圖畫中把主要信息置于前景，這就使得重點(diǎn)意義突顯。

兩種或以上的模態(tài)出現(xiàn)時(shí)，表達(dá)的意義是一樣的，相互間無(wú)明顯地突出或強(qiáng)化作用某個(gè)模態(tài)，這種關(guān)系一般稱為模態(tài)的交疊關(guān)系或重疊關(guān)系。例如，PPT畫面上出現(xiàn)文字的同時(shí)，教師對(duì)著屏幕一字一詞照讀PPT上的文字，則屏幕文字的視覺模態(tài)與教師的口頭話語(yǔ)模態(tài)則形成了重疊關(guān)系，兩種模態(tài)中沒有強(qiáng)調(diào)哪一個(gè)模態(tài)更重要，也沒有弱化哪一個(gè)模態(tài)。

隨著一個(gè)新的模態(tài)出現(xiàn)，把另一個(gè)模態(tài)的地位從主導(dǎo)地位變?yōu)榇我匚唬吹诙€(gè)模態(tài)削弱了第一個(gè)模態(tài)的作用，這就是弱化作用。譬如，在上英文電影視聽欣賞課時(shí)，教師先導(dǎo)入主題，此時(shí)教師的口頭語(yǔ)言為主導(dǎo)地位。然后教師讓學(xué)生觀賞電影。此時(shí)，學(xué)生的注意力主要集中于欣賞電影及臺(tái)詞上，播放的電影的視聽模態(tài)占主導(dǎo)地位，教師對(duì)電影背景介紹的口語(yǔ)模態(tài)成為電影視聽課的輔助模態(tài)。

（二）多模態(tài)選擇的原則和決定因素

多模態(tài)選擇的總原則是最優(yōu)化組合，即利用有限的教學(xué)條件，以多種模態(tài)最大限度地表意，取得最佳表意效果。不同模態(tài)往往不憑單一模態(tài)實(shí)現(xiàn)表意功能，而是要與其他模態(tài)一起配合共同來(lái)完成交際目的。不同的環(huán)境適用于不同模態(tài)，而且不同的場(chǎng)合情境下，各模態(tài)的地位作用是不同的，譬如在電視廣告和漫畫中，視覺模態(tài)為主要模態(tài)，語(yǔ)言起輔助作用。在一般的課堂教學(xué)中，教師的語(yǔ)言（即聽覺模態(tài)）處于統(tǒng)治地位，其他模態(tài)在不同程度地起著輔助、補(bǔ)充、強(qiáng)化的作用。課堂環(huán)境中，多數(shù)情況下，視覺模態(tài)能補(bǔ)充聽覺模態(tài)所缺失的信息，能強(qiáng)化突顯重要信息。但是，教師的語(yǔ)言并不總是處于統(tǒng)治地位，如電影欣賞課的課堂中，對(duì)電影畫面的視覺和對(duì)對(duì)話的聽覺處于主要模態(tài)。由于外語(yǔ)課堂中不同模態(tài)往往不能以單一模態(tài)實(shí)現(xiàn)表意功能，而是要與其他模態(tài)一起配合共同來(lái)完成交際目的，因此，最關(guān)鍵的是如何將不同模態(tài)最優(yōu)化組合。

張德祿（2010：48-75）認(rèn)為，在總原則指導(dǎo)下，多模態(tài)選擇還有其他原則，例如經(jīng)濟(jì)原則、適配原則、有效原則。經(jīng)濟(jì)原則指的是要盡量簡(jiǎn)化模態(tài)的使用，能用一種模態(tài)表義，就盡量用一種模態(tài)表意，如若不能，則參與的其他模態(tài)應(yīng)該要盡量簡(jiǎn)潔易懂。適配原則表示在同時(shí)選用兩個(gè)或以上模態(tài)時(shí)，各種模態(tài)之間要相互協(xié)調(diào)。從模態(tài)之間的配合的角度講，如果不同模態(tài)相互無(wú)關(guān)、互不銜接、互相矛盾、相互抵消等，會(huì)產(chǎn)生負(fù)效應(yīng)，降低教學(xué)效果。有效原則意味著要有效地使用模態(tài)，避免無(wú)效或重復(fù)使用，模態(tài)的正效果應(yīng)等于或者大于負(fù)效果。對(duì)學(xué)生問(wèn)卷調(diào)查表明，PPT屏幕呈現(xiàn)語(yǔ)言字符的同時(shí)，播放背景音樂可能會(huì)干擾學(xué)生的注意力;PPT屏幕上過(guò)多的內(nèi)容、過(guò)于密集的排版、過(guò)小的字體、過(guò)多的信息量、多余的模態(tài)干擾會(huì)帶來(lái)一定負(fù)效應(yīng)。如果負(fù)效應(yīng)過(guò)大，其授課效果可能為零。

多模態(tài)選擇的決定因素還有文化背景、場(chǎng)所、媒體設(shè)備條件、具體情景語(yǔ)境、受眾、學(xué)習(xí)資料、課程等。文化背景包括社會(huì)風(fēng)俗習(xí)慣或政治規(guī)約，受意識(shí)形態(tài)支配的觀念價(jià)值觀等。對(duì)模態(tài)的選擇需要放在具體的情景語(yǔ)境中來(lái)看。

二、案例分析

（一）模態(tài)因素及多模態(tài)協(xié)同

模態(tài)用來(lái)實(shí)現(xiàn)在特定交際場(chǎng)合下具體話語(yǔ)意義。至于要選擇哪種模態(tài)實(shí)現(xiàn)話語(yǔ)意義，要看設(shè)計(jì)（design）（Kress，G. & van Leeuwen，T.2001）。本研究教學(xué)內(nèi)容選用大學(xué)英語(yǔ)課“UNIT 6 Learning to Work Together”的一次課，該課圍繞團(tuán)隊(duì)合作精神為主旨展開。節(jié)選的此次課為45分鐘的公開課授課，教學(xué)步驟分別為導(dǎo)入、提問(wèn)、學(xué)生單詞競(jìng)賽活動(dòng)、篇章段落大意、難句重點(diǎn)詞句分析、學(xué)生討論、總結(jié)及課后作業(yè)。教師結(jié)合教材、黑板文字符號(hào)、PPT上的語(yǔ)言符號(hào)及音頻視頻進(jìn)行教學(xué)。

張德祿（2009）從系統(tǒng)功能語(yǔ)言學(xué)角度出發(fā)，把課堂教學(xué)中多模態(tài)的選擇主導(dǎo)因素劃分為教學(xué)領(lǐng)域（話語(yǔ)范圍），教學(xué)對(duì)象及與教師的關(guān)系（話語(yǔ)基調(diào)），教學(xué)條件和場(chǎng)所（話語(yǔ)方式）。教學(xué)場(chǎng)所整個(gè)場(chǎng)所布局屬于視覺模態(tài)，如講臺(tái)、黑板、投影、桌椅、墻壁、電腦。講臺(tái)、投影屏幕、黑板處于中心地帶，講臺(tái)桌子的位置明顯高于課桌，學(xué)生坐下后需仰視才能看到教師，該空間位置布局關(guān)系暗示了教師的權(quán)威和主導(dǎo)地位，也表明了教師口頭模態(tài)的主導(dǎo)地位。教師的活動(dòng)區(qū)域主要在講臺(tái)、黑板、電腦桌、投影屏幕之間等中心區(qū)域，偶爾下來(lái)走動(dòng)與學(xué)生互動(dòng)。學(xué)生固定在座位上，偶爾上講臺(tái)參與課堂活動(dòng)。教師的視覺范圍主要是學(xué)生，學(xué)生的視覺范圍主要是教師、PPT、黑板。

教學(xué)對(duì)象是大一非英語(yǔ)專業(yè)的學(xué)生，英語(yǔ)基礎(chǔ)比較差，英語(yǔ)口頭表達(dá)能力偏弱。教師為年輕女教師，著裝正式，個(gè)性活潑，英語(yǔ)口語(yǔ)流利。課堂上，教師授課方式輕松自如，師生互動(dòng)較多，表明師生關(guān)系良好。課程中穿插師生互動(dòng)環(huán)節(jié)，如學(xué)生上臺(tái)表演、參與課堂活動(dòng)等，以及交際過(guò)程中教師提問(wèn)和學(xué)生回答。工具性媒體有電腦及網(wǎng)絡(luò)設(shè)備，麥克風(fēng)，一套音響，兩個(gè)音箱，投影設(shè)備。教師借助工具性媒體主導(dǎo)教學(xué)活動(dòng)，這些媒體起到了輔助教學(xué)的作用。

從表1中例子看出，教師的口語(yǔ)為主要模態(tài)，其他模態(tài)如PPT上的圖片、文字符號(hào)等起了對(duì)主要模態(tài)的補(bǔ)缺或強(qiáng)化作用。黑板和PPT等工具性媒體都可以既對(duì)教學(xué)內(nèi)容進(jìn)行重現(xiàn)和強(qiáng)化，又對(duì)其進(jìn)行補(bǔ)缺?？谡Z(yǔ)不能提供的信息，如著名運(yùn)動(dòng)員和球隊(duì)圖片，可由圖片補(bǔ)充。圖片除了強(qiáng)化和補(bǔ)缺重要內(nèi)容，還可以吸引學(xué)生的注意力及加深學(xué)生的印象。學(xué)生的視覺模態(tài)包括觀察教師的肢體動(dòng)作、表情、目光、移動(dòng)等。在教學(xué)中，教師有時(shí)側(cè)著身子，有時(shí)走到投影旁，有時(shí)打手勢(shì)，有時(shí)點(diǎn)頭示意。教學(xué)設(shè)計(jì)中的后半部分有學(xué)生表演環(huán)節(jié)，這涉及聽覺和視覺角色的轉(zhuǎn)化，學(xué)生由聽教師口語(yǔ)授課轉(zhuǎn)化到教師和學(xué)生觀看部分學(xué)生表演的視覺模態(tài)角色轉(zhuǎn)化。

課堂上的模態(tài)主要為視覺模態(tài)和聽覺模態(tài)。從視覺模態(tài)上看，教師的視覺對(duì)象主要是學(xué)生，而學(xué)生的視覺對(duì)象主要在教師、投影屏幕、黑板;從聽覺模態(tài)上看， 教師的口語(yǔ)和課上播放的音頻視頻為學(xué)生聽的內(nèi)容，學(xué)生課堂發(fā)言又成為教師聽的內(nèi)容。教師的口語(yǔ)授課往往是聽覺的主要模態(tài)。教師使用的工具性輔助媒體為電腦、投影儀及屏幕、黑板，聽覺模態(tài)的工具性輔助媒體為麥克風(fēng)和音響。

教師口頭語(yǔ)言模態(tài)為課堂教學(xué)的主要模態(tài)，同時(shí)協(xié)同的模態(tài)有視覺和聽覺模態(tài)，如PPT和黑板承載的文字、圖案、圖形、圖片、音頻和視頻等。PPT上承載的以視覺模態(tài)為主。從視覺模態(tài)上看，學(xué)生看黑板、PPT、教師的表情和肢體動(dòng)作等。教師口頭語(yǔ)言存在稍縱即逝、不夠形象具體的缺點(diǎn)，而黑板的板書能彌補(bǔ)停留時(shí)間不長(zhǎng)這一缺陷，PPT所承載的圖片、視頻能彌補(bǔ)文字和口語(yǔ)不夠形象具體這一缺陷，并且PPT中的多模態(tài)呈現(xiàn)內(nèi)容能強(qiáng)化重點(diǎn)內(nèi)容、加深記憶，使復(fù)雜內(nèi)容簡(jiǎn)單易懂。綜上所述，教師口頭語(yǔ)言、黑板板書、PPT之間就形成了一種協(xié)同關(guān)系。

部分授課內(nèi)容節(jié)選及模態(tài)解析如表1所示。

（二）對(duì)教學(xué)的啟發(fā)

當(dāng)今科技發(fā)展下，教師使用各種現(xiàn)代技術(shù)來(lái)提高教學(xué)效率是必然的趨勢(shì)，譬如當(dāng)今采用PPT結(jié)合多模態(tài)進(jìn)行教學(xué)已是外語(yǔ)課堂教學(xué)的常態(tài)。根據(jù)《大學(xué)英語(yǔ)教學(xué)大綱》的要求，教師要以有限的教學(xué)時(shí)間內(nèi)完成教學(xué)目標(biāo)，而教學(xué)操作過(guò)程中往往存在教學(xué)內(nèi)容大、時(shí)間不足的問(wèn)題。傳統(tǒng)的黑板板書速度慢、信息呈現(xiàn)手段單一，而PPT融合豐富的視覺和聽覺，信息呈現(xiàn)的速度快且多樣化，能有效達(dá)到教學(xué)效果。

研究認(rèn)為：

（1）教師應(yīng)充分利用學(xué)?，F(xiàn)有資源、平臺(tái)、現(xiàn)代工具性媒介來(lái)提高教學(xué)效果。教師要學(xué)會(huì)使用現(xiàn)代工具，尤其應(yīng)學(xué)會(huì)制作PPT。調(diào)查顯示，很多英語(yǔ)教師存在的問(wèn)題有：PPT制作不熟練，不了解學(xué)?，F(xiàn)有電子資源和網(wǎng)絡(luò)平臺(tái)，不善于利用網(wǎng)絡(luò)和手機(jī)進(jìn)行教學(xué)等。

（2）教師除了注意提高英語(yǔ)語(yǔ)音流利標(biāo)準(zhǔn)、音量、語(yǔ)速、節(jié)奏等口語(yǔ)模態(tài)問(wèn)題，還應(yīng)注意利用其他模態(tài)，如手勢(shì)、身勢(shì)、表情、眼神等與學(xué)生交流。問(wèn)卷調(diào)查顯示，學(xué)生比較喜歡教師以手勢(shì)、表情、目光等非語(yǔ)言形式表情達(dá)意，但多數(shù)英語(yǔ)教師在課堂上未能經(jīng)常利用肢體語(yǔ)言和表情語(yǔ)言來(lái)提高教學(xué)。

（3）在視覺模態(tài)方面，教師應(yīng)注意自身著裝打扮要得體，PPT和黑板上的多模態(tài)符號(hào)呈現(xiàn)方式應(yīng)符合視覺感官的要求。譬如PPT上的字體大小適中、內(nèi)容不過(guò)多、排版美觀、重難點(diǎn)以紅色標(biāo)出等，黑板板書列出內(nèi)容概要和重難點(diǎn)。

（4）教師應(yīng)注意與學(xué)生建立良好的人際關(guān)系，以情感影響學(xué)生的觀念和看法。研究發(fā)現(xiàn)，師生間的人際關(guān)系也影響教學(xué)效果。教師授課時(shí)應(yīng)表情親切，課間或下課前走入學(xué)生中間與學(xué)生交流，語(yǔ)言盡量幽默生動(dòng)，這樣能拉近與學(xué)生的距離，使得課堂互動(dòng)效果好。

三、結(jié)語(yǔ)

教師如何利用信息技術(shù)下多種媒體多種模態(tài)的模態(tài)間的配合達(dá)到最佳教學(xué)效果是本研究的最終目的。筆者結(jié)合課堂實(shí)例，闡釋了多種模態(tài)如何協(xié)作。本研究認(rèn)為，教師應(yīng)利用各種模態(tài)最優(yōu)化組合，如充分利用學(xué)校現(xiàn)有資源、平臺(tái)、多媒體等現(xiàn)代工具性媒介，利用自身口語(yǔ)模態(tài)和眼神、手勢(shì)、著裝等視覺模態(tài)，達(dá)到教學(xué)最優(yōu)化。

參考文獻(xiàn)：

[1]Clare Painter，J.R. Martin & Len Unsworth.Reading Visual Narratives[M].Equinox Publishing Ltd，2013.

[2]Halliday，M. A.K. Language as Social Semiotic[M].London：Edward Arnold，1978.

[3]Kress，G.Multimodality：Challenges to Thinking about Language[J].TESOL，2000（34）：337-340.

[4]Kress，G.& van Leeuwen，T.Multimodal Discourse：The Modes and Media of Contemporary Communication[M].London：Arnold，2001.

[5]Kress，G.and van Leeuwen，T.Reading Images：The Grammar of Visual Design[M].Second edition.London：Routledge，2006.

[6]Terry Royce.Multimodality in the TESOL Classroom：Exploring Visual-Verbal Synergy[J].TESOL Quarterly，2002（2）：191-205.

[7]Weston，Trevor.Atlas of Anatomy[M].London：Marashall Cavendish Books Limited，1992.

[8]Jewitt，C.The Routledge Handbook of Multimodal Analysis[M].London：Routledge，2009.

[9]Kolb，Bryan，and Ian Q.Whishaw.Fundamentals of Human Neuropsychology[M].New York：Worth Publishers，2003.

[10]馮德正.視覺語(yǔ)法的新發(fā)展：基于圖畫書的視覺敘事分析框架[J].外語(yǔ)教學(xué)，2015（3）：23-27.

[11]顧曰國(guó).多媒體、多模態(tài)學(xué)習(xí)剖析[J].外語(yǔ)電化教學(xué)，2007（114）：3-12.

[12]張德祿.多模態(tài)話語(yǔ)理論與媒體技術(shù)在外語(yǔ)教學(xué)中的應(yīng)用[J].外語(yǔ)教學(xué)，2009（4）：15-20.

[13]張德祿.多模態(tài)外語(yǔ)教學(xué)的設(shè)計(jì)與模態(tài)調(diào)用初探[J].中國(guó)外語(yǔ)，2010（3）：48-75.

[14]張德祿，李玉香.多模態(tài)課堂話的模態(tài)配合研究[J].外語(yǔ)與外語(yǔ)教學(xué)，2012（1）：39-43.

Abstract： This article discusses multimodal factors， the relationship among various modalities，the principle of choosing modality and the deciding factors behind it， and the function of multimodalities in foreign language classroom. An open class is used to illustrate how different modalities cooperate to achieve teaching objectives. In conclusion， teachers should employ multimodalities and existing technology to improve teaching.

Key words： multimodality;synergy;media;foreign language classroom

責(zé)任編輯：劉健