高　翔

(中國(guó)礦業(yè)大學(xué) 外文學(xué)院，江蘇 徐州　221116)

視聽理解中體態(tài)語(yǔ)功用的文獻(xiàn)綜述

高翔

(中國(guó)礦業(yè)大學(xué) 外文學(xué)院，江蘇 徐州221116)

摘要：目前，英語(yǔ)聽力教學(xué)中，視頻的有效性已經(jīng)不言而喻，但如何讓學(xué)習(xí)者了解和更好地使用視頻資料成為我們亟待解決的問題。試通過分析視頻語(yǔ)料，更細(xì)致地研究了視聽理解中視覺信號(hào)的類別，尤其是體態(tài)語(yǔ)在視頻理解中的功能，以期為學(xué)習(xí)者展示更全面的理解途徑。

關(guān)鍵詞：視聽理解；視覺信號(hào)；體態(tài)語(yǔ)

作者簡(jiǎn)介：高翔，碩士，副教授，中國(guó)礦業(yè)大學(xué)。

基金項(xiàng)目：中國(guó)礦業(yè)大學(xué)課程建設(shè)與教學(xué)改革立項(xiàng)項(xiàng)目“支撐內(nèi)容依托型課程的多媒體庫(kù)開發(fā)應(yīng)用與研究”(編號(hào)：2015YB41)。

文章編號(hào)：1672-6758(2015)11-0109-3

中圖分類號(hào)：H319

文獻(xiàn)標(biāo)識(shí)碼：標(biāo)識(shí)碼：A

Abstract：Now, English teachers have acknowledged that audio-visual materials have significant importance in listening instructions, but how to help learners understand and use visual signals is an urgent task to do. This article analyzes a wide selection of visual materials and carefully studies various types of visual signals, especially, the functions of body language. This may help language learners fully understand the ways of listening comprehension.

一引言

交際教學(xué)法主要特點(diǎn)之一就是強(qiáng)調(diào)文本和任務(wù)的真實(shí)性。在聽力教學(xué)中，真實(shí)性不僅表現(xiàn)為文本、語(yǔ)速、語(yǔ)調(diào)等語(yǔ)言信息真實(shí)，而且意味著學(xué)生獲取信息的模式應(yīng)貼近目的語(yǔ)使用環(huán)境，即為學(xué)習(xí)者提供從聲音、表情、動(dòng)作、背景、人際關(guān)系等多角度協(xié)同構(gòu)建意義的條件。因?yàn)椤叭藗儾粌H借助聲音，還使用整個(gè)身體和空間關(guān)系進(jìn)行交流”，[1]所以，基于音、視頻的多模態(tài)理解模式應(yīng)成為課堂聽力教學(xué)的重要組成部分。[2]

二視覺信號(hào)有效性之辯

正如Rubin對(duì)聽力所作的定義，“聽力過程是聽者主動(dòng)地選擇和解釋視覺與聽覺信息，以確定所描述的事件或說話人希望表達(dá)的意圖”。[3]可見視覺信號(hào)與聽覺信號(hào)密不可分，共同構(gòu)成理解的信息來(lái)源。

然而，二語(yǔ)學(xué)習(xí)者似乎還不習(xí)慣從視覺信號(hào)中獲取信息。有的學(xué)習(xí)者在壓力測(cè)試中選擇觀看視頻，但認(rèn)為干擾嚴(yán)重，而有的干脆閉上眼睛，“眼不見心不亂”。[4]這與學(xué)習(xí)者的觀看習(xí)慣雖有一定關(guān)系，但似乎更與實(shí)驗(yàn)選擇的材料有關(guān)。同樣在對(duì)比視頻測(cè)試與傳統(tǒng)聽力測(cè)試區(qū)別的實(shí)驗(yàn)中，視頻的類型、主題和功能就存在以下差異。

首先，實(shí)驗(yàn)采用的視頻刺激種類不同，有的采用靜態(tài)圖片[5]，有的使用動(dòng)態(tài)視頻[4]。

其次，在視頻主題上存在差異，有的選擇學(xué)術(shù)討論和學(xué)術(shù)講座[6]、也有的選擇了電視新聞[7]。

再次，采用的視頻在信息豐富程度上也存在差異，有的僅提供場(chǎng)景[6]，有的則提供包含場(chǎng)景、體態(tài)語(yǔ)和字幕等在內(nèi)的多種信息。[7]

可見，這些視覺信號(hào)包含的視覺元素與聲音的交互類型均不相同。因此，作為視聽理解教學(xué)和研究的出發(fā)點(diǎn)，有必要系統(tǒng)理清多模態(tài)視聽理解中視覺信號(hào)的類別與功用。本文將著重剖析視聽信號(hào)中體態(tài)語(yǔ)的類別，及其對(duì)視聽理解產(chǎn)生的影響。

三視覺信號(hào)體態(tài)語(yǔ)的類型

在教學(xué)和科研中，對(duì)視覺信號(hào)的關(guān)注剛剛萌芽。王萌，謝小苑曾將視聽材料分為真實(shí)性視聽材料和商業(yè)性視聽材料兩類。[8]這種分類是以視聽材料的播放屬性和加工程度為基礎(chǔ)，如是否可以重復(fù)播放，或語(yǔ)言是否經(jīng)過改編。這雖然顯示了素材的難易程度，但沒有揭示視頻構(gòu)成的成分，對(duì)教學(xué)的指導(dǎo)作用也就比較有限。高翔，官濛將音圖交互型視頻做了分類，[9]但沒有涉及到人音同步型視頻中體態(tài)語(yǔ)的類型。

視覺信號(hào)指眼睛所能接收到的各類信號(hào)，本文特指教學(xué)材料中伴隨話語(yǔ)(verbal message)出現(xiàn)的影像信息(visual message)，如靜態(tài)圖片、電影中的人與景等。而根據(jù)伴隨方式不同，視覺信號(hào)又可以進(jìn)一步區(qū)分為兩種類型：(1)音像同步型，如電影中正在對(duì)話或獨(dú)白的人物；(2)畫外音型，如配合播音員評(píng)論全屏播放的一段相關(guān)新聞錄像。它們的最大區(qū)別在于視覺信息對(duì)意義構(gòu)建所起的作用不同：音像同步型中，學(xué)習(xí)者借助說話人的體態(tài)語(yǔ)和環(huán)境信息構(gòu)建意義，而畫外音型中，學(xué)習(xí)者透過理清話語(yǔ)與影像的交互模式獲取信息。在新聞訪談、電影和美劇等多種常見的視頻中，最常見的還屬音像同步型，因此，要能從視聽多模態(tài)信息呈現(xiàn)方式中獲益，有必要幫助學(xué)習(xí)者了解體態(tài)語(yǔ)的類別特征，與話語(yǔ)交互的方式，及其對(duì)意義構(gòu)建起到的作用。

課堂教學(xué)中的音像同步型視聽資料主要包括原版電影、英美肥皂劇、訪談節(jié)目等。其中體態(tài)語(yǔ)是主要的視覺信息來(lái)源，包括手勢(shì)(gestures)、面部表情(facial expressions)、嘴唇運(yùn)動(dòng)(lip movements)和身體姿勢(shì)(postures)等。[10]

目前，體態(tài)語(yǔ)研究已經(jīng)涵蓋體態(tài)語(yǔ)習(xí)得、跨文化對(duì)比和輔助口語(yǔ)表達(dá)等領(lǐng)域，本文著重論述四類主要體態(tài)語(yǔ)與英語(yǔ)視聽理解的關(guān)系。

1. 手勢(shì)語(yǔ)。

對(duì)手勢(shì)的研究由來(lái)已久，其分類卻錯(cuò)綜不一。從視聽理解的角度出發(fā)，我們更關(guān)注話語(yǔ)與手勢(shì)的關(guān)系。將手勢(shì)和話語(yǔ)視為一體進(jìn)行分類和研究的是McNeill和他的同事。McNeill等人的研究重點(diǎn)是與話語(yǔ)伴生的手勢(shì)(co-speech gestures)①，它以話語(yǔ)為邊界，很少出現(xiàn)在話語(yǔ)消失以外，因?yàn)檫@類手勢(shì)“不是外部世界的表現(xiàn)，而是折射出記憶、內(nèi)心思維和心理表征，類似人的思想”。[11]McNeill根據(jù)手勢(shì)與語(yǔ)言的關(guān)系將手勢(shì)語(yǔ)分為4類：肖似手勢(shì)(iconic)，比喻手勢(shì)(metaphoric)，指示手勢(shì)(deictic)和擊節(jié)手勢(shì)(beats)。[12]

肖似手勢(shì)指配合話語(yǔ)中對(duì)實(shí)體形狀、尺寸或運(yùn)動(dòng)軌跡、方向描述做出的手部動(dòng)作。例如，說話人邊說“he grabs a big oak tree and he [bends it way back]②”，邊用手做出向后拉的動(dòng)作。[11]這個(gè)例子顯示，說話人借助視覺和聽覺兩個(gè)通道傳遞了同一個(gè)意圖，此時(shí)，肖似手勢(shì)傳遞著與話語(yǔ)基本相同的語(yǔ)義信息(semantic content)。那么，當(dāng)從聽覺通道合成的意義不完整時(shí)，二語(yǔ)學(xué)習(xí)者如能有效利用肖似手勢(shì)，則能彌補(bǔ)缺失的信息。這一點(diǎn)在OcKey的視聽測(cè)試中得到了驗(yàn)證，多位L2考生表示，通過看到說話人用手在空中劃出圓形的軌跡，推斷出話題與同心圓有關(guān)。[4]

比喻手勢(shì)指配合話語(yǔ)中對(duì)抽象概念的描述做出的手部動(dòng)作。例如，說話人邊說“it [was a Sylves]ter and Tweety cartoon”，邊用雙手在胸前做出托起一個(gè)物體的動(dòng)作。[11]這個(gè)例子中，說話人描述的是卡通節(jié)目這一抽象概念，但他卻使用雙手之間的空間賦予這個(gè)抽象意義一個(gè)實(shí)體界限，同時(shí)使這一概念凸顯出來(lái)，形成說話人希望強(qiáng)調(diào)的一個(gè)重要信息點(diǎn)。因此，比喻手勢(shì)在幫助聽者將抽象概念具體化的同時(shí)，突出了所指概念在一個(gè)意群中的重要位置。同樣在OcKey的實(shí)驗(yàn)中，有考生表示在看到說話人手抬起時(shí)，意識(shí)到重要信息的出現(xiàn)，于是將聽到的信息立刻記錄下來(lái)。[4]所以，比喻手勢(shì)有提示重點(diǎn)的作用，但是它還不能完全取代聲音信息，學(xué)習(xí)者有必要以此為重要信號(hào)和意義構(gòu)建的輔助手段，把握說話人的意圖。

McNeill將這前兩類手勢(shì)統(tǒng)稱為圖像型手勢(shì)(imagistic gestures)，因?yàn)樗鼈兏唧w地描述了物體的形狀和動(dòng)作的軌跡；而后兩類手勢(shì)(指示手勢(shì)和擊節(jié)手勢(shì))則被稱為非圖像型手勢(shì)(non-imagistic gestures)，雖然它們傳遞的信息與內(nèi)容關(guān)聯(lián)性不如圖像型手勢(shì)密切，但它們?cè)谂c話語(yǔ)結(jié)合后傳遞著宏觀和微觀的信息。

指示手勢(shì)主要是配合話語(yǔ)中的指示詞或不可及概念的指示性手指動(dòng)作，例如，說話人邊說“[where did you] come from before?”邊用食指向下指了指說話人與聽話人之間的空間。[11]這時(shí)說話人所指的并非對(duì)話中所說的真實(shí)地點(diǎn)，而是一個(gè)假想的聽話人曾經(jīng)去過的地方。類似的指示可以用于標(biāo)識(shí)篇章中的結(jié)構(gòu)關(guān)系，如位置(這里、那里)、時(shí)間(現(xiàn)在、過去、將來(lái))、人物(你、我、他)等。[13]因此在視聽理解中，學(xué)習(xí)者如能有效利用這類指示手勢(shì)把握篇章的宏觀對(duì)比關(guān)系和結(jié)構(gòu)，會(huì)更好地預(yù)測(cè)說話人意圖和主題的變化。

擊節(jié)手勢(shì)指手部配合話語(yǔ)的節(jié)拍做出的上下移動(dòng)的動(dòng)作。這類手勢(shì)可以以音節(jié)為單位，在一個(gè)多音節(jié)詞上做出多次擊節(jié)手勢(shì)，也可以以重音為單位，在單詞或句重音上做出相應(yīng)敲擊。[13]說話人一般不會(huì)濫用擊節(jié)手勢(shì)，也就是說，只在話語(yǔ)中出現(xiàn)重要單詞或詞組，引入新的人物、背景信息時(shí)，才會(huì)運(yùn)用。[13]因此，巧妙利用擊節(jié)手勢(shì)，二語(yǔ)學(xué)習(xí)者可以從微觀角度輔助音節(jié)或意群的切分，提高自下而上處理信息的能力。

綜上所述，手勢(shì)語(yǔ)在意義構(gòu)建中起到了多種功能，包括從宏觀上標(biāo)識(shí)篇章結(jié)構(gòu)、表達(dá)態(tài)度觀點(diǎn)，從微觀上切分音節(jié)和意群、核實(shí)細(xì)節(jié)信息等。這使手勢(shì)與話語(yǔ)在意義構(gòu)建過程中變得密不可分，剝離視覺信號(hào)的純聽力教學(xué)和測(cè)試只能呈現(xiàn)給二語(yǔ)學(xué)習(xí)者不完整的交際意圖(communicative intention)，因而也不能體現(xiàn)學(xué)習(xí)者在真實(shí)交際中的表現(xiàn)。

2. 面部表情。

早期研究指出，表達(dá)高興、悲傷、憤怒、恐懼、厭惡和驚訝的面部表情在人類中具有普遍性，[13]它可以用于強(qiáng)化、預(yù)測(cè)、甚至取代語(yǔ)言信息。OcKey研究中的受試在訪談中表示，她發(fā)現(xiàn)講課教師在表達(dá)不同意某觀點(diǎn)時(shí)，面部表情發(fā)生了變化，這種表情驗(yàn)證了她對(duì)聲音信息的理解。[4]Wagner的研究也發(fā)現(xiàn)參加視聽測(cè)試的學(xué)生不僅可以使用面部表情審核理解的正確性(monitor their comprehension)，而且可以預(yù)測(cè)作者即將表達(dá)的信息。[6]甚至，一個(gè)表示困惑的表情就足以暗示對(duì)方對(duì)所說的要點(diǎn)作進(jìn)一步解釋或重述，[13]此時(shí)，面部表情起到了取代話語(yǔ)“I beg your pardon.”的作用。在視聽教學(xué)中，應(yīng)該鼓勵(lì)學(xué)習(xí)者在將母語(yǔ)交流的經(jīng)驗(yàn)遷移到二語(yǔ)理解中的同時(shí)，借助實(shí)例展示面部表情的上述功能。

3. 嘴唇運(yùn)動(dòng)。

人們?cè)谡f話時(shí)自然伴隨著嘴唇運(yùn)動(dòng)。研究發(fā)現(xiàn)這對(duì)切分音節(jié)和確認(rèn)發(fā)音有著重要作用。McGurk and MacDonald通過給發(fā)音/ba/配上不同嘴唇運(yùn)動(dòng)/ga/發(fā)現(xiàn)，英語(yǔ)母語(yǔ)者往往會(huì)誤認(rèn)為聽到的是/da/音，這說明觀看嘴唇運(yùn)動(dòng)影響著聽力理解的結(jié)果。[14]Hardison在EFL學(xué)習(xí)者中進(jìn)行了與之相反的常態(tài)實(shí)驗(yàn)，即驗(yàn)證嘴唇運(yùn)動(dòng)是否能協(xié)助二語(yǔ)學(xué)習(xí)者確認(rèn)原本不易區(qū)分的發(fā)音，結(jié)論證實(shí)了觀看嘴唇運(yùn)動(dòng)的有效性。[15]OcKey進(jìn)一步從定性角度采用有聲思維手段獲得了支持Hardison結(jié)論的有力證據(jù)。以上研究結(jié)論說明無(wú)論是母語(yǔ)者還是二語(yǔ)學(xué)習(xí)者都有可能從說話人的嘴唇運(yùn)動(dòng)中獲得音節(jié)切分的信息，只是二語(yǔ)學(xué)習(xí)者在利用這一視覺信號(hào)的直覺反應(yīng)較母語(yǔ)者偏弱，所以教師有必要在教學(xué)過程中幫助學(xué)生提高利用這類信號(hào)的意識(shí)，比如對(duì)比相近發(fā)音的口型差異、詞匯連讀時(shí)的口型變化等。

4. 身體姿勢(shì)。

身體姿勢(shì)包括靜態(tài)的姿勢(shì)和動(dòng)態(tài)的身體運(yùn)動(dòng)。比如在社會(huì)地位差異懸殊的對(duì)話中，地位低的一方往往會(huì)使用前傾的姿勢(shì)表示對(duì)對(duì)方的尊重，另外Kellerman也總結(jié)道“大幅度和緩慢的身體運(yùn)動(dòng)(如半個(gè)身位以上的轉(zhuǎn)動(dòng))往往可以暗示話題或語(yǔ)篇結(jié)構(gòu)上的變化”。[13]雖然，在二語(yǔ)學(xué)習(xí)者訪談中較少提及身體姿勢(shì)輔助視聽理解，但不代表這類信息沒有發(fā)揮作用，其主要原因可能在于身體姿勢(shì)在初期能提供較豐富的背景信息，而隨后的信息貢獻(xiàn)率會(huì)大幅下降，研究發(fā)現(xiàn)聽者往往會(huì)在視覺記憶區(qū)記錄肢體動(dòng)作，但在匯報(bào)時(shí)主要陳述聽覺記憶區(qū)的內(nèi)容，這也會(huì)導(dǎo)致原本不甚豐富的身體姿勢(shì)信息在聽后的報(bào)告中較少出現(xiàn)。作為宏觀語(yǔ)篇結(jié)構(gòu)的一個(gè)標(biāo)識(shí)方式，二語(yǔ)學(xué)習(xí)者仍應(yīng)該提高對(duì)這類信息的識(shí)別能力。

四結(jié)語(yǔ)

雖然，上述體態(tài)語(yǔ)在二語(yǔ)學(xué)習(xí)者的口頭匯報(bào)中有所提及，但這種偶然的報(bào)告表現(xiàn)出他們對(duì)體態(tài)語(yǔ)的理解缺乏系統(tǒng)性。Sueyoshi和Hardison的報(bào)告也指出美國(guó)人使用的手勢(shì)要比東方人更多，[16]鑒于“來(lái)自低體態(tài)語(yǔ)文化的人往往不能解讀高體態(tài)語(yǔ)文化中人所使用的手勢(shì)”，[17]可以推測(cè)一些外文視聽材料中出現(xiàn)的體態(tài)語(yǔ)不能為中國(guó)學(xué)生所理解，因此教師有必要在展示視聽材料后，補(bǔ)充相關(guān)體態(tài)語(yǔ)與話語(yǔ)共同構(gòu)建意義的知識(shí)。這不僅可以增加學(xué)生對(duì)視聽材料的理解深度，而且可以培養(yǎng)學(xué)生的文化意識(shí)。

考慮到視聽過程中，音像信息稍縱即逝的特點(diǎn)，我們不期待學(xué)習(xí)者在如此短的時(shí)間內(nèi)分析并理解視頻中的所有信息，輔助意義構(gòu)建，但是，我們希望學(xué)習(xí)者通過了解肢體語(yǔ)這類視頻的特點(diǎn)和對(duì)信息構(gòu)建的作用，對(duì)視頻形成正確的意識(shí)。應(yīng)該說，充分了解多模態(tài)視聽過程中音、視頻信號(hào)的特點(diǎn)是有效開展多模態(tài)視聽教學(xué)和相關(guān)研究的基礎(chǔ)。

注釋

①這區(qū)別于可以獨(dú)立于語(yǔ)言存在的手勢(shì)(emblem)，如表示OK的手勢(shì)，和可以取代話語(yǔ)的手語(yǔ)(sign language)。

②括號(hào)指手勢(shì)起止的位置。

參考文獻(xiàn)

[1]Wylie, L. Beaux gestes: A guide to French body-talk[M]. Cambridge, Mass. 1977.

[2]高翔．英語(yǔ)多模態(tài)聽力測(cè)試的現(xiàn)狀與展望[J]. 四川教育學(xué)院學(xué)報(bào)，2011(8).

[3]Rubin, J. An overview to A guide for the teaching of second language listening[A]. In D. J. Mendelsohn & J. Rubin (Eds.), A guide for the teaching of second language listening (pp. 7-11). San Diego: Dominie Press. 1995.

[4]Ockey, G. Construct implication of including still image or video in computer-based listening tests[J]. Language Testing. 2007.

[5]Ginther, A. Context and content visuals and performance on listening comprehension stimuli[J]. Language Testing, 2002.

[6]Wagner, E. Are they watching Test-taker viewing behavior during an L2 video listening test[J]. Language Learning and Technology, 2007.

[7]Guichon, N. & McLornan, S. The effects of multimodality on L2 learners: Implications for CALL resource design[J]. System, 2008.

[8]王萌，謝小苑．視聽材料對(duì)聽力理解和詞匯習(xí)得的影響[J]. 外語(yǔ)電化教學(xué)，2008(3).

[9]高翔，官濛．音圖符號(hào)交互模式與多模態(tài)視聽學(xué)習(xí)[J]. 牡丹江教育學(xué)院學(xué)報(bào)，2012(2).

[10]Knapp, M. L. Essentials of nonverbal communication[M]. New York : Holt, Rinehart and Winston, 1980.

[11]McNeill, D. Hand and Mind: what gestures reveal about thought[J]. Chicago:University of Chicago Press, 1992.

[12]McNeill, D. Gesture and Thought[M]. Chicago: University of Chicago Press, 2005.

[13]Kellerman, S. ‘I see what you mean’: The role of kinesic behaviour in listening and implications for foreign and second language learning[J]. Applied Linguistics, 1992.

[14]McGurk, H. and MacDonald. J. Hearing lips and seeing voices[J]. Nature, 1976.

[15]Hardison, D.M. Second-language spoken word identification: Effects of perceptual training, visual cues, and phonetic environment[J]. Language Learning, 1999.

[16]Sueyoshi, A., & Hardison, D. The role of gestures and facial cues in second language listening comprehension[J]. Language Learning, 2005.

[17]von Raffler-Engel, W. Kinesics and paralinguistics: A neglected factor in second language research[J]. Canadian Modern Language Review, 1980.

Literature Review of the Functions of Body Language in Audio-visual Comprehension

Gao Xiang

(School of Foreign Studies, China University of Mining and Technology, Xuzhou, Jiangsu 221116，China)

Key words：audio-visual comprehension; visual signals; body language

Class No.:H319Document Mark：A

(責(zé)任編輯：宋瑞斌)