淺析多模態(tài)形式對二語學習的影響

范 玲，羅瑩瑩，包 威，高戰(zhàn)榮

（黑龍江大學應用外語學院，哈爾濱 150080）

計算機媒體作為表達信息的物理工具極大地豐富了話語交際中的模態(tài)類型，讓多模態(tài)化的信息輸入更具可行性，在二語學習中發(fā)揮著重要作用。我國著名學者張德祿認為，多模態(tài)交際能夠使受話人通過多通道獲得信息，從而使學習者從內(nèi)心愿意從事語言學習活動，把外因轉(zhuǎn)化為內(nèi)因，激發(fā)交際者交際的興趣和熱情等［1］。顧曰國教授從認知心理學的角度，對基于計算機多媒體材料的多模態(tài)學習做過詳細分析，并提出計算機多媒體、多模態(tài)互動學習從輸入到產(chǎn)出之間的模態(tài)搭配與學習效果是一項亟待深入研究的重大基礎課題［2］。

一、多模態(tài)與多媒體

在信息認知過程中，人們能夠以多種感知形式認知信息。多種符號資源在語言交際中的運用可以被視為話語的“多模態(tài)性”。多模態(tài)與多媒體是兩個不同的概念，多模態(tài)是指語言、圖像、聲音、動作等用以交際和意義構(gòu)建的符號資源;多媒體是人與人之間實現(xiàn)信息交流應用的多種載體，也被稱為多媒介。簡單來說，人們的視覺、聽覺、觸覺等多種感知模式是通過眼睛、耳朵、鼻子等多種媒體形式實現(xiàn)的?，F(xiàn)代化的媒體技術(shù)手段實現(xiàn)了人們交際方式的多元化，也促成了多種交際模態(tài)的融合。多模態(tài)話語理論能夠通過對多元化符號系統(tǒng)的意義解讀，更加準確理解掌握交際中的話語信息。

二、單模態(tài)與多模態(tài)的比較研究

法國里昂第二大學語言中心的Nicolas Guichon等學者就多模態(tài)形式對二語學習的影響做過專門研究。他主要分析了以計算機媒體作為信息平臺的多模態(tài)形式對二語學習者理解真實口語材料的影響，不同模態(tài)形式如圖像、字幕等在二語學習中的優(yōu)點與局限性，并通過評估學生的文本結(jié)果判斷不同模態(tài)形式對理解的干擾程度。

這項研究共包含四種模態(tài)呈現(xiàn)方式:M1——音頻;M2——視頻與音頻;M3——視頻、音頻與目標語字幕;M4——視頻、音頻與母語字幕。研究對象是學校同一年級中挑選的40位非英語專業(yè)的學生，他們在英語水平測試中的成績均處于中等水平。研究將40位學生分成四組，分別采用不同的模態(tài)形式進行測試。測試的內(nèi)容是一段3分鐘長的BBC英語新聞，講述了一對生活在華盛頓特區(qū)郊區(qū)的夫婦的家庭生活情況。測試時間定在上午，四組對象進行的實驗步驟完全一致:首先由教師以母語講解測試的內(nèi)容和目標;然后第一次播放新聞（允許學生以母語或目標語記筆記）;給學生4分鐘時間整理筆記;第二次播放新聞（允許學生以母語或目標語記筆記）;最后20分鐘寫出目標語的新聞概要。所有學生最后完成的有效語義數(shù)量作為對衡量學習效果的指標。英語新聞文本被劃分為35組語義單位（35 items），囊括了新聞中的所有主要信息。Baltova在加拿大的一項二語學習研究也采用了類似的評估形式?？紤]到信息認知量和母語—目標語的干擾因素，文本形式能夠較為客觀地體現(xiàn)出學生在不同模態(tài)形式下對相同信息接收程度上的差異。研究結(jié)果主要是計算學生概要寫作中所包含的有效語義單位的數(shù)量，四種不同模態(tài)條件下學生獲取的有效語義數(shù)量分別達到了19.7%、25.1%、30.2% 和29.7%，其中M3——視頻、音頻與目標語字幕的測試結(jié)果最佳。結(jié)果表明:

1.輸入相同信息的前提下，與單模態(tài)相比，研究對象在多模態(tài)條件下的學習效果表現(xiàn)明顯優(yōu)異。這與Mayer提出的多媒體原則一致。他認為學習中詞語與畫面組合的學習效果要優(yōu)于單一的詞語學習。

2.圖像在信息認知過程中具有重要作用，但不能與學習效果成正比。M1的學生大多無法準確判別items 3和4（主要人物）以及item 23（工作地點），而 M2、M3、M4的研究對象在圖像的輔助作用下這三組語義單位表現(xiàn)優(yōu)異。但M1在items 15，16和 20的表現(xiàn)明顯好于M2、M3、M4，原因在于這部分內(nèi)容的圖像與音頻信息沒有保持一致，影響了大部分受試學生的判斷。這種圖像中的冗余信息是多模態(tài)認知中的常見問題。Mayer和Moreno指出，學習者不會為了避免認知超載而忽視已經(jīng)呈現(xiàn)的冗余內(nèi)容，冗余的設計違背了人類認知學習過程，阻礙學習者對知識信息的有效加工。

3.字幕在信息認知中具有關(guān)鍵作用，但字幕的不同形式對信息的接受性和產(chǎn)出性的影響也有差異。M1和M2的受試學生在items 6和14的信息認知上成功率較低，甚至沒能判斷出item 14中的母語詞匯，而M3和M4條件下的學生在這兩組語義單位上的成功率較高，證明字幕幫助兩組學生確認了相關(guān)信息。但M4的母語字幕對信息認知也具有一定的負面影響。法語與英語部分單詞形似，M4學生的測試結(jié)果被母語字幕嚴重干擾，大量與法語字幕形似的英語單詞被運用。例如item 25中“self－employed”在法語字幕中被譯為“indépendant”，因此M4一半的學生寫作中使用了英語單詞independent。由此說明學生過多地關(guān)注母語字幕，忽略了音頻信息，造成了詞匯準確度偏低的問題。

三、多模態(tài)形式在二語學習中的應用原則

基于法國里昂第二大學語言中心的Nicolas Guichon等學者進行的不同多模態(tài)形式對二語學習者的學習效果差異研究，應用多模態(tài)形式的二語學習應遵循以下幾條原則:

1.信息呈現(xiàn)的多模態(tài)性

Mayer認為，人類在工作記憶中主要通過聽覺/言語通道和視覺/圖像通道完成信息加工。聲音和圖像作為不同的符號系統(tǒng)，分別屬于不同記憶系統(tǒng)并采用不同的編碼形式。國內(nèi)外大量研究表明，人們記憶加工過程中采用雙重編碼形式的效果一般要優(yōu)于單一的編碼形式。因此，多媒體課堂中的信息呈現(xiàn)方式應充分利用視覺和聽覺等多種模態(tài)結(jié)合形式。目前，國內(nèi)的二語教學尤其是聽力教學信息呈現(xiàn)方式較為單一，沒有能夠充分利用多媒體網(wǎng)絡平臺資源。多媒體課堂的二語多模態(tài)化教學勢在必行。視聽結(jié)合的語料不僅能夠讓學習者通過接收信息的多樣化通道充分發(fā)揮工作記憶的雙重編碼功能，獲取較好的學習效果，而且多媒體資源營造的真實語境和言語交際環(huán)境可以增加可理解性信息的輸入，大大提升成功語言習得的可能性。

2.模態(tài)形式的互補性

張德祿提出:“典型的多模式話語模式是一種模態(tài)的話語不能充分表達其意義，或者無法表達其全部意義，需要借助另一種來補充，我們把這種模態(tài)之間的關(guān)系稱為互補關(guān)系，而把其他的稱為非互補關(guān)系?！保?］多模態(tài)形式的運用應遵循互補性原則，也就是運用多種模態(tài)形式間的信息互補或者強化實現(xiàn)信息的有效輸入，反之，則事倍功半。Nicolas Guichon的研究結(jié)果表明，圖像的數(shù)量與學習效果并不成正比，其中一個重要原因在于部分模態(tài)形式間沒有互補，而是出現(xiàn)了排斥甚至抵消的現(xiàn)象。由此造成的冗余信息讓學習者在認知過程中注意力分散，從而影響了學習效果。Wichens將人們的注意力形容為“選擇信息源作加工處理的探照燈”和“有限的空白資源”，這說明了人們注意力的選擇性和有限性。形式不同的信息量越多，注意力的選擇難度就越大，對學習效果越有損害。因此，多模態(tài)化的教學信息呈現(xiàn)形式應盡量簡潔、適用，呈現(xiàn)的信息應具有互補性，不包含有任何冗余信息，不給學習者增加認知負擔。

3.認知負荷的差異性

John Sweller認為，認知負荷是人在信息認知過程中產(chǎn)生的“負荷”。如果信息的認知資源超過了人本身具有的認知資源的數(shù)量就會造成認知超載，從而影響學習效果。不同學習者的認知負荷存在差異。Nicolas Guichon的研究中字幕對學生的最終結(jié)果產(chǎn)生了不同的影響。當然，是否選擇帶有字幕的多模態(tài)形式進行教學活動取決于多種因素，例如文本的難易程度、聽力任務的目標等，但其中學習者本身的認知負荷程度也應該是教學中考慮的重要內(nèi)容。多模態(tài)化學習應該利用多媒體平臺資源的豐富性和信息呈現(xiàn)方式的多樣性為學習者提供適合自身水平和特點的學習內(nèi)容，充分考慮學生的自主學習能力，設計靈活多樣的交際活動，調(diào)動學生參與課堂學習的積極性。同樣的知識根據(jù)學習者的不同認知水平、不同語言基礎和興趣愛好采用不同的模態(tài)呈現(xiàn)形式，增加二語學習的信息量，運用多樣化的媒體呈現(xiàn)手段，讓語言學習與學生自身的認知水平接軌，培養(yǎng)學習者的語言建構(gòu)能力和積極的學習態(tài)度。

四、結(jié)語

盡管Nicolas Guichon等學者的研究數(shù)據(jù)可能會因為研究對象、方法或其他因素不同而有所差異，但應用多媒體的多模態(tài)學習模式是眾多國內(nèi)外學者經(jīng)過大量實驗論證切實可行的語言教學研究領域的重要課題?！傲暤谩睆娬{(diào)學習者獲得語言的“潛意識的”過程?；诙嗝襟w信息平臺的多模態(tài)化學習為學習者創(chuàng)造了語言習得的真實語境，通過提供多渠道的可理解性信息，讓學生以視覺、聽覺等多種感官形式參與語言學習，實現(xiàn)真正意義上的主動式學習，達到良好的學習效果。

:

［1］張德祿.多模態(tài)話語理論與媒體技術(shù)在外語教學中的應用［J］.外語教學，2009，（4）:18.

［2］顧曰國.多媒體、多模態(tài)學習剖析［J］.外語電化教學，2007，（4）:7.

［3］張德祿.多模態(tài)話語分析綜合理論框架探索［J］.中國外語，2009，（1）:26.