張麗芳

(河北農(nóng)業(yè)大學(xué),河北 保定 071000)

Moreno等在實驗中采用16張多媒體幻燈片給缺乏氣象學(xué)知識的大學(xué)生被試者傳授雷電形成的基本原理,將被試者學(xué)生分為視覺整合組(文字解釋的每句話放在圖片內(nèi)對應(yīng)的位置上,同時在一張幻燈片上呈現(xiàn))、視覺分隔組(將解釋性文字集中放在圖片的下方并在一張幻燈片上同時呈現(xiàn))與聽覺組(每張幻燈片上只呈現(xiàn)圖片,在呈現(xiàn)每張圖片的同時伴隨著聽覺的言語解釋)。在保持測驗、知識遷移測驗與匹配測驗中,聽覺組的測驗成績均顯著優(yōu)于視覺整合組與視覺分隔組[1]。聽覺呈現(xiàn)文本信息的學(xué)習(xí)保持效果與遷移效果,明顯優(yōu)于視覺呈現(xiàn)圖片與文本信息的效果,這種現(xiàn)象被稱為“聽覺通道優(yōu)勢效應(yīng)”,簡稱“通道效應(yīng)”(Modality Effect)。

在很多學(xué)科的多媒體教學(xué)中,通道效應(yīng)得到了廣泛的驗證,其教學(xué)內(nèi)容包括植物學(xué)知識、統(tǒng)計學(xué)中的均值計算知識等?；谕ǖ佬?yīng)的各種理論解釋及局限性,分析產(chǎn)生通道效應(yīng)的外部條件,并提出通道效應(yīng)現(xiàn)象對多媒體教學(xué)的啟示,以期為利用通道效應(yīng)優(yōu)化多媒體教學(xué)效果提供參考。

1 通道效應(yīng)的各種理論解釋與局限性

現(xiàn)有研究僅從認(rèn)知加工系統(tǒng)的雙通道假設(shè)、認(rèn)知資源有限性假設(shè)及信息加工系統(tǒng)的局限性來解釋通道效應(yīng),必然與一些實驗結(jié)果相悖。

1.1 多媒體認(rèn)知學(xué)習(xí)理論對通道效應(yīng)的解釋及局限性

“分割注意”觀點認(rèn)為,眼睛不可能同時注意文本與圖片信息,需在時間上分割注意資源[2]。由于學(xué)習(xí)者的工作記憶容量有限,不同類型的信息(文本與圖片)在后續(xù)的加工中無法更好地整合,導(dǎo)致信息的保持與遷移效果下降。而在聽覺呈現(xiàn)條件下,文本與圖片信息分別經(jīng)過聽覺與視覺通道同時進(jìn)入學(xué)習(xí)者的工作記憶(雙通道假設(shè))系統(tǒng),并得到較好的整合加工,故保持與遷移效果好于前者。

“分割注意”說只能解釋圖片與文本信息同時出現(xiàn)的通道效應(yīng),無法解釋相繼呈現(xiàn)圖片與文本信息時出現(xiàn)的通道效應(yīng),這是其局限性之一。該學(xué)說還認(rèn)為,學(xué)生需在空間上分割視覺注意資源,分別注意圖片與文本信息。這就導(dǎo)致較高的視覺負(fù)荷,顯著高于聽覺呈現(xiàn)文本條件下的視覺負(fù)荷[3]。但眼動實驗發(fā)現(xiàn),受試者在圖片與文本信息中只表現(xiàn)出極小的視覺負(fù)荷,在文本與圖片間注視點的轉(zhuǎn)換次數(shù)也不多[4]。

1.2 認(rèn)知負(fù)荷理論對通道效應(yīng)的解釋及局限性

認(rèn)知負(fù)荷理論通過外在(由不良的材料組織或呈現(xiàn)方式等產(chǎn)生的無效加工的認(rèn)知負(fù)荷)、內(nèi)在(學(xué)習(xí)材料各部分間復(fù)雜的相互作用產(chǎn)生的負(fù)荷)及相關(guān)認(rèn)知負(fù)荷(由良好教學(xué)設(shè)計導(dǎo)致的、有助于學(xué)習(xí)者圖式建構(gòu)知識結(jié)構(gòu)的負(fù)荷)與工作記憶總負(fù)荷間的關(guān)系解釋通道效應(yīng)[5]。該理論并不假設(shè)聽覺通道在不同加工階段可能存在的優(yōu)勢,而認(rèn)為聽覺在瞬時信息保持中具有優(yōu)勢,即當(dāng)文本信息較簡短時,學(xué)習(xí)者連續(xù)將其切分成瞬時信息,并將瞬時信息整合成組塊。這時三種認(rèn)知負(fù)荷不會超載,故可促進(jìn)信息的保持。當(dāng)聽覺文本冗長時,學(xué)習(xí)者的工作記憶自身加工能力的局限性會造成聽覺信息的超載,學(xué)習(xí)者不得不丟失部分信息而保持殘余的聽覺信息,從而削弱通道效應(yīng)。

與多媒體認(rèn)知學(xué)習(xí)理論相比,認(rèn)知負(fù)荷理論考慮到了文本信息的信息量與加工難度對通道效應(yīng)的影響。但使用尚未通過實證檢驗的方法對三種認(rèn)知負(fù)荷進(jìn)行測量并建立三種認(rèn)知負(fù)荷與通道效應(yīng)間的測量路徑關(guān)系,缺乏足夠的說服力。

1.3 認(rèn)知結(jié)構(gòu)整合模型對通道效應(yīng)的解釋及局限性

認(rèn)知結(jié)構(gòu)整合模型(the cognitive architecture of the integrated model)形象地描述了感覺與認(rèn)知加工在不同記憶系統(tǒng)中的加工內(nèi)容與過程[6]。感覺登記系統(tǒng)包含感知水平的信息,主要是聽覺與視覺通道信息(也包括觸覺等其他通道)。學(xué)習(xí)者的工作記憶加工系統(tǒng)存在語詞通道與圖片通道兩個表征通道,在產(chǎn)生通道效應(yīng)的情況下,與書面語句理解有關(guān)的是視覺與語詞通道,與聽覺文本理解有關(guān)的是聽覺與語詞通道,圖片理解整合了語詞與圖片通道。感知與表征通道都只有有限的加工能力。詳見圖1。

圖1 認(rèn)知結(jié)構(gòu)的整合模型示意圖Fig.1 Schematic diagram of the cognitive orchitecture of the integrated model

在信息的感知水平階段,由于視覺通道的加工能力有限,只會有一部分文本信息經(jīng)過視覺通道得到加工。據(jù)此推論,若用A表示經(jīng)過視覺通道的全部信息,T表示在理想情況下A被全部加工所需時間,由于視覺通道的加工能力有限,故T被分成t1與t2兩個子時間段。在t1或t2時限內(nèi),只有不到一半的A信息得到加工。在工作記憶系統(tǒng)中,由于加工容量與存儲時間的有限性,大量的信息同時進(jìn)入工作系統(tǒng)會造成系統(tǒng)超載。如果不進(jìn)行信息保持加工(如復(fù)述),20 s后就會迅速消退,這就造成了工作記憶中存儲信息的不穩(wěn)定性。在信息加工的工作記憶階段,通道信息如果遵循鄰近性(contiguity)原則(包括時間臨近性與空間鄰近性),就能夠使兩種信息在工作記憶中得到進(jìn)一步加工。之所以要遵循鄰近性原則,是因為眼球在對學(xué)習(xí)材料進(jìn)行整合加工時具有局限性。視覺文本與圖片信息同時呈現(xiàn)的加工劣勢在于,眼睛在進(jìn)行視覺搜索時只能在一定時間內(nèi)注意有限的內(nèi)容,當(dāng)眼睛跳到另一個需要注視的文本或圖片信息時,先前注意過的信息由于缺乏必要的信息保持時間而迅速消退。在進(jìn)行文本語義與圖片的整合加工時,學(xué)習(xí)者需要在圖片與文本信息中反復(fù)搜索來尋找適合的對應(yīng)信息。當(dāng)視覺文本及對應(yīng)的圖片信息在空間上相隔越遠(yuǎn)時,學(xué)習(xí)者越需耗費更多的心理資源維持整個加工活動,以防止信息的丟失。而聽覺通道可不受空間臨近性的束縛,體現(xiàn)出一定的優(yōu)勢。

認(rèn)知結(jié)構(gòu)整合模型將信息加工過程細(xì)化為較為詳盡的階段或環(huán)節(jié),但導(dǎo)致通道效應(yīng)的原因還需要考慮心理資源是否充足。如果同時呈現(xiàn)的視覺文本信息與圖片信息的信息量都很少且匹配得很緊密,用于加工這兩種信息的心理資源就不會超過工作記憶能夠承受的最大負(fù)荷,聽覺通道的優(yōu)勢效應(yīng)就會降低。如果沒有時間限制,或給學(xué)習(xí)者呈現(xiàn)視覺信息的時間足夠長,由于視覺信息可以反復(fù)調(diào)用,學(xué)習(xí)者也可以反復(fù)掃視視覺文本與聽覺文本,此時心理資源足以增強兩種文本信息的整合,聽覺通道的優(yōu)勢效應(yīng)也會降低或消失。

2 產(chǎn)生通道效應(yīng)的外部條件

文本與圖片信息的關(guān)聯(lián)性會對通道信息產(chǎn)生顯著影響。文本信息只是對圖片信息的重復(fù),二者擁有典型的高關(guān)聯(lián)性。內(nèi)容的簡單重復(fù)鞏固了視覺文本的加工,聽覺通道優(yōu)勢效應(yīng)在這種條件下消失了。另一種情況是圖片信息過于簡單,導(dǎo)致圖片無法有效支持文本信息的加工。如在以“學(xué)習(xí)風(fēng)格”概念為實驗內(nèi)容的研究中,圖片中僅包含Converger等單詞及AE,RO等縮寫詞,實驗結(jié)果表明在該情況下沒有表現(xiàn)出通道效應(yīng)[7]。

此外,學(xué)習(xí)材料的呈現(xiàn)速度也影響通道效應(yīng)。絕大多數(shù)通道效應(yīng)的實驗均系統(tǒng)控制了學(xué)習(xí)材料的呈現(xiàn)速度,學(xué)習(xí)材料的呈現(xiàn)速度越慢,越能緩解視覺通道加工文本及圖片信息的瓶徑壓力,從而使聽覺通道優(yōu)勢效應(yīng)消失。研究者以溫度變化的知識作為學(xué)習(xí)材料,文本材料分別采取“快速呈現(xiàn)”(每個詞0.73 s)與“慢速呈現(xiàn)”(每個詞1.00 s)兩種實驗處理,結(jié)果發(fā)現(xiàn)慢速呈現(xiàn)條件下出現(xiàn)了通道效應(yīng),而快速呈現(xiàn)條件下未出現(xiàn)通道效應(yīng)[8]。

3 通道效應(yīng)對多媒體教學(xué)的啟示

多媒體教學(xué)中出現(xiàn)的視覺通道優(yōu)勢效應(yīng)既不是由認(rèn)知加工系統(tǒng)(即包括工作記憶系統(tǒng)在內(nèi)的信息三級加工與儲存模型)的局限性單一決定的,也不是由外部實驗或教學(xué)條件單一決定的,而是由外部條件與學(xué)習(xí)者認(rèn)知加工系統(tǒng)的局限性共同決定的。影響通道效應(yīng)的外部條件包括多媒體信息呈現(xiàn)的時間、文本信息的信息量與加工難度、圖片信息的信息量與加工難度、文本信息與圖片信息的關(guān)聯(lián)程度及呈現(xiàn)方式。制約通道效應(yīng)的內(nèi)部條件包括學(xué)習(xí)者注意資源的有限性、工作記憶容量與心理資源的有限性及信息加工的速度、長時記憶信息提取的速度與準(zhǔn)確性。也就是說,通道效應(yīng)是上述內(nèi)外條件的多元函數(shù)。值得注意的是,多媒體信息的呈現(xiàn)時間對于通道效應(yīng)的影響尤為突出。如果多媒體信息呈現(xiàn)的時間過短,聽覺文本與視覺文本信息的有效加工均得不到保證,兩種信息的整合也難以進(jìn)行,通道效應(yīng)就會消失。如果有足夠的時間呈現(xiàn)多媒體信息,文本信息得到過度學(xué)習(xí),也有充分的時間去整合對應(yīng)的聽覺信息,通道效應(yīng)也會消失。

若文本與圖片信息容納的信息總量超過了學(xué)習(xí)者的工作記憶容量,且兩類信息的高關(guān)聯(lián)性導(dǎo)致加工難度增大,要想保證一定的學(xué)習(xí)效果,必須延長多媒體信息呈現(xiàn)的時間或分解信息、降低加工難度。否則,兩種通道條件下的學(xué)習(xí)效果都會變差,通道效應(yīng)甚至?xí)?。通道效?yīng)既受多媒體呈現(xiàn)方式的影響,又受學(xué)習(xí)者認(rèn)知加工能力的制約,兩者的交互作用共同決定是否產(chǎn)生通道效應(yīng)或效應(yīng)的大小。學(xué)習(xí)者的工作記憶容量較大、視覺信息加工速度較快、長時記憶信息提取速度與準(zhǔn)確性較高的情況下,通道效應(yīng)不會顯著體現(xiàn)出來,反之則很容易表現(xiàn)出聽覺通道的優(yōu)勢效應(yīng)。故教學(xué)者應(yīng)綜合考慮自身的認(rèn)知加工能力,調(diào)整學(xué)習(xí)材料的呈現(xiàn)速度等因素,利用通道效應(yīng)優(yōu)化多媒體教學(xué)效果。

此外,在多媒體教學(xué)中,聽覺通道的優(yōu)勢效應(yīng)也會受樣本自身特征的影響。在Moreno 與Mayer的研究中,被試者來自心理學(xué)研究的樣本庫,對心理學(xué)研究有一定的多媒體學(xué)習(xí)與測試經(jīng)驗。但在Ari與Calandra 的研究中,由于被試者缺乏閱讀技巧,對文本主題(如關(guān)于牛仔褲如何誕生的主題)不熟悉,文本的復(fù)雜度也較高,所以即使在視覺與聽覺文本結(jié)合呈現(xiàn)條件下,其在學(xué)習(xí)時的認(rèn)知負(fù)荷也較大[9]。被試者對視覺文本的加工的低效能,超過了聽覺通道形成的內(nèi)部言語加工器的加工優(yōu)勢,進(jìn)而壓制了聽覺文本的通道優(yōu)勢。故在運用聽覺通道促進(jìn)多媒體教學(xué)時,可在正式教學(xué)前讓學(xué)生充分了解關(guān)于學(xué)習(xí)材料的背景知識,或采用間接的方式激發(fā)學(xué)生去生成先驗知識,例如讓學(xué)生自主觀看與教學(xué)內(nèi)容有關(guān)的視頻,提煉視頻中的對應(yīng)知識點,或增加視頻中重要知識節(jié)點的提示線索,等等?？傊?采取有效的教學(xué)干預(yù)措施,增強樣本的學(xué)習(xí)經(jīng)驗,可充分發(fā)揮雙通道的加工優(yōu)勢。