摘要:隨著虛擬現(xiàn)實(shí)硬件設(shè)備的快速普及和使用成本的降低,沉浸式虛擬現(xiàn)實(shí)(IVR)在教學(xué)中的應(yīng)用逐漸增多,但其研究大多關(guān)注視覺(jué)和聽(tīng)覺(jué)體驗(yàn),對(duì)引入觸覺(jué)反饋后在學(xué)習(xí)效果提升上的有效性仍缺乏證據(jù)。消防安全教育是IVR的典型應(yīng)用場(chǎng)景,探究在IVR消防安全教育系統(tǒng)中加入觸覺(jué)反饋(力反饋和熱感)對(duì)學(xué)習(xí)者學(xué)業(yè)成績(jī)、學(xué)習(xí)動(dòng)機(jī)和認(rèn)知負(fù)荷的影響,有助于為優(yōu)化IVR教學(xué)應(yīng)用提供依據(jù)?;谠撉榫车膶?duì)照實(shí)驗(yàn)結(jié)果表明:IVR能夠顯著促進(jìn)學(xué)習(xí)者對(duì)程序性知識(shí)、事實(shí)性知識(shí)和概念性知識(shí)的學(xué)習(xí),并且加入觸覺(jué)反饋后的知識(shí)增益更高,更加有利于程序性知識(shí)的習(xí)得;觸覺(jué)反饋的加入顯著降低了學(xué)習(xí)者的認(rèn)知負(fù)荷,尤其是外在認(rèn)知負(fù)荷,但對(duì)學(xué)習(xí)者學(xué)習(xí)動(dòng)機(jī)的影響并不顯著。研究結(jié)論為多媒體學(xué)習(xí)中觸覺(jué)通道的整合提供了新的證據(jù),拓展了原有多媒體學(xué)習(xí)的認(rèn)知理論框架,有助于指導(dǎo)IVR教育資源的設(shè)計(jì)、開(kāi)發(fā)及應(yīng)用。
關(guān)鍵詞:沉浸式虛擬現(xiàn)實(shí);人機(jī)交互;觸覺(jué)反饋;消防安全教育;對(duì)照實(shí)驗(yàn)
中圖分類(lèi)號(hào):G434 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1009-5195(2024)05-0092-11 doi10.3969/j.issn.1009-5195.2024.05.010
基金項(xiàng)目:湖北省高等學(xué)校教學(xué)研究項(xiàng)目“數(shù)據(jù)驅(qū)動(dòng)的異步在線(xiàn)討論行為特征分析與學(xué)習(xí)策略研究”(2023089);華中師范大學(xué)優(yōu)秀研究生教育創(chuàng)新資助項(xiàng)目“虛擬現(xiàn)實(shí)環(huán)境中的線(xiàn)索設(shè)計(jì)對(duì)青少年學(xué)習(xí)體驗(yàn)和學(xué)業(yè)表現(xiàn)的影響研究”(2024CXZZ045)。
作者簡(jiǎn)介:李文昊,博士,教授,博士生導(dǎo)師,華中師范大學(xué)人工智能教育學(xué)部(湖北武漢 430079);錢(qián)莉(通訊作者),博士研究生,華中師范大學(xué)人工智能教育學(xué)部(湖北武漢 430079);王小寒,碩士研究生,華中師范大學(xué)人工智能教育學(xué)部(湖北武漢 430079)。
一、引言
虛擬現(xiàn)實(shí)(Virtual Reality,VR)具有沉浸感、交互性、構(gòu)想性和智能化特征(沈陽(yáng)等,2020),有助于增強(qiáng)學(xué)習(xí)動(dòng)機(jī)(Kavanagh et al.,2017)、降低認(rèn)知負(fù)荷(王國(guó)華等,2023)、引發(fā)共情(王浩等,2023)和提高學(xué)習(xí)效果(毛耀忠等,2023),已廣泛應(yīng)用于娛樂(lè)、軍事、醫(yī)療和教育等多個(gè)領(lǐng)域。VR系統(tǒng)根據(jù)沉浸水平可以分為沉浸式VR(Immersive Virtual Reality,IVR)和桌面式VR(Desktop Virtual Reality,DVR)兩種類(lèi)型。IVR能夠有效隔絕物理環(huán)境,為用戶(hù)提供高度沉浸的體驗(yàn),一般通過(guò)頭戴式顯示器(Head-Mounted Display)或洞穴式自動(dòng)虛擬環(huán)境(Cave Automatic Virtual Environment)訪(fǎng)問(wèn);DVR則很少或沒(méi)有隔絕物理環(huán)境,只能為用戶(hù)提供低度沉浸的體驗(yàn),一般通過(guò)智能手機(jī)、平板電腦或計(jì)算機(jī)等設(shè)備訪(fǎng)問(wèn)(Makransky et al.,2021)。隨著VR硬件設(shè)備的快速普及和使用成本的降低,IVR在教育領(lǐng)域中的應(yīng)用逐漸增多(毛耀忠等,2023),例如用于理工科實(shí)驗(yàn)教學(xué)(劉清堂等,2021)、語(yǔ)言學(xué)習(xí)(Chen et al.,2022)、技能培訓(xùn)(Xie et al.,2021)等。IVR能夠模擬現(xiàn)實(shí)生活中難以實(shí)現(xiàn)或者危險(xiǎn)性較高的情景,在教學(xué)中可以為學(xué)習(xí)者創(chuàng)設(shè)安全可控的學(xué)習(xí)情境,促進(jìn)其與環(huán)境有效互動(dòng),并支持重復(fù)學(xué)習(xí)和實(shí)踐,非常適合消防安全這種具有危險(xiǎn)性、需要學(xué)習(xí)者親身實(shí)踐以獲得經(jīng)驗(yàn)、構(gòu)建知識(shí)和掌握技能的內(nèi)容(Radianti et al.,2020;Morélot et al.,2021)。
當(dāng)前,IVR在教學(xué)中的應(yīng)用研究大多關(guān)注視覺(jué)和聽(tīng)覺(jué)體驗(yàn),缺乏對(duì)觸覺(jué)反饋的探究(劉德建等,2016;沈陽(yáng)等,2023)。以IVR消防安全知識(shí)學(xué)習(xí)為例,學(xué)習(xí)者雖然能置身于黑暗、煙霧與警報(bào)聲交織的虛擬火災(zāi)場(chǎng)景中進(jìn)行火災(zāi)逃生演練,但當(dāng)其想依靠身體感官來(lái)尋找逃生路線(xiàn)時(shí),卻無(wú)法如真實(shí)火災(zāi)般感受到周?chē)鷾囟鹊募眲∽兓?,也無(wú)法在嘗試使用滅火器滅火時(shí)獲得力反饋、振動(dòng)等觸覺(jué)感知(Morélot et al.,2021)。這種體驗(yàn)上的斷層,凸顯了當(dāng)前IVR教育應(yīng)用在模擬現(xiàn)實(shí)環(huán)境多感官交互方面的局限性,即僅側(cè)重呈現(xiàn)更精細(xì)的圖形細(xì)節(jié)和逼真的音效等視聽(tīng)內(nèi)容,與人類(lèi)在現(xiàn)實(shí)環(huán)境中通過(guò)視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)等多種感官的結(jié)合來(lái)感知世界的事實(shí)不符,限制了人機(jī)交互的方式。受顯示設(shè)備物理尺寸和人機(jī)交互方式所限,目前IVR在追求更高清晰度和還原度的視聽(tīng)內(nèi)容方面已難以提升,其應(yīng)用效果的改進(jìn)正逐漸受到來(lái)自教育場(chǎng)景的挑戰(zhàn)。相關(guān)研究也建議在IVR中加入除視聽(tīng)之外的感官刺激,以突破感知的局限,提供更沉浸、更真實(shí)、更生動(dòng)的體驗(yàn)( 翟雪松等,2021;Tortell et al.,2007;Edwards et al.,2019)。
當(dāng)前在IVR中加入觸覺(jué)反饋的研究主要圍繞理論探討、技術(shù)開(kāi)發(fā)和設(shè)備更新展開(kāi),較少通過(guò)實(shí)證研究探索其對(duì)學(xué)習(xí)的影響。本研究以消防安全知識(shí)學(xué)習(xí)為教學(xué)案例開(kāi)展對(duì)照實(shí)驗(yàn),探究在IVR中加入觸覺(jué)反饋的有效性,以期為優(yōu)化學(xué)習(xí)體驗(yàn)、提升教學(xué)效果提供實(shí)證證據(jù)。具體而言,主要探究以下兩個(gè)研究問(wèn)題:
(1)IVR對(duì)學(xué)習(xí)者的知識(shí)獲取和保留有何影響?
(2)IVR中加入觸覺(jué)反饋對(duì)學(xué)習(xí)者的學(xué)業(yè)成績(jī)、學(xué)習(xí)動(dòng)機(jī)和認(rèn)知負(fù)荷有何影響?
二、文獻(xiàn)綜述與研究假設(shè)
1.具身認(rèn)知理論
具身認(rèn)知理論強(qiáng)調(diào)了認(rèn)知、身體和環(huán)境之間不可分割的聯(lián)系,認(rèn)為認(rèn)知過(guò)程是通過(guò)身體感官和運(yùn)動(dòng)系統(tǒng)與環(huán)境的交互實(shí)現(xiàn)的(葉浩生,2010;陳醒等,2019)。IVR所營(yíng)造的身臨其境的體驗(yàn)恰好契合了具身認(rèn)知理論的核心思想,其通過(guò)提供具身交互實(shí)現(xiàn)具身認(rèn)知,例如借助設(shè)備讓學(xué)習(xí)者通過(guò)觸摸、運(yùn)動(dòng)等方式與虛擬環(huán)境進(jìn)行交互(楊彥軍等,2021),可以有效激發(fā)學(xué)習(xí)者的學(xué)習(xí)興趣,促進(jìn)其深度參與學(xué)習(xí)。IVR為具身認(rèn)知研究提供了新的實(shí)驗(yàn)平臺(tái),進(jìn)一步推動(dòng)了IVR與具身認(rèn)知理論的融合研究(艾興等,2021)。
具身認(rèn)知理論認(rèn)為,人類(lèi)的認(rèn)知活動(dòng)是基于感官系統(tǒng)對(duì)世界的感知與塑造,視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等多種感知覺(jué)共同構(gòu)成了人類(lèi)意識(shí)、觀(guān)察、思維與推理的基礎(chǔ),而且與環(huán)境交互涉及的感知通道越多,形成的具身體驗(yàn)就越鮮活和完整,具身體驗(yàn)感就越強(qiáng)(陳醒等,2019)。但現(xiàn)有的實(shí)證研究多集中在基于視聽(tīng)感官的探討,忽視了觸覺(jué)、嗅覺(jué)等感官的重要性(趙瑞斌等,2021)。例如,王思怡(2017)的研究以具身認(rèn)知理論為指導(dǎo),提出“身體即媒介”的觀(guān)念,將影像、聲音和個(gè)性化故事融為一體,通過(guò)多感官體驗(yàn)博物館來(lái)加深觀(guān)眾的認(rèn)知理解。事實(shí)上,與視覺(jué)和聽(tīng)覺(jué)這類(lèi)“遠(yuǎn)端”感知系統(tǒng)相比,觸覺(jué)感官與身體聯(lián)系更緊密,能帶來(lái)更為直接和深刻的具身參與感,從而促進(jìn)概念知識(shí)的建構(gòu)與發(fā)展(De Jong et al.,2013)。因此,在視覺(jué)和聽(tīng)覺(jué)感官基礎(chǔ)上融入觸覺(jué)反饋后實(shí)現(xiàn)的多感官交互更符合具身認(rèn)知的思想,不僅能夠提升學(xué)習(xí)體驗(yàn),而且有助于促進(jìn)知識(shí)學(xué)習(xí)和應(yīng)用(Anastopoulou et al.,2011;Novak et al.,2021)。
2.IVR對(duì)知識(shí)獲取和保留的影響
IVR通過(guò)模擬真實(shí)環(huán)境能夠?yàn)橛脩?hù)創(chuàng)造一種身臨其境的體驗(yàn),讓其完全沉浸于虛擬環(huán)境中。這引發(fā)了教育領(lǐng)域?qū)W者們的關(guān)注,眾多研究發(fā)現(xiàn)IVR應(yīng)用于教學(xué)具有改善學(xué)習(xí)體驗(yàn)和提升學(xué)習(xí)效果的潛力。例如,高楠等人(2023)將IVR應(yīng)用于探究串聯(lián)電路中電流規(guī)律的實(shí)驗(yàn),發(fā)現(xiàn)IVR不僅能夠顯著提高學(xué)習(xí)者對(duì)概念性知識(shí)、程序性知識(shí)的遷移效果,還極大地提升了學(xué)習(xí)者的自我效能感、內(nèi)在學(xué)習(xí)動(dòng)機(jī)和學(xué)習(xí)滿(mǎn)意度。Liu等人(2020)的研究表明IVR能夠顯著提升學(xué)生的科學(xué)課成績(jī)。劉妍等人(2021)發(fā)現(xiàn)在IVR中學(xué)習(xí)生物學(xué)中的皮膚組織相關(guān)知識(shí)顯著提高了學(xué)生在實(shí)驗(yàn)一周后的知識(shí)留存率?;诖?,本研究提出假設(shè):
H1:IVR有助于促進(jìn)學(xué)習(xí)者的知識(shí)獲取和保留。
3.觸覺(jué)反饋對(duì)學(xué)習(xí)者學(xué)業(yè)成績(jī)、學(xué)習(xí)動(dòng)機(jī)和認(rèn)知負(fù)荷的影響
國(guó)內(nèi)外研究者對(duì)IVR在K-12和高等教育領(lǐng)域的應(yīng)用進(jìn)行了一定范圍的實(shí)驗(yàn)或準(zhǔn)實(shí)驗(yàn)研究,有的研究還通過(guò)元分析揭示其對(duì)學(xué)習(xí)的正向影響,但報(bào)告的效應(yīng)量相對(duì)較小,如0.24(Wu et al.,2020)、0.38(Coban et al.,2022)、0.40(毛耀忠等,2023)等,這在一定程度上阻礙了IVR在教學(xué)中的大規(guī)模持續(xù)應(yīng)用(Luo et al.,2021)。因此,為了充分發(fā)揮IVR應(yīng)用于教學(xué)的潛力,除了改進(jìn)IVR技術(shù)和設(shè)備外,還需要探索其他創(chuàng)新途徑,如增強(qiáng)人機(jī)交互以促進(jìn)具身認(rèn)知和情感體驗(yàn),從而改善IVR教學(xué)效果。
觸覺(jué)反饋是IVR中的一種重要交互方式,能夠提升用戶(hù)在虛擬環(huán)境中對(duì)物體和場(chǎng)景的感知真實(shí)性(沈陽(yáng)等,2021),包括力反饋、振動(dòng)反饋和溫度反饋等(Magana et al.,2019;Novak et al.,2021)。力反饋技術(shù)通過(guò)模擬物體的重量、形狀和表面特性,使用戶(hù)能夠真切地感受到虛擬物體的阻力、碰撞和觸感。振動(dòng)反饋技術(shù)則可以模擬不同頻率和強(qiáng)度的振動(dòng),讓用戶(hù)感受到物體的震動(dòng)、脈沖等。溫度反饋技術(shù)可以模擬物體的溫度變化,例如通過(guò)熱冷刺激裝置,讓用戶(hù)感受到虛擬火焰的熾熱或冰塊的寒冷。觸覺(jué)反饋技術(shù)已經(jīng)在游戲、醫(yī)療和軍事等領(lǐng)域得到廣泛研究和應(yīng)用(Mansor et al.,2017;Edwards et al.,2019)。例如,在醫(yī)療模擬訓(xùn)練中,觸覺(jué)反饋技術(shù)幫助醫(yī)學(xué)生感知到其在手術(shù)過(guò)程中與手術(shù)操作對(duì)象交互時(shí)產(chǎn)生的觸覺(jué)信息(Jung et al.,2012;Zaragoza-Siqueiros et al.,2019)。
但是關(guān)于在IVR教學(xué)中加入觸覺(jué)反饋的文獻(xiàn)卻比較匱乏,已有的實(shí)踐應(yīng)用也存在不足。首先,多數(shù)研究聚焦于力反饋和振動(dòng)反饋,例如沈陽(yáng)等人(2023)探究了IVR物理實(shí)驗(yàn)教學(xué)中力對(duì)學(xué)生存在感和概念性知識(shí)學(xué)習(xí)效果的影響,但對(duì)溫度這一能深刻影響真實(shí)感受的反饋關(guān)注不足。其次,在IVR教學(xué)中加入觸覺(jué)反饋的實(shí)證研究鮮有針對(duì)不同類(lèi)型知識(shí)展開(kāi)設(shè)計(jì)和討論,針對(duì)特定知識(shí)的研究結(jié)果也不一致,導(dǎo)致結(jié)論缺乏系統(tǒng)性與普適性。例如,沈陽(yáng)等人(2021)發(fā)現(xiàn)在IVR中加入力反饋技術(shù)交互可以顯著提高醫(yī)學(xué)生的結(jié)腸切除手術(shù)技能,而Webb等人(2022)發(fā)現(xiàn)在IVR中是否提供力反饋對(duì)生物膜復(fù)雜概念學(xué)習(xí)沒(méi)有顯著影響,Novak等人(2021)則發(fā)現(xiàn)觸摸實(shí)際物體對(duì)畜牧業(yè)和養(yǎng)殖業(yè)知識(shí)學(xué)習(xí)有負(fù)面影響。
知識(shí)可以分為程序性知識(shí)、事實(shí)性知識(shí)和概念性知識(shí),按照不同的教學(xué)目標(biāo)和活動(dòng)來(lái)組織內(nèi)容,會(huì)導(dǎo)致各類(lèi)知識(shí)在教學(xué)單元中被強(qiáng)調(diào)的程度有所差異,進(jìn)而影響評(píng)估方式和學(xué)習(xí)結(jié)果(Anderson et al.,2001)。因此,有必要對(duì)知識(shí)類(lèi)型進(jìn)行詳細(xì)分類(lèi),并深入探究觸覺(jué)反饋對(duì)各類(lèi)知識(shí)的具體影響。Radianti等人(2020)通過(guò)系統(tǒng)性文獻(xiàn)綜述發(fā)現(xiàn)IVR最常用于教授程序性知識(shí),翟雪松等人(2021)通過(guò)元分析進(jìn)一步發(fā)現(xiàn)在VR中加入觸覺(jué)反饋更適合技能訓(xùn)練。本研究推測(cè)IVR結(jié)合觸覺(jué)反饋在教授程序性知識(shí)方面可能具有顯著優(yōu)勢(shì)。由此提出假設(shè):
H2:IVR中加入觸覺(jué)反饋更能促進(jìn)學(xué)習(xí)者掌握程序性知識(shí)。
體驗(yàn)質(zhì)量(Quality of Experience)是指用戶(hù)在體驗(yàn)應(yīng)用程序或服務(wù)時(shí)感受到的愉悅或不愉悅程度(Mesfin et al.,2020),常測(cè)的指標(biāo)有相關(guān)(Relevance)、分心(Distraction)、一致(Consistency)、煩惱(Annoyance)、真實(shí)(Reality)、體驗(yàn)(Experience)和享受(Enjoyment)等(Yuan et al.,2015;Mesfin et al.,2020;Kani-Zabihi et al.,2021;Saleme et al.,2021)。通過(guò)測(cè)量體驗(yàn)質(zhì)量能夠更好地了解學(xué)習(xí)者的需求,識(shí)別所提供觸覺(jué)反饋的優(yōu)勢(shì)與不足,為后續(xù)優(yōu)化觸覺(jué)反饋呈現(xiàn)方式、提升學(xué)習(xí)體驗(yàn)提供依據(jù)。已有研究較多關(guān)注在IVR中加入觸覺(jué)反饋后用戶(hù)的體驗(yàn)質(zhì)量,亟需實(shí)證研究探索其對(duì)學(xué)習(xí)動(dòng)機(jī)和認(rèn)知負(fù)荷等重要因素的影響。
學(xué)習(xí)動(dòng)機(jī)能夠引發(fā)和維持學(xué)習(xí)者行為并引導(dǎo)其向一定目標(biāo)發(fā)展,提高學(xué)習(xí)動(dòng)機(jī)有利于促使學(xué)習(xí)者克服學(xué)習(xí)中遇到的問(wèn)題,進(jìn)而提高學(xué)習(xí)表現(xiàn)。ARCS動(dòng)機(jī)模型是學(xué)界廣泛認(rèn)可的動(dòng)機(jī)理論框架,認(rèn)為學(xué)習(xí)動(dòng)機(jī)的激發(fā)和保持依賴(lài)于注意(Attention)、相關(guān)(Relevance)、信心(Confidence)和滿(mǎn)意(Satisfaction)(Keller,1987)。根據(jù)ARCS動(dòng)機(jī)模型,在IVR中加入與場(chǎng)景相適配的觸覺(jué)反饋能夠創(chuàng)新教學(xué)載體,使學(xué)習(xí)體驗(yàn)變得真切、鮮活,容易激發(fā)學(xué)習(xí)者的好奇心和探索欲望,也更容易與現(xiàn)實(shí)情況聯(lián)系起來(lái),促進(jìn)知識(shí)的遷移。當(dāng)學(xué)習(xí)者通過(guò)觸覺(jué)反饋感知到虛擬環(huán)境中的物體并與之互動(dòng)時(shí),會(huì)產(chǎn)生對(duì)環(huán)境的掌控感和對(duì)自己能力的肯定,從而激發(fā)探索欲望。IVR還可以通過(guò)提供更加豐富和真實(shí)的體驗(yàn),提升學(xué)習(xí)者的學(xué)習(xí)滿(mǎn)意度,激發(fā)和保持其學(xué)習(xí)動(dòng)機(jī)。由此提出假設(shè):
H3:IVR中加入觸覺(jué)反饋可以提高學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)。
認(rèn)知負(fù)荷是指人類(lèi)能夠進(jìn)行信息加工與處理的信息總量,分為內(nèi)在認(rèn)知負(fù)荷、外在認(rèn)知負(fù)荷和相關(guān)認(rèn)知負(fù)荷(Sweller,1988;Paas et al.,2003)。根據(jù)認(rèn)知負(fù)荷理論,學(xué)習(xí)者在學(xué)習(xí)過(guò)程中存在認(rèn)知資源限制(王建中等,2013),觸覺(jué)反饋與學(xué)習(xí)內(nèi)容的相關(guān)性、觸覺(jué)反饋的呈現(xiàn)方式、觸覺(jué)反饋與其他感官的配合等都可能會(huì)影響認(rèn)知負(fù)荷,但是目前缺乏實(shí)證證據(jù)。IVR環(huán)境本身能提供多維感知和場(chǎng)景信息,再加入觸覺(jué)反饋可能會(huì)導(dǎo)致同一信息以不同形式對(duì)學(xué)習(xí)者產(chǎn)生重復(fù)刺激,學(xué)習(xí)者需要同時(shí)處理來(lái)自視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)等多個(gè)感知通道的信息,這可能會(huì)導(dǎo)致認(rèn)知負(fù)荷的增加(劉德建等,2016;Chandler et al.,1991;Magana et al.,2019;Garcia-Ruiz et al.,2021)?;诖?,本研究提出假設(shè):
H4:IVR中加入觸覺(jué)反饋會(huì)增加學(xué)習(xí)者的認(rèn)知負(fù)荷。
三、研究設(shè)計(jì)
1.研究對(duì)象
本次實(shí)驗(yàn)從華中師范大學(xué)招募了64名大學(xué)生(女性50名、男性14名),年齡范圍為18~26歲,平均年齡為22.7歲,專(zhuān)業(yè)背景多元,包括教育技術(shù)學(xué)、計(jì)算機(jī)科學(xué)與技術(shù)、心理學(xué)、體育學(xué)等18種。隨機(jī)將其分為實(shí)驗(yàn)組和對(duì)照組,每組32人。兩組都佩戴頭戴式VR設(shè)備(Oculus Rift)并使用手柄進(jìn)行交互,但實(shí)驗(yàn)組有觸覺(jué)反饋,對(duì)照組沒(méi)有觸覺(jué)反饋。所有學(xué)習(xí)者視力正?;虺C正正常,無(wú)聽(tīng)力或觸覺(jué)障礙,之前沒(méi)有參與過(guò)觸覺(jué)反饋相關(guān)實(shí)驗(yàn)。
實(shí)驗(yàn)方案獲得華中師范大學(xué)倫理審查委員會(huì)批準(zhǔn),批準(zhǔn)編號(hào)為CCUN-IRB-202211018。實(shí)驗(yàn)中提供的材料和設(shè)備都是安全的。學(xué)習(xí)者本著自愿原則參加實(shí)驗(yàn),在正式實(shí)驗(yàn)開(kāi)始前會(huì)聽(tīng)取約2分鐘的實(shí)驗(yàn)介紹,如果存在生理不適、明確表明不愿參加后續(xù)實(shí)驗(yàn)或者在實(shí)驗(yàn)過(guò)程中有任何不適,都可以自愿選擇退出實(shí)驗(yàn)而不受任何影響。所有學(xué)習(xí)者都在實(shí)驗(yàn)前簽署了《知情同意書(shū)》,并在實(shí)驗(yàn)后獲得了一定酬勞。
2.實(shí)驗(yàn)材料
研究團(tuán)隊(duì)基于Unity 3D開(kāi)發(fā)了IVR消防安全教育系統(tǒng),具體設(shè)計(jì)如表1所示。系統(tǒng)中既有知識(shí)講解又有操作模擬,以文字、語(yǔ)音、動(dòng)畫(huà)、3D模擬等多種形式呈現(xiàn)。學(xué)習(xí)內(nèi)容包括安全隱患科普、常見(jiàn)火災(zāi)介紹、常見(jiàn)滅火器介紹、滅火器模擬使用、安全隱患排查模擬體驗(yàn)和火災(zāi)逃生模擬體驗(yàn)。此外,還設(shè)置了音效交互,如當(dāng)學(xué)習(xí)者成功在五分鐘內(nèi)找出十處安全隱患時(shí),系統(tǒng)會(huì)自動(dòng)播放表示“祝賀”的音效;如果5分鐘后還未找出所有隱患,則呈現(xiàn)表示“遺憾”的音效。學(xué)習(xí)者佩戴頭戴式VR設(shè)備直接在VR場(chǎng)景中漫游,獲得完全沉浸式的體驗(yàn)。整個(gè)體驗(yàn)約15分鐘,以避免長(zhǎng)時(shí)間VR體驗(yàn)可能帶來(lái)的眩暈、惡心、嘔吐等癥狀。
觸覺(jué)反饋根據(jù)IVR消防安全教育系統(tǒng)中的操作模擬部分進(jìn)行設(shè)計(jì),包括力反饋和熱感。力反饋由手柄提供。熱感由紅外線(xiàn)燈提供,可以實(shí)現(xiàn)3秒迅速升溫和降溫,具備防燙保護(hù)、360°可移動(dòng)調(diào)節(jié)支架、3檔定時(shí)、9檔調(diào)溫等功能,完全滿(mǎn)足實(shí)驗(yàn)在特定時(shí)間快速升溫、降溫的要求。在學(xué)習(xí)者模擬使用滅火器時(shí)提供力反饋,在場(chǎng)景中出現(xiàn)火至火被學(xué)習(xí)者滅掉期間提供熱感。
3.實(shí)驗(yàn)流程
實(shí)驗(yàn)流程如圖1所示。實(shí)驗(yàn)在通風(fēng)良好的實(shí)驗(yàn)室中進(jìn)行,每名學(xué)習(xí)者都被分配了一個(gè)ID,以匿名收集數(shù)據(jù)。學(xué)習(xí)者首先完成基本信息調(diào)查和先驗(yàn)知識(shí)測(cè)試,然后了解大致的實(shí)驗(yàn)過(guò)程、注意事項(xiàng)和VR設(shè)備操作步驟。學(xué)會(huì)VR設(shè)備操作后,學(xué)習(xí)者在不知道具體實(shí)驗(yàn)內(nèi)容的情況下佩戴頭戴式VR設(shè)備進(jìn)行15~20分鐘的IVR消防安全知識(shí)學(xué)習(xí)。兩組唯一的區(qū)別就是實(shí)驗(yàn)控制條件,實(shí)驗(yàn)組在學(xué)習(xí)過(guò)程中有觸覺(jué)反饋,對(duì)照組沒(méi)有觸覺(jué)反饋。學(xué)習(xí)結(jié)束后,學(xué)習(xí)者完成認(rèn)知負(fù)荷問(wèn)卷、學(xué)習(xí)動(dòng)機(jī)問(wèn)卷、體驗(yàn)質(zhì)量問(wèn)卷和即時(shí)知識(shí)測(cè)試,時(shí)間約為25分鐘。一周后,再通過(guò)線(xiàn)上問(wèn)卷完成延時(shí)知識(shí)測(cè)試。
4.數(shù)據(jù)收集方式
本研究收集了學(xué)習(xí)者的人口統(tǒng)計(jì)學(xué)特征(性別、年齡、年級(jí)、專(zhuān)業(yè)、使用VR的經(jīng)驗(yàn)和消防安全培訓(xùn)經(jīng)驗(yàn))、學(xué)業(yè)成績(jī)、學(xué)習(xí)動(dòng)機(jī)、認(rèn)知負(fù)荷和體驗(yàn)質(zhì)量。學(xué)業(yè)成績(jī)通過(guò)知識(shí)測(cè)試題測(cè)量,學(xué)習(xí)動(dòng)機(jī)、認(rèn)知負(fù)荷和體驗(yàn)質(zhì)量通過(guò)問(wèn)卷測(cè)量。
知識(shí)測(cè)試包括先驗(yàn)知識(shí)測(cè)試、即時(shí)后測(cè)和實(shí)驗(yàn)完成一周后的延時(shí)后測(cè),用于測(cè)量學(xué)習(xí)者對(duì)消防安全知識(shí)的了解和掌握程度,是結(jié)合已有文獻(xiàn)中的消防安全測(cè)試題和本研究的學(xué)習(xí)內(nèi)容設(shè)計(jì)而成的,并根據(jù)Anderson等人(2001)對(duì)知識(shí)的描述和舉例將其分為程序性知識(shí)、事實(shí)性知識(shí)和概念性知識(shí)三類(lèi)。知識(shí)測(cè)試設(shè)計(jì)及其分類(lèi)得到了一位教育技術(shù)學(xué)專(zhuān)業(yè)教授的指導(dǎo),并由另外四位教育技術(shù)學(xué)專(zhuān)業(yè)教授修改,最后形成了研究人員和五位教授一致認(rèn)可的知識(shí)測(cè)試題及其分類(lèi)結(jié)果。知識(shí)測(cè)試包括7道單項(xiàng)選擇題(每題1分)、5道多項(xiàng)選擇題(每題2分)、9道判斷題(每題1分)和1道簡(jiǎn)答題(每題2分),總計(jì)28分。三類(lèi)知識(shí)測(cè)試的題型一樣,難度相似,并隨機(jī)調(diào)整了相同測(cè)試題目的呈現(xiàn)順序和方式。簡(jiǎn)答題的評(píng)分由兩名研究人員在接受教育技術(shù)學(xué)專(zhuān)業(yè)教授的培訓(xùn)后分別完成。斯皮爾曼(Spearman)相關(guān)分析結(jié)果顯示兩位評(píng)分者具有很高的一致性(r=0.988),故采用兩人評(píng)分的平均值作為最終分?jǐn)?shù)。
認(rèn)知負(fù)荷、學(xué)習(xí)動(dòng)機(jī)和體驗(yàn)質(zhì)量問(wèn)卷都采用5點(diǎn)李克特量表,從1(非常不符合)到5(非常符合)分別表示符合題項(xiàng)所描述的程度。學(xué)習(xí)動(dòng)機(jī)問(wèn)卷是根據(jù)Loorbach等人(2015)的測(cè)量方法修改而來(lái),包括注意、相關(guān)、信心和滿(mǎn)意四個(gè)維度,共12個(gè)題項(xiàng),例如“信息在頁(yè)面上的排列方式有助于吸引我的注意力”“這次安全學(xué)習(xí)的內(nèi)容對(duì)我很有用”“當(dāng)我在學(xué)習(xí)安全知識(shí)時(shí),我相信我能學(xué)會(huì)”“我非常喜歡這次安全學(xué)習(xí),我想更多地了解這個(gè)話(huà)題”。四個(gè)維度的克隆巴赫(Cronbach’s α)系數(shù)分別為0.82、0.85、0.82、0.85,表明問(wèn)卷的可信度較高。
認(rèn)知負(fù)荷問(wèn)卷是根據(jù)Klepsch等人(2017)的測(cè)量方法修改而來(lái),包括內(nèi)在認(rèn)知負(fù)荷、外在認(rèn)知負(fù)荷和相關(guān)認(rèn)知負(fù)荷三個(gè)維度,共8個(gè)題項(xiàng),例如“這項(xiàng)任務(wù)對(duì)我而言非常復(fù)雜”“這項(xiàng)任務(wù)的設(shè)計(jì)非常不方便我的學(xué)習(xí)”和“學(xué)習(xí)任務(wù)中包含支持我理解任務(wù)的要素”。三個(gè)維度的克隆巴赫系數(shù)分別為0.81、0.87、0.86,說(shuō)明問(wèn)卷的可信度較高。
體驗(yàn)質(zhì)量問(wèn)卷選取了已有量表中多次提到的相關(guān)、分心、一致、煩惱、真實(shí)、體驗(yàn)和享受等指標(biāo)(Yuan et al.,2015;Mesfin et al.,2020;Kani-Zabihi et al.,2021;Saleme et al.,2021),共一個(gè)維度,具體題項(xiàng)如表2所示。該維度的克隆巴赫系數(shù)為0.86,說(shuō)明具有較高的信度。參與者首先判斷自己在體驗(yàn)過(guò)程中是否感受到觸覺(jué)反饋,如果“是”則繼續(xù)回答剩下的問(wèn)題,如果“否”則跳過(guò)。
5.數(shù)據(jù)分析方法
由于數(shù)據(jù)不服從正態(tài)分布和方差齊性檢驗(yàn),使用的分析方法為曼—惠特尼U檢驗(yàn)(Mann-Whitney U Test,M-U檢驗(yàn))和威爾科克森符號(hào)秩檢驗(yàn)(Wilcoxon Signed-Rank Test,Wilcoxon符號(hào)秩檢驗(yàn))。前者用于分析兩組間的差異,后者用于分析同一組前后的差異。研究以p<0.05表示差異顯著,p<0.01表示差異很顯著,p<0.001表示差異極其顯著;還匯報(bào)了差異效應(yīng)量d值,d<0.2為小效應(yīng),0.2<d<0.8為中等效應(yīng),d>0.8為大效應(yīng)。
四、研究結(jié)果
1.學(xué)習(xí)者先驗(yàn)知識(shí)和經(jīng)驗(yàn)分析
M-U檢驗(yàn)結(jié)果顯示兩組學(xué)習(xí)者在年齡(p=0.752)、使用VR的經(jīng)驗(yàn)(p=0.477)、消防安全培訓(xùn)經(jīng)驗(yàn)(p=0.690)、先驗(yàn)知識(shí)總分(p=0.477)以及程序性知識(shí)(p=0.266)、事實(shí)性知識(shí)(p=0.962)和概念性知識(shí)(p=0.628)上都不存在顯著差異。此外,卡方檢驗(yàn)發(fā)現(xiàn)兩組學(xué)習(xí)者的性別分布也無(wú)顯著差異(p=0.226),對(duì)照組有23名女性、9名男性,實(shí)驗(yàn)組有27名女性、5名男性。
2.知識(shí)前后測(cè)差異性分析
對(duì)兩組的知識(shí)前后測(cè)得分分別進(jìn)行Wilcoxon符號(hào)秩檢驗(yàn),結(jié)果如圖2和圖3所示。經(jīng)過(guò)IVR消防安全知識(shí)學(xué)習(xí)后,兩個(gè)組的學(xué)習(xí)者在程序性知識(shí)得分、事實(shí)性知識(shí)得分、概念性知識(shí)得分和總分上都有顯著提高,并在一周后得以保持。而且,提供了觸覺(jué)反饋的實(shí)驗(yàn)組知識(shí)增益普遍更高。
3.兩組間的學(xué)業(yè)成績(jī)、學(xué)習(xí)動(dòng)機(jī)和認(rèn)知負(fù)荷對(duì)比分析
(1)學(xué)業(yè)成績(jī)
從表3可以看出,實(shí)驗(yàn)組在即時(shí)后測(cè)的程序性知識(shí)得分(Z=-2.305,p=0.021)和總分(Z=-2.335,p=0.020)、延時(shí)后測(cè)的程序性知識(shí)得分(Z=-3.039,p=0.002)和總分(Z=-2.365,p=0.018)上都顯著高于對(duì)照組。而且,兩組在即時(shí)后測(cè)的程序性知識(shí)得分(d=0.632)和總分(d=0.605)、延時(shí)后測(cè)的總分(d=0.657)上的差異達(dá)到中等效應(yīng),延時(shí)后測(cè)的程序性知識(shí)得分(d=0.818)達(dá)到大效應(yīng)。
(2)學(xué)習(xí)動(dòng)機(jī)
表4為實(shí)驗(yàn)組(有觸覺(jué)反饋)和對(duì)照組(無(wú)觸覺(jué)反饋)的學(xué)習(xí)動(dòng)機(jī)對(duì)比結(jié)果,可以看出平均值都大于4,表明學(xué)習(xí)動(dòng)機(jī)都很高,但是兩組之間的差異并不顯著。
(3)認(rèn)知負(fù)荷
認(rèn)知負(fù)荷的對(duì)比分析結(jié)果如表5所示,實(shí)驗(yàn)組的總認(rèn)知負(fù)荷顯著低于對(duì)照組(Z=-2.709,p=0.007),尤其是外在認(rèn)知負(fù)荷(Z=-2.567,p=0.010)。并且,兩組間的總認(rèn)知負(fù)荷(d=0.698)和外在認(rèn)知負(fù)荷(d=0.777)差異都達(dá)到中等效應(yīng)。
4.學(xué)習(xí)者的體驗(yàn)質(zhì)量分析
圖4展示了在IVR消防安全知識(shí)學(xué)習(xí)中加入觸覺(jué)反饋后學(xué)習(xí)者的體驗(yàn)質(zhì)量,除了分心,其他指標(biāo)平均值都在4.00以上。這說(shuō)明提供的觸覺(jué)反饋與學(xué)習(xí)內(nèi)容是相關(guān)的,并且在適當(dāng)?shù)臅r(shí)候提供觸覺(jué)反饋能夠增強(qiáng)真實(shí)感和體驗(yàn)感,學(xué)習(xí)者喜歡在IVR學(xué)習(xí)中加入觸覺(jué)反饋。
五、研究討論
1.IVR能夠促進(jìn)學(xué)習(xí)者的知識(shí)獲取和保留,加入觸覺(jué)反饋后促進(jìn)作用更明顯
研究結(jié)果表明,無(wú)論有無(wú)觸覺(jué)反饋,IVR都能夠顯著提高學(xué)習(xí)者的即時(shí)后測(cè)和延時(shí)后測(cè)成績(jī),即促進(jìn)學(xué)習(xí)者的知識(shí)獲取和保留,假設(shè)H1得到驗(yàn)證,與以往研究結(jié)果相似。例如Lovreglio等人(2021)發(fā)現(xiàn)接受過(guò)VR模擬滅火器操作培訓(xùn)的校內(nèi)人員在知識(shí)獲取能力和知識(shí)保留時(shí)長(zhǎng)上都有顯著提高。李欣等人(2019)探索了在IVR中加入可視化空間線(xiàn)索對(duì)初中生學(xué)習(xí)凸透鏡成像的影響,發(fā)現(xiàn)無(wú)論有無(wú)可視化空間線(xiàn)索,IVR都能促進(jìn)學(xué)生對(duì)凸透鏡成像規(guī)律的理解。究其原因,IVR通過(guò)模擬真實(shí)的火災(zāi)場(chǎng)景,創(chuàng)設(shè)出安全、可控的虛擬環(huán)境,并且允許學(xué)習(xí)者與環(huán)境進(jìn)行交互,預(yù)先了解火災(zāi)中相關(guān)行為可能產(chǎn)生的后果,本來(lái)就有助于學(xué)習(xí)者更好地體會(huì)和理解學(xué)習(xí)消防安全知識(shí)的重要性和緊急性,促進(jìn)信息加工和學(xué)習(xí)投入,從而保持甚至提高知識(shí)留存率(劉妍等,2021)。在IVR中加入觸覺(jué)反饋可以提供更豐富的感官體驗(yàn),進(jìn)一步增強(qiáng)沉浸感、交互性和真實(shí)性,進(jìn)而提高學(xué)習(xí)者的身體感知和參與度,促進(jìn)知識(shí)的習(xí)得和長(zhǎng)時(shí)記憶(Hutmacher et al.,2018)。
2.在IVR中加入觸覺(jué)反饋更能促進(jìn)學(xué)習(xí)者習(xí)得程序性知識(shí)
研究發(fā)現(xiàn),與事實(shí)性知識(shí)和概念性知識(shí)相比,觸覺(jué)反饋更有利于程序性知識(shí)的學(xué)習(xí),假設(shè)H2得到驗(yàn)證,與以往研究結(jié)果一致。具身認(rèn)知理論認(rèn)為,認(rèn)知活動(dòng)是與身體感覺(jué)和運(yùn)動(dòng)緊密相關(guān)的,觸覺(jué)作為感知環(huán)境信息的重要感官通道,可以通過(guò)對(duì)周?chē)h(huán)境中的物理實(shí)體進(jìn)行身體探索來(lái)補(bǔ)充視覺(jué)和聽(tīng)覺(jué),從而有助于形成豐富的心理表征(Novak et al.,2021)。因此在IVR中加入觸覺(jué)反饋后,學(xué)習(xí)者在虛擬環(huán)境中執(zhí)行操作時(shí)能夠感受到真實(shí)的力反饋和熱感,擴(kuò)展了學(xué)習(xí)者對(duì)于實(shí)踐內(nèi)容的感知形式和范圍,可以讓其充分調(diào)動(dòng)視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)的協(xié)同感知,彌補(bǔ)了傳統(tǒng)VR僅支持視聽(tīng)覺(jué)感知的不足(翟雪松等,2021;Hutmacher et al.,2018)。同時(shí),程序性知識(shí)的學(xué)習(xí)具有情境性和實(shí)踐性,關(guān)注的是技能的獲得,需要反復(fù)進(jìn)行操作實(shí)踐(李欣等,2019)。學(xué)習(xí)者在IVR中進(jìn)行實(shí)踐操作時(shí),IVR恰好為其提供了觸覺(jué)反饋,從而增強(qiáng)了情境的真實(shí)性和生動(dòng)性,有助于學(xué)習(xí)者形成身體記憶,促進(jìn)了學(xué)習(xí)者對(duì)程序性知識(shí)的理解與應(yīng)用。而事實(shí)性知識(shí)和概念性知識(shí)的教學(xué)以知識(shí)傳遞為主,教學(xué)設(shè)計(jì)的重點(diǎn)在于快速地傳遞盡可能多的知識(shí),呈現(xiàn)方式仍以文字、圖片和視頻為主,學(xué)習(xí)者本身的體驗(yàn)性和自主性較弱,因此在IVR中加入的觸覺(jué)反饋難以幫助學(xué)習(xí)者在事實(shí)性知識(shí)和概念性知識(shí)獲取中獲得即時(shí)反饋和主控感。
3.在IVR中加入觸覺(jué)反饋不能顯著提高學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)
研究發(fā)現(xiàn),在IVR消防安全知識(shí)學(xué)習(xí)中加入觸覺(jué)反饋并不能顯著提高學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī),假設(shè)H3未得到驗(yàn)證??赡艿脑蚴荌VR為學(xué)習(xí)者構(gòu)建了具有沉浸感、交互性、構(gòu)想性和智能化的學(xué)習(xí)環(huán)境,已經(jīng)足以有效激發(fā)學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī),兩個(gè)組的平均分都大于4.00可以證明這一點(diǎn)。IVR相關(guān)的研究也提供了證據(jù)。例如Natale等人(2020)在對(duì)IVR應(yīng)用于K-12和高等教育領(lǐng)域中的18項(xiàng)實(shí)證研究進(jìn)行系統(tǒng)分析后發(fā)現(xiàn),IVR能夠激發(fā)學(xué)生的內(nèi)在學(xué)習(xí)動(dòng)機(jī)和學(xué)習(xí)興趣;李文昊等人(2023)發(fā)現(xiàn)IVR相較于DVR更能增強(qiáng)學(xué)習(xí)者在學(xué)習(xí)過(guò)程中的學(xué)習(xí)動(dòng)機(jī)。因此,在IVR中添加觸覺(jué)反饋對(duì)于提高學(xué)習(xí)動(dòng)機(jī)的作用并不顯著,只是“錦上添花”。未來(lái)的研究可以進(jìn)一步探索學(xué)習(xí)動(dòng)機(jī)的影響因素或者不同情境下學(xué)習(xí)動(dòng)機(jī)的變化,深入分析觸覺(jué)反饋對(duì)學(xué)習(xí)動(dòng)機(jī)的影響。
4.在IVR中加入觸覺(jué)反饋降低了學(xué)習(xí)者的認(rèn)知負(fù)荷
研究發(fā)現(xiàn),在IVR中加入觸覺(jué)反饋不僅沒(méi)有造成認(rèn)知過(guò)載,還降低了學(xué)習(xí)者的認(rèn)知負(fù)荷,假設(shè)H4未得到驗(yàn)證,與以往研究的推測(cè)不同。原因可能是在IVR中加入觸覺(jué)反饋提供了豐富的感覺(jué)刺激、信息和互動(dòng),提高了沉浸感、真實(shí)感和反饋準(zhǔn)確性,促進(jìn)了學(xué)習(xí)者對(duì)虛擬環(huán)境中的事件和交互的感知與理解,引起了學(xué)習(xí)者的興趣和情感共鳴,從而有效地將學(xué)習(xí)者的認(rèn)知活動(dòng)嵌入到環(huán)境中,減輕了工作記憶的認(rèn)知負(fù)荷(Pouw et al.,2014;Novak et al.,2021)。此外,觸覺(jué)通道也可能會(huì)作為一種感官通道,為學(xué)習(xí)者提供額外的編碼方式,這樣學(xué)習(xí)者就能通過(guò)視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)等多個(gè)通道并行處理信息(Webb et al.,2022),從而減少單個(gè)通道所需的處理能力,進(jìn)而減輕學(xué)習(xí)者的認(rèn)知負(fù)荷(Mayer,2009)。
六、研究啟示
本研究揭示了在視聽(tīng)感官反饋基礎(chǔ)上加入觸覺(jué)反饋后對(duì)學(xué)習(xí)的有利影響,為具身認(rèn)知理論、認(rèn)知負(fù)荷理論、多媒體學(xué)習(xí)相關(guān)的理論提供了實(shí)證支持和新的啟示,尤其是為觸覺(jué)通道作為一種額外的輸入方式和新的媒體元素與視聽(tīng)通道的整合提供了參考,并為教學(xué)實(shí)踐與教育研究提供了啟示。
在教學(xué)實(shí)踐方面:(1)積極采納并融合觸覺(jué)反饋于學(xué)科教學(xué)中。觸覺(jué)反饋的加入可以幫助學(xué)生更好地利用和整合多種感官通道,增強(qiáng)對(duì)實(shí)際操作流程的理解,提高學(xué)習(xí)效果和保留效果。例如,在開(kāi)展科學(xué)實(shí)驗(yàn)、技術(shù)技能或程序設(shè)計(jì)等具有高度操作性和實(shí)踐性的課程教學(xué)時(shí),加入觸覺(jué)反饋能夠讓學(xué)生獲得更加直觀(guān)和真實(shí)的體驗(yàn),加深對(duì)知識(shí)的理解與記憶。(2)探索IVR結(jié)合觸覺(jué)反饋的新教學(xué)方法。IVR結(jié)合觸覺(jué)反饋可以為學(xué)生提供身臨其境的學(xué)習(xí)體驗(yàn),教師可以利用這一優(yōu)勢(shì),設(shè)計(jì)多樣化的學(xué)習(xí)活動(dòng)和模擬真實(shí)場(chǎng)景,并通過(guò)觸覺(jué)反饋來(lái)增強(qiáng)學(xué)生對(duì)情境的認(rèn)知能力和即時(shí)反應(yīng)能力,讓學(xué)生在“做中學(xué)”,激發(fā)學(xué)生的興趣,提高其參與度。
在教育研究方面:(1)進(jìn)一步探索觸覺(jué)反饋在IVR學(xué)習(xí)中的作用。雖然研究結(jié)果表明加入觸覺(jué)反饋有助于增強(qiáng)學(xué)習(xí)體驗(yàn)、降低認(rèn)知負(fù)荷和促進(jìn)知識(shí)習(xí)得,但仍需進(jìn)一步研究觸覺(jué)反饋對(duì)其他方面的影響,如情緒、存在感和自我效能等,還應(yīng)深入研究觸覺(jué)反饋的作用機(jī)制,以便更好地理解其在學(xué)習(xí)過(guò)程中的價(jià)值和潛力。(2)拓展不同觸覺(jué)反饋形式在各類(lèi)學(xué)習(xí)場(chǎng)景下的創(chuàng)新應(yīng)用。觸覺(jué)還可以通過(guò)更多形式進(jìn)行反饋,如振動(dòng)、濕度、硬度、風(fēng)力等,研究者可以進(jìn)一步探索不同觸覺(jué)反饋形式在不同學(xué)習(xí)場(chǎng)景下的效果,并根據(jù)具體需求選擇最適合的形式,這將有助于優(yōu)化IVR學(xué)習(xí)環(huán)境中的觸覺(jué)反饋設(shè)計(jì)。(3)分析學(xué)習(xí)者在觸覺(jué)反饋上的差異和偏好。不同個(gè)體對(duì)觸覺(jué)反饋的感知和反應(yīng)可能存在差異,研究者可以將年齡、性別、文化背景、感官偏好等納入考察因素,以便更好地了解觸覺(jué)反饋對(duì)不同人群的影響,并為他們提供個(gè)性化的學(xué)習(xí)體驗(yàn)。
參考文獻(xiàn):
[1]艾興,李葦(2021).基于具身認(rèn)知的沉浸式教學(xué):理論架構(gòu)、本質(zhì)特征與應(yīng)用探索[J].遠(yuǎn)程教育雜志,39(5):55-65.
[2]陳醒,王國(guó)光(2019).國(guó)際具身學(xué)習(xí)的研究歷程、理論發(fā)展與技術(shù)轉(zhuǎn)向[J].現(xiàn)代遠(yuǎn)程教育研究,31(6):78-88,111.
[3]高楠,劉革平,謝濤等(2023).沉浸式虛擬現(xiàn)實(shí)對(duì)學(xué)習(xí)者知識(shí)遷移效果及效率的影響研究[J].遠(yuǎn)程教育雜志,41(1):91-101.
[4]李文昊,錢(qián)莉,馮秦娜等(2023).增強(qiáng)沉浸感能提高學(xué)習(xí)成效嗎?——沉浸感對(duì)學(xué)習(xí)結(jié)果的影響及作用機(jī)制[J].電化教育研究,44(12):55-63.
[5]李欣,沈夏林,黃曉等(2019).沉浸式VR可視化空間線(xiàn)索促進(jìn)程序性知識(shí)學(xué)習(xí)的實(shí)證研究[J].電化教育研究,40(12):64-71.
[6]劉德建,劉曉琳,張琰等(2016).虛擬現(xiàn)實(shí)技術(shù)教育應(yīng)用的潛力、進(jìn)展與挑戰(zhàn)[J].開(kāi)放教育研究,22(4):25-31.
[7]劉清堂,馬晶晶,余舒凡等(2021).虛擬實(shí)驗(yàn)對(duì)學(xué)生學(xué)習(xí)效果的影響研究——基于30項(xiàng)實(shí)驗(yàn)與準(zhǔn)實(shí)驗(yàn)研究的元分析[J].中國(guó)遠(yuǎn)程教育,(1):8-16,26,76.
[8]劉妍,胡碧皓,尹歡歡等(2021).虛擬現(xiàn)實(shí)(VR)沉浸式環(huán)境如何實(shí)現(xiàn)深度取向的學(xué)習(xí)投入?——復(fù)雜任務(wù)情境中的學(xué)習(xí)效果研究[J].遠(yuǎn)程教育雜志,39(4):72-82.
[9]毛耀忠,劉旭東,宋曉琴(2023).沉浸式虛擬現(xiàn)實(shí)對(duì)學(xué)生學(xué)習(xí)績(jī)效的影響——基于54項(xiàng)實(shí)驗(yàn)和準(zhǔn)實(shí)驗(yàn)研究的元分析[J].現(xiàn)代遠(yuǎn)程教育研究,35(1):93-102.
[10]沈陽(yáng),紀(jì)海林,葉心怡等(2023).虛擬現(xiàn)實(shí)沉浸式學(xué)習(xí)中的人機(jī)交互技術(shù)研究——以K12物理實(shí)驗(yàn)教學(xué)為例[J].電化教育研究,44(10):87-94,120.
[11]沈陽(yáng),逯行,曾海軍(2020).虛擬現(xiàn)實(shí):教育技術(shù)發(fā)展的新篇章——訪(fǎng)中國(guó)工程院院士趙沁平教授[J].電化教育研究, 41(1):5-9.
[12]沈陽(yáng),王兆雪,潘俊君等(2021).虛擬現(xiàn)實(shí)學(xué)習(xí)環(huán)境下力反饋交互促進(jìn)技能習(xí)得的實(shí)驗(yàn)研究[J].電化教育研究,42(9):76-83.
[13]王國(guó)華,宋佳音,田梁浩等(2023).虛擬現(xiàn)實(shí)技術(shù)有助于降低學(xué)習(xí)者的認(rèn)知負(fù)荷?——基于23項(xiàng)實(shí)驗(yàn)與準(zhǔn)實(shí)驗(yàn)研究的元分析[J].開(kāi)放教育研究,29(4):110-120.
[14]王浩,唐愛(ài)民(2023).虛擬現(xiàn)實(shí)更能引發(fā)學(xué)生共情?——基于19項(xiàng)隨機(jī)對(duì)照實(shí)驗(yàn)的元分析[J].開(kāi)放教育研究,29(1):60-69.
[15]王建中,曾娜,鄭旭東(2013).理查德·梅耶多媒體學(xué)習(xí)的理論基礎(chǔ)[J].現(xiàn)代遠(yuǎn)程教育研究,25(2):15-24.
[16]王思怡(2017).多感官在博物館展覽中的認(rèn)知評(píng)述和傳播效果探析——以臺(tái)州博物館民俗展廳“海濱之民”多感官展項(xiàng)為例[J].科普研究,12(3):46-57,73,107.
[17]楊彥軍,張佳慧(2021).沉浸式虛實(shí)融合環(huán)境中具身學(xué)習(xí)活動(dòng)設(shè)計(jì)框架[J].現(xiàn)代遠(yuǎn)程教育研究,33(4):63-73.
[18]葉浩生(2010).具身認(rèn)知:認(rèn)知心理學(xué)的新取向[J].心理科學(xué)進(jìn)展,18(5):705-710.
[19]翟雪松,孫玉璉,沈陽(yáng)等(2021).“虛擬現(xiàn)實(shí)+觸覺(jué)反饋”對(duì)學(xué)習(xí)效率的促進(jìn)機(jī)制研究——基于2010-2021年的元分析[J].遠(yuǎn)程教育雜志,39(5):24-33.
[20]趙瑞斌,張燕玲,范文翔等(2021).智能技術(shù)支持下具身學(xué)習(xí)的特征、形態(tài)及應(yīng)用[J].現(xiàn)代遠(yuǎn)程教育研究,33(6):55-63,83.
[21]Anastopoulou, S., Sharples, M., & Baber, C. (2011). An Evaluation of Multimodal Interactions with Technology While Learning Science Concepts[J]. British Journal of Educational Technology, 42(2):266-290.
[22]Anderson, L. W., Krathwohl, D. R., & Airasian, P. W. et al. (2001). A Taxonomy for Learning, Teaching and Assessing: A Revision of Bloom’s Taxonomy of Educational Objectives[M]. New York: Addison Wesley Longman:201-207.
[23]Chandler, P., & Sweller, J. (1991). Cognitive Load Theory and the Format of Instruction[J]. Cognition and Instruction, 8(4):293-332.
[24]Chen, B., Wang, Y., & Wang, L. (2022). The Effects of Virtual Reality-Assisted Language Learning: A Meta-Analysis[J]. Sustainability, 14(6):3147-3164.
[25]Coban, M., Bolat, Y. I., & Goksu, I. (2022). The Potential of Immersive Virtual Reality to Enhance Learning: A Meta-Analysis[J]. Educational Research Review, 36:100452.
[26]De Jong, T., Linn, M. C., & Zacharia, Z. C. (2013). Physical and Virtual Laboratories in Science and Engineering Education[J]. Science, 340(6130):305-308.
[27]Edwards, B. I., Bielawski, K. S., & Prada, R. et al. (2019). Haptic Virtual Reality and Immersive Learning for Enhanced Organic Chemistry Instruction[J]. Virtual Reality, 23(4):363-373.
[28]Garcia-Ruiz, M. A., Kapralos, B., & Rebolledo-Mendez, G. (2021). An Overview of Olfactory Displays in Education and Training[J]. Multimodal Technologies and Interaction, 5(10): 64-82.
[29]Hutmacher, F., & Kuhbandner, C. (2018). Long-Term Memory for Haptically Explored Objects: Fidelity, Durability, Incidental Encoding, and Cross-Modal Transfer[J]. Psychological Science, 29(12):2031-2038.
[30]Jung, E. Y., Park, D. K., & Lee, Y. H. et al. (2012). Evaluation of Practical Exercises Using an Intravenous Simulator Incorporating Virtual Reality and Haptics Device Technologies[J]. Nurse Education Today, 32(4):458-463.
[31]Kani-Zabihi, E., Hussain, N., & Mesfin, G. et al. (2021). On the Influence of Individual Differences in Cross-Modal Mulsemedia QoE[J]. Multimedia Tools and Applications, 80:2377-2394.
[32]Kavanagh, S., Luxton-Reilly, A., & Wuensche, B. et al. (2017). A Systematic Review of Virtual Reality in Education[J]. Themes in Science and Technology Education, 10(2):85-119.
[33]Keller, J. M. (1987). Development and Use of the ARCS Model of Instructional Design[J]. Journal of Instructional Development, 10(3):2-10.
[34]Klepsch, M., Schmitz, F., & Seufert, T. (2017). Development and Validation of Two Instruments Measuring Intrinsic, Extraneous, and Germane Cognitive Load[J]. Frontiers in Psychology, 16(8):1997-2014.
[35]Liu, R., Wang, L., & Lei, J. et al. (2020). Effects of an Immersive Virtual Reality-Based Classroom on Students’ Learning Performance in Science Lessons[J]. British Journal of Educational Technology, 51(6):2034-2049.
[36]Loorbach, N., Peters, O., & Karreman, J. et al. (2015). Validation of the Instructional Materials Motivation Survey (IMMS) in a Self-Directed Instructional Setting Aimed at Working with Technology[J]. British Journal of Educational Technology, 46(1):204-218.
[37]Lovreglio, R., Duan, X., & Rahouti, A. et al. (2021). Comparing the Effectiveness of Fire Extinguisher Virtual Reality and Video Training[J]. Virtual Reality, 25(1):133-145.
[38]Luo, H., Yang, T., & Kwon, S. et al. (2021). Performing Versus Observing: Investigating the Effectiveness of Group Debriefing in a VR-Based Safety Education Program[J]. Computers & Education, 175:104316.
[39]Magana, A. J., Serrano, M. I., & Rebello, N. S. (2019). A Sequenced Multimodal Learning Approach to Support Students’Development of Conceptual Learning[J]. Journal of Computer Assisted Learning, 35(4):516-528.
[40]Makransky, G., & Petersen, G. B. (2021). The Cognitive Affective Model of Immersive Learning (CAMIL): A Theoretical Research-Based Model of Learning in Immersive Virtual Reality[J]. Educational Psychology Review, 33(3):937-958.
[41]Mansor, N. N., Jamaluddin, M. H., & Shukor, A. Z. (2017). Concept and Application of Virtual Reality Haptic Technology: A Review[J]. Journal of Theoretical & Applied Information Technology, 95(14):3320-3336.
[42]Mayer, R. E. (2009). Multimedia Learning[M]. New York: Cambridge University Press:85-139.
[43]Mesfin, G., Hussain, N., & Kani-Zabihi, E. et al. (2020). QoE of Cross-Modally Mapped Mulsemedia: An Assessment Using Eye Gaze and Heart Rate[J]. Multimedia Tools and Applications, 79:7987-8009.
[44]Morélot, S., Garrigou, A., & Dedieu, J. et al. (2021). Virtual Reality for Fire Safety Training: Influence of Immersion and Sense of Presence on Conceptual and Procedural Acquisition[J]. Computers & Education, 166:104145.
[45]Natale, A. F. D., Repetto, C., & Riva, G. et al. (2020). Immersive Virtual Reality in K-12 and Higher Education:A 10-Year Systematic Review of Empirical Research[J]. British Journal of Educational Technology, 51(6):2006-2033.
[46]Novak, M., & Schwan, S. (2021). Does Touching Real Objects Affect Learning?[J]. Educational Psychology Review, 33:637-665.
[47]Paas, F., Renkl, A., & Sweller, J. (2003). Cognitive Load Theory and Instructional Design: Recent Developments[J]. Educational Psychologist, 38(1):1-4.
[48]Pouw, W. T. J. L., Van Gog, T., & Paas, F. (2014). An Embedded and Embodied Cognition Review of Instructional Manipulatives[J]. Educational Psychology Review, 26:51-72.
[49]Radianti, J., Majchrzak, T. A., & Fromm, J. et al. (2020). A Systematic Review of Immersive Virtual Reality Applications for Higher Education: Design Elements, Lessons Learned, and Research Agenda[J]. Computers & Education, 147:103778.
[50]Saleme, E. B., Covaci, A., & Assres, G. et al. (2021). The Influence of Human Factors on 360° Mulsemedia QoE[J]. International Journal of Human-Computer Studies, 146:102550.
[51]Sweller, J. (1988). Cognitive Load During Problem Solving: Effects on Learning[J]. Cognitive Science, 12(2):257-285.
[52]Tortell, R., Luigi, D. P., & Dozois, A. et al. (2007). The Effects of Scent and Game Play Experience on Memory of a Virtual Environment[J]. Virtual Reality, 11:61-68.
[53]Webb, M., Tracey, M., & Harwin, W. et al. (2022). Haptic-Enabled Collaborative Learning in Virtual Reality for Schools[J]. Education and Information Technologies, 27:937-960.
[54]Wu, B., Yu, X., & Gu, X. (2020). Effectiveness of Immersive Virtual Reality Using Head-Mounted Displays on Learning Performance: A Meta-Analysis[J]. British Journal of Educational Technology, 51(6):1991-2005.
[55]Xie, B., Liu, H., & Alghofaili, R. et al. (2021). A Review on Virtual Reality Skill Training Applications[J]. Frontiers in Virtual Reality, 2:645153.
[56]Yuan, Z., Ghinea, G., & Muntean, G. (2015). Beyond Multimedia Adaptation: Quality of Experience-Aware Multi-Sensorial Media Delivery[J]. IEEE Transactions on Multimedia, 17(1):104-117.
[57]Zaragoza-Siqueiros, J., Medellin-Castillo, H. I., & de la Garza-Camargo, H. et al. (2019). An Integrated Haptic-Enabled Virtual Reality System for Orthognathic Surgery Planning[J]. Computer Methods in Biomechanics and Biomedical Engineering, 22(5):499-517.
收稿日期 2024-01-03 責(zé)任編輯 楊銳
The Impact of Incorporating Haptic Feedback in Immersive Virtual Reality on Learning Outcomes: Evidence from Fire Safety Education
LI Wenhao, QIAN Li, WANG Xiaohan
Abstract: With the rapid proliferation of virtual reality hardware and the reduction in usage costs, the application of immersive virtual reality (IVR) in education has gradually increased. However, most research has focused on visual and auditory experiences, lacking evidence on the effectiveness of incorporating haptic feedback in enhancing learning outcomes. Fire safety education serves as a typical application scenario for IVR, so this study explores the impact of adding haptic feedback (force feedback and thermal sensation) in an IVR fire safety education system on learners’ academic achievement, learning motivation, and cognitive load, providing a basis for optimizing IVR instructional application. The results of a controlled experiment based on this context indicate that IVR significantly promotes learners’ acquisition of procedural knowledge, factual knowledge and conceptual knowledge, with a higher knowledge gain when haptic feedback is included, particularly benefiting the acquisition of procedural knowledge. The integration of haptic feedback significantly reduces learners’ cognitive load, especially external cognitive load, although its impact on learners’ motivation is not significant. The research findings provide new evidence for the integration of haptic channels in multimedia learning, expanding the existing cognitive theoretical framework of multimedia learning, and aiding in the design, development and application of IVR educational resources.
Keywords: Immersive Virtual Reality; Human-Computer Interaction; Haptic Feedback; Fire Safety Education; Controlled Experiment