劉革平　高楠

摘要：手勢交互作為一種理想的虛擬現(xiàn)實交互技術(shù)，其在虛擬實驗中的應(yīng)用能夠很好地滿足學(xué)習(xí)者多樣化的交互需求并提升交互體驗。然而，當(dāng)前關(guān)于手勢交互虛擬實驗的研究大多聚焦于提高手勢識別的準(zhǔn)確率、設(shè)計開發(fā)不同領(lǐng)域的虛擬實驗應(yīng)用等方面，而對學(xué)習(xí)者在虛擬實驗中的學(xué)習(xí)體驗并未進(jìn)行深入地研究。為了探索手勢交互虛擬實驗對學(xué)習(xí)者學(xué)習(xí)體驗的影響機(jī)制，利用設(shè)計開發(fā)的基于Leap Motion的“計算機(jī)組成原理”虛擬實驗，采用混合研究范式對學(xué)習(xí)者的沉浸感、學(xué)習(xí)動機(jī)和態(tài)度分別進(jìn)行了測量與分析。結(jié)果表明：在手勢交互虛擬實驗中，學(xué)習(xí)動機(jī)作為中間因素會影響學(xué)習(xí)者的學(xué)習(xí)體驗;身臨其境的感覺和自然豐富的交互體驗?zāi)軌蛴行г鰪?qiáng)學(xué)習(xí)者的物理沉浸，進(jìn)而提高學(xué)習(xí)者的學(xué)習(xí)動機(jī)，改善學(xué)習(xí)者的情感體驗并增強(qiáng)其使用意愿，由此來促進(jìn)學(xué)習(xí)者學(xué)習(xí)體驗的提升。從改進(jìn)實踐的層面來看，未來應(yīng)合理設(shè)計交互手勢，創(chuàng)設(shè)高度沉浸的實驗環(huán)境，優(yōu)化虛擬實驗任務(wù)設(shè)計，注重對學(xué)習(xí)反思的引導(dǎo)，以不斷提升學(xué)習(xí)者在心理沉浸和學(xué)習(xí)效果方面的表現(xiàn)。

關(guān)鍵詞：手勢交互技術(shù);虛擬實驗;學(xué)習(xí)體驗;影響機(jī)制;學(xué)習(xí)動機(jī);沉浸感

中圖分類號：G434? ?文獻(xiàn)標(biāo)識碼：A? ? 文章編號：1009-5195（2021）02-0022-12? doi10.3969/j.issn.1009-5195.2021.02.003

作者簡介：劉革平，博士，教授，博士生導(dǎo)師，西南大學(xué)西南民族教育與心理研究中心（重慶 400715）;高楠，博士研究生，西南大學(xué)西南民族教育與心理研究中心（重慶 400715）。

一、研究背景

虛擬實驗作為智慧學(xué)習(xí)環(huán)境的重要組成部分，在提高實驗教學(xué)質(zhì)量和培養(yǎng)創(chuàng)新人才方面發(fā)揮著重要作用。虛擬實驗所具有的諸多優(yōu)點(diǎn)如高仿真性、開放共享性、可擴(kuò)展性、重復(fù)使用性以及高安全性等（楊雪等，2008），可以補(bǔ)充和延伸課堂教學(xué)（王濟(jì)軍等，2011），支持混合學(xué)習(xí)（王阿習(xí)等，2013）以及彌補(bǔ)遠(yuǎn)程教育中“實驗”的缺失（趙同剛等，2015）。一直以來，虛擬實驗在教育教學(xué)中的應(yīng)用都受到國家的高度重視。中共中央辦公廳、國務(wù)院辦公廳印發(fā)的《加快推進(jìn)教育現(xiàn)代化實施方案（2018-2022年）》提出“加快推進(jìn)智慧教育創(chuàng)新發(fā)展，設(shè)立‘智慧教育示范區(qū)，開展國家虛擬仿真實驗教學(xué)項目等建設(shè)”。《教育信息化2.0行動計劃》中也明確提出“加強(qiáng)職業(yè)院校、高等學(xué)校虛擬仿真實訓(xùn)教學(xué)環(huán)境建設(shè)，服務(wù)信息化教學(xué)需要”。我國教育部于2019年11月發(fā)布的《教育部關(guān)于加強(qiáng)和改進(jìn)中小學(xué)實驗教學(xué)的意見》提出“對于因受時空限制而在現(xiàn)實世界中無法觀察和控制的事物和現(xiàn)象……可用增強(qiáng)現(xiàn)實、虛擬現(xiàn)實等技術(shù)手段呈現(xiàn)”。由此可見，加快推進(jìn)虛擬實驗在各級各類教育中的應(yīng)用是當(dāng)前教育教學(xué)改革的重要任務(wù)。

目前應(yīng)用最為廣泛的虛擬實驗多為基于桌面式的“非沉浸式”虛擬實驗，這類虛擬實驗大多采用基于WIMP（Windows、Icon、Menu、PointClick）的交互范式。這種范式存在的主要問題是交互過程中輸入的帶寬太窄，僅支持精確的鼠標(biāo)點(diǎn)選和離散的按鍵輸入，“二維性”難以操控三維虛擬對象和完成三維交互任務(wù)（張鳳軍等，2016）。因此，采用鼠標(biāo)鍵盤交互的虛擬實驗中學(xué)習(xí)者的學(xué)習(xí)體驗不佳，無法發(fā)揮出虛擬現(xiàn)實系統(tǒng)的沉浸性、交互性和構(gòu)想性等優(yōu)勢。手勢交互作為一種重要的自然交互方式，它的出現(xiàn)在一定程度上打破了WIMP交互范式的限制，在形式上和空間上極大改善了交互體驗（廖宏建等，2013），不僅能提升交互的沉浸感和效率，而且也能增加交互的真實感。然而，當(dāng)前關(guān)于手勢交互虛擬實驗的諸多研究大多聚焦于提高手勢識別的準(zhǔn)確率（王賦攀等，2018;楊賢等，2019;Raees et al.，2019）、設(shè)計開發(fā)不同領(lǐng)域的虛擬實驗應(yīng)用（吳福理等，2016;Wu & Wang et al.，2019;蔣夢菲等，2020），而對學(xué)習(xí)者在虛擬實驗中的學(xué)習(xí)體驗僅籠統(tǒng)地描述為“增強(qiáng)用戶體驗”（袁偉等，2018），“提高學(xué)習(xí)興趣”（楊魯義，2019），“激發(fā)學(xué)習(xí)動機(jī)”（杜寶江等，2016）等，并未進(jìn)行深入的研究。鑒于此，本研究利用設(shè)計開發(fā)的“計算機(jī)組成原理”手勢交互虛擬實驗，從定性與定量相結(jié)合的角度探究基于手勢交互技術(shù)的虛擬實驗對學(xué)習(xí)者學(xué)習(xí)體驗的影響，以期為優(yōu)化手勢交互虛擬實驗設(shè)計、提升學(xué)習(xí)者學(xué)習(xí)體驗提供參考和借鑒。

二、文獻(xiàn)綜述與研究問題

1.手勢交互技術(shù)在虛擬實驗中的發(fā)展

隨著基于計算機(jī)視覺（Molina et al.，2011）、超聲波（楊曉東等，2015）、肌電識別（Xu et al.，2019）等技術(shù)的發(fā)展，手勢交互技術(shù)正逐漸走向?qū)嶋H應(yīng)用。手勢交互是指用戶自然地利用手指、手腕和手臂動作表達(dá)其交互意圖，主要包括握拳、揮手、點(diǎn)指、手掌轉(zhuǎn)動等（Cabreira et al.，2015），其本質(zhì)是一種非接觸式的自然人機(jī)交互方式。相較于其他交互方式，手勢交互具有更廣闊的交互空間、更高的靈活度和更加人性化等特點(diǎn)（于漢超等，2017）。雖然手勢交互技術(shù)最早被應(yīng)用于游戲和移動設(shè)備中，但其巨大的教育應(yīng)用潛力引起了教育工作者的關(guān)注。Johnson認(rèn)為，手勢交互技術(shù)將會對教育產(chǎn)生重大影響（Johnson et al.，2011）。近年來，有關(guān)手勢交互教育應(yīng)用的研究不斷增多且分布在不同領(lǐng)域，例如智能教學(xué)系統(tǒng)（劉勉等，2019）、教育游戲（Navarro-Newball et al.，2015）、虛擬實驗（Wu & Wong? et al.，2019）等，其中以手勢交互虛擬實驗的研究最為廣泛。Nainggolan設(shè)計開發(fā)了虛擬人體骨骼實驗系統(tǒng)，當(dāng)學(xué)習(xí)者使用右手點(diǎn)擊虛擬骨骼物體時，系統(tǒng)會顯示當(dāng)前骨骼的名稱。而且學(xué)習(xí)者可以利用左手的手勢控制攝像機(jī)的移動和放大縮小，如握拳向上移動表示放大（Nainggolan et al.，2016）。張曉蓉設(shè)計開發(fā)了基于手勢交互的沉浸式虛擬化學(xué)實驗系統(tǒng)，學(xué)習(xí)者需要佩戴上Oculus頭戴顯示器，使用Leap Motion作為手勢輸入設(shè)備。在實驗過程中，學(xué)習(xí)者可以依據(jù)實際操作方式隨意抓取、拖放實驗儀器，完成實驗操作（張曉蓉等，2018）。

當(dāng)前手勢交互技術(shù)在虛擬實驗中的應(yīng)用與發(fā)展十分迅速，其主要原因在于手勢交互技術(shù)具有其他交互方式不具有的獨(dú)特優(yōu)勢：（1）改善交互體驗。手勢交互不需要借助鼠標(biāo)鍵盤、手柄等輸入設(shè)備，允許學(xué)習(xí)者以自然的方式與虛擬物體進(jìn)行交互，實現(xiàn)虛擬世界與真實世界之間的無縫連接（Lee? & Rhee et al.，2010）。（2）降低認(rèn)知負(fù)荷。手勢交互不需要學(xué)習(xí)者有意識地關(guān)注交互過程（Deller et al.，2006），其操作是基于學(xué)習(xí)者的日常生活經(jīng)驗（Vuletic et al.，2019），相較于傳統(tǒng)交互方式更加直觀，從而大大降低了人機(jī)交互的復(fù)雜性。（3）促進(jìn)具身認(rèn)知。手勢交互為學(xué)習(xí)者的具身參與和交互提供了技術(shù)支撐（Sheu et al.，2014），它可以讓學(xué)習(xí)者通過身體或肢體的運(yùn)動與虛擬世界中的物體進(jìn)行交互，實現(xiàn)從離身到具身（Johnson-Glenberg，2018）。已有研究發(fā)現(xiàn)，基于手勢交互技術(shù)的虛擬實驗有助于學(xué)習(xí)者獲取知識、掌握動作技能等。Wolski發(fā)現(xiàn)，與教師演示、視頻教學(xué)相比，學(xué)習(xí)者利用手勢交互虛擬實驗學(xué)習(xí)效果最好，尤其是學(xué)習(xí)遷移能力和問題解決能力（Wolski et al.，2017）。同樣，在虛擬學(xué)習(xí)環(huán)境中，手勢交互也能夠提高學(xué)習(xí)者的學(xué)習(xí)效果和運(yùn)動技能（Hsiao et al.，2017）。之所以會產(chǎn)生這樣的效果，可能是因為手勢或身體運(yùn)動會激活負(fù)責(zé)認(rèn)知過程的大腦區(qū)域（Macedonia et al.，2010），促進(jìn)其對科學(xué)概念的深度理解（黃紅濤等，2018）。

2.手勢交互虛擬實驗中的學(xué)習(xí)體驗研究

隨著研究的深入，研究者們逐漸開始關(guān)注學(xué)習(xí)者在手勢交互虛擬實驗中的學(xué)習(xí)體驗（Learning Experience）。當(dāng)前大部分研究是從人機(jī)交互的角度探討手勢交互相較于其他交互方式對學(xué)習(xí)者學(xué)習(xí)體驗的影響。例如，De Paolis等人的研究發(fā)現(xiàn)，當(dāng)學(xué)習(xí)者在虛擬環(huán)境中使用HTC Vive控制器和Myo腕帶兩種不同交互方式學(xué)習(xí)人體解剖結(jié)構(gòu)時，其沉浸感存在顯著性差異，學(xué)習(xí)者使用基于Myo腕帶手勢交互方式時的沉浸感更強(qiáng)（De Paolis et al.，2019）。Manghisi等人的研究發(fā)現(xiàn)，與傳統(tǒng)的鼠標(biāo)鍵盤交互方式相比，手勢交互能夠顯著增強(qiáng)學(xué)習(xí)者的參與度（Manghisi et al.，2018）。雖然學(xué)界對學(xué)習(xí)體驗的定義尚無定論，但是從體驗的內(nèi)容來看，學(xué)習(xí)體驗是指學(xué)習(xí)者對學(xué)習(xí)環(huán)境、學(xué)習(xí)活動和學(xué)習(xí)支持服務(wù)等學(xué)習(xí)過程中涉及的諸多要素的感知、反應(yīng)和行為表現(xiàn)（劉斌等，2017）。顯然，僅從人機(jī)交互角度無法全面說明手勢交互虛擬實驗對學(xué)習(xí)者學(xué)習(xí)體驗的影響。因此，為了更全面了解手勢交互虛擬實驗對學(xué)習(xí)者學(xué)習(xí)體驗的影響，本研究著重探究學(xué)習(xí)者在手勢交互虛擬實驗中的實際經(jīng)歷和感受，尤其是沉浸感、學(xué)習(xí)動機(jī)和態(tài)度三個方面。

沉浸感是指用戶與虛擬環(huán)境交互時產(chǎn)生的身臨其境的感覺。Sherman等人將沉浸感分為物理/感官沉浸（Physical/Sensory Immersion）和心理沉浸（Mental Immersion）兩類（Sherman et al.，2003）。在虛擬環(huán)境中，用戶利用視覺、聽覺和觸覺等感官收集信息，經(jīng)由本體的感知覺系統(tǒng)加工實現(xiàn)自由漫游和操控虛擬對象，從而達(dá)到物理沉浸。心理沉浸是指用戶在虛擬環(huán)境中“深度參與的狀態(tài)”。這兩種類型的沉浸感對提升用戶體驗有著重要的影響。在虛擬環(huán)境中，自由漫游、第一人稱視角、真實性以及交互性等都有助于學(xué)習(xí)者獲得沉浸感（Regenbrecht et al.，2002;Mikropoulos，2006），尤其是交互性（Schubert et al.，2001）。相較于傳統(tǒng)的二維交互技術(shù)（如鼠標(biāo)），具有更高自由度的交互技術(shù)在操控虛擬對象上更符合用戶的行為習(xí)慣（Ware et al.，1988），沉浸式虛擬環(huán)境中交互真實性的增強(qiáng)也能夠顯著提高用戶的沉浸感（McMahan et al.，2012）。還有研究發(fā)現(xiàn)，在虛擬實驗環(huán)境中提供近似真實的交互行為，學(xué)習(xí)者更可能在學(xué)習(xí)任務(wù)上投入更多的時間和注意力，從而帶來更深刻的學(xué)習(xí)體驗（Salzman et al.，1999）。因此，當(dāng)研究學(xué)習(xí)者在基于手勢交互技術(shù)的虛擬實驗中的學(xué)習(xí)體驗時，有必要對沉浸感進(jìn)行測量。

探究學(xué)習(xí)者在虛擬環(huán)境中的學(xué)習(xí)動機(jī)是學(xué)習(xí)體驗研究中的另一個重要問題。根據(jù)社會認(rèn)知動機(jī)理論，個體的動機(jī)通常是情境化的（Linnenbrink et al.，2002）。虛擬現(xiàn)實技術(shù)不僅能夠最大程度地還原真實情境，而且可以構(gòu)建現(xiàn)實中不易甚至無法實現(xiàn)的情境（Huang et al.，2010）。因此，利用虛擬現(xiàn)實技術(shù)模擬實驗?zāi)軌驗閷W(xué)習(xí)者提供逼真的實驗情境，激發(fā)學(xué)習(xí)者的學(xué)習(xí)興趣和學(xué)習(xí)動機(jī)。最近有關(guān)虛擬實驗的研究也證明了這一點(diǎn)。例如，De Vires 等人的研究發(fā)現(xiàn)，虛擬實驗?zāi)軌驇椭鷮W(xué)習(xí)者將理論與實踐結(jié)合起來，提高學(xué)習(xí)的積極性和學(xué)習(xí)動機(jī)（De Vires et al.，2019）。Huang等人認(rèn)為利用虛擬現(xiàn)實技術(shù)創(chuàng)設(shè)的逼真、互動的學(xué)習(xí)環(huán)境，能夠全面提高學(xué)習(xí)者的學(xué)習(xí)動機(jī)，尤其是提高學(xué)習(xí)者的內(nèi)在動機(jī)（Huang et al.，2019）。還有研究提及，學(xué)習(xí)者在利用虛擬現(xiàn)實技術(shù)進(jìn)行空間訓(xùn)練時能夠顯著增強(qiáng)他們的學(xué)習(xí)動機(jī)（Carbonell-Carrera et al.，2017）。鑒于此，有必要在基于手勢交互虛擬實驗中對學(xué)習(xí)者的學(xué)習(xí)動機(jī)進(jìn)行研究。

此外，還有研究發(fā)現(xiàn)學(xué)習(xí)者在虛擬環(huán)境中的態(tài)度和他們在現(xiàn)實世界中的態(tài)度之間存在著重要聯(lián)系。例如，Asiksoy等人發(fā)現(xiàn)學(xué)習(xí)者在虛擬實驗室中進(jìn)行物理實驗的經(jīng)歷能夠顯著影響他們對待物理課程的態(tài)度（Asiksoy et al.，2017）。Pyatt等人發(fā)現(xiàn)學(xué)習(xí)者對虛擬實驗表現(xiàn)出積極態(tài)度，并且認(rèn)為虛擬實驗?zāi)軌蛉〈鎸崒嶒灒≒yatt et al.，2012）。Tussyadiah等人發(fā)現(xiàn)用戶在虛擬旅行中的沉浸感可能會增加用戶訪問真實地方的意愿，表明用戶在虛擬環(huán)境中的感知與他們在現(xiàn)實中的態(tài)度和行為之間存在著關(guān)聯(lián)（Tussyadiah et al.，2018）。因此，研究還將調(diào)查學(xué)習(xí)者在使用手勢交互虛擬實驗時的態(tài)度。

綜上所述，本研究將利用基于Leap Motion設(shè)計開發(fā)的“計算機(jī)組成原理”手勢交互虛擬實驗，從沉浸感、學(xué)習(xí)動機(jī)和態(tài)度三個方面探究基于手勢交互的虛擬實驗對學(xué)習(xí)者學(xué)習(xí)體驗的影響。具體而言，包括如下四個問題：（1）基于手勢交互的虛擬實驗對學(xué)習(xí)者的沉浸感影響如何;（2）學(xué)習(xí)者使用基于手勢交互的虛擬實驗前后，其學(xué)習(xí)動機(jī)的變化如何;（3）基于手勢交互的虛擬實驗對學(xué)習(xí)者的態(tài)度影響如何;（4）沉浸感、學(xué)習(xí)動機(jī)、態(tài)度三者之間的關(guān)系如何。

三、實驗設(shè)計與實施

1.實驗對象

為了初步了解學(xué)習(xí)者在基于手勢交互虛擬實驗中的學(xué)習(xí)體驗，本研究選取某大學(xué)教育技術(shù)學(xué)專業(yè)的學(xué)生作為被試。為減少虛擬現(xiàn)實技術(shù)本身的新奇性對實驗的影響，本研究挑選有過VR體驗的學(xué)生，最終有26名學(xué)生被邀請參與到此次實驗。其中男生有9名（35%），女生有17名（65%）。在這26名被試中，有6 人（23%）使用過虛擬實驗進(jìn)行學(xué)習(xí)，有12 人（46%）體驗過VR游戲，有18 人（69%）利用Unity 3D 軟件設(shè)計開發(fā)過虛擬現(xiàn)實應(yīng)用。通過詢問了解到所有被試均未有使用手勢交互虛擬現(xiàn)實的經(jīng)歷。因此，本研究選取的實驗對象符合本實驗的要求。

2.實驗工具

（1）Leap Motion

當(dāng)前虛擬現(xiàn)實應(yīng)用最為廣泛的手勢輸入設(shè)備包括數(shù)據(jù)手套、Kinect和Leap Motion。當(dāng)使用數(shù)據(jù)手套作為手勢交互輸入設(shè)備時，用戶需穿戴帶有各種類型傳感器的數(shù)據(jù)手套，這種方式不僅會大大限制用戶的活動范圍，還會因為手套的沉重感和束縛感而影響用戶的沉浸體驗和交互體驗。微軟公司發(fā)布的Kinect能很好地解決這一問題，其利用一個RGB攝像頭和一個紅外攝像頭獲取用戶的RGB圖像和深度圖像，能實現(xiàn)對人體骨骼、手、頭等部位的實時追蹤，為手勢交互走向?qū)嶋H應(yīng)用提供了基礎(chǔ)。但是Kinect的精度較低，無法獲取手部動作的細(xì)節(jié)信息，并且獲取的手勢信息屬于視覺上高維的深度信息，在手形分割和特征提取方面需要進(jìn)行大量的數(shù)據(jù)計算，因而也會影響手勢交互的準(zhǔn)確性、連續(xù)性和實時性。雖然Leap Motion與Kinect都是基于視覺原理的手勢輸入設(shè)備，但Leap Motion在手勢識別上較Kinect更加準(zhǔn)確（Guzsvinecz et al.，2019）。因為Leap Motion只獲取用戶的手部數(shù)據(jù)，而且其通過紅外攝像頭采集用戶手部的空間坐標(biāo)信息，數(shù)據(jù)也更加簡潔，這在很大程度上減少了手勢特征提取的計算量（孫玉等，2019）。另外，Leap Motion體積小巧，可附著于HTC Vive和Oculus Rift配套使用，大大增強(qiáng)了Leap Motion的可拓展性。因此，本研究選擇利用Leap Motion作為虛擬實驗手勢交互的輸入設(shè)備。

（2）實驗材料

“計算機(jī)組成原理”實驗是一個綜合性的實驗項目，除了要求掌握基本的計算機(jī)理論知識和計算機(jī)組件的參數(shù)之外，更重要的是在實驗過程中理解計算機(jī)各個組件的工作原理，建立計算機(jī)的整機(jī)概念，從而具備計算機(jī)整機(jī)和組件的分析與設(shè)計能力。本研究利用Unity 3D軟件設(shè)計開發(fā)了基于手勢交互的“計算機(jī)組成原理”虛擬實驗，以滿足學(xué)習(xí)者的實踐需求并作為測量學(xué)習(xí)體驗的實驗材料。根據(jù)建構(gòu)主義理論，情境是學(xué)習(xí)的必要前提，即學(xué)習(xí)任務(wù)和學(xué)習(xí)環(huán)境的“真實性”將對學(xué)習(xí)起到重要的支持作用（劉革平等，2015）。本研究設(shè)計開發(fā)的“計算機(jī)組成原理”虛擬實驗?zāi)茉谧畲蟪潭壬线€原真實實驗場景和實驗任務(wù)，本研究重點(diǎn)對其中的手勢交互進(jìn)行了設(shè)計。

目前虛擬現(xiàn)實手勢交互設(shè)計還沒有一種通用可行的方法。本研究將以用戶交互需求為中心，以真實實驗為基礎(chǔ)，確保虛擬實驗中所設(shè)計的交互手勢符合學(xué)習(xí)者的行為習(xí)慣，以避免因認(rèn)知不協(xié)調(diào)產(chǎn)生額外的認(rèn)知負(fù)荷，降低學(xué)習(xí)者的學(xué)習(xí)體驗。為此，本研究邀請了12位具有計算機(jī)組裝經(jīng)驗但沒有虛擬現(xiàn)實手勢交互經(jīng)驗的志愿者參與設(shè)計。首先，請各位志愿者列舉在計算機(jī)實際組裝過程中使用頻率較高的手勢動作。結(jié)合對訪談結(jié)果的歸類以及虛擬現(xiàn)實環(huán)境交互的需求，最終選取抓握、釋放、點(diǎn)擊和漫游四種手勢動作。其中，抓握、釋放和點(diǎn)擊都屬于操作型手勢，主要指學(xué)習(xí)者與虛擬環(huán)境中某一物體之間的交互。抓握實現(xiàn)選擇交互目標(biāo)的功能，是絕大部分交互發(fā)生的先決條件。釋放與抓握相反，表示放棄當(dāng)前已選擇的交互目標(biāo)。點(diǎn)擊實現(xiàn)與功能按鍵之間的交互，例如退出或重新加載當(dāng)前場景等。漫游屬于通訊型手勢，可以實現(xiàn)學(xué)習(xí)者在虛擬環(huán)境中的自由移動。其次，依據(jù)每位志愿者對四種手勢的描述，分別對每種交互手勢設(shè)計多種備選的手勢動作。最后，讓志愿者通過評分的方式評估備選的手勢動作與現(xiàn)實情境中行為動作的匹配程度。評估之前還向志愿者詳細(xì)說明了備選手勢動作的具體內(nèi)容，以保證志愿者在不受任何干擾的環(huán)境中按照自己的操作經(jīng)驗對交互手勢進(jìn)行評分，最終選取四種手勢中評分最高的作為虛擬實驗交互的手勢動作，如圖1所示：

由于該虛擬實驗是沉浸式虛擬實驗，在進(jìn)入虛擬實驗環(huán)境之前，被試需要穿戴好附著Leap Motion控制器的HTC Vive頭戴式顯示器。在實驗過程中，被試?yán)迷O(shè)計好的交互手勢操控虛擬環(huán)境中的計算機(jī)組件。每個計算機(jī)組件的安裝過程主要由三個步驟組成：首先，被試?yán)米ノ帐謩菽萌∷璋惭b的計算機(jī)組件并將該組件放到準(zhǔn)備安裝的位置上;其次，伸展手掌釋放組件;最后，點(diǎn)擊確定按鈕確認(rèn)安裝組件。虛擬實驗軟件能提供反饋和指導(dǎo)功能。當(dāng)被試點(diǎn)擊確定按鈕之后，實驗軟件會即時反饋該組件安裝是否正確。如果安裝錯誤，軟件會提供當(dāng)前計算機(jī)組件的說明以及安裝注意事項，被試可根據(jù)反饋信息重新安裝。另外，被試還可以利用漫游手勢在虛擬環(huán)境中移動以拿取準(zhǔn)備安裝的計算機(jī)組件。在整個實驗過程中，學(xué)習(xí)者可以通過不斷“試誤”將計算機(jī)的各個組件安裝到正確的位置，最終使得計算機(jī)能夠正常工作。

（3）調(diào)查問卷

本研究使用IPQ沉浸感問卷（Igroup Presence Questionnaire，IPQ）（Witmer et al.，1998）、教學(xué)材料動機(jī)調(diào)查問卷（Instructional Materials Motivation Survey，IMMS）（Chin et al.，2015）和態(tài)度調(diào)查問卷（Tsai et al.，2001）分別測量學(xué)習(xí)者的沉浸感、學(xué)習(xí)動機(jī)和態(tài)度。在保持各問卷維度不變的情況下對問卷內(nèi)容進(jìn)行改編，聚焦于手勢交互虛擬實驗對學(xué)習(xí)者學(xué)習(xí)體驗的影響。隨后采用德爾菲法咨詢領(lǐng)域?qū)＜业囊庖姡罱K制定的學(xué)習(xí)體驗調(diào)查問卷結(jié)構(gòu)如表1所示。該問卷共有11個因子和40道題目，包括空間臨場感（5題）、參與度（4題）、真實感（4題）、注意（4題）、相關(guān)（3題）、自信（3題）、滿意（3題）、感知易用性（4題）、感知有用性（4題）、情感體驗（3題）和使用意愿（3題）。問卷題目均采用李克特5分制評分（1分代表完全不同意，5分代表完全同意）。對于修改后的沉浸感、學(xué)習(xí)動機(jī)和態(tài)度調(diào)查問卷，其 Cronbachs Alpha系數(shù)分別為0.920、0.920和0.828，表明該問卷通過一致性檢驗。

（4）訪談提綱

為了更全面地了解基于手勢交互虛擬實驗對學(xué)習(xí)者學(xué)習(xí)體驗的影響，彌補(bǔ)量化研究的不足，本研究還增加了定性研究內(nèi)容。定性研究采用半結(jié)構(gòu)式訪談法，主要包括兩個開放性問題：一是詢問訪談?wù)邔谑謩萁换ヌ摂M實驗的總體感受，二是請訪談?wù)呓o出關(guān)于手勢交互虛擬實驗的改進(jìn)意見。

3.實驗過程

實驗過程共分為五步：第一步，被試用20分鐘時間填寫IMMS問卷作為對學(xué)習(xí)動機(jī)的前測。第二步，被試在實驗助理的指導(dǎo)下進(jìn)行10分鐘手勢交互練習(xí)，以適應(yīng)虛擬實驗環(huán)境和掌握手勢交互動作。第三步，所有被試隨機(jī)進(jìn)入教室體驗手勢交互虛擬實驗，時間在30分鐘左右。需要說明的是，本實驗是在相對封閉的教室內(nèi)進(jìn)行，教室內(nèi)只有被試和兩名實驗助理，保證了學(xué)習(xí)者的學(xué)習(xí)體驗不受其他外部因素的干擾。第四步，被試進(jìn)入另一間教室填寫沉浸感、學(xué)習(xí)動機(jī)和態(tài)度三份問卷，時間在40分鐘左右。第五步，被試接受20分鐘左右的訪談，全面了解其學(xué)習(xí)體驗，同時將談話內(nèi)容記錄下來。

四、實驗結(jié)果

本研究采用SPSS 22.0對問卷結(jié)果進(jìn)行效度分析。由于此次參與實驗的被試較少，且沉浸感和態(tài)度各因子得分的標(biāo)準(zhǔn)差太大，未符合正態(tài)分布，因此本研究利用非參數(shù)檢驗中弗德里曼檢驗（Friedmans Test）和威爾科克森符號秩檢驗（Wilcoxon Signed-Rank Test）進(jìn)行問卷數(shù)據(jù)分析。而后，本研究采用配對樣本T檢驗測量學(xué)習(xí)者使用手勢交互虛擬實驗前后學(xué)習(xí)動機(jī)的變化。最后，本研究采用斯皮爾曼相關(guān)性系數(shù)（Spearman）對學(xué)習(xí)動機(jī)與沉浸感、態(tài)度三者之間的關(guān)系進(jìn)行測量。

1.手勢交互虛擬實驗對沉浸感的影響分析

從表2數(shù)據(jù)可知，學(xué)習(xí)者在手勢交互虛擬實驗中獲得了強(qiáng)烈的空間臨場感（Mean=4.04，SD=0.87），但參與度一般（Mean=3.44，SD=0.92），基本滿足真實感需求（Mean=3.65，SD=0.72）。弗德里曼檢驗結(jié)果顯示，學(xué)習(xí)者在手勢交互虛擬實驗中的空間臨場感、參與度、真實感之間存在顯著性差異（χ2=25.232，p<0.001）。威爾科克森符號秩檢驗結(jié)果進(jìn)一步顯示，空間臨場感與參與度（Z=-4.128，p<0.001）以及真實感（Z=-3.114，p<0.01）存在顯著性差異，但參與度和真實感之間不存在顯著性差異。以上分析表明，在基于手勢交互技術(shù)的沉浸式虛擬實驗環(huán)境中，學(xué)習(xí)者獲得的空間臨場感相較于參與度和真實感更強(qiáng)。

2.手勢交互虛擬實驗對學(xué)習(xí)動機(jī)的影響分析

從表3數(shù)據(jù)可知，學(xué)習(xí)者參與手勢交互虛擬實驗前后其學(xué)習(xí)動機(jī)具有顯著性差異（t（25）=-4.523，p<0.001）。且從平均值可以看出，學(xué)習(xí)者使用手勢交互虛擬實驗之后的學(xué)習(xí)動機(jī)明顯高于使用之前，說明基于手勢交互技術(shù)的虛擬實驗?zāi)軌蝻@著增強(qiáng)學(xué)習(xí)者的學(xué)習(xí)動機(jī)。另外，學(xué)習(xí)者參與手勢交互虛擬實驗前后其注意（t（25）=-6.230，p<0.001）和自信（t（25）=-3.742，p<0.01）也表現(xiàn)出顯著性差異，但相關(guān)和滿意并不存在顯著性差異，這說明手勢交互虛擬實驗?zāi)軌蛴行龑W(xué)習(xí)者的注意力和提高學(xué)習(xí)者的自信心。

3.手勢交互虛擬實驗對態(tài)度的影響分析

從表4數(shù)據(jù)可知，學(xué)習(xí)者在感知易用性（Mean=4.01，SD=0.54）、使用意愿（Mean=3.81，SD=0.84）和情感體驗（Mean=4.24，SD=0.90）三個維度都有較好的反饋，但感知有用性的得分較低（Mean=3.55，SD=0.67）。利用威爾科克森符號秩檢驗分別測量感知易用性與感知有用性、使用意愿與情感體驗之間是否存在顯著性差異，結(jié)果顯示，學(xué)習(xí)者在感知易用性上的得分顯著高于感知有用性的得分（Z=-4.051，p<0.001）。這表明學(xué)習(xí)者認(rèn)為手勢交互虛擬實驗更易于控制，但對他們學(xué)習(xí)的幫助作用有限。另外，學(xué)習(xí)者在情感體驗上的得分顯著高于使用意愿的得分（Z=-3.615，p<0.001），表明雖然學(xué)習(xí)者在手勢交互虛擬實驗中獲得了良好的情感體驗，但實際使用的意愿相對較低。

4.沉浸感、學(xué)習(xí)動機(jī)、態(tài)度三者相關(guān)關(guān)系分析

從表5數(shù)據(jù)可知，學(xué)習(xí)動機(jī)與沉浸感（r=0.535，p<0.01）和態(tài)度（r=0.717，p<0.01）存在顯著性相關(guān)關(guān)系，但沉浸感與態(tài)度之間不存在顯著性相關(guān)關(guān)系（r=0.308，p>0.05）。為進(jìn)一步探究三者之間的關(guān)系，對學(xué)習(xí)動機(jī)各要素與沉浸感、態(tài)度各要素之間進(jìn)行相關(guān)性分析。從表6數(shù)據(jù)可知，在沉浸感與學(xué)習(xí)動機(jī)之間，空間臨場感和真實感分別與注意、自信、滿意存在顯著性相關(guān)關(guān)系，參與度與滿意呈顯著性相關(guān)，而空間臨場感、參與度和真實感與相關(guān)皆不存在顯著性相關(guān)關(guān)系;在學(xué)習(xí)動機(jī)與態(tài)度之間，注意、相關(guān)、自信、滿意分別與情感體驗、使用意愿呈顯著性相關(guān)關(guān)系，但是感知易用性與注意、相關(guān)、自信、滿意皆不存在顯著性相關(guān)關(guān)系。

5.訪談結(jié)果分析

針對“對手勢交互虛擬實驗的總體感受”，訪談結(jié)果顯示，26名學(xué)習(xí)者中有24名對基于手勢交互技術(shù)的虛擬實驗很感興趣，15名學(xué)習(xí)者表示虛擬實驗過程與真實實驗過程基本一致，10名學(xué)習(xí)者表示虛擬實驗環(huán)境很逼真，有很強(qiáng)的沉浸感，6名學(xué)習(xí)者表示想要嘗試更多的手勢交互虛擬實驗。評價內(nèi)容有：“利用自己的雙手做實驗太不可思議了，手勢交互非常有趣！”“我喜歡用虛擬實驗學(xué)習(xí)，能夠用雙手做實驗很棒！”“我感覺虛擬實驗環(huán)境很逼真?！钡且灿袑W(xué)習(xí)者表示不太喜歡手勢交互虛擬實驗，認(rèn)為“手勢交互不夠準(zhǔn)確”“交互時間長的話，雙手會很酸痛”。針對“改進(jìn)意見”的問題，訪談?wù)咧饕岢鋈c(diǎn)建議：一是手勢交互的準(zhǔn)確率需要進(jìn)一步提高;二是手勢設(shè)計需要更加還原真實實驗操作，并且豐富聽覺上的反饋內(nèi)容;三是提高虛擬實驗環(huán)境的仿真度。

從訪談結(jié)果可以看出，手勢交互虛擬實驗?zāi)軌蛟鰪?qiáng)學(xué)習(xí)者的學(xué)習(xí)體驗，尤其是手勢交互技術(shù)能夠?qū)崿F(xiàn)讓學(xué)習(xí)者利用自己的雙手操控虛擬物體，最大程度還原現(xiàn)實情境中的實驗操作，從而激發(fā)學(xué)習(xí)者的學(xué)習(xí)興趣和積極性。訪談過程中還發(fā)現(xiàn)，學(xué)習(xí)者使用手勢與虛擬實驗交互能夠在一定程度上減輕眩暈癥狀。這一點(diǎn)在Han等人的研究中也被提及，即當(dāng)學(xué)習(xí)者被手勢交互技術(shù)吸引，而全神貫注于實驗操作時，他們的精神會處于高度集中的狀態(tài)，這樣可以避免虛擬現(xiàn)實存在的眩暈問題（Han et al.，2017）。因此，在虛擬實驗中探索多種交互技術(shù)相結(jié)合的新型交互方式，例如將手勢、聲音與眼動追蹤相結(jié)合（Sharma et al.，2000），能夠為學(xué)習(xí)者提供多樣化、令人滿意的沉浸性交互體驗。另一方面，由于基于Leap Motion的手勢識別還存在精確度不高、靈敏度不夠等問題，導(dǎo)致某些手勢動作不能被精確地識別。而且學(xué)習(xí)者在交互過程中需要一直保持雙手處于Leap Motion控制器的監(jiān)測范圍內(nèi)，時間長會造成手臂酸痛，這些都會影響學(xué)習(xí)者的學(xué)習(xí)體驗。

五、結(jié)論與討論

1.相較于心理沉浸，學(xué)習(xí)者的物理沉浸更強(qiáng)

在手勢交互虛擬實驗中，根據(jù)Sherman等（2003）對沉浸感的分類，學(xué)習(xí)者的空間臨場感與真實感是其物理沉浸程度的反映，而參與度能夠反映學(xué)習(xí)者的心理沉浸程度。研究發(fā)現(xiàn)，沉浸感并不是虛擬環(huán)境的固有屬性，它受虛擬環(huán)境的逼真度和控制的直接性兩個因素影響（Lee & Wong et al.，2010）。在虛擬環(huán)境中，手勢交互在處理復(fù)雜交互任務(wù)時比傳統(tǒng)的手持控制器更為有效（Xu et al.，2019），并且手勢交互信息的連續(xù)性、多維性和隱含性（方新國等，2020）能夠顯著提高學(xué)習(xí)者交互的直接性，增強(qiáng)視覺、觸覺等感官體驗，從而提升學(xué)習(xí)者的物理沉浸。有學(xué)者在研究虛擬實驗中不同交互方式對學(xué)習(xí)者參與度的影響時發(fā)現(xiàn)，手勢交互方式能夠有效提高學(xué)習(xí)者的參與度（Johnson-Glenberg et al.，2017）。但是，本研究中發(fā)現(xiàn)學(xué)習(xí)者的參與度卻是最低的，其可能原因有兩點(diǎn)：一是手勢識別算法的準(zhǔn)確率不夠高導(dǎo)致學(xué)習(xí)者需要重復(fù)相同的手勢才能完成實驗操作;二是學(xué)習(xí)者頻繁向?qū)嶒炛砬笾斐蓪W(xué)習(xí)者過多關(guān)注現(xiàn)實世界，使得學(xué)習(xí)者無法完全沉浸在手勢交互虛擬實驗中。因此，在本研究中，學(xué)習(xí)者的物理沉浸相較于心理沉浸更強(qiáng)。

2.手勢交互能夠顯著增強(qiáng)學(xué)習(xí)動機(jī)，尤其表現(xiàn)在注意和自信上

基于手勢交互技術(shù)的虛擬實驗在吸引學(xué)生注意力方面具有巨大的優(yōu)勢。因為相較于其他交互方式，手勢交互可以讓學(xué)習(xí)者利用自己的雙手以自然交互的方式控制虛擬物體，在“試誤”體驗式的學(xué)習(xí)中享受動手操作的樂趣，從而使學(xué)習(xí)變得更主動、更有趣。另外，手勢交互技術(shù)可以讓學(xué)習(xí)者擺脫傳統(tǒng)交互輸入設(shè)備帶來的種種限制，極大降低操控的依賴度與復(fù)雜度。已有研究顯示，身體參與的運(yùn)動可以促進(jìn)學(xué)習(xí)過程（George Lucas Educational Foundation，2011），使得學(xué)習(xí)者更有信心完成實驗任務(wù)（Pulijala et al.，2018;Wu & Wong et al.，2019）。本研究中，基于手勢交互技術(shù)的虛擬實驗?zāi)軌蜃寣W(xué)習(xí)者的多種感官同時參與到學(xué)習(xí)活動中，而多種感官的刺激能夠從多個通道促進(jìn)學(xué)習(xí)者的認(rèn)知過程，提高學(xué)習(xí)者的手眼協(xié)調(diào)能力?？傮w而言，定量和定性數(shù)據(jù)都表明，基于手勢交互技術(shù)的虛擬實驗確實對學(xué)習(xí)者的學(xué)習(xí)動機(jī)產(chǎn)生了影響，尤其體現(xiàn)在激發(fā)學(xué)習(xí)者的學(xué)習(xí)興趣和提升學(xué)習(xí)者的信心上。

3.手勢交互能夠提升感知易用性和情感體驗

在本研究中學(xué)習(xí)者普遍認(rèn)為基于手勢交互技術(shù)的虛擬實驗易于使用，達(dá)到了將手勢交互技術(shù)應(yīng)用于虛擬實驗的期望。根據(jù)訪談結(jié)果可知，影響感知易用性的因素主要包括手勢識別的精確度和手勢是否符合學(xué)習(xí)者的行為習(xí)慣。因此，在進(jìn)行手勢交互設(shè)計時不僅要提高手勢識別的準(zhǔn)確率，還需注重隱喻的設(shè)計，尤其是空間隱喻設(shè)計和行為隱喻設(shè)計。隱喻的設(shè)計必須要以學(xué)習(xí)者為中心，以“用戶概念模型”為基礎(chǔ)，才能更有效地引導(dǎo)出學(xué)習(xí)者的直覺交互行為。手勢交互作為一種自然交互方式，其操作方法是基于現(xiàn)實生活經(jīng)驗的，不僅避免了因?qū)W習(xí)復(fù)雜操作界面而增加額外的認(rèn)知負(fù)荷，還可以享受動手的樂趣，從而提升學(xué)習(xí)者的情感體驗。但是，本研究發(fā)現(xiàn)學(xué)習(xí)者對使用手勢交互虛擬實驗的意愿卻相對較低，其原因可能在于將手勢交互技術(shù)應(yīng)用于虛擬實驗雖然改善了交互體驗，但并未滿足學(xué)習(xí)者最核心的知識學(xué)習(xí)需求。

4.學(xué)習(xí)動機(jī)作為中間因素會影響學(xué)習(xí)者在手勢交互虛擬實驗中的學(xué)習(xí)體驗

盡管已有大量研究探索過虛擬學(xué)習(xí)環(huán)境中沉浸感與學(xué)習(xí)動機(jī)之間的關(guān)系（Salzman et al.，1999;Makransky et al.，2019），但大多數(shù)研究僅從變量外部探索兩者之間的關(guān)系，并未從變量內(nèi)部研究各因素之間的關(guān)系。本研究發(fā)現(xiàn)，在手勢交互虛擬實驗中，空間臨場感和真實感相較于參與度而言對提高學(xué)習(xí)者的學(xué)習(xí)動機(jī)扮演著更重要的角色。換句話說，物理沉浸是影響學(xué)習(xí)者學(xué)習(xí)動機(jī)的重要因素。手勢交互虛擬實驗具有的三維動態(tài)顯示、自然交互方式等特征能夠提供逼真的學(xué)習(xí)情境、真實的實驗操作，學(xué)習(xí)者可以利用抓握、漫游等手勢與虛擬環(huán)境中的物體進(jìn)行交互，自然狀態(tài)下手勢和身體運(yùn)動會顯著增強(qiáng)空間臨場感和真實感，使得學(xué)習(xí)者沉浸在手勢交互虛擬實驗之中。當(dāng)學(xué)習(xí)者在虛擬學(xué)習(xí)環(huán)境中獲得與現(xiàn)實類似的實驗體驗時，學(xué)習(xí)者的心理狀態(tài)會發(fā)生改變，物理沉浸會極大提高學(xué)習(xí)者對虛擬實驗的認(rèn)同感，進(jìn)而增強(qiáng)學(xué)習(xí)動機(jī)。

另外，研究人員發(fā)現(xiàn)在沉浸式虛擬學(xué)習(xí)環(huán)境中，學(xué)習(xí)動機(jī)對學(xué)習(xí)者的態(tài)度起主導(dǎo)作用（Cheng et al.，2020）。本研究在此基礎(chǔ)上進(jìn)一步發(fā)現(xiàn)，在手勢交互虛擬實驗中學(xué)習(xí)動機(jī)強(qiáng)的學(xué)習(xí)者，他們在虛擬實驗中的情感體驗會更好，并且對利用手勢交互虛擬實驗幫助自己學(xué)習(xí)表現(xiàn)出更加強(qiáng)烈的行為意愿。Liao等人在研究動機(jī)與態(tài)度之間的關(guān)系時發(fā)現(xiàn)，影響態(tài)度的動機(jī)因素主要分為實用性動機(jī)和享樂性動機(jī)（Liao et al.，2013）。在本研究中，學(xué)習(xí)者參與手勢交互虛擬實驗的實用性動機(jī)和享樂性動機(jī)分別指獲取計算機(jī)原理相關(guān)知識以及在這個過程中獲得快樂的實驗體驗。手勢交互虛擬實驗可以幫助學(xué)習(xí)者實現(xiàn)更加直觀的實際動手組裝計算機(jī)，促進(jìn)具身認(rèn)知，實現(xiàn)對科學(xué)概念的深入理解，因此學(xué)習(xí)者的實用性動機(jī)得到顯著增強(qiáng)，使用意愿也更強(qiáng)。而且手勢交互虛擬實驗?zāi)軌蚣ぐl(fā)學(xué)習(xí)者的學(xué)習(xí)興趣和參與熱情，尤其是自然交互方式能夠為學(xué)習(xí)者提供心理上和精神上的愉悅體驗（廖宏建等，2013），其享樂性動機(jī)亦得到增強(qiáng)。實用性動機(jī)和享樂性動機(jī)的增強(qiáng)使得學(xué)習(xí)者對手勢交互虛擬實驗的態(tài)度更加積極。

綜上所述，本研究發(fā)現(xiàn)，在手勢交互虛擬實驗中，物理沉浸能夠有效提高學(xué)習(xí)者的學(xué)習(xí)動機(jī)，而學(xué)習(xí)動機(jī)越強(qiáng)，學(xué)習(xí)者的情感體驗越好、使用意愿也更強(qiáng);而且學(xué)習(xí)動機(jī)在沉浸感和態(tài)度之間扮演著中間者的角色，即手勢交互虛擬實驗?zāi)軌蛴行г鰪?qiáng)學(xué)習(xí)者的沉浸感，從而提高學(xué)習(xí)者的學(xué)習(xí)動機(jī)，進(jìn)而改善學(xué)習(xí)者的態(tài)度，最終提升學(xué)習(xí)者的學(xué)習(xí)體驗。

六、總結(jié)與展望

本研究從沉浸感、學(xué)習(xí)動機(jī)和態(tài)度三個方面探討了基于手勢交互技術(shù)的虛擬實驗對學(xué)習(xí)者學(xué)習(xí)體驗的影響，發(fā)現(xiàn)基于手勢交互技術(shù)的虛擬實驗?zāi)軌蛴行г鰪?qiáng)學(xué)習(xí)者的沉浸感，從而提高學(xué)習(xí)者的學(xué)習(xí)動機(jī)，進(jìn)而改善學(xué)習(xí)者的態(tài)度，最終提升學(xué)習(xí)者的學(xué)習(xí)體驗。但本研究也發(fā)現(xiàn)，在手勢交互虛擬實驗中，僅僅依靠虛擬現(xiàn)實技術(shù)以及手勢交互技術(shù)的特性無法實現(xiàn)預(yù)期的學(xué)習(xí)體驗。結(jié)合本次研究成果、案例分析及開發(fā)實踐，筆者提出手勢交互虛擬實驗設(shè)計需考慮以下問題：

第一，合理設(shè)計交互手勢改善交互體驗，創(chuàng)設(shè)高度沉浸的實驗環(huán)境。在本研究中，雖然身臨其境的感受和自然豐富的交互體驗極大地促進(jìn)了學(xué)習(xí)者的物理沉浸，但并未滿足學(xué)習(xí)者的心理沉浸。針對這個問題，在進(jìn)行手勢交互虛擬實驗設(shè)計時，可以從以下三個方面著手：其一，提高手勢識別的準(zhǔn)確率，如可將Leap Motion與Kinect結(jié)合使用（Kumar et al.，2017），避免學(xué)習(xí)者多次重復(fù)同一手勢，使得學(xué)習(xí)者能夠完全沉浸在虛擬實驗中。其二，手勢交互設(shè)計要遵循可靠性、容錯性、連貫性和繼承性原則（孫效華等，2015），保證與學(xué)習(xí)者的心智模型和日常行為習(xí)慣相符，實現(xiàn)物理空間與虛擬空間之間的平滑過渡，改善人機(jī)交互體驗。其三，在設(shè)計虛擬實驗環(huán)境時，注重增加多通道的感官體驗，以使學(xué)習(xí)者獲得“身臨其境”的實驗體驗。但是，在這一過程中應(yīng)盡量減少與學(xué)習(xí)目標(biāo)無關(guān)的要素干擾，避免引起學(xué)習(xí)者無關(guān)的認(rèn)知加工，從而提高學(xué)習(xí)者的參與度。

第二，優(yōu)化虛擬實驗任務(wù)設(shè)計，注重對學(xué)習(xí)反思的引導(dǎo)。手勢交互虛擬實驗的最終目的是幫助學(xué)習(xí)者掌握實驗內(nèi)容，其主要是通過對實驗任務(wù)的設(shè)計來實現(xiàn)的。實驗任務(wù)的設(shè)計需以學(xué)習(xí)者為中心，以模擬性實驗、探究性實驗和實證性實驗等為主，盡量為學(xué)習(xí)者提供大量親身參與、實踐以及與他人合作學(xué)習(xí)的機(jī)會。實驗過程中需要提供適當(dāng)?shù)娜蝿?wù)支持，確保學(xué)習(xí)者在探索和與虛擬學(xué)習(xí)環(huán)境互動的過程中促進(jìn)知識、技能與體驗三者之間的連接，從而培養(yǎng)學(xué)習(xí)者靈活運(yùn)用所學(xué)知識去解決實際問題的能力。另外，依據(jù)體驗的發(fā)生要經(jīng)過感官、行為、反思三個層次（Donald A. Norman，2005）的理論，手勢交互虛擬實驗應(yīng)在為學(xué)習(xí)者提供逼真的感官沉浸和自然的人機(jī)交互基礎(chǔ)之上更加強(qiáng)調(diào)對學(xué)習(xí)反思的引導(dǎo)，通過對虛擬實驗任務(wù)的優(yōu)化和真實問題情境的設(shè)計引發(fā)學(xué)習(xí)者的探索與思考，形成抽象思維，促進(jìn)學(xué)習(xí)者的認(rèn)知加工過程及知識建構(gòu)過程，進(jìn)而切實提高學(xué)習(xí)效果。

本研究也存在一定的局限性。首先，受虛擬現(xiàn)實設(shè)備以及手勢交互設(shè)備的限制，本研究的樣本量較小。未來需擴(kuò)大樣本量以更廣泛地了解手勢交互虛擬實驗對學(xué)習(xí)者學(xué)習(xí)體驗的影響。其次，在沉浸式虛擬環(huán)境中也可能存在性別差異（Grassini et al.，2020），例如，女生在虛擬環(huán)境中有著更高的沉浸感，但眩暈問題也更嚴(yán)重。本研究中的樣本性別比例失衡也可能會對實驗結(jié)果產(chǎn)生影響。最后，由于本研究僅從沉浸感、學(xué)習(xí)動機(jī)和態(tài)度三個方面探究了手勢交互虛擬實驗對學(xué)習(xí)者學(xué)習(xí)體驗的影響，未來還需從其他方面研究學(xué)習(xí)者的學(xué)習(xí)體驗，例如，社會臨場感、自我效能感以及心流體驗等。

參考文獻(xiàn)：

[1][美]Donald A. Norman （2005）. 情感化設(shè)計[M]. 付秋芳，程進(jìn)三. 北京：電子工業(yè)出版：11-15.

[2]杜寶江，李酬，林靈等（2016）. 基于Leap Motion手勢交互的虛擬裝配培訓(xùn)的研究[J]. 信息技術(shù)，（11）：157-162，168.

[3]方新國，王贊強(qiáng)，高健權(quán)（2020）. 基于Leap Motion的手勢交互系統(tǒng)設(shè)計[J]. 機(jī)械設(shè)計與研究， 36（2）：128-132，153.

[4]黃紅濤，孟紅娟，左明章等（2018）. 混合現(xiàn)實環(huán)境中具身交互如何促進(jìn)科學(xué)概念理解[J]. 現(xiàn)代遠(yuǎn)程教育研究，（6）：28-36.

[5]蔣夢菲，原麗花（2020）. 基于三維虛擬視覺及交互設(shè)計的室內(nèi)設(shè)計平臺建構(gòu)[J]. 現(xiàn)代電子技術(shù)，43（3）：125-128.

[6]廖宏建，楊玉寶（2013）. 體感交互設(shè)計及其在三維虛擬實驗中的應(yīng)用[J]. 遠(yuǎn)程教育雜志，31（1）： 54-59.

[7]劉斌，張文蘭（2017）. 在線課程學(xué)習(xí)體驗的影響因素及其結(jié)構(gòu)研究[J].現(xiàn)代教育技術(shù)，27（9）：107-113.

[8]劉革平，謝濤（2015）. 三維虛擬學(xué)習(xí)環(huán)境綜述[J]. 中國電化教育，（9）：22-27.

[9]劉勉，張際平（2019）. 未來課堂智能教學(xué)系統(tǒng)設(shè)計研究——以手勢識別為技術(shù)支持[J]. 中國電化教育，（7）：14-21.

[10]孫效華，周博，李彤（2015）. 隔空手勢交互的設(shè)計要素與原則[J]. 包裝工程，36（8）：10-13.

[11]孫玉，袁貞明，孫曉燕（2019）. 基于Leap Motion的動態(tài)手勢識別[J]. 計算機(jī)工程與應(yīng)用， 55（13）：151-157.

[12]王阿習(xí)，張學(xué)軍，朱敏等（2013）. 基于虛擬實驗室的混合學(xué)習(xí)活動設(shè)計[J]. 中國電化教育，（7）： 96-102.

[13]王賦攀，吳亞東，楊文超等（2018）. 一種視覺信息融合數(shù)據(jù)手套設(shè)計研究[J]. 計算機(jī)研究與發(fā)展，55（12）：2764-2774.

[14]王濟(jì)軍，魏雪峰（2011）. 虛擬實驗的“熱”現(xiàn)狀與“冷”思考[J]. 中國電化教育，（4）：126-129.

[15]吳福理，丁胤，丁維龍等（2016）. 基于Leap Motion的虛擬農(nóng)作物人機(jī)交互系統(tǒng)設(shè)計[J]. 農(nóng)業(yè)工程學(xué)報，32（23）：144-151.

[16]楊魯義（2019）. 基于大數(shù)據(jù)的虛擬實驗室手勢交互感知仿真[J]. 計算機(jī)仿真，36（10）：169-172，193.

[17]楊賢，張碩，何漢武等（2019）. 虛擬實驗環(huán)境中的自然手勢交互[J]. 實驗室研究與探索，38（3）：90-94.

[18]楊曉東，陳益強(qiáng)，于漢超等（2015）. 面向可穿戴設(shè)備的超聲波手勢識別方法[J]. 計算機(jī)科學(xué)，42（10）：20-24.

[19]楊雪，劉英杰，闞寶朋（2008）. 基于設(shè)計的研究范式在網(wǎng)絡(luò)三維虛擬實驗中的運(yùn)用研究[J]. 中國電化教育，（10）：103-106.

[20]于漢超，楊曉東，張迎偉等（2017）. 凌空手勢識別綜述[J]. 科技導(dǎo)報，35（16）：64-73.

[21]袁偉，郎璞，張孫嘉等（2018）. 虛擬環(huán)境下面向裝配培訓(xùn)的人機(jī)交互技術(shù)[J]. 兵器裝備工程學(xué)報， 39（12）：187-191.

[22]張鳳軍，戴國忠，彭曉蘭（2016）. 虛擬現(xiàn)實的人機(jī)交互綜述[J]. 中國科學(xué)：信息科學(xué)，46（12）：1711-1736.

[23]張曉蓉，楊文超，侯佳鑫等（2018）. 中學(xué)化學(xué)沉浸式虛擬實驗系統(tǒng)研究[J]. 中國體視學(xué)與圖像分析， 23（2）：166-173.

[24]趙同剛，申仲艦（2015）. 電子信息類虛擬遠(yuǎn)程實驗室建設(shè)的探索——以北京郵電大學(xué)為例[J]. 中國遠(yuǎn)程教育，（11）：51-56，66，80.

[25]Asiksoy， G.， & Islek， D. （2017）. The Impact of the Virtual Laboratory on StudentsAttitudes in a General Physics Laboratory[J]. International Journal of Online Engineering， 13（4）：20-28.

[26]Cabreira， A. T.， & Hwang， F. （2015）. An Analysis of Mid-Air Gestures Used Across Three Platforms[C]// Proceedings of the 2015 British HCI Conference. New York： ACM：257-258.

[27]Carbonell-Carrera， C.， & Saorin， J. L. （2017）. Geospatial Google Street View with Virtual Reality： A Motivational Approach for Spatial Training Education[J]. ISPRS International Journal of Geo-Information， 6（9）：261.

[28]Cheng， K. H.， & Tsai， C. C. （2020）. StudentsMotivational Beliefs and Strategies， Perceived Immersion and Attitudes Towards Science Learning with Immersive Virtual Reality： A Partial Least Squares Analysis[J]. British Journal of Educational Technology， 51（6）：2139-2158.

[29]Chin， K. Y.， Lee， K. F.， & Chen， Y. L. （2015）. Impact on Student Motivation by Using a QR-Based U-Learning Material Production System to Create Authentic Learning Experiences[J]. IEEE Transactions on Learning Technologies， 8（4）：367-382.

[30]De Paolis， L. T.， & De Luca， V. （2019）. The Impact of the Input Interface in a Virtual Environment： The Vive Controller and the Myo Armband[J]. Virtual Reality， 24：483-502.

[31]De Vries， L. E.， & May， M. （2019）. Virtual Laboratory Simulation in the Education of Laboratory Technicians-Motivation and Study Intensity[J]. Biochemistry and Molecular Biology Education， 47（3）：257-262.

[32]Deller， M.， Ebert， A.， & Hagen， H. （2006）. Flexible Gesture Recognition for Immersive Virtual Environments[C]// Proceedings of the Tenth International Conference on Information Visualization. London： IEEE：563-568.

[33]George Lucas Educational Foundation （2011）. Six Tips for Brain-Based Learning： Plus， a Bonus Class Project， Resources， and a Reading List[EB/OL]. [2020-06-05]. https：//eric.ed.gov/？id=ed539391.

[34]Grassini， S.， & Laumann， K. （2020）. Are Modern Head-Mounted Displays Sexist？ A Systematic Review on Gender Differences in HMD-Mediated Virtual Reality[J]. Frontiers in Psychology， 11：1604-1619.

[35]Guzsvinecz， T.， Szucs， V.， & Sik-Lanyi， C. （2019）. Suitability of the Kinect Sensor and Leap Motion Controller： A Literature Review[J]. Sensor， 19（5）：1072-1097.

[36]Han， S.， & Kim， J. （2017）. A Study on Immersion of Hand Interaction for Mobile Platform Virtual Reality Contents[J]. Symmetry-Basel， 9（2）：22.

[37]Hsiao， H.， Chen， J.， & Lin， C. Y. et al. （2017）. The Influence of a Gesture-Based Learning Approach on PreschoolersLearning Performance， Motor Skills， and Motion Behaviors[J]. Interactive Learning Environments， 26（7）：869-881.

[38]Huang， H.-M.， Rauch， U.， & Liaw， S.-S. （2010）. Investigating LearnersAttitudes Toward Virtual Reality Learning Environments： Based on a Constructivist Approach[J]. Computers & Education， 55（3）：1171-1182.

[39]Huang， Y. C.， Backman， S. J.， & Backman， K. F. et al. （2019）. An Investigation of Motivation and Experience in Virtual Learning Environments： A Self-Determination Theory[J]. Education and Information Technologies， 24（1）：591-611.

[40]Johnson， L.， Smith， R.， & Willis， H. et al. （2011）. The 2011 Horizon Report[M]. Austin， Texas： The New Media Consortium.

[41]Johnson-Glenberg， M. C. （2018）. Immersive VR and Education： Embodied Design Principles That Include Gesture and Hand Controls[J]. Frontiers in Robotics and AI， 5：81-100.

[42]Johnson-Glenberg， M. C.， & Megowan-Romanowicz， C. （2017）. Embodied Science and Mixed Reality： How Gesture and Motion Capture Affect Physics Education[J]. Cognitive Research： Principles and Implications， 2（1）：1-28.

[43]Kumar， P.， Gauba， H.， & Roy， P. et al. （2017）. A Multimodal Framework for Sensor Based Sign Language Recognition[J]. Neurocomputing， 259：21-38.

[44]Lee， E. A. L.， Wong， K. W.， & Fung， C. C. （2010）. How Does Desktop Virtual Reality Enhance Learning Outcomes？ A Structural Equation Modeling Approach[J]. Computers & Education， 55（4）：1424-1442.

[45]Lee， J. Y.， Rhee， G. W.， & Seo， D. W. （2010）. Hand Gesture-Based Tangible Interactions for Manipulating Virtual Objects in a Mixed Reality Environment[J]. The International Journal of Advanced Manufacturing Technology， 51（9-12）：1069-1082.

[46]Liao， C.， To， P. L.， & Hsu， F. C. （2013）. Exploring Knowledge Sharing in Virtual Communities[J]. Online Information Review， 37（6）：891-909.

[47]Linnenbrink， E. A.， & Pintrich， P. R. （2002）. Motivation as an Enabler for Academic Success[J]. School Psychology Review， 31（3）：313-327.

[48]Macedonia， M.， Müller， K.， & Friederici， A. D. （2010）. The Impact of Iconic Gestures on Foreign Language Word Learning and its Neural Substrate[J]. Human Brain Mapping， 32（6）：982-998.

[49]Makransky， G.， & Petersen， G. B. （2019）. Investigating the Process of Learning with Desktop Virtual Reality： A Structural Equation Modeling Approach[J]. Computers & Education， 134：15-30.

[50]Manghisi， V. M.， Uva， A. E.， & Fiorentino， M. et al. （2018）. Enhancing User Engagement Through the User Centric Design of a Mid-Air Gesture-Based Interface for the Navigation of Virtual-Tours in Cultural Heritage Expositions[J]. Journal of Cultural Heritage， 32：186-197.

[51]McMahan， R. P.， Bowman， D. A.， & Zielinski， D. J. et al. （2012）. Evaluating Display Fidelity and Interaction Fidelity in a Virtual Reality Game[J]. IEEE Transactions on Visualization and Computer Graphics， 18（4）：626-633.

[52]Mikropoulos， T. A. （2006）. Presence： A Unique Characteristic in Educational Virtual Environments[J]. Virtual Reality， 10（3-4）：197-206.

[53]Molina， J.， Escudero-Vi?olo， M.， & Signoriello， A. et al. （2011）. Real-Time User Independent Hand Gesture Recognition from Time-of-Flight Camera Video using Static and Dynamic Models[J]. Machine Vision and Applications， 24（1）：187-204.

[54]Nainggolan， F. L.， Siregar， B.， & Fahmi， F. （2016）. Anatomy Learning System on Human Skeleton using Leap Motion Controller[C]// Proceedings of the 3rd International Conference on Computer and Information Sciences. Kuala Lumpur： IEEE：465-470.

[55]Navarro-Newball， A. A.， Moreno， I.， & Prakash， E. et al. （2015）. Gesture Based Human Motion and Game Principles to Aid Understanding of Science and Cultural Practices[J]. Multimedia Tools and Applications， 75（19）：11699-11722.

[56]Pulijala， Y.， Ma， M. H.， & Pears， M. et al. （2018）. Effectiveness of Immersive Virtual Reality in Surgical Training-A Randomized Control Trial[J]. Journal of Oral and Maxillofacial Surgery， 76（5）：1065-1072.

[57]Pyatt， K.， & Sims， R. （2012）. Virtual and Physical Experimentation in Inquiry-Based Science Labs： Attitudes， Performance and Access[J]. Journal of Science Education and Technology， 21（1）：133-147.

[58]Raees， M.， & Ullah， S. （2019）. GIFT： Gesture-Based Interaction by Fingers Tracking， an Interaction Technique for Virtual Environment[J]. International Journal of Interactive Multimedia and Artificial Intelligence， 5（5）：115-125.

[59]Regenbrecht， H.， & Schubert， T. （2002）. Real and Illusory Interactions Enhance Presence in Virtual Environments[J]. Presence： Teleoperators and Virtual Environments， 11（4）：425-434.

[60]Salzman， M. C.， Dede， C.， & Loftin， R. B. et al. （1999）. A Model for Understanding How Virtual Reality Aids Complex Conceptual Learning[J]. Presence-Teleoperators and Virtual Environments， 8（3）：293-316.

[61]Schubert， T.， Friedmann， F.， & Regenbrecht， H. （2001）. The Experience of Presence： Factor Analytic Insights[J]. Presence： Teleoperators and Virtual Environments， 10（3）：266-281.

[62]Sharma， R.， Zeller， M.， & Pavlovic， V. I. et al. （2000）. Speech/Gesture Interface to a Visual-Computing Environment[J]. IEEE Computer Graphics and Applications， 20（2）：29-37.

[63]Sherman， W. R.， & Craig， A. B. （2003）. Understanding Virtual Reality[M]. San Francisco， CA： Morgan Kaufmann.

[64]Sheu， F. R.， & Chen， N. S. （2014）. Taking a Signal： A Review of Gesture-Based Computing Research in Education[J]. Computers & Education， 78：268-277.

[65]Tsai， C. C.， Lin， S. S. J.， & Tsai， M. J. （2001）. Developing an Internet Attitude Scale for High School Students[J]. Computers & Education， 37（1）：41-51.

[66]Tussyadiah， I. P.， Wang， D.， & Jing， T. H. et al. （2018）. Virtual Reality， Presence， and Attitude Change： Empirical Evidence from Tourism[J]. Tourism Management， 66：140-154.

[67]Vuletic， T.， Duffy， A.， & Hay， L. et al. （2019）. Systematic Literature Review of Hand Gesture Used in Human Computer Interaction Interfaces[J]. International Journal of Human-Computer Studies，129：74-94.

[68]Ware， C.， & Jessome， D. R. （1988）. Using the Bat： A Six-Dimensional Mouse for Object Placement[J]. IEEE Computer Graphics and Applications， 8（6）：65-70.

[69]Witmer， B. G.， & Singer， M. J. （1998）. Measuring Presence in Virtual Environments： A Presence Questionnaire[J]. Presence-Teleoperators and Virtual Environments， 7（3）：225-240.

[70]Wolski， R.， & Jagodziński， P. （2017）. Virtual Laboratory-Using a Hand Movement Recognition System to Improve the Quality of Chemical Education[J]. British Journal of Educational Technology， 50（1）：218-231.

[71]Wu， B. J.， Wong， S. K.， & Li， T. W. （2019）. Virtual Titration Laboratory Experiment with Differentiated Instruction[J]. Computer Animation and Virtual Worlds， 30（3-4）：e1882.

[72]Wu， H. Y.， Wang， Y.， & Qiu， J. L. et al. （2019）. User-Defined Gesture Interaction for Immersive VR Shopping Applications[J]. Behaviour & Information Technology， 38（7）： 726-741.

[73]Xu， J. X.， Tang， Z.， & Zhao， H. W. et al. （2019）. Hand Gesture-Based Virtual Reality Training Simulator for Collaboration Rescue of a Railway Accident[J]. Interacting with Computers， 31（6）：577-588.

收稿日期 2021-01-05責(zé)任編輯 劉選