華子荀

摘? 要 從體感技術(shù)、體感技術(shù)教學(xué)應(yīng)用入手進(jìn)行研究綜述，在研究綜述和理論基礎(chǔ)指導(dǎo)下，選擇厲動的內(nèi)置插件Touchless

和Flash軟件開發(fā)并應(yīng)用厲動體感控制器的學(xué)習(xí)資源。選擇美國某州立大學(xué)展開案例研究，進(jìn)行為期兩周的教學(xué)：第一周為開發(fā)的互動學(xué)習(xí)資源學(xué)習(xí);第二周為利用體感控制器的Sculp-ting軟件進(jìn)行3D模型建構(gòu)，并利用Form 1+機(jī)器進(jìn)行3D打印。研究結(jié)果表明，厲動體感控制器及其學(xué)習(xí)資源能夠促進(jìn)學(xué)生的學(xué)習(xí)表現(xiàn)，開展有效的STEAM實(shí)踐教學(xué)活動。該研究對于推動體感技術(shù)教學(xué)應(yīng)用、豐富體感技術(shù)支持的課堂學(xué)習(xí)活動具有重要的理論意義和實(shí)踐價(jià)值。

關(guān)鍵詞 體感技術(shù);厲動體感控制器;STEAM教育;學(xué)習(xí)資源;實(shí)踐教學(xué)項(xiàng)目;Flash;3D

中圖分類號：G652? ? 文獻(xiàn)標(biāo)識碼：B

文章編號：1671-489X（2019）04-0012-05

Abstract This research focus on the aspects of gesture-based tech-nology and its teaching method. Based on the literature review and related theory， researcher apply the device of Leap Motion， the Touchless app， and Flash software in the process of development. For the case study， STEAM program has been chosen as the teachingframework. The period includes two weeks. The first weeks task is to apply the resources of interactive Leap Motion. The second weekstask is to teach students to construct virtual 3D model by the Sculp-ting app of Leap Motion， and to teach students printing the virtual 3D model by Form 1+ 3D printing machine. After case study， the researcher pointed out the conclusion that Leap Motions STEAM program can promote students learning performance and the active STEAM activities. The research not only can increase the resources and app of Leap Motion， but also help concrete the related theory of STEAM practice and gesture-based technology.

Key words gesture-based technology; Leap Motion gesture-based controller; STEAM education; learning resources; practical teaching project; Flash; 3D

1 前言

當(dāng)前，移動計(jì)算、體感技術(shù)、3D打印技術(shù)等新一代信息技術(shù)逐步在課堂學(xué)習(xí)中得到廣泛應(yīng)用。體感技術(shù)（Gesture-

based Technology）是一種直接利用軀體動作、聲音、眼動等方式與周邊的裝置或環(huán)境互動，由機(jī)器對用戶的動作進(jìn)行識別、解析并做出反饋的人機(jī)交互技術(shù)[1]。教育部在《教育信息化“十三五”規(guī)劃》中指出：“應(yīng)利用信息技術(shù)改造傳統(tǒng)教學(xué)中‘進(jìn)不去、看不見、動不了、難再現(xiàn)的難題?！斌w感技術(shù)以其互動性、情境性、沉浸性的特點(diǎn)，在動作模仿、技能訓(xùn)練、情境演練、動態(tài)展示等方面，具有其他技術(shù)所不具備的優(yōu)勢。而且在課堂教學(xué)中應(yīng)用體感技術(shù)主要是解決兩方面問題：一是某些現(xiàn)象、模型、實(shí)驗(yàn)在課堂教學(xué)中難以模擬再現(xiàn);二是傳統(tǒng)課堂中的實(shí)驗(yàn)、活動存在明顯短缺[2]。所以，體感技術(shù)教學(xué)應(yīng)用，對于解決課堂教學(xué)重點(diǎn)、難點(diǎn)，改進(jìn)學(xué)生的學(xué)習(xí)方式方面，具有獨(dú)特的重要作用。

2 研究綜述

體感技術(shù)? 體感技術(shù)是通過肢體運(yùn)動即可實(shí)現(xiàn)人機(jī)交互的一種技術(shù)實(shí)現(xiàn)方式，一般通過慣性感測、光學(xué)感測和綜合感測三種途徑進(jìn)行交互[1]。體感技術(shù)架構(gòu)由體感設(shè)備、體感軟件、現(xiàn)實(shí)設(shè)備、語音識別設(shè)備、手部數(shù)字化設(shè)備等組成[3]，具體的設(shè)備有數(shù)據(jù)手套、力矩球、觸覺和力覺反饋裝置、手持式交互設(shè)備等，基于這些設(shè)備能夠開展互動式教學(xué)應(yīng)用[4]。

體感技術(shù)支持的教學(xué)方法? 體感技術(shù)教學(xué)方面，體感技術(shù)能夠給予學(xué)生真實(shí)感受，所以在開展情境教學(xué)方面效果突出，教師可以利用體感技術(shù)進(jìn)行實(shí)物演示、扮演體會等教學(xué)，幫助學(xué)生進(jìn)行知識建構(gòu)[5];除此之外，技能訓(xùn)練、虛擬場景展示[6]、情境式教學(xué)、體驗(yàn)式學(xué)習(xí)[7]都能夠激發(fā)學(xué)生的創(chuàng)造性思維，培養(yǎng)其創(chuàng)新能力[8]。體感技術(shù)也要與實(shí)體結(jié)合進(jìn)行操控，從生活中提煉主題，以累進(jìn)的方式加強(qiáng)程序的功能性[9]。

問題提出? 通過以上綜述可以發(fā)現(xiàn)，體感技術(shù)在支持課堂教學(xué)方面具有突出作用，因此，如何應(yīng)用體感技術(shù)優(yōu)點(diǎn)開展教學(xué)應(yīng)用，成為本研究的主要問題，具體包括：

1）如何開發(fā)適用于Leap Motion體感控制器的學(xué)習(xí)資源？

2）如何開展案例研究，證明體感技術(shù)具有顯著的教學(xué)效果？

3 Leap Motion體感控制器及其學(xué)習(xí)資源開發(fā)

Leap Motion體感控制器? 基于成本低廉、性能穩(wěn)定和使用方便三個特點(diǎn)，本研究體感技術(shù)選擇Leap Motion體感控制器。Leap Motion（厲動）是一款于2013年發(fā)布的體感控制設(shè)備，支持Windows、OS X和Linux等系統(tǒng)的使用，其優(yōu)點(diǎn)是可以迅速捕捉人手指及其手勢的動作實(shí)現(xiàn)人機(jī)交互，與同類設(shè)備相比，厲動體感控制器使用便捷，安裝簡易[10]。厲動體感控制器擁有兩個單色紅外攝像頭（IR）和三個LED攝像頭，允許學(xué)習(xí)者進(jìn)行前后150°范圍內(nèi)的操作，活動距離在25～600毫米之間，具有較高的靈活性以及精準(zhǔn)性。厲動體感控制器使用示意圖如圖1所示。

如圖2所示，厲動體感控制器具有優(yōu)于其他體感控制設(shè)備的優(yōu)點(diǎn)，它可以精確識別手指關(guān)節(jié)，如遠(yuǎn)端指骨（Distal phalanges）、中間指骨（Intermediate phalanges）、近節(jié)指骨（Proximal phalanges）和掌骨（Metacarpals），允許更加精確的手勢操作[11]。厲動體感控制器基于紅外檢測技術(shù)，可檢測手部29塊骨頭、29個關(guān)節(jié)的復(fù)雜的手部動作，檢測精度高達(dá)1/100毫米。同時在150°的超寬幅空間中，可以利用厲動體感控制器在3D虛擬環(huán)境中進(jìn)行各種手勢操作。厲動體感控制器的檢測幀速為每秒200幀，可以對快速的手部動作進(jìn)行瞬時捕捉，實(shí)現(xiàn)體感技術(shù)與互動內(nèi)容的即時互動與反饋。

厲動體感控制器的學(xué)習(xí)資源開發(fā)? 本研究計(jì)劃實(shí)現(xiàn)的學(xué)習(xí)資源形式為利用控制器內(nèi)置插件Touchless for windows

進(jìn)行體感控制，利用Flash軟件開發(fā)可點(diǎn)擊的互動模塊學(xué)習(xí)體感技術(shù)控制方法，學(xué)習(xí)基礎(chǔ)知識后應(yīng)用厲動的3D模型軟件制作虛擬3D模型，最后在案例研究中優(yōu)化模型進(jìn)而3D打印模型。

如圖3所示，Touchless for windows應(yīng)用可以進(jìn)行光標(biāo)控制，靈活操作學(xué)習(xí)資源中的視頻模塊，為學(xué)習(xí)者提供了可懸空的虛擬觸摸屏，學(xué)習(xí)者只需抬起手或手指即可實(shí)現(xiàn)人機(jī)互動。同時能夠?qū)崿F(xiàn)用手指指向屏幕進(jìn)行點(diǎn)擊，在空中滑動手指進(jìn)行滾動，用單手或雙手進(jìn)行縮放等功能。

應(yīng)用Flash CS5軟件進(jìn)行可互動學(xué)習(xí)資源的開發(fā)，以HTML網(wǎng)頁的形式保存，能夠簡化操作。

在Flash中，使用ActionScript實(shí)現(xiàn)交互性。將每個視頻作為一個交互按鈕，學(xué)習(xí)者可以利用體感技術(shù)設(shè)備點(diǎn)擊按鈕實(shí)現(xiàn)人機(jī)交互的過程，交互按鈕的命令代碼如下所示：

【交互按鈕1】

addEventListener （MouseEvent.CLICK， clickListener1）：

Function clickLisener1 （event：MouseEvent）：void{

SoundMixer. stopALL（）;

gotoAndStop（“xxx”）;}

以上代碼即為點(diǎn)擊交互按鈕1，便執(zhí)行一個交互按鈕的命令。

之后對每一個知識進(jìn)行嵌套，嵌套的模式即依據(jù)學(xué)習(xí)資源結(jié)構(gòu)進(jìn)行編輯，在一個模塊之后加載外部文件，代碼如下：

Page1_mc.addEventListerner（MouseEvent. CLICK， page1

content）;

Function page1content （myevent：MouseEvent）：void{

Var myURL：URLRequest=new URLRequest （“交互按鈕1”）;

myLoader. Load（myURL）;

addChild（myLoader）;}

以上代碼通過創(chuàng)建一個偵聽器，檢測名為“page1_mc”

的對象上的鼠標(biāo)點(diǎn)擊事件，實(shí)現(xiàn)播放交互模塊“page1.swf”

的目的。完成以上命令，即完成資源的開發(fā)，該資源以網(wǎng)頁HTML的形式進(jìn)行互動，以適應(yīng)各種計(jì)算機(jī)平臺的使用。

體感技術(shù)學(xué)習(xí)資源的內(nèi)容設(shè)計(jì)? 體感技術(shù)學(xué)習(xí)資源包括3D建模軟件與體感控制器使用方法兩部分內(nèi)容。內(nèi)容設(shè)計(jì)包括菜單界面設(shè)計(jì)與模塊設(shè)計(jì)。

該學(xué)習(xí)資源的菜單界面設(shè)計(jì)首先將3D建模軟件的學(xué)習(xí)模塊與體感控制器的學(xué)習(xí)模塊進(jìn)行區(qū)分，以幫助學(xué)生能夠按目的進(jìn)行學(xué)習(xí)，在界面首行設(shè)計(jì)三個交互按鈕，即“開始”“3D建模軟件”“Leap Motion體感控制器”。其中“開始”即返回至主界面，“3D建模軟件”即進(jìn)入與3D建模軟件相關(guān)的菜單界面，“Leap Motion體感控制器”即進(jìn)入與厲動體感控制器相關(guān)的菜單界面。菜單界面中，學(xué)習(xí)資源按標(biāo)號進(jìn)行排序，學(xué)生既可以按順序進(jìn)行自主學(xué)習(xí)，也可以按目的索引標(biāo)號進(jìn)行針對性學(xué)習(xí)。其中“3D建模軟件”模塊資源包括八個，“Leap Motion體感控制器”模塊資源包括七個。

學(xué)習(xí)模塊設(shè)計(jì)方面，在每一個模塊布局中均放置了說明文字、微課視頻窗口和交互按鈕。其中說明文字即該模塊的名稱;視頻窗口是將開發(fā)的微課視頻資源按照播放器的形式放入Flash中，便于學(xué)生觀看。如圖4所示，交互按鈕設(shè)計(jì)三個，分別是“主界面”“上一節(jié)”和“下一節(jié)”。其中“主界面”即返回至課堂學(xué)習(xí)資源的主界面，“上一節(jié)”即觀看當(dāng)前視頻資源上一節(jié)的視頻資源，“下一節(jié)”即按照標(biāo)號順序?qū)σ曨l資源進(jìn)行觀看。在學(xué)習(xí)界面設(shè)計(jì)中，為保證學(xué)習(xí)者人機(jī)互動的流暢性，盡量將交互按鈕的范圍擴(kuò)大，同時保證視頻窗口的比例，保證學(xué)習(xí)者能夠?qū)W習(xí)到視頻中的關(guān)鍵知識點(diǎn)。

4 基于美國某州立大學(xué)的STEAM實(shí)踐教學(xué)項(xiàng)目案例

美國某州立大學(xué)STEAM實(shí)踐教學(xué)項(xiàng)目? 本研究選擇美國某州立大學(xué)STEAM實(shí)踐教學(xué)項(xiàng)目作為體感技術(shù)學(xué)習(xí)應(yīng)用案例。該州立大學(xué)是一所以理工類專業(yè)為主要特色的美國公立大學(xué)，由于該學(xué)校教育類專業(yè)以STEAM教育為主，因此在科學(xué)、技術(shù)、工程類教學(xué)法和教學(xué)支撐工具上能夠?yàn)楸狙芯刻峁┍憷膶?shí)驗(yàn)條件。該項(xiàng)目基于州立大學(xué)教育學(xué)院的STEAM教學(xué)實(shí)踐開展，已經(jīng)對大學(xué)的學(xué)生、教師、訪問學(xué)者展開案例研究。

實(shí)驗(yàn)?zāi)康? 本研究采用單組前后測對比實(shí)驗(yàn)的方法，驗(yàn)證該學(xué)習(xí)策略對促進(jìn)學(xué)生的學(xué)習(xí)質(zhì)量和學(xué)習(xí)效果的有效性。將學(xué)習(xí)質(zhì)量界定為學(xué)生的課堂學(xué)習(xí)表現(xiàn);基于Clarke

（2008）對學(xué)習(xí)效果的詮釋，將學(xué)習(xí)效果界定為五項(xiàng)指標(biāo)，包括學(xué)習(xí)動機(jī)、自主學(xué)習(xí)能力、協(xié)作學(xué)習(xí)能力、問題解決能力和創(chuàng)新性思維能力[11]，最后通過學(xué)習(xí)質(zhì)量、學(xué)習(xí)效果、指標(biāo)評價(jià)來驗(yàn)證本研究的結(jié)論。

實(shí)驗(yàn)對象? 本研究選取大學(xué)的16名學(xué)生志愿者，進(jìn)行為期兩周的準(zhǔn)實(shí)驗(yàn)研究（2016年5月16日至6月1日），同時向具有不同國家背景（美國、中國、韓國、墨西哥、巴西等）、專業(yè)背景（核能、航空航天、醫(yī)學(xué)、文學(xué)等）、層次背景（本科生、碩士、博士、博士后、訪問學(xué)者）的36名被調(diào)查者進(jìn)行調(diào)查，以驗(yàn)證應(yīng)用效果。

實(shí)驗(yàn)過程? 該課程教學(xué)周期為兩周，第一周以學(xué)習(xí)互動資源為主。如圖5所示，基于厲動體感控制器，利用開發(fā)的“Leap Motion使用方法”Flash學(xué)習(xí)資源進(jìn)行教學(xué)。利用厲動體感控制器可以對資源進(jìn)行旋轉(zhuǎn)、縮放、查看等操作的學(xué)習(xí)，以促進(jìn)學(xué)生對利用體感技術(shù)形成初步了解。在教學(xué)過程中，教師將兩個學(xué)生作為一組，利用體感控制器進(jìn)行查看，并在之后的展示環(huán)節(jié)進(jìn)行展示;完成展示部分，學(xué)生將根據(jù)該軟件和技術(shù)對教學(xué)法進(jìn)行討論，以豐富STEAM教育中體感技術(shù)應(yīng)用的教學(xué)法。

第二周以工程課內(nèi)容為主，選擇厲動體感控制器和Form1+3D打印機(jī)作為教學(xué)工具，利用Sculpting軟件制作三維模型，讓學(xué)生熟悉三維建模與3D打印制作流程。如圖6所示，利用Sculpting軟件允許學(xué)生進(jìn)行3D模型的建構(gòu)，在建構(gòu)過程中學(xué)生通過厲動體感控制器對模型進(jìn)行相關(guān)操作，完成3D模型后將導(dǎo)出的STL文件與Form 1+打印機(jī)連接，利用3D打印機(jī)將建模作品實(shí)體化，如圖7所示。此課程目的旨在向?qū)W生介紹體感技術(shù)與3D打印技術(shù)相結(jié)合的教學(xué)過程，并促進(jìn)學(xué)生操作體感技術(shù)進(jìn)行建模以及操作3D打印機(jī)制作模型的過程。

實(shí)驗(yàn)結(jié)果

①學(xué)習(xí)表現(xiàn)評價(jià)。教師對學(xué)生的學(xué)習(xí)表現(xiàn)進(jìn)行評價(jià)，采取前后測對比實(shí)驗(yàn)的方法，在學(xué)生參與學(xué)習(xí)之前進(jìn)行調(diào)查，確定學(xué)生的初始水平，在學(xué)習(xí)結(jié)束后進(jìn)行后測評定，該評定結(jié)果為教師根據(jù)學(xué)生在課堂中的表現(xiàn)以及任務(wù)完成情況給出，評定等級為5級，包括A+、A、B+、B、C，分別對應(yīng)5、4、3、2、1，采用IBM SPSS 22對學(xué)生的學(xué)習(xí)成績進(jìn)行分析，采用單樣本t檢驗(yàn)的方法，首先提出假設(shè)H0，即研究對象前后測成績無顯著差異，分析后得到學(xué)生前后測成績均值如表1所示。

表中p=0.00，小于0.05，故拒絕原假設(shè)H0，即拒絕單組前后測成績無顯著差異。驗(yàn)證得出結(jié)論，學(xué)生在參與以體感技術(shù)支持學(xué)習(xí)模式下的教學(xué)活動后，其學(xué)習(xí)質(zhì)量得到明顯提高。

②學(xué)習(xí)態(tài)度評價(jià)。學(xué)習(xí)態(tài)度評價(jià)調(diào)查分別向16名學(xué)生和36名調(diào)查者展開，根據(jù)學(xué)習(xí)態(tài)度子指標(biāo)設(shè)計(jì)學(xué)習(xí)態(tài)度調(diào)查量表，該量表為五維單向量表，在課程結(jié)束后向?qū)W生發(fā)放，利用F檢驗(yàn)得到結(jié)果，F(xiàn)值計(jì)算公式如下：

其中，F(xiàn)值以大于0.5為標(biāo)志，解釋為回答者對該項(xiàng)表示肯定。a為認(rèn)為“很好”的人數(shù)，b為認(rèn)為“較好”的人數(shù)，c為認(rèn)為“中等”的人數(shù)，d為認(rèn)為“較差”的人數(shù)，e為認(rèn)為“很差”的人數(shù)，n為總?cè)藬?shù)。通過F檢驗(yàn)，得到五項(xiàng)能力的均值如表2所示。

5 結(jié)語

本研究從體感技術(shù)、體感技術(shù)教學(xué)應(yīng)用方面入手，進(jìn)行研究綜述，在研究綜述和理論基礎(chǔ)指導(dǎo)下，選擇厲動的內(nèi)置插件Touchless和Flash軟件開發(fā)并應(yīng)用厲動體感控制器的學(xué)習(xí)資源。選擇美國某州立大學(xué)展開案例研究，進(jìn)行為期兩周的教學(xué)：第一周為開發(fā)的互動學(xué)習(xí)資源學(xué)習(xí);第二周為利用體感控制器的Sculpting軟件進(jìn)行3D模型建構(gòu)，并利用Form 1+機(jī)器進(jìn)行3D打印。課程結(jié)束后，通過對16名學(xué)生和36名觀察者的調(diào)查得到相關(guān)數(shù)據(jù)：學(xué)生的前測成績均值為2.500 0，后測成績均值為4.687 5，p值為0（0<0.05），表明厲動體感控制器及其學(xué)習(xí)資源能夠提高學(xué)生的學(xué)習(xí)表現(xiàn)。學(xué)習(xí)態(tài)度的調(diào)查結(jié)果為：學(xué)習(xí)動機(jī)均值（F1=0.90）、自主學(xué)習(xí)能力均值（F2=0.90）、協(xié)作學(xué)習(xí)能力均值（F3=0.78）、問題解決能力均值（F4=0.82）、創(chuàng)新性思維能力均值（F5=0.88）都超過均值0.5，表明學(xué)生和觀察者都認(rèn)同厲動體感控制器及其學(xué)習(xí)資源的教學(xué)效果。通過以上數(shù)據(jù)表明，厲動體感控制器及其學(xué)習(xí)資源能夠開展有效的STEAM實(shí)踐教學(xué)活動，對于推動體感技術(shù)教學(xué)應(yīng)用、豐富課堂學(xué)習(xí)活動和促進(jìn)信息技術(shù)與教育教學(xué)深度融合，具有重要的理論意義和實(shí)踐價(jià)值。

參考文獻(xiàn)

[1]李青，王青.體感交互技術(shù)在教育中的應(yīng)用現(xiàn)狀述評[J].遠(yuǎn)程教育雜志，2015（1）：48-56.

[2]CAI S， WANG X， Chiang F K. A case study of AugmentedReality simulation system application in a chemistrycourse[J].Computers in Human Behavior，2014（37）：31-40.

[3]鮑禮銘.基于虛擬現(xiàn)實(shí)技術(shù)在教育系統(tǒng)中的運(yùn)用[J].電子測試，2015（3X）：130-132.

[4]葉裴雷.虛擬現(xiàn)實(shí)技術(shù)及應(yīng)用分析[J].電子技術(shù)與軟件工程，2015（16）：44.

[5]葛萱，王清.虛擬現(xiàn)實(shí)技術(shù)在教學(xué)中的應(yīng)用模式探析[J].中國醫(yī)學(xué)教育技術(shù)，2007，21（3）：198-201.

[6]姬洪強(qiáng).淺談虛擬現(xiàn)實(shí)技術(shù)在學(xué)科教學(xué)中的應(yīng)用[J].中國現(xiàn)代教育裝備，2008（3）：46-47.

[7]董麗，陳仕品.體感技術(shù)：拓展教學(xué)方式改革的新途徑[J].軟件導(dǎo)刊·教育技術(shù)，2015（7）：93-95.

[8]朱海，李瑞芬，趙輝.談虛擬現(xiàn)實(shí)技術(shù)及實(shí)踐教學(xué)的虛擬化[J].現(xiàn)代遠(yuǎn)距離教育，2005（3）：64-66.

[9]秦賽玉.Kinect2Scratch：嘗試以更自然的方式對話機(jī)器[J].中國信息技術(shù)教育，2014（1）：64-67.

[10]Potter L E， Araullo J， Carter L. The Leap Motion controller： a view on sign language[M]//OzCHI 13 Proceedings of the 25th Australian Computer-Human Interaction Conference： Augmentation， Application， Innovation， Collaboration.2013：175-178.

[11]Carmen A G D Olmo. Study and analysis of the LeapMotion sensor and the Software Development Kit（SDK） for the implementation of visual Human Computer Interfaces[DB/OL].http：//oa.upm.es/37299/7/PFC_CARMEN_ALABART_GUTIERREZ_DEL_OLMO_2015.pdf.