張?jiān)姵保?錢冬明

（1.華東師范大學(xué) 教育信息技術(shù)學(xué)系，上海 20062；2.華東師范大學(xué) 教育信息化系統(tǒng)工程研究中心暨上海數(shù)字化教育裝備工程技術(shù)研究中心，上海 20062）

0 引 言

計(jì)算機(jī)發(fā)展的歷史，是人機(jī)交互的發(fā)展史，也是從人類適應(yīng)計(jì)算機(jī)到計(jì)算機(jī)不斷適應(yīng)人的一個(gè)發(fā)展史.Jürgen Ziegler將人機(jī)交互技術(shù)歸納為以下幾個(gè)發(fā)展階段［1］.

（1）早期的手工作業(yè)階段.當(dāng)時(shí)的交互是由設(shè)計(jì)者采用手工操作和二進(jìn)制機(jī)器代碼的方法去操控計(jì)算機(jī).

（2）20世紀(jì)中期的作業(yè)控制語言及交互命令語言（Command Line Interface，CLI）階段.其特點(diǎn)是計(jì)算機(jī)程序員采用批處理作業(yè)語言以及交互命令語言的方式實(shí)現(xiàn)人與計(jì)算機(jī)之間的交互，需要程序員牢記許多計(jì)算機(jī)命令和熟練地敲擊鍵盤.

（3）20世紀(jì)70年代后期到現(xiàn)在的圖形用戶界面（Graphical User Interface，GUI）階段.其主要特點(diǎn)是桌面隱喻、WIMP（窗口（Windows）、圖標(biāo)（Icons）、菜單（Menus）、指針選?。≒ointing））技術(shù)、直接操縱和“所見即所得（What You See Is What You Get，WYSIWYG）”.GUI簡(jiǎn)明易學(xué)，使不懂計(jì)算機(jī)的普通用戶也可以熟練地使用鍵盤和鼠標(biāo)操作電腦.因此計(jì)算機(jī)的使用人群迅速擴(kuò)展.

（4）多通道人機(jī)交互階段（Multimodal Human－Computer interaction，MMI）.它利用人的多種感覺通道和動(dòng)作通道（如聲音、姿勢(shì)、表情等輸入），以并行、非精確的方式與計(jì)算機(jī)進(jìn)行交互，可以提高人機(jī)交互的自然性和效率［2］.用戶可以使用不同生理和心理信息通道（圖1所示），來實(shí)現(xiàn)與計(jì)算機(jī)應(yīng)用例程的對(duì)話［3］.從1946年第一臺(tái)計(jì)算機(jī)的誕生到現(xiàn)在，人機(jī)交互的模式繞了一圈后又回到人類自然狀態(tài)下的交互模式.人機(jī)自然交互技術(shù)（Human－Computer Nature Interaction，HCNI或Human－Machine Nature Interaction，HMNI）是一種基于視線跟蹤、語音識(shí)別、手勢(shì)輸入、面部識(shí)別、感覺反饋等功能的新型交互技術(shù)，允許用戶利用自身的內(nèi)在感覺和認(rèn)知技能，以并行、非精確方式與計(jì)算機(jī)系統(tǒng)進(jìn)行交互，旨在提高人機(jī)交互自然性和高效性的一種交互方式［4］，也被稱為直覺化的交互.

圖1 多通道人機(jī)交互界面概念模型Fig.1 Multimodal human－computer interface conceptual model

人機(jī)交互技術(shù)從手工作業(yè)階段到多通道交互階段的發(fā)展變化可以歸納為以下幾點(diǎn).

（1）交互載體，由計(jì)算機(jī)向移動(dòng)設(shè)備轉(zhuǎn)變.從最開始電腦到筆記本，然后平板電腦、智能手機(jī)，交互的載體逐步微型化和便攜化.

（2）交互環(huán)境，由桌面變成無處不在的物理空間.隨著聲音、姿勢(shì)等交互方式的融入，交互環(huán)境不再被客觀的硬件設(shè)備所限制，用戶可以在一定的交互空間內(nèi)自由活動(dòng).

（3）交互方式，從命令方式轉(zhuǎn)變成感知方式.現(xiàn)在人們不需要通過生硬的代碼命令行來控制電腦，可以通過筆、語音、視覺、觸覺實(shí)現(xiàn)同電腦的交互.

（4）交互處理，由原來命令加參數(shù)的交互處理模式轉(zhuǎn)變?yōu)樯舷挛睦斫?、?jīng)驗(yàn)捕捉的模式.計(jì)算機(jī)可以通過捕捉用戶的生活經(jīng)驗(yàn)，以及交互活動(dòng)的上下文來理解用戶的意圖和情感狀況.

正如比爾·蓋茨所預(yù)言：電腦毫無表情的時(shí)代即將結(jié)束，21世紀(jì)將是情感電腦大行其道的時(shí)代；未來計(jì)算機(jī)發(fā)展方向是讓計(jì)算機(jī)能看、能聽、能說、會(huì)思考！像人一樣聽得見，看得見，像人一樣交談.這些都將依賴于人機(jī)自然交互的發(fā)展.

1 人機(jī)自然交互的教育應(yīng)用

Horizon年度報(bào)告［5］是新媒體聯(lián)盟（New media consortium，NMC）基于 Horizon項(xiàng)目（Horizon Project）上的持續(xù)工作報(bào)告.Horizon項(xiàng)目是一個(gè)長期的定性研究項(xiàng)目，旨在確立并闡述可能會(huì)對(duì)以教育為主的組織機(jī)構(gòu)里教學(xué)、學(xué)習(xí)、研究或創(chuàng)作產(chǎn)生重大影響的新興技術(shù).表1中列出了2011—2013年Horizon報(bào)告所列出的重要新興技術(shù).其中，姿勢(shì)計(jì)算以及可穿戴技術(shù)都是自然交互中的一種.不難想象，人機(jī)自然交互技術(shù)的發(fā)展對(duì)于教育的促進(jìn)作用不容忽視，目前教育的革新已經(jīng)日益依賴于當(dāng)前的技術(shù)發(fā)展.目前我國大部分教育所使用的交互技術(shù)還是處于圖形界面階段，多通道人機(jī)交互技術(shù)在教育領(lǐng)域還處于研究試用階段.

表1 2011－2013年Horizon報(bào)告Tab.1 2011－2013 Horizon report

人機(jī)自然交互相比傳統(tǒng) WIMP模式下的教學(xué)的特點(diǎn)［6－7］是：①比基于命令與反饋的WIMP模式更自然、更具表現(xiàn)力；②減少師生對(duì)傳統(tǒng)鍵盤和鼠標(biāo)的依賴；③用戶界面更加自然，使之易學(xué)或無需學(xué)習(xí)；④適用于更為廣泛的教育群體，比如聾啞人群或智障人群等；⑤適用于更多類型的計(jì)算機(jī)應(yīng)用；⑥以用戶為中心，而不是以設(shè)備為中心.

人機(jī)自然交互技術(shù)能為學(xué)生提供一個(gè)熟悉且逼真的交互場(chǎng)景，學(xué)習(xí)活動(dòng)中學(xué)生所需要的技術(shù)能力降到最低，可讓學(xué)生更加專注于知識(shí)內(nèi)容本身的學(xué)習(xí).通過聲音、動(dòng)作與學(xué)習(xí)內(nèi)容進(jìn)行交互能有效增加學(xué)生的參與度，讓學(xué)生一個(gè)旁觀者成為一個(gè)學(xué)習(xí)活動(dòng)的參與者，從而大大提高學(xué)生的積極性促進(jìn)有效教學(xué).泛在學(xué)習(xí)（U－Learning）也是當(dāng)前教育的一個(gè)重要發(fā)展趨勢(shì)，傳統(tǒng)移動(dòng)設(shè)備的交互模式已經(jīng)難以滿足教師和學(xué)生的學(xué)習(xí)需求，自然交互技術(shù)為泛在學(xué)習(xí)的進(jìn)一步發(fā)展提供了一個(gè)新的方向.“情感計(jì)算”、“學(xué)習(xí)分析”“姿勢(shì)計(jì)算”等等都與人機(jī)交互的發(fā)展有著密切的關(guān)系.人機(jī)自然交互在教育領(lǐng)域有著很大的應(yīng)用前景，可推動(dòng)傳統(tǒng)的教學(xué)環(huán)境的革新.

1.1 基于人機(jī)自然交互技術(shù)的學(xué)習(xí)資源

學(xué)習(xí)資源包括學(xué)習(xí)資源本身以及學(xué)習(xí)工具.教師可利用增強(qiáng)現(xiàn)實(shí)技術(shù)和自然交互技術(shù)呈現(xiàn)的各種真實(shí)的學(xué)習(xí)場(chǎng)景，讓學(xué)生通過手勢(shì)、聲音以及姿勢(shì)動(dòng)作與學(xué)習(xí)資源進(jìn)行交互，使他們?cè)趯W(xué)習(xí)活動(dòng)中能夠身臨其境，增強(qiáng)其學(xué)習(xí)興趣和動(dòng)機(jī)，改變傳統(tǒng)教育中以教師為主學(xué)生為輔的教學(xué)模式.在學(xué)習(xí)過程中，學(xué)習(xí)者的面部表情、身體姿勢(shì)和語言是非常豐富的，當(dāng)他們能夠理解并接受學(xué)習(xí)內(nèi)容時(shí)，會(huì)處于情緒高漲狀態(tài)，產(chǎn)生微笑的表情或歡快的言語；反之，若是情緒低落，則表現(xiàn)為眉頭緊鎖、目光凝滯、意志消沉等.在傳統(tǒng)的教學(xué)中，教師卻無法顧及到每個(gè)學(xué)生的面部表情、姿勢(shì)或者語言.但是通過人機(jī)自然交互技術(shù)就可以實(shí)時(shí)對(duì)學(xué)生進(jìn)行監(jiān)控，通過“情感模型”，從而感知，識(shí)別并且理解學(xué)生的情感.除了上述方面，人機(jī)自然交互技術(shù)還可為學(xué)生的學(xué)習(xí)檔案袋提供更多的數(shù)據(jù)支持，教師可以對(duì)學(xué)生在知識(shí)獲取、課堂互動(dòng)、小組協(xié)作等各個(gè)環(huán)節(jié)進(jìn)行學(xué)習(xí)狀況追蹤，建立學(xué)習(xí)者模型，以便更好地開展教學(xué)活動(dòng).

1.2 基于人機(jī)自然交互技術(shù)的教學(xué)社群建立與研究

基于人機(jī)自然交互技術(shù)的教學(xué)社群，結(jié)合虛擬現(xiàn)實(shí)技術(shù)可以為學(xué)生提供一個(gè)虛擬的交流社群，即學(xué)生和教師可以在異地同時(shí)登陸到教學(xué)社群，組成小組，建立一個(gè)虛擬的圓桌會(huì)議討論，學(xué)生和教師可以自由選擇一個(gè)虛擬的人物代表自己參加圓桌會(huì)議，而這個(gè)虛擬的人物可以完全模仿某主人的姿勢(shì)動(dòng)作、手勢(shì)、臉型等.學(xué)生和教師通過自然交互技術(shù)如身臨其境地參加圓桌會(huì)議.這種基于人機(jī)自然交互的教學(xué)社群改善了原來只有單純的文字和圖片的交互方式，把教師和學(xué)生的聲音、姿勢(shì)以及臉型等所有的信息整合起來，增加了教師和學(xué)生在教學(xué)社群中個(gè)人參與的情境性，提高了教師和學(xué)生的用戶體驗(yàn).

此外，基于人機(jī)自然交互技術(shù)的教學(xué)社群，可以通過對(duì)學(xué)生學(xué)習(xí)風(fēng)格等相關(guān)數(shù)據(jù)（聲音、姿勢(shì)動(dòng)作）的分析，為學(xué)生智能地形成教學(xué)社群，即對(duì)于不同的學(xué)習(xí)活動(dòng)，對(duì)學(xué)習(xí)風(fēng)格不同的學(xué)生進(jìn)行相應(yīng)的分組，讓教學(xué)社群的建立更加科學(xué)，更加智能化.

1.3 基于人機(jī)自然交互技術(shù)的教學(xué)方式

傳統(tǒng)的教學(xué)都是教師演示，學(xué)生在下面被動(dòng)接受教師所傳授的知識(shí).而基于人機(jī)自然交互技術(shù)的教學(xué)強(qiáng)調(diào)的是學(xué)生主動(dòng)通過姿勢(shì)動(dòng)作、手勢(shì)以及聲音這些交互元素身臨其境地去學(xué)習(xí)知識(shí).這樣學(xué)生則由一個(gè)被動(dòng)的接受者，成為了一個(gè)主動(dòng)的探索者，其學(xué)習(xí)的積極性得到了增加.

人機(jī)自然交互技術(shù)是社會(huì)信息化背景下學(xué)生對(duì)教育發(fā)展的訴求，代表了教育信息化的一個(gè)重要方向.基于人機(jī)自然交互技術(shù)的學(xué)習(xí)資源、教學(xué)社群以及教學(xué)方式所組成的教學(xué)環(huán)境的核心理念在于為學(xué)生提供一個(gè) “個(gè)人自學(xué)”、“研討性學(xué)習(xí)”、“在做中學(xué)”的學(xué)習(xí)環(huán)境，可極大地發(fā)揮學(xué)生學(xué)習(xí)的自主性，改善傳統(tǒng)“課堂學(xué)習(xí)”的被動(dòng)性和依賴性.教師需要從以學(xué)習(xí)者為中心的教學(xué)理念出發(fā)，結(jié)合自然人機(jī)交互技術(shù)，設(shè)計(jì)個(gè)性化學(xué)習(xí)的學(xué)習(xí)環(huán)境，讓學(xué)生可以輕松地、投入地和有效地在一個(gè)智能的學(xué)習(xí)環(huán)境中學(xué)習(xí).

2 體感技術(shù)以及Kinect歷史

Kinect是微軟公司研制的一款體感外設(shè)，最初是針對(duì)其游戲主機(jī)XBOX360推出的一套外設(shè)產(chǎn)品.Kinect的整個(gè)發(fā)展歷史經(jīng)歷了XBOX360—Natal—Kinect三個(gè)階段（見表2）.XBOX360主要是為了給用戶創(chuàng)建一個(gè)生動(dòng)的娛樂體驗(yàn).它注重用戶的個(gè)性化喜愛和個(gè)人風(fēng)格，硬件設(shè)備包括游戲主機(jī)以及手柄搖桿等外接設(shè)備.但這種傳統(tǒng)的娛樂方式使游戲玩家和所有人都分隔開了.Kinect可以通過3D體感攝影機(jī)，導(dǎo)入即時(shí)動(dòng)態(tài)捕捉、影像辨識(shí)、麥克風(fēng)輸入、語音辨識(shí)、社群互動(dòng)等功能，讓玩家在游戲中開車、互動(dòng)，通過互聯(lián)網(wǎng)與其他玩家分享圖片和信息等.

Kinect是以XBOX360游戲機(jī)的周邊外設(shè)發(fā)展出來的.把XBOX360比作游戲機(jī)，則Kinect可比作為游戲手柄，只不過此游戲手柄能識(shí)別玩家的姿勢(shì)動(dòng)作、手勢(shì)以及聲音.隨著Kinect技術(shù)不斷地成熟，Kinect最終獨(dú)立于XBOX360，可以直接和普通的PC機(jī)連接，對(duì)人體的姿勢(shì)動(dòng)作進(jìn)行識(shí)別.由于Kinect設(shè)備單一簡(jiǎn)單，除了在游戲領(lǐng)域，醫(yī)學(xué)、教育、農(nóng)業(yè)等眾多領(lǐng)域都有Kinect的身影.

表2 Kinect的歷史發(fā)展Tab.2 The history development of Kinect

3 Kinect技術(shù)基本框架

Kinect主要技術(shù)有三個(gè)：深度識(shí)別（3D圖像識(shí)別技術(shù)）、人體骨骼追蹤技術(shù)（動(dòng)作捕捉技術(shù)）、語音識(shí)別技術(shù).

3.1 深度識(shí)別（3D圖像識(shí)別技術(shù)）

采用3D深度攝像機(jī)技術(shù)，可以捕捉到人所在的空間位置，原理是紅外線感應(yīng).Kinect上有1個(gè)3D深度感應(yīng)攝像頭，首先通過紅外線發(fā)射器發(fā)出一種不可見鐳射光，這個(gè)光線經(jīng)過擴(kuò)散片分布在測(cè)量的空間內(nèi)；當(dāng)鐳射光射到人體之后會(huì)形成反射斑點(diǎn)，另外一個(gè)紅外線攝像機(jī)對(duì)這些反射斑點(diǎn)進(jìn)行記錄，通過芯片合成出3D深度信息的圖像（圖2）。

圖2 Kineet的深度識(shí)別Fig.2 The recognition of the depth by Kineet

3.2 人體骨骼追蹤技術(shù)（動(dòng)作捕捉技術(shù)）

識(shí)別到3D圖像深度信息后，通過軟件計(jì)算出人體主要的骨骼位置，通過精確掌握玩家身形輪廓與肢體位置來判斷玩家的姿勢(shì)動(dòng)作，從而捕捉到人（玩家）的動(dòng)作.目前只支持2個(gè)人的骨骼捕捉（圖3）.

3.3 語音識(shí)別技術(shù)

在3 m以外過濾掉背景噪音和其他不相干聲音，準(zhǔn)確地識(shí)別出玩家的語音；同時(shí)也支持語音控制.Kinect系統(tǒng)還有一個(gè)根據(jù)不同國家不同的口音建立的“聲效模型”，用來識(shí)別不同的口語和語言.語音識(shí)別技術(shù)在視頻會(huì)議中很有用，遠(yuǎn)距離拾音，使用更方便.這個(gè)技術(shù)為Kinect的可視通話提供了保障.

圖3 Kineet的人體骨骼追蹤技術(shù)Fig.3 Human body skeleton tracking technology by Kineet

4 Kinect應(yīng)用現(xiàn)狀

隨著體感技術(shù)的高速發(fā)展，Kinect在各個(gè)領(lǐng)域的應(yīng)用價(jià)值已初見端倪，主要包括教育領(lǐng)域、醫(yī)學(xué)領(lǐng)域、虛擬應(yīng)用、機(jī)械控制等.

4.1 教育領(lǐng)域

（1）特殊教育

特殊教育事業(yè)是國民教育中的一個(gè)重要組成部分，是體現(xiàn)教育公平的一個(gè)重要標(biāo)志.由于教育對(duì)象的特殊性，教學(xué)工作者在現(xiàn)實(shí)的教學(xué)過程中面對(duì)著更多的問題：學(xué)生理解能力差，在領(lǐng)會(huì)教師講授的知識(shí)點(diǎn)上存在難度；學(xué)生的心理壓力大，自卑心理嚴(yán)重，影響教學(xué)效果的實(shí)現(xiàn)；學(xué)生先天基礎(chǔ)參差不齊，對(duì)教學(xué)內(nèi)容的分配及組織帶來難度等.Kinect作為一種自然人機(jī)交互手段，可以有效地緩沖特殊兒童的教學(xué)抵觸情緒，通過一種娛樂的手段來達(dá)到教學(xué)目的.此外Kinect體感技術(shù)可以實(shí)時(shí)監(jiān)控特殊兒童的身體動(dòng)作，并及時(shí)反饋給教師.

Elton S.Sarmanho等借助一個(gè)教育游戲ALERV來幫助殘疾兒童完成閱讀和寫作任務(wù).而ALERV的設(shè)計(jì)正是使用了Kinect的體感技術(shù)和聲音識(shí)別技術(shù).殘疾兒童在學(xué)習(xí)寫作和閱讀的過程中，表現(xiàn)出了濃厚的好奇心和積極性.此外ALERV也提高了兒童的互動(dòng)能力［7］.

含手指行為在殘疾兒童中是一個(gè)常見的現(xiàn)象，大約有17%的殘疾兒童有此行為.含手指給教師的正常教學(xué)帶來了諸多不便，因?yàn)榻處煵豢赡軙r(shí)時(shí)刻刻看著學(xué)生.Tzu－Wei Wei通過Kinect深度成像技術(shù)，來識(shí)別殘疾兒童含手指行為，其正確反饋率達(dá)到86.5%.該方法能快速準(zhǔn)確地將含手指行為反饋給特殊教育教師，并且及時(shí)提出干預(yù)策略［8］.

YaoJen Chang等人基于Kinect動(dòng)作捕捉系統(tǒng)開發(fā)了一個(gè)智能康復(fù)系統(tǒng)，幫助殘疾學(xué)生恢復(fù)身體.參與者借助于這套智能康復(fù)系統(tǒng)，有效地提高了運(yùn)動(dòng)能力，肌肉耐力也有很好的恢復(fù).該系統(tǒng)有助于提高殘疾學(xué)生的參與積極性，從而減少治療師的工作量.

（2）數(shù)學(xué)教育

目前，Kinect在數(shù)學(xué)中的運(yùn)用主要目的在于突出Kinect自然交互特性和游戲性.Begel指出動(dòng)覺學(xué)習(xí)活動(dòng)（Kinesthetic learning Activity）能有效地吸引學(xué)生的注意力［9］.基于Ki－nect的數(shù)學(xué)學(xué)習(xí)活動(dòng)，不僅僅需要學(xué)生進(jìn)行腦力運(yùn)算，還需要學(xué)生協(xié)調(diào)他們的肢體.通過肢體的交互活動(dòng)，不僅增加了學(xué)生的參與度，還提高了學(xué)生的注意力.此外，基于Kinect的學(xué)習(xí)工具可以及時(shí)有效地反饋學(xué)生的學(xué)習(xí)態(tài)度，幫助教師調(diào)整教學(xué)策略.

Washington Bothell的兩位學(xué)生Jack Chang和Jeb Palveas用Kinect開發(fā)了一個(gè)數(shù)學(xué)教學(xué)軟件，讓學(xué)生通過肢體控制二次曲線的狀態(tài)［10］.Elwin Lee，Xiyuan Liu等在數(shù)學(xué)算術(shù)教學(xué)中使用Kinect數(shù)學(xué)游戲Xdigit，讓學(xué)生通過手勢(shì)以及頭部動(dòng)作控制電腦程序來學(xué)習(xí)10以內(nèi)的加減乘除，從而達(dá)到算術(shù)學(xué)習(xí)的目的［11］.此外Steuart W.Weller小學(xué)使用Kinect輔助數(shù)學(xué)算術(shù)教學(xué)，通過射飛鏢的游戲，讓學(xué)生體會(huì)加法減法運(yùn)算中所出現(xiàn)的各種情況，以及其算法之間的規(guī)律［9］.Katherine Isbister在數(shù)學(xué)教育中使用Scoop，讓學(xué)生以一種比較舒適的姿勢(shì)動(dòng)作來學(xué)習(xí)，改善了學(xué)生數(shù)學(xué)學(xué)習(xí)的態(tài)度［12］.

（3）語文教育

傳統(tǒng)的語文閱讀教學(xué)中，看重的是學(xué)生的文字表達(dá)，而忽視學(xué)生的肢體動(dòng)作.但是一個(gè)人要向外界傳達(dá)完整的信息，文字成分只占7%，聲調(diào)占38%，另外55%的信息都需要由非語言的體態(tài)語言來傳達(dá).上述Kinect的應(yīng)用，能讓語言文字和姿勢(shì)動(dòng)作完美融合在語言模仿教學(xué)中，幫助學(xué)生真正地進(jìn)行閱讀學(xué)習(xí).

微軟公司于CES2011公布的Avatar Kinect幫助Steuart W.Weller小學(xué)的學(xué)生克服閱讀障礙.在該教學(xué)應(yīng)用中，學(xué)生給電腦中虛擬的“Avatar”配音，同時(shí)“Avatar”能同步學(xué)生的肢體動(dòng)作以及面部表情，讓學(xué)生不僅覺得好玩同時(shí)也能達(dá)到語文閱讀教學(xué)的目的，在減輕學(xué)生閱讀壓力的同時(shí)也增加了學(xué)生閱讀的興趣［13］.與此相類似的還有Yoostar2：讓學(xué)生通過Kinect觀看好萊塢影片，并模仿片中人物對(duì)話的表情、語音語調(diào)、肢體語言和動(dòng)作，學(xué)生在整個(gè)模仿聲音、動(dòng)作的過程中學(xué)習(xí)課文的朗讀.

（4）體育教育

Kinect可以閱讀人的姿勢(shì)動(dòng)作，而體育教學(xué)中大部分需要教導(dǎo)學(xué)生如何正確地做動(dòng)作.微軟已經(jīng)開發(fā)了大量的體育游戲類軟件，比如舞蹈中心3、阿迪達(dá)斯、運(yùn)動(dòng)教練等.除此之外JoséGabriel Teixeira與Pedro Pinto Teixeira基于Kinect開發(fā)了一個(gè)專門為兒童設(shè)計(jì)的Exergame，把傳統(tǒng)的教室擴(kuò)大到操場(chǎng)，讓學(xué)生結(jié)合體育活動(dòng)進(jìn)行探索式學(xué)習(xí)和高階認(rèn)知活動(dòng)［14］.Steuart W.Weller小學(xué)借助Kinect教學(xué)生打乒乓球正確的姿勢(shì)［15］.

4.2 其他領(lǐng)域

對(duì)于一些微觀物體、無法觸及或者不方便觸及的物體，可以通過3D建模，加上Kinect體感技術(shù)，通過手勢(shì)和語音，控制模型而模擬出微觀世界所發(fā)生的情景，增強(qiáng)人們對(duì)事物感知的情境性.歐洲時(shí)裝店Topshop在莫斯科旗艦店安裝了一種全新的試衣間，借助Kinect，顧客無需試穿就能在鏡子中見到自己身著新衣的樣子［16］.Ultra－Realistic聯(lián)手英國Sotouch科技公司一起推出了Air presenter，讓用戶通過手勢(shì)操控電腦中的圖片、3D模型，以協(xié)助用戶進(jìn)行演講［17］.除了虛擬應(yīng)用領(lǐng)域，Kinect還可以應(yīng)用在機(jī)器人領(lǐng)域，充當(dāng)機(jī)器人的眼鏡.匹茲堡大學(xué)一研究小組使用Kinect傳感器，讓機(jī)器人和人們一起玩拋球游戲，完成接球和拋球的動(dòng)作；機(jī)器人如果接球失敗，會(huì)做搖頭、向后看、向下看或聳聳肩等動(dòng)作［18］.微軟機(jī)器人測(cè)試開發(fā)人員Jordan Correa使用Kinect設(shè)備，借助Microsoft Robotics Developer Tool 4進(jìn)行軟件開發(fā)讓其作為機(jī)器人的“眼睛”，讓機(jī)器人可以一直跟隨在你的身后，幫助你攜帶啤酒等小型物品［19］.

當(dāng)前Kinect的發(fā)展重點(diǎn)雖然還在游戲領(lǐng)域，但是從長遠(yuǎn)發(fā)展來看，為了體驗(yàn)更加絢麗與科幻的操控方式和人機(jī)交互體驗(yàn)，Kinect的應(yīng)用必將會(huì)呈多樣性發(fā)展趨勢(shì).除了人體骨骼追蹤技術(shù)之外，語音識(shí)別技術(shù)也在快速發(fā)展中.Kinect自帶的麥克風(fēng)可供用戶進(jìn)行簡(jiǎn)單的命令操作.Windows8系統(tǒng)中，PC操作系統(tǒng)就自帶了非常強(qiáng)大的語音識(shí)別功能，且能天然識(shí)別包括中文在內(nèi)的主要語言.Kinect在微軟的計(jì)劃中也將隨Windows 8操作系統(tǒng)的面世而大展宏圖.

5 Kinect技術(shù)實(shí)現(xiàn)

Kinect體感技術(shù)的本質(zhì)就是通過RGB攝像頭以及紅外線CMOS攝像頭識(shí)別姿勢(shì)動(dòng)作、手勢(shì)這些輸入元素，從而實(shí)現(xiàn)對(duì)虛擬物體或者實(shí)體物品進(jìn)行控制.根據(jù)對(duì)國內(nèi)外相關(guān)文獻(xiàn)的研究，我們對(duì)Kinect所識(shí)別的元素以及其中涉及的算法進(jìn)行了分類（見表3）：

表3 Kinect輸入元素研究分類Tab.3 The research classification of Kinect Input element

Kinect應(yīng)用中主要涉及的算法是手勢(shì)識(shí)別、骨骼追蹤、深度數(shù)據(jù).開發(fā)需要的環(huán)境分別是 Microsoft’s Kinect SDK（www.microsoft.com／en－us／kinectforwindowsdev／Start.aspx）和PrimeSense OpenNI安裝（www.openni.org）.另外，Kinect還有大量的資源網(wǎng)站可參考：

（1）體感游戲網(wǎng)（http：／／www.cnkinect.com／forum.php？gid＝1）：包含體感專題、體感游戲、體感開發(fā)的相關(guān)介紹，以及各種體感項(xiàng)目的源碼資源.

（2）Kinect綜合網(wǎng)站（http：／／123kinect.com）：包含 Kinect最新新聞、Kinect游戲介紹、Kinect開發(fā)指南等.

（3）Kinect for PC 項(xiàng)目的 wiki（http：／／www.javaforge.com／project／Kinect2PC）：包含Kinect體感硬件軟件以及原理各個(gè)方面的介紹，此外還包含了Kinect軟件開發(fā)的相關(guān)資源.

（4）OpenNI開源資源（http：／／github.com／openni）：包含大量自然交互的開源框架.

（5）OpenNI開源資源（http：／／github.com／PrimeSense／Sensor）：包含大量PrimeSensor開發(fā)的開源驅(qū)動(dòng)程序.

（6）Kinect開發(fā)程序資源（http：／／fivedots.coe.psu.ac.th／～ad／kinect／）：包含大量開發(fā)案例和源碼.

（7）教育相關(guān)資源（http：／／www.kinecteducation.com）：包含 Kinect在教育中的運(yùn)用案例，部分教育軟件的下載鏈接等.

5.1 OpenNI手勢(shì)識(shí)別

OpenNI能支持的手勢(shì)有四種：Wave（揮手）、Click（點(diǎn)）、RaiseHand（舉手）、Moving－Hand（移動(dòng)手）.創(chuàng)建手勢(shì)的基本方法如下：

xn：：DepthGenerator mDepthGenerator；

eRes＝ mDepthGenerator.Create（mContext）；（注釋：創(chuàng)建一個(gè)手勢(shì)GestureGenerator生成器）

mGesture.AddGesture（"Wave"，NULL）；mGesture.AddGesture（"Click"，NULL）；

mGesture.AddGesture（"RaiseHand"，NULL）；

mGesture.AddGesture（"MovingHand"，NULL）；（注釋：分別加入手勢(shì)）

通過GestureGenerator的回調(diào)函數(shù)來檢測(cè)手勢(shì)的完成情況，GestureRecognized和GestureProgress分別代表偵測(cè)到一個(gè)已經(jīng)完成的手勢(shì)和檢測(cè)到手勢(shì)正在進(jìn)行中.而當(dāng)手勢(shì)被偵測(cè)到的時(shí)候，GestureGenerator就會(huì)執(zhí)行這兩個(gè)回調(diào)函數(shù)，對(duì)偵測(cè)到的手勢(shì)進(jìn)行處理.

XnCallbackHandle hHandle；

mGesture.RegisterGestureCallbacks（GRecognized，GProgress，NULL，hHandle）；（注釋：對(duì)偵測(cè)到的手勢(shì)進(jìn)行處理）

mContext.StartGeneratingAll（）；

while（true）

｛mContext.WaitAndUpdateAll（）；｝（注釋：對(duì)用戶手勢(shì)的實(shí)時(shí)監(jiān)控）

如果需要其他復(fù)雜的手勢(shì)可以自己去定義，并借助以上代碼，可以實(shí)現(xiàn)諸如用手勢(shì)控制PPT翻頁以及視頻控制等簡(jiǎn)單操作.

5.2 OpenNI深度數(shù)據(jù)識(shí)別

Kinect的深度數(shù)據(jù)設(shè)別是通過3D深度攝像機(jī)技術(shù).識(shí)別紅外線射到人體之后會(huì)形成反射斑點(diǎn)，通過芯片合成出3D深度信息的圖像.深度數(shù)據(jù)可以通過如下方法獲取：

xn：：DepthGenerator mDepthGenerator；

eResult＝ mDepthGenerator.Create（mContext）；

eResult＝ mDepthGenerator.SetMapOutputMode（mapMode）；

eResult＝ mContext.StartGeneratingAll（）；

const XnDepthPixel＊ pDepthMap＝ mDepthGenerator.GetDepthMap（）；可以進(jìn)一步通過對(duì)深度數(shù)據(jù)進(jìn)行處理，獲得需要的信息.

5.3 OpenNI骨骼追蹤

通過處理深度數(shù)據(jù)可以建立人體各個(gè)關(guān)節(jié)的坐標(biāo)，骨骼追蹤能夠確定人體的各個(gè)部分：手、頭部以及身體，還能確定用戶所在的位置.獲取人體的骨架圖的方法：

xn：：UserGenerator mUserGenerator；

mUserGenerator.Create（mContext）；

XnCallbackHandle hUserCB；

mUserGenerator.RegisterUserCallbacks（NewUser，LostUser，NULL，hUserCB）；

xn：：SkeletonCapability mSC＝ mUserGenerator.GetSkeletonCap（）；

mSC.SetSkeletonProfile（XN＿SKEL＿PROFILE＿ALL）；

XnCallbackHandle hCalibCB；

mSC.RegisterCalibrationCallbacks（CalibrationStart，CalibrationEnd，

＆mUserGenerator，hCalibCB）；

XnSkeletonJointTransformation mJointTran；

mSC.GetSkeletonJoint（aUserID［i］，XN＿SKEL＿HEAD，mJointTran）；

手勢(shì)、深度和骨骼追蹤是人機(jī)自然交互中最為基礎(chǔ)的部分，同時(shí)也是最為實(shí)用的部分.通過對(duì)手勢(shì)、深度和骨骼追蹤的組合，組裝成一些基本姿勢(shì)的定義，再通過對(duì)這些基本姿勢(shì)的組合，就可以開發(fā)出通過肢體的自然交互，來控制計(jì)算機(jī)的操作.

本研究團(tuán)隊(duì)正在通過Kinect體感技術(shù)構(gòu)建更加智慧的教學(xué)環(huán)境.其中之一的研發(fā)就是通過Kinect獲取人體骨骼信息與深度數(shù)據(jù).根據(jù)手部的位置，取鄰近的深度值，抓出手的區(qū)域；把抓到的手部區(qū)域，透過OpenCV找出手的輪廓，并簡(jiǎn)化輪廓；找到手的輪廓的在幾何上的凸包以及凹進(jìn)去的點(diǎn)，然后對(duì)這些點(diǎn)做進(jìn)一步的分析，來判斷手的形態(tài)，并且結(jié)合人體的骨骼信息來創(chuàng)建手語教學(xué)輔助系統(tǒng).

6 結(jié)束語

目前Kinect應(yīng)用技術(shù)的開發(fā)還只是剛剛起步.但是憑借其自然交互的優(yōu)點(diǎn)，已經(jīng)表現(xiàn)出強(qiáng)大的生命力和多樣性發(fā)展趨勢(shì).隨著Kinect技術(shù)的進(jìn)一步成熟和充分挖掘，人機(jī)交互帶來物質(zhì)的突破，必將在教育領(lǐng)域得到廣泛應(yīng)用.

［1］ ZIEGLER J.Interactive techniques［J］.ACM Computing Surveys，1996，28（1）：185－187.

［2］ OBRENOVICZ ，STARCEVIC D.Modeling multimodal human－computer interaction［J］.Computer，2004，37（9）：65－72.

［3］ 董士海，王衡.人機(jī)交互［M］.北京：北京大學(xué)出版社，2004.

［4］ 董士海，王堅(jiān)，戴國忠.人機(jī)交互與多通道用戶界面［M］.北京：科學(xué)出版社，1999.

［5］ NMC.Horizon Project［EB／OL］.2013［2013－4－24］.http：／／www.nmc.org／horizon－project.

［6］ 張順.基于運(yùn)動(dòng)的感知用戶界面模型及其應(yīng)用［D］.浙江：浙江大學(xué)，2009.

［7］ ELTON S.SARMANHO，ELLTON B，et al.A game for teaching children with disability in reading and writingin Portuguese using voice recognition and kinect sensor［C］／／Proceedings of X Brazilian Symposium on Computer Games and Digital Entertainment.IEEE，2011.

［8］ WEI T－W.Detecting the Hand－Mouthing Behavior of Children with Intellectual Disability Using Kinect Imaging Technology Proceedings of the 14th lnternetional ACM SIGACCESS Conference on Computers and Accessibility.NEW York：ACM，2012：295－296.

［9］ BEGEL A，GARCIA D D，WOLFMAN S A.Kinesthetic learning in the classroom.ACM SIGCSE Bulletin，2004，36：183－184.

［10］ Classrooms of Tomorrow，Today：Kinect Math App Available for Download ［EB／OL］.2011［2013－4－24］.http：／／www.kinecteducation.com／blog／tag／jeb－palveas／.

［11］ LEE E，LIU X，ZHANG X.Xdigit：An Arithmetic Kinect Game to Enhance Math Learning Experiences［EB／OL］.2012［2014－01－07］.http：／／www.elwinlee.com.

［12］ ISBISTER K，KARLESKY M，F(xiàn)RYE J.Scoop！Using Movement to Reduce Math Anxiety and Affect Confidence［C］／／Proceedings FDG＇12.NEW York：ACM，2012：228－230.

［13］ MELLON E.Gesturing to Learn Video game technology is in motion in Loudoun County schools.［EB／OL］.2012［2013－4－24］.http：／／www.districtadministration.com／article／gesturing－learn.

［14］ TEIXEIRA J G，TEIXEIRA P P.Zun－A Math Exergame［EB／OL］.2012［2014－01－07］.http：／／www.oyvo.net.

［15］ Ericka Mellon.Gesturing to Learn Video game technology is in motion in Loudoun County schools.［EB／OL］.2012［2013－4－24］.http：／／www.districtadministration.com／article／gesturing－learn.

［16］ Augmented Reality：Kinect fitting－room for TopShop，Moscow［EB／OL］.2011［2013－4－24］.http：／／www.wired.com／beyond＿the＿beyond／2011／05／augmented－reality－kinect－fitting－room－for－topshop－moscow／.

［17］ Wltra－Realistic.Air Presenter［EB／OL］.2012［2013－4－24］.http：／／blog.ultra－realistic.com／cn／？tag＝Air＋presenter.

［18］ Digital Arts.Disney Research hacks Kinect to let robot juggle and catch ［EB／OL］.2012［2013－4－24］.http：／／www.digitalartsonline.co.uk／news／hacking－maker／disney－research－h(huán)acks－kinect－let－robot－juggle－catch／.

［19］ Robotics Developer Studio 4 Lets You Build Kinect－Guided Robots［EB／OL］.2012［2013－4－24］.http：／／www.techhive.com／article／251524／robotics＿developer＿studio＿4＿lets＿you＿build＿kinect＿guided＿robots.html.