體感交互設(shè)計類課程虛擬仿真化改革

張潔 戴路

摘要：體感技術(shù)是比鼠標、鍵盤、觸摸屏更加趨近自然的人機交互方式，但在體感開發(fā)過程中存在資源開銷大的問題。針對該問題采用Kinect 人體傳感器結(jié)合Kinect Studio軟件，設(shè)計實現(xiàn)了一套滿足教學與科研需要的體感開發(fā)虛擬系統(tǒng)。通過虛擬仿真方式進行體感開發(fā)學習，大大降低了實驗開銷。在課程前期通過虛擬仿真方式讓學生掌握體感交互的開發(fā)流程，利用掌握的體感交互技術(shù)設(shè)計并開發(fā)一款體感交互產(chǎn)品。實驗結(jié)果顯示體感交互設(shè)計類課程的虛擬仿真化改革成效顯著，提高了人才培養(yǎng)質(zhì)量。

關(guān)鍵詞：人機交互;體感開發(fā)虛擬系統(tǒng);體感技術(shù);Kinect;虛擬仿真

The Virtual Simulation Reform of the Body Sense?Interactive Design and Application Course

ZHANG Jie， DAI Lu

（Information Engineering College， Yango University， Fuzhou 350015， China）

Abstract：Somatosensory technology is closer to natural human?machine interaction than mouse， keyboard and touch screen， but there is a huge resource cost in the process of somatosensory development. Aiming at this problem， Kinect human body sensor and Kinect Studio software are used to design and implement a set of virtual system for somatosensory development to meet the needs of teaching and scientific research. Through virtual simulation， the system develops somatosensory development and greatly reduces the expenses in the process of experiment. In the early stage of the course， the students can master the development process of body sense interaction through virtual simulation. In the following courses students design and develop a body sense interactive product by mastering the somatosensory interaction technology.?The virtual simulation reform of somatosensory interaction design courses enables students to have a deeper understanding of somatosensory interaction product design and improve the quality of personnel training.

Key Words：virtual simulation human?machine interaction; somatosensory development virtual system; somatosensory technology; Kinect; virtual simulation

0?引言

體感技術(shù)指人們直接使用肢體動作，與周邊裝置或環(huán)境互動，無需使用任何復(fù)雜的控制設(shè)備便可身臨其境地與內(nèi)容互動，是比鼠標、鍵盤、觸摸屏更趨近自然的人機交互方式[1]。

體感技術(shù)根據(jù)體感方式與原理的不同分為慣性感測、光學感測及慣性與光學聯(lián)合感測[2]3大類。隨著技術(shù)的發(fā)展，體感交互技術(shù)逐漸從佩戴傳感器的慣性感測過渡到完全貼近自然的光學感測。

基于光學的體感設(shè)備最具代表性的產(chǎn)品就是微軟公司發(fā)布的Kinect傳感器。最新一代Kinect 2.0（見圖1）傳感器，采用紅外線脈沖反射回來的時間獲得Depth信息，即ToF（Time of Flight）技術(shù)，能采集到更加精確的人體數(shù)據(jù)[3]。當前Kinect已經(jīng)在消費、醫(yī)療、教育、訓練等領(lǐng)域大量應(yīng)用，而目前我國還沒有比較成熟的光學體感產(chǎn)品。

體感技術(shù)發(fā)展迅猛，許多高校對體感技術(shù)課程很重視，增設(shè)了不少體感技術(shù)相關(guān)課程，取得了較好效果，但仍存在一些不足。

（1）體感技術(shù)是近幾年才發(fā)展起來的新興課程，且體感交互產(chǎn)品開發(fā)需要較強的產(chǎn)品設(shè)計經(jīng)驗，高校教師大部分都是畢業(yè)后直接進入高校，缺少相關(guān)實踐經(jīng)驗，無法很好地將產(chǎn)品設(shè)計與基礎(chǔ)理論相結(jié)合，學生難以深刻掌握體感技術(shù)的實際應(yīng)用[4?5]。

（2）盡管很多高校設(shè)置了Kinect 2.0體感技術(shù)相關(guān)課程，但由于Kinect 2.0體感開發(fā)過程需要的資源較大，出于成本原因很多高校安排的相關(guān)實驗環(huán)節(jié)較少，導(dǎo)致訓練強度不足，甚至沒有開展體感技術(shù)相關(guān)實驗[6]。

針對以上問題，在課程教學中邀請具有體感交互產(chǎn)品開發(fā)經(jīng)驗的企業(yè)導(dǎo)師與校內(nèi)導(dǎo)師參與，讓學生從中了解更多體感交互產(chǎn)品設(shè)計經(jīng)驗。本著“能實不虛，虛實結(jié)合”的原則進行虛擬化改革，在虛擬與實際開發(fā)、資源需求與最佳效果中尋找平衡點，使有限的資源發(fā)揮出最好的教學效果。

1?虛擬仿真化改革

微軟公司推薦的Kinect 2.0體感硬件配置：處理器64位（x64）物理雙核心3.1 GHz（2個邏輯核心/物理）以上，內(nèi)存4GB以上，支持DirectX 11顯卡，高速USB3.0接口[7]，一塊5m?2以上的空間作為體感交互區(qū)域，一名動作模特實時配合開發(fā)工作。

微軟最新推出的Kinect Studio 能進行（Color，depth，IR，IR，body，body Index）數(shù)據(jù)的錄制與回放（見圖2），且在回放時能連接Visual Studio和Unity 3D等開發(fā)平臺進行仿真開發(fā)[8]，極大提高了開發(fā)人員的開發(fā)效率，降低了體感技術(shù)開發(fā)時的開銷。

課程體感開發(fā)實驗環(huán)節(jié)引入Kinect Studio進行虛擬化仿真改革，在課程開始前進行標準動作的錄制，將課程中使用的動作通過Kinect Studio進行錄制。課程體感數(shù)據(jù)獲取、簡單動作判斷等一系列驗證性實驗采用虛擬方式進行。課程后期需要設(shè)計相關(guān)的交互動作，讓學生自行進行動作錄制并進行項目開發(fā)，契合了虛擬實驗中“虛實結(jié)合”的重要原則。

2?課程環(huán)節(jié)改革

傳統(tǒng)課程教學主要是知識的傳授，老師講學生聽，通過考試的方式進行課程效果檢驗。但是對于新興技術(shù)，這種傳統(tǒng)的教學流程無法讓學生深入了解其精髓。因此，課程環(huán)節(jié)需進行大量改革。

新的模式把課程分為4個環(huán)節(jié)：

（1）基礎(chǔ)體感開發(fā)環(huán)節(jié)。該環(huán)節(jié)與傳統(tǒng)教學相同，也是由教師講授學生聽課，讓學生掌握體感開發(fā)的相關(guān)知識。主要實驗項目為Kinect數(shù)據(jù)采集，該實驗通過C#語言結(jié)合Kinect SDK基礎(chǔ)介紹Kinect中的6種數(shù)據(jù)源特性及采集方法，其中主要介紹骨架數(shù)據(jù)的特性、獲取及應(yīng)用，實驗過程通過Kinect Studio軟件進行虛擬仿真完成[9?10]，如圖3所示。

首先在Visual Stdio開發(fā)環(huán)境下建立工程，導(dǎo)入Kinect相關(guān)靜態(tài)庫和頭文件，獲取基礎(chǔ)源數(shù)據(jù)。按照打開傳感器、選擇數(shù)據(jù)源、打開讀取器、獲取數(shù)據(jù)幀、讀取所需數(shù)據(jù)5個步驟完成原始數(shù)據(jù)的獲取[11]。在進入仿真之前，只要通過Kinect Studio軟件播放已經(jīng)錄制好的數(shù)據(jù)源，就可采用虛擬方式進行原始數(shù)據(jù)的獲取[12?13]，如圖4所示。

（2）方案設(shè)計環(huán)節(jié)。將學生分為若干小組，分組討論體感交互應(yīng)用設(shè)計方案，同時聘請具有體感交互產(chǎn)品開發(fā)經(jīng)驗的企業(yè)導(dǎo)師與學生共同確定設(shè)計方案。

（3）產(chǎn)品開發(fā)環(huán)節(jié)。針對Unity 3D游戲開發(fā)引擎介紹Kinect的常用插件，主要介紹微軟官方的插件包Kinect For Windows_UnityPro_2.0（見圖5）和卡耐基梅隆大學推出的KinectWrapper插件包（見圖6）。兩款插件包都能很好地與引擎兼容，團隊可以根據(jù)設(shè)計方案選擇相應(yīng)插件進行開發(fā)[14?15]。本階段采取“虛實結(jié)合”方式進行，團隊可根據(jù)所需動作，在教師后方的Kinect設(shè)備上進行錄制，再通過Kinect Studio軟件進行虛擬仿真開發(fā)相關(guān)體感動作，最后再通過Kinect進行相關(guān)調(diào)試[16?18]。

（4）產(chǎn)品評價環(huán)節(jié)。本環(huán)節(jié)要求學生根據(jù)設(shè)計的應(yīng)用進行匯報答辯及演示，答辯與演示將請企業(yè)導(dǎo)師和授課教師共同點評并給出最終成績。企業(yè)導(dǎo)師參與成果點評可使學生從更高的維度對產(chǎn)品設(shè)計有更加深刻的認識。

通過4個不同環(huán)節(jié)，讓學生獲得體感開發(fā)的基礎(chǔ)能力：與企業(yè)導(dǎo)師和校內(nèi)導(dǎo)師共同指導(dǎo)的方案設(shè)計環(huán)節(jié)中獲得體感設(shè)計相關(guān)經(jīng)驗，在產(chǎn)品開發(fā)環(huán)節(jié)中獲得實際應(yīng)用能力，最后通過產(chǎn)品評價環(huán)節(jié)進行全面復(fù)盤。課程改革環(huán)節(jié)如圖7所示[19?21]。

3?課程改革成效

筆者學院進行了兩年課程改革，取得了一定成效。

優(yōu)秀作品“體感兒童安全教育”于2015年12月至2016年4月參加“微軟創(chuàng)新杯全球?qū)W生科技競賽”獲得中國賽區(qū)三等獎（見圖8）。2016年參加海峽兩岸（廈門）文化產(chǎn)業(yè)博覽交易會，獲得廣泛好評，目前正在與企業(yè)對接，準備實現(xiàn)成果轉(zhuǎn)換，如圖9所示。

4?結(jié)語

通過對課程虛擬仿真化改革，學生深入?yún)⑴c到體感技術(shù)實驗中，加深了對體感技術(shù)的掌握;通過對課程環(huán)節(jié)的改革，學生可應(yīng)用體感技術(shù)進行體感交互產(chǎn)品的設(shè)計與開發(fā)，極大提高了學生的體感產(chǎn)品設(shè)計開發(fā)能力和創(chuàng)新能力。后期的共享性建設(shè)，讓優(yōu)秀作品成為新的課程資源，更能提升本課程質(zhì)量;而成果轉(zhuǎn)換建設(shè)，更是讓優(yōu)秀的設(shè)計有了成果轉(zhuǎn)換途徑。

課程未來建設(shè)將分為課程共享性建設(shè)和成果轉(zhuǎn)換建設(shè)兩個層面進行。

（1）課程共享性建設(shè)。由于本實驗為創(chuàng)新性、開放性的實驗項目，因此沒有固定的實驗結(jié)果，在項目結(jié)束時將吸收優(yōu)秀的實驗作品轉(zhuǎn)換為課程資源，讓所有實驗者都參與實驗項目建設(shè)。課程將建設(shè)更加完善的開放服務(wù)體系，從服務(wù)器搭建、實驗項目、實驗過程監(jiān)控、實驗例程管理等多個方面共同建設(shè)，讓更多的人參與本項目學習。

（2）成果轉(zhuǎn)換建設(shè)。通過優(yōu)秀作品的推廣，在社會上引起反響，其中體感兒童安全教育、基于Kinect的智能家居手勢控制器等優(yōu)秀作品已經(jīng)有企業(yè)介入，準備進行成果轉(zhuǎn)讓。鼓勵學生自建團隊，通過優(yōu)秀的作品進行自主創(chuàng)業(yè);建設(shè)作品展示平臺，讓企業(yè)通過平臺發(fā)現(xiàn)好的成果，直接與學生對接進行優(yōu)秀作品成果轉(zhuǎn)化。

參考文獻：

[1]?知乎網(wǎng)站.什么是體感交互技術(shù)[EB/OL].https：//www.zhihu.com/question/20320412.

[2]?邵雋，馬娜.淺談基于Kinect的應(yīng)用程序開發(fā)[J].計算機應(yīng)用研究，2012，23（4）：75?78.

[3]?董傲霜.使用Kinect深度圖像的靜態(tài)人體動作識別[D].阜新：遼寧工程技術(shù)大學，2014.

[4]?吳志達.一個基于Unity 3D游戲引擎的題干游戲研究與實現(xiàn)[D].廣州：中山大學，2012.

[5]?劉開余，夏斌.基于Kinect的實時人體姿勢識別[J].電子設(shè)計工程，2014（19）：31?34.

[6]?羅鳴.基于Kinect傳感器的骨骼定位研究[D].武漢：武漢科技大學，2013.

[7]?王森.Kinect體感程序設(shè)計入門[M].北京：科學出版社，2014：33?35.

[8]?于芝枝.基于Kinect的人體姿勢識別與校正[D].廣州：廣東工業(yè)大學，2014.

[9]?小鵬.Kinect 2.0原理介紹之二：6種數(shù)據(jù)源[EB/OL].[2015?07?12].http：//blog.csdn.net /u014365862/article/details/46849253.

[10]?鄧小園.基于Kinect運動捕捉的高爾夫揮桿分析與輔助訓練系統(tǒng)的研制[D].北京：北京郵電大學，2013.

[11]?孫運達.多視點非接觸式人體運動捕捉研究[D].北京：北京交通大學，2006.

[12]?CHANG Y J，CHEN S F.A kinect?based system for physical rehabilitation：a pilot study for young adults with motor disabilities [J].Res Dev Disabil，2011，32（6）：2566?2570.

[13]?錢塹，馬旭東，戴先中.基于抽象隱馬爾可夫模型的運動行為識別方法[J].模式識別與人工智能，2009，22（3）：433?439.

[14]?如何平滑處理Kinect采集的骨骼數(shù)據(jù)[EB/OL].http：//www.cnblogs.com/microcampus/archive/2013/05/06/3063625.html

[15]?吳志達.一個基于Unity 3D游戲引擎的題干游戲研究與實現(xiàn)[D].廣州：中山大學，2012.

[16]?Kinect和U3d結(jié)合開發(fā)基礎(chǔ)之基本的動作識別[EB/OL].http：//blog.csdn.net/zhaoshouyue/ article/details/51225442.

[17]?Kinect和U3d結(jié)合開發(fā)基礎(chǔ)之KinectWrapperPackage[EB/OL].http：//blog.csdn.net/ zhaoshouyue/article/details/51178614.

[18]?韓旭.應(yīng)用Kinect的人體行為識別方法研究與系統(tǒng)設(shè)計[D].濟南：山東大學，2013.

[19]?王琨，劉大茂.創(chuàng)新創(chuàng)業(yè)視角下電子電路類課程改革探索[J].實驗科學與技術(shù)，2017，15（4）： 107?109.

[20]?蘆守平，國強，刁鳴.正確樹立科技“創(chuàng)新”理念培養(yǎng)學生綜合能力[J].實驗室研究與探索， 2015，34（2）：145?147.

[21]?張祥志，鄒惠敏.基于創(chuàng)新需求的高校研發(fā)型工程師創(chuàng)新能力培養(yǎng)教育改革研究[J].教育現(xiàn)代化，2017（33）.