丁晨，王君澤，瞿暢，高瞻

富有沉浸感和操縱感的人機(jī)交互技術(shù)是虛擬現(xiàn)實(shí)學(xué)科研究者的追求目標(biāo)。隨著3D技術(shù)的日益發(fā)展和對(duì)各個(gè)領(lǐng)域不斷的滲透，對(duì)人機(jī)交互技術(shù)所能帶來的沉浸感和生動(dòng)性的要求亟待提高，作為最新興的人機(jī)交互技術(shù)，體感交互技術(shù)成為當(dāng)前的研究熱點(diǎn)[1-2]。

Kinect是目前最為人們熟知的體感設(shè)備，它是微軟公司于2010年11月4日推出XBox360游戲機(jī)體感周邊外設(shè)的正式名稱，起初名為Natal。Kinect以低廉的價(jià)格和嶄新的方式，將體感交互融入到用戶的生活中。Kinect徹底顛覆了游戲的單一操作，使人機(jī)互動(dòng)的理念更加徹底地展現(xiàn)出來。用戶無需適應(yīng)游戲手柄上的搖桿和按鍵，用身體即可直接控制游戲[3]。2012年的CES 2012大會(huì)上，微軟正式發(fā)布了Windows版Kinect體感外設(shè)和Kinect for Windows SDK軟件開發(fā)工具包1.0正式版。

許多變革是由娛樂開始，而將Kinect的體感交互技術(shù)引入到虛擬現(xiàn)實(shí)領(lǐng)域正是人機(jī)交互方式變革的又一個(gè)起點(diǎn)，使得體感交互技術(shù)被譽(yù)為繼鼠標(biāo)和多點(diǎn)觸摸技術(shù)之后的“第三次人機(jī)交互革命的原點(diǎn)”。

1 Kinect體感交互技術(shù)簡(jiǎn)介

Kinect體感設(shè)備共有3個(gè)攝像頭，中間是RGB彩色攝像頭，左右兩邊分別為紅外線發(fā)射器和紅外線CMOS攝像頭。Kinect搭配了追焦技術(shù)，底座馬達(dá)會(huì)隨著對(duì)焦物體移動(dòng)而轉(zhuǎn)動(dòng)。Kinect內(nèi)置麥克風(fēng)陣列，用于語音識(shí)別。Kinect主要有三大功能：

1.1 3D影像偵測(cè)

Kinect利用紅外線發(fā)射器發(fā)出連續(xù)光(近紅外線)，通過紅外線CMOS攝像機(jī)記錄空間的每個(gè)散斑，結(jié)合原始散斑圖案，對(duì)測(cè)量空間進(jìn)行編碼。感應(yīng)器讀取編碼的光線，由芯片運(yùn)算進(jìn)行解碼，生成3D深度的圖像。

1.2 人體骨架追蹤

將偵測(cè)到的3D深度圖像，轉(zhuǎn)換到骨架追蹤系統(tǒng)。該系統(tǒng)最多可同時(shí)偵測(cè)6人，包含2人動(dòng)作追蹤，可記錄包含軀干、四肢以及手指等20組細(xì)節(jié)。

1.3 音頻處理

Kinect的音頻系統(tǒng)采用四元線性麥克風(fēng)陣列技術(shù)、先進(jìn)的噪音抑制、回聲消除以及用于識(shí)別當(dāng)前聲源的波束形成等技術(shù)。

Kinect對(duì)用戶進(jìn)行動(dòng)態(tài)捕捉和麥克風(fēng)輸入，通過影像和語音辨識(shí)，轉(zhuǎn)換到骨架追蹤系統(tǒng)，與應(yīng)用程序進(jìn)行交互，從而完成整個(gè)系統(tǒng)的工作目標(biāo)。

Kinect的核心技術(shù)是PrimeSense公司體感偵測(cè)裝置Prime-Sensor的Reference Design。Reference Design能夠?qū)崟r(shí)生成場(chǎng)景的深度、色彩和音頻數(shù)據(jù)。在Reference Design基礎(chǔ)上對(duì)其進(jìn)行深入研究和二次開發(fā)，將這一技術(shù)與自主研發(fā)的虛擬現(xiàn)實(shí)平臺(tái)相結(jié)合，經(jīng)過圖像識(shí)別分析、圖像跟蹤算法將Reference Design提供的深度信息轉(zhuǎn)化為人體的骨骼節(jié)點(diǎn)數(shù)據(jù)，并嵌入到虛擬現(xiàn)實(shí)平臺(tái)中，能讓計(jì)算機(jī)像人類一樣感知三維世界并將其轉(zhuǎn)換成同步影像，有效突破了虛擬交互過程中需要配戴復(fù)雜動(dòng)作捕捉設(shè)備的限制，進(jìn)一步擴(kuò)大虛擬現(xiàn)實(shí)的應(yīng)用范圍。

2 Kinect體感交互技術(shù)在醫(yī)療康復(fù)領(lǐng)域的應(yīng)用

基于Kinect的體感技術(shù)從最初的游戲產(chǎn)業(yè)領(lǐng)域迅速向醫(yī)學(xué)、建筑[4]以及網(wǎng)絡(luò)[5-6]等領(lǐng)域滲透。在醫(yī)學(xué)領(lǐng)域中，Kinect體感技術(shù)目前主要應(yīng)用于醫(yī)療康復(fù)、醫(yī)學(xué)影像學(xué)[7-8]和心理學(xué)[9]。尤其在醫(yī)療康復(fù)領(lǐng)域，Kinect體感技術(shù)發(fā)展十分迅猛。

在醫(yī)療康復(fù)領(lǐng)域，目前Kinect體感技術(shù)主要用于患者的主動(dòng)運(yùn)動(dòng)訓(xùn)練與康復(fù)治療，適用于社區(qū)與家庭康復(fù)。利用Kinect體感技術(shù)開發(fā)出的康復(fù)訓(xùn)練系統(tǒng)可以替代許多繁瑣復(fù)雜的傳統(tǒng)器材，為廣大患者在社區(qū)與家庭更有效地得到康復(fù)服務(wù)提供幫助。

2.1 認(rèn)知障礙的康復(fù)

Chang等開發(fā)了基于Kinect的Kinempt系統(tǒng)[10]。Kinempt系統(tǒng)用于認(rèn)知障礙患者的工作提示訓(xùn)練，該系統(tǒng)模擬了一套針對(duì)認(rèn)知障礙患者的比薩餅店快速配餐的康復(fù)訓(xùn)練。計(jì)算機(jī)將任務(wù)指令以視頻的形式將反饋信息實(shí)時(shí)顯示在一臺(tái)42英寸LCD顯示器上。受測(cè)的兩位患者中，一位是患有輕度癡呆癥的31歲女性患者，另一位是患有腦損傷及偏執(zhí)型精神分裂癥的39歲男性患者。受測(cè)患者在Kinempt系統(tǒng)的語音激勵(lì)作用下，進(jìn)行比薩餅餡料的選擇。Kinempt系統(tǒng)利用Kinect傳感器對(duì)患者手部及其腕部的動(dòng)作進(jìn)行干預(yù)，對(duì)動(dòng)作的正確性進(jìn)行驗(yàn)證：若患者配餐動(dòng)作準(zhǔn)確，系統(tǒng)語音模塊給予鼓勵(lì)；若患者配餐動(dòng)作有誤，語音模塊提示錯(cuò)誤并進(jìn)行糾正。在無Kinempt系統(tǒng)干預(yù)的1-5以及11-12階段的康復(fù)療程中，患者訓(xùn)練成功率在20%～60%之間；在有Kinempt系統(tǒng)干預(yù)的6-10和13-17階段的康復(fù)療程中，患者訓(xùn)練成功率在90%以上。

為了減緩老年人腦力衰退，預(yù)防老年癡呆，Chen利用Kinect傳感器，開發(fā)了能提升老年人認(rèn)知功能的體感交互游戲[11]。該游戲的首批試用者是53位常年使用輪椅的老年人，試用者必須有言語溝通能力和基本的生活自理能力。而整個(gè)游戲分為“追尋箭頭”、“對(duì)號(hào)入座”和“打松鼠”3個(gè)子游戲。在“追尋箭頭”游戲中，游戲體驗(yàn)者要在5 s內(nèi)用雙臂指出屏幕中從5個(gè)不同方向彈出的紅色箭頭以完成單個(gè)操作任務(wù)，并在1 min內(nèi)完成20個(gè)操作任務(wù)；在“對(duì)號(hào)入座”游戲中，體驗(yàn)者用雙手將屏幕中的大量圖形符號(hào)按形狀一一配對(duì)，并且要在1 min內(nèi)完成15個(gè)組配對(duì)；在“打松鼠”的游戲中，體驗(yàn)者需要觀察屏幕中4棵松樹的狀況，用手觸擊樹上出現(xiàn)的紅、綠色松鼠來得分，避開金色松鼠以免減分，而游戲時(shí)長(zhǎng)同樣為1 min。試用者每周進(jìn)行3次游戲訓(xùn)練，每次訓(xùn)練30 min，其中包括5 min熱身，20 min的互動(dòng)游戲以及5 min恢復(fù)調(diào)整。衰老會(huì)導(dǎo)致中樞神經(jīng)系統(tǒng)退化，神經(jīng)系統(tǒng)傳導(dǎo)精確度降低，老年人的反應(yīng)時(shí)間會(huì)越來越慢，手眼協(xié)調(diào)能力變差。通過視頻游戲的訓(xùn)練可以改善認(rèn)知能力，消除認(rèn)知障礙的隱患。為了驗(yàn)證Kinect視頻游戲能夠提升試用者反應(yīng)速度，他們利用維也納心理測(cè)驗(yàn)系統(tǒng)的S9反映測(cè)試模塊對(duì)試用者進(jìn)行測(cè)試。為了驗(yàn)證試用者手眼協(xié)調(diào)能力的提升，他們引入一套“翻汽水罐”的實(shí)物訓(xùn)練游戲，測(cè)試桌上畫有6個(gè)圈，1、3、5號(hào)圈中各放有一個(gè)汽水罐，游戲內(nèi)容就是依次將1、3、5號(hào)圈中的汽水罐分別翻轉(zhuǎn)并放在2、4、6號(hào)圈中。試用者在4周的Kinect視頻游戲體驗(yàn)前后均進(jìn)行這兩項(xiàng)測(cè)試，反應(yīng)速度有不同程度的提升，而手眼協(xié)調(diào)能力有明顯的改善。

2.2 運(yùn)動(dòng)障礙的康復(fù)

為了對(duì)青年運(yùn)動(dòng)障礙患者的運(yùn)動(dòng)康復(fù)治療進(jìn)行指導(dǎo)，Chang等開發(fā)了基于Kinect的Kinerehab系統(tǒng)[12]。該系統(tǒng)利用Kinect傳感器的圖像處理技術(shù)檢測(cè)運(yùn)動(dòng)障礙患者的運(yùn)動(dòng)信息。受測(cè)的兩例患者中，一例是患有因腦癱引起的上肢僵化與先天性肌無力的17歲男性患者，另一例是患有肌肉萎縮并且肌無力的16歲女性患者。受測(cè)患者依次進(jìn)行雙臂前舉、側(cè)舉以及上舉的康復(fù)動(dòng)作，整套動(dòng)作緩慢并且連貫。系統(tǒng)將Kinect傳感器捕獲的患者關(guān)節(jié)點(diǎn)位置與計(jì)算機(jī)中的數(shù)據(jù)庫進(jìn)行匹配，計(jì)算出動(dòng)作到位的精準(zhǔn)程度。系統(tǒng)以“鯨魚甩尾唱歌”的動(dòng)畫形式(患者動(dòng)作準(zhǔn)確性越高，鯨魚尾部擺動(dòng)越活躍，歌聲越響亮)反饋在顯示設(shè)備上，對(duì)患者進(jìn)行干預(yù)和指導(dǎo)，從而檢驗(yàn)康復(fù)效果。在無Kinerehab系統(tǒng)干預(yù)階段，因無法得到反饋的動(dòng)作指導(dǎo)，受測(cè)的兩例患者動(dòng)作準(zhǔn)確率較低；在有Kinerehab系統(tǒng)干預(yù)階段，由于Kinerehab系統(tǒng)的影音提示，受測(cè)患者訓(xùn)練動(dòng)作的準(zhǔn)確率顯著提高。

提高運(yùn)動(dòng)障礙患者受損或病變的神經(jīng)系統(tǒng)運(yùn)動(dòng)機(jī)能的可塑性和后續(xù)恢復(fù)能力的最有效方法是大運(yùn)動(dòng)量康復(fù)訓(xùn)練[13]。為了達(dá)到這一目的，Belinda等結(jié)合虛擬現(xiàn)實(shí)與電視游戲技術(shù)，將三維模型與場(chǎng)景通過Unity3D三維引擎導(dǎo)入到開發(fā)平臺(tái)中，開發(fā)出適宜于脊柱損傷和腦外傷患者進(jìn)行平衡康復(fù)訓(xùn)練的游戲[14-15]。參與該平衡康復(fù)訓(xùn)練的20例患者(16例男性，4例女性)中，10例為腦卒中患者，3例為創(chuàng)傷性腦損傷患者，另外7例為脊髓損傷患者。在游戲過程中，系統(tǒng)用虛擬人反映患者的形象姿勢(shì)和運(yùn)動(dòng)狀態(tài)，Kinect傳感器實(shí)時(shí)準(zhǔn)確地進(jìn)行影像追蹤。患者通過接收到的反饋信息進(jìn)行肩、肘等部位的平衡調(diào)整，實(shí)現(xiàn)與虛擬人的實(shí)時(shí)互動(dòng)，從而提高自身的平衡感知能力，達(dá)到訓(xùn)練目的。整個(gè)游戲分為多個(gè)訓(xùn)練階段，患者在每個(gè)階段都需要完成相應(yīng)的訓(xùn)練指標(biāo)，計(jì)算機(jī)會(huì)進(jìn)行評(píng)分和數(shù)據(jù)存儲(chǔ)，驗(yàn)收患者的康復(fù)成果。在受測(cè)的患者中，其中8例未能按要求的體姿完成訓(xùn)練，另外12例在醫(yī)療師的輔助下被動(dòng)地進(jìn)行肩部的屈曲、外站以及外旋等科目訓(xùn)練，完成預(yù)定的動(dòng)作。

Alana等設(shè)計(jì)出一套基于Kinect的針對(duì)肩、肘部運(yùn)動(dòng)康復(fù)訓(xùn)練的系統(tǒng)[16]。在康復(fù)訓(xùn)練過程中，患者保持雙肩等高，進(jìn)行手臂自下而上的側(cè)舉運(yùn)動(dòng)。受測(cè)患者若保持正確的體姿，系統(tǒng)交互界面的信息欄會(huì)實(shí)時(shí)顯示關(guān)節(jié)的活動(dòng)度(手臂從體側(cè)外伸至水平位置，即0°～90°)。如果動(dòng)作未能達(dá)到要求，系統(tǒng)會(huì)通過提取Kinect傳感器捕捉的深度圖像，計(jì)算肩部與肘部在冠平面(將人體分成前、后兩個(gè)部分的平面)內(nèi)的夾角(肩、肘節(jié)點(diǎn)連線與肩、髖節(jié)點(diǎn)連線所形成的角度)，對(duì)患者進(jìn)行動(dòng)作糾正指導(dǎo)。糾正主要包括手肘部的彎曲糾正和平面偏離糾正。當(dāng)肩、手節(jié)點(diǎn)連線矢量與冠平面的法矢量夾角不等于90°，系統(tǒng)報(bào)錯(cuò)，提示患者手肘部運(yùn)動(dòng)偏離冠平面；當(dāng)肩、肘節(jié)點(diǎn)連線與肘、手節(jié)點(diǎn)連線的矢量和不等于肩、手節(jié)點(diǎn)連線的矢量，系統(tǒng)報(bào)錯(cuò)，提示患者手肘部產(chǎn)生了彎曲。受測(cè)者來自三種不同的人群：理療專業(yè)人員(3名)，目的是收集系統(tǒng)和給予應(yīng)用程序技術(shù)意見；普通成年人(4名)，來評(píng)估系統(tǒng)的通用性和交互體驗(yàn)；需要物理治療的老年人(3名)，是系統(tǒng)今后應(yīng)用的主要對(duì)象。在測(cè)試體驗(yàn)之后，其中8人在人為提示幫助下順利完成10個(gè)科目，另外2人在無任何幫助下完成了所有科目。受測(cè)者同時(shí)給該系統(tǒng)進(jìn)行了評(píng)分(滿分5分)，該系統(tǒng)最后平均得分為4.66。

羅元等利用Kinect深度傳感器所獲取的深度信息圖像，將手勢(shì)部分從背景中分割獲得二值圖像，再對(duì)二值圖像進(jìn)行目標(biāo)識(shí)別，把得到的識(shí)別結(jié)果轉(zhuǎn)換成控制指令通過網(wǎng)絡(luò)傳送給殘疾人用輪椅，實(shí)現(xiàn)對(duì)輪椅運(yùn)動(dòng)的智能控制，方便下肢運(yùn)動(dòng)障礙的患者在康復(fù)過程中自理生活[17]。他們?cè)贖u不變矩基礎(chǔ)表達(dá)式(Hu首先提出連續(xù)函數(shù)矩的定義和關(guān)于矩的基本性質(zhì)，并具體給出具有移動(dòng)、旋轉(zhuǎn)、縮放不變性的7個(gè)不變矩基礎(chǔ)表達(dá)式)上加入了3個(gè)表達(dá)式，使不變矩表達(dá)式包含更多的細(xì)節(jié)特征，優(yōu)化了算法。此外，他們還通過驗(yàn)證手勢(shì)分割對(duì)光照及背景干擾的魯棒性、手勢(shì)識(shí)別系統(tǒng)的三重不變性，證明該手勢(shì)識(shí)別控制輪椅系統(tǒng)的方案可行。

3 結(jié)論

Kinect體感設(shè)備可以進(jìn)行深度圖像獲取、動(dòng)態(tài)捕捉以及麥克風(fēng)輸入，可以通過Kinect for Windows SDK提供的軟件庫與應(yīng)用程序進(jìn)行交互。可以將Kinect體感交互技術(shù)與自主研發(fā)的虛擬現(xiàn)實(shí)平臺(tái)相結(jié)合，對(duì)Kinect進(jìn)行二次開發(fā)。

利用開發(fā)接口，研究圖像處理與實(shí)時(shí)交互的相關(guān)算法，將Kinect體感交互技術(shù)嵌入到自主研發(fā)的虛擬現(xiàn)實(shí)平臺(tái)中，可進(jìn)一步擴(kuò)大虛擬現(xiàn)實(shí)技術(shù)在醫(yī)學(xué)領(lǐng)域的應(yīng)用范圍。結(jié)合虛擬現(xiàn)實(shí)技術(shù)，可以研究基于Kinect體感交互技術(shù)的運(yùn)動(dòng)障礙和認(rèn)知障礙患者醫(yī)療康復(fù)訓(xùn)練的關(guān)鍵技術(shù)。針對(duì)運(yùn)動(dòng)障礙患者肢體運(yùn)動(dòng)不便，認(rèn)知障礙患者在空間認(rèn)知、智力和記憶上存在障礙，鼠標(biāo)、鍵盤等傳統(tǒng)輸入設(shè)備不適用的特點(diǎn)，可以開發(fā)基于Kinect體感技術(shù)的運(yùn)動(dòng)功能康復(fù)訓(xùn)練模塊、空間認(rèn)知障礙康復(fù)訓(xùn)練模塊、智力障礙康復(fù)訓(xùn)練模塊和記憶障礙康復(fù)訓(xùn)練模塊，實(shí)現(xiàn)醫(yī)療康復(fù)訓(xùn)練的評(píng)估與指導(dǎo)。將該成果應(yīng)用于康復(fù)醫(yī)院、社區(qū)醫(yī)療機(jī)構(gòu)及家庭的醫(yī)療康復(fù)臨床實(shí)踐，對(duì)患者的早日順利康復(fù)將起到十分重要的作用，為患者重返社會(huì)、提高生活質(zhì)量創(chuàng)造條件，對(duì)減輕甚至消除家庭和社會(huì)的物質(zhì)精神負(fù)擔(dān)具有重要的現(xiàn)實(shí)意義。

[1]張光劉,李琳,譚劍波.體感設(shè)備與被動(dòng)立體相結(jié)合的人機(jī)交互方法研究[J].合肥工業(yè)大學(xué)學(xué)報(bào),2011,34(2):251-254.

[2]Uwe R,Kristian S.Designing a BIM-based serious game for fire safety evacuation simulations[J].Advanced Engineering Informatics,2011,25(4):600-611.

[3]Ioannis C,Georgios M,Panagiotis K,et al.Irene Mavrommati.Implementing multiplayer pervasive installations based on mobile sensing[J].The Journal of Systems and Software,2011,84(11):1989-2004.

[4]Brian M,Zak M,Caroline A.Utilizing Explorable Visual Environments for Experiential Applications[J].Procedia Computer Science,2012,8:261-266.

[5]Boulos MN,Blanchard BJ,Walker C,et al.Web GIS in practice X:a Microsoft Kinect natural user interface for Google Earth navigation[J].Int J Health Geogr,2011,10:45-59.

[6]Michael Z,Michael M,Günther G,et al.Automatic reconstruction of personalized avatars[J].Computer Animation Virtual Worlds,2011,22(1):195-202.

[7]Luigi G,Alessio PP,Mario C.Controller-free exploration of medical image data:experiencing the kinect[C].24th InternationalSymposium onComputer-BasedMedicalSystems(CBMS),Bristol,Britain:IEEE,2011:1-6.

[8]Sebastian B,Jakob W,Sven H,et al.Multi-modal surface registration for markerless initial patient setup in radiation therapy using Microsoft's kinect sensor[C].Barcelona,Spain:International Conference on Computer Vision Workshops(ICCV Workshops),IEEE,2011:1175-1181.

[9]Yu XY,Wu LY,Liu QY,et al.Children tantrum behaviour analysis based on kinect sensor[C].Beijing,China:Third Chinese Intelligent Visual Surveillance(IVS)Conference,2011:49-52.

[10]Chang YJ,Chen SF,Chuang AF.A gesture recognition system to transition autonomously through vocational tasks for individuals with cognitive impairments[J].Res Dev Disabil,2011,32:2064-2068.

[11]Chen ST.Using Xbox 360 Kinect Games on Enhancing Visual Performance Skills on Institutionalized Older Adults with Wheelchairs[C].Takamatsu,Japan:Fourth International Conference on Digital Game and Intelligent Toy Enhanced Learning,IEEE,2012:263-267.

[12]Chang YJ,Chen SF,Huang JD.A Kinect-based system for physical rehabilitation:A pilot study for young adults with motor disabilities[J].Res Dev Disabil,2011,32(6):2566-2570.

[13]Lang BS,Flynn SM,Rizzo AA.Initial usability assessment of off-the-shelf video game consoles for clinical game-based motor rehabilitation[J].Physical Therapy Review,2009,14(5):355-363.

[14]Belinda L,Chien-Yen C,Evan S,et al.Development and evaluation of low cost game-based balance rehabilitation tool using the Microsoft kinect sensor[C].Boston,USA:Engineering in Medicine and Biology Society Annual International Conference,IEEE,2011:1831-1834.

[15]Belinda L,Sebastian K,Eric M,et al.Interactive Game-Based Rehabilitation Using the Microsoft Kinect[C].Costa Mesa,USA:Virtual Reality Workshops,IEEE,2012:171-172.

[16]Alana DG,Thiago C,Lucas F,et al.Poster:Improving Motor Rehabilitation Process through a Natural Interaction Based System Using Kinect Sensor[C].Costa Mesa,USA:3D User Interfaces Symposium,IEEE,2012:145-146.

[17]羅元,謝彧,張毅.基于Kinect傳感器的智能輪椅手勢(shì)控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].機(jī)器人,2012,34(2):110-113.