劉瑜興，王淑俠，徐光耀，蘭望桂，何衛(wèi)平

基于Leap Motion的三維手勢交互系統(tǒng)研究

劉瑜興，王淑俠，徐光耀，蘭望桂，何衛(wèi)平

(西北工業(yè)大學(xué)機電學(xué)院，陜西 西安 710072)

手勢識別的快速發(fā)展及體感設(shè)備的不斷更新為三維手勢交互提供了靈感，基于Leap Motion手勢識別和最鄰近算法，建立了一種三維手勢交互系統(tǒng)。首先對手勢設(shè)計理論和交互手勢設(shè)計原則進行研究，基于此設(shè)計手勢功能和建立手勢庫，并將手勢庫分為8種手勢；其次進行手勢特征提取，建立手指關(guān)鍵點模型，獲取手勢特征的角度特征；然后計算KNN算法和SVM算法的手勢識別效率，KNN改進算法取得較好的識別效率；最后，設(shè)計三維交互系統(tǒng)，手勢分類為4個模塊，每個模塊有2個手勢任務(wù)；20名測試者中提取1 600組手勢數(shù)據(jù)，并進行總采集樣本關(guān)節(jié)點均值的數(shù)據(jù)分析；設(shè)計三維交互系統(tǒng)模塊，在Unity3D中創(chuàng)建的三維交互系統(tǒng)中導(dǎo)入1 600組手勢數(shù)據(jù)，根據(jù)自定義的8種手勢驅(qū)動虛擬手完成交互設(shè)計過程，完成用戶體驗分析和手勢識別效率統(tǒng)計。通過研究發(fā)現(xiàn)，基于Leap Motion手勢識別具有較高的識別效率，三維手勢交互系統(tǒng)富有創(chuàng)新性。

手勢識別；最鄰近算法識別；手勢交互設(shè)計；Leap Motion

隨著互聯(lián)網(wǎng)時代的到來，人機交互也應(yīng)運而生。交互是指借助一定的載體進行信息交流，人機交互技術(shù)(human computer interaction，HCI)[1]指的是人通過一定的設(shè)備和計算機進行信息交流，人可以使用輸入設(shè)備給計算機輸入文字、語音等來發(fā)起請求，而計算機使用輸出設(shè)備給用戶顯示出信息來響應(yīng)請求。目前，應(yīng)用最為廣泛、技術(shù)最為成熟的人機交互方式依然是鍵盤與鼠標(biāo)，其單一性使得人們對更高層次、更友好的人機交互方式提出需求?，F(xiàn)階段人機交互新技術(shù)的研究內(nèi)容主要集中在手勢識別、語音識別、人腦控制等方面。以人的手勢為研究對象，研究手勢交互方式。

手勢識別[2-14]是通過算法來識別人類手勢。手勢建模[15]對手勢識別也是很關(guān)鍵的，基于3D模型和基于表觀是常用的手勢建模方法。前者通過建立當(dāng)前圖像的3D模型輔以相關(guān)參數(shù)來計算出手勢的狀態(tài)信息。

人手的動作分為有意識的和無意識的動作。手勢還可以分為操作型和通訊型手勢。手勢的分類早在40年代，心理學(xué)家QUEK[16]、PAVLOVIC等[17]從人機接口角度對手勢進行研究。在自然人機交互的領(lǐng)域里，KARAM和SCHRAEFEL[18]提出了手勢劃分可分為5類，即指示性手勢、示意性手勢、操作性手勢、信號性手勢和手語性手勢。

Leap Motion Controller定位手(hand)、手指(finger)和類似手指的工具(pointable)，精確度達(dá)到0.01 mm。通過紅外LED對圖像進行光補償，雙高清攝像頭從不同位置拍攝得到高分辨率的立體紅外圖像，模擬人類的雙目立體視覺[19]進行手勢位置判Leap Motion Controller定位手(hand)、手指(finger)和類似手指的工具(pointable)，使用的測量方法稱作三角測量法[20]。Leap Motion拆開內(nèi)部構(gòu)件如圖1，圖2為Leap Motion的工作范圍，呈倒金字塔狀，圖3為Leap Motion坐標(biāo)系。

圖2 Leap Motion工作范圍

圖3 Leap Motion坐標(biāo)系

1 手勢設(shè)計與定義

手勢設(shè)計需遵循手語識別設(shè)計理論和手勢設(shè)計原則。手語識別主要由數(shù)據(jù)獲取、特征表示和分類識別構(gòu)成整體流程。常見的特征提取分為軌跡特征和手形特征，軌跡特征主要用來采集手的角度、加速度、位置等信息，進行手勢特征提取，然后進行手勢識別。手勢設(shè)計原則主要包括用戶方面、交互過程和交互系統(tǒng)。通過對手勢理論的研究，結(jié)合手勢設(shè)計原則，從而進行手勢定義。

1.1 手勢設(shè)計

(1) 手勢設(shè)計原則[21]。主要體現(xiàn)在用戶方面、交互過程和交互系統(tǒng)(表1)。①用戶方面，手勢設(shè)計的最終目的是為了用戶操作方便，所以，設(shè)計符合用戶使用的手勢；以用戶的同理心和用戶行為研究角度出發(fā)，符合用戶認(rèn)知行為，避免過多的學(xué)習(xí)，應(yīng)增加對用戶的指導(dǎo)，避免用戶操作失誤；對于用戶來說，操作簡單方便、直觀自然，符合用戶常用習(xí)慣；并在手勢操作中體驗快樂。②交互過程，保證手勢設(shè)計的交互流暢和降低疲勞。③交互系統(tǒng)，簡化手勢設(shè)計和手勢設(shè)計的系統(tǒng)性，保證手勢設(shè)計風(fēng)格的統(tǒng)一性和功能交叉少。④及時反饋，在用戶操作的過程中，計算機系統(tǒng)應(yīng)對用戶的行為及時進行多種反饋提示，這樣方便用戶進行操作。

表1 手勢設(shè)計原則

(2) 根據(jù)手勢設(shè)計原則，進行裸手手勢設(shè)計。手勢識別分為靜態(tài)和動態(tài)2類，手勢識別主要基于三維人機交互的情況下進行手勢識別。本文主要構(gòu)建了8種手勢(表2)：復(fù)制、選中、移動、貼圖、放大、旋轉(zhuǎn)、刪除和完成。

表2 手勢設(shè)計類別