沉浸式虛擬訓(xùn)練中的虛擬手操控技術(shù)研究

張玉軍，邢 輝，湯華軍

(1.解放軍69079部隊(duì)，烏魯木齊 830013；2.解放軍69240部隊(duì)，烏魯木齊 830011)

沉浸式虛擬訓(xùn)練中的虛擬手操控技術(shù)研究

張玉軍1,2，邢 輝1，湯華軍2

(1.解放軍69079部隊(duì)，烏魯木齊 830013；2.解放軍69240部隊(duì)，烏魯木齊 830011)

將人手的自然動(dòng)作加入沉浸式虛擬現(xiàn)實(shí)系統(tǒng)中，可有效提高系統(tǒng)的沉浸感和交互性，簡(jiǎn)便快捷、成本低廉的虛擬手建模及操控技術(shù)，有助于此項(xiàng)內(nèi)容的推廣應(yīng)用；在對(duì)虛擬手骨骼結(jié)構(gòu)模型分析的基礎(chǔ)上，提出了基于Leap Motion的虛擬手控制方法和流程；以維修訓(xùn)練為任務(wù)背景，設(shè)計(jì)了四種用于虛擬手操作的手勢(shì)規(guī)則，并對(duì)實(shí)現(xiàn)流程和關(guān)鍵技術(shù)進(jìn)行了分析；構(gòu)建基于Unity3D引擎的原型系統(tǒng)對(duì)虛擬手進(jìn)行仿真驗(yàn)證，結(jié)果表明，基于Leap Motion的虛擬手操控簡(jiǎn)單、交互自然，可以滿足虛擬現(xiàn)實(shí)系統(tǒng)交互需要。

手勢(shì)識(shí)別；虛擬現(xiàn)實(shí)；虛擬手

0 引言

隨著虛擬現(xiàn)實(shí)(virtual reality)技術(shù)的不斷發(fā)展，先后出現(xiàn)了桌面式、沉浸式、分布式、增強(qiáng)現(xiàn)實(shí)等不同形式的虛擬現(xiàn)實(shí)系統(tǒng)。其中，沉浸式虛擬現(xiàn)實(shí)系統(tǒng)將用戶感官完全與外界隔絕，使用戶在不受干擾的情況下形成持久專注力，這種特點(diǎn)使沉浸式虛擬現(xiàn)實(shí)系統(tǒng)廣泛應(yīng)用于各種訓(xùn)練領(lǐng)域，虛擬手元素則是其重要的組成部分。

沉浸式虛擬訓(xùn)練中的虛擬手操控主要分為兩部分：1)對(duì)虛擬手的控制，實(shí)現(xiàn)場(chǎng)景中虛擬手的移動(dòng)和旋轉(zhuǎn)，即實(shí)時(shí)感知人手信息并更新場(chǎng)景中的虛擬手，使兩者的位置和姿態(tài)趨于一致[1]；2)虛擬手的相關(guān)操作，如抓取、點(diǎn)擊、指示等，通過虛擬手的操作可實(shí)現(xiàn)用戶與場(chǎng)景的交互，完成相關(guān)訓(xùn)練內(nèi)容。

目前國內(nèi)外學(xué)者提出了一些虛擬手模型及操控的實(shí)現(xiàn)方法：在虛擬手構(gòu)建及控制方面，Esteban等設(shè)計(jì)了25DOFs的虛擬手骨骼模型，根據(jù)D-H方法定義了虛擬手的各關(guān)節(jié)鏈接關(guān)系，對(duì)手模型的真實(shí)運(yùn)動(dòng)進(jìn)行仿真[2]；殷磊等建立了虛擬手的關(guān)節(jié)模型和實(shí)體模型，通過數(shù)據(jù)分解和矩陣變換將數(shù)據(jù)手套獲取的手掌位姿信息映射到虛擬場(chǎng)景中，實(shí)現(xiàn)對(duì)虛擬手的準(zhǔn)確控制[1]；W.F.Chen等基于對(duì)偶四元數(shù)法設(shè)計(jì)了虛擬手交互模型，并提出了支持手勢(shì)交互與3D操作的虛擬手交互框架[3]。在虛擬手操作方面，楊宏生等在Vega環(huán)境中，設(shè)計(jì)了虛擬手對(duì)桿狀物、開關(guān)、按鈕的操作規(guī)則及流程[4]；X.H.Liu等設(shè)計(jì)了虛擬手操作框架，通過匹配虛擬手位置參數(shù)與手勢(shì)定義數(shù)據(jù)庫，實(shí)現(xiàn)虛擬手對(duì)常用手勢(shì)的操作[5]；李克彬等根據(jù)人手抓取物體時(shí)的特點(diǎn)，設(shè)計(jì)了虛擬手抓取規(guī)則，并在Open Inventor實(shí)現(xiàn)虛擬操作[6]。

上述虛擬手的構(gòu)建與控制，多是通過數(shù)據(jù)手套完成的，設(shè)備昂貴、算法復(fù)雜且手部受限感明顯，影響交互效果；也有基于光學(xué)的手勢(shì)識(shí)別研究，但沒有構(gòu)建完整的手模型[7]?；诖?，論文采用Leap Motion光學(xué)手勢(shì)跟蹤設(shè)備，以裸手交互為目標(biāo)，構(gòu)建虛擬手模型，設(shè)計(jì)手勢(shì)及操作規(guī)則，并通過實(shí)例進(jìn)行仿真驗(yàn)證。

1 虛擬手模型的構(gòu)建及控制

1.1 虛擬手結(jié)構(gòu)模型

人手有27塊骨頭，包括腕骨、掌骨和指骨三部分，8塊位于手腕處，3塊位于拇指(1塊掌骨，2塊指骨)；4塊掌骨和12塊指骨平均位于其它四根手指，骨頭之間通過不同類型的關(guān)節(jié)相連。為保證虛擬手能能夠模擬真實(shí)手的各種姿態(tài)，必須建立其關(guān)節(jié)模型，確定各關(guān)節(jié)間的運(yùn)動(dòng)邏輯，包括運(yùn)動(dòng)約束關(guān)系和運(yùn)動(dòng)狀態(tài)繼承關(guān)系。根據(jù)手的解剖結(jié)構(gòu)和運(yùn)動(dòng)特性，建立虛擬手骨骼關(guān)節(jié)模型，如圖1所示。在此基礎(chǔ)上，利用3dmax或Maya等建模軟件，采用實(shí)體建模的方法，構(gòu)建虛擬手實(shí)體模型。

圖1 虛擬手骨骼關(guān)節(jié)模型

該模型由15個(gè)手指關(guān)節(jié)和一個(gè)手掌組成，每根手指均包括掌指關(guān)節(jié)(Metacarpophalangeal，MCP)、指尖關(guān)節(jié)(proximal interphalangeal，PIP)和指端關(guān)節(jié)(distal Interphalangeal，DIP)，相連關(guān)節(jié)之間遵循鉸接運(yùn)動(dòng)約束關(guān)系，即兩者可以相對(duì)轉(zhuǎn)動(dòng)但不能移動(dòng)。關(guān)節(jié)之間的連接箭頭表示關(guān)節(jié)之間父子關(guān)系，箭頭根部為父節(jié)點(diǎn)，頭部為子節(jié)點(diǎn)。父節(jié)點(diǎn)的運(yùn)動(dòng)狀態(tài)傳遞給子節(jié)點(diǎn)，而子節(jié)點(diǎn)的運(yùn)動(dòng)狀態(tài)對(duì)父節(jié)點(diǎn)不產(chǎn)生影響。虛擬手各關(guān)節(jié)的運(yùn)動(dòng)主要由兩種運(yùn)動(dòng)形式[8]：1)屈和伸；2)內(nèi)收和外展。

模型共包括27個(gè)自由度(DOFs)，其中：Index、Middle、Ring和Pinky每根手指包括4個(gè)自由度(MCP關(guān)節(jié)2個(gè)，PIP、DIP關(guān)節(jié)各1個(gè))，Thumb手指包括5個(gè)自由度(MCP、PIP關(guān)節(jié)各2個(gè)，DIP關(guān)節(jié)1個(gè))，手掌的空間位置和方向需要6個(gè)自由度，各關(guān)節(jié)自由度標(biāo)號(hào)如圖2所示。

Leap Motion進(jìn)行手部識(shí)別時(shí)，其SDK算法已經(jīng)進(jìn)行了必要的運(yùn)動(dòng)約束，避免了非法值的出現(xiàn)[9]。因此，虛擬手模型的骨骼約束僅考慮了上述自由度約束，未對(duì)其他進(jìn)行詳細(xì)約束。

1.2 虛擬手運(yùn)動(dòng)控制

1.2.1 Leap Motion手勢(shì)識(shí)別特點(diǎn)

Leap Motion是一個(gè)檢測(cè)手勢(shì)運(yùn)動(dòng)的傳感器，采用紅外成像原理，通過內(nèi)置的兩個(gè)攝像頭捕捉傳感器上方25～600 mm之間，大致呈倒立金字塔范圍內(nèi)的信息，可識(shí)別每根手指的位置、姿態(tài)、速度等參數(shù)，動(dòng)作跟蹤精度達(dá)0.01 mm，小范圍內(nèi)精確的手勢(shì)識(shí)別能力為虛擬手運(yùn)動(dòng)控制提供了基礎(chǔ)支持[10]。

Leap Motion采用右手笛卡爾坐標(biāo)系，原點(diǎn)坐標(biāo)在Leap Motion控制器的中心，X軸和Z軸在設(shè)備的水平面，X軸和設(shè)備的長邊平行，指向屏幕右方，Y軸垂直向上，只有正半軸[11]。如圖2所示。

圖2 Leap Motion的右手坐標(biāo)系

在使用過程中，Leap Motion控制器會(huì)以大約115 fps的幀速度發(fā)送關(guān)于手的運(yùn)動(dòng)信息。對(duì)于每只手，可以檢測(cè)到如下信息：1)手掌的中心位置、移動(dòng)速度、姿態(tài)變化；2)手掌的法向量、指向方向；3)手掌彎曲形成的虛擬球體；4)左右手判定、手掌伸展度、拇指與其它四指捏取力度。

對(duì)于每只手指，可以檢測(cè)到如下信息：1)手指的中心位置、移動(dòng)速度、姿態(tài)變化；2)指尖的位置以及速度；3)手指類型判定；4)手指伸展判定。

在實(shí)際應(yīng)用中，Leap Motion為開發(fā)者提供了可進(jìn)行二次開發(fā)的SDK，支持C++、Object-C、C#、Java、Python、Unity3D、Unreal等多種編程語言和開發(fā)平臺(tái)進(jìn)行應(yīng)用程序開發(fā)，目前，主要提供Orion和V2兩個(gè)系列[12]。

1.2.2 基于Leap Motion的虛擬手控制

虛擬手運(yùn)動(dòng)控制主要包括位置和姿態(tài)的更新，與基于數(shù)據(jù)手套控制虛擬手不同，通過Leap Motion可以獲取整個(gè)手掌及每根指骨的位置和旋轉(zhuǎn)數(shù)據(jù)，這些數(shù)據(jù)大大簡(jiǎn)化了虛擬手的運(yùn)動(dòng)控制，因此，建立虛擬手骨骼關(guān)節(jié)模型時(shí)，虛擬手及各關(guān)節(jié)的本體坐標(biāo)要與LeapSDK提供坐標(biāo)相一致，便于計(jì)算。

虛擬手位置更新較容易實(shí)現(xiàn)，可使用Hand::PalmPosition方法獲取手部當(dāng)前位置，而后將坐標(biāo)轉(zhuǎn)換為場(chǎng)景全局坐標(biāo)，從而更新虛擬手位置。姿態(tài)更新分為兩部分，首先通過Hand::Basis和Bone::Basis獲取手掌和各指骨本體坐標(biāo)各軸向當(dāng)前指向(xbasis，ybasis，zbasis)，并將其轉(zhuǎn)化為場(chǎng)景全局坐標(biāo)；而后，依次繞各軸旋轉(zhuǎn)，使本體坐標(biāo)各軸指向?yàn)?，完成姿態(tài)更新。以Unity3D引擎開發(fā)Leap Motion為例，虛擬手運(yùn)動(dòng)控制的基本流程如圖3所示。

圖3 虛擬手運(yùn)動(dòng)控制基本流程

其中，Leap Motion坐標(biāo)系(簡(jiǎn)稱Leap坐標(biāo)，右手系)與Unity3D坐標(biāo)系(簡(jiǎn)稱U3D坐標(biāo)，左手系)轉(zhuǎn)換方法為：首先將Leap坐標(biāo)z軸旋轉(zhuǎn)，而后乘以縮放因子a，最后根據(jù)需要在y軸添加偏置量Δy。如式(1)所示。M為Leap坐標(biāo)到U3D坐標(biāo)的轉(zhuǎn)換矩陣。

(1)

2 基于手勢(shì)的虛擬手操作實(shí)現(xiàn)

2.1 手勢(shì)定義

手勢(shì)定義是虛擬手實(shí)現(xiàn)對(duì)虛擬物體操作的基礎(chǔ)，數(shù)量合理、定義明確的手勢(shì)有助于系統(tǒng)高效識(shí)別手部動(dòng)作，完成相應(yīng)交互指令。手勢(shì)可分為靜態(tài)手勢(shì)和動(dòng)態(tài)手勢(shì)[13]。靜態(tài)手勢(shì)是手部的一個(gè)特殊形狀或姿勢(shì)，僅由當(dāng)前手部狀態(tài)決定；動(dòng)態(tài)手勢(shì)是運(yùn)動(dòng)的手勢(shì)，是由隨時(shí)間變化的一系列靜態(tài)手勢(shì)共同決定。文中所論述的手勢(shì)為靜態(tài)手勢(shì)，動(dòng)態(tài)手勢(shì)的定義和識(shí)別將在后續(xù)文章中研究。

文中手勢(shì)的定義以維修訓(xùn)練相關(guān)動(dòng)作為主，包括獲取工具(零件)、移動(dòng)到指定位置、按規(guī)定進(jìn)行拆裝等操作，還包括一些按鈕、開關(guān)的按壓等。假設(shè)裝備零部件的形狀可抽象為長方體、圓柱體、圓環(huán)等形狀及其組合，結(jié)合上述維修動(dòng)作，設(shè)計(jì)了5種基本手勢(shì)，如表1所示。

表1 基本手勢(shì)定義

2.2 手勢(shì)操作規(guī)則

根據(jù)力的平衡原理，在仿真場(chǎng)景中實(shí)現(xiàn)虛擬手對(duì)虛擬物體的操作，并使虛擬物體保持穩(wěn)定，則虛擬手需要對(duì)虛擬物體施加至少2個(gè)相對(duì)力，已達(dá)到平衡狀態(tài)，然而就目前研究狀態(tài)來看，還難以從力的角度實(shí)現(xiàn)虛擬手的操作仿真。為此，論文從人手抓取物體的習(xí)慣和姿態(tài)出發(fā)，針對(duì)各種手勢(shì)，設(shè)計(jì)了相應(yīng)的操作規(guī)則。

2.堅(jiān)持“唯實(shí)求是”的方法論，激勵(lì)和調(diào)動(dòng)“發(fā)現(xiàn)欲望”?！皩?dǎo)論篇”在編選內(nèi)容時(shí)，應(yīng)以堅(jiān)持“唯實(shí)求是”的方法論和激勵(lì)、調(diào)動(dòng)學(xué)生的“發(fā)現(xiàn)欲望”為基本思想和基本主題。唯實(shí)求是，即事實(shí)是衡量和檢驗(yàn)真理的唯一標(biāo)準(zhǔn)，不唯上，不唯書，只唯實(shí)。實(shí)驗(yàn)的過程，是對(duì)未知世界不斷發(fā)現(xiàn)、挖掘、探索、分析、研究、創(chuàng)新的過程，強(qiáng)烈的發(fā)現(xiàn)欲望，是實(shí)驗(yàn)成功的一半。要善于培養(yǎng)和強(qiáng)化學(xué)生的“發(fā)現(xiàn)欲望”，并安排較大篇幅列舉科學(xué)家的偉大發(fā)明始于發(fā)現(xiàn)毫微和某些科學(xué)家忽視發(fā)現(xiàn)毫微而與發(fā)明失之交臂的實(shí)例，以啟迪學(xué)生懂得“發(fā)現(xiàn)欲望”在科學(xué)實(shí)驗(yàn)、科學(xué)研究中的重要性。

2.2.1 抓握操作

抓握手勢(shì)是虛擬手對(duì)諸多較大工具操作的基礎(chǔ)，其實(shí)現(xiàn)規(guī)則定義如下：1)手掌向目標(biāo)物體移動(dòng)時(shí)手指自然彎曲，呈預(yù)抓取狀，當(dāng)手掌掌部碰撞點(diǎn)與物體被握部位接觸時(shí)，滿足條件一；2)手指圍繞物體被握部位彎曲呈握拳狀，滿足條件二。當(dāng)虛擬手先后滿足1)、2)時(shí)，實(shí)現(xiàn)抓握操作，1)、2)順序不能顛倒。如圖4所示。抓握操作的釋放規(guī)則為：當(dāng)五根手指全部松開，即全部成伸展?fàn)顟B(tài)時(shí)，釋放虛擬物體。

圖4 抓握操作

2.2.2 捏取操作

捏取手勢(shì)主要是對(duì)一些小零件、小物體的操作，其實(shí)現(xiàn)規(guī)則定義如下：拇指與食指末端指節(jié)靠攏，當(dāng)兩指的接觸點(diǎn)同時(shí)接觸物體時(shí)，實(shí)現(xiàn)捏取操作。如圖5所示。捏取操作的釋放規(guī)則為：當(dāng)拇指和食指任一手指離開物體時(shí)，釋放物體。

圖5 捏取操作

2.2.3 抓取操作

抓取手勢(shì)主要完成一些較大配件、物體的移動(dòng)操作，其實(shí)現(xiàn)規(guī)則定義如下：1)至少兩根手指與物體接觸，其中一根為拇指；2)兩指與物體接觸面法矢量的夾角大于某個(gè)預(yù)定義臨界角(在此我們?cè)O(shè)定該角度值為120度)；3)物體與手掌接觸。當(dāng)虛擬手同時(shí)滿足1)、2)或1)、3)時(shí)，實(shí)現(xiàn)抓取操作。如圖6所示。抓取操作的釋放規(guī)則為：1)拇指離開物體；2)其余4個(gè)手指全部離開物體；3)法線夾角小于臨界角度。滿意任一條件則釋放物體。

圖6 抓取操作

其中，抓取條件2)中的法矢量夾角，是指兩根手指與物體接觸點(diǎn)(N1，N2)與物體中心G所形成的夾角,詳細(xì)計(jì)算方法參見文獻(xiàn)[6]。

按壓手勢(shì)主要實(shí)現(xiàn)控制面板上的按鈕、開關(guān)的操作，以及場(chǎng)景中虛擬菜單的選擇等，其實(shí)現(xiàn)規(guī)則定義如下：食指前伸，其余四指自然彎曲，當(dāng)接觸點(diǎn)與目標(biāo)接觸時(shí)，實(shí)現(xiàn)按壓操作。如圖7所示。按壓操作的釋放規(guī)則為：當(dāng)食指接觸點(diǎn)離開物體，取消按壓操作。

圖7 按壓操作

2.3 手勢(shì)操作實(shí)現(xiàn)

在上述手勢(shì)和規(guī)則定義的基礎(chǔ)上，虛擬手可綜合運(yùn)用不同手勢(shì)實(shí)現(xiàn)對(duì)虛擬物體的操作，具體交互過程及關(guān)鍵技術(shù)如下：

1)虛擬手控制：確定所需要操作的虛擬物體后，控制虛擬手向該物體移動(dòng)，并根據(jù)操作需要，調(diào)整姿態(tài)，提前做出相應(yīng)的手勢(shì)。關(guān)鍵技術(shù)：虛擬手運(yùn)動(dòng)控制。

2)手勢(shì)判定：根據(jù)不同手勢(shì)操作的特點(diǎn)，控制手指使虛擬手與目標(biāo)物體滿足操作規(guī)則，從而實(shí)現(xiàn)不同的手勢(shì)操作。關(guān)鍵技術(shù)：碰撞檢測(cè)以及手指狀態(tài)檢測(cè)，重要的LeapSDK接口參數(shù)為Hand::GrabStrength判斷手握拳力度，F(xiàn)inger:: IsExtended判斷單個(gè)手指的彎曲與伸展?fàn)顟B(tài)。

3)操作物體：當(dāng)虛擬手與物體滿足某個(gè)手勢(shì)時(shí)，需要將物體的本體坐標(biāo)系附著在虛擬手模型上，從而實(shí)現(xiàn)虛擬手對(duì)虛擬物體位置和姿態(tài)操作。對(duì)于按壓操作，虛擬物體隨著手指在體積、顏色等方面發(fā)生變化。關(guān)鍵技術(shù)：虛擬物體在不同坐標(biāo)系中的轉(zhuǎn)換。

4)釋放物體：當(dāng)完成需要的操作后，松開手指或離開目標(biāo)物體，此時(shí)不再滿足操作規(guī)則，從而釋放物體。整個(gè)過程如圖8所示。

圖8 虛擬手操作實(shí)現(xiàn)流程

3 原型系統(tǒng)及實(shí)例

基于上述研究成果，我們構(gòu)建了彈藥虛擬維修訓(xùn)練原型系統(tǒng)，測(cè)試虛擬手控制及其操作虛擬物體的效果。

3.1 原型系統(tǒng)的構(gòu)成

虛擬維修原型系統(tǒng)硬件部分包括：聯(lián)想圖形工作站、Oculus Rift頭盔顯示器(HMD)、Leap Motion光學(xué)手勢(shì)跟蹤設(shè)備。軟件部分包括：模型開發(fā)需要的3ds Max、Photoshop；系統(tǒng)開發(fā)基于Unity 5.X虛擬現(xiàn)實(shí)引擎，對(duì)Oculus和Leap采用應(yīng)用動(dòng)態(tài)鏈接庫的方式進(jìn)行集成，控制腳本為C#語言。整個(gè)框架如圖9所示。

圖9 原型系統(tǒng)軟硬件集成框架

3.2 實(shí)例操作

以某型彈藥維修為目標(biāo)，在原型系統(tǒng)中通過操作虛擬手對(duì)彈藥進(jìn)行拆卸維修，驗(yàn)證多種手勢(shì)在系統(tǒng)中的應(yīng)用效果，其中，螺栓的拆卸過程如圖10所示。由此可見，應(yīng)用文中的模型和方法，我們實(shí)現(xiàn)了對(duì)虛擬手控制及其對(duì)虛擬物體的操作。

圖10 虛擬手拆卸螺栓

3.3 結(jié)果分析

實(shí)例基本實(shí)現(xiàn)了各種手勢(shì)的綜合運(yùn)用，但由于缺乏動(dòng)態(tài)手勢(shì)，工具的操作過程略顯不足，就文中所研究的虛擬手操控而言，主要有以下幾點(diǎn)結(jié)論：

1)采用裸手的虛擬交互方式，手部沒有束縛，控制簡(jiǎn)單，交互自然，符合人們的生活工作方式，沉浸感明顯；但由于手臂長時(shí)間懸空，手指無著力點(diǎn)，容易造成手臂、手指酸疼。

2)由于手指互相遮蔽、環(huán)境光照干擾、手部抖動(dòng)等因素的影響，會(huì)造成手指狀態(tài)的誤判，從而影響手勢(shì)操作規(guī)則的精準(zhǔn)度，所以規(guī)則的實(shí)現(xiàn)標(biāo)準(zhǔn)可略寬，而釋放標(biāo)準(zhǔn)可略嚴(yán)。

3)當(dāng)手部運(yùn)動(dòng)速度較快或進(jìn)行不規(guī)則翻滾時(shí)，Leap Motion容易丟失跟蹤或產(chǎn)生錯(cuò)誤數(shù)據(jù)使模型變形，這時(shí)，需要重新標(biāo)定虛擬手模型。

4 結(jié)束語

本文基于Leap Motion構(gòu)建了虛擬手模型，對(duì)其操控技術(shù)進(jìn)行了研究，使用戶在沉浸式虛擬現(xiàn)實(shí)系統(tǒng)中，可以通過裸手的方式與場(chǎng)景進(jìn)行交互、操作虛擬物體，整個(gè)過程簡(jiǎn)單可靠，交互自然，用戶沉浸感顯著增強(qiáng)，訓(xùn)練效果明顯。接下來，在當(dāng)前靜態(tài)手勢(shì)研究的基礎(chǔ)上，采用機(jī)器學(xué)習(xí)理論對(duì)動(dòng)態(tài)手勢(shì)進(jìn)行研究，進(jìn)一步提高虛擬手操控效果。

[1] 殷 磊, 韓 靜, 王 燁, 等. 虛擬現(xiàn)實(shí)環(huán)境下虛擬手控制技術(shù)研究 [J]. 系統(tǒng)仿真學(xué)報(bào), 2009, 21(2): 448 - 451.

[3] Chen W F, Zhu S J, Wan H G. Dual quaternion based virtual hand interaction modeling [J]. Science China, 2013, 56(03): 1 - 11.

[4] 楊宏生, 裴忠才, 曹宗勝, 等. 地震救援虛擬仿真系統(tǒng)中虛擬手的操作 [J]. 系統(tǒng)仿真學(xué)報(bào)，2006, 18(12): 3425 - 3429.

[5] Liu X H, Cui X L, Song G M, etc. Development of a virtual maintenance system with virtual hand [J]. International Journal of Advanced Manufacturing Technology, 2014, 70(9-12): 2241 - 2247.

[6] 李克彬, 王淑琴, 單繼紅. 虛擬手操作技術(shù)研究及實(shí)現(xiàn) [J]. 計(jì)算機(jī)仿真，2007, 24(3): 227 - 229.

[7] 湯志波, 張志利, 梁 豐, 等. 虛擬維修訓(xùn)練中的手勢(shì)識(shí)別 [J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2014, 35(12): 4278 - 4282.

[8] 李志華, 鐘毅芳. 虛擬手模型及其抓取技術(shù) [J]. 小型微型計(jì)算機(jī)系統(tǒng), 2003, 24(06): 1071 - 1074.

[9] Guna J, Jakus G, Pogacnik M, et al. An Analysis of the Precision and Reliability of the Leap Motion Sensor and Its Suitability for Static and Dynamic Tracking [J]. Sensors 2014, 14(02): 3702 - 3720.

[10] 張玉軍, 孟曉軍, 王 剛. 基于手勢(shì)交互的三維電子沙盤系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) [J]. 指揮控制與仿真， 2016, 38(2): 110 - 114.

[11] 胡 宏, 晁建剛, 林萬洪, 等. Leap Motion虛擬手構(gòu)建方法及其在航天訓(xùn)練中的應(yīng)用 [J]. 載人航天, 2015, 21(3): 257 - 262.

[12] Leap Motion. Leap Motion SDK and Plugin Documentation [EB/OL]. (2016-7-15). https://developer.leapmotion.com/documentation.

[13] 楊 波, 宋曉娜, 馮志全, 等. 復(fù)雜背景下基于空間分布特征的手勢(shì)識(shí)別算法 [J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2010, 22(10): 1841-1848.

Research on Virtual Hand Control and Operation in Immersive Virtual Training

Zhang Yujun1, 2, Xing Hui1, Tang Huajun2

(1.Unit 69079 of PLA, Urumqi 830013, China; 2.Unit 69240 of PLA, Urumqi 830011, China)

To add the man′s hand movements to immersive virtual reality system can effectively improve the immersive and interactive system. Simple, fast, and low cost technology of virtual hand control and operation contribute to the application of virtual hand. Bone structure model of virtual hand is analyzed, and then control method and process of virtual hand based on Leap Motion is put forward. Taking maintenance training as background, four gesture rules of virtual hand operation are designed. Realization flow and key technologies of virtual hand operation is analyzed. A prototype system based on Unity3D engine is constructed to verified virtual hand by simulation. The results show that the operation of virtual hand based on Leap Motion is simple, interaction is nature, which meet the needs of the virtual reality system interaction.

hand recognition; virtual reality; virtual hand

2016-04-07；

2016-06-21。

張玉軍(1982-)，男，吉林白山人，博士，工程師，主要從事虛擬現(xiàn)實(shí)、建模仿真方向的研究。

1671-4598(2017)02-0081-04

10.16526/j.cnki.11-4762/tp.2017.02.022

TP391

A