楊文超　吳亞東　趙思蕊　蔣宏宇

(西南科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院　四川綿陽　621010)

?

三維環(huán)境手勢自然交互范式研究

楊文超吳亞東趙思蕊蔣宏宇

(西南科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院四川綿陽621010)

摘要：隨著非接觸式交互設(shè)備的出現(xiàn)和三維界面的廣泛應(yīng)用，傳統(tǒng)的二維交互方式已經(jīng)不能滿足三維應(yīng)用系統(tǒng)的需求，亟待研究三維界面的自然交互問題。結(jié)合用戶認知心理和三維界面的特點，提出三維界面交互通用模型GOMSS(Goals, Operators, Methods, Selection Rules and Scenes)，并將該模型應(yīng)用于體感設(shè)備的手勢交互研究，設(shè)計了三維環(huán)境手勢自然交互范式。通過虛擬裝配等系統(tǒng)進行評估，表明該手勢交互模式在提升系統(tǒng)易學(xué)性和交互沉浸感方面的有效性。

關(guān)鍵詞：人機交互三維界面手勢交互語義自然交互范式

自1964年Doug Engelbart發(fā)明鼠標，鼠標和鍵盤已逐漸成為人與計算機交互最主要的方式，直到20世紀80年代，觸摸屏潮流爆發(fā)[1-2]，Multi-touch被應(yīng)用到手持終端、交互式桌面等。然而人們逐漸意識到觸摸屏只是換了種形式的鍵盤和鼠標而已[3]。這些傳統(tǒng)的交互方式并不適用于三維界面，也難以實現(xiàn)自然人機交互。傳統(tǒng)人機交互方式在沒有計算機的情況下都不再需要，而自然人機交互不是計算機特有屬性[4]。隨著Leap Motion、Kinect等體感交互設(shè)備的不斷涌現(xiàn)，交互界將迎來又一次革命，最終過渡到三維空間特征的自然人機交互方式。

應(yīng)用傳統(tǒng)的交互模式與三維界面進行交互，通常是將深度信息投射到平面上，用戶的交互轉(zhuǎn)化到二維平面上完成，降低了交互自然度。尤其在虛擬裝配等訓(xùn)練系統(tǒng)中，采用傳統(tǒng)交互方式不僅給用戶帶來認知困難，而且缺乏真實感，使訓(xùn)練效果受到影響。人們在三維空間交互問題上做了不少研究。馮志全等人[5]基于普通攝像機獲取手勢特征，提出一種基于自然手勢直接操作的三維人機交互范式，引入圓球“替身”實現(xiàn)二維到三維空間可視映射。張鳳軍等人[6]應(yīng)用智能手機慣性傳感器控制輸入與三維場景交互，具有實時、快速、易學(xué)習(xí)的優(yōu)點，但依賴手持終端難以實現(xiàn)對復(fù)雜動作的模擬。吳匯岳等人[7]基于“paint-view-correct”隱喻構(gòu)建手勢界面開發(fā)工具IEToolkit，并應(yīng)用于虛擬家居展示和城市漫游系統(tǒng)等三維娛樂體驗系統(tǒng)中，取得良好的三維交互效果。

目前三維交互研究已經(jīng)提出很多交互模型和范式，但對三維界面交互模式和界面設(shè)計方法的探索并不多見。本文研究了三維交互界面的特點和GOMS交互模型(Goals, Operators, Methods and Selection Rules)在三維交互中的不足，提出三維界面交互通用模型GOMSS，并且分析了在該模型下三維交互界面的設(shè)計理論。最后基于GOMSS模型和體感交互設(shè)備，以人的自然手部動作控制輸入，設(shè)計了一種三維環(huán)境手勢自然交互范式。通過與傳統(tǒng)交互方式的效率比較、學(xué)習(xí)曲線比較和用戶滿意度調(diào)查最終表明該交互模式的易學(xué)性和易用性。

1三維界面交互模型GOMSS

三維數(shù)據(jù)模型包括面向?qū)嶓w型、面向關(guān)系型和混合型3種[8-9]，三維界面的交互也要包含元素的關(guān)系集合和其固有屬性兩方面。建立交互模型主要描述元素間關(guān)系，同時為了表達元素屬性和協(xié)調(diào)界面關(guān)系，提升交互效率和用戶體驗度，研究三維交互界面的認知理論和設(shè)計原則也是十分必要的。

1.1基于空間特征的GOMSS交互模型設(shè)計

對交互過程的建模分析是交互設(shè)計的理論基礎(chǔ)。GOMS模型是人機交互領(lǐng)域最經(jīng)典模型之一[9]，在指導(dǎo)圖形界面范式(WIMP)的交互設(shè)計和評價方面具有重要意義。該模型從用戶行為分析的角度描述交互任務(wù)的實現(xiàn)過程：首先需要選擇一種交互規(guī)則(Selection Rules)，然后根據(jù)不同規(guī)則下的交互方法(Methods)完成不同的操作(Operators)集合，最終實現(xiàn)交互目標(Goals)[10]。

GOMS模型描述三維界面交互存在不足。三維交互是基于場景的，不同的場景擁有不同的交互對象。自然人機交互指出，越符合人的認知的交互方式就越自然，三維場景的設(shè)計在視覺上十分接近真實環(huán)境，減少了人的認知負荷，但是在交互上GOMS模型沒有考慮真實環(huán)境中場景交互的連續(xù)性，降低了三維界面的交互真實度。本文據(jù)此擴充GOMS模型并提出GOMSS三維界面交互通用模型，如圖1所示。

圖1　GOMSS交互模型

三維界面交互模型GOMSS描述：在三維環(huán)境下完成交互任務(wù)，首先控制視角連續(xù)變化，搜尋場景(Scenes)，轉(zhuǎn)換到交互對象可見的場景，然后選擇交互規(guī)則(Selection Rules)，規(guī)則只是適應(yīng)在不同的場景下實施交互動作的評判而不會改變視角或切換窗口，比如在不同的場景有的對象可以抓取而有的對象卻不能就是一組交互規(guī)則。根據(jù)規(guī)則確定一種交互方法(Methods)，該方法可能由多個操作(Operators)組成，只有完成所有步驟才能實現(xiàn)交互目標(Goals)。

在GOMS描述的WIMP(Window，Icon，Menu，Pointer)交互界面中，選擇交互規(guī)則或方法的過程都可能引起窗口的切換。比如在windows8系統(tǒng)界面，要查看某個文件夾下的某個特定文件可以雙擊我的電腦依次點開文件目錄來找到文件或者使用快捷鍵Win+E打開資源瀏覽器然后在地址欄鍵入文件路徑并點擊回車鍵，這是完成目標(查看特定文件)的兩種方法，不管選擇哪種方法都要執(zhí)行多個操作步驟才能完成交互目標。在Post-WIMP或者Non-WIMP三維界面中，運用GOMSS描述手勢交互過程如下：要查看的文件放在書桌的抽屜里，首先連續(xù)移動視角，使得場景內(nèi)可觸及位置含有該書桌抽屜，然后手拿鑰匙打開抽屜找到該文件或者手指點擊鍵入密碼，抽屜自動打開找到該文件，不管選擇哪種方法都要完成多個操作步驟才能實現(xiàn)交互目標。如果用GOMS模型描述該三維交互過程，因為界面沒有快捷圖標，也不可能在復(fù)雜的三維環(huán)境設(shè)置大量快捷按鍵來快速跳轉(zhuǎn)界面場景，交互將會被中斷。而GOMSS描述的交互過程與真實環(huán)境十分類似，減少了用戶認知負擔。

1.2GOMSS三維交互界面的認知分析

基于場景的三維交互強調(diào)用戶視角的控制在交互過程中的重要性，不同視角對應(yīng)的場景需要表達對象間的空間關(guān)系，在三維環(huán)境的交互過程中，為了更加真實地表現(xiàn)用戶交互實施過程，考慮了用戶手的位置與交互對象的相對深度的影響，如果與對象的距離太遠則不能發(fā)生交互動作，從而在遠處物體與近處交互對象重疊時區(qū)別交互對象與干擾項。費茨定律(Fitts’s Law)指出，在交互界面移動到目標上所需交互時間與到目標的距離和目標面積有關(guān)[11-13]，與目標中心的間距越小，目標面積越大，交互所需時間越短。在三維交互環(huán)境中，因為深度軸的影響，目標在交互界面上的相對大小會因為與目標間距的改變而改變，而當前位置到目標的距離也不是平面距離。這里對三維界面的費茨定律進行擴展定義如公式(1)：

(1)

從公式(1)中可以看出，三維交互中目標的深度距離對移動到可交互目標上的時間消耗有較大影響，應(yīng)在一定深度距離范圍內(nèi)，設(shè)置目標為可交互狀態(tài)，減少深度距離帶來的交互延時。

圖2　三維界面選擇物體(左)與二維界面(右)比較

2三維界面手勢交互范式

基于GOMSS交互模型，提出一種以體感手勢為基礎(chǔ)的三維環(huán)境手勢自然交互范式，設(shè)計了該手勢交互的語義規(guī)則庫，并用Kinect實現(xiàn)了該范式交互框架。

2.1手勢交互語義規(guī)則庫設(shè)計

交互語義規(guī)則庫主要定義對視角控制的所有交互動作及對象的抓取、拖動、放置動作。三維界面交互用手形“手標”借指用戶雙手，以胸前一定距離為邊界建立梯形塊有效交互區(qū)域，只有手伸出到有效交互區(qū)域內(nèi)才能識別抓取、拖動、點擊等動作，梯形塊內(nèi)與手標在同一深度層次的物體才能發(fā)生交互行為。基本手勢操作的語義規(guī)則庫如表1所示。

表1　交互語義庫

續(xù)表1　交互語義庫

本文為簡便示范，運用Kinect體感傳感器設(shè)計了交互原語規(guī)則庫并實現(xiàn)了手勢自然交互，基于該手勢交互模式開發(fā)了三維場景測試系統(tǒng)和虛擬裝配應(yīng)用，用于系統(tǒng)評估。

2.2手勢交互范式的實現(xiàn)

2.2.1手勢交互流程

在動作識別方面，為了避免視角控制與普通操作手勢識別相混淆，造成普通手勢識別成場景交互的結(jié)果，在場景控制之前，首先檢測視角控制使能手勢，該手勢作為視角控制狀態(tài)機的開始?？刂屏鞒倘鐖D3所示。

圖3　手勢控制流程

每個手勢循環(huán)先判定是否檢測到場景控制使能手勢，該手勢通過判斷左手、左肘關(guān)節(jié)、右手、右肘關(guān)節(jié)在空間的位置符合定義并且兩個手掌的狀態(tài)從張開變?yōu)槲杖硎咀R別到場景控制使能手勢。之后便處于場景控制循環(huán)，如果沒有識別到視角控制手勢則開啟2 s定時；如果正確識別到視角控制手勢則按照語義庫的定義完成場景交互并關(guān)閉定時器。定時器時間到，關(guān)閉場景控制，退出場景控制循環(huán)。如果場景控制狀態(tài)無效，則判斷抓取、拖動、放置等基本交互動作是否有效。交互動作的識別依據(jù)手勢交互語義規(guī)則庫中的定義進行識別判定。任何時候雙手垂直下放到腰部以下都將復(fù)位并結(jié)束一個手勢檢測循環(huán)。

2.2.2交互中的反饋

為了讓三維對象的交互接近于真實情況，三維環(huán)境手勢交互范式將三維環(huán)境物體與用戶手的深度信息作為交互判斷條件，因此需要讓用戶感知深度距離值，確定目標是否處于可交互狀態(tài)。由于非接觸，無法通過力反饋通知用戶，本文采用顏色光渲染場景實現(xiàn)提示用戶深度信息，如圖4所示。

圖4　交互中的顏色反饋

在交互手標距離最近的深度級內(nèi)的物體將會被照射到黃色太陽光，表示該區(qū)域內(nèi)的對象都是可交互的，而遠處對象都是灰色調(diào)，要與之交互需要移動視角至適合交互的位置。如圖4所示，在近端有黃色光照射的圓球表示可以交互，用戶可以抓取，而遠方陰暗處的小球因為深度級別限制，用戶不能抓取。具有深度限制的手勢交互可以避免遠處實物與近處交互對象重疊時影響交互。黃色光源跟隨用戶相機移動，從而跟隨場景。在深度信息檢測方面，通過手標位置往視角前方發(fā)射射線與物體發(fā)生碰撞，然后在碰撞函數(shù)里獲取碰撞體坐標從而計算相對距離。

抓放等手勢動作的反饋運用了Kinect可識別手掌張開與握拳兩種姿態(tài)的功能，讓界面上手標姿態(tài)完全跟隨用戶真實手掌張開或者握拳手勢，以提示用戶交互狀態(tài)。

2.2.3坐標矯正

通過Kinect獲取到的骨骼點坐標是傳感器坐標系下獲得的，首先將骨骼三維坐標轉(zhuǎn)換為以用戶中心為原點的自身坐標系中。轉(zhuǎn)換公式為：

(2)

(3)

其中，[x′,y′,z′]為旋轉(zhuǎn)變換后的向量坐標，[x,y,z]為變換之前的骨骼點向量坐標。cosθ和sinθ值可以從圖中方便求取。

圖5　Kinect骨骼點(左)與側(cè)位站姿(右)

圖5中，左圖為Kinect可以獲取到的所有人體骨骼點在身體上的分布，右圖所示為用戶側(cè)位站姿坐標變換示意圖，X′OZ′為旋轉(zhuǎn)過后的用戶坐標系，L為HIP_LEFT骨骼點，R為HIP_RIGHT骨骼點，O為L和R的中點。

3范式評估

為了評估本文設(shè)計的三維界面交互模式，分別對簡單動作交互效率和復(fù)雜交互的用戶學(xué)習(xí)曲線與鼠標鍵盤控制方式進行了比較，并對用戶滿意度進行分析。觸摸屏交互控制三維視角移動一般采用虛擬搖桿方式，實際上是一種對鼠標和鍵盤的模擬，所以沒有再做比較。實驗在一臺Intel酷睿i7 CPU，3.2 GHz主頻、8 GB運行內(nèi)存的臺式計算機上完成。

首先，將手勢交互系統(tǒng)和鍵盤鼠標系統(tǒng)控制的移動速度設(shè)為相同，旋轉(zhuǎn)角度單位量設(shè)為相同，對幾個基本交互動作進行效率分析，記錄10次完成測試動作的平均時間，測試結(jié)果如表2。

從表2可以看出， 在定位靈活性方面，鼠標移動的距離更短，所以鼠標比手勢控制略優(yōu)，但是手勢控制隨著熟悉程度的增加將會得到很大改善；在平移視角動作中，手勢控制和鍵盤控制方式都是連續(xù)動作輸入，效率相當；在旋轉(zhuǎn)視角方面，鍵盤鼠標控制需要執(zhí)行的操作步驟更多，手勢交互表現(xiàn)優(yōu)于鍵盤鼠標。綜合考慮，手勢交互在視角控制方面具有更優(yōu)效率。

然后，對一個交互任務(wù)通過20次重復(fù)實驗記錄完成時間，繪制用戶學(xué)習(xí)曲線，并與鼠標鍵盤系統(tǒng)作比較，得到曲線如圖6所示。

表2　交互效率對比

圖6　用戶學(xué)習(xí)曲線比較

交互任務(wù)描述：按“8字形”路線避開障礙物移動視角到指定位置，然后抓取目標拖放到另一個位置。第一次測試為手勢控制，然后兩種控制方式交替重復(fù)試驗以避免任務(wù)熟悉程度不同影響實驗結(jié)果。從曲線可以看出，剛開始不熟悉環(huán)境用時較長，找到最優(yōu)路徑后兩種方式用時都有減少。在一些測試中，出現(xiàn)撞上障礙物的情況，任務(wù)用時會突然增加，這在兩種控制方式中都有發(fā)生。兩種控制方式的最長用時表現(xiàn)為手勢控制最長，最短用時表現(xiàn)手勢控制最短，因為手勢交互存在誤識別的情況，所以交互波動會更大。兩種控制方式用時平均值近乎相等，而手勢交互方式更早到達最低點，綜合考慮，手勢交互與鼠標鍵盤交互的用戶學(xué)習(xí)過程表現(xiàn)相當。

最后，邀請了10名志愿者在虛擬裝配系統(tǒng)中分別用手勢交互方式和鍵盤鼠標方式完成一個簡單的裝配任務(wù)(圖7)，裝配過程包含目標選取、有序拖動零件并放置到正確位置、移動視角等，之后讓他們完成一份滿意度問卷，包括系統(tǒng)的易學(xué)習(xí)性、易使用性、交互沉浸感，最高10分。結(jié)果見表3。

圖7　虛擬裝配演示系統(tǒng)

用戶編號 易學(xué)習(xí)性 易使用性 交互沉浸感 手勢鍵鼠手勢鍵鼠手勢鍵鼠188789929888993888810949888985999998688889879988988987887989889710998898平均分8.68.47.98.19.08.1

從表3可以看出，應(yīng)用手勢交互的虛擬裝配系統(tǒng)顯著提升了交互沉浸感，同時易學(xué)習(xí)性也表現(xiàn)出一定的有效性。易使用性方面得分比鍵盤鼠標方式略低。

4結(jié)論

本文針對當前三維界面交互使用二維交互方式表現(xiàn)能力有限的問題，通過對用戶認知心理的分析和對三維界面特點的分析，提出三維界面交互通用模型GOMSS，并對三維環(huán)境中費茨定律等設(shè)計理論進行了分析。然后結(jié)合GOMSS模型與體感設(shè)備，設(shè)計并實現(xiàn)了真實三維環(huán)境手勢自然交互范式。最后通過虛擬裝配等系統(tǒng)進行評估，結(jié)果表明該手勢交互范式在提升交互效率、易學(xué)習(xí)性和交互沉浸感方面表現(xiàn)良好。

參考文獻

[1]YEO Hui-Shyong, LEE Byung-Gook, HYOTAEK L. Hand tracking and gesture recognition system for human-computer interaction using low-cost hardware[J]. Multimed Tools Appl, 2015, 74: 2687-2715.

[2]路璐, 田豐, 戴國忠, 等. 融合觸、聽、視覺的多通道認知和交互模型[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報, 2014, 26(4): 654-661.

[3]曾繁江, 李濤, 黎銘. Kinect平臺上使用機器學(xué)習(xí)的非接觸式GUI操控方式[J]. 計算機科學(xué)與探索, 2014, 8(2): 171-178.

[4]KULSHRESHTH A, ZORN C, JOSEPH J. Poster:Real-time Markerless Kinect Based Finger Tracking and Hand Gesture Recognition for HCI[C]. Proceedings of the IEEE Symposium on 3D User Interfaces. Orlando, USA, 2013. 187-188.

[5]馮志全, 楊波, 徐濤, 等. 基于自然手勢跟蹤的直接操作型三維人機交互范式[J]. 計算機學(xué)報, 2014, 37(6): 1309-1323.

[6]張鳳軍, 程龍, 劉佳升, 等. 基于智能手機的三維交互技術(shù)研究[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報, 2013, 25(1): 15-25.

[7]吳匯岳, 張鳳軍, 劉玉進, 等.基于視覺的互動游戲手勢界面工具箱[J]. 軟件學(xué)報, 2011, 22(5): 1067-1081.

[8]LOPES O, REYES M, ESCALERA S, et al. Spherical blurred shape model for 3-D object and pose recognition:quantitative analysis and HCI applications in smart environments[J]. IEEE Transactions on Cybernetics, 2014, 44(12): 2379-2390.

[9]鄭坤, 贠新莉, 劉修國, 等. 基于規(guī)則庫的三維空間數(shù)據(jù)模型[J]. 地球科學(xué)-中國地質(zhì)大學(xué)學(xué)報, 2010, 35(3): 369-374.

[10] 楊海波, 汪洋, 張磊. 人機交互的GOMS模型與EPIC模型的比較[J]. 包裝工程, 2015, 36(8): 96-99.

[11] 張寧. 基于認知負荷的公共信息設(shè)備界面設(shè)計研究[D]. 遼寧大連: 大連海事大學(xué), 2012.

[12] 唐詩斯, 秦拯, 歐露.基于席克定律與費茨定律的菜單可用性研究[J].計算機工程與應(yīng)用, 2015,(2):12-16.

[13] 金昕沁, 葛列眾, 王琦君. 點擊增強技術(shù)研究綜述[J].人類功效學(xué), 2015, 21(1): 69-73.

Study of Posture Interaction Paradigm on 3D Interface

YANG Wen-chao, WU Ya-dong, ZHAO Si-rui, JIANG Hong-yu

(SchoolofComputerScienceandTechnology,SouthwestUniversityofScienceandTechnology,

Mianyang621010,Sichuan,China)

Abstract:With the development of untouched interactive devices and 3D interfaces, it is hard to meet the requirements of 3D application systems by traditional 2D interaction. The problems in natural interaction of 3D interaction seem to be an urgent to study. In this paper, combining user’s cognitive psychology and the characteristic of 3D interface a 3D posture interaction gm model GOMSS(Goals, Operators, Methods, Selection Rules and Scenes) and its interface design theory system was proposed. Then the model to body posture interaction with somatosensory devices and create a posture interaction paradigm was applied. A virtual assembly system was projected using natural gesture communication to evaluate our work. Finally the interaction was confirmed with learnability, immersive and ease to use.

Key words:Human-computer interaction; 3D interface; Semantic of gesture interaction; Natural interaction paradigm

中圖分類號：TP391

文獻標志碼：A

文章編號：1671-8755(2016)01-0081-07

作者簡介:楊文超(1991—)，男，碩士研究生。通信作者：吳亞東(1979—)，男，教授，博士，研究方向為圖形圖像處理，可視化，人機交互。E-mail: wuyadong@swust.edu.cn

基金項目:國家自然科學(xué)基金項目(61303127)；四川省科技廳科技支撐計劃項目(2014SZ0223)；四川省科技創(chuàng)新苗子工程項目(2014-044)；西南科技大學(xué)研究生創(chuàng)新基金項目(15ycx058)。

收稿日期：2015-09-22