淺談面向態(tài)勢的手勢語義識別應(yīng)用

馮俊 何曄 馬寧

摘 要 通過態(tài)勢與虛擬現(xiàn)實(shí)技術(shù)結(jié)合，可增強(qiáng)對整體態(tài)勢的掌控與理解能力，將真實(shí)人手引入，利用虛擬手與場景交互，可自然高效地完成任務(wù)。使用慣性傳感器采集人體手部基本動作信息，約定人手動作類別，結(jié)合隱馬爾夫模型在三維態(tài)勢模擬場景中定義識別人手動作類別方法，設(shè)計(jì)符合邏輯的語義交互模式，在三維態(tài)勢模擬場景進(jìn)行驗(yàn)證。

關(guān)鍵詞 慣性傳感器;手勢識別;語義交互

引言

在構(gòu)建三維態(tài)勢模擬場景時引入虛擬人手，在三維態(tài)勢模擬場景中實(shí)現(xiàn)基于虛擬人手的人機(jī)交互技術(shù)，對人手動作類別進(jìn)行識別和語義映射，從而可以很好地控制虛擬人手在三維態(tài)勢模擬環(huán)境中的交互[1]。

針對此應(yīng)用場景，使用慣性傳感器采集人體手部基本動作信息，在獲得人體手部基本動作運(yùn)動數(shù)據(jù)的同時，有效地規(guī)避了光學(xué)設(shè)備的遮擋等問題，操作者還具有極強(qiáng)的沉浸感，開發(fā)成本低，更有利于推廣[2-3]。

1基于慣性傳感器的手部數(shù)據(jù)采集

使用慣性傳感器，獲得人體手部基本動作運(yùn)動數(shù)據(jù)，通過人體手部基本動作運(yùn)動數(shù)據(jù)和虛擬現(xiàn)實(shí)技術(shù)來重現(xiàn)人體手部基本動作，便于對特定手勢動作進(jìn)行分析與研究。

1.1 慣性傳感器簡介

MEMS慣性傳感器具有體積小，便于佩戴，采集效率高等優(yōu)點(diǎn)，MEMS是由三軸加速度計(jì)，三軸陀螺儀和三軸磁強(qiáng)計(jì)構(gòu)成的九軸傳感器，三軸加速度計(jì)和三軸陀螺儀采用MPU6050傳感器，三軸磁強(qiáng)計(jì)采用HMC5883傳感器。

三軸陀螺儀可以測得轉(zhuǎn)動角速度，但長時間運(yùn)行會對轉(zhuǎn)動角速度產(chǎn)生累積誤差。而三軸加速度計(jì)可以測得三個軸向的加速度，可以用來修正三軸陀螺儀測得的俯仰角和滾轉(zhuǎn)角。三軸磁強(qiáng)計(jì)的羅盤精度在一度到兩度，可以用來修正三軸陀螺儀測得的偏航角。

1.2 手部運(yùn)動姿態(tài)數(shù)據(jù)表示

為了精準(zhǔn)描述手部在運(yùn)動過程中的旋轉(zhuǎn)姿態(tài)，常用歐拉角進(jìn)行表示。歐拉角表示定點(diǎn)轉(zhuǎn)動剛體位置的一組獨(dú)立的角參量，由偏航角、俯仰角和滾轉(zhuǎn)角三種轉(zhuǎn)角構(gòu)成。手部主要關(guān)節(jié)的旋轉(zhuǎn)姿態(tài)可分別分解為三個角度的旋轉(zhuǎn)來表示，一共就有12種組合方式。本文采用的旋轉(zhuǎn)方式是，分別表示偏航角，俯仰角，滾轉(zhuǎn)角。繞軸旋轉(zhuǎn)度，繞軸旋轉(zhuǎn)度，繞軸旋轉(zhuǎn)度，因此繞著旋轉(zhuǎn)后得到的復(fù)合旋轉(zhuǎn)矩陣表示為：

使用歐拉角表示手部旋轉(zhuǎn)姿態(tài)，在計(jì)算過程中，當(dāng)俯仰角接近時，會出現(xiàn)“奇點(diǎn)”問題，可引入四元數(shù)的方式來描述姿態(tài)數(shù)據(jù)。四元數(shù)常用于姿態(tài)控制，軌道力學(xué)等領(lǐng)域，它是由實(shí)數(shù)和三個復(fù)數(shù)元素組成，歐拉角到四元數(shù)的轉(zhuǎn)換表示為：

式（1.2）

四元數(shù)到歐拉角的變換公式為：

式（1.3）

2面向特定場景的手部動作識別

在特定場景的交互過程中，手部動作識別是其中不可缺少的環(huán)節(jié)。手部動作識別主要有以下幾個步驟：定義手部動作序列，提取分析手勢特征并表示，最后采用隱馬爾可夫模型（簡稱HMM）對動作序列進(jìn)行識別。

2.1 人手動作特征表示

人手動作特征表示就是采用區(qū)分不同人手運(yùn)動動作的特征來表示人手運(yùn)動動作。人手的運(yùn)動可以抽象為人手關(guān)節(jié)骨骼的運(yùn)動，手部骨骼示意圖如2.1所示。

本文通過骨骼的朝向、手指的彎曲程度、關(guān)節(jié)上的骨骼夾角和手指指尖間距來表示人手動作特征。

2.2 基于HMM的人手基本動作類別識別

HMM是一種基于統(tǒng)計(jì)分析而建立的模型，常被應(yīng)用于人手動作模擬的人機(jī)交互環(huán)境中。采用HMM進(jìn)行人手基本動作類別識別主要包含人手基本動作類別定義、人手基本動作數(shù)據(jù)采集，人手動作特征匹配，模型訓(xùn)練和人手基本動作類別識別分類。

（1）手手基本動作類別定義

根據(jù)三維態(tài)勢模擬場景應(yīng)用，定義人手基本動作類別，并進(jìn)行相關(guān)的運(yùn)動數(shù)據(jù)采集和智能識別，人手基本動作類別如下表2.1所示。

（2）模型訓(xùn)練與人手動作特征匹配

通過人手基本動作類別數(shù)據(jù)不停地對模型的初始參數(shù)進(jìn)行不斷的調(diào)整優(yōu)化，以達(dá)到最佳結(jié)果的過程就是模型訓(xùn)練的過程[4]。訓(xùn)練完成后就可對人手基本動作類別進(jìn)行識別，得到識別的概率值，識別出的人手基本動作類別即為概率最大的類別[5]。

（3）實(shí)驗(yàn)結(jié)果分析

每一種人手基本動作類別需要建立一個HMM模型，不同的模型設(shè)置不同的初始參數(shù)，然后進(jìn)行反復(fù)的訓(xùn)練，直到得到最佳的參數(shù)設(shè)置。人手基本動作類別識別過程中采集了600組實(shí)驗(yàn)數(shù)據(jù)，識別率結(jié)果如表2.2所示。

3基于場景的語義交互應(yīng)用

三維虛擬態(tài)勢場景中目標(biāo)不僅具有位置、顏色、大小等屬性信息，還有語義交互信息，如人機(jī)交互策略、交互判斷規(guī)則、限制條件等。在三維虛擬態(tài)勢場景中引入語義交互信息，可以提高在人手基本動作類別在三維虛擬場景中的識別率[6]。

在三維態(tài)勢虛擬場景中虛擬人手簡單實(shí)用，操作方便，可以通過虛擬人手在三維態(tài)勢虛擬場景中進(jìn)行相關(guān)操作指令。不同的三維態(tài)勢虛擬場景，進(jìn)行不同的操作來實(shí)現(xiàn)不同的目的，完成不同的任務(wù)[7]。

根據(jù)虛擬態(tài)勢場景，建立語義對象的信息存儲庫，將語義對象的約束信息以節(jié)點(diǎn)屬性形式存儲。當(dāng)虛擬場景中增加語義對象時，會根據(jù)不同的場景，從存儲庫中選擇添加，場景中的對象都具有不同的語義信息，增強(qiáng)了場景的語義表達(dá)能力，使虛擬環(huán)境提供了智能的上下文感知能力。在操作虛擬人手時，三維態(tài)勢模擬場景通過對人手基本動作類別進(jìn)行分析識別，結(jié)合交互語義，分析操作目的，完成操作指令，語義描述如表2.3所示。

根據(jù)上述人機(jī)交互操作的描述，以三維態(tài)勢模擬場景中的直升機(jī)模型為例。將虛擬人手放在要進(jìn)行操作的直升機(jī)模型附近，點(diǎn)擊并滾動操作進(jìn)行放大直升機(jī)操作，三維態(tài)勢模擬場景對人手基本動作類別進(jìn)行分析識別，結(jié)合交互語義，分析指揮參謀操作目的，完成放大直升機(jī)模型的操作指令，如圖3.1所示（圖在文末）。

4結(jié)束語

基于MEMS慣性傳感器進(jìn)行手部動作序列采集與識別，在此基礎(chǔ)上，通過解析手勢的交互語義，實(shí)現(xiàn)基于場景上下文理解的語義交互，并在態(tài)勢虛擬場景中加以應(yīng)用。在未來的研究中，可將多種傳感器融合進(jìn)行手部數(shù)據(jù)采集，提高識別的準(zhǔn)確性。

參考文獻(xiàn)

[1] 陳娜，李文強(qiáng)，李彭偉.沉浸式態(tài)勢感知中手勢交互應(yīng)用[J].指揮信息系統(tǒng)與技術(shù)，2019，8（4）：38-42.

[2] 容志能.慣性運(yùn)動捕捉系統(tǒng)中傳感數(shù)據(jù)的傳輸與處理[D].杭州：浙江大學(xué)，2012.

[3] 趙健.基于視覺的手勢識別和人體姿態(tài)跟蹤算法研究[D].北京：北京交通大學(xué)，2014.

[4] 陳娜.面向航天測法發(fā)任務(wù)的虛擬手交互技術(shù)研究[D].南京：南京理工大學(xué)，2017.

[5] 李曉丹，肖明，曾莉.人體動作捕捉技術(shù)綜述以及一種新的動作捕捉方案陳述[J].中國西部科技，2011，10（15）：35-37.

[6] 魏勇.虛擬地理環(huán)境中基于語義的三維交互技術(shù)研究[D].鄭州：解放軍信息工程大學(xué)，2012.

[7] 李振波，孟祥旭，向輝.復(fù)雜虛擬場景構(gòu)造及交互漫游實(shí)現(xiàn)研究[J].系統(tǒng)仿真學(xué)報，2002，14（9）：1183-1187.

圖3.1 手勢交互效果圖

作者簡介

馮俊（1989-），男;職稱：工程師，現(xiàn)就職單位：中國電子科技集團(tuán)公司第二十八研究所，研究方向：二三維場景標(biāo)繪。

何曄（1989-），女;職稱：助理工程師，現(xiàn)就職單位：中國人民解放軍94782部隊(duì)指揮自動化工作站，研究方向：自動化。

馬寧（1991-），男;職稱：助理工程師，現(xiàn)就職單位：中國電子科技集團(tuán)公司第二十八研究所，研究方向：三維圖形建模與可視化。