基于動(dòng)作捕捉追蹤器及數(shù)據(jù)手套的VR拓展設(shè)備設(shè)計(jì)

王靈芝,張 俊,陳穎頻,周云杰

(1.廈門城市職業(yè)學(xué)院人工智能學(xué)院,福建 廈門 361008;2.閩南師范大學(xué)物理與信息工程學(xué)院,福建 漳州 363000)

1 VR設(shè)備國內(nèi)外發(fā)展現(xiàn)狀及前景

近年來,隨著體感設(shè)備及VR領(lǐng)域的興起,催生了元宇宙概念的誕生。為了更好地服務(wù)元宇宙應(yīng)用中的交互問題,人們對(duì)虛擬設(shè)備提出更高的交互需求。虛擬現(xiàn)實(shí)設(shè)備除了能提供手部以及頭部的交互之外,還應(yīng)拓展其他肢體及軀干的捕捉,使得虛擬形象更加靈活自然,增強(qiáng)在虛擬世界社交中的沉浸感。

目前家用VR的主流產(chǎn)品有基于LightHouse激光點(diǎn)陣定位的HTC Vive及Valve Index兩款產(chǎn)品。兩者都可捕捉頭部及手部運(yùn)動(dòng),通過增加Tracker還能捕捉身體任意部位的運(yùn)動(dòng)。此外還有Oculus公司的Quest2產(chǎn)品,采用紅外灰度攝像頭與九軸IMU相結(jié)合,通過計(jì)算機(jī)視覺來進(jìn)行姿態(tài)定位。但上述產(chǎn)品僅能捕捉有限角度,對(duì)超出攝像頭視角的手柄無法捕捉,且無官方途徑拓展除頭部手部外的捕捉。

我國對(duì)動(dòng)作捕捉技術(shù)的研究起步較晚,但市場前景廣闊,眾多科研機(jī)構(gòu)和學(xué)者對(duì)其展現(xiàn)出非常大的興趣[1]。其中比較有代表性的是中國科學(xué)院傳感網(wǎng)絡(luò)和應(yīng)用聯(lián)合研究中心吳教授團(tuán)隊(duì)研究的MMocap系統(tǒng),該系統(tǒng)在IMU式動(dòng)作捕捉的基礎(chǔ)上引入了步態(tài)分析等,增加了姿態(tài)分析與識(shí)別系統(tǒng)。此外還有諾亦騰(Noitom)的動(dòng)捕系統(tǒng)及數(shù)據(jù)手套,提供了輕量的開發(fā)工具及Demo,但其多用于影視制作中為演員提供高精度的動(dòng)作捕捉,以及在醫(yī)療研究中分析患者肢體運(yùn)動(dòng)特征。上述的商用產(chǎn)品因?yàn)槠涓甙旱某杀竞图夹g(shù)需求,并不適用于家用VR場景。

本系統(tǒng)可實(shí)現(xiàn)動(dòng)作捕捉并跟蹤記錄人體運(yùn)動(dòng)過程中的物理數(shù)據(jù),用于生成3D模型,并在虛擬環(huán)境下還原人體動(dòng)作。在開源項(xiàng)目OpenVR[2],SlimeVR[3]及OpenGloves[4]的基礎(chǔ)上設(shè)計(jì)滿足其規(guī)范的外設(shè)硬件。通過上述開源項(xiàng)目的支持,可在已有家用VR頭戴及其配套定位手柄的情況下,提供腰部、腿部、腳部及手指等部位的追蹤,最終在VR軟件實(shí)現(xiàn)全身追蹤效果。各下位機(jī)終端均具有完善的調(diào)試接口及電源設(shè)計(jì)。各設(shè)備利用Solidworks軟件建模并進(jìn)行3D打印,數(shù)據(jù)手套控制舵機(jī)實(shí)現(xiàn)手指彎曲動(dòng)態(tài)限位,可實(shí)現(xiàn)力反饋體感手套。圖1為系統(tǒng)整體示意圖。

圖1 系統(tǒng)整體示意圖

2 系統(tǒng)框圖

圖2為系統(tǒng)總框圖。OpenVR[2]是Valve公司開發(fā)的系列SDK及API規(guī)范,向下為VR硬件廠商提供驅(qū)動(dòng)層的軟硬件支持,向上為VR應(yīng)用提供統(tǒng)一的數(shù)據(jù)接口。SlimeVR Server為CrowdSupply上的開源項(xiàng)目,可以為基于網(wǎng)絡(luò)協(xié)議的追蹤器提供人體姿態(tài)解算及OpenVR Driver接口[3]。OpenGloves開源軟件支持動(dòng)作捕捉手套的設(shè)備,并將其模擬為Valve Index的Knuckles控制器(即OpenVR Driver輸入設(shè)備),后接入OpenVR API使用[4]。在此框架之下,可實(shí)現(xiàn)VR拓展設(shè)備的設(shè)計(jì)。

圖2 系統(tǒng)總框圖

2.1 JY901S IMU模塊

追蹤器最核心的部件為慣性傳感器(IMU),通過其采集腰部、腿部、腳部的姿態(tài)數(shù)據(jù)。慣性傳感器一般分為六軸和九軸,其中六軸由三軸加速度計(jì)和三軸陀螺儀組成,九軸則是在六軸基礎(chǔ)上加入了三軸磁力計(jì)組成。數(shù)據(jù)融合和姿態(tài)解算系統(tǒng)是IMU的核心,目前主流IMU都帶有數(shù)字運(yùn)動(dòng)處理器(Digital Motion Processor,DMP)來預(yù)處理信息及數(shù)據(jù)融合。

設(shè)計(jì)中使用了JY901S九軸慣性傳感器模塊,其內(nèi)置32位單片機(jī)[5]。通過自帶的高動(dòng)態(tài)卡爾曼濾波算法,可將3個(gè)傳感器的數(shù)據(jù)融合輸出,輸出格式為東-北-天坐標(biāo)系下的歐拉角或是四元數(shù)[6]。由于現(xiàn)有的OpenVR應(yīng)用所需的人體骨骼旋轉(zhuǎn)向量輸入均為四元數(shù)表示,所采用的人體姿態(tài)解算的引擎也采用了四元數(shù)輸入輸出及運(yùn)算;此外四元數(shù)對(duì)比歐拉角具有計(jì)算量小、不存在無萬向節(jié)死鎖及姿態(tài)描述等問題,故系統(tǒng)內(nèi)的所有旋轉(zhuǎn)均用四元數(shù)表示[7]。

2.2 人體姿態(tài)解算原理

人體姿態(tài)的解算可以通過運(yùn)動(dòng)學(xué)知識(shí)來解決,在運(yùn)動(dòng)學(xué)中,解算人體模型運(yùn)動(dòng)的方法有兩種,分別是正向運(yùn)動(dòng)學(xué)和反向運(yùn)動(dòng)學(xué)。本設(shè)計(jì)基于正向運(yùn)動(dòng)學(xué)進(jìn)行人體捕捉,即在已知人體各關(guān)節(jié)的旋轉(zhuǎn)角度時(shí),人體任何關(guān)節(jié)的位置可以通過人體的關(guān)節(jié)連接、關(guān)節(jié)長度和旋轉(zhuǎn)角度來計(jì)算,一般正向運(yùn)動(dòng)學(xué)的解是唯一的[8]。

人體姿態(tài)的解算大都使用棒狀模型對(duì)人體進(jìn)行簡化,將人體的主要關(guān)節(jié)抽象成一個(gè)節(jié)點(diǎn),關(guān)節(jié)之間的骨骼抽象成一條連桿。本設(shè)計(jì)為家用VR設(shè)備的衍生,額外捕捉軀干及下半身。故考慮頭(Head)、頸(Neck)、胸(Chest)、腰(Waist)、髖(Hip)、臀(分為左右臀:Left Hip,Right Hip)、膝(Knee)、踝(Ankle)、腳(Foot)這幾個(gè)關(guān)節(jié)點(diǎn)。

jMonkeyEngine是一款開源的游戲引擎,通過jMonkeyEnginer可創(chuàng)建節(jié)點(diǎn)及節(jié)點(diǎn)關(guān)系以實(shí)現(xiàn)正向運(yùn)動(dòng)學(xué)的人體姿態(tài)解算模型。節(jié)點(diǎn)間的關(guān)系與數(shù)據(jù)結(jié)構(gòu)中樹的定義類似,當(dāng)前節(jié)點(diǎn)的上位節(jié)點(diǎn)即為當(dāng)前節(jié)點(diǎn)的父節(jié)點(diǎn)[9]。

根據(jù)圖3設(shè)置各節(jié)點(diǎn)之間關(guān)系,可得到人體的骨骼模型。項(xiàng)目基于真實(shí)人體參數(shù)設(shè)置兩節(jié)點(diǎn)間初始坐標(biāo)距離偏移,當(dāng)父節(jié)點(diǎn)發(fā)生旋轉(zhuǎn)后將遞歸帶動(dòng)所有子節(jié)點(diǎn)旋轉(zhuǎn),從而更新所有節(jié)點(diǎn)的絕對(duì)旋轉(zhuǎn)(角度)。各節(jié)點(diǎn)的IMU模塊輸出在全局坐標(biāo)系下的位置并旋轉(zhuǎn)(角度)至游戲引擎,即可完成人體姿態(tài)解算。

圖3 正向運(yùn)動(dòng)學(xué)人體姿態(tài)解算原理

2.3 系統(tǒng)通信方案

ESP32內(nèi)部集成2.4 GHz Wi-Fi和藍(lán)牙通信功能,故追蹤器節(jié)點(diǎn)和數(shù)據(jù)手套與PC間通信采用的是Wi-Fi和藍(lán)牙兩種通信方式。由于系統(tǒng)追蹤器節(jié)點(diǎn)多,且對(duì)數(shù)據(jù)實(shí)時(shí)性、通信速率均有一定要求,故追蹤器部分采用2.4 G Wi-Fi方式通信,傳輸控制協(xié)議為UDP。數(shù)據(jù)手套部分采用藍(lán)牙通信,省電且傳輸穩(wěn)定足以滿足通信要求,如圖4所示。

圖4 系統(tǒng)通信示意圖

3 硬件部分

3.1 追蹤器節(jié)點(diǎn)設(shè)計(jì)

追蹤器節(jié)點(diǎn)硬件結(jié)構(gòu)如圖5所示。追蹤器節(jié)點(diǎn)與人體關(guān)節(jié)綁定,實(shí)現(xiàn)人體關(guān)節(jié)運(yùn)動(dòng)信息的實(shí)時(shí)采集。其包括JY901S模塊、ESP32、3.3 V DC-DC電源、鋰電池管理、USB-TTL雙串口及自動(dòng)下載等部分。ESP32內(nèi)部集成Wi-Fi+藍(lán)牙方案[10],ESP32可兼做主控與無線收發(fā)。

圖5 追蹤器節(jié)點(diǎn)硬件結(jié)構(gòu)圖 圖6 數(shù)據(jù)手套硬件結(jié)構(gòu)圖

3.2 數(shù)據(jù)手套節(jié)點(diǎn)設(shè)計(jì)

數(shù)據(jù)手套為穿戴設(shè)備,可實(shí)現(xiàn)手指彎曲度的采集。數(shù)據(jù)手套的硬件原理如圖6所示,包括ESP32、MG90S舵機(jī)、電位器、電池管理及串行通信等部分。ESP32通過內(nèi)部的ADC采集經(jīng)電位器分壓后的電壓,經(jīng)編碼后發(fā)送;同時(shí)接收來自PC的手指限位數(shù)據(jù),輸出相應(yīng)的PWM信號(hào)控制舵機(jī)的動(dòng)作。

3.3 鋰電池管理

本系統(tǒng)為穿戴式設(shè)備,需通過鋰電池實(shí)現(xiàn)供電。由于追蹤器節(jié)點(diǎn)和數(shù)據(jù)手套所需的電源功率不同,選用不同的電源管理芯片以滿足需求。

3.3.1 ETA6093鋰電池管理方案

追蹤器模塊的電源管理采用ETA6093開關(guān)型的鋰電池充放電管理芯片。其電源效率高達(dá)95%,能夠給電池提供1.2 A 的充電電流,可工作在充電模式或升壓模式[11]。

模塊電路部分如圖7所示,IC的OUT引腳既為5 V電壓輸入,也為5 V電壓輸出端。當(dāng)USB Type-C接入OUT引腳時(shí),SW引腳通過電感L2接入BAT引腳實(shí)現(xiàn)反饋,此時(shí)電路工進(jìn)入Buck充電狀態(tài)。當(dāng)OUT引腳未接入電源時(shí),鋰電池從BAT引腳送入經(jīng)電感L2接入SW引腳,構(gòu)成Boost電路。OUT引腳提供5 V電壓輸出。LED引腳由IC控制,指示充放電狀態(tài)。

圖7 ETA6093鋰電池管理電路

3.3.2 IP5306_CK鋰電池管理電路

數(shù)據(jù)手套模塊鋰電池管理采用IP5306_CK芯片來設(shè)計(jì)。相較前一種方案,IP5306-CK支持邊充邊放,自適應(yīng)充電電流調(diào)節(jié)。還能提供2.4 A的同步5 V升壓轉(zhuǎn)換?？紤]到控制板需要控制5個(gè)MG90S舵機(jī),大約需要2 A的電流輸出,故采用此方案[12]。模塊電路部分如圖8所示,IC的VIN引腳為5 V電壓輸入,VOUT引腳為5 V電壓輸出,SW引腳為控制端,BAT引腳為反饋引腳。LED1/2/3引腳用于指示電量及充放電狀態(tài)。KEY引腳接獨(dú)立按鍵即可實(shí)現(xiàn)升壓輸出與充電模式的切換。

圖8 IP5306_CK鋰電池管理電路

3.4 DC-DC電源與USB轉(zhuǎn)串口模塊

本系統(tǒng)中主控及大部分傳感器都需要3.3 V供電,設(shè)計(jì)中采用SY8008 DC-DC芯片來設(shè)計(jì),能夠提供高達(dá)1.2 A的輸出電流,模塊電路部分如圖9所示[13]。ESP32及JY901S都需串口調(diào)試及下載電路,系統(tǒng)采用CH342F實(shí)現(xiàn)USB轉(zhuǎn)雙串口方案,電路部分如圖10所示[14]。串口A實(shí)現(xiàn)ESP32的自動(dòng)下載和串行通信,串口B接入JY901S模塊用于上位機(jī)調(diào)試。D+、D-引腳對(duì)應(yīng)接入U(xiǎn)SB的Data信號(hào)線的USB_DP/USB_DN。VIO引腳為I/O端口電源輸入,使用IC內(nèi)部電源供電,外部須接退耦電容C1。

圖9 SY8008 DC-DC電路

圖10 USB轉(zhuǎn)串口電路

4 軟件部分

4.1 ESP32開發(fā)部分

在軟件設(shè)計(jì)中ESP32搭載官方定制版FreeRTOS,提高系統(tǒng)運(yùn)行的實(shí)時(shí)性和運(yùn)行效率。在追蹤器的軟件設(shè)計(jì)上,由于主程序僅包含初始化硬件,IMU數(shù)據(jù)的輪詢與發(fā)送,故不用設(shè)計(jì)多任務(wù)系統(tǒng),僅需調(diào)用AsyncUDP庫即可實(shí)現(xiàn)UDP客戶端異步收發(fā)功能。在數(shù)據(jù)手套的軟件設(shè)計(jì)上,因?yàn)檩斎胗布?且優(yōu)先級(jí)各不相同,還涉及接收數(shù)據(jù)進(jìn)行舵機(jī)動(dòng)態(tài)限位的控制,故采用多任務(wù),主要設(shè)計(jì)啟動(dòng)了6個(gè)任務(wù),如表1所示。系統(tǒng)閑時(shí)任務(wù)流程如圖11所示。

表1 FreeRTOS任務(wù)名稱及內(nèi)容

圖11 系統(tǒng)閑時(shí)任務(wù)流程

4.2 手指手勢(shì)識(shí)別原理

手指手勢(shì)識(shí)別原理就是基于真實(shí)情況下手指彎曲度的特征判斷。硬件上通過電位器纏繞一線軸,通過手指拉扯線軸,就能獲得手指彎曲的幅度。按照OpenVR的交互設(shè)備輸入規(guī)范,可識(shí)別抓取手勢(shì)、捏取手勢(shì)及扳機(jī)手勢(shì)。

4.2.1 抓取手勢(shì)

在抓取手勢(shì)下,食指、中指、無名指以及小指都是處于彎曲度超過50%的狀態(tài),也可以是多指彎曲超過50%,故對(duì)于此種手勢(shì)的判斷僅需將對(duì)應(yīng)4指的彎曲度進(jìn)行平均,若超過50%即可判定為抓取手勢(shì)。

4.2.2 捏取手勢(shì)

當(dāng)處于捏取手勢(shì)下,食指及拇指的彎曲是區(qū)別于其他手勢(shì)的主要特征,當(dāng)食指和拇指平均彎曲超過50%即可判定為捏取。

4.2.3 扳機(jī)手勢(shì)

顯然,食指扣動(dòng)扳機(jī)的手勢(shì)的唯一特征為食指彎曲度超過50%,僅判斷食指單指彎曲大于50%即可認(rèn)為處于扳機(jī)手勢(shì)。

4.3 追蹤器節(jié)點(diǎn)與SlimeVR Server通信

利用ESP32內(nèi)部集成2.4 GHz Wi-Fi通信功能,多個(gè)追蹤器節(jié)點(diǎn)可實(shí)時(shí)將IMU獲取的人體姿態(tài)四元數(shù)送入PC端SlimeVR Server進(jìn)行姿態(tài)解算,通信采用UDP協(xié)議。追蹤器節(jié)點(diǎn)通過Broadcast在指定端口廣播握手?jǐn)?shù)據(jù)包,服務(wù)器監(jiān)聽端口上的所有信息。追蹤器接收信息后執(zhí)行Bind指令,綁定服務(wù)器IP地址。完成握手與綁定后便可以發(fā)送與接收數(shù)據(jù)。程序能實(shí)現(xiàn)多個(gè)追蹤器同時(shí)與Server通信。SlimeVR開源接口基本幀數(shù)據(jù)格式如表2所示。數(shù)據(jù)幀內(nèi)涉及多字節(jié)變量,以大端方式即高字節(jié)在前方式發(fā)送。客戶端發(fā)送數(shù)據(jù)包類型包括心跳數(shù)據(jù)、握手?jǐn)?shù)據(jù)、加速度、四元數(shù)、電池電量等。

表2 追蹤器節(jié)點(diǎn)通訊數(shù)據(jù)格式

4.4 數(shù)據(jù)手套與OpenGlove通信

數(shù)據(jù)手套與OpenGloves開源軟件基于藍(lán)牙實(shí)現(xiàn)通信,在PC上搜索并連接名字為opengloves-left或opengloves-right的藍(lán)牙設(shè)備,即可分別建立有效穩(wěn)定的通信連接。數(shù)據(jù)幀內(nèi)涉及多字節(jié)變量,以大端方式即高字節(jié)在前方式發(fā)送?？蛻舳嘶景l(fā)送幀數(shù)據(jù)格式如表3所示。

表3 數(shù)據(jù)手套發(fā)送幀數(shù)據(jù)格式

為了制作了VR力反饋體感手套。設(shè)計(jì)中利用SteamVR驅(qū)動(dòng)軟件,根據(jù)VR游戲中各種3D物體的尺寸,計(jì)算出手指限位的數(shù)據(jù)并發(fā)送給下位機(jī)。客戶端接收幀數(shù)據(jù)格式如表4所示。

表4 數(shù)據(jù)手套接收幀數(shù)據(jù)格式

5 驗(yàn)證及測試

上文對(duì)本系統(tǒng)的原理及技術(shù)實(shí)現(xiàn)進(jìn)行了闡述,下面對(duì)系統(tǒng)關(guān)鍵指標(biāo)進(jìn)行測試、驗(yàn)證與分析。追蹤器是動(dòng)作捕捉的基礎(chǔ),而精度及延遲會(huì)大幅影響VR下的沉浸感,若動(dòng)作捕捉精度不佳或延遲較高,則動(dòng)作捕捉的效果會(huì)大打折扣。故此部分的測試從精度、吞吐量及延遲入手。

5.1 動(dòng)作捕捉系統(tǒng)精度

整體的動(dòng)作捕捉系統(tǒng)精度來自于單個(gè)節(jié)點(diǎn)的精度,又分為靜態(tài)精度和動(dòng)態(tài)精度,靜態(tài)指在節(jié)點(diǎn)保持不動(dòng)時(shí)其自身傳感器產(chǎn)生的誤差,動(dòng)態(tài)精度指運(yùn)動(dòng)特定角度后IMU輸出姿態(tài)與實(shí)際姿態(tài)的誤差。由于人體捕捉多為運(yùn)動(dòng)狀態(tài),故精度測試以動(dòng)態(tài)精度為主。

測量方法:將節(jié)點(diǎn)平放于桌面,從上位機(jī)中連續(xù)讀出其9軸數(shù)據(jù)以及運(yùn)動(dòng)融合后的歐拉角數(shù)據(jù)。精確地分別沿X軸、Y軸、Z軸軸隨機(jī)方向旋轉(zhuǎn)45°、90°、180°,讀取每次手動(dòng)旋轉(zhuǎn)后傳感器輸出的數(shù)據(jù),進(jìn)行對(duì)比和分析。從表5可知,X軸、Y軸的精度較高;Z軸精度低于X軸和Y軸,根據(jù)方差來看,Z軸數(shù)據(jù)較X軸、Y軸波動(dòng)更大,符合9軸IMU的特性。追蹤器捕捉精度滿足動(dòng)作捕捉需求,可以實(shí)現(xiàn)較好的捕捉效果且提供不錯(cuò)的一致性。

表5 不同轉(zhuǎn)角的精度測試數(shù)據(jù)

5.2 吞吐量及延遲

吞吐量及延遲可以通過SlimeVR Server上位機(jī)讀出,經(jīng)記錄及運(yùn)算得到結(jié)果如表6所示。從表6可知,平均延遲僅6.33 ms,最小延遲2 ms,最大延遲11 ms,實(shí)時(shí)性相當(dāng)好。該系統(tǒng)的延遲完全可以做到無感,吞吐量也完全足夠應(yīng)對(duì)5個(gè)追蹤器的輸入。所以延遲和吞吐量也能滿足動(dòng)作捕捉需求,可以實(shí)現(xiàn)較好的實(shí)時(shí)捕捉效果且提供不錯(cuò)的沉浸感。

表6 吞吐量及延遲測試數(shù)據(jù)

5.3 數(shù)據(jù)手套測試

由于手套部分運(yùn)動(dòng)大多體現(xiàn)交互,對(duì)精度、吞吐量及延遲的要求不高,故該部分測試主要針對(duì)整體可行性及續(xù)航能力。系統(tǒng)使用了SolidWorks建模設(shè)備的外殼部分,建模設(shè)備的外殼可保證配合緊密且有良好的結(jié)構(gòu)強(qiáng)度。外形及佩戴效果如圖12所示。經(jīng)測試,手套全重約450 g,與3D打印部件接觸部分有泡沫膠帶作為緩沖,用戶佩戴舒適性較好,短時(shí)間(30～90 min)佩戴無不適感。電池續(xù)航與動(dòng)態(tài)限位使用的舵機(jī)動(dòng)作的頻次有關(guān),完全關(guān)閉舵機(jī)續(xù)航約為120 min,開啟舵機(jī)且動(dòng)作頻繁續(xù)航約為30 min。系統(tǒng)對(duì)手指彎曲的捕獲靈敏,手勢(shì)觸發(fā)快速,能滿足用戶正常的交互需求。

圖12 手套外形及佩戴效果

6 結(jié)語

本文設(shè)計(jì)了一種基于動(dòng)作捕捉追蹤器及數(shù)據(jù)手套的VR拓展設(shè)備。通過開源項(xiàng)目的支持,本設(shè)計(jì)可在已有家用VR頭戴及其配套定位手柄的情況下,提供腰部、腿部、腳部及手指等部位的追蹤,最終實(shí)現(xiàn)在VR軟件中擁有全身追蹤效果。本設(shè)計(jì)仍然存在不足之處,后續(xù)可增加自行校準(zhǔn)磁力計(jì)的功能,解決磁場環(huán)境大幅變化時(shí)姿態(tài)解算不精準(zhǔn)的問題;另外,數(shù)據(jù)手套的體積、重量還需要進(jìn)一步優(yōu)化。