基于Jack平臺(tái)的虛擬維修仿真及動(dòng)作捕捉驅(qū)動(dòng)

黃一峰+陸詩(shī)楠+吳予忠+王娜+何曦

摘 要：隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，虛擬維修在工業(yè)設(shè)備保障領(lǐng)域越來(lái)越受到重視。該文將基于一款國(guó)際上廣泛認(rèn)可的人機(jī)功效評(píng)估平臺(tái)——Jack平臺(tái)，以民用航空器使用環(huán)境為背景，進(jìn)行虛擬維修仿真作業(yè)。此處，我們將對(duì)航空發(fā)動(dòng)機(jī)電子樣機(jī)的起動(dòng)機(jī)維護(hù)項(xiàng)目進(jìn)行虛擬仿真，并在此基礎(chǔ)上，輔之動(dòng)作捕捉設(shè)備，頭戴式虛擬現(xiàn)實(shí)顯示設(shè)備，進(jìn)行動(dòng)作捕捉數(shù)據(jù)的骨骼驅(qū)動(dòng)。

關(guān)鍵詞：虛擬維修 Jack平臺(tái) 動(dòng)作捕捉 虛擬現(xiàn)實(shí)

中圖分類號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2017）02（c）-0145-06

Abstract：With the development of virtual reality technology， virtual maintenance in the field of industrial equipment support more and more attention. This article will be based on an internationally recognized human-machine efficiency evaluation platform--Jack， to the civil aircraft environment for the background， the virtual maintenance simulation operations. Here， we will be on the aero engine electronic prototype of the starter maintenance project virtual simulation， and on this basis， supplemented by the motion capture device， head-mounted virtual reality display device， the motion capture data of bone-driven.

Key Words：Virtual maintenance；Jack； Motion Capture；Virtual Reality

從目前航空器等工程機(jī)械的發(fā)展境況來(lái)看，維修成為在研發(fā)能力已有保障的前提下，限制工程機(jī)械廣泛、高效應(yīng)用的短板。該類產(chǎn)品的高成本性及整體與部分的緊密聯(lián)系性，是對(duì)維修性驗(yàn)證技術(shù)的極大需求。因此，文中技術(shù)的應(yīng)用，可減少設(shè)計(jì)階段的迭代次數(shù)，提高維修性。而且，維修手冊(cè)的編制也可由該項(xiàng)目的支持更加具有實(shí)用性。同時(shí)，Jack平臺(tái)的開放性，虛擬現(xiàn)實(shí)設(shè)備的普及化，計(jì)算機(jī)技術(shù)的進(jìn)步，為該項(xiàng)目的實(shí)施提供了可行性。

文章主要從兩個(gè)方面進(jìn)行闡述，第一個(gè)是基于Jack平臺(tái)的虛擬維修的仿真作業(yè)（起動(dòng)機(jī)維護(hù)項(xiàng)目的虛擬仿真）；第二個(gè)就是輔之動(dòng)作捕捉設(shè)備，通過對(duì)穿戴人員的動(dòng)作采集，實(shí)時(shí)地傳入計(jì)算機(jī)并進(jìn)行數(shù)據(jù)處理，然后導(dǎo)入Jack平臺(tái)中，骨骼綁定驅(qū)動(dòng)平臺(tái)中的虛擬人進(jìn)行運(yùn)動(dòng)，并將所見視野再實(shí)時(shí)傳出來(lái)。

1 平臺(tái)介紹

該部分主要介紹人機(jī)功效評(píng)估平臺(tái)Jack和動(dòng)作捕捉設(shè)備（Neuron）。

1.1 Jack平臺(tái)

JackTM是一個(gè)人體建模與仿真以及人機(jī)工效評(píng)價(jià)軟件解決方案，幫助各行業(yè)的組織提高產(chǎn)品設(shè)計(jì)的工效學(xué)因素和改進(jìn)車間的任務(wù)。JackTM最初是由賓夕法尼亞大學(xué)的人體模型和模擬中心（Center for Human Modeling and Simulation at the University of Pennsylvania） 開發(fā)，目前是西門子PLM旗下的軟件解決方案一員。如圖1所示，使用Jack可以：

（1）建立一個(gè)虛擬的環(huán)境；

（2）創(chuàng)建一個(gè)虛擬人；

（3）定義人體形狀和生理參數(shù)；

（4）把人加入虛擬環(huán)境中；

（5）給虛擬人指派任務(wù)；

（6）分析虛擬人體如何執(zhí)行任務(wù)；

（7）對(duì)于虛擬人進(jìn)行工效學(xué)評(píng)價(jià)；

（8）支持多種虛擬現(xiàn)實(shí)外設(shè)。

1.2 動(dòng)作捕捉設(shè)備（Neuron）

Neuron動(dòng)捕系統(tǒng)是一款輕便、靈活的高性能動(dòng)作捕捉系統(tǒng)。這個(gè)高度模塊化的系統(tǒng)基于Neuron傳感器：全世界最小的，集成了加速度計(jì)、陀螺儀以及磁力計(jì)的慣性測(cè)量傳感器節(jié)點(diǎn)。這套系統(tǒng)的強(qiáng)大之處不僅僅是因?yàn)檫@枚性能優(yōu)秀的超小型傳感器，還在于Neuron研發(fā)團(tuán)隊(duì)對(duì)于數(shù)據(jù)融合、人體動(dòng)力學(xué)和物理法則的深刻理解讓捕捉流暢、自然與低延遲的人體動(dòng)作成為可能（見圖2）。

2 基于Jack平臺(tái)的虛擬仿真

2.1 仿真環(huán)境創(chuàng)建

Jack三維仿真環(huán)境的創(chuàng)建主要是通過向場(chǎng)景中導(dǎo)入實(shí)體來(lái)實(shí)現(xiàn)的。Jack軟件自身就提供了豐富的實(shí)體數(shù)據(jù)庫(kù)，用戶可以直接在實(shí)體數(shù)據(jù)庫(kù)中尋找自己需要的實(shí)體工具，通過導(dǎo)入實(shí)體命令將實(shí)體導(dǎo)入指定的環(huán)境，并通過移動(dòng)實(shí)體到合適的位置以創(chuàng)建符合用戶需求的三維仿真環(huán)境。

2.2 仿真制作工具

Animation和TSB是Jack軟件提供的兩種仿真動(dòng)畫制作工具，這兩個(gè)工具在使用上和輸出上各有自己的優(yōu)勢(shì)和特點(diǎn)。Animation工具可以控制虛擬人的頭部、眼睛、軀干、骨盆、質(zhì)心、手臂、手、腳的動(dòng)作，而且各部位的動(dòng)作可以同時(shí)進(jìn)行，并且指定時(shí)間間隔。TSB工具即人物仿真創(chuàng)建工具，與Animation相比，TSB創(chuàng)建任務(wù)流程更加方便，TSB工具中包含虛擬人和實(shí)體工具的基本運(yùn)動(dòng)模型。

2.3 起動(dòng)機(jī)簡(jiǎn)介

起動(dòng)機(jī)驅(qū)動(dòng)發(fā)動(dòng)機(jī)，用于發(fā)動(dòng)機(jī)的起動(dòng)和運(yùn)行過程中。它是通過將氣體的壓力能轉(zhuǎn)變?yōu)闄C(jī)械能實(shí)現(xiàn)對(duì)發(fā)動(dòng)機(jī)的驅(qū)動(dòng)。

2.4 維修任務(wù)描述

起動(dòng)機(jī)位于發(fā)動(dòng)機(jī)的左前部，擁有兩個(gè)端口，一個(gè)是進(jìn)氣端，為起動(dòng)機(jī)供氣，驅(qū)動(dòng)起動(dòng)機(jī)工作，另一個(gè)端口為輸出端，帶動(dòng)發(fā)動(dòng)機(jī)工作，驅(qū)動(dòng)發(fā)動(dòng)機(jī)。在起動(dòng)機(jī)外側(cè)的后端下部，安裝有磁堵，在拆起動(dòng)機(jī)前，需要先拆下磁堵，放出起動(dòng)機(jī)殼體中殘存的的滑油（見圖3）。

2.5 起動(dòng)機(jī)拆卸任務(wù)分解

該任務(wù)由human和human0兩個(gè)虛擬人共同完成，為了提高效率，對(duì)兩個(gè)人的工作進(jìn)行分工，共同完成任務(wù)。

我們將任務(wù)分成3個(gè)階段：

（1）放泄滑油，human拆下磁堵，human0使用集油盆接滑油。

（2）拆卸起動(dòng)機(jī)與其他部位的連接，human 使用扳手拆下連接卡環(huán)，human0用雙手穩(wěn)定起動(dòng)機(jī)。

（3）拆下起動(dòng)機(jī)，human0拆下起動(dòng)機(jī)并加上堵塞，human為供氣管加上堵塞。

2.6 仿真任務(wù)

對(duì)于任務(wù)的仿真，根據(jù)分解的仿真流程，編輯出每一個(gè)時(shí)間段的工作姿勢(shì)，將工作姿勢(shì)賦予相應(yīng)的工作時(shí)間，就可以得到一段段的仿真片段，將每個(gè)仿真片段進(jìn)行拼接，得到每個(gè)工作階段的仿真動(dòng)畫，再將各個(gè)階段的仿真動(dòng)畫進(jìn)行調(diào)整拼接，就可以得到一個(gè)完整任務(wù)的仿真動(dòng)畫，因?yàn)槊恳欢蔚男∑味伎梢赃M(jìn)行單獨(dú)編輯，所以當(dāng)某些動(dòng)作姿態(tài)不協(xié)調(diào)或者不合理時(shí)，就可以對(duì)單個(gè)片段進(jìn)行修改，再進(jìn)行重新拼接，這樣就可以很大程度上減輕工作量。

在創(chuàng)建仿真動(dòng)畫的過程中將Animation、TSB和channel交替混合使用，可以減輕工作量，加快進(jìn)度，并且能提高仿真的精準(zhǔn)性和真實(shí)性。例如在進(jìn)行抓取動(dòng)作時(shí)，將抓取動(dòng)作分為抓取前動(dòng)作和抓取后動(dòng)作，抓取前的動(dòng)作可以使用TSB或Animation工具進(jìn)行動(dòng)作設(shè)計(jì)，在使用TSB工具時(shí)可以直接將仿真動(dòng)畫保存為channel文件或者將仿真動(dòng)畫轉(zhuǎn)換為Animation動(dòng)畫再將其保存成channel文件，即制作完成抓取動(dòng)作的仿真（見圖4、圖5）。

3 基于Jack平臺(tái)的動(dòng)作捕捉驅(qū)動(dòng)

Jack平臺(tái)自身是支持動(dòng)捕設(shè)備的驅(qū)動(dòng)的，但是由于骨骼匹配的問題，使得一些主流的動(dòng)捕設(shè)備或者主流的動(dòng)作捕捉數(shù)據(jù)格式并不能原生支持。在此，我們通過自己的算法對(duì)獲取的動(dòng)捕數(shù)據(jù)進(jìn)行處理，然后進(jìn)行導(dǎo)入驅(qū)動(dòng)。

3.1 操作流程

具體操作流程見圖6。

3.2 數(shù)據(jù)通訊端口的準(zhǔn)備工作

3.2.1 動(dòng)作捕捉設(shè)備

首先，要把動(dòng)作捕捉設(shè)備的配套軟件中的數(shù)據(jù)輸出端口打開，后文會(huì)講到具體數(shù)據(jù)格式的使用，考慮到數(shù)據(jù)處理的對(duì)比和優(yōu)化，在此選擇全部打開（見圖7）。

3.2.2 Jack平臺(tái)的Mocap Communication Port

如圖8所示，我們選用默認(rèn)的端口號(hào)4085即可，然后點(diǎn)擊“Start Server”。

3.3 啟動(dòng)前準(zhǔn)備

系統(tǒng)啟動(dòng)前還需要對(duì)設(shè)備連通性檢查、初始姿態(tài)的校準(zhǔn)，以及Jack虛擬環(huán)境中虛擬人的布置和檢查。在這里，主要取決于所采用的動(dòng)作捕捉設(shè)備廠商的要求。在完成啟動(dòng)前的準(zhǔn)備，就可以進(jìn)行動(dòng)捕驅(qū)動(dòng)任務(wù)了。

3.4 動(dòng)作捕捉數(shù)據(jù)的處理

3.4.1 骨骼轉(zhuǎn)換問題

前文有提到，Jack所采用的骨骼結(jié)構(gòu)和我們現(xiàn)采用的動(dòng)捕設(shè)備的骨骼結(jié)構(gòu)是不一樣的。前者主要是基于賓夕法尼亞人體建模中心所研究出來(lái)的人機(jī)工程模型，而后者為標(biāo)準(zhǔn)的BVH骨骼模型。

通俗來(lái)講，就是Jack骨骼更像是一個(gè)人，完全基于人的機(jī)理所搭建的一個(gè)骨骼模型，其受到一些人體生理功能的約束，比如各軀干、肢體的旋轉(zhuǎn)和位移角度都是有限制的；而BVH骨骼模型可以看成是一個(gè)機(jī)器人，并沒有太多的約束限制。

除此之外，兩種骨骼的差別還在于關(guān)節(jié)點(diǎn)的不同。此處列出骨骼編號(hào)對(duì)照表（見表1）。

按照此骨骼編號(hào)對(duì)照表，寫出相應(yīng)的算法進(jìn)行數(shù)據(jù)的處理。

3.4.2 動(dòng)捕數(shù)據(jù)的格式

通過一定的實(shí)驗(yàn)，我們發(fā)現(xiàn)采用BVH數(shù)據(jù)流的處理方案累計(jì)誤差較大，Jack中的虛擬人關(guān)節(jié)扭曲較明顯，檢查研究后發(fā)現(xiàn)，算法不是主要問題，而在數(shù)據(jù)流的降噪上可能有一定的欠缺，而這部分屬于動(dòng)捕設(shè)備的內(nèi)部處理，所以研究后決定，采用中間級(jí)數(shù)據(jù)（Calculation Data）進(jìn)行處理。

All the data types：

World coordinate displacement：X（X、Y、Z），unit is meter.

World coordinate displacement：V（X、Y、Z），unit is meter per second. World Coordinate modules posture data：Q（W、X、Y、Z）.

Module coordinate accelerated speed：A（X、Y、Z），unit is g.

Module coordinate accelerated speed：M（X、Y、Z），unit is radian per second.

圖9為編寫完成的數(shù)據(jù)處理及發(fā)送軟件。

3.5 Jack平臺(tái)中的骨骼驅(qū)動(dòng)

驅(qū)動(dòng)Jack人物模型需要輸入20個(gè)關(guān)節(jié)點(diǎn)的位置和角度坐標(biāo)。

如表2所示：按順序開啟系統(tǒng)后，我們啟動(dòng)編寫好的數(shù)據(jù)處理及發(fā)送軟件，然后將處理好的數(shù)據(jù)發(fā)送到Jack平臺(tái)中。添加虛擬人，并進(jìn)行骨骼綁定，然后就可以成功驅(qū)動(dòng)Jack平臺(tái)中的虛擬人進(jìn)行運(yùn)動(dòng)了。

骨骼綁定時(shí)，打開Motion Capture選項(xiàng)中的Tracking Setup，選取虛擬人Hunman和骨骼數(shù)據(jù)CaucMan，然后進(jìn)行骨骼綁定（見圖10、圖11）。

3.6 視野返回目標(biāo)對(duì)象

為了達(dá)到虛擬現(xiàn)實(shí)的體驗(yàn)效果，我們需要把被驅(qū)動(dòng)的虛擬人所看到的視野返回到穿戴人員的眼鏡中。此處我們使用Jack平臺(tái)中的模擬左右眼視窗的功能，然后對(duì)視窗的景深等圖像參數(shù)進(jìn)行一定的調(diào)整后，分別發(fā)送到目標(biāo)對(duì)象佩戴的眼鏡中，以此達(dá)到完整的虛擬維修體驗(yàn)效果。

4 結(jié)語(yǔ)

在項(xiàng)目開展過程中，遇到不少問題。比如無(wú)線數(shù)據(jù)傳輸問題，骨骼點(diǎn)的轉(zhuǎn)換問題，數(shù)據(jù)處理帶來(lái)的延遲問題，尤其是在中間級(jí)數(shù)據(jù)（Calculated Data）類型的選取和換算問題上，經(jīng)過反復(fù)試驗(yàn)和優(yōu)化，最后選取以世界絕對(duì)坐標(biāo)（Global Position）為主的數(shù)據(jù)進(jìn)行轉(zhuǎn)換、計(jì)算來(lái)獲得最終所需的結(jié)果數(shù)據(jù)。相比于動(dòng)捕驅(qū)動(dòng)，傳統(tǒng)的虛擬維修仿真從技術(shù)難度上講相對(duì)要容易一些，但其獨(dú)立于動(dòng)捕驅(qū)動(dòng)的優(yōu)點(diǎn)在于該作業(yè)仿真可以進(jìn)行維修性評(píng)價(jià)分析，從未對(duì)維修作業(yè)決策提供很好的參考。

參考文獻(xiàn)

[1] 王異香.基于虛擬維修仿真的人機(jī)工效分析研究[D].南京航空航天大學(xué)，2007.

[2] 王海燕.虛擬現(xiàn)實(shí)環(huán)境下動(dòng)作分析與人因工效評(píng)價(jià)方法研究[D].浙江理工大學(xué)，2014.

[3] 劉毅，劉佳.維修技術(shù)發(fā)展綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2009（11）：1519-1534.

[4] 陳萌，陳立平.基于人機(jī)工效學(xué)的人體建模和運(yùn)動(dòng)仿真[J].機(jī)械科學(xué)與技術(shù)，2001（4）：597-599.