馮丹琳

摘要：基于HoloLens實(shí)現(xiàn)發(fā)動(dòng)機(jī)模型的混合現(xiàn)實(shí)交互演示，進(jìn)而直觀形象的對(duì)發(fā)動(dòng)機(jī)結(jié)構(gòu)、原理有更清楚的了解。通過三維建模軟件對(duì)某型民航發(fā)動(dòng)機(jī)模型進(jìn)行輕量化處理，通過虛擬現(xiàn)實(shí)引擎對(duì)HoloLens進(jìn)行開發(fā)。首先搭建HoloLens開發(fā)環(huán)境，然后對(duì)輕量化處理后的模型添加動(dòng)畫效果，然后把具有動(dòng)畫效果的發(fā)動(dòng)機(jī)模型發(fā)布到HoloLens中，最后實(shí)現(xiàn)發(fā)動(dòng)機(jī)模型與現(xiàn)實(shí)場(chǎng)景的交互演示。此方法對(duì)混合現(xiàn)實(shí)交互演示系統(tǒng)的開發(fā)設(shè)計(jì)具有重要參考意義，此系統(tǒng)可用于教學(xué)及相關(guān)培訓(xùn)，具有重要的實(shí)用價(jià)值。

關(guān)鍵詞：發(fā)動(dòng)機(jī)模型;輕量化;混合現(xiàn)實(shí);HoloLens

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2018）11-0152-03

0 引言

近年來，混合現(xiàn)實(shí)（MR）技術(shù)是學(xué)術(shù)界的一個(gè)熱點(diǎn)，將成為下一個(gè)重大通用計(jì)算平臺(tái)。隨著信息技術(shù)的發(fā)展，這些先進(jìn)技術(shù)手段將逐步融入人們的生活，被越來越多的行業(yè)機(jī)構(gòu)和企業(yè)用來改善生產(chǎn)和生活，未來幾年將會(huì)實(shí)現(xiàn)飛速發(fā)展。它是在虛擬現(xiàn)實(shí)技術(shù)基礎(chǔ)之上發(fā)展起來的一種新技術(shù)，也被稱為增強(qiáng)現(xiàn)實(shí)（AR）。將計(jì)算機(jī)生成的虛擬環(huán)境、模型等信息疊加到真實(shí)場(chǎng)景中，實(shí)現(xiàn)對(duì)現(xiàn)實(shí)的增強(qiáng)，增加了體驗(yàn)者對(duì)現(xiàn)實(shí)環(huán)境的感知[1]。HoloLens是微軟公司開發(fā)的一款頭戴式增強(qiáng)現(xiàn)實(shí)裝置，采用特殊定制的全息處理單元，能夠在現(xiàn)實(shí)場(chǎng)景中顯示全息圖像的設(shè)備，而且可以完全獨(dú)立使用，同時(shí)無需線纜連接、同步電腦或智能手機(jī)，實(shí)現(xiàn)對(duì)周邊環(huán)境的快速掃描和空間匹配。這就確保了在真實(shí)世界表面放置或展現(xiàn)全息圖形內(nèi)容的準(zhǔn)確性。另外，HoloLens平臺(tái)操作系統(tǒng)是基于Windows10定制的，降低了研發(fā)成本，同時(shí)也提高了開發(fā)效率[2-4]。

發(fā)動(dòng)機(jī)作為飛機(jī)的核心部件，具有重要的研究?jī)r(jià)值。通過三維建模軟件3DSMax對(duì)建立的發(fā)動(dòng)機(jī)模型進(jìn)行輕量化處理，使得模型能夠加載到虛擬現(xiàn)實(shí)引擎Unity中。在Unity中配置HoloLens開發(fā)的場(chǎng)景，然后對(duì)輕量化后的模型進(jìn)行動(dòng)畫效果程序的設(shè)計(jì)，實(shí)現(xiàn)發(fā)動(dòng)機(jī)虛化模型的縮放、移動(dòng)、旋轉(zhuǎn)、漫游等效果。最后把具有動(dòng)畫效果的模型發(fā)布到HoloLens中，實(shí)現(xiàn)發(fā)動(dòng)機(jī)模型的交互演示。對(duì)混合現(xiàn)實(shí)交互演示系統(tǒng)的開發(fā)設(shè)計(jì)具有重要參考意義，同時(shí)可應(yīng)用于教學(xué)及相關(guān)培訓(xùn)，具有重要實(shí)際應(yīng)用價(jià)值。

1 混合現(xiàn)實(shí)交互技術(shù)

1.1 用戶界面

混合現(xiàn)實(shí)的用戶界面正在向高效、自然的方向發(fā)展。在MR中使用較多的用戶界面形態(tài)包括：實(shí)物用戶界面（TUI）、觸控用戶界面、三維用戶界面（3DUI）、多通道用戶界面和混合用戶界面。

目前，TUI是MR領(lǐng)域應(yīng)用得最多的交互方式，它是直接使用現(xiàn)實(shí)世界中的物體與計(jì)算機(jī)進(jìn)行交互[5]，這種方式比較自然。觸控用戶界面是在圖形用戶界面的基礎(chǔ)上，主要以觸覺感知作為交互技術(shù)，例如手機(jī)、平板電腦等，都是用手通過屏幕與虛實(shí)物體交互。3DUI是在一個(gè)虛擬或現(xiàn)實(shí)的三維空間中與計(jì)算機(jī)進(jìn)行交互，是由虛擬現(xiàn)實(shí)技術(shù)衍生而來的交互技術(shù)，可以在純虛擬環(huán)境中觀察世界、地形漫游、搜索與導(dǎo)航等。多通道用戶界面是通過多種通道與計(jì)算機(jī)進(jìn)行交互，輸入方式有文字、語音、手勢(shì)、視覺、聽覺、嗅覺等。混合用戶界面通過多種不同的交互設(shè)備進(jìn)行交互[6]，交互平臺(tái)更加靈活和多樣化。

1.2 交互技術(shù)

混合現(xiàn)實(shí)中人機(jī)交互主要是實(shí)現(xiàn)用戶自然高效地與虛實(shí)混合的內(nèi)容進(jìn)行交互，交互技術(shù)主要有手勢(shì)識(shí)別技術(shù)、語音和聲音交互技術(shù)、觸覺反饋技術(shù)、眼動(dòng)跟蹤技術(shù)、生理計(jì)算技術(shù)等等。

手勢(shì)識(shí)別技術(shù)是應(yīng)用較多的交互方式，按照輸入設(shè)備的不同，分為基于傳感器和基于計(jì)算機(jī)視覺兩種，可直接用手操作MR中的物體。語音交互是重要的交互方式，語音識(shí)別可以直接或作為額外的輸入通道感知交互信息。觸覺反饋技術(shù)是通過產(chǎn)生的力學(xué)信號(hào)反饋信息，通過觸摸的方式感知實(shí)際或虛擬的力學(xué)信號(hào)。眼動(dòng)跟蹤技術(shù)通過眼睛注視的方向體現(xiàn)感興趣的區(qū)域以及用戶的心理和生理狀態(tài)，通過眼睛注視進(jìn)行的交互是較快的人機(jī)交互方式。生理計(jì)算是建立人類生理信息和計(jì)算機(jī)系統(tǒng)之間的接口的技術(shù)[7-9]。

2 開發(fā)實(shí)現(xiàn)

HoloLens是微軟首個(gè)不受線纜限制的全息計(jì)算機(jī)設(shè)備，能夠與數(shù)字內(nèi)容更好的進(jìn)行交互，并與周圍真實(shí)環(huán)境中的全息影像互動(dòng)。HoloLens對(duì)新一代的人機(jī)交互體驗(yàn)指明了方向，它可以代替大部分需要人與人之間進(jìn)行實(shí)地交流的場(chǎng)景。首先通過三維建模軟件對(duì)發(fā)動(dòng)機(jī)模型進(jìn)行精簡(jiǎn)面等輕量化處理，然后利用虛擬現(xiàn)實(shí)引擎添加動(dòng)畫效果，把處理好的發(fā)動(dòng)機(jī)模型加載到Hololens中。使得HoloLens體驗(yàn)者能夠看到由他自己周圍的現(xiàn)實(shí)世界和系統(tǒng)提供的全息影像組合而成的景象，進(jìn)行交互演示。開發(fā)過程如圖1所示。

2.1 發(fā)動(dòng)機(jī)模型輕量化

三維發(fā)動(dòng)機(jī)模型是由多種信息有機(jī)地構(gòu)成，其信息量大，造成模型對(duì)計(jì)算機(jī)性能要求很高，顯示速度慢，不能直接加載到Hololens中去。為了解決這個(gè)問題，將建好的發(fā)動(dòng)機(jī)模型平滑的加載到HoloLens中，可以對(duì)原始模型采取輕量化操作，過濾冗余信息，保留發(fā)動(dòng)機(jī)模型必要的產(chǎn)品結(jié)構(gòu)和顯示信息等，并對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)化和壓縮。

模型輕量化采用細(xì)節(jié)層次技術(shù)，包括生成、選擇及切換三個(gè)主要部分。將發(fā)動(dòng)機(jī)模型設(shè)定不同的顯示精度和顯示細(xì)節(jié)，根據(jù)觀察者視點(diǎn)與發(fā)動(dòng)機(jī)模型之間的距離來使用不同的顯示精度，以此達(dá)到快速交互模型的目的。3DSMax的操作環(huán)境如圖2所示。

發(fā)動(dòng)機(jī)模型面數(shù)的輕量化包括模型面的精簡(jiǎn)、刪除。模型片面的精簡(jiǎn)通過降低模型的段數(shù)來降低模型的面數(shù)，柱面通過降低高度段數(shù)和截面的精簡(jiǎn)達(dá)到面數(shù)的精簡(jiǎn)，曲線形狀模型面數(shù)的精簡(jiǎn)通過調(diào)整材質(zhì)的偏移值、角度等的參數(shù)，適度減少形狀步幅和路徑步幅參數(shù)，完成曲線形狀模型面的精簡(jiǎn)。刪除發(fā)動(dòng)機(jī)模型面包括刪除發(fā)動(dòng)機(jī)模型之間的重疊面，刪除發(fā)動(dòng)機(jī)模型底部看不見的面，刪除物體之間相交的面。

2.2 基于Unity的HoloLens開發(fā)

在Unity中對(duì)HoloLens開發(fā)之前，需要配置相應(yīng)的環(huán)境、資源加載。開發(fā)過程包括場(chǎng)景搭建，程序設(shè)計(jì)，發(fā)布輸出。首先載入的開發(fā)工具包提供了封裝好的常用的組件及腳本，HoloLens的主要交互方式為凝視、語音、和手勢(shì)，構(gòu)成了HoloLens的基本輸入。然后設(shè)置當(dāng)前場(chǎng)景，加載模型，Unity支持幾乎所有的主流三維文件格式，把從3DSMax導(dǎo)出文件到項(xiàng)目工程資源文件夾后，Unity會(huì)立即刷新該資源，并將變化應(yīng)用于整個(gè)項(xiàng)目。為模型添加剛體，使得凝視、語音、手勢(shì)等觸發(fā)讓模型感知。設(shè)計(jì)縮放、移動(dòng)、旋轉(zhuǎn)等程序，加載到Unity的發(fā)動(dòng)機(jī)模型上，使得模型具有相應(yīng)的屬性。發(fā)布輸出時(shí)，進(jìn)行相關(guān)的發(fā)布設(shè)置，選擇發(fā)布平臺(tái)，這里選擇遠(yuǎn)程計(jì)算機(jī)，即HoloLens，并確定與計(jì)算機(jī)在同一個(gè)局域網(wǎng)內(nèi)，最后調(diào)試程序，發(fā)布到HoloLens中。以移動(dòng)的設(shè)計(jì)為例進(jìn)行具體分析，開始移動(dòng)前，保存發(fā)動(dòng)機(jī)模型的原始位置，獲取拖拽的總偏移量，設(shè)置發(fā)動(dòng)機(jī)模型新的位置，手勢(shì)移動(dòng)事件處理接口，該事件會(huì)將返回自拖拽開始的總位移量。Unity中的開發(fā)環(huán)境如圖3所示。

對(duì)發(fā)動(dòng)機(jī)模型集成凝視、手勢(shì)和語音三大特性，當(dāng)攝像機(jī)凝視在全息對(duì)象時(shí)，表面出現(xiàn)可視化凝視組件，當(dāng)手勢(shì)被識(shí)別到時(shí)，會(huì)出現(xiàn)圓心或手指，然后添加事件響應(yīng)，完成發(fā)動(dòng)機(jī)的響應(yīng)工作?？稍赨nity模式下運(yùn)行調(diào)試，觀察整個(gè)項(xiàng)目的運(yùn)行結(jié)果，一切正常，即可發(fā)布到PC平臺(tái)或Hololens中。在Unity中的視覺效果如圖4所示。

3 結(jié)語

通過3DSMax三維建模軟件對(duì)發(fā)動(dòng)機(jī)模型處理，采用細(xì)節(jié)層次技術(shù)對(duì)原始模型采取輕量化操作，過濾冗余信息，保留發(fā)動(dòng)機(jī)模型必要的產(chǎn)品結(jié)構(gòu)和顯示信息。在Unity3D中進(jìn)行開發(fā)環(huán)境的搭建，發(fā)動(dòng)機(jī)模型的導(dǎo)入，程序設(shè)計(jì)、調(diào)試等操作。進(jìn)行了發(fā)動(dòng)機(jī)模型的縮放、移動(dòng)、旋轉(zhuǎn)的程序設(shè)計(jì)，分別通過凝視、手勢(shì)的操作實(shí)現(xiàn)。完成了整個(gè)項(xiàng)目的運(yùn)行，運(yùn)行結(jié)果符合正常效果，最后發(fā)布到Hololens中，實(shí)現(xiàn)了發(fā)動(dòng)機(jī)模型混合現(xiàn)實(shí)交互演示。開發(fā)設(shè)計(jì)過程對(duì)混合現(xiàn)實(shí)交互演示系統(tǒng)的研究具有重要參考意義，開發(fā)的交互演示系統(tǒng)可應(yīng)用于教學(xué)及相關(guān)培訓(xùn)方面，具有重要的實(shí)用價(jià)值。

參考文獻(xiàn)

[1]趙文靜，曹忠.基于增強(qiáng)現(xiàn)實(shí)的移動(dòng)學(xué)習(xí)海外案例分析[J].現(xiàn)代教育技術(shù)，2017，27（3）：20-26.

[2]余艷紅.增強(qiáng)現(xiàn)實(shí)技術(shù)的研究現(xiàn)狀及發(fā)展趨勢(shì)[J].湖南大眾傳媒職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2016，16（1）：55-57.

[3]金榮深.基于HoLoLens的飛行仿真輔助視景系統(tǒng)設(shè)計(jì)[J].工業(yè)設(shè)計(jì)，2018（6）.

[4]劉向群，郭雪峰，鐘威等. VR/AR/MR開發(fā)實(shí)踐——基于Unity與UE4引擎[M].機(jī)械工業(yè)出版社，2017.

[5]呂春花，張鳳軍，武匯岳等.基于TUI的場(chǎng)景規(guī)劃系統(tǒng)中的交互技術(shù)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2009，21（1）：112-119.

[6]Zhou F， Duh H B L，Billinghurst M. Trends in augmented reality tracking， interaction and display： a review of ten years of ISMAR[C] //Proceedings of the 7th IEEE/ACM International Symposium on Mixed and Augmented Reality. Los Alamitos：IEEE Computer Society Press，2008：193-202.

[7]王西穎，戴國(guó)忠.面向虛擬現(xiàn)實(shí)的層次化交互手勢(shì)建模與理解方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2007，19（10）：1334-1341.

[8]Irawati S，Green S， Billinghurst M，et al."Move the couch where？"： developing an augmented reality multimodal interface[C] //Proceedings of IEEE/ACM International Symposium on Mixed and Augmented Reality. Los Alamitos： IEEE Computer Society Press， 2006：183-186.

[9]Hayward V，Astley O R，Cruz-Hernandez M，et al.Haptic interfaces and devices[J].Sensor Review，2004，24（1）：16-29.

Development of Mixed Reality Interactive Demonstration System for Civil Aviation Engine Based on HoloLens

FENG Dan-lin

（College of Electronic Information and Automation， Civil Avation University of China， Tianjin? 300300）

Abstract：Based on the implementation of the mixed reality interactive demonstration of the engine model by HoloLens， the engine structure and principle can be more clearly understood visually. Through 3D modeling software， a certain type of light weight is made on civil aviation engine model， to develop the HoloLens by virtual reality engine. The first is to set up HoloLens development environment， and the second is to add animation effects to treated model， and the third is to release the finished engine model to HoloLens， the last is to realize the interactive demonstration between engine model and real scene. This method has important reference significance for the development and design of mixed reality interactive demonstration system， which can be used in teaching and related training， and has important practical value.

Key words：engine model; light weight; mixed reality; holoLens