王學文， 秦 毅， 楊昕宇， 龐新宇， 楊兆建

(1. 太原理工大學煤礦綜采裝備山西省重點實驗室，山西 太原 030024；2. 思克萊德大學設計制造與工程管理系，英國 格拉斯哥 G1 1XQ)

采煤機虛擬現(xiàn)實裝配仿真系統(tǒng)研究

王學文1,2， 秦 毅2， 楊昕宇2， 龐新宇1， 楊兆建1

(1. 太原理工大學煤礦綜采裝備山西省重點實驗室，山西 太原 030024；2. 思克萊德大學設計制造與工程管理系，英國 格拉斯哥 G1 1XQ)

針對煤礦裝備虛擬裝配應用問題，基于VisualStudio 2010、OSG、Cegui、VC++等軟件平臺和相關硬件設備，搭建了功能完整、使用方便、交互性好、沉浸感強的某型號電牽引采煤機虛擬現(xiàn)實裝配應用系統(tǒng)，詳細描述了系統(tǒng)的功能結(jié)構(gòu)、技術方案與構(gòu)建方法；針對構(gòu)建方法中的模型制作技術，結(jié)合UG與3DsMax的建模優(yōu)勢，提出先在UG中建立CAD精確模型，后利用3DsMax對模型進行轉(zhuǎn)換、修改、優(yōu)化和渲染，最終生成高質(zhì)量虛擬現(xiàn)實模型的模型處理方法，彌補了藝術類模型裝配精度較低和工程CAD模型很難直接生成虛擬現(xiàn)實模型的不足。

采煤機；虛擬現(xiàn)實；虛擬裝配；虛擬模型；立體顯示

作為虛擬現(xiàn)實技術在產(chǎn)品設計領域中的典型應用，虛擬裝配是將傳統(tǒng)裝配工藝融入虛擬現(xiàn)實，在高度沉浸感虛擬場景中，按約束關系將零件模型重新定位，根據(jù)產(chǎn)品的形狀特性與精度特性，逼真地模擬產(chǎn)品三維裝配過程，并允許用戶在場景中進行交互控制，以檢驗裝配的可行性和產(chǎn)品設計的合理性，力爭再現(xiàn)最真實、最直接地裝配過程，以便在產(chǎn)品設計過程中盡早發(fā)現(xiàn)問題，解決問題，縮短開發(fā)周期，提高設計效率[1-2]。

虛擬裝配技術的研究始于 20世紀 90年代中期，由于政府的支持及企業(yè)界的積極參與，發(fā)展非常迅速。早在1995年美國華盛頓州立大學VRCIM實驗室與美國國家標準與技術研究所(National Institute ofStandards and Technology，NIST)就合作開發(fā)了第一個具有代表性的虛擬裝配試驗系統(tǒng)VADE[3]；隨著虛擬裝配技術的發(fā)展，逐漸有研究機構(gòu)針對CAD和虛擬現(xiàn)實裝配技術進行了研究，如美國威奇塔州立大學(WichitaState University)開發(fā)的產(chǎn)品裝配及夾具設計試驗系統(tǒng) JIGPRO[4]，意大利博洛尼亞大學(University of Bologna)開發(fā)的基于CAD的裝配規(guī)劃與驗證試驗系統(tǒng)PAA[5]。

近年來，國內(nèi)許多高校與研究機構(gòu)在緊跟國際虛擬現(xiàn)實新技術的同時也積極投入虛擬裝配領域，如：劉曉暉等[6]提出了一種基于中文語音指令交互輔助控制虛擬裝配的方法；盧麗婷等[7]基于單點式力反饋器進行虛擬裝配研究，針對 PHANToM Desktop力反饋器工作空間狹小的問題，提出了改進的動態(tài)空間匹配算法；張志賢等[8]提出一種虛擬裝配中基于多剛體動力學的物性裝配過程仿真方法，實現(xiàn)了以力為輸入?yún)?shù)的零部件裝配過程仿真。

綜上分析，國內(nèi)外針對虛擬現(xiàn)實裝配技術，研究領域最初主要集中在軍事、航空與尖端制造領域，并逐步延伸到工程裝備制造領域；研究階段較多在實驗室搭建虛擬裝配試驗平臺，建立虛擬裝配系統(tǒng)，并對產(chǎn)品可裝配性、裝配過程進行分析研究；研究成果多為開發(fā)虛擬裝配應用系統(tǒng)[9]。

隨著煤機行業(yè)的快速發(fā)展和應用需求，本文針對某大采高電牽引采煤機，對虛擬現(xiàn)實裝配若干關鍵技術，如方案設計、軟件設計、硬件設計、構(gòu)建方法等進行研究，特別針對工程CAD軟件制作的3D模型如何轉(zhuǎn)換為虛擬現(xiàn)實模型進行詳細描述；在此基礎上，建立具備高度沉浸感與交互性的虛擬裝配應用系統(tǒng)，將虛擬裝配應用于采煤機產(chǎn)品裝配生產(chǎn)線，為采煤機產(chǎn)品開發(fā)提供幫助。

1 功能設計

針對某型號電牽引采煤機進行虛擬裝配與拆裝試驗集成仿真，系統(tǒng)功能組成如圖1所示。

采用自下而上、由簡入繁的方法，對簡單零部件提供單獨裝配，而后再裝配上一級部件，在破碎部、截割部、牽引部和機架等采煤機4大部件組裝完成后，再進行整機組裝。這樣既方便用戶深入認識采煤機各層次結(jié)構(gòu)，又可在逐級裝配過程中，在開發(fā)環(huán)境中逐步隱藏部件內(nèi)部零件，以降低系統(tǒng)開銷。

2 技術方案

2.1 總體框架

將采煤機虛擬裝配試驗系統(tǒng)分成軟件系統(tǒng)和硬件系統(tǒng)兩大部分。軟件系統(tǒng)主要實現(xiàn)各種所需求的功能，提供對硬件模塊和網(wǎng)絡協(xié)同的接口，并支持后續(xù)的擴展；硬件系統(tǒng)主要負責提供感官的感知和對系統(tǒng)的控制?？傮w框架如圖2所示。

2.2 軟件平臺

為實現(xiàn)總體方案，系統(tǒng)軟件平臺應達到以下要求：

(1) 建立采煤機虛擬裝配試驗平臺虛擬環(huán)境，實現(xiàn)逼真場景效果、光照和紋理映射處理，使系統(tǒng)具有較強的沉浸感和真實感；

(2) 建立管理平臺，支持模塊拓展與集成，并實現(xiàn)模塊之間的動態(tài)切換；

(3) 提供文件管理、模型選擇、立體顯示、硬件連接、自動演示、路徑記錄及回放、協(xié)同裝配等菜單功能；

(4) 支持立體顯示并利用鍵盤實現(xiàn)其效果的微調(diào)；

(5) 確保軟硬件系統(tǒng)的集成性與兼容性，對軟件平臺、中央控制器、邊緣融合器、投影機、立體眼鏡及投影環(huán)幕進行系統(tǒng)調(diào)試整合，實現(xiàn)虛擬環(huán)境 的沉浸式被動立體顯示。

圖2 系統(tǒng)框架結(jié)構(gòu)

基于以上軟件平臺技術要求，綜合考慮軟件的功能、應用廣泛性、市場認可度、對采煤機系統(tǒng)的適應性等，系統(tǒng)開發(fā)方案的軟件選擇如下(見圖3)：

圖3 系統(tǒng)軟件開發(fā)方案

(1) 以Microsoft VisualStudio 2010為開發(fā)平臺；

(2) 使用UG軟件建立采煤機模型，并通過STL導入3DsMax建立場景環(huán)境，利用photograph完成對貼圖的修改，通過OSGExp插件將其都導入虛擬現(xiàn)實系統(tǒng)中；

(3) 系統(tǒng)的視覺模塊主要采用基于工業(yè)圖形標準(open graphic library，OpenGL)的三維渲染引擎(openScene graph，OSG)[10]實現(xiàn)模型的加載、場景的生成及交互、事件的響應等場景管理功能，并選擇(Crazy Eddie′s GUI，Cegui)完成界面設計；

(4) 系統(tǒng)的聽覺模塊采用 OSG封裝跨平臺音效庫(open audio library，OpenAL)后生成的三維聲音庫osgAL；

(5) 系統(tǒng)的觸覺模塊采用自帶碰撞檢測系統(tǒng)的剛體動力學庫(open dynamic engine，ODE)，并支持5DT數(shù)據(jù)手套(glove ultraSDK)和位置跟蹤器Patriot (oolhemusSDK)；

(6) 選擇 Windows下網(wǎng)絡編程規(guī)范 WindowsSockets實現(xiàn)系統(tǒng)的協(xié)同裝配。

2.3 硬件設計

搭建采煤機虛擬裝配試驗系統(tǒng)硬件平臺如圖4所示，主要硬件包括：柱面虛擬三維立體投影顯示系統(tǒng) 3DPS 5000、數(shù)字圖像邊緣融合校正系統(tǒng)VisionOne、柱面漫反射仿真投影幕 PowerWallSim120、智能中央控制系統(tǒng)、環(huán)繞音響、數(shù)據(jù)手套、立體眼鏡和位置跟蹤器等。

圖4 系統(tǒng)硬件設備組成

3 系統(tǒng)構(gòu)建

3.1 系統(tǒng)開發(fā)流程

基于三維設計軟件UG建立采煤機模型，并通過格式轉(zhuǎn)換導入3DsMax中，對采煤機模型和裝配場景進行渲染， 利用OSG官方提供的插件OSGExp將模型導成OSG可識別的格式(*.osg，*.ive)。然后在OSG中實現(xiàn)該裝配系統(tǒng)的主要功能，包括人機交互、網(wǎng)絡協(xié)同、立體顯示、圖形界面和碰撞檢測的實現(xiàn)，最終將其發(fā)布，完成整個系統(tǒng)的開發(fā)。如圖5所示。

圖5 系統(tǒng)開發(fā)流程圖

3.2 模型制作

為使采煤機模型能夠逼真地表現(xiàn)出來，本文將模型建模分為3個步驟：①幾何建模，主要建立所需裝配模型的幾何形狀；②物理建模，主要對幾何模型進行顏色、材質(zhì)貼圖、光照等處理；③行為建模，主要處理虛擬模型的運動和行為描述。

3DsMax等藝術類軟件建立的模型一般很難達到機械產(chǎn)品的技術要求，不利于機械產(chǎn)品虛擬原型數(shù)據(jù)信息的提取，該類軟件也不適合對采煤機這種大型機械設備進行集合建模，而UG等CAD軟件無法直接轉(zhuǎn)換成虛擬現(xiàn)實模型，需要進行格式轉(zhuǎn)換[11]。因此，基于優(yōu)勢互補，本文在UG中建立精模后利用3DsMax對模型進行轉(zhuǎn)換和修改，以生成高質(zhì)量的虛擬模型[12]。

圖6 UG建立的采煤機模型

圖6為在UG中裝配完成的采煤機整機模型，之后選擇STL格式作為采煤機模型轉(zhuǎn)換格式，轉(zhuǎn)換后進行幾何模型優(yōu)化、修復、渲染、烘培等技術處理，以增強系統(tǒng)的真實感，最終得到3DsMax中采煤機整機渲染效果圖，如圖7所示。

圖7 3DsMax中采煤機模型渲染效果圖

以上操作完成后，通過 OSGExp插件將其導出成OSG可識別的osg或ive格式，利用OSG將模型調(diào)入虛擬裝配場景中完成系統(tǒng)所提供的各項功能。

3.3 立體顯示

基于雙目視差技術實現(xiàn)該系統(tǒng)的被動立體顯示，包括以下3個方面內(nèi)容：①生成一對具有左右視差的圖像；②通過偏振等原理使用戶雙眼各看到一幅圖像信息；③經(jīng)過大腦視覺神經(jīng)融合，產(chǎn)生立體視覺效果。

本文采用OSG技術使采煤機虛擬裝配試驗系統(tǒng)產(chǎn)生立體顯示效果，通過 OSG 在osg::DisplaySettings類中對立體顯示的設置進行封裝，通過setStereo(bool on)函數(shù)設置立體顯示的開關，并對立體顯示的效果進行調(diào)節(jié)。

系統(tǒng)立體顯示設置界面如圖8所示，肉眼觀察到的顯示效果如圖9所示?？梢钥闯鰣D中的模型顯示是模糊的，這是由于具有左右視差的兩幅圖像疊加所導致的，當用戶戴上偏振眼鏡過濾融合后即可觀察到具有沉浸感的立體顯示效果。

圖8 系統(tǒng)立體顯示設置界面

圖9 肉眼觀察采煤機顯示效果(未配戴偏振眼鏡)

4 用戶界面與系統(tǒng)運行

采用OSG與Cegui結(jié)合的方式創(chuàng)建系統(tǒng)操作界面，以便用戶根據(jù)需要與系統(tǒng)進行交互，并通過鼠標點擊或使用快捷鍵完成相應的指令。Cegui是一個自由免費的GUI庫，在OSG程序中，Cegui相當于一個Drawable，與OSG自身繪制一個球體沒有區(qū)別。在OSG主程序中通過addDrawable()函數(shù)將其加入OSG的場景繪制中去，實現(xiàn)OSG與Cegui的結(jié)合使用，如圖10所示。

系統(tǒng)總體界面如圖 11所示，通過主界面，可使用：鼠標鍵盤、數(shù)據(jù)手套及位置跟蹤器等交互方式進行虛擬裝配。

圖10 OSG與Cegui結(jié)合原理圖

圖11 采煤機虛擬裝配實驗系統(tǒng)總體界面

選擇了交互方式后，點擊“確定”按鈕進入虛擬裝配交互界面，如圖12左上角所示，包括“文件”、“編輯”、“選擇模型”、“立體硬件”和“幫助” 5個菜單選項。界面設計將系統(tǒng)所有功能集成在一個菜單欄中，通過下拉菜單的形式繼承系統(tǒng)所有功能。菜單將系統(tǒng)能夠執(zhí)行的命令以階層的形式展示，置于系統(tǒng)畫面的最上面，其重要程度從左往右逐漸降低。

圖12 采煤機虛擬裝配交互界面

其中“文件”菜單主要負責系統(tǒng)的退出等操作，“編輯”菜單主要負責裝配時模型位置的重置、對所選擇的裝配部件進行自動演示、對裝配路徑的記錄回放，協(xié)同裝配的實現(xiàn)(見圖13)。

通過“選擇模型”菜單可選擇需要的采煤機部件來進行裝配，“選擇模型”菜單是根據(jù)采煤機結(jié)構(gòu)拆分情況進行分類的(見圖14)。

“立體硬件”菜單主要用來實現(xiàn)系統(tǒng)的立體顯示功能，“幫助”菜單主要對系統(tǒng)的操作方法進行說明(見圖15)。

圖13 編輯菜單主要功能

圖15 系統(tǒng)使用說明

5 結(jié) 論

(1) 煤礦機械的特點是產(chǎn)品設計手段和設計水平整體偏低，開發(fā)周期與試驗和試用周期較長。本文設計的應用系統(tǒng)在功能設計伊始，即以參與和幫助采煤機設計為目的，設計思路貫穿采煤機實際裝配過程與生產(chǎn)線，最終完成的系統(tǒng)功能完整，使用方便，可使用戶在虛擬環(huán)境下交互地對采煤機的各個部分進行拆裝仿真。

(2) 相對于桌面電腦虛擬裝配系統(tǒng)，本文設計的系統(tǒng)在投影與顯示系統(tǒng)支持下，通過基于軌跡球的場景交互，基于鼠標、數(shù)據(jù)手套和位置跟蹤器的裝配交互等手段，實現(xiàn)了虛擬場景的全方位瀏覽，以及實現(xiàn)了對裝配模型的選擇、高亮、拖拽、裝配等，并基于OSG技術配合偏振眼鏡完成了場景立體顯示，大大提高了用戶的沉浸式體驗和使用興趣。

(3) 采用VisualStudio 2010、OSG、Cegui、VC++等底層編程軟件進行采煤機虛擬現(xiàn)實裝配系統(tǒng)開發(fā)，這些軟件功能完整、應用廣泛、設計靈活，既能夠滿足用戶個性化要求、便于功能擴展，又具有良好的適應性，可以確保軟硬件系統(tǒng)的集成性與兼容性，可以很好地匹配機械裝備虛擬現(xiàn)實系統(tǒng)研究。

(4) 結(jié)合UG與3DsMax的各自優(yōu)勢，在UG中建立采煤機CAD精確模型，后利用3DsMax對UG完成的基礎模型進行格式轉(zhuǎn)換、模型修改和優(yōu)化渲染，結(jié)合OSG技術生成高質(zhì)量虛擬現(xiàn)實模型，是一種高效的虛擬現(xiàn)實模型制作方法。

[1] 劉檢華, 寧汝新, 姚 珺, 等. 面向產(chǎn)品全生命周期的虛擬裝配技術研究[J]. 計算機集成制造系統(tǒng)-CIMS, 2005, 11(10): 1430-1437.

[2] 李建廣, 夏平均. 虛擬裝配技術研究現(xiàn)狀及其發(fā)展[J].航空制造技術, 2010, (3): 34-38.

[3] JayaramS, Connacher H I, Lyons K W. Virtual assembly using virtual-reality techniques [J]. Computer Aided Design, 1997, 8(29): 575-584.

[4] Rajan V N,Sivasubramanian K, Fernandez J E. Accessibility and ergonomic analysis of assembly product and jig designs [J]. International Journal of Industrial Ergonomics, 1999, 23(5-6):473-487.

[5] Liverani A, Amati G, Caligiana G. A CAD-augmented reality integrated environment for assemblySequence check and interactive validation [J]. Concurrent Engineering: Research and Application, 2004, 12(1): 67-77.

[6] 劉曉暉, 萬麗莉, 季 紅, 等. 基于中文語音交互的虛擬裝配技術研究[J]. 系統(tǒng)仿真學報, 2014, 26(9): 2056-2061.

[7] 盧麗婷, 劉 林, 熊 巍. 基于單點式力反饋器的虛擬裝配研究[J]. 圖學學報, 2014, 35(2): 280-284。

[8] 張志賢, 劉檢華, 寧汝新. 虛擬裝配中基于多剛體動力學的物性裝配過程仿真[J]. 機械工程學報, 2013,49(5): 90-99.

[9] 夏平均, 姚英學. 虛擬裝配的研究綜述與分析(II)[J].哈爾濱工業(yè)大學學報, 2008,40(6): 942-947.

[10] 肖 鵬, 劉更代, 徐明亮. OpenSceneGraph三維渲染引擎編程指南[M]. 北京: 清華大學出版社, 2010: 1-25.

[11] Wang Qinghui, Li Jingrong, Wu Baoli, et al. Live parametric designModifications in CAD-linked virtual environment [J]. International Journal of AdvancedManufacturing Technology, 2010, 50(9-12): 859-869.

[12] 袁曉紅, 江 濤, 蘇楚奇, 等. 3dsmax多邊形模型向UG工程模型的轉(zhuǎn)換[J]. 武漢理工大學學報, 2006, 28(5): 95-97.

Study on Virtual AssemblySimulationSystem of CoalShearer

Wang Xuewen1,2, Qin Yi2, Yang Xinyu2, pang Xinyu1, Yang Zhaojian1
(1.Shanxi Key Laboratory of FullyMechanized CoalMining Equipment, Taiyuan University of Technology, TaiyuanShanxi 030024, China; 2. Department of Design,Manufacture, and EngineeringManagement, University ofStrathclyde, Glasgow G1 1XQ,Scotland, UK)

Aimed at the virtual assembly application problems on coalMining equipment, a virtual assemblySimulationSystem was build on a type of electrical traction coalShearer under theSupport of virtual reality hardware equipments andSomeSoftwareSystems of VisualStudio 2010, OSG, Cegui and VC++. The functionalStructure, technologySolution and constructionMethod of the virtual assemblySystem were described in detail. TheSystem has fully functions, highly interactivity and immersive, and is easy to use. Aimed at the virtual realityModel processingMethod of theSystem, aMethod of building high-quality virtual realityModels combining UG with 3DsMax wasStudied. TheMethod firstly established accurate CADModels in UGSoftware, and theseModels were transformed andModified in 3DsMaxSoftware to establish the virtual realityModel. The artModels have poor accuracy and the engineering CADSoftware is difficult to generate virtual realityModels,So theMethods well remedy the above defects.

coalShearer; virtual reality; virtual assembly; virtualModel; 3D display

TD421

A

2095-302X(2015)02-0268-06

2014-08-05；定稿日期：2014-11-19

國家留學基金資助項目(201308140087)；山西省“十二五”科技重大專項資助項目(20111101040)；山西省基礎條件平臺資助項目(2014091016)；山西省高等學校創(chuàng)新人才支持計劃資助項目(2014)

王學文(1979–)，男，山西長治人，副教授，博士。主要研究方向為機械現(xiàn)代設計方法、機械CAD/CAE等。E-mail：wxuew@163.com

楊兆建(1955–)，男，河北高陽人，教授，博士。主要研究方向為機械現(xiàn)代設計方法、機械CAD/CAE、機械設計工況監(jiān)測與故障診斷、機械動力學和摩擦學等。E-mail：yangzhaojian@tyut.edu.cn