VR／AR與智能制造：應用領(lǐng)域、核心技術(shù)

陳和恩 何漢武 吳悅明

關(guān)鍵詞：智能制造;VR/AR;核心技術(shù);交互技術(shù)

0引言

智能制造（Intelligent Manufacturing）是制造技術(shù)、數(shù)字技術(shù)、智能技術(shù)及新一代信息技術(shù)的融合。數(shù)字技術(shù)是制造裝備智能化、設計過程智能化、加工工藝優(yōu)化、管理信息化和服務敏捷化、遠程化的關(guān)鍵。

為了使制造業(yè)變得越來越智能，新的智能制造系統(tǒng)需要無縫連接物理世界和數(shù)字世界。虛擬現(xiàn)實/增強現(xiàn)實，即VR（Virtual Realilv）/AR（AugmentedRealitv），因為具有強大的數(shù)據(jù)可視化和交互性、沉浸性的特點而被譽為是一種可以拓展人類感知能力、改變產(chǎn)品形態(tài)和服務模式的新興技術(shù)。對制造業(yè)而言，其改變了產(chǎn)品研發(fā)過程中的信息流;為制造過程提供可視化、輔助和擴展空間;有助于在開發(fā)過程的早期階段發(fā)現(xiàn)并避免設計錯誤;減少了物理原型的數(shù)量，并為企業(yè)節(jié)省了時間和成本。在許多智能制造應用中，VR/AR被認為是改善和加速產(chǎn)品和工藝開發(fā)的寶貴工具。

VR/AR作為新一代計算平臺，支持人類對智能制造系統(tǒng)產(chǎn)生的大量數(shù)據(jù)進行實時的、與生產(chǎn)背景相關(guān)的可視化訪問。雖然人工智能、數(shù)字化技術(shù)取得長足發(fā)展，但很長一段時間內(nèi)人類仍將在制造操作中扮演著不可或缺的角色，VR/AR是實現(xiàn)以人為本的智能制造的核心技術(shù)。

虛擬現(xiàn)實技術(shù)具有“3I”的基本特性：沉浸（Immersion）、交互（Interaction）和想象（Imagina-tion）。增強現(xiàn)實技術(shù)具有3個基本特征：虛實融合、實時交互以及三維注冊。

VR/AR主要有可視化模塊、傳感器模塊、跟蹤模塊、交互模塊4個功能模塊，具體如下。

（1）可視化模塊

增強現(xiàn)實的可視化模塊顯示虛實融合的內(nèi)容。

（2）傳感器模塊

該模塊獲取物理世界信息。攝像機是獲取周圍環(huán)境信息最多的傳感器。三維體感交互技術(shù)飛速發(fā)展，飛行時間（time of flight，TOF）和Lidar設備不斷小型化和降低成本，使得這些傳感器也逐漸成為VR/AR的應用配置。

（3）跟蹤模塊

跟蹤模塊實現(xiàn)對VR/AR設備的空間姿態(tài)求解，以根據(jù)姿態(tài)疊加虛擬信息。

（4）交互模塊

交互模塊除了傳統(tǒng)的鼠標鍵盤交互方式，還有手勢識別交互，有些體感交互設備能夠?qū)⒄鎸嵤澜绲娜梭w運動映射到虛擬空間中，從而拓展了人機交互通道。

本文通過綜述VR/AR在裝配應用、維護和培訓、產(chǎn)品測評、智能工廠布局、物流和倉儲管理5個領(lǐng)域的研究和應用現(xiàn)狀，分析了其中的核心技術(shù)和當前面臨的挑戰(zhàn)，給出未來的發(fā)展方向。

1 VR/AR在智能制造中的應用

VR/AR在其他行業(yè)，如游戲、娛樂以及物流業(yè)都發(fā)揮重要作用。但在制造業(yè)，很多的VR/AR應用都處于探索和發(fā)展階段。

隨著市場需求增多，VR/AR獲得技術(shù)以及資金的支持力度也大幅度增加，其已經(jīng)滲透到智能制造中的各個階段。VR/AR在裝配應用、維護和培訓、產(chǎn)品測評、智能工廠布局、物流和倉儲管理發(fā)揮廣泛作用，能大幅度提升設計、生產(chǎn)、裝配、規(guī)劃和物料管理效率。

1.1裝配應用

虛擬裝配通過建立一個多感知通道的虛擬環(huán)境，使用戶可以進行人機交互式的裝配操作，利用虛擬裝配技術(shù)可以優(yōu)化機械產(chǎn)品的設計和規(guī)劃，亦可以用于培訓裝配操作人員。眼部和頭部追蹤技術(shù)是該應用的核心技術(shù)，快速精準的眼部和頭部追蹤可以提供良好的拆裝體驗。

國內(nèi)外對虛擬裝配與拆卸系統(tǒng)已經(jīng)有不少研究成果。西門子公司利用虛擬現(xiàn)實進行沉浸式設計，精準的頭部和眼部跟蹤可讓工程師通過虛擬數(shù)字空間和產(chǎn)品數(shù)字孿生進行交互，通過評估產(chǎn)品的人機工程細節(jié)，可以減少初期設計問題，圖1所示為西門子虛擬裝配應用。Nicholas等研發(fā)了以數(shù)據(jù)手套和頭戴式顯示器進行交互的醫(yī)療器械裝配訓練系統(tǒng)，該系統(tǒng)利用質(zhì)量一彈簧一阻尼器模型構(gòu)建了碰撞檢測交互，抓取仿真度高，從基于任務到基于動作的多級訓練場景，學員可在系統(tǒng)中以難度遞進的方式訓練。

當前VR/AR在裝配應用中面臨的挑戰(zhàn)：由于追蹤技術(shù)無法實時、準確求解用戶的位置和姿態(tài)，導致了圖像刷新滯后，產(chǎn)生用戶視覺畫面無法精確匹配用戶的運動，長時間使用會產(chǎn)生暈眩感。因此，VR/AR的追蹤傳感器和相應算法需要進一步發(fā)展，同時，實時顯示圖像的渲染、刷新速度以及策略，需要針對裝配應用場景進行研究和開發(fā)。為了增加沉浸感，虛擬模型物理屬性的重構(gòu)和交互也是未來的發(fā)展方向。

1.2維護和培訓

國際數(shù)據(jù)公司（IDC）預測，在未來4年中，基于AR/VR技術(shù)的維護操作指引將吸引的投資高達3.62億美元。到2021年底，工業(yè)維修預計將成為最大的行業(yè)藍海，引來預計高達52億美元的投資。通過增強的三維虛實融合技術(shù)，解放操作者雙手，為維修人員、裝配技術(shù)工人邊查看資料邊對設備進行裝拆的現(xiàn)狀提供了新方法與新思路。

物體跟蹤和虛實配準技術(shù)是AR在維護和培訓應用的核心技術(shù)。跟蹤指的是確定某設備在物理世界中的位置和姿態(tài)。配準是在跟蹤的基礎上，把虛擬信息疊加在真實設備上，從而完成虛實融合的目標。裝配體驗需要魯棒穩(wěn)定的配準技術(shù)作支撐。

德國汽車生產(chǎn)商BMW公司提出的一套基于增強現(xiàn)實技術(shù)的裝配訓練指引系統(tǒng)，如圖2所示。操作者通過頭盔顯示屏，閱讀三維裝配指引信息，對發(fā)動機進行裝配。

廣東工業(yè)大學何漢武教授團隊設計了基于微軟公司新型AR頭盔Hololens的基站天線板布線輔助裝配系統(tǒng)，讓操作者根據(jù)增強現(xiàn)實的指引完成多個工序的接插線操作。系統(tǒng)帶有錯誤檢測模塊，能對誤裝、漏裝進行檢查和提示。

當前VR/AR在維護和培訓應用方面面臨的挑戰(zhàn)是由于跟蹤技術(shù)無法實時準確求解用戶的位置和姿態(tài)，導致了無法實時進行虛實配準，實際運行過程中環(huán)境光線、抖動等都會影響系統(tǒng)的運行。同時，如何把傳統(tǒng)二維的維護和培訓說明書轉(zhuǎn)成面向AR應用的三維可視化信息也是VR/AR發(fā)展面臨的難題。因此，高效的跟蹤算法和配準算法是當前研究的主要方向，方便、易用、功能強大的VR/AR三維可視化內(nèi)容開發(fā)工具和平臺將受到青睞。

1.3產(chǎn)品測評

產(chǎn)品測評是產(chǎn)品設計的重要階段，對于從用戶對功能、美學或可用性等不同領(lǐng)域的看法中獲得反饋，以及確保產(chǎn)品特性滿足用戶需求有重要意義。數(shù)字孿生是VR/AR在產(chǎn)品測評應用的核心技術(shù)。為了提高測評的可信度，要提高數(shù)字孿生產(chǎn)品的真實程度。需要對產(chǎn)品的幾何、材料、顏色、光照、物理以及應用環(huán)境進行重構(gòu)和建模。

ESI公司開發(fā)的虛擬現(xiàn)實測評應用系統(tǒng)，可從不同階段對產(chǎn)品進行測評，從而降低開發(fā)成本，減少開發(fā)周期，如圖3所示。上海通用汽車廠開發(fā)了一個通過增強現(xiàn)實技術(shù)對汽車擋風玻璃進行性能評測的系統(tǒng)。用戶坐在一個沒有擋風玻璃的實驗平臺上（經(jīng)改裝過的汽車），當用戶戴上頭盔，系統(tǒng)會自動把設計好的虛擬擋風玻璃疊加到真實環(huán)境中去，讓用戶可以直觀地感受加裝擋風玻璃后對路面產(chǎn)生的變形是否能滿足要求。通用電氣旗下意大利機械工廠的工人采用增強現(xiàn)實技術(shù)，在燃氣輪噴嘴制造中疊加虛擬圖像，能對噴嘴的數(shù)十個指標進行精確測量。

當前VR/AR在產(chǎn)品測評面臨的問題是由于孿生模型不夠逼真、不具備相應的物理屬性，因而無法產(chǎn)生有效測評數(shù)據(jù)。在下一步的研究中，需要針對特定制造領(lǐng)域，根據(jù)模型的復雜程度和真實期望，采用多種方法進行建模，形成合理的模型數(shù)據(jù)。

1.4智能車間布局

智能制造中，生產(chǎn)場地車間的布局是一個關(guān)鍵環(huán)節(jié)。布局要解決的問題是合理利用場地空間使得生產(chǎn)和物流合理、高效。除此之外，為了滿足對定制產(chǎn)品日益增長的需求，要讓制造過程變得更靈活并具有自適應性。針對市場需求的產(chǎn)品，快速布置生產(chǎn)線，調(diào)整車間布局，實現(xiàn)快速市場響應是VR/AR在智能車間布局的重要應用。

精準是AR在智能車間布局應用的關(guān)鍵要素。AR為車間布局、重建或生產(chǎn)線重置提供決策依據(jù)，其必須可靠。這需要通過相應的硬件和軟件來提供準確的輸入數(shù)據(jù)。

精確的跟蹤、配準和數(shù)字孿生技術(shù)是AR在智能車間布局應用的核心技術(shù)。為了提供可靠的車間布局可視化信息，首先要降低來自硬件的誤差，對標定、相機去畸變、傳感器狀態(tài)要建立優(yōu)化模型;其次要實現(xiàn)車間生產(chǎn)線、設備與相應數(shù)字孿生的一致性映射，讓數(shù)字孿生能真實模擬車間運行狀況，提供可靠的決策信息和數(shù)據(jù)。

吳悅明等采用數(shù)據(jù)手套和磁跟蹤器作為手勢輸入設備，使用移動終端作為輔助可視化設備，設計一套可用于設備擺放、車間布局的AR系統(tǒng)，系統(tǒng)對環(huán)境要求不高，對光照有很好的魯棒性，如圖4所示。該系統(tǒng)對車間工作環(huán)境以及各種虛擬生產(chǎn)設備的進行建模，通過VR/AR交互界面，在虛擬或現(xiàn)實空間中進行車間布局，可以模擬車間制造過程，通過仿真和交互，發(fā)現(xiàn)設計中的不足并進行改善。Pen-tenrieder開發(fā)了Roivis車間布局系統(tǒng)，對布局可靠性和誤差進行量化分析。

應用VR/AR進行快速車間布局可以降低布局決策錯誤、提高生產(chǎn)效率，但目前面臨的挑戰(zhàn)是虛實配準不夠精確，數(shù)字設備模型和真實的設備仍有差異，不能為生產(chǎn)提供真實的模擬和仿真。提高跟蹤配準精度和建模精度，對AR智能車間布局的可靠程度進行量化，利用數(shù)據(jù)分析進行布局決策是今后一個重要發(fā)展方向。

1.5物流與倉儲管理

信息流和物流是智能工廠正常運行的兩條動脈。相比而言，針對物流和倉儲的可視化研究不是很多，但是這個行業(yè)的發(fā)展可以促進AR技術(shù)的成熟。目前已有一些商業(yè)和研究機構(gòu)開始涉足物流與倉儲可視化技術(shù)。

物流行業(yè)中，分揀步驟耗費時間最多。根據(jù)DHL的調(diào)查報告，倉儲管理的分揀和運輸貨物占物流總成本的11%～13%。分揀人員利用AR可以擴展視角，從而確保更多的可見性、靈活性、指引性以及前瞻性。從而節(jié)省了搜索和分類時間，大大提高工作效率。

AR在物流與倉儲管理中應用的核心技術(shù)是掃描技術(shù)。掃描精度和掃描速度將決定AR能否在物流應用得到推廣。當前多數(shù)AR分揀指引系統(tǒng)都是基于視覺的掃描技術(shù)，如何提高掃描精度和速度，是AR在物流和倉儲管理應用面臨的挑戰(zhàn)。為了提高產(chǎn)品可用性，降低掃描設備體積和重量，提高掃描算法準確率、識別速度，增加魯棒性是未來研究重點和方向。

圖5所示為利用AR進行物流和倉儲管理的兩個例子。

2存在問題及發(fā)展方向

雖然VR/AR技術(shù)可以為智能制造提供很好的支撐，VR/AR也取得很大的進展，但仍有很多問題有待解決。本文從技術(shù)層面和應用角度兩個方面進行分析和闡述。

（1）技術(shù)方面?，F(xiàn)有設備的計算能力有待提高。把CPU計算、圖像渲染和顯示、存儲模塊小型化和可穿戴帶來的后果是VR/AR的硬件計算能力難以滿足日益增長的應用需求。與設備小型化相關(guān)的是電池變小了，續(xù)航能力也跟著下降，導致用戶體驗變差。與技術(shù)相關(guān)的還有跟蹤注冊技術(shù)。當前的VR/AR設備需要在合適的光照環(huán)境中才能運行，一旦光照或裝配環(huán)境發(fā)生變動，則跟蹤可能失敗，這一問題在無標跟蹤的應用場景中特別明顯。

（2）應用層面。VR/AR設備的人機工程設計仍有很大的提升空間。很多的設備雖然已經(jīng)設計得很出色，但應用起來仍顯得笨拙，主要問題還是不夠輕便。另外，長時間使用后產(chǎn)生視覺疲勞也是另一個讓人詬病的地方。與應用相關(guān)的還有用戶的接受程度。由于上述種種因素加上價格的影響，很難在整個生產(chǎn)線或者公司全盤推行VR/AR技術(shù)，因此，VR/AR的很多理論和技術(shù)仍停留在實驗室階段，有待在大規(guī)模工程應用中驗證。

VR/AR在智能制造領(lǐng)域必定具有十分廣闊和激動人心的應用前景，但同樣面臨著諸多方面的挑戰(zhàn)，主要體現(xiàn)在以下方面。

（1）提高算力是首要任務。隨著5G的來臨，一部分運算可以放在云端執(zhí)行，但如何保護用戶隱私將成為一個不可忽視的問題。

（2）VR/AR設備，如頭盔等，需要進一步提高可用性。減輕頭盔重量、提高圖像分辨率、減輕用戶視覺疲勞是VR/AR技術(shù)在制造業(yè)大規(guī)模鋪開的基本條件。

（3）VR/AR內(nèi)容制作必不可少。如何提供數(shù)字模型精度，如何把傳統(tǒng)的生產(chǎn)工藝工序、使用說明書的二維平面內(nèi)容轉(zhuǎn)成三維可視化數(shù)據(jù)，需要一些易用、靈活、功能強大的制作軟件。

此外，提高跟蹤技術(shù)、提高用戶接受程度、發(fā)展在智能制造過程中對VR/AR效率的評估方法等，都值得研究和關(guān)注。

3結(jié)束語

本文通過VR/AR在裝配應用、維護和培訓、產(chǎn)品測評、智能工廠布局、物流和倉儲管理5個領(lǐng)域的應用，綜述了VR/AR與智能制造的關(guān)系，對5個應用領(lǐng)域的核心技術(shù)進行介紹，分析當前面臨的挑戰(zhàn)，并在最后探討了未來的發(fā)展方向。

在生產(chǎn)制造過程中，VR/AR能實現(xiàn)三維可視化和相互間的交互，其有效性不僅體現(xiàn)在可視化，對空間的增強和擴展也是顯著的。VR/AR的數(shù)字化特性使其成為智能制造的關(guān)鍵技術(shù)之一，將使管理者的工作變得有條理、易掌控，并能提升工人的操作經(jīng)驗和技術(shù)。智能制造代表了生產(chǎn)的技術(shù)革命，而VR/AR與智能制造的結(jié)合正在成為討論最多的主題之一。