增強現(xiàn)實在航空裝備艦基修理中的應用

摘" 要：針對航空裝備艦基修理過程中時間緊、難度大和人員培養(yǎng)慢等問題，基于增強現(xiàn)實技術設計開發(fā)AR輔助維修引導系統(tǒng)。以移動智能終端為硬件平臺，利用ORB-SLAM2方法實現(xiàn)運動跟蹤，結合觸摸屏技術、語音識別、震動反饋實現(xiàn)人機交互，并以某型光電雷達的電子部件拆卸步驟為例，進行功能驗證。分析結果發(fā)現(xiàn)，系統(tǒng)在縮短維修時間和減少差錯次數(shù)方面表現(xiàn)較好，能夠為航空裝備艦基修理能力的生成起到一定的促進作用。

關鍵詞：增強現(xiàn)實；航空裝備；艦基修理；人機交互；運動跟蹤

中圖分類號：TP391" " " 文獻標志碼：A" " " " " 文章編號：2095-2945（2025）05-0027-05

Abstract： To address the challenges of limited time， complexity， and slow personnel trainning in the ship-based repair of aviation equipment， an AR-assisted maintenance guidance system is developed based on augmented reality technology. Taking a mobile smart terminal as a hardware platform， the ORB-SLAM2 method is used to achieve motion tracking， based on touch screen technology， voice recognition， and vibration feedback to achieve human-computer interaction， and taking the dismantling steps of electronic components of a certain type of optoelectronic radar as an example to perform functional verification. The analysis results show that the system performs well in shortening maintenance time and reducing the number of errors， and can play a certain role in promoting the generation of ship-based repair capabilities of aviation equipment.

Keywords： augmented reality; aviation equipment; ship-based repair; human-computer interaction; motion tracking

作為航母戰(zhàn)斗力生產的關鍵，如何保持艦載機在駐艦期間的狀態(tài)完好已經(jīng)成為航空裝備維修保障領域的重要課題之一。傳統(tǒng)陸基維修保障模式采用三級維修體制，而對于執(zhí)行遠海任務的艦載機，在駐艦期間更加依賴艦基修理力量[1]。而且遠海條件下，能夠用于維修保障的資源有限，空間局限，技術受限，加之可能出現(xiàn)的疑難故障、戰(zhàn)場搶修、復雜工藝等情況，使裝備修理的難度直線上升。這事實上也對維修保障人員能力水平和維修手段方法提出了更高的要求。但目前維修能力與保障需求之間還存在差距，具體表現(xiàn)有人員培養(yǎng)周期長；技術要求高；維修易出錯。常規(guī)的維修方法依靠查閱使用說明書、電子手冊、故障匯編等技術資料，但大多效率不高，無法滿足艦基修理的現(xiàn)實需求。

近年來，基于增強現(xiàn)實（Augmented Reality，AR）的輔助維修技術逐漸被運用在復雜裝備的維修工作中。通過計算機[2]對虛擬的圖形數(shù)據(jù)進行實時處理，再與真實場景相匹配。維修人員通過屏幕既能觀察現(xiàn)實世界，又能掌握虛擬的維修信息，起到了信息增強的效果。國外團隊對于增強現(xiàn)實技術的研究起步較早，1968年，美國哈佛大學研發(fā)的The Sword of Damocles系統(tǒng)第一次使用光學透視頭戴式顯示器，展示了在真實世界中疊加虛擬物體的畫面。1990年，美國波音公司研究員Tom Caudell在美國達拉斯召開的SIGGRAPH會議上，明確提出了增強現(xiàn)實這個概念，隨后在制造DART510型航空發(fā)動機過程中，利用AR技術輔助飛機的裝配工作，能夠節(jié)省56%的維修時間[3]。2015年，NASA嘗試將AR技術用于宇航員的空間站修理能力訓練，成果降低了學習成本[4]。目前國內AR技術研究也取得一定成果，2017年李佳寧[5]團隊著重研究了AR系統(tǒng)中的VSLAM關鍵技術。2023年崔海清等[6]基于HoloLens增強現(xiàn)實眼鏡開發(fā)了維修指導系統(tǒng)。這些研究成果證明，AR技術在輔助維修方面潛力巨大。但是目前應用的案例大多針對工業(yè)生產領域和部分傳統(tǒng)軍事裝備，應用于艦基修理方面的研究較少。本文以某型光電雷達艦基修理為例，嘗試將增強現(xiàn)實技術與艦基修理相結合，設計開發(fā)AR輔助維修引導系統(tǒng)。通過虛實結合的方式，可為維修人員面對復雜、緊急的維修任務時提供輔助引導，從而提高維修效率。

1" 系統(tǒng)設計

1.1" 總體思路

AR輔助維修引導系統(tǒng)采用模塊化設計，總體包含運動跟蹤模塊、數(shù)字資源管理模塊、人機交互模塊和數(shù)據(jù)存儲模塊4個模塊。

運動跟蹤模塊：運動跟蹤是不斷跟蹤增強現(xiàn)實設備的位置和姿態(tài)，其是虛實模型與現(xiàn)實場景結合的基礎，是影響使用者增強現(xiàn)實觀感最關鍵的因素。該模塊可持續(xù)跟蹤設備相對于周圍環(huán)境的位置和姿態(tài)變化軌跡，負責建立虛擬世界與真實事件的統(tǒng)一幾何空間。

數(shù)字資源管理模塊：數(shù)字資源是以增強現(xiàn)實形式展現(xiàn)的虛擬場景，是輔助維修的重要信息，包括文字、視頻、語音和3D模型等。該模塊負責將不同格式的數(shù)據(jù)進行統(tǒng)一管理，按照不同的維修階段呈現(xiàn)對應的維修信息。

人機交互模塊：人機交互是維修人員對虛擬維修信息的交互控制。傳統(tǒng)的交互方式是采用鼠標和鍵盤輸入指令，增強現(xiàn)實技術更加注重交互的視、聽、觸覺體驗，除了構建可漫游的虛擬場景，還能對場景進行編輯，交互的方式有手勢、觸摸屏、語音和震動反饋等。

數(shù)據(jù)存儲模塊：數(shù)據(jù)存儲是將每次維修的相關數(shù)據(jù)進行記錄，包括設備編號、維修日期、維修情況等等。這類數(shù)據(jù)是重要的維修輔助資料，分類存儲在系統(tǒng)本地，還可以通過數(shù)據(jù)傳輸共享至其他終端。維修人員可以通過查詢數(shù)據(jù)快速掌握待修設備的履歷記錄，同時還能進行故障統(tǒng)計分析，為預防性維修提供參考。

1.2" 框架設計

針對某型光電雷達艦基修理的檢查和維修兩方面的需求，本文設計了AR輔助維修引導系統(tǒng)的框架結構，如圖1所示。

用戶層是維修人員直接操作的界面，主要展示各項功能，要求簡潔、美觀、易用。通過點擊、滑動屏幕或者用語音等方式，控制系統(tǒng)完成不同功能，界面呈現(xiàn)相應維修信息。

業(yè)務層是系統(tǒng)的主要功能，按照需求劃分為4個部分：信息查詢允許維修人員通過編號查詢光電雷達的基本信息，初步掌握設備基本情況、維修歷史等，功能類似電子履歷本；日常檢查是在接收光電雷達以后，按照系統(tǒng)提供的操作清單，逐項檢查待修光電雷達的狀態(tài)；維修引導是系統(tǒng)的核心功能，根據(jù)故障現(xiàn)象選擇對應檢查的部位，系統(tǒng)能夠以增強現(xiàn)實的方式顯示維修信息；日志記錄是在維修結束以后，將排故的具體情況記錄在案，便于后期故障數(shù)據(jù)分析。

工具層為業(yè)務層各項功能提供軟件支撐，涉及數(shù)字資源管理、交互控制和數(shù)據(jù)庫操作。

服務層是系統(tǒng)各項功能實現(xiàn)的基礎，負責提供底層服務，例如運動跟蹤的算法、圖像渲染的標準圖形庫、傳感器的信號輸出等，該層更加貼近設備硬件。

2" 系統(tǒng)實現(xiàn)

2.1" 功能模塊交聯(lián)關系

從艦基修理的實際應用場景出發(fā)，考慮到設備便攜性要求，開發(fā)平臺選用華為移動智能終端，運行環(huán)境為HarmonyOS系統(tǒng)。為避免可能出現(xiàn)的電子干擾、電磁壓制等特殊情況的影響，系統(tǒng)設計了離線單機獨立運行的模式，不依賴遠程支援。系統(tǒng)各個模塊之間的相互關系如圖2所示。

2.2" 底層技術

2.2.1" 運動跟蹤

增強現(xiàn)實對運動跟蹤要求很高，包括準確性、實時性、魯棒性和可移動性等，優(yōu)秀的運動跟蹤能力是增強現(xiàn)實沉浸感的關鍵。目前增強現(xiàn)實完成運動跟蹤可以采用光學、慣性和混合測量等[7]。本系統(tǒng)采用ORB-SLAM2實現(xiàn)運動跟蹤，基于PTAM框架，在無標志場景中根據(jù)攝像頭拍攝的視頻實時計算移動智能終端姿態(tài)。由于ORB-SLAM2能夠處理環(huán)境光線影響，經(jīng)過跟蹤、建圖和回環(huán)檢測3個程序，其環(huán)境適應性較好。

2.2.2" 人機交互

1）本系統(tǒng)硬件平臺集成有電容式觸摸屏，因此觸摸屏技術作為主要的交互手段。用戶通過觸摸屏選取興趣點，配合點擊、輸入、滑動等操作，實現(xiàn)控制系統(tǒng)進行工作的目的。此外基于觸摸屏的命中檢測是人機交互的重要部分。將屏幕中的興趣點映射到現(xiàn)實空間中的興趣點，命中檢測可使維修人員通過點擊屏幕選取現(xiàn)實空間中的興趣點，從而實現(xiàn)與虛擬物體的交互操作。

2）為輔助觸摸屏操作，增加語音識別功能。目前有多款成熟的語音交互技術解決方案，如Google語音識別、百度語音識別、科大訊飛語音識別等。從離線運行的需求考慮，本系統(tǒng)采用了科大訊飛語音識別方案?？拼笥嶏w語音交互技術包括語音識別、自然語言處理和語音合成等，在人工智能技術的推動下，語言交互技術的準確性和響應速度有了質的飛躍。

3）觸覺反饋技術能通過作用力和振動等增加使用者的觸感，是智能設備交互中一種重要的反饋形式。借助本系統(tǒng)硬件平臺集成的震動馬達實現(xiàn)震動觸覺反饋。目的是在虛擬場景中營造“真實”的體驗感，能夠更有效地增強現(xiàn)實。利用觸覺反饋充分調動人的感官，在視覺或聽覺受到干擾時，能夠有效幫助使用者獲取信息。

2.2.3" 虛實結合

虛擬場景的構建需要借助三維圖形繪制技術，借助于高性能計算機已經(jīng)可以渲染出清晰、逼真的虛擬環(huán)境。目前主流的三維圖形繪制技術有多個方案可選，結合本系統(tǒng)的開發(fā)平臺，需要考慮移動智能終端硬件計算能力。OpenGL ES是針對嵌入式、移動平臺設計開發(fā)的標準三維圖形標準，具有開發(fā)、靈活、跨平臺等優(yōu)點。本系統(tǒng)采用OpenGL ES繪制虛擬場景，著重解決繪制的真實感問題，即如何保持虛擬物體與真實環(huán)境的一致性。從兩方面考慮：一是幾何一致性問題，虛擬物體與真實環(huán)境之間要考慮遮擋關系[8]；二是光照一致性問題，虛擬物體要呈現(xiàn)正確的光照效果，確保明暗效果與現(xiàn)實物體保持同步。

2.2.4" 電子手冊

除了基礎的運動跟蹤和顯示處理等技術，與維修相關的需重點考慮的問題是修理工藝問題。復雜裝備的修理包括分解、清洗、檢查、修理、裝配、調試和質量檢驗等流程，其中涉及大量的維修信息。對維修信息的組織管理和展現(xiàn)形式是增強現(xiàn)實維修的重要一環(huán)。目前基于電子信息技術開發(fā)的交互式電子手冊，在裝備維修領域應用較多，其可以將文字、圖片或者視頻等信息統(tǒng)一保存和管理，并提供維修數(shù)據(jù)的快速查詢，但無法主動根據(jù)當前維修步驟自動給出操作提示。因此，需要對傳統(tǒng)交互式電子手冊技術重新設計，使其與增強現(xiàn)實修理過程進行耦合。本系統(tǒng)基于鴻蒙系統(tǒng)開發(fā)數(shù)字資源管理模塊，用于統(tǒng)一存儲和管理維修相關信息。

3" 應用與效果評價

3.1" 應用步驟

系統(tǒng)以某型光電雷達整體組件中的電子部件拆卸為例進行功能驗證。電子部件是光電雷達整體組件的重要組成部分，能夠根據(jù)探測器的測量信號計算目標的方位和俯仰坐標，其與整體組件之間共有3種連接關系：通過螺絲進行固定連接；通過搭鐵線進行搭鐵連接；通過插頭插座進行電氣連接。組成結構如圖3所示。

本次任務為拆卸電子部件，點擊維修引導系統(tǒng)首先進行環(huán)境掃描。按照維修信息的指引，拆卸遵循三解除原則。第一步，解除外圍。使用一字解刀擰下固定螺絲，取下搭鐵線。第二步，解除連接。用手握住插頭，逆時針擰松并取下插頭。第三步，解除固定。使用十字解刀，沿對角方向依次擰下固定螺絲，取下電子部件。維修引導信息及提示信息同步顯示在屏幕中，效果如圖5所示。

3.2" 效果評價

為了檢驗AR輔助維修引導系統(tǒng)在提升維修效率方面的有效性，分別從維修工廠和基層單位選取6名維修人員進行測試，其中入職1年以下和1年以上各3名。將12名測試人員按照入職年限分為2組，入職1年以下的為A組，入職1年以上的為B組。操作中分別使用紙質維修工卡和AR輔助維修引導系統(tǒng)，以電子部件拆卸為例，記錄維修時間和差錯次數(shù)[9]，結果見表1和表2。

另外，參考趙守偉等[2]提出的評價方法，從滿意度、直觀度、舒適度3個方面對系統(tǒng)進行了主觀評價。評價分數(shù)針對5級態(tài)度“很滿意”“滿意”“一般”“不滿意”“很不滿意”，分別賦分5、4、3、2、1，最終2種維修輔助方式平均分比較，見表3。

根據(jù)維修結果，A組使用AR輔助維修引導系統(tǒng)以后，維修時間縮短了10.9%，差錯次數(shù)減小了45.4%。B組維修時間縮短了4.2%，差錯次數(shù)減小了25.4%。這說明AR輔助維修引導系統(tǒng)能夠在一定程度上縮短維修時間并有效降低差錯次數(shù)，而且在入職年限較短的維修人員中表現(xiàn)更加明顯。同時通過對比2種方式主觀評價指標，可以看出使用AR輔助維修引導系統(tǒng)進行維修，更加直觀和舒適。

4" 結束語

本文從艦基修理的需求出發(fā)，設計并實現(xiàn)了AR輔助維修引導系統(tǒng)。系統(tǒng)通過虛實結合的方式，可為維修人員提供一種新的輔助維修途徑。從實驗驗證的結果分析，一方面系統(tǒng)初步實現(xiàn)了縮短維修時間目的，同時能夠有效降低維修差錯次數(shù)；另一方面，借助增強現(xiàn)實技術，維修引導信息能夠直觀展示，減輕了維修人員認知負荷。因此系統(tǒng)適用于復雜裝備緊急條件下的維修，對于艦基修理能力的生成具有促進作用。但目前系統(tǒng)只設計開發(fā)了離線工作模式，在故障智能診斷方面能力不足，還需結合人工智能算法進一步開發(fā)和完善。

參考文獻：

[1] 張帥，糜玉林，孫媛，等．基于備件短缺數(shù)的艦載機修理級別分析[J]．電光與控制，2015，22（7）：115-119.

[2] 趙守偉，王凱，張勇，等．增強現(xiàn)實輔助維修系統(tǒng)的評價方法研究[J]．火炮發(fā)射與控制學報，2016，37（2）：82-87．

[3] TECCHIA F．Fundamentals of wearable computers and augmented reality，second edition[J]．Presonce： Virtual and Augmented Reality，2016，25（1）：78-79．

[4] 靳冬冬，王崴，劉曉衛(wèi)，等．增強現(xiàn)實誘導維修在外軍的發(fā)展現(xiàn)狀和趨勢[J]．現(xiàn)代防御技術，2014，42（6）：134-139．

[5] 李佳寧．基于RGB-D攝像機的增強現(xiàn)實系統(tǒng)關鍵技術研究[D]．杭州：浙江大學，2017．

[6] 崔海青，張旭鵬，詹湘琳，等．基于HoloLens的飛機維修遠程指導系統(tǒng)[J].計算機測量與控制，2023，31（5）：214-220.

[7] 張雷，馬金盾，郭理彬，等．增強現(xiàn)實在裝甲裝備基層級維修中的應用[J]．兵器裝備工程學報，2020，41（12）：268-274．

[8] 鄭毅．增強現(xiàn)實虛實遮擋方法評述與展望[J]．系統(tǒng)仿真學報，2014，26（1）：1-10．

[9] 白柯萌，王崴，瞿玨，等．多傳感器式誘導維修系統(tǒng)的設計與實現(xiàn)[J]．火力與指揮控制，2017，42（2）：102-108．