AR 智能眼鏡在高速公路機(jī)電運(yùn)維信息交互調(diào)度管理系統(tǒng)中的應(yīng)用

張 照，張紫昱

（招商局公路網(wǎng)絡(luò)科技控股股份有限公司 京津塘高速分公司，北京 100176）

隨著我國高速公路建設(shè)信息化和智慧化的快速深化發(fā)展，高速公路機(jī)電設(shè)備的維護(hù)和管理成為保障高速公路順暢運(yùn)行的基本環(huán)節(jié)。傳統(tǒng)的高速公路機(jī)電設(shè)備維護(hù)和管理通常需要現(xiàn)場(chǎng)工作人員進(jìn)行手動(dòng)操作，這種方式不僅耗費(fèi)大量人力物力，還存在一定的安全風(fēng)險(xiǎn)。

為提高高速公路機(jī)電設(shè)備維護(hù)和管理的效率和安全性，近年來越來越多的研究人員開始嘗試采用增強(qiáng)現(xiàn)實(shí)（AR，Augmented Reality）技術(shù)進(jìn)行高速公路機(jī)電設(shè)備是維護(hù)和管理工作。齊文平等人[1]利用實(shí)時(shí)數(shù)據(jù)獲取、空間定位及視覺跟蹤、手勢(shì)及語音交互等技術(shù)，依據(jù)發(fā)電廠巡檢業(yè)務(wù)方式，開發(fā)了基于AR 技術(shù)的巡檢終端及其運(yùn)行環(huán)境系統(tǒng)，實(shí)現(xiàn)了巡檢任務(wù)管理、數(shù)據(jù)管理、3D 設(shè)備模型疊加及遠(yuǎn)程協(xié)助等應(yīng)用；張振等人[2]開發(fā)了可在100 ms 內(nèi)快速辨別人臉、3 s 內(nèi)識(shí)別公民身份的警用AR 智能眼鏡，實(shí)現(xiàn)了在各類移動(dòng)場(chǎng)所實(shí)施人車排查、動(dòng)態(tài)布控和重大突發(fā)事件指揮調(diào)度的功能；陶杰等人[3]基于 AR終端，采用真實(shí)場(chǎng)景疊加虛擬信息技術(shù)的方式，開發(fā)了基于AR 技術(shù)的隧道人工巡檢輔助系統(tǒng)，實(shí)現(xiàn)了高效的作業(yè)分析、指導(dǎo)和決策。

基于上述研究，本文利用內(nèi)嵌的顯示芯片及波導(dǎo)鏡片，結(jié)合AR 技術(shù)設(shè)計(jì)可用于高速公路機(jī)電設(shè)備運(yùn)營(yíng)維護(hù)（簡(jiǎn)稱：運(yùn)維）場(chǎng)景的AR 智能眼鏡。在高速公路機(jī)電設(shè)備運(yùn)維過程中可實(shí)時(shí)顯示設(shè)備狀態(tài)信息、提供操作指導(dǎo)等功能，提高高速公路機(jī)電設(shè)備運(yùn)維效率。

1 系統(tǒng)架構(gòu)

當(dāng)前，公路企業(yè)采用高速公路機(jī)電運(yùn)維信息交互調(diào)度管理系統(tǒng)（簡(jiǎn)稱：機(jī)電運(yùn)維系統(tǒng)）對(duì)公路機(jī)電設(shè)備進(jìn)行維護(hù)和管理，涉及對(duì)象主要有交通運(yùn)輸部路網(wǎng)監(jiān)測(cè)與應(yīng)急處置中心收費(fèi)相關(guān)業(yè)務(wù)系統(tǒng)、市屬道路路網(wǎng)管理與應(yīng)急處置中心收費(fèi)相關(guān)業(yè)務(wù)系統(tǒng)、發(fā)行服務(wù)機(jī)構(gòu)相關(guān)業(yè)務(wù)系統(tǒng)、路段業(yè)主收費(fèi)相關(guān)業(yè)務(wù)系統(tǒng)、收費(fèi)站系統(tǒng)、車道系統(tǒng)、門架系統(tǒng)等，涵蓋各級(jí)收費(fèi)系統(tǒng)的軟件、硬件和通信網(wǎng)絡(luò)設(shè)施等[4]，實(shí)現(xiàn)高速公路機(jī)電設(shè)備運(yùn)維場(chǎng)景下運(yùn)維人員間的語音交流和調(diào)度，涵蓋通信、待辦、問題上報(bào)與處理、音視頻監(jiān)管、巡檢、知識(shí)庫和設(shè)備管理等功能。本文介紹的機(jī)電運(yùn)維系統(tǒng)由移動(dòng)端、云服務(wù)端和管理端等3 部分組成，移動(dòng)端與云服務(wù)端通過運(yùn)營(yíng)商提供的5G 移動(dòng)通信網(wǎng)絡(luò)實(shí)現(xiàn)互聯(lián)互通，系統(tǒng)架構(gòu)如圖1 所示。

圖1 機(jī)電運(yùn)維系統(tǒng)架構(gòu)

1.1 移動(dòng)端

移動(dòng)端主要包含AR 智能眼鏡終端和移動(dòng)手持終端。2 種終端形式都可進(jìn)行獨(dú)立作業(yè)使用。AR 智能眼鏡是單獨(dú)進(jìn)行穿戴的智能終端設(shè)備，且在高速戶外作業(yè)場(chǎng)所穿戴可嵌入安全帽中使用。AR 智能眼鏡通過無線5G 移動(dòng)通信網(wǎng)絡(luò)與云服務(wù)端連接，將獲取的圖像和采集的語音進(jìn)行實(shí)時(shí)交互并顯示返回的信息。

1.2 云服務(wù)端

云服務(wù)端通過5G 移動(dòng)通信網(wǎng)絡(luò)與移動(dòng)端相連接，承擔(dān)著處理和存儲(chǔ)數(shù)據(jù)的任務(wù)，并提供實(shí)時(shí)的圖像和語音交互功能。云服務(wù)端接收移動(dòng)端的圖像和語音輸入，對(duì)其進(jìn)行處理和分析后傳遞給管理端，并將管理端查詢處理后的數(shù)據(jù)返回給移動(dòng)端，供移動(dòng)端用戶查看。云服務(wù)端的功能和性能對(duì)系統(tǒng)的高效使用發(fā)揮著重要的作用。

1.3 管理端

管理端基于云服務(wù)端與移動(dòng)端進(jìn)行通信，并提供對(duì)系統(tǒng)的實(shí)時(shí)監(jiān)控和管理功能。管理端可查看和分析來自移動(dòng)端設(shè)備的數(shù)據(jù)，并結(jié)合運(yùn)維事務(wù)進(jìn)行必要的實(shí)時(shí)標(biāo)注操作和調(diào)整，還具有系統(tǒng)參數(shù)配置，用戶權(quán)限管理和運(yùn)維報(bào)告生成等功能，以確保系統(tǒng)的正常運(yùn)行和高效管理。

2 AR 智能眼鏡功能設(shè)計(jì)

由移動(dòng)終端的AR 智能眼鏡采集圖像或語音，經(jīng)5G 移動(dòng)通信網(wǎng)絡(luò)傳至云服務(wù)端，進(jìn)行處理并與管理端互聯(lián)，管理端將相應(yīng)信息經(jīng)云服務(wù)端推送回移動(dòng)端，移動(dòng)端的AR 智能眼鏡通過AR 形式顯示發(fā)回的信息，從而實(shí)現(xiàn)設(shè)備參數(shù)可視化、遠(yuǎn)程協(xié)作和維護(hù)過程AR 展示等功能。

2.1 設(shè)備參數(shù)可視化

機(jī)電設(shè)備維護(hù)人員可將AR 智能眼鏡連接到云服務(wù)端，實(shí)時(shí)獲取維護(hù)設(shè)備的各項(xiàng)參數(shù)，通過AR 智能眼鏡的顯示屏將設(shè)備參數(shù)可視化地顯示在機(jī)電設(shè)備維護(hù)人員的視野中，使其可在維護(hù)設(shè)備的同時(shí)，直接看到設(shè)備的參數(shù)信息；同時(shí)，管理端可對(duì)設(shè)備參數(shù)進(jìn)行實(shí)時(shí)監(jiān)控，并設(shè)置相應(yīng)的警報(bào)機(jī)制，當(dāng)設(shè)備參數(shù)超出閾值時(shí)，管理端可通過AR 智能眼鏡向機(jī)電設(shè)備維護(hù)人員發(fā)送報(bào)警信息，提醒其及時(shí)采取相應(yīng)措施。

2.2 遠(yuǎn)程協(xié)作

2.2.1 實(shí)時(shí)圖像傳輸和遠(yuǎn)程指導(dǎo)

AR 智能眼鏡可通過內(nèi)置攝像頭將穿戴者眼前機(jī)電設(shè)備的實(shí)時(shí)圖像傳輸?shù)皆品?wù)端。協(xié)作人員可在管理端觀看實(shí)時(shí)圖像，并通過在圖像上做標(biāo)記，以及發(fā)送語音、視頻或文字等方式與現(xiàn)場(chǎng)機(jī)電設(shè)備維護(hù)人員進(jìn)行交流討論，并提供遠(yuǎn)程指導(dǎo)和技術(shù)支持。

2.2.2 進(jìn)度跟蹤和更新

機(jī)電設(shè)備維護(hù)人員可隨時(shí)在AR 智能眼鏡上更新巡檢或維修任務(wù)的進(jìn)展情況，便于維修管理人員了解各項(xiàng)任務(wù)的狀態(tài)和進(jìn)度，并及時(shí)做出相應(yīng)的調(diào)整。

2.3 維護(hù)過程中的AR 展示

機(jī)電設(shè)備維護(hù)人員佩戴AR 智能眼鏡，采用無接觸式控制操作，結(jié)合波導(dǎo)鏡片進(jìn)行設(shè)備維護(hù)操作。同時(shí)，直觀、便捷地在AR 智能眼鏡的鏡片中閱讀巡檢作業(yè)、報(bào)警信息、設(shè)備參數(shù)、歷史數(shù)據(jù)、作業(yè)指導(dǎo)書等數(shù)字化資料，并可通過語音指令進(jìn)行翻頁和文檔切換操作。

3 AR 智能眼鏡關(guān)鍵技術(shù)

3.1 AR 技術(shù)

AR 技術(shù)是一種能夠增強(qiáng)人類感知能力的技術(shù)。AR 設(shè)備主要由傳感器、計(jì)算機(jī)處理單元和輸出設(shè)備等3 個(gè)組件構(gòu)成，傳感器收集現(xiàn)實(shí)環(huán)境的數(shù)據(jù)，經(jīng)計(jì)算機(jī)處理單元融合音頻、圖像和文字，并整合輸出。機(jī)電運(yùn)維系統(tǒng)的AR 智能眼鏡將參數(shù)信息疊加到虛擬實(shí)物圖像中[5]，使設(shè)備維護(hù)人員可以更快、更準(zhǔn)確地進(jìn)行對(duì)比和查找設(shè)備問題。

3.2 音視頻融合

本文采用協(xié)議轉(zhuǎn)換算法，有效融合音視頻，并進(jìn)行結(jié)構(gòu)化解析處理，從而實(shí)現(xiàn)音視頻應(yīng)用智能化[6]。本文對(duì)音視頻融合編碼的質(zhì)量、帶寬、幀率、容錯(cuò)率等參數(shù)進(jìn)行優(yōu)化智能調(diào)整，通過負(fù)載均衡等數(shù)據(jù)傳輸技術(shù)，實(shí)現(xiàn)復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)的音視頻數(shù)據(jù)傳輸。

（1）在視頻編解碼方面，本文采用了MPEG-4、H.263、H.264、H.265 等多種視頻編解碼技術(shù)，并利用GPU、NVENC 硬編解碼技術(shù)提升系統(tǒng)性能。同時(shí)，通過圖像去噪、倍頻平滑顯示、防馬賽克、防撕裂、無縫拼接等圖像處理算法，優(yōu)化視頻編解碼過程，提高顯示效果。

（2）在音頻編解碼方面，采用G.711、G.722、G.729、AMR、ADPCM、AAC+等多種音頻編解碼技術(shù)，并應(yīng)用回聲抑制、噪聲抑制、嘯叫抑制、自動(dòng)增益、音頻變速播放等音頻處理算法，優(yōu)化音頻編解碼過程，提升播放效果。

（3）在音視頻傳輸方面，本文采用帶寬管理技術(shù)、抗丟包技術(shù)、網(wǎng)絡(luò)防抖算法、碼流平滑算法、亂序處理算法、網(wǎng)絡(luò)路由算法、網(wǎng)絡(luò)自適應(yīng)編碼（NAC，Network Adaptive Coding）技術(shù)、超高清數(shù)據(jù)傳輸技術(shù)及防火墻 NAT（Network Address Translation）穿越技術(shù)，來進(jìn)行多網(wǎng)絡(luò)適配和多網(wǎng)絡(luò)融合，進(jìn)一步提升音視頻傳輸質(zhì)量。

3.3 波導(dǎo)鏡片技術(shù)

波導(dǎo)鏡片是AR 智能眼鏡的核心技術(shù)裝置，將光波導(dǎo)和分光比技術(shù)相結(jié)合，從而實(shí)現(xiàn)高效的光傳輸和分光比功能。

（1）光波導(dǎo)技術(shù)是一種利用光的全反射原理將光線引導(dǎo)到特定的路徑中的技術(shù)[7]。在波導(dǎo)鏡片中，光波導(dǎo)技術(shù)可將光線從一個(gè)端口引導(dǎo)到另一個(gè)端口，使得光線在鏡片內(nèi)部傳輸而不會(huì)泄漏出來。這種技術(shù)可實(shí)現(xiàn)高效的光傳輸，使得鏡片能夠顯示透明感的圖像。

（2）分光比技術(shù)是一種將光線按照不同的波長(zhǎng)進(jìn)行分離和處理的技術(shù)。在波導(dǎo)鏡片中，分光比技術(shù)可將光線按照不同的波長(zhǎng)分離，并將不同波長(zhǎng)的光線引導(dǎo)到不同的路徑中，對(duì)不同波長(zhǎng)的光線進(jìn)行不同的處理（調(diào)整亮度、對(duì)比度或應(yīng)用特定的濾波器等）?；诜止獗燃夹g(shù)，波導(dǎo)鏡片可實(shí)現(xiàn)對(duì)光線的精確控制和調(diào)節(jié)，以提供更加清晰和準(zhǔn)確的圖像顯示效果。

波導(dǎo)鏡片結(jié)合了光波導(dǎo)技術(shù)和鏡片的分光比技術(shù)，可實(shí)現(xiàn)高效的光傳輸和對(duì)光線的精確控制，使得波導(dǎo)鏡片展現(xiàn)出透明感的圖像，并對(duì)光線進(jìn)行精確的調(diào)節(jié)和處理，以提供清晰、準(zhǔn)確的顯示效果。機(jī)電設(shè)備維護(hù)人員可長(zhǎng)時(shí)間無感佩戴，在大視場(chǎng)范圍內(nèi)看到清晰視頻圖像，且透光率高達(dá)80%、視場(chǎng)角達(dá)40°，透過AR 智能眼鏡可清晰看到維護(hù)的機(jī)電設(shè)備，提升機(jī)電設(shè)備維護(hù)人員工作的便利性。

4 應(yīng)用驗(yàn)證

本文的AR 智能眼鏡在京津塘（北京—天津—塘沽）G2 高速公路的機(jī)電運(yùn)維系統(tǒng)上進(jìn)行應(yīng)用測(cè)試。主要針對(duì)遠(yuǎn)程協(xié)助和信息的AR 展示中的具體功能進(jìn)行測(cè)試。

4.1 文檔閱讀

測(cè)試人員佩戴AR 智能眼鏡，通過控制指令打開系統(tǒng)中的設(shè)備手冊(cè)，采用語音控制文件翻頁，以及文檔的轉(zhuǎn)換，如圖2 所示。圖2 中為運(yùn)維人員通過AR 智能眼鏡查看設(shè)備操作說明時(shí)顯示的設(shè)備說明書畫面。

圖2 文檔閱讀應(yīng)用場(chǎng)景

4.2 觀看視頻

通過本文的AR 智能眼鏡，測(cè)試人員可實(shí)現(xiàn)一邊收看設(shè)備指導(dǎo)視頻，一邊透過波導(dǎo)鏡片查看真實(shí)場(chǎng)景中的機(jī)電設(shè)備，實(shí)現(xiàn)虛擬信息和實(shí)際環(huán)境的融合，如圖3 所示。圖3 為AR 智能眼鏡中播放的設(shè)備培訓(xùn)視頻的畫面。

圖3 觀看設(shè)備指導(dǎo)視頻應(yīng)用場(chǎng)景

4.3 遠(yuǎn)程協(xié)助

以檢查機(jī)電設(shè)備電路板為場(chǎng)景，測(cè)試人員佩戴AR 智能眼鏡，與管理端的同事進(jìn)行遠(yuǎn)程協(xié)助測(cè)試。圖4 中，左側(cè)為AR 智能眼鏡采集到的主板的實(shí)時(shí)畫面，右側(cè)為系統(tǒng)管理端顯示的可對(duì)圖像進(jìn)行AR 標(biāo)注的頁面。在測(cè)試過程中，負(fù)責(zé)遠(yuǎn)程協(xié)助的技術(shù)人員在管理端對(duì)圖像進(jìn)行標(biāo)注，標(biāo)注后的效果如圖5所示。

圖4 遠(yuǎn)程協(xié)助

圖5 圖像標(biāo)注

測(cè)試過程中，測(cè)試人員佩戴AR 智能眼鏡全程并未感覺不適，對(duì)整個(gè)維護(hù)過程中的畫面清晰程度較為滿意，透過鏡片對(duì)外部視野觀察程度也較為認(rèn)可，可進(jìn)行正常的機(jī)電設(shè)備維護(hù)作業(yè)，且基于AR 智能眼鏡的使用可有效的提升機(jī)電設(shè)備維護(hù)的作業(yè)效率和質(zhì)量[8]。

5 結(jié)束語

本文介紹了AR 智能眼鏡在機(jī)電運(yùn)維系統(tǒng)中的應(yīng)用方式和具體功能。闡述了AR、音視頻融合、波導(dǎo)鏡片等關(guān)鍵技術(shù)，通過在京津塘G2 高速公路的機(jī)電運(yùn)維系統(tǒng)上進(jìn)行應(yīng)用測(cè)試，驗(yàn)證了其實(shí)用性和先進(jìn)性，有效提升了機(jī)電設(shè)備的維修效率和質(zhì)量。同時(shí)，配合上數(shù)字化的工作流程，使機(jī)電設(shè)備維護(hù)的工作步驟更清晰、執(zhí)行更加無錯(cuò)漏、管理更方便、數(shù)據(jù)更為直觀。