劉仕嬋
(欽州市交通運(yùn)輸服務(wù)中心,廣西 欽州 535000)
增強(qiáng)現(xiàn)實(shí)(AR)是一門融合了信號學(xué)、心理學(xué)、計算機(jī)圖形學(xué)等多門學(xué)科的新型技術(shù),它是以真實(shí)場景為基礎(chǔ),利用傳感器、掃描儀等設(shè)備采集真實(shí)環(huán)境信息后,在計算機(jī)環(huán)境下生成虛擬的三維圖像,模擬真實(shí)環(huán)境。基于增強(qiáng)現(xiàn)實(shí)技術(shù)設(shè)計的汽車維修輔助系統(tǒng),除了直觀、精確地展示汽車各個部分的圖像外,還可以支持人機(jī)交互,這就為用戶在人機(jī)交互界面的引導(dǎo)下輕松完成汽車維修任務(wù)提供了技術(shù)支持。隨著AI、AR 等技術(shù)的不斷成熟,汽車維修輔助系統(tǒng)的功能日益豐富、操作門檻不斷降低,讓用戶自己動手完成汽車維修成為了可能。
按照常規(guī)的汽車維修流程設(shè)計了汽車輔助維修系統(tǒng),該系統(tǒng)的架構(gòu)見圖1。
識別車輛信息是汽車維修輔助系統(tǒng)應(yīng)用的第一步。針對用戶容易認(rèn)錯汽車型號的問題,該系統(tǒng)采用微軟公司生產(chǎn)的AR 眼鏡HlolLens 作為環(huán)境感知攝像頭和色彩攝像頭,對用戶前方的場景進(jìn)行快速掃描,利用圖像識別技術(shù)提取場景中的關(guān)鍵信息,并經(jīng)過計算機(jī)的匹配確認(rèn)汽車的型號,車輛識別結(jié)果以靜態(tài)圖片的方式反饋給用戶。獲取故障信息也是汽車輔助維修系統(tǒng)設(shè)計的要點(diǎn)之一,本系統(tǒng)可調(diào)取汽車的維修保養(yǎng)記錄、日常操作記錄、車況信息等,確定故障并提供故障相關(guān)的信息。
汽車維修輔助系統(tǒng)運(yùn)行后,由用戶選擇車輛信息識別方式,有“視覺掃描”、“語音搜索”兩種方式。選擇后即可開始車輛信息識別。執(zhí)行一個判斷程序“是否識別車輛信息?”,如果未成功識別,則更換另一種識別方式;識別成功后,系統(tǒng)根據(jù)獲取到的汽車牌照、車輛型號、生產(chǎn)廠商代碼等相關(guān)信息,掌握汽車的基本數(shù)據(jù)。系統(tǒng)同步獲取汽車的日常維修保養(yǎng)記錄,結(jié)合掃描或語音獲取的車輛信息,可以判斷汽車各個部件的當(dāng)前狀況,并且以標(biāo)簽形式呈現(xiàn)。正常工況下標(biāo)簽為綠色,異常工況下標(biāo)簽為紅色,需要維修時標(biāo)簽為黃色。對于需要維修的部件,該系統(tǒng)提供本地應(yīng)用輔助和遠(yuǎn)程專家協(xié)助2 種維修輔助。優(yōu)先啟用本地應(yīng)用輔助,然后執(zhí)行一個判斷程序“是否解決維修問題?”,如果問題已經(jīng)解決,則繼續(xù)執(zhí)行下一步操作;如果問題未解決,則啟用遠(yuǎn)程專家協(xié)助,通過視頻通話的方式由專家遠(yuǎn)程指導(dǎo)用戶完成維修。汽車維修結(jié)束后,維修記錄以檔案形式留存,用戶可手動添加下一次需要維護(hù)保養(yǎng)的內(nèi)容,結(jié)束本次維修任務(wù)。汽車維修輔助系統(tǒng)的運(yùn)行流程見圖2。
本系統(tǒng)以HoloLens 設(shè)備作為開發(fā)對象,該設(shè)備內(nèi)置Intel2-bit(1GHz)的CPU,以及最大2 GB 的RAM和64 GB 的硬盤容量。鏡面部分采用2.4 M光導(dǎo)透明全息眼睛,視角30°×18°,并配備有加速器、陀螺儀和光度傳感器。操作系統(tǒng)Windows10,支持Wifi 連接和藍(lán)牙連接,滿電最長待機(jī)時間為15 d。設(shè)備功能及組成見圖3。本系統(tǒng)所用的HoloLens 設(shè)備支持3 種人機(jī)交互模式,分別是Ge 模式(手勢)、Ga 模式(凝視)和V 模式(語音)。默認(rèn)模式為Ga 模式,該模式下用戶可通過長時間注視(視角停留3s)虛擬物體的方式進(jìn)行點(diǎn)選,在點(diǎn)選模式下移動頭部即可進(jìn)行虛擬物體的拖拽[1]。
本系統(tǒng)提供兩種識別汽車信息的模式,分別是視覺掃描、語音搜索,用戶可自行選擇。用戶通過點(diǎn)選的方式選擇其一,然后系統(tǒng)跳轉(zhuǎn)到相應(yīng)的信息錄入界面。在視覺掃描模式下,利用HoloLens 設(shè)備快速完成用戶視線前方場景信息的掃描,并建立相應(yīng)的模型。在Ga 模式下,用戶將視線對焦到汽車的車牌處、發(fā)動機(jī)出廠信息位置處,即可收集車牌信息、發(fā)動機(jī)出廠信息。如果掃描過程中存在車牌被遮擋,或者是車牌無損導(dǎo)致無法提取車牌信息,則用戶可手動切換為語音搜索模式,然后通過語音輸入的方式,將車牌信息輸入到汽車維修輔助系統(tǒng)中。在設(shè)計車輛信息識別模塊時,除了通過視覺掃描、語音搜索方式識別車輛,用戶還可以根據(jù)當(dāng)前界面左上角的導(dǎo)航欄,確認(rèn)當(dāng)前在系統(tǒng)中所處的位置,并同樣以點(diǎn)選的方式,執(zhí)行“上一步”或“下一步”操作。當(dāng)然,用戶也可直接向系統(tǒng)發(fā)出語音指令,例如“進(jìn)入車況查詢界面”,在系統(tǒng)識別該語音指令后作出相應(yīng)的操作。
在設(shè)計車況查詢模塊時,提供“標(biāo)簽搜索”和“語音搜索”2 種查詢模式。用戶可通過手勢交互任選其一,點(diǎn)選之后完成界面的跳轉(zhuǎn)。為了更加直觀、間接地呈現(xiàn)汽車的全部零件,在設(shè)計環(huán)節(jié)需要建立一個獨(dú)立的汽車部件數(shù)據(jù)庫,以信息編碼的形式為每一個部件設(shè)計唯一的數(shù)字標(biāo)簽[2]。
車況查詢結(jié)果以標(biāo)簽形式顯示。部件性能正常,顯示為綠色標(biāo)簽;當(dāng)系統(tǒng)查詢到汽車某一部件存在故障時,即以紅色標(biāo)簽顯示;而黃色標(biāo)簽代表部件近期需要保養(yǎng)。用戶可點(diǎn)擊標(biāo)簽獲取詳細(xì)信息。這里以汽車的火花塞部件為例,車況查詢完畢后,界面上火花塞部件顯示為紅色標(biāo)簽。用戶可繼續(xù)點(diǎn)擊該標(biāo)簽,進(jìn)入到火花塞工況的詳情頁面,以圖文和語音相結(jié)合的形式詳細(xì)展示汽車火花塞存在的問題,以及接下來需要進(jìn)行的維修操作,見圖4。
通過人機(jī)交互界面,用戶可以知道汽車火花塞存在積碳過多、間隙過大的問題,需要重新更換新的火花塞。如果需要立即執(zhí)行該維修操作,則在當(dāng)前界面上點(diǎn)擊“立即更換”,然后進(jìn)入到“保養(yǎng)維修”模塊[3]。
該模塊是整個汽車維修輔助系統(tǒng)中的核心部分,其功能是指導(dǎo)用戶自主完成汽車常見故障的維修。在設(shè)計該模塊時,同樣提供了2 種輔助方式,即本地應(yīng)用輔助維修、遠(yuǎn)程專家協(xié)助維修。進(jìn)入保養(yǎng)維修模塊后,系統(tǒng)界面上展示兩種維修方式,用戶可從中選擇一種。
在本地應(yīng)用輔助功能設(shè)計時,需要在人機(jī)交互界面上精確地顯示待維修部件的具體位置。這里還是以汽車火花塞故障為例,可顯示火花塞外罩在發(fā)動機(jī)艙內(nèi)的位置。同時,對于火花塞外罩的4 個固定螺絲采用增強(qiáng)現(xiàn)實(shí)信息高亮顯示,以便于用戶可以快速找到螺絲位置。然后系統(tǒng)通過3D 操作演示的方式,為用戶呈現(xiàn)火花塞外罩的拆卸方式,見圖5。
用戶根據(jù)界面提示,首先使用套筒扳手順時針擰下固定火花塞外罩的螺絲,將拆卸下來的螺絲統(tǒng)一放到塑料袋中,防止丟失。然后根據(jù)演示動畫向上拔起火花塞外罩。按照同樣的方法,完成舊火花塞的拆除和新火花塞的安裝。在維修操作中,如果用戶不清楚套筒扳手的具體型號,也可以通過語音輸入的方式,向系統(tǒng)詢問套筒扳手的型號,系統(tǒng)會提供套筒扳手的型號、形狀以及操作方法,以便于用戶正確選擇和規(guī)范操作[4]。
考慮到部分用戶在進(jìn)行維修過程中,可能會因?yàn)榫o張、粗心或者是不熟悉維修工具的使用方法,難免會出現(xiàn)不符合規(guī)范的誤操作。因此在設(shè)計保養(yǎng)維修模塊時,還加入了智能提醒功能。當(dāng)用戶進(jìn)行該項(xiàng)操作時,會在人機(jī)交互界面上出現(xiàn)提醒信息,如“注意:保持平緩用力,防止扯斷點(diǎn)火線圈外接電路”、“注意:向上拔起火花塞外罩要垂直發(fā)力,不可四周晃動”。
用戶可在“維修保養(yǎng)”界面點(diǎn)選“遠(yuǎn)程專家協(xié)助”按鈕,此時系統(tǒng)從專家?guī)熘凶詣悠ヅ涮幱诳臻e狀態(tài)的專家。在專家選擇接受遠(yuǎn)程服務(wù)后,自動建立連接,以遠(yuǎn)程視頻通話的形式了解汽車故障,向用戶提供技術(shù)支持。通信建立后,專家可通過用戶的HoloLens 視角觀察維修場景,基于自身豐富的維修經(jīng)驗(yàn)判斷故障位置、故障類型,并遠(yuǎn)程指導(dǎo)用戶完成維修[5]。
在維修記錄界面設(shè)計時,選擇了日歷形式標(biāo)注維修日期、維修項(xiàng)目。例如,該汽車在10 月6 日進(jìn)行一次火花塞更換的維修,在日歷上10 月6 日這一天會添加維修圖標(biāo),用戶可點(diǎn)擊該圖表進(jìn)入維修保養(yǎng)日志的詳情界面。該界面會提供維修日期、維修內(nèi)容、性能測試等信息,見圖6。
該模塊采用手勢交互和語音交互雙模態(tài)設(shè)計,既可以滿足用戶日常操作習(xí)慣,同時又能提升增強(qiáng)現(xiàn)實(shí)界面的交互效率。系統(tǒng)會定期刷新提醒信息,從而確保提醒信息與車況查詢模塊中提供的汽車零件狀態(tài)信息保持同步。采用顏色區(qū)分設(shè)計,如果汽車火花塞臨近保養(yǎng)時間,則在標(biāo)簽搜索功能中將“火花塞”一項(xiàng)標(biāo)記為黃色,提醒用戶及時更換。用戶更換火花塞后,手動修改提醒信息,將“待維護(hù)”修改為“已維護(hù)”,該信息同步到車輛狀態(tài)信息中,等到系統(tǒng)刷新信息后,標(biāo)簽搜索功能中“火花塞”一項(xiàng)重新變?yōu)榫G色。
基于增強(qiáng)現(xiàn)實(shí)技術(shù)和多模態(tài)交互理論設(shè)計的汽車維修輔助系統(tǒng),可以準(zhǔn)確、全面地獲取汽車各個部件的工況,并基于用戶在汽車維修中的需求,提供相應(yīng)的功能選項(xiàng),以可視化的方式降低了用戶自主維修汽車的難度??紤]到真實(shí)維修環(huán)境更加復(fù)雜,因此下一步還需要從多模態(tài)整合對用戶認(rèn)知的影響以及平衡用戶視覺注意力分配與聲音指令之間的關(guān)系等角度出發(fā),繼續(xù)開展研究,從而使汽車維修輔助系統(tǒng)的人機(jī)交互體驗(yàn)得到進(jìn)一步提升。