道面表觀病害檢測機(jī)器人系統(tǒng)研究

張力波 邵黎明 曹鐵

摘要：機(jī)場道面的病害影響著飛機(jī)的安全起降，當(dāng)前機(jī)場主要通過人工巡查的傳統(tǒng)方式進(jìn)行道面病害檢測。鑒于此，運(yùn)用自動駕駛和人工智能技術(shù)，構(gòu)建了具備自動巡檢能力和道面表觀病害自動識別能力的道面巡檢機(jī)器人系統(tǒng)，為實(shí)現(xiàn)機(jī)場道面病害檢測作業(yè)的無人化提供了技術(shù)支持。

關(guān)鍵詞：機(jī)場道面；病害檢測；自動駕駛；深度學(xué)習(xí)

中圖分類號：TP242? ? 文獻(xiàn)標(biāo)志碼：A? ? 文章編號：1671-0797（2023）12-0035-04

DOI：10.19514/j.cnki.cn32-1628/tm.2023.12.010

0? ? 引言

機(jī)場跑道病害威脅飛機(jī)起降安全，目前主要通過定期人工巡檢的方式檢測道面的病害。傳統(tǒng)手段存在時(shí)效性差、效率低、精確度低等不足，難以及時(shí)對機(jī)場道面進(jìn)行檢測評估，存在一定的安全隱患。

近年來，人工智能以及無人駕駛等高新技術(shù)快速發(fā)展，都具備了一定的落地應(yīng)用條件。在人工智能的機(jī)器視覺領(lǐng)域，自2012年AlexNet[1]模型取得ImageNet競賽冠軍開始，基于深度神經(jīng)網(wǎng)絡(luò)的圖像識別技術(shù)快速發(fā)展，InternImage[2]和Transformer[3]兩種大規(guī)模模型代表了當(dāng)前圖像識別的最高精度，而YOLO系列[4]以精度高、推理快以及部署容易等多種優(yōu)點(diǎn)廣泛應(yīng)用于工業(yè)界。自動駕駛方面，華為、百度等技術(shù)大廠已在助力L4級自動駕駛的落地，雖然開放場景的L4級自動駕駛技術(shù)量產(chǎn)落地還需打磨，但高速公路、大型工業(yè)園區(qū)、礦區(qū)、港口、機(jī)場[5-6]等特定場景的自動駕駛已經(jīng)具備落地條件。

本文結(jié)合無人駕駛技術(shù)和人工智能機(jī)器視覺技術(shù)，構(gòu)建具備自動巡檢能力和道面表觀病害自動識別能力的道面巡檢機(jī)器人系統(tǒng)，實(shí)現(xiàn)對道面表觀數(shù)據(jù)的高效采集和常態(tài)化檢測。

1? ? 機(jī)械系統(tǒng)組成

如圖1所示，道面巡檢機(jī)器人機(jī)械系統(tǒng)主要由線控底盤、線陣相機(jī)、帶云臺的全景相機(jī)、激光雷達(dá)、差分定位天線以及控制箱等部件組成。

線控底盤選擇方面，機(jī)場道面相對平整，底盤選擇常用的四輪結(jié)構(gòu)；為了提高巡檢效率，底盤時(shí)速最高不低于25 km/h；為了更好的路況適應(yīng)能力，底盤離地15 cm以上高度，且底盤可以四輪轉(zhuǎn)彎以減小轉(zhuǎn)彎半徑。

帶云臺的全景相機(jī)如圖2所示，360°視野使巡檢機(jī)器人能從視覺上更全面地感知周邊環(huán)境，不僅有利于機(jī)器人的運(yùn)行安全，也有利于后臺監(jiān)測人員對現(xiàn)場的掌握。當(dāng)現(xiàn)場出現(xiàn)異常情況或因特殊需求需要人為遠(yuǎn)程操作巡檢機(jī)器人時(shí)，全景相機(jī)能夠提供更安全的操作環(huán)境。全景相機(jī)所帶的云臺具備較高的放大倍率，其圖像可用于確認(rèn)道面病害、道面異物檢測以及場面人員人臉識別。

如圖3所示，線陣相機(jī)垂直于道面，通過線掃的方式不僅可以收集連續(xù)的道面圖像，還可以在運(yùn)動過程中得到清晰的道面圖像，有利于算法對病害的準(zhǔn)確識別。

激光雷達(dá)用于感知機(jī)器人周邊的障礙物，為自動駕駛系統(tǒng)的避障模塊提供數(shù)據(jù)支持。

定位天線選用精度高的實(shí)時(shí)動態(tài)差分（RTK）定位技術(shù)天線，配合線控底盤的慣導(dǎo)系統(tǒng)實(shí)現(xiàn)巡檢機(jī)器人的定位。

控制箱配置有工控機(jī)、圖像存儲硬盤以及4G/5G網(wǎng)絡(luò)天線。工控機(jī)主要用于部署自動駕駛算法；圖像存儲硬盤用于臨時(shí)存儲圖像數(shù)據(jù)，防止圖像數(shù)據(jù)直接傳回后臺服務(wù)器過程中因網(wǎng)絡(luò)原因丟失；4G/5G網(wǎng)絡(luò)天線用于通過無線方式與后臺服務(wù)器進(jìn)行數(shù)據(jù)交換。

2? ? 自動駕駛系統(tǒng)差異化設(shè)計(jì)

一般情況下，自動駕駛系統(tǒng)主要由高精地圖、定位模塊、感知模塊、預(yù)測模塊、規(guī)劃模塊、控制模塊組成。其中，定位模塊和感知模塊根據(jù)機(jī)場自身特點(diǎn)進(jìn)行設(shè)計(jì)。

2.1? ? 定位模塊方面

高精地圖具備厘米級地圖精度，并包含道路網(wǎng)的三維模型及道路語義信息，在周圍存在較多高樓建筑以及隧道等影響衛(wèi)星定位精度的復(fù)雜環(huán)境下，激光雷達(dá)與高精地圖構(gòu)成的定位模塊可實(shí)現(xiàn)厘米級定位精度。

但是，在機(jī)場這類空曠環(huán)境下，環(huán)境特征不夠明顯，通過激光雷達(dá)和高精地圖難以準(zhǔn)確定位；而空曠環(huán)境下衛(wèi)星信號強(qiáng)而準(zhǔn)確，基于衛(wèi)星導(dǎo)航的RTK定位技術(shù)能夠全程實(shí)現(xiàn)厘米級定位。因此，僅選擇RTK與慣導(dǎo)的組合定位作為道面巡檢機(jī)器人的定位模塊。

2.2? ? 感知模塊方面

自動駕駛通常使用攝像頭、激光雷達(dá)、毫米波雷達(dá)以及超聲波雷達(dá)作為感知設(shè)備。其中，攝像頭廣泛用于物體識別和物體追蹤場景，比如車道線檢測、交通燈識別等；激光雷達(dá)用于障礙物位置識別、繪制地圖、輔助定位等，其準(zhǔn)確率非常高，很多方案中將激光雷達(dá)作為主傳感器使用；毫米波雷達(dá)在陰雨天、霧霾天能夠輔助感知獲取物體的位置和速度，觀測距離遠(yuǎn)但誤檢較多；超聲波雷達(dá)作為近處高敏感傳感器，常作為安全冗余設(shè)備檢測車輛的碰撞等安全問題。由于機(jī)場安全要求高，感知模塊選擇以激光雷達(dá)為主，毫米波、超聲波以及全景相機(jī)為輔的技術(shù)路線。

3? ? 圖像識別算法設(shè)計(jì)

道面巡檢機(jī)器人作業(yè)過程有兩個(gè)圖像識別業(yè)務(wù)需求，即全景相機(jī)下的目標(biāo)實(shí)時(shí)識別、線陣相機(jī)下的表觀病害識別。

3.1? ? 全景相機(jī)下的目標(biāo)實(shí)時(shí)識別

因?yàn)橛袑?shí)時(shí)檢測的需求，綜合評估后，在受工業(yè)界青睞的YOLO系列算法中選擇YOLOV7[7]作為該系統(tǒng)的目標(biāo)檢測算法。

所選全景相機(jī)的圖像為兩個(gè)分辨率為4 096×1 080的圖像，兩個(gè)圖像分別覆蓋前后180°。由于YOLO算法的圖像輸入尺寸為正方形，因此將全景相機(jī)某一幀的兩張4 096×1 080的圖像切分成8張1 080×1 080的圖像，相鄰切分圖像之間保留部分重疊區(qū)域。將8張圖像縮放為640×640的圖像，并作為一個(gè)batch輸入模型進(jìn)行檢測。然后對檢測得到的結(jié)果進(jìn)行合并，如圖4所示，為防止重疊區(qū)域的目標(biāo)重復(fù)識別，運(yùn)用非極大值抑制處理（NMS）算法對識別結(jié)果進(jìn)行過濾。

為了達(dá)到實(shí)時(shí)性要求，運(yùn)用tensorRT[8]對訓(xùn)練后的YOLOV7模型進(jìn)行量化以及結(jié)構(gòu)優(yōu)化。優(yōu)化后的模型固定輸入尺寸（batch，height，width）為（8，640，640），在NVIDIA Tesla V100計(jì)算卡上進(jìn)行一次檢測耗時(shí)約38 ms，達(dá)到了實(shí)時(shí)性要求。

3.2? ? 線陣相機(jī)下的表觀病害識別

如圖5所示，常見的道面表觀病害有裂紋、接縫破碎、板角剝落、補(bǔ)丁[9]等。道面表觀病害的尺寸對評估道面的損壞狀況有重要作用，因此，用實(shí)例分割模型檢測道面表觀病害更具意義。將YOLOV7的head由目標(biāo)檢測改成實(shí)例分割后進(jìn)行訓(xùn)練，訓(xùn)練后模型的測試效果如圖6所示。

4? ? 結(jié)論與展望

機(jī)場道面的病害影響著飛機(jī)的安全起降，而傳統(tǒng)的人工巡檢成本高、效率低。本文結(jié)合當(dāng)前的自動駕駛以及人工智能技術(shù)，構(gòu)建了具備自動巡檢能力和道面表觀病害自動識別能力的道面巡檢機(jī)器人系統(tǒng)，驗(yàn)證了機(jī)場道面巡檢無人化的可行性。未來可在機(jī)場進(jìn)行實(shí)地測試，通過采集更多的現(xiàn)場圖片以及優(yōu)化算法設(shè)計(jì)，不斷提高各類道面病害自動識別能力，進(jìn)一步推進(jìn)道面巡檢機(jī)器人在機(jī)場的落地應(yīng)用。

[參考文獻(xiàn)]

[1] KRIZHEVSKY A，SUTSKEVER I，HINTON G E，et al.ImageNet Classification with Deep Convolutional Neural Networks[J].Communications of the ACM， 2017，60（6）：84-90.

[2] WANG W H，DAI J F，CHEN Z，et al.InternImage： Exploring Large-scale Vision Foundation Models with Deformable Convolutions[J].arXiv：2211. 05778v4[cs.CV]，2022.

[3] LIU Z，HU H，LIN Y T，et al.Swin Transformer v2： Scaling Up Capacity and Resolution[C]// Proceedings of the IEEE/CVF conference on computer vision and pattern recognition，2022： 12009-12019.

[4] REDMON J，F(xiàn)ARHADI A.YOLOv3：An Incremental Impr-ovement[J].arXiv：1804.02767v1[cs.CV]，2018.

[5] 嚴(yán)正罡，甄軍平.巡檢機(jī)器人應(yīng)用綜述及在機(jī)場應(yīng)用前景展望[J].現(xiàn)代計(jì)算機(jī)，2022，28（2）：50-55.

[6] 桂仲成，鐘新然，劉景泰.基于“云-邊-端”架構(gòu)的機(jī)場道面安全檢測機(jī)器人系統(tǒng)[J].人工智能，2022（3）：80-89.

[7] WANG C Y，BOCHKOVSKIY A，LIAO H Y M.YOLOv7：Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[J]. arXiv：2207.02696[cs.CV]， 2022.

[8] VANHOLDER H.Efficient inference with tensorrt[C]// GPU Technology Conference，2016：2.

[9] 民用機(jī)場道面評價(jià)管理技術(shù)規(guī)范：MH/T 5024—2019[S].

收稿日期：2023-02-15

作者簡介：張力波（1991—），男，四川眉山人，工程師，研究方向：機(jī)場安全。