基于無人機橋梁表觀病害巡檢與三維數(shù)字孿生

王 楓，吳華勇，趙榮欣，余威鐳，賈鵬飛，余 力

（1.上海市建筑科學(xué)研究院有限公司 上海市工程結(jié)構(gòu)安全重點實驗室，上海市 200023；2.上海大風(fēng)技術(shù)有限公司，上海市 200082）

0 引言

截至2022 年底，我國僅公路橋梁的數(shù)量就已超過103 萬座，其中40%在役橋梁服役年限超過20 a。隨著橋梁服役年限的增長，在結(jié)構(gòu)材料自身老化退化等內(nèi)部因素，以及車輛荷載、地震、臺風(fēng)、洪水等自然災(zāi)害的外部因素綜合作用下，橋梁結(jié)構(gòu)運營逐漸進入高維修高風(fēng)險階段。傳統(tǒng)橋梁檢測主要由檢測人員采用紙筆對橋梁病害直接識別、記錄，其具有重復(fù)性強、中斷交通、需高空作業(yè)等特點，導(dǎo)致橋梁巡檢工作成本高、效率低及結(jié)果不準確。

隨著物聯(lián)網(wǎng)、近景攝影測量與機器視覺等技術(shù)的快速發(fā)展，采用無人機輔助視覺技術(shù)取代人工視覺完成橋梁檢測工作逐漸成為可能[1]。目前，研究人員已采用無人機技術(shù)在沿海腐蝕環(huán)境橋梁病害巡檢[2]、大跨橋梁病害圖像采集[3]、公路橋梁日常與應(yīng)急巡檢[4]、鐵路橋梁巡檢[5-6]等諸多橋梁檢測工作中進行了嘗試。然而，因橋梁現(xiàn)場環(huán)境復(fù)雜多變，存在多處信號盲區(qū)，無人機無法自動采集橋梁全部信息，如梁底、蓋梁及橋墩關(guān)鍵部位，導(dǎo)致無人機在橋梁自動化巡檢中的應(yīng)用推廣受到諸多限制。

本文采用商用無人機對城市橋梁表觀信息進行自動化采集與三維建模，基于機器視覺算法對橋梁表觀病害信息進行分類識別與定位，通過病害與三維模型關(guān)聯(lián)匹配算法實現(xiàn)了橋梁表觀病害的三維孿生，提高了橋梁巡檢的自動化程度，實現(xiàn)了無人機進行橋梁巡檢的數(shù)字化交付。

1 基于無人機的橋梁表觀信息采集

小型商用無人機具有機動、靈活、快速、經(jīng)濟等特點，以無人機為飛行平臺，掛載多類型高性能傳感器，如高像素相機，激光雷達等，構(gòu)建橋梁檢測圖像自動化采集系統(tǒng)，從而實現(xiàn)橋梁表觀信息的高效采集。相較與植保無人機、電線巡檢無人機等，橋梁巡檢無人機對于信息采集的要求更高，主要體現(xiàn)在：（1）橋梁結(jié)構(gòu)空間立體尺寸復(fù)雜；（2）橋梁病害巡檢需要貼近拍攝；（3）無人機易受橋梁周圍樹木、路燈桿、電線、建筑等的干擾?；诖?，目前無人機橋梁巡檢以飛手人工手動控制為主，且對飛手具有一定飛行經(jīng)驗與橋梁病害檢測經(jīng)驗要求，這限制了無人機橋梁巡檢人工效率的提高。

針對無人機橋梁巡檢貼近拍攝的特點，提出了無人機橋梁巡檢航線規(guī)劃方案如圖1（a）至圖1（d）所示，具體包括：橋梁主體，以環(huán)繞拍攝為主；橋梁路面，保持一定高度蛇形航線飛行拍攝；橋梁側(cè)面，保持一定距離豎向鋸齒航線貼近拍攝；橋梁梁底，采用上置云臺攝像頭仰視巡線飛行拍攝；橋塔，采用超高清矩陣拍攝；橋梁拉索等特殊構(gòu)件，采用階梯形航線拍攝。通過多種飛行模式的組合，獲得橋梁全息圖像。

無人機采集橋梁表觀病害需根據(jù)拍攝精度要求，對相機像素、焦距、拍攝距離等參數(shù)進行設(shè)置。表1 展示了相機焦距為35 mm 時，相機像素數(shù)與橫視野范圍、可以檢出的最小裂縫寬度之間的關(guān)系。由表1 可知，當(dāng)需要識別出0.1～0.2 mm 寬度的裂縫時，采用3 600 萬的相機像素數(shù)，橫方向最大視野范圍為2.94 m，換算得到相機至拍攝物體的距離為5.03 m。因此，對于需要檢測出橋梁裂縫病害的需求，需對無人機與橋梁的距離為5 m 左右時貼近拍攝。

表1 相機像素與最小裂縫寬度之間的關(guān)系

2 橋梁表觀圖像實景三維建模

無人機外業(yè)采集橋梁表觀圖像后，采用測量測量技術(shù)進行建模，將橋梁外觀圖像信息轉(zhuǎn)化為三維數(shù)字模型。武漢大學(xué)張祖勛院士團隊針對五相機傾斜攝影中有效照片比例低、成果在某些方面不可用的問題，提出了“貼近攝影測量”（nap-of-the-object photogrammetry）概念[7]，貼近攝影測量技術(shù)利用無人機貼近目標物獲取超高分辨率影像，通過三維地理信息提取，高度還原物體的精細結(jié)構(gòu)。

本文基于傾斜、貼近兩種攝影測量技術(shù)，采用自主研發(fā)的建模軟件對橋梁表觀信息進行實景三維建模，如圖2（a、b）所示，其為上海某大橋?qū)嵕叭S模型。

3 基于深度學(xué)習(xí)的橋梁表觀病害識別與定位

橋梁表觀病害識別與定位可將其視為目標檢測任務(wù)，通過目標檢測算算法識別出圖像是否有病害、病害的類別，病害在圖像中的位置以及病害的大小。近年來，隨著圖像采集設(shè)備的普及，目標檢測算法在人臉識別、車牌識別、工業(yè)產(chǎn)品缺陷檢測等場景得到了較多應(yīng)用，從而使計算機視覺等相關(guān)技術(shù)得到應(yīng)用與發(fā)展，目標檢測算法也從基于人工特征的傳統(tǒng)算法轉(zhuǎn)向了基于深度神經(jīng)網(wǎng)絡(luò)算法的檢測技術(shù)。當(dāng)前，最為先進的深度學(xué)習(xí)目標檢測算法框架YOLOv8，它是最新的SOTA（State of the arts）技術(shù)，可以在大型數(shù)據(jù)集上進行訓(xùn)練，在各種硬件平臺上運行，在檢測精度與檢測速度之間尋找到了較好的平衡點。

3.1 YOLOv8 神經(jīng)網(wǎng)絡(luò)

YOLOv8 基礎(chǔ)輸入仍然為640×640，其網(wǎng)絡(luò)結(jié)構(gòu)主干網(wǎng)絡(luò)（Backbone）部分使用C2f 模塊，檢測頭（Head）部分使用了無錨框（Anchor-free）及解耦合頭（Decoupled-head），損失函數(shù)使用了分類BCE、回歸CIOU+VFL（新增項目）的組合，框匹配策略由靜態(tài)匹配改為了對齊分配器（Task-Aligned Assigner）正樣本分配策略、最后10 個迭代（epoch）關(guān)閉馬賽克增強（Mosaic）的操作、訓(xùn)練總epoch 數(shù)從300 提升到了1000。YOLOv8 神經(jīng)網(wǎng)絡(luò)架構(gòu)參見參考文獻[8]。

3.2 YOLOv8 模型配置與訓(xùn)練

本文采用了網(wǎng)絡(luò)公開數(shù)據(jù)集與人工收集的橋梁現(xiàn)場工程檢測圖像作為樣本。本次研究主要以橋梁裂縫與露筋兩種病害作為研究對象，人工篩選了238張圖像數(shù)據(jù)，包含裂縫照片116 張、露筋照片122 張。為了與工程應(yīng)用場景接近，這些圖像未經(jīng)過圖像的縮放、裁剪、亮度和對比度調(diào)整等。采用Labelme 工具對病害進行實例分割標注，共標注裂縫病害150處，露筋病害331 處。將這些標注好的圖像按照7∶2∶1 的比例被分為訓(xùn)練集、驗證集和測試集，用于模型訓(xùn)練、性能驗證和測試。

在訓(xùn)練過程中，本文使用了預(yù)訓(xùn)練的yolov8n.pt模型作為初始權(quán)重，以加速模型的訓(xùn)練過程。YOLOv8 類別損失采用的是交叉熵損失，邊框回歸損失采用的是分布焦點損失（DFL Loss）加上完整的交并比損失（CIOU Loss）。本文在YOLOv8 的基礎(chǔ)上，使用了谷歌強勢推出的優(yōu)化器Lion，相較與主流優(yōu)化器AdamW，優(yōu)化器Lion 使用參數(shù)更少，減少了復(fù)雜運算，具有更省顯存與速度更快的優(yōu)勢。

模型訓(xùn)練的所有工作都是用Windows 的Pytorch框架[10]上進行的，并在配置有圖形處理單元（GPU）的工作站上進行（CPU：INTEL I9-9900X，內(nèi)存：16GB×6，GPU：NVIDIA GeForce RTX 2080TI×4）。模型參數(shù)設(shè)置與調(diào)優(yōu)是深度學(xué)習(xí)中最為關(guān)鍵的一步，選擇合適的模型參數(shù)對模型推理結(jié)果的準確性產(chǎn)生較大影響，且影響模型訓(xùn)練與推理時間。本文通過對訓(xùn)練樣本的優(yōu)化調(diào)整與不同參數(shù)設(shè)置組合設(shè)置，在驗證集上評估其識別的準確率。在參數(shù)設(shè)置方面，最大的訓(xùn)練周期（epoch）設(shè)為1 000，圖像的輸入尺寸調(diào)整為640×640，根據(jù)工作站性能及圖像樣本數(shù)量設(shè)定批次大?。╞atch）為16。參數(shù)patience 設(shè)為50，當(dāng)在最新訓(xùn)練的50 次后模型性能無提升時會停止訓(xùn)練。在超參設(shè)置方面，初始學(xué)習(xí)率與最終學(xué)習(xí)率均設(shè)為0.01，優(yōu)化器的動量（momentum）設(shè)為0.937，優(yōu)化器的權(quán)重衰減（weight decay）設(shè)為0.000 5。最后訓(xùn)練得到的YOLOv8s-seg 模型具有261 層，11 790 870 個參數(shù)及11 790 854 個梯度，每張圖像的處理時間為9.9 ms。

3.3 訓(xùn)練結(jié)果與測試分析

根據(jù)上節(jié)3.2 介紹的參數(shù)設(shè)置，隨著隨著損失函數(shù)值的逐漸下降，模型預(yù)測準確率逐步上升，當(dāng)epoch為937 時，結(jié)束訓(xùn)練，總共用時1.24 h，訓(xùn)練過程中損失值與精度值的變化如下圖3 與圖4 所示。圖5給出了測試集的混淆矩陣，可以看到預(yù)測的正樣本集中于矩陣的對角線上，不同類別病害之間無混淆，僅病害與背景之間的混淆，說明該模型其在橋梁裂縫與露筋病害分類中的具有較高的準確性。此外，從該混淆矩陣可以看出，背景被識別為病害的概率較低，而病害被識別為背景的概率較高，且裂縫相較于露筋病害更易造成識別混淆，這可能與不同病害之間的圖像特征的差異以及露筋樣本數(shù)量高于裂縫樣本數(shù)量有關(guān)。

圖3 訓(xùn)練過程中損失值

圖4 訓(xùn)練過程中模型精度值

圖6 所示為訓(xùn)練結(jié)果的準確率與召回率曲線（P-R 曲線）。圖6（a）為裂縫與露筋病害的目標檢測框的P-R 曲線，裂縫病害的精準率為0.990，露筋病害的精準率為0.986，平均精準率為0.988。圖6（b）為裂縫與露筋病害的示例分割結(jié)果的P-R 曲線，裂縫病害的精準率為0.971，露筋病害的精準率為0.983，平均精準率為0.977。圖6 結(jié)果表明，本文訓(xùn)練的YOLOv8s-seg 模型在目標檢測任務(wù)與實例分割任務(wù)中均具有大于97%的準確率。

圖6 準確率與召回率曲線（P-R 曲線）

4 橋梁表觀病害三維數(shù)字孿生

本文在第二部分橋梁實景三維建模的基礎(chǔ)上，結(jié)合第三部分病害識別與定位算法，將識別的病害與三維實景模型關(guān)聯(lián)起來以實現(xiàn)橋梁表觀病害的三維數(shù)字孿生。橋梁病害三維數(shù)字孿生模型可以真實還原的病害在橋梁上的具體位置，病害表觀紋理、病害類別與病害大小，在瀏覽過程中模型可以放大、縮小、移動、多角度查看紋理細節(jié)，同時可以測量病害的尺寸與面積。橋梁表觀病害三維數(shù)字孿生模型建立后，檢測單位可根據(jù)裂縫、露筋等病害的自動提取結(jié)果，進行進一步的量化計算，輔以橋梁模型對病害位置、尺寸信息進行匯總，最終出具檢測報告。原本難以檢測的橋梁梁底，可通過模型確定橋底缺陷類別、大小及位置。檢測單位完成檢測任務(wù)后，不僅可提交紙質(zhì)或電子版的檢測報告，而且可以實現(xiàn)檢測結(jié)果的數(shù)字化交付。圖7 所示為上海某大橋病害三維數(shù)字孿生模型，管養(yǎng)人員、業(yè)主單位人員不用去橋梁現(xiàn)場即可獲得全面真實的橋梁病害信息及對橋梁的技術(shù)狀態(tài)有清晰的認識。

圖7 上海某大橋病害三維數(shù)字孿生模型

5 結(jié)語

為了實現(xiàn)無人機橋梁檢測的自動化，本文提出了一套基于無人機橋梁自動化檢測的方法與流程，并通過工程案例實踐并驗證了該方法的有效性。首先，采用無人機進行橋梁表觀信息的采集，通過合理的航線規(guī)劃與拍攝模式設(shè)置，提高表觀信息的有效性與完整性。通過傾斜攝影測量與貼近攝影測量技術(shù)對無人機采集的圖像信息三維建模。然后，采用深度學(xué)習(xí)算法對橋梁表觀病害進行模型訓(xùn)練與病害識別與定位，本文采用的改進的YOLOv8 算法訓(xùn)練的YOLOv8s-seg 模型對于橋梁裂縫與露筋病害的識別與定位準確度可達97%以上。最后，通過三維模型與病害關(guān)聯(lián)實現(xiàn)橋梁表觀病害的三維數(shù)字孿生，該方法提高了在實際無人機橋檢中的自動化操作程度，提高橋梁檢測的效率和精度，實現(xiàn)了檢測結(jié)果的數(shù)字化交付。

本文提出的無人機橋梁檢測方法也存在一些潛在的限制，例如對于橋下凈空較小的橋梁，無人機難以自動化采集梁底照片，數(shù)據(jù)集的質(zhì)量與規(guī)模對病害自動化檢測結(jié)果可能產(chǎn)生較大影響，橋梁三維實景建模與模型訓(xùn)練對硬件設(shè)備有一定要求等。未來的研究可以考慮進一步優(yōu)化無人機自動化采集策略，提高橋梁病害數(shù)據(jù)集的質(zhì)量與規(guī)模，同時將本文方法遷移到其它設(shè)施的表觀病害檢測中，如建筑外立面、大壩、煙囪等。