橋梁快速建模及病害識別技術應用研究

元 松，王曉佳

（上海市市政公路工程檢測有限公司，上海市 201108）

0 引言

橋梁外觀往往反映了其結構的健康狀況[1]。近年來，我國對橋梁檢測進行了大量研究，積累了許多經(jīng)驗，但仍然存在一定的問題，如：（1）落后的檢測手段，較低的機動性；（2）昂貴的檢測費用；（3）較高的作業(yè)危險系數(shù)；（4）不全面的檢測范圍；（5）低效率檢測導致交通不便。

隨著橋梁多種病害的突發(fā)，日常運營維護工作迫在眉睫。運用人工智能方法，夯實橋梁數(shù)字化運維基礎，將有利于橋梁的維護，及時發(fā)現(xiàn)并有效修復病害，提高路橋養(yǎng)護效率，實現(xiàn)養(yǎng)護管理精細化、數(shù)字化和網(wǎng)格化。國內(nèi)外雖然有采用攝影技術對橋梁進行建模的研究及應用，但還沒實現(xiàn)在模型上進行構件自動劃分和外觀病害的自動識別輸出。

本文基于Lensphoto 近景攝影測量技術，對橋梁進行三維快速建模，并采用深度學習神經(jīng)網(wǎng)絡，對模型上的病害圖像進行自動識別，以期實現(xiàn)定量、快速、自動化的檢測，提高橋梁檢測評估的效率。

1 基本原理

1.1 近景攝影測量技術

Lensphoto 近景攝影測量系統(tǒng)具有3 大特點：（1）全新的多片影像立體匹配算法，具備自動空中等角測量及區(qū)域網(wǎng)平差、自動生成等值線、自動密集點云生成、自動構網(wǎng)、建模、紋理映射等功能；（2）可處理旋轉多基線攝影近景影像數(shù)據(jù)或者平行攝影近景影像數(shù)據(jù)；（3）相對測量精度達1/10 000[2]。

旋轉多基線交向攝影示意圖見圖1。

圖1 旋轉多基線交向攝影示意圖

由圖1 可知，通過4 個攝站，每個攝站拍攝至少3 張影像，即可覆蓋整個被攝物體，按區(qū)域對所攝對象進行整體處理，經(jīng)過自檢校區(qū)域網(wǎng)平差，獲取密集點云。

1.2 多點配準及自動紋理映射技術

多點配準映射技術流程見圖2。

圖2 多點配準映射技術流程

多點配準及自動紋理映射技術主要是通過計算影像在激光點云坐標系中的外方位元素，使激光點云與影像在幾何上精密地聯(lián)系在一起，實現(xiàn)影像與激光點云的配準，從而達到點云構網(wǎng)、三維建模與紋理映射全部自動化，生成具有高度逼真的三維模型[3]。

1.3 YOLOv4 深度學習神經(jīng)網(wǎng)絡

YOLOv4 深度學習神經(jīng)網(wǎng)絡模型見圖3。

圖3 YOLOv4 深度學習神經(jīng)網(wǎng)絡模型

YOLOv4 模型結構由輸入層、主干網(wǎng)絡、混合和組合圖像特征的網(wǎng)絡層、預測層4 部分組成[4]。其中：CBM 由Conv+Bn+Mish 這3 個激活函數(shù)組成；CBL由Conv+Bn+Leaky_relu 這3 個激活函數(shù)組成；CSPX 結構借鑒CSPNet 網(wǎng)絡結構，由卷積層和X 個Res_unit 殘差單元張量拼接組成；SPP 采用1×1、5×5、9×9、13×13 最大池化的方式，進行多尺度融合。

2 橋梁三維快速建模技術

根據(jù)Lensphoto 獲取橋梁表觀圖像和三維建模的方法，通過圖像解析計算得到高精度點云，在此基礎上通過自動紋理映射，得到高精度、目視化的橋梁三維模型，可直觀應用于橋梁表觀病害自動識別及橋梁技術狀況評估。

2.1 無人機攝影平臺

無人機攝影平臺見圖4。

圖4 無人機攝影平臺

無人機用于橋梁檢測具有很多優(yōu)勢[5]，但由于當前無人機幾乎沒有向上拍攝的功能，為了實現(xiàn)對橋梁結構表觀狀況的全方位、全覆蓋拍攝，需要在現(xiàn)有無人機的基礎上增加云臺和向上拍攝的相機。為了保證三維模型效果，需要確保檢測部位在照片上無遺漏和無死角，以實現(xiàn)雙目立體前方交會，并同步記錄對應的GPS 數(shù)據(jù)[6]。

選擇常用的物種多樣性測度指標，如物種豐富度指數(shù)、物種多樣性指數(shù)、物種優(yōu)勢度以及物種均勻度指數(shù)等［3］。

2.2 橋梁三維模型構件自動劃分

2.2.1 方案設計

通過無人機對橋梁表觀影像進行采集，運用Lensphoto 近景攝影測量技術對所采集的影像進行高精度建模；再通過深度學習神經(jīng)網(wǎng)絡對橋梁各構件類型進行訓練，提取橋梁的各種構件特征，實現(xiàn)對橋梁三維模型進行構件自動劃分。橋梁構件劃分流程見圖5。

圖5 橋梁構件劃分流程

2.2.2 橋梁構件樣本標注

按橋梁部位將橋梁分為橋面系、上部結構和下部結構3 部分。以梁式橋為例，橋面系按組成部分主要劃分為橋面鋪裝、伸縮縫、防撞護欄等部件；上部結構按組成部分劃分為主梁、濕接縫、橫隔板、支座等部件；下部結構按組成部分劃分為橋墩、橋臺、墩臺基礎等部件[7]。

為了對上述構件進行自動識別劃分，首先應對各類構件圖像進行標注，標注數(shù)量不少于2 000 張；再將這些標注完成的影像導入深度學習神經(jīng)網(wǎng)絡進行訓練，提取各類構件的特征信息。

橋梁構件標記見圖6。

圖6 橋梁構件標記

2.2.3 三維建模實體應用

將無人機所拍攝的影像信息導入識別系統(tǒng)中，選擇建模方式，點擊“開始處理”，建立所拍攝橋梁的三維模型，同時模型數(shù)據(jù)在病害檢測和構件劃分界面進行顯示；點擊“構件識別”，即可進行構件的自動識別和劃分；最后是成果輸出。以上海市顓橋鎮(zhèn)北橫涇斜拉橋為例，其建模效果見圖7。

圖7 上海市顓橋鎮(zhèn)北橫涇橋三維模型

3 橋梁表觀病害自動識別技術

3.1 方案設計

橋梁表觀病害檢測系統(tǒng)設計方案見圖8。

圖8 橋梁表觀病害檢測系統(tǒng)設計方案

橋梁表觀病害自動識別系統(tǒng)由圖像導入、三維重建、構件和病害識別、成果輸出4 大模塊組成。

3.2 橋梁病害的樣本

根據(jù)橋梁結構，將橋梁表觀病害分為混凝土結構病害、鋼結構病害、橋面鋪裝病害3 大類。其中：（1）混凝土結構病害主要包括：裂縫、蜂窩麻面、剝落掉角、空洞孔洞、鋼筋裸露銹蝕等；（2）鋼結構病害主要包括：涂層起皮剝落、鋼結構銹蝕等；（3）橋面鋪裝病害主要包括：瀝青路面鋪裝層裂縫、坑槽等。

橋梁結構病害類別標注見圖9。

圖9 橋梁結構病害類別標注

圖像標注與訓練樣本選擇：為減小干擾因素影響，首先應對訓練圖像中的病害信息進行分類標注和命名[8]，每類病害圖像標注數(shù)量不少于2 000 張。

3.3 病害識別準確率

從總體樣本中選取80%為訓練集，對各類病害進行特征提取、訓練和識別后，選取剩余20%病害樣本為驗證集，以檢驗識別模型的準確率。表1 為各類病害識別準確率。

表1 各類病害識別準確率

由表1 可知，各類病害的識別準確率可以達到70%以上，基本滿足工程需求。為方便工程應用，同樣以上海市顓橋鎮(zhèn)北橫涇斜拉橋為例，其病害圖像識別結果和數(shù)據(jù)導出如圖10 所示。經(jīng)過現(xiàn)場檢測，病害識別類型和大小基本符合實際，識別精度可達厘米級。

圖10 上海市顓橋鎮(zhèn)北橫涇橋病害自動識別結果

4 結 語

將近景攝影測量技術用于橋梁檢測行業(yè)，實現(xiàn)了無人機影像數(shù)據(jù)的快速實景建模，提高了后期三維模型的生成效率，可構建高精度、高清晰的紋理模型；同時運用深度學習神經(jīng)網(wǎng)絡方法對采集的橋梁構件進行訓練，開發(fā)出自動識別劃分軟件；最后在可視化橋梁表觀三維模型的基礎上，實現(xiàn)橋梁結構病害圖像的自動識別和定量評價。

目前，橋梁結構病害特征圖像樣本數(shù)量有限，隨著數(shù)據(jù)庫的不斷增加，其識別精度也會逐步提高，基于深度學習神經(jīng)網(wǎng)絡的橋梁三維快速建模及病害自動識別技術勢必會得到更加廣泛可靠的應用。