高 靜, 周岳鈺, 桂藝婷, 朱 柱, 聞 軍*

(1. 安慶師范大學電子工程與智能制造學院, 安徽 安慶 246133;2. 金陵科技學院計算機工程學院, 南京 211169)

因長期受交通載荷、腐蝕和高溫等多種惡劣因素的共同作用, 公共基礎設施表面易出現(xiàn)裂紋、坑槽或翻漿等缺陷[1]. 定期檢測可以為基礎設施的維護提供重要決策依據(jù),有助于延長其使用壽命[2-3]. 人工目視檢測方法適用范圍雖廣, 但過度依賴于檢測人員的主觀判斷, 缺乏客觀統(tǒng)一的檢測標準. 超聲波、射線或電磁等檢測方法雖然能準確檢測出裂紋位置, 但對檢測環(huán)境要求苛刻且實時性較差[4]. 數(shù)字圖像處理技術在裂紋分割領域表現(xiàn)優(yōu)良, 但在復雜背景下難以準確捕獲裂紋的位置信息[5]. 近年來, 基于深度學習的基礎設施表面裂紋檢測方法因能自動學習數(shù)據(jù)集的有效特征, 從而克服了針對含大量背景噪聲的樣本檢測準確度偏低的問題, 故受到廣泛關注. Dung等[6]提出一種基于深度全卷積網(wǎng)絡(fully convolutional network, FCN)的裂縫檢測方法, 用于混凝土裂縫圖像的語義分割; 姜瑾等[7]結合電致發(fā)光圖像分割與卷積神經網(wǎng)絡分類, 提出一種太陽能電池板裂紋檢測算法; Dais等[8]通過探究磚石表面裂紋分割,發(fā)現(xiàn)基于單一材質的表面裂紋數(shù)據(jù)集訓練模型的泛化能力較差; Alipour等[9]研究了基于深度學習的裂紋檢測模型在常見建筑材料領域的自適應性, 認為在特定材質數(shù)據(jù)集上訓練的裂紋檢測模型未必適用于其他材料. 針對基于單一材質基礎設施表面裂紋訓練的模型魯棒性弱的問題, 本文擬提出一種基于深度學習的雙層編解碼網(wǎng)絡(Double U-Net)模型, 利用其上層U-Net獲取豐富的上下文信息, 下層U-Net增強特征信息的利用率, 通過融合上下層網(wǎng)絡的特征彌補單層U-Net在檢測過程中丟失細節(jié)信息的缺陷, 以期提高模型的泛化能力和實現(xiàn)對多種材質基礎設施表面裂紋的準確檢測.

1 裂紋分割網(wǎng)絡模型

1.1 Double U-Net模型

構建如圖1所示的Double U-Net模型的網(wǎng)絡結構. 該模型采用兩層U-Net[10]架構, 其上下支路分別標記為網(wǎng)絡1和網(wǎng)絡2. 網(wǎng)絡1為編解碼器中均使用改進的Inception模塊和擠壓激勵網(wǎng)絡(squeeze-and-excitation networks, SENet)[11]的U-Net模型, 是Double U-Net的主要特征提取器. 特別地, 網(wǎng)絡1的解碼器中大小為(224, 224, 32)的特征圖像不參與跳躍連接操作,僅與網(wǎng)絡2的解碼器中分辨率相同的特征圖像進行通道特征融合. 網(wǎng)絡2是經典U-Net模型, 它由包含3×3卷積層的重復塊和上下采樣層組成. Double U-Net的實現(xiàn)流程如下: 1) 將大小為(224, 224, 3)的裂紋圖像輸入網(wǎng)絡1,2, 并進行圖像壓縮、復原和跳躍連接; 2) 利用通道融合方式, 將網(wǎng)絡2解碼器的特征與網(wǎng)絡1中融合后的分辨率大小相同的特征進行融合; 3) 利用Sigmoid函數(shù)對網(wǎng)絡2的輸出進行分類預測. Double U-Net通過融合上下兩個U-Net中不同級別的特征,促進模型對于裂紋圖像不同尺度語義信息的學習,有效過濾圖像背景干擾, 從而提高設施表面裂紋的分割精度.

圖1 Double U-Net的網(wǎng)絡結構Fig.1 The network structure of Double U-Net

圖2 改進的Inception模塊Fig.2 The improved Inception block

在網(wǎng)絡1中, 首先在編解碼器部分引入具有雙層并行濾波器的Inception模塊來擴展網(wǎng)絡深度,每個Inception模塊的兩個卷積層之間通過不同大小的濾波器節(jié)點進行連接. 編碼器的濾波器節(jié)點分別為(16,32)、(32,64)、(64,128)、(128,256)和(256,512),解碼器的節(jié)點分別為(512,128)、(256,64)、(128,32)和(64,16). 由于Inception模塊的引入會導致模型產生大量參數(shù), 故在原始Inception模塊[12]的基礎上加以改進(如圖2所示), 以非對稱卷積核1×5和5×1替換并行濾波器中5×5卷積核, 使得模型參數(shù)減少約25%. 其次,在編碼器中的池化層和解碼器中Inception模塊后均引入SENet. 通過壓縮與激勵操作獲取特征通道上的全局感受野和通道間的相關性, 以強化特征提取過程中的目標特征. 最后, 利用跳躍連接機制將網(wǎng)絡的高低級特征進行融合, 以減少圖像復原過程中細節(jié)信息的丟失.

在網(wǎng)絡2中, 首先將輸入圖像在編碼器中經過連續(xù)4次池化(下采樣)和卷積操作, 解碼器對編碼器的輸出再進行連續(xù)4次反卷積和卷積操作, 卷積操作表現(xiàn)為重復2次3×3卷積、歸一化和激活操作. 其次,網(wǎng)絡2中的淺層特征與深層特征通過跳躍連接進行融合的同時,還與網(wǎng)絡1解碼器中經過跳躍連接后的特征圖像進行通道融合, 有效解決了網(wǎng)絡1在解碼過程中丟失的邊緣和局部信息的問題. 最后, 利用Sigmoid激活函數(shù)對網(wǎng)絡2的輸出結果進行分類, 從而獲得大小為(224,224,1)的裂紋分割圖像.

1.2 損失函數(shù)

用于裂紋分割的數(shù)據(jù)集通常存在嚴重的類不平衡問題,即裂紋像素占比小于5%,這會導致網(wǎng)絡在訓練過程中高估自身的學習能力,而習慣性地將裂紋錯誤地分類為背景. 本文采用加權交叉熵[13](weighted cross entropy, WCE)損失函數(shù), 通過加強少數(shù)樣本對損失函數(shù)的貢獻改變少數(shù)類別的權重, 從而解決類不平衡問題. WCE損失函數(shù)

(1)

1.3 數(shù)據(jù)集

建立一個包含不同材質的基礎設施表面裂紋圖像的混合數(shù)據(jù)集(Dataset 1). Dataset 1共包含4 204組原始裂紋和標簽圖像, 由混凝土(Dataset 2)[14]、瀝青(Dataset 3)[15]和磚石(Dataset 4)[8]等3個公共數(shù)據(jù)集構成, 其中Dataset 2～4分別包含600,3 364,240組圖像. 將Dataset 1～4均按照7∶1∶2的比例劃分為模型的訓練集、驗證集和測試集. 為進一步測試基于不同材質的表面裂紋訓練模型的魯棒性和穩(wěn)健性, 建立一個測試集(Dataset Test), 其所包含的40張不同基礎設施表面的裂紋圖像均取自于互聯(lián)網(wǎng). 將Dataset Test中全部圖像裁剪為224×224像素, 并對其進行二值化處理得到相應的標簽圖像.

圖3為Dataset 1中的3種基礎設施表面的裂紋示意圖. 由圖3可見: 混凝土結構表面平滑, 裂紋形狀簡單、尺寸相似, 其附近常伴有少量石灰漿點、污漬和落葉等噪聲; 瀝青道路表面呈顆粒狀、凹凸不平,裂紋形狀多樣,如線形、放射狀和網(wǎng)狀等, 其附近帶有車道線和油漬等噪聲; 磚石墻面由磚或石材組成,表面有砂漿接縫,顏色多呈鮮紅色,其裂紋縫隙較大、痕跡明顯, 且裂紋周圍存在較多窗戶、門或植被等復雜物體.

圖3 不同材質的基礎設施表面裂紋圖像Fig.3 The crack images of different infrastructure surfaces

2 結果與分析

本文模型運用Python語言開發(fā), 由Keras和Tensorflow框架實現(xiàn). 實驗平臺所用計算機配置為RTX2080Ti GPU, 顯存為11 GB, 操作系統(tǒng)為Ubuntu 11.2.0. 實驗預先設置100輪訓練, 使用Adam優(yōu)化器, 設定學習率為0.000 5, 批量處理的圖像數(shù)為8. 當加權交叉熵損失函數(shù)中β值設為10時可解決磚石表面裂紋的類不平衡問題[8], 故本文損失函數(shù)中β取10.

2.1 分割結果評估

將Double U-Net與經典U-Net[10], U-Net-Inception-v1[12]和U-Net-Inception-v2[16]等對比模型在數(shù)據(jù)集Dataset 1～4上分別進行訓練和驗證, 選擇查全率R、查準率P和F1值F作為評價指標[17]驗證Double U-Net的優(yōu)越性. 對比結果如表1所示, 其中各項指標為所有預測結果的均值,指標值越大, 則模型的分割性能越好. 由表1可見: 1) Double U-Net在4個數(shù)據(jù)集上均展現(xiàn)出優(yōu)于其他模型的分割能力; 2) 相較于其他3種分割網(wǎng)絡模型, Double U-Net在Dataset 1上預測結果的F1值最高, 表明該模型的誤檢率和漏檢率最低; 3) Double U-Net在Dataset 4上的F1值高于其他模型, 表明Double U-Net處理背景噪聲大的裂紋圖像效果更顯著.

進一步采用交并比(intersection over union, IoU)和骰子相似系數(shù)(dice similarity coefficient, DSC)[18]評價預測結果與標簽之間的相似度. 表2給出了在Dataset 1上訓練的各分割網(wǎng)絡模型的IoU和DSC預測結果均值. 由表2可見: Double U-Net模型分割結果的IoU和DSC明顯優(yōu)于其他分割網(wǎng)絡,驗證了該模型的有效性和合理性.

表1 分割網(wǎng)絡模型在數(shù)據(jù)驗證集Dataset 1～4上的檢測結果

表2 基于IoU和DSC評價指標的分割網(wǎng)絡模型測試結果

表3 嵌入不同Inception模塊的Double U-Net的測試結果

在數(shù)據(jù)集Dataset 1上將改進前后的Inception模塊分別嵌入Double U-Net進行訓練和測試, 結果如表3所示. 由表3可見: 由于使用了非對稱卷積核, 改進后Inception模塊的學習參數(shù)數(shù)目約減少25%, 每輪訓練時間減少14 s; 裂紋分割結果的IoU由65.31%提升至65.60%, 說明使用非對稱卷積核在減少模型學習參數(shù)的同時并未降低模型檢測能力.

圖4 不同模型在Dataset 1上的裂紋圖像分割結果Fig.4 Crack image segmentation results of different methods on Dataset 1

圖4為Double U-Net及3種對比模型在Dataset 1上的裂紋分割結果. 由圖4可見: 1) 對于裂紋附近帶有砂漿、植被和白點等噪聲的圖像, Double U-Net能夠最大程度地減少圖像中的冗余信息, 這表明Double U-Net可有效降低背景噪聲的影響; 2) Double U-Net模型不僅能明顯降低圖像中存在的植被、油漬和水管等大面積背景噪聲的影響, 還可相對完整地分割出真實裂紋的形狀; 3) 在檢測光照條件下的磚石墻面裂紋圖像過程中, Double U-Net受陰影和磚石顏色變化的影響最小, 分割出的裂紋最接近標簽圖像. 上述Doble U-Net所具備的分割優(yōu)勢,是由于Double U-Net中兩層U-Net的有效結合不僅增強了重要特征的影響度和突出圖像的邊緣信息, 而且彌補了網(wǎng)絡1強化分割特征時導致的精細結構損失, 使得Double U-Net保留更多淺層邊緣信息和深層語義信息.

為了檢驗基于不同材質的設施表面裂紋數(shù)據(jù)集訓練的Double U-Net模型的普適性, 將其與對比模型在新建的混合測試集Dataset Test和Dataset 2～4的測試集上分別進行測試, 結果如表4所示. 由表4可見: 1) 在Dataset Test上, Double U-Net的F1和IoU值最大, 說明Double U-Net分割不同基礎設施表面的裂紋時所得裂紋圖像最接近標簽圖像; 2) 無論是在混凝土、瀝青還是磚石表面, Double U-Net的F1和IoU值均最大, 說明Double U-Net模型檢測單一材質表面的裂紋時仍具有優(yōu)于對比模型的分割能力; 3) 相對于測試集Dataset 2～3, Double U-Net在測試集Dataset 4上的F1和IoU值提升較大, 這是因為磚石表面的裂紋附近冗余信息較多. 綜上, Double U-Net可以有效抑制大面積的背景噪聲,提高復雜背景下裂紋分割精度.

圖5為各模型的裂紋分割結果. 由圖5可見: 1) 對于較平整且纖細的混凝土裂紋, Double U-Net相較于對比模型不僅可較完整地分割出裂紋, 而且能使分割出的裂紋邊緣更平滑; 2) 對于裂紋附近伴隨有較強背景噪聲的混凝土圖像, Double U-Net雖不能完全消除干擾, 但其抗干擾能力較對比模型更強; 3) 對于存在陰影的裂紋圖像, Double U-Net可有效降低陰影的干擾. Double U-Net優(yōu)越的分割效果主要是因為Double U-Net將上下兩層U-Net有效結合增強了特征信息的利用率, 從而提高了模型的魯棒性.

2.2 消融實驗

通過消融實驗逐一消除單個模塊并觀察其對預測結果的影響, 確定不同模塊的重要性, 結果如表5所示. 由表5可知: 1) 對比實驗① ②, 引入Inception模塊的單層U-Net模型能顯著提升裂紋的分割精度, 說明加入改進的Inception模塊有利于提高網(wǎng)絡的特征提取能力; 2) 對比實驗②③, 加入SENet后的IoU值達65.29%, 說明通過引入SENet學習重要特征可以使分割出的裂紋的位置信息更加準確; 3) 對比實驗③④, 引入網(wǎng)絡2后的IoU值得到一定提升, 說明雙層U-Net能夠彌補單層U-Net丟失局部特征信息的缺陷; 4) 嵌入了所有模塊的Double U-Net的IoU值最大, 說明Double U-Net模型是通過各個模塊的共同作用實現(xiàn)模型分割性能的整體提高.

表4 各模型在不同測試集上的測試指標結果

圖5 對比模型在Dataset Test上的裂紋分割結果Fig.5 Crack segmentation results of contrast methods on Dataset Test sets

表5 具有不同模塊的模型分割結果

3 結論

為了有效檢測不同材質的基礎設施表面裂紋, 本文構建了一種基于編解碼器的Double U-Net網(wǎng)絡模型. 該模型首先利用網(wǎng)絡1學習圖像中的復雜特征, 然后利用網(wǎng)絡2將兩個網(wǎng)絡提取到的特征進行融合, 最后通過激活函數(shù)對網(wǎng)絡2的輸出結果進行分類, 從而獲得預測的裂紋分割圖像. 在相同的參數(shù)設置下, Double U-Net的F和IoU分別達78.70%和65.60%, 明顯高于其他對比模型相應的指標值, 驗證了該網(wǎng)絡模型的合理性和有效性.