基于改進U2-Net與遷移學習的無人機影像堤防裂縫檢測

李怡靜，程浩東，李火坤，王 姣，胡 強

(1.南昌大學工程建設學院,江西 南昌 330036; 2.江西省水利科學院，江西 南昌 330029)

堤防是水利工程中重要的擋水建筑物，是保障經(jīng)濟和社會發(fā)展的基礎設施之一。堤防在施工和后期運行過程中容易出現(xiàn)開裂的情況，獲取裂縫形態(tài)可為維護堤防的結(jié)構健康提供依據(jù)，是保障堤防安全運行的重要措施[1]。

傳統(tǒng)的結(jié)構裂縫檢測主要由人工完成，結(jié)果受檢測人員的主觀影響，且耗時費力，也存在一定的安全隱患，在有通行要求的堤防還會對交通產(chǎn)生影響。因此如何便捷高效且準確地對裂縫進行檢測，以便維修人員對裂縫選擇最佳的養(yǎng)護策略和維修措施，提高堤防監(jiān)測和養(yǎng)護的自動化水平，是亟待解決的問題。利用無人機遙感攝影技術可以方便快捷地獲取大區(qū)域影像數(shù)據(jù)，再結(jié)合圖像處理方法從影像中識別和獲取裂縫信息，可大幅度提高檢測效率[2-3]。

傳統(tǒng)的影像裂縫檢測利用裂縫和背景的灰度值差異或采用機器學習與數(shù)字圖像處理方法實現(xiàn)裂縫識別[4-7]，這需要人工設定參數(shù)，降低了檢測的自動化水平和檢測方法的普適性，且堤防上存在較多干擾噪聲，如光線、雜草、水漬、路面標記和碎片等，會對檢測效果產(chǎn)生影響。近年來流行的深度學習方法具有更強的識別能力，利用深度學習方法進行裂縫檢測受到了廣泛關注。識別裂縫的深度學習方式可分為篩選、檢測和提取3類，其中裂縫篩選是對圖像中是否含有裂縫進行區(qū)分[8]；裂縫檢測是確定圖像中是否含有裂縫，并將裂縫的大致位置或種類標注出來[9]；裂縫提取是從復雜的背景中將每個像素分類為裂縫像素或非裂縫像素，從而獲取整個裂縫的輪廓，目的是準確提取裂縫并進行特征量化[10-11]。裂縫篩選和檢測只能實現(xiàn)裂紋的分類和粗略定位，而裂縫提取能為堤防裂縫評估提供直觀和準確的依據(jù)。為提高裂縫提取的精度，張紫杉等[12]利用U-Net實現(xiàn)了對高陡邊坡裂隙的智能識別；Dung等[13]使用深度卷積網(wǎng)絡VGG(visual geometry group network)作為全卷積網(wǎng)絡(fully connected network, FCN)的主干對整個編碼器-解碼器結(jié)構進行端到端訓練，訓練、驗證和測試集的綜合評價指標和平均精度均可達到約90%；Park等[9]基于YOLOv3-tiny算法，利用結(jié)構光原理建立了一套裂縫檢測和量化系統(tǒng)；Kumar等[14]基于Mask R-CNN實現(xiàn)了檢測和分割不同類型的裂縫，便于對不同種類的裂縫采取有效的預測措施；Zou等[15]在SegNet[16]的編碼器-解碼器架構基礎上構建了DeepCrack模型，使用端到端可訓練的卷積神經(jīng)網(wǎng)絡(convolutional neural networks,CNN)來學習裂紋特征，取得了較好的提取結(jié)果；Liu等[4]設計了一種路面裂縫檢測與分割方法，使用改進的YOLOv3-tiny算法檢測圖像中的裂縫，使用改進的U-Net對檢測圖像中的裂縫進行分割，所提出的兩階段式的裂縫檢測方法具有較高的精度；Li等[17]提出了一種基于FCN的混凝土損傷檢測方法，可以用于檢測裂縫、剝落、風化和孔洞4種混凝土損傷；Feng等[18]根據(jù)SegNet結(jié)構的特點提出了一種大壩表面裂縫檢測模型(crack detection on dam surface ,CDDS)用于大壩裂縫的像素級檢測，其效果優(yōu)于SegNet、U-Net和FCN。

上述裂縫檢測模型通過基于圖像分類模型的主干，例如VGG、ResNet、DenseNet等，來解決裂縫區(qū)域的篩選和提取問題，但這些模型主干不是專門為了語義分割而提出的，因此模型對局部細節(jié)與全局對比度關注不夠，在裂縫檢測中無法獲得滿意的語義分割結(jié)果。U2-Net[19]是一種語義分割模型，其特有的殘差塊(residual U-blocks,RSU)具有捕捉多尺度信息的能力，在一定程度上可以彌補常用的語義分割模型對局部細節(jié)與全局對比度關注不夠的問題，且不依賴于現(xiàn)存的任何分類網(wǎng)絡主干。堤防具有距離長、面積大的特點，利用無人機采集影像檢測裂縫可提高工作效率。針對無人機影像中的堤防裂縫特征不明顯和背景存在大量噪聲的問題，本文使用擴張卷積(atrous convolution,AC)和深度可分離卷積(depthwise separable convolutions,DSC)對U2-Net原有的RSU進行改進，提出了新的殘差塊ADS-RSU，基于ADS-RSU構建了語義分割模型U2-ADSNet，通過遷移學習對模型進行訓練后采用切片預測實現(xiàn)了對大尺度無人機影像中的堤防裂縫的像素級檢測。

1 語義分割模型U2-ADSNet

1.1 ADS-RSU

1.1.1DSC與AC

DSC的思想于2014年提出[20]，經(jīng)過改進之后被應用于Xception和 MobileNets等深度學習模型中。普通卷積同時提取特征圖的區(qū)域信息和通道信息，DSC將區(qū)域信息和通道信息分開進行學習，這種方式有助于模型在區(qū)域和通道之間建立新的連接，更好地學習堤防裂縫特征，提高裂縫檢測性能。

為減弱下采樣帶來的細節(jié)特征丟失，本文利用AC提高語義分割模型的準確性，可以擴大卷積時的感受野，又不會降低分辨率，從而提升語義分割的精度。

1.1.2改進的ADS-RSU

為減弱下采樣帶來的細節(jié)特征丟失，提升對裂縫分割的效果，同時降低訓練成本，在RSU的基礎上，ADS-RSU利用DSC替換各層的普通卷積，并在DSC的第一步深度卷積使用AC代替。圖1為ADS-RSU內(nèi)部改進細節(jié)。

圖1 ADS-RSU內(nèi)部改進示意圖

1.2 U2-ADSNet模型的構建

U2-Net是2020年國際計算機視覺與模式識別會議(CVPR)提出用于顯著對象檢測的深度模型結(jié)構，其特有的RSU可以獲取圖像不同尺度的信息，在增加網(wǎng)絡深度的同時不顯著增加計算復雜度。該模型對輪廓的提取效果表現(xiàn)優(yōu)秀，其外層主要結(jié)構類似U-Net，通過底層的RSU來提取多尺度特征。

受此模型結(jié)構的啟發(fā)，本文以ADS-RSU為基礎架構構建了語義分割模型U2-ADSNet。圖2為 U2-ADSNet模型構架，為兩級鑲嵌的U形結(jié)構，外層為大U形結(jié)構，每個立方體代表一層，左側(cè)為編碼層，右側(cè)為解碼層，由ADS-RSU填充，一共有11層。網(wǎng)絡結(jié)構分為編碼模塊(En_1～En_6)、解碼模塊(De_1～De_5)和特征融合模塊(Side_1～Side_6)3個主要部分。網(wǎng)絡體系結(jié)構建立在ADS-RSU上，不需要任何預訓練主干即可適應不同的應用環(huán)境。此外U2-ADSNet在具有較深的網(wǎng)絡架構的同時可以保持較低的訓練成本。

2 無人機影像的堤防裂縫檢測

無人機可以便捷地獲取大范圍堤防影像，本文基于U2-ADSNet實現(xiàn)了無人機影像中的堤防裂縫快速檢測。

無人機影像的堤防裂縫檢測流程(圖3)如下：基于U2-ADSNet，通過制作裂縫分割數(shù)據(jù)集和遷移學習，利用裂縫開源數(shù)據(jù)集和少量堤防裂縫樣本，實現(xiàn)無人機影像中堤防裂縫的特征學習。最后，在預測階段采用切片預測實現(xiàn)大范圍的堤防裂縫檢測，利用連通區(qū)域搜索去除可能的誤檢。

圖3 無人機影像堤防裂縫檢測流程

2.1 遷移學習

深度學習需要進行大量的樣本訓練，而人工制作樣本數(shù)據(jù)集效率低下。針對缺乏無人機航拍圖裂縫樣本的問題，利用遷移學習機制，利用大眾攝影圖像的公共數(shù)據(jù)集和少量無人機影像數(shù)據(jù)進行特征學習，既可以提高檢測精度又可大大降低訓練成本。

本文采用遷移學習方法中使用最普遍的的模型參數(shù)遷移進行深度學習，其主要思想是使目標域共享源域的模型參數(shù)[21]，實現(xiàn)方法是先利用源數(shù)據(jù)對模型進行預訓練，然后通過對預訓練模型共性特征復用的方法對目標數(shù)據(jù)進行訓練，而無需從零開始訓練模型，能夠加快模型收斂速度，降低訓練成本。

2.2 切片預測

由于卷積神經(jīng)網(wǎng)絡計算復雜且運算量大，為了降低訓練時硬件負擔，訓練模型所用的圖片尺寸往往較小，但實際應用場景的影像尺寸遠大于訓練數(shù)據(jù)集中的圖片，而裂縫在圖片中占的比例較小，直接用于模型預測，裂紋被網(wǎng)絡識別的機會較小，甚至無法識別。為了解決這個問題，本文采用切片預測方式，通過對大尺寸圖片進行切片分割，分塊送入訓練好的模型，自動對影像進行分塊預測。圖4為切片預測效果，很明顯使用了切片預測之后的結(jié)果更加精確。

圖4 切片預測示意圖

在切片之前先按照無人機飛行方向根據(jù)影像的重疊部分對堤防影像進行拼接，得到完整的堤防影像。影像拼接采用OpenCV庫的Stitcher類。經(jīng)過大量的試驗，得到切片合適的尺寸應接近神經(jīng)網(wǎng)絡訓練時實際輸入的大小，切片過大則無法檢測出裂縫，過小會出現(xiàn)大量干擾。

2.3 基于連通域的裂縫提純

實際應用場景下環(huán)境復雜多變，難免會出現(xiàn)一些模型無法準確識別的特征，預測得到的二值圖片含有一定的噪聲，采用連通域特征來進行裂縫提純。

結(jié)合裂縫形態(tài)特征，4鄰域連通會影響裂縫標記的準確性，因此整合了8鄰域連通規(guī)則進行裂縫提純。U2-ADSNet預測結(jié)果中偶爾會出現(xiàn)白點噪聲，其像素基本在1 000以下，均遠小于裂縫實際像素。經(jīng)過試驗，設置500～1 000之間的閾值均可過濾掉白點噪聲。

3 試驗與分析

3.1 試驗數(shù)據(jù)

試驗數(shù)據(jù)集1來源武漢市新洲區(qū)一處長江堤壩段實地采集的影像數(shù)據(jù)，采集設備為大疆精靈4pro，飛行高度20 m，相機型號FC6310R。數(shù)據(jù)集1包含了一些具有代表性的裂縫類型和復雜背景，樣例如圖5所示。從無人機影像中手動截取165張227×227像素的圖片，標注了所有標簽，經(jīng)過隨機旋轉(zhuǎn)和裁剪操作擴展到2 000張，其中裂紋圖片和非裂紋圖片各1 000張，并隨機挑選70%用于訓練，10%用于驗證，20%用于測試。

圖5 數(shù)據(jù)集1樣例

數(shù)據(jù)集2來自用于混凝土裂縫分類的開源數(shù)據(jù)集[22]，圖片為布達佩斯城市大學(METU)的各個校園建筑表面裂縫，包括裂紋圖片和非裂紋圖片兩類，大小為227×227像素，每個類別有2萬張圖片，總共4萬張圖片。本文從該開源數(shù)據(jù)集中隨機挑選了420張圖片，人工進行了標注，然后隨機旋轉(zhuǎn)和裁剪擴展到了4 000張，其中裂紋圖片和非裂紋圖片各2 000張，部分樣本如圖6所示。

圖6 數(shù)據(jù)集2樣例

3.2 評價指標

本文的裂縫檢測屬于語義分割中的二分類問題，選用正確率、精確率、召回率和交并比對預測結(jié)果進行評估。正確率、精確率、召回率和交并比計算公式分別為

Iacc=(Xtp+Xtn)/(Xtp+Xtn+Xfp+Xfn) (1)

Ipr=Xtp/(Xtp+Xfp)

(2)

Ire=Xtp/(Xtp+Xfn)

(3)

Iou=Xtp/(Xtp+Xfp+Xfn)

(4)

F1=2IprIre/(Ipr+Ire)

(5)

式中：Iacc、Ipr、Ire、Iou分別為正確率、精確率、召回率和交并比;F1為綜合評價指標，越接近1說明模型性能越好；Xtp為模型正確分割為“裂縫”的像素數(shù)；Xtn為模型正確分割為“非裂縫”的像素數(shù)；Xfn為模型錯誤分割為““非裂縫”的“裂縫”像素數(shù)；Xfp為模型錯誤分割為“裂縫”的“非裂縫”像素數(shù)。

3.3 模型對比試驗

試驗基于PyTorch 1.7.1，計算機CPU為英特爾 i7 10700(32GB RAM)，GPU為英偉達RTX4000(8GB)。

FCN、SegNet和U-Net為語義分割領域常用的模型，其中本文試驗采用的FCN為FCN16，主干基于VGG16網(wǎng)絡，編碼部分分別使用了VGG16特征提取部分的第0到第15層、第17到第22層和第24到第29層；SegNet的主干編碼部分使用了VGG16特征提取部分的第0到第4層、第5到第9層、第10到第16層、第17到第23層和第24到第30層。DeepCrack為最近提出的一種主要用于路面裂縫檢測的模型，該模型在SegNet的基礎上構建，融合了SegNet的5層特征。

在數(shù)據(jù)集1上進行對比試驗，所有模型在訓練時首先將輸入的圖片尺寸放大到320×320像素，然后隨機裁剪到288×288像素送入網(wǎng)絡進行訓練，均使用Adam優(yōu)化器，超參數(shù)設置如下：訓練次數(shù)為100，批量為4，學習率為10-3。圖7為訓練過程中6種模型的訓練損失和驗證損失。

圖7 6種網(wǎng)絡在數(shù)據(jù)集1上的訓練和驗證損失

由圖7可以看出U2-ADSNet在訓練初期具有更快的收斂速度，和其他模型相比，在訓練次數(shù)相同的情況下?lián)p失最小。各個模型訓練次數(shù)到100時的損失曲線已經(jīng)十分平穩(wěn)且緩慢，將此時的訓練結(jié)果在數(shù)據(jù)集1的測試集上進行了對比，獲得6種模型的試驗結(jié)果如圖8和圖9所示，可以明顯看出U2-Net和U2-ADSNet具有顯著的優(yōu)勢。在一些細節(jié)方面，U2-Net則沒有U2-ADSNet表現(xiàn)得好，U2-ADSNet可以更好地提取裂縫細節(jié)特征，同時也能更好地過濾噪聲，但是也存在一定程度的誤識別，如圖10(c)所示。

圖8 不同模型在數(shù)據(jù)集1裂縫圖片上的表現(xiàn)

圖9 不同模型在數(shù)據(jù)集1非裂縫圖片上的表現(xiàn)

圖10 U2-ADSNet識別失敗案例

FCN16分割失敗的主要原因在于模型結(jié)構簡單，其最終的分割結(jié)果由最底層特征圖上采樣2倍后與第4層最大池化后的特征圖相加，然后再上采樣16倍得到，較大的上采樣會損失細節(jié)信息。SegNet記錄最大池化時最大數(shù)值的位置，在上采樣時能更好地還原，但是其性能的提升主要在速度上。U-Net在背景較為簡單的醫(yī)學圖像表現(xiàn)良好，難以適應部分堤防裂縫特征不明顯、背景復雜的情況。DeepCrack相比SegNet有一定提升，但是在堤防裂縫檢測上仍然存在不足。

U2-ADSNet采用改進的ADS-RSU殘差結(jié)構，相比U2-Net較為精確，誤識別主要存在于特征不明顯或者與裂縫特征極為相似的區(qū)域。如圖10所示，在裂縫識別方面，一些清晰度不夠或者特征不明顯的裂縫仍然存在識別誤差，提升無人機航測攝像頭的清晰度有望提高識別精度；在背景噪聲過濾方面，一些表面破損但沒有裂縫的情況下會存在一定的噪點，其形態(tài)與裂縫存在差異，可在后處理中去除。

表 1為各個模型在數(shù)據(jù)集1 測試集上的表現(xiàn)，其中浮點運算量、乘加運算量和模型參數(shù)量的數(shù)值越大代表模型越復雜，訓練時間和測試時間越長代表模型訓練成本越高。由表1可見，U2-Net和U2-ADSNet的正確率(Iacc)、精確率Ipr、召回率Ire、交并比(Iou)和綜合評價指標(F1)均優(yōu)于前4種模型。相比U2-Net，U2-ADSNet的精確率略微下降，但召回率、交并比和綜合評價指標均有所提高。

表1 不同模型評價指標、模型參數(shù)量和訓練成本對比

受標注工具的限制，一些裂縫內(nèi)部的細微噪聲(實際為裂縫)無法手動準確標注。U2-ADSNet因為使用AC增大了卷積層感受野，將裂縫內(nèi)部細微噪聲歸類為裂縫，而評價指標是基于手動注釋的標簽統(tǒng)計的，這就導致U2-ADSNet的正確率和精確率相比U2-Net有略微降低。由于裂縫外部輪廓更加精細，帶來交并比提高。雖然精確率下降了3.07個百分點，但召回率提升了近5個百分點，綜合評價指標的提升則體現(xiàn)了U2-ADSNet對裂縫的識別具有更好的性能。

由表1可以得出，U2-ADSNet在浮點運算量、乘加運算量和模型參數(shù)量上，相比其他模型具有明顯優(yōu)勢，測試時間遠少于前3種模型，與U2-Net幾乎無差別，訓練時間相比U2-Net下降了11.44%，表明本文提出的U2-ADSNet在實際應用階段易于訓練。

試驗表明，U2-ADSNet在召回率、交并比和綜合評價指標等方面均優(yōu)于U2-Net，訓練時間和網(wǎng)絡的計算量上也具有明顯優(yōu)勢，這表明ADS-RSU有助于網(wǎng)絡更好地學習并更準確地分割對象，在堤防的裂縫分割任務中更具有優(yōu)勢。

3.4 無人機影像的堤防裂縫檢測試驗

為了檢驗U2-ADSNet在實際場景下的表現(xiàn)，在數(shù)據(jù)集2上先對模型進行預訓練，確定最優(yōu)的遷移學習策略，以便后續(xù)用少量無人機樣本數(shù)據(jù)實現(xiàn)堤防裂縫的檢測。在預測階段采用切片預測(切片為288×288像素)，并進行裂縫提純。

神經(jīng)網(wǎng)絡靠近輸入端的卷積層一般提取圖像的通用特征，因此通過5次試驗確定預訓練的U2-ADSNet編碼層效果最優(yōu)加載層，5次試驗訓練過程中的損失曲線對比如圖11所示(圖中“遷移En_1”代表加載預訓練 的U2-ADSNet特征提取層的第1層，“遷移En_1-2”代表加載預訓練 的U2-ADSNet特征提取層的第1到第2層(即前兩層)，其他以此類推)。

圖11 不同遷移學習策略下的訓練損失

由圖11可見，采用遷移學習策略后模型在訓練次數(shù)相同的情況下，損失更小，表2為U2-ADSNet采用5種不同遷移學習策略在數(shù)據(jù)集1測試集上的性能對比。

表2 U2-ADSNet采用不同遷移學習策略的性能對比 單位：%

由表2可知，只加載第1層預訓練參數(shù)(遷移En_1)得到的遷移學習模型效果最優(yōu)，可以在降低訓練成本的同時進一步提高模型的效率和精度，因此實際場景的應用使用此種遷移學習策略。圖12為遷移學習U2-ADSNet和深度學習中常用的裂縫檢測方法無人機影像預測結(jié)果對比(無人機影像的高度為4 864像素，寬度為3 648像素，每張圖選擇兩個細節(jié)展示，分別用紅色和綠色標記)。

圖12 不同模型無人機影像預測結(jié)果對比

FCN、SegNet和U-Net的預測結(jié)果僅能預測裂縫的位置分布，對裂縫細節(jié)信息預測較差而且沒有完全過濾背景區(qū)域。DeepCrack預測的結(jié)果雖然有一定提升但是仍然不夠理想。U2-Net的預測效果有所提升，但是不能完全預測出圖像1中微小裂縫。遷移學習U2-ADSNet對背景區(qū)域的噪聲具有較好的過濾效果，可以準確預測大多數(shù)裂縫，但是也存在部分伸縮縫被誤識別為裂縫的情況，如對圖像1的預測結(jié)果。

3.5 試驗結(jié)果分析

a.從數(shù)據(jù)集1的測試結(jié)果來看，U2-ADSNet的模型參數(shù)量、評價指標和預測效果均優(yōu)于FCN、SegNet、U-Net和DeepCrack，相比U2-Net也有一定的提升；U2-ADSNet比U2-Net對細微裂縫的檢測效果更好，說明本文提出的語義分割模型U2-ADSNet具有一定優(yōu)勢。

b.以ADS-RSU為基礎構建的U2-ADSNet具有U2-Net優(yōu)點，同時降低了模型參數(shù)量，提升了模型感受野和學習能力，相比U2-Net在數(shù)據(jù)集1上的訓練時間縮短了約24 min，有效地降低了訓練成本。

c.使用U2-ADSNet在開源數(shù)據(jù)集2上的預訓練參數(shù)后，可大大降低模型在應用時的訓練和標注成本。由于沒有開源的堤防裂縫數(shù)據(jù)集，為了達到精確的檢測效果，仍需手動標注少量堤防裂縫樣本進行訓練。

d.從無人機影像端到端的檢測效果來看，U2-ADSNet對堤防背景過濾和裂縫細節(jié)信息的預測方面具有更好的效果，可以快速實現(xiàn)大范圍的裂縫檢測，無需進行煩瑣的預處理。

5 結(jié) 語

為有效實現(xiàn)堤防表面裂縫信息的快速獲取，本文提出了一種U2-ADSNet語義分割模型與遷移學習結(jié)合的裂縫檢測方法。U2-ADSNet通過將AC和DSC融入ADS-RSU，降低了模型的計算量，增大了感受野，提升了模型對微小裂縫的預測效果；遷移學習降低了訓練成本，提升了識別精確率；切片預測實現(xiàn)了大范圍無人機影像的裂縫檢測；使用裂縫的連通域特征來進行后處理，降低了結(jié)果中的噪聲。與FCN、SegNet、U-Net、DeepCrack和U2-Net的試驗對比結(jié)果表明，U2-ADSNet在交并比、綜合評價指標和召回率上均為最優(yōu)，分別為77.77%、87.24%和88.37%。本文方法對于其他地方的裂縫也具有檢測能力，但尚存在與裂縫特征相近的噪聲被誤識別的問題，后續(xù)研究將針對部分混凝土伸縮縫被誤識別為裂縫這一問題進行改進，并擴充堤防裂縫數(shù)據(jù)集，提升識別精度。