基于語義分割網(wǎng)絡(luò)模型的路面裂縫識別

吳秋怡

(同濟大學(xué)交通運輸工程學(xué)院 上海 201804)

我國公路建設(shè)飛速發(fā)展，為人民交通出行提供了很大便利，但隨之而來繁重的養(yǎng)護任務(wù)又給道路養(yǎng)護部門帶來了不小的挑戰(zhàn)。路面在運營時間內(nèi)不可避免會發(fā)生開裂，隨著車輛對路面的反復(fù)摩擦和碾壓，路面的開裂會不斷加深，若一直不加以修復(fù)，會導(dǎo)致道路結(jié)構(gòu)層的破壞[1-2]。因此，對道路進行規(guī)律性的巡檢，及時發(fā)現(xiàn)路表的開裂情況并采取相應(yīng)措施能夠有效延緩路面裂縫的發(fā)展，延長道路的使用壽命。目前較為常見的道路檢測工作，多為人工走查。這種檢測方式不僅效率低，且對于車流量較大的道路，檢測人員只能坐在車上去觀察路表狀況，檢測的準確性無法得到保證。

目前較為先進的路面檢測方法為利用道路檢測車來進行路面數(shù)據(jù)的采集，先進的路面自動檢測裝備及其配套技術(shù)可為路面養(yǎng)護工程維修決策、設(shè)計與施工提供大量的基礎(chǔ)數(shù)據(jù)支撐[3]。但道路檢測車往往設(shè)備成本昂貴，對技術(shù)要求很高。基于以上原因，利用拍攝設(shè)備采集路面圖像，再結(jié)合計算機視覺和機器學(xué)習技術(shù)對圖像中的裂縫病害進行提取，能夠在兼顧檢測成本的同時有效改善傳統(tǒng)檢測方式費時費力、效率低下的狀況。由于路面開裂圖片具有裂縫與背景相似度大、裂縫面積小、裂縫形狀不規(guī)則等特點，如何通過相關(guān)技術(shù)提高圖像裂縫識別的準確率，提高識別速度成為了裂縫識別中的研究重點。

早期借助計算機視覺的圖像識別方法一般是利用裂縫區(qū)域與完好路面區(qū)域灰度及像素值的差別，通過閾值分割、邊緣檢測、種子識別、紋理分析等手段對圖片中的裂縫區(qū)域進行檢測。英國的S.Mathavan，M.Rahman和K.Kamal[4]等利用CCD相機采集高質(zhì)量的路面裂縫圖像，并將圖像分割成矩形單元，基于無監(jiān)督算法Kohoene映射對裂縫圖像的紋理和顏色等屬性進行學(xué)習，從而達到檢測裂縫的目的。姜吉榮[5]利用數(shù)學(xué)形態(tài)學(xué)結(jié)合進行裂縫特征提取，再利用Otsu算法對裂縫區(qū)域進行分割。

近年來，隨著機器學(xué)習、深度學(xué)習等人工智能技術(shù)的飛速發(fā)展，深度學(xué)習模型由于其模型結(jié)構(gòu)的特點，能夠自動提取原始圖像的特征并進行抽象表達，不需要人為設(shè)計特征提取器。這為路面裂縫的自動化檢測提供了新途徑，各類深度學(xué)習模型開始應(yīng)用于裂縫識別領(lǐng)域。Cha等[6]利用圖像處理技術(shù)對路面圖片進行濾波處理，再結(jié)合深度學(xué)習中CNN(卷積神經(jīng)網(wǎng)絡(luò))檢測圖片中是否有裂縫存在以及裂縫的種類，證明了CNN應(yīng)用于裂縫分類的準確性。沙愛民[7]等將2個CNN組合在一起，使其先進行路表病害的識別再進行病害特征的提取，從而實現(xiàn)路表病害的識別與測量。

1 圖像預(yù)處理

1.1 數(shù)據(jù)來源與處理

裂縫識別模型的數(shù)據(jù)集采用CRACK500數(shù)據(jù)集[8-9]，此數(shù)據(jù)集的來源是Lei Zhang,Fan Yang等人在天普大學(xué)使用手機拍攝了500張大小為200×1 500的路面裂縫圖片，并對裂縫圖片進行逐像素地標注。為了適配網(wǎng)絡(luò)模型輸入圖像像素要求，且方便模型的訓(xùn)練，每張原始圖片被裁剪為16個不重疊的圖像區(qū)域，每張圖片上裂縫區(qū)域均超過1 000個像素。CRACK500數(shù)據(jù)集由訓(xùn)練集、驗證集和測試集組成，部分原始訓(xùn)練圖片及標簽見圖1，訓(xùn)練圖片與標簽圖片名字相同，但訓(xùn)練圖片為jpg格式，標簽圖片為png格式。訓(xùn)練集包含了3 792張圖片，驗證集包含696張圖片，測試集包含2 248張圖片，其中一半是原始圖片，一半是標簽圖片。CRACK500中的標簽圖片對應(yīng)著原始圖被劃分為2種顏色，背景為黑色，裂縫區(qū)域為白色。

圖1 部分裂縫圖片及圖片標簽

根據(jù)模型輸入的要求，需要對訓(xùn)練集中的原始圖片與標簽圖片分離成2個文件夾，并根據(jù)圖像分割的需求，建立圖像分割的類別字典，指定不同類別在標簽圖片中所呈現(xiàn)的像素值，方便模型進行圖像的讀取與訓(xùn)練。

1.2 數(shù)據(jù)增強

在深度學(xué)習中，為了提高識別模型的魯棒性，以及防止訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象，通常需要對訓(xùn)練的數(shù)據(jù)集進行數(shù)據(jù)增強操作，以便提高模型的泛化能力。常用的數(shù)據(jù)增強方法有旋轉(zhuǎn)變換、翻轉(zhuǎn)變換、平移變換、對比度變換等。由于路面實際拍攝的裂縫圖片具有裂縫方向多變，圖片亮度不高、噪音較多等特點，因此本文選取的數(shù)據(jù)增強方法為旋轉(zhuǎn)變換、反轉(zhuǎn)變換、對比度變換與噪聲擾動，以使訓(xùn)練集的圖片更加貼合車輛行駛中拍攝的路面圖片特征。

2 基于語義分割網(wǎng)絡(luò)的路面裂縫識別算法

2.1 金字塔場景解析網(wǎng)絡(luò)(PSPNet)

PSPNet是在ResNet的基礎(chǔ)上改進的語義分割網(wǎng)絡(luò)，其整體架構(gòu)分為2部分，用于提取不同尺度特征的卷積模塊和用于對局部和全局的特征圖進行池化與卷積得到最終預(yù)測圖的金字塔池化模塊。其中，卷積模塊是通過使用預(yù)訓(xùn)練的ResNet模型實現(xiàn)的，它能夠同時提取包含更多細節(jié)的底部特征和包含較多語義信息的高層特征，實現(xiàn)從底層到高層特征的逐步抽象提取，最終輸出特征圖為原圖的1/8大小。金字塔池化模塊使用4層金字塔結(jié)構(gòu)來收集圖像的上下文信息，每層的池化內(nèi)核分別覆蓋了圖像的全部、一半、小部分和最小尺度，最后將得到的特征圖采用雙線性插值進行上采樣，使特征圖縮放到原始特征圖尺寸，接著將不同尺度的特征圖進行反卷積，融合為全局先驗信息，最后判定每一個像素的分割類型，得到最終預(yù)測的分割圖。

2.2 訓(xùn)練策略

在模型訓(xùn)練過程中，經(jīng)分類器softmax計算出的loss會向前傳播，不斷調(diào)整卷積模塊與金字塔池化模塊中的參數(shù)來達到loss降低的效果。由于網(wǎng)絡(luò)層數(shù)過多，為了方便模型快速收斂，選用了Adadelta優(yōu)化算法。在loss的計算上，由于神經(jīng)網(wǎng)絡(luò)的層數(shù)過多會導(dǎo)致離網(wǎng)絡(luò)末端softmax分類器較遠的層無法得到充分訓(xùn)練，本網(wǎng)絡(luò)模型借鑒了GoogLeNet Inception V1中輔助分類器的思想，將loss的計算分為輔助損失和主要損失，輔助損失在卷積模塊后經(jīng)過卷積，將特征圖恢復(fù)為原始圖片大小，利用softmax分類器計算損失。主要損失項則是在金字塔池化模塊后，利用最后的分類器softmax計算總的損失。通過輔助分類器的引入，能夠避免離最終分類器較遠的卷積層參數(shù)無法得到充分訓(xùn)練的問題。

最終進行路面裂縫識別的裂縫分割網(wǎng)絡(luò)模型結(jié)構(gòu)見圖2，在網(wǎng)絡(luò)的訓(xùn)練階段先利用ResNet的預(yù)訓(xùn)練模型對數(shù)據(jù)集中的訓(xùn)練圖片進行特征提取。然后將提取的特征一方面輸入金字塔池化模塊進行多尺度的全局特征學(xué)習，另一方面反卷積后恢復(fù)原圖尺寸利用softmax輔助分類器計算輔助loss。最終將學(xué)習到的全局圖像上下文特征雙線性插值進行尺寸縮放后與經(jīng)過ResNet模型所學(xué)習到的特征進行聯(lián)合，最后反卷積后輸入softmax分類器與原圖進行對比計算loss。將主分類器所計算出的loss反向傳播，并利用Adadelta優(yōu)化算法進行模型參數(shù)調(diào)整，其中在對卷積模塊進行參數(shù)調(diào)整時，同時考慮主loss與輔助loss。

圖2 增加了輔助分類器的PSPNet網(wǎng)絡(luò)模型

2.3 評定指標

模型的最終分割效果的評定采用2個指標：分割區(qū)域的IOU及像素分類的準確度acc。交并比(intersection over union，IOU)是目標檢測中的常用衡量指標，能夠衡量某個類別分割的準確性。對于某個類別的IOU而言，其值為模型識別出的此類別區(qū)域與訓(xùn)練標簽中此類別區(qū)域的重疊率，即標記區(qū)域和預(yù)測區(qū)域交集與并集的比值。一般而言，IOU大于0.5即可視作識別準確。在像素級別的圖片分割中，類別區(qū)域的大小用此類別所包含的像素個數(shù)表述，第i類的IOU計算方法為

(1)

像素分類的準確度則是針對預(yù)測出的分割圖，逐像素地與訓(xùn)練標簽圖進行比較，分類正確的像素數(shù)量與圖片總體像素數(shù)量的比值，計算方法為

(2)

2.4 結(jié)果與分析

分割網(wǎng)絡(luò)模型的搭建平臺是深度學(xué)習TensorFlow框架，在GTX1070GPU上進行模型的訓(xùn)練與驗證。所有訓(xùn)練與最終的驗證初始學(xué)習率均設(shè)為0.01，衰減系數(shù)0.99，動量為0.9。

2.4.1網(wǎng)絡(luò)模型對分割效果的影響

為了更為全面地對本文所提出模型的分割效果進行評估，同時在其他的主流語義分割模型上對CRACK500的訓(xùn)練集進行訓(xùn)練，最后利用測試集對模型的分割效果進行測試，評定指標采用像素判斷的準確率與裂縫區(qū)域的IOU。用來進行對比的語義分割模型為全卷積網(wǎng)絡(luò)(fully convolutional networks,FCN)與UNet神經(jīng)網(wǎng)絡(luò)。3種語義分割網(wǎng)絡(luò)模型的識別像素準確度與3種語義分割網(wǎng)絡(luò)模型的IOU(交并比)分別見圖3、圖4。

圖3 3種語義分割網(wǎng)絡(luò)模型的識別像素準確度

圖4 3種語義分割網(wǎng)絡(luò)模型的IOU

由圖3可見，3個模型的分割準確率均為85%以上。由于對路面裂縫圖片而言，裂縫區(qū)域所占區(qū)域較小，如果只考慮分割的準確率會受到背景區(qū)域的影響，無法正確評定，因此還需要綜合考慮裂縫區(qū)域的IOU。而在裂縫區(qū)域的IOU上，一般而言，IOU大于0.5則可以視作識別成功。從圖4中可以看出，隨著模型的不斷訓(xùn)練迭代,在訓(xùn)練了60次之后，PSPNet已基本能夠成功識別出裂縫，而UNet與FCN網(wǎng)絡(luò)的識別效果則不是十分理想。因此，綜合考慮像素準確度與裂縫區(qū)域的IOU，PSPNet的識別效果普遍優(yōu)于UNet與FCN語義分割網(wǎng)絡(luò)，說明在路面裂縫的分割上，PSPNet確實能夠更好地將裂縫區(qū)域從整張圖片中識別出來。

2.4.2網(wǎng)絡(luò)結(jié)構(gòu)對分割效果的影響

分割模型由卷積模塊與金字塔池化模塊構(gòu)成，本實驗中我們對卷積模塊的結(jié)構(gòu)進行調(diào)整，分別采用ResNet-18、ResNet-50和ResNet-101預(yù)訓(xùn)練模型來構(gòu)建卷積模塊。3個預(yù)訓(xùn)練模型之間的差別除了網(wǎng)絡(luò)深度不同，卷積核的選取也不一樣。

ResNet模型的主要思想是利用殘差塊來解決網(wǎng)絡(luò)層數(shù)的增加導(dǎo)致的反向傳播時梯度衰減無法對靠前的網(wǎng)絡(luò)層的參數(shù)進行有效調(diào)整的問題。殘差塊能夠?qū)⑤斎胪ㄟ^shortcut connections(捷徑連接)直接傳到輸出，使模型每一層的學(xué)習目標變成使此層的輸出與輸入保持一致，即殘差接近于0。經(jīng)過測試，3種網(wǎng)絡(luò)結(jié)構(gòu)的PSPNet的識別像素準確度與3種網(wǎng)絡(luò)結(jié)構(gòu)的PSPNet的IOU(交并比)分別見圖5、圖6。

圖5 3種網(wǎng)絡(luò)結(jié)構(gòu)PSPNet的識別像素準確度

圖6 3種網(wǎng)絡(luò)結(jié)構(gòu)PSPNet的IOU

由圖5可見，在PSPNet模型的基礎(chǔ)上，改變卷積模塊所選擇的預(yù)訓(xùn)練模型，識別的準確率基本都在93%以上。但ResNet-50預(yù)訓(xùn)練模型與ResNet-101預(yù)訓(xùn)練模型均出現(xiàn)了隨著訓(xùn)練輪數(shù)的增加準確性逐漸下降的現(xiàn)象，這是因為訓(xùn)練圖片與測試圖片不同，訓(xùn)練輪數(shù)過多，模型出現(xiàn)了過擬合的現(xiàn)象。而對于裂縫識別的IOU而言，3種模型的裂縫IOU基本都大于0.4，最大值基本都在0.55左右。

3 結(jié)語

本文針對依據(jù)路面圖像的裂縫檢測，提出利用金字塔場景解析網(wǎng)絡(luò)PSPNet實現(xiàn)路面圖片中的裂縫區(qū)域檢測，實現(xiàn)像素級的裂縫區(qū)域識別。通過對不同語義分割網(wǎng)絡(luò)模型之間的對比，不僅證實了語義分割網(wǎng)絡(luò)模型可用于道路路面裂縫的像素級識別，且通過對比可發(fā)現(xiàn)不同語義分割模型中，PSPNet對裂縫的識別程度較高、魯棒性較強，對實現(xiàn)路面裂縫像素級識別的模型選取有一定的借鑒作用。在對不同網(wǎng)絡(luò)結(jié)構(gòu)的PSPNet模型進行訓(xùn)練后，發(fā)現(xiàn)模型層數(shù)的增加對識別準確度的提高效果并不是特別明顯，反而會由于訓(xùn)練輪數(shù)過多，相對層數(shù)少的模型更快出現(xiàn)了過擬合現(xiàn)象。同時本文的訓(xùn)練結(jié)果可作為路面裂縫識別的預(yù)訓(xùn)練模型，結(jié)合路面實拍圖片樣本，可針對不同檢測路面進行下一步更有針對性的訓(xùn)練。