基于深度學(xué)習(xí)的涂層織物折皺識別與檢測

阿力木·安外爾，張大旭，2，何 巍，陳務(wù)軍，王笑妍，周群超，羅一棟，陳能夫，孫鯤鵬

1.上海交通大學(xué) 船舶海洋與建筑工程學(xué)院，上海200240

2.上海市公共建筑和基礎(chǔ)設(shè)施數(shù)字化運(yùn)維重點(diǎn)實(shí)驗(yàn)室，上海200240

3.中國特種飛行器研究所，湖北 荊門448035

4.上海交通大學(xué) 空間結(jié)構(gòu)研究中心，上海200240

5.上海應(yīng)用技術(shù)大學(xué) 計(jì)算機(jī)科學(xué)與信息工程學(xué)院，上海201418

涂層織物是一種新型層壓高性能織物復(fù)合材料，具有低密度、高強(qiáng)度、高阻隔性等特點(diǎn)，被廣泛應(yīng)用于建筑膜結(jié)構(gòu)、浮空器囊體結(jié)構(gòu)等領(lǐng)域。國內(nèi)外對涂層織物的力學(xué)性能進(jìn)行了廣泛研究，但對其折皺方面的研究較少。涂層織物在生產(chǎn)、運(yùn)輸、充放氣、拼裝及使用過程會產(chǎn)生折皺損傷，對結(jié)構(gòu)安全性、氣密性和耐久性具有顯著影響。涂層織物的折皺形狀識別，以及其長、寬等技術(shù)參數(shù)的檢測是評估折皺損傷對結(jié)構(gòu)性能影響的前提條件，因此準(zhǔn)確、高效地進(jìn)行折皺的識別與檢測尤為重要。

傳統(tǒng)的涂層織物材料折皺檢測以人工為主，肉眼檢測精度和效率低。人工經(jīng)驗(yàn)的主觀性和視覺局限性導(dǎo)致折皺檢測結(jié)果的一致性較差。深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模仿人腦神經(jīng)網(wǎng)絡(luò)機(jī)制，根據(jù)自己的判斷去定義圖像高級抽象化特征，有利于統(tǒng)一識別與檢測標(biāo)準(zhǔn)。借助深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的智能檢測手段可極大減少人工操作，提高效率。

折皺智能識別方法主要有兩大類：傳統(tǒng)的圖像語義分割技術(shù)與基于深度學(xué)習(xí)的智能識別[1]。傳統(tǒng)語義分割主要靠圖像處理技術(shù)，包括基于閾值、邊緣、區(qū)域和其他特定理論的圖像分割和檢測技術(shù)[2]。然而傳統(tǒng)圖像處理分割方法弊端較多，例如訓(xùn)練區(qū)域大小無法確定，存儲及計(jì)算量非常大，因感受野受到限制只能提取某些局部特征等。2006年Hinton等[3]提出了深度學(xué)習(xí)的概念，從而開啟了人工智能發(fā)展的第三個(gè)階段。隨后Sermanet等[4]提出了卷積神經(jīng)網(wǎng)絡(luò)（CNN），利用卷積操作獲取圖像空間信息減少網(wǎng)絡(luò)訓(xùn)練參數(shù)，大幅度地提高了網(wǎng)絡(luò)性能。隨后卷積神經(jīng)網(wǎng)絡(luò)在語義分割、目標(biāo)檢測、圖像識別和分類等計(jì)算機(jī)視覺和語義任務(wù)上表現(xiàn)越來越好?；谏疃葘W(xué)習(xí)的圖像語義分割主要思路是：不需人為設(shè)置特征，直接向深度學(xué)習(xí)網(wǎng)絡(luò)輸入大量原始圖像數(shù)據(jù)，根據(jù)設(shè)計(jì)好的網(wǎng)絡(luò)算法進(jìn)行高層次的抽象特征提取，進(jìn)行識別分類和目標(biāo)定位，最終輸出帶有像素標(biāo)簽的分割結(jié)果。這類網(wǎng)絡(luò)構(gòu)架在準(zhǔn)確度和分割效率上明顯超越了傳統(tǒng)方法。Zhang等[5]第一個(gè)將深度學(xué)習(xí)方法應(yīng)用到道路裂縫檢測問題中，使用卷積神經(jīng)網(wǎng)絡(luò)對智能手機(jī)采集的高分辨率圖像進(jìn)行訓(xùn)練，驗(yàn)證準(zhǔn)確率達(dá)到86.96%。Long 等[6]提出了全卷積神經(jīng)網(wǎng)絡(luò)（FCN）方法對圖像進(jìn)行語義分割，使得圖像分類問題從塊延續(xù)到像素級，并得到較好的實(shí)驗(yàn)效果。Mei等[7]將深度學(xué)習(xí)語義分割網(wǎng)絡(luò)運(yùn)用到機(jī)場跑道路面裂縫的檢測中，并使用新的損失函數(shù)，將精確率提高到96.8%。2019 年Liu 等[8]通過DeepLabV3模型，實(shí)現(xiàn)胃鏡圖像中早期癌癥的預(yù)測。自2017年以來語義分割網(wǎng)絡(luò)得到進(jìn)一步發(fā)展，F(xiàn)CN、Segnet、DeepLab 系列和DAnet 等優(yōu)秀的算法模型逐步運(yùn)用到實(shí)際工程中[9]。

由于涂層織物折皺識別難度大，且缺乏公開數(shù)據(jù)集，因此該領(lǐng)域尚缺乏深度學(xué)習(xí)應(yīng)用的研究?；谏疃葘W(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)，本文開展了涂層織物折皺識別與幾何參數(shù)檢測的研究，采用多尺度特征融合算法和形態(tài)學(xué)處理，建立一種端到端的折皺智能檢測網(wǎng)絡(luò)。

1 涂層層織物折皺與人工檢測

1.1 涂層織物材料

材料為美國URETEK公司生產(chǎn)的涂層織物Uretek3216-LV。該材料由持力層、聚氟乙烯面層以及其他功能層層壓復(fù)合而成。圖1為該材料外觀和層合結(jié)構(gòu)示意圖，陰面為淺黃色，朝向結(jié)構(gòu)內(nèi)部；陽面為乳白色，朝向結(jié)構(gòu)外部。

陰陽面宏觀形貌分別如圖1（a）、（b）所示，縱斷面結(jié)構(gòu)示意圖如圖1（c）所示。

圖1 涂層織物材料Uretek3216-LV

1.2 涂層織物折皺

由于實(shí)際工程和試驗(yàn)環(huán)境復(fù)雜，涂層織物折皺形狀分布不規(guī)則、復(fù)雜且密集，在光線昏暗等復(fù)雜的背景下，折皺中有相當(dāng)大的噪音，導(dǎo)致連續(xù)性差和對比度低，小折皺和局部噪聲導(dǎo)致邊界模糊，而細(xì)小的邊界信息對折皺正確識別和定位任務(wù)至關(guān)重要。如圖2所示，涂層織物材料圖像陰陽面區(qū)別較大。由于涂層材料不同，陰面呈現(xiàn)黃色（圖2（a）），紗線經(jīng)緯向交叉出現(xiàn)周期性凹凸，折皺區(qū)域與圖像背景對比度不高，折皺邊緣分界不明顯。陽面呈白色（圖2（b）），表面平滑，折皺相對明顯且趨于穩(wěn)定，但分布較密集。

圖2 涂層織物材料局部折皺照片

1.3 標(biāo)準(zhǔn)揉搓試驗(yàn)

采用FDT-02 型揉搓試驗(yàn)機(jī)進(jìn)行了標(biāo)準(zhǔn)揉搓試驗(yàn)[10-11]。試件長280 mm，寬200 mm。首先安裝固定揉搓試件（圖3（a）），然后進(jìn)行揉搓試驗(yàn)。揉搓分三步完成，第一步上揉搓圓臺向下平移90 mm，同時(shí)旋轉(zhuǎn)440°（圖3（b））；第二步再向下平移65 mm；最后恢復(fù)至原始位置，整個(gè)過程下揉搓圓臺固定不動(dòng)。

圖3 標(biāo)準(zhǔn)揉搓試驗(yàn)

1.4 折皺人工檢測方法

根據(jù)美國材料實(shí)驗(yàn)協(xié)會（ASTM）相關(guān)標(biāo)準(zhǔn)[12]，傳統(tǒng)涂層織物折皺檢測采用人工方法，對具有折皺的材料選取一定檢測區(qū)域，根據(jù)折痕的長度，對折皺進(jìn)行畫點(diǎn)標(biāo)識，點(diǎn)的分配方案如表1。該方法將折痕分類為峰線與谷線，折痕相對于膜材平面突出、靠近觀察者的為峰線，以紅點(diǎn)標(biāo)識；反之為谷線，以藍(lán)點(diǎn)標(biāo)識，如圖4所示。

表1 標(biāo)識點(diǎn)分配方案B

圖4 涂層織物折皺傳統(tǒng)的評估方法

人工檢測方法對檢測人員的視力和光線條件要求較高，細(xì)小或亮度較低的折皺部分容易被忽略。工作人員的經(jīng)驗(yàn)和主觀判斷對檢測結(jié)果的影響較大，不同人員的檢測結(jié)果很難一致，檢測精度無法有效保證。由于人工檢測效率低下，大型結(jié)構(gòu)的折皺檢測需要大量的人力和時(shí)間。

2 折皺識別模型構(gòu)建

2.1 深度學(xué)習(xí)網(wǎng)絡(luò)模型構(gòu)架

本文建立了一種基于多尺度特征融合的折皺識別與檢測的新穎深度卷積神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)由下采樣編碼器和上采樣解碼器兩部分組成。第一階段通過卷積和池化操作對折皺圖像進(jìn)行逐像素特征提取學(xué)習(xí)，將每一個(gè)像素看作獨(dú)立訓(xùn)練樣本，用像素點(diǎn)上的損失函數(shù)進(jìn)行訓(xùn)練，增加訓(xùn)練樣本的有效性并防止模型過擬合。第二階段采用新的上采樣模式，將分割網(wǎng)絡(luò)底層特征和多尺度高層特征有效融合，經(jīng)過連續(xù)卷積上采樣操作，進(jìn)行折皺圖像分類和識別。以下從整體語義分割網(wǎng)絡(luò)、多尺度特征融合結(jié)構(gòu)和上采樣模塊三個(gè)方面進(jìn)行詳細(xì)介紹。

2.1.1 折皺識別網(wǎng)絡(luò)整體結(jié)構(gòu)

本文深度卷積神經(jīng)網(wǎng)絡(luò)整體結(jié)構(gòu)如圖5 所示。為了檢測高分辨率圖像中的小表面折皺，需要較大的感受野以及能夠捕獲小特征細(xì)節(jié)。因此在編碼器結(jié)構(gòu)中采用較大的卷積層，以實(shí)現(xiàn)特征圖和像素分類器之間的密集連接，從而增強(qiáng)像素上的分類和定位信息轉(zhuǎn)換能力。編碼器底層模塊統(tǒng)一采用5×5卷積核，在高層模塊中布置額外的下采樣層并采用較大的15×15卷積核，以顯著增加感受野尺寸和容量。每一個(gè)卷積層后會有特征歸一化層和Relu激活函數(shù)層，后者有助于加快訓(xùn)練收斂速度。經(jīng)過以上卷積和池化層逐層下采樣特征提取最終輸出單通道深層特征圖，該特征圖經(jīng)過多尺度特征融合結(jié)構(gòu)獲取更多的折皺語義信息。解碼器將多尺度特征融合模塊輸出和編碼器底層特征進(jìn)一步融合，經(jīng)過連續(xù)卷積操作和四倍上采樣，最終輸出與原圖同大小的折皺分割結(jié)果圖。本次語義分割網(wǎng)絡(luò)采用交叉熵函數(shù)[13]來計(jì)算像素預(yù)測損失，其表達(dá)如式（1）和（2）所示。

圖5 基于改進(jìn)的深度卷積神經(jīng)網(wǎng)絡(luò)示意圖

式中，X、Wj分別代表輸入數(shù)據(jù)及對應(yīng)的權(quán)重，L代表損失函數(shù)，xn∈[0 ,255] 代表輸入圖像像素值，yn∈{0,1} 代表二值標(biāo)簽值，y∈{0,1} 代表網(wǎng)絡(luò)最終預(yù)測概率值。

為了在少量訓(xùn)練樣本數(shù)據(jù)集上得到良好的檢測效果，本文對傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行以下的三個(gè)改善。第一，改善編碼器結(jié)構(gòu)更合理安排卷積層，編碼器底層布置少量卷積層，相對高層布置多量且大尺寸卷積核以顯著增加感受野大小和容量。第二，編碼器使用最大池化層替代大步長卷積層，提高網(wǎng)絡(luò)弱監(jiān)督對象識別能力，避免特征提取過程中丟失細(xì)小但重要的分割信息。第三，將底層特征和多尺度高層特征進(jìn)行有效融合，提高網(wǎng)絡(luò)分割結(jié)果的精度，減少對訓(xùn)練樣本數(shù)量的依賴。

2.1.2 多尺度特征融合結(jié)構(gòu)

編碼器使用多層卷積和池化操作進(jìn)行逐步特征提取，能夠識別具有較強(qiáng)鑒別特征的折皺區(qū)域，但對于鑒別特征較弱的部分效果并不理想[13]。擴(kuò)張卷積是卷積核的一種特殊表達(dá)形式，其在卷積核權(quán)重之間插入零值擴(kuò)大感受野，以擴(kuò)大特征映射的圖像區(qū)域[14]。為了準(zhǔn)確的定位（較小的視野）和有效獲取上下文信息（較大的視野）之間找到最佳平衡點(diǎn)，通過采樣率為（1、3、5）和（6，12，18）[15-16]兩組模型進(jìn)行實(shí)驗(yàn)比較，最終將多尺度特征融合模塊設(shè)置為采樣率分別為（1、3、5）的三個(gè)3×3空洞卷積和全局平均池化層。編碼器最后一個(gè)特征通過全局平均池化層映射，得到的特征通過256個(gè)濾波器進(jìn)行1×1卷積，然后雙線性地將特征上采樣到所需的空間維度。本文采用擴(kuò)張卷積添加多尺度特征融合結(jié)構(gòu)，其結(jié)構(gòu)如圖6所示。

圖6 多尺度特征融合結(jié)構(gòu)

空洞卷積作為強(qiáng)大的工具，提供了一種有效的機(jī)制來控制視野。它不僅可以控制特征分辨率，還能調(diào)整濾波器視野以捕獲多尺度信息。本文多尺度特征提取模塊用于探索多尺度卷積特征，將全局背景基于圖像層次進(jìn)行編碼獲得特征，將單個(gè)尺度上提取的卷積特征更改為不同采樣率的多個(gè)并行空洞卷積層重采樣，有效地對任意尺度的區(qū)域進(jìn)行檢測分類。相較于傳統(tǒng)的標(biāo)準(zhǔn)卷積多尺度處理方式，本文減少了網(wǎng)絡(luò)參數(shù)規(guī)模和計(jì)算量，有效提高檢測精度。

2.1.3 上采樣模塊

傳統(tǒng)網(wǎng)絡(luò)中由于降維操作來增大感受野同時(shí)降低分辨率，導(dǎo)致上采樣無法完全還原部分細(xì)節(jié)信息的損失。因此本文網(wǎng)絡(luò)解碼器模塊進(jìn)行了改善，該部分包含兩個(gè)輸入：一是編碼器底層高分辨特征的輸出，二是多尺度特征融合模塊高層低分辨率特征的輸出。利用不同尺度特征以獲取局部和全局上下文信息。如圖7 所示，2、3 等編碼器底層特征圖保留了更多的空間細(xì)節(jié)。使用最大池化層（圖7中5）相對大步長卷積層（圖7中4）更能獲得清晰的細(xì)小分割信息，如圖中離折皺骨架較遠(yuǎn)，并在低分辨率檢測圖像中占據(jù)很小部分的折皺邊界信息。而6 等深層特征圖具有更強(qiáng)的表示能力。通過連續(xù)3×3 核大小的卷積運(yùn)算提高特征融合后的表達(dá)能力。由于上采樣模塊可以恢復(fù)雙線性上采樣操作中丟失的細(xì)節(jié)，所以采用連續(xù)三個(gè)卷積層提高解碼器學(xué)習(xí)能力。上采樣模塊的參數(shù)詳情見表2。

圖7 特征圖可視化結(jié)果

表2 上采樣模塊參數(shù)組成

2.2 涂層織物材料折皺數(shù)據(jù)集

將標(biāo)準(zhǔn)揉搓試驗(yàn)后的涂層織物試驗(yàn)件進(jìn)行實(shí)地掃描，收集到167張有效的折皺圖像（包括陰陽面）。為了降低訓(xùn)練所需的計(jì)算顯存，加快損失收斂速度，所采集的圖像經(jīng)過Adobe Photoshop CC 軟件裁剪為統(tǒng)一尺寸：512×512 像素，建立250 張折皺圖像原始數(shù)據(jù)庫（包括涂層織物材料陰面122張、陽面128張）。對圖像進(jìn)行伽馬校正處理亮度偏差，增加圖像對比度。進(jìn)而按照“訓(xùn)練集∶測試集=4∶1”的比例建立涂層織物折皺數(shù)據(jù)庫。

深度學(xué)習(xí)語義分割屬于監(jiān)督學(xué)習(xí)，因此訓(xùn)練集每張圖像樣本需要對應(yīng)一張標(biāo)簽圖，標(biāo)簽圖包含分割目標(biāo)的定位和分類信息，形成目標(biāo)數(shù)據(jù)集。本文使用Labelme軟件對折皺圖像進(jìn)行人工標(biāo)注，將折皺區(qū)域標(biāo)注為白色區(qū)域，非折皺區(qū)域標(biāo)注為黑色區(qū)域，數(shù)據(jù)集準(zhǔn)備過程如圖8所示。

圖8 數(shù)據(jù)集的標(biāo)簽制作過程

2.3 模型評判標(biāo)準(zhǔn)

本文根據(jù)網(wǎng)絡(luò)模型訓(xùn)練所得最優(yōu)模型參數(shù)，在測試集上進(jìn)行評估。本文采取以下指標(biāo)[17]進(jìn)行模型性能評估：準(zhǔn)確率P，如公式（3）所示；查全率R，如公式（4）所示；平均精度AP；總和評價(jià)指標(biāo)F1，如公式（5）所示及平均交并比mIOU，如公式（6）所示。

式中，TP表示真正例，F(xiàn)P表示假正例，F(xiàn)N表示假反例。Pii表示實(shí)際類型為i，預(yù)測類型為i的像素總數(shù)；Pji表示實(shí)際類型為i，預(yù)測類型為j的像素總數(shù)。

2.4 模型訓(xùn)練和結(jié)果

基于自制數(shù)據(jù)庫的測試在Microsoft Windows 10專業(yè)版操作系統(tǒng)，Intel?CoreTMi9-8400 CPU@ 3.40 GHz的處理器，16 GB 顯存的NVIDIA RTX 2080 顯卡配置下，使用深度學(xué)習(xí)框架Tensorflow進(jìn)行訓(xùn)練。訓(xùn)練階段采用Adam算法優(yōu)化網(wǎng)絡(luò)，初始學(xué)習(xí)率設(shè)置為0.000 1，權(quán)值衰減率和梯度下降系數(shù)分別設(shè)置為0.000 5和0.999 7。經(jīng)過33 000 次迭代以后，準(zhǔn)確率不再提高且趨于穩(wěn)定，本文模型識別和訓(xùn)練結(jié)果如圖9和圖10所示。

圖9 本文網(wǎng)絡(luò)折皺識別結(jié)果

本文模型最終在訓(xùn)練集和驗(yàn)證集上準(zhǔn)確率均達(dá)到95%以上，損失收斂至小于0.1。識別效果如圖10所示，涂層織物陰面凹凸不平等因素引起的像素噪聲已被弱化，能夠準(zhǔn)確地分割出折皺骨架和邊緣。與其他方法相比，本文網(wǎng)絡(luò)在相同的訓(xùn)練迭代次數(shù)上收斂精度更高且穩(wěn)定。模型性能僅使用1 570 萬參數(shù)實(shí)現(xiàn)，而Resnet 和Xception 等流行網(wǎng)絡(luò)參數(shù)數(shù)量分別為8 500 萬和2 330萬，有效減少了網(wǎng)絡(luò)參數(shù)。

圖10 訓(xùn)練結(jié)果

3 形態(tài)化處理

3.1 形態(tài)學(xué)骨架化

對于本文網(wǎng)絡(luò)模型最終輸出的二值分割結(jié)果圖像，通過形態(tài)學(xué)骨架化運(yùn)算將具有一定像素寬度的折皺變成單像素線條，以實(shí)現(xiàn)骨架提取，為計(jì)算折皺幾何信息完成第一步基礎(chǔ)處理，同時(shí)更簡潔地描述折皺形態(tài)信息。本文定義骨架采用基于最大圓盤概念的算法[18]，結(jié)果如圖11所示。

圖11 折皺圖像骨架化過程

3.2 折皺幾何信息計(jì)算

從骨架化后的折皺圖像中可以得到一組坐標(biāo)[xi,yi],xi、yi分別代表折皺骨架的橫坐標(biāo)和縱坐標(biāo)，i=0,1,2,…,n。則折皺長度可按公式（7）算出：

在圖像的像素矩陣中，任意點(diǎn)的像素坐標(biāo)可表示成(i,Z(i,k)) 的形式，其中，i=0,1,2,…,n;K=1,2,…,n。假設(shè)第K列中最下面一個(gè)邊緣檢測點(diǎn)的像素坐標(biāo)為(j,Z(j,k))，最上面一個(gè)邊緣檢測點(diǎn)（即折皺邊緣點(diǎn)）的像素坐標(biāo)為(i,Z(i,k))，則可以得出如下公式：

折皺的垂直像素寬度P(k)：

式中，l為折皺長度，a為圖像像素率，即一個(gè)單位的像素的實(shí)際長度。

圖12（a）為隨機(jī)選取的一張折皺圖像，對該圖像包含的折皺幾何信息進(jìn)行統(tǒng)計(jì)。第一步將原始圖像輸入本文算法得到折皺檢測結(jié)果，即折皺分割二值圖（圖12（b））。接著通過折皺幾何信息提取算法計(jì)算，得到折皺長度、平均寬度與面積等幾何信息，折皺幾何信息見表3。

圖12 折皺幾何信息智能統(tǒng)計(jì)示意圖

表3 折皺幾何信息數(shù)據(jù)表

4 模型驗(yàn)證與識別結(jié)果

4.1 模型驗(yàn)證

為驗(yàn)證本文網(wǎng)絡(luò)結(jié)構(gòu)改善的有效性，對網(wǎng)絡(luò)編碼器和解碼器分別進(jìn)行性能驗(yàn)證對比實(shí)驗(yàn)。

4.1.1 編碼器結(jié)構(gòu)性能驗(yàn)證

折皺檢測任務(wù)為二分類問題，編碼器特征提取結(jié)構(gòu)不宜太深，參數(shù)不宜過多，否則會導(dǎo)致模型過擬合。本文對特征提取結(jié)構(gòu)進(jìn)行調(diào)整，編碼器低層使用小卷積核，而深層布置相對大的卷積核以增加感受野大小和容量，提高特征有效提取和融合。另外使用最大池化層代替大步長卷積核進(jìn)行下采樣，避免小而重要的細(xì)節(jié)在特征提取過程中丟失。為驗(yàn)證結(jié)構(gòu)優(yōu)化的有效性，將與AlexNet[19]、VGG16[20]、ResNet[21]和Xception[22]等深度學(xué)習(xí)特征提取結(jié)構(gòu)進(jìn)行對比實(shí)驗(yàn)。本文將不同結(jié)構(gòu)作為編碼器下采樣結(jié)構(gòu)，其他模塊參數(shù)保持不變，以同樣的數(shù)據(jù)集上進(jìn)行6組對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖13所示。

圖13 不同特征提取結(jié)構(gòu)準(zhǔn)確度曲線表

不同結(jié)構(gòu)準(zhǔn)確率和結(jié)構(gòu)對比如圖13 和表4 所示。相對其他特征提取模型，本文編碼器不僅簡化網(wǎng)絡(luò)結(jié)構(gòu)，減少模型參數(shù)量，還有效提高分割精度，性能趨于穩(wěn)定且高效，適合折皺圖像語義分割二分類任務(wù)。

表4 不同模型結(jié)構(gòu)和準(zhǔn)確率比較

為保證網(wǎng)絡(luò)結(jié)構(gòu)的簡潔和一致，諸多深度學(xué)習(xí)網(wǎng)絡(luò)采用大步長卷積層代替池化層，同時(shí)不影響網(wǎng)絡(luò)性能[23]。但卷積層不僅會增加網(wǎng)絡(luò)參數(shù)，減慢訓(xùn)練速度，也會導(dǎo)致特征數(shù)據(jù)結(jié)構(gòu)發(fā)生變化。而最大池化層引入了非線性，保證特征的平移不變性，使得高層特征具有更大的感受野，這有助于捕捉細(xì)小而重要的折皺細(xì)節(jié)信息。

本文編碼器在每一塊卷積操作后分別用卷積核為2×2 的最大池化層（圖13 中本文算法MP）和卷積核為3×3，步長為2的卷積操作（圖13中本文算法LC）進(jìn)行一組對比實(shí)驗(yàn)。如圖13所示，與大步長卷積操作相比，使用最大池化層進(jìn)行特征降維，準(zhǔn)確率能夠提高約6.4%。

4.1.2 解碼器結(jié)構(gòu)性能驗(yàn)證

上采樣模塊卷積數(shù)的選擇對模型最終折皺檢測結(jié)果有很大的影響。為了驗(yàn)證本文解碼器結(jié)構(gòu)有效性，進(jìn)行了不同上采樣結(jié)構(gòu)組合對比實(shí)驗(yàn)，表5顯示了不同結(jié)構(gòu)的性能對比。將第一層底層特征和高層語義特征輸入后，與使用一個(gè)或兩個(gè)卷積運(yùn)算相比，采用三個(gè)[3×3，256]連續(xù)卷積可獲得最佳識別結(jié)果，mIoU 值分別增加了1.05個(gè)百分點(diǎn)和0.12個(gè)百分點(diǎn)，當(dāng)使用四個(gè)連續(xù)卷積運(yùn)算時(shí)，模型精度開始下降。

表5 不同網(wǎng)絡(luò)結(jié)構(gòu)算法性能比較

為了評估底層特征對折皺邊緣分割的影響，將編碼器的第一層、第二層及兩層低層組合特征進(jìn)行對比實(shí)驗(yàn)。如表5所示，將兩層特征組合使用時(shí)平均準(zhǔn)確率AP和mIoU值分別為95.78%和77.53%，與使用單個(gè)底層特征相比，分別提高了4.32個(gè)百分點(diǎn)和3.89個(gè)百分點(diǎn)。因此，本文上采樣模塊將底層折皺特征與深層語義信息有效結(jié)合，有助于聚合折皺多級特征并提高檢測準(zhǔn)確性。

4.2 識別結(jié)果對比

為了進(jìn)一步評估本文模型的識別效果，將本文算法分別與傳統(tǒng)語義分割技術(shù)和其他深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行對比，并采用多種評估指標(biāo)進(jìn)行定性和定量驗(yàn)證。

4.2.1 與傳統(tǒng)圖像語義分割技術(shù)識別結(jié)果對比

從數(shù)據(jù)庫中隨機(jī)選取3組折皺圖像（包括陰陽面），將本文算法與Canny邊緣檢測法[24]、大律法和區(qū)域生長法進(jìn)行比較。Canny邊緣檢測法采用Canny算子對折皺圖像進(jìn)行識別。大律法是一種自適應(yīng)性閾值確定方法，利用灰度值分布確定合適的閾值，將圖像分割為折皺與背景區(qū)域。區(qū)域生長法為一種基于前景圖像相似性進(jìn)行分割的算法[25]。不同算法折皺檢測結(jié)果對比如圖14所示。

圖14 本文算法與傳統(tǒng)語義分割算法識別結(jié)果對比

對于組別一和組別三，涂層織物陽面折皺分布較明顯，主要干擾因素為折皺邊緣亮度不均所導(dǎo)致的灰度值分布差異。Canny 邊緣檢測法和區(qū)域生長法能夠識別出折皺大致骨架，但受噪聲影響，沒能分割折皺邊緣。大律法只能粗略分割出折皺趨勢和其邊緣，但對折皺骨架兩側(cè)邊緣和非折皺區(qū)域的判斷誤差較大。本文算法很好地克服了對比度低和噪聲不均等因素對圖像分割帶來的干擾，正確識別出折皺及其邊緣。

對于組別二，涂層織物陰面折皺與非折皺背景對比度低的特點(diǎn)增加了折皺識別難度，紗線經(jīng)緯向交叉出現(xiàn)了周期性凹凸，圖像亮度和灰度值變化大。

三種傳統(tǒng)語義分割方法均受噪聲干擾將材料凹凸處灰度值高即比較亮的部分誤識為折皺，其中大律法大致分割出了折皺的位置和邊界，但非折皺區(qū)域識別錯(cuò)誤率相當(dāng)高。本文算法能夠精準(zhǔn)地分割出折皺和背景。

4.2.2 與其他深度語義分割網(wǎng)絡(luò)識別結(jié)果對比

從數(shù)據(jù)庫中選取5組具有代表性的折皺圖像，在同樣的數(shù)據(jù)集基礎(chǔ)上分別與Shelhamer等[26]提出的FCN和Chen等[27]提出的DeepLabV3+兩種卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行對比實(shí)驗(yàn)，對比結(jié)果如圖15 所示。使用本文采用的評估標(biāo)準(zhǔn)計(jì)算網(wǎng)絡(luò)性能，對比結(jié)果見表6。

表6 不同網(wǎng)絡(luò)算法性能比較 %

由表6不同算法的定量對比結(jié)果可知，在復(fù)雜背景和少量樣本下本文折皺檢測精度最高，與其他深度學(xué)習(xí)網(wǎng)絡(luò)算法相比，mIoU值最高為77.53%。FCN和DeepLabv3+模型的mIoU 值分別為43.51%和61.49%。在其余如準(zhǔn)確率、查全率、查準(zhǔn)率和F1 等評價(jià)指標(biāo)中，本文算法均達(dá)93%以上，檢測結(jié)果明顯優(yōu)于其他網(wǎng)絡(luò)。本文算法性能提高的主要原因是編碼階段使用了多尺度特征融合模塊，捕獲上下文折皺特征以進(jìn)行精確的語義挖掘，在獲得豐富語義信息的基礎(chǔ)上，利用低層高分辨率特征恢復(fù)折皺目標(biāo)邊界信息，采用連續(xù)卷積運(yùn)算恢復(fù)特征圖，通過多層改進(jìn)提高細(xì)小折皺檢測精度。

圖15 描述了不同算法折皺檢測結(jié)果的視覺對比。第一列為包含折皺的原始圖像。實(shí)驗(yàn)結(jié)果表明，全卷積神經(jīng)網(wǎng)絡(luò)FCN 整體識別效果差，同時(shí)嚴(yán)重受非折皺區(qū)域噪聲干擾，不能適應(yīng)復(fù)雜場景下的折皺智能檢測。DeepLabV3+在檢測材料陽面對比度較高的折皺任務(wù)上表現(xiàn)較好，但因單卷積核會導(dǎo)致折皺信息的丟失，在陰面折皺檢測中遺漏了損傷程度低的細(xì)小折皺信息，折皺分割結(jié)果并不全面和準(zhǔn)確。本文算法很好地融合了不同尺度語義特征，在少量訓(xùn)練樣本基礎(chǔ)上克服了折皺背景等諸多噪聲干擾，準(zhǔn)確分割出折皺骨架、邊緣和細(xì)小部分。隨著數(shù)據(jù)集的完善和網(wǎng)絡(luò)參數(shù)的優(yōu)化，本文算法精度和背景偽影抑制的魯棒性可以進(jìn)一步提高，以便于應(yīng)用到更多復(fù)合材料損傷檢測和評估任務(wù)中。

圖15 本文算法與其他深度學(xué)習(xí)語義分割算法識別結(jié)果對比

4.2.3 訓(xùn)練集樣本數(shù)量敏感度分析

模型訓(xùn)練所需樣本數(shù)量是影響算法在實(shí)際工程中應(yīng)用的重要因素，為了驗(yàn)證本文模型在數(shù)據(jù)庫依賴上的改善，本文評估了樣本數(shù)量對訓(xùn)練模型的影響。每組隨機(jī)刪除樣本，分別以200、150 和100 張訓(xùn)練集進(jìn)行三組對比實(shí)驗(yàn)，每組實(shí)驗(yàn)遵循本文2.4 節(jié)中的訓(xùn)練流程和網(wǎng)絡(luò)參數(shù)的設(shè)定。

結(jié)果如圖16所示，使用較少的訓(xùn)練樣本時(shí)，F(xiàn)CN和DeepLabv3+識別精度比本文方法低，隨著樣本數(shù)量減少性能下降幅度明顯。DeepLabv3+模型在150 和100個(gè)訓(xùn)練樣本數(shù)據(jù)集上的準(zhǔn)確率分別下降4.57 個(gè)百分點(diǎn)和27.87個(gè)百分點(diǎn)，表明DeepLabv3+對特定訓(xùn)練示例相當(dāng)敏感。FCN對訓(xùn)練樣本數(shù)量更為依賴，樣本較少時(shí)網(wǎng)絡(luò)性能不穩(wěn)定。三組對比實(shí)驗(yàn)中，本文算法準(zhǔn)確率均高于90%。本文通過逐像素?fù)p失訓(xùn)練方式和深層多尺度豐富語義信息特征和底層全局信息有效融合，在少量訓(xùn)練樣本基礎(chǔ)上還能保持優(yōu)秀且穩(wěn)定的檢測效果，相比其他方法需要大量的訓(xùn)練樣本，本文方法可以降低訓(xùn)練成本，提高在實(shí)際工程應(yīng)用的能力。

圖16 樣本數(shù)量與算法識別精度柱狀圖

5 結(jié)束語

本文針對涂層織物折皺智能識別與檢測方法的問題，提出一種基于多尺度特征融合的端到端深度卷積神經(jīng)網(wǎng)絡(luò)。首先通過標(biāo)準(zhǔn)揉搓試驗(yàn)?zāi)M涂層織物折皺損傷過程建立數(shù)據(jù)庫，利用伽馬校正增加折皺與背景對比度；然后利用不同采樣率的擴(kuò)張卷積和池化操作構(gòu)成多尺度特征融合模塊，通過深底層特征融合并連續(xù)卷積運(yùn)算上采樣得到準(zhǔn)確的分割結(jié)果；最后使用形態(tài)學(xué)處理獲取折皺幾何信息。實(shí)驗(yàn)結(jié)果表明，本文算法僅在250張數(shù)據(jù)庫的容量上達(dá)到95.78%的準(zhǔn)確率和77.53%的平均交并比。本文算法優(yōu)化特征提取結(jié)構(gòu)布置，采用多尺度擴(kuò)張卷積，改進(jìn)上采樣模塊，充分利用不同深度和不同尺度的折皺特征，不僅有效獲取折皺鑒別特征，還能恢復(fù)折皺邊界信息，實(shí)現(xiàn)折皺的像素級預(yù)測。通過對網(wǎng)路結(jié)構(gòu)的驗(yàn)證、與傳統(tǒng)語義分割技術(shù)和其他深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行對比，本文算法所需的訓(xùn)練樣本數(shù)少，但檢測準(zhǔn)確率高，能夠解決傳統(tǒng)人工檢測效率低，識別誤差大的問題，為智能檢測涂層織物折皺提供了良好的技術(shù)手段。