基于輕量級模型的經(jīng)編布瑕疵在線檢測算法

唐有赟， 盛曉偉，徐 洋， 余智祺，孫以澤

(東華大學(xué) 機械工程學(xué)院， 上海 201620)

布匹瑕疵檢測是紡織企業(yè)生產(chǎn)流水線上的一個重要環(huán)節(jié)，布匹的檢測效率以及準(zhǔn)確度決定企業(yè)的經(jīng)濟效益及客戶持續(xù)合作的意向?，F(xiàn)階段，大多數(shù)紡織企業(yè)采用人工檢測的方式，該檢測方法需要工人長時間站立于驗布機臺前，通過不間斷地仔細觀察處于移動狀態(tài)中的布匹瑕疵狀態(tài)。其存在以下不足：首先對人眼傷害極大并且檢測效率低，其次因不同工人的評判標(biāo)準(zhǔn)不一致導(dǎo)致檢測準(zhǔn)確率低，最后對工人的培訓(xùn)以及工資支付成本高。近年來，隨著機器視覺技術(shù)的發(fā)展，其被工業(yè)界廣泛應(yīng)用[1-2]。該方法不僅可以彌補工人效率低的不足，還可以降低工人勞動強度，并且不受工人主觀性的影響，可以提高檢測準(zhǔn)確率。

在瑕疵檢測中，應(yīng)用機器視覺的方法大致可以分類兩類。一類是傳統(tǒng)的圖像處理方法：如胡克滿等[3]通過改進Canny算子提取瑕疵特征進行檢測；吳瑩等[4]通過K- 奇異值分解(K-singular value decompostion， K-SVD)學(xué)習(xí)字典提取織物的表明紋理特征進行檢測；湯曉慶等[5]通過Gabor濾波器結(jié)合方向梯度直方圖(histogram of oriented gradient，HOG)特征進行瑕疵檢測；萬東等[6]通過先計算瑕疵的灰度共生矩陣(gray level co-occurrence matrix， GLCM)特征，然后利用支持向量機進行分類。該類方法由于需要人工提取特征，檢測性能容易受到預(yù)測樣本的多樣性影響，泛化能力弱。另一類是近年來發(fā)展迅速的深度學(xué)習(xí)方法[7-8]，該方法不需要人工提取特征，可以真正實現(xiàn)端到端的學(xué)習(xí)。但是由于大多數(shù)模型采用大量的卷積層操作，如趙志勇等[9]通過采用Inception-Resnet-v2進行瑕疵檢測，但是一張圖的檢測耗時為0.2 s，雖在精度上遠超傳統(tǒng)圖像處理方法，但速度達不到工廠實時在線檢測的要求。

為滿足實際工廠需求，本文提出輕量級模型的經(jīng)編布匹瑕疵在線檢測算法，通過改進MUNIT[10]模型算法以擴充瑕疵樣本，在一階模型YOLO(you only look once)的基礎(chǔ)上引入深度可分離卷積以減少參數(shù)量，從而提升檢測速度，加入自定義ASPP(atrous spatial pyramid pooling)模塊以提高模型檢測精度，并采用Focal Loss損失函數(shù)減少類別不平衡對檢測精度的影響。為驗證模型的高效性，通過設(shè)置一系列試驗與原始一階模型YOLO及二階模型Faster R-CNN(region-convolutional neural network)進行對比。

1 經(jīng)編布匹瑕疵在線檢測系統(tǒng)組成

經(jīng)編布匹瑕疵在線檢測系統(tǒng)主要由相機、條形光源、計算機、編碼器、檢測平臺組成，如圖1所示。相機為DALSA黑白線掃相機，型號為LA-CM-04K08A-00-R，相機的圖像分辨率為4 096像素×1像素，采樣頻率由編碼器根據(jù)布匹的速度發(fā)出脈沖信號決定。相機高度以及相鄰相機之間的間距可以根據(jù)實際需要拍攝布匹的幅寬進行上下、左右調(diào)整，光源的亮度可以根據(jù)布匹的顏色深淺通過輸出電壓進行調(diào)整。由于布匹在運動過程中不可避免會產(chǎn)生抖動，可能導(dǎo)致相機所拍攝的圖像模糊，因此，檢測系統(tǒng)的檢測平臺與相機及光源獨立安裝。瑕疵檢測程序基于Windows 10操作系統(tǒng)、TensorFlow框架、python語言，CPU為E3-1220v3處理器，內(nèi)存容量為32G， GPU型號為NVIDIA GeForce GTX 1660。

2 布匹瑕疵在線檢測算法設(shè)計

經(jīng)編布匹瑕疵在線檢測算法是整個系統(tǒng)的核心，主要包含：改進MUNIT模型擴充瑕疵樣本、自定義ASPP模塊、設(shè)置深度可分離卷積、采用Focal Loss函數(shù)、建立模型評判標(biāo)準(zhǔn)5個部分。通過MUNIT模型擴充瑕疵樣本，將擴充的瑕疵樣本與真實拍攝圖像共同用于檢測模型的訓(xùn)練，將訓(xùn)練得到的最優(yōu)模型進行瑕疵檢測。

2.1 改進MUNIT模型

基于深度學(xué)習(xí)的目標(biāo)檢測準(zhǔn)確度在一定程度上取決于瑕疵樣本訓(xùn)練集的數(shù)量，雖然通過搭建的瑕疵檢測系統(tǒng)已經(jīng)采集一定數(shù)量的瑕疵圖像，但是部分不常見瑕疵樣本數(shù)量略有不足。目前樣本增強的方法大概有以下3種：幾何變換、VAE(variational auto-encoder)、GAN(generative adversarial networks)。幾何變換的方式由于沒有生成新的圖片，作用效果不大；VAE由于沒有對抗損失，生成的圖片會比較模糊；而傳統(tǒng)GAN容易出現(xiàn)模式崩潰的問題。

為解決以上3種方法的不足，采用改進的MUNIT模型進行瑕疵樣本擴充，該模型的框架如圖2所示。將瑕疵圖像(X)編碼為內(nèi)容和風(fēng)格兩部分，將內(nèi)容存儲于共享內(nèi)容空間(C)，而風(fēng)格存儲于不同風(fēng)格空間(S)，如圖2(a)所示。輸入正常經(jīng)編布匹樣本(X1)，將其內(nèi)容編碼存儲至共享內(nèi)容空間C，將共享內(nèi)容空間C的內(nèi)容與風(fēng)格空間S2中隨機抽取一份解碼合成新的瑕疵圖像，在這個過程中加入隨機噪聲，如圖2(b)所示。

為解決傳統(tǒng)GAN因訓(xùn)練不穩(wěn)定而容易出現(xiàn)模式崩潰的問題，改進MUNIT模型，如圖3所示。通過構(gòu)建多個重構(gòu)過程，在重構(gòu)過程中都加入隨機噪聲，同時使用像素損失和GAN損失，在訓(xùn)練過程中將所有的損失函數(shù)聯(lián)合在一起同時優(yōu)化，最終得到訓(xùn)練過程穩(wěn)定、生成瑕疵樣本多樣性好的MUNIT模型。將正常布匹和瑕疵圖像分別編碼成內(nèi)容和風(fēng)格，再將編碼的內(nèi)容和風(fēng)格重構(gòu)為原始圖像，如圖3(a)所示。同理，通過交叉重構(gòu)實現(xiàn)正常布匹與瑕疵布匹的內(nèi)容和風(fēng)格編碼及解碼。此外，為使生成圖像多樣性更好，將正常布匹和瑕疵圖像重構(gòu)的圖像進行再次編碼，然后對原始圖像的內(nèi)容及風(fēng)格進行優(yōu)化，如圖3(b)所示。

2.2 自定義ASPP模塊

通常神經(jīng)網(wǎng)絡(luò)的卷積核越大，其感受野越大，從而能夠更好地獲取特征圖上的全局信息，因此在一定程度上ASPP模塊能提高模型檢測準(zhǔn)確率。但是，隨著卷積核的增大，其參數(shù)量大幅增加，最終導(dǎo)致模型的計算量過大，運行速度急劇降低。因此，基于空洞卷積的思想，為經(jīng)編布圖像定義符合瑕疵特征的ASPP模塊，如圖4所示。通過設(shè)置不同生長率的空洞卷積，在不增加計算量的前提下提升感受野，以提高模型的檢測精度。

2.3 設(shè)置深度可分離卷積

傳統(tǒng)卷積過程如圖5所示。

在卷積過程中某一層經(jīng)編布匹的瑕疵特征圖為10×10×512(10×10表示瑕疵特征的大小，512表示特征的數(shù)量)，卷積核的大小為3×3，數(shù)量為1 024

個，步長為2，填充采用same形式，因此根據(jù)卷積操作，得到的特征圖為5×5×1 024，總的FLOPs(floating point operations)計算量為235 929 600(3×3×2×5×5×512×1 024)。

由于傳統(tǒng)卷積操作的計算量大，因此，采用深度可分離卷積的思想降低參數(shù)量，如圖6所示。首先對經(jīng)編布匹的瑕疵特征在通道上進行卷積操作，得到5×5×512的瑕疵特征圖。然后再使用1 024個1×1×512的卷積進行操作，最終得到和傳統(tǒng)卷積一樣的特征輸出為5×5×1 024?？偟腇LOPs計算量為26 444 800(3×3×512×2×5×5+1 024×512×2×5×5)，計算量約為傳統(tǒng)卷積的11.2%。

通過結(jié)合ASPP模塊以及深度可分離卷積，最終的經(jīng)編布匹瑕疵檢測模型整體網(wǎng)絡(luò)框架如表1所示。

表1 整體網(wǎng)絡(luò)結(jié)構(gòu)框架

(續(xù)表)

2.4 設(shè)置Focal Loss函數(shù)

神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中參數(shù)優(yōu)化的穩(wěn)定性在一定程度上取決于損失函數(shù)的選擇。目前，常用目標(biāo)檢測網(wǎng)絡(luò)的類別損失函數(shù)為交叉熵損失函數(shù)，其二分類交叉熵公式為

CE(p，y)=-ylog(p)-(1-y)log(1-p)

(1)

式中：p為模型預(yù)測的概率；y為真實值。定義表達式為

(2)

式中：pt為定義的中間變量名。為方便后續(xù)表示，則最終的二分類交叉熵損失函數(shù)為

CE(pt)=-log(pt)

(3)

根據(jù)式(3)可以推斷，交叉熵損失值容易受到類別不平衡問題的影響。由于經(jīng)編布匹中瑕疵所占據(jù)的像素區(qū)域相對于整個圖像而言比例很小，在訓(xùn)練過程中會出現(xiàn)正負樣本不平衡的問題，因此采用Focal Loss函數(shù)，如式(4)所示。

FL(pt)=-αt(1-pt)γlog(pt)

(4)

式中：αt為矯正系數(shù)；γ為超參數(shù)，一般取2。通過在交叉熵損失函數(shù)中增加αt和γ兩個參數(shù)約束后，可以在網(wǎng)絡(luò)的訓(xùn)練過程中自動對正、負樣本，以及簡單、復(fù)雜樣本的不平衡進行調(diào)整。

2.5 建立模型評判標(biāo)準(zhǔn)

為使最終得到的模型在實際工廠的經(jīng)編布匹瑕疵檢測中也有很好的準(zhǔn)確率，因此在模型訓(xùn)練過程中建立符合瑕疵特征的評判標(biāo)準(zhǔn)是極其重要的。通常檢測模型好壞的標(biāo)準(zhǔn)有正確率、準(zhǔn)確率、召回率、ROC(receiver operating characteristic)曲線、AUC(area under curve)值、mAP(mean average precision)等，不同評判標(biāo)準(zhǔn)用于不同場景。針對經(jīng)編布匹瑕疵類別數(shù)量不平衡的問題以及瑕疵特征的獨特性，采用mAP的評判方法。

假設(shè)瑕疵為二分類，可以得到混淆矩陣，其中，TP代表將瑕疵正確預(yù)測為瑕疵的數(shù)量，TN代表將背景正確預(yù)測為背景的數(shù)量，F(xiàn)P代表將背景錯誤預(yù)測為瑕疵的數(shù)量，F(xiàn)N代表將瑕疵錯誤預(yù)測為背景的數(shù)量。

準(zhǔn)確率(P)表示真正瑕疵數(shù)量占預(yù)測瑕疵數(shù)量的百分比，其計算式為

(5)

召回率(R)表示被正確預(yù)測的瑕疵數(shù)量占真正瑕疵數(shù)量的百分比，其計算式為

(6)

為了結(jié)合瑕疵的準(zhǔn)確率和召回率，使用PAP表示同一類別的瑕疵在不同召回率上的準(zhǔn)確率平均值，其計算式為

(7)

針對瑕疵類別不平衡的特征，結(jié)合所有類瑕疵每一個PAP值，選擇PmAP作為模型的最終評判標(biāo)準(zhǔn)，其計算式為

(8)

式中：c為瑕疵的類別數(shù)。根據(jù)PmAP的評判標(biāo)準(zhǔn)，只要最終訓(xùn)練得到的模型評判值足夠高，說明該模型的泛化能力越強。

3 經(jīng)編布匹瑕疵在線檢測算法試驗結(jié)果

為驗證輕量級經(jīng)編布匹瑕疵在線檢測算法的精度與速度，設(shè)計不同類型的試驗。待檢測瑕疵的類型為折痕、臟污、破洞、脫針、勾紗，輸入圖像大小為300像素×300像素，其中用于訓(xùn)練MUNIT模型的瑕疵圖像數(shù)量為1 000張，每類瑕疵圖像數(shù)量為200張。用于檢測模型的訓(xùn)練圖像數(shù)量為10 000張，每類瑕疵圖像數(shù)量各2 000張。

3.1 MUNIT模型擴充瑕疵樣本

在訓(xùn)練MUNIT模型過程中，設(shè)定布匹的背景即正常圖像為內(nèi)容，不同種類的瑕疵為風(fēng)格。因此，在擴充樣本的時候只要輸入正常圖像就可以得到瑕疵圖像，如圖7所示。

3.2 瑕疵檢測效果對比

將訓(xùn)練好的模型用于經(jīng)編布匹測試集檢測瑕疵，采用二階模型Faster R-CNN、原始一階模型YOLO及本文模型進行瑕疵檢測效果對比，如圖8所示。圖8中預(yù)測類別后面的數(shù)值代表模型預(yù)測為該類瑕疵的置信度，置信度越高，模型在訓(xùn)練過程中提取不同類別瑕疵各自的特征越好，能夠?qū)⒉煌蔫Υ眠M行準(zhǔn)確分類。由圖8可知，原始一階模型YOLO的置信度不高，而本文模型的置信度與二階模型Faster R-CNN基本一致。

3.3 檢測準(zhǔn)確率及速度

為評估本文模型的有效性，通過對折痕、破洞、臟污、脫針、勾紗分別各200張經(jīng)編布匹圖像進行檢測，與原始一階模型YOLO以及二階模型Faster R-CNN進行對比，結(jié)果如表2所示。

分析表2可知：本文模型的平均識別準(zhǔn)確率為95.8%，比原始一階模型YOLO高5%左右，與二階模型Faster R-CNN基本一致；由平均識別時間折算為檢測速度時，本文模型的檢測速度是原始一階模型YOLO的3倍左右，約是二階模型Faster R-CNN的8倍。對于幅寬為2 m的布匹而言，本文模型的檢測速度可達1.2 m/s，是目前人工檢測速度0.2～0.3 m/s的4～6倍，滿足工廠實際需求。

4 結(jié) 語

本文采用輕量級模型的經(jīng)編布匹瑕疵在線檢測模型，在提高精度的同時減少模型的運行時間，可以代替人工實現(xiàn)瑕疵在線檢測，具體結(jié)論如下：

(1) 通過改進MUNIT模型擴充瑕疵樣本，生成的瑕疵樣本圖像清晰度較高，可以使檢測模型訓(xùn)練數(shù)據(jù)集不受實際瑕疵樣本數(shù)據(jù)采集的影響。

(2) 通過自定義符合瑕疵特征的ASPP模塊，以及引入Folcal Loss損失函數(shù)，可顯著提高模型的精度，使模型具有更好的泛化能力。

(3) 利用深度可分離卷積解決傳統(tǒng)卷積計算量大的問題，顯著提高模型運行速度，對于幅寬為2 m的布匹而言，檢測速度可達1.2 m/s，滿足工廠實際效率需求。