程漢權(quán)　熊繼平　陳經(jīng)緯

關(guān)鍵詞：深度學(xué)習(xí)；織物瑕疵；圖像處理；瑕疵檢測(cè)

中圖分類(lèi)號(hào)：TP29 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1006-8228（2023）11-16-06

0 引言

布匹瑕疵檢測(cè)是紡織業(yè)中至關(guān)重要的環(huán)節(jié)。布匹存在近百種不同的瑕疵類(lèi)型，而且即使是同一種瑕疵，其形狀和大小也存在差異。目前，布匹瑕疵檢測(cè)的手段還是以人工背光檢測(cè)為主[1]。人工檢測(cè)需要很高的熟練度，勞動(dòng)強(qiáng)度大，靠人工檢測(cè)質(zhì)量難以保證。

由于手工檢測(cè)存在主觀性和低效性等問(wèn)題，自動(dòng)化布匹瑕疵檢測(cè)技術(shù)逐漸受到了廣泛關(guān)注及研究。目前計(jì)算機(jī)視覺(jué)瑕疵檢測(cè)方法分為傳統(tǒng)方法和深度學(xué)習(xí)方法兩大類(lèi)。傳統(tǒng)方法大致可以分為四類(lèi)：基于模型、基于頻譜、基于字典和基于統(tǒng)計(jì)。深度學(xué)習(xí)方法主要包括深度卷積神經(jīng)網(wǎng)絡(luò)和生成模型，具體分類(lèi)如圖1 所示。

1 常見(jiàn)瑕疵種類(lèi)及成因

同一個(gè)批次的產(chǎn)品往往因一個(gè)瑕疵品受到影響。第一，產(chǎn)品質(zhì)量會(huì)直接影響到布匹企業(yè)的名譽(yù)和市場(chǎng)份額。第二，瑕疵產(chǎn)品會(huì)打亂產(chǎn)品的銷(xiāo)售量導(dǎo)致滯銷(xiāo)，從而浪費(fèi)企業(yè)資金和原材料?？椢镨Υ猛ǔＪ怯蓹C(jī)器工藝落后、紗線質(zhì)量不佳、環(huán)境因素、織物中夾雜著雜質(zhì)和工人的操作不當(dāng)?shù)仍蛟斐傻?。?guó)家標(biāo)準(zhǔn)GB/T 17760—2019《印染布布面疵點(diǎn)檢驗(yàn)方法》中根據(jù)瑕疵產(chǎn)生原因?qū)⒉计ゴ命c(diǎn)劃分為98 種類(lèi)別。部分常見(jiàn)瑕疵見(jiàn)表1。

由表1 可見(jiàn)，布匹的瑕疵具有復(fù)雜性和多樣性，如表面瑕疵的大小、顏色、形狀和位置等方面都存在著顯著的差異。由于瑕疵形成的原因有多種多樣，因此不同類(lèi)型的瑕疵呈現(xiàn)出的外觀也千差萬(wàn)別，甚至相同類(lèi)型的瑕疵在外觀上也會(huì)存在明顯的差異。具體外形可見(jiàn)部分瑕疵可視化如圖2 所示。

2 基于傳統(tǒng)機(jī)器視覺(jué)的布匹瑕疵檢測(cè)方法

與深度學(xué)習(xí)中的端對(duì)端的訓(xùn)練檢測(cè)方式不同，傳統(tǒng)的檢測(cè)方法通過(guò)圖像處理方法提取布匹的紋理特征，并對(duì)其定量和定性描述，實(shí)現(xiàn)瑕疵檢測(cè)?；趥鹘y(tǒng)的布匹瑕疵檢測(cè)方法包括三個(gè)部分：圖像預(yù)處理、圖像特征提取和圖像識(shí)別分類(lèi)。具體流程如圖3所示。

2.1 基于模型的方法

基于模型的布匹瑕疵檢測(cè)方法先利用一些已知良品布匹圖像來(lái)構(gòu)建一個(gè)模型，該模型能夠表示出良品布匹的紋理特征和結(jié)構(gòu)特征等。然后將待檢測(cè)的布匹圖像輸入到該模型中，利用模型生成的紋理特征和結(jié)構(gòu)特征進(jìn)行檢測(cè)，判斷該布匹是否存在瑕疵。

楊曉波[2]將Gaussion-Markov 隨機(jī)場(chǎng)（GMRF）應(yīng)用到布匹瑕疵檢測(cè)，利用模型參數(shù)構(gòu)造距離統(tǒng)計(jì)量，區(qū)分正常區(qū)域的紋理和特診畸變區(qū)域的紋理，實(shí)現(xiàn)瑕疵的自動(dòng)檢測(cè)。Cohen 等人[3]利用GMRF 對(duì)正常布匹圖像建模，將待測(cè)圖像劃分為N×N 大小的不重疊的窗口，計(jì)算每個(gè)窗口與模型參數(shù)的最大似然估計(jì)，實(shí)現(xiàn)瑕疵檢測(cè)。姚登輝[4]基于時(shí)間序列圖像處理的方法，對(duì)兩個(gè)方向上的聯(lián)合投影序列進(jìn)行分析，通過(guò)應(yīng)用AR 譜原理，確定了投影序列中的最高譜峰位置和峰值，從而可以區(qū)分出正常紋理和疵點(diǎn)。Ozdemir 等人[5]研究了一種以馬爾可夫隨機(jī)場(chǎng)（MRF） 作為紋理模型的方法和一種基于Karhunen-Loeve 變換的新方法，用于紡織物缺陷檢測(cè)。朱俊嶺等人[6]采用AR 模型譜估計(jì)對(duì)布匹紋理圖像建模，得到方差序列，通過(guò)計(jì)算疵點(diǎn)圖像和正常紋理圖像譜估計(jì)之間得相關(guān)系數(shù)得到疵點(diǎn)類(lèi)型和位置。

盡管MRF 是一種強(qiáng)大的建模工具，但它存在一些問(wèn)題。MRF 模型通常需要手動(dòng)構(gòu)建特征，這需要領(lǐng)域?qū)＜业闹R(shí)和經(jīng)驗(yàn)，并且可能導(dǎo)致模型無(wú)法有效地適應(yīng)新的數(shù)據(jù)。自回歸模型對(duì)數(shù)據(jù)需求高，受初始條件影響。

2.2 基于頻譜的方法

基于頻譜的布匹瑕疵檢測(cè)方法的核心思想是使用Gabor 變換和傅里葉變換等技術(shù)將紋理圖像從空間域轉(zhuǎn)換為頻率域，然后利用濾波器去除布匹的紋理特征來(lái)檢測(cè)缺陷。

Sakhare 等人[7]采用譜域和空間域方法對(duì)織物瑕疵進(jìn)行檢測(cè)和分類(lèi)，譜域只能檢測(cè)瑕疵是否存在，空間域可以檢測(cè)出瑕疵類(lèi)型和位置。劉偉斌等人[8]提出頻譜濾波的織物疵點(diǎn)檢測(cè)方法，采用傅里葉變換獲得含有疵點(diǎn)的頻譜圖，利用設(shè)計(jì)好的濾波器分離紋理信息，進(jìn)行灰度圖重構(gòu)，分割出織物疵點(diǎn)。王鶴翔[9]提出基于SVM 和小波變換的織物疵點(diǎn)檢測(cè)與分類(lèi)，利用自適應(yīng)小波變換對(duì)織物圖像進(jìn)行特征向量的提取，利用一對(duì)一SVM 分類(lèi)器進(jìn)行分類(lèi)。顧箐等人[10]提出基于局部熵和小波變換的織物疵點(diǎn)檢測(cè)方法，采用不完全重疊等大的局部窗口提取圖像的局部熵，但只針對(duì)緯向疵點(diǎn)、徑向疵點(diǎn)、區(qū)域類(lèi)疵點(diǎn)這三類(lèi)。楊亞[11]提出基于正交小波分解的織物疵點(diǎn)檢測(cè)方法。尉苗苗等人[12]提出一種新的基于最優(yōu)Gabor 濾波器的輕編織物疵點(diǎn)檢測(cè)方法，檢測(cè)分為學(xué)習(xí)階段和檢測(cè)階段。湯曉慶等人[13] 提出一種基于方向梯度直方圖（HOG） 特征和Gabor 濾波的織物疵點(diǎn)檢測(cè)算法。景軍鋒等人[14]提取布匹的熵圖像，對(duì)熵圖像進(jìn)行Mean Shift 平滑濾波，提出了一種基于Mean shift 濾波的織物疵點(diǎn)檢測(cè)方法，實(shí)驗(yàn)比較發(fā)現(xiàn)該方法優(yōu)于Gabor 濾波。

使用傅里葉變換可以有效消除布料表面紋理對(duì)缺陷檢測(cè)的干擾，而采用小波變換則更適合實(shí)現(xiàn)對(duì)局部缺陷的分類(lèi)。但是基于頻譜分析法的每個(gè)操作只適用于特定的結(jié)構(gòu)和類(lèi)別。

2.3 基于統(tǒng)計(jì)的方法

基于統(tǒng)計(jì)的缺陷檢測(cè)方法的主要思路是通過(guò)對(duì)布匹圖像提取統(tǒng)計(jì)信息，從而獲得紋理信息。實(shí)現(xiàn)布匹瑕疵檢測(cè)的主要方法有：直方圖統(tǒng)計(jì)法、局部二進(jìn)制和灰度共生矩陣等。

閔信軍[15]通過(guò)使用超像素分割和顯著性濾波等技術(shù)，從布匹圖像中自上而下地提取出顯著性特征，并將這些特征進(jìn)行融合，以獲得布匹圖像中的視覺(jué)顯著性區(qū)域。孫國(guó)棟和他的團(tuán)隊(duì)[16]將灰度共生矩陣與反向投影技術(shù)結(jié)合起來(lái)，提出了一種基于GLCM 的反向投影方法。李小寧等人[17]提出一種結(jié)合梯度共生矩陣-自適應(yīng)中值濾波和灰度的織物質(zhì)量檢測(cè)方法。并對(duì)含7 種缺陷的紡織品樣本進(jìn)行GGCM 特征提取。郝陽(yáng)[18]采用灰度共生矩陣（GLCM）對(duì)布匹圖像提取特征值，利用K 近鄰算法進(jìn)行布匹種類(lèi)的分類(lèi)。劉海等人[19]采用圖像分塊方法提取梯度方向描述子，并進(jìn)行聚類(lèi)構(gòu)建字典，提出一種基于梯度方向直方圖袋的特征提取方法。何峰等人[20]提出一種基于窗口跳步形態(tài)學(xué)法的紋理織物疵點(diǎn)檢測(cè)算法，以解決生產(chǎn)速度過(guò)快所導(dǎo)致的織物抖動(dòng)和檢測(cè)速度無(wú)法跟上的問(wèn)題。該算法達(dá)到或超過(guò)80m/min 的檢測(cè)速度。李春雷等人[21]提出了一種織物瑕疵檢測(cè)算法，該算法基于低秩分解和方向梯度直方圖，該算法利用方向交替方法生成稀疏矩陣和低秩矩陣，并對(duì)稀疏矩陣進(jìn)行分割，以定位瑕疵區(qū)域。同時(shí)，針對(duì)特征矩陣構(gòu)建了有效的低秩分解模型。Wang 等人[22]針對(duì)織物圖像分層問(wèn)題提出一種基于計(jì)算灰度矩陣特征值的CUDA K-means 并行算法，可以實(shí)現(xiàn)多個(gè)K 值的搜索，還可以進(jìn)行K-means內(nèi)部的并行計(jì)算。

灰度共生矩陣的使用相較于另外兩種方法更為普遍，但是其在計(jì)算紋理特征時(shí)對(duì)圖像的灰度級(jí)別分布非常敏感。如果圖像的灰度分布不均勻，則GLCM可能會(huì)忽略一些重要的紋理信息。因此，灰度矩陣對(duì)大尺寸的圖像難以到達(dá)實(shí)時(shí)檢測(cè)的要求，形態(tài)學(xué)方法和直方圖檢測(cè)效率則相對(duì)較高。

2.4 基于字典的方法

字典學(xué)習(xí)是一種無(wú)監(jiān)督的特征學(xué)習(xí)方式，廣泛用于數(shù)據(jù)降維和特征提取。主要步驟是：數(shù)據(jù)準(zhǔn)備、字典學(xué)習(xí)、表示特診提取、特征選擇和分類(lèi)器訓(xùn)練。

占竹等人[23]提出了一種自動(dòng)評(píng)定方法，其基于圖像的稀疏表達(dá)。該方法首先利用K-SVD 對(duì)正常織物紋理圖像進(jìn)行字典學(xué)習(xí)，然后利用該字典對(duì)圖重構(gòu)，并根據(jù)重構(gòu)效果對(duì)織物進(jìn)行等級(jí)評(píng)定。Li 等人[24]將織物圖像分為冗余部分（背景）和稀疏部分（缺陷），提出了一種基于新型紋理描述符和低秩分解模型的新型織物瑕疵檢測(cè)模式化方法，但局限于均勻紋理和規(guī)則圖案的織物。

字典學(xué)習(xí)通常需要對(duì)高維數(shù)據(jù)進(jìn)行降維以避免維數(shù)災(zāi)難，需要大量的計(jì)算資源和時(shí)間來(lái)學(xué)習(xí)一個(gè)合適的字典，其結(jié)果也受到許多參數(shù)的影響，包括字典大小、正則化系數(shù)和表示誤差。選擇合適的參數(shù)需要一定的經(jīng)驗(yàn)和技巧，并且需要多次實(shí)驗(yàn)。

3 基于深度學(xué)習(xí)的布匹瑕疵檢測(cè)方法

相較于傳統(tǒng)機(jī)器視覺(jué)的方法，深度學(xué)習(xí)具有更強(qiáng)的魯棒性、自適應(yīng)性、可遷移性和可擴(kuò)展性。當(dāng)前布匹瑕疵檢測(cè)的深度學(xué)習(xí)方法主要分為三個(gè)方向：卷積神經(jīng)網(wǎng)絡(luò)、自動(dòng)編碼器和生成對(duì)抗網(wǎng)絡(luò)。

3.1 基于卷積神經(jīng)網(wǎng)絡(luò)的方法

深度學(xué)習(xí)方法可分為無(wú)監(jiān)督和有監(jiān)督兩大類(lèi)，卷積神經(jīng)網(wǎng)絡(luò)是一種有監(jiān)督的網(wǎng)絡(luò)。

Wu 等人[25]提出基于深度神經(jīng)網(wǎng)絡(luò)的單色布匹瑕疵檢測(cè)算法，在CPU 模式下，檢測(cè)速度達(dá)到135m/min。Ramakrishnan.K 等人[26]針對(duì)具有活動(dòng)輪廓特征的特定缺陷，提出了一種使用直方圖和HF 的CNN 網(wǎng)絡(luò)。B.Wei 等人[27]在CNN 基礎(chǔ)上，針對(duì)小樣本問(wèn)題，使用壓縮采樣定理將小樣本數(shù)據(jù)壓縮采樣并擴(kuò)充，提出結(jié)合壓縮感知和卷積神經(jīng)網(wǎng)絡(luò)的新方法。Li.Y 等人[28]采用多個(gè)帶有多層感知器的微架構(gòu)來(lái)優(yōu)化網(wǎng)絡(luò)，提出一種緊湊的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)框架不僅適用于織物缺陷檢測(cè)，還適用于其他數(shù)據(jù)集的物體識(shí)別任務(wù)。劉閃亮[29]在基礎(chǔ)網(wǎng)絡(luò)VGGNet-16 的上進(jìn)行改進(jìn)，提出基于ODFTNet 的織物缺陷檢測(cè)算法。Cheng 等人[30]基于語(yǔ)義分割網(wǎng)絡(luò)提出一種結(jié)合卷積下采樣、深度可分離卷積和交叉平行比損失函數(shù)的分離卷積SCUNet，參數(shù)量為4.27M，但是該方法只在灰度圖像進(jìn)行了測(cè)試。Ouyang 等人[31]在卷積神經(jīng)網(wǎng)絡(luò)中引入一種新的成對(duì)電位激活層，該方法能夠?qū)哂袕?fù)雜特征和不平衡數(shù)據(jù)集的織物進(jìn)行高精度的缺陷分割。在使用TILDA 數(shù)據(jù)集進(jìn)行評(píng)估時(shí)，該方法的平均準(zhǔn)確率達(dá)到92.25%。但該方法需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理和標(biāo)注。孫羽等人[32]提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）的織物疵點(diǎn)檢測(cè)辦法，建立了一種改進(jìn)的多層感知機(jī)卷積神經(jīng)網(wǎng)絡(luò)，進(jìn)一步增強(qiáng)特征表示能力。

3.2 基于生成模型的方法

生成模型是一種無(wú)監(jiān)督方法，它可以學(xué)習(xí)任何類(lèi)型數(shù)據(jù)分布。所有類(lèi)型的生成模型都旨在學(xué)習(xí)樣本的真實(shí)數(shù)據(jù)分布。生成模型分為兩類(lèi)，自編碼器和GAN。利用生成模型進(jìn)行布匹瑕疵檢測(cè)可以通過(guò)學(xué)習(xí)正常布匹圖像的特征來(lái)自動(dòng)生成對(duì)比的瑕疵圖像，從而實(shí)現(xiàn)對(duì)布匹瑕疵的自動(dòng)識(shí)別。

⑴ 自編碼器

自編碼器對(duì)正常的布匹圖像進(jìn)行建模，后利用所建模型來(lái)檢測(cè)異?；蜩Υ脠D像。使用自編碼器模型對(duì)正常和瑕疵圖像進(jìn)行編碼和解碼。如果一個(gè)圖像經(jīng)過(guò)編碼和解碼之后的誤差很小，則這個(gè)圖像正常；如果誤差很大，則這個(gè)圖像就很可能存在瑕疵。

楊偉嘉[33]設(shè)計(jì)一個(gè)有效的二分類(lèi)深度卷積網(wǎng)絡(luò)，并針對(duì)樣本不均衡問(wèn)題采用Focal loss 損失函數(shù)，提出了基于全卷積自編碼器網(wǎng)絡(luò)的無(wú)監(jiān)督布料瑕疵檢測(cè)方法。Zhang 等人[34]設(shè)計(jì)內(nèi)存引導(dǎo)量化變分自動(dòng)編碼器，提出了一種無(wú)監(jiān)督和無(wú)記憶缺陷的方法，用于樣本稀缺和缺陷類(lèi)型不平衡的彩色圖案織物缺陷識(shí)別，避免了人工標(biāo)記樣本。Wei 等人[35]使用訓(xùn)練后的模型，從輸入圖像和重建圖像之間的SSIM 殘差圖中獲得目標(biāo)缺陷，實(shí)現(xiàn)了一個(gè)基于VAE 的織物缺陷檢測(cè)系統(tǒng)，滿足了實(shí)時(shí)性要求。Zhang.H 等人[36]提出一種基于無(wú)監(jiān)督去噪卷積自編碼器的彩色織物疵點(diǎn)自動(dòng)檢測(cè)與定位方法。

自編碼器相較于目標(biāo)檢測(cè)模型不需要手動(dòng)標(biāo)注大量數(shù)據(jù)。相較于傳統(tǒng)機(jī)器視覺(jué)方法，可以自適應(yīng)數(shù)據(jù)的分布和特征，從而可以處理一些噪聲、變形和光照變化等常見(jiàn)的問(wèn)題。自編碼器的訓(xùn)練時(shí)間相對(duì)較短，并且可以在GPU 上進(jìn)行加速，因此可以在較短的時(shí)間內(nèi)完成大規(guī)模的數(shù)據(jù)訓(xùn)練。

⑵ 生成對(duì)抗模型

GAN 是一種無(wú)監(jiān)督的深度學(xué)習(xí)方法，利用正常的布匹圖像作為輸入，訓(xùn)練生成器生成與正常圖像相似的合成圖像。生成器應(yīng)該盡量保留正常圖像的紋理和形狀特征。訓(xùn)練判別器來(lái)區(qū)分生成器生成的合成圖像和真實(shí)的瑕疵圖像。判別器應(yīng)該能夠準(zhǔn)確地識(shí)別瑕疵圖像，而不將正常圖像誤判為瑕疵圖像。通過(guò)交替訓(xùn)練生成器和判別器，以便生成器生成更接近真實(shí)瑕疵圖像的合成圖像，同時(shí)判別器也能夠更準(zhǔn)確地識(shí)別瑕疵圖像。這個(gè)過(guò)程可以提高生成器的瑕疵特征捕捉能力。

Cheng 等人[37]基于生成對(duì)抗網(wǎng)絡(luò)模型架構(gòu)提出了具有無(wú)監(jiān)督直接缺陷殘差圖像生成的織物缺陷檢測(cè)模型，使用帶有塊的生成器和雙判別器來(lái)使生成的圖像更接近目標(biāo)圖像。Wei 等人[38]針對(duì)織物疵點(diǎn)的多樣性和缺陷樣本的缺乏問(wèn)題，提出一種基于DCGAN 的多階段無(wú)監(jiān)督織物瑕疵檢測(cè)方法，將缺陷圖像進(jìn)行重建，從原始圖像中減去重建圖像時(shí)，得到缺陷的殘差圖。

生成對(duì)抗模型能夠從大量的正常和瑕疵數(shù)據(jù)中學(xué)習(xí)特征，從而能夠檢測(cè)出各種類(lèi)型的瑕疵，包括一些難以捕捉的細(xì)微瑕疵。但是，生成對(duì)抗模型的訓(xùn)練需要大量時(shí)間和計(jì)算資源，因?yàn)樾枰M(jìn)行反復(fù)的迭代訓(xùn)練過(guò)程?？赡苄枰嗟臄?shù)據(jù)才能學(xué)習(xí)到足夠的特征，尤其是對(duì)于一些較小的數(shù)據(jù)集，模型的性能可能會(huì)受到限制。

4 結(jié)束語(yǔ)

以計(jì)算機(jī)視覺(jué)為核心的紡織品缺陷自動(dòng)檢測(cè)技術(shù)引起了研究人員的廣泛關(guān)注。隨著新型物體檢測(cè)算法、計(jì)算能力、傳感器技術(shù)和工業(yè)的發(fā)展，基于計(jì)算機(jī)視覺(jué)的紡織品缺陷檢測(cè)系統(tǒng)將繼續(xù)高速發(fā)展。但目前對(duì)布匹瑕疵進(jìn)行高準(zhǔn)確度實(shí)時(shí)檢測(cè)仍存在一些困難。

⑴ 目前還沒(méi)有統(tǒng)一的布匹瑕疵公開(kāi)數(shù)據(jù)集。

⑵ 隨著紡織技術(shù)不斷在發(fā)展，織物的種類(lèi)和紋理將會(huì)越來(lái)越復(fù)雜。

⑶ 面對(duì)不同布匹和瑕疵種類(lèi)，目前需要不同的模型進(jìn)行檢測(cè)。

傳統(tǒng)機(jī)器學(xué)習(xí)方法通常使用手工設(shè)計(jì)的特征來(lái)表示布匹圖像，然后使用分類(lèi)器（如支持向量機(jī)、隨機(jī)森林等）進(jìn)行分類(lèi)。相比之下，深度學(xué)習(xí)方法可以從原始像素級(jí)數(shù)據(jù)中學(xué)習(xí)到更高層次的抽象特征，無(wú)需手工設(shè)計(jì)特征。

綜上所述，布匹瑕疵檢測(cè)具有重要的經(jīng)濟(jì)和社會(huì)意義，可以提高生產(chǎn)效率和產(chǎn)品質(zhì)量，降低生產(chǎn)成本和環(huán)境污染，雖然這個(gè)領(lǐng)域已經(jīng)進(jìn)行較多研究，但仍然存在許多挑戰(zhàn)和機(jī)遇，布匹瑕疵檢測(cè)仍是一個(gè)值得研究的問(wèn)題。