張宏偉，劉舒婷，陸 帥，顧 德，嚴(yán) 冬

(1.西安工程大學(xué) 電子信息學(xué)院，陜西 西安 710048；2.浙江大學(xué) 工業(yè)控制技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，浙江 杭州 310027；3.北京理工大學(xué) 理學(xué)院，北京 100029；4.江南大學(xué) 輕工過(guò)程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 無(wú)錫 214122)

0 引 言

色織物是采用染色紗線(xiàn)進(jìn)行織造的織物，其品種繁多，各具特色。色織襯衫是我國(guó)紡織行業(yè)中的重要服裝產(chǎn)品之一，其特殊的花型外觀贏得了國(guó)內(nèi)外消費(fèi)者的歡迎[1]。在色織襯衫生產(chǎn)過(guò)程中，由于織造設(shè)備故障以及操作工人熟練程度不同，使得色織襯衫存在不同形態(tài)的缺陷[2]，嚴(yán)重影響色織襯衫的品質(zhì)和市場(chǎng)議價(jià)能力。目前，絕大多數(shù)襯衫制衣企業(yè)采用人工目測(cè)的方法進(jìn)行缺陷檢測(cè)。該方法存在效率低、檢測(cè)結(jié)果不穩(wěn)定且易受個(gè)人主觀因素干擾等問(wèn)題[3]。因此，使用機(jī)器視覺(jué)的自動(dòng)檢測(cè)方法代替人工檢測(cè)，受到了研究人員的關(guān)注。

目前，織物缺陷檢測(cè)的主流方法主要分為頻譜法、結(jié)構(gòu)法、統(tǒng)計(jì)法、模型法和學(xué)習(xí)法等5類(lèi)。其中，基于頻譜的方法又包括傅里葉變換[4]、小波變換[5-6]和Gabor變換[7]等；基于統(tǒng)計(jì)的方法包括直方圖統(tǒng)計(jì)法、灰度共生矩陣[8]和數(shù)學(xué)形態(tài)學(xué)[9]；基于模型的方法包括自回歸模型[10]、馬爾可夫模型[11]等；基于學(xué)習(xí)的方法主要有字典學(xué)習(xí)法[12-13]等。然而，上述各特征工程算法耗時(shí)長(zhǎng)，對(duì)于小批量、花型變化快的色織襯衫檢測(cè)成本過(guò)高。

與特征工程方法相比，神經(jīng)網(wǎng)絡(luò)具有更好的特征提取能力。目前，大多數(shù)深度學(xué)習(xí)模型都屬于有監(jiān)督范疇，在訓(xùn)練的過(guò)程中需要大量帶標(biāo)簽的缺陷樣本。在現(xiàn)實(shí)中，獲取大量缺陷樣本十分困難，且對(duì)樣本進(jìn)行標(biāo)注的人工成本也較高。

無(wú)監(jiān)督學(xué)習(xí)不需要大量缺陷樣本，也不需要標(biāo)注，只需要正常樣本即可訓(xùn)練模型，實(shí)現(xiàn)缺陷區(qū)域的定位，引起了研究人員的關(guān)注。2017 年，LI等設(shè)計(jì)了一個(gè)去噪自編碼器，重構(gòu)色織灰度圖像數(shù)據(jù)，首次引入無(wú)監(jiān)督方法進(jìn)行色織物的特征提取[14]；2019 年，張宏偉等提出了一種基于深度去噪卷積自編碼器的重構(gòu)模型，初步實(shí)現(xiàn)了色織物缺陷的快速檢測(cè)和定位[15]；2021年，張宏偉等又提出一種U型卷積去噪自編碼器，進(jìn)一步提升了缺陷檢測(cè)的準(zhǔn)確性[16]。本文針對(duì)經(jīng)典自編碼器對(duì)復(fù)雜花型色織襯衫面料檢測(cè)能力弱的問(wèn)題，提出一種基于多尺度去噪卷積自編碼器的色織襯衫面料缺陷檢測(cè)模型。

1 模型訓(xùn)練及缺陷檢測(cè)

1.1 多尺度去噪卷積自編碼器模型

特征金字塔(feature pyramid net-work，F(xiàn)PN)主要是用于處理圖像中目標(biāo)檢測(cè)的多尺度問(wèn)題[17]。高層卷積特征中的特征映射具有分辨率較低但語(yǔ)義信息較高的特點(diǎn)，而低層卷積特征中的特征映射具有分辨率較高但語(yǔ)義信息較低的特點(diǎn)。特征金字塔模型核心思想是將高層卷積特征與低層卷積特征相結(jié)合，使得各個(gè)尺度下的卷積特征都有豐富的語(yǔ)義信息[18]。

本文在去噪卷積自編碼器[15](denoising convolutional auto-encode，DCAE)的基礎(chǔ)上融入特征金字塔，提出一種基于多尺度去噪卷積自編碼器(multiscale denoising convolutional auto-encode，MDCAE)的色織襯衫面料缺陷檢測(cè)模型。模型結(jié)構(gòu)如圖1所示。

圖 1 MDCAE模型結(jié)構(gòu)圖Fig.1 Structure diagram of the MDCAE model

網(wǎng)絡(luò)模型結(jié)構(gòu)采用編碼器-解碼器結(jié)構(gòu)，包含2個(gè)主要部分:一個(gè)是編碼階段，網(wǎng)絡(luò)層中特征圖經(jīng)下采樣，使得空間維度逐漸減小，在網(wǎng)絡(luò)深度逐漸增加的過(guò)程中學(xué)習(xí)到更多的全局信息；另一個(gè)是解碼階段，從編碼網(wǎng)絡(luò)結(jié)構(gòu)中輸出的小特征圖，經(jīng)過(guò)上采樣操作，使得特征維度逐漸恢復(fù)，不斷還原出原始輸入的局部細(xì)節(jié)信息，可以對(duì)淺層的特征圖進(jìn)行補(bǔ)充和加強(qiáng)。在解碼過(guò)程中融合了編碼器中的第一層下采樣和第二層下采樣的特征，使得融合后的特征圖具有更豐富的信息。編碼器由3個(gè)卷積層和3個(gè)池化層構(gòu)成，解碼器由3個(gè)上采樣層和3個(gè)卷積層構(gòu)成。該網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表 1 MDCAE網(wǎng)絡(luò)結(jié)構(gòu)

編碼器的輸入為512×512×3三通道圖像，網(wǎng)絡(luò)結(jié)構(gòu)由3個(gè)卷積層和3個(gè)池化層構(gòu)成，每個(gè)池化層緊跟卷積層之后，并且每一層的輸出特征作為下一層的網(wǎng)絡(luò)輸入。

解碼器的輸入為編碼器的輸出，網(wǎng)絡(luò)結(jié)構(gòu)由3個(gè)上采樣層和3個(gè)卷積層構(gòu)成。第二層上采樣層的輸入融合了上一層卷積層的輸出以及編碼器中第二層池化層的輸出；第三層上采樣層的輸入融合了上一層卷積層的輸出以及編碼器中第一層池化層的輸出。實(shí)現(xiàn)了多尺度特征融合。解碼器的輸出為512×512×3三通道圖像。

1.2 MDCAE重構(gòu)模型的訓(xùn)練過(guò)程

MDCAE模型搭建好以后進(jìn)入訓(xùn)練階段，如圖2所示。模型輸入為三通道的無(wú)缺陷色織襯衫面料彩色圖像，在疊加椒鹽噪聲以后進(jìn)入編碼器，即

(1)

(2)

1.3 色織襯衫面料缺陷檢測(cè)

MDCAE模型訓(xùn)練完成后即可用于色織襯衫面料的缺陷檢測(cè)，具體流程如圖3所示。輸入待測(cè)色織襯衫面料圖像，訓(xùn)練好的MDCAE模型對(duì)其進(jìn)行重構(gòu)，生成一張與原圖尺寸相同的無(wú)缺陷圖像。接著，將待測(cè)圖像與重構(gòu)圖像做殘差運(yùn)算，并對(duì)所得殘差圖像做形態(tài)學(xué)處理。若待測(cè)圖像中有缺陷，則在檢測(cè)結(jié)果圖像上能看到明顯的缺陷區(qū)域。

圖 2 MDCAE模型訓(xùn)練示意圖Fig.2 Training diagram of MDCAE model

圖 3 MDCAE模型缺陷檢測(cè)示意圖Fig.3 Defect detection diagram of MDCAE model

MDCAE模型的具體檢測(cè)步驟為：首先將待測(cè)圖像與重構(gòu)圖像做殘差，即

Rn=I1-I2

(3)

式中：I1為待測(cè)圖像；I2為重構(gòu)圖像。兩者做差，即可出現(xiàn)殘差圖像Rn。對(duì)殘差圖像進(jìn)行灰度化，即

Gr=0.299R+0.587G+0.114B

(4)

式中：Gr為灰度化后的圖像。對(duì)灰度化后的圖像進(jìn)行濾波，以去除較小的噪聲，即

(5)

式中：(x,y)為殘差圖像的像素坐標(biāo);σx為該圖像x軸方向的像素標(biāo)準(zhǔn)差;σy為該圖像y軸方向的像素標(biāo)準(zhǔn)差。然后對(duì)圖像進(jìn)行閾值分割，即

(6)

式中：T為選定的閾值，大于T的部分值為1，小于T的部分值為0。最后對(duì)二值殘差圖進(jìn)行先腐蝕后膨脹的開(kāi)運(yùn)算操作，得到最終檢測(cè)結(jié)果。腐蝕和膨脹操作分別為

A?B={y|(B)y?A}

(7)

A⊕B={y|(B)y∩A≠?}

(8)

式中：A表示目標(biāo)圖像，B表示結(jié)構(gòu)元素，y表示平移量;?為腐蝕操作，移動(dòng)結(jié)構(gòu)B,如果結(jié)構(gòu)B與結(jié)構(gòu)A的交集完全屬于結(jié)構(gòu)A的區(qū)域內(nèi)，則保存該位置點(diǎn)；⊕為膨脹操作，如果移動(dòng)B的過(guò)程中，與結(jié)構(gòu)A存在重疊區(qū)域，則保留B內(nèi)所有位置點(diǎn)。

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)用GPU平臺(tái)系統(tǒng)，主要配置為1個(gè)CPU Intel i7-6800k、3塊NVIDIA GeForce 1080Ti 11 G和8個(gè)16 GB內(nèi)存；操作環(huán)境為Ubuntu 16.04、CUDA9.0、cuDNN5.1、pytorch1.1.0，Anaconda3.0。

2.2 數(shù)據(jù)集

用于缺陷檢測(cè)的色織襯衫面料來(lái)自廣東溢達(dá)紡織有限公司制衣廠。這些面料利用掃描儀進(jìn)行圖像采集，整理成分辨率為512×512×3的樣本。根據(jù)色織襯衫面料的顏色和紋理特征，將其分為3類(lèi)，分別命名為Simple lattices(SL)、Stripe patterns(SP)、Complex lattices(CL)。選取了6組色織襯衫面料圖像數(shù)據(jù)集，其中簡(jiǎn)單色織花型3組，分別為SL1、SL8、SL10；復(fù)雜色織花型3組，分別為CL3、CL4、CL10。數(shù)據(jù)集的訓(xùn)練樣本(無(wú)缺陷)個(gè)數(shù)和檢測(cè)樣本(有缺陷)個(gè)數(shù)如表2所示。

色織襯衫面料的缺陷種類(lèi)和大小不一，本文選取了各數(shù)據(jù)集部分樣本，如圖4所示。

(a) SL1部分?jǐn)?shù)據(jù)樣本

(b) SL8部分?jǐn)?shù)據(jù)樣本

(c) SL10部分?jǐn)?shù)據(jù)樣本

(d) CL3部分?jǐn)?shù)據(jù)樣本

(e) CL4部分?jǐn)?shù)據(jù)樣本

(f) CL10部分?jǐn)?shù)據(jù)樣本圖 4 色織襯衫面料部分樣本Fig.4 Samples of yarn-dyed shirt fabric

2.3 參數(shù)設(shè)置

重構(gòu)模型參數(shù)設(shè)置為：初始學(xué)習(xí)率為0.001，每個(gè)Batch中訓(xùn)練樣本的數(shù)量16，最大迭代次數(shù)1.5×104，椒鹽噪聲為0.7，深度學(xué)習(xí)優(yōu)化器選擇Adam函數(shù)。

2.4 評(píng)價(jià)指標(biāo)

對(duì)檢測(cè)結(jié)果進(jìn)行定性、定量分析。定性分析為缺陷檢測(cè)區(qū)域的直觀圖示;定量分析采用準(zhǔn)確率(P)、召回率(R)、精確率(Accuracy，ACC)和F1等4個(gè)指標(biāo)評(píng)價(jià)模型。其中，準(zhǔn)確率、召回率、精確率和F1的定義分別為：

P=[(TP/(TP+FP)]×100%

(9)

R=[TP/(TP+FN)]×100%

(10)

ACC=[(TP+TN)/(TP+TN+

FP+FN)]×100%

(11)

(12)

式中：TP表示真實(shí)缺陷區(qū)域被成功檢出的像素個(gè)數(shù)；TN表示真實(shí)缺陷區(qū)域未被檢出的像素個(gè)數(shù)；FP表示正常區(qū)域被錯(cuò)誤檢測(cè)為缺陷區(qū)域的像素個(gè)數(shù)；FN表示正常區(qū)域被成功檢測(cè)為正常區(qū)域的像素個(gè)數(shù)。

3 結(jié)果與分析

3.1 定性分析

將提出的MDCAE模型與DCAE模型和去噪自編碼器(denoising auto-encode，DAE)模型的檢測(cè)結(jié)果進(jìn)行了對(duì)比，部分結(jié)果如圖5所示。

圖 5 3種模型檢測(cè)結(jié)果對(duì)比Fig.5 Comparison of detection results of three models

圖5實(shí)驗(yàn)結(jié)果顯示，對(duì)于DAE模型，無(wú)法實(shí)現(xiàn)缺陷定位。在SL1、SL8、SL10等3個(gè)數(shù)據(jù)集上存在漏檢;在CL3、CL4、CL10上存在大量噪聲。DCAE模型在SL1、SL8、SL10、CL4等4個(gè)數(shù)據(jù)集上能實(shí)現(xiàn)缺陷定位，但在CL3、CL10數(shù)據(jù)集存在過(guò)檢。MDCAE模型在SL1、SL8、SL10、CL4、CL10等5個(gè)數(shù)據(jù)集上能實(shí)現(xiàn)缺陷定位，在CL3上存在過(guò)檢。綜合來(lái)看，MDCAE模型的缺陷檢測(cè)和定位效果最好。

3.2 定量分析

表3為DAE模型、DCAE模型、MDCAE模型分別對(duì)SL1、SL8、SL10、CL3、CL4、CL10等6個(gè)數(shù)據(jù)集檢測(cè)結(jié)果的對(duì)比。準(zhǔn)確率、召回率、精確率、F1值4個(gè)評(píng)價(jià)指標(biāo)，數(shù)值越大，表明檢測(cè)結(jié)果越好。

表3顯示：對(duì)于簡(jiǎn)單色織花型數(shù)據(jù)集，MDCAE模型在SL1、SL8上的整體檢測(cè)效果最好，高于DAE、DCAE模型；在SL10上的效果高于DAE模型，弱于DCAE模型。對(duì)于復(fù)雜色織花型數(shù)據(jù)集CL3、CL4、CL10，與DAE、DCAE模型相比，MDCAE模型檢測(cè)效果有明顯提升。對(duì)于F1指標(biāo)，與DCAE模型相比，MDCAE模型分別提升了14.97%、9.13%、44.23%。

表 3 不同模型評(píng)價(jià)結(jié)果對(duì)比

可見(jiàn)，MDCAE模型在簡(jiǎn)單色織花型上明顯好于DAE模型，整體稍好于DCAE模型，但在復(fù)雜花型上卻明顯好于DAE、DCAE這2種模型。原因是在訓(xùn)練過(guò)程中，編碼器不斷對(duì)圖像特征進(jìn)行提取和濃縮，而編碼器輸出的大小不變，所提取出的特征容量有限；解碼過(guò)程中，多尺度融合的方式使得隱藏層包含更多可能在編碼過(guò)程中丟失的信息，使得最終的圖像重構(gòu)效果更好。而復(fù)雜花型包含的特征信息更多，丟失的可能性更大，所以MDCAE模型在復(fù)雜花型上的提升效果更明顯。

4 結(jié) 語(yǔ)

本文提出了一種基于多尺度去噪卷積自編碼器的缺陷檢測(cè)方法。該算法對(duì)特征圖進(jìn)行了多尺度特征融合，使得融合后的特征圖具有更豐富的語(yǔ)義信息。該方法在僅使用無(wú)缺陷樣本的情況下，訓(xùn)練建立的多尺度卷積自編碼器模型可以自動(dòng)重構(gòu)修復(fù)待測(cè)樣本中的缺陷。計(jì)算待測(cè)色織襯衫面料圖像與重構(gòu)圖像的殘差，并對(duì)殘差圖像進(jìn)行數(shù)學(xué)形態(tài)學(xué)處理，可以有效實(shí)現(xiàn)缺陷檢測(cè)和定位。該方法的準(zhǔn)確率和實(shí)時(shí)性能夠滿(mǎn)足色織襯衫面料缺陷檢測(cè)的工程化需要。