張 波， 湯春明(. 天津工業(yè)大學(xué) 電子與信息工程學(xué)院， 天津 300387； 2. 天津師范大學(xué) 計(jì)算機(jī)與信息工程學(xué)院， 天津 300387)

基于相對(duì)總變差模型與自適應(yīng)形態(tài)學(xué)的織物瑕疵檢測(cè)

張 波1,2， 湯春明1
(1. 天津工業(yè)大學(xué) 電子與信息工程學(xué)院， 天津 300387； 2. 天津師范大學(xué) 計(jì)算機(jī)與信息工程學(xué)院， 天津 300387)

為解決目前基于圖像處理的織物瑕疵檢測(cè)算法中，因織物紋理的多樣性與瑕疵形狀尺寸的不確定性所造成的檢測(cè)效果差的問(wèn)題，提出一種基于結(jié)構(gòu)-紋理模型與自適應(yīng)數(shù)學(xué)形態(tài)學(xué)的織物瑕疵檢測(cè)算法。首先采用相對(duì)總變差模型對(duì)織物圖像進(jìn)行濾波以去除織物紋理，然后在得到的灰度圖像上直接進(jìn)行基于自適應(yīng)鄰域的灰度形態(tài)學(xué)運(yùn)算，形態(tài)學(xué)算子采用開(kāi)運(yùn)算算子，最終得到織物瑕疵的增強(qiáng)圖像。采用基于相對(duì)總變差模型與自適應(yīng)形態(tài)學(xué)相結(jié)合的方法與2種已知的Gabor算法進(jìn)行比對(duì)，對(duì)4類典型織物瑕疵進(jìn)行檢測(cè)實(shí)驗(yàn)和分析。結(jié)果表明，本文方法能更好地提取織物瑕疵。

織物瑕疵； 結(jié)構(gòu)-紋理模型； 相對(duì)總變差模型； 數(shù)學(xué)形態(tài)學(xué)； 自適應(yīng)鄰域

織物質(zhì)量是紡織企業(yè)在市場(chǎng)競(jìng)爭(zhēng)中獲勝的核心，而織物瑕疵是影響紡織品質(zhì)量的重要因素[1]。目前大部分的紡織企業(yè)仍采用人工方法檢測(cè)織物瑕疵，但人工方法檢測(cè)速度低，漏檢率高，并且隨著國(guó)內(nèi)人力成本的不斷升高，其經(jīng)濟(jì)成本不斷增大[2]。

20世紀(jì)70年代以來(lái)，隨著數(shù)字圖像處理技術(shù)的不斷發(fā)展，機(jī)器視覺(jué)在工業(yè)上開(kāi)始廣泛地應(yīng)用，這為織物瑕疵的自動(dòng)檢測(cè)提供了新的方法和手段?；跀?shù)字圖像處理技術(shù)的織物瑕疵自動(dòng)檢測(cè)分為3個(gè)步驟：瑕疵判別、瑕疵分割以及瑕疵分類[3]。本文研究主要關(guān)注瑕疵的判別與分割?，F(xiàn)有的瑕疵判別與分割算法很多，可以概括分為3類：頻譜法、統(tǒng)計(jì)法和模型法。其中應(yīng)用最為廣泛的是頻譜法[4]，其運(yùn)用的技術(shù)主要包括傅里葉變換[5]、小波變換[6]和Gabor小波變換[7]等。頻譜法的核心是將在空間域內(nèi)很難去除的織物紋理轉(zhuǎn)換到變換域內(nèi)進(jìn)行濾波，或者以無(wú)瑕疵圖像為標(biāo)本采用最優(yōu)化方法實(shí)現(xiàn)對(duì)瑕疵圖像的重建。以Gabor小波變換為例，為實(shí)現(xiàn)最優(yōu)化重建，小波參數(shù)的確定算法復(fù)雜，計(jì)算量大，且需要根據(jù)織物紋理的不同不斷調(diào)整。

去除織物紋理后的圖像一般采用形態(tài)學(xué)方法進(jìn)行增強(qiáng)，現(xiàn)有的形態(tài)學(xué)方法多采用二值剛性形態(tài)學(xué)濾波器對(duì)圖像進(jìn)行增強(qiáng)，以提高后續(xù)對(duì)瑕疵點(diǎn)的分割精度。但該方法存在2個(gè)缺點(diǎn)：1)含有織物瑕疵的灰度圖像在二值化過(guò)程中對(duì)閾值的選取非常敏感，選取不當(dāng)會(huì)丟失圖像中的瑕疵信息；2)剛性形態(tài)學(xué)濾波器在結(jié)構(gòu)元素的選取上高度依賴于瑕疵的尺寸與形狀，而實(shí)際應(yīng)用中瑕疵的尺寸與形狀是多種多樣的。因此，采用二值剛性形態(tài)學(xué)濾波器對(duì)瑕疵圖像進(jìn)行增強(qiáng)具有較大的局限性。

針對(duì)以上問(wèn)題，近年來(lái)，不斷有學(xué)者提出解決方案。MAK等[8-9]提出了基于Gabor小波網(wǎng)絡(luò)與最優(yōu)形態(tài)學(xué)濾波器的織物瑕疵檢測(cè)算法，其中，形態(tài)學(xué)濾波的結(jié)構(gòu)元素基于Gabor小波提取得到的紗線方向與寬度信息構(gòu)建。李剛等[10]采用灰度共生矩陣獲得織物紋理的方向和尺度信息，同時(shí)結(jié)合經(jīng)驗(yàn)自適應(yīng)的構(gòu)建形態(tài)學(xué)濾波所用的結(jié)構(gòu)元素，該方法實(shí)現(xiàn)了對(duì)不同紋理織物的自適應(yīng)形態(tài)學(xué)濾波。CHANDRA等[11]提出了基于人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)元素的選取算法，得到的結(jié)構(gòu)元素用于二值圖像的形態(tài)學(xué)重建以提取瑕疵特征。上述方法實(shí)現(xiàn)了針對(duì)不同織物紋理結(jié)構(gòu)元素的自適應(yīng)性，但是該類方法一旦確定結(jié)構(gòu)元素，其尺寸和形狀依然是不變的。對(duì)于一幅圖像中存在多個(gè)瑕疵，且瑕疵尺寸存在較大差異的情形，根據(jù)形態(tài)學(xué)運(yùn)算的原理，體積小于結(jié)構(gòu)元素尺寸的瑕疵基本會(huì)被忽略，從而影響檢測(cè)的準(zhǔn)確度。

基于以上分析，本文提出一種基于相對(duì)總變差模型[12]與灰度自適應(yīng)數(shù)學(xué)形態(tài)學(xué)的織物瑕疵檢測(cè)算法。采用相對(duì)總變差模型用于對(duì)織物圖像的紋理去除，將紋理與瑕疵進(jìn)行分解；在分離出的瑕疵圖像中，采用灰度自適應(yīng)數(shù)學(xué)形態(tài)學(xué)方法對(duì)瑕疵實(shí)現(xiàn)增強(qiáng)。

1 織物紋理去除

織物紋理是指織物組織中的循環(huán)結(jié)構(gòu)，即經(jīng)線與緯線的有規(guī)律交織。結(jié)構(gòu)紋理圖像分解模型的理論基礎(chǔ)是將帶有瑕疵的織物圖像設(shè)定為瑕疵(卡通結(jié)構(gòu))與織物經(jīng)緯交叉結(jié)構(gòu)(紋理)的疊加，本文采用變差與范數(shù)規(guī)范化卡通部分與紋理部分。通過(guò)公式的最小化過(guò)程即可分離卡通結(jié)構(gòu)與紋理結(jié)構(gòu)，實(shí)現(xiàn)對(duì)于織物紋理的去除?；诳椢锛y理結(jié)構(gòu)的多樣性，傳統(tǒng)的總變差模型在去除織物紋理時(shí)存在較大局限性，因此，本文選用一種改進(jìn)的相對(duì)總變差模型用于對(duì)織物紋理的去除。圖1示出本文算法框圖。

圖1 算法框圖Fig.1 Block diagram of proposed algorithm

相對(duì)總變差模型是LI等[12]在2012年提出的一種用于提取圖像主結(jié)構(gòu)的方法，本文使用該模型用于織物紋理的去除。其模型為

(1)

式中：(Sp-Ip)2稱為保真項(xiàng)；S代表輸出圖像；I代表輸入圖像；p代表圖像像素的索引號(hào)；式中第2項(xiàng)稱為相對(duì)總變差；D(p)稱為窗口總變差；L(p)稱為窗口固有變差；ε代表一個(gè)微小量，以防止除零；λ>0，稱為調(diào)整參數(shù)，控制保真項(xiàng)與相對(duì)總變差的比例。

Dx(p)及Dy(p)定義為

(2)

Lx(p)及Ly(p)定義為

(3)

式中：R(p)代表以p為中心的矩形區(qū)域；?x與?y分別代表2個(gè)方向的偏微分；g代表權(quán)重參數(shù)，其定義為

(4)

式中，σ的作用是控制窗口的空間尺寸。

2 織物瑕疵的數(shù)學(xué)形態(tài)學(xué)處理

織物圖像在去除紋理后，一般采用形態(tài)學(xué)濾波器進(jìn)行圖像的增強(qiáng)，為最后的圖像分割做準(zhǔn)備。采用形態(tài)學(xué)方法處理織物瑕疵對(duì)于瑕疵的尺寸和形狀都非常敏感，所以采用基于軟件算法的形態(tài)學(xué)處理，在瑕疵的尺寸相對(duì)于織物結(jié)構(gòu)較小時(shí)會(huì)給出很差的結(jié)果[13]。

在經(jīng)典的數(shù)學(xué)形態(tài)學(xué)中，結(jié)構(gòu)元素對(duì)于圖像區(qū)域中的所有像素點(diǎn)都是相同的，本文稱這種非自適應(yīng)結(jié)構(gòu)元素為剛性的。一個(gè)剛性的結(jié)構(gòu)元素用于處理整幅圖片經(jīng)常是不合適的，因?yàn)閳D像的結(jié)構(gòu)會(huì)隨著形狀、尺寸、方向等變化，這對(duì)所有像素點(diǎn)都使用同一個(gè)結(jié)構(gòu)元素是一個(gè)挑戰(zhàn)[14]。

Johan Debayle等[15]于2006年提出了基于一般自適應(yīng)鄰域的形態(tài)學(xué)處理方法，其自適應(yīng)鄰域的定義為

(5)

式(5)對(duì)于自適應(yīng)鄰域的定義包含2個(gè)條件：同質(zhì)性檢測(cè)，像素y與種子像素x在某種度量函數(shù)h的作用下，其距離差小于閾值m；連通性檢測(cè)，像素y與種子像素x必須是連通的。

本文提出的形態(tài)學(xué)算法基于式(5)構(gòu)建結(jié)構(gòu)元素，其中度量函數(shù)h采用圖像灰度值，連通性規(guī)則采用八鄰域；形態(tài)學(xué)濾波算法采用自適應(yīng)開(kāi)運(yùn)算，以實(shí)現(xiàn)圖像的增強(qiáng)。其中自適應(yīng)膨脹、腐蝕及開(kāi)、閉運(yùn)算為

(6)

3 實(shí)驗(yàn)結(jié)果與分析

在實(shí)際生產(chǎn)過(guò)程中，瑕疵的種類多達(dá)50余種，主要分為3類：點(diǎn)瑕疵、線瑕疵和面瑕疵。本文選擇了TILDA數(shù)據(jù)庫(kù)中4種具有代表性的圖片，均為布匹瑕疵中出現(xiàn)頻率較高的樣本，因此，實(shí)驗(yàn)的實(shí)際應(yīng)用價(jià)值較高。瑕疵圖像的增強(qiáng)結(jié)果如圖2～5所示，同時(shí)將實(shí)驗(yàn)結(jié)果與2種目前流行的算法進(jìn)行比較。圖6示出4種瑕疵圖像的分割結(jié)果。

圖2 點(diǎn)狀瑕疵及實(shí)驗(yàn)結(jié)果Fig.2 Point defect and experimental results. (a) Defect image; (b) Reference[4]result; (c) Reference[7]result; (d) Present result

圖3 線狀瑕疵1及實(shí)驗(yàn)結(jié)果Fig.3 First line defect and experimental results. (a) Defect image; (b) Reference[4]result; (c) Reference[7]result; (d) Present result

圖4 線狀瑕疵2及實(shí)驗(yàn)結(jié)果Fig.4 Second line defect and experimental results. (a) Defect image; (b) Reference[4]result; (c) Reference[7]result; (d) Present result

圖5 面瑕疵及實(shí)驗(yàn)結(jié)果Fig.5 Surface defect and experimental results. (a) Defect image; (b) Reference[4]result; (c) Reference[7]result; (d) Present result

圖6 4種瑕疵分割結(jié)果Fig.6 Four segmentation results of defects. (a) Point defect; (b) First line defect; (c) Second line defect; (d) Surface defect

從對(duì)4類瑕疵的檢測(cè)結(jié)果可以看出，本文算法在圖像增強(qiáng)環(huán)節(jié)對(duì)于不同類型的織物都能很好濾除其紋理結(jié)構(gòu)，其中圖2及圖5表現(xiàn)得尤為明顯，而文獻(xiàn)[4]和文獻(xiàn)[7]的算法均不能完全去除紋理；此外，從圖2、3的結(jié)果看出，在去除紋理的基礎(chǔ)上，對(duì)于前2種算法無(wú)法提取到的小尺寸瑕疵，本文算法也能較好地提取且定位其位置。

針對(duì)一幅圖像中存在多個(gè)瑕疵的特殊情況，本文專門選取3種具有代表性的圖片進(jìn)行實(shí)驗(yàn)。圖7示出一種典型的多瑕疵織物圖像增強(qiáng)及分割結(jié)果?？煽闯?，本文算法在分割出大尺寸瑕疵的同時(shí)，小尺寸瑕疵同樣得以保留，且被準(zhǔn)確分割。

圖7 多瑕疵織物圖像增強(qiáng)及分割結(jié)果Fig.7 Enhancement and segmentation results of multi-defects. (a) Original fabric; (b) Enhancement results using proposed algorithm; (c) Segmentation results

4 結(jié) 語(yǔ)

由于織物紋理的多樣性和瑕疵形狀尺寸的不確定性，現(xiàn)有的基于圖像處理的織物瑕疵檢測(cè)算法準(zhǔn)確率較低。針對(duì)這個(gè)問(wèn)題，本文提出一種基于相對(duì)總變差模型和自適應(yīng)數(shù)學(xué)形態(tài)學(xué)的織物瑕疵檢測(cè)新算法。其中針對(duì)織物紋理的去除采用了相對(duì)總變差模型，針對(duì)瑕疵形狀與尺寸的多樣性采用自適應(yīng)數(shù)學(xué)形態(tài)學(xué)運(yùn)算進(jìn)行瑕疵圖像增強(qiáng)，提高了算法針對(duì)不同瑕疵提取的通用性。結(jié)果表明：本文算法相比于目前已有算法能夠更好地去除各種織物紋理，同時(shí)提取不同尺寸形狀的瑕疵，提高了檢測(cè)的準(zhǔn)確率，具有較強(qiáng)的自適應(yīng)性和魯棒性。

FZXB

[1] 李文羽, 程隆棣. 基于機(jī)器視覺(jué)和圖像處理的織物疵點(diǎn)檢測(cè)研究新進(jìn)展[J]. 紡織學(xué)報(bào), 2014, 35(3): 158-164. LI Wenyu, CHENG Longdi. New process of fabric defect dection based on computer vision and image processing [J]. Journal of Textile Research, 2014, 35(3):158-164.

[2] KUMAR A. Computer vision-based fabric defect detection: a survey [J]. IEEE Transactions on Industrial Electronics,2008, 55(1):348-363.

[3] 鄒超, 汪秉文, 孫志剛. 基于機(jī)器視覺(jué)的織物疵點(diǎn)檢測(cè)方法綜述[J]. 天津工業(yè)大學(xué)學(xué)報(bào), 2009,28(2): 78-83. ZOU Chao, WANG Bingwen, SUN Zhigang. Survey on fabric defect detection based on machine vision [J]. Journal of Tianjin Polytechnic University, 2009,28(2): 78-83.

[4] BODNAROVA A, BENNAMOUN M, LATHAMS. Optimal gabor filters for textile flaw detection [J]. Pattern Recognition, 2002, 35(12):2973-2991.

[5] CHAN CH, PANG G. Fabric defect detection by Fourier analysis[J].IEEE Transactions on Industry Applications, 2000, 36(5):1267-1276.

[6] SERDAROGLU A, ERTUZUN A, ERCIL A. Defect detection in textile fabric images using wavelet transforms and independent component analysis [J]. Pattern Recognition and Image Analysis, 2006, 16(1):61-64.

[7] JING Junfeng, YANG Panpan, LI Pengfei, et al. Supervised defect detection on textile fabrics via optimal gabor filter [J]. Journal of Industrial Textile, 2013, 44(1):40-57.

[8] MAK K L, PENG P, LAU H Y K. Optimal morphological filter design for fabric defect detection [C]//IEEE International Conference on Industrial Technology. [S.l.]:IEEE, 2005:799-804.

[9] MAK K L, PENG P, YIU K F C. Fabric defect detection using morphological filters [J]. Image and Vision Computing, 2009, 27(10): 1585-1592.

[10] 李剛, 楊欣, 唐庭閣. 基于自適應(yīng)形態(tài)學(xué)濾波器的布匹瑕疵檢測(cè)算法[J]. 吉林大學(xué)學(xué)報(bào)(信息科學(xué)版), 2012, 30(2):157-163. LI Gang, YANG Xin, TANG Tingge. Fabric defect detection based on adaptive morphological filter algor-ithm [J]. Journal of Jilin University (Information Science Edition), 2012, 30(2):157-163.

[11] CHANDRA J K, BANERJEE P K, DATTA A K. Neural network trained morphological processing for the detection of defects in woven fabric [J]. Journal of the Textile Institute, 2010, 101(8):699-706.

[12] LI Xu,QIONG Yan,YANG Xia, et al. Structure extraction from texture via relative total variation [J].ACM Transactions on Graphics, 2012, 31(6):139.

[13] DATTA A K, CHANDRA J K. Detection of Defects in Fabric by Morphological Image Processing[M]. Vienna: Woven Fabric Engineering,2010:217-232.

[14] CURIC V, LANDSTROM A, THURLEY M J, et al. Adaptive mathematical morphology： a survey of the field [J]. Pattern Recognition Letters,2014,47(1):18-28.

[15] DEBAYLE J, PINOLI J C. General adaptive neighborhood image processing [J]. Journal of Mathematical Imaging and Vision, 2006, 25(2):245-266.

Fabric defect detection based on relative total variation model and adaptive mathematical morphology

ZHANG Bo1,2, TANG Chunming1
(1.SchoolofElectronicsandInformationEngineering,TianjinPolytechnicUniversity,Tianjin300387,China;2.SchoolofComputerandInformationEngineering,TianjinNormalUniversity,Tianjin300387,China)

Because of the variety of fabric texture and the uncertainty of the shape and size of defects, the existing fabric defect detection methods based on image processing are low in accuracy. In order to solve this problem, a new method of fabric defect detection based on a structure-texture model and the adaptive mathematical morphology was designed. The fabric texture was firstly filtered based on the relative total variation model, then, the gray morphological operation based on adaptive neighborhood was directly performed on the gray level image, which is morphological opening, finally the enhanced image of fabric defects was obtained. The algorithm based on the relative total variation model and the adaptive mathematical morphology as well as the other two known algorithms based on Gabor filter was carried out on 4 types of fabric defects with high frequency, and the results show that the method can more effectively extract the fabric defects.

fabric defect； structure-texture model； relative total variation model； mathematical morphology； adaptive neighborhood

2016-06-20

2017-02-15

張波(1981—)，男，講師，博士生。主要研究方向?yàn)椴牧蠙z測(cè)技術(shù)。E-mail:tjnuzhangbo@163.com。

10.13475/j.fzxb.20160604706

TS 101.9

A