應(yīng)用積分圖的織物瑕疵檢測快速算法

董 蓉, 李 勃, 徐 晨

(1. 南通大學(xué) 電子信息學(xué)院, 江蘇 南通 226019; 2. 南京大學(xué) 電子科學(xué)與工程學(xué)院， 江蘇 南京 210093)

應(yīng)用積分圖的織物瑕疵檢測快速算法

董 蓉1, 李 勃2, 徐 晨1

(1. 南通大學(xué) 電子信息學(xué)院, 江蘇 南通 226019; 2. 南京大學(xué) 電子科學(xué)與工程學(xué)院， 江蘇 南京 210093)

為解決現(xiàn)有基于圖像處理的織物瑕疵檢測算法實時性較差、正確率偏低等問題，提出一種包含學(xué)習(xí)和檢測2個階段的瑕疵檢測算法。通過對無瑕疵模板圖像的梯度能量特征及其分布特性的學(xué)習(xí)，自適應(yīng)獲得檢測階段所需的參數(shù)。一方面利用積分圖原理將任意大小的圖像塊內(nèi)的求和運(yùn)算化簡為三次加法運(yùn)算，快速提取織物圖像的梯度能量特征，實現(xiàn)織物瑕疵的實時檢測，另一方面利用核函數(shù)擬合特征參數(shù)分布，結(jié)合均值漂移法求解分布峰值獲得自適應(yīng)的瑕疵判定閾值參數(shù)，實現(xiàn)織物瑕疵的準(zhǔn)確分割。通過實驗將本文算法與現(xiàn)有基于局部二值模式特征、小波特征、規(guī)則帶特征等算法進(jìn)行對比，針對包含3種紋理6類瑕疵的織物圖像數(shù)據(jù)集的測試結(jié)果顯示，本文算法平均處理時間為56 ms，正確率為97%。

織物瑕疵檢測； 積分圖； 特征提取； 核函數(shù)； 均值漂移

傳統(tǒng)紡織行業(yè)的瑕疵檢測多以人工肉眼檢測為主，由于人眼視覺易疲勞導(dǎo)致漏檢，人工觀察效率低，人力成本代價大，與大規(guī)模工業(yè)化生產(chǎn)極不協(xié)調(diào)。近年來，許多學(xué)者研究利用計算機(jī)視覺和圖像處理算法自動進(jìn)行織物瑕疵檢測。對織物圖像直接閾值化分割瑕疵的方法雖然操作簡單[1]，但是僅對平紋、斜紋等灰度均勻、無紋理圖案的織物有效?；趫D像濾波的方法在頻域提取織物紋理特征，如Gabor濾波[2]、小波變換[3]，由于瑕疵尺度方向未定，濾波時往往需要提取多個尺度多個方向的結(jié)果作為特征向量，即便采用PCA降維方法，單幀圖像檢測時間仍需數(shù)十秒[2]，若直接選擇某個濾波分量通過閾值分割來提取瑕疵，可降低運(yùn)行時間[3]，但瑕疵存在于哪一階分量具有不確定性?；趫D像分解的方法利用二維經(jīng)驗?zāi)B(tài)分解[4]、奇異值分解[5-6]等手段將織物本身紋理結(jié)構(gòu)分量與瑕疵分量分離，但是徹底消除織物本身紋理結(jié)構(gòu)分量會導(dǎo)致漏檢較小瑕疵。基于信號統(tǒng)計的方法在空間域統(tǒng)計織物灰度分布特征，如局部二值模式(local binary pattern，LBP)特征[7]、灰度共生矩陣特征[8]、規(guī)則帶(regular band，RB)特征[9]等，統(tǒng)計特征具有較好地魯棒性，但統(tǒng)計特征提取時一般需要利用鄰域多個像素數(shù)據(jù)，如不采用合適的加速策略將導(dǎo)致整體運(yùn)算量驟增，其中RB算法因為僅利用均值、方差等便于計算的灰度分布特征，實時性相對較強(qiáng)?；诩y理建模的方法如利用高斯馬爾科夫隨機(jī)場建立特定織物紋理模型，通過度量待檢測圖像的模型統(tǒng)計量與標(biāo)準(zhǔn)統(tǒng)計量的相似性來識別瑕疵，但受模型精度限制，不易識別小疵點(diǎn)和分散疵點(diǎn)[10]?；诰垲惖姆椒╗11]將織物背景和瑕疵視為2個類別進(jìn)行區(qū)分，但需先行采用適宜的算法抑制背景紋理，一般的濾波算法對平紋斜紋等簡單紋理能夠抑制，但對復(fù)雜圖案紋理背景難以有效。

為實現(xiàn)自動瑕疵檢測算法的工業(yè)化應(yīng)用，實時性和正確率都需滿足，而據(jù)統(tǒng)計，僅有少部分算法能夠滿足實時性，而其中檢測正確率高于90%的算法更是寥寥[12]。有學(xué)者考慮采用硬件加速以保證算法實時性，如基于DSP平臺的自動驗布系統(tǒng)[13]，可實現(xiàn)100 ms/幀的在線檢測，該算法直接對小波高頻系數(shù)閾值化來檢測瑕疵，僅對斷經(jīng)瑕疵有效。另有采用GPU硬件加速實現(xiàn)在線檢測[14]的算法，以紗線交點(diǎn)識別和紗線軌跡跟蹤為基礎(chǔ)，以經(jīng)線在上時的經(jīng)緯交叉點(diǎn)為特征點(diǎn)，專門針對平紋、斜紋、緞紋等簡單紋理織物。為保證檢測地正確性，一方面所采用的特征應(yīng)當(dāng)能夠有效區(qū)分瑕疵和非瑕疵像素，另一方面，應(yīng)當(dāng)設(shè)計合適的計算策略獲得用于瑕疵判定的閾值參數(shù)并使其具有自適應(yīng)性。

本文提出一種基于積分圖的快速織物瑕疵檢測算法。利用積分圖將任意大小的圖像塊內(nèi)的求和運(yùn)算化簡為三次加法運(yùn)算，快速提取梯度能量統(tǒng)計特征，極大減小運(yùn)行時間，并利用核函數(shù)擬合非對稱特征分布獲得自適應(yīng)的瑕疵判定閾值，實現(xiàn)瑕疵區(qū)域的準(zhǔn)確分割。

1 算法架構(gòu)

圖1示出本文的算法框圖，主要分為學(xué)習(xí)和檢測2個階段。在學(xué)習(xí)階段，對無瑕疵模板圖像處理，統(tǒng)計其梯度能量的核密度分布函數(shù)，采用均值漂移方法獲得分布峰值以及方差參數(shù)作為檢測階段的自適應(yīng)閾值；在檢測階段，對待檢測圖像，首先通過積分圖算法求取每個像素點(diǎn)所在窗口的梯度能量，結(jié)合學(xué)習(xí)階段的閾值參數(shù)，判定當(dāng)前像素點(diǎn)是否是疵點(diǎn)，最后統(tǒng)計整幅圖像的疵點(diǎn)總數(shù)來判定當(dāng)前圖像是否為瑕疵織物。

2 基于積分圖的快速瑕疵檢測

積分圖是為了快速計算圖像上任意矩形區(qū)域內(nèi)像素積分而提出的一種算法[15]。對圖像G(x，y)，其對應(yīng)的積分圖I(x，y)定義為

(1)

即積分圖I中任一點(diǎn)(x，y)的數(shù)值為圖像G中左上角至當(dāng)前點(diǎn)(x，y)所構(gòu)成的矩形框內(nèi)所有點(diǎn)的像素值之和。為了加速運(yùn)算，積分圖可以用式(2)所示的快捷算法獲得。

I(x,y)=I(x-1,y)+I(x,y-1)-I(x-1,y-1)+G(x,y)

(2)

已有積分圖I(x，y)，圖像G(x，y)上任意矩形區(qū)域的像素積分可由I(x，y)快速計算，如圖2所示。令I(lǐng)(x1，y1)=R(A)，I(x2，y2)=R(A)+R(B)，I(x3，y3)=R(A)+R(C)，I(x4，y4)=R(A)+R(B)+R(C)+R(D)，R(·)函數(shù)表示區(qū)域積分，因此，D區(qū)域的積分R(D)可用式(3)計算。

(3)

根據(jù)式(3)，不管矩形區(qū)域D面積有多大，都僅需3次運(yùn)算即可求取其中像素值之和，極大地降低了計算量。

一般而言，無瑕疵的織物圖像紋理呈周期均勻分布，對其任意點(diǎn)(x，y)，以該點(diǎn)為中心計算固定大小w*h窗口下的能量，w、h分別為窗口的長、寬，理想狀態(tài)下，該能量特征應(yīng)當(dāng)不隨(x，y)的變化而變化，而瑕疵的出現(xiàn)將打破其周期性、均勻性，也使得能量分布發(fā)生變化。據(jù)此，采用窗口能量值作為特征描述來檢測瑕疵，但考慮到能量值易受光照影響，本文采用梯度能量，先求取原始圖像F(x，y)的梯度圖G(x，y)，再對G(x，y)提取能量特征E(x，y)用于瑕疵檢測。

基于以上原理，利用積分圖進(jìn)行瑕疵檢測，具體步驟如下。

1) 求取待檢測圖像F(x，y)的梯度圖G(x，y)；

2) 根據(jù)式(2)求取G(x，y)的積分圖I(x，y)；

3) 對任意點(diǎn)(x，y)求取其梯度能量E(x，y)，即以點(diǎn)(x，y)為中心的大小為w*h的窗口區(qū)域內(nèi)的像素積分

(4)

4) 如果E(x，y)滿足下式，則點(diǎn)(x，y)為疵點(diǎn)。

或

(5)

式中：μ、σ1、σ2為通過對無瑕疵模板圖像訓(xùn)練而獲得的閾值參數(shù)，α為控制系數(shù)。

5) 統(tǒng)計待檢圖像F(x，y)中總疵點(diǎn)數(shù)，若大于閾值Td則判定該圖有瑕疵。

3 基于核函數(shù)的閾值參數(shù)學(xué)習(xí)

理想狀態(tài)下，對無瑕疵圖像，梯度能量E(x，y)應(yīng)當(dāng)不隨(x，y)的變化而變化，而實際上織物在不同區(qū)域的紋理不可能完全一致，圖像采集過程中也可能引入噪聲，因此，梯度能量E(x，y)往往呈一定分布形態(tài)，如圖3所示。為獲得式(5)中的閾值參數(shù)μ、σ1、σ2，一種最直接的方法是利用高斯模型來擬合E(x，y)的分布，并將μ、σ1、σ2設(shè)置為該高斯分布的均值和方差。然而，E(x，y)的分布并不總是具有對稱性，在密度峰值的兩側(cè)可能呈現(xiàn)不同的衰減特性，因此，如果用具有對稱性的高斯模型擬合很容易產(chǎn)生偏差，高斯擬合結(jié)果明顯偏離真實分布如圖3所示。

為此，本文提出采用核函數(shù)來擬合梯度能量分布，獲得它的核密度概率分布P(e)[16]為

(6)

式中：N為該類織物無瑕疵圖像的像素數(shù)，{en|n=1、2、3、…、N}，為無瑕疵圖像中每個點(diǎn)的梯度能量數(shù)據(jù)；b為核函數(shù)帶寬；c0為歸一化系數(shù)；k(e)為核輪廓函數(shù)，本文選擇高斯核輪廓函數(shù)，即k(e)=exp(-e/2)，e≥0。為獲得梯度能量分布的峰值所在位置，利用均值漂移法[16]求取核密度概率分布P(e)的極值，根據(jù)密度峰值將能量分布分為左右兩部分，分別計算各部方差用于瑕疵檢測閾值的計算，具體步驟如下。

1) 設(shè)定初始值μ0為當(dāng)前無瑕疵模板圖像的梯度能量均值。

2) 令μ1=m(μ0)+μ0，其中m(μ0)為μ0處的均值漂移量[16]。

(7)

式中g(shù)(e)=-k′(e)。

4) 根據(jù)式(8)計算閾值參數(shù)。

(8)

5) 根據(jù)式(9)計算閾值參數(shù)。

(9)

為提高算法魯棒性，對訓(xùn)練集中的無瑕疵圖像依據(jù)式(7)～(9)求取閾值參數(shù)μ、σ1、σ2，再取其平均值作為最終瑕疵檢測過程中的閾值參數(shù)。

4 實驗及分析

為驗證所提算法，利用香港大學(xué)電子電氣工程系工業(yè)自動化研究實驗室提供的織物圖像數(shù)據(jù)集[9]進(jìn)行測試。該數(shù)據(jù)集共有166幅圖像，灰度均為256像素×256像素，包含方格(box)、點(diǎn)狀(dot)、星狀(star)3種織物紋理，囊括斷線(broken end)、破洞(hole)、打結(jié)(knot)、重網(wǎng)(netting multiple)、粗條(thick bar)、細(xì)條(thin bar)6類織物瑕疵，并提供了可用于參數(shù)學(xué)習(xí)的無瑕疵模板圖像以及真值圖像(Ground Truth)。實驗平臺配置為：Intel i5-2410M處理器，主頻2.3 GHz，內(nèi)存4 GB。程序用MatLab 7下開發(fā)，窗口寬度和高度均設(shè)置為25，控制系數(shù)α設(shè)置為4。檢測到的疵點(diǎn)顯示為白點(diǎn)，否則為黑點(diǎn)。

圖4～6示出數(shù)據(jù)集中的3種不同紋理的待測瑕疵圖像、待測圖像的梯度能量圖、本文算法檢測結(jié)果及真值圖。由第2列梯度能量圖可見，瑕疵區(qū)域的梯度能量特征與正常紋理區(qū)域有顯著差別，說明所構(gòu)建的梯度能量特征能夠較好地區(qū)分瑕疵區(qū)域與正常紋理區(qū)域。與第4列真值圖相比，第3列所提算法檢測結(jié)果圖能夠較好地定位瑕疵，但是比真值圖空洞少，這是因為真值圖是利用人工對每個像素點(diǎn)獨(dú)立判定是否瑕疵點(diǎn)，而所提算法提取特征時統(tǒng)計的是局部w*h大小的窗口內(nèi)的特征，具有膨脹填充的效果。

表1示出不同紋理、不同類型瑕疵情況下，利用本文算法檢測到的疵點(diǎn)數(shù)均值。由表可見，有瑕疵圖像和無瑕疵圖像的疵點(diǎn)數(shù)差異可觀，當(dāng)用于判定織物是否存在瑕疵的疵點(diǎn)數(shù)閾值Td為50時，錯檢圖像僅5幅，正確率達(dá)97%。

表1 3類織物圖像的疵點(diǎn)數(shù)均值
Tab.1 Average defective points among three kinds of fabric images

瑕疵類型方格紋理 點(diǎn)狀紋理 星狀紋理 無瑕疵881斷線 111758561258破洞 2212322452打結(jié) 1227重網(wǎng) 4443351153粗條 155634753811細(xì)條 25415031364

圖7～11示出本文算法與基于小波特征、基于LBP特征以及基于RB特征的檢測結(jié)果對比。其中，小波特征向量由2層小波分解的水平、垂直、對角分量的方差組成，LBP特征向量采用8鄰域均勻LBP(uniform LBP)直方圖，提取特征的窗口大小均為25像素×25像素，判斷是否疵點(diǎn)的閾值均調(diào)整為最優(yōu)，RB算法采用原文中給出的結(jié)果。

另外，對各算法處理每幅圖像平均需消耗的時間進(jìn)行統(tǒng)計，在MatLab平臺下，基于小波特征和基于LBP特征的方法分別耗時81 s和30 s，而本文算法僅需56 ms，RB算法是利用效率較高的C語言執(zhí)行，但平均處理每幅圖像仍需140 ms。由圖7～11以及上述的消耗時間可見，基于小波特征、LBP特征的方法對像素是否疵點(diǎn)的區(qū)分能力不如本文算法以及RB算法。與RB算法相比，本文算法得益于積分圖的加速功能，不僅能夠準(zhǔn)確定位瑕疵，且實時性更強(qiáng)。本文算法若轉(zhuǎn)為C語言執(zhí)行效率將更高。

5 結(jié) 論

織物圖像瑕疵區(qū)域的梯度能量特征與正常紋理區(qū)域有顯著差別，利用積分圖算法可快速提取織物圖像的梯度能量特征用于瑕疵判別，經(jīng)統(tǒng)計平均運(yùn)行時間僅需56 ms；采用普通高斯函數(shù)擬合梯度能量分布會導(dǎo)致誤差，采用核函數(shù)擬合非對稱的特征分布，結(jié)合均值漂移法提取分布峰值，可自適應(yīng)求取閾值參數(shù)以準(zhǔn)確分割瑕疵，正確率高達(dá)97%。本文方法既可滿足實時性又具有較高正確率，并且能夠適應(yīng)不同紋理的織物，較為符合實際工業(yè)生產(chǎn)應(yīng)用的需求。在以后的研究中，將進(jìn)一步擴(kuò)充現(xiàn)有織物圖像數(shù)據(jù)庫，以測試本文算法在各種不同類型織物下的適應(yīng)能力。

FZXB

[1] 杜磊，李立輕，汪軍，等. 幾種基于圖像自適應(yīng)閾值分割的織物疵點(diǎn)檢測方法比較[J]. 紡織學(xué)報, 2014, 35(6):56-61. DU lei, LI Liqing, WANG Jun, et al. Comparison of several fabric defect detection methods based on image self-adaptive threshold segmentation [J]. Journal of Textile Research, 2014, 35(6):56-61.

[2] BISSI L, BARUFFA G, PLACIDI P, et al. Automated defect detection in uniform and structured fabrics using Gabor filters and PCA [J]. Journal of Vision Communication and Image Representation, 2013, 24(7):838-845.

[3] 楊曉波. 基于自適應(yīng)離散小波變換的混合特征畸變織物疵點(diǎn)識別 [J]. 紡織學(xué)報, 2013, 34(1):133-137. YANG Xiaobo. Research of mixture feature aberrance fabric defect recognition based on self-adaptive discrete wavelet transform [J]. Journal of Textile Research, 2013, 34(1):133-137.

[4] LI Z X, LIU J L, LIU J H, et al. Fabric defect segmentation by bidimensional empirical mode decomposition [J]. Textile Research Journal, 2014, 84(7):704-713.

[5] JAYANTA K C, ASIT K D. Detection of defects in fabrics using subimage-based singular value decomposition[J]. The Journal of The Textile Institute, 2013, 104(3):295-304.

[6] 王鋼, 周建, 汪軍， 等. 采用奇異值分解的機(jī)織物瑕疵檢測算法[J]. 紡織學(xué)報, 2014, 35(7):61-66.

WANG Gang, ZHOU Jian, WANG Jun, et al. Woven fabric defect detection using singular value decomposition [J]. Journal of Textile Research, 2014, 35(7):61-66.

[7] 付蓉,石美紅. 基于自適應(yīng)LBP和SVM的織物疵點(diǎn)檢測算法[J].計算機(jī)應(yīng)用,2010, 30(6):1597-1601. FU Rong, SHI Meihong. Fabric defect detection based on adaptive LBP and SVM [J]. Journal of Computer Applications, 2010, 30(6):1597-1601.

[8] 鄒超, 朱德森, 肖力. 基于模糊類別共生矩陣的紋理疵點(diǎn)檢測方法[J]. 中國圖象圖形學(xué)報, 2007, 12(1):92-97. ZOU Chao, ZHU Desen, XIAO Li. Textural defect detection based on fuzzy label cooccurrence matrix [J]. Journal of Image and Graphics, 2007, 12(1):92-96.

[9] NGAN H Y T, PANG G K H. Regularity analysis for patterned texture inspection [J]. IEEE Transactions on Automatic Science and Engineering, 2009, 6(1):131-144.

[10] 楊曉波. 基于GMRF模型的統(tǒng)計特征畸變織物疵點(diǎn)識別[J]. 紡織學(xué)報, 2013, 34(4):137-142. YANG Xiaobo. Fabric defect detection of statistic aberration feature based on GMRF model [J]. Journal of Textile Research, 2013, 34(4):137-141.

[11] 張緩緩，李仁忠，景軍鋒，等. Frangi濾波器和模糊C均值算法相結(jié)合的織物瑕疵檢測[J]. 紡織學(xué)報, 2015, 36(9):120-124. ZHANG Huanhuan, LI Renzhong, JING Junfeng, et al. Fabric defect detection based on Frangi filter and fuzzy C-means algorithm in combination[J]. Journal of Textile Research, 2015, 36(9):120-124.

[12] NGAN H Y T, PANG G K H, YUNG N H C. Automated fabric defect detection： a review[J]. Image and Vision Computing, 2011, 29(7):442-458.

[13] LI Y D, AI J X, SUN C Q. Online fabric defect inspection using smart visual sensors [J]. Sensors, 2013, 13(4):4659-4673.

[14] SCHNEIDER D, HOLTERMANN T, MERHOF D. A traverse inspection system for high precision visual on-loom fabric defect detection [J]. Machine Vision and Applications, 2014, 25(6): 1585-1599.

[15] BAY H, ESS A, TUYTELAARS T, et al. Speeded-up robust features (SURF) [J]. Computer Vision and Image Understanding, 2008, 110(3):346-359.

[16] COMANICIU D, MEER P. Mean Shift: a robust approach toward feature space analysis [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5):603-619.

Fast fabric defect detection algorithm based on integral image

DONG Rong1, LI Bo2, XU Chen1

(1. School of Electronics and Information, Nantong University, Nantong, Jiangsu 226019, China; 2. School of Electronic Science and Engineering, Nanjing University, Nanjing, Jiangsu 210093, China)

The existing fabric defect detection methods based on image processing is poor in real-time performance and low in accuracy. In order to solve this problem, an algorithm consisting of two stages of learning and detection was proposed. By means of learning the gradient energy features and their distribution properties of non-defect model images, parameters in the detection stage were obtained automatically. On the one hand, by using integral image theory, summation operation in the image patch with arbitrary size was simplified to three addition operations, and gradient energy features in fabric images were extracted very quickly, so that fabric defects can be detected in real time. On the other hand, kernel functions were used to fit the distribution of feature parameters, mean shift method was used to solve the peak value in the distribution, and an adaptive threshold was obtained, so that fabric defect can be segmented precisely. In the experiments, the proposed algorithm was compared with the other three methods, respectively, based on local binary pattern features, wavelet features and regular band features. Tests on fabric image datasets including three kinds of textures and six kinds of defects show that the proposed method has an average running time of 56 ms and the accuracy rate is 97%.

fabric defect detection； integral image； feature extraction； kernel function； mean shift

10.13475/j.fzxb.20150704607

2015-07-21

2016-07-10

國家自然科學(xué)基金資助項目(61401239)；南通市應(yīng)用研究計劃項目(BK2014066)

董蓉(1984—)，女，講師，博士。主要研究方向為計算機(jī)視覺、視頻圖像處理與模式識別。E-mail：drwistaria@163.com。

TN 911.73

A