復(fù)雜紋理瓷磚表面缺陷檢測算法研究

歐陽周, 張懷亮, 唐子暘, 彭玲, 俞勝

(1.中南大學(xué) 高性能復(fù)雜制造國家重點(diǎn)實(shí)驗(yàn)室, 湖南 長沙 410083; 2.中南大學(xué) 機(jī)電工程學(xué)院, 湖南 長沙 410083)

近年來，中國陶瓷磚產(chǎn)業(yè)轉(zhuǎn)型升級和發(fā)展取得巨大的成果，截至2019年，我國形成比較大的陶瓷磚產(chǎn)業(yè)集群22個，全國陶瓷磚企業(yè)1 500多家，年產(chǎn)量82.2億平方米，全年市場營收收入超3 877億元(中瓷網(wǎng)數(shù)據(jù))。但我國瓷磚依舊未擺脫瓷磚品質(zhì)普遍偏低的困境，處于“大”而不“精”的現(xiàn)狀。瓷磚生產(chǎn)領(lǐng)域的產(chǎn)品缺陷檢測手段主要依賴于人工檢測，在檢測速度和檢測準(zhǔn)確率上因個體之間能力差異存在很大的不確定性。

在瓷磚視覺檢測領(lǐng)域，意大利System公司[1]應(yīng)用線陣相機(jī)結(jié)合PSD的方法實(shí)現(xiàn)了瓷磚平整度的檢測；美國某檢測公司[2]設(shè)計(jì)的檢測分類系統(tǒng)實(shí)現(xiàn)了瓷磚色差、尺寸、平整度方面的檢測；Hanzaei等[3]通過缺陷區(qū)域的幾何特征分析，實(shí)現(xiàn)了對缺陷瓷磚的檢測分類；國內(nèi)的鄒慶勝等[4]實(shí)現(xiàn)了單色瓷磚的色差、直角度、尺寸、針孔的多參數(shù)檢測。但以上所提及的系統(tǒng)、方法的應(yīng)用場景受限于瓷磚的色差、尺寸、平整度等參數(shù)的檢測或是單色簡單紋理瓷磚的缺陷檢測。權(quán)小霞等[5]通過含缺陷瓷磚圖與標(biāo)準(zhǔn)瓷磚圖對比，提出了一種基于局部方差加權(quán)信息熵的檢測算法，實(shí)現(xiàn)了缺陷檢測；Treisman等[6]提出的特征融合理論使視覺顯著性計(jì)算成為可能；Itti等[7]利用顏色、對比度、方向3個特征建立了最早的顯著性檢測模型；此后，Perazzi等[8]通過局部和全局特征的度量獲得顯著圖，利用高維高斯濾波器依次對各個像素賦予相應(yīng)的顯著值；Casagrande等[9]提出了一種結(jié)合圖像處理方法的瓷磚缺陷自動檢測方法，發(fā)現(xiàn)將SFTA與DWT結(jié)合使用可顯著提高總體精度。Mishra等[10]提出了一種基于人工神經(jīng)網(wǎng)絡(luò)(ANN)的技術(shù)，該技術(shù)利用瓷磚圖像的變換域特性，通過系統(tǒng)學(xué)習(xí)模型的能力使其具有靈活性和動態(tài)可配置性。仿真結(jié)果也驗(yàn)證了該算法的優(yōu)勢之處。Zhang、孫豐東、Cheng等[11-13]都分別提出了多種不同的顯著性檢測模型。

為解決現(xiàn)有瓷磚缺陷檢測方法準(zhǔn)確率低和穩(wěn)定性差等問題，本文引入基于視覺注意機(jī)制的顯著性目標(biāo)檢測方法，并將其運(yùn)用到瓷磚表面缺陷檢測的研究，開展針對紋理瓷磚表面缺陷檢測的研究，實(shí)現(xiàn)抗瓷磚表面紋理干擾檢測，這對于瓷磚的自動化檢測發(fā)展具有重要意義，也是實(shí)現(xiàn)復(fù)雜紋理瓷磚在線檢測的關(guān)鍵一步。

1 圖像的采集與預(yù)處理

根據(jù)瓷磚缺陷區(qū)域的成像特征,采用改進(jìn)傳統(tǒng)單尺度SSR光照校正算法和雙邊濾波處理進(jìn)行預(yù)處理。傳統(tǒng)的單尺度光照校正存在一定的局限性，因此圖像預(yù)處理中必須先對其校正方式進(jìn)行相應(yīng)改進(jìn)，以適應(yīng)實(shí)際的檢測需求。根據(jù)瓷磚缺陷區(qū)域的成像特征，改進(jìn)傳統(tǒng)單尺度SSR光照校正算法的下限取值方式，具體步驟如下：

1) 選取多幅表面存在缺陷的瓷磚圖像作為數(shù)據(jù)樣本，定位并提取相應(yīng)的缺陷區(qū)域；

2) 提取各個缺陷區(qū)域?qū)?yīng)的三通道數(shù)值，并計(jì)算其均值， 依據(jù)三通道數(shù)據(jù)與數(shù)值均值的分布關(guān)系，求取相應(yīng)的權(quán)重；

3) 分別求取各通道的加權(quán)均值作為該通道的數(shù)值波動下限參數(shù)，替代原算法中尋找最小值操作；

4) 統(tǒng)計(jì)圖像中有任一通道值小于對應(yīng)通道下限的像素，記為待定像素(原圖像與待定像素對應(yīng)點(diǎn)不進(jìn)行光照校正計(jì)算)；

5) 依據(jù)待定像素的坐標(biāo)，對應(yīng)生成二值圖，其中與待定像素對應(yīng)點(diǎn)置1，其余置0，作為后續(xù)疑似區(qū)域補(bǔ)充信息。

對于像素點(diǎn)通道值小于設(shè)定值的點(diǎn)，直接定義為疑似缺陷區(qū)域的像素點(diǎn)，采用步驟4)～5)進(jìn)行處理。

雙邊濾波作為一種基于加權(quán)平均的非線性濾波器，既考量了像素的歐式距離，又考量了像素區(qū)域的輻射差異，可以有效地實(shí)現(xiàn)邊緣保持、平滑去噪。經(jīng)雙邊濾波后的圖像和權(quán)重系數(shù)w(i,j,k,l)表達(dá)式為

改進(jìn)方法與SSR算法結(jié)果對比如圖1～2所示。

圖1 SSR光照校正后圖像結(jié)果

圖2 改進(jìn)單尺度算法以及雙邊濾波處理后圖像結(jié)果

對比圖1和圖2，依次經(jīng)過光照校正和雙邊濾波處理后的圖像實(shí)現(xiàn)了保持邊緣、降噪平滑的目的，同時使得圖像具有更好的區(qū)域塊聚集性，方便圖像各類顏色像素統(tǒng)計(jì)，有利于后續(xù)缺陷檢測的實(shí)現(xiàn)。

2 基于視覺注意機(jī)制的瓷磚缺陷檢測

2.1 顏色空間的處理和瓷磚表面特征提取

視覺注意機(jī)制直接決定了檢測模型對外部信息的辨別處理能力，關(guān)系復(fù)雜紋理瓷磚表面缺陷的顯著性檢測到最后模型檢測結(jié)果的正確與否[14]。因此本文的研究主要采用基于數(shù)據(jù)驅(qū)動的自底向上的視覺注意機(jī)制顯著性檢測方法，如圖3所示。

圖3 基于視覺注意機(jī)制的瓷磚缺陷檢測模型框圖

顏色空間處理能將HSV(色調(diào)、飽和度和明度值)空間模型的三通道都壓縮至5個量級，共描述125種顏色，在實(shí)際檢測中單圖像顏色種類可控制在50種以內(nèi)。經(jīng)過顏色空間處理之后，可得到圖4所示的表面斑塊破損的瓷磚圖像。

圖4 表面斑塊破損瓷磚圖像

根據(jù)視覺注意機(jī)制中對比性原理及高頻抑制原理，結(jié)合“成像性”與“聚集性”，即瓷磚的表面缺陷成像顏色相對一致，空間分布相對聚集，且瓷磚的背景紋理成像顏色相對一致但空間分布相對分散?？梢酝ㄟ^改進(jìn)圖像方差特征公式, 從求取圖像灰度的不均勻性轉(zhuǎn)而求取各類顏色像素的空間分布方差，其計(jì)算表達(dá)式為：

對圖像的各類顏色進(jìn)行統(tǒng)計(jì)，并依據(jù)各類顏色像素的頻數(shù)進(jìn)行降序排列，然后對各類顏色逐一進(jìn)行顏色空間分布方差計(jì)算。選取具有代表性的9種顏色對應(yīng)的分布方差計(jì)算值，分別為319.64,333.08,267.67,399.98,303.56,208.49,9.75,2.65和2.23，如圖5所示。將圖5a)～5g)所代表的顏色分布方差進(jìn)行對比，圖5a)～5g)所代表的顏色RGB值為(180,217,211),(152,152,83)和(99,105,87)，如圖6所示。

圖5 各類顏色的分布方差值

從圖5a)～5e)可以看出，瓷磚修飾紋理分布較為分散，其分布方差值也較大，而圖5g)為缺陷區(qū)域圖像，分布較為集中，其分布方差值較小。從圖5a)～5b)、5g)和圖6可以看出，圖5g)中的方差值明顯低于其他紋理特征。而圖5h)和5i)是顏色統(tǒng)計(jì)過程中的一些小類顏色雜質(zhì)像素，后續(xù)需要對其進(jìn)行有效剔除處理。依據(jù)公式計(jì)算出各類顏色的空間分布方差后，即可分配各類顏色對應(yīng)的顯著值，顯著值的分配準(zhǔn)則為：方差越小，顯著值越大。

圖6 3類顏色的分布方差值

依據(jù)顯著性原理分配各類顏色的顯著值后，對像素逐一進(jìn)行顯著性賦值，即可獲得顏色空間分布方差顯著圖，如圖7所示(瓷磚缺陷在圖中用紅色矩形標(biāo)記)。

圖7 各類顏色的空間分布方差顯著性

從圖7可以看出，顏色空間分布方差特征有效地實(shí)現(xiàn)了對瓷磚表面缺陷區(qū)域的檢測，克服了表面紋理為背景信息的干擾。但是仍然存在著一些顏色種類的干擾，甚至其顯著性值處于高位狀態(tài)，需要進(jìn)行進(jìn)一步的圖像處理。

2.2 圖像斑塊權(quán)重特征

在瓷磚表面特征提取之后，仍有可能出現(xiàn)圖8所示的情況(瓷磚缺陷在圖8a)中用矩形標(biāo)記)。

其中圖8b)中綠圈表示的是真實(shí)缺陷區(qū)域和非缺陷的干擾像素, 這兩者會出現(xiàn)在同一種顏色分量分布圖中的原因是瓷磚背景紋理有小塊紋理顏色與缺陷區(qū)域顏色接近，二者在光照校正處理和顏色種類降級處理之后被劃分成了同一顏色。為了進(jìn)行缺陷區(qū)域的有效區(qū)分判斷，在此引入斑塊權(quán)重來描述不同級別的特征，斑塊權(quán)重Uij表達(dá)式為

(5)

式中：Uij為第i種顏色的顯著值；C1為增益因數(shù)；Sij代表的是第i種顏色第j塊獨(dú)立子區(qū)域的面積。

圖8 缺陷檢測對照

依據(jù)公式計(jì)算出各類顏色的斑塊權(quán)重后，即可分配其對應(yīng)的顯著值。以圖4為例，對各類顏色依據(jù)顯著性準(zhǔn)則計(jì)算其子區(qū)域的顯著值，獲得的各顏色斑塊權(quán)重顯著圖，與圖5對應(yīng)的9種顏色對應(yīng)的分布方差計(jì)算值圖，如圖9所示。

圖9 各類顏色的斑塊權(quán)重

圖9先將圖像的各類顏色進(jìn)行統(tǒng)計(jì)，再依據(jù)各類顏色像素的頻數(shù)進(jìn)行降序排列成圖9a)～9i)。由圖可知：對于像素?cái)?shù)量大、分布廣泛的顏色種類，例如圖9b)～9e)，其斑塊權(quán)重的顯著值均較小，使得整個顯著圖呈現(xiàn)“黑色”；圖9a)和圖9f)雖然仍存在一些紋理斑塊，但其顯著值處于低位狀態(tài)，大比例的紋理像素的顯著值都得到很好抑制；圖9g)作為缺陷區(qū)域，保持了較好的高亮性，其顯著值處于高位狀態(tài)，符合檢測的要求，而圖9h)和圖9i)作為小數(shù)量像素的干擾現(xiàn)象仍存在，需要進(jìn)行圖像的后處理進(jìn)行剔除。通過對各類顏色的斑塊權(quán)重圖進(jìn)行疊加，得到圖像顏色斑塊權(quán)重顯著圖如圖10a)所示(瓷磚缺陷在圖中用紅色矩形標(biāo)記)。對比圖10a)和圖9的9個圖可以看出，顏色斑塊權(quán)重特征也可以有效地實(shí)現(xiàn)對瓷磚表面缺陷區(qū)域的檢測，可以有效克服紋理背景的干擾。

圖10 瓷磚圖像顯著圖

2.3 顯著圖融合

經(jīng)過圖像特征描述分析后，分別獲得了顏色空間分布方差顯著圖和顏色斑塊權(quán)重顯著圖。為了獲得一張最具代表的顯著圖用以缺陷檢測判別，采用指數(shù)函數(shù)形式，融合2個描述特征，最終融合的顯著圖SQ(x,y)具體表達(dá)式如(6)式所示。

SQ(x,y)=C2·Q(x,y)exp(B(x,y))

(6)

式中：C2為增益系數(shù)；B(x,y)是疊加后的各類顏色的斑塊權(quán)重圖。

依據(jù)表達(dá)式計(jì)算，有效地融合了顏色空間分布方差顯著圖和顏色斑塊權(quán)重顯著圖，獲得了新的瓷磚檢測顯著圖，具體融合后的顯著圖如圖10b)所示(瓷磚缺陷在圖中用紅色矩形標(biāo)記)。從圖10b)可以看出，相較于單獨(dú)特征的顯著圖，融合后的顯著圖有效地保留了真實(shí)的缺陷區(qū)域，而其余紋理背景區(qū)域得到了更好的淡化抑制，使其顯著值處于低位狀態(tài)，使得檢測更為準(zhǔn)確。依據(jù)最大類間方差法對特征融合顯著圖進(jìn)行二值化的閾值求解，并將其轉(zhuǎn)化為二值圖，如圖10c)所示(瓷磚缺陷在圖中用紅色矩形標(biāo)記)。

2.4 缺陷判定

在圖像斑塊權(quán)重顯著圖中，仍然存在一些由于小類顏色種類以及像素顏色壓縮降級導(dǎo)致的一些不同顏色像素的錯誤合并，會出現(xiàn)一些“小而強(qiáng)”像素點(diǎn)。因此在獲得融合的顯著圖后，需要對其進(jìn)行剔除。這些奇異點(diǎn)往往所占像素?cái)?shù)量較小，連通性差，因此根據(jù)連通性特點(diǎn)對其進(jìn)行剔除。

本文采用八鄰域模型，實(shí)現(xiàn)對二值顯著圖中連通域的尋找和標(biāo)記，二值顯著圖經(jīng)過連通域?qū)ふ液蜆?biāo)記后，即實(shí)現(xiàn)了對圖像中子塊區(qū)域的劃分和標(biāo)序，即可按其標(biāo)號依次進(jìn)行各子塊區(qū)域面積的計(jì)算，而面積的計(jì)算實(shí)質(zhì)上就是具有相同標(biāo)號子塊區(qū)域的像素?cái)?shù)目統(tǒng)計(jì)。通過分析子塊區(qū)域大小實(shí)現(xiàn)取舍：若子塊區(qū)域小于設(shè)定閾值，則像素值置0，剔除；反之，則置1，保留。經(jīng)奇異點(diǎn)剔除操作后，獲得的最終顯著圖如圖11a)所示(瓷磚缺陷在圖中用紅色矩形標(biāo)記)。采用最小外接矩形方法進(jìn)行缺陷標(biāo)記，如圖11b)所示。(瓷磚缺陷在圖中用紅色矩形標(biāo)記)。由圖11可知，判定之后得到瓷磚缺陷圖像與實(shí)際情況吻合。

圖11 瓷磚缺陷檢測結(jié)果

3 實(shí)驗(yàn)結(jié)果及分析

3.1 圖像數(shù)據(jù)

為了驗(yàn)證本文提出的算法有效性，將本文的SOD算法與文獻(xiàn)[9]中研究的基于分割的分形紋理分析算法(SFTA)和文獻(xiàn)[10]中研究的人工神經(jīng)網(wǎng)絡(luò)算法(ANN)進(jìn)行對比，將3種不同的瓷磚檢測算法應(yīng)用于圖12所示的3種不同的復(fù)雜紋理瓷磚缺陷檢測。實(shí)驗(yàn)采用3類不同紋理的瓷磚進(jìn)行測試，每一類瓷磚有合格瓷磚64塊與不合格瓷磚30塊，瓷磚紋理如圖12所示。

圖12 實(shí)驗(yàn)瓷磚

3.2 評價指標(biāo)

采用定量評估進(jìn)行實(shí)驗(yàn)結(jié)果分析，涉及以下參數(shù)：

TP：瓷磚無缺陷，判為無缺陷；

FP：瓷磚有缺陷，判為無缺陷；

FN：瓷磚無缺陷，判為有缺陷；

TN：瓷磚有缺陷，判為有缺陷；

準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)和綜合率(F-Measure)的公式分別為：

3.3 實(shí)驗(yàn)結(jié)果與分析

依次對3類瓷磚的樣本圖像進(jìn)行缺陷檢測實(shí)驗(yàn)，檢測結(jié)果的準(zhǔn)確率、精確率如表1所示。取其中的綜合檢測率為對比對象，比較3種算法[9-10]的優(yōu)劣如圖13所示。

表1 指標(biāo)結(jié)果

圖13 評價結(jié)果

從上述結(jié)果可以看出，基于視覺注意機(jī)制的復(fù)雜紋理瓷磚表面缺陷檢測算法，針對隨機(jī)選取的3類復(fù)雜紋理瓷磚均具有良好的檢測效果，檢測效果評價指標(biāo)均達(dá)到90%。本文提出的針對復(fù)雜紋理瓷磚表面缺陷檢測的SOD算法，在3類復(fù)雜紋理瓷磚的檢測效果良好，4項(xiàng)評價指標(biāo)也均處于較高水平。分析各評價指標(biāo)，其中綜合率作為最重要指標(biāo)，SOD算法模型的檢測準(zhǔn)確率均達(dá)到了96%以上，說明了SOD算法模型的穩(wěn)定檢測性能。相比較于其他算法，本文研究的SOD缺陷檢測算法更適合于復(fù)雜紋理瓷磚表面的缺陷檢測，也從側(cè)面說明了SOD算法模型具有較低的誤檢、漏檢率。而ANN算法適用于市面上大多數(shù)普通瓷磚的缺陷檢測，對于本文研究的復(fù)雜紋理瓷磚檢測效果在算法復(fù)雜度上有優(yōu)勢，但檢測率欠佳。綜上所述，本文提出的瓷磚缺陷檢測算法有較好的檢測性能，符合實(shí)際檢測需求，具有一定的實(shí)際意義。

但檢測結(jié)果仍存在一定的誤差，主要由于一些小類顏色種類以及像素顏色壓縮降級導(dǎo)致顏色接近像素的錯誤合并，形成一些具有大連通域的奇異點(diǎn)，超過了利用連通域篩選的閾值，造成誤檢。

4 結(jié) 論

1) 改進(jìn)了單通道SSR光照校正算法的數(shù)值下限選取方式，圖像實(shí)現(xiàn)了保持邊緣、降噪平滑的目的，方便圖像各類顏色像素統(tǒng)計(jì)，有利于后續(xù)的缺陷檢測實(shí)現(xiàn)。

2) 提出了一種新的復(fù)雜紋理瓷磚表面缺陷檢測算法，建立了基于視覺注意機(jī)制的瓷磚缺陷檢測模型。通過壓縮HSV顏色空間各通道的數(shù)量等級，實(shí)現(xiàn)像素顏色種類數(shù)目的降低，提高了瓷磚表面缺陷檢測精確性和穩(wěn)定性并降低了運(yùn)算處理量。

3) 隨機(jī)選取3類復(fù)雜紋理瓷磚進(jìn)行實(shí)驗(yàn)，對比3種不同的檢測算法。實(shí)驗(yàn)結(jié)果表明，本文提出的缺陷檢測算法針對3類實(shí)驗(yàn)復(fù)雜紋理瓷磚均達(dá)到了96%以上的綜合檢測率，比SFTA缺陷檢測算法和ANN缺陷檢測算法擁有更高的檢測率。證明了本文提出的針對復(fù)雜紋理瓷磚表面缺陷顯著性檢測模型的正確性以及檢測算法的穩(wěn)定性。