朱劉盅，李競擇，吳 磊，季偉偉，嚴(yán)萬萬，胡姊娟

(1.河海大學(xué) 商學(xué)院，江蘇 南京 210098;2.江東科技有限公司，江蘇 南通226400;3.南京理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇 南京 210094)

光纖是用來導(dǎo)光的透明介質(zhì)纖維，靠著體積小、重量輕、原材料來源廣、價(jià)格低廉等優(yōu)點(diǎn)，近幾年大量應(yīng)用于通信技術(shù)，已經(jīng)取代銅導(dǎo)線成為長距離的通訊線路材料，在現(xiàn)代電信網(wǎng)中起著十分重要的作用。

光纖通信作為二戰(zhàn)以來最有意義的四大發(fā)明之一，奠定了網(wǎng)絡(luò)信息傳輸?shù)幕休d了全球90%以上的數(shù)據(jù)流量[1]。并且，光纖通信技術(shù)具有傳輸頻帶寬、容量大、損耗低、抗干擾能力強(qiáng)等特點(diǎn)，經(jīng)過飛速發(fā)展，已經(jīng)成為世界新技術(shù)革命的重要標(biāo)志和未來信息社會(huì)中各種信息的主要傳送工具[2]。

與此同時(shí)，隨著計(jì)算機(jī)科學(xué)技術(shù)的發(fā)展，人們把更多的目光投向了機(jī)器視覺領(lǐng)域。非接觸、高效率、便捷客觀等優(yōu)點(diǎn)，使得機(jī)器視覺在工業(yè)缺陷檢測方面得到更廣泛的應(yīng)用[3-5]。比如孫衛(wèi)紅等[6]提出通過像素點(diǎn)互補(bǔ)算法增強(qiáng)圖像裂縫的對比度，更好地檢測樁護(hù)壁裂縫區(qū)域。胡浩等[7]對缺陷區(qū)域的灰度、灰度梯度及形態(tài)進(jìn)行分析分類，提高了小瓦磁缺陷檢測率。Zhang等[8]利用二維圖像搜索轉(zhuǎn)換為一維特征匹配，提出了一種改進(jìn)的圖像相減方法，用于卷筒紙膠印的缺陷檢測。根據(jù)檢測原理的不同，缺陷檢測方法可以分為統(tǒng)計(jì)方法、過濾方法[8]、模型方法、結(jié)構(gòu)方法和基于學(xué)習(xí)的方法[9]。統(tǒng)計(jì)方法包括共生矩陣、形態(tài)學(xué)[10]、自相關(guān)函數(shù)等，通過計(jì)算圖像像素的灰度分布來獲取缺陷信息[11,12]。過濾方法采用傅里葉變換[13]、Gabor濾波等濾波方法[14,15]去除圖像噪聲，增強(qiáng)缺陷特征以完成檢測。結(jié)構(gòu)方法通過分析紋理信息，采用紋理分割和紋理識別進(jìn)行缺陷檢測。而基于學(xué)習(xí)的方法通常以支持向量機(jī)(Support vector machine,SVM)[16]、視覺幾何組(Visual geometry group,VGG)[17]network模型、殘差神經(jīng)網(wǎng)絡(luò)(Residual neural network,ResNet)[18]、AlexNet[19]等神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，使用已知樣本訓(xùn)練的分類器來區(qū)分缺陷樣本和非缺陷樣本。

在光纖制造過程中，也會(huì)產(chǎn)生瑕疵，而當(dāng)前工廠多采用人工判斷方式，此方法往往存在標(biāo)準(zhǔn)不統(tǒng)一、人員不固定、外觀數(shù)據(jù)無法追溯、效率低下等問題。并且封裝的光纖缺陷檢測方法很少，所以本文提出了一種基于Gabor濾波器的光纖缺陷檢測系統(tǒng)，利用Gabor小波良好的空間局部性與方向選擇性，對光纖圖像在水平方向?yàn)V波以消除背景紋理對瑕疵檢測的影響并增強(qiáng)瑕疵特征，再對圖像進(jìn)行形態(tài)學(xué)操作進(jìn)一部增強(qiáng)瑕疵特征，通過閾值分割提取瑕疵特征，然后對圖像進(jìn)行分塊處理，結(jié)合灰度信息與形狀信息對瑕疵區(qū)域進(jìn)行篩選，達(dá)到瑕疵檢測的目的。本文的主要工作包括:

(1)使用一組包括中值濾波和Gabor濾波的濾波器來消除垂直背景紋理的影響，增強(qiáng)缺陷特征。

(2)由于標(biāo)簽、小氣泡等原因，在過濾和膨脹操作后仍存在一些不屬于提取缺陷的非缺陷特征。本文將過濾后的圖像分割成相同大小的子塊，根據(jù)子塊缺陷特征所包含的區(qū)域可以將這些子塊分為缺陷塊和非缺陷塊。

(3)本文從所有小塊中選擇缺陷區(qū)域，此區(qū)域由缺陷塊及其鄰近區(qū)域組成，然后根據(jù)原始圖像對應(yīng)的形狀、面積、位置甚至灰度值篩選出真正有缺陷的區(qū)域。根據(jù)定義的公式計(jì)算每個(gè)缺陷區(qū)域的權(quán)重，從而判斷一幅圖像中是否存在缺陷。

(4)最后，將本文提出的方法與傳統(tǒng)方法和兩種基于學(xué)習(xí)的方法對比，并對實(shí)驗(yàn)結(jié)果進(jìn)行了分析。

1 光纖缺陷檢測系統(tǒng)

1.1 數(shù)據(jù)來源

本文的數(shù)據(jù)集是從實(shí)際生產(chǎn)環(huán)境中采集的光纖圖像，每個(gè)圖像都由一個(gè)特殊的相機(jī)所捕捉，可以看作是纏繞在軸上的光纖表面的擴(kuò)展視圖。圖1展示了幾個(gè)光纖圖像的樣本，其中圖1(a)是一個(gè)合格的圖像，圖1(b)～(d)是有缺陷的圖像，每張圖片尺寸為4 096×10 000。這個(gè)數(shù)據(jù)集包含正常圖像和8類缺陷圖像，缺陷類別包括疵點(diǎn)、堵點(diǎn)、機(jī)械損傷、氣泡、油污、磕傷凹槽、膠水、異物。

圖1 光纖圖像樣本

實(shí)驗(yàn)所用的數(shù)據(jù)集包含正常圖像與4類瑕疵圖像，即疵點(diǎn)、機(jī)械損傷、油污、磕傷凹槽。根據(jù)光纖排線規(guī)律，瑕疵多為縱向，部分典型瑕疵如圖2所示。在實(shí)際獲得的光纖圖像中，會(huì)有背景紋理、光纖頭、指紋以及標(biāo)簽等噪音混雜其中，對瑕疵的提取及檢測帶來極大干擾。

圖2 部分典型瑕疵

1.2 流程圖

本文提出了一種基于Gabor濾波器的瑕疵檢測方法。首先，利用中值濾波器進(jìn)行去噪，然后使用Gabor濾波器在增強(qiáng)瑕疵特征的同時(shí)減輕背景紋理的影響。然后，通過形態(tài)學(xué)操作與二值化方法初步提取瑕疵特征，再對光纖圖像分割進(jìn)行分塊操作，根據(jù)每個(gè)塊包含瑕疵特征的多少將其劃分為瑕疵塊與正常塊。最后，考慮到分散的特征與瑕疵塊缺少形狀與位置特征，選取瑕疵塊的連通域作為瑕疵區(qū)域。由于單一的特征不能有效地表示瑕疵，所以需要根據(jù)多個(gè)判定公式，提取瑕疵區(qū)域及其在原圖上的灰度圖作為聯(lián)合特征，再根據(jù)提取到的聯(lián)合特征，為每個(gè)瑕疵區(qū)域賦予權(quán)重，比對整幅圖像的權(quán)重與閾值，將權(quán)重大于閾值的圖像判定為有瑕疵的光纖圖像。圖3為本瑕疵檢測系統(tǒng)的流程圖。

圖3 光纖瑕疵檢測系統(tǒng)的流程圖

1.3 Gabor濾波器與中值濾波

Gabor變換是一種重要的時(shí)頻分析方法，在空間域是一個(gè)正弦波與高斯核函數(shù)的卷積，在頻率域是經(jīng)過平移的高斯函數(shù)[20]，核函數(shù)定義為

g(x，y;λ，θ，σ，γ)=

(1)

實(shí)數(shù)部分

(2)

虛數(shù)部分

(3)

其中x′與y′由下式確定

x′=xcosθ+ysinθ

(4)

y′=-xsinθ+ycosθ

(5)

式(1)～式(5)中,λ為余弦函數(shù)的波長，θ為平行條帶的方向因子，σ為高斯函數(shù)的標(biāo)準(zhǔn)差，γ為空間縱橫比，ψ控制余弦函數(shù)的相位偏移。

中值濾波是一種非線性濾波，利用像素點(diǎn)領(lǐng)域灰度值的中值來代替像素點(diǎn)的灰度值，讓周圍的像素值接近真實(shí)值，從而消除孤立的噪聲點(diǎn)，并且中值濾波在消除椒鹽噪聲的同時(shí)能較好保留圖像的邊緣細(xì)節(jié)。在實(shí)驗(yàn)的光纖圖像中，存在一些由標(biāo)簽、反光等造成的噪聲，與椒鹽噪聲類似，因此本文選取窗口大小為5的中值濾波器，可以很好地濾去圖像背景中的噪聲。

1.4 基于Gabor濾波器的瑕疵特征提取

光纖圖像經(jīng)過中值濾波后，很好地濾去了背景中灰度突變的噪聲?？紤]到光纖圖像存在豎直方向上的背景紋理，因此采用尺度為13、角度為90°的二維實(shí)Gabor濾波器對光纖圖像進(jìn)行濾波，可以實(shí)現(xiàn)在濾去光纖圖像縱向紋理信息的同時(shí)增強(qiáng)瑕疵特征，然后再對圖像進(jìn)行二值化處理與形態(tài)學(xué)濾波提取瑕疵特征，具體效果如圖4所示。

圖4 初步提取到的瑕疵特征

1.5 瑕疵區(qū)域提取

在提取瑕疵特征值的過程中，仍存在一些如光纖頭、指紋等非瑕疵特征，這些非瑕疵特征經(jīng)過二值化后與瑕疵特征顏色一致，但形狀、大小、方差等方面存在差別，因此需進(jìn)一步對提取到的瑕疵特征進(jìn)行篩選。

首先，本文對經(jīng)過特征提取的圖像I進(jìn)行分塊處理，將其分解為a×a像素的塊Imn，m和n為當(dāng)前坐標(biāo)，用于確定小塊在原圖像中的具體位置，塊Imn的瑕疵密度定義為

(6)

根據(jù)每塊Imn的瑕疵密度不同，按照統(tǒng)計(jì)學(xué)方法求得閾值ρs，將塊瑕疵密度大于ρs的Imn置為瑕疵塊Ak，否則置為正常塊。經(jīng)過一系列的實(shí)驗(yàn)，取ρs為0.23，具體效果如圖5所示。

圖5 瑕疵區(qū)域檢測

為了保留形狀信息與位置信息，對每個(gè)瑕疵塊Ak，取其連通區(qū)域Ft。圖6展示了子塊Imn、瑕疵塊Ak與連通域Ft的關(guān)系。圖中包含了2個(gè)連通域，白色子塊代表瑕疵塊Ak，黑色子塊代表正常塊，Ak及其鄰域組成連通域Ft如圖所示。

圖6 子塊、瑕疵塊與連通域的關(guān)系

然后考慮用Gabor濾波器提取到的瑕疵及其對應(yīng)原圖的灰度值對Ak與Ak對應(yīng)原圖的子塊Ik做乘法運(yùn)算，對每一個(gè)瑕疵塊Ak，計(jì)算瑕疵權(quán)重Wk,k=1,2,…,n。每塊連通區(qū)域的瑕疵權(quán)重Wk按如下公式計(jì)算

(7)

根據(jù)式(8)計(jì)算整幅圖像的瑕疵權(quán)重W

(8)

Wd的表達(dá)式為

(9)

式中:w3為權(quán)重值，Rd表示面積較小且離散的區(qū)域，c為常數(shù)。計(jì)算每張圖像的W，當(dāng)瑕疵權(quán)重W超過標(biāo)準(zhǔn)瑕疵權(quán)重時(shí)，判定光纖產(chǎn)品不合格，經(jīng)過一系列的計(jì)算與實(shí)驗(yàn)，取c為5，μ為20。

2 實(shí)驗(yàn)結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文數(shù)據(jù)集包含311幅光纖圖像，包括正常圖像與4類瑕疵圖像。瑕疵類別包括機(jī)械損傷、磕傷凹槽、疵點(diǎn)、油污。正常圖像的數(shù)量為304，瑕疵圖像的數(shù)量為7，表1展示了瑕疵數(shù)量的分布情況。每幅圖像的分辨率為4 096×100 000，利用5折交叉驗(yàn)證法評估不同方法的檢測效果。

表1 瑕疵數(shù)量的分布

為了更好地評判算法的效果，本文定義FNR(False negative rate)為漏檢率，用于衡量瑕疵樣本被誤判為正常樣本的比率;定義FPR(False positive rate)為誤檢率，用于衡量正常樣本被誤判為瑕疵樣本的比率。FNR與FPR用如下公式計(jì)算

(10)

(11)

式中:FN是假反例的數(shù)量，TN是真反例的數(shù)量，F(xiàn)P是假正例的數(shù)量，TP代表真正例的數(shù)量。

本文采用方差表示樣本波動(dòng)，VarianceFNR與VarianceFPR定義為如下公式,其中k為使用的測試樣本數(shù)量

(12)

(13)

2.2 對比實(shí)驗(yàn)

將本文提出的方法與3種檢測方法的效果比對進(jìn)行評估，分別是閾值分割法、基于VGG16的方法以及基于ResNet50的方法?；陂撝捣指畹姆椒〞?huì)先設(shè)置一個(gè)閾值來粗略地提取瑕疵特征，然后利用形狀特征濾去如光纖頭的噪聲。基于VGG16與基于ResNet50的方法使用子塊來訓(xùn)練分類器，然后計(jì)算整幅圖像瑕疵塊的比例。

考慮到訓(xùn)練的有效性以及檢測的效率，每幅光纖圖像被分為156×64的小塊，每個(gè)小塊的分辨率為64×64，這樣一幅圖像會(huì)被分割成9 984個(gè)小塊，選取所有包含瑕疵的小塊，共40 258塊。為了保證數(shù)據(jù)的均衡，隨機(jī)選取100幅正常圖像，隨機(jī)在每幅圖像中挑選416個(gè)小塊，將這些小塊以及所有包含瑕疵的小塊送入5折交叉驗(yàn)證法。表2展示了不同方法瑕疵檢測的結(jié)果。

表2 不同方法在瑕疵檢測任務(wù)上的對比

盒圖可以更直觀地展現(xiàn)一組數(shù)據(jù)的離散程度，圖7展示了4種方法檢測結(jié)果的盒圖，寬代表均值，高表示標(biāo)準(zhǔn)差。瑕疵樣本測試集上的盒圖如圖(a)所示，正常樣本測試集上的盒圖如圖(b)所示。

如表2和圖7所示，因?yàn)槿毕萏卣鞑荒芡ㄟ^閾值分割完全提取出來，這使得在檢測過程中丟失太多信息，所以閾值分割的方法識別效果很差。其次，實(shí)驗(yàn)數(shù)據(jù)集為現(xiàn)場實(shí)際采集，所以訓(xùn)練集的數(shù)目有限，這就導(dǎo)致用VGG16或ResNet-50訓(xùn)練的分類器無法學(xué)習(xí)缺陷中包含的所有特征，所以它們的效果也不如本文的方法。此外，判斷每幅圖像，基于深度學(xué)習(xí)的方法需要近萬次檢測，以VGG16為例，需要考慮卷積核輸出特征映射的長度以及卷積層中輸出通道的數(shù)量，因此盡管單個(gè)測試花費(fèi)很短的時(shí)間，但是仍然需要幾乎1 min來檢測圖像。本文提出的方法雖然也涉及到分塊等預(yù)處理操作，但它只包括對像素的運(yùn)算，時(shí)間復(fù)雜度僅為O(n4)。最重要的是，光纖圖像中還存在一些與缺陷特征相似但不屬于缺陷的特征，基于閾值分割的方法和基于深度學(xué)習(xí)的方法都不能有效區(qū)分這些特征。因此可以證明本文提出的方法比這3種比較方法都更準(zhǔn)確、更穩(wěn)定。

圖7 測試集上檢測結(jié)果的盒圖

3 結(jié)束語

本文提出了一種基于Gabor濾波器的光纖缺陷檢測系統(tǒng)。首先，為了消除背景紋理的影響，增強(qiáng)缺陷特征，使用了一組包括中值濾波和Gabor濾波的濾波器，經(jīng)過形態(tài)學(xué)運(yùn)算和閾值分割，可以初步提取缺陷特征。其次，將濾波后的圖像分成大小相同的子塊，根據(jù)每個(gè)子塊包含的缺陷特征的數(shù)量，將這些子塊分為有缺陷塊和無缺陷塊。最后，由于缺陷經(jīng)常表現(xiàn)為一個(gè)區(qū)域，它們可以被看作是一組有缺陷的塊，此區(qū)域由多個(gè)缺陷塊和它的鄰居組成，所以可以根據(jù)原始圖像的灰度和缺陷區(qū)域的形狀、位置進(jìn)行篩選后，對圖像進(jìn)行判斷。實(shí)驗(yàn)結(jié)果表明，本文提出的方法與閾值分割法、基于VGG16的方法以及基于ResNet50的方法相比能夠更準(zhǔn)確、有效地檢測光纖缺陷。