基于機(jī)器視覺的瓷瓶絕緣子表面缺陷檢測方法

白海城，林湘軍，劉書洋

（1.遼寧石油化工大學(xué) 信息與控制工程學(xué)院，遼寧撫順，113001；2.遼寧石油化工大學(xué) 理學(xué)院，遼寧撫順，113001）

陶瓷瓶絕緣子具有十分優(yōu)異的物理性能，在變電站中具有廣泛應(yīng)用。但其在制作及處理等生產(chǎn)過程中很容易產(chǎn)生缺陷降低了成品率[1]。目前國內(nèi)生產(chǎn)商已采用一些陶瓷表面瑕疵檢測方法，例如射線檢測、磁粉檢測等手段，然而這些檢測方法具有環(huán)境要求及檢測成本高、成像不直觀等局限性，有的甚至還會對人體造成危害。所以大部分生產(chǎn)廠家仍采用人工檢測，即人工目視的方法。但目視檢測需要較長的時間，人員易疲勞，且其精度主要依賴于工人的經(jīng)驗(yàn)，因此對材料性能的評估需要其他有效的手段，更重要的是其無法實(shí)現(xiàn)連續(xù)在線檢測，因而大大降低了生產(chǎn)效率，且增加了安全隱患。機(jī)器視覺識別技術(shù)在表面缺陷識別與分類中的應(yīng)用，有效地改善了識別的精確度和效率，為企業(yè)的大規(guī)模生產(chǎn)創(chuàng)造了條件[2]。有關(guān)陶瓷材料的裂紋檢測已經(jīng)有很多文獻(xiàn)，例如，張軍[3]等使用差影法實(shí)現(xiàn)瓷磚的裂紋識別；劉行謀[4]等提出了改進(jìn)的YOLOv4 算法來識別電力絕緣子圖像是否存在缺陷；張子健[5]等利用EAST 模型與Hu 不變矩的檢測方法來判斷絕緣子是否存在故障；等等，但現(xiàn)有文獻(xiàn)都是針對電力系統(tǒng)中的瓷瓶絕緣子進(jìn)行巡檢，鮮有文獻(xiàn)討論生產(chǎn)過程中流水線上的瓷瓶絕緣子表面存在缺陷問題的實(shí)時監(jiān)測。因此，本文對采集到的圖像進(jìn)行圖像預(yù)處理、缺陷定位、特征提取[6]、缺陷識別和缺陷分類[7]等一系列操作，提出了一種基于機(jī)器視覺的瓷瓶絕緣子表面缺陷檢測方法，實(shí)現(xiàn)了針對高壓瓷瓶缺陷的識別與分類。該方法通過建立一個BP 神經(jīng)網(wǎng)絡(luò)模型[8]，根據(jù)模型匹配程度[9]識別高壓瓷瓶的表面缺陷類型[10]。當(dāng)缺陷被檢測到時，檢測界面會播放音樂提示被檢測瓷瓶絕緣子存在缺陷問題并顯示出缺陷位置與類型。該方法的提出將為實(shí)現(xiàn)高壓絕緣子質(zhì)量的自動化檢測、提高檢測的精確度和速度以及釋放生產(chǎn)力提供依據(jù)。

1 建立BP 神經(jīng)網(wǎng)絡(luò)模型

■1.1 特征值提取

對僅含有缺陷的圖像進(jìn)行特征提取，具有差異化的特征值[11]能夠很好地反映圖像的信息。本文提取的3 個特征值，分別是垂直投影、HU 不變矩的7 個不變矩(M1 ～M7)中的M2 以及傅里葉描述子。

1.1.1 垂直投影

圖像的垂直投影[12]序列為：

式中，t(i,j) 表示處理后的缺陷二值圖像。

缺陷圖像的垂直投影圖如圖1 所示。

圖1 垂直投影圖

利用countNonZero 函數(shù)統(tǒng)計(jì)每一列中非零元素的個數(shù)，將所有列中的非零個數(shù)相加再求平均值，即可得到特征值－垂直投影值，由圖2 數(shù)據(jù)可明顯得到，垂直投影特征可以明顯區(qū)分斑點(diǎn)和其他缺陷。

圖2 圖像特征值－垂直投影

1.1.2 HU 不變矩

由于缺陷的不確定性，缺陷輪廓存在旋轉(zhuǎn)角度時，歸一化矩[13]會發(fā)生變化，所以就需要具有旋轉(zhuǎn)、平移、尺度等不變的特性的HU 不變矩來解決這個問題。

Hu 矩其實(shí)是一個包含了七個不變矩的集合，這七個不變矩分別由多個二、三階中心距組合計(jì)算而成，根據(jù)公式(2)，我們只要計(jì)算出所需要的二、三階中心距，就可以將這七個不變矩分別計(jì)算出來，最終得到所需要的Hu 矩。OpenCV中利用HuMoments 函數(shù)求取HU 矩，就可以比較完善地表示一幅圖像或者輪廓的特征。

7 個不變矩的計(jì)算公式：

如圖3 所示，Hu 不變矩中的二階矩表示圖像的大小和方向，可以將網(wǎng)狀裂縫與其他三類缺陷區(qū)分出來。

圖3 圖像特征值-HU 不變矩

1.1.3 傅里葉描述子

缺陷的灰度值與瓷瓶背景的灰度值相差很大，當(dāng)出現(xiàn)缺陷時，傅里葉函數(shù)會產(chǎn)生明顯躍變，可以用來表示缺陷的形狀特征，因此可將傅里葉描述子[14]作為缺陷的特征描述子。

為了使傅里葉描述子能表示作為缺陷圖像的差異化特征值，對傅里葉系數(shù)做如下處理：

式中，D為高壓瓷瓶的傅里葉描述子特征值，a(u) 為邊界的傅里葉描述子。

結(jié)果如圖4 所示，傅里葉描述子作為缺陷的特征描述子可以將線性裂縫與其他三類缺陷區(qū)分出來。

圖4 圖像特征值－傅里葉描述子

■1.2 BP 神經(jīng)網(wǎng)絡(luò)的改進(jìn)

為了能更快速有效地識別瓷瓶缺陷，對BP 神經(jīng)網(wǎng)絡(luò)[15]的輸入層參數(shù)選擇根據(jù)表1 來設(shè)定。

表1 缺陷圖像特征參數(shù)

2 方案設(shè)計(jì)

■2.1 檢測流程

運(yùn)用數(shù)字圖像處理的相關(guān)算法以及OpenCV 來處理瓷瓶圖像并提取缺陷圖像；通過得到缺陷圖像的特征向量實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)的創(chuàng)建、訓(xùn)練以及識別；再針對終端用戶的能力及需求保證信息可視化的合理性。

在瓷瓶缺陷的圖像處理過程中，如圖5 所示，重點(diǎn)在瓷瓶缺陷的提取，難點(diǎn)在如何正確提取特征值。

圖5 瓷瓶缺陷識別主要步驟

（1）采集圖像：方案設(shè)計(jì)旨在工廠流水線上針對高壓絕緣子進(jìn)行缺陷檢測，系統(tǒng)設(shè)置一個光源和三個攝像頭，分別從不同角度實(shí)現(xiàn)對絕緣子的視頻采集，從而提取感興趣的區(qū)域進(jìn)行進(jìn)一步處理。

（2）圖像預(yù)處理：采集到的圖像由于存在污漬、噪聲等因素影響，在通過神經(jīng)網(wǎng)絡(luò)進(jìn)行缺陷識別分類之前要先進(jìn)行圖像預(yù)處理操作來改善圖像的品質(zhì)。針對采集到的瓷瓶絕緣子圖像中存在的由于光線產(chǎn)生的噪聲問題，本文采用雙邊濾波后進(jìn)行掩膜操作的手段來實(shí)現(xiàn)對瓷瓶缺陷的平滑處理，從而去除圖像中的隨機(jī)噪聲和人為干擾。

雙邊濾波法是一種非線性的平滑濾波的方法，它能很好地保持邊緣細(xì)節(jié)，有利于后續(xù)的特征提取等操作，其數(shù)學(xué)公式如下：

式中，G(x,y) 為采集到的瓷瓶圖像進(jìn)行雙邊濾波操作后的平滑圖像，Q(x,y) 表示瓷瓶圖像以(x,y) 為中心的模塊區(qū)域像素集合，g(x,y) 為Q(x,y) 區(qū)域的中心像素值，dσ為雙邊濾波過程中每個模塊區(qū)域的直徑，sσ為瓷瓶圖像的灰度差值。

式中，F(xiàn)2D為瓷瓶絕緣子圖像的掩膜模板。

（3）圖像分析：由于人工放置的瓷瓶，導(dǎo)致其位置距離相機(jī)的遠(yuǎn)近存在差距，從而產(chǎn)生了對缺陷的描述復(fù)雜、光影變幻以及由于視角轉(zhuǎn)換而產(chǎn)生的物體形狀改變等問題。為了解決這些問題，首先利用canny 邊緣算子得到絕緣子粗輪廓并校正瓷瓶的旋轉(zhuǎn)角度使瓷瓶保持直立，再利用閉運(yùn)算消除小的孔洞，從而確定陶瓷瓶的外型特征并對絕緣子進(jìn)行裁剪以校準(zhǔn)缺陷坐標(biāo)。

（4）缺陷提?。喝毕萃ǔＥc瓷瓶的邊緣相隔離，并且它的灰度和周邊的瓷瓶環(huán)境有很大的差異。根據(jù)缺陷的這一特征，利用高斯拉普通拉斯（Laplace of Gaussian,LOG）算子進(jìn)行檢測，得到模型檢測所需的缺陷圖像。

（5）缺陷分類：通過數(shù)學(xué)運(yùn)算獲得缺陷圖像的三個特征值作為神經(jīng)網(wǎng)絡(luò)的輸入節(jié)點(diǎn)，根據(jù)訓(xùn)練好的模型輸出識別結(jié)果，完成針對高壓瓷瓶的表面缺陷識別分類。

■2.2 人機(jī)交互界面設(shè)計(jì)

與傳統(tǒng)的數(shù)據(jù)信息相比，信息可視化具有嚴(yán)謹(jǐn)和美感；具有更加直觀、舒適的觀看體驗(yàn)。對于使用者來說，信息可視化是一項(xiàng)冗余的工作，其利用視覺要素如圖形、色彩、版式、文字等，能有效地刺激使用者的理解與認(rèn)知。

如圖6 所示，主界面設(shè)置相關(guān)按鈕，進(jìn)行對應(yīng)的檢測操作，當(dāng)識別出缺陷時，系統(tǒng)會觸發(fā)警報(bào)，播放音樂提示監(jiān)測人員。副界面顯示瓷瓶圖像、缺陷圖像、圖像編號、裂縫類型、裂縫位置等信息，如圖7 所示。

圖6 高壓瓷瓶缺陷檢測系統(tǒng)的主界面

圖7 高壓瓷瓶缺陷檢測系統(tǒng)的副界面

3 實(shí)驗(yàn)

■3.1 瓷瓶定位和缺陷定位

為了得到標(biāo)準(zhǔn)化的缺陷位置坐標(biāo)，先對采集到的圖像進(jìn)行瓷瓶定位，得到統(tǒng)一的瓷瓶圖像，如圖8 所示。

圖8 瓷瓶定位

在瓷瓶為白、底為黑的情況下，其基本原則是去掉內(nèi)圈的點(diǎn)，保持最外圍的點(diǎn)。故經(jīng)過反復(fù)對比將高閾值設(shè)為100、低閾值設(shè)置為0 時，獲得的圖像最易識別如圖8(a)所示得到瓷瓶的粗輪廓。繪制的瓷瓶外輪廓圖像如圖8(b)所示，原始圖像進(jìn)行校正之后的結(jié)果如圖8(c)所示。

對標(biāo)準(zhǔn)化后的瓷瓶圖像進(jìn)行二值化處理后再次檢測，實(shí)現(xiàn)高壓瓷瓶的缺陷定位，如圖9 所示，本文針對3 種缺陷進(jìn)行分類識別，圖9(a)為線性裂縫缺陷圖像，圖9(b)為網(wǎng)狀裂縫缺陷圖像，圖9(c)為斑點(diǎn)缺陷圖像。分析得到的缺陷圖像，可以獲得神經(jīng)網(wǎng)絡(luò)所需的輸入值，進(jìn)而實(shí)現(xiàn)對高壓瓷瓶的缺陷檢測。

圖9 瓷瓶缺陷定位

■3.2 模型測試

實(shí)驗(yàn)設(shè)置的缺陷為4 類，分別是線性裂縫、網(wǎng)狀裂縫、斑點(diǎn)及無缺陷，其中每類有100 個訓(xùn)練圖片，共4×100 個訓(xùn)練圖片。

按文件夾順序讀入訓(xùn)練圖片，調(diào)用三類特征計(jì)算函數(shù)，把得到的集合保存在特征向量中，同時把圖像對應(yīng)的預(yù)期輸出保存在輸出向量中。

構(gòu)造BP 神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)一個3 層的神經(jīng)網(wǎng)絡(luò)。輸入節(jié)點(diǎn)為圖像的垂直投影、模式矩陣的不變矩以及傅里葉描述子。而缺陷的類型：線性裂縫、網(wǎng)狀裂縫、斑點(diǎn)、無缺陷則作為網(wǎng)絡(luò)的輸出，分別用1000、0100、0010、0001 來表征。其隱含層節(jié)點(diǎn)數(shù)選定為30 個節(jié)點(diǎn)，迭代次數(shù)設(shè)置為10000，運(yùn)用BACKPROP 的訓(xùn)練方法進(jìn)行訓(xùn)練和識別。

各選取線性裂縫、網(wǎng)狀裂縫、斑點(diǎn)、無缺陷的100 份特征向量作為測試樣本，得到了400 組相同的四維輸出向量，即樣本與各類缺陷的相關(guān)性。如表2 所示部分實(shí)驗(yàn)結(jié)果，BP 算法的四維輸出向量的值分別是(-0.40311 -0.40311-0.40311 1.403105),比較四個數(shù)字，求出最大的數(shù)字的位置記為1，其他位置記為0，這樣就可以將圖像準(zhǔn)確標(biāo)記為(0 0 0 1)，圖像識別結(jié)構(gòu)為無缺陷。類似的，可以準(zhǔn)確完成其他圖像的識別。

表2 神經(jīng)網(wǎng)絡(luò)的相關(guān)性輸出結(jié)果

實(shí)驗(yàn)結(jié)果表明，基于機(jī)器視覺的瓷瓶絕緣子表面缺陷檢測方法對以上四種缺陷類型具有較好的識別性能，每張圖片的檢測時間在0.5s 以內(nèi)，檢測準(zhǔn)確率可達(dá)99.5%，其中如表3 所示，針對線性裂縫和網(wǎng)狀裂縫的識別準(zhǔn)確率達(dá)到100%，但由于光線問題，光斑和陰影的存在導(dǎo)致斑點(diǎn)和無缺陷的樣本存在誤檢，其檢測準(zhǔn)確率為99%，仍然符合預(yù)期效果。

表3 絕緣子缺陷識別效果

由于測試圖片越多，訓(xùn)練的時間越長，所以一次訓(xùn)練之后，可以將標(biāo)準(zhǔn)數(shù)據(jù)樣本生成xml 文件，圖片的數(shù)據(jù)和特征都在里面，下次使用只需要調(diào)用xml 文件就可以了，這樣可以大大減少高壓瓷瓶缺陷檢測新系統(tǒng)的檢測時間。

4 結(jié)論

從機(jī)器視覺理論出發(fā)，對瓷瓶絕緣子表面缺陷在線檢測方法進(jìn)行了研究，根據(jù)圖像的垂直投影、不變矩以及傅里葉描述子等信息，利用計(jì)算機(jī)軟件對瓷瓶圖像進(jìn)行處理，可以準(zhǔn)確地判斷出瓷瓶存在的瑕疵，及時發(fā)出警報(bào)，進(jìn)而保障供電線路的正常運(yùn)作。經(jīng)實(shí)驗(yàn)結(jié)果驗(yàn)證，該方法對于缺陷類型的識別正確率能夠達(dá)到99.5%，取得了較為理想的、可信的結(jié)果，在研究與應(yīng)用中具有很好的實(shí)用意義。