基于OpenCV 的偏光片檢測方法

石鵬飛， 劉 慧

（中電科風(fēng)華信息裝備股份有限公司， 山西 太原 030024）

引言

偏光片的檢測需求主要分為兩大類：第一，噴碼字符檢測，常見的檢測內(nèi)容包括噴碼字符不正、錯碼、缺點(diǎn)、重碼、紅點(diǎn)等；第二，表面缺陷檢測，常見的包括打痕、壓痕、糊污、條紋、劃傷、剝離、折痕等。對于這兩大類檢測需求，傳統(tǒng)的方法是人工檢測，人工檢測費(fèi)時又費(fèi)力，不僅檢測水平受人的因素影響非常大，而且人工操作容易對偏光片造成二次傷害。近些年來，隨著自動化需求不斷提高，在線檢測逐漸開始替代人工檢測。

由于國內(nèi)外的檢測水平參差不齊，國外一些視覺廠商由于行業(yè)接觸早，技術(shù)積累多，因而在技術(shù)上一直處于領(lǐng)先地位，但功能模塊固定，不能隨著檢測需求的變化積極應(yīng)對。國內(nèi)一些視覺供應(yīng)商，通過購買成熟算法庫，積極進(jìn)行二次開發(fā)，在偏光片檢測行業(yè)逐步占有了一席之地。

國內(nèi)對偏光片檢測的研究主要集中在深圳大學(xué)。曾小星[1]等人采用結(jié)構(gòu)光照明的方法，對偏光片外觀缺陷進(jìn)行了研究；賴文威[2]等人研究了偏光片外觀缺陷的成像機(jī)理；賀健[3]對偏光片缺陷進(jìn)行了仿真。石鵬飛[4]引入了機(jī)器學(xué)習(xí)的方法，對偏光片缺陷進(jìn)行了檢測和分類。綜上所述，國內(nèi)對偏光片缺陷的檢測處于起步階段，一些技術(shù)并沒有大規(guī)模地應(yīng)用于生產(chǎn)實(shí)踐。

本研究采集了大量實(shí)際生產(chǎn)缺陷小圖，使用開源計算機(jī)視覺庫（Open Source Computer Vision Library）中算法進(jìn)行處理，而OpenCV 提供的視覺處理算法非常豐富。一次作業(yè)中，噴碼字符是固定的，因此對于噴碼字符的檢測，并不需要對字符進(jìn)行識別，只需要比對每次噴碼內(nèi)容是否一致即可。而OpenCV 中，模板匹配算法非常適合進(jìn)行字符比對，只需要事先提取一個圖片模板，每次利用匹配算法進(jìn)行圖片模板的匹配即可，通過匹配度即可判斷噴碼字符優(yōu)良。表面缺陷的檢測則需要依次進(jìn)行多種算法操作，最終將缺陷輪廓位置提取出來。

1 噴碼字符檢測

1.1 模板匹配簡介

用T 表示模板圖像，I 表示待匹配圖像，切模板圖像的寬為w 高為h，用R 表示匹配結(jié)果，匹配過程如圖1 所示。

圖1 匹配過程

歸一化平方差匹配法算法如式（1）所示：

此處R 越小，表示匹配程度越高。實(shí)際程序中，用1-R 表示匹配度。OpenCV 主要函數(shù)如下：

MatchTemplate(img,temp,ftmp,1);

//0-5 共5 種方法，1 表示歸一化平方差匹配

MinMaxLoc (ftmp, &minv, &maxv, &minl, &maxl,NULL);

//輸出最小值，最大值，以及最小值，最大值的位置

1.2 模板提取

如下頁圖2 所示，提取200*200 大小的一幅待匹配模板。該模板完美體現(xiàn)了噴碼字符的內(nèi)容，沒有缺點(diǎn)，沒有其它遮擋，角度也正確，是一個合格模板。使用該模板在原圖中進(jìn)行匹配，匹配結(jié)果如圖3 所示。

圖2 模板圖

圖3 驗證原圖模板

從匹配結(jié)果來看，匹配度達(dá)到了99.83%，匹配程度非常的高。從紅框的位置來看，準(zhǔn)確地找到了目標(biāo)字符的位置，并顯示出了結(jié)果，X 方向1 729，Y 方向1 825。

1.3 OK 結(jié)果匹配驗證

從同一噴碼批次中隨機(jī)抽取8 張噴碼字符確認(rèn)OK 的圖片進(jìn)行驗證。每張圖片都通過了人工的檢測，判定OK。驗證結(jié)果如表1 所示。

表1 OK 樣品匹配結(jié)果

表1 中顯示，樣品OK3 未能匹配到準(zhǔn)確的位置，其余的樣品均可以達(dá)到98%左右的匹配度，X 方向以及Y 方向的位置精度均在100 個像素以內(nèi)，選擇合適大小的矩形區(qū)域，可以完整地提取出來。

1.4 NG 結(jié)果匹配驗證

圖4 依次為四種典型的噴碼NG 缺陷類型：未噴碼、字符缺點(diǎn)、記號覆蓋、字符錯印。表2 中是相應(yīng)的匹配度。

圖4 四種典型的噴碼NG 缺陷類型

表2 NG 品匹配結(jié)果

對比所有的匹配度結(jié)果發(fā)現(xiàn)，除字符錯印外，同一批噴碼結(jié)果無論NG 還是OK，均有較高的匹配度，其原因主要是背景像素占比過大，計算匹配矩陣時，結(jié)果往往就過大。極端地講，例如OK3 樣品，雖然找到了最大的匹配度值，但確未能正確匹配位置。通過比較匹配度，可以發(fā)現(xiàn)，選取合適的閾值，可以將大部分噴碼結(jié)果篩選出來，對于印錯字符，可以明顯地挑選出來，但仍然存在不能完全檢出的問題，存在一定的誤判風(fēng)險，既有可能由于過低的匹配度將OK 品過殺，又有可能由于過高的匹配度將NG 品放過。表1、表2 中，無論是OK 品和NG 品，二者的匹配度都太高了，并且十分接近。

2 表面缺陷檢測

2.1 處理過程

采用OpenCV 中的算法，對一些表面帶有缺陷的偏光片圖片進(jìn)行處理，把最大的缺陷位置標(biāo)記出來。為了處理方便，將帶有缺陷的偏光片按照缺陷位置預(yù)先分割成200*200 的缺陷小圖。如下頁圖5 所示，帶有明顯缺陷的缺陷小圖。

高斯濾波是一種線性平滑濾波，適用于消除高斯噪聲，廣泛應(yīng)用于圖像去噪，因此采用高斯濾波對圖像進(jìn)行預(yù)處理。下頁圖6 為高斯濾波后的效果圖。

選取合適的閾值對圖像高斯濾波后的圖像進(jìn)行二值化運(yùn)算，如下頁圖7 所示。二值化后，缺陷部分和非缺陷部分明顯的黑白分明。但缺陷位置的范圍可能略小，避免提取輪廓時不能完全包圍，因此對二值化后的圖像進(jìn)行膨脹操作，如下頁圖8 所示，白色區(qū)域面積明顯擴(kuò)張。

圖5 缺陷小圖

圖6 高斯濾波

圖7 二值化

圖8 膨脹

采用canny 算法提取圖像的輪廓，如圖9 所示，四個大小不一的缺陷輪廓都被提取出來。找出最大的一組輪廓，并找到圍成該輪廓的最小矩形，并在原始缺陷小圖上標(biāo)記出來，如圖10 所示。

圖9 輪廓提取

圖10 缺陷標(biāo)記

2.2 驗證結(jié)果分析

對48 幅不同的缺陷小圖進(jìn)行處理，選取其中有代表性的進(jìn)行分析。圖11 是六種典型的處理結(jié)果。圖11-1 代表了能夠正常檢測的結(jié)果，圖11-2 代表了未能找到缺陷位置的檢測結(jié)果。圖11-3 和圖11-4 分別代表了橫向和縱向條紋的缺陷檢測結(jié)果。圖11-5 表面缺陷的對比度較高，有利于檢測結(jié)果。對比圖11-4 和圖11-6 發(fā)現(xiàn)，橫向條紋的檢測結(jié)果不是很理想，但如果橫向條紋有較高的對比度，可以得到不錯的檢測結(jié)果。

通過分析以及驗證，造成以上六種典型檢測結(jié)果的一個原因是在使用OpenCV 中算法時，函數(shù)參數(shù)選取的差異性。高斯濾波、二值化、膨脹、輪廓提取對應(yīng)的函數(shù)中都要選取對應(yīng)的結(jié)構(gòu)元素，機(jī)構(gòu)元素的大小和方向都會造成檢測結(jié)果有較大的差異性。

3 結(jié)論

圖11 驗證結(jié)果

1）OpenCV 中模板匹配算法不僅可以準(zhǔn)確對噴碼字符進(jìn)行匹配，而且可以驗證噴碼位置的準(zhǔn)確性。對于噴碼不良的各種情況，也可以分辨出來。但仍有匹配失誤的圖片，究其原因，背景和字符像素差異不大，二值化可以解決這個問題。

2）利用OpenCV 中算法組合以及選取合適的結(jié)構(gòu)元素，偏光片表面缺陷檢測大部分可以檢測出來。但參數(shù)的選取比較困難，需要大量的驗證。另外，算法的穩(wěn)定性也需要長期的驗證。

3）機(jī)器視覺檢測的經(jīng)典算法和深度學(xué)習(xí)算法結(jié)合起來，可大大提高缺陷檢測的能力和圖像分類的能力。