蔡湘云

（惠州城市職業(yè)學(xué)院 廣東省惠州市 516025）

機(jī)器視覺(jué)系統(tǒng)的應(yīng)用范圍非常廣，在工業(yè)領(lǐng)域主要用于產(chǎn)品質(zhì)量檢測(cè)、分類(lèi)和機(jī)器人定位安裝等。小型段碼式LCD 顯示屏因其直觀的顯示方式，被廣泛應(yīng)用于各種電子產(chǎn)品當(dāng)中。常見(jiàn)的針對(duì)LCD 屏缺陷檢測(cè)的方式主要有三種，分別是人工視覺(jué)檢測(cè)法、電學(xué)參數(shù)檢測(cè)法和機(jī)器視覺(jué)檢測(cè)法，人工視覺(jué)檢測(cè)受到個(gè)人身體狀況差異的影響很大，工作效率低；電學(xué)參數(shù)檢測(cè)法需要針對(duì)不同的檢測(cè)對(duì)象設(shè)計(jì)外圍驅(qū)動(dòng)電路和配置檢測(cè)工具，對(duì)于產(chǎn)品品類(lèi)較多、更新較快的企業(yè)，檢測(cè)的成本相對(duì)較高，過(guò)程比較復(fù)雜。綜合成本、準(zhǔn)確率考慮，采用機(jī)器視覺(jué)進(jìn)行LCD等顯示器件的缺陷檢測(cè)是最優(yōu)選項(xiàng)。

1 設(shè)計(jì)任務(wù)和總體思路

LabVIEW 的視覺(jué)與運(yùn)動(dòng)系統(tǒng)可以方便的、快速的搭建系統(tǒng)，快速進(jìn)行數(shù)字圖像處理，大大縮短設(shè)備儀器開(kāi)發(fā)時(shí)間，設(shè)計(jì)任務(wù)采用基于LabVIEW 開(kāi)發(fā)平臺(tái)，設(shè)計(jì)一款針對(duì)段碼式LCD 屏缺陷檢測(cè)的軟件，并通過(guò)軟硬件搭配，搭建出一臺(tái)光學(xué)自動(dòng)檢測(cè)設(shè)備。實(shí)現(xiàn)能夠準(zhǔn)確檢測(cè)出尺寸在100mm*100mm 內(nèi)的 FSTN 產(chǎn)品的發(fā)白、過(guò)暗、缺畫(huà)、多畫(huà)等問(wèn)題，并將檢測(cè)速度提升到10s/p，檢測(cè)的準(zhǔn)確度接近100%。同時(shí)要求保證設(shè)備安全、準(zhǔn)確、穩(wěn)定和快速，能滿(mǎn)足工業(yè)生產(chǎn)所要求的開(kāi)發(fā)周期短、調(diào)試簡(jiǎn)單、易操作，便于生產(chǎn)人員的使用。

設(shè)計(jì)項(xiàng)目通過(guò)LabVIEW 的圖像處理和視覺(jué)開(kāi)發(fā)工具，特別是利用黃金匹配模板實(shí)現(xiàn)缺陷檢測(cè)。檢測(cè)主要步驟包括圖像采集、圖像處理和金牌模板匹配。金牌模板匹配的關(guān)鍵技術(shù)和方法包括標(biāo)定和校正、圖像預(yù)處理、模板學(xué)習(xí)等幾個(gè)方面。其中對(duì)于模板匹配中的對(duì)齊、視角校正、直方圖歸一化、邊緣忽略等關(guān)鍵問(wèn)題進(jìn)行分析并提出解決的辦法。最后從相機(jī)USB 端口設(shè)置、圖像采集，標(biāo)準(zhǔn)模板的生成以及實(shí)現(xiàn)與用戶(hù)的基本交互功能等組成部分進(jìn)行設(shè)計(jì)和說(shuō)明，搭建整個(gè)測(cè)試平臺(tái)。

對(duì)檢測(cè)系統(tǒng)進(jìn)行測(cè)試和分析。試驗(yàn)測(cè)試系統(tǒng)的缺陷檢測(cè)功能，分析統(tǒng)計(jì)檢測(cè)的準(zhǔn)確性、速度是否達(dá)到設(shè)計(jì)的目標(biāo)。

2 檢測(cè)平臺(tái)總體設(shè)計(jì)

整個(gè)設(shè)計(jì)平臺(tái)由硬件電路和軟件共同構(gòu)成，軟件的工作流程包括初始化——LCD 復(fù)位——工作電流檢測(cè)——啟動(dòng)測(cè)試 ——調(diào)用測(cè)試模板——拍攝照片——圖像處理比對(duì)——反饋比對(duì)結(jié)果。初始化階段用于選取相機(jī)USB 端口，配置端口的波特率，數(shù)據(jù)位、奇偶校驗(yàn)位等，通過(guò)圖像采集VI 獲取相機(jī)的信息并設(shè)置為連續(xù)采集圖像，因此在測(cè)試平臺(tái)界面將顯示相機(jī)的實(shí)時(shí)畫(huà)面。對(duì)采集的圖像進(jìn)行標(biāo)定和校正，為后續(xù)的目標(biāo)識(shí)別提供真實(shí)的尺寸和校準(zhǔn)后的圖像。在圖像預(yù)處理中，通過(guò)中值濾波等方式去除圖像采集和傳輸過(guò)程中導(dǎo)入的噪聲，同時(shí)保持了缺陷形態(tài)。

完成之后分為兩個(gè)選擇，第一種是生成模板圖像，先對(duì)圖像預(yù)處理后，ROI 選取感興趣區(qū)域，也就是要匹配的區(qū)域，并設(shè)置參數(shù)，如邊緣閾值和邊緣厚度，以控制后續(xù)參與到圖像匹配的邊緣多少，最后成為金牌模板保存在指定文件夾；第二種是檢測(cè)圖像，將采集的圖像進(jìn)行預(yù)處理后，提取金牌模板進(jìn)行減法運(yùn)算。也就是將對(duì)應(yīng)像素點(diǎn)相減，獲得該點(diǎn)的差值，通過(guò)與設(shè)定的閾值相比，超出閾值的范圍則判定為缺陷。在進(jìn)行相減之前必須學(xué)習(xí)金牌模板，解決模板圖像與檢測(cè)圖像之間對(duì)齊、視角校正、直方圖匹配、忽略邊緣等問(wèn)題。

3 金牌匹配模板（Golden Template Inspection）缺陷檢測(cè)實(shí)現(xiàn)原理

采用金牌匹配模板（Golden Template Comparison）實(shí)現(xiàn)圖像的缺陷檢測(cè)，是通過(guò)將檢測(cè)圖像與模板圖像對(duì)應(yīng)的像素點(diǎn)相減，根據(jù)差值來(lái)判斷灰度強(qiáng)度是否在設(shè)定的范圍之內(nèi)，如果在范圍之內(nèi)，則通過(guò)，如果不符合，則判定為缺陷并顯示。如圖1所示為模擬相機(jī)采集圖像，利用金牌模板匹配檢測(cè)出的缺陷，其中圖(a)為金牌模板，圖(b)為檢測(cè)圖像，在圖像上模擬了缺陷，圖(c)為檢測(cè)結(jié)果，其中檢查圖像比模板亮的缺陷（缺畫(huà)）區(qū)域用綠色顯示出來(lái)，比模板暗的地方（多畫(huà)）用紅色顯示出來(lái)。

圖1：金牌匹配模板示例

對(duì)于類(lèi)似上面在與模板圖片相同的圖上添加模擬缺陷，并進(jìn)行金牌匹配是較容易實(shí)現(xiàn)的，因?yàn)閳D像的尺寸大小、像素點(diǎn)的分布都是一一對(duì)應(yīng)的。但是實(shí)際對(duì)LCD 產(chǎn)品的檢測(cè)，被測(cè)圖像是對(duì)每一個(gè)不同的LCD 產(chǎn)品拍照取像獲得的，因?yàn)楫a(chǎn)品的位置偏移、旋轉(zhuǎn)，環(huán)境燈光的變化，相機(jī)拍攝的視角變化甚至像素級(jí)的邊緣偏差都會(huì)影響匹配的結(jié)果。

要實(shí)現(xiàn)金牌匹配模板的缺陷檢測(cè)，要求檢測(cè)圖像和標(biāo)準(zhǔn)模板必須尺寸一致、坐標(biāo)對(duì)應(yīng)才能實(shí)現(xiàn)，針對(duì)以上的問(wèn)題，從下面幾個(gè)方面進(jìn)行分析和解決。

4 金牌匹配模板缺陷檢測(cè)實(shí)現(xiàn)關(guān)鍵技術(shù)

4.1 對(duì)齊

從相機(jī)采集到的檢測(cè)圖像，即使經(jīng)過(guò)夾具進(jìn)行位置固定，仍然和金牌模板之間會(huì)存在位置的偏移或者旋轉(zhuǎn)。即使是輕微的位置變化也會(huì)對(duì)缺陷的檢測(cè)產(chǎn)生誤判。如圖2展示了這個(gè)偏移對(duì)檢測(cè)的影響。

圖2：沒(méi)有對(duì)齊的匹配結(jié)果

對(duì)于這種因?yàn)閳D像的錯(cuò)位而引起的檢測(cè)誤判，必須指定位置、角度以及比例使得金牌模板和被測(cè)圖像可以準(zhǔn)確重疊，常采用的方式有模式匹配、邊緣檢測(cè)、幾何匹配等，平臺(tái)設(shè)計(jì)選用了模式匹配的方式來(lái)獲得這些對(duì)齊信息。在建立模板的過(guò)程中，我們會(huì)選定ROI 區(qū)域，即在采集的圖像中選擇我們希望匹配的區(qū)域，一般用矩形工具選取LCD 的所有字符、圖形、圖像。之后將選取的區(qū)域做成模板圖片，在采集的檢測(cè)圖形中進(jìn)行模式匹配，搜索到匹配區(qū)域后模板和圖像將會(huì)重合并確定中心坐標(biāo)，為后續(xù)金牌匹配提供對(duì)齊信息。

通過(guò)Vision Builder設(shè)置模板圖片，然后在圖中進(jìn)行搜索，結(jié)果為Matches=1,實(shí)現(xiàn)建立了匹配區(qū)域的中心坐標(biāo)。

圖3展示了為通過(guò)學(xué)習(xí)標(biāo)準(zhǔn)模板獲取對(duì)齊信息的相關(guān)程序，利用程序中的控件“IMAQ Setup Match Pattern2”設(shè)置模式匹配允許的旋轉(zhuǎn)角度范圍為±10°,然后利用控件“IMAQ Match Pattern2”在檢測(cè)圖像中搜索模板圖像，提取x、y 的坐標(biāo)以及角度，并將這些對(duì)齊（Alignment）信息送入金牌匹配模板控件“IMAQ Compare Golden Template”中。使得后續(xù)進(jìn)行匹配的減法運(yùn)算時(shí)圖像能夠高度重合。

圖3：學(xué)習(xí)標(biāo)準(zhǔn)模板

4.2 視角校正和直方圖歸一化

在圖像采集中，除了可能因?yàn)榱慵谄矫嫔系奈恢闷苹蛘咝D(zhuǎn)而引起的對(duì)齊問(wèn)題，還有可能存在模板圖像和檢測(cè)圖像不在同一視角，使得采集的圖像無(wú)法與模板重合，即使是這樣輕微的偏轉(zhuǎn)也會(huì)對(duì)缺陷的檢測(cè)產(chǎn)生誤判。

在精確匹配的時(shí)候，我們必須對(duì)視角差做校正。本次設(shè)計(jì)采用透視標(biāo)定的方法，在標(biāo)定模板中提取幾個(gè)（最少四個(gè)）與檢測(cè)相關(guān)的角點(diǎn)，將檢測(cè)圖像與標(biāo)準(zhǔn)模板進(jìn)行標(biāo)定校正。

在金牌模板匹配中，一般還要考慮采集模板和檢測(cè)圖像的照明條件前后不一致的問(wèn)題，由于金牌模板匹配是對(duì)每一個(gè)像素點(diǎn)強(qiáng)度的比較，所以光線的亮暗變化會(huì)對(duì)檢測(cè)結(jié)果有影響。對(duì)于這個(gè)問(wèn)題一般會(huì)采用直方圖歸一化像素強(qiáng)度，即對(duì)比兩個(gè)圖片的直方圖信息，然后用檢查表來(lái)截取直方圖信息特征一致的區(qū)域，去除變化強(qiáng)度大的范圍。

但是由于在工業(yè)檢測(cè)環(huán)境下，光照條件可以保持較高的一致性，而且檢測(cè)系統(tǒng)必須對(duì)LCD 顯示發(fā)白、過(guò)暗的情況進(jìn)行檢測(cè)，而且會(huì)對(duì)缺陷設(shè)置判斷閾值，因此不再考慮照明差異的問(wèn)題。

4.3 忽略邊緣

在完成對(duì)齊、視角校正、直方圖歸一后，即使檢測(cè)圖像和模板看起來(lái)幾乎一樣，也可能還是會(huì)返回細(xì)小的缺陷信息。這些缺陷可能是來(lái)自于很小的、剩余的未對(duì)齊或者圖像采集中的量化誤差（如相機(jī)的暗電流等）。這樣的問(wèn)題不會(huì)影響產(chǎn)品質(zhì)量，我們一般不認(rèn)為是缺陷，但是它們的存在會(huì)影響檢測(cè)軟件的判斷。如果這些細(xì)小的信息來(lái)自于較為孤立的位置而不是在邊緣，如劃痕或者污點(diǎn)，那么我們希望將它判斷為缺陷，如果是在圖形圖像的邊緣，我們要通過(guò)必要的忽略邊緣來(lái)避免誤判。

因此在生成匹配模板的過(guò)程中，要設(shè)置忽略邊緣閾值，如圖4所示為忽略邊緣厚度為1 個(gè)像素點(diǎn)的檢測(cè)結(jié)果，圖5所示為忽略邊緣厚度為5 個(gè)像素點(diǎn)的檢測(cè)結(jié)果。

圖4：忽略邊緣1 個(gè)像素

圖5：忽略邊緣5 個(gè)像素

由于段碼式LCD 產(chǎn)品的圖形圖像本身具有邊緣清晰的特點(diǎn)，結(jié)合不同像素值的實(shí)驗(yàn)結(jié)果以及為了使細(xì)小缺陷不被漏掉，一般將邊緣忽略的厚度設(shè)為0～1。在檢測(cè)平臺(tái)的設(shè)計(jì)中，將邊緣厚度選項(xiàng)設(shè)計(jì)在測(cè)試軟件操作界面，用戶(hù)可以根據(jù)產(chǎn)品類(lèi)型設(shè)置適合參數(shù)。

4.4 設(shè)置缺陷判定閾值

通過(guò)像素灰度相減獲得的缺陷區(qū)域，利用設(shè)置閾值的方式進(jìn)行篩選，因?yàn)椴豢赡苡袃蓧K完全一模一樣的LCD，所以即使是肉眼所看沒(méi)有質(zhì)量問(wèn)題，一模一樣的LCD，相減后總會(huì)有一定的強(qiáng)度差異。因此對(duì)缺陷進(jìn)行閾值處理，設(shè)置白色值（Bright Level）和黑色值（Dark Level）用于劃分相減獲得的缺陷區(qū)域是真缺陷還是正常差異，可根據(jù)產(chǎn)品顯示情況進(jìn)行設(shè)置。如果判定為缺陷，用綠色標(biāo)記過(guò)白或者缺失圖形，用紅色標(biāo)記過(guò)暗或者多出圖形。

5 測(cè)試平臺(tái)操作界面

如圖6所示為自動(dòng)光學(xué)檢測(cè)系統(tǒng)的操作界面。

圖6：測(cè)試平臺(tái)操作界面

其中Camera 窗口顯示攝像頭獲取的實(shí)時(shí)畫(huà)面，Template窗口顯示調(diào)用的匹配模板圖像，Image out 窗口顯示的為采集的圖像以及匹配的結(jié)果。直方圖顯示窗口用于顯示圖像的直方圖信息。檢查選項(xiàng)（Inspection Options）用于設(shè)置模板匹配相關(guān)參數(shù)，校準(zhǔn)方法（Registration Method）用于視角校正，歸一化方法（Normalization Method）用于對(duì)于光線亮暗變化的校正，邊緣厚度忽略（Edge Thickness to Ignore）用于邊緣忽略，可以設(shè)置忽略的像素點(diǎn)大小。亮度閾值（Bright Threshold）和暗度閾值（Dark Threshold）用于設(shè)置模板相減后允許的亮暗范圍，主要用于判斷是否過(guò)亮或者過(guò)暗。指示控件主要用于提示檢測(cè)結(jié)果，其中PassFail 指示單幅圖片是否檢測(cè)通過(guò)，Match FailMatch Pass 指示LCD 的所有圖像是否通過(guò)。路徑主要用于打開(kāi)或者保存圖像時(shí)輸入或顯示路徑。

6 缺陷檢測(cè)效果

如圖7所示為部分缺陷的檢測(cè)效果，利用圈指示出的為缺陷部位，從圖中可以看出，檢測(cè)平臺(tái)可以完成圖(a)缺畫(huà)類(lèi)型的檢測(cè)，也可以完成如圖(b)所示的多畫(huà)的檢測(cè)。

圖7：缺陷檢測(cè)效果

實(shí)驗(yàn)中沒(méi)有發(fā)現(xiàn)過(guò)亮過(guò)暗的樣品，但是通過(guò)調(diào)節(jié)缺陷判定的閾值，將白色值和黑色值的大小從50 調(diào)節(jié)為53，即收緊了亮暗的標(biāo)準(zhǔn)，可獲得過(guò)暗（紅色標(biāo)出）的檢測(cè)結(jié)果和過(guò)亮（綠色標(biāo)出）的檢測(cè)結(jié)果。從檢測(cè)結(jié)果可以看出，檢測(cè)平臺(tái)可以實(shí)現(xiàn)過(guò)亮過(guò)暗檢測(cè)的設(shè)計(jì)目的。

7 小結(jié)

伴隨著計(jì)算機(jī)技術(shù)、圖像處理技術(shù)、傳感器技術(shù)CCD/COMS 的發(fā)展，機(jī)器視覺(jué)檢測(cè)被廣泛應(yīng)用在工業(yè)自動(dòng)化生產(chǎn)過(guò)程中。小型碼段式LCD 屏的檢測(cè)也逐漸從傳統(tǒng)的肉眼檢測(cè)轉(zhuǎn)換為機(jī)器視覺(jué)檢測(cè)。LCD 屏的自動(dòng)化檢測(cè)系統(tǒng)對(duì)企業(yè)的效率、成本和質(zhì)量都有很大的改善。它對(duì)于生產(chǎn)的柔性和自動(dòng)化程度的提高是越來(lái)越多企業(yè)選擇的原因。

本課題應(yīng)企業(yè)實(shí)際生產(chǎn)需要而提出，分析比較了幾種LCD 屏顯示缺陷常用的檢測(cè)方法，利用LabVIEW 的視覺(jué)與運(yùn)動(dòng)系統(tǒng)能快速方便搭建檢測(cè)系統(tǒng)，進(jìn)行數(shù)字圖像處理，解決了利用黃金匹配模板進(jìn)行缺陷檢測(cè)的相關(guān)圖像處理問(wèn)題。通過(guò)試驗(yàn)驗(yàn)證了測(cè)試系統(tǒng)的功能、速度和準(zhǔn)確度，也實(shí)現(xiàn)了成本低、系統(tǒng)穩(wěn)定、開(kāi)發(fā)周期短、系統(tǒng)界面友好易于操作等特點(diǎn)，達(dá)到企業(yè)生產(chǎn)的實(shí)際需求。