一種檢測護(hù)照線性缺陷的方法①

張曉良, 閔雄闊, 翟廣濤, 王 磊

1(上海交通大學(xué) 電子信息和電氣工程學(xué)院, 上海 200240)2(上海密特印制有限公司, 上海 200331)

近年來隨著中國經(jīng)濟的不斷發(fā)展, 走出國門的人逐年以百萬級數(shù)量增長, 而護(hù)照作為國人在國外的唯一有效身份證件, 也越來越多地被人所擁有和重視. 因而, 護(hù)照質(zhì)量對于生產(chǎn)商以及使用者都非常重要, 對于生產(chǎn)商而言是產(chǎn)品的品質(zhì)和口碑, 對于使用者而言則是當(dāng)護(hù)照被查驗時的真?zhèn)我约巴ㄐ械谋憷? 目前, 護(hù)照制作過程中的質(zhì)量查驗主要是通過手工檢查和計算機視覺自動化查驗相結(jié)合的方式進(jìn)行. 由于傳統(tǒng)的質(zhì)量控制是通過有經(jīng)驗的專業(yè)人員來完成的, 但是手工檢查除了速度慢, 還需要占用大量的人力、物力資源和場地資源[1], 因此, 作為自動檢查方法的計算機視覺系統(tǒng)在沒有上述不利因素的情況下, 在護(hù)照產(chǎn)品的質(zhì)量控制中變得越來越重要.

計算機視覺系統(tǒng)在許多領(lǐng)域具有廣泛的實用價值和意義. 例如, 利用線陣相機基于小波變換檢測提取金屬類產(chǎn)品質(zhì)量缺陷的控制測試系統(tǒng)[2]; 在食品加工過程中對食材的外觀品質(zhì)檢測[3]; 在塑料包裝生產(chǎn)中的智能缺陷檢測[4]. 然而, 特別是護(hù)照生產(chǎn)質(zhì)量控制過程中的計算機視覺系統(tǒng)的相關(guān)研究極為少見.

護(hù)照本制作的品質(zhì), 主要體現(xiàn)在印刷方面, 常見的質(zhì)量缺陷主要有漏印、飛墨、污點、字符局部或全部漏印、起皺褶、條紋、刀絲、套印不準(zhǔn)、糊版、臟版、墨色過淺或過重等[5]. 其中與背景底紋相近色彩的臟版缺陷是比較難以識別的, 而這種臟版缺陷又可能隨機出現(xiàn)在護(hù)照的每一頁中, 對護(hù)照本整體造成比較嚴(yán)重的影響. 要檢測這類質(zhì)量缺陷, 主要困難在于其蹭臟的顏色和圖像背景紋理接近, 一般通過使用常用算法來檢測會造成大量漏廢. 鑒于該質(zhì)量缺陷的方向, 形狀和位置, 可以按照線段的特征對該缺陷進(jìn)行捕獲. 目前線段檢測的主要方法有: 線段檢測分割算法[6]; 或者是基于亥姆霍茲原理, 無參數(shù)的數(shù)字圖像直線段檢測[7]; 以及基于霍夫變換的直線改進(jìn)型檢測[8–10]; 還有基于動態(tài)事件視覺傳感器的線段檢測等[11]. 根據(jù)臟版缺陷的特點, 在圖像上呈現(xiàn)的效果較為模糊, 簡單的線段檢測方法可能無法有效獲取全部缺陷.

本文的目的: 1) 準(zhǔn)備護(hù)照印刷樣本并構(gòu)建圖像處理平臺; 2) 獲取樣本圖像, 并運用適當(dāng)?shù)木€段檢測算法和改進(jìn)的模板匹配[12]方法來分析臟版缺陷; 3) 運用多尺度分析被檢測的樣本結(jié)果; 4) 驗證該方法的可行性.

1 圖像獲取及預(yù)處理

1.1 計算機視覺系統(tǒng)和護(hù)照圖像獲取

本文提到的計算機視覺系統(tǒng)[13]被裝載在北京大恒圖像視覺有限公司的護(hù)照質(zhì)量檢測機上, 并采用Chromasense?線性陣列相機[14]檢測護(hù)照產(chǎn)品. C＃被用于計算機視覺系統(tǒng)的軟件開發(fā)環(huán)境, 核心檢測算法[15]源于HALCON[16]. HALCON是一套由數(shù)千個獨立功能和底層數(shù)據(jù)管理核心組成的圖像處理庫. 它包含“過濾”, “顏色和幾何”, “數(shù)學(xué)變換”, “形態(tài)分析”, “校準(zhǔn)”,“分類和識別”[17], “形狀搜索”[18]和 “圖像計算”等算法功能.

如上所述, 現(xiàn)有的檢測系統(tǒng)是基于HALCON的算法庫和大恒公司的機器. 計算機視覺檢測系統(tǒng)的示意圖如圖1所示.

圖1 計算機視覺系統(tǒng)示意圖

護(hù)照按順序傳輸?shù)綀D像采集單元, 線性陣列相機拍攝圖像, 并將圖像數(shù)據(jù)發(fā)送到服務(wù)器進(jìn)行分析. 護(hù)照質(zhì)量檢測設(shè)備的實際圖如圖2所示.

圖2 計算機視覺系統(tǒng)實際圖

該護(hù)照質(zhì)量檢測設(shè)備的運行速度為5000（本/張）/時. 相機的分辨率為4096像素. 此外, 設(shè)置像素行之間的中心到中心間距為3像素, 并具有大于50dB的動態(tài)范圍. 相機的主要參數(shù)如表1所示.

表1 相機主要參數(shù)

從檢測系統(tǒng)收集而來的樣本標(biāo)準(zhǔn)圖像如圖3(a)所示. 該圖為護(hù)照24–25頁的一個中張樣本, 從整張圖像上來看, 上下兩個圖像是完全一致的. 根據(jù)護(hù)照圖像質(zhì)量的要求為: 印刷后的產(chǎn)品色澤清晰, 顏色之間沒有串色和混色, 票面整潔等.

圖3 樣本標(biāo)準(zhǔn)圖像和含有臟版缺陷的樣本

在前文的介紹中大致提到了會在護(hù)照票面上產(chǎn)生的臟版缺陷. 這種臟版缺陷通常呈現(xiàn)為線性, 并且垂直于樣本的上下兩個底部邊緣, 同時臟版缺陷主要集中產(chǎn)生在圖像的中間區(qū)域, 延伸到圖像的兩個邊緣. 而形成臟版缺陷的原理是油墨溢流輥導(dǎo)致印刷過程中的產(chǎn)品染色. 由于臟版缺陷的形成是印刷色彩堆疊, 而油墨的顏色又與底紋的顏色一致, 因此在采集速度較快、算法較為簡單的條件下難以直接識別這類缺陷.

臟版缺陷的兩個典型圖像如圖3(b)(c)所示, 用肉眼即可看見. 在樣本中間位置分別有棕色和藍(lán)色的線條, 其中這兩個缺陷都擴展到圖像的上部和下部.

1.2 預(yù)處理

在使用線段檢測分割算法之前, 需要對采集到的圖像進(jìn)行預(yù)處理, 來滿足算法的要求. 因此, 我們將原始圖像轉(zhuǎn)換為P5型的PGM文件, 作為便攜式灰色地圖文件格式. 轉(zhuǎn)換為灰度圖后, RGB通道上的每個像素的值表示為單通道的亮度, 即為灰度值, 其范圍為0～255. 使用Matlab進(jìn)行圖像轉(zhuǎn)換的結(jié)果如圖4所示.

圖4 樣本的PGM圖像

2 方法和分析

2.1 線段檢測分割算法

LSD (Line Segment Detector)是一種線段檢測分割算法, 能夠在線性的時間內(nèi)得出亞像素級精度的檢測結(jié)果. 其目標(biāo)是對圖像中局部的直線輪廓進(jìn)行檢測, 其中包括兩個重要因素即: 梯度和水平線. 線段檢測分割算法要求原始圖像只允許以灰度圖像格式作為輸入,輸出則是分割的直線. 圖像的一般處理過程如下.

(1)圖像尺度變換[19]

線段檢測分割算法首先要對圖像進(jìn)行尺度變換,用于減弱乃至消除圖像中出現(xiàn)的鋸齒效應(yīng), 通過高斯降采樣來實現(xiàn)圖像的縮放, 高斯核的標(biāo)準(zhǔn)差計算為在這里作為尺度縮放因子.

(2) 梯度計算

(3) 梯度排序

梯度排序的處理對最終結(jié)果具有特定的影響. 此外, 梯度排序是一種偽排序, 偽排序的原理基于在最短時間內(nèi)進(jìn)行以最大梯度的像素為基點展開, 用于對像素進(jìn)行有序分類和完成相關(guān)操作.

(4) 梯度閾值

(5) 區(qū)域生長[20]

(6) 矩形評估

其余經(jīng)過NFA(誤報數(shù)量) 計算和對齊點密度設(shè)置, 即可完成圖像處理過程.

2.2 模板匹配

經(jīng)過線段檢測分割算法處理后, 得到只含有臟版缺陷信息的直線分割圖, 在指定區(qū)域的垂直向量用于匹配線性分割模板中是否存在垂直矢量. 利用圖中相關(guān)區(qū)域的垂直線分量, 與標(biāo)準(zhǔn)圖像的直線分割圖進(jìn)行比對, 對是否含有垂直線段交疊進(jìn)行判斷, 若沒有交疊的, 即為需要檢測的臟版缺陷.

垂直線段匹配流程如下, 二值化圖像如圖5所示.

圖5 經(jīng)線段檢測分割算法處理后的圖像

(1) 通過線段檢測分割算法創(chuàng)建基于標(biāo)準(zhǔn)圖像的模板.

(2) 通過線段檢測分割算法獲取可能含有缺陷的樣本圖像.

(3) 根據(jù)傳統(tǒng)印刷的相關(guān)經(jīng)驗, 將在兩條線之間的區(qū)域(見圖5)設(shè)定為檢測區(qū)域.

(4) 將樣本與檢驗范圍上的線段模板進(jìn)行匹配.

2.3 多尺度分析

根據(jù)線段檢測分割算法和模板匹配的特點, 我們可以通過調(diào)整圖像的尺度來提高線段檢測分割算法的執(zhí)行效率, 與此同時也就提升模板匹配的成功率. 在多尺度的條件下, 我們所分析的模板和樣本結(jié)果如圖所示. 我們嘗試為每個模板和樣本共設(shè)置9個尺度. 最終的結(jié)果表明, 圖像放大的尺度越大, 相應(yīng)的噪聲信號和干擾就越大.

我們可以通過放大和縮小圖像尺度來找到用于檢測這些缺陷的最佳比例值. 樣本(圖7(a)和圖8(a))由于尺度過小而完全不可檢測. 同樣地, 由于噪聲和干擾的影響, 無法同時有效檢測出兩張樣本的缺陷圖像(圖7(i)和圖8(h)). 此外, 圖8(i)中的臟版缺陷和背景圖案之間存在重疊, 導(dǎo)致無法正確地識別該缺陷. 從圖7(b)至圖7(h)以及圖8(b)至圖8(g), 在這些尺度下, 我們可以檢測樣本的所有臟版缺陷. 而根據(jù)后續(xù)模板匹配的結(jié)果, 所選用的圖像尺度越大, 其模板匹配的成功率越低, 因為噪聲信號和干擾隨著圖像尺度變大而增加, 從而無法有效地判斷這線線段到底是否為臟版缺陷. 因此, 為了確保檢測的準(zhǔn)確性, 還要考慮合適的圖像尺度, 來提高線段模板匹配的成功率.

上述匹配模板的總結(jié)如下:

(1) 在圖7(a)和圖8(a)中, 因沒有檢測到臟版缺陷而導(dǎo)致模板匹配失敗.

圖6 圖像尺度值從0.03到0.3的標(biāo)準(zhǔn)圖像的處理結(jié)果

圖7 圖像尺度值從0.03到0.3的臟版圖像1的處理結(jié)果

圖8 圖像尺度值從0.03到0.3的臟版圖像2的處理結(jié)果

(2) 由于噪聲和干擾信號很大, 圖7(i)和圖8(h)被低效檢測, 該因素導(dǎo)致模板匹配失敗.

(3) 圖7(i)和圖8(h)的尺度是我們可以接受的圖像尺度的近似最大值, 因為在圖8(i)的情況下, 背景圖案和臟版缺陷幾乎不能區(qū)分.

(4) 圖7(b)至圖7(h)以及圖8(b)至圖8(g)能夠正常匹配, 同時也可以正確地檢測到這些臟版缺陷.

根據(jù)線段檢測和模板匹配的測試結(jié)果, 可以獲得轉(zhuǎn)換尺度對這些圖像缺陷處理的影響. 具體結(jié)果列于表2.

表2 多尺度分析匯總

通過多尺度分析, 我們可以發(fā)現(xiàn)這種臟版缺陷的尺度范圍, 其中超限尺度不可用于檢測該缺陷. 因此,我們可以使用上述結(jié)果來粗略地確定線段檢測分割算法的圖像尺度要求.

3 結(jié)果與討論

3.1 結(jié)果

按照上述結(jié)果和分析, 選擇圖3(a)作為標(biāo)準(zhǔn)圖像,將該圖預(yù)處理和分割線段處理作為模板匹配對象. 通過將圖像的尺度和角度公差調(diào)整到適當(dāng)?shù)闹? 來提高線段檢測分割算法的效率.

(1) 設(shè)置縮放尺度為0.05, 圖像將縮小到原始圖像的5%大小, 確保缺陷的特征突出而不受背景圖文影響.

(2) 設(shè)置角容忍度為60°, 由于缺陷特征為寬線條的垂直狀墨跡, 因此需要更大的角度來連成一直線確保缺陷的檢出.

通過上述算法, 基于14個樣本的結(jié)果如下所示:

線段檢測分割算法可以檢測大多數(shù)樣本的臟版缺陷, 因為檢測區(qū)域中的垂直矢量表示圖像的缺陷, 如圖9中的圓圈所示. 通過采用改進(jìn)的線段檢測分割算法與模板匹配組合的方法, 可以測量出14張樣本中的11張缺陷圖像, 成功率達(dá)到78.57%.

圖9 經(jīng)線段檢測分割算法處理后的圖像 ((a)為標(biāo)準(zhǔn)圖像, (b)至(l)為11張成功檢出的樣本)

3.2 討論

在這個小樣本集中, 有三個樣本根據(jù)上述縮放尺度和角度公差無法檢測. 我們將分別討論其失敗原因:

(1) 在圖10(b)中, 經(jīng)二值化處理后樣本圖像上的缺陷特征幾乎不可見. 可想而知, 樣本的檢測結(jié)果并不理想. 根據(jù)經(jīng)驗, 是樣本圖像在預(yù)處理過程中出現(xiàn)了問題. 這個因素導(dǎo)致該缺陷的灰度值與周圍幾乎相同, 無法正確檢出.(2) 在圖11中, 我們可以發(fā)現(xiàn)樣本圖像的部分缺陷可以被檢測到. 通過分析PGM圖像(圖11(a)和圖11(c)), 該缺陷的灰度值與周圍背景圖文相比具有較微弱的變化, 導(dǎo)致梯度方向的判斷不完整. 如果縮放尺度和角度容差仍然為原先設(shè)定的數(shù)值, 則無法達(dá)到我們預(yù)期所要的效果. 通過調(diào)整這些參數(shù)的值, 雖然可以恢復(fù)出缺陷的相關(guān)線段, 但卻要為此付出噪音信號和干擾同時提升的代價, 這樣會導(dǎo)致這種臟版缺陷的線段模板匹配遇到問題.

圖10 樣本預(yù)處理失敗的圖樣1

圖11 樣本預(yù)處理失敗的圖樣2和3 ((b)和(d)分別為預(yù)處理后圖像2和3)

在這些情況下, 線段檢測分割算法的多尺度分析并不能完全檢測出所有的臟版缺陷, 這意味著這種改進(jìn)方法仍然有一些限制. 該方法要求臟版缺陷與周圍背景圖文的色彩具有較為明顯的對比, 同時臟版缺陷出現(xiàn)的位置盡量不能與背景圖文中類似的垂直矢量圖像位置重疊. 滿足相關(guān)要求, 并帶有缺陷的樣本圖像,可以通過上述算法和模板匹配來精確檢測, 而那些不具有匹配條件的樣本則會產(chǎn)生一定的漏檢率. 在這樣的情況下, 可能不僅要考慮使用灰度圖像預(yù)處理的方法, 還需要在多色彩通道上使用相關(guān)匹配的方法來檢測這類臟版缺陷.

4 總結(jié)

在本文中, 我們關(guān)注了護(hù)照生產(chǎn)過程中有關(guān)質(zhì)量控制的一些問題, 并描述了一種會在印刷過程中產(chǎn)生的臟版缺陷的情況. 我們提出了一種改進(jìn)的線段檢測分割算法和相應(yīng)的線段模板匹配方法, 用來檢測護(hù)照中這類質(zhì)量的缺陷. 通過總結(jié), 該方法分為三個步驟:首先, 準(zhǔn)備護(hù)照印刷樣本, 并通過計算機視覺檢查系統(tǒng)來獲取樣本圖像. 其次, 通過灰度圖像預(yù)處理, 采用基于線段檢測分割算法和線段模板匹配的改進(jìn)方法來實現(xiàn), 并對該方法運用了圖像多尺度縮放的結(jié)果分析. 最后, 根據(jù)檢測結(jié)果, 我們分析圖像檢測失敗的原因, 并提出可能的優(yōu)化方法和方向. 通過實驗表明, 線段檢測分割算法和線段模板匹配的改進(jìn)方法是檢測護(hù)照中臟版缺陷的一種可行方法. 此外, 恰好與背景圖文重疊的臟版缺陷的檢測問題則需要進(jìn)一步的研究.