周 陽,沈婷婷,席志遠,楊永杰,邱自學(xué)
(1.南通大學(xué)機械工程學(xué)院,江蘇南通 226019;2.南通大學(xué)電子信息學(xué)院,江蘇南通 226019)
日用化學(xué)品行業(yè)常用高密度聚乙烯瓶作為容器來盛放洗手液等日化品。企業(yè)通常將產(chǎn)品的批號、生產(chǎn)日期、保質(zhì)期噴印在日化瓶的瓶底。噴碼機受自身性能、機械振動等因素的影響會出現(xiàn)多種缺陷,如字符的缺印、漏印、錯印[1],以上的質(zhì)量問題會對企業(yè)的品牌形象及信譽產(chǎn)生較大的影響[2]。
傳統(tǒng)的噴碼檢測采用人工全檢,人工檢測效率低、強度大且容易出現(xiàn)漏檢、誤檢的情況。這種人工檢測方式已經(jīng)不適應(yīng)未來制造業(yè)自動化、信息化的發(fā)展趨勢[3],采用機器視覺技術(shù)來進行產(chǎn)品表面信息特征的提取以及缺陷檢測已越來越普遍[4-5]。
文獻[6]通過比較識別字符與標準模型的灰度值波動實現(xiàn)字符質(zhì)量的檢驗,文獻[7]通過特征點提取與模板匹配對字符進行識別與判定,文獻[8]利用深度學(xué)習(xí)提取圖像特征進行字符的識別與判定,一定程度上適應(yīng)了復(fù)雜背景下噴碼質(zhì)量的檢驗。上述文獻針對字符區(qū)域位置、角度偏移量小的場景具有較好的定位識別精度。但在實際生產(chǎn)過程中,日化瓶在輸送帶運輸中易產(chǎn)生旋轉(zhuǎn),導(dǎo)致瓶底噴碼字符區(qū)域不固定,且高密度聚乙烯瓶通常由吹塑工藝制成,由于制造工藝的限制瓶身將存在合模線,若點陣字符噴印在合模線上將對字符質(zhì)量的判別產(chǎn)生較大的干擾。針對以上問題,提出一種基于Halcon的日化瓶瓶底噴碼質(zhì)量檢測算法,實現(xiàn)日化瓶瓶底噴碼質(zhì)量的快速檢測。
噴碼質(zhì)量檢測試驗平臺由硬件系統(tǒng)和軟件系統(tǒng)2部分組成。硬件部分主要包括工業(yè)相機、光源、鏡頭、夾瓶傳輸機構(gòu)與工控平板電腦。其中相機選取MV-CE003-2OGM型面陣機,相機的分辨率為640×480,采集幀率為173個/s全幀,輸出黑白圖像;光源選取高亮的LED的條形光源,采用雙光源對稱低角度照射補光;鏡頭為Computar定焦鏡頭,焦距為8 mm,手動調(diào)節(jié)光圈、焦距;工控機選取PPC-3100-RAE工控平板電腦;夾瓶傳輸機構(gòu)主要用于傳輸日化瓶,便于工業(yè)相機獲取瓶底噴碼的圖像。試驗平臺硬件如圖1所示。
圖1 檢測實驗平臺
視覺系統(tǒng)軟件平臺在VS2017開發(fā)環(huán)境下基于Halcon視覺庫開發(fā),其核心部分為圖像處理算法。
噴碼質(zhì)量檢測圖像處理算法主要包含字符區(qū)域定位、字符分割、合模線提取以及噴碼質(zhì)量驗證4部分。檢測流程如圖2所示。
圖2 檢測流程圖
工業(yè)相機抓取日化瓶瓶底圖像,日化瓶瓶底噴碼圖像分為不變字符區(qū)與可變字符區(qū)。不變字符區(qū)包含產(chǎn)品批號、生產(chǎn)日期、截止日期的英文標志,即LOT、MFG、EXP。可變字符區(qū)包含產(chǎn)品批號、生產(chǎn)日期、截止日期所對應(yīng)的實際噴碼字符。不變字符區(qū)與可變字符區(qū)的相對位置保持固定。且待檢測的日化瓶瓶底圖像角度任意,如圖3所示。
(a)標準圖像
字符區(qū)域定位通常有邊緣檢測定位法、手動提取感興趣區(qū)域法[9]、形態(tài)學(xué)處理結(jié)合Blob分析定位法[10]等。但以上方法都只適應(yīng)待檢文本旋轉(zhuǎn)角度偏差不大的場合,任意位置文本若采取上述定位方法將存在定位字符顛倒的情況。本文采取的定位方法如圖4所示。
圖4 字符定位流程圖
首先提取一張噴印質(zhì)量合格且字符文本角度水平的標準圖像。手動畫取一個包含不變字符區(qū)里的LOT、MFG、EXP 3行關(guān)鍵字符的感興趣區(qū)域,并將該區(qū)域圖像裁剪出來訓(xùn)練成標準形狀模型輪廓。
標準形狀模型中心位于圖像的坐標原點如圖5所示。
圖5 形狀模型輪廓圖
打開待識別的圖像,查找標準形狀模型的最佳匹配項并返回模型實例的行坐標、列坐標以及角度。在得到待識別圖像的模型實例的行坐標、列坐標之后,求出標準圖像中感興趣區(qū)域與實例模型的變化矩陣HomMat2D。變化矩陣是由旋轉(zhuǎn)矩陣R和平移向量T組成。
下面的方程用其次向量描述中心點的變化。
接著使用HomMat2D齊次變換矩陣對待檢測圖像進行仿射變換,輸出圖像如圖6所示。
圖6 仿射變換后的圖像
由于日化瓶瓶底具有一定的弧度,且噴印在瓶底標識上的字符存在一定的變形導(dǎo)致不變字符區(qū)的字符間相對位置存在細微的差別,因而最后仿射變換輸出的圖像文本存在一定程度的角度傾斜,需對其進行旋轉(zhuǎn)校正。旋轉(zhuǎn)校正主要依靠檢測文本行旋轉(zhuǎn)的角度來生成一個旋轉(zhuǎn)矩陣,并根據(jù)旋轉(zhuǎn)矩陣對圖像進行仿射變換。同時噴印的字符也可能存在一定的角度傾斜,需對其進行字符傾斜校正[11]以消除字符傾斜對后續(xù)字符分割產(chǎn)生的影響。檢測字符傾斜角度生成一個傾斜角度矩陣,將旋轉(zhuǎn)校正后的圖像進行仿射變換完成字符傾斜校正。字符傾斜校正后的圖像如圖7所示。
圖7 傾斜校正后的圖像
生成一個包含可變字符區(qū)的軸平行感興趣區(qū)域并從字符傾斜校正后的圖像中提取待檢測字符區(qū)域如圖8所示。
圖8 待檢字符區(qū)
Halcon中最經(jīng)典的字符分割法是Blob分割法。Blob分割法通常先對待檢測字符區(qū)進行閾值分割[12],再對閾值分割后的字符進行形態(tài)學(xué)處理使得每個點陣字符中的點粘連在一起形成連通域,最后將閾值分割后的圖像與形態(tài)學(xué)處理后的圖像求交集,求得分割后的字符。由于日化瓶瓶底字符噴印質(zhì)量相對較差,在動態(tài)閾值分割[13]后對不同字符再進行形態(tài)學(xué)處理過程中容易產(chǎn)生字符粘連,影響后續(xù)字符的分割,因而采用手動文本閱讀器進行字符分割提取。手動文本閱讀器需創(chuàng)建一個模型并設(shè)置模型中字符寬度、高度、最大極性等關(guān)鍵參數(shù)。根據(jù)手動設(shè)定的字符關(guān)鍵參數(shù)找出待檢測字符區(qū)的字符,提取待檢測字符區(qū)的字符,每個字符都變成一個獨立的區(qū)域。提取的字符如圖9所示。
圖9 字符分割圖像
遍歷分割后的每個字符并獲取其與坐標軸平行的最小包圍矩形,并對矩形進行膨脹處理,最終從待檢測字符區(qū)中裁剪出待檢單個字符圖像。
日化瓶瓶底在噴碼的過程中存在部分字符噴印在合模線上,合模線表面粗糙,經(jīng)過合模線的點陣字符存在部分點的缺失,部分字符點在成像過程中由于合模線的干擾無法被正確提取出來。通過提取合模線,若部分待檢測字符與合模線相交則降低后續(xù)檢測的閾值來削弱合模線對字符質(zhì)量判定的影響。合模線提取流程如圖10所示。
圖10 合模線提取流程圖
提取傾斜校正后的圖像,可以觀察到合模線處圖像的灰度值較高,而周圍區(qū)域灰度值相對較低??梢酝ㄟ^對圖像灰度值進行縮放以增強合模線的對比度。設(shè)原圖灰度值為g,縮放后的灰度值為g′,灰度值縮放的原理是g′=g×Mult+Add,設(shè)定合適的比例因子Mult與偏移Add,使得縮放后合模線的灰度值提高,背景的灰度值降低。同時合模線是圖像里灰度變換劇烈的地方,可利用邊緣檢測算子檢測邊緣梯度圖像,再對邊緣梯度圖像進行二值化,同時剔除部分雜點[14]得到二值化邊緣圖像,最后對二值化邊緣圖像進行霍夫變換以提取瓶底合模線如圖11所示。
圖11 合模線提取圖像
在提取瓶底合模線與待檢單個字符圖像后進行噴碼質(zhì)量驗證。噴碼質(zhì)量驗證流程如圖12所示。
圖12 噴碼質(zhì)量驗證流程圖
噴碼質(zhì)量驗證的基本原理是將單個字符分割后的圖像與訓(xùn)練的標準字符模板[15]進行對比,得出一個最大相關(guān)值Q。通過將最大相關(guān)值與設(shè)定的檢測閾值T進行比較,若Q>T,則判定合格。當字符成功被分割后,獲取每個獨立字符最小外接軸平行矩形,并獲得最小外接矩形的對角點坐標,接著求取霍夫線與字符最小外接矩形對角線間的最小距離。若最小距離為0即判定該字符與合模線相交,則此時字符檢測質(zhì)量閾值為T1;若最小距離不為0,即判定該字符與合模線不相交,則此時字符檢測閾值為T2。
單個字符噴碼質(zhì)量校驗通過基于灰度投影的光學(xué)字符驗證算法來實現(xiàn)。將待檢單個字符圖像從傾斜校正后的圖像裁剪出來,并對單個字符區(qū)域圖像的行和列對灰度值求和來計算水平和垂直灰度投影,通過比較待檢字符與訓(xùn)練的標準字符灰度投影來完成光學(xué)字符質(zhì)量的驗證。
創(chuàng)建標準字符模板,模板圖像如圖13所示。
(a)缺陷字符
對進行單個字符圖像質(zhì)量檢測,檢測結(jié)果如圖14所示。
圖14 檢測結(jié)果
選取60個缺陷日化瓶作為樣本進行測試。實驗結(jié)果如表1所示。
表1 缺陷檢測結(jié)果
實驗結(jié)果顯示58個日化瓶能被正確檢測,2個缺陷日化瓶存在部分正常字符由于背景干擾較大被誤判,整體正檢率為97%,符合設(shè)計要求。生產(chǎn)線日化瓶輸送速率為60個/min,單個日化瓶平均檢測時間為620 ms,滿足生產(chǎn)線要求。
針對日化瓶瓶底噴碼質(zhì)量人工檢測速度慢、漏檢率高的現(xiàn)狀,設(shè)計基于Halcon的日化瓶瓶底噴碼質(zhì)量檢測系統(tǒng)及算法。該算法針對任意角度的噴碼圖像有較高的定位精度,缺陷字符識別準確度高并能一定程度上消除瓶底合模線對字符質(zhì)量判定的影響。在穩(wěn)定性上優(yōu)于單一的模板匹配法,整體的識別時間略高,但足以滿足實際生產(chǎn)線的需要,具有較好的應(yīng)用價值。