采用圖像定位與輪廓檢測的噴墨寬度測量算法

蘭偉, 何松柏

(1. 重慶城市職業(yè)學院 信息工程系， 重慶 402160；2. 電子科技大學 電子工程學院， 四川 成都 610000)

采用圖像定位與輪廓檢測的噴墨寬度測量算法

蘭偉1,2, 何松柏2

(1. 重慶城市職業(yè)學院 信息工程系， 重慶 402160；2. 電子科技大學 電子工程學院， 四川 成都 610000)

提出基于圖像定位與輪廓檢測的噴墨寬度測量算法.首先，根據圖像灰度熵特征與旋轉定位函數，提出基于動態(tài)閾值熵函數分割與EmguCV的產品定位算子，得到產品中心點坐標與旋轉角度;然后,傳遞給機器人Robert，引導Robert到產品邊緣噴墨上方進行局部圖像采集；最后，采用大律法分割法處理噴墨邊緣圖像，設計基于Canny邊緣檢測與輪廓檢測的測量算子，從而完成噴墨寬度測量.實驗數據顯示：與當前目標寬度測量技術相比，文中算法具有更高的測量精度與穩(wěn)定性.

噴墨寬度； 圖像定位； 輪廓檢測； 動態(tài)閾值熵函數； 邊緣檢測

隨著國內制造業(yè)人力成本的不斷上升和企業(yè)運營壓力的增大，越來越多企業(yè)意識到用自動化的智能制造設備取代人力作業(yè)已經是市場立足的關鍵[1-2].在電子屏幕制造中，屏幕邊緣需要噴一定寬度的墨，才能保證屏幕漏光測試通過,邊緣噴墨的寬度直接影響屏幕質量.由于噴墨寬度測量精度要求高、數量大，且近距離接觸工業(yè)墨對作業(yè)人員身體有一定的傷害，因此,采用智能視覺技術測量噴墨寬度非常必要[3-4].國內專門測量噴墨的成熟設備極少，但是在類似的制造工件或材料尺寸測量方面，國內研究人員已經將圖像處理與計算機視覺技術引入到材料尺寸測量中，而噴墨也是一種特殊的材料.李旭[5]提出基于色差的機器視覺尺寸測量系統(tǒng)，利用目標與背景色差完成對材料目標的定位測量.但是，此技術依靠圖像色差，容易受到外界環(huán)境光的影響，導致定位和測量的錯誤.羅月迎[6]提出基于幾何參數的機器視覺測量方法，使用目標幾何特征，完成材料目標定位.然而，這種技術依靠目標明顯的幾何特征，在噴墨這種沒有特殊幾何特征的情況下，往往不能精確測量目標尺寸，導致測量錯誤.為了提高測量算法的適應性，使其在背景復雜、目標特征不明顯的背景下，仍然能夠精確定位目標并正確測量噴墨尺寸，本文提出了基于圖像定位與視覺引導的噴墨寬度測量算法.

圖1 文中機制架構Fig.1 Structure of mechanisms

1 噴墨寬度測量架構

提出的基于圖像定位與輪庫查找的噴墨寬度測量過程，如圖1所示.首先，將屏幕材料隨滾輪運動到工業(yè)相機鏡下進行整體圖像采集.此時,采集到的圖像是整個材料，如圖2所示.然后，基于動態(tài)閾值的一維熵函數把材料邊緣主體從背景中分離；基于EmguCV的旋轉定位函數，計算出材料主體的中心點坐標與旋轉角度，并傳遞給機器人Robert.EmguCV為開源視覺函數庫OpenCV的.NET framework版本，即經過.NET封裝的OpenCV函數，所提算法就是基于開源視覺庫EmguCV中的函數實現(xiàn).隨后，Robert帶動工業(yè)相機運動到材料邊緣即噴墨位置，再次取像，如圖3所示.圖3中：黑色長條是需要測量的墨寬度.最后，采用基于灰度方差的大律分割，獲取包含噴墨的二值圖像；基于Canny邊緣檢測與輪廓查找，測量出噴墨寬度，判斷是否達到工業(yè)標準.

由于當前對噴墨寬度的測量主要依賴人工作業(yè)，缺乏完整的智能化噴墨寬度測量系統(tǒng).因此，所提技術是將常規(guī)算法與開源函數融合，用于噴墨邊緣實際寬度小而延伸范圍大的條件下的噴墨寬度精確測量，尤其是針對屏幕邊緣墨寬檢測，從而形成一套完整的噴墨寬度測量智能系統(tǒng)，有效地提高生產效率與質量.

圖2 材料整體圖像 圖3 材料邊緣噴墨位置 Fig.2 Overall image of materials Fig.3 Inkjet localization materials edge

2 基于熵函數分割與EmguCV的定位

圖4 定位流程圖Fig.4 Flow chart of localization

屏幕材料隨傳送帶到相機鏡下，對屏幕整體進行圖像采集完成后，需要對屏幕材料整體進行定位，計算中心點坐標與旋轉角度，為后續(xù)Robert帶著相機準確運動到屏幕邊緣測量噴墨寬度做好準備.由于屏幕邊緣材料敏感，不宜進行物理定位，使其往往存在角度旋轉與坐標偏移.故文中提出了產品定位算子，其流程如圖4所示.采用一維最大熵閾值分割分離屏幕主體與背景，以圖像像素局部極值的集合、局部像素差值小于設定值的領域，作為目標圖像區(qū)域.對每一個圖像塊，假設其灰度級為l，利用其作為閾值分割屏幕主體區(qū)域與背景區(qū)域，由領域內像素值高于l的像素點構成屏幕主題區(qū)域，反之，構成背景區(qū)域.但是屏幕整體圖像大，所以，文中采用計算量較小的熵函數閾值分割[7-8]，其屏幕目標與背景區(qū)域的熵分別為

(2)

式(1)，(2)中:HT是屏幕目標熵；Hb為背景圖像熵；Pi為灰度值為i的像素比例；t為分割閾值；PT為閾值t以下所有像素值比例和,即

得到目標與背景熵后，再構建熵函數S，將熵函數值最大的閾值作為最佳閾值，即

采用最大熵閾值分割處理圖2結果，如圖5所示.由圖5可知：熵函數分割能準確地從背景中分割出屏幕主體目標.分割出屏幕主體后，還需進一步精確定位，計算中心點坐標與旋轉角度，即精確的定位屏幕主體的輪廓，從而為Robert提供噴墨邊緣采集位置.

為了進一步精確定位與角度計算，基于開源庫EmguCV函數cvMinAreaRect2(const CvArr* points,CvMemStorage*storage) 實現(xiàn)[9-10].其中,points為目標區(qū)域點序列/數組;storage為臨時存儲倉;該函數建立凸外形及旋轉外形，以尋找給定2D點集的最小面積的外接矩形，返回值數據結構為CvBox2D{CvPoint2D32f center;float angle}，即中心點及角度.最小外接矩形定位效果,如圖6所示.由圖6可知：精確定位屏幕四邊，經過對四邊和四頂點的坐標簡單計算，可獲得中心點坐標與角度，并傳遞給Robot.

圖5 熵函數分割圖像 圖6 定位圖像 Fig.5 Entropy function of segmented image Fig.6 Image localization

圖7 測量流程圖Fig.7 Flowchart of measurement

3 耦合大律分割與邊緣檢測的寬度測量

完成對屏幕中心點與角度的精準計算后，就可以引導Robot帶動相機，準確拍攝噴墨邊緣位置.在完成屏幕材料主體定位后，再采集屏幕噴墨邊緣，此時，需要定位噴墨邊緣并測量寬度.由于噴墨邊緣圖像較整體圖像小，且測量精度較高(誤差值小于0.1 mm)，因此，采用基于灰度方差的大律分割[11-12]處理噴墨邊緣，避免背景干擾，其測量過程如圖7所示.將背景與噴墨目標區(qū)域的分界閾值設為k，首選背景與噴墨目標在整個圖像范圍內占得比例分別為

式(5),(6)中:W0為背景區(qū)域在整圖中比例；W1為噴墨目標區(qū)域在整圖中比例；Pi為灰度值為i的像素在整圖中比例.

計算背景與噴墨目標區(qū)域的平均灰度值,即

依據式(7)，(8)，可計算噴墨目標與背景間灰度方差，選取方差最大時的閾,即

圖8 大律分割圖像結果Fig.8 Result of firm split image

式(9)中:δ(k)2為大律分割中背景與目標灰度方差，將該值最大時的k視為分割閾值，以圖3為目標，分割結果如圖8所示.由圖8可知：文中算法精確地將噴墨邊緣目標從背景分割出來.

在分割得到的二值圖的基礎上，進行基于Canny的邊緣檢測[13-14].首先，計算圖像X，Y方向一階偏導函數，作為平面梯度變化算子，由于目標邊緣為圖像灰度值突變處，故該算子可以探測出X，Y方向的邊緣梯度變化值，即

(11)

式(10),(11)中:Px[i,j]為圖像坐標[i,j]像素點在X方向上梯度算子;Py[i,j]為圖像坐標[i,j]像素點在Y方向上梯度算子，分別代表X,Y方向上灰度變化程度.

依據邊緣梯度變化值Px與Py，計算圖像灰度梯度幅值與方向,即

Q(i,j)=arctan(Px/Py).

(13)

式(12),(13)中:M(i,j)代表圖像坐標[i,j]像素點的梯度幅值;Q(i,j)代表圖像坐標[i,j]像素點梯度方向.

式(10)～(13)共同組成Canny邊緣檢測梯度算子的梯度矩陣，以檢測目標邊緣，結果如圖9所示.由圖9可知：該算法有效檢測出目標邊緣輪廓，為后續(xù)查找噴墨兩端輪廓邊，測量寬度做好了準備.

圖9 Canny邊緣檢測圖 圖10 輪廓定位結果Fig.9 Canny edge detection image Fig.10 Contour localization result

得到含目標邊緣后，需定位邊緣的輪廓位置，文中基于開源庫EmguCV遍歷輪廓函數cvTravelContour(const CvArr*contour,CvMemStorage*storage)實現(xiàn).其中,contour為目標輪廓點數組;storage為臨時存儲倉.該函數遍歷圖像中所有邊緣，本系統(tǒng)取邊緣坐標最小與最大，代表噴墨兩端.計算兩端邊緣的坐標差,即噴墨寬度測量.遍歷輪廓函數處理效果,如圖10所示.由圖10可知：輪廓定位精確定位出噴墨輪廓，獲得噴墨寬度.

4 實驗與討論

為了體現(xiàn)文中算法的優(yōu)勢，將當前測量性能較好的技術——文獻[5]算法和文獻[6]算法設為對照組，檢測對象如圖11所示.圖11中：包含屏幕主體與背景圖像，背景復雜且目標邊緣特征不明顯.采用最大熵函數分割處理圖像，EmguCV定位函數cvMinAreaRect2，實現(xiàn)定位目標最小外接矩形，從而得到屏幕目標四邊與四頂點，精準計算屏幕材料中心點坐標與旋轉角度，即準確定位目標四邊，結果如圖12所示.利用文獻[5]和文獻[6]算法對圖11進行檢測，對應的結果如圖13，14所示.由圖13,14可知：這兩種算法都出現(xiàn)定位不準確的現(xiàn)象.圖13中，由于文獻[5]算法單純依靠色差特征，在背景與目標色差不明顯時，往往定位效果不佳.圖14中，由于文獻[6]算法單純依靠幾何特征，在背景干擾較大時，影響了定位精度.

圖11 原圖 圖12 文中算法定位圖像 Fig.11 Original image Fig.12 Localized image of proposed algorithm

圖13 文獻[5]算法定位效果 圖14 文獻[6]算法定位效果 Fig.13 Localization effect of reference [5] Fig.14 Localization effect of reference [6]

將文中算法、文獻[5]和文獻[6]算法進一步應用到噴墨邊緣圖像檢測中，待檢測原圖如圖15所示.文中算法采用大律分割處理噴墨邊緣圖像，基于Canny邊緣檢測提取出噴墨邊緣圖像輪廓，通過EmguCV輪廓查找函數，準確定位噴墨邊緣并計算噴墨寬度，如圖16所示.由圖16可知：文中算法測量圖像輪廓定位準確，測量精度較高效果較佳.

圖15 待測量噴墨邊緣圖像 圖16 文中算法測量效果圖 Fig.15 Original image of inkjet edge Fig.16 Localization image effect of proposed algorithm

文獻[5]和文獻[6]算法的檢測結果,分別如圖17,18所示.由圖17,18可知：在背景干擾較大的情況下，這兩種算法對噴墨邊緣定位不準確，出現(xiàn)較大的偏差，影響了噴墨測量精度.

圖17 文獻[5]算法測量效果 圖18 文獻[6]算法測量效果Fig.17 Algorithm effect of reference [5] Fig.18 Algorithm effect of reference[6]

5 結束語

為了解決噴墨范圍小而整體圖像大且復雜環(huán)境下定位測量失誤的問題，設計了基于圖像定位與視覺引導的噴墨寬度測量算法，實現(xiàn)對屏幕材料主體、噴墨邊緣的圖像采集、定位和測量.實驗結果表明：與當前測量技術相比，文中算法既保證全局圖像定位準確，局部目標測量精準的目的，又具有更好的精度和穩(wěn)定性，為噴墨寬度測量提供了技術保障.

[1] 楊煒.融合道路圖像關鍵信息的車距視覺測量方法[J].計算機工程與應用,2015,11(17):196-199.

[2] 徐巖,宋君.大型印刷機械人機工程學關系探討[J].包裝工程,2012,10(20):48-52.

[3] 何留喜,陳廣學.基于UV噴墨的彩色3D打印研究[J].包裝工程,2015,3(9):134-138.

[4] 賈歡歡,陳蘊智,王新.噴墨制版技術打印機制的研究[J].包裝工程,2016,2(3):133-142.

[5] 李旭.色差對機器視覺尺寸測量精度的影響研究[J].包裝工程,2015,43(2):71-76.

[6] 羅月迎.船用彎管幾何參數的機器視覺測量方法研究[J].機械設計與制造,2015(6):427-430.

[7] WANG Yongsheng.A new image threshold segmentation based on fuzzy entropy and improved intelligent optimization algorithm[J].Journal of Multimedia,2014,9(4):499-505.

[8] XIA Dongxue,LI Chungui,YANG Shuhong.Fast threshold selection algorithm of infrared human images based on two-dimensional fuzzy tsallis entropy[J].Mathematical Problems in Engineering,2014,28(11):1012-1021.

[9] 鄭婷.一種DOM與圖像工程相結合的智能閱卷系統(tǒng)[D].太原:太原理工大學,2014:21-32.

[10] 張瀟磊.基于計算機視覺的智能安防監(jiān)控系統(tǒng)研究[D].南京:南京郵電大學,2014:18-35.

[11] CHEN Xiaohong.Extraction and analysis of the width, gray scale and radian in Chinese signature handwriting[J].Forensic Science International,2015,255(23):123-32.

[12] LOWE J M,BRENNAN P C,EVANOFF M G,et al.Variations in performance of LCDs are still evident after DICOM gray-scale standard display calibration[J].American Journal of Roentgenology,2010,195(1):181-187.

[13] TSANAKAS J A,CHRYSOSTOMOU D,BOTSARIS P N.Fault diagnosis of photovoltaic modules through image processing and canny edge detection on field thermographic measurements[J].International Journal of Sustainable Energy,2015,34(6):351-372.

[14] INGLE M A,TALMALE G R.Respiratory mask selection and leakage detection system based on canny edge detection operator[J].Procedia Computer Science,2016,78(10):323-329.

(責任編輯： 黃曉楠 英文審校： 吳逢鐵)

Measurement Algorithm of Inking Width Using Image Localization and Contour Detection

LAN Wei1,2, HE Songbo2

(1. Department of Information Engineering， Chongqing City Vocational College, Chongqing 402160, China;2. College of Electronic Engineering, University of Electronic Science and Technology of China, Chengdu 610000, China)

This paper proposed a new measurement algorithm of inking width based on image localization and contour detection. Firstly, product location algorithm which's based on segmentation of dynamic threshold value entropy function and EmguCV was proposed to get product center coordinates and rotation angle, and then passed it to the Robert, and guide the Robert to the local image acquisition edge to command inkjet products. Finally, great law segmentation was adopted to process the image on inkjet edge, based on Canny edge detection and contour measurement operator to complete inkjet width measurement. Experimental data shows that: compared with the current measurement technology, this algorithm has higher precision and stability.. Keywords：inkjet width; image localization; contour detection; dynamic threshold entropy function; edge detection

10.11830/ISSN.1000-5013.201703021

2016-04-26

蘭偉(1974-)，男，副教授，主要從事計算機應用、圖像處理的研究.E-mail:183862606@qq.com.

國家自然科學基金資助項目(61001032)； 重慶市科技成果轉化重點研究資助基金(2015-ZJ-006)

TP 391

A

1000-5013(2017)03-0402-06