基于Halcon的鋼尺端邊測量系統(tǒng)設(shè)計(jì)

肖金輝，項(xiàng)新建

(浙江科技學(xué)院 自動(dòng)化與電氣工程學(xué)院，杭州 310023)

鋼尺在現(xiàn)代生產(chǎn)、生活、學(xué)習(xí)中作為一種測量標(biāo)準(zhǔn)而廣泛使用，因此對(duì)鋼尺自身精度的要求就十分嚴(yán)格。根據(jù)國家計(jì)量標(biāo)準(zhǔn)JJG 1-1999《鋼直尺檢定規(guī)程》，長度小于或等于300 mm的鋼尺，端邊直線度公差要求在0.04 mm之內(nèi)，兩端邊的平行度公差要求在0.25 mm之內(nèi)，端邊相對(duì)于側(cè)邊的垂直度公差在0.06 mm。企業(yè)根據(jù)生產(chǎn)經(jīng)驗(yàn)，在實(shí)際檢測鋼尺質(zhì)量的過程中，很多情況下是通過檢測兩端邊的長度以及兩端長度的差值來衡量鋼尺是否合格。傳統(tǒng)工業(yè)生產(chǎn)中，針對(duì)鋼尺端邊尺寸檢測主要以人工檢測為主，這種檢測方式雖然能夠達(dá)到檢測目的，但效率低、速度慢，耗費(fèi)大量的人力物力，并且當(dāng)工人長時(shí)間做檢測的工作后，會(huì)出現(xiàn)不同程度的視疲勞，導(dǎo)致測量誤差增大，不能保證準(zhǔn)確性[1-3]，因此急需一種新檢測方式來改變存在的問題。近年來隨著機(jī)器視覺的快速發(fā)展，視覺檢測技術(shù)引入工業(yè)實(shí)際生產(chǎn)檢測中[4-6]可以實(shí)現(xiàn)對(duì)工件尺寸的高精度、非接觸實(shí)時(shí)在線檢測，這種非接觸式測量法滿足流水線生產(chǎn)過程中檢測的節(jié)拍[7]。因此，筆者利用機(jī)器視覺技術(shù)，通過調(diào)用機(jī)器視覺軟件Halcon中的算法包對(duì)鋼尺圖像進(jìn)行一維測量，最終快速實(shí)現(xiàn)鋼尺端邊檢測和分類。

1 圖像采集

圖1 鋼尺端邊測量系統(tǒng)示意Fig.1 Schematic diagram of measurement system

機(jī)器視覺系統(tǒng)的基本流程為圖像采集、圖像識(shí)別、分類處理。本文以Halcon軟件為開發(fā)平臺(tái)，首先對(duì)攝像機(jī)進(jìn)行標(biāo)定，設(shè)置相機(jī)為外部觸發(fā)[8-9]，在傳送帶上采集鋼尺的圖像，然后通過blob分析定位出感興趣區(qū)域(region of interest，ROI)，再調(diào)用Halcon中相關(guān)的一維測量算子測量出鋼尺端邊的尺寸，最后通過C#和Halcon混合編程完成自動(dòng)控制下位機(jī)對(duì)鋼尺的分撿工作。鋼尺端邊測量系統(tǒng)如圖1所示。

1.1 相機(jī)的標(biāo)定

相機(jī)的標(biāo)定是整個(gè)測量系統(tǒng)的基石，保證測量的精度。相機(jī)的標(biāo)定是為了求得像素坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換關(guān)系，從而將攝像機(jī)成像平面上的像點(diǎn)和現(xiàn)實(shí)世界中的實(shí)際點(diǎn)形成對(duì)應(yīng)。其中像素坐標(biāo)系(u，v)與世界坐標(biāo)系(XW,XW,ZW)的轉(zhuǎn)換公式為：

(1)

由式(1)可知，相機(jī)標(biāo)定實(shí)際是為了確定相機(jī)的內(nèi)外參數(shù)，從而得到像素坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換關(guān)系。Halcon為相機(jī)的標(biāo)定提供了比較直觀的能通過界面操作的標(biāo)定助手，在進(jìn)行相機(jī)標(biāo)定之前要做以下準(zhǔn)備：

1)選擇標(biāo)定板的材質(zhì)和合適的標(biāo)定板尺寸，標(biāo)定板的大小一般占相機(jī)視野的1/3左右[11]，本系統(tǒng)選用光源打光，選擇透光性較好的玻璃材質(zhì)標(biāo)定板，60 mm×60 mm。

2)通過算子gen_caltab獲得生成標(biāo)定板的描述文件，描述文件要與標(biāo)定板的大小尺寸對(duì)應(yīng)。

本系統(tǒng)選擇某公司提供的面陣CCD相機(jī)，選擇固定焦距鏡頭，標(biāo)定完成如圖2所示。

圖2 標(biāo)定完成Fig.2 Calibration completion

標(biāo)定系數(shù)如下：

CameraParameters：=[0.015 304 9，0.318 736，8.199 89e-006，8.3e-006，-178.172，-545.22，2 456，2 058]

CameraPose：=[0.151 239，0.138 71，0.185 711，359.488，0.092 882，229.698，0]

圖3 鋼尺打光Fig.3 Lighting diagram

標(biāo)定系數(shù)中含有相機(jī)的內(nèi)外參數(shù)，在Halcon中通過調(diào)用該系數(shù)可完成像素尺寸到實(shí)際物理尺寸的轉(zhuǎn)換，需注意的是相機(jī)完成標(biāo)定之后，相機(jī)和鏡頭的位置都不能發(fā)生改變，一旦位置發(fā)生改變必須進(jìn)行重新標(biāo)定，標(biāo)定成功后才能對(duì)鋼尺進(jìn)行圖像采集。

1.2 圖像的采集相關(guān)設(shè)計(jì)

1.2.1 光源的選型

本研究測量的鋼尺長度為20 cm，寬度為24～26 mm，由于鋼尺表面反光較大，故采用2個(gè)條形光源對(duì)鋼尺進(jìn)行打光，如圖3所示。

1.2.2 相機(jī)的外部觸發(fā)

相機(jī)的觸發(fā)方式有軟件觸發(fā)和外部硬件觸發(fā)，因?yàn)槭窃趥魉蛶喜杉瘓D像，所以本研究選擇設(shè)置為上跳變外部硬件觸發(fā)，硬件觸發(fā)器是光電開關(guān)。

2 圖像處理

整個(gè)圖像處理分3步：1)通過圖像分割選出鋼尺的ROI區(qū)域。2)在原圖中扣除鋼尺區(qū)域，為使每次的測量結(jié)果誤差小，通過仿射變換把鋼尺圖像轉(zhuǎn)換到水平位置。3)進(jìn)行一維測量，分別測出兩條邊的長度。

2.1 圖像分割

圖像分割的目的是從圖像中把目標(biāo)區(qū)域和背景區(qū)域分開。本研究選用的全局閾值分割法在閾值分割之前首先進(jìn)行圖像灰度化處理；Halcon中全局閾分割值法的算子為threshold，閾值分割之后得到的是區(qū)域圖像，然后調(diào)用connection算子斷開連通域?qū)D像分成不同的區(qū)域塊，再調(diào)用select_shapes算子進(jìn)行區(qū)域特征選擇；最后找到鋼尺感興趣區(qū)域(ROI)，為了使鋼尺的邊緣都包括在ROI內(nèi)部，對(duì)ROI進(jìn)行dilation_rectangle1矩形膨脹運(yùn)算，ROI定位如圖4所示。

圖4 ROI定位Fig.4 ROI positioning

腐蝕和膨脹是2個(gè)最基本的也是最重要的形態(tài)學(xué)運(yùn)算，矩形膨脹算法是由膨脹算法演變而來，膨脹算法的數(shù)學(xué)形式為：

A⊕B={x|B(x)∩A≠?}。

(2)

式(2)中：B為結(jié)構(gòu)元素；A為輸入圖像。用結(jié)構(gòu)元素B掃過整幅輸入圖像A，一旦結(jié)構(gòu)元素的原點(diǎn)遇到二值圖像中值為1的像素，則將輸入圖像上與結(jié)構(gòu)元素對(duì)應(yīng)的像素置為1并輸出，矩形膨脹運(yùn)算的結(jié)構(gòu)元素是一個(gè)矩形。

2.2 仿射變換

在一維測量之前，為了使每次都能快速、高精度地測量鋼尺的兩端，測量之前將鋼尺圖像仿射變換到水平位置。Halcon中有很多仿射變換相關(guān)的算子，本研究中首先用vector_angle_to_rigid算子得到圖像變換到水平方向的二維矩陣，然后通過affine_trans_image算子將二維矩陣作用到圖像上實(shí)現(xiàn)鋼尺圖像的轉(zhuǎn)正，最后通過區(qū)域?qū)υ瓐D像進(jìn)行摳圖，區(qū)域轉(zhuǎn)正和圖像分割如圖5所示。

圖5 區(qū)域轉(zhuǎn)正和圖像分割Fig.5 Regional correction and image segmentation

像素坐標(biāo)(u，v)仿射變換到(x，y)坐標(biāo)下的一般表達(dá)式為：

(3)

式(3)中：仿射變換矩陣為A。仿射變換主要包含平移變換、比例變換和旋轉(zhuǎn)變換。本研究中主要用到平移變換和旋轉(zhuǎn)變換。圖像的平移變換就是將圖像中的所有像素點(diǎn)按照要求進(jìn)行垂直、水平方向移動(dòng)。平移過程中只改變圖像的位置，內(nèi)容不會(huì)發(fā)生改變。表達(dá)式為：

(4)

式(4)中：x0和y0分別為x和y的坐標(biāo)平移量。

圖像的旋轉(zhuǎn)是指圖像按照某點(diǎn)為原點(diǎn)旋轉(zhuǎn)某個(gè)角度，圖像旋轉(zhuǎn)后只是發(fā)生位置變化。表達(dá)式為：

(5)

式(5)中：θ為旋轉(zhuǎn)角度。

2.3 一維測量

圖6 感興趣區(qū)域Fig.6 Region of interest

鋼尺的一維測量分2步：1)在已經(jīng)擺正的圖像上調(diào)用gen_measure_rectangle2算子形成一個(gè)矩形的測量對(duì)象(ROI)。2)調(diào)用measure_pairs算子，得到一維測量的結(jié)果。

由于本研究測量的是鋼尺的兩端，所以會(huì)調(diào)用2次gen_measure_rectangle2形成2個(gè)矩形的測量對(duì)象(ROI)。一維測量核心算子gen_measure_rectangle2。該算子前面7個(gè)參數(shù)是為了形成一個(gè)矩形，通過這個(gè)算子會(huì)產(chǎn)生一個(gè)矩形的測量對(duì)象，在矩形的測量對(duì)象內(nèi)每間隔一個(gè)像素建立一條投影的線段，線段的長度等于矩形的寬度，這些線段稱為等距線。在每條等距線上取線段中點(diǎn)并連接起來，形成帶有方向的線段，稱作剖面線(profile line)，線段的方向代表矩感興趣區(qū)域的方向[13]，如圖6所示。

通過計(jì)算每條等距線的平均灰度值，可以得出輪廓線的灰度直方圖。如果等距線不是垂直或水平的，那么等距線經(jīng)過的就不是一個(gè)完整的像素，需要進(jìn)行插值處理。參數(shù)Interpolation可以決定插值的方法，設(shè)置Interpolation=’nearest_neighbor’則取最近像素的灰度值，這種方法速度最快但精度低；設(shè)置Interpolation=’bilinear’采用雙線性插值法，這種方法精度最高但速度最慢。測量矩陣的各個(gè)屬性值通過MeasureHandle句柄調(diào)用。一維測量另外一個(gè)核心算子測量算子measure_pairs，測量算子通過調(diào)用MeasureHandle句柄，然后改變平滑系數(shù)Sigma的值，對(duì)輪廓線進(jìn)行高斯濾波，最后得到輪廓線的一階灰度差分直方圖。再回過來分析gen_measure_rectangle2中矩形的中心點(diǎn)坐標(biāo)如何確定，矩形中心點(diǎn)是要測量的鋼尺中心點(diǎn)，通過圖像分割之后得到鋼尺的區(qū)域，經(jīng)過擺正之后在該區(qū)域上調(diào)用一個(gè)外接矩形算子，可以得到鋼尺區(qū)域的具體坐標(biāo)，通過中心點(diǎn)平移得到鋼尺兩端的中心點(diǎn)坐標(biāo)，由此就可以完成對(duì)鋼尺兩端的一維測量。測量實(shí)現(xiàn)如圖7所示。

圖7 測量的實(shí)現(xiàn)Fig.7 Measurement implementation diagram

3 分撿工作

3.1 系統(tǒng)軟件設(shè)計(jì)

圖8 測量系統(tǒng)軟件界面Fig.8 Software interface of measurement system

本系統(tǒng)軟件設(shè)計(jì)包含圖像采集模塊、圖像識(shí)別模塊、數(shù)據(jù)顯示模塊、串口通信模塊。圖像采集模塊通過調(diào)用相機(jī)自帶的SDK，完成圖像的采集、觸發(fā)模式設(shè)置。圖像識(shí)別模塊圖像處理的算法部分是在Halcon中完成，將Halcon中的算法程序?qū)С鰹楹蠬DevelopEeport類的.cs格式文件，然后在C#窗體界面編程中創(chuàng)建HDevelopEeport類的實(shí)例，通過該實(shí)例調(diào)用HDevelopEeport類的圖像處理函數(shù)，完成本系統(tǒng)軟件對(duì)圖像識(shí)別模塊的編程。數(shù)據(jù)顯示模塊通過調(diào)用C#窗體界面中自帶Label，TextBook控件來顯示圖像識(shí)別和邏輯處理的結(jié)果。串口通信模塊通過調(diào)用C#窗體界面中自帶的SerialPort控件來完成與下位機(jī)的通信[14]。主界面如圖8所示。

3.2 分撿硬件設(shè)計(jì)

圖9 分撿系統(tǒng)流程Fig.9 Flow chart of bifurcation system

鋼尺端邊的圖像經(jīng)過上位機(jī)進(jìn)行圖像識(shí)別和處理之后，會(huì)把結(jié)果顯示到界面上，同時(shí)在軟件內(nèi)部會(huì)把測量的結(jié)果和錄入的標(biāo)準(zhǔn)進(jìn)行邏輯上的對(duì)比和運(yùn)算，然后把結(jié)果以指令的方式傳遞給下位機(jī)分撿系統(tǒng)，下位機(jī)根據(jù)不同的指令，對(duì)應(yīng)I/O口置0或置1使繼電器吸合來間接控制分撿電機(jī)工作[15]。本系統(tǒng)下位機(jī)分撿系統(tǒng)把80C51單片機(jī)作為主控芯片，分撿系統(tǒng)流程如圖9所示，下位機(jī)分撿原理如圖10所示。

圖10 下位機(jī)分撿原理Fig.10 Principle diagram of slave computer sorting

4 結(jié)果分析

為了驗(yàn)證本測量系統(tǒng)在實(shí)際生產(chǎn)檢測過程中的應(yīng)用效果，本研究采取2種方法對(duì)其進(jìn)行驗(yàn)證：少量重復(fù)測量鋼尺的端邊和大批量測量鋼尺端邊。重復(fù)測量是為了驗(yàn)證重復(fù)精度，重復(fù)精度從最大、最小誤差的絕對(duì)值進(jìn)行評(píng)價(jià)，大批量測量鋼尺端邊是為了驗(yàn)證檢測系統(tǒng)的檢測精度、誤檢率、漏檢率。

檢測精度：

(6)

誤檢率：

(7)

漏檢率：

(8)

式(6)～(8)中：TP為被正確檢測出合格品的數(shù)量；TN為被正確檢測出次品的數(shù)量；P為合格品；N為次品；FP為合格品被誤檢的數(shù)量；FN為次品沒有被檢測出來誤認(rèn)為合格品的數(shù)量。

驗(yàn)證設(shè)定的錄入標(biāo)準(zhǔn)為：1)鋼尺兩端的長度不超過25.00 mm；2)鋼尺兩端的長度不低于24.00 mm；3)鋼尺亮度的長度差值不超過0.20 mm。

4.1 重復(fù)精度驗(yàn)證

為了驗(yàn)證本系統(tǒng)的重復(fù)精度，對(duì)一個(gè)已知實(shí)際尺寸的鋼尺重復(fù)檢測10次，鋼尺長度為20 cm，由于鋼尺有兩端，故在測量的過程中對(duì)兩端進(jìn)行標(biāo)記，以保證測量的數(shù)據(jù)不混淆。表1為鋼尺兩端重復(fù)測量結(jié)果。

表1 鋼尺兩端重復(fù)測量結(jié)果Table 1 Repeated measurement results at both ends of steel ruler mm

4.2 大批量檢測精度驗(yàn)證

為了驗(yàn)證該系統(tǒng)在實(shí)際使用過程中的性能，鋼尺分3組，每組100只，長度為20 cm，端邊在24～26 mm，對(duì)其檢測，結(jié)果見表2。

表2 大批量檢測結(jié)果Table 2 Large batch test results

4.3 數(shù)據(jù)分析

對(duì)長度為20 cm，端邊長度在24～26 mm的鋼尺進(jìn)行重復(fù)精度驗(yàn)證和大批量檢測精度驗(yàn)證，結(jié)果顯示，對(duì)鋼尺端邊檢測的測量最大絕對(duì)值誤差在0.070 mm，總檢測精度為99.33%，完全滿足工業(yè)生產(chǎn)的檢測需求。

5 結(jié) 論

本文以Halcon軟件為平臺(tái)，針對(duì)鋼尺兩端的尺寸測量以及分類，進(jìn)行了完整的系統(tǒng)設(shè)計(jì)。這個(gè)系統(tǒng)中包括鋼尺在流水線上的圖像采集、圖像處理及測量，最后到分類。從實(shí)際測量的數(shù)據(jù)來看，其檢測結(jié)果值與標(biāo)準(zhǔn)值的偏差小于0.1 mm，分類結(jié)果滿足工業(yè)要求，從而在很大程度上解決了鋼尺檢測不準(zhǔn)確等問題，促進(jìn)了機(jī)器視覺技術(shù)在工業(yè)生產(chǎn)中的應(yīng)用。未來除了增加樣本的數(shù)量和更改測試的光線外，還打算提高檢測精度，同時(shí)利用機(jī)器視覺技術(shù)對(duì)鋼尺的缺陷進(jìn)行檢測。