基于工業(yè)機(jī)器人的圖像引導(dǎo)圓孔定位方法

馬超，曹國(guó)華，2，丁紅昌，2

(1.長(zhǎng)春理工大學(xué)機(jī)電工程學(xué)院，吉林長(zhǎng)春 130022；2.長(zhǎng)春理工大學(xué)重慶研究院，重慶 401135)

0 前言

近年來(lái)，隨著工業(yè)自動(dòng)化程度的不斷加深，通過(guò)工業(yè)機(jī)器人進(jìn)行自動(dòng)化裝配已經(jīng)逐漸代替人工裝配。而軸孔裝配在自動(dòng)化裝配中占有主要的地位，由于軸孔裝配要求的精度較高，所以對(duì)待裝配工件上的圓孔參數(shù)測(cè)量與定位在軸孔裝配中是尤為重要的一步。

相比于傳統(tǒng)的檢測(cè)方法，基于視覺(jué)的孔測(cè)量與定位方法具有操作靈活、低成本、無(wú)需接觸工件、不損傷工件等優(yōu)點(diǎn)。LYU等[1]將一維單應(yīng)性應(yīng)用于圓姿態(tài)測(cè)量，該方法可以將線性求解結(jié)果優(yōu)化，但此方法對(duì)噪聲的魯棒性不佳，所以不能將此方法應(yīng)用于實(shí)際復(fù)雜的工作場(chǎng)景中。LI等[2]通過(guò)單目視覺(jué)測(cè)量系統(tǒng)測(cè)量孔位姿，但是單目視覺(jué)測(cè)量系統(tǒng)對(duì)于深度的測(cè)量穩(wěn)定性與精度均不是很理想。李振[3]利用雙目立體視覺(jué)、三維重建等方法對(duì)孔位姿進(jìn)行測(cè)量，但是在橢圓檢測(cè)時(shí)若獲得的圓孔輪廓為不完整輪廓，該算法就會(huì)失效。WU等[4]針對(duì)金屬零件弱紋理的特點(diǎn)，采用了錐退化的方法來(lái)測(cè)量圓形工件位姿，最后實(shí)現(xiàn)六自由度機(jī)器人對(duì)工件實(shí)施抓取，但是應(yīng)用該方法若光照與圖像分辨率選擇不當(dāng)，則會(huì)導(dǎo)致橢圓擬合時(shí)產(chǎn)生一定的誤差，并且無(wú)法將其應(yīng)用到高精度的軸孔裝配上。LIU等[5]針對(duì)三維柔性視覺(jué)檢測(cè)系統(tǒng)，提出了一種基于結(jié)構(gòu)光視覺(jué)傳感器的兩步空間圓定位方法，但該方法僅獲得圓的中心位置，無(wú)法確定方向。XIA 等[6]提取孔邊緣并利用其邊緣點(diǎn)對(duì)圓孔進(jìn)行三維重建，得到圓孔位姿。LIN等[7]提出一種基于視覺(jué)的位姿估計(jì)方法定位工業(yè)機(jī)器人工作空間中軸孔。JIANG 等[8]采用雙目立體視覺(jué)對(duì)空間孔三維重建，實(shí)現(xiàn)機(jī)器人軸孔裝配自動(dòng)化。KORTA等[9]使用OpenCV庫(kù)搭建了工業(yè)機(jī)器人的電路裝配視覺(jué)系統(tǒng)。綜上所述，基于立體視覺(jué)的孔位姿與法向檢測(cè)雖然取得了一定的成就，但是針對(duì)金屬弱紋理工件匹配點(diǎn)稀疏的情況與在邊緣殘缺情況下檢測(cè)橢圓時(shí)算法的魯棒性仍然有待提升。

本文作者將以弱紋理的金屬孔板工件為研究對(duì)象，基于工業(yè)六軸機(jī)器人，針對(duì)上述問(wèn)題，提出一種在立體視覺(jué)極線約束下的圖像引導(dǎo)孔位姿與法向的檢測(cè)方法。首先對(duì)兩幅圖像進(jìn)行橢圓輪廓檢測(cè)，然后利用極線約束找到兩幅圖像中對(duì)應(yīng)的輪廓匹配點(diǎn)，得到視差關(guān)系，最后進(jìn)行三維重建。

1 檢測(cè)系統(tǒng)原理與方法

此檢測(cè)系統(tǒng)在采集完圖像后，首先通過(guò)雙目標(biāo)定得到的相機(jī)參數(shù)對(duì)雙目圖像進(jìn)行立體校正，然后通過(guò)文中所提出的基于弧段的橢圓檢測(cè)算法提取圓孔邊緣輪廓，接著通過(guò)SURF+RANSAC的算法對(duì)雙目圖像粗匹配，得到雙目圖像的基礎(chǔ)矩陣，進(jìn)一步通過(guò)極線約束的精立體匹配獲得精準(zhǔn)的視差信息，最后根據(jù)雙目三角幾何原理，進(jìn)行三維重建，計(jì)算得到孔工件位姿。具體檢測(cè)流程如圖1所示。

圖1 圓孔位姿檢測(cè)工作流程

1.1 標(biāo)定與校正

由于相機(jī)在成像過(guò)程中，會(huì)出現(xiàn)相機(jī)光軸不在圖像的中心和相機(jī)在X、Y方向的縮小系數(shù)無(wú)法保持一致的問(wèn)題，故需對(duì)相機(jī)進(jìn)行標(biāo)定，得到相機(jī)的內(nèi)參數(shù)與畸變系數(shù)來(lái)對(duì)圖像校正。另一方面，文中是通過(guò)平行移動(dòng)機(jī)械臂帶著單目工業(yè)相機(jī)獲取雙目圖像，由于機(jī)械臂重復(fù)定位精度有限，所以需要對(duì)雙目圖像進(jìn)行立體標(biāo)定，得到外參數(shù)來(lái)得到精確的極線距離，并且還可以用得到的外參對(duì)雙目圖像進(jìn)行立體校正，使得雙目圖像的對(duì)應(yīng)點(diǎn)在同一水平線上，即2個(gè)像平面完全對(duì)準(zhǔn)，以保證后續(xù)處理圖像得到的視差信息更加準(zhǔn)確。

1.2 基于弧段的孔輪廓圖像提取

因?yàn)閳D像在穩(wěn)定光照環(huán)境下采集，所以在提取圖像邊緣輪廓前僅需要采用高斯濾波對(duì)圖像中的高斯噪聲進(jìn)行濾除即可。之后，利用由Qtsu改進(jìn)的自適應(yīng)閾值Canny算子獲取圖像中的邊緣點(diǎn)。并且，在邊緣檢測(cè)過(guò)程中可以得到邊緣點(diǎn)水平方向梯度值Gx與垂直方向的梯度值Gy，邊緣點(diǎn)的坐標(biāo)(x，y)。將所有邊緣點(diǎn)都定義為Pi=(xi，yi，θi)，i=1，2，…，n。并且將邊緣點(diǎn)按照式(1)進(jìn)行分類，同時(shí)剔除Gx=0或Gy=0的邊緣點(diǎn)。

(1)

然后通過(guò)搜索在邊緣點(diǎn)Pi的八鄰域中是否存在與其同類別的邊緣點(diǎn)Pi+1，直到出現(xiàn)不同類別的邊緣點(diǎn)或者邊緣點(diǎn)鄰域內(nèi)不存在其他邊緣點(diǎn)時(shí)結(jié)束搜索，形成弧段ζ并對(duì)弧段進(jìn)行去偽。弧段提取流程如圖2所示。

圖2 弧段提取流程Fig.2 Arc segment extraction process

其中圖2中的弧段α去偽方法為：通過(guò)計(jì)算弧段上邊緣點(diǎn)的弓弦比σ，若弧段α上存在弓弦比σ大于設(shè)定閾值T的邊緣點(diǎn)時(shí)，保留該弧段，否則當(dāng)作偽弧段剔除。圖3所示為弧段α上邊緣點(diǎn)的弓弦比示意。

圖3 弧α弓弦比示意Fig.3 Arc α schematic of bowstring ratio

若弧段α上存在一邊緣點(diǎn)為Pi(x0,y0)，弧段兩端點(diǎn)為L(zhǎng)(x1,y1)、R(x2,y2)，則邊緣點(diǎn)Pi處的弓弦比σ可由式(2)計(jì)算得出。通過(guò)理論分析與實(shí)驗(yàn)檢測(cè)，文中設(shè)定弓弦比閾值為0.125。

(2)

(3)

在得到Ⅰ、Ⅱ、Ⅲ、Ⅳ 4種類別的弧段后，通過(guò)式(4)可得到橢圓輪廓的弧段三元組。

(4)

其中：ζa、ζb、ζc表示3條不同的弧段；Ⅰ、Ⅱ、Ⅲ、Ⅳ為弧段分類中的4種類別。橢圓平行弦中線定理：橢圓平行弦的中點(diǎn)共線，且該線經(jīng)過(guò)橢圓中心。如圖4所示：在2條弧段上做2組平行弦，將2組平行弦中點(diǎn)連接成2條直線，2條直線相交點(diǎn)即為橢圓中心。通過(guò)理論分析與實(shí)驗(yàn)測(cè)試，設(shè)定2條弧段之間的平行弦數(shù)量閾值應(yīng)不少于16。

圖4 平行弦定理求橢圓中心示意

通過(guò)上述過(guò)程已經(jīng)得到橢圓的中心坐標(biāo)(Ox，Oy)，還剩下橢圓長(zhǎng)軸a、短軸b、傾斜角θ3個(gè)參數(shù)。因?yàn)闄E圓中心在長(zhǎng)軸所在的直線上，設(shè)長(zhǎng)軸的斜率為ka，根據(jù)式(5)便可以得出其直線方程：

kaX-Y+(Oy-kaOx)=0

(5)

若在弧段上存在點(diǎn)P(x0，y0)，則點(diǎn)P到長(zhǎng)軸所在直線的距離d可由式(6)計(jì)算得出：

(6)

根據(jù)橢圓相關(guān)幾何知識(shí)可知，橢圓的長(zhǎng)軸將會(huì)平分與其垂直的弦。通過(guò)式(6)可以得到弦兩端點(diǎn)到長(zhǎng)軸的距離，以此判斷該弦是否被長(zhǎng)軸平分。若存在多條這樣的弦，則該假設(shè)的長(zhǎng)軸斜率正確，否則需換一個(gè)新的斜率重復(fù)上述過(guò)程。

在確定長(zhǎng)軸的斜率后，也就確定了橢圓的傾斜角θ，并且還可以通過(guò)kakb=-1計(jì)算得出短軸b的斜率kb。

在得知上述參數(shù)后，在長(zhǎng)軸上以橢圓中心點(diǎn)為分界線，在中心點(diǎn)兩側(cè)選取焦點(diǎn)F1、F2。再任取弧段上的一點(diǎn)M，則根據(jù)式(7)即可得到半長(zhǎng)軸α與半短軸β的長(zhǎng)度：

(7)

式中：c為橢圓的焦距。

1.3 基于極線約束的孔輪廓點(diǎn)匹配

由于銀白色金屬工件存在弱紋理甚至無(wú)紋理的情況，這就導(dǎo)致了若使用傳統(tǒng)的SURF與RANSAC等算法進(jìn)行立體匹配時(shí)，會(huì)出現(xiàn)匹配點(diǎn)稀疏、缺失重要特征點(diǎn)視差信息等問(wèn)題。為了解決這種現(xiàn)象，文中將采用基于極線約束的立體匹配方法來(lái)解決以上述問(wèn)題?；跇O線約束的立體匹配示意如圖5所示。

圖5 基于極線約束的立體匹配示意

如圖5所示，點(diǎn)a為空間中的某一點(diǎn)，點(diǎn)Ol與點(diǎn)Or分別是左右圖像的投影中心，二者之間的連線被稱為基線，平面aOlOr為極平面。點(diǎn)el與點(diǎn)er分別被稱為左極點(diǎn)與右極點(diǎn)，點(diǎn)al與點(diǎn)ar分別是空間點(diǎn)在左右投影平面上的投影點(diǎn)，而左投影點(diǎn)al與左極點(diǎn)el的連線叫做左極線，右投影點(diǎn)ar與右極點(diǎn)er的連線叫做右極線?；跇O線約束立體匹配，就是將左右兩幅圖像上的投影點(diǎn)與極線的關(guān)系一一對(duì)應(yīng)，將匹配點(diǎn)的匹配維度從二維平面搜索轉(zhuǎn)化為一維極線搜索上。這樣不僅能很好地克服弱紋理工件的匹配精度問(wèn)題，還可以大幅提升匹配速度。

在進(jìn)行基于極線約束的立體精匹配前，還需要求解出雙目圖像的基本矩陣。雖然通過(guò)SURF+RANSAC算法得到的雙目圖像匹配點(diǎn)比較稀疏，但是卻可以通過(guò)這些匹配點(diǎn)得到較為準(zhǔn)確的基本矩陣。然后再結(jié)合第1.2節(jié)中提取到的圓孔邊緣輪廓點(diǎn)的坐標(biāo)信息，通過(guò)極線約束求得兩幅圖像中的同名點(diǎn)坐標(biāo)。方法如下：

若已知左圖像上的一點(diǎn)D1，則D1對(duì)應(yīng)的右圖像上的極線L2可由式(8)來(lái)表示：

L2=F·D1

(8)

同理，若已知右圖像上一點(diǎn)E1，則E1在左圖像中對(duì)應(yīng)的極線L1可由式(9)表示：

L1=FT·E1

(9)

同時(shí)還可以得到左右圖像上任意對(duì)應(yīng)匹配點(diǎn)之間的轉(zhuǎn)換關(guān)系如式(10)所示：

(10)

其中每一條極線Li都是由(a,b,c)3個(gè)參數(shù)描述的，極線可以表示成式(11)的形式：

ax+by+c=0

(11)

根據(jù)左圖像中的一點(diǎn)P1求解出右圖像中對(duì)應(yīng)的極線后，由于點(diǎn)P1與在右圖像中的同名點(diǎn)P2的縱坐標(biāo)是相同的，所以只需要通過(guò)式(9)即可得到同名點(diǎn)P2的橫坐標(biāo)。

綜上所述，在得到左圖像或右圖像的橢圓輪廓上任意一點(diǎn)時(shí)，都可以通過(guò)上述的方法求得在對(duì)應(yīng)圖像上的精確匹配點(diǎn)，獲得精準(zhǔn)的視差信息。

1.4 孔輪廓三維重建與位姿計(jì)算

在得到精準(zhǔn)的視差信息后，便可以運(yùn)用雙目視覺(jué)模型中的三角幾何關(guān)系進(jìn)行三維重建。平行雙目視覺(jué)模型如圖6所示。

圖6 平行雙目視覺(jué)模型Fig.6 Parallel binocular vision model

在圖6中點(diǎn)P(xc，yc，zc)為一三維空間點(diǎn)。左右兩幅圖像分別為機(jī)械手臂帶著單目手眼相機(jī)經(jīng)過(guò)水平移動(dòng)獲取，(xleft,yleft)與(xright,yright)為空間點(diǎn)P在左右圖像上的投影坐標(biāo)，yleft=yright=y，f為焦距,相機(jī)主點(diǎn)的像素坐標(biāo)為(x0，y0)，B為基線長(zhǎng)度，視差為：Ddisparity=xleft-xright。根據(jù)式(12)可計(jì)算出空間點(diǎn)P在相機(jī)坐標(biāo)系下的三維坐標(biāo)為

(12)

如圖7所示，在得到橢圓邊緣上若干邊緣點(diǎn)三維坐標(biāo)后，設(shè)3個(gè)邊緣點(diǎn)三維坐標(biāo)為A(x0,y0,z0)、B(x1,y1,z1)、C(x2,y2,z2)。則向量AB=(x1-x0,y1-y0,z1-z0)=(x3,y3,z3)，向量AC=(x2-x0,y2-y0,z2-z0)=(x4,y4,z4)?？梢杂?jì)算得出圓孔所在平面的法向量為：AB×AC=(y3z4-y4z3)i-(x3z4-x4z3)j+(x3y4-x4y3)k，而圓孔的軸線向量為：n=[(y3z4-y4z3),-(x3z4-x4z3),(x3y4-x4y3)]。

圖7 計(jì)算孔端面法線示意Fig.7 Schematic of calculating the normal of hole end face

求得圓孔軸線后便可計(jì)算得出圓孔位姿，計(jì)算過(guò)程如下式：

(13)

其中：α、β、γ分別是圓孔軸線向量與世界坐標(biāo)系xW、yW、zW的夾角。i=(1,0,0)、j=(0,1,0)、k=(0,0,1)分別為空間各坐標(biāo)軸的單位向量。

2 實(shí)驗(yàn)與分析

為了驗(yàn)證文中所提出的基于工業(yè)機(jī)器人的圖像引導(dǎo)圓孔定位檢測(cè)方法的有效性與高精度。文中將搭建單目立體視覺(jué)系統(tǒng)，并對(duì)平面直孔工件進(jìn)行檢測(cè)驗(yàn)證。系統(tǒng)硬件包括：(1)AUBO-I5六軸機(jī)器人，最大工作半徑為886.5 mm，定位精度可達(dá)到0.02 mm。(2)大恒MER-502-79U3M工業(yè)相機(jī)，分辨率為2 448像素×2 048像素，幀率為79幀/s。(3)相機(jī)鏡頭為50 mm定焦鏡頭。其中手眼相機(jī)的安裝方式為眼在手上。系統(tǒng)軟件程序平臺(tái)為Visual Studio 2017 C++與MATLAB2018a，其中在MATLAB上將實(shí)現(xiàn)雙目標(biāo)定、圖像立體校正等前期工作。而文中所提出的主要算法將由OpenCV在Visual Studio 2017上實(shí)現(xiàn)。系統(tǒng)構(gòu)成如圖8所示。

圖8 系統(tǒng)構(gòu)成Fig.8 System configuration

2.1 孔輪廓檢測(cè)提取實(shí)驗(yàn)

為了驗(yàn)證文中提出的基于弧段的橢圓檢測(cè)算法在實(shí)際工作場(chǎng)景中應(yīng)用的性能與準(zhǔn)確性，文中將對(duì)所要檢測(cè)的孔板工件進(jìn)行實(shí)驗(yàn)。為了清晰地展示提取孔輪廓的過(guò)程與效果，圖9只展示孔板工件其中一個(gè)孔。圖9(b)為經(jīng)過(guò)Canny算子進(jìn)行邊緣提取后的輪廓弧段圖像，其中包含了大量的短弧、直弧等偽弧。通過(guò)篩選候選弧段，得到了圖9(c)，但是仍含有偽弧。圖9(d)為通過(guò)弓弦比的方法去偽后的輪廓弧段，圖9(e)為傳統(tǒng)的霍夫變換得到的橢圓擬合效果，圖9(f)為運(yùn)用橢圓平行弦中線定理進(jìn)行橢圓擬合的效果?？梢钥闯觯河捎跈E圓輪廓的殘缺，傳統(tǒng)的霍夫變換算法擬合的橢圓遠(yuǎn)離了真實(shí)的橢圓邊緣；而文中算法有效克服了由于邊緣殘缺而導(dǎo)致橢圓檢測(cè)算法失效的問(wèn)題。并且還可以看到運(yùn)用文中所提出的橢圓檢測(cè)算法得到的橢圓曲線十分接近圓孔的輪廓，可見(jiàn)文中算法行之有效。

2.2 極線約束立體匹配實(shí)驗(yàn)

圖10所示為AUBO-I5六軸機(jī)器人帶著手眼相機(jī)在2個(gè)水平位置采集的圖像，經(jīng)過(guò)SURF特征點(diǎn)檢測(cè)，再經(jīng)過(guò)RANSAC算法提純的效果圖。

圖10 立體匹配效果Fig.10 Stereo matching effect

經(jīng)過(guò)SURF特征點(diǎn)檢測(cè)與RANSAC算法誤配點(diǎn)提純后得到212對(duì)精確匹配點(diǎn)，但是大多數(shù)匹配點(diǎn)都分布在工件邊緣，而位于孔輪廓上的匹配點(diǎn)則寥寥無(wú)幾，匹配點(diǎn)示意如圖11所示。這將會(huì)導(dǎo)致關(guān)鍵視差信息缺失，影響后續(xù)三維重建工作。但是卻可以通過(guò)這些匹配點(diǎn)計(jì)算出兩幅圖像的基本矩陣，用于下面的基于極線約束的立體匹配。

圖11 SURF+RANSAC特征點(diǎn)檢測(cè)效果

通過(guò)計(jì)算基本矩陣與兩幅圖像中像素點(diǎn)的關(guān)系可以得到基本矩陣F為

通過(guò)上述獲得的圓孔輪廓邊緣點(diǎn)信息與雙目圖像的基本矩陣，進(jìn)行基于極線約束的立體匹配。文中將在孔板工件中選取一排3個(gè)孔輪廓進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)效果如圖12所示。

圖12 基于極線約束的立體匹配效果

從圖12中可以看出：相比于傳統(tǒng)的SURF+RANSAC特征點(diǎn)檢測(cè)，對(duì)于金屬弱紋理孔工件，采用文中算法可以精確地得到孔輪廓上的若干匹配點(diǎn)，解決了由于弱紋理導(dǎo)致的匹配點(diǎn)稀疏、關(guān)鍵視差信息丟失的問(wèn)題。

2.3 孔位姿計(jì)算

通過(guò)第2.2節(jié)中實(shí)驗(yàn)得到的兩幅圖中對(duì)應(yīng)的孔輪廓點(diǎn)對(duì)，根據(jù)第1.4節(jié)中相關(guān)原理以及孔軸線的求解方法，文中對(duì)孔心間距30 mm且水平放置的孔板工件進(jìn)行實(shí)驗(yàn)，并對(duì)其中的以極線約束立體匹配后的3個(gè)孔輪廓進(jìn)行三維重建，實(shí)驗(yàn)效果如圖13所示。

圖13 圓孔輪廓三維重建效果

從表1—表2中可以看出：通過(guò)文中方法檢測(cè)得到圓孔工件參數(shù)，誤差在1 mm以內(nèi)；工件位姿參數(shù)誤差在0.3°以內(nèi)。

表1 重建孔位姿參數(shù)Tab.1 Reconstructed hole position parameters

表2 孔軸線向量與世界坐標(biāo)系的夾角

為了驗(yàn)證文中方法的可靠性，對(duì)多組不同位姿的工件進(jìn)行檢測(cè)。通過(guò)機(jī)器人末端執(zhí)行器得到的理論位姿與文中方法比較得出誤差曲線如圖14所示。

由圖14可知：x、y、z坐標(biāo)與孔心距的平均誤差分別為0.67、0.65、0.68、0.6 mm，最大誤差為1 mm；與世界坐標(biāo)系x、y、z夾角的平均誤差為0.22°、0.2°、0.21°，最大誤差為0.3°。綜上所述，文中所用的位姿檢測(cè)方法具有較高的精確度與可信度，實(shí)現(xiàn)了對(duì)圓孔的高精度定位。

圖14 位姿參數(shù)誤差

3 結(jié)論

文中研究了一種基于工業(yè)機(jī)器人的圖像引導(dǎo)圓孔定位方法，實(shí)現(xiàn)了對(duì)圓孔工件參數(shù)與圓孔工件位姿的高精度檢測(cè)。提出一種基于弧段的橢圓檢測(cè)算法，之后通過(guò)基于極線約束的特征點(diǎn)匹配得到了準(zhǔn)確的雙目圖像匹配點(diǎn)，進(jìn)而通過(guò)雙目平行立體模型進(jìn)行三維點(diǎn)計(jì)算與三維重建。實(shí)驗(yàn)分別驗(yàn)證了孔輪廓提取的魯棒性，孔位參數(shù)與孔位姿檢測(cè)的精度，并利用孔心距、與世界坐標(biāo)系各軸夾角等參數(shù)進(jìn)行精度評(píng)價(jià)。文中方法提升了對(duì)孔輪廓提取的魯棒性，提升了通過(guò)圖像引導(dǎo)進(jìn)行參數(shù)與位姿檢測(cè)的精度。通過(guò)實(shí)驗(yàn)表明，圓孔工件參數(shù)誤差可達(dá)到1 mm以內(nèi)，位姿誤差可達(dá)到0.3°以內(nèi)。滿足目前工業(yè)領(lǐng)域?qū)o(wú)損檢測(cè)所需求的高效率、高精度等要求。