雙目視覺(jué)引導(dǎo)機(jī)器人碼垛定位技術(shù)的研究

高茂源，王好臣，趙錦澤，于躍華，李家鵬

(山東理工大學(xué) 機(jī)械工程學(xué)院，山東 淄博 255000)

0 引言

隨著工業(yè)生產(chǎn)和運(yùn)輸領(lǐng)域自動(dòng)化程度的提高，工業(yè)機(jī)器人得到了廣泛應(yīng)用，替代了許多重復(fù)性，重體力的工作。工業(yè)機(jī)器人的應(yīng)用也有效的提高現(xiàn)代生產(chǎn)的效率。在生產(chǎn)和運(yùn)輸過(guò)程中一個(gè)最重要的流程就是碼垛，伴隨著工業(yè)自動(dòng)化技術(shù)的成熟，國(guó)內(nèi)外的機(jī)器人碼垛技術(shù)有了跨越式的發(fā)展[1]。但如今大多數(shù)機(jī)器人碼垛采用示教的方式，通過(guò)設(shè)置抓取點(diǎn)與放置點(diǎn)，然后對(duì)機(jī)器人程序進(jìn)行編程實(shí)現(xiàn)碼垛，但一旦改變物品的擺放位置，機(jī)器人將無(wú)法識(shí)別從而造成誤抓取，所以這種方式智能化程度低且適應(yīng)性差。機(jī)器視覺(jué)技術(shù)相當(dāng)于模擬人眼去識(shí)別與判斷，將機(jī)器視覺(jué)技術(shù)與機(jī)器人碼垛相結(jié)合可實(shí)現(xiàn)產(chǎn)品的快速定位，從而提高作業(yè)效率，保證其可靠性與穩(wěn)定性，實(shí)現(xiàn)碼垛智能化[2]。嚴(yán)亮等人提出一種結(jié)合SURF算法和RANSAC算法，通過(guò)仿射變換得到目標(biāo)關(guān)鍵點(diǎn)信息完成抓取的定位方法[3]。徐博凡等人提出一種視覺(jué)引導(dǎo)的FANUC機(jī)器人抓取系統(tǒng)[4]。

本研究提出一種雙目視覺(jué)引導(dǎo)機(jī)器人碼垛的定位方法，利用視覺(jué)處理軟件Halcon完成了攝像機(jī)的標(biāo)定，獲得相機(jī)內(nèi)外參數(shù)。通過(guò)極線(xiàn)校正獲得共面行對(duì)準(zhǔn)的兩幅圖像，提出一種手眼標(biāo)定方法。利用圖像濾波與灰度變換相融合的算法對(duì)圖像進(jìn)行預(yù)處理。將灰度級(jí)分布與立體匹配方法相結(jié)合得到效果更好的視差圖，對(duì)其進(jìn)行區(qū)域分割，篩選，形態(tài)學(xué)等操作獲得產(chǎn)品區(qū)域的中心點(diǎn)，通過(guò)計(jì)算后傳輸給機(jī)器人進(jìn)行定位、碼垛。

1 定位抓取系統(tǒng)

機(jī)器人碼垛定位系統(tǒng)主要由攝像機(jī)、視覺(jué)處理軟件、工控機(jī)以及碼垛機(jī)器人組成，即圖像獲取、圖像處理與執(zhí)行單元三部分。

在進(jìn)行碼垛產(chǎn)品定位之前需要對(duì)兩個(gè)攝像機(jī)進(jìn)行標(biāo)定，然后完成手眼標(biāo)定工作。工控機(jī)作為中央控制器控制機(jī)器人程序運(yùn)行，當(dāng)機(jī)器人收到開(kāi)始信號(hào)后移動(dòng)到拍照位置，由固定于機(jī)器人末端的兩個(gè)攝像機(jī)拍攝碼垛產(chǎn)品的圖像并通過(guò)以太網(wǎng)傳送至工控機(jī)[5]。由工控機(jī)的視覺(jué)處理軟件執(zhí)行圖像處理工作，得到產(chǎn)品的中心坐標(biāo)后轉(zhuǎn)換為機(jī)器人所執(zhí)行的位姿矩陣，將數(shù)據(jù)傳送給機(jī)器人，機(jī)器人控制末端夾具進(jìn)行定位、碼垛。定位抓取系統(tǒng)示意圖如圖1所示。

圖1 定位抓取系統(tǒng)示意圖

2 雙目標(biāo)定

為了準(zhǔn)確獲取碼垛產(chǎn)品的位置，需要對(duì)攝像機(jī)進(jìn)行標(biāo)定。通過(guò)建立攝像機(jī)模型獲得圖像像素坐標(biāo)與現(xiàn)實(shí)中物體空間坐標(biāo)之間的關(guān)系，以此來(lái)求解攝像機(jī)的內(nèi)外參數(shù)。由針孔成像模型可知世界坐標(biāo)系(XW,YW,ZW)與像素坐標(biāo)系(u,v)之間的轉(zhuǎn)換關(guān)系為：

(1)

其中:M1為攝像機(jī)內(nèi)部參數(shù)，包括焦距f，每個(gè)像元的高dx、寬dy，圖像中心點(diǎn)坐標(biāo)(u0,v0)；M2為攝像機(jī)外部參數(shù)，包括攝像機(jī)坐標(biāo)系轉(zhuǎn)換為世界坐標(biāo)系的平移向量T和旋轉(zhuǎn)矩陣R。

雙目標(biāo)定是為了確定兩個(gè)攝像機(jī)之間的結(jié)構(gòu)參數(shù)，即平移向量T1和旋轉(zhuǎn)矩陣R1，兩個(gè)參數(shù)可由攝像機(jī)的世界坐標(biāo)與圖像坐標(biāo)的轉(zhuǎn)換關(guān)系求得[6]。設(shè)三維空間中的一點(diǎn)P，在世界坐標(biāo)系下的坐標(biāo)點(diǎn)為PW，左右兩個(gè)攝像機(jī)坐標(biāo)系下的坐標(biāo)點(diǎn)分別為Pl,Pr，通過(guò)兩個(gè)攝像機(jī)的結(jié)構(gòu)參數(shù)將點(diǎn)Pl,Pr相聯(lián)系，如式(2)所示。

Pr=R1(Pl-T1)

(2)

通過(guò)對(duì)兩個(gè)攝像機(jī)進(jìn)行標(biāo)定已分別求出兩個(gè)攝像機(jī)的外部參數(shù)，設(shè)左攝像機(jī)的外參矩陣為Rl,Tl，右攝像機(jī)的外參矩陣為Rr,Tr，世界坐標(biāo)系下的坐標(biāo)點(diǎn)為PW，與左右兩個(gè)攝像機(jī)坐標(biāo)系下的坐標(biāo)點(diǎn)Pl,Pr建立聯(lián)系可得矩陣方程：

(3)

聯(lián)立式(4)～(5)可得：

(4)

通過(guò)與式(5)進(jìn)行比較可知兩個(gè)攝像機(jī)的結(jié)構(gòu)參數(shù)可由以下公式計(jì)算：

(5)

其中：變量Rl,Tl,Rr,Rl均為已知。

3 手眼標(biāo)定

手眼標(biāo)定的目的是建立機(jī)器人末端坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，從而推導(dǎo)出攝像機(jī)相對(duì)于機(jī)器人末端的相對(duì)位姿關(guān)系[7]。傳統(tǒng)的手眼標(biāo)定模型一般都是通過(guò)攝像機(jī)獲得標(biāo)定物在多個(gè)不同位置的外部參數(shù)，然后得到機(jī)器人末端在不同位置的姿態(tài)，將其與攝像機(jī)標(biāo)定所得的外部參數(shù)相結(jié)合，進(jìn)而求出攝像機(jī)與機(jī)器人末端工具的相對(duì)位姿[8]。此過(guò)程計(jì)算量大，轉(zhuǎn)換關(guān)系較多，而機(jī)器人末端工具進(jìn)行抓取操作是基于機(jī)器人基礎(chǔ)坐標(biāo)系進(jìn)行的，因此本研究將世界坐標(biāo)系建立在機(jī)器人基礎(chǔ)坐標(biāo)系上，這樣只要求出機(jī)器人基礎(chǔ)坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，機(jī)器人就可以控制機(jī)器人末端夾具實(shí)現(xiàn)碼垛作業(yè)。

假設(shè)空間中一點(diǎn)P在坐標(biāo)系O1-xyz和O2-uvw下的坐標(biāo)為(O1x,O1y,O1z)、(O1u,O1v,O1w)，則坐標(biāo)系O1-xyz到O2-uvw的變換矩陣可表示為：

(6)

其中:R表示兩個(gè)坐標(biāo)系之間的旋轉(zhuǎn)投影，T表示平移投影。

定義一個(gè)與標(biāo)定物相聯(lián)系的參考坐標(biāo)系，分別建立其攝像機(jī)坐標(biāo)系和機(jī)器人基礎(chǔ)坐標(biāo)系與參考坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，通過(guò)消除參考坐標(biāo)系，實(shí)現(xiàn)攝像機(jī)坐標(biāo)系到機(jī)器人基礎(chǔ)坐標(biāo)系的轉(zhuǎn)換。通過(guò)攝像機(jī)標(biāo)定可得攝像機(jī)與參考坐標(biāo)系之間的轉(zhuǎn)換關(guān)系為T(mén)cam-tran，然后控制機(jī)器人末端工具獲得參考坐標(biāo)系的x,y,z軸在機(jī)器人基礎(chǔ)坐標(biāo)系下的單位投影，驅(qū)動(dòng)機(jī)器人獲得x軸上一點(diǎn)、y軸上一點(diǎn)以及參考坐標(biāo)系原點(diǎn)在機(jī)器人基礎(chǔ)坐標(biāo)系下的坐標(biāo)，結(jié)合式(8)可以得到參考坐標(biāo)系與機(jī)器人坐標(biāo)系之間的轉(zhuǎn)換關(guān)系Trob-tran，綜上由坐標(biāo)系的轉(zhuǎn)換順序可得：

Trob-cam=Trob-tran·Ttran-cam

(7)

4 圖像預(yù)處理

在采集與傳輸圖像的過(guò)程中會(huì)受到噪聲的干擾，使圖像中的重要細(xì)節(jié)丟失，不利于圖像分析與識(shí)別[9]。為了消除圖像噪聲與增強(qiáng)對(duì)比度，需要對(duì)其進(jìn)行圖像去噪和灰度變換。針對(duì)圖像的中存在的多種噪聲，提出一種圖像平滑與圖像增強(qiáng)相融合的方法。設(shè)原始圖像像素灰度為N(u,v)，中值濾波后的圖像像素灰度為M(u,v)，高斯濾波后的圖像像素灰度為G(u,v)，處理后輸出的圖像像素灰度為T(mén)(u,v)，處理過(guò)程可表示為：

T(u,v)=N(u,v)+

[(2N(u,v)-M(u,v)-G(u,v))·s]

(8)

其中:s為動(dòng)態(tài)因子，通過(guò)取不同的值來(lái)改變中值濾波和高斯濾波后的圖像像素灰度值與原始圖像的像素灰度值的差值。此方法通過(guò)消除椒鹽噪聲與高斯噪聲之后對(duì)圖像進(jìn)行灰度變換，可以更好地平滑圖像，增加對(duì)比度。

5 視差圖與三維坐標(biāo)的提取

5.1 極線(xiàn)校正

為了減少圖像處理的搜索范圍，需要確保匹配點(diǎn)在極線(xiàn)上搜索，這樣就需要兩個(gè)攝像機(jī)的光軸平行且成像平面在一個(gè)水平面上，這樣在所拍攝的兩幅圖像中，尋找圖像點(diǎn)在另一成像平面中的匹配點(diǎn)，只要在等高像素行尋找即可[10]。但在實(shí)際使用中，由于安裝誤差等因素使得兩個(gè)相機(jī)的空間位置存在旋轉(zhuǎn)和平移，成像平面不共面且光軸不平行，因此為使其符合理想雙目立體視覺(jué)模型，需要對(duì)左右攝像機(jī)所拍攝的圖片進(jìn)行極線(xiàn)校正。本研究使用Bouguet算法[11]來(lái)進(jìn)行極線(xiàn)校正，該算法的原理是對(duì)左右攝像機(jī)所拍攝圖像進(jìn)行平行重投影，使兩幅圖像落到其像素行對(duì)準(zhǔn)的同一個(gè)前向平行平面上。

通過(guò)攝像機(jī)標(biāo)定所得數(shù)據(jù)，利用視覺(jué)處理軟件對(duì)攝像機(jī)拍攝的左右圖像進(jìn)行畸變消除和極線(xiàn)校正后可得左右攝像機(jī)的主點(diǎn)坐標(biāo)行坐標(biāo)相等，即外極線(xiàn)水平，兩個(gè)攝像機(jī)的相對(duì)位姿可由一個(gè)平移向量T=[10,0,0]來(lái)表示，這樣就確保了左右兩幅圖像成像平面共面且光軸平行。如圖2為攝像機(jī)拍攝初始的左右圖像。

圖2 初始圖像

如圖3所示為極線(xiàn)校正后的結(jié)果，通過(guò)極線(xiàn)校正后的兩個(gè)圖像的相對(duì)位置發(fā)生了變化，左右兩個(gè)圖像的對(duì)應(yīng)點(diǎn)可以在等高像素找到，但圖像邊緣不規(guī)則，可通過(guò)裁剪等后處理來(lái)提取有效的圖像部分。

圖3 極線(xiàn)校正后的圖像

5.2 視差圖的獲取

視差圖獲取的最重要的一步就是立體匹配?；谔卣鞯牧Ⅲw匹配算法是通過(guò)提取特征點(diǎn)獲得視差圖，但所提取的特征點(diǎn)稀疏，導(dǎo)致視差圖不連續(xù)，不利于后續(xù)處理。而基于區(qū)域的SAD與SSD算法受光照影響很大，所獲得的視差圖效果不佳。為了獲得密集且效果好的視差圖，將兩幅圖像的灰度級(jí)分布與NCC立體匹配算法相結(jié)合[12]?；叶戎狈綀D是關(guān)于灰度級(jí)分布的函數(shù)，首先得到兩幅圖像原始的灰度直方圖，使其中一幅圖像的灰度直方圖與另一圖像的近似，這樣就達(dá)到兩幅圖像的灰度級(jí)分布相同的目的。如圖4為左圖圖像的灰度直方圖，圖5為右圖圖像的灰度直方圖，通過(guò)比較可以看出，兩幅圖像的灰度級(jí)分布大致相同。

圖4 左圖圖像的灰度直方圖

圖5 右圖圖像的灰度直方圖

然后利用NCC方法完成立體匹配，匹配函數(shù)表示為：

S(r,c,d)=

(9)

其中:r,c為輸入圖像對(duì)應(yīng)像素的行和列坐標(biāo)，g1,g2為輸入圖像的灰度值，d為左右圖像上的對(duì)應(yīng)點(diǎn)的視差。在立體匹配前對(duì)左右圖像的灰度級(jí)分布進(jìn)行近似可以明顯提高匹配精度，獲得更好的視差圖像。對(duì)匹配點(diǎn)的搜索添加約束區(qū)間，通過(guò)圖像金字塔的方法來(lái)提高NCC算法匹配的速度，從而降低其計(jì)算量[13]。將灰度級(jí)分布與NCC匹配函數(shù)相結(jié)合獲得的視差圖如圖6所示。

圖6 碼垛產(chǎn)品的視差圖

5.3 碼垛產(chǎn)品的三維坐標(biāo)獲取

從獲取的視差圖中可以很明顯看出碼垛產(chǎn)品的輪廓區(qū)域，為了更加準(zhǔn)確定位到產(chǎn)品區(qū)域，對(duì)視差圖進(jìn)行圖像處理。利用圖像處理軟件Halcon中的get_region算子將視差圖像由圖像變量轉(zhuǎn)換為區(qū)域變量，對(duì)轉(zhuǎn)換后的區(qū)域變量進(jìn)行形態(tài)學(xué)運(yùn)算、連通域的選擇等操作從而精確地定位到產(chǎn)品的區(qū)域，將從視差圖中提取的產(chǎn)品區(qū)域分別映射到左右圖像中，得到區(qū)域中心點(diǎn)分別在左右圖像的坐標(biāo)為pL=(xL,yL),pR=(xR,yR)，然后利用Halcon中image_points_to_world_plane算子將中心點(diǎn)在圖像中的坐標(biāo)轉(zhuǎn)換為攝像機(jī)坐標(biāo)系下的坐標(biāo)。如圖7所示為極線(xiàn)校正后的雙目視覺(jué)系統(tǒng)，設(shè)碼垛產(chǎn)品的區(qū)域中心點(diǎn)P在攝像機(jī)下的坐標(biāo)為(XC,YC,ZC)，兩個(gè)攝像機(jī)中心間的距離為B，由兩攝像機(jī)的成像平面共面可得yL=yR=y。

圖7 平行雙目系統(tǒng)

由圖7可得幾何關(guān)系：

(10)

因此計(jì)算出點(diǎn)P的三維坐標(biāo)為：

(11)

結(jié)合手眼標(biāo)定模型即可得到攝像機(jī)坐標(biāo)系到機(jī)器人基礎(chǔ)坐標(biāo)系的轉(zhuǎn)換關(guān)系，機(jī)器人就可以控制其末端夾具進(jìn)行碼垛作業(yè)。碼垛定位的過(guò)程如圖8所示。

圖8 碼垛定位的過(guò)程

6 視覺(jué)定位實(shí)驗(yàn)

搭建雙目視覺(jué)系統(tǒng)與機(jī)器人系統(tǒng)來(lái)進(jìn)行碼垛定位實(shí)驗(yàn)。通過(guò)攝像機(jī)拍照將碼垛產(chǎn)品的信息傳輸給工控機(jī)，進(jìn)行圖像處理后獲得產(chǎn)品區(qū)域中心坐標(biāo)，將計(jì)算結(jié)果傳輸給機(jī)器人，引導(dǎo)機(jī)器人定位，抓取。碼垛定位結(jié)果如表1所示。

表1 視覺(jué)定位結(jié)果與實(shí)際坐標(biāo)比較 mm

通過(guò)對(duì)3個(gè)碼垛產(chǎn)品進(jìn)行定位可得x,y,z方向坐標(biāo)的誤差，所產(chǎn)生的誤差主要來(lái)源于手眼標(biāo)定時(shí)坐標(biāo)系的建立、雙目相機(jī)的標(biāo)定和攝像機(jī)的畸變以及立體匹配的精度，這都會(huì)影響視覺(jué)定位的結(jié)果。通過(guò)比較表1可知在x,y,z方向中實(shí)際坐標(biāo)與視覺(jué)定位的最大誤差為0.526 mm，滿(mǎn)足其定位精度。

7 結(jié)束語(yǔ)

本文研究了雙目視覺(jué)引導(dǎo)機(jī)器人碼垛定位的方法，通過(guò)雙目標(biāo)定和手眼標(biāo)定得到了機(jī)器人基礎(chǔ)坐標(biāo)系與攝像機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系，為了提高圖像質(zhì)量，利用一種融合算法對(duì)圖像進(jìn)行預(yù)處理。將灰度級(jí)分布與立體匹配相結(jié)合得到視差圖，并對(duì)其進(jìn)行處理后得到了產(chǎn)品區(qū)域的中心點(diǎn)，通過(guò)計(jì)算傳輸給機(jī)器人進(jìn)行定位、碼垛。實(shí)驗(yàn)表明：本方法可快速準(zhǔn)確的定位到目標(biāo)位置，識(shí)別精度高，具有很好的應(yīng)用前景。