基于雙視覺引導的工業(yè)機器人立體定位技術(shù)的研究

劉海龍，張蕾，吳海波

(湖南鐵道職業(yè)技術(shù)學院，湖南 株洲 412001)

0 引 言

在以工業(yè)機器人應(yīng)用為核心的制造生產(chǎn)線中，作業(yè)對象的快速定位和三維空間轉(zhuǎn)換是工業(yè)機器人應(yīng)用的重要技術(shù)之一。在當前的工業(yè)機器人定位應(yīng)用中，主要是以預(yù)先設(shè)定固定點位的方式來告知機器人作業(yè)程序，事先設(shè)定并達到預(yù)定位置和姿態(tài)的目的[1]。隨著制造業(yè)的不斷發(fā)展和進步，生產(chǎn)企業(yè)對生產(chǎn)線作業(yè)效率的要求也日益嚴格，如自動化流水線常采用倍速鏈進行輸送工裝板，當機械振動導致工裝板位置發(fā)生細微變化時，工業(yè)機器人很可能無法實現(xiàn)工件的作業(yè)加工，或?qū)е虏涣计?，這在一定程度上影響了工業(yè)機器人的作業(yè)效率和生產(chǎn)良品率，增加運營成本[2]。在較簡單的機器人抓取作業(yè)中，有少數(shù)應(yīng)用單機器視覺技術(shù)對作業(yè)對象進行垂直坐標定位，轉(zhuǎn)換成X、Y坐標數(shù)據(jù)引導工業(yè)機器人對其定位。但該技術(shù)也存在明顯缺陷，當多種工件類型時需要采用不同的視覺定位方案，或者當需要對工件的Z坐標進行定位時無法實現(xiàn)，對于復(fù)雜工件的直接定位也有較大難度，難以實現(xiàn)抓取工具和工件在外形上的匹配，因此該解決方案具有較大局限性[3]。

針對以上問題，為增加視覺系統(tǒng)的通用性和作業(yè)效率，本文提出基于雙視覺引導的工業(yè)機器人三維立體定位系統(tǒng)，在工業(yè)機器人的法蘭盤末端安裝兩個機器視覺系統(tǒng)來獲取作業(yè)對象的圖像，并通過兩個不同位置相機的差位圖像進行圖片處理和三維空間坐標換算，實現(xiàn)工業(yè)機器人對作業(yè)對象的立體空間定位，方便進行抓取、加工、切割和噴涂等生產(chǎn)作業(yè)。在生產(chǎn)作業(yè)中，常需解決機器人工具與工件角度匹配問題，因此在設(shè)計工裝板中需要通過開奇數(shù)不對稱定位孔來確定工件的角度姿態(tài)，以增加系統(tǒng)的普適性。

1 系統(tǒng)組成結(jié)構(gòu)及原理

系統(tǒng)的硬件組成主要由機器視覺單元、工控機單元、機器人執(zhí)行單元和工件配套單元四部分組成。機器視覺單元是由安裝在工業(yè)機器人法蘭盤末端的兩個工業(yè)相機組成，跟隨工業(yè)機器人運動軌跡，實時觸發(fā)獲取工業(yè)區(qū)域圖像，并將圖像信號通過以太網(wǎng)傳輸給工控機處理單元；工控機單元主要負責機器視覺信號的處理與分析，確定作業(yè)對象的空間角度姿態(tài)和三維立體位置定位，并向執(zhí)行單元和工件配套單元輸出控制信號；機器人執(zhí)行單元是工業(yè)機器人控制柜、本體和工具等動作執(zhí)行設(shè)備；工件配套單元主要是工作站周邊設(shè)備，如工件工裝、輸送鏈、變位機和傳感器網(wǎng)絡(luò)等配套交互設(shè)備。系統(tǒng)組成結(jié)構(gòu)及工作原理如圖1所示。

工業(yè)機器人在其工作區(qū)域由程序啟動，安裝在前端法蘭上的工業(yè)相機跟隨移動至拍照位置，分別采集工件區(qū)域圖像，圖像基礎(chǔ)處理后通過以太網(wǎng)傳輸給工控機單元。工控機對圖像進行處理與分析，包括工件在工業(yè)機器人工件坐標系下的三維空間坐標、工件角度姿態(tài)、類型、顏色和形狀等參數(shù)，圖像處理完成后進行MODBUS編碼將數(shù)據(jù)發(fā)送給機器人控制柜和工件配套單元，引導工業(yè)機器人實現(xiàn)對工件的立體定位并按需求進行加工作業(yè)。作業(yè)完成后工件配套單元通過傳感器網(wǎng)絡(luò)將工件狀態(tài)信號發(fā)送給機器人，機器人接收解析信號并判斷后續(xù)工作流程，如產(chǎn)品合格進行下一步循環(huán)，不合格將重加工或丟棄處理等。

圖1 系統(tǒng)組成結(jié)構(gòu)及原理

2 雙視覺系統(tǒng)立體定位

2.1 機器視覺標定

對機器視覺的標定是為了給雙目視覺相機提供一個參考系和圖像畸變矯正參數(shù)，也是影響視覺系統(tǒng)判定目標精度的關(guān)鍵性步驟[4]。標定方法和實施過程包括機器視覺標定、雙目標定和手眼標定[5]。機器視覺標定的原理是建立機器視覺像素坐標和目標參考點位置之間的轉(zhuǎn)換關(guān)系，即根據(jù)目標參考點的位置像素坐標和大地坐標計算出機器視覺系統(tǒng)的模型參數(shù)[6]。由孔位圖像模型可知，工件目標參考點在大地坐標系中的坐標為(Xl,Yl,Zl)與其圖像投影點p′的二維投影坐標(u,v)的關(guān)系表達式為：

(1)

式中：s為比例因子;M1為常量;dX、dY分別為機器視覺每個像素在X、Y軸上的物理尺寸；(u0,v0)為圖像重心點坐標;f為相機焦距;R1為機器視覺坐標系轉(zhuǎn)換為大地坐標系的旋轉(zhuǎn)矩陣式;T1為機器視覺坐標系轉(zhuǎn)換為大地坐標系的平移矩陣參數(shù)。根據(jù)式(1)的投影模型，本方案采用2D平面視覺標靶標定法，該方法操作相對簡單、精度較高等優(yōu)點，廣泛應(yīng)用于機器視覺的視覺標定[7]。操作過程中雙目相機從不同角度拍攝8張工裝目標板圖像，運用該標定方法求解(1)中的數(shù)值完成標定。

2.2 雙目標定

雙目標定主要通過兩個相機的圖像坐標和大地坐標的對應(yīng)關(guān)系來求解兩個工業(yè)相機的空間組合參數(shù)R2、T2。由工業(yè)相機標定求出兩個相機的與大地坐標系的相對位置，分別為左右相機，參數(shù)為RlTl/RrTr，對于參考目標點，假設(shè)該點在大地坐標系、左右相機坐標系的非齊次坐標分別為xw/xl/xr，則可求得：

(2)

因此得到兩個工業(yè)相機的空間組合參數(shù)R2、T2可表示為：

R2=Rr/Rl
T2=Tr-RrTl/Rl

(3)

2.3 手眼標定

手眼標定是立體定位的最后一步，目的是求解相機坐標系與工業(yè)機器人工件坐標系的對應(yīng)關(guān)系。操作步驟為手動編程工業(yè)機器人運動軌跡程序，控制機器人法蘭盤末端上的雙目相機在工件上方不同的角度和位置，對已測量尺寸的工裝參考板進行拍照并將圖像傳送給工控機，工控機通過不同角度方位的外參數(shù)與機器人工件坐標系參數(shù)得出其相對于關(guān)系[8]。原理公式為：

RX=XT

(4)

式中：X為待求參數(shù)；R、X、T均為4×4矩陣。因此由式(4)可知，工業(yè)相機的空間位置改變?nèi)闻恼毡憧汕蟮肵矩陣。在實際的應(yīng)用中考慮到誤差和精度，綜合作業(yè)效率多方面考量，采用拍攝8組圖像進行求解，最后應(yīng)用最小二乘法取精度最優(yōu)的一組作為最終X值[9]。

2.4 立體定位坐標的計算

工業(yè)機器人的引導原理主要是通過工件坐標系和工具坐標系，基于大地坐標系選取最佳的中心原點而創(chuàng)建的，在對變化的工件進行立體定位時一般是通過創(chuàng)建工件坐標系引導[10]。在雙機器視覺下工件對象中的一個點(孔)在兩個相機中可以確定各自的三維空間坐標，在本文的作業(yè)對象工裝中，工裝中設(shè)計有6個定位孔位，這樣在雙目相機視覺下將得到6組點位空間位置，由于兩相機空間位置的不同，每組數(shù)據(jù)的兩個相機點位空間坐標將呈規(guī)律性差異[11]。通過式(5)可以計算出該點位相對于機器人大地坐標系的立體定位坐標，進而轉(zhuǎn)換為工業(yè)機器人的工件坐標系下的三維坐標值，引導機器人加工作業(yè)。

x=zXl/fl
y=zYl/fl
z=fl(frtx-Xrtz)[XR(r1X1+r2Yl+flr3)]-1

(5)

式中:(x,y,z)為待求目標點在工業(yè)機器人工件坐標系下的三維坐標;Xl、Yl和Xr、Yr分別為待求目標點在左右雙目相機相面點的坐標;fl、fr分別為雙目左右工業(yè)相機的焦距。在求出6個定位孔在機器人工件坐標系下的三維坐標后，根據(jù)最小二乘法求出最優(yōu)的工裝平面，并以6個點平面x、y的平均值確定機器人工件坐標系的原點。工件坐標系的原點確定后，待求工件相對于工業(yè)機器人的所有坐標點為均可以很方便換算出，坐標值可直接供機器人操縱編程人員使用，引導機器人精確的加工作業(yè)。

3 運行與調(diào)試

工控機和機器人操縱編程人員按步驟及對應(yīng)的編程方式完成程序的設(shè)計，在禮品盒裝配包裝生產(chǎn)線上進行可行性驗證、精度及誤差分析，完成運行與調(diào)試。裝配包裝工作站采用埃夫特HR20-1700-C10工業(yè)機器人、basler acA2500-14gm型號工業(yè)相機、理光FLHC1214-2M型號鏡頭、200 mm×200 mm背光光源、西門子S7-1200 PLC和研華AIIS-1240-00A1E工控機，試驗現(xiàn)場如圖2所示。

圖2 試驗現(xiàn)場圖

系統(tǒng)運行時，需打開背光光源，采用透明工裝板，在機器人的法蘭盤末端設(shè)計有專用的多功能機械工具，用于安裝相機和夾爪工具，固定相機為左相機。工件隨工裝板在倍速鏈傳送帶運動至光源位置，由左右工業(yè)相機對工件進行拍照，并將圖像初步處理后通過以太網(wǎng)發(fā)送給工控機，工控機接收并解析圖像數(shù)據(jù)后根據(jù)事先設(shè)計的程序算法進行數(shù)據(jù)處理，計算出工件對象在機器人工件坐標系下的三維旋轉(zhuǎn)角度和空間坐標，然后將結(jié)果發(fā)送給機器人控制柜，編程設(shè)計人員使用該數(shù)據(jù)設(shè)計工業(yè)機器人作業(yè)程序，完成工件的加工作業(yè)。本文的核心內(nèi)容是聚焦于雙視覺的工件立體定位。因此主要記錄視覺對工件的定位結(jié)果和工件的實際測量值的比較，計算系統(tǒng)的誤差值，測試結(jié)果如表1所示。

在表1中，為工件相對于機器人工件坐標系的旋轉(zhuǎn)角度。由多次試驗可知，機器人被引導的定位計算數(shù)據(jù)誤差均在0.5 mm之內(nèi)，滿足課題設(shè)計要求和一般工業(yè)通用性要求。

表1 試驗測試結(jié)果對比 mm

4 結(jié)束語

本文研究了基于雙機器視覺引導的工業(yè)機器人三維立體定位系統(tǒng)，核心內(nèi)容是對雙目工業(yè)相機下通過左右相機的相機坐標系推算工件坐標系，確定目標點的三維坐標，引導工業(yè)機器人實現(xiàn)精確的立體定位及加工作業(yè)。為增加研究內(nèi)容的普適性，研究目標識別的工裝板采用6對稱定位孔，利用最小二乘法取最優(yōu)化數(shù)據(jù)提高精度和通用性，工件對象和工裝板保持固定位置，則可通過雙目視覺方便的識別出該工件的是立體定位、類型數(shù)據(jù)和角度姿態(tài)等關(guān)鍵數(shù)據(jù)，并通過以太網(wǎng)將數(shù)據(jù)發(fā)送給機器人控制器供編程人員使用。通過運行和調(diào)試數(shù)據(jù)分析，工業(yè)機器人能夠準確地對不同類型的工件進行識別并實現(xiàn)精確立體定位，有較快的相應(yīng)速度，大大提高了生產(chǎn)線的生產(chǎn)效率，增加了工作站的應(yīng)用廣度，具有良好的實用價值。