基于智能傳感器的工件抓取系統(tǒng)研究

蘇波 鄭孟州

摘要：自動(dòng)化生產(chǎn)線(xiàn)產(chǎn)品檢測(cè)時(shí)，為快速獲取產(chǎn)品的三維位姿參數(shù)，提出一種基于智能傳感器的單目視覺(jué)工件位姿獲取方法。通過(guò)HALCON軟件中3D表面匹配算法，對(duì)機(jī)器人和智能傳感器系統(tǒng)進(jìn)行標(biāo)定，運(yùn)動(dòng)平臺(tái)帶工件作平移運(yùn)動(dòng)，智能傳感器掃描測(cè)量，獲取工件的輪廓點(diǎn)云數(shù)據(jù)，利用軟件完成物體的三維點(diǎn)云信息處理和模型的三維重構(gòu)，確定工件位姿。試驗(yàn)結(jié)果表明，該方法可以快速測(cè)量，數(shù)據(jù)可用于機(jī)器人抓取。

關(guān)鍵詞：智能傳感器;三維重構(gòu);手眼標(biāo)定;表面匹配

Research on the Workpiece Grabbing System Based on Intelligent Sensor

SU Bo，ZHENG Meng?zhou

（School of Electrical Engineering and Automation， Henan Polytechnic University， Jiaozuo 454000， China）

Abstract：In order to complete the task of product testing in the automated production line and quickly obtain the three?dimensional pose parameters of the product， a method of obtaining the pose of the monocular vision workpiece based on the smart sensor is proposed. Through the 3D surface matching algorithm in HALCON software， the system composed of robot and intelligent sensor is calibrated. The moving platform with workpiece for translational motion， intelligent sensor scanning and measurement gets the contour point cloud data of the workpiece， and completes the 3D point cloud information processing of the object by software.The three?dimensional reconstruction of the model to determine the pose of the workpiece is completed. The experimental results show that this method can achieve fast measurement and the data can be used for robot grasping.

Key Words：smart sensor; 3D reconstruction; hand?eye calibration; surface matching

0?引言

人工質(zhì)檢精度檢測(cè)失誤率高、效率低，已不能適應(yīng)自動(dòng)化生產(chǎn)需要。機(jī)器視覺(jué)理論提出利用機(jī)器人代替人眼作測(cè)量和判斷，有效提高了生產(chǎn)效率，已被廣泛應(yīng)用。在機(jī)器視覺(jué)近20年的發(fā)展過(guò)程中，受圖像攝取技術(shù)和數(shù)據(jù)處理技術(shù)限制，機(jī)器視覺(jué)系統(tǒng)普遍基于二維視覺(jué)技術(shù)[1]。但二維視覺(jué)不具有深度信息，因此研究機(jī)構(gòu)圍繞三維目標(biāo)數(shù)字化這一課題開(kāi)展了大量研究工作。隨著三維圖像攝取技術(shù)和數(shù)據(jù)處理技術(shù)的飛速發(fā)展，3D視覺(jué)技術(shù)成為計(jì)算機(jī)視覺(jué)領(lǐng)域發(fā)展焦點(diǎn)[2]。在機(jī)器人3D視覺(jué)領(lǐng)域，存在普通相機(jī)使用不便和魯棒性差等問(wèn)題，智能傳感器測(cè)量系統(tǒng)能有效解決上述問(wèn)題，成為重要的非接觸測(cè)量方式之一。

基于相機(jī)的視覺(jué)系統(tǒng)，專(zhuān)家提出了許多標(biāo)定方法，但智能傳感器和相機(jī)結(jié)構(gòu)上的區(qū)別限制了這些方法的通用性。人們都知道標(biāo)定精度會(huì)嚴(yán)重影響智能傳感器的測(cè)量精度[3]，為此進(jìn)行了許多探究，但仍沒(méi)有通用的傳感器標(biāo)定方法。有學(xué)者提出根據(jù)空間定點(diǎn)進(jìn)行標(biāo)定，但仍需要標(biāo)定靶[4]，增加了標(biāo)定難度和成本。為解決上述問(wèn)題，本文設(shè)計(jì)了基于智能傳感器的工件位姿視覺(jué)測(cè)量系統(tǒng)[5]，提出使用表面匹配進(jìn)行傳感器和機(jī)器人系統(tǒng)的標(biāo)定，通過(guò)智能傳感器掃描測(cè)量工件，獲取工件位姿信息。通過(guò)以太網(wǎng)向機(jī)器人發(fā)送指令完成抓取任務(wù)。系統(tǒng)不需要特定靶物，只要對(duì)待測(cè)物體進(jìn)行標(biāo)定即可實(shí)現(xiàn)手眼系統(tǒng)標(biāo)定，較好地解決了上述問(wèn)題。

1?系統(tǒng)總體設(shè)計(jì)

系統(tǒng)主要由3D智能傳感器、運(yùn)動(dòng)平臺(tái)、Articulated 機(jī)器人以及PC機(jī)組成，設(shè)計(jì)原理如圖1所示。為保證測(cè)量結(jié)果的準(zhǔn)確性，智能傳感器選擇至關(guān)重要。生產(chǎn)車(chē)間環(huán)境差、存在較多干擾，而且需要根據(jù)產(chǎn)品型號(hào)調(diào)整檢測(cè)的視野范圍。經(jīng)過(guò)對(duì)比智能傳感器產(chǎn)品，本文選擇由加拿大LMI 公司生產(chǎn)的Gocator2350作為系統(tǒng)傳感器。Gocator2350智能傳感器采用工業(yè)級(jí)設(shè)計(jì)，專(zhuān)門(mén)針對(duì)生產(chǎn)車(chē)間的嚴(yán)苛使用環(huán)境，易于集成，內(nèi)置多種工具。集激光發(fā)射器和相機(jī)成像測(cè)量裝置為一體的智能激光傳感器，使用方便、獨(dú)立性強(qiáng)、拓展性好，裝置緊湊體積小質(zhì)量輕，可固定在狹小空間內(nèi)或機(jī)械臂上，是抓取系統(tǒng)的理想選擇。Gocator2350參數(shù)如表1所示。

采集數(shù)據(jù)時(shí)需要工件相對(duì)于傳感器做平移運(yùn)動(dòng)，系統(tǒng)將傳感器固定于工件上方，通過(guò)運(yùn)動(dòng)平臺(tái)帶動(dòng)工件移動(dòng)。系統(tǒng)選用傳感器運(yùn)動(dòng)采集模式，包括時(shí)間運(yùn)動(dòng)采集和編碼器運(yùn)動(dòng)采集兩種。時(shí)間運(yùn)動(dòng)采集不需要使用編碼器，每隔相同的時(shí)間采集一次信息，此方法對(duì)物體的運(yùn)動(dòng)速度有較高要求;編碼器運(yùn)動(dòng)采集通過(guò)脈沖觸發(fā)采集，運(yùn)動(dòng)平臺(tái)對(duì)速度的控制精度要求不高，所以本文選用編碼器運(yùn)動(dòng)采集模式。當(dāng)運(yùn)動(dòng)平臺(tái)帶動(dòng)工件運(yùn)動(dòng)時(shí)，編碼器發(fā)出與運(yùn)動(dòng)同步的觸發(fā)信號(hào)，智能傳感器接收同步信號(hào)，發(fā)射出線(xiàn)激光并開(kāi)始采集圖像。激光掃描和圖像采集同步完成，從而保證圖像不會(huì)因?yàn)槲矬w的運(yùn)動(dòng)速度變化而變形。按照傳感器使用手冊(cè)完成傳感器的安裝和接線(xiàn)后，可通過(guò)Web瀏覽器訪(fǎng)問(wèn)界面進(jìn)行各類(lèi)相關(guān)參數(shù)的設(shè)置。

工業(yè)生產(chǎn)中常用的機(jī)器人有Articulated Robot[6]和SCARA Robot[7]兩種。Articulated機(jī)器人的臂通常覆蓋6自由度的3個(gè)旋轉(zhuǎn)接頭（3個(gè)平移和3個(gè)旋轉(zhuǎn)），而SCARA機(jī)器人通常具有3個(gè)平行的旋轉(zhuǎn)接頭和一個(gè)平行的棱鏡接頭，僅覆蓋4個(gè)自由度（3個(gè)平移和1個(gè)旋轉(zhuǎn)）。Articulated機(jī)器人可通過(guò)電磁感應(yīng)方式定位，并將其解碼為需要的特殊角度，使用非常靈活;而SCARA機(jī)器人運(yùn)動(dòng)具有一定限制（不能傾斜），但可提供更快更精確的性能，適用于高速拾放、包裝和組裝。通過(guò)比較，本文選擇運(yùn)動(dòng)更為靈活的Articulated機(jī)器人。

2?HLCON圖像采集

HALCON是德國(guó)MVTec公司開(kāi)發(fā)的一套標(biāo)準(zhǔn)機(jī)器視覺(jué)算法包，是一套圖像處理庫(kù)，擁有應(yīng)用廣泛的機(jī)器視覺(jué)集成開(kāi)發(fā)環(huán)境，能節(jié)約產(chǎn)品成本，縮短開(kāi)發(fā)周期，是歐洲及日本工業(yè)界公認(rèn)的最佳機(jī)器視覺(jué)軟件，由多個(gè)各自獨(dú)立的算子及底層數(shù)據(jù)管理核心構(gòu)成[8]。HALCON支持Windows、Linux和Mac OS X操作環(huán)境，整個(gè)函數(shù)庫(kù)可用C、C++、C#、Visual basic和Delphi等多種普通編程語(yǔ)言訪(fǎng)問(wèn)。HALCON為大量的圖像獲取設(shè)備提供接口，保證了硬件的獨(dú)立性。作為目前業(yè)內(nèi)功能最完善、效率最高的軟件之一，HALCON廣泛應(yīng)用于工業(yè)生產(chǎn)各個(gè)方面，如機(jī)械加工、電子器件、包裝加工、木材加工等領(lǐng)域[9]，本系統(tǒng)采用HALCON軟件作為圖像在線(xiàn)實(shí)時(shí)采集與處理的核心模塊。HALCON的GenTL協(xié)議，允許HALCON直接控制傳感器，采集3D點(diǎn)云數(shù)據(jù)和灰度數(shù)據(jù)到HALCON中。在安裝驅(qū)動(dòng)時(shí)需注意的是，傳感器的驅(qū)動(dòng)和固件版本必須保持一致。完成驅(qū)動(dòng)安裝后，打開(kāi)HALCON連接傳感器并設(shè)置采集參數(shù)就可進(jìn)行連接并采集圖像。在程序編輯欄中添加三維重構(gòu)算子，在HALCON圖像顯示界面就能看到三維重構(gòu)模型。

3?視覺(jué)系統(tǒng)標(biāo)定

單目傳感器視覺(jué)系統(tǒng)通過(guò)不同的圖像處理算子即可確定物體的三維姿態(tài)，這些數(shù)據(jù)可用來(lái)控制機(jī)器人，但由于安裝等原因，機(jī)器人與傳感器的位置關(guān)系未知。為實(shí)現(xiàn)精確測(cè)量，在測(cè)量前需要對(duì)機(jī)器人與傳感器位置關(guān)系求解與校正，即“手眼標(biāo)定”[10]。均勻變換矩陣是描述變換的好方法，但是矩陣元素過(guò)多，往往難以理解和計(jì)算，3D姿勢(shì)可以很好地解決這個(gè)問(wèn)題。 3D姿勢(shì)是一個(gè)更容易理解的剛性變換表示方法：一個(gè)姿勢(shì)具有6個(gè)參數(shù)，3個(gè)旋轉(zhuǎn)和3個(gè)平移（TransX，TransY，TransZ，RotX，RotY，RotZ），代替均勻變換矩陣中的12個(gè)參數(shù)。在HALCON中可使用create_pose創(chuàng)建3D姿勢(shì)，可以通過(guò)使用算子hom_mat3d_to_pose和pose_to_hom_mat3d在姿勢(shì)和均勻矩陣之間進(jìn)行轉(zhuǎn)換。手眼系統(tǒng)標(biāo)定和相機(jī)標(biāo)定一樣，都是基于校準(zhǔn)對(duì)象的多幅圖像，但與攝像機(jī)標(biāo)定不同的是，手眼系統(tǒng)標(biāo)定不會(huì)手動(dòng)標(biāo)定對(duì)象。根據(jù)相機(jī)與機(jī)器人位置關(guān)系的不同，機(jī)器人視覺(jué)系統(tǒng)可分為Eye_in_Hand系統(tǒng)和Eye_to_Hand系統(tǒng)。Eye_in_Hand系統(tǒng)的攝像機(jī)安裝在機(jī)器人手部末端，在機(jī)器人工作過(guò)程中隨機(jī)器人一起運(yùn)動(dòng)。Eye_to_Hand系統(tǒng)的攝像機(jī)安裝在機(jī)器人本體外的固定位置，在機(jī)器人工作過(guò)程中不隨機(jī)器人一起運(yùn)動(dòng)[11]。系統(tǒng)傳感器是固定的，屬于Eye_to_Hand系統(tǒng)，可通過(guò)機(jī)器人夾取標(biāo)定對(duì)象進(jìn)行手眼系統(tǒng)標(biāo)定。手眼標(biāo)定的目的是求解出從傳感器坐標(biāo)系到基礎(chǔ)坐標(biāo)系之間的變換關(guān)系[12]，這個(gè)過(guò)程存在一系列坐標(biāo)變換。在這個(gè)坐標(biāo)變換鏈中，已經(jīng)知道兩個(gè)姿勢(shì)。通過(guò)標(biāo)定計(jì)算確定機(jī)器人基礎(chǔ)坐標(biāo)系與傳感器坐標(biāo)系的變換關(guān)系，以及校準(zhǔn)對(duì)象坐標(biāo)系到機(jī)器人工具坐標(biāo)系的變換關(guān)系[13]。手眼標(biāo)定系統(tǒng)的標(biāo)定準(zhǔn)則如下：

公式（1）中的?H=Rt?0011，其中R為3*3階旋轉(zhuǎn)矩陣， t?為3×1階平移矩陣。本系統(tǒng)采用HALCON內(nèi)部封裝算子實(shí)現(xiàn)手眼系統(tǒng)標(biāo)定，實(shí)施步驟如下：

（1）創(chuàng)建數(shù)據(jù)類(lèi)型。執(zhí)行標(biāo)定過(guò)程必須先創(chuàng)建手眼標(biāo)定的數(shù)據(jù)類(lèi)型。HALCON是一款功能強(qiáng)大的視覺(jué)軟件，內(nèi)部封裝豐富的標(biāo)定類(lèi)型，如基于機(jī)器人類(lèi)型的校準(zhǔn)、相機(jī)類(lèi)型的校準(zhǔn)和相機(jī)安裝類(lèi)型的校準(zhǔn)。系統(tǒng)選用智能傳感器，所以選擇運(yùn)用3D物體進(jìn)行標(biāo)定。使用create_calib_data和set_calib_data創(chuàng)建標(biāo)定數(shù)據(jù)類(lèi)型。

（2）設(shè)置標(biāo)定物體位姿。相機(jī)標(biāo)定通常選用合適的標(biāo)定板進(jìn)行標(biāo)定，3D物體手眼標(biāo)定選擇功能更為強(qiáng)大的表面匹配法進(jìn)行標(biāo)定。表面是基于整體點(diǎn)的匹配，3D表面的全部有效數(shù)據(jù)點(diǎn)參與匹配計(jì)算[14]。使用拍攝的標(biāo)定圖構(gòu)建3D模型，然后從模型中獲得表面匹配所需要的表面模型，通過(guò)在標(biāo)定場(chǎng)景中找到表面模型，估計(jì)物體在傳感器中的位姿，使用算子如下：

read_object_model_3d

create_surface_model

find_surface_model

refine_surface_model_pose

構(gòu)建的3D模型和3D表面模型如圖2、圖3所示。

（3）設(shè)置機(jī)器人工具位姿。機(jī)器人位姿精度對(duì)整個(gè)手眼標(biāo)定系統(tǒng)的標(biāo)定精度至關(guān)重要。在進(jìn)行手眼標(biāo)定時(shí)，每幅標(biāo)定圖片需要提供相對(duì)應(yīng)的機(jī)器人位姿，機(jī)器人工具位姿可由機(jī)器人直接獲得并通過(guò)input_pose_type算子確定機(jī)器人位姿類(lèi)型。調(diào)用input_pose輸入末端位姿，則可創(chuàng)建HALCON直接讀取的文件，重復(fù)多遍即可獲得多組機(jī)器人的位姿文件。在HDevelop中對(duì)機(jī)器人位姿文件的讀取可直接由read_pose 函數(shù)實(shí)現(xiàn)。

（4）執(zhí)行標(biāo)定。在完成數(shù)據(jù)準(zhǔn)備工作后，使用算子calibrate_hand_eye執(zhí)行標(biāo)定，get_calib_data獲取標(biāo)定結(jié)果數(shù)據(jù)。

標(biāo)定實(shí)驗(yàn)選用15組數(shù)據(jù)，其中一組是標(biāo)定場(chǎng)景中基于機(jī)器人基座的姿勢(shì)，見(jiàn)表2。另一組是機(jī)器人夾著標(biāo)定物體的15個(gè)場(chǎng)景中基于傳感器的姿勢(shì)，見(jiàn)表3，數(shù)據(jù)通過(guò)表面匹配獲得。通過(guò)使用上述標(biāo)定數(shù)據(jù)，按照標(biāo)定流程，利用HDevelop示例程序進(jìn)行標(biāo)定測(cè)試。實(shí)驗(yàn)得出標(biāo)定誤差：最大平移誤差為2.539mm，最大旋轉(zhuǎn)誤差為0.541 3°，標(biāo)定結(jié)果如表4所示。

4?抓取姿態(tài)確定

設(shè)機(jī)器人基礎(chǔ)坐標(biāo)系和運(yùn)動(dòng)平臺(tái)在同一平面。在獲得標(biāo)定數(shù)據(jù)后，通過(guò)設(shè)計(jì)的系統(tǒng)得到長(zhǎng)方形工件表面輪廓的三維點(diǎn)云數(shù)據(jù)[15]，圖像顯示如圖4所示。已知物體相對(duì)于相機(jī)坐標(biāo)系的位姿，然后使用手眼標(biāo)定結(jié)果，得到抓取點(diǎn)在機(jī)器人基礎(chǔ)坐標(biāo)系中的抓取位姿。機(jī)器人可使用工件的數(shù)據(jù)信息完成抓取任務(wù)[16]，原理如公式（2）所示：

在HALCON中通過(guò)以下代碼完成上述功能：

hom_mat3d_compose

hom_mat3d_invert

hom_mat3d_compose

5?結(jié)語(yǔ)

本文設(shè)計(jì)了基于智能傳感器的工件位姿檢測(cè)抓取系統(tǒng)。采用專(zhuān)業(yè)的機(jī)器視覺(jué)處理軟件HALCON和3D智能傳感器Gocator2350，利用3D表面匹配方法進(jìn)行手眼標(biāo)定，使用標(biāo)定數(shù)據(jù)獲取準(zhǔn)確的工件位姿信息，利用機(jī)器人抓取。實(shí)驗(yàn)數(shù)據(jù)分析表明，本系統(tǒng)實(shí)用性較好，可滿(mǎn)足工業(yè)機(jī)器人的操作要求。

參考文獻(xiàn)：

[1]?楊建華，張偉，李麗.基于機(jī)器視覺(jué)的鋸材表面缺陷檢測(cè)系統(tǒng)設(shè)計(jì)[J].林產(chǎn)工業(yè)，2013，40（1） ：21?24.

[2]?莫圣陽(yáng).基于3D視覺(jué)技術(shù)的受電弓磨耗檢測(cè)系統(tǒng)研究[D].廣州：廣東工業(yè)大學(xué)，2015.

[3]?陳偉.3D智傳感器視覺(jué)測(cè)量系統(tǒng)關(guān)鍵算法研究[D].成都：電子科技大學(xué)，2014.

[4]?LIU Z， LI X J， LI F J， et al. Calibration method for line?structured light vision sensor based on a single ball target[J]. Optics and Lasers in Engineering，2015（69）：20?28.

[5]?ZHAO Y， ZHAO J， ZHANG L， et al. Development of a robotic 3D scanning system for reverse engineering of freeform part[J]. International Conference on Advanced Computer Theory and Engineering， 2008（2）：246?250.

[6]?盧冠男.基于機(jī)器視覺(jué)的工業(yè)機(jī)器人抓取系統(tǒng)的研究[D].合肥：合肥工業(yè)大學(xué)，2017.

[7]?合澤強(qiáng).基于機(jī)器視覺(jué)的工業(yè)機(jī)器人分揀系統(tǒng)設(shè)計(jì)[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2016.

[8]?閆霞，牛建強(qiáng).基于HALCON軟件的攝像機(jī)標(biāo)定[J].數(shù)字技術(shù)與應(yīng)用，2010（11）：112?113，115.

[9]?姚建平，肖江，閆磊，等.基于3D結(jié)構(gòu)激光的木材表面缺陷檢測(cè)的研究[J]. 林業(yè)機(jī)械與木工設(shè)備，2013，45（3）：20?25.

[10]?王英男，戴曙光.線(xiàn)激光器的手眼標(biāo)定方法[J].電子科技，2015，28（7）：183?185.

[11]?徐德.機(jī)器人視覺(jué)測(cè)量與控制[M].第2版.北京：國(guó)防工業(yè)出版社，2011.

[12]?盧鈺庭.基于視覺(jué)的機(jī)器人標(biāo)定的研究[D].廣州：華南理工大學(xué)，2013.

[13]?LIN C C，GONZALEZ P，CHENG M Y，et al.Vision based object grasping of industrial manipulator [C]. Proceedings of 2016 International Conference on Advanced Robotics and Intelligent Systems，2016.

[14]?馮義從，岑敏儀. 三維自由表面匹配及其應(yīng)用[J].測(cè)繪工程，2005，14（3）：36?40.

[15]?杜曉燕.基于3D傳感器的掃描儀研制[D].鄭州：鄭州大學(xué)，2017.

[16]?盧泉奇，苗同升，汪地，等.基于HALCON的機(jī)械手視覺(jué)抓取應(yīng)用研究[J].光學(xué)儀器，2014，36（6）：492?498.