包裝生產(chǎn)線(xiàn)視覺(jué)上料控制系統(tǒng)研究

魯剛強(qiáng)，葉霞

（1.成都農(nóng)業(yè)科技職業(yè)學(xué)院，成都 611130；2.杭州師范大學(xué)錢(qián)江學(xué)院，杭州 310027）

在包裝自動(dòng)化生產(chǎn)線(xiàn)中，柔性上料裝置的應(yīng)用比較廣泛。柔性上料大多采用抖動(dòng)或旋轉(zhuǎn)方式完成上料，通過(guò)振動(dòng)調(diào)整物料姿態(tài)，機(jī)器人利用機(jī)器視覺(jué)完成物料識(shí)別和定位，最終完成物料抓取[1-2]。振動(dòng)式上料過(guò)程可以描述為：首先將物料添加到某平臺(tái)上，利用馬達(dá)驅(qū)動(dòng)該平臺(tái)振動(dòng)；通過(guò)設(shè)計(jì)不同振動(dòng)模式實(shí)現(xiàn)物料移動(dòng)或姿態(tài)調(diào)整[3]。該方式具有速度快、結(jié)構(gòu)簡(jiǎn)單等諸多優(yōu)勢(shì)，但是振動(dòng)效應(yīng)會(huì)影響生產(chǎn)線(xiàn)中的精密器件、視覺(jué)模塊等工作。振動(dòng)會(huì)產(chǎn)生噪聲，影響工廠(chǎng)工作環(huán)境；另外，振動(dòng)上料的吞吐量比較大，一次振動(dòng)會(huì)造成多個(gè)物料姿態(tài)發(fā)生變化，而抓取、包裝等工藝往往針對(duì)某個(gè)特定物料，振動(dòng)上料效率不高[4-7]。為解決此問(wèn)題，需要設(shè)計(jì)一種目的性更強(qiáng)的柔性上料裝置，即從物料傳送帶上抓取特定物料，將其放到包裝生產(chǎn)線(xiàn)的特定位置，或者監(jiān)視送料裝置，判斷當(dāng)前視域內(nèi)是否存在物料、物料是否存在缺陷。如果缺料，則命令機(jī)器人抓取物料進(jìn)行填補(bǔ)；如果物料存在殘缺，則剔除并替換新的物料。隨著工業(yè)機(jī)器人技術(shù)的不斷發(fā)展，機(jī)器視覺(jué)的應(yīng)用越來(lái)越成熟，特別是“手眼”視覺(jué)系統(tǒng)相關(guān)研究越來(lái)越多。趙久強(qiáng)等[8]FlexiJet 柔性上料綜合創(chuàng)新實(shí)驗(yàn)平臺(tái)，可實(shí)現(xiàn)遠(yuǎn)程選料、柔性上料、視覺(jué)輔助、噴氣調(diào)節(jié)位姿、機(jī)器人取放等功能。曹啟賀[9]以KUKA 機(jī)器人為研究對(duì)象，確定了各坐標(biāo)系之間的轉(zhuǎn)換關(guān)系以及相關(guān)參數(shù)。謝豐隆等[10]以六自由度機(jī)械臂為研究對(duì)象，基于OpenCV 算法庫(kù)設(shè)計(jì)了一種快速的標(biāo)定方法，該標(biāo)定方法結(jié)合標(biāo)定板、霍夫變換和線(xiàn)性回歸擬合，可獲得準(zhǔn)確的標(biāo)定結(jié)果。

綜上所述，文中以物料傳送裝置監(jiān)視機(jī)器人為研究對(duì)象，設(shè)計(jì)一種包裝生產(chǎn)線(xiàn)視覺(jué)上料系統(tǒng)，以實(shí)現(xiàn)物料檢測(cè)、填料、補(bǔ)料等操作，并通過(guò)實(shí)驗(yàn)驗(yàn)證所述視覺(jué)上料系統(tǒng)的有效性。

1 攝像機(jī)成像原理

視覺(jué)成像是機(jī)器人正常工作的基礎(chǔ)，因此文中首先闡述攝像機(jī)成像原理。攝像機(jī)成像過(guò)程類(lèi)似于小孔成像，通過(guò)攝像機(jī)鏡頭成像將物體形狀在相機(jī)成像平面展示出來(lái)。從本質(zhì)上講，攝像機(jī)成像的標(biāo)定過(guò)程就是不同坐標(biāo)系之間的關(guān)系換算。綜合考慮，文中建立了4 種坐標(biāo)系，即攝像機(jī)坐標(biāo)系、圖像坐標(biāo)系、世界坐標(biāo)系及圖像像素坐標(biāo)系，前3 種坐標(biāo)系單位為mm，最后1 種坐標(biāo)系單位為像素[11-12]。各坐標(biāo)系示意圖見(jiàn)圖1。

圖1 各坐標(biāo)系Fig.1 Diagram of coordinate system

如圖1 所示，世界坐標(biāo)系為Ow-X wY w Zw，攝像機(jī)坐標(biāo)系為Oc-X c Yc Zc，圖像物理坐標(biāo)系包含X和Y兩軸，圖像像素坐標(biāo)系包含U和V兩軸。通過(guò)剛體變換、透視投影、圖像離散等幾個(gè)圖像處理方法便可將物體的世界坐標(biāo)系進(jìn)行轉(zhuǎn)換，得到圖像像素坐標(biāo)。

2 視覺(jué)標(biāo)定

所謂剛體變換，就是通過(guò)適當(dāng)?shù)钠揭坪托D(zhuǎn)將世界坐標(biāo)系轉(zhuǎn)換為相機(jī)坐標(biāo)系，其轉(zhuǎn)換過(guò)程可描述為：

式中：R為旋轉(zhuǎn)變換矩陣；T為移變換矩陣。利用齊次坐標(biāo)變換可以將式（1）進(jìn)行轉(zhuǎn)化，見(jiàn)式（3）。

式中：旋轉(zhuǎn)變換矩陣R可分解為繞Xw軸的旋轉(zhuǎn)矩陣α；繞wY軸的旋轉(zhuǎn)矩陣β；繞Zw軸的旋轉(zhuǎn)矩陣γ，即滿(mǎn)足：

文中所述視覺(jué)系統(tǒng)，取機(jī)器人坐標(biāo)系為世界坐標(biāo)系，攝像機(jī)的光軸Zc和機(jī)器人Zw軸基本平行，可以理解為缸體變換過(guò)程中旋轉(zhuǎn)角度α和β均非常小。根據(jù)上面的分析，如果忽略角度α和β點(diǎn)的影響，那么式（4）就可以表示為：

攝像機(jī)成像其實(shí)就是一個(gè)透視投影過(guò)程，通過(guò)確保像距和焦距相等便可保證實(shí)像的清晰度。根據(jù)相似三角形之間的關(guān)系，成像過(guò)程可以用式（6）進(jìn)行描述。

通過(guò)攝像機(jī)得到圖像后，為了后期圖像的分析處理，需要將物理圖像進(jìn)行離散化處理，離散后的數(shù)據(jù)再傳送到計(jì)算機(jī)中，即需要將物理坐標(biāo)系轉(zhuǎn)換為像素坐標(biāo)系。

一般情況下，成像平面均勻分布一些傳感器陣列。圖像到達(dá)成像平面時(shí)，陣列上相應(yīng)位置傳感器會(huì)獲得該區(qū)域的灰度值，即像素點(diǎn)。上述過(guò)程可稱(chēng)之為圖像離散化，可描述為：

式中：dx為x方向上單位像素的物理尺寸；dy為y方向上單位像素的物理尺寸。由式（5）、（6）、（7）聯(lián)合可以得到圖像坐標(biāo)系和世界坐標(biāo)系之間的變換關(guān)系，即：

在包裝過(guò)程中，物料的厚度與豎直平移坐標(biāo)系相比可忽略不計(jì)，因此假設(shè)物料的高度為0，將式（8）進(jìn)行簡(jiǎn)化處理后可得：

在得到原始圖像后，計(jì)算機(jī)會(huì)利用圖像二值化、輪廓提取等方法，獲取物料的輪廓和中心；根據(jù)實(shí)際情況判斷當(dāng)前位置是否存在物料以及物料是否完整；若物料缺少或者是物料不完整，那么就可以根據(jù)視覺(jué)標(biāo)定的結(jié)果得到完整的填充位置的坐標(biāo)，同時(shí)將準(zhǔn)確的坐標(biāo)發(fā)送給視覺(jué)機(jī)器人，視覺(jué)機(jī)器人在得到準(zhǔn)確的坐標(biāo)值后，就會(huì)自動(dòng)抓取物料填充到對(duì)應(yīng)的位置[13-15]。

3 控制系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

基于包裝生產(chǎn)線(xiàn)視覺(jué)上料控制系統(tǒng)的結(jié)構(gòu)，見(jiàn)圖2。該控制系統(tǒng)采用工控機(jī)作為總控制器，處理主邏輯流程。該工控機(jī)配有多個(gè)I/O 模塊、RS232 和RS485通信模塊、2 個(gè)以太網(wǎng)接口以及工業(yè)交換機(jī)等，可與機(jī)器人控制器、視覺(jué)采集模塊、多個(gè)傳感器相連接，實(shí)現(xiàn)控制指令下發(fā)和傳感器信號(hào)接收等功能[16-17]。

圖2 控制系統(tǒng)結(jié)構(gòu)Fig.2 Structure of control system

文中選用ADT-8948A1 作為運(yùn)動(dòng)控制卡，該運(yùn)動(dòng)控制卡能夠?qū)崿F(xiàn)對(duì)機(jī)器人多個(gè)軸電機(jī)的同步運(yùn)動(dòng)控制。運(yùn)動(dòng)控制卡ADT-8948A1 是一種高性能、多軸伺服電機(jī)控制器，其內(nèi)核有2 片專(zhuān)用的運(yùn)動(dòng)控制芯片MCX312，該芯片不僅支持DSP 架構(gòu)，而且還擁有多種接口；該芯片具有編程簡(jiǎn)單、使用方便等特點(diǎn)。

文中伺服驅(qū)動(dòng)器為MIINASA5，該款伺服驅(qū)動(dòng)器具有較高的定位精度，且擁有較強(qiáng)的抗干擾能力，該款伺服驅(qū)動(dòng)器同樣具備轉(zhuǎn)矩控制、速度控制以及位置控制3 種控制方式。通過(guò)該款伺服驅(qū)動(dòng)器可以實(shí)現(xiàn)機(jī)器人的高精度定位以及定位精度反饋，從而實(shí)現(xiàn)機(jī)器人的閉環(huán)自動(dòng)控制。

傳感器信號(hào)獲取模塊主要用于獲取機(jī)器人各軸位置，進(jìn)而判斷抓取執(zhí)行末端的具體位置。視覺(jué)采集控制包括工業(yè)相機(jī)、圖像采集卡以及視覺(jué)采集模塊，工業(yè)相機(jī)選用高分辨率、大視域、快速響應(yīng)類(lèi)抗干擾相機(jī)。

人機(jī)界面為常見(jiàn)的觸摸屏。

包裝生產(chǎn)線(xiàn)視覺(jué)上料流程可以描述如下。

1）備用物料到位，由機(jī)器人通過(guò)視覺(jué)標(biāo)定確定備用物料位置并存儲(chǔ)其坐標(biāo)，便于以后使用。

2）送料裝置正常運(yùn)轉(zhuǎn)，借助機(jī)器人末端執(zhí)行器的大視角工業(yè)相機(jī)采集送料裝置圖像。

3）通過(guò)圖像處理判斷當(dāng)前物料是否完整或缺料。

4）如果物料殘缺或缺料，則執(zhí)行剔除操作，通過(guò)視覺(jué)標(biāo)定獲取目標(biāo)位置坐標(biāo)并傳送至機(jī)器人，機(jī)器人根據(jù)物料坐標(biāo)和目標(biāo)位置坐標(biāo)實(shí)現(xiàn)抓取、補(bǔ)料等操作。

4 實(shí)驗(yàn)測(cè)試

為了驗(yàn)證該系統(tǒng)的性能，進(jìn)行了以下幾個(gè)方面的測(cè)試，其測(cè)試內(nèi)容主要包括定位精度、抓取速度以及填料成功率。

搭建前文所述控制系統(tǒng)并將其移植到某廠(chǎng)包裝生產(chǎn)線(xiàn)，見(jiàn)圖3。機(jī)器人連續(xù)工作1 h，傳送速度分別設(shè)定為30、40、50、60、70、80、90、100、150、200 mm/s，每個(gè)傳送速度下隨機(jī)抽取100 個(gè)樣本，計(jì)算定位精度并取平均值。首先，設(shè)定理論坐標(biāo)值并存儲(chǔ)到計(jì)算機(jī)；然后，根據(jù)設(shè)定值和反饋值之差生產(chǎn)控制信號(hào)并將其傳送至機(jī)器人控制器；接著，驅(qū)動(dòng)機(jī)器人完成相應(yīng)動(dòng)作；最后，記錄機(jī)械手實(shí)際位置，具體結(jié)果見(jiàn)表1。

圖3 實(shí)驗(yàn)裝置Fig.3 Experimental device

由表1 可以看出，隨著傳送帶速度增加，定位精度雖有下降，但是定位精度仍然很高，最大絕對(duì)誤差只有0.7 mm，說(shuō)明所述視覺(jué)上料控制系統(tǒng)具有較高的定位精度。

表1 實(shí)驗(yàn)結(jié)果Tab.1 Experimental results

在抓取速度方面，受益于工業(yè)相機(jī)和控制系統(tǒng)的快速響應(yīng)能力，機(jī)器人完全可以適應(yīng)傳送帶的高速度，基本不會(huì)出現(xiàn)漏抓、誤抓的情況。實(shí)驗(yàn)表明，采用文中所述控制系統(tǒng)傳送帶速度可以達(dá)到220 mm/s。

在填料成功率方面，當(dāng)傳送帶速度低于100 mm/s時(shí)，可以確保填料成功率為100%，當(dāng)傳送帶速度增加，偶爾會(huì)出現(xiàn)誤抓或漏抓情況，但是整體成功率仍可以達(dá)到99.5%以上。

綜上所述，包裝生產(chǎn)線(xiàn)視覺(jué)上料控制系統(tǒng)具有響應(yīng)速度快、定位精度高、填料成功率高等優(yōu)點(diǎn)，可滿(mǎn)足包裝過(guò)程高速、高精度要求。

5 結(jié)語(yǔ)

以包裝生產(chǎn)線(xiàn)上料過(guò)程為研究對(duì)象，針對(duì)送料裝置可能存在缺料或物料不完整等情況，設(shè)計(jì)了一種基于視覺(jué)的自動(dòng)機(jī)器上料系統(tǒng)。文中著重論述了機(jī)器視覺(jué)標(biāo)定的整個(gè)過(guò)程和控制系統(tǒng)的設(shè)計(jì)方法。對(duì)空料、物料不完整等情況，控制系統(tǒng)會(huì)自動(dòng)剔除并抓取備用物料進(jìn)行填補(bǔ)。根據(jù)實(shí)驗(yàn)得出的結(jié)果可知，該系統(tǒng)具有較高精度的定位、響應(yīng)速度快等特點(diǎn)，可滿(mǎn)足包裝生產(chǎn)線(xiàn)的控制要求。下一步，可從物料形狀識(shí)別、不同缺陷判定等方面入手，進(jìn)一步增加系統(tǒng)功能，提高智能化程度。