呂張成，張建業(yè)，陳哲鑰，劉浩

(1.天津工業(yè)大學機械工程學院，天津 300387；2.天津工業(yè)大學天津市現(xiàn)代機電裝備技術重點實驗室，天津 300387)

0 前言

現(xiàn)在工廠使用的機械臂多以人工示教為主，控制機械臂以固定的流程和位置進行作業(yè)。這種方式存在累計誤差，長時間使用可能造成機器人抓取位置發(fā)生偏差。隨著機器視覺的發(fā)展，使得機器人的控制方式發(fā)生了改變。機器視覺的原理是將攝像頭采集到的圖像進行實時處理，將處理結果作為控制機器人抓取的依據(jù)，其主要的處理過程包含：圖像預處理、目標位置檢測、目標空間三維坐標計算和抓取位置標定等。

文獻[1-2]中介紹了傳統(tǒng)的視覺抓取方案，需要人為進行特征圖的提取和輸入，受主觀影響較大。傳統(tǒng)的視覺抓取局限很多，往往只能針對單一形狀的目標進行算法設計，與生產(chǎn)中多類別、形狀多樣的情況不相匹配。同時，人工提取的特征受外界環(huán)境的影響，外部光照、擺放位置、拍攝角度等原因都會造成機器人抓取的失敗。深度學習在2006年被HINTON和SALAKHUTDINOV[3]提出之后，基于人為特征提取的圖像處理算法的優(yōu)勢越來越小。傳統(tǒng)的圖像處理大部分工作在人工提取目標特征的過程，特征提取的好壞決定了算法的好壞。深度學習訓練的本質就是圖像特征提取的過程，通過大量的數(shù)據(jù)進行模型學習提取特征，大大減小人為特征提取帶來的影響以及解決特殊場景特征對比困難的問題。文獻[4]針對RGB-D圖像進行處理并提出了一種兩步級聯(lián)的檢測系統(tǒng)，獲得了很好的實驗效果。文獻[5]介紹了一種基于點云的位姿估算法，在3D神經(jīng)網(wǎng)絡PointNet中進行位置估算，但是實際應用受到物體遮擋的影響。結合深度學習和機械臂進行分類抓取的研究非常具有實際意義和使用價值，它可以對不同種類、不同尺寸的物品進行準確的處理。此外，利用機械臂對工廠零件進行分揀以代替人工作業(yè)，對于降低工作強度、提高工作效率和增加工作時長具有重要的意義。

針對上述問題，本文作者提出一種基于深度學習的多目標工業(yè)零件抓取位置檢測算法，在零件分類、剔除和篩選方面具有很好的實用性。在目標檢測模塊使用現(xiàn)有的YOLOv5l深度神經(jīng)網(wǎng)絡算法進行訓練，提取工業(yè)零件特征。YOLOv5l采用端到端的處理方式，能夠實現(xiàn)實時處理任務的目標，完成工業(yè)零件目標識別。將YOLOv5l處理好的目標識別結果傳入改進的生成抓取卷積網(wǎng)絡(GG-CNN)進行最佳抓取位置的檢測。在GG-CNN網(wǎng)絡的基礎上進行改進，添加4個殘差模塊進行特征的多次平層提取，提高抓取位置檢測的準確性。當目標被檢測識別之后，進行最佳抓取位置的識別，配合使用深度相機使得系統(tǒng)可以獲取目標物體抓取位置的三維坐標。最后基于ROS系統(tǒng)搭建ABBIRB120機器人的抓取實驗平臺，其中各個模塊之間通過ROS節(jié)點進行通信，利用ROS Master管理所有的變量和數(shù)據(jù)。

1 目標檢測

YOLOv5算法是CNN卷積網(wǎng)絡的一種變種，算法本身去除了卷積神經(jīng)網(wǎng)絡的池化層和全連接層，整個運算過程采用卷積進行計算。通過對每個階段圖片進行分割形成感受野，分階段進行大、中、小目標檢測。在算法內部形成13像素×13像素、26像素×26像素、52像素×52像素3種不同的預選框，其中13像素×13像素形成的大感受野進行大目標的檢測，26像素×26像素和52像素×52像素分別進行中等目標和小目標進行檢測。YOLOv5還采用One-stage的方式極大地提高算法的精度和識別速度[6]。

1.1 目標檢測模塊

YOLOv5網(wǎng)絡結構由輸入端、Backbone、Neck、Prediction四部分組成，如圖1所示。輸入端采用Mosaic進行數(shù)據(jù)增強，提高對小目標的檢測能力[7]。運用自適應錨框計算和自適應圖片播放提高神經(jīng)網(wǎng)絡的檢測速度，并對原始圖片進行標準尺寸處理。Backbone部分包含F(xiàn)ocus結構和CSP結構，其中Focus結構主要用于切片操作，通過3層下采樣卷積的改進，不僅速度有所提高而且減少了數(shù)據(jù)信息的丟失。文中選用的YOLOv5l模型經(jīng)過Focus結構和第一次卷積操作產(chǎn)生的特征圖大小為304像素×304像素×64像素，第二個卷積操作產(chǎn)生的特征圖大小為152像素×152像素×128像素，第三次卷積操作產(chǎn)生的特征圖大小為76像素×76像素×256像素，第四次卷積操作產(chǎn)生的特征圖大小為38像素×38像素×512像素，第五次卷積操作產(chǎn)生的特征圖大小為19像素×19像素×1 280像素。在YOLOv5中設計了2種不同的CSP結構，其中CSP1_X用于Backbone，CSP2_X用于Neck模塊中[8]。CSP結構借鑒了CSPNet的設計思路，主要將基礎層的特征映射劃分為兩部分，然后通過跨階段層次機構合并的方式優(yōu)化梯度信息重復的問題，減少計算量。為了更好地進行特征融合，Neck模塊采用FPN+PAN結構，結合CSP2結構增強特征融合的效果[9]。輸出端則使用CIOU_Loss作為Bounding box的損失函數(shù)，以及DIOU_nms作為預測框的篩選，最終輸出目標圖像。系統(tǒng)結構及算法流程如圖2所示。

圖1 YOLOv5算法模型結構Fig.1 YOLOv5 algorithm model structure

圖2 系統(tǒng)結構及算法流程Fig.2 System structure and algorithm flow

1.2 目標檢測模塊損失函數(shù)計算

在目標檢測部分，采用CIOU_Loss的損失函數(shù)計算各預測框與實際標注框之間的差距，用于模型不斷學習和更新權重[10]。與最初的IOU計算方法相比，CIOU的計算考慮到了重疊面積、中心點距離和長寬比，計算得到的預測框和真實的標注框之間的差距使得模型權重更新更為準確[11]。DIOU_nms是在多個預測框之間進行選擇，比較預測框之間的概率大小，選取數(shù)值最大的預測框。此部分NMS采用DIOU為主的檢測標準，當多個目標重合時也能更準確地檢測出全部目標物體。

(1)

(2)

(3)

其中：D2表示預測框與標準框之間的歐氏距離；DC表示最小對角矩陣的對角線距離；ν為引入的預測框與標注框之間的長寬比系數(shù)；Wgt、hgt分別為標注框的長、寬；WP、hP分別為檢測框的長、寬。

2 抓取位置檢測

此部分在GG-CNN神經(jīng)網(wǎng)絡的基礎上構建了三層卷積、4個殘差和3個卷積轉置網(wǎng)絡。采用n通道輸入圖像信息并生成像素級抓取，通過三層卷積層的向下采樣提取特征卷積層從輸入圖像中提取特征；然后在卷積層的輸出中引入4個殘差層，使用殘差層能夠跳過全連接以更好地學習標識函數(shù)。圖像通過卷積和殘差層后，其大小減小到56像素×56像素，為了在卷積運算后更容易解釋和保留圖像的空間特征，使用卷積轉置運算對圖像進行上采樣。因此，在輸出端輸出與輸入端大小相同的圖像。

2.1 改進的網(wǎng)絡結構

(4)

經(jīng)過四層殘差層后，隨著層次的遞增，特征的提取精度提高，并且解決了深度網(wǎng)絡造成的梯度消失問題。殘差網(wǎng)絡會跳過全連接的方式，實現(xiàn)權重信號的跨層傳輸，改善梯度消失的狀況，解決網(wǎng)絡無法實現(xiàn)信息反向傳播的問題。殘差網(wǎng)絡如圖3所示。改進的GG-CNN算法模型結構如圖4所示。

圖3 殘差模型結構Fig.3 Residual model structure

圖4 改進的GG-CNN算法模型結構Fig.4 Improved GG-CNN algorithm model structure

2.2 抓取位置檢測模塊損失函數(shù)計算

在抓取框檢測階段采用了全新的矩陣框度量方式，與傳統(tǒng)的五參數(shù)矩陣框表示方法相比，新的矩陣框將無用的height參數(shù)取代為一個權重，用來比較預測抓取框的權重大小，并且增加了抓取框的中心位置的z方向坐標[12]。表達式如下：

Pf=(x，y，z，θf，Wf，Q)

(5)

其中：x、y為抓取框的中心位置；z為抓取深度；θf是相機相對于Z軸需要轉換的角度；Wf為抓取的寬度；Q為此抓取框的權重。

采用齊次坐標變換矩陣，將圖形上的坐標轉換為末端執(zhí)行器的坐標位置，在世界坐標下控制機械臂抓取目標。

Pr=T2(T1(Pf))

(6)

其中：T1為圖像的坐標信息轉換為相機的三維坐標信息；T2為在世界坐標系中將相機的坐標最終轉化為末端執(zhí)行器的坐標[13]。

此部分的神經(jīng)網(wǎng)絡采用Huber損失函數(shù)來進行權重優(yōu)化。Huber函數(shù)是MAE函數(shù)和MSE函數(shù)的綜合體，使Huber函數(shù)在魯棒穩(wěn)定性上有了很高的提升。使用Huber Loss作為激活函數(shù)，對離群點有很好的抗干擾性，如公式(7)所示[14]：

L(Pfk，Plk)=

(7)

其中：Pfk代表預測框信息；Plk代表標注框的信息。

3 實驗結果與分析

3.1 目標檢測

文中對模型訓練采用的是Ubuntu系統(tǒng)，配置參數(shù)為：GPU：GTX2070，CPU：inteli9 10980XE。模型訓練設置超參數(shù)：基礎學習率base_lr為0.001；學習率衰減步長為60 000；學習率的變化比率Gamma為0.01；訓練迭代次數(shù)為50 000。

目標檢測數(shù)據(jù)集采用自標注的零件數(shù)據(jù)圖，通過數(shù)據(jù)增強的手段制作了3 000張數(shù)據(jù)圖，其中大目標包含30%，中目標包含30%，小目標包含40%。目標檢測數(shù)據(jù)集分為20個類目，包含工業(yè)中常見零件，其中20種分類分別命名為：optic-axis光軸、pedestal支撐座、belt pulley同步帶輪、coupling聯(lián)軸器、bearing軸承、pin銷釘、gimbal-joint萬向節(jié)、fixed clip固定夾、bolt螺栓、nut螺母、gasket墊片、trapezoidal-nut梯形螺母、connector連接件、rectangular-piece直角件、connecting-plate連接板、gear-belt齒輪帶、key鍵、aluminium-product鋁型材、linear-bearing直線軸承、flange法蘭。

經(jīng)實驗證明，在使用YOLOv5l模型和CIOU_Loss損失函數(shù)計算損失值的情況下，多目標重合時模型能夠很好地被識別出來。其效果如圖5所示。

綜合比較YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x不同深度和網(wǎng)絡寬度神經(jīng)網(wǎng)絡的識別時間和計算效果，選取YOLOv5l作為文中算法的識別模型。對比結果如表1所示。

表1 YOLOv5不同模型在數(shù)據(jù)上識別結果Tab.1 Recognition results of YOLOv5 different models on data

3.2 抓取位置檢測

最佳抓取位置運用更加輕量的網(wǎng)絡結構，并與2019年的GG-CNN網(wǎng)絡進行對比，在速度和準確度上有了較大的提升。文中在GG-CNN的基礎上加入了殘差結構，使得特征提取更加細致，對于小目標的識別和框取有著更高的準確性。實驗表明：改進后的神經(jīng)網(wǎng)絡比GG-CNN網(wǎng)絡在抓取精度上提高了15%，在計算時間只是增加了5%左右，更好地提高了時效性。該方法以目標物體的多模態(tài)特征作為訓練數(shù)據(jù)監(jiān)督訓練階段，使用反向傳播算法對整個網(wǎng)絡進行監(jiān)督微調。此部分數(shù)據(jù)集使用的是Cornell抓取數(shù)據(jù)集以及Jacquard數(shù)據(jù)集。Jacquard數(shù)據(jù)集有240種不同的標本，共計1 336張圖片，在每種圖片上都標注了多個抓取位置；Cornell抓取數(shù)據(jù)集則包含了正負樣本用于對照。文中衡量標準為抓取點偏差小于5像素，抓取角度偏差小于30°，抓取寬度比小于0.8。相較于常用的預測框與標準框的貼合面積達到75%，預測框的抓取角度與標注框的抓取角度小于30%的衡量標準更加精確[15]。仿真實驗結果如圖6所示。

圖6 改進的GG-CNN多零件抓取結果Fig.6 Improved GG-CNN multi-part grasping result

對不同模型的訓練數(shù)據(jù)進行統(tǒng)計，分別對Cornell抓取數(shù)據(jù)集以及Jacquard抓取數(shù)據(jù)集上的結果進行分析，如表2所示。

表2 不同模型在抓取數(shù)據(jù)集上識別結果對比Tab.2 Comparison of recognition results of different models on the captured data set

3.3 零件抓取實驗檢測

實驗平臺的搭建用到的硬件包括計算機、ABBIRB120機器人實體、IRC5緊湊型控制柜、TP-Link路由器、攝像頭和多根超五類網(wǎng)線?；赗OS平臺進行系統(tǒng)搭建，建立平臺基礎[16]。在系統(tǒng)搭建中，TP-Link路由器是構建局域網(wǎng)的重要組成部分，通過TP-Link路由器的LAN口可以將計算機、IRC5緊湊型控制柜和機器人連接在一起，并且可以通過TP-Link路由器的WAN口連接互聯(lián)網(wǎng)，提供網(wǎng)絡服務，下載實驗平臺搭建所需要的依賴插件等必要的軟件。實驗平臺連接示意如圖7所示，抓取實驗過程如圖8-10所示。

圖7 實驗平臺搭建硬件串聯(lián)示意Fig.7 Experimental platform construction hardware series

圖8 相機獲取工業(yè)零件圖像信息Fig.8 Image information of industrial parts acquired by camera

圖9 工業(yè)零件抓取機器人實物Fig.9 Entity of industrial parts grabbing robot

圖10 抓取實驗過程Fig.10 Process of grabbing experiment：(a)obtain the image information；(b)grab the object；(c) move the object；(d)put in the specified location

4 結論

綜上所述，文中基于YOLOv5l神經(jīng)網(wǎng)絡和GG-CNN神經(jīng)網(wǎng)絡，提出了一種多目標物體分類和目標抓取位置檢測方案，增強機械臂在復雜場景抓取的魯棒性。對不同尺寸、不同種類的工業(yè)零件進行分類和抓取，通過實驗證明了目標檢測和抓取位置檢測算法的有效性。

隨著工業(yè)機器人學的發(fā)展和硬件設備水平的提升，更加復雜、智能的算法應用可以更精確地優(yōu)化此系統(tǒng)和控制模型。