摘 要：針對機(jī)器人視覺分揀程序調(diào)試效率和安全性問題，本文設(shè)計了一種基于RobotStudio、In-Sight Explore和C#的虛擬仿真系統(tǒng)。系統(tǒng)利用RobotStudio導(dǎo)入真實(shí)工作站模型，結(jié)合PC SDK和Smart組件開發(fā)了自動截圖應(yīng)用程序，使機(jī)器人視角能夠快速切換和截圖；使用In-Sight Explore軟件進(jìn)行視覺識別和定位。系統(tǒng)完整模擬了相機(jī)拍照、視覺識別定位和機(jī)器人分揀的全流程。試驗(yàn)結(jié)果表明，仿真調(diào)試后的程序經(jīng)過簡單設(shè)置就可以在真實(shí)機(jī)器人上運(yùn)行，提高了調(diào)試效率和安全性，縮短了真實(shí)機(jī)器人的調(diào)試時間，降低了碰撞風(fēng)險，對提升機(jī)器人視覺引導(dǎo)分揀技術(shù)的應(yīng)用水平具有重要意義。

關(guān)鍵詞：機(jī)器人視覺；虛擬仿真；工業(yè)機(jī)器人；RobotStudio仿真；康耐視相機(jī)

中圖分類號：TP 241 " " " " " " 文獻(xiàn)標(biāo)志碼：A

工業(yè)機(jī)器人是制造業(yè)在轉(zhuǎn)型升級過程中不可替代的重要裝備。ABB IRB 360工業(yè)機(jī)器人具有質(zhì)量輕、體積小和速度快等優(yōu)點(diǎn)，其廣泛應(yīng)用于食品、電子和藥品等行業(yè)的物料分揀中[1]。機(jī)器人視覺引導(dǎo)技術(shù)為分揀機(jī)器人提供了視覺能力，極大程度地提高了機(jī)器人分揀物料的靈活性[2]。在機(jī)器人視覺引導(dǎo)分揀的過程中，相機(jī)自動實(shí)時計算產(chǎn)生機(jī)器人移動目標(biāo)點(diǎn)的坐標(biāo)，與示教編程相比，增加了機(jī)器人調(diào)試撞機(jī)的風(fēng)險，因此本文針對該技術(shù)進(jìn)行虛擬仿真研究[3]。在嵌入式視覺系統(tǒng)中，多數(shù)文獻(xiàn)只著重于整個流程中的單個環(huán)節(jié)，例如對機(jī)器人運(yùn)行等環(huán)節(jié)進(jìn)行仿真演示，很少提及相機(jī)照片采集的仿真，也缺乏對仿真程序應(yīng)用于真機(jī)的運(yùn)行效果的分析。因此本文根據(jù)真實(shí)機(jī)器人工作站模型[4]搭建仿真環(huán)境，結(jié)合RobotStudio和In-Sight Explore仿真軟件，利用C#設(shè)計機(jī)器人視覺引導(dǎo)虛擬仿真平臺，完成相機(jī)拍照、視覺識別并定位以及機(jī)器人分揀的全流程仿真。進(jìn)行簡單設(shè)置后，仿真程序能夠在真實(shí)工作站中運(yùn)行，提高了仿真的真實(shí)度和應(yīng)用價值。

1 虛擬仿真系統(tǒng)總體方案

為保障在仿真系統(tǒng)中運(yùn)行的程序能夠直接應(yīng)用于真實(shí)工作站中，須保持仿真系統(tǒng)和真實(shí)工作站的系統(tǒng)工作流程和工作原理一致。

1.1 真實(shí)機(jī)器人工作站系統(tǒng)組成

真實(shí)機(jī)器人視覺引導(dǎo)分揀工作站系統(tǒng)組成如圖1所示。在工作站中包括3個控制器：機(jī)器人、智能相機(jī)以及PLC。機(jī)器人位于工作站中央，使用ABB IRB360-1/0.8型號Delta機(jī)器人執(zhí)行分揀任務(wù)。智能相機(jī)安裝在工作區(qū)域上方，選擇康耐視8402 視覺傳感器，分辨率為1 600 ppi×1 200 ppi，其作用是拍照并識別傳送帶中藥丸的位置信息和顏色信息。PLC控制傳送帶和振動盤，實(shí)現(xiàn)藥丸自動上料和傳輸?shù)裙δ?。由于機(jī)器人直接與相機(jī)通信，PLC與機(jī)器人視覺引導(dǎo)無關(guān)，因此本文不介紹PLC的選型和仿真。相機(jī)程序和機(jī)器人Rapid程序之間采用TCP通信，其工作流程如圖2所示。

智能相機(jī)使用康耐視In-Sight Explore編程環(huán)境，其工作流程包括以下5個步驟。1）初始化設(shè)置。使用9點(diǎn)標(biāo)定法，建立像素坐標(biāo)與機(jī)器坐標(biāo)之間的轉(zhuǎn)換關(guān)系，供后續(xù)計算機(jī)器坐標(biāo)；對4種藥丸的顏色進(jìn)行學(xué)習(xí)，建立顏色庫，供后續(xù)提取藥丸顏色。2）圖片采集和圖片預(yù)處理。相機(jī)建立TCP服務(wù)器，監(jiān)聽相機(jī)客戶端發(fā)送的拍照指令，一旦接收到相機(jī)的拍照指令，就立即自動拍照，并對采集的圖片進(jìn)行白平衡和灰度預(yù)處理。3）計算機(jī)器坐標(biāo)。利用特征提取、特征匹配完成藥丸識別，并提取藥丸的像素坐標(biāo)，再采用9點(diǎn)標(biāo)定法得到的坐標(biāo)轉(zhuǎn)換矩陣將像素坐標(biāo)轉(zhuǎn)換為機(jī)器人的機(jī)器坐標(biāo)。4）提取藥丸顏色信息。將圖片中識別的藥丸顏色與顏色學(xué)習(xí)中建立的顏色庫進(jìn)行比較，提取藥丸顏色信息。5）TCP數(shù)據(jù)傳輸。利用TCP通信以字符串的形式將得到的藥丸的機(jī)器坐標(biāo)和顏色坐標(biāo)傳輸給機(jī)器人。

工業(yè)機(jī)器人的Rapid程序的工作流程包括以下4個步驟。1）與相機(jī)進(jìn)行通信。建立Socket客戶端，發(fā)送拍照指令給相機(jī)服務(wù)器，觸發(fā)相機(jī)拍照，接收從相機(jī)端傳來的字符串?dāng)?shù)據(jù)。2）數(shù)據(jù)提取。從接收的字符串中提取坐標(biāo)信息和顏色信息，并存儲到機(jī)器人的程序變量中。3）機(jī)器人抓取藥丸。機(jī)器人根據(jù)提取的藥丸坐標(biāo)信息完成抓取藥丸動作。4）機(jī)器人放置藥丸。機(jī)器人根據(jù)提取的顏色信息將藥丸放置在對應(yīng)顏色的輸出傳送帶上。

1.2 虛擬仿真平臺總體設(shè)計

根據(jù)真實(shí)工作站的結(jié)構(gòu)，整個仿真平臺由RobotStudio軟件，In-Sight Explorer軟件以及C#應(yīng)用程序組成。其中ABB機(jī)器人的離線編程軟件RobotStudio具有仿真功能，能夠搭建機(jī)器人工作站模型，并對機(jī)器人Rapid 程序進(jìn)行虛擬仿真，軟件中的Smart組件可以完成工具吸盤的拾取和放置[5]、藥丸的隨機(jī)擺放以及視圖角度切換等動作的仿真?？的鸵旾n-Sight Explorer軟件是配置和調(diào)試智能相機(jī)的工具，具有仿真功能，可以讀取離線圖片，進(jìn)行視覺調(diào)試和仿真。需要實(shí)現(xiàn)物料自動生成、吸盤動態(tài)抓取以及自動對圖片進(jìn)行采集和預(yù)處理等功能，來完成RobotStudio與In-Sight Explorer軟件的協(xié)調(diào)控制。為了解決上述問題，采用C#應(yīng)用程序連接RobotStudio和In-Sight軟件，對機(jī)器人、相機(jī)和應(yīng)用程序之間的數(shù)據(jù)進(jìn)行傳輸和協(xié)調(diào)，完成全流程的視覺引導(dǎo)虛擬仿真。

視覺引導(dǎo)虛擬調(diào)試平臺總體架構(gòu)如圖3所示，虛擬仿真平臺工作流程如下。1）自動生成隨機(jī)擺放的藥丸。利用RobotStudio中的Smart組件模擬在實(shí)際生產(chǎn)過程中藥丸的隨機(jī)分布，在輸入傳送帶相機(jī)視角自動生成隨機(jī)擺放的藥丸。2）視角切換與截圖。利用RobotStudio中的Smart組件自動切換工作站模型視角。當(dāng)需要模擬相機(jī)拍照時，C#應(yīng)用程序調(diào)用PC SDK提供的API，控制RobotStudio中的Smart組件，使其將視角切換到指定的俯視截圖角度。3）自動截圖與圖片處理。當(dāng)RobotStudio完成視角切換后，C#應(yīng)用程序自動對屏幕指定區(qū)域進(jìn)行截圖。對截圖得到的圖像進(jìn)行處理，轉(zhuǎn)換為與康耐視8402相機(jī)1 600 ppi×1 200 ppi分辨率一致的彩色圖像，并存儲于計算機(jī)的指定路徑中，以供In-Sight Explorer軟件讀取。4）視覺處理與數(shù)據(jù)傳輸。In-Sight Explorer 軟件讀取存儲的截圖，采用相機(jī)配置的視覺算法對藥丸進(jìn)行識別，提取藥丸的位置坐標(biāo)和顏色信息。利用TCP/IP通信將提取的信息以字符串的形式發(fā)送至RobotStudio中的虛擬控制器。5） 機(jī)器人接收數(shù)據(jù)并執(zhí)行動作。RobotStudio中的Rapid程序接收來自相機(jī)的數(shù)據(jù)，解析字符串，提取藥丸的位置信息和顏色信息。機(jī)器人根據(jù)接收的坐標(biāo)信息在輸入傳送帶拾取對應(yīng)的藥丸，再根據(jù)顏色信息將藥丸放置在對應(yīng)的輸出傳送帶上，使RobotStudio的Smart組件設(shè)計的藥丸拾取放置動態(tài)效果更好。

2 RobotStudio系統(tǒng)軟件設(shè)計

在虛擬仿真平臺中RobotStudio系統(tǒng)軟件設(shè)計的任務(wù)主要是搭建機(jī)器人虛擬控制器和工作站仿真模型以及設(shè)計Smart組件。

2.1 工作站仿真模型搭建

在RobotStudio中搭建工作站仿真模型，具體步驟如下。1） 導(dǎo)入機(jī)器人模型。選擇 ABB IRB360-1/0.8型號的Delta機(jī)器人，在RobotStudio中導(dǎo)入其3D模型。2）創(chuàng)建虛擬控制器。使用RobotStudio“添加站和機(jī)器人”功能創(chuàng)建虛擬控制器。在創(chuàng)建過程中，需要勾選“709-1 DeviceNet Master/Slave”和“616-1 PC Interface”選項(xiàng)，以支持與相機(jī)進(jìn)行 TCP/IP 通信。3）添加外圍設(shè)備。將傳送帶、振動盤和藥丸等模型導(dǎo)入工作站。

2.2 Smart組件設(shè)計

為實(shí)現(xiàn)機(jī)器人藥丸隨機(jī)擺放、吸盤拾取放置以及視角的自動切換等功能，需要設(shè)計和配置Smart組件。

2.2.1 藥丸隨機(jī)擺放組件

為了模擬在實(shí)際生產(chǎn)過程中藥丸的隨機(jī)分布，本文設(shè)計SC_RandomPills的Smart組件，具體技術(shù)細(xì)節(jié)如下。1）生成隨機(jī)位置。調(diào)用Random控件分別在相機(jī)視野范圍內(nèi)隨機(jī)生成藥丸的X、Y坐標(biāo)。2）產(chǎn)生藥丸物料源。使用Source控件產(chǎn)生1個藥丸的拷貝。藥丸的位置屬性Position來源于生成的隨機(jī)位置X、Y坐標(biāo)。Source控件采用事件觸發(fā)機(jī)制，機(jī)器人每完成一次搬運(yùn)就觸發(fā)一次Source控件，生成一次藥丸。

2.2.2 吸盤拾取放置組件

為了模擬機(jī)器人的吸盤抓取和放置動作，設(shè)計了SC_VacuumGripper的Smart組件，具體技術(shù)細(xì)節(jié)如下。1）檢測藥丸。在吸盤中添加1個線傳感器控件LineSensor，來感知藥丸是否與吸盤接觸。2） 拾取和放置動作。利用控件Attacher和Detacher完成拾取動作和釋放動作，并將該控件的觸發(fā)信號與機(jī)器人Rapid程序中的真空開啟輸出信號do_Grip關(guān)聯(lián)。當(dāng)do_Grip接通時，如果線傳感器中感知有藥丸，那么調(diào)用Attacher，將藥丸附著在吸盤上，隨吸盤一起移動；當(dāng)do_Grip斷開時，如果線傳感器中感知有藥丸，那么調(diào)用Detacher，解除藥丸與吸盤的附著關(guān)系，藥丸停留在原地，不隨吸盤移動。

2.2.3 視角切換組件

設(shè)置視角切換的邏輯，在接收到C#應(yīng)用程序的觸發(fā)信號后，自動將工作站由運(yùn)行視角（如圖4（b）所示）切換至預(yù)設(shè)的俯視截圖角度（如圖4（a）所示）。Smart組件SC_ScreenShot技術(shù)細(xì)節(jié)如下。1）創(chuàng)建2個視角，分別為“視角_截圖”和“視角_運(yùn)行”。2）視角切換。監(jiān)聽來自C#程序的布爾型信號diMoveView1，當(dāng)信號為True時，調(diào)用MoveToViewpoint組件切換到“視角_截圖”，以保證截圖的統(tǒng)一性。視角切換完成后，發(fā)送布爾型信號do_View1Done至C#程序，通知C#可以進(jìn)行截圖。當(dāng)監(jiān)聽到來自C#程序的diMoveView1由1變?yōu)?時，說明C#已完成截圖，調(diào)用MoveToViewpoint組件切換至“視角_運(yùn)行”。

3 C#程序設(shè)計

利用C#應(yīng)用程序連接機(jī)器人仿真軟件RobotStudio軟件和相機(jī)仿真軟件In-Sight，利用ABB機(jī)器人提供的PC SDK控制RobotStudio進(jìn)行視角轉(zhuǎn)換，使C#應(yīng)用程序?qū)崿F(xiàn)自動截圖以及圖片處理等功能，以供In-Sight軟件讀取。

使用C#編程語言建立與RobotStudio中虛擬控制器的連接，需要在ABB官網(wǎng)下載并安裝對應(yīng)的PC SDK安裝包[6]，在Visual Studio解決方案中添加引用ABB.Robotics.Controllers.PC.dll。

C#應(yīng)用程序流程如圖5所示，C#應(yīng)用程序使用ABB.Robotics.Controllers類庫指令掃描并登錄ABB機(jī)器人系統(tǒng)，獲得機(jī)器人虛擬控制器的控制權(quán)。讀取與前述機(jī)器人Smart組件相關(guān)的機(jī)器人I/O信號，控制機(jī)器人I/O信號do_View1Done啟動Smart組件轉(zhuǎn)換為截圖視角。檢測到機(jī)器人完成截圖視角轉(zhuǎn)換后使用System.Drawing類庫指令在指定屏幕區(qū)域內(nèi)自動截圖，將獲得的圖片進(jìn)行處理，分辨率轉(zhuǎn)換為與真實(shí)康耐視8402相機(jī)規(guī)格一致的1 600 ppi×1 200 ppi，再將圖片存儲至指定目錄中，該目錄須與In-Sight Explorer軟件讀取離線圖像設(shè)定的目錄一致。將相關(guān)機(jī)器人信號do_MoveView1清零，使機(jī)器人回到正常運(yùn)行視角，釋放機(jī)器人虛擬控制器的控制權(quán)，結(jié)束程序。

4 系統(tǒng)虛擬仿真測試

4.1 系統(tǒng)仿真運(yùn)行

在開發(fā)好的RobotStudio工作站中導(dǎo)入機(jī)器人Rapid程序，在In-Sight Explore軟件中打開相機(jī)程序，設(shè)置讀取離線圖片的路徑，啟動C#應(yīng)用程序，進(jìn)行In-Sight Explore軟件聯(lián)機(jī)，啟動RobotStudio的仿真播放，完成隨機(jī)藥丸的機(jī)器人搬運(yùn)仿真動作。

4.2 真機(jī)測試效果

將仿真調(diào)試好的機(jī)器人Rapid程序和相機(jī)程序部署至真實(shí)的機(jī)器人和相機(jī)上，須進(jìn)行以下設(shè)置。1）IP地址配置。將機(jī)器人和相機(jī)的IP地址設(shè)置為實(shí)際網(wǎng)絡(luò)中的地址，保證雙方可以通信。2）坐標(biāo)校準(zhǔn)。對相機(jī)與真實(shí)機(jī)器人進(jìn)行手眼標(biāo)定，校正坐標(biāo)系之間的關(guān)系。3）示教點(diǎn)調(diào)整。仿真模型與實(shí)際設(shè)備可能存在偏差，因此需要在機(jī)器人中重新示教關(guān)鍵點(diǎn)的坐標(biāo)。4）顏色參數(shù)調(diào)整。在相機(jī)程序中，根據(jù)實(shí)際藥丸的顏色對顏色識別參數(shù)進(jìn)行調(diào)整。測試結(jié)果表明，機(jī)器人能夠準(zhǔn)確識別并分揀不同顏色的藥丸，驗(yàn)證了系統(tǒng)的有效性。

5 結(jié)語

本文詳細(xì)介紹了基于RobotStudio仿真軟件進(jìn)行機(jī)器人視覺引導(dǎo)系統(tǒng)的設(shè)計。利用開發(fā)定制的Smart組件（例如藥丸隨機(jī)擺放、吸盤拾取放置和視角切換）使仿真模型功能更強(qiáng)。利用PC SDK和C#語言開發(fā)了自動截圖和數(shù)據(jù)處理應(yīng)用程序，完成了與仿真環(huán)境的交互。經(jīng)過實(shí)際部署和測試，驗(yàn)證了系統(tǒng)的有效性。該系統(tǒng)提高了程序開發(fā)和調(diào)試的效率，縮短了使用真實(shí)機(jī)器人調(diào)試的時間，降低了風(fēng)險，對工業(yè)機(jī)器人系統(tǒng)的開發(fā)具有重要的參考價值。

參考文獻(xiàn)

[1]葉暉，管小清.工業(yè)機(jī)器人實(shí)操與應(yīng)用技巧[M].北京：機(jī)械工業(yè)出版社，2021.

[2]王成軍，韋志文，嚴(yán)晨.基于機(jī)器視覺技術(shù)的分揀機(jī)器人研究綜述[J].科學(xué)技術(shù)與工程，2022，22（3）：893-902.

[3]李哲，張小剛，王耀南，等.機(jī)器人視覺引導(dǎo)運(yùn)動控制虛擬仿真平臺設(shè)計[J].計算機(jī)仿真，2023，40（7）：436-439.

[4]陳芳.基于視覺和輸送鏈跟蹤的機(jī)器人分揀系統(tǒng)設(shè)計[J].深圳職業(yè)技術(shù)學(xué)院學(xué)報，2023，22（4）：95-102.

[5]郝瑞林，周利杰，蔡國慶，等.基于機(jī)器視覺與RobotStudio

的餅干包裝生產(chǎn)線仿真[J].包裝與食品機(jī)械，2022，40（1）：64-69.

[6]陳瞭，肖步崧，肖輝．ABB工業(yè)機(jī)器人二次開發(fā)與應(yīng)用[M].北京：電子工業(yè)出版社，2021．

第一作者：陳芳（1977－），女，漢族，湖南省桃源縣人，深圳職業(yè)技術(shù)大學(xué)機(jī)電工程學(xué)院副教授，主要研究方向?yàn)闄C(jī)電一體化、電氣自動化技術(shù)等。

電子郵箱：chenfangsz@szpu.edu.cn。

通信作者：付強(qiáng)（1986－），男，漢族，陜西省略陽縣人，深圳職業(yè)技術(shù)大學(xué)機(jī)電工程學(xué)院講師，主要研究方向?yàn)樘摂M儀器測控技術(shù)、電氣自動化技術(shù)等。

電子郵箱：fuqiang@szpu.edu.cn。