機器視覺仿真設計

陳衛(wèi)國

摘 ?要：機器視覺技術在工業(yè)自動化領域應用廣泛，但機器視覺硬件成本較高，高校機器視覺實驗室存在設備臺套數不夠的問題，同時要找到一種開發(fā)模式，使得機械類學生在現有基礎知識儲備的基礎上，能夠開發(fā)機器視覺項目。為解決這些問題，該文以物體形狀識別和尺寸測量兩個案例，詳細介紹了康耐視智能相機In-Sight視覺開發(fā)軟件中Easybuilder和電子表格兩種仿真設計方法。使用該方法可以在沒有智能相機的情況下對視覺算法進行研究，緩解了硬件不足的問題，該設計方法不需大量編程，效果直觀、可視，應用步驟簡明，適合機械類學生應用。應用該方法在SKARB-12型工業(yè)機器人工作站中完成視覺導引，效果良好。

關鍵詞：機器視覺 ?智能相機 ?Easybuilder ?電子表格

中圖分類號：TP18 ? ? ? ? ?文獻標識碼：A ? ? ? ? ? ? ?文章編號：1672-3791（2021）02（a）-0021-04

Design of Machine Vision Simulation

CHEN Weiguo*

（Hunan University of Arts and Sciences， Changde， Hunan Province， 415000 China）

Abstract： Machine vision technology is widely used in the field of industrial automation， but the cost of machine vision hardware is relatively high. The machine vision laboratory of colleges and universities has the problem of insufficient equipment sets. At the same time， it is necessary to find a development mode that enable mechanical students to develop machine vision projects on the basis of existing basic knowledge reserves. To solve these problems， this paper uses two cases of object shape recognition and size measurement to introduce in detail the Easybuilder and spreadsheet simulation design methods in the In-Sight vision development software for Cognex smart cameras. Using this method， the visual algorithm can be researched without a smart camera， and the problem of insufficient hardware is alleviated. The design method does not require a lot of programming， the effect is intuitive and visible， the application steps are simple and it is suitable for mechanical students. This method is used to complete the visual guidance in the SKARB-12 industrial robot workstation with good results.

Key Words：Machine vision;Smart camera;Easybuilder;Spread sheet

機器視覺在工業(yè)自動化生產中得到廣泛應用[1]，特別是在工業(yè)機器人應用領域[2]。機器視覺系統(tǒng)成本較高，高校實驗室機器視覺實驗設備臺套數不夠。同時，對于機械電子工程專業(yè)學生，特別是純機械類的學生來說，無論是使用halcon進行開發(fā)[3]，還是采用MATLAB開發(fā)[4]，知識儲備均不夠。本文介紹基于康耐視智能相機和In-Sight視覺軟件的機器視覺仿真系統(tǒng)的結構，研究在Easybuilder和電子表格兩種編程方式下，形狀識別、定位及視覺系統(tǒng)與上位機通信的仿真設計方法。

1 ?機器視覺總體方案設計

機器視覺的解決方案較多[5-6]，考慮到機械類學生知識體系的情況，我們選擇的機器視覺總體方案是：系統(tǒng)由康耐視ISM1403C工業(yè)智能相機，6mm鏡頭，LED白色環(huán)形光源及光源控制器構成，完成形狀識別、給出物體的中心點坐標、以太網通信傳給ABB120機器人信息等功能，相機觸發(fā)信號和任務切換命令由ABB工業(yè)機器人發(fā)出，相機通過以太網接收指令。

機器視覺仿真系統(tǒng)不需要硬件，工業(yè)智能相機采用In-Sight 8402仿真相機，目的是可以驗算更多的算法，使用TCP/UDP SOCKET調試工具模擬ABB機器人接收數據和發(fā)送指令。

仿真編程使用COGNEX的In-Sight Explorer開發(fā)環(huán)境。下面分別介紹Easybuilder和電子表格兩種仿真設計方法。

2 ?Easybuilder形狀識別仿真設計

使用虛擬相機進行仿真時，圖像可以使用工業(yè)相機抓拍的圖像，也可用畫圖軟件繪制圖片，更具普遍性，我們先繪制800×600，256色圖片，圓形、三角形、長方形、六邊形各畫一張，文件保存在同一文件夾下。Easybuilder設計時按照連接、設置圖像、定位部件、檢查部件、運行作業(yè)等步驟進行。

2.1 選擇相機及加載圖像

2.1.1 選擇相機

在In-Sight中“系統(tǒng)”—“選項”—“仿真”，勾選仿真器，選擇In-Sight 8402相機模型，注意第一次使用，需完成注冊。

2.1.2 加載圖像

在應用程序步驟中選擇“設置圖像”—“從PC加載圖像”，選擇“回放”，設置“回放文件夾”，加載后界面如圖1所示。為調試方便，設置觸發(fā)器觸發(fā)方式“手動”，其他參數不變。

2.2 相機標定

相機標定的目的是建立相機坐標系和機器人坐標系的對應關系，按相機校準和手眼標定兩步進行。

2.2.1 相機校準

相機校準的目的是讓相機輸出的單位從像素（pixel）變?yōu)閷嶋H尺寸（mm），具體步驟如下，實物相機校準使用棋盤格，可用9點標定法標定。

（1）將標定的圖拖入到EasyBuilder的圖像顯示區(qū)，這里使用康耐視提供的CalibrationImage.bmp;

（2）選擇“校準類型”—“網格”;

（3）點擊校準;

（4）“設置”中，“網格類型”選擇“方格圖案帶基準”，“網格間距”10，“網格單位”mm;

（5）依次完成“姿勢”“結果”，如圖2所示。

2.2.2 手眼標定

手眼標定目的是建立相機坐標和機器人坐標的關系，由于只考慮平面坐標，因此，在使用“三點法”定義工業(yè)機器人工件坐標系時，選擇棋盤格的坐標原點為工件坐標系坐標原點，機器人工件坐標系x、y軸的方向保持與相機坐標系x、y軸的方向一致，這樣相機坐標系與工業(yè)機器人工件坐標系重合。在視覺仿真時，這步可以不考慮。

2.3 定位部件

在Easybuilder中用模板匹配識別方形、六邊形、三角形和圓等不同形狀物體，在“定位部件”中，選擇“位置工具”的“PatMax圖案”算法，選擇“模型”和“搜索”，在算法的“編輯工具”中修改“工具名稱”，在算法的“設置”中，修改“合格閾值”為50，在算法的“訓練圖像”中點擊“模型區(qū)域”，在圖像中設置好搜索范圍后，點擊“訓練”。

方形、六邊形、三角形和圓要分別進行模板匹配，如圖3所示。

2.4 檢查部件

形狀識別后，需要將識別結果發(fā)送給機器人。這里我們定義發(fā)送字符串，方形物體發(fā)送“方形”，以此類推。

在“檢查部件”中，添加“數學邏輯工具”中的“數學”，表達式為：

Choose（MaxI（If（三角形.通過，三角形.定位器.得分，0），If（方形.通過，方形.定位器.得分，0），If（六邊形.通過，六邊形.定位器.得分，0），If（圓形.通過，圓形.定位器.得分，0）），”三角形”，”方形”，”六邊形”，”圓形”）

2.5 通信

智能相機與機器人通過以太網通信，采用TCP/IP協(xié)議，通信時要求智能相機和機器人的IP地址在同一網段上。

智能相機發(fā)送數據，選擇“通信”，選擇“添加設備”，“設備”選其他，協(xié)議選擇“TCP/IP”，點擊“確定”，設置“端口”為3000，設置“結束符”為字符串加回車、換行。

點擊“格式化輸出字符串”，點擊“格式字符串”，“開頭文本”編輯為“當前的形狀是：”，點擊“添加”，選擇輸出數據為“數學.結果”，“輸出字符串”對話框中可以看到輸出信息。

仿真時，用TCP/UDP SOCKET調試工具模擬機器人接受智能相機的輸出結果，SOCKET需要創(chuàng)建TCP Client，端口號為3000。智能相機聯機、運行作業(yè)后，SOCKET數據接受及提示窗口可以看到物體識別輸出信息。

2.6 子作業(yè)的建立與調用

智能相機可以建立子作業(yè)，子作業(yè)建立與新建作業(yè)過程相同，文件名保存格式為1-***.job。

子作業(yè)調用過程是：admin（起始用戶名）、空（起始用戶密碼）、So0（脫機）、Sj1（調用子作業(yè)1）、So1（聯機）、Sw8（觸發(fā)信號），命令依次通過SOCKET的TCP客戶端發(fā)出，端口號為23。

通過以上8個步驟，完成了機器視覺物體形狀識別功能，從仿真的結果看，物體形狀識別正確，通信可靠，至此完成了智能相機Easybuilder設計。

3 ?機器視覺電子表格仿真設計

設計案例：測量不同區(qū)域內、不同大小的圓的半徑，測量結果通過以太網傳輸。通過圓半徑測量的設計，介紹SpreadSheet的設計方法。在電子表格設計中，將使用到DetectBlobs函數、FindCircle函數、FormatString函數、TCPDevice函數、WriteDevice函數。

3.1 初始化

SpreadSheet設計初始化部分包含智能相機選取、圖像導入、新建作業(yè)等，這些與Easybuilder設計基本相同，這里不再重復。

3.2 斑點匹配

在“選擇板”中選取“視覺工具”中的“斑點”，將DetectBlobs函數拖入電子表格中，點擊“重疊”按鈕，顯示圖像，雙擊“區(qū)域”，設置物體的尋找范圍，選擇“顏色：斑點”為黑，選擇“顏色：背景”為白，設置“區(qū)域大?。鹤钚≈怠睘?0，點擊確定。

3.3 圓直徑測量

在“選擇板”中選取“視覺工具”中“邊”，將“FindCircle”函數拖入電子表格，在FindCircle屬性頁中，選擇“固定”，點擊“插入絕對引用”，“行”“列”“角度”選取“DetectBlobs函數”的“行”“col”“角度”單元格，“極性”選擇黑到白，雙擊“圓環(huán)”，調整搜索圓和斑點圓的大小，FindCircle屬性頁設置如圖4所示。

FindCircle函數設置完成后，可以看到電子表格中圓的圓心坐標。

3.4 通信

通信的目的是將智能相機測量的半徑數據通過以太網傳送出去。

3.4.1 格式化字符串

在“選擇板”中選取“視覺工具”中“文本”，將“字符串”中的“FormatString”函數拖入電子表格，在FormatString屬性頁中，編輯“開通文本”為圓的半徑，編輯“結尾文本”為pixel，點擊“添加”，選擇電子表格中變量半徑所在的單元格，輸出結果在輸出字符串對話框中可見。

3.4.2 添加設備

在“選擇板”中選取“輸入/輸出”中“網絡”，將“TCPDevice”函數拖入電子表格，屬性默認。

3.4.3 寫設備

在“選擇板”中選取“輸入/輸出”中“網絡”，將“WriteDevice”函數拖入電子表格其函數形式為：

WriteDevice （ EVENT ， Device ， Data1 ， [Data2]）

其中，各參數引用的絕對地址為：

（1）EVENT：@image;

（2）Device：@device;

（3）Data1：格式化字符串。

設置結果如圖5所示

3.4.4 通信測試

至此，智能相機電子表格設計已完成，Socket在每次圖像切換時，接收信息，在數據接收及提示窗口可以看到“圓的半徑xxx pixel”信息。從仿真結果看，測量結果正確，通信可靠。注意仿真時，相機的觸發(fā)方式設為手動。

4 ?結語

采用Easybuilder和SpreadSheet設計方法使用In-Sight智能相機進行機器視覺開發(fā)，可解決了《機器視覺》課程實驗設備不足的問題，采用該方法，使得機械類學生robcon機器人大賽、機械創(chuàng)新大賽、電子設計大賽中完成識別、定位、跟蹤、測量等功能。從SKARB-12型工業(yè)機器人工作站視覺實際開發(fā)使用情況看，該方法符合工業(yè)級項目開發(fā)需要，提高了機械類學生的核心競爭力。該機器視覺仿真設計方法在國內高校機械類教學中，有一定的推廣價值。

參考文獻

[1] 張衛(wèi)芬，湯文成.基于機器視覺的物料自動分揀系統(tǒng)研究[J].組合機床與自動化加工技術，2019（6）：34-37.

[2] 黃晶晶，陶衛(wèi)軍，胡洋洋，等.一種基于視覺識別的按鈕自主操作機械手[J].南京理工大學學報， 2017，41（5）：616-622.

[3] 田昊，黃海龍，趙寶水.一種基于HALCON的機器視覺系統(tǒng)的標定方法[J].遼寧工業(yè)大學學報：自然科學版，2020，40（4）：211-215，235.

[4] 董靖川，張成君，王一成，等.面向機器人智能抓取任務的視覺定位實驗[J].實驗技術與管理， 2020，37（3）：56-59.

[5] 馬建.基于機器視覺的工件識別與定位系統(tǒng)的設計與實現[D].中國科學院大學（中國科學院沈陽計算技術研究所），2020.

[6] 李碩.六自由度工業(yè)機器人視覺定位技術研究[D].吉林化工學院，2020.