機(jī)器視覺基礎(chǔ)實(shí)驗(yàn)平臺(tái)設(shè)計(jì)

吳思東 袁建英 劉甲甲 許林 馬忠麗 蔣濤

摘?要：圖像處理與機(jī)器視覺是自動(dòng)化、機(jī)器人等相關(guān)專業(yè)一個(gè)重要的內(nèi)容，為了便于學(xué)生掌握視覺傳感器工作原理特性、基礎(chǔ)機(jī)器視覺理論及實(shí)踐應(yīng)用，自制了機(jī)器視覺基礎(chǔ)實(shí)驗(yàn)平臺(tái)。該實(shí)驗(yàn)平臺(tái)包含硬件平臺(tái)和軟件平臺(tái)，硬件平臺(tái)視覺傳感器采用兩臺(tái)大恒MARS88013GMP面陣相機(jī)，軟件平臺(tái)可實(shí)現(xiàn)雙臺(tái)相機(jī)驅(qū)動(dòng)、相機(jī)設(shè)置、圖像采集、讀入圖像、圖像濾波、邊緣檢測、分割、雙目相機(jī)標(biāo)定等功能。實(shí)驗(yàn)平臺(tái)對(duì)每個(gè)功能模塊提供擴(kuò)展接口，便于學(xué)生進(jìn)行二次開發(fā)。

關(guān)鍵詞：機(jī)器視覺；實(shí)驗(yàn)平臺(tái)；擴(kuò)展模塊；視覺傳感器；QT

機(jī)器視覺是模式識(shí)別、人工智能領(lǐng)域重要研究內(nèi)容之一，目的是利用機(jī)器實(shí)現(xiàn)檢測、測量、識(shí)別和判斷等功能，其主要研究內(nèi)容是通過視覺傳感器設(shè)備采集目標(biāo)圖像數(shù)據(jù)，經(jīng)過視覺處理模塊，得到目標(biāo)特定信息（如輪廓、距離、類別等），近年來受到廣泛應(yīng)用。目前機(jī)器視覺相關(guān)企業(yè)已經(jīng)開發(fā)出非常成熟的產(chǎn)品，但其產(chǎn)品多為綜合性功能產(chǎn)品，不利于剛?cè)腴T學(xué)生學(xué)習(xí)，而針對(duì)高校的相關(guān)實(shí)驗(yàn)設(shè)備、實(shí)驗(yàn)平臺(tái)還相對(duì)較少［1］。教師在授課時(shí)只能講解相關(guān)理論知識(shí)，或者展示相關(guān)實(shí)驗(yàn)素材，學(xué)生不能深入了解相關(guān)知識(shí)和工作原理。為了使學(xué)生對(duì)機(jī)器視覺相關(guān)基礎(chǔ)知識(shí)有更深入地理解和認(rèn)識(shí)，設(shè)計(jì)了機(jī)器視覺基礎(chǔ)實(shí)驗(yàn)平臺(tái)，方便學(xué)生進(jìn)行相關(guān)學(xué)習(xí)和研究。另外，平臺(tái)還提供二次開發(fā)接口供算法優(yōu)化等研究，便于學(xué)生將理論與實(shí)踐相結(jié)合，加深對(duì)機(jī)器視覺知識(shí)的理解。

1?機(jī)器視覺平臺(tái)總體設(shè)計(jì)

機(jī)器視覺實(shí)驗(yàn)平臺(tái)是基礎(chǔ)性實(shí)驗(yàn)平臺(tái)，和《圖像處理與機(jī)器視覺》類課程中機(jī)器視覺硬件、圖像處理基礎(chǔ)、雙目立體視覺等理論配合使用［2］。目的是讓學(xué)生深入理解視覺傳感器工作原理和不同算法功能和作用，構(gòu)建能實(shí)現(xiàn)綜合機(jī)器視覺功能的系統(tǒng)。本平臺(tái)由硬件和軟件兩部分組成。實(shí)驗(yàn)平臺(tái)總體設(shè)計(jì)如圖1所示。

2?硬件平臺(tái)設(shè)計(jì)

2.1?相機(jī)及鏡頭模塊

相機(jī)和鏡頭構(gòu)成機(jī)器視覺圖像采集模塊，平臺(tái)相機(jī)為大恒MARS88013GMP，如圖2所示。為理解掌握鏡頭在成像方面的差異實(shí)驗(yàn)平臺(tái)選配3套不同焦距鏡頭（8mm：VS0814H1，12mm：HN122620MC1/1X，35mm：HN352220MC1/1X），如圖3所示。

2.2?相機(jī)固定支架

相機(jī)支架包含相機(jī)固定板和轉(zhuǎn)動(dòng)云臺(tái)兩部分，如圖4所示，雙目相機(jī)搭載固定支架上可調(diào)整相機(jī)基線、光軸夾角、俯仰角、相機(jī)高度。

2.3?其他硬件

其他硬件還包括標(biāo)定板、計(jì)算機(jī)、開關(guān)電源、交換機(jī)等。標(biāo)定板包含圓形和棋盤格標(biāo)定板各一件；開關(guān)電源將220V轉(zhuǎn)12V相機(jī)工作電壓；交換機(jī)實(shí)現(xiàn)多相機(jī)連接和驅(qū)動(dòng)。

3?軟件平臺(tái)設(shè)計(jì)

軟件平臺(tái)采用QT開發(fā)界面，編程語言采用C++，功能可分為三部分：相機(jī)操作、圖像操作、雙目標(biāo)定?？蓪?shí)現(xiàn)對(duì)機(jī)器視覺基礎(chǔ)實(shí)驗(yàn)內(nèi)容的處理和結(jié)果展示，利于學(xué)生掌握相應(yīng)操作原理和參數(shù)意義。

軟件平臺(tái)主界面如圖5所示，主界面包含相機(jī)顯示、采集或外部讀入圖像窗口，可同時(shí)顯示圖像操作前后的圖像，標(biāo)定區(qū)域包含相機(jī)標(biāo)定操作、標(biāo)定過程和標(biāo)定結(jié)果顯示。主界面菜單欄包含文件操作、相機(jī)操作、圖像操作模塊，如圖6所示。

3.1?文件操作模塊

文件操作模塊主要包含圖像文件讀入和保存功能。

3.2?相機(jī)操作模塊

相機(jī)操作模塊有相機(jī)曝光、白平衡、增益等設(shè)置功能。由于相機(jī)鏡頭成像原理影響，相機(jī)采集圖像的邊界區(qū)域亮度與中心區(qū)域亮度存在差異，因此還設(shè)計(jì)有相機(jī)平場校正功能。

3.3?圖像操作模塊

圖像操作模塊是軟件平臺(tái)主要功能模塊，包含圖像點(diǎn)操作、圖像濾波、形態(tài)學(xué)操作、邊緣提取、圖像分割等功能內(nèi)容?？芍苯訉?duì)相機(jī)采集數(shù)據(jù)進(jìn)行操作，也可讀入圖像進(jìn)行操作。若打開不止1臺(tái)相機(jī)，則只采集左相機(jī)完成相應(yīng)圖像操作功能。

3.4?雙目相機(jī)標(biāo)定模塊

雙目相機(jī)標(biāo)定方法采用張正友提出的標(biāo)定法［3］?？筛鶕?jù)所使用標(biāo)定板類型選擇相應(yīng)方法，進(jìn)行特征提取和檢測，完成多次標(biāo)定板采集和檢測后，進(jìn)行標(biāo)定計(jì)算，求解出雙目相機(jī)標(biāo)定的內(nèi)外參數(shù)和相機(jī)徑向、切向的畸變系數(shù)，在標(biāo)定過程展示窗口輸出，標(biāo)定精度也同時(shí)在標(biāo)定過程窗口輸出［4］。

為了兼顧機(jī)器視覺單相機(jī)處理和雙目相機(jī)標(biāo)定算法，軟件平臺(tái)在打開相機(jī)時(shí)可根據(jù)實(shí)際連接相機(jī)數(shù)（最大支持2臺(tái)相機(jī)）進(jìn)行相機(jī)數(shù)選擇。

3.5?實(shí)驗(yàn)平臺(tái)可開發(fā)實(shí)驗(yàn)

基于該設(shè)計(jì)的機(jī)器視覺基礎(chǔ)實(shí)驗(yàn)平臺(tái)，可開發(fā)的實(shí)驗(yàn)如表2所示。

4?平臺(tái)開發(fā)接口

平臺(tái)采用開發(fā)源代碼，在保證原有設(shè)計(jì)框架基礎(chǔ)上，學(xué)生可根據(jù)所學(xué)知識(shí)，通過預(yù)留的軟件接口進(jìn)行方法驗(yàn)證和二次開發(fā)。

相機(jī)驅(qū)動(dòng)。本平臺(tái)只設(shè)計(jì)了針對(duì)大恒圖像火星系列GigE接口的驅(qū)動(dòng)程序，學(xué)生可利用該模塊，學(xué)習(xí)不同類型相機(jī)、不同數(shù)據(jù)接口的相機(jī)驅(qū)動(dòng)方法。

圖像操作。本平臺(tái)實(shí)驗(yàn)包含部分機(jī)器視覺基礎(chǔ)算法，通過OpenCV相關(guān)函數(shù)實(shí)現(xiàn)，學(xué)生可觀察對(duì)應(yīng)算法的相關(guān)參數(shù)設(shè)置帶來的效果。另外，學(xué)生可利用對(duì)應(yīng)模塊，在學(xué)習(xí)和掌握相關(guān)算法原理后，實(shí)現(xiàn)相應(yīng)算法，驗(yàn)證算法正確性。圖7（a）為雙邊濾波按鈕設(shè)計(jì)界面，當(dāng)點(diǎn)擊雙邊濾波按鈕觸發(fā)對(duì)應(yīng)按鈕點(diǎn)擊命令，并執(zhí)行on_action_Bi_triggered（）代碼，如圖7（b）所示，該部分代碼包含雙邊濾波參數(shù)設(shè)置、雙邊濾波算法及結(jié)果顯示部分，其中核心雙邊濾波算法為方框內(nèi)代碼，雙邊濾波結(jié)果如圖7（c）所示，學(xué)生可對(duì)函數(shù)重寫實(shí)現(xiàn)相應(yīng)算法，并比較分析，驗(yàn)證算法正確性。此外，本平臺(tái)的開源特性也方便老師和學(xué)生基于該平臺(tái)進(jìn)行二次開發(fā)，增加如立體匹配、三維重建等功能。

（a）雙邊濾波按鈕設(shè)計(jì)界面

（b）雙邊濾波操作執(zhí)行代碼

（c）雙邊濾波效果

圖7?實(shí)驗(yàn)平臺(tái)二次開發(fā)功能

結(jié)語

機(jī)器視覺基礎(chǔ)實(shí)驗(yàn)平臺(tái)實(shí)現(xiàn)了部分機(jī)器視覺課程基礎(chǔ)操作算法，有利于學(xué)生在統(tǒng)一平臺(tái)快速理解和觀察每個(gè)操作以及不同參數(shù)設(shè)置對(duì)圖像的影響。平臺(tái)的開發(fā)接口可供學(xué)生對(duì)不同的操作進(jìn)行實(shí)現(xiàn)和驗(yàn)證分析，促使學(xué)生進(jìn)一步學(xué)習(xí)和掌握相關(guān)操作算法。平臺(tái)也可供學(xué)生進(jìn)一步二次開發(fā)和設(shè)計(jì)更豐富的實(shí)驗(yàn)功能，對(duì)學(xué)生理解和掌握機(jī)器視覺相關(guān)算法和原理具有重要的價(jià)值。

參考文獻(xiàn)：

［1］陸安琴，秦嬋嬋，胡圣波，等.基于PyQt5的數(shù)字圖像處理實(shí)驗(yàn)平臺(tái)設(shè)計(jì)［J］.電子元器件與信息技術(shù)，2021，5（2）：158161.

［2］許林，袁建英，吳思東，等.“機(jī)器視覺及應(yīng)用”課程雙語教學(xué)模式探索［J］.西部素質(zhì)教育，2022，8（05）：1315.

［3］Zhang，Z.A?Flexible?New?Technique?for?Camera?Calibration［J］.IEEE?Transactions?on?Pattern?Analysis?and?Machine?Intelligence，2000，22：13301334.

［4］袁建英，吳思東，劉甲甲，等.雙目三維重建實(shí)驗(yàn)平臺(tái)設(shè)計(jì)［J］.西部素質(zhì)教育，2020，6（11）：158159+163.

項(xiàng)目基金：本文系四川省高等教育人才培養(yǎng)質(zhì)量和教學(xué)改革項(xiàng)目《引入競賽知識(shí)元素的機(jī)器人工程專業(yè)科技創(chuàng)新實(shí)踐體系構(gòu)建》（項(xiàng)目編號(hào)：JG20211006），成都信息工程大學(xué)本科生教學(xué)改革工程項(xiàng)目“《機(jī)器視覺及應(yīng)用》教學(xué)方法研究與實(shí)踐”（編號(hào)：JYJG2022049）、“應(yīng)用型示范機(jī)器人工程本科專業(yè)建設(shè)與實(shí)踐”（編號(hào)：JYJG2021005）、“學(xué)科競賽驅(qū)動(dòng)、科研引領(lǐng)的機(jī)器人工程專業(yè)科技創(chuàng)新實(shí)踐體系構(gòu)建”（編號(hào)：JYJG2022133）、“《智能控制》教學(xué)方法的研究與實(shí)踐探索”（編號(hào)：JYJG2021044）

作者簡介：吳思東（1989—?），男，漢族，四川南充人，博士，講師，研究方向：計(jì)算機(jī)視覺；袁建英（1982—?），女，漢族，四川眉山人，博士，副教授，研究方向：機(jī)器視覺；許林（1985—?），男，漢族，四川廣元人，博士，講師，研究方向：機(jī)器視覺；劉甲甲（1983—?），男，漢族，安徽淮北人，博士，講師，研究方向：機(jī)器視覺與工業(yè)智能化；馬忠麗（1974—?），女，滿族，四川成都人，博士，教授，研究方向：圖像處理、虛擬仿真；蔣濤（1975—?），男，漢族，四川綿陽人，博士，教授，研究方向：智能機(jī)器人技術(shù)。