結(jié)合機(jī)器視覺課程案例（庫(kù)）建設(shè)提升研究生課程教學(xué)效能

王福斌 曾凱 張瑞成 陳波

[關(guān)鍵詞]專業(yè)學(xué)位研究生;案例（庫(kù)）建設(shè);機(jī)器視覺課程;實(shí)踐技能

機(jī)器視覺課程作為控制科學(xué)與工程及控制工程學(xué)科的專業(yè)學(xué)位課，是一門實(shí)踐性極強(qiáng)的課程，要求學(xué)生在掌握基本的數(shù)字圖像處理理論的基礎(chǔ)上，利用計(jì)算機(jī)視覺技術(shù)解決實(shí)際與圖像、視覺相關(guān)的工程技術(shù)問題。隨著感知技術(shù)的多元化，尤其是智能感知技術(shù)的發(fā)展，基于視覺的識(shí)別、測(cè)量技術(shù)得到了重視，如在機(jī)器人視覺伺服控制領(lǐng)域、生產(chǎn)線瑕疵產(chǎn)品檢測(cè)領(lǐng)域、人臉識(shí)別安全監(jiān)測(cè)領(lǐng)域等，機(jī)器視覺技術(shù)都扮演著越來(lái)越重要的角色。在研究生課程學(xué)習(xí)階段引入機(jī)器視覺案例教學(xué)，將理論知識(shí)與工程實(shí)際案例相結(jié)合，不僅可加深學(xué)生對(duì)課程理論知識(shí)的理解，更能讓其掌握將所學(xué)的理論知識(shí)應(yīng)用于實(shí)踐的技能，為學(xué)生在研究生課題研究階段解決實(shí)際問題能力的提升打下基礎(chǔ)。

《教育部關(guān)于做好全日制碩士專業(yè)學(xué)位研究生培養(yǎng)工作的若干意見》（教研〔2009〕1號(hào)）闡明了開展專業(yè)學(xué)位碩士研究生教育的必要性，為培養(yǎng)社會(huì)緊缺的應(yīng)用型、技能型專門人才給出了指導(dǎo)性建設(shè)原則[1]。各高校對(duì)研究生課程教學(xué)案例庫(kù)建設(shè)投入了較大的力量進(jìn)行研究和建設(shè)，并取得了積極成果;圍繞專業(yè)學(xué)位研究生教育對(duì)案例資源庫(kù)建設(shè)的案例選擇、整理與優(yōu)化以及案例資源庫(kù)案例的實(shí)踐與應(yīng)用進(jìn)行了大量研究[2]，從師資培訓(xùn)、教學(xué)內(nèi)容調(diào)整、案例庫(kù)建設(shè)、課程組織實(shí)施和教學(xué)評(píng)價(jià)等方面對(duì)案例建設(shè)與研究生培養(yǎng)進(jìn)行探索[3]。案例式教學(xué)模式在研究生培養(yǎng)效果提升方面的作用日益顯現(xiàn)，對(duì)專業(yè)學(xué)位研究生培養(yǎng)的應(yīng)用效果顯著，對(duì)提高研究生綜合能力，讓其更好地適應(yīng)將來(lái)的工作具有積極的意義[4]。

一、機(jī)器視覺課程典型工程案例（庫(kù)）建設(shè)總體方案

為深化專業(yè)學(xué)位研究生培養(yǎng)模式改革，提高培養(yǎng)質(zhì)量，教育部出臺(tái)了《關(guān)于加強(qiáng)專業(yè)學(xué)位研究生案例教學(xué)和聯(lián)合培養(yǎng)基地建設(shè)的意見》[5]，對(duì)案例教學(xué)的意義及地位進(jìn)行了闡明。

機(jī)器視覺是一門實(shí)踐性很強(qiáng)的課程。自開設(shè)機(jī)器視覺課程起，對(duì)授課對(duì)象（包括專業(yè)型碩士、學(xué)術(shù)型碩士）就引進(jìn)工程案例方法進(jìn)行分析與講解。近幾年在機(jī)器視覺應(yīng)用方面積累了一些工程案例，如，成捆鋼筋的端面圖像采集與計(jì)數(shù)、燒結(jié)火焰斷面圖像特征識(shí)別、天車機(jī)器人雙目立體視覺避障及視覺實(shí)時(shí)距離測(cè)量、振動(dòng)模糊圖像復(fù)原、激光結(jié)構(gòu)光視覺測(cè)量及三維目標(biāo)物重構(gòu)、無(wú)人機(jī)航點(diǎn)視覺定位、飛秒激光燒蝕微光斑的微視覺幾何參數(shù)測(cè)量等。如何對(duì)以往的案例進(jìn)行整合、總結(jié)及系統(tǒng)化，使案例內(nèi)容更翔實(shí)、豐富，更符合教學(xué)規(guī)律，是本課程案例庫(kù)建設(shè)遵循的原則。

機(jī)器視覺課程典型工程案例（庫(kù)）建設(shè)過(guò)程以工程應(yīng)用為主線，以案例分析與程序?qū)崿F(xiàn)為方法，通過(guò)實(shí)際應(yīng)用需求分析、工藝分析、詳細(xì)設(shè)計(jì)、程序?qū)崿F(xiàn)、程序運(yùn)行及調(diào)試、運(yùn)行結(jié)果分析等環(huán)節(jié)，使學(xué)生能對(duì)機(jī)器視覺快速地認(rèn)知、熟悉，進(jìn)而解決機(jī)器視覺“做什么、怎么做”的問題。案例庫(kù)先期基本建設(shè)框架如圖1所示。案例庫(kù)建設(shè)過(guò)程遵循動(dòng)態(tài)建設(shè)原則，在反饋及修正補(bǔ)充過(guò)程中不斷地得到完善。

二、機(jī)器視覺課程先期案例建設(shè)核心內(nèi)容

案例庫(kù)建設(shè)將結(jié)合機(jī)器視覺課程的講授內(nèi)容，在總結(jié)現(xiàn)有機(jī)器視覺應(yīng)用的基礎(chǔ)上，針對(duì)機(jī)器視覺系統(tǒng)構(gòu)建、硬件設(shè)備選型、相機(jī)標(biāo)定、結(jié)構(gòu)光視覺系統(tǒng)、視覺三維重建等環(huán)節(jié)給出詳細(xì)的工程實(shí)現(xiàn)過(guò)程。在多個(gè)機(jī)器視覺技術(shù)應(yīng)用的關(guān)鍵環(huán)節(jié)結(jié)合典型案例給出詳細(xì)的實(shí)現(xiàn)步驟、方法、程序及運(yùn)行結(jié)果。整個(gè)案例建設(shè)給出“手把手”式的機(jī)器視覺構(gòu)建與分析詳細(xì)過(guò)程，對(duì)學(xué)生快速融入機(jī)器視覺領(lǐng)域、增強(qiáng)實(shí)踐能力具有較好的指導(dǎo)意義，這能為學(xué)生今后在機(jī)器視覺研究領(lǐng)域及工程應(yīng)用打下堅(jiān)實(shí)的理論及實(shí)踐基礎(chǔ)[6]。

要本著真實(shí)性、典型性及創(chuàng)新性原則對(duì)案例進(jìn)行篩選，并能利用實(shí)驗(yàn)室現(xiàn)有實(shí)驗(yàn)平臺(tái)進(jìn)行實(shí)驗(yàn)內(nèi)容建設(shè)，以保證案例的真實(shí)、可復(fù)現(xiàn)、可驗(yàn)證性。同時(shí)，突出案例的典型性、代表性，并兼具一定的創(chuàng)新性，保證案例教學(xué)的效能及新知識(shí)、新觀點(diǎn)的啟發(fā)作用。機(jī)器視覺案例庫(kù)教學(xué)的核心建設(shè)內(nèi)容有以下幾方面。

（一）機(jī)器視覺光學(xué)系統(tǒng)設(shè)計(jì)、選型及參數(shù)計(jì)算

為學(xué)生講述如何根據(jù)實(shí)際工程要求搭建一個(gè)光學(xué)系統(tǒng)，實(shí)現(xiàn)對(duì)特定目標(biāo)的圖像采集。為提高圖像采集質(zhì)量，需對(duì)照明光源進(jìn)行選型設(shè)計(jì)，包括條形光源、點(diǎn)光源及環(huán)形光源設(shè)計(jì)等;為使得工業(yè)相機(jī)適合工程實(shí)際目標(biāo)圖像采集的需要，需對(duì)相機(jī)視場(chǎng)、靶面尺寸、分辨率及物距等參數(shù)進(jìn)行計(jì)算，確定相機(jī)與計(jì)算機(jī)的通訊形式等;對(duì)鏡頭與相機(jī)的接口進(jìn)行選配，對(duì)鏡頭焦距等參數(shù)進(jìn)行計(jì)算等。通過(guò)光學(xué)系統(tǒng)硬件設(shè)計(jì)、選型，可提高學(xué)生對(duì)光學(xué)系統(tǒng)的感性認(rèn)識(shí)，促進(jìn)工程設(shè)計(jì)理念的形成。

（二）微視覺系統(tǒng)及微結(jié)構(gòu)目標(biāo)的圖像測(cè)量

為學(xué)生講述基于單目相機(jī)的微視覺系統(tǒng)圖像測(cè)量方法及基于雙目微視覺系統(tǒng)的圖像測(cè)量方法。首先，采用遠(yuǎn)心鏡頭構(gòu)建微視覺測(cè)量系統(tǒng)，對(duì)飛秒激光在硅晶片上燒蝕的微光斑進(jìn)行圖像采集;對(duì)光斑圖像進(jìn)行預(yù)處理、分割及幾何中心提取，獲得光斑本身的像素尺寸及光斑之間的像素尺寸;通過(guò)測(cè)量尺寸已知的標(biāo)準(zhǔn)物體尺寸，標(biāo)定出幾何尺寸與像素尺寸之間的對(duì)應(yīng)比例系數(shù)，進(jìn)而應(yīng)用比例系數(shù)求出光斑的幾何尺寸，實(shí)現(xiàn)微結(jié)構(gòu)的視覺測(cè)量。

（三）雙目立體視覺系統(tǒng)的標(biāo)定及視覺測(cè)量

采用兩個(gè)面陣工業(yè)相機(jī)構(gòu)建雙目立體視覺系統(tǒng)，對(duì)工件幾何尺寸進(jìn)行測(cè)量。通過(guò)案例建設(shè)使學(xué)生掌握立體視覺的構(gòu)建，相機(jī)畸變參數(shù)標(biāo)定及雙目立體相機(jī)的旋轉(zhuǎn)矩陣與平移向量的標(biāo)定;工件深度方向的尺寸測(cè)量方法等。這可為學(xué)生將來(lái)采用視覺方法進(jìn)行不同目標(biāo)物體的圖像幾何測(cè)量問題提供有意義的借鑒。

（四）激光結(jié)構(gòu)光視覺系統(tǒng)的標(biāo)定及視覺測(cè)量

在光學(xué)實(shí)驗(yàn)平臺(tái)上搭建線激光結(jié)構(gòu)光與單目相機(jī)構(gòu)成的結(jié)構(gòu)光測(cè)量系統(tǒng);將待測(cè)工件放置在二維運(yùn)動(dòng)控制工作臺(tái)上，當(dāng)工件隨著工作臺(tái)移動(dòng)時(shí)，激光線掃描整個(gè)工件，由工業(yè)相機(jī)采集激光線條圖像，構(gòu)成工件的激光線條圖像。通過(guò)標(biāo)定相機(jī)參數(shù)及激光與相機(jī)之間的光學(xué)系統(tǒng)，實(shí)現(xiàn)激光結(jié)構(gòu)光測(cè)量系統(tǒng)。

（五）基于激光結(jié)構(gòu)光的工件三維重建

所用硬件平臺(tái)與激光結(jié)構(gòu)光測(cè)量系統(tǒng)一致，包括相機(jī)、激光器、精密移動(dòng)平臺(tái)及標(biāo)定板等。只是在相機(jī)內(nèi)外參數(shù)標(biāo)定、激光器的光平面標(biāo)定基礎(chǔ)上，通過(guò)對(duì)激光光條圖像的處理，在光條二維圖像坐標(biāo)基礎(chǔ)上求取光條的三維點(diǎn)云數(shù)據(jù)。

三、案例庫(kù)動(dòng)態(tài)建設(shè)過(guò)程

在先期建設(shè)完成的案例庫(kù)實(shí)踐教學(xué)基礎(chǔ)上，總結(jié)教學(xué)實(shí)踐經(jīng)驗(yàn)、教學(xué)效果及存在的不足，動(dòng)態(tài)完成了第二部分案例庫(kù)的建設(shè)內(nèi)容，如圖2所示。

案例庫(kù)后期建設(shè)內(nèi)容涵蓋基于Blob分析的目標(biāo)識(shí)別、基于模板匹配及仿射變換的幾何定位與動(dòng)態(tài)跟隨、直角坐標(biāo)機(jī)器人視覺系統(tǒng)的9點(diǎn)標(biāo)定、基于直角坐標(biāo)機(jī)器人的工件隨機(jī)視覺抓取及定位擺放、基于視覺的光學(xué)字符識(shí)別及C#聯(lián)合Halcon編程內(nèi)容。

（一）基于Blob分析的視覺目標(biāo)識(shí)別案例

研究實(shí)現(xiàn)目標(biāo)圖像的分割及識(shí)別，主要內(nèi)容有：采集圖像—圖像分割（Blob分析前，將圖像分割成區(qū)域和背景）—形態(tài)學(xué)處理—連通域分析，將圖像中不同目標(biāo)打散—數(shù)學(xué)形態(tài)學(xué)處理—特征提取，根據(jù)不同幾何特征條件，篩選出目標(biāo)。

（二）基于模板匹配及仿射變換的幾何定位與動(dòng)態(tài)跟隨

建設(shè)內(nèi)容：確定圖像對(duì)比度，形成目標(biāo)輪廓。對(duì)于模板中的輪廓線，輪廓線少了，提取的輪廓特征也少，匹配精度不好;相反，輪廓線太多了，則不易匹配，因此，用三個(gè)參數(shù)進(jìn)行篩選（對(duì)比度（低）、對(duì)比度（高）、最小組件尺寸）。確定合適的圖像匹配金字塔級(jí)別，基于形狀的模板匹配，將圖像和模板在高層金字塔進(jìn)行搜索，然后映射到低層，提高搜索速度。模板設(shè)計(jì)為可旋轉(zhuǎn)、放縮的搜索，從原圖創(chuàng)建模板圖像再生成模板輪廓，從原點(diǎn)開始搜索。

（三）直角坐標(biāo)機(jī)器人視覺系統(tǒng)的9點(diǎn)標(biāo)定

利用實(shí)驗(yàn)室現(xiàn)有三坐標(biāo)直角運(yùn)動(dòng)平臺(tái)，配置單目相機(jī)構(gòu)成直角坐標(biāo)機(jī)器人視覺系統(tǒng)。講述實(shí)現(xiàn)9點(diǎn)標(biāo)定的詳細(xì)過(guò)程：建立圖像平面與機(jī)械手之間的一一對(duì)應(yīng)關(guān)系，利用圖像得出機(jī)械坐標(biāo)偏差。通過(guò)9點(diǎn)視覺系統(tǒng)標(biāo)定，將圖像的像素坐標(biāo)和目標(biāo)點(diǎn)的物理坐標(biāo)對(duì)應(yīng)起來(lái)，將像素位移轉(zhuǎn)換為機(jī)械手的幾何尺寸位移。

（四）基于直角坐標(biāo)機(jī)器人的工件隨機(jī)視覺抓取及定位擺放

講述機(jī)器人的基礎(chǔ)坐標(biāo)、工具坐標(biāo)的建立，并通過(guò)特征點(diǎn)標(biāo)定機(jī)器人工具坐標(biāo)系的0點(diǎn)位置;通過(guò)9點(diǎn)標(biāo)定確定工具坐標(biāo)與圖像坐標(biāo)間的關(guān)系。對(duì)標(biāo)定后的4軸機(jī)械手進(jìn)行目標(biāo)物體的隨機(jī)擺放視覺識(shí)別、抓取，并進(jìn)行定點(diǎn)擺放。

（五）基于視覺的光學(xué)字符識(shí)別

完成如下內(nèi)容的建設(shè)：1.坐標(biāo)變換：通過(guò)極坐標(biāo)變換調(diào)整圖像，將字符轉(zhuǎn)換到標(biāo)準(zhǔn)位置;2.光學(xué)字符圖像的處理：圖像平滑、閾值分割、圖像匹配、連通域分割、形態(tài)學(xué)處理、區(qū)域特征提取;3.光學(xué)字符識(shí)別，應(yīng)用OCR分類器，識(shí)別出分割出來(lái)的字符。

（六）C#聯(lián)合Halcon編程

結(jié)合工程實(shí)際案例，以“自動(dòng)售藥機(jī)剩余藥品數(shù)量的視覺統(tǒng)計(jì)”為例，講述并實(shí)現(xiàn)如下案例內(nèi)容：C#聯(lián)合Halcon編程過(guò)程。創(chuàng)建C#窗體程序項(xiàng)目，設(shè)計(jì)C#控件操作界面，將HALCON/.NET類庫(kù)、控件HwindowControl添加到C#的工具箱中;為實(shí)現(xiàn)C#中調(diào)用Halcon相關(guān)算子，加入using HalconDotNet命名空間的引用，將Halcon程序?qū)С龀蒀#程序等內(nèi)容。

四、課程建設(shè)與效果反饋

機(jī)器視覺課程的實(shí)踐性要求在課程學(xué)習(xí)過(guò)程中必須緊密結(jié)合實(shí)踐，這樣學(xué)生才能真正將所學(xué)的理論知識(shí)學(xué)活、學(xué)透徹。在案例庫(kù)教學(xué)活動(dòng)中遵循教師講解與啟發(fā)、學(xué)生實(shí)踐、效果反饋機(jī)制，使每個(gè)學(xué)生都能從案例教學(xué)過(guò)程中收益，有所收獲，有所進(jìn)步。完整的案例建設(shè)及效果反饋機(jī)制如圖3所示。

機(jī)器視覺案例庫(kù)建設(shè)是一個(gè)動(dòng)態(tài)的、持續(xù)改進(jìn)的過(guò)程，在案例庫(kù)建設(shè)之初要列出詳細(xì)的建設(shè)大綱、建設(shè)方案并進(jìn)行可行性分析，同時(shí)廣泛征求有益的意見和建議，使得案例庫(kù)建設(shè)一開始就能做到科學(xué)、可行、合理、有效。案例庫(kù)主要通過(guò)教學(xué)實(shí)施及學(xué)生實(shí)踐形成教學(xué)活動(dòng)，此環(huán)節(jié)是檢驗(yàn)案例庫(kù)建設(shè)成效的關(guān)鍵，因此要保證案例庫(kù)建設(shè)內(nèi)容要豐富、翔實(shí)，同時(shí)教學(xué)手段及教學(xué)方法要與案例庫(kù)實(shí)際相銜接，充分調(diào)動(dòng)學(xué)生的學(xué)習(xí)積極性，鼓勵(lì)學(xué)生大膽實(shí)踐并進(jìn)行創(chuàng)新性學(xué)習(xí)[7]，在案例庫(kù)基本教學(xué)內(nèi)容基礎(chǔ)上有所收獲、有所啟發(fā)。在對(duì)案例庫(kù)建設(shè)成效、教學(xué)效果及學(xué)生學(xué)習(xí)效果評(píng)價(jià)環(huán)節(jié)，主要采用師生互動(dòng)進(jìn)行討論、分析、查找不足等方法。在對(duì)討論結(jié)構(gòu)形成共識(shí)的基礎(chǔ)上對(duì)案例庫(kù)內(nèi)容進(jìn)行修正、完善，做到在建設(shè)中改進(jìn)、在改進(jìn)中完善。

五、結(jié)束語(yǔ)

案例庫(kù)教學(xué)是提高研究生實(shí)踐教學(xué)效能的主要方式之一。我校在研究生案例庫(kù)建設(shè)方面給予了大力的支持，在設(shè)備購(gòu)置、建設(shè)資金支持方面得到了保障。我校結(jié)合控制學(xué)科研究生教育與培養(yǎng)過(guò)程，建設(shè)了機(jī)器視覺教學(xué)案例庫(kù)，突出了機(jī)器視覺教學(xué)活動(dòng)的實(shí)踐性，使學(xué)生在學(xué)習(xí)與實(shí)踐過(guò)程中真正掌握機(jī)器視覺課程學(xué)習(xí)的理論及實(shí)踐技能，實(shí)現(xiàn)了“學(xué)有所成，為我所用”的目標(biāo)。本文研究?jī)?nèi)容提高了機(jī)器視覺課程教學(xué)效果，提升了學(xué)生的學(xué)習(xí)效能，具有實(shí)踐意義。