智能檢測(cè)技術(shù)與系統(tǒng)教學(xué)內(nèi)容實(shí)踐與探索

付東翔，傅迎華，胡春燕，李菲菲，孫 紅

（上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

0 引 言

隨著人工智能、大數(shù)據(jù)等新技術(shù)的不斷發(fā)展和新技術(shù)在社會(huì)各個(gè)領(lǐng)域應(yīng)用的不斷深入，在智能科學(xué)與技術(shù)專業(yè)如火如荼的當(dāng)下，越來越多的高校開設(shè)了智能科學(xué)與技術(shù)專業(yè)或者相關(guān)專業(yè)。智能本科專業(yè)的課程內(nèi)容如何與當(dāng)前社會(huì)實(shí)際應(yīng)用相匹配、如何體現(xiàn)本專業(yè)特色、如何滿足當(dāng)前社會(huì)與行業(yè)的人才需求等問題一直是教學(xué)工作中需要關(guān)注和思考的問題[1]。

當(dāng)前信息技術(shù)的飛速發(fā)展，尤其工業(yè)機(jī)器人技術(shù)不斷滲透、應(yīng)用到生產(chǎn)和社會(huì)生活的方方面面，面對(duì)機(jī)器人技術(shù)的發(fā)展和應(yīng)用，智能專業(yè)的培養(yǎng)計(jì)劃和課程內(nèi)容應(yīng)該包括不斷發(fā)展、擴(kuò)大機(jī)器人相關(guān)領(lǐng)域的知識(shí)[2]。

智能檢測(cè)技術(shù)與系統(tǒng)課程以面向機(jī)器人視覺標(biāo)定與測(cè)量為主要內(nèi)容，包括機(jī)器人視覺的概念、攝像機(jī)模型與基于標(biāo)靶的標(biāo)定方法、基于運(yùn)動(dòng)的攝像機(jī)自標(biāo)定方法、視覺測(cè)量的基本概念與方法等。課程內(nèi)容還銜接專業(yè)的機(jī)器視覺、自主機(jī)器人技術(shù)等其他課程。這些內(nèi)容使專業(yè)課程體系較好地覆蓋了智能機(jī)器人領(lǐng)域的各個(gè)方面，更具專業(yè)特色。

1 教學(xué)目標(biāo)方向與定位

傳統(tǒng)的智能檢測(cè)技術(shù)與系統(tǒng)課程內(nèi)容通常由傳感器分類與原理、智能儀表及軟測(cè)量技術(shù)等內(nèi)容組成。隨著機(jī)器人技術(shù)的不斷發(fā)展和應(yīng)用，智能專業(yè)課程中需要對(duì)機(jī)器人視覺測(cè)量相關(guān)技術(shù)的基本原理和方法進(jìn)行介紹。機(jī)器人視覺與機(jī)器視覺、計(jì)算機(jī)視覺等學(xué)科關(guān)系密切，但概念又有所不同：機(jī)器人的視覺測(cè)量與控制著眼于提取視覺測(cè)量信息，進(jìn)行機(jī)器人的實(shí)時(shí)運(yùn)動(dòng)控制，注重實(shí)時(shí)性和自主工作能力；機(jī)器視覺和計(jì)算機(jī)視覺側(cè)重于根據(jù)目標(biāo)的二維圖像回復(fù)其三維信息[3-4]。

為了適應(yīng)當(dāng)前智能專業(yè)應(yīng)用和技術(shù)發(fā)展，智能檢測(cè)技術(shù)與系統(tǒng)課程的目標(biāo)方向應(yīng)面向機(jī)器人視覺測(cè)量技術(shù)與方法，課程定位為：熟悉機(jī)器人視覺測(cè)量的基本概念，熟悉和掌握攝像機(jī)內(nèi)、外參數(shù)模型、攝像機(jī)基本標(biāo)定方法、機(jī)器人手眼系統(tǒng)及其標(biāo)定方法、視覺位置測(cè)量的基本原理與方法等，奠定學(xué)生在機(jī)器人視覺檢測(cè)與控制方面的基礎(chǔ)知識(shí)，為后續(xù)機(jī)器視覺、自主機(jī)器人技術(shù)等專業(yè)課程教學(xué)奠定理論和實(shí)驗(yàn)基礎(chǔ)。

2 理論與實(shí)驗(yàn)教學(xué)內(nèi)容

課程理論教學(xué)介紹以攝像機(jī)為傳感器的視覺測(cè)量的基本理論和方法，同時(shí)在此基礎(chǔ)上進(jìn)行攝像機(jī)標(biāo)定實(shí)驗(yàn)、標(biāo)定算法程序設(shè)計(jì)和測(cè)量方法計(jì)算實(shí)驗(yàn)。理論教學(xué)分為兩大部分：①攝像機(jī)、視覺系統(tǒng)和手眼系統(tǒng)的標(biāo)定；②視覺測(cè)量原理和方法。實(shí)驗(yàn)教學(xué)是理論教學(xué)的實(shí)踐，讓學(xué)生認(rèn)識(shí)和動(dòng)手實(shí)踐理論內(nèi)容。

2.1 理論教學(xué)

1）攝像機(jī)與視覺系統(tǒng)標(biāo)定。

在介紹機(jī)器人視覺的基本概念之后，著重介紹攝像機(jī)內(nèi)、外參數(shù)模型與標(biāo)定方法：①機(jī)器人視覺測(cè)量的基本概念；②攝像機(jī)模型與內(nèi)、外參數(shù)，攝像機(jī)針孔模型與內(nèi)、外參數(shù)的矩陣表達(dá)式；③視覺系統(tǒng)的標(biāo)定方法，F(xiàn)augeras、Tsai等經(jīng)典標(biāo)定方法[5]。Faugeras是一種經(jīng)典的攝像機(jī)標(biāo)定方法，其后許多改進(jìn)的方法，如Tsai等方法都以此方法為基礎(chǔ)[6]。

2）視覺測(cè)量的基本理論與方法。

①視覺測(cè)量中的約束條件，視覺測(cè)量中，對(duì)相同的場(chǎng)景，不同攝像機(jī)采集的圖像存在一些約束條件；同一臺(tái)攝像機(jī)在不同視點(diǎn)采集的圖像之間也存在某些約束條件。這些約束有特征匹配約束、不變性約束、直線約束[7]。②單目、立體視覺測(cè)量，單目視覺測(cè)量是對(duì)平面內(nèi)目標(biāo)二維位置的測(cè)量，根據(jù)攝像機(jī)內(nèi)外參數(shù)模型公式確定世界坐標(biāo)系與圖像坐標(biāo)系的轉(zhuǎn)換關(guān)系。雙目視覺測(cè)量是根據(jù)兩臺(tái)攝像機(jī)采集的圖像上的匹配點(diǎn)，計(jì)算空間點(diǎn)的三維世界坐標(biāo)。③位姿測(cè)量，位姿的測(cè)量主要內(nèi)容有：基于PnP問題的位姿測(cè)量、基于矩形目標(biāo)約束的位姿測(cè)量和具有消失點(diǎn)的位姿測(cè)量等。④視覺定位，本部分內(nèi)容是視覺測(cè)量的應(yīng)用舉例，基于PnP的定位和基于矩形目標(biāo)約束的位姿測(cè)量。

理論教學(xué)內(nèi)容與學(xué)時(shí)安排見表1。

2.2 實(shí)驗(yàn)教學(xué)內(nèi)容

實(shí)驗(yàn)教學(xué)是理論教學(xué)的實(shí)踐，分為2個(gè)部分：基于工具軟件實(shí)現(xiàn)攝像機(jī)標(biāo)定；攝像機(jī)標(biāo)定算法計(jì)算和位姿測(cè)量仿真實(shí)驗(yàn)。主要內(nèi)容可概括為3部分。

1）攝像機(jī)標(biāo)定實(shí)驗(yàn)。

該實(shí)驗(yàn)內(nèi)容包括采用Matlab2014a軟件中的攝像機(jī)標(biāo)定工具箱輸入靶標(biāo)圖像，進(jìn)行攝像機(jī)內(nèi)、外參數(shù)的標(biāo)定。與Matlab前期版本相比，其操作相對(duì)簡(jiǎn)單，步驟如下：添加圖像。打開靶標(biāo)圖像所在文件路徑，添加靶標(biāo)圖像，實(shí)驗(yàn)中有20幅；選擇畸變矯正系數(shù)；點(diǎn)擊標(biāo)定按鈕；導(dǎo)出標(biāo)定參數(shù)。

表1 理論教學(xué)內(nèi)容與學(xué)時(shí)安排

圖1為實(shí)驗(yàn)輸出結(jié)果形式。該實(shí)驗(yàn)通過靶標(biāo)圖像進(jìn)行攝像機(jī)標(biāo)定的步驟、過程。讓學(xué)生充分理解攝像機(jī)內(nèi)、外參數(shù)含義和形式。

圖1 Matlab工具箱標(biāo)定結(jié)果

2）基于OpenCV的攝像機(jī)標(biāo)定實(shí)驗(yàn)。

該實(shí)驗(yàn)內(nèi)容包括：采用VS2010及后續(xù)版面軟件和OpenCV軟件包，設(shè)計(jì)VS程序，輸入靶標(biāo)圖像，進(jìn)行攝像機(jī)內(nèi)、外參數(shù)的標(biāo)定。步驟如下：安裝OpenCV程序，同時(shí)進(jìn)行運(yùn)行環(huán)境配置；在VS2010下建立一個(gè)win32控制臺(tái)工程，配置OpenCV頭文件和庫文件編譯路徑，編寫主函數(shù)代碼；程序運(yùn)行。程序流程如圖2所示。

圖2 程序流程圖

通過該實(shí)驗(yàn)，學(xué)生動(dòng)手通過程序設(shè)計(jì)，調(diào)用OpenCV庫函數(shù)，實(shí)現(xiàn)靶標(biāo)圖像的讀取和標(biāo)定，使得學(xué)生熟悉和掌握標(biāo)定的程序設(shè)計(jì)方法和步驟。實(shí)驗(yàn)結(jié)果形式如圖3所示。

圖3 OpenCV標(biāo)定及結(jié)果

3）PnP問題仿真計(jì)算實(shí)驗(yàn)。

該實(shí)驗(yàn)以3個(gè)空間點(diǎn)的情況為對(duì)象，設(shè)計(jì)Matlab程序進(jìn)行PnP問題的求解和驗(yàn)證其正確性。步驟如下：①給出3個(gè)空間點(diǎn)的世界坐標(biāo)系下坐標(biāo)和攝像機(jī)的內(nèi)、外參數(shù)模型；②根據(jù)空間點(diǎn)的世界坐標(biāo)和攝像機(jī)內(nèi)外參數(shù)，計(jì)算這些空間點(diǎn)的攝像機(jī)坐標(biāo)系下坐標(biāo)和圖像坐標(biāo)，將該攝像機(jī)坐標(biāo)系下坐標(biāo)作為真實(shí)坐標(biāo)將與計(jì)算結(jié)果比較；③按照P3P計(jì)算原理，計(jì)算3個(gè)空間點(diǎn)的攝像機(jī)坐標(biāo)系下的坐標(biāo)，將該結(jié)果與前面計(jì)算的攝像機(jī)坐標(biāo)系下坐標(biāo)進(jìn)行比較，驗(yàn)證P3P計(jì)算的正確性。通過該實(shí)驗(yàn)，使學(xué)生熟悉視覺測(cè)量的基本計(jì)算方法和求解步驟。表2為實(shí)驗(yàn)課程內(nèi)容與學(xué)時(shí)安排。

表2 實(shí)驗(yàn)課內(nèi)容與學(xué)時(shí)安排

3 創(chuàng)新實(shí)踐

基于視覺測(cè)量的智能檢測(cè)技術(shù)課程教學(xué)內(nèi)容為本專業(yè)其他課程（如機(jī)器視覺、自主移動(dòng)機(jī)器人技術(shù)等）奠定了基礎(chǔ)，與這些課程實(shí)現(xiàn)了較好的銜接，如圖4所示。

圖4 課程與其他專業(yè)課程的銜接

首先，在智能檢測(cè)技術(shù)與系統(tǒng)課程的學(xué)習(xí)中，學(xué)生已經(jīng)能夠熟悉視覺系統(tǒng)的基本概念、攝像機(jī)標(biāo)定的內(nèi)外參數(shù)模型定義和方法、視覺測(cè)量的基本方法和原理等，同時(shí)實(shí)踐了OPenCV庫函數(shù)的調(diào)用和程序設(shè)計(jì)。這些為學(xué)生學(xué)習(xí)后續(xù)課程機(jī)器視覺、自主機(jī)器人技術(shù)等和參加實(shí)踐比賽奠定了基礎(chǔ)。學(xué)生在智能專業(yè)課程設(shè)計(jì)中還可以選擇帶有視覺測(cè)量功能的智能系統(tǒng)題目。

其次，通過本課程內(nèi)容的學(xué)習(xí)，為學(xué)生申請(qǐng)本校和上海市的大學(xué)生創(chuàng)新項(xiàng)目和完成奠定了基礎(chǔ)。專業(yè)學(xué)生近年來連續(xù)獲得多項(xiàng)上海市大學(xué)生創(chuàng)新項(xiàng)目和上海理工大學(xué)本科創(chuàng)新項(xiàng)目。

最后，為專業(yè)學(xué)生參加各類全國(guó)大學(xué)生智能大賽奠定了視覺測(cè)量與控制方面較好的理論和實(shí)踐基礎(chǔ)，使得學(xué)生可以更多、更好地選擇參加視覺類測(cè)量、控制項(xiàng)目。

4 結(jié) 語

面向視覺測(cè)量的智能檢測(cè)技術(shù)與系統(tǒng)課程教學(xué)與實(shí)驗(yàn)以視覺系統(tǒng)的標(biāo)定和測(cè)量為主要內(nèi)容，圍繞攝像機(jī)標(biāo)定和視覺測(cè)量方法展開，使學(xué)生能夠理解視覺測(cè)量的基本概念和方法，能夠充分理解、熟悉視覺測(cè)量理論和方法在機(jī)器人系統(tǒng)中的功能和作用。課程內(nèi)容較好銜接后續(xù)機(jī)器視覺、自主機(jī)器人技術(shù)等相關(guān)課程。為智能專業(yè)課程設(shè)計(jì)奠定了工作基礎(chǔ)，使智能專業(yè)課程體系更加合理。

同時(shí)，本課程也在不斷探索中，隨著本專業(yè)實(shí)驗(yàn)室設(shè)備的更新和建設(shè)，后續(xù)設(shè)備如機(jī)械臂、工業(yè)相機(jī)和控制器等設(shè)備的購置和引入，實(shí)驗(yàn)課程部分?jǐn)M增加機(jī)器人手眼系統(tǒng)標(biāo)定和測(cè)量定位等部分的實(shí)驗(yàn)內(nèi)容。

在目前機(jī)器人技術(shù)應(yīng)用逐漸進(jìn)入工業(yè)自動(dòng)化領(lǐng)域和各個(gè)生活領(lǐng)域并且已經(jīng)開始取代一些人類重復(fù)性工作的大趨勢(shì)下，通過對(duì)機(jī)器人視覺測(cè)量原理和方法的熟悉和掌握，將使得智能科學(xué)與技術(shù)專業(yè)學(xué)生的專業(yè)應(yīng)用能力更具有針對(duì)性和專業(yè)性。