井下移動(dòng)機(jī)器人雙目視覺攝像機(jī)的標(biāo)定方法

陳學(xué)惠 賈瑞清

（1.中國礦業(yè)大學(xué)（北京）機(jī)電與信息工程學(xué)院，北京市海淀區(qū)，100083；2.中國傳媒大學(xué)信息工程學(xué)院，北京市朝陽區(qū)，100024）

井下移動(dòng)機(jī)器人雙目視覺攝像機(jī)的標(biāo)定方法

陳學(xué)惠1，2賈瑞清1

（1.中國礦業(yè)大學(xué)（北京）機(jī)電與信息工程學(xué)院，北京市海淀區(qū)，100083；2.中國傳媒大學(xué)信息工程學(xué)院，北京市朝陽區(qū)，100024）

提出了一種對(duì)井下移動(dòng)機(jī)器人雙目立體視覺系統(tǒng)的相機(jī)的標(biāo)定方法，它是以一正方體為標(biāo)定塊，利用其棱邊在相機(jī)成像面所形成的三個(gè)互相垂直的消隱點(diǎn)，來確定相機(jī)的內(nèi)外參數(shù)，以便為井下巷道場景的三維重建做準(zhǔn)備。試驗(yàn)表明，本文的標(biāo)定方法是能夠滿足井下移動(dòng)機(jī)器人雙目立體視覺應(yīng)用的要求。

雙目立體視覺 攝像機(jī)模型 攝像機(jī)標(biāo)定 消隱點(diǎn) 重投影

1 引言

鑒于目前我國煤炭生產(chǎn)安全形勢(shì)，非常迫切的要求機(jī)器人極其技術(shù)的應(yīng)用，而其中的機(jī)器人雙目視覺，因它是利用計(jì)算機(jī)實(shí)現(xiàn)人的視覺功能，所以它可以通過圖像達(dá)到認(rèn)知三維信息的能力，如對(duì)目標(biāo)物體的形狀、位置、姿態(tài)、運(yùn)動(dòng)等的識(shí)別。從而為煤礦生產(chǎn)提供必要的井下環(huán)境空間位置信息。

雙目立體視覺系統(tǒng)由兩個(gè)型號(hào)相同的相機(jī)組成，它能通過視覺計(jì)算獲得井下三維場景的信息，為井下移動(dòng)機(jī)器人導(dǎo)航以及井下場景的三維重建服務(wù)，而在雙目立體視覺系統(tǒng)的各項(xiàng)關(guān)鍵技術(shù)中，相機(jī)的標(biāo)定是立體視覺算法的基礎(chǔ)。

傳統(tǒng)相機(jī)標(biāo)定基本方法需要在攝像機(jī)前方放置一個(gè)已知形狀與尺寸的標(biāo)定參照物。由于井下環(huán)境不允許放置特定的標(biāo)定參照物，加之?dāng)z像機(jī)的參數(shù)需要經(jīng)常調(diào)整，這就需要一種不依賴參照物的攝像機(jī)自標(biāo)定方法，所以本文提出一種基于消隱點(diǎn)的雙目視覺系統(tǒng)的自標(biāo)定方法，實(shí)現(xiàn)對(duì)井下移動(dòng)機(jī)器人雙目立體視覺系統(tǒng)相機(jī)快速標(biāo)定，以滿足井下移動(dòng)機(jī)器人雙目視覺系統(tǒng)的需要。

2 攝像機(jī)模型

攝像機(jī)的基本成像模型，通常稱為基本針孔模型，由三維空間到平面的中心投影變換所給出。在該模型下，可將三維空間任意點(diǎn)Xw可描述為：

攝像機(jī)矩陣P可表示為：

上式中：R，t分別表示為世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量，稱之為攝像機(jī)的外參數(shù)；K是攝像機(jī)坐標(biāo)系到圖像坐標(biāo)系的變換矩陣，稱之為攝像機(jī)內(nèi)參數(shù)矩陣；為攝像機(jī)的主點(diǎn)坐標(biāo)；f為焦距；dx，dy為矩形像素的長與寬；s為傾斜因子。攝像機(jī)的標(biāo)定的目的就是確定攝像機(jī)的內(nèi)參數(shù)矩陣K和外參數(shù)R和t。

3 利用消隱點(diǎn)對(duì)攝像機(jī)進(jìn)行標(biāo)定

3.1 攝像機(jī)內(nèi)參數(shù)的標(biāo)定

真實(shí)三維場景中的一組平行線經(jīng)過中心透視投影成像后，在成像平面上交于一點(diǎn)，此點(diǎn)被稱為消隱點(diǎn)。投影中心（即攝像機(jī)光心）與消隱點(diǎn)的連線與形成該消隱點(diǎn)的空間平行線平行。如圖1所示。

Vi在圖像平面上的坐標(biāo)為則在攝像機(jī)坐標(biāo)系下的坐標(biāo)為：

由于OcVi互相垂直，則有：

用（4）式分別減去（5）式和（6）式得：

由（9）式和（10）式可知，有3個(gè)未知數(shù)，而只有兩個(gè)方程，解為不確定。我們可以由兩個(gè)完全相同的攝像機(jī)組成雙目立體視覺，如果上述兩個(gè)方程為左攝像機(jī)內(nèi)參數(shù)約束方程，同樣可得出右攝像機(jī)的內(nèi)參數(shù)約束方程：

將v0t看成一個(gè)整體，則由（9）－（12）式就可求出u0，v0，t，將u0，v0，t代入（4）或（5）式可求出：

這樣就得到了攝像機(jī)的全部內(nèi)參數(shù)u0，v0，fx，fy（此時(shí)相機(jī)的扭曲因子s＝0）。

3.2 攝像機(jī)外參數(shù)的標(biāo)定

將3.1中標(biāo)定的攝像機(jī)內(nèi)參數(shù)K代入（14）式可求出攝像機(jī)的旋轉(zhuǎn)矩陣R。同理可求出雙目立體視覺的另一個(gè)攝像機(jī)的旋轉(zhuǎn)矩陣R′

由圖2中的世界坐標(biāo)原點(diǎn)Ow的圖像點(diǎn)ow可得：

同理可求出雙目立體視覺系統(tǒng)的另一個(gè)攝像機(jī)的平移向量t′。

則雙目立體視覺的基線b（兩攝像機(jī)光心連線）為：

4 標(biāo)定試驗(yàn)

采用一個(gè)邊長為30cm的正方體作為標(biāo)定塊，利用它上面的三組互相垂直的平行線，可以在成像平面上形成三個(gè)消隱點(diǎn)，對(duì)雙目視覺系統(tǒng)的內(nèi)外參數(shù)進(jìn)行標(biāo)定。

4.1 模擬試驗(yàn)

采用一組模擬三維空間點(diǎn)來進(jìn)行試驗(yàn)，三維空間點(diǎn)位于邊長為30cm的正方體的頂點(diǎn)，設(shè)模擬相機(jī)的內(nèi)參數(shù)為：u0＝50，v0＝50，fx＝400，fy＝600。試驗(yàn)時(shí)，設(shè)左相機(jī)的外參數(shù)為：T1＝[30 40 60]′，攝像機(jī)繞世界坐標(biāo)軸X、Y、Z軸旋轉(zhuǎn)的角度分別為：π／15，π／10，π／15；右相機(jī)的外參數(shù)為：T1＝[60 40 80]′，攝像機(jī)繞世界坐標(biāo)軸X、Y、Z軸旋轉(zhuǎn)的角度分別為：π／15，－π／5，π／15。表為正方體的7個(gè)頂點(diǎn)在左右相機(jī)成像面上的坐標(biāo)。

表1 模擬點(diǎn)的坐標(biāo)

由模擬數(shù)據(jù)用本文所述方法可得相機(jī)的參數(shù)標(biāo)定結(jié)果：

用標(biāo)定的參數(shù)對(duì)立方體的頂點(diǎn)重投影，結(jié)果見表2；進(jìn)行圖像的三維歐氏重建，得到的立方體各棱邊的長度為：頂點(diǎn)1與頂點(diǎn)2組成的邊長度為30.0001；頂點(diǎn)3與頂點(diǎn)4的邊長30.0007；頂點(diǎn)6與頂點(diǎn)7的邊長30.0001；頂點(diǎn)1與頂點(diǎn)4的邊長29.9999；頂點(diǎn)2與頂點(diǎn)3的邊長30.0001；頂點(diǎn)6與頂點(diǎn)7的邊長29.9993；頂點(diǎn)1與頂點(diǎn)6的邊長29.9983；頂點(diǎn)4與頂點(diǎn)5的邊長29.9985；頂點(diǎn)2與頂點(diǎn)7的邊長29.99985。

表2 空間點(diǎn)的重投影坐標(biāo)

4.2 實(shí)際圖像標(biāo)定實(shí)驗(yàn)

圖3和圖4分別是由兩相同型號(hào)的數(shù)碼相機(jī)，光軸平行放置，調(diào)節(jié)為相同的參數(shù)，對(duì)一邊長為30cm正方體標(biāo)定塊，同時(shí)拍攝所得的圖像。由正方體的三個(gè)不同方向的棱邊可得三個(gè)互相垂直的消隱點(diǎn)。以圖3和圖4上所求得的消隱點(diǎn)數(shù)據(jù)，可求得相機(jī)的內(nèi)參數(shù)為：

以標(biāo)定的參數(shù)對(duì)標(biāo)定塊的頂點(diǎn)進(jìn)行重投影，結(jié)果見表3和表4；三維歐氏重建后，各棱邊的長度分別為：頂點(diǎn)1與頂點(diǎn)2組成的邊長度為30.355；頂點(diǎn)3與頂點(diǎn)4的邊長30.190；頂點(diǎn)6與頂點(diǎn)7的邊長30.180；頂點(diǎn)1與頂點(diǎn)4的邊長30.608；頂點(diǎn)2與頂點(diǎn)3的邊長30.008；頂點(diǎn)6與頂點(diǎn)7的邊長29.136；頂點(diǎn)1與頂點(diǎn)6的邊長29.614；頂點(diǎn)4與頂點(diǎn)5的邊長29.713；頂點(diǎn)2與頂點(diǎn)7的邊長29.907。

表3 左圖重投影數(shù)據(jù)

表4 右圖重投影數(shù)據(jù)

從模擬數(shù)據(jù)試驗(yàn)與實(shí)際圖像數(shù)據(jù)試驗(yàn)的結(jié)果可以看出，以標(biāo)定的相機(jī)參數(shù)對(duì)空間點(diǎn)進(jìn)行重投影和三維重建，重投影的最大誤差不超過2個(gè)像素，重建的正方體棱邊長度誤差小于3%。由此證明本文提出的方法是可以用在井下移動(dòng)機(jī)器人的雙目視覺系統(tǒng)相機(jī)的標(biāo)定。

5 井下巷道環(huán)境三維重建

采用本文所述方法對(duì)雙目視覺攝像機(jī)標(biāo)定后，采集了井下巷道一組圖像（峰峰礦業(yè)集團(tuán)梧桐莊礦），如圖5、圖6所示，圖7為視覺立體匹配后的視差圖，圖8為重建后的效果顯示。由此驗(yàn)證本文提出的方法是可以應(yīng)用于井下環(huán)境的三維重建。并為煤炭安全生產(chǎn)提供環(huán)境的三維數(shù)據(jù)支持。

圖8 井下巷道重建顯示

6 結(jié)論

本文研究了一種雙目視覺系統(tǒng)相機(jī)的標(biāo)定方法，它以一正方體作為標(biāo)定快，利用其三個(gè)方向的棱邊在相機(jī)成像面上所形成的三個(gè)互相垂直的消隱點(diǎn)來確定像機(jī)的參數(shù)，該標(biāo)定方法簡單，不需要精密的標(biāo)定設(shè)備，對(duì)拍攝環(huán)境沒有太高的要求，試驗(yàn)表明此方法是能夠滿足井下移動(dòng)機(jī)器人的導(dǎo)航和井下三維場景重建應(yīng)用。

[1] 吳福朝.計(jì)算機(jī)視覺中的計(jì)算[M].北京：科學(xué)出版社，2008

[2] B.Caprilev.Torre.Using vanishing points for camera calibration.International of Computer Vison.Volume 4，Number 2

[3] R.Hartley.Multile View Geometry in Computer Vision[M]，London：Cambridge University Press.2003

[4] Cipolla R，Drummond T，Robertson D.Camera calibration from vanishing points in images of architectural scenes[A].In：Proceedings of British Machine Vision Conference[C]，Nottingham，English，1999

[5] 謝文寒.基于多像滅點(diǎn)進(jìn)行相機(jī)標(biāo)定的方法探究[D].武漢：武漢大學(xué)，2004

A method of calibration for coal mine mobile robot based on binocular mision

Chen Xuehui1，2，Jia Ruiqing1

（1.School of Mechanical Electronic and Information Engineering，China University of Mining and Technology（Beijing），Haidian，Beijing 100083，China；2.School of Information Engineering，Communication University of China，Chaoyang，Beijing 100024，China）

Based on the vanishing point，this paper proposes a new method of camera calibration.We consider a cube as calibrated objects，and through solving the vanishing point between two images，we can determine the camera internal parameters and the baseline of the two cameras.The tests showed that this calibration method is able to meet the coal mine mobile robot based on binocular stereo vision applications.

binocular stereo vision，camera model，camera calibration，vanishing point，reprojection

TD67

B

陳學(xué)惠（1963－），女，江蘇淮安人，大學(xué)本科，副教授，主要從事機(jī)器人視覺及圖像處理方向研究。

（責(zé)任編輯 熊志軍）