張永濤 趙立宏 郭會(huì)娟
Kinect原本是微軟公司開發(fā)的Xbox360主機(jī)的周邊外設(shè),主要應(yīng)用于實(shí)時(shí)的人機(jī)交互工程,也有相關(guān)研究人員將其成功應(yīng)用于三維重建系統(tǒng)。但目前利用Kinect實(shí)現(xiàn)三維重建大多數(shù)是基于單個(gè)Kinect傳感器的應(yīng)用,多Kinect傳感器聯(lián)合實(shí)現(xiàn)大型復(fù)雜環(huán)境的三維重建技術(shù)日益顯現(xiàn)出優(yōu)勢(shì),多傳感器坐標(biāo)系標(biāo)定和配準(zhǔn)的實(shí)現(xiàn)是第一個(gè)技術(shù)難點(diǎn),本文研究了兩個(gè)Kinect傳感器定標(biāo)和配準(zhǔn)的實(shí)現(xiàn)過程,為實(shí)現(xiàn)后續(xù)的多傳感器聯(lián)合大型復(fù)雜環(huán)境三維重構(gòu)做了基礎(chǔ)研究。本文主要分為兩步:1)同一臺(tái)計(jì)算機(jī)分別對(duì)兩個(gè)傳感器的啟用并獲取兩個(gè)傳感器的數(shù)據(jù)進(jìn)行坐標(biāo)系標(biāo)定;2)采用迭代就近點(diǎn)法ICP(Iterative Closest Point)對(duì)兩個(gè)傳感器的圖像進(jìn)行配準(zhǔn)。本文采用的定標(biāo)和配準(zhǔn)方法簡(jiǎn)單快捷,并且能夠準(zhǔn)確的對(duì)復(fù)雜環(huán)境進(jìn)行定標(biāo)且配準(zhǔn)結(jié)果比較理想。
【關(guān)鍵詞】Kinect 多傳感器標(biāo)定 三維重建 圖像配準(zhǔn)
隨著信息技術(shù)和科學(xué)技術(shù)的不斷發(fā)展,三維重建也在工業(yè)測(cè)量、航空航天、逆向工程、醫(yī)學(xué)等領(lǐng)域得到了快速發(fā)展與應(yīng)用,并將應(yīng)用于越來越復(fù)雜的領(lǐng)域。Kinect傳感器是一種RGB-D傳感器,在獲得環(huán)境顏色值(RGB)還可獲得深度值(depth)。并且作為一種價(jià)格相對(duì)低廉的深度傳感器,在構(gòu)建多傳感器復(fù)合三維重構(gòu)系統(tǒng)中有較大的優(yōu)勢(shì),對(duì)于大型工件與復(fù)雜環(huán)境的三維建模,單個(gè)傳感器的掃描重建速度嚴(yán)重限制了三維重建的效率,多傳感器聯(lián)合掃描重建將成為大型復(fù)雜工件與環(huán)境三維重建的一個(gè)新的發(fā)展方向,本文研究了基于雙Kinect傳感器在復(fù)雜環(huán)境下的坐標(biāo)系標(biāo)定和圖像配準(zhǔn),并實(shí)現(xiàn)了復(fù)雜環(huán)境下坐標(biāo)系的快速準(zhǔn)確標(biāo)定以及獲得比較理想的圖像配準(zhǔn)結(jié)果。
1 Kinect坐標(biāo)系標(biāo)定現(xiàn)狀
確定一個(gè)傳感器的參數(shù),稱為傳感器標(biāo)定。標(biāo)定目的在于確定傳感器的圖像坐標(biāo)系與物體在空間中的三維參考坐標(biāo)系的坐標(biāo)對(duì)應(yīng)關(guān)系,即圖像間對(duì)應(yīng)點(diǎn)的匹配關(guān)系,以及傳感器自身的內(nèi)部參數(shù)和不同圖像間的傳感器的外部參數(shù)。目前關(guān)于Kinect坐標(biāo)系標(biāo)定的方法常用的一般為定標(biāo)物定標(biāo),對(duì)Kinect深度傳感器定標(biāo)時(shí),使用棋盤格作為定標(biāo)物定標(biāo),棋盤格如圖1所示。
Kinect深度傳感器定標(biāo)的主要步驟如下:
(1)準(zhǔn)備棋盤格標(biāo)定板,連接深度傳感器。
(2)前后轉(zhuǎn)動(dòng)棋盤格標(biāo)定板,使用Kinect傳感器掃描棋盤格定標(biāo)板在各個(gè)位置的圖像,并進(jìn)行圖像數(shù)據(jù)存儲(chǔ)。至少在不同平面內(nèi)掃描3幅棋盤格在不同方位的圖像,圖2為某次掃描中的一個(gè)位置上所獲得的圖像。
(3)利用Camera Calibration Toolbox,運(yùn)行calib命令對(duì)Kinect傳感器拍攝的圖片定標(biāo),將定標(biāo)結(jié)果文件存儲(chǔ)為Calib_Results_Kinect.mat,完成對(duì)Kinect傳感器的定標(biāo)。
2 雙Kinect傳感器定標(biāo)方法設(shè)計(jì)
3.1 圖像的配準(zhǔn)
圖像配準(zhǔn)是將不同時(shí)間、不同傳感器或不同條件下(如光照、氣候、位置角度等)獲取的兩幅或者多幅圖像進(jìn)行匹配和疊加的過程。本文選用迭代就近點(diǎn)法ICP(Iterative Closest Point),即基于自由形態(tài)曲面的配準(zhǔn)方法。以點(diǎn)集對(duì)點(diǎn)集(PSTPS)配準(zhǔn)方法為基礎(chǔ),闡述了一種曲面擬合算法,該算法是基于四元數(shù)的點(diǎn)集到點(diǎn)集配準(zhǔn)方法。從測(cè)量點(diǎn)集中確定其對(duì)應(yīng)的就近點(diǎn)點(diǎn)集后,運(yùn)用Faugera和Hebert提出的方法計(jì)算新的就近點(diǎn)點(diǎn)集。用該方法進(jìn)行迭代計(jì)算,直到殘差平方和所構(gòu)成的目標(biāo)函數(shù)值不變,結(jié)束迭代過程。
3.2 ICP算法
ICP算法是最常用的數(shù)據(jù)精確配準(zhǔn)方法, 該算法在每次的迭代過程中, 對(duì)數(shù)據(jù)點(diǎn)云中每一點(diǎn), 在模型點(diǎn)云中尋找歐式距離最近點(diǎn)作為對(duì)應(yīng)點(diǎn),在雙Kinect傳感器采集圖像基礎(chǔ)上,以其中第一個(gè)Kinect傳感器采集的圖像作為模型點(diǎn)云,以第二個(gè)Kinect傳感器采集到的圖像作為數(shù)據(jù)點(diǎn)云, 通過這組對(duì)應(yīng)的數(shù)據(jù)點(diǎn)使得目標(biāo)函數(shù)最小化:
Rm=min‖Qi?RmPi+tm‖2
從而得出最優(yōu)的配準(zhǔn)旋轉(zhuǎn)矩陣Rm與配準(zhǔn)平移向量tm。
3.3 雙Kinect傳感器圖像的配準(zhǔn)過程
將上述得出的配準(zhǔn)旋轉(zhuǎn)矩陣Rm與配準(zhǔn)平移向量tm作用于數(shù)據(jù)點(diǎn)云進(jìn)行相對(duì)應(yīng)的旋轉(zhuǎn)和平移,得出新的數(shù)據(jù)點(diǎn)云并進(jìn)入下次迭代過程之中,最后轉(zhuǎn)化到模型數(shù)據(jù)點(diǎn)云參考系中,實(shí)現(xiàn)兩個(gè)Kinect傳感器采集的圖像之間的配準(zhǔn)。
4 實(shí)驗(yàn)結(jié)果驗(yàn)證
為驗(yàn)證雙Kinect傳感器定標(biāo)完成后兩個(gè)傳感器所采集的圖像配準(zhǔn)結(jié)果,在Intel(R)Core(TM)i5-3230M CPU @2.6GHz 主頻 4.00GB內(nèi)存的計(jì)算機(jī)上應(yīng)用PCL(Point Cloud Library)開發(fā)平臺(tái)進(jìn)行驗(yàn)證。
圖3.1為配準(zhǔn)前第一個(gè)(左)Kinect傳感器采集的模型點(diǎn)云圖像,圖3.2為配準(zhǔn)前第二個(gè)(右)Kinect傳感器采集的點(diǎn)云圖像。圖3.1和圖3.2的點(diǎn)云數(shù)據(jù)經(jīng)過ICP算法的配準(zhǔn)處理后,輸出圖像如圖3.3和圖3.4所示,其中圖3.3為配準(zhǔn)處理后輸出圖形,而圖3.4是在圖3.3的基礎(chǔ)上為顯示配準(zhǔn)后的三維效果手動(dòng)旋轉(zhuǎn)某一角度后所得圖像,由配準(zhǔn)后圖像可知配準(zhǔn)結(jié)果相對(duì)較為理想,達(dá)到了預(yù)期目的。
5 結(jié)語(yǔ)
實(shí)驗(yàn)結(jié)果表明,對(duì)兩個(gè)Kinect傳感器經(jīng)過棋格盤定標(biāo)后,可以實(shí)現(xiàn)雙Kinect傳感器采集圖像并實(shí)現(xiàn)兩個(gè)傳感器所采集圖像的配準(zhǔn),為將來多傳感器的標(biāo)定和配準(zhǔn)打下基礎(chǔ)。并為大型工件與復(fù)雜環(huán)境的三維重構(gòu)提供了一種新的路徑,即采用雙傳感器或多傳感器聯(lián)合實(shí)現(xiàn)快速而準(zhǔn)確的三維重構(gòu)。
(通訊作者:郭會(huì)娟)
參考文獻(xiàn)
[1]劉鑫,許華榮,胡占義.基于GPU和Kinect的快速物體重建[J].自動(dòng)化學(xué)報(bào),2012(08).
[2]楊現(xiàn)輝,王惠南.ICP算法在3D點(diǎn)云配準(zhǔn)中的應(yīng)用研究[J].計(jì)算機(jī)仿真,2010(08).
作者單位
1.南華大學(xué)機(jī)械工程學(xué)院 湖南省衡陽(yáng)市 421001
2.黃河科技學(xué)院工學(xué)院 河南省鄭州市 450000endprint