一種快速多視拼接方法研究

王榮華　張華　徐鋒

摘要：針對(duì)3D掃描測(cè)量領(lǐng)域自動(dòng)化水平不高，測(cè)量不穩(wěn)定，測(cè)量誤差較大的現(xiàn)狀，在雙目結(jié)構(gòu)光測(cè)量系統(tǒng)基于空間點(diǎn)相對(duì)距離不變性的多視拼接中，提出了一種基于三角約束和全局優(yōu)化的多視拼接方法。該方法包括：匹配標(biāo)記點(diǎn)時(shí)對(duì)由點(diǎn)距約束求得的可能匹配點(diǎn)加入三角約束，去除誤匹配點(diǎn)；初次拼接后，根據(jù)求得的重心用最小二乘法進(jìn)行全局優(yōu)化，得到優(yōu)化后的拼接矩。通過VC++，OpenCV等工具的算法實(shí)現(xiàn)表明：該方法能夠較好地抑制累積誤差，拼接方法穩(wěn)定、快速，能實(shí)現(xiàn)自動(dòng)化拼接。

關(guān)鍵詞：雙目結(jié)構(gòu)光測(cè)量；點(diǎn)距不變性；多視拼接；三角約束；全局優(yōu)化

中圖分類號(hào)：TP274.5 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）09-0245-04

Abstract：The measurement technology of 3D scanning in automation level is low， its measurement process is not stable， and the measurement error is large. After the principle of binocular structured light measurement was analyzed， match the marked point to multi-view registration based on the relative distance of any two marked point in space is unchanged. A multi-view registration is proposed using triangle constraint and global optimization. The method includes： remove the false matching points in possible matching points by joining triple constraint； after the first registration， use the center of marking points to global optimization though least squares principle method. The algorithm is written by VC++ and OpenCV， and the algorithm is carried out by experiments test. The measurement results show that this method has advantage of restrain the accumulation error， keep up the process stable， fast and automatic.

Key words： binocular structured light measurement； relative distance unchanged； multi-view registration； triangle constraint； global optimization

3D掃描測(cè)量可獲得真實(shí)場(chǎng)景的高精度3D數(shù)據(jù)，多視數(shù)據(jù)的自動(dòng)匹配[1]和拼接[2]是其關(guān)鍵環(huán)節(jié)，其中的精準(zhǔn)性、實(shí)時(shí)性、穩(wěn)定可靠性是難點(diǎn)。

早期的多視拼接方法基于輔助硬件設(shè)備來完成，最著名方法為利用旋轉(zhuǎn)平臺(tái)[3-4]來獲取物體的旋轉(zhuǎn)和平移向量[5-6]。該類方法雖然有較高的精度，但其對(duì)于機(jī)械加工的要求較高，測(cè)量系統(tǒng)結(jié)構(gòu)復(fù)雜，系統(tǒng)成本高，不利于應(yīng)用推廣。后來的多視拼接方法基本通過軟件算法來實(shí)現(xiàn)，主要方法有特征拼接[7-8]和標(biāo)記點(diǎn)拼接[9-10]。特征拼接通過獲得的圖像數(shù)據(jù)提取出具有一定特征的細(xì)節(jié)來對(duì)應(yīng)匹配，該方法對(duì)于特征豐富的被測(cè)物較有效，對(duì)于特征信息不明顯的被測(cè)物則適用性不足。標(biāo)記點(diǎn)拼接通過測(cè)量前在被測(cè)物體表面上或被測(cè)物周圍粘貼標(biāo)記點(diǎn)[11]，通過這些標(biāo)記點(diǎn)來實(shí)現(xiàn)多視拼接。該方法成本小，方便簡(jiǎn)捷，處理過程的自動(dòng)化程度高，

能夠保證拼接的精度。針對(duì)該方法，徐曉棟等[12]提出基于任意兩點(diǎn)間的相對(duì)距離不變的特征，引入“不太可能發(fā)生的小概率事件”方式進(jìn)行多視拼合，其方法在點(diǎn)距出現(xiàn)等邊三角形和等腰三角形時(shí)，會(huì)出現(xiàn)標(biāo)記點(diǎn)匹配錯(cuò)誤，需人工改正，影響處理效率。周波等[13]應(yīng)用搜索標(biāo)記點(diǎn)同構(gòu)子圖的方法進(jìn)行多視拼合，該方法存在累積誤差影響點(diǎn)云拼接質(zhì)量。

本文利用三角約束和全局優(yōu)化的方法進(jìn)行多視拼合，由單次測(cè)量獲得的標(biāo)記點(diǎn)集得到距離矩陣，以標(biāo)記點(diǎn)的距離空間不變量為依據(jù)篩選出可能的匹配點(diǎn)對(duì)，再由三角約束對(duì)可能的匹配點(diǎn)對(duì)進(jìn)行篩選，去除誤匹配點(diǎn)對(duì)。對(duì)不同視圖中的標(biāo)記點(diǎn)正確匹配后，通過四元素法解算多視間的坐標(biāo)轉(zhuǎn)換矩陣以完成初次多視拼合。最后對(duì)拼合的多視數(shù)據(jù)進(jìn)行全局優(yōu)化，消除累積誤差。

1雙目結(jié)構(gòu)光測(cè)量系統(tǒng)

雙目結(jié)構(gòu)光測(cè)量系統(tǒng)由雙目立體視覺測(cè)量系統(tǒng)與結(jié)構(gòu)光測(cè)量系統(tǒng)組合而成，其中雙目立體視覺基于視差原理，由左右相機(jī)采集的圖像獲取被測(cè)物體的三維幾何信息。結(jié)構(gòu)光投射設(shè)備把事先準(zhǔn)備好的編碼相移光柵投射到被測(cè)物表面，左右相機(jī)采集到相移圖片進(jìn)行解相匹配，實(shí)現(xiàn)基于像素的點(diǎn)匹配。最后結(jié)合雙目視覺系統(tǒng)重建出物體表面的三維稠密點(diǎn)云數(shù)據(jù)。雙目結(jié)構(gòu)光測(cè)量系統(tǒng)結(jié)構(gòu)如圖1所示。

掃描測(cè)量時(shí)，左右相機(jī)先采集貼有標(biāo)記點(diǎn)的圖像，進(jìn)行標(biāo)記點(diǎn)提取、定位和重建，然后投射結(jié)構(gòu)光柵并采集光柵圖像重建稠密點(diǎn)云數(shù)據(jù)。對(duì)多視標(biāo)記點(diǎn)進(jìn)行匹配后解算多視轉(zhuǎn)換關(guān)系。再用求得的轉(zhuǎn)換關(guān)系對(duì)獲得的多視稠密點(diǎn)云進(jìn)行拼接，最終得到被測(cè)物的完整點(diǎn)云模型。

2標(biāo)記點(diǎn)多視拼接

得到一個(gè)視角下的三維標(biāo)記點(diǎn)，然后把被測(cè)物體移動(dòng)一定角度再次得到三維標(biāo)記點(diǎn)。保證每次重建的標(biāo)記點(diǎn)與上一次測(cè)量有大于等于3個(gè)的公共標(biāo)記點(diǎn)。標(biāo)記點(diǎn)多視拼接是求每?jī)纱螠y(cè)量之間的公共標(biāo)記點(diǎn)，對(duì)其正確匹配，依據(jù)匹配的標(biāo)記點(diǎn)計(jì)算兩次測(cè)量之間的坐標(biāo)變換關(guān)系，得到多視的轉(zhuǎn)換關(guān)系實(shí)現(xiàn)稠密點(diǎn)云的拼接。

2.1 標(biāo)記點(diǎn)三角約束匹配

假設(shè)第一次的測(cè)量為視A得到的n個(gè)標(biāo)記點(diǎn)為點(diǎn)集PA，第二次的測(cè)量為視B得到的m個(gè)標(biāo)記點(diǎn)為點(diǎn)集PB。尋找兩次測(cè)量的公共標(biāo)記點(diǎn)就轉(zhuǎn)換為在PA和PB中求取對(duì)應(yīng)的標(biāo)記點(diǎn)，即找到PA和PB中公共標(biāo)記點(diǎn)，并實(shí)現(xiàn)一一對(duì)應(yīng)。

令[PA={a1，a2，a3，...，ai...，an}；]i=1，2，…，n。

其中[ai=xiyiziT]，xi，yi，zi為PA中數(shù)據(jù)點(diǎn)的三維坐標(biāo)。同理[PB={b1，b2，b3，...，bj...，bm}；] i=1，2， … ，m。

標(biāo)記點(diǎn)三角匹配如下：

1）求距離矩陣DA和DB，即分別求點(diǎn)集PA和PB中的每一個(gè)點(diǎn)到其余點(diǎn)的歐式距離，并用矩陣來表示；

2）對(duì)距離矩陣DA中的每一行i，尋找其在DB中相同數(shù)目最多的一組j（相同數(shù)目必須要大于等于2），然后將（i，j）保存到可能的匹配點(diǎn)集，并找到（i，j）中哪些距離相同的點(diǎn)InA，InB。如圖2，圖中“[]”表示可能是同一點(diǎn)兩視角獲得的被測(cè)物上的同一個(gè)標(biāo)記點(diǎn)；

3）對(duì)InA，InB中的點(diǎn)再次求距離矩陣，循環(huán)執(zhí)行步驟2，直到只剩下2個(gè)以下的點(diǎn)。如圖2、3，為進(jìn)行第二次，第三次比對(duì)找到的可能匹配點(diǎn)；

4）每次都將（i，j）保存，當(dāng)保存的數(shù)目大于等于3的時(shí)候，結(jié)束循環(huán)求解。則步驟2中保存的（i，j）是可能的匹配點(diǎn)對(duì)；

5）通過以上步驟得到的匹配點(diǎn)是由點(diǎn)距約束求得，因此匹配點(diǎn)集中存在一對(duì)多的情況。依據(jù)唯一性原則，用三角約束去除誤匹配點(diǎn)后得到正確的匹配點(diǎn)對(duì)。

2.2 拼接矩陣求解

2.3 全局優(yōu)化

經(jīng)過上面的步驟，可以把不同視角下的標(biāo)記點(diǎn)拼接成一個(gè)整體。但求解旋轉(zhuǎn)與平移矩陣時(shí)，是根據(jù)兩視間的匹配標(biāo)記點(diǎn)求解，所以多視角拼接時(shí)存在累積誤差的問題，即兩兩誤差最小并不等同于全局誤差最小。這就導(dǎo)致點(diǎn)云拼接時(shí)出現(xiàn)斷層、拼飛等現(xiàn)象。對(duì)此，我們對(duì)拼接的多視標(biāo)記點(diǎn)進(jìn)行全局優(yōu)化以消除累積誤差。

假設(shè)一次測(cè)量進(jìn)行了M個(gè)視角的數(shù)據(jù)獲取，最終獲得N個(gè)標(biāo)記點(diǎn)，每個(gè)視角建立一個(gè)N*3的向量Di，記錄第i次掃描視角下獲得標(biāo)記點(diǎn)。因每個(gè)視角下不可能完全看到N個(gè)標(biāo)記點(diǎn)，所以將該視角下不可見的標(biāo)記點(diǎn)置為0。假設(shè)各視角的最優(yōu)旋轉(zhuǎn)、平移矩陣分別為Ri和Ti，則標(biāo)記點(diǎn)全局優(yōu)化的誤差準(zhǔn)則為：

首先求出所有標(biāo)記點(diǎn)在每個(gè)視角下的重心：[C=1Mi=1MDi∧]，用每個(gè)標(biāo)記點(diǎn)的重心點(diǎn)作為拼接后的點(diǎn)。然后把單次測(cè)量的點(diǎn)集到模型點(diǎn)集做優(yōu)化求解，優(yōu)化的目標(biāo)函數(shù)就可以表示為：[i=1MDi∧-C→min]。其步驟為：

1）計(jì)算每個(gè)標(biāo)記點(diǎn)在所有視角下的重心；

2）求取每個(gè)視角下標(biāo)記點(diǎn)到該視角下重心坐標(biāo)的變換；

3）重復(fù)步驟（1），（2）直到收斂。

3 實(shí)驗(yàn)及分析

實(shí)驗(yàn)用兩臺(tái)大恒相機(jī)，分辨率1280*1024，鏡頭焦距16mm，結(jié)構(gòu)光投射器選用三星投影儀PM410，用張正友平面標(biāo)定法進(jìn)行相機(jī)標(biāo)定。實(shí)驗(yàn)設(shè)備如圖5所示：

用DELL電腦，CPU為Intel（R） i5-2310，主頻2.9GHz，內(nèi)存4G，windows7操作系統(tǒng)。通過Visual C++， OpenCV等工具的算法實(shí)驗(yàn)效果如下所示，對(duì)貼有標(biāo)記點(diǎn)的水杯模型做掃描檢測(cè)，水杯底部直徑60mm，頂部直徑80mm，高75mm。如圖6、7所示即為第一次掃描和第二次掃描的左右相機(jī)獲得的貼有標(biāo)記點(diǎn)的水杯原始圖片。

提取圖片上的標(biāo)記點(diǎn)，用極線匹配進(jìn)行單次的左右標(biāo)記點(diǎn)匹配，依據(jù)雙目視差重建標(biāo)記點(diǎn)的三維點(diǎn)坐標(biāo)，并對(duì)標(biāo)記點(diǎn)進(jìn)行排序編號(hào)。圖8為第一次掃描時(shí)提取的左右匹配的標(biāo)記點(diǎn)圖像。

把水杯旋轉(zhuǎn)一定角度重復(fù)以上操作，并與第一次重建的標(biāo)記點(diǎn)用2.1節(jié)所述的算法進(jìn)行標(biāo)記點(diǎn)匹配，找出一一對(duì)應(yīng)點(diǎn)。如圖9、10所示，圖上編號(hào)的點(diǎn)表示第二次提出的標(biāo)記點(diǎn)，其中黑色框里顯示的標(biāo)記點(diǎn)表示第二次掃描時(shí)與第一次掃描時(shí)提取的點(diǎn)的匹配點(diǎn)（水杯上相同的標(biāo)記點(diǎn)）。圖9是沒有加入三角約束的匹配結(jié)果，由圖可知，藍(lán)色橢圓內(nèi)的點(diǎn)因與6、7、8號(hào)點(diǎn)的距離相等，因此簡(jiǎn)單的根據(jù)點(diǎn)距約束不能確定出匹配點(diǎn)，圖10為加入三角約束后的示意圖。

依據(jù)匹配的標(biāo)記點(diǎn)，就可以采用2.2節(jié)所提的算法，獲得第一次掃描與第二次掃描的旋轉(zhuǎn)和平移矩陣。就可以實(shí)現(xiàn)兩次的三維點(diǎn)云的拼接。如圖11、12、13，即為第一次，第二次的點(diǎn)云和拼接后的點(diǎn)云拼接示意圖。

重復(fù)上述操作，直到獲得整個(gè)水杯的所有標(biāo)記點(diǎn)，使用2.3所提的優(yōu)化算法對(duì)拼接后的標(biāo)記點(diǎn)進(jìn)行全局優(yōu)化。本測(cè)試共在水杯上貼37個(gè)標(biāo)記點(diǎn)，進(jìn)行11個(gè)視角掃描測(cè)量。優(yōu)化前后，拼接后的標(biāo)記點(diǎn)的誤差如表1所示。

全局優(yōu)化后，用優(yōu)化后的各視角之間旋轉(zhuǎn)和平移矩陣進(jìn)行點(diǎn)云拼接，得到整個(gè)水杯點(diǎn)云模型如圖14所示：

通從上述實(shí)驗(yàn)示例可以看出，相對(duì)于點(diǎn)距約束進(jìn)行的標(biāo)記點(diǎn)匹配，加入三角約束后能夠準(zhǔn)確的去除因點(diǎn)距構(gòu)成等腰三角形或等邊三角形時(shí)的錯(cuò)誤匹配點(diǎn)，提高了匹配的穩(wěn)定性和準(zhǔn)確性。并對(duì)拼接后的標(biāo)記點(diǎn)進(jìn)行全局優(yōu)化，拼接精度提高了0.0179mm，具體參數(shù)如表1所示，使得稠密點(diǎn)云拼接得到的3D模型更加精確。整個(gè)拼接過程完全實(shí)現(xiàn)了自動(dòng)化操作，耗時(shí)較短，雙目相機(jī)標(biāo)定后，在線對(duì)物體的掃描測(cè)量能夠在5分鐘之內(nèi)獲得完整點(diǎn)云模型數(shù)據(jù)，離線操作時(shí)，實(shí)現(xiàn)整個(gè)模型的11次拼接用時(shí)15秒。

4 結(jié)束語

在3D掃描測(cè)量領(lǐng)域，多視點(diǎn)云的拼接一直是一個(gè)重要的研究課題和難點(diǎn)。本文介紹了一種基于標(biāo)記點(diǎn)的多視拼接方法，不同于其它依據(jù)標(biāo)記點(diǎn)空間點(diǎn)距不變性實(shí)現(xiàn)多視點(diǎn)云的匹配拼接，該方法用點(diǎn)距實(shí)現(xiàn)公共標(biāo)記點(diǎn)匹配時(shí)加入三角約束，這使得匹配更加穩(wěn)定、準(zhǔn)確，去除僅靠點(diǎn)距約束求得的誤匹配點(diǎn)。得到正確的匹配點(diǎn)后用四元素法解兩視角之間的轉(zhuǎn)換矩以實(shí)現(xiàn)兩視角拼接，依次拼接得到所有視角下的標(biāo)記點(diǎn)。求每個(gè)標(biāo)記點(diǎn)在所有視角下的重心用最小二乘法進(jìn)行全局優(yōu)化，得到優(yōu)化后多視角間的拼接矩實(shí)現(xiàn)多視點(diǎn)云精確拼合。多視點(diǎn)云拼合的旋轉(zhuǎn)與平移矩陣求解是依據(jù)被測(cè)物上或周圍的標(biāo)記點(diǎn)完成，點(diǎn)云數(shù)據(jù)的多少對(duì)拼合效率影響較小。通過實(shí)例可以看出本文方法在多視拼和中較好地抑制累積誤差，拼接方法穩(wěn)定、快速，能實(shí)現(xiàn)自動(dòng)拼接，具有較強(qiáng)的實(shí)用價(jià)值。

參考文獻(xiàn)：

[1] SOON-YONG PARK， MURALI SUBBARARAO. A multiview 3D modeling system based on stereo vision techniques[J]. Machine Vision and Applications， 2005， 16（3）： 148-156.

[2] SONG Zhang. Recent progresses on real-time 3D shape measurement using digital fringe projection techniques[J]. Optics and Lasers in Engineering， 2009， 48（2）： 149-158.

[3] MAHMOOD N， OMAR C， TARDI T. Multiviews reconstruction for prosthetic design[J]. The International Arab Journal of Information Technology， 2012， 9（1）： 49-54.

[4] 周朗明， 鄭順義， 黃榮永. 旋轉(zhuǎn)平臺(tái)點(diǎn)云數(shù)據(jù)的配準(zhǔn)方法[J]. 測(cè)繪學(xué)報(bào)， 2013， 42（1）： 73-79.

[5] SHAO Wei， MENG Lin， QIN Haohua， et al. Error analysis of the motion estimation based on SVD theory[C]// Proceedings of the 33th Chinese Control Conference， 2014： 915-921.

[6] GHOUTI， L. Robust perceptual color image hashing using quaternion singular value decomposition[C]// 2014 IEEE International Conference on Acoustics， Speech and Signal Process， 2014： 3794-3798.

[7] 黃戈， 李曉峰. 基于CEGI和Fourier變換的全自動(dòng)點(diǎn)云配準(zhǔn)算法[J]. 四川大學(xué)學(xué)報(bào)： 工程科學(xué)版， 2014， 46（5）： 104-109.

[8] 陳勇， 劉文宋， 劉善偉， 等. 一種基于Harris與RANSAC算法的圖像拼接軟件研發(fā)[J]. 測(cè)繪與空間地理信息， 2014， 37（9）： 97-100.

[9] 楊帆， 權(quán)巍， 白寶興， 等. 基于標(biāo)志點(diǎn)的三維點(diǎn)云自動(dòng)拼接技術(shù)[J]. 計(jì)算機(jī)工程與設(shè)計(jì)， 2014， 35（9）： 3321-3325.）

[10] 張廣軍. 機(jī)器視覺[M]. 北京： 科學(xué)出版社， 2005.

[11] 解則曉， 高翔， 崔健. 移動(dòng)式三維測(cè)量用圓形標(biāo)記點(diǎn)提取算法[J]. 中國(guó)激光， 2012， 40（12）：1-6.

[12] 許曉棟， 趙毅，李從心. 結(jié)構(gòu)光測(cè)量中多視拼合技術(shù)與算法實(shí)現(xiàn)[J]. 機(jī)床與液壓， 2005（10）： 137-141.

[13] 周波， 陳新河， 謝雪冬. 多視點(diǎn)云數(shù)據(jù)自動(dòng)拼合算法[J]. 自動(dòng)化與儀器儀表， 2007（1）： 11-13.