多視覺下基于多重顏色一致性約束的三維體重建

李秀秀，鄭江濱，張艷寧，陳 寧

（西北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，西安710129）

在基于多視覺圖像的三維目標(biāo)外形體重建過程中，顏色一致性約束是判斷體素是否屬于三維目標(biāo)外形的重要條件，因此顏色一致性的準(zhǔn)確計(jì)算、閾值選取將會(huì)影響到重建結(jié)果的完整性。經(jīng)典體重建方法及其改進(jìn)，如多視點(diǎn)輪廓體相交法［1］、體素著色法［2－4］和Space－carving［5－7］法，普遍存在重建結(jié)果粗糙，重建效果易受光照變化、相機(jī)色差等因素的影響。因此很多學(xué)者對(duì)光照變化、相機(jī)色差等情況下的顏色一致性計(jì)算方法進(jìn)行了研究：Hornung等［3］將體素在多視圖像中投影的顏色向量歸一化以解決光照、色差問題；Wu等［8］通過不同光照條件下的深度候選方法解決光照變化、相機(jī)色差情況下的顏色一致性準(zhǔn)確計(jì)算問題；Aganj等［9］通過模擬退火法優(yōu)化全局的顏色一致性，實(shí)現(xiàn)噪聲情況下的精確魯棒三維目標(biāo)體重建。

上述方法都是針對(duì)體素顏色一致性的有效計(jì)算進(jìn)行的研究，使得存在光照變化、相機(jī)色差等現(xiàn)象時(shí)仍然能夠較為準(zhǔn)確地計(jì)算體素在多視環(huán)境下顏色一致性。然而在三維目標(biāo)外形體重建過程中，如果顏色一致性使用不當(dāng)，很可能將屬于目標(biāo)外形的體素剔除，從而形成空洞或是重建出錯(cuò)誤的三維目標(biāo)外形。針對(duì)上述問題，本文提出多重顏色一致性約束，以盡可能地剔除非目標(biāo)外形上的體素，并保證三維目標(biāo)外形的完整。

1 算法流程

本文的目的是通過準(zhǔn)確、有效的顏色一致性分析，實(shí)現(xiàn)三維目標(biāo)的逼真、完整外形體重建。為此，本文給出如圖1所示的重建流程。

圖1 本文方法流程圖Fig.1 Flow chart of proposed algorithm

該流程在進(jìn)行體素顏色一致性計(jì)算之前加入了體素可見性分析這一步驟，即確定體素在哪些視點(diǎn)中可見，使得體素顏色一致性的計(jì)算只在其可見視點(diǎn)中進(jìn)行，保證了計(jì)算的準(zhǔn)確性；在判斷體素是否屬于目標(biāo)外形時(shí)，使用了多重顏色一致性約束：體素及其鄰域顏色一致性最大約束，既能剔除非目標(biāo)表面的體素，又能保證三維目標(biāo)外形的完整性。以下將詳細(xì)的介紹圖1中的各個(gè)步驟。

2 基于多重顏色一致性約束的三維目標(biāo)體重建

給定待重建目標(biāo)O，將M個(gè)相機(jī)（C1，C2，…，CM）環(huán)繞目標(biāo)O放置。目標(biāo)O在各個(gè)相機(jī)所成的圖像中的投影為（S1，S2，…，SM）。使用多點(diǎn)輪廓體相交方法［1］得到三維目標(biāo)的外形凸殼，將該凸殼及其內(nèi)部體素作為初始體素空間V。

2.1 體素可見性分析

對(duì)于相機(jī)Cj，如果體素P遮擋體素Q，即體素P在該相機(jī)中可見，那么滿足：

即P到相機(jī)Cj的距離小于Q到相機(jī)Cj的距離。在本文中使用了歐式距離，即：

在體素可見性分析時(shí)，遍歷V中的體素，對(duì)體素voxi（voxi∈V），在相機(jī)Cj對(duì)應(yīng)的圖像上的投影區(qū)域?yàn)閜i＿j。將體素voxi與相機(jī)Cj的光心連成一條直線l，那么處于體素空間V內(nèi)位于l上的體素vox都滿足：

proj（vox）表示將體素vox投影于相機(jī)Cj所成的圖像中。此時(shí)，根據(jù)公式（2），計(jì)算體素空間V內(nèi)位于l上的體素到相機(jī)Cj的距離，如果體素voxi滿足：

那么體素voxi相對(duì)于l∩V上的其他體素在相機(jī)Cj可見。

為了在進(jìn)一步處理中，使重建出的目標(biāo)外形盡可能地接近真實(shí)目標(biāo)，同時(shí)避免將屬于三維目標(biāo)表面的體素剔除，在重建出的三維目標(biāo)外形上形成空洞，本文提出了多個(gè)最可見體素的方法，即對(duì)相機(jī)Cj除了可見的體素外，計(jì)算l∩V中的其他體素到相機(jī)Cj的距離，并按距離由小到大排序，將前N－1個(gè)體素作為備用體素保留，并將可見體素與這N－1個(gè)體素組成最可見的N個(gè)體素。

2.2 顏色一致性計(jì)算

體素著色法與Space-carving通過定義一個(gè)體素在各個(gè)相機(jī)所成圖像的顏色值的方差函數(shù)計(jì)算體素的顏色一致性，然而使用多個(gè)相機(jī)同時(shí)獲取目標(biāo)圖像，很可能存在光照變化、色差等因素，因此體素的顏色一致性將會(huì)受到影響。本文為每個(gè)體素創(chuàng)建一個(gè)顏色向量，通過歸一化該向量解決上述問題，步驟如下：

（1）將給定體素vox均勻地分成8份，形成一個(gè)子體素向量，將該向量中每個(gè)元素投影到體素vox可見的vis＿num個(gè)相機(jī)所成的圖像中，得到各個(gè)子體素在各個(gè)圖像中的顏色值，形成子體素向量對(duì)應(yīng)的顏色向量：pj＝｛p＿sub1j，p＿sub2j，…，p＿subij，…，p＿sub8j｝（1≤j≤vis＿num）。

（2）歸一化子體素顏色向量pj，得到（見式（5））：

（3）計(jì)算體素vox的顏色一致性。通過計(jì)算對(duì)vox可見的vis＿num個(gè)相機(jī)對(duì)應(yīng)的顏色向量的相關(guān)性來得到體素vox的顏色一致性。

式中：

從上式可以看出，photo＿consis越小，對(duì)應(yīng)的體素顏色一致性越大。

2.3 多重顏色一致性約束

為了保證三維目標(biāo)外形體重建的逼真度、完整性，本文定義了多重顏色一致性約束：體素顏色一致性最大和體素鄰域顏色一致性最大，在盡可能多地剔除非三維目標(biāo)外形上體素的同時(shí)保證目標(biāo)外形的完整性。

（1）體素顏色一致性最大約束

對(duì)于體素vox，其與相機(jī)Cj對(duì)應(yīng)的光心連成的直線l上位于體素空間V的體素包括：目標(biāo)外形上的體素、非目標(biāo)區(qū)域的體素和目標(biāo)內(nèi)部的體素。其中非目標(biāo)區(qū)域的體素和目標(biāo)內(nèi)部的體素在二維圖像上投影的顏色值來自于不同的體素，因此其顏色一致性較小。在體素vox可見的相機(jī)中，尋找vox及其N－1個(gè)備用體素的顏色一致性的最大值，該最大值對(duì)應(yīng)的體素即可看作三維目標(biāo)外形上的體素。

（2）體素鄰域顏色一致性最大約束

如果一個(gè)體素屬于三維目標(biāo)外形，那么它鄰域的體素的一部分也屬于目標(biāo)的三維外形，而且當(dāng)前體素與這些鄰域體素都將滿足體素顏色一致性最大約束，因此，當(dāng)前體素與其鄰域體素的顏色一致性之和應(yīng)該達(dá)到最大：在體素vox可見的相機(jī)Cj中，尋找最可見的N個(gè)體素及其鄰域的顏色一致性最大值，該最大值對(duì)應(yīng)的體素即可看作三維目標(biāo)外形上的體素。

式中：

其中neighbor（voxt）表示體素voxt的鄰域體素。

在判斷一個(gè)體素是否屬于三維目標(biāo)外形時(shí)，將上述兩個(gè)約束條件結(jié)合，可有效地剔除非物體外形上的體素，而顏色一致性最大約束的使用，則可有效避免由于顏色一致性閾值選取不當(dāng)造成的“過剔除”，從而保證了三維目標(biāo)外形的完整性。

3 實(shí)驗(yàn)結(jié)果與分析

將16臺(tái)相機(jī)環(huán)繞目標(biāo)放置，獲取的圖像分辨率為648×490。這16臺(tái)相機(jī)的內(nèi)外參數(shù)通過張氏標(biāo)定得到。以下只給出4臺(tái)相機(jī)獲取的圖像（見圖2）。

圖2 視點(diǎn)1，5，9，13獲取的圖像Fig.2 Images from viewpoint1，5，9，13

實(shí)驗(yàn)分別使用體素著色法和本文方法重建三維目標(biāo)的外形，體素大小為8 mm×8 mm×8 mm。圖3給出了體素著色法重建出的目標(biāo)外形，共包括38 702個(gè)體素。其中矩形框標(biāo)出的區(qū)域是本來屬于目標(biāo)區(qū)域的體素，但是由于光照、色差或是顏色一致性約束太強(qiáng)烈等原因，使得該區(qū)域無法重建，在目標(biāo)外形上形成了空洞

圖3 體素著色法重建結(jié)果Fig.3 Reconstruction result of voxel coloring

圖4是本文方法的重建結(jié)果。在使用本文方法重建時(shí)，備用體素的個(gè)數(shù)N－1＝7，為了能夠不斷逼近真實(shí)目標(biāo)的外形，在重建后，保留該外形及其內(nèi)部的體素，然后迭代實(shí)施重建過程，直到剔除的體素?cái)?shù)量達(dá)到某一閾值為止。重建結(jié)果包含34017個(gè)體素。與體素著色法重建結(jié)果相比，本文方法明顯消除了目標(biāo)面部的空洞。

圖4 本文方法重建結(jié)果Fig.4 Reconstruction result of proposed algorithm

以下將重建出的三維目標(biāo)外形投影到各個(gè)相機(jī)所成的圖像中，通過其對(duì)目標(biāo)區(qū)域的覆蓋情況驗(yàn)證本文算法在保證三維目標(biāo)外形完整性時(shí)的有效性。

圖5給出了體素著色法的重建結(jié)果在二維圖像中的投影，在矩形框內(nèi)，可以看到那些屬于目標(biāo)區(qū)域的像素沒有被覆蓋，也就是出現(xiàn)了“過剔除”。

圖6給出了本文方法的重建結(jié)果在二維圖像中的投影，可以明顯看出目標(biāo)區(qū)域被完全覆蓋了。

圖5 體素著色法重建結(jié)果在視點(diǎn)1，5，9，13的投影Fig.5 2D projection of reconstruction result in viewpoint 1，5，9，13 by voxel coloring

圖6 本文方法在視點(diǎn)1，5，9，13的投影Fig.6 2D projection of reconstruction result in viewpoint 1，5，9，13 by proposed algorithm

表1給出本文方法和voxel coloring方法在二維圖像投影中覆蓋的面積及實(shí)際目標(biāo)圖像的面積對(duì)比。從表1中的視點(diǎn)7和14可以看出，用本文方法得到的投影區(qū)域面積大于真實(shí)目標(biāo)的面積，這是由于在視點(diǎn)7或14中目標(biāo)的某些區(qū)域不存在，但是在其他視點(diǎn)中卻仍然存在，而這些區(qū)域在重建過程中被重建了出來，因此其投影區(qū)域面積大于真實(shí)目標(biāo)區(qū)域的面積，如圖7所示，矩形框給出了視點(diǎn)7和14的原始圖像中目標(biāo)的頭部缺失部分，而這些部分在其他視點(diǎn)是存在的。

表1 投影面積比較Table 1 Comparison of projection areas by two methods

圖7 原始圖像與本文方法圖像面積對(duì)比Fig.7 Comparison between original images and 2D projection area of reconstruction result by proposed algorithm

4 結(jié)束語

在研究多視輪廓體相交、體素著色法及其改進(jìn)的基礎(chǔ)上，提出了多重顏色一致性約束的三維目標(biāo)外形重建方法，通過在重建過程中引入體素可見性分析，提高了顏色一致性計(jì)算的準(zhǔn)確性，在判斷體素是否屬于三維目標(biāo)外形時(shí)，使用了體素及其鄰域顏色一致性最大約束，在剔除非三維目標(biāo)外形體素的同時(shí)，保證了三維目標(biāo)外形的完整性。本文方法能夠重建較為逼真的目標(biāo)外形，但是當(dāng)視點(diǎn)不足時(shí)也會(huì)在目標(biāo)三維外形上形成空洞，因此以后將針對(duì)此問題進(jìn)行研究，擬借助目標(biāo)運(yùn)動(dòng)過程提供的時(shí)空相關(guān)性重建完整的目標(biāo)三維外形。

［1］Laurentini A.The visual hull concept for silhouettebased image understanding［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，1994，16（2）：150-162.

［2］Seitz S M，Dyer C R.Photorealistic scene reconstruction by voxel coloring［C］∥The Conference on Computer Vision and Pattern Reconstruction，1997：1067-1073.

［3］Hornung A，Kobbetlt L.Robust and efficient photo-consistency estimation for volumetric 3D reconstruction［J］.Lecture Notes in Computer Science，2006，3952：179-190.

［4］Culberston W B，Malzbender T，Slabaugh G.Generalized voxel coloring［J］.Vision Algorithm：Theory and Practice，2000，1883：100-115.

［5］Kutulakos K N，Seitz S M.A Theory of shape by space carving［J］.International Journal of Computer Vision，2000，38（3）：199-218.

［6］Esteban C H，Schmitt F.Silhouette and stereo fusion for 3D object modeling［J］.Computer Vision and Image Understanding，2004，96（3）：367-392.

［7］Starck J，Miller G，Hilton A.Virtual view synthesis of people from multiple view viewo sequence［J］. Graphic Models，2005，67（6）：600-620.

［8］Wu Cheng-lei，Lin Ye-bin，Ji Xiang－yang，et al. Multi-view reconstruction under varying illumination conditions［C］∥IEEE International Conference on Multimedia and Expo，Mexico，2009：930-933.

［9］Aganj E，Keriven R，Pons J P.Photo-consistency surface reconstruction from noisy point clouds［C］∥IEEE International Conference on Image Processing，2009：505-508.