王巧麗，徐增波，張 玲

(上海工程技術(shù)大學(xué) 紡織服裝學(xué)院，上海 201620)

三維重建一直是計(jì)算機(jī)視覺(jué)、圖形學(xué)、醫(yī)學(xué)及信息科學(xué)等領(lǐng)域研究的熱點(diǎn)，如在視覺(jué)方面的人工智能、無(wú)人駕駛、虛擬現(xiàn)實(shí)[1]；在醫(yī)學(xué)治療中利用CT三維重建技術(shù)對(duì)病情的診斷[2]。采用基于不同視角的二維圖像進(jìn)行三維重建的方法憑借其設(shè)備成本低、條件約束少和建模精度高等優(yōu)勢(shì)迅速成為一個(gè)熱點(diǎn)研究方向[3]，而運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(Structure From Motion，SFM)是該技術(shù)的關(guān)鍵內(nèi)容，基于此，本文系統(tǒng)地闡述了基于SFM三維重建技術(shù)的研究現(xiàn)狀，影響其建模精度的理論基礎(chǔ)，該技術(shù)的原理、方法對(duì)比及在各領(lǐng)域的應(yīng)用，并提供了該技術(shù)在服裝領(lǐng)域的應(yīng)用新思路。

1 三維重建概述

1.1 主流的三維重建方法

目前三維重建主要有3種方法[4]：第1種是使用三維建模軟件創(chuàng)建三維模型，常用軟件如3dsMax、Maya等，此方法成本低，但耗時(shí)大且模型較粗糙。第2種是通過(guò)三維掃描設(shè)備獲取目標(biāo)模型，該設(shè)備一般采用激光、結(jié)構(gòu)光及紅外深度傳感等技術(shù)，這種重建方法掃描快速且精準(zhǔn)度高，但設(shè)備價(jià)格高昂、體積大，因而無(wú)法實(shí)現(xiàn)對(duì)目標(biāo)物體隨時(shí)隨地進(jìn)行數(shù)據(jù)采集。第3種是基于圖像的三維重建，其主要思想是通過(guò)手機(jī)或攝像機(jī)拍攝不同視角的二維圖像，來(lái)重建物體或場(chǎng)景的三維模型。相較于前2種建模方法，該方法只需要普通的RGB攝像頭來(lái)采集圖像或視頻，人力物力資源消耗少，在室內(nèi)和室外均能使用，極大地彌補(bǔ)了三維掃描儀不便攜帶和受環(huán)境約束多的缺點(diǎn)，因此，近年來(lái)采用SFM技術(shù)進(jìn)行三維重建的應(yīng)用越來(lái)越廣泛。

1.2 基于SFM三維重建國(guó)內(nèi)外現(xiàn)狀

基于多視圖三維重建的研究最早起源于20世紀(jì)70年代發(fā)達(dá)國(guó)家，Longuet-Higgins[5]提出該研究后，眾多研究者紛紛開(kāi)始對(duì)其進(jìn)行更深一步的研究。早期的SFM技術(shù)在進(jìn)行重建時(shí)，需對(duì)攝像機(jī)提前進(jìn)行標(biāo)定(即計(jì)算攝像機(jī)的內(nèi)外參數(shù))，才可以輸出場(chǎng)景三維結(jié)構(gòu)的信息。文獻(xiàn)[6]在圖像采集過(guò)程中基于Kurppa原理實(shí)現(xiàn)了攝像機(jī)自動(dòng)標(biāo)定方法。

國(guó)內(nèi)學(xué)者在近20年里對(duì)基于多視圖的三維重建技術(shù)取得了一定的研究成果。王楠[7]基于SFM原理，將改進(jìn)的隨機(jī)抽樣一致(Random Sample Consensus，RANSAC)算法應(yīng)用到匹配點(diǎn)優(yōu)化和建筑物的三維重建中，最終恢復(fù)出攝像機(jī)的相對(duì)位姿及三維場(chǎng)景位置信息。李永露[8]以大型無(wú)人機(jī)航拍影像作為數(shù)據(jù)輸入，綜合改進(jìn)SFM算法和其他三維重建開(kāi)源技術(shù)構(gòu)建出了無(wú)人機(jī)影像三維重建原型系統(tǒng)，該系統(tǒng)能自動(dòng)處理人機(jī)影像的各種數(shù)據(jù)，可有效滿(mǎn)足一定的大型無(wú)人機(jī)航拍影像三維重建模型的需求。張昕[9]在基于視頻序列的三維模型重建研究中，優(yōu)化了傳統(tǒng)特征匹配方法，最后創(chuàng)建出不同角度的地球儀和愛(ài)因斯坦雕塑的稠密點(diǎn)云模型。

2 基于SFM重建的理論基礎(chǔ)

基于SFM重建的理論基礎(chǔ)主要有攝像機(jī)成像原理、多視圖幾何及相機(jī)標(biāo)定等，本文主要從影響基于SFM建模精度的因素出發(fā)，對(duì)相機(jī)標(biāo)定和光束平差法兩方面進(jìn)行闡述。

2.1 相機(jī)標(biāo)定

從二維圖像中映射出物體的空間坐標(biāo)系值，需知道相機(jī)的參數(shù)，而相機(jī)的參數(shù)要通過(guò)相機(jī)標(biāo)定來(lái)求得，精確的相機(jī)標(biāo)定對(duì)后續(xù)計(jì)算三維空間坐標(biāo)系的精準(zhǔn)度有著直接影響。目前，相機(jī)標(biāo)定方法可分為傳統(tǒng)標(biāo)定方法和自標(biāo)定方法[10]。

2.1.1 傳統(tǒng)標(biāo)定方法

傳統(tǒng)標(biāo)定的方法是通過(guò)標(biāo)定物上三維坐標(biāo)點(diǎn)與拍攝圖像點(diǎn)之間的對(duì)應(yīng)關(guān)系進(jìn)而得到相機(jī)內(nèi)參數(shù)。目前常用一張二維黑白棋盤(pán)作為標(biāo)定板，標(biāo)定精度較高。常用的標(biāo)定方法有張正友標(biāo)定法[11]和基于徑向約束(Radial Alignment Constraint，RAC)的兩步標(biāo)定法[12]。

2.1.2 攝像機(jī)自標(biāo)定法

攝像機(jī)自標(biāo)定法的原理是通過(guò)多幅圖像之間的幾何約束關(guān)系來(lái)確定相機(jī)的內(nèi)參數(shù)。該方法不需要特定的參照物，對(duì)采集環(huán)境要求不高，但較傳統(tǒng)標(biāo)定物作參照的方法精度低，常用于精度要求不高的大規(guī)模場(chǎng)景重建中。自標(biāo)定方法有基于Kruppa方程自標(biāo)定法[6]和分層逐步標(biāo)定法[13]。傳統(tǒng)標(biāo)定法和自標(biāo)定法的對(duì)比如表1所示。

表1 傳統(tǒng)標(biāo)定法和自標(biāo)定法對(duì)比

2.1.3 張正友標(biāo)定法

張正友標(biāo)定法[11]的原理是以二維棋盤(pán)格作為參照模板的標(biāo)定方法，通過(guò)拍攝不同角度的棋盤(pán)格標(biāo)定板圖像序列，進(jìn)而從圖像中提取出棋盤(pán)格特征點(diǎn)，利用這些特征點(diǎn)與三維空間中對(duì)應(yīng)點(diǎn)的坐標(biāo)關(guān)系求出攝像機(jī)的內(nèi)外參數(shù)，從而實(shí)現(xiàn)相機(jī)標(biāo)定。該標(biāo)定法彌補(bǔ)了傳統(tǒng)標(biāo)定法中高精度標(biāo)定物操作繁瑣的不足，同時(shí)比自標(biāo)定方法精度高，因此，該方法被廣泛應(yīng)用于相機(jī)標(biāo)定中。

2.2 光束平差法

在利用SFM原理進(jìn)行三維重建時(shí)，由于噪聲點(diǎn)的干擾，出現(xiàn)累計(jì)誤差，常用最小二乘解決最優(yōu)解的問(wèn)題。光束平差法[14]即 Bundle Adjustment(BA)本質(zhì)上是一種非線性最小二乘優(yōu)化方法，該方法的原理是使反投影像點(diǎn)(三維點(diǎn)經(jīng)估計(jì)透視投影矩陣反投影回圖像上后得到的點(diǎn))到真實(shí)像點(diǎn)的距離最小。距離越小，即估計(jì)透視投影矩陣和三維點(diǎn)坐標(biāo)的誤差越小，該法原理函數(shù)見(jiàn)式(1)：

雖然銀行界人士紛紛表示不存在“暴利”，多數(shù)專(zhuān)家也認(rèn)為短時(shí)間來(lái)對(duì)比各行業(yè)的盈利差距并不科學(xué)，但是，在目前國(guó)內(nèi)外實(shí)體經(jīng)濟(jì)不景氣，特別是廣大中小企業(yè)生存艱難的大背景下，銀行業(yè)利潤(rùn)的高歌猛進(jìn)著實(shí)讓人覺(jué)得有點(diǎn)不太正常。筆者認(rèn)為，銀行業(yè)當(dāng)前利潤(rùn)與實(shí)業(yè)企業(yè)利潤(rùn)冰火兩重天，是一種“畸高”，是不可持續(xù)的，需要對(duì)其進(jìn)行深入研究，從而實(shí)現(xiàn)我國(guó)銀行業(yè)的穩(wěn)健經(jīng)營(yíng)和國(guó)民經(jīng)濟(jì)的協(xié)調(diào)發(fā)展。

(1)

式中：M為透視投影矩陣；P為三維點(diǎn)；pij為真實(shí)像點(diǎn)；p(Mij,Pij)為反投影像點(diǎn)；E(M,P)為真實(shí)像點(diǎn)和反投影像點(diǎn)之間的距離。BA的目的是使真實(shí)像點(diǎn)和反投影像點(diǎn)之間的距離最小化，通過(guò)該方法減少誤差積累，求解魯棒性能顯著提高。

3 基于SFM重建的原理和方法

3.1 基于SFM重建的原理

基于SFM重建的基本原理是通過(guò)采集設(shè)備(手機(jī)或相機(jī))的位置移動(dòng)，對(duì)靜態(tài)場(chǎng)景拍攝不同視角的圖像序列，求解相機(jī)的位置和姿態(tài)，進(jìn)而恢復(fù)場(chǎng)景的三維信息[15]。

圖1 運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的基本原理

基于SFM算法進(jìn)行三維重建的基本原理可以描述為:首先采集不同視角的視頻序列或圖像序列并進(jìn)行特征點(diǎn)檢測(cè)和匹配，同時(shí)保留滿(mǎn)足幾何約束的匹配；然后執(zhí)行SFM方法來(lái)恢復(fù)攝像機(jī)的內(nèi)外參數(shù)，并由三角化得到三維點(diǎn)坐標(biāo)，最后使用BA進(jìn)行優(yōu)化。

目前SFM在三維場(chǎng)景的重建中有其局限性，一般用于場(chǎng)景靜止或較少剛性運(yùn)動(dòng)而相機(jī)運(yùn)動(dòng)條件下的深度恢復(fù)，為提高重建精度和效率，提出以下拍攝要求：①選擇有良好紋理的背景，避免拍攝完全無(wú)紋理的場(chǎng)景(如白墻、白桌子)；②在光照均勻的條件下拍攝圖像，避免在光線變化太明顯時(shí)拍攝(如陰天)；③避免在目標(biāo)物體及場(chǎng)景中高動(dòng)態(tài)的運(yùn)動(dòng)時(shí)拍攝，如人手臂、上半身的晃動(dòng)、場(chǎng)景中有搖動(dòng)的樹(shù)枝等；④為保證重建的模型精度更高，需獲取目標(biāo)物體全方位視角的圖像，以確保重要信息不丟失，因而，需要對(duì)目標(biāo)物體采集至少3 張不同視角的圖像。

3.2 主流的SFM重建的方法

根據(jù)SFM過(guò)程中圖像添加先后順序不同，將SFM重建方法分為3種，分別為：增量式(Incremental SFM)、全局式(Global SFM)、混合式(hybrid SFM)[16]。

3.2.1 增量式SFM

圖2 增量式SFM技術(shù)流程圖

3.2.2 全局式SFM

全局式SFM和增量式SFM的原理類(lèi)似，最大的不同點(diǎn)是該方法一次性加入所有圖像，進(jìn)而完成對(duì)所有圖像的重建。

3.2.3 混合式SFM

混合式SFM是增量式SFM和全局式SFM 2種方法的疊加[18]，其原理是先利用全局式SFM得到相機(jī)的外參，再用增量式SFM求解相機(jī)的位置，最后利用三角定位恢復(fù)場(chǎng)景三維信息，同時(shí)利用BA對(duì)重建模型進(jìn)行優(yōu)化。

綜上所述，全局式SFM彌補(bǔ)了增量式SFM的誤差大和效率低的不足，但比增量式SFM的建模精度較低，混合式SFM在求解位移矩陣時(shí)容易出現(xiàn)誤差，增量式方法因重建精度高而應(yīng)用更廣泛。

3.3 基于SFM重建的應(yīng)用

由于SFM方法重建出的模型精準(zhǔn)度高、建模效率快，進(jìn)而應(yīng)用在各個(gè)領(lǐng)域，本文主要從大型建筑物重建、人體模型重建、農(nóng)作物重建及醫(yī)療方面闡述。

3.3.1 建筑物重建

李聰聰[19]使用大型無(wú)人機(jī)對(duì)某大學(xué)建筑物正面拍攝不同視角的圖像集，采用增量SFM 法恢復(fù)每個(gè)相機(jī)的參數(shù)，同時(shí)用BA優(yōu)化，采用多視圖立體視覺(jué)(Multi View System，MVS)重建稠密點(diǎn)云，再用浮動(dòng)尺度表面重建算法(Floating Scale Surface Reconstruction，F(xiàn)SSR)[20]重建場(chǎng)景的表面網(wǎng)格模型，最終重建出完整的建筑物正面的表面模型,重建模型逼真。另外基于SFM原理對(duì)城市街區(qū)的重建、無(wú)人機(jī)攝影的農(nóng)村房屋的重建及古建筑破損修復(fù)的重建等。

3.3.2 人體模型重建

張照[21]在基于SFM的人體模型三維重建關(guān)鍵技術(shù)研究中，使用攝像機(jī)對(duì)3個(gè)目標(biāo)人體拍攝不同視角的圖像序列，重構(gòu)出效果逼真的人體模型，重建精度高。

3.3.3 農(nóng)作物重建

吳丹[22]在對(duì)水稻三維重建中采用SFM技術(shù)，采集不同生長(zhǎng)時(shí)期高度不同的玉米植株在不同視角下圖像序列，實(shí)現(xiàn)對(duì)單珠玉米的三維重建，同時(shí)利用 ICP 算法實(shí)現(xiàn)高大玉米植株拼接重建。

3.3.4 醫(yī)療方面

李震一[23]在運(yùn)動(dòng)恢復(fù)理論的基礎(chǔ)上，計(jì)算出攝像機(jī)內(nèi)外部參數(shù)，最終完成基于血管圖像的三維重建，為后續(xù)獲得增強(qiáng)現(xiàn)實(shí)效果的醫(yī)學(xué)奠定了基礎(chǔ)。王洋等[24]用相機(jī)拍攝牙齒序列圖像，采用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(SFM)和多視圖面片(Patch-based Multi-view Stereo，PMVS)2種方式結(jié)合的方法，完成了基于多視圖面片的牙模三維重建。另外基于SFM的重建在沙堆內(nèi)尺寸測(cè)量、多尺度床河工模型結(jié)構(gòu)的三維重構(gòu)、江水涌潮時(shí)變化的三維重建、園林果樹(shù)的三維結(jié)構(gòu)重建等方面也有所應(yīng)用。

4 結(jié)束語(yǔ)

本文通過(guò)對(duì)比分析傳統(tǒng)三維建模技術(shù)的優(yōu)缺點(diǎn)，得出傳統(tǒng)三維模型重建存在建模粗糙、設(shè)備成本高等問(wèn)題，而基于SFM進(jìn)行三維重建的方法具有成本低、建模精度高且受環(huán)境約束少等優(yōu)勢(shì),成為目前三維重建技術(shù)研究的熱點(diǎn)。該方法在三維人體建模方面也有應(yīng)用，目前手機(jī)已成為人們隨身攜帶的必備工具，可以考慮通過(guò)手機(jī)對(duì)人體進(jìn)行視頻拍攝的方式采集全方位視角的人體圖像，基于SFM三維重建技術(shù)實(shí)現(xiàn)三維人體模型重建，并對(duì)該模型完成人體尺寸的測(cè)量，可以考慮開(kāi)發(fā)一款三維人體測(cè)量技術(shù)的APP或小程序，滿(mǎn)足顧客隨時(shí)隨地測(cè)體的需求，對(duì)消費(fèi)者的量身定制和服裝企業(yè)團(tuán)體定制具有實(shí)用的價(jià)值意義。