基于多視圖幾何的位置與遮擋一致性恢復(fù)方法研究

張 巖1, 2，何曉波[1]，管 濤2

?

基于多視圖幾何的位置與遮擋一致性恢復(fù)方法研究

張 巖，何曉波[1]，管 濤

（1. 防災(zāi)科技學(xué)院，河北三河 065201；2. 華中科技大學(xué)數(shù)字化工程與仿真中心，湖北武漢 430074）

針對(duì)增強(qiáng)現(xiàn)實(shí)中的幾何一致性問(wèn)題，提出了一種基于多視圖幾何的虛實(shí)場(chǎng)景位置和遮擋一致性恢復(fù)策略，該方法利用計(jì)算機(jī)視覺中的多視圖幾何原理同時(shí)解決了增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的位置配準(zhǔn)和虛實(shí)遮擋兩個(gè)重要問(wèn)題，在保證系統(tǒng)實(shí)時(shí)性的前提下，最大限度增強(qiáng)了真實(shí)感以提高系統(tǒng)可用性。實(shí)驗(yàn)結(jié)果表明，該文方法是有效可行的，在完成位置配準(zhǔn)的同時(shí)解決了虛實(shí)場(chǎng)景之間的遮擋問(wèn)題，從而有效避免了不正確的遮擋關(guān)系給使用者造成的虛實(shí)場(chǎng)景相對(duì)位置失真的錯(cuò)覺。

計(jì)算機(jī)應(yīng)用；幾何一致性；多視圖幾何；位置與遮擋

增強(qiáng)現(xiàn)實(shí)(Augmented Reality, AR)是虛擬現(xiàn)實(shí)技術(shù)的一個(gè)重要分支，它借助顯示技術(shù)、人機(jī)交互技術(shù)、多種傳感技術(shù)和圖形圖像處理技術(shù)將計(jì)算機(jī)生成的虛擬場(chǎng)景、提示信息等疊加到使用者所觀察到的周邊真實(shí)場(chǎng)景中。AR的最終目的是使虛擬場(chǎng)景與真實(shí)環(huán)境融為一體, 使用戶從感官效果上確信虛擬場(chǎng)景是周圍真實(shí)場(chǎng)景的一部分。

1 研究背景

要做到虛實(shí)之間的無(wú)縫融合，幾何一致性至關(guān)重要。具體說(shuō)來(lái)主要有以下兩點(diǎn)：位置一致性和遮擋一致性。位置一致性，或者稱為虛實(shí)配準(zhǔn)或三維注冊(cè)，指的是虛擬場(chǎng)景在位置上應(yīng)該與周邊真實(shí)場(chǎng)景保持一致，它相對(duì)于真實(shí)世界的位置不應(yīng)隨用戶視點(diǎn)和視角的變化而發(fā)生改變。遮擋一致性指的是虛擬場(chǎng)景與真實(shí)場(chǎng)景應(yīng)該具備正確的遮擋關(guān)系，在遮擋背景的同時(shí)，虛擬場(chǎng)景應(yīng)該能夠被前景物體所遮擋。

當(dāng)前研究較多的是位置一致性問(wèn)題，國(guó)內(nèi)外研究人員相繼提出了一些解決方法。其中以計(jì)算機(jī)視覺為主要手段的虛實(shí)配準(zhǔn)方法近年來(lái)已經(jīng)成為一個(gè)重要的研究方向。增強(qiáng)現(xiàn)實(shí)領(lǐng)域的權(quán)威國(guó)際會(huì)議ISMAR(International Symposium on Mixed and Augmented Reality)以及IEEE的可視化與圖形學(xué)學(xué)報(bào)(IEEE Transactions on Visualization and Computer Graphics)等重要期刊每年會(huì)都有相關(guān)最新研究成果發(fā)表。與位置一致性相比，人們對(duì)遮擋一致性所作的工作明顯較少，主要方法是利用雙目立體視覺裝置來(lái)獲取待注冊(cè)場(chǎng)景的深度圖，以恢復(fù)虛實(shí)場(chǎng)景之間的正確遮擋關(guān)系。然而，這種方法不論在精確性還是運(yùn)行速度方面都無(wú)法達(dá)到令人滿意的效果。

筆者在研究過(guò)程中發(fā)現(xiàn)，當(dāng)前大多數(shù)工作都是將位置和遮擋作為兩個(gè)相互獨(dú)立的問(wèn)題而展開研究，很少有系統(tǒng)能夠同時(shí)兼顧并解決上述兩種一致性問(wèn)題。然而，對(duì)于一個(gè)實(shí)用的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，遮擋一致性與位置一致性具有同等重要的地位。不正確的遮擋關(guān)系會(huì)給系統(tǒng)使用者造成一種虛擬場(chǎng)景與真實(shí)場(chǎng)景之間相對(duì)位置失真的錯(cuò)覺，很大程度上影響了系統(tǒng)的運(yùn)行效果。為此，有必要將位置配準(zhǔn)和虛實(shí)遮擋作為一個(gè)統(tǒng)一的問(wèn)題加以解決。

近幾年逐漸得到完善的計(jì)算機(jī)視覺中的多視圖幾何理論為我們解決幾何一致性問(wèn)題帶來(lái)了契機(jī)。該理論為求解攝像機(jī)位姿和前景像素重投影提供了重要依據(jù)。本文的主要工作是設(shè)計(jì)了一種基于多視圖幾何原理的虛實(shí)場(chǎng)景位置和遮擋一致性恢復(fù)策略。該方法具有以下特點(diǎn)：

（1）以多視圖幾何為統(tǒng)一理論框架，在完成位置配準(zhǔn)的同時(shí)有效解決了虛實(shí)場(chǎng)景之間的遮擋問(wèn)題，一定程度上提高了系統(tǒng)的真實(shí)感。

（2）方法簡(jiǎn)單，除一個(gè)未定標(biāo)攝像頭和普通配置的PC機(jī)之外，無(wú)須任何其它硬件設(shè)備，也無(wú)須向場(chǎng)景中添加任何人為標(biāo)識(shí)即可正常工作，具有較高的可用性。

（3）采用基于分類的全局與局部匹配相結(jié)合的特征點(diǎn)追蹤策略，在提高寬基線約束下特征點(diǎn)匹配正確率與匹配效率的同時(shí)，使得系統(tǒng)能夠在場(chǎng)景部分遮擋、視角發(fā)生大幅度變化的情況下，依然可以正常工作。

全文結(jié)構(gòu)如下：第2節(jié)介紹了多視圖幾何基本原理，包括攝像機(jī)成像模型、對(duì)極幾何和三焦距張量；第3節(jié)給出了系統(tǒng)的工作流程；第4節(jié)介紹了基于分類的特征點(diǎn)匹配策略；第5節(jié)分析了投影矩陣和三焦距張量的求解方法；第6節(jié)介紹了若干實(shí)現(xiàn)細(xì)節(jié)問(wèn)題；第7節(jié)給出了實(shí)驗(yàn)結(jié)果；最后一節(jié)對(duì)全文作了總結(jié)。

2 多視圖幾何基本原理

2.1 攝像機(jī)成像模型

2.2 基本矩陣與三維重建

（3）

（5）

（8）

2.3 三焦距張量

三焦距張量在三視圖中的作用類似于基本矩陣在兩視圖中起到的作用，它包含了三幅視圖間不依賴于景物結(jié)構(gòu)的所有影射關(guān)系。對(duì)于同一場(chǎng)景從不同視角拍攝的三幅圖像，如果它們所對(duì)應(yīng)的攝像機(jī)矩陣具有如下形式

則三幅圖像之間的三線性約束關(guān)系可以表示如下

（10）

如果已知真實(shí)世界中的一點(diǎn)在3幅圖像中的2幅上的投影，則該點(diǎn)在第3 幅圖像中的投影位置可由下式確定。

3 工作流程

算法的工作流程分為離線初始化和在線虛實(shí)合成兩個(gè)階段。

（1）離線初始化階段，首先從不同角度獲取目標(biāo)場(chǎng)景的兩幅圖像作為參考，根據(jù)文獻(xiàn)[12]中方法獲取兩者之間的特征點(diǎn)對(duì)應(yīng)關(guān)系和基本矩陣，并利用2.2節(jié)方法對(duì)匹配特征點(diǎn)做重建，進(jìn)而利用四點(diǎn)法建立世界坐標(biāo)系。系統(tǒng)隨后利用PCA和K-MEANS對(duì)匹配特征點(diǎn)集合作分類，以生成特征點(diǎn)描述符，供實(shí)時(shí)追蹤過(guò)程使用。在對(duì)參考圖像作校正之后，根據(jù)文獻(xiàn)[14]中基于動(dòng)態(tài)規(guī)劃的全局優(yōu)化方法獲取兩幅參考圖像上前景區(qū)域像素間的對(duì)應(yīng)關(guān)系。

（2）在線虛實(shí)合成階段，首先將當(dāng)前圖像中提取到的特征點(diǎn)與離線階段獲取的特征點(diǎn)做匹配，根據(jù)特征點(diǎn)匹配集合計(jì)算透視投影矩陣以求取當(dāng)前圖像與兩幅參考圖像之間的三焦距張量。系統(tǒng)利用該張量完成前景像素和用戶指定四點(diǎn)的重投影以恢復(fù)正確的虛實(shí)遮擋關(guān)系和計(jì)算三維注冊(cè)矩陣。

4 基于分類的特征匹配

為了三焦距張量，必須首先獲取當(dāng)前圖像與參考圖像之間的特征點(diǎn)對(duì)應(yīng)關(guān)系。由于固定在頭盔式顯示器上的攝像機(jī)所獲取的圖像與參考圖像之間的基線距離會(huì)隨使用者頭部運(yùn)動(dòng)而發(fā)生較大變化，為此必須設(shè)計(jì)一種適合于長(zhǎng)基線約束的特征匹配方法，它必須同時(shí)滿足運(yùn)算實(shí)時(shí)性和匹配精確性兩方面的要求。本文采用文獻(xiàn)[15]中提出的基于分類的方法來(lái)完成特征點(diǎn)匹配工作。該方法首先將參考圖像上的特征點(diǎn)鄰域作式(12)所示的仿射變換。以模擬系統(tǒng)運(yùn)行過(guò)程中該特征點(diǎn)鄰域在序列圖像中的可能變化。

對(duì)于由仿射變換生成的鄰域集合作主成分分析以達(dá)到降維和提取主成分的目的，隨后利用K-MEANS對(duì)主成分集合作聚類分析以生成特征點(diǎn)描述符供后續(xù)匹配過(guò)程使用。實(shí)時(shí)匹配階段系統(tǒng)將提取到的特征點(diǎn)鄰域變換到主成分空間并利用最近鄰法完成匹配。本文稱上述方法稱為全局匹配策略。筆者在實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)，基于分類的特征匹配方法對(duì)尺度、光照變化、旋轉(zhuǎn)以及仿射變換都具有較強(qiáng)的魯棒性。但它存在一個(gè)明顯的缺點(diǎn)：為了確定當(dāng)前圖像上某一特征點(diǎn)的對(duì)應(yīng)點(diǎn)，需要將該點(diǎn)與參考圖像上每一個(gè)特征點(diǎn)作最近鄰運(yùn)算。上述過(guò)程非常耗時(shí)，是影響系統(tǒng)實(shí)時(shí)性的關(guān)鍵所在，有必要優(yōu)化算法以進(jìn)一步提高系統(tǒng)運(yùn)行速度。由2.1節(jié)可知，真實(shí)世界中的特征點(diǎn)在當(dāng)前圖像上的位置完全可以由式(1)確定。受此啟發(fā)，本文提出了一種基于透視投影矩陣引導(dǎo)的局部匹配策略來(lái)限定特征點(diǎn)的搜索范圍以提高系統(tǒng)運(yùn)行速度。該方法利用前一幀圖像所對(duì)應(yīng)的透視投影矩陣將通過(guò)三維重建獲取的特征點(diǎn)投影到當(dāng)前圖像，以投影后的位置為中心構(gòu)建局部搜索窗口，對(duì)位于窗口內(nèi)的特征點(diǎn)執(zhí)行與全局搜索策略相同的操作以確定特征點(diǎn)對(duì)應(yīng)關(guān)系。實(shí)驗(yàn)證明，局部搜索策略在提高特征點(diǎn)匹配速度的同時(shí)，能夠產(chǎn)生較全局搜索策略更多和更穩(wěn)定的正確匹配數(shù)量。分析其原因是搜索范圍的縮小不僅減少了最近鄰運(yùn)算的次數(shù)，而且能夠有效減少描述符過(guò)于相近的點(diǎn)在搜索鄰域內(nèi)出現(xiàn)的概率。

實(shí)時(shí)注冊(cè)階段本文綜合利用上述兩種策略來(lái)完成特征匹配任務(wù)：初始化階段（第一幀）采用全局匹配策略建立特征匹配集合，求取所需的透視投影矩陣。后續(xù)過(guò)程則采用局部匹配策略來(lái)完成特征點(diǎn)匹配。兩種策略綜合使用的好處有兩點(diǎn)：

（1）系統(tǒng)正常運(yùn)行情況下采用局部匹配策略完成特征點(diǎn)匹配操作，在保證匹配正確率的前提下能夠滿足系統(tǒng)的實(shí)時(shí)性要求。

（2）注冊(cè)失敗情況下，系統(tǒng)重新回到初始化狀態(tài)執(zhí)行全局搜索策略，以求取初始透視投影矩陣。這樣做避免了人為初始化操作，一定程度上提高了系統(tǒng)的健壯性與可用性。

5 求取三焦距張量

為了完成虛實(shí)配準(zhǔn)和前景像素重投影，必須首先獲取當(dāng)前圖像與兩幅參考圖像之間的三焦距張量。當(dāng)前較為常用的計(jì)算方法主要分為以下幾種：線性或歸一化線性算法、代數(shù)最小化算法和6點(diǎn)RANSAC算法。線性或歸一化線性算法沒有考慮到三焦距張量的內(nèi)部約束，因而不能保證得到一個(gè)幾何上有效的張量。代數(shù)最小化算法很容易受野值（誤匹配特征點(diǎn)）影響，無(wú)法保證計(jì)算結(jié)果的精確性。6點(diǎn)RANSAC算法是當(dāng)前較為常用的三焦距張量計(jì)算方法，該方法在避免野值影響的基礎(chǔ)之上能夠保證生成一個(gè)幾何有效的張量。然而實(shí)驗(yàn)發(fā)現(xiàn)，RANSAC算法的運(yùn)行速度很不穩(wěn)定，其抽樣次數(shù)隨著對(duì)應(yīng)點(diǎn)數(shù)量的增加以及誤匹配率的升高而急劇增大。該方法的另一個(gè)缺點(diǎn)是，多平面環(huán)境下，如果選定的6點(diǎn)恰好位于一張平面上，則計(jì)算結(jié)果只能保證對(duì)該平面幾何有效。

綜合考慮上述方法各自的優(yōu)缺點(diǎn)以及本文算法的特殊性，設(shè)計(jì)了一種新的張量求取方法。該方法在兼顧精確性的同時(shí)最大程度上保證了健壯性，從而使得系統(tǒng)能夠在場(chǎng)景部分遮擋情況下依然正常工作。

由式(9)和式(10)可知，如果能夠獲取三幅圖像對(duì)應(yīng)的投影矩陣、、。則可以很容易的計(jì)算出系統(tǒng)所需的三焦距張量。由于離線階段已經(jīng)得到了兩幅參考圖像的投影矩陣（假定為和），在線階段只需實(shí)時(shí)求取當(dāng)前圖像對(duì)應(yīng)的投影矩陣（假定為）即可通過(guò)式(10)完成張量計(jì)算。

鑒于上述問(wèn)題本文引入漸進(jìn)式一致抽樣算法——PROSAC來(lái)完成野值剔除任務(wù)。PROSAC與RANSAC的差異在于抽樣集合不同，RANSAC從整個(gè)匹配點(diǎn)集合中隨機(jī)抽樣，而PROSAC則是從匹配度最高的子集中抽樣，隨著抽樣次數(shù)的增加，子集的規(guī)模也越來(lái)越大，并最終達(dá)到全集，因此PROSAC的抽樣結(jié)果與RANSAC是相同的，只不過(guò)改變了抽樣結(jié)果的次序，使匹配度較高的特征點(diǎn)對(duì)較早被抽到，進(jìn)而較早達(dá)到抽樣終止條件以結(jié)束抽樣。

本文在利用PROSAC計(jì)算投影矩陣時(shí)，首先將特征點(diǎn)集合按匹配度（特征點(diǎn)描述符間的歐式距離）作降序排列，生成有序集合=(1,2, …,)，其中為相互匹配的特征點(diǎn)對(duì)數(shù)。鑒于計(jì)算一次最少需要6對(duì)對(duì)應(yīng)點(diǎn)，所以初始抽樣子集定義為6=(1,2,3,4,5,6)，若從當(dāng)前集合=(1,2,…,)中抽取任意6個(gè)不同元素的所有方法已經(jīng)窮盡，則下一步抽樣子集為+1=(1,2,…,,+1)，且后續(xù)抽樣結(jié)果由+1和從中隨機(jī)抽取的5個(gè)樣本組成。

基于PROSAC的投影矩陣計(jì)算方法可以歸納如下：

（1）利用PROSAC從匹配特征點(diǎn)集合中抽樣，同時(shí)利用歸一化線性算法計(jì)算的候選解。

（2）利用式(1)和上述候選解將通過(guò)重建獲取的三維點(diǎn)投影到當(dāng)前幀。根據(jù)投影點(diǎn)和實(shí)時(shí)提取到的特征點(diǎn)間的距離計(jì)算內(nèi)點(diǎn)的數(shù)量。

文中判斷內(nèi)點(diǎn)的標(biāo)準(zhǔn)為投影點(diǎn)和實(shí)時(shí)提取到的特征點(diǎn)間的距離小于3個(gè)像素。

在獲取了當(dāng)前圖像對(duì)應(yīng)的投影矩陣之后，即可直接利用式(10)獲取所需張量來(lái)完成前景像素重投影和虛實(shí)配準(zhǔn)。然而，筆者通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，上述方法并不能取得令人滿意的精確性，有必要采取措施來(lái)提高系統(tǒng)精度。

計(jì)算三焦距張量的另外一個(gè)途徑是代數(shù)最小化算法，選擇該算法的一個(gè)重要前提是已經(jīng)在求取透視投影矩陣的過(guò)程中剔除了特征點(diǎn)匹配集合中的野值，因而無(wú)需重新進(jìn)行野點(diǎn)剔除操作。由于三焦距張量具有27個(gè)未知數(shù)，算法中的最后一步是一個(gè)大型優(yōu)化問(wèn)題，非常耗時(shí)。為此作者省略了非線性最小二乘優(yōu)化以提高系統(tǒng)實(shí)時(shí)性。實(shí)驗(yàn)結(jié)果表明上述省略所造成的負(fù)面影響可以忽略不計(jì)。圖1給出了代數(shù)最小化算法的重投影誤差曲線，可以看出代數(shù)最小化算法在大部分情況下能夠保證較高的計(jì)算精度，對(duì)于其中的跳變，分析其原因是由于正確匹配的特征點(diǎn)數(shù)量過(guò)少所造成。這些跳變作用于系統(tǒng)的后果是前景區(qū)域像素重投影錯(cuò)位所造成虛實(shí)遮擋失真。為此有必要采取一定的措施來(lái)解決跳變問(wèn)題。

圖1 代數(shù)最小化算法重投影誤差

事實(shí)上，上面介紹的兩種張量計(jì)算方法具有一定的互補(bǔ)性，前一種方法的精確性較低，穩(wěn)定性較好。后一種方法的精確性較好，但是存在跳變問(wèn)題?？梢酝ㄟ^(guò)綜合使用上述兩種方法來(lái)獲取較為穩(wěn)定的計(jì)算結(jié)果。即正常情況下采用代數(shù)最小化算法求取所需張量，發(fā)生跳變時(shí)則采用前一種求解策略來(lái)獲取所需張量。改進(jìn)后的方法的重投影誤差如圖2所示，可以看出改進(jìn)方法較代數(shù)最小化方法在抑制跳變次數(shù)和幅度方面都有明顯的效果。

圖2 改進(jìn)算法的重投影誤差

6 實(shí)現(xiàn)細(xì)節(jié)

本節(jié)介紹兩個(gè)系統(tǒng)實(shí)現(xiàn)方面的細(xì)節(jié)問(wèn)題：基于非線性最小二乘法的三維注冊(cè)矩陣優(yōu)化和前景區(qū)域空洞填補(bǔ)。

6.1 利用非線性最小二乘法優(yōu)化三維注冊(cè)矩陣

筆者通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，直接利用第5節(jié)獲取的三焦距張量和ARTOOLKIT來(lái)完成虛實(shí)配準(zhǔn)會(huì)造成虛擬場(chǎng)景位置抖動(dòng)。為了進(jìn)一步優(yōu)化結(jié)果，本文利用式(13)對(duì)三維注冊(cè)矩陣進(jìn)一步求精，以提高系統(tǒng)穩(wěn)定性。

6.2 前景區(qū)域空洞填補(bǔ)

利用三焦距張量將參考圖像上的前景區(qū)域投影到當(dāng)前圖像上時(shí)會(huì)產(chǎn)生空洞現(xiàn)象。造成空洞的主要原因有兩點(diǎn)：用戶視角和視點(diǎn)變化引起的前景區(qū)域擴(kuò)張以及離線階段前景像素對(duì)應(yīng)關(guān)系確定過(guò)程中產(chǎn)生的誤差?？斩吹某霈F(xiàn)使得用戶可以從前景物體輪廓內(nèi)部觀察到應(yīng)該被遮擋住的部分虛擬場(chǎng)景，很大程度上影響了虛實(shí)場(chǎng)景的合成效果。本文采用如下兩種策略來(lái)克服空洞現(xiàn)象，以改善系統(tǒng)運(yùn)行效果。

（1）區(qū)域填補(bǔ)，用參考圖像上的前景像素覆蓋以投影目標(biāo)像素為中心的鄰域。該鄰域的大小與視點(diǎn)和前景的距離成反比。

（2）對(duì)于經(jīng)過(guò)區(qū)域填補(bǔ)后存在的少量空洞，利用其周邊像素色彩的平均值來(lái)填補(bǔ)。

7 實(shí)驗(yàn)結(jié)果

本小節(jié)從系統(tǒng)運(yùn)行效果、注冊(cè)精度以及算法運(yùn)行時(shí)間三個(gè)方面給出詳細(xì)的實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)的硬件平臺(tái)為一臺(tái)DELL 530圖形工作站和一個(gè)普通USB攝像頭。軟件平臺(tái)為Windows 2003、Visual C++ 6.0和Open CV。同時(shí)使用了文獻(xiàn)[14]中提供的源代碼來(lái)獲取參考圖像上的前景區(qū)域像素對(duì)應(yīng)關(guān)系。

7.1 系統(tǒng)運(yùn)行效果

圖3、圖4和圖5給出了系統(tǒng)三次運(yùn)行過(guò)程中的效果圖，其中圖3驗(yàn)證了系統(tǒng)在用戶視角發(fā)生較大幅度變化、場(chǎng)景部分遮擋等情況下的工作性能，可以看出，本文算法在上述情況下仍然可以正常工作，因而具有較強(qiáng)的健壯性。

圖4和圖5就施加與未施加虛實(shí)遮擋的運(yùn)行效果作了對(duì)比。其中，圖4(a)、4(b)以及圖5(a)、5(b)為沒有施加遮擋的虛實(shí)合成效果，圖4(c)、4(d)以及圖5(c)、5(d)為本系統(tǒng)的運(yùn)行效果?？梢钥闯觯瑳]有施加遮擋功能的系統(tǒng)存在明顯的不一致現(xiàn)象，很容易給使用者造成虛實(shí)場(chǎng)景相對(duì)位置失真的感覺。而本文方法很好的解決了上述問(wèn)題，虛擬茶壺與杯子和糖果罐之間具備了正確的遮擋關(guān)系，使得虛實(shí)合成的結(jié)果更加具有真實(shí)感。

7.2 注冊(cè)精度

為了驗(yàn)證算法的精確性，對(duì)注冊(cè)精度做了定量分析，本文以三維注冊(cè)矩陣中平移分量的（相對(duì)于攝像機(jī)坐標(biāo)系軸的平移分量）為例分別對(duì)兩次實(shí)驗(yàn)過(guò)程中的前100幀進(jìn)行了計(jì)算，得出的計(jì)算結(jié)果與真實(shí)值之間的差異保持在5mm以內(nèi)，可以滿足系統(tǒng)的注冊(cè)精度要求。

7.3 運(yùn)行時(shí)間

記錄了算法各主要步驟的運(yùn)行時(shí)間，主要包括以下幾個(gè)部分：

（1）全局與局部特征匹配；

（2）基于PROSAC的野值剔除；

（3）基于Levenberg-Marquardt的三維注冊(cè)矩陣優(yōu)化；

（4）計(jì)算三焦距張量；

（5）前景像素重投影。

全局特征匹配時(shí)間為0.195秒，局部特征匹配時(shí)間少于0.025秒?；赑ROSAC的野值剔除時(shí)間少于0.01秒，基于Levenberg-Marquardt的三維注冊(cè)矩陣優(yōu)化需要0.015秒，計(jì)算三焦距張量需要0.014秒，前景重投影時(shí)間少于0.005秒。因此，系統(tǒng)初始化時(shí)間少于0.239秒，正常情況下，系統(tǒng)運(yùn)行速度能夠達(dá)到每秒14幀以上，可以滿足實(shí)時(shí)性要求。

圖3 系統(tǒng)運(yùn)行效果一

(a)??????????(b)

(c)??????????(d)

圖4 虛實(shí)遮擋效果對(duì)比一

(a) ??????????(b)

(c) ??????????(d)

圖5 虛實(shí)遮擋效果對(duì)比二

8 總結(jié)和今后的工作方向

提出了一種基于多視圖幾何原理的虛實(shí)場(chǎng)景幾何一致性恢復(fù)算法。該方法利用計(jì)算機(jī)視覺中的兩視圖和三視圖幾何原理同時(shí)解決了增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的位置配準(zhǔn)和虛實(shí)遮擋兩個(gè)重要問(wèn)題，在保證系統(tǒng)實(shí)時(shí)性的同時(shí)能夠有效避免不正確的遮擋關(guān)系給用戶造成的虛實(shí)場(chǎng)景相對(duì)位置失真的錯(cuò)覺，具有一定的參考和實(shí)用價(jià)值。當(dāng)前存在的問(wèn)題是待注冊(cè)場(chǎng)景的結(jié)構(gòu)在系統(tǒng)運(yùn)行過(guò)程中不能發(fā)生變化，否則系統(tǒng)將無(wú)法完成位置配準(zhǔn)和虛實(shí)遮擋。事實(shí)上真實(shí)場(chǎng)景的結(jié)構(gòu)可能由于各種原因而發(fā)生改變（如物體被移動(dòng)等），所以動(dòng)態(tài)場(chǎng)景下的位置配準(zhǔn)是當(dāng)前增強(qiáng)現(xiàn)實(shí)領(lǐng)域中迫切需要解決的一個(gè)重要問(wèn)題，基于張量選舉的運(yùn)動(dòng)分割應(yīng)該是一個(gè)很好的候選方案，這也是今后的工作方向。

[1] 施 琦, 王涌天, 陳 靖. 一種基于視沉的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)算法[J].中國(guó)圖象圖形學(xué)報(bào), 2002, 7(7): 679-683.

[2] Kato H, Billinghurst M. Marker tracking and HMD calibration for a video-based augmented reality conferencing system [C]//IEEE and ACM International Workshop on Augmented Reality, 1999: 85-94.

[3] Simon G, Fitzgibbon A, Zisserman A. Markerless tracking using planar structures in the scene [C]//Proc. of International Symposium on Augmented Reality, 2000: 120-128.

[4] Simon G, Berger M. Reconstructing while registering: a novel approach for markerless augmented reality [C]// Proc. of the IEEE and ACM ISMAR, 2002: 285-294.

[5] Yuan M L, Ong S K, Nee A Y C. Registration based on projective reconstruction technique for augmented reality systems [J]. IEEE Trans. on Visualization and Computer Graphics, 2005, 11(3): 254-264.

[6] Raghav Subbarao, PeterMeer, Yakup Genc. A balanced approach to 3D tracking from image streams [C]//ISMAR, 2005: 70-78.

[7] Yuan M L, Ong S K, Nee A Y C. Registration using natural features for augmented reality systems [J]. IEEE Trans. on Visualization and Computer Graphics, 2006, 12(4): 569-580.

[8] Yokoya N, Takemura H, Okuma T, et al. Stereo vision based video see-through mixed reality[C]//Proc. of ISMAR, 1999: 131–145.

[9] Kim H, Yang S, Sohn K. 3D reconstruction of stereo images for interaction between real and virtual worlds [C]//Proceedings of the 2nd IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR’03), 2003: 169-177.

[10] Hartley R, Zisserman A. Multiple view geometry in computer vision [M]. Cambridge University Press, 2000. 99-107.

[11] ARToolKit[EB/OL].http://www.hitl.washington. edu/artoolkit/, 2006.

[12] Zhang Z, Deriche R, et al. A robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry [J]. Artificial Intelligence, 1995, 78(1-2): 87-119.

[13] Yuan M L, Ong S K, Nee A Y C. A generalized registration method for augmented reality systems [J]. Computers and Graphics, 2005, 29: 980-997.

[14] Scharstein D, Szeliski R. A taxonomy and evaluation of dense two-frame stereo comespondence algorithms [J]. IJCV, 2002, 47(1/2/3): 7-42.

[15] Lepetit V, Pilet J, Fua P. Point matching as a classification problem for fast and robust object pose estimation [C]//Conference on Computer Vision and Pattern Recognition, Washington, DC, 2004: 91-110.

[16] Chum O, Matas J. Matching with PROSAC- progressive sample consensus [C]//Proc. CVPR, 2005: 20-25.

[17] Wai-Shun Tong, Chi-Keung Tang, Gerard Medioni. Simultaneous two-view epipolar geometry estimation and motion segmentation by 4D tensor voting [C]//IEEE Transactions on Pattern Analysis and Machine Intelligence,2004: 1167-1184.

Resolving Pose and Occlusion Consistency Based on Multiple View Geometry for Augmented Reality Systems

ZHANG Yan, HE Xiao-bo, GUAN Tao

( 1. Institute of Disaster Prevention Science and Technology, Sanhe Hebei 065201, China; 2. Digital Engineering and Simulation Research Center, Huazhong University of Science and Technology, Wuhan Hubei 430074, China )

This paper proposes a novel method to solve pose and occlusion consistency problems by using multiple view geometry for AR systems. The method can deal with pose and occlusion consistencies simultaneously in an uniform framework, which improves the performance of AR systems obviously. Experiments have been carried out to demonstrate the validity of the proposed approach. The results indicate that the method can solve pose and occlusion consistencies problems, by which the wrong impression of relative position caused by incorrect occlusion can be avoided effectively.

computer application; geometrical consistency; multiple view geometry; pose and occlusion

TP 391

A

1003-0158(2011)01-0111-08

2009-04-01

國(guó)家自然科學(xué)基金青年基金資助項(xiàng)目（60903095）；中國(guó)博士后基金面上資助項(xiàng)目（20080440941）

張 巖（1982-），男，北京人，碩士研究生，主要研究方向?yàn)閳D像處理，虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)技術(shù)。