寧孟麗,樊亞棟

(山西旅游職業(yè)學院, 山西, 太原 030036)

1 引言

近年來,VR技術(shù)在各行各業(yè)都得到了廣泛應(yīng)用, 例如文物重建、古建筑重建、工業(yè)、環(huán)境、地理、游戲 等等。虛擬現(xiàn)實技術(shù)(VR)作為仿真技術(shù)的一種衍生應(yīng) 用,可通過電子技術(shù)和計算機技術(shù)聯(lián)合創(chuàng)造一個新世 界。在這個世界中, 有模擬的真實環(huán)境和聲音,用戶可 通過智能穿戴傳感設(shè)備在模擬世界中進行游覽和操作, 實時且自然感知這個虛擬世界又能深度參與。旅游過程 實際上是體驗文化、體驗生態(tài)、體驗環(huán)境、體驗景觀、 體驗娛樂、體驗情感、體驗健康等多方面體驗的過程, 傳統(tǒng)景區(qū)互動性差、景區(qū)流量受限、過度開發(fā)的旅游產(chǎn) 品造成古代建筑承壓。差異化旅游發(fā)展亟待創(chuàng)新發(fā)展思路。由 VR 技術(shù)和信息技術(shù)共同發(fā)展起來的虛擬旅游技 術(shù), 徹底改變了傳統(tǒng)旅游方式。大大縮短了游客與旅游目的地之間的距離,使一些未被熟知的景區(qū)逐漸進入大 眾視野。

當 VR 技術(shù)應(yīng)用在虛擬旅游業(yè)中時, 主要有以下三 方面特征:

1)構(gòu)想性:指的是虛擬環(huán)境主要由人想象得到, 這種環(huán)境主要依托于人的某種思想,因此可以用來構(gòu)建 移動的虛擬目標。

2)交互性:用戶可在多種傳感設(shè)備的輔助下, 與虛擬環(huán)境中的事物、主體進行自然交互,同時也可感 受到環(huán)境變化帶來的感受,與真實環(huán)境中的感受相差無 幾。

3)沉浸性:指的是用戶可從多方面感受到虛擬 環(huán)境中的事物, 仿佛置身于其中。

在大力推進旅游數(shù)字化、網(wǎng)絡(luò)化和智能化的今天,對于虛擬環(huán)境的重建效果仍不盡如人意。為此, 孫保燕[1]等人利用空地多數(shù)據(jù)互輔融合算法,針對旅游景區(qū)古 建筑提出一種三維重建方法。通過傾斜攝影和三維激光 掃描獲取古建筑圖像,同時建立古建筑三維模型電子檔 案, 對圖像與檔案中的數(shù)據(jù)進行融合并計算偏差,以此 完成對景區(qū)古建筑的三維重建。劉德兒[2]等人通過融合 異源的方式將三維激光點云數(shù)據(jù)與傾斜攝影結(jié)合起來, 實現(xiàn)對建筑的三維重建。利用傾斜攝影獲取建筑圖像, 并生成影像點云,在三維激光掃描儀的基礎(chǔ)上分析其立 面數(shù)據(jù),并對其進行去噪處理;將激光點云與影像點云 憑借TrlCP算法進行配準,使建筑物位姿實現(xiàn)完美融合, 進而完成建筑物的三維重建。

應(yīng)用上述兩種方法在對旅游景區(qū)建筑物重建時難 以取得理想的重建效果,因此,通過雙目視覺系統(tǒng)采集 旅游景點數(shù)據(jù),經(jīng)過特征點提取和匹配后,完成建筑物 的虛擬三維重建。

雙目視覺系統(tǒng)有四個基本步驟:

1.相機標定。單相機的內(nèi)參標定可以獲得每個相機 的畸變系數(shù)、焦距、光心等參數(shù);雙目相機的外參標定 可以獲得相機之間的相機坐標系的平移和旋轉(zhuǎn)關(guān)系。

2.立體校正過程。使用標定結(jié)果,對兩個相機采集 的原始圖像進行校正,使之位于同一平面且互相平行。

3.立體匹配過程。對校正后的圖像進行像素點的匹 配, 匹配成功的點表示真實世界中的某點在這兩個圖像 中的不同位置。匹配代價計算的方法有很多,有 A(Absolute Differences )、 SAD(Sum of Absolute Differences)、 NCC(Normalized Cross-correlation)等方 法。

4.深度計算過程。根據(jù)立體匹配結(jié)果得到視差圖計 算每個像素對應(yīng)的深度取得深度圖。

在實驗測試中,利用仿真技術(shù)重建后的建筑物效果 要遠遠優(yōu)于其他兩種方法,可為用戶提供最真實的虛擬 旅游體驗。

2 景區(qū)三維重建

在虛擬現(xiàn)實技術(shù)中,需要對旅游景區(qū)建筑物進行模 擬,那就必須用到三維重建技術(shù)[3],本文通過構(gòu)建雙目 視覺系統(tǒng)來采集景區(qū)環(huán)境各類數(shù)據(jù)信息。

2.1 數(shù)據(jù)采集

仿真技術(shù)使用的雙目視覺系統(tǒng)包含了硬件和軟件 兩部分,主要模塊有影像獲取模塊、視覺測量處理模塊 以及結(jié)果顯示模塊。其中,影像獲取模塊[4]由安裝在系 統(tǒng)前端的兩臺工業(yè)攝像機構(gòu)成,這兩臺攝像機之間方向 相同, 具體參數(shù)如表1 所示。

表1 工業(yè)攝像機具體參數(shù)

視覺測量處理模塊的構(gòu)成主要有兩部分,分別是 CPU 和存儲器,作用是接收影像獲取模塊傳送過來的立 體影像數(shù)據(jù)[5],分析計算后以三維信息的形式傳送至結(jié) 果顯示模塊。影像獲取模塊與視覺測量處理模塊通過千 兆網(wǎng)線和路由器進行連接,實現(xiàn)實時影像數(shù)據(jù)的傳送。 視覺測量處理模塊的參數(shù)如表2 所示。

表2 視覺測量處理模塊計算機參數(shù)

由于工業(yè)攝像機不會產(chǎn)生特別嚴重的鏡頭畸變,所 以選擇了張正友標定法[6]對兩個攝像頭進行標定。雙目 視覺系統(tǒng)兩臺攝像機的工作流程如圖1(a)所示,由該 系統(tǒng)獲取的景區(qū)建筑圖像如圖1(b)所示。

圖1 雙目視覺系統(tǒng)

2.2 特征點提取

在建筑物三維重建中,特征點提取的作用是將建筑 物的 2D 圖像轉(zhuǎn)換為 3D 模型。提取的特征點可以用于 確定建筑物的位置、形狀和結(jié)構(gòu),可以作為計算機視覺算法的輸入來識別不同部分的建筑物及其空間關(guān)系。對 于建筑物的復(fù)雜結(jié)構(gòu)或特殊形狀部分,特征點提取還可 以幫助計算機更好地識別和分割出這些部分,從而更準 確地重建建筑物的 3D 模型。對于獲取的旅游景區(qū)圖像, 利用改進后的 Harris 算法分別將 0°、45°、90°以及 135° 四個方向上絕對值小于閾值F 的像素點剔除掉,僅針對 剩下的像素點進行 Harris 角點檢測。假設(shè)景區(qū)建筑圖像像素點(x,y)的灰度強度[7]為I(x,y),那么在 0°、45°、 90°以及 135°四個方向上,對該像素點 4 個不同方向上 的灰度梯度Ix、Ir、Iy、Id進行推導(dǎo),計算公式如式(1)所示:

(1)

Ix、Ir、Iy、Id四個值的范圍在[-255,255]之間。 通過查閱相關(guān)資料, 將閾值設(shè)定為F=25。判斷 0°、 45°、90°和 135°四個方向的梯度值,當滿足Ix< 25、Ir< 25、Iy< 25、Id< 25 時,證明該點不是角點,除此之外的所有點被看作是候選角點[8],同時放入集合A中。對集合A進行擴展得到集合B,對集合B中的 像素點計算 8 相鄰像素角點響應(yīng)函數(shù)R,經(jīng)過非最大值 抑制后,得到滿足條件的角點。在對兩個集合像素點R。

值計算完成后,按照大小順序排列,利用相鄰像素角點 最大值Rmax計算基礎(chǔ)閾值T0：

T0=C0×Rmax

(2)

式中,C0表示閾值系數(shù)[9]。由經(jīng)驗可知,當C0的取值范圍在 0.02～0.04 之間時角點檢測效果最好, 滿足R>T0且R為局部極大值像素點,由此得到的角點為基礎(chǔ)角點。

由基礎(chǔ)角點將景區(qū)建筑圖像劃分為若干個圖像塊, 接著再對基礎(chǔ)角點以外的候選角點計算R值并排序,找出Rmax,將其作為補充角點[10],其周圍的鄰近點需要剔除掉。通過該方法可以很好地提取到圖像特征點,便于 后續(xù)進行特征點匹配。

2.3 特征點匹配

在建筑物三維重建中,提取特征點是為了確定建筑 物的位置、形狀和結(jié)構(gòu),但提取的特征點可能并不完全 準確,尤其當建筑物形狀比較復(fù)雜或者存在遮擋或光照 變化等情況時,提取的特征點的位置、數(shù)量以及質(zhì)量都 可能存在誤差。因此, 在提取特征點之后,需要對得到 的特征點進行匹配, 以便消除誤差并找到匹配的點對。 匹配可以通過將特征點描述符進行比較的方式實現(xiàn)。匹 配的結(jié)果可以用來確定不同視角的特征點之間的對應(yīng) 關(guān)系, 從而使得建筑物的 3D 模型更加精準和完整。特 征點匹配是在一定搜索范圍內(nèi),找到左、右兩幅圖像的 對應(yīng)點,并將其進行匹配,仿真技術(shù)通過 SAD(Sum of absolute differences)算法[11]來實現(xiàn)。將左、右攝像機采 集的圖像分別定義為參考圖像和匹配圖像。選取參考圖像中的一個坐標點(u,v),將視差搜索范圍設(shè)定為d, 圖像中點(u,v,d)的像素代表了點(u,v)與匹配圖像中點(u+d,v)之間的距離。SAD算法作為一種局部特征匹配算法[12],在匹配圖像塊方面具有非常突出的優(yōu)勢。SAD算法的表達式為:

(3)

式中,s、t分別表示待匹配兩幅圖像的軸斜率,M、N分別表示待匹配兩幅圖像的旋轉(zhuǎn)矩陣,S表示立體校正矩陣[13]。

基于SAD算法的特征點匹配具體實現(xiàn)步驟為:

步驟一:建立一個與卷積核作用相似的小窗口;

步驟二:將左、右兩幅圖像分別用窗口覆蓋住,同時提取覆蓋區(qū)域內(nèi)的所有像素點;

步驟三:對左、右覆蓋區(qū)域內(nèi)的像素點計算絕對值的和;

步驟四:適時調(diào)整右邊圖像上的窗口位置,反復(fù)操作步驟二、步驟三,直到滿足差值最小條件時停止,此時得到的窗口即為與左邊圖像相匹配的像素塊,提取其中的特征點進行相互匹配即可。

2.4 三維重建實現(xiàn)

提取得到左、右兩幅圖像對應(yīng)的特征點后,利用雙目立體成像理論對特征點的深度值進行計算,同時建立一個初始控制網(wǎng)格,利用插值的方式計算網(wǎng)格點坐標[14],以此實現(xiàn)虛擬環(huán)境中景區(qū)建筑的仿真三維重建。初始控制網(wǎng)格如圖2所示。

將Φij看作是某個控制點的值,由此可得到逼近函數(shù)的表達式為:

(4)

式中,k=|x|-1、l=|y|-1分別表示左、右兩幅圖像的平移向量,s=x-|x|,t=y-|y|,Bk、Bl分別表示雙三次B樣條的基數(shù)。

將三維模型的像素值看作是Φij的逼近點集記為Φp。對于Pij中的所有點P,構(gòu)建三維重建模型為:

ΦP=∑Pf(x,y)2ΦP/D(i,j)

(5)

由于雙三次B樣條函數(shù)曲線可以更加突出圖像細節(jié)特征,對于配準后的特征點具有較高的接受度。所以在每一次的特征點匹配后,都會生成一個控制網(wǎng)格,經(jīng)過一級一級的匹配,由粗到細的對旅游景區(qū)進行仿真三維重建,為虛擬旅游創(chuàng)造最接近現(xiàn)實的仿真環(huán)境。

3 實驗測試

為了驗證仿真技術(shù)在我國旅游領(lǐng)域應(yīng)用的實際效果,選取某知名旅游景區(qū)作為研究對象,將仿真技術(shù)與文獻[1]提出的空地多數(shù)據(jù)互輔融合技術(shù)和文獻[2]提出的PCA-TrICP技術(shù)。首先,從特征點匹配方面對三種算法展開實驗測試,對比結(jié)果如圖3所示。

通過對比圖3中的三幅圖像可以看出,利用仿真技術(shù)得到的特征點數(shù)量最多、最全,左右兩幅圖像中的特征點匹配效果最好。而其他兩種算法選取的特征點數(shù)量普遍較少,且左右兩幅圖像匹配的特征點出現(xiàn)了偏差,沒有實現(xiàn)精準匹配。這是由于仿真技術(shù)不斷調(diào)整SAD算法中的窗口位置,使待匹配的兩幅圖像像素塊完全吻合,因此取得了優(yōu)秀的特征點匹配效果。

接下來,對三種重建算法在虛擬現(xiàn)實技術(shù)中的應(yīng)用效果進行對比,結(jié)果如圖4所示。

圖4 三種算法重建效果對比

從圖4中可以很明顯地看出,三種算法中,利用仿真技術(shù)取得的重建效果最好,使得在仿真虛擬旅游中得到完整體現(xiàn)。而其他兩種算法重建圖像完整度不高,細節(jié)處理得較為模糊,在虛擬旅游中的表現(xiàn)并不好。由此得出結(jié)論,應(yīng)用仿真技術(shù)可以為虛擬旅游提供效果更好地模擬體驗,使用戶的感受更加真實。這是由于仿真技術(shù)取得了優(yōu)秀的特征點匹配結(jié)果,使得重建后的圖像保留了更多的特征點,因此重建效果更好。

最后,利用三種算法分別對不同環(huán)境下的建筑物進行1000次三維重建,并將重建后的建筑物長度與實際長度進行對比,得到如圖5所示的結(jié)果。用來進行長度對比的是某古樓門框,實際長度為200cm。

圖5 三種算法三維重建長度與實際長度對比結(jié)果

從圖5中可以看出,三種算法重建后的長度與實際長度之間都存在著一定的誤差,但是仿真技術(shù)取得的誤差要小于其他兩種算法,且1000次誤差較為平穩(wěn),未出現(xiàn)特別突出的波動。再看另外兩種算法的重建長度曲線誤差普遍較大,且每次實驗都不平穩(wěn),說明這兩種算法穩(wěn)定性較差,重建后的效果在虛擬旅游中無法得到平穩(wěn)展現(xiàn)。

4 結(jié)論

目前,在我國處于起步階段的雙目視覺主要應(yīng)用于四個領(lǐng)域:機器人導(dǎo)航、微操作系統(tǒng)的參數(shù)檢測、三維測量和虛擬現(xiàn)實,就雙目視覺的發(fā)展狀況和目標(達到類似于人眼的通用雙目視覺)而言,需要解決以下問題:①灰度失真、噪聲去除、新的算法。②技術(shù)方面提高立體視覺的真實性。③不同場景的視覺標準與方法,約束信息參與立體匹配的模型。SGBM算法使用sobel算子對源圖像進行處理,并將經(jīng)sobel算子處理后的圖像映射為新圖像仍可做為后續(xù)研究。