基于多視角立體影像匹配三維建模技術(shù)的研究

李德元 曹 鵬 孫朝犇 趙棟梁

（自然資源部第三地形測量隊(duì)，黑龍江 哈爾濱 150081）

0.引言

隨著計(jì)算機(jī)科學(xué)技術(shù)的飛速發(fā)展，測繪地理信息數(shù)據(jù)的獲取和可視化手段日趨先進(jìn)，GIS 技術(shù)也從二維平面向三維空間發(fā)展，經(jīng)過三維化的GIS 應(yīng)用程序，將會對原始二維平面地理信息數(shù)據(jù)中難以表達(dá)的地理空間信息通過三維應(yīng)用GIS 程序精準(zhǔn)描述出來，從未來地理信息行業(yè)的發(fā)展來看，三維化GIS 將是現(xiàn)代測繪地理信息的發(fā)展趨勢，為國家和公眾提供準(zhǔn)確三維地理信息服務(wù)，從而實(shí)現(xiàn)三維GIS 的實(shí)用價(jià)值。

1.研究目的

主要通過三維開源軟件對測量或非測量相機(jī)所拍照物體立體的圖像法進(jìn)行處理，經(jīng)過軟件最優(yōu)匹配算法的配置，將二維平面影像序列處理為三維結(jié)構(gòu)模型過程，主要使用的開源軟件為VisualSFM，軟件主要使用的運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（SFM）成像技術(shù)，它指的是將二維圖像序列估計(jì)三維結(jié)構(gòu)的過程，該序列可以與局部運(yùn)動(dòng)信號耦合，在計(jì)算機(jī)視覺和視覺感知領(lǐng)域都有一定的研究。在生物學(xué)的視野中，SFM 是指人類（或其他生物）可以從移動(dòng)物體或環(huán)境中預(yù)計(jì)2D（視網(wǎng)膜）運(yùn)動(dòng)場中恢復(fù)3D 結(jié)構(gòu)的現(xiàn)象，從而實(shí)現(xiàn)人的真實(shí)三維立體空間感覺，然后通過三維模型的技術(shù)處理，將三維模型處理更加接近物理本身，從而真實(shí)反映物體和環(huán)境的情況，為在自然災(zāi)害、文物保護(hù)、不動(dòng)產(chǎn)登記等自然資源方面有重要的利用價(jià)值。

2.研究內(nèi)容

2.1 立體影像的獲取

利用測量相機(jī)或非測量相機(jī)對需要進(jìn)行3D 建模的對象進(jìn)行一系列多角度的拍攝，在拍攝過程中，不能在一個(gè)方向一直拍攝，需要圍繞建模對象進(jìn)行有重疊的拍攝，使相機(jī)拍攝中心能拼接形成全景，如果不能形成全景，三維建模的信息會有缺失。正常情況下，要以3D 待建模對象為中心，圍繞著它每10 至20 度左右拍攝一張，保證重疊度，如果有條件做到有不同高度信息能使建模效果更佳。VisualSFM 軟件沒有照片數(shù)量限制，照片數(shù)量越多，三維建模的細(xì)節(jié)越豐富，但建模的過程相應(yīng)花費(fèi)的時(shí)間更長。

2.2 特征匹配

在VisualSFM 軟件中可以指定要匹配的配對列表和使用自己的功能匹配，同時(shí)調(diào)整參數(shù)以提高匹配速度。因拍攝照片可能存在旋轉(zhuǎn)、亮度、顏色、縮放等變化，此過程利用改進(jìn)的SIFT 算法提取、描述特征，并用RANSAC 算法過濾掉誤匹配。此過程如果內(nèi)存夠用也可利用GPU 加速等功能。整個(gè)匹配過程的工作狀態(tài)實(shí)時(shí)顯示在軟件側(cè)邊窗口上。在這里提供一種基于VLFeat 的實(shí)現(xiàn)的SIFT 匹配方法，VLFeat 開源庫實(shí)現(xiàn)當(dāng)前流行的計(jì)算機(jī)視覺算法專業(yè)圖像的理解和局部特征提取和匹配，是一個(gè)跨平臺的開源計(jì)算機(jī)視覺庫，支持Windows，蘋果系統(tǒng)和Linux 等。算法主要包括Fisher 向量、SIFT、聚類算法等多種計(jì)算機(jī)視覺算法，具有高效和穩(wěn)定的兼容性，并且?guī)в蠱ATLAB 的接口，比較容易使用。

SIFT 算法即尺度不變特征變換（Scale-invariant feature transform）算法，在數(shù)字圖像處理領(lǐng)域特征提取匹配中使用最多的算法，它在多尺度空間檢測關(guān)鍵特征點(diǎn)，確定這些關(guān)鍵特征點(diǎn)的位置和尺度，保證了關(guān)鍵特征點(diǎn)的尺度不變性。本文使用改進(jìn)的SIFT 的圖像匹配技術(shù)是采用提取原始圖像中的關(guān)鍵特征，并將這些圖像特征集合起來，組成圖像特征數(shù)據(jù)庫。在構(gòu)建圖像特征庫的時(shí)候，由于原始圖像信息有較多不必要的信息，而且維度越高在構(gòu)建圖像特征數(shù)據(jù)庫和匹配提取的時(shí)候效率會大幅度降低，一般情況下不會使用原始圖像的特征信息。所以，要對提取到的原始圖像的特征進(jìn)行重新編碼，主要有對圖像進(jìn)行增強(qiáng)、濾波、方向改正等，然后將匹配出來的圖像特征形成集合，構(gòu)建圖像特征數(shù)據(jù)庫，然后在后續(xù)的圖像匹配過程中，對相似特征的進(jìn)行相似度排序，從而加快匹配的效率。

2.3 利用SFM 進(jìn)行稀疏點(diǎn)云重建

根據(jù)特征匹配結(jié)果，利用SFM 方法可以計(jì)算得到攝像機(jī)的位置等空間三維位置信息，重建出3D 模型的稀疏點(diǎn)云，若有計(jì)算出攝像機(jī)的位置或朝向有錯(cuò)誤情況，結(jié)合軟件工具欄上手型按鈕工具即可刪除計(jì)算錯(cuò)誤的信息，使結(jié)果的準(zhǔn)確性得到提高。

2.4 密集重建

運(yùn)用多視立體重建技術(shù)得到3D 點(diǎn)云數(shù)據(jù)，點(diǎn)云質(zhì)量受到處理圖像精度的執(zhí)行效率、重建精度和完整性影響，目前最好的處理方法是散列圖像聚簇（CMVS）方法和基于面片的多視圖立體視覺算法（PMVS），通過CMVS 對照片進(jìn)行聚類處理，以減少在稠密重建數(shù)據(jù)后的數(shù)據(jù)量，然后利用PMVS 從三維模型的稀疏點(diǎn)云開始，在局部的光度一致性和全局的可見性約束下，經(jīng)過匹配、擴(kuò)散、過濾生成與實(shí)物顏色相同的稠密點(diǎn)云，然后得到將點(diǎn)云數(shù)據(jù)連成面，才可在一般三維建模軟件中使用，得到的數(shù)據(jù)可在開源軟件MeshLab 查看顯示效果。

3.三維模型技術(shù)處理

主要使用開源軟件MeshLab 和3DSOM pro 軟件進(jìn)行三維模型的數(shù)據(jù)處理。首先，開源軟件MeshLab三維技術(shù)處理過程：第一步，打開軟件后加載VisualSFM 軟件的生成文件（.out 文件和照片列表文件list.txt 文件）。將攝像機(jī)及對應(yīng)的照片導(dǎo)入進(jìn)來，對后續(xù)的紋理細(xì)節(jié)處理至關(guān)重要，然后打開顯示層目錄，檢測攝像機(jī)位置載入是否正確，需調(diào)整攝像機(jī)的縮放因子，縮放因子可以從0.0001 開始調(diào)小，直到攝像機(jī)位置清晰可見為止，本次設(shè)置參數(shù)為0.00002。第二步，在文件目錄下選擇加載稠密點(diǎn)云即VisualSFM 生成的.ply 文件。第三步，清除雜點(diǎn)通過選擇和刪除工具，將不需要的雜點(diǎn)區(qū)域進(jìn)行刪除，反復(fù)多次直到雜點(diǎn)完全清除。第四步，利用Poisson 表面重建算法由稠密點(diǎn)云生成多邊形網(wǎng)格化成為表面，彈出參數(shù)設(shè)置窗口，深度參數(shù)控制著網(wǎng)格的細(xì)節(jié)，參數(shù)越大細(xì)節(jié)越豐富但占計(jì)算機(jī)內(nèi)存越大，運(yùn)行速度越慢，此次深度參數(shù)設(shè)值10，生成一個(gè)封閉的包裹物，然后刪除多余的表面。第五步，紋理處理要求網(wǎng)格化的模型必須是流形的，因此需刪除非流形邊，簡單講就是三維模型的邊緣修復(fù)。第六步，根據(jù)攝像投影關(guān)系創(chuàng)建映射，將活動(dòng)?xùn)鸥竦念伾队暗疆?dāng)前網(wǎng)格填充紋理，可設(shè)置任意分辨率的紋理圖，本次設(shè)置分辨率值為1024。最后保存輸出自主設(shè)定分辨率低的obj 三維數(shù)據(jù)文件。MeshLab 軟件處理計(jì)算結(jié)果（如圖1所示）：

圖1 MeshLab軟件三維處理對象結(jié)果圖

3DSOM Pro 是一款通過多角度高質(zhì)量的照片來生成3D 模型的軟件，它可以用一個(gè)真實(shí)物體多個(gè)角度的照片來進(jìn)行三維建模，并且制作的模型可以在網(wǎng)絡(luò)上以進(jìn)行交互方式呈現(xiàn)，是真實(shí)對象進(jìn)行自動(dòng)3D 建模的一種專業(yè)解決方案。3DSOM 將真實(shí)世界的對象進(jìn)行精確3D 數(shù)字化后，再使用3DSOM viewer 進(jìn)行縮放查看生成的三維模型對象，3DSOM 軟件采用的是黑盒計(jì)算自動(dòng)匹配,然后進(jìn)行簡單三維紋理處理，處理結(jié)果（如圖2 所示）：

圖2 3DSOM Pro軟件三維處理對象結(jié)果圖

兩款三維建模軟件從多角度影像匹配各有優(yōu)勢，開源軟件MeshLab 主要需要較多參數(shù)，需要具有長期處理三維模型的經(jīng)驗(yàn)，在參數(shù)設(shè)置得與實(shí)際情況越貼切效果會更好，而3DSOM Pro 直接自動(dòng)建模匹配，參數(shù)設(shè)置較少，設(shè)置主要是在影像源的各種處理對最終匹配結(jié)果有一定的影響。同時(shí)，從處理三維數(shù)據(jù)的速度來看，3DSOM Pro 具有一定的優(yōu)勢，而前期多角度圖片的處理在VisualSFM 軟件完成，后續(xù)三維紋理細(xì)節(jié)處理可以使用MeshLab 軟件，處理需要經(jīng)驗(yàn)值，處理效率稍微低一點(diǎn)。3DSOM Pro 對于用戶一鍵式體驗(yàn)效果比較好，是商業(yè)化較好的三維建模軟件。經(jīng)過大量數(shù)據(jù)對比通過分析結(jié)果（如圖3 所示）：

圖3 MeshLab 和3DSOM Pro 軟件對比分析折線圖

隨著三維建模技術(shù)快速發(fā)展，多視立體影像三維技術(shù)在測繪地理信息行業(yè)結(jié)合日益緊密，在自然災(zāi)害應(yīng)急測繪中可以輔助決策和定量分析，在最新的不動(dòng)產(chǎn)平臺中直觀顯示四至和規(guī)劃利用，在遙感測量中可以直接建模測量，可以說多視立體影像三維技術(shù)在測繪地理信息行業(yè)中應(yīng)用到方方面面，更深層次應(yīng)用發(fā)展研究需要多學(xué)科融合研究。

4.三維建模技術(shù)的應(yīng)用

4.1 在自然災(zāi)害應(yīng)急測繪中的應(yīng)用

我國常年受到自然災(zāi)害的影響，自動(dòng)快速三維實(shí)景建模技術(shù)在應(yīng)急測繪中的應(yīng)用是現(xiàn)代化測繪的一個(gè)新方向，在山體滑坡應(yīng)急測繪和黑龍江省遜克縣礦難應(yīng)急測繪中，都得到了較好地應(yīng)用，并且有著明顯的優(yōu)勢。三維模型更能準(zhǔn)確全面地反映受災(zāi)地區(qū)的地形和實(shí)際情況，通過快速生成處理，為應(yīng)急救援指揮中，對受災(zāi)情況能夠進(jìn)行定量分析，分析受災(zāi)區(qū)域內(nèi)地形地物的變化，并能總結(jié)一定的經(jīng)驗(yàn)數(shù)據(jù)模型，建立自然災(zāi)害防災(zāi)減災(zāi)平臺，為平臺提供基礎(chǔ)應(yīng)急測繪數(shù)據(jù)，從而為將來自然災(zāi)害應(yīng)急測繪中提供快速響應(yīng)和實(shí)用的技術(shù)方法，解決在應(yīng)急管理中全方位把控災(zāi)區(qū)情況和量化難度較大的問題。同時(shí)，將自然災(zāi)害時(shí)空三維模型進(jìn)行三維可視化，在發(fā)生自然災(zāi)害的過程中動(dòng)態(tài)呈現(xiàn)不同時(shí)間災(zāi)害的發(fā)生范圍和影響因素，并實(shí)時(shí)進(jìn)行風(fēng)險(xiǎn)評估，將評估結(jié)果通過三維模型展示出來，為應(yīng)急指揮提供測繪地理信息分析的解決方案。

4.2 在古建筑文物保護(hù)中應(yīng)用

目前，我國是歷史悠久和古建筑文物較多國家，采用三維建模技術(shù)獲取空間位置信息數(shù)據(jù)，將古建筑文物數(shù)字化三維建模存儲，可以解決古建筑文物難以保存、設(shè)計(jì)圖紙空白、修葺困難等因素，對古建筑文物做到數(shù)據(jù)方面保護(hù)，通過三維建模技術(shù),不直接接觸古建筑，高效率高精度地完成古建筑文物檔案、點(diǎn)云、數(shù)據(jù)模型等資料的獲取和整理工作，所得到數(shù)據(jù)可挖掘性強(qiáng)，多用性好，從而為古建筑文物保護(hù)和規(guī)劃決策提供可視化的參考，加強(qiáng)了對古建筑的數(shù)字化文物保護(hù)力度，為實(shí)現(xiàn)文物保護(hù)提供了一條可行的技術(shù)方案，同時(shí)為后續(xù)文物文化歷史的分析中奠定了一定的基礎(chǔ)。

4.3 在不動(dòng)產(chǎn)登記中的應(yīng)用

自2016 年來，國家不動(dòng)產(chǎn)統(tǒng)一登記的實(shí)施，不動(dòng)產(chǎn)要素對空間位置關(guān)系越來越復(fù)雜，將三維建模技術(shù)應(yīng)用到不動(dòng)產(chǎn)登記平臺中，與不動(dòng)產(chǎn)要素的結(jié)合，能真實(shí)、準(zhǔn)確地呈現(xiàn)三維空間環(huán)境，并可以在三維模型中查詢屬性，區(qū)域性分析、緩存區(qū)分析等地理信息空間關(guān)系處理，不但使不動(dòng)產(chǎn)四至位置關(guān)系更加清晰，也使產(chǎn)權(quán)更加明確，避免不必要的不動(dòng)產(chǎn)糾紛，保護(hù)了不動(dòng)產(chǎn)權(quán)利人的合法利益。并且克服了地籍測量中，外業(yè)調(diào)查確認(rèn)指界費(fèi)時(shí)費(fèi)力，提高不動(dòng)產(chǎn)統(tǒng)一登記數(shù)據(jù)的質(zhì)量和工作效率，同時(shí)對自然資源調(diào)查登記、國土空間規(guī)劃綜合利用等提供有力的技術(shù)支撐。

4.4 在無人駕駛領(lǐng)域中的應(yīng)用

無人駕駛技術(shù)是多學(xué)科融合技術(shù)，而且是目前比較熱門的話題，三維建模技術(shù)在無人駕駛領(lǐng)域中起到了重要作用。在三維的駕駛環(huán)境中無人駕駛主要需要高精度的交通導(dǎo)航地圖和實(shí)景環(huán)境中障礙物的三維位置模型及移動(dòng)物體的模型。在障礙物的快速建模上，通過傳感器感知圖像進(jìn)行快速三維建模獲取模型邊緣位置信息，在處理建模過程中就參與實(shí)際計(jì)算和傳輸，隨著傳感器設(shè)備日益更新，數(shù)據(jù)傳感器具有快速、高效、準(zhǔn)確等特點(diǎn)，為適應(yīng)動(dòng)態(tài)情況的處理在本地盡可能存儲較多實(shí)景數(shù)據(jù)，并且數(shù)據(jù)分類明確便于快速獲取分析，通過局部到整體的技術(shù)處理，使基礎(chǔ)數(shù)據(jù)更加易于移植和拓展，能夠滿足不同三維場景環(huán)境的需要，同時(shí)三維表述的效果得盡量詳細(xì)和流暢，利用先進(jìn)的計(jì)算方法將交通要素和障礙物要素進(jìn)行分析，從而智能規(guī)劃無人駕駛路線，通過全自動(dòng)控制、深度學(xué)習(xí)、智能掃描等眾多人工識別技術(shù)集于一體的強(qiáng)大識別系統(tǒng)獲取三維立體數(shù)據(jù)，支撐無人駕駛高效運(yùn)行。

5.結(jié)束語

總之，三維建模技術(shù)將日益成熟，多視角立體影像匹配三維建模技術(shù)是一種開源開放三維技術(shù)，快速有效，并且已應(yīng)用到了一定的領(lǐng)域，并對三維數(shù)據(jù)做一定的結(jié)構(gòu)設(shè)計(jì)，通過不斷挖掘三維模型成果數(shù)據(jù)深度應(yīng)用的潛力，將三維服務(wù)理念變?yōu)楣姺?wù)，從而改變?nèi)藗兊纳罘绞?。三維模型目前需求越來越旺盛，快速有效優(yōu)化三維模型處理方法與實(shí)際問題相結(jié)合提供解決方案是較好的應(yīng)用，為現(xiàn)實(shí)中分析復(fù)雜環(huán)境和輔助決策提供有利參考，從而快速有效處理各項(xiàng)問題。在將來誰能夠通過大量的市場調(diào)研精準(zhǔn)掌握市場需求，建立更好的三維GIS 服務(wù)體系，提供更好的公眾服務(wù)平臺，實(shí)現(xiàn)個(gè)性化、開放化、創(chuàng)新性的三維地理信息服務(wù)，就能實(shí)現(xiàn)巨大社會價(jià)值。