徐 健 王圣偉 鄧 創(chuàng)
(國(guó)網(wǎng)四川省電力公司電力應(yīng)急中心)
為了實(shí)現(xiàn)快速三維場(chǎng)景重建,研究人員一直在算法和技術(shù)上進(jìn)行嘗試。在傳統(tǒng)攝影測(cè)量領(lǐng)域,研究人員重點(diǎn)關(guān)注非測(cè)量型相機(jī)在近景攝影測(cè)量及無(wú)人機(jī)載航測(cè)中的應(yīng)用[1]。在計(jì)算機(jī)視覺(jué)領(lǐng)域,由于不關(guān)注相對(duì)和絕對(duì)幾何精度,甚至僅在仿射空間中進(jìn)行三維重建即可以作為有意義的結(jié)果數(shù)據(jù),故該領(lǐng)域的研究人員更多地關(guān)注三維重建的自動(dòng)化算法[2-6]。
本文研究的主要內(nèi)容是將應(yīng)急現(xiàn)場(chǎng)獲取的多角度、多點(diǎn)位圖片信息進(jìn)行融合處理,結(jié)合這些信息源的位置、方向、角度、光學(xué)信息等,通過(guò)幾何校正、航測(cè)平差、數(shù)字點(diǎn)云生成、三維貼圖等步驟實(shí)現(xiàn)應(yīng)急現(xiàn)場(chǎng)具備測(cè)繪精度的三維空間場(chǎng)景的重建??傮w而言,基于現(xiàn)場(chǎng)勘測(cè)圖片重建的三維場(chǎng)景,可給現(xiàn)場(chǎng)提供直觀、完整、豐富的可視化災(zāi)情展示,在現(xiàn)場(chǎng)災(zāi)情細(xì)節(jié)的具體測(cè)繪和分析中,也可以充分利用空間信息對(duì)災(zāi)情的嚴(yán)重程度、發(fā)展態(tài)勢(shì)以及救援方案進(jìn)行分析和輔助推演,大大提高應(yīng)急現(xiàn)場(chǎng)災(zāi)情研判和指揮決策的信息化程度,對(duì)提升應(yīng)急救援的效率和技術(shù)水平具有重要的意義。
圖1 系統(tǒng)架構(gòu)圖
如圖1所示,三維應(yīng)急現(xiàn)場(chǎng)重建系統(tǒng)的整體架構(gòu)共分5個(gè)步驟[7-9]:①實(shí)驗(yàn)數(shù)據(jù)采集及預(yù)處理:分別利用典型的消費(fèi)級(jí)成像設(shè)備,采微型無(wú)人機(jī)搭載方式獲取空中俯視圖像集;②高精度本底數(shù)據(jù)預(yù)處理:對(duì)影像底圖進(jìn)行預(yù)先計(jì)算得到本底特征庫(kù),預(yù)提取的特征即包括SIFT、SURF算子提取的特征點(diǎn),也包括 Harris、DoG算子提取的角點(diǎn);③特征匹配與內(nèi)外參數(shù)恢復(fù):對(duì)于特征點(diǎn)的匹配,采用SFM的成熟算法,對(duì)于特征面和特征邊之間的匹配,參照SFM算法構(gòu)造一種混合特征點(diǎn)和特征面和特征邊的匹配方式; ④改進(jìn)的稠密點(diǎn)云重建:本研究擬改進(jìn)PMVS算法,充分利用由拍攝、地點(diǎn)確定的太陽(yáng)高度角和氣候狀況估計(jì)建筑物光照情況;⑤點(diǎn)云重建結(jié)果的變化檢測(cè)與融合:本研究擬采用機(jī)器學(xué)習(xí)的方法在三維空間中進(jìn)行點(diǎn)云數(shù)據(jù)的變化檢測(cè),并以此為基礎(chǔ)實(shí)現(xiàn)點(diǎn)云更新和融合。
系統(tǒng)主要有以下兩個(gè)技術(shù)難點(diǎn):①基于無(wú)人機(jī)的高精度影像配準(zhǔn)技術(shù)。本文首先要實(shí)現(xiàn)無(wú)人機(jī)數(shù)據(jù)與其他參考數(shù)據(jù)源之間的高精度自動(dòng)配準(zhǔn)。在分析無(wú)人機(jī)數(shù)據(jù)存在的幾何形變和參考數(shù)據(jù)源的特點(diǎn)的基礎(chǔ)上,針對(duì)不同的參考數(shù)據(jù)源,采用與之特點(diǎn)相適用的匹配方法。②基于計(jì)算機(jī)視覺(jué)的三維重建技術(shù),如何提高SFM算法的效率以適應(yīng)可用數(shù)據(jù)源數(shù)量的迅速增多已經(jīng)成為三維重建領(lǐng)域研究的熱點(diǎn);此外,由于拍攝點(diǎn)不能完全覆蓋場(chǎng)景,上述方法得到的點(diǎn)云肯定是不完備的,因此將利用更多傳感器搭載手段獲取完備的城區(qū)影像數(shù)據(jù)及相應(yīng)的算法也是一個(gè)技術(shù)。
三維重建的任務(wù)規(guī)劃系統(tǒng)是無(wú)人機(jī)采集數(shù)據(jù)時(shí)候的一個(gè)重要指導(dǎo)系統(tǒng)。無(wú)人機(jī)采集的數(shù)據(jù)對(duì)后面的重建工作起到關(guān)鍵性作用,而三維重建任務(wù)規(guī)劃系統(tǒng)能有效指導(dǎo)無(wú)人進(jìn)行相關(guān)數(shù)據(jù)采集,使得采集回來(lái)的數(shù)據(jù)能滿足后面重建的要求[10]。
無(wú)人機(jī)數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)圖如圖2所示。
圖2 無(wú)人機(jī)數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)圖
由結(jié)構(gòu)圖可知全景相機(jī)數(shù)據(jù)采集系統(tǒng),需要GPS全球衛(wèi)星定位系統(tǒng)提供連續(xù)可靠的地理坐標(biāo)信息和UTC時(shí)間。首先,把地理坐標(biāo)信息提供給姿態(tài)IMU,配合IMU數(shù)據(jù)形成更加穩(wěn)定和連續(xù)的實(shí)時(shí)定位信息。然后,提供PPS秒脈沖給同步曝光控制模塊,用于同步系統(tǒng)時(shí)鐘。最后,在同步曝光信號(hào)的驅(qū)動(dòng)下,同步記錄GPS數(shù)據(jù)。
三維應(yīng)急場(chǎng)景重建系統(tǒng)主要包括以下模塊:
相機(jī)標(biāo)定分為內(nèi)標(biāo)定和外標(biāo)定。內(nèi)標(biāo)定主要標(biāo)定相機(jī)自身的參數(shù)。外標(biāo)定主要是標(biāo)定相機(jī)模型與世界坐標(biāo)系之間的方位參數(shù)。
相機(jī)姿態(tài)計(jì)算模塊主要用于計(jì)算相機(jī)拍攝不同影像時(shí)的姿態(tài),再通過(guò)歸一化得到每次成像時(shí)相機(jī)的姿態(tài),從而為后面三維重建模塊提供條件。
三維點(diǎn)云重建模塊主要解決從影像到三維點(diǎn)云的生成問(wèn)題,利用上面兩步算出來(lái)的結(jié)果再結(jié)合多目視覺(jué)約束關(guān)系把在影像上的像素點(diǎn)生成點(diǎn)云。
三維模型生成模塊是從上面得出的點(diǎn)云中進(jìn)一步處理得到相應(yīng)的三維模型。
為了把三維模型和影像更好地展示出來(lái)并在其上面做常用的處理,本文研發(fā)了數(shù)據(jù)展示平臺(tái),這個(gè)數(shù)據(jù)展示平臺(tái)包含了三維GIS標(biāo)繪系統(tǒng)的通用功能。按實(shí)際開(kāi)發(fā)可以分幾個(gè)功能:數(shù)據(jù)操作、天氣特效、粒子特效、三維測(cè)量、標(biāo)繪系統(tǒng)。
以一臺(tái)配置四核處理器、16G內(nèi)存、1TB空間硬盤、Win7操作系統(tǒng)的電腦為地面工作平臺(tái);以主要系統(tǒng)參數(shù)是起降方式手拋滑跑起飛/降落/傘降、機(jī)身材料EPO、翼展1800mm、機(jī)身長(zhǎng)度1230mm、機(jī)身高度160mm、任務(wù)倉(cāng)最大寬度135mm、空機(jī)重量1165g、續(xù)航時(shí)間40~120min的無(wú)人機(jī)為航拍設(shè)備,實(shí)現(xiàn)將四川某地區(qū)變電所三維建模的任務(wù)。
四川地區(qū)變電站三維重建點(diǎn)云展示,如圖3所示。
從上述應(yīng)用結(jié)果可看出來(lái),點(diǎn)云比較精細(xì),起伏明顯。整個(gè)方案最終有效地把從無(wú)人機(jī)采集回來(lái)的影像數(shù)據(jù),GPS數(shù)據(jù),IMU數(shù)據(jù)融合在一起最總生成精確的三維點(diǎn)云和三維模型。
圖3 四川地區(qū)變電站三維重建點(diǎn)云展示
近年來(lái)對(duì)電力供應(yīng)的可靠性、持續(xù)性的要求越來(lái)越高,因此考慮電力應(yīng)急反應(yīng)的高效性、準(zhǔn)確性變得越來(lái)越重要。未來(lái)還有很多工作可以持續(xù)開(kāi)展,如:
1)在以地圖模型進(jìn)行了分析時(shí),如何綜合考慮各種因素,以及各因素內(nèi)部關(guān)系的正確處理將是未來(lái)研究的趨勢(shì)。
2)地質(zhì)災(zāi)害對(duì)電網(wǎng)的影響因素多,如何利用更加真實(shí)全面的地形數(shù)據(jù),改進(jìn)各類災(zāi)害的預(yù)測(cè)模型以提高預(yù)測(cè)準(zhǔn)確度也是今后研究的重點(diǎn)。
3)根據(jù)詳盡的地理模型對(duì)災(zāi)變下電網(wǎng)的相關(guān)風(fēng)險(xiǎn)分析也是研究的方向。
本文提出了采用照相機(jī)、攝像機(jī)、拍照手機(jī)等消費(fèi)級(jí)圖像采集設(shè)備對(duì)高精度場(chǎng)景三維重建成果進(jìn)行更新的技術(shù)路線,闡明了未標(biāo)定圖像三維重建的基本原理、誤差模型、精度控制及自動(dòng)化方法,改進(jìn)了計(jì)算機(jī)視覺(jué)中特征匹配算法和稠密點(diǎn)云重建算法,建立一套完整的低成本三維場(chǎng)景模型更新軟件原型體系。給現(xiàn)場(chǎng)提供直觀、完整、豐富的可視化災(zāi)情展示,使得災(zāi)情現(xiàn)場(chǎng)的信息展示更具有整體性,可大大提升指揮決策的效率。
[1]陳兵旗, 孫明. 實(shí)用數(shù)字圖像處理與分析[M]. 北京:中國(guó)農(nóng)業(yè)大學(xué)出版社, 2003.
[2]羅軍輝, 馮平. Matlab在圖像處理中的應(yīng)用[M]. 北京: 機(jī)械工業(yè)出版社, 2007.
[3]VATTIBR. A generic solution to polygon clipping[J]. Communications of the ACM, 1992, 35(7): 56- 63.
[4]紀(jì)鳳, 歐宗瑛, 秦緒佳. 基于Delaunay三角剖分的層析圖像離散數(shù)據(jù)表面重建算法[J]. 工程圖學(xué)學(xué)報(bào), 2001, 22(2): 53- 58.
[5]BAKSHIS, YANGY. Shape from shading for non-lambertian surfaces[C]//Proc of International Conference on Image Processing, 1994: 130-134.
[6]劉華松, 莊飛. 新農(nóng)村建設(shè)與村莊規(guī)劃[J]. 中國(guó)新技術(shù)新產(chǎn)品, 2009(4): 196.
[7]呂厚宜. 無(wú)人機(jī)發(fā)展與無(wú)人機(jī)技術(shù)[J]. 世界科技研究與發(fā)展, 1998, 20(6): 113-116.
[8]王海斌, 葛雪雁, 宋玉珍. 無(wú)人機(jī)的發(fā)展趨勢(shì)與技術(shù)預(yù)測(cè)[J]. 飛航導(dǎo)彈, 2009(11): 46-52.
[9]馬輪基, 馬瑞升, 林宗桂, 等. 微型無(wú)人機(jī)遙感應(yīng)用初探[J]. 廣西氣象, 2005, 26(Z1): 180-181.
[10]金偉, 葛宏立, 杜華強(qiáng), 等. 無(wú)人機(jī)遙感發(fā)展與應(yīng)用概況[J]. 遙感信息, 2009, 88(5): 88-92.