基于多粒度匹配的高超速飛行體三維重構方法

， ，， ，

(1.中國電子科技集團公司 第二十七研究所，鄭州 450047；2.河南科技大學 信息工程學院，河南 洛陽 471000)

0 引言

三維重構作為一項熱門技術已被廣泛應用于科研生產(chǎn)的各個領域，對處于特殊狀態(tài)下的高超速飛行體三維表面重構是計算機視覺的主要任務之一。目前已經(jīng)發(fā)展了各種各樣的重構技術，但這些方法重構對象大多是靜止的或者低速物體，而對于高超速飛行的物體，由于其速度高，飛行過程中同一時刻獲得的圖像信息有限，對飛行體表面進行三維重構存在較大困難。飛行物體表面三維數(shù)據(jù)的獲取是三維重構的關鍵環(huán)節(jié)，其中明暗恢復形狀法(SFS方法)是三維數(shù)據(jù)被動獲取的主要手段，該方法能夠根據(jù)圖像的灰度信息獲得物體的三維形貌信息，且操作簡單，成本低，效率高，廣泛應用于工農(nóng)業(yè)產(chǎn)品檢測、醫(yī)學圖像分析、數(shù)字高程模型構建、人機交互等領域[1-4]。

目前，不少學者對SFS方法進行改進用于物體的三維重構。何炳蔚[5]等針對未知三維物體自動重建問題，提出了一種結合明暗恢復形狀的被動視覺和主動視覺技術的新穎三維重建算法，該算法能夠快速恢復未知物體表面形狀，為后續(xù)基于可視化空間的主動視覺三維重建規(guī)模提供最大的尺度信息；吳鳳和[6]等提出基于參數(shù)域映射及B樣條插值的三維重構方法，該方法能夠有效改善重構模型的分辨力和光順性，但是在重構時未能去除重構模型的圖像背景信息；王亞楠[7]等提出了將基于輪廓的重構方法和基于散亂點的MPU重構方法相結合的新的重構方法，該方法需要物體的多幅不同層次的圖像輪廓信息完成三維重構，重構方法較復雜；張寧，楊磊[8]等提出了一種基于Phong模型的多幅圖像SFS三維形狀恢復算法，該模型是一種典型的描述鏡面反射的非Lambertian模型，可對含有鏡面反射的表面進行三維形狀恢復。Christian Schuller[9]等人設計出在各種模型表面模擬3D對象的外觀，在給定目標形狀、視點和空間約束后，該技術可以在觀察視點看到期待的外觀形象；孟悅[10]等運用單幅圖像的三維重構技術生成三維浮雕模型，實現(xiàn)浮雕文物的半自動化三維重構，對不同模型的復原適應性良好，但是對網(wǎng)格密度較小的載體模型，測量效果較粗糙。高欣建[11]等針對含有陰影物體表面的三維重構問題，提出了一種融合SFS數(shù)據(jù)與旋轉(zhuǎn)對稱激光三角傳感器數(shù)據(jù)的快速智能測量算法，對含有陰影的物體表面梯度變化較大的點進行精度測量，但是針對未知物體的表面測量速度較慢。

雖然上述方法均能夠完成物體表面的三維重構，但對處于高超速飛行中的物體進行三維重構比較困難。本文將明暗恢復形狀的算法引入高超速飛行體表面重構之中，與三維立體模型拼接技術相結合，提出一種基于多粒度匹配的高超速飛行體三維重構優(yōu)化方法，該方法能夠快速、精確地完成飛行體表面的三維重構，并從其重構圖像中測定出高超速飛行體的損耗情況，對高超速飛行體發(fā)射技術的研究和改進提供了重要的技術支撐。

1 高超速飛行體三維重構技術基本原理

基于多粒度匹配的高超速飛行體表面三維重構方法是：通過兩臺高分辨率CCD相機正交的數(shù)字式靶道陰影照相站系統(tǒng)[12]采集高超速飛行體表面的二維圖像信息，通過數(shù)字圖像處理技術，對獲取到的圖像進行處理，利用三維重構技術重構出高超速飛行體的三維形態(tài)，經(jīng)過三維立體模型拼接優(yōu)化完成飛行體的三維重構，基本原理如圖1。對高超速飛行體進行三維重構后，估算重構體的體積并分析其損耗情況。

圖1 高超速飛行體三維重構原理圖

2 三維立體模型的建立

2.1 二維輪廓信息提取

為保證輪廓的提取精度，采用基于圖像閾值分割和形態(tài)學修補技術的改進輪廓提取方法，首先對圖像進行灰度化處理，采用閾值分割方法得到二值化圖像，然后通過形態(tài)學方法對二值化圖像進行缺陷修補，最后應用輪廓提取算法得到圖像中物體的二維輪廓。

2.1.1 圖像灰度化

數(shù)字式靶道陰影照相站系統(tǒng)采集到的圖像為RGB彩色圖象，不能達到特定三維重構算法的要求，必須對彩色圖像進行灰度化，即令R=G=B=Y。計算Y值的方法有多種，本文采用加權法計算Gray值以實現(xiàn)彩色圖象向灰度化圖像的轉(zhuǎn)換，其權系數(shù)的取值如下：

Y=0.299R+0.587G+0.114B

(1)

其中Y為灰度值，其范圍為0～255。

2.1.2 閾值分割

為了進一步降低運算量，對灰度圖像選取適當?shù)拈撝担M行二值化處理，二值化后的圖像能用幾何學概念進行分析和特征描述，比起灰度圖像來方便快捷的多。鑒于高超速飛行體的灰度值和背景圖像的灰度值相差很大，采用單閾值分割算法進行圖像分割，其原理為將灰度圖的各像素在某特定值范圍內(nèi)賦予其為白色或黑色，其數(shù)學模型為：

(2)

式中t為閾值；g(x,y)為二值化后的灰度值；f(x,y)為二值化前的灰度值。

選取合適的灰度閾值t是單閾值分割法的關鍵所在，利用初始閾值將圖像分割為目標和背景，將它們的灰度平均值作為新的閾值，然后循環(huán)迭代使用前后兩次循環(huán)得到的閾值差小于設定值，得到灰度閾值t。

2.1.3 缺陷修補

在閾值分割后，二值圖像通常存在凹洞、毛刺、斷線等缺陷，如果不對缺陷圖像進行修復，會對后續(xù)處理進一步造成不利影響。通過形態(tài)學修補的方法可以實現(xiàn)對圖像的缺陷修復和噪聲消除，該方法選擇合適的結構元素對圖像進行形態(tài)學變換。在缺陷修補過程中，可以通過選擇合適的結構元素提高修復效果和運算效率。在去除噪聲方面，通常選用大尺寸的結構元素；在保護邊緣細節(jié)方面，通常選用小尺寸的結構元素。此外，可以通過對多種形狀的結構元素進行運算、拼貼、合并，進一步提升缺陷修補的效果。

2.1.4 輪廓信息提取

二值圖像的輪廓信息提取主要采用掏空內(nèi)部點的方法，假設背景圖像為黑色(灰度值為0)，目標物體為白色(灰度值為1)，如果原圖像中白色像素點的8個相鄰像素點均為白色，可以認為該點是內(nèi)部點，將其刪除，從而實現(xiàn)將圖像中的內(nèi)部點掏空，如果中心像素值為0，保留該像素值；如果中心像素值為1，且相鄰8個像素值全為1，則該像素值變?yōu)?；除上述情況之外，中心像素值全部改為1。

根據(jù)上述規(guī)則，即可得到圖像中目標的輪廓，如圖2。

圖2 圖像的輪廓提取結果

由輪廓提取結果可以看出，本文的方法能夠很好的提取圖像的輪廓信息，具有連續(xù)、精度高、單像素寬等特點。

2.2 三維信息的獲取

利用圖像灰度信息獲取圖像三維形貌的SFS方法，其物理基礎是光度學理論。由輻射度學和光度學原理可知，如果物體表面是朗伯表面(理想漫反射表面)，則滿足如下反射方程：

(3)

由于實際圖像中含有噪聲，故約束方程引入光強誤差

E1=? (I-R)2dxdy

(4)

對表面方向進一步約束，引入表面光滑誤差

(5)

離散圖像的離散表面方向(zx,zy),同連續(xù)的表面方向(p,q)存在一定差別，引入梯度一致性誤差

E3=? (zx-p)2+(zy-q)2dxdy

(6)

融合灰度信息和表面高度，將3種約束條件合在一起，構造出優(yōu)化函數(shù)，如下：

E=E1+λE2+μE3

μ(zx-p)2+μ(zy-q)2]dxdy

(7)

其中E為整體誤差，λ為光滑表面誤差系數(shù)，μ表面積分誤差系數(shù)。

然后采用變分法將式(7)轉(zhuǎn)換成如下形式：

(8)

式中Δ表示拉普拉斯算子，Rp, Rq是函數(shù)R關于p和q的偏導數(shù)。

引入拉普拉斯離散化近似算子

(9)

其中ε代表像素之間的距離。將拉普拉斯離散化近似算子代入式(8)，得到關于高度和梯度的離散計算公式：

(10)

3 三維重構優(yōu)化方法

由于視角等原因，SFS算法獲得高超速飛行體表面的局部三維形貌信息，要對不同角度的數(shù)據(jù)信息進行拼接，并根據(jù)飛行體的對稱特性進行修補，方可獲得一個完整的飛行體表面信息。本文利用模型拼接優(yōu)化技術對獲得的局部三維立體模型進行拼接操作，具體包括特征點的提取與匹配和空間變換。

3.1 特征點的匹配

通過特征點的獲取得到2個三維立體模型的特征點點集，經(jīng)過粗粒度匹配和細粒度匹配將這兩組特征點一一匹配起來。

3.1.1 粗粒度匹配

采用區(qū)域相關法對圖像對中各像素點周圍的圖像子區(qū)域進行灰度相關運算，通過相關值來確定匹配關系，相關值大的將更為相似。利用圖像特征提取圖像的角點，若CCD相機1獲取圖像的某個角點附近有點云數(shù)據(jù)，則其在CCD相機2獲取圖像的匹配點必定也在這些點云附近。確定圖像上一個角點的匹配點在另一圖像上的搜索區(qū)域，利用區(qū)域相關法計算該區(qū)域里所有角點的相似度。

N(i,j)=

(11)

(12)

取相似度Ni，j最大的點，而且Ni，j大于一定閾值T1的點為可能匹配點，CCD相機1獲取圖像中的特征點在CCD相機2中的匹配點可能不止一個(同樣CCD相機2獲取圖像中的特征點在CCD相機1中的匹配點可能不止一個)，形成兩組匹配點集{ai}，{bi}，匹配點將從點集中篩選得出。

3.1.2 細粒度匹配

利用上述方法實現(xiàn)圖像特征點的粗粒度匹配，但是其中依然存在誤匹配，通過細粒度匹配剔除誤匹配點。細粒度匹配利用空間約束法，即空間兩點距離的客觀不變性。點集{ai}里的第i點與j點的距離daiaj對應點集{bi}里兩點距離dbibj的絕對誤差最小的兩對匹配點，即可認為它們分別真實代表著同一個點，當作參考點{a1, a2}，{b1, b2}。

判斷ai和bi為正確匹配點的方法如圖3所示，記ai到aj的距離與bi到bj的距離誤差為|daiaj-dbibj|，當|daia1-dbib1|和|daia2-dbib2|同時小于一定的區(qū)域T2時，則認為ai和bi為正確的匹配點，否則當作誤差剔除。

圖3 空間約束匹配原理圖

3.2 空間變換矩陣計算

描述圖像之間位置關系的矩陣成為變換矩陣，可通過特征匹配點對計算得到。傳統(tǒng)的方式是利用所有的匹配點對數(shù)據(jù)，用最小二乘法、四元組等數(shù)學算法，計算出變換矩陣。本文在所有的匹配點對中篩選出匹配精度高，在各自的坐標系里分布不緊密且不共面的四對匹配點來計算空間變化矩陣。

在同一空間下，兩幅圖之間的變換關系用式(13)表示，其中，{a1,a2}，{b1,b2}為特征點精匹配時的兩對參考點，M為變換矩陣：

(13)

整理并將結果進行向量化用式(14)表示：

A1=MA2

(14)

(15)

將四對精匹配特征點代入式(15)即可得到圖像之間的變換矩陣，確定圖像之間的相對位置關系。按照圖像間的對應關系進行局部三維立體模型拼接，根據(jù)飛行體的對稱特性優(yōu)化三維模型，完成三維重構，其三維重構拼接優(yōu)化方法的流程圖如圖4。

圖4 三維重構拼接優(yōu)化方法的流程圖

4 實驗結果驗證

為驗證本文三維重構方法的可行性及有效性，采用兩臺高分辨率CCD相機正交的數(shù)字式靶道陰影照相站系統(tǒng)獲取高超速飛行中的飛行體表面的多幅圖像，提取出其輪廓信息，運用VC++6.0和OpenCV庫函數(shù)重構出高超速飛行體的三維模型。利用正交的CCD相機1和CCD相機2獲取高超速飛行體圖像信息，并對其灰度化(如圖5(a)和5(b)所示)，采用改進的SFS算法分別重建所獲圖像，由此獲取飛行體的三維立體模型(如圖5(c)、(d)和5(e)、(f)所示)，然后根據(jù)飛行體的對稱性以及三維立體模型拼接優(yōu)化完成高超速飛行體表面的三維重構(如圖5(g)所示)。

圖5 高超速飛行體三維重構

由重構結果可以看出高超速飛行體表面凹凸不平，這是由于飛行體在高速飛行過程中受到了燒蝕和摩擦，其損耗情況可以用三維重構模型的體積值與原體積值的比值來衡量。因此，為了驗證本文算法的優(yōu)越性，實驗中分別利用文獻[13]的三維重構算法，文獻[14]的重構方法和本文的重構方法對飛行體進行三維重構，分析其重構精度，實驗結果見表1。

表1 不同三維重構方法重構精度比較

由表1可以看出，本文重構方法的重構精度高于文獻[13]三維重構方法和文獻[14]重構方法，并且系統(tǒng)誤差小，算法簡單，耗時短，真實感強，能夠適用于動態(tài)物體的三維重構。

5 結束語

針對信息不對稱下高超速飛行體三維重構方法復雜、難以執(zhí)行，重構效果不理想等現(xiàn)狀，提出了一種基于多粒度匹配的高超速飛行體三維重構方法。該方法首先通過圖像采集系統(tǒng)獲取高超速飛行體在飛行過程中的多幅圖像信息，并對其進行圖像處理提取圖像二維輪廓信息；然后利用SFS方法獲取圖像的三維形貌，與二維輪廓信息相結合有效的剔除模型的背景信息，得到只含有飛行體的三維立體模型；最后經(jīng)過特征點提取、特征點匹配以及空間變換對三維立體模型進行快速、高精度的拼接優(yōu)化，完成高超速飛行體的三維重構。實例結果表明，本文的重構方法能夠?qū)崿F(xiàn)高超速飛行體的三維重構，并且重構效果良好，精度高。