基于物方幾何約束的多視匹配算法研究

孟俊俊1,2,張云生2，李杰1

(1.湖北省地質(zhì)局第一地質(zhì)大隊,湖北 大冶 435100；2.中南大學(xué) 地球科學(xué)與信息物理學(xué)院，湖南 長沙 410083)

摘要：影像匹配是航空影像數(shù)據(jù)自動空三處理的關(guān)鍵技術(shù)之一。為充分利用三線陣影像信息及紋理信息，文中針對ADS40影像采用一種利用像方和物方信息進(jìn)行約束的多視匹配方法，此算法能同時處理3張及3張以上的影像，大大加快匹配效率，為自動空三提供有效的連接點(diǎn)及為提取DSM提供高精度密集匹配點(diǎn)。

關(guān)鍵詞：ADS40；影像匹配；近似核線；物方幾何約束

中圖分類號：P237

收稿日期：2014-07-28;修回日期：2015-02-26

基金項目：國家863計劃資助項目(2012AA120801)

作者簡介：孟俊俊(1987-),女,碩士研究生.

Amutli-imagematchmethodbasedonobjectgeometricconstraint

MENGJun-jun1,2ZHANGYun-sheng2,LI Jie1

(1.TheFirstGeologicalBrigradeofHubeiGeologicalBureau,Daye435100,China2.DepartmentofSurveyingEngineering&Geo-Informatics,CentralSouthUniversity,Changsha410083,China)

Abstract：Image matching is one of the key technologies of automatic aerial triangulation in processing aerial image data.To make full use of the image information and texture information of three-line array images,this paper introduces a multi-image method constrained by information of image and object space.Three or more images can be simultaneously by this algorithm which improves the efficiency obviously so that a series of dense high-accurate matching points can be provided for DSM extraction.

Keywords：ADS40；imagematching；geometricconstraintsonobjectspace；epipolarline

1概述

長期以來，影像匹配在攝影測量技術(shù)智能化與自動化的過程中扮演重要角色。然而，傳統(tǒng)的單立體影像匹配在很大程度上具有不確定性，獲取的是“病態(tài)解”，極大降低匹配的精度與可靠性。隨著以ADS40為代表的三線陣相機(jī)的應(yīng)用，多視匹配技術(shù)以其能夠減小信息盲區(qū)、解決雙像匹配不確定問題的優(yōu)勢，成為當(dāng)前研究與發(fā)展的熱點(diǎn)。

目前，采用多視匹配策略分3種：

1)利用影像之間的輻射信息關(guān)系先采用較為成熟的匹配算法在像方直接匹配，將匹配結(jié)果根據(jù)影像之間的幾何關(guān)系融入到物方，獲取對應(yīng)的地面坐標(biāo)，再通過一種高冗余信息相關(guān)的處理流程剔除錯誤高程值，最終獲取較高精度的數(shù)字高程模型。這種方法充分考慮到影像的輻射和幾何信息，但是卻沒有綜合利用這兩種影像冗余信息。

2)先根據(jù)基準(zhǔn)影像的幾何信息獲取對應(yīng)的物方高程值，通過這些高程信息通過幾何約束關(guān)系獲取在所有搜索影像上的對應(yīng)點(diǎn)，根據(jù)影像相似性測度判斷同名點(diǎn)。這種方法能同時利用所有影像的輻射和幾何信息，獲取最佳匹配結(jié)果。針對三線陣影像，張力根據(jù)這種匹配策略提出多元素多影像匹配模型(MPM)以及后來范大昭、紀(jì)松等提出的附加幾何約束條件的自適應(yīng)匹配模型(AMMGC，AdaptiveMulti-ImageMatchingwithGeometricConstrains)、改進(jìn)的鉛垂線法多視匹配模型(MVLL，ModifiedVerticalLineLocus)能夠解決在地表斷裂、紋理特征相似或者重復(fù)區(qū)域匹配困難的問題，并能得到可靠性較高的匹配結(jié)果，生成的DSM能直接用于人工地物的三維重建。其缺點(diǎn)：若在幾何約束條件中使用精度不高的POS數(shù)據(jù)，則會在物方坐標(biāo)反投影到像方時產(chǎn)生較大的投影誤差，降低匹配結(jié)果的精度。

3)首先在像方空間進(jìn)行匹配，然后在物方空間通過整體優(yōu)化策略獲取匹配結(jié)果。針對框幅式航空影像，江萬壽提出用松弛法進(jìn)行多視影像匹配生成DSM的方法，即是在像方用基于物方面元的最小二乘法獲取初始匹配結(jié)果，然后將匹配結(jié)果引入到物方，用松弛法在物方空間確定最終可靠匹配點(diǎn)。這種方法可以有效克服匹配過程中由于影像遮擋等造成的影響，利用冗余輻射幾何信息在像方識別出候選同名點(diǎn)，并通過幾何信息引入到物方進(jìn)行整體松弛優(yōu)化。但是不足之處就是此方法分析過程復(fù)雜。

基于以上3種多視匹配策略的優(yōu)點(diǎn)與存在的不足，本文針對ADS40影像提出一種基于物方幾何約束的ADS40多視密集匹配方法。通過綜合利用影像的冗余輻射和幾何信息，使匹配結(jié)果精度更高。

針對上述問題，本文針對ADS40影像采用一種基于物方幾何約束的多視匹配算法。首先，在基準(zhǔn)影像上建立格網(wǎng)，將格網(wǎng)點(diǎn)通過幾何關(guān)系轉(zhuǎn)換為一定高程范圍的物方點(diǎn)，再將其反投影到搜索影像上，進(jìn)而得到對應(yīng)的近似核線。然后，利用相關(guān)系數(shù)法匹配測度，對基準(zhǔn)影像格網(wǎng)點(diǎn)與對應(yīng)核線上的點(diǎn)逐一匹配。最后，將所有匹配點(diǎn)通過前方交會獲取物方點(diǎn)，再將其反投影到基準(zhǔn)影像獲取投影點(diǎn)，并通過與對應(yīng)的匹配點(diǎn)進(jìn)行比較，滿足閾值條件的即為最終的匹配點(diǎn)。試驗結(jié)果表明，與傳統(tǒng)的雙片影像匹配相比，三視影像匹配能夠有效提高匹配可靠性，快速獲取大量同名點(diǎn)，能夠滿足地形重建的需求。

2基于物方幾何約束的ADS40影像匹配流程

影像匹配時，通過引入核線幾何約束條件，可將搜索匹配同名點(diǎn)的工作從二維降至一維，從而有效降低影像匹配的不確定性，提高影像匹配的精度和可靠性。鑒于此，本文針對ADS40影像，提出基于物方幾何約束的多視匹配算法，流程如圖1所示。

圖1　基于物方幾何約束的多視匹配流程圖

2.1　參考影像的選擇

根據(jù)拍攝角度的不同，ADS40影像有前視、正視、后視之分，由于正視影像變形小，近似垂直攝影，因此本文選正視影像為參考影像，并以規(guī)則格網(wǎng)劃分參考影像，然后進(jìn)行匹配。

2.2　近似核線約束

根據(jù)像點(diǎn)在L1、L0級影像、焦平面坐標(biāo)和地面坐標(biāo)之間的相互轉(zhuǎn)換關(guān)系，即可生成近似核線。其中，L0影像上各個像點(diǎn)和獲取的POS數(shù)據(jù)具有直接的對應(yīng)關(guān)系，假設(shè)某L0影像上像點(diǎn)坐標(biāo)為(sample,line)，則此點(diǎn)所對應(yīng)的外方位元素就位于ODF文件POS數(shù)據(jù)中的第line行。雖然L0影像存在幾何形變，但與在L1上生成近似核線相比，減少了坐標(biāo)轉(zhuǎn)換帶來的誤差，因此也能較為準(zhǔn)確的找出點(diǎn)所對應(yīng)的核線。在L0影像上尋找同名點(diǎn)所在的近似核線，在沒有已知控制點(diǎn)的情況下，需要先通過多像前方交會獲得影像所在區(qū)域的地面高程范圍。表1是通過3影像同時前方交會得出的地面高程范圍。

表1　 L0影像上生成近似核線的點(diǎn)的坐標(biāo)值　 m

設(shè)定一個初始高程值和高差范圍后就可利用投影幾何關(guān)系得到基準(zhǔn)影像上的點(diǎn)在搜索影像上對應(yīng)的近似核線。圖2顯示的是基準(zhǔn)影像上的一個點(diǎn)反投影到一張搜索影像上得到的近似核線。通過分析圖2，可以看出在靠近正確同名點(diǎn)的近似核線部分近似為直線。當(dāng)列出了一定高程范圍內(nèi)，反投影到另一張影像上核線上的各點(diǎn)坐標(biāo)值。由表1

可看出，核曲線上靠近正確同名點(diǎn)的部分近似為直線，X方向誤差在1個像素之內(nèi)。

圖2　近似核線的生成

2.3　相關(guān)系數(shù)匹配測度

相關(guān)系數(shù)是衡量兩個變量之間相關(guān)程度的量，大小范圍在(-1,1)之間。相關(guān)系數(shù)匹配算法是利用目標(biāo)窗口在搜索影像上連續(xù)滑動，以相關(guān)系數(shù)作為評判標(biāo)準(zhǔn)，判斷左右兩張影像中一定大小的目標(biāo)窗口與搜索窗口間的相關(guān)程度，若相關(guān)系數(shù)最大且滿足判斷條件的，則取搜索窗口的中心像素作為同名點(diǎn)。鑒于此，本文采用局部相關(guān)系數(shù)法進(jìn)行匹配，提出基于物方幾何約束的多視匹配算法。

假設(shè)目標(biāo)窗口中心像素坐標(biāo)為(i,j)，左影像的灰度函數(shù)為g(x,y),右影像灰度函數(shù)為g′(x,y)，搜素窗口中心像素為(i+r,j+c)，g(x,y)和g′(x,y)的相關(guān)系數(shù)定義為

(1)

如果ρ(p0,q0)>ρ(p,q)(p≠p0,q≠q0)，則 p0，q0為搜素影像相對于參考影像目標(biāo)區(qū)的位移參數(shù)。對于一維相關(guān)應(yīng)有q≡0 。

考慮到計算相關(guān)系數(shù)的工作量，計算兩窗口間比較實用的相關(guān)系數(shù)

(2)

相關(guān)系數(shù)是灰度線性變換的不變量，因此，采用相關(guān)系數(shù)法可以克服影像線性畸變的影響，較好的評價參考影像與搜索影像之間的相似程度，在數(shù)字影像匹配算法中，相關(guān)系數(shù)測度是一種最常用的匹配方法。

3試驗結(jié)果分析

為驗證本文提出的多視影像匹配方法的效果，從某地區(qū)拍攝的一組ADS40影像中選取了一條航帶內(nèi)重疊的兩組1 000pixel×1 000pixel影像,如圖3所示作為試驗數(shù)據(jù)進(jìn)行影像匹配試驗。該組影像地面采樣間隔為0.26m，像元大小為6.5μm，航向重疊率接近100%。通過多像前方交會得出影像覆蓋區(qū)域的地面高程范圍。首先通過前方交會程序得到兩組影像中覆蓋區(qū)域的概略高程范圍。第1組高程范圍為955.47~1 057.45m，設(shè)定初始高程值Z0=980 m,高差范圍設(shè)定在-30~80 m之間。第2組高程范圍為901.62~1 011.65 m，設(shè)初始高程值Z0=900 m,高差范圍設(shè)定在-20~120 m之間。

從圖3中可以看出，第1組影像有一部分區(qū)域被建筑物覆蓋，其他部分紋理特征不明顯。第2組影像大部分區(qū)域都是山坡，紋理特征有相似或重復(fù)現(xiàn)象。根據(jù)提出的匹配方法，分別從兩組影像數(shù)據(jù)中提取同名點(diǎn)。

在此試驗中將每組數(shù)據(jù)中的正視影像作為基準(zhǔn)影像，其他影像作為搜索影像。首先將基準(zhǔn)影像劃分為5×5的規(guī)則格網(wǎng)，將每個格網(wǎng)點(diǎn)按照生成近似核線的過程在搜索影像上分別畫出對應(yīng)的近似核線。然后沿著近似核線按照一定大小的搜索窗口與基準(zhǔn)影像上的格網(wǎng)點(diǎn)所在目標(biāo)窗口做相關(guān)系數(shù)匹配。本試驗中搜索窗口與目標(biāo)窗口大小均為11pixel×11pixel的。先從兩組數(shù)據(jù)中測試一個點(diǎn)沿近似核線做相關(guān)系數(shù)匹配的結(jié)果，測試正視影像中像點(diǎn)為：第1組點(diǎn)A(321,356)，高程值為1 026m；第2組點(diǎn)B(94,46)，高程值為1 007m。兩個點(diǎn)分別沿對應(yīng)近似核線得到的相關(guān)系數(shù)分布。兩組影像數(shù)據(jù)分別作相關(guān)系數(shù)法匹配得到的相關(guān)系數(shù)值ρ分布如圖4所示。

圖4　相關(guān)系數(shù)分布(F,B,N分別表示前、正、后視影像)

從圖4(a)、(b)中可看出大部分匹配點(diǎn)對應(yīng)相關(guān)系數(shù)值大于0.7，實驗中設(shè)定相關(guān)系數(shù)閾值為0.7，兩圖中顯示的相關(guān)系數(shù)曲線中極值點(diǎn)較多，說明存在較多的點(diǎn)具有相似灰度。將極大值與次極大值的比值閾值設(shè)定為1.2。若極值比大于1.2則保留對應(yīng)的匹配點(diǎn)為最終匹配點(diǎn)。否則前視影像上近似核線上的像點(diǎn)，利用對應(yīng)POS數(shù)據(jù)根據(jù)幾何關(guān)系反投影到后視影像上，再計算相關(guān)系數(shù)，根據(jù)判斷條件保留滿足條件的匹配點(diǎn)。

試驗中采用前視和后視影像分別與正視影像計算得到的相關(guān)系數(shù)值相加為最大的作為正確匹配點(diǎn)處。圖4(b)中相關(guān)系數(shù)分布具有明顯的峰值，且在正確高程值或者小誤差范圍內(nèi)，兩兩影像得到的相關(guān)系數(shù)值之和最大。

在得到正視影像每個格網(wǎng)點(diǎn)在搜索影像中的匹配點(diǎn)后，將前、正、后視影像的匹配點(diǎn)通過多像前方交會得到地面點(diǎn)坐標(biāo)，然后將其反投影到正視影像上，與對應(yīng)的匹配點(diǎn)坐標(biāo)做差值，小于閾值的保留作為最終正確匹配點(diǎn)，否則剔除。試驗中設(shè)定坐標(biāo)差值閾值大小為(3，3)，兩組影像數(shù)據(jù)所有匹配點(diǎn)通過前方交會然后反投影得到的x，y方向的坐標(biāo)差值分布如圖5所示，另外列出了前10個像點(diǎn)投影誤差分布如表2所示。

從圖5中可知，兩組數(shù)據(jù)中x方向誤差均在2個像素以內(nèi)，第1組數(shù)據(jù)中的y方向誤差在3個像素以內(nèi)，第2組數(shù)據(jù)中的y方向誤差在2個像素以內(nèi)。

由于影像存在幾何畸變，因此利用相關(guān)系數(shù)法得出的匹配結(jié)果必然會存在錯誤匹配。為了剔除錯誤匹配，將每組前、正、后視影像的匹配點(diǎn)通過多像前方交會投影到物方空間，物方坐標(biāo)再反投影到正視影像上，比較反投影像點(diǎn)坐標(biāo)與相關(guān)系數(shù)法得到的匹配點(diǎn)坐標(biāo)。如果小于設(shè)定的閾值即試驗閾值大小為(6,6)，則保留匹配點(diǎn)，否則剔除掉。經(jīng)過此過程最終得到的匹配點(diǎn)為正確匹配點(diǎn)，兩組影像的匹配結(jié)果如圖6、圖7所示。

圖6　第1組影像匹配結(jié)果

圖7　第2組影像匹配效果

試驗結(jié)果分析：

1)從圖6和圖7可以看出兩組影像通過本文提出的方法能得到較多的正確匹配點(diǎn)。本文提出的方法是幾何約束下的局部匹配方法，與幾何約束下的整體匹配方法相比，匹配點(diǎn)數(shù)略顯不夠稠密。本文方法快速獲取足夠多的正確匹配點(diǎn)，為后續(xù)攝影測量數(shù)據(jù)處理提供支持；

2)第1組影像數(shù)據(jù)得到更多的匹配點(diǎn)，一方面第1組數(shù)據(jù)中紋理特征明顯。而第2組數(shù)據(jù)大部分區(qū)域的紋理特征相似或重復(fù)以致匹配點(diǎn)減少。另一方面是由于后視影像與正視影像之間的交會角較大，導(dǎo)致兩組數(shù)據(jù)中的后視影像和前兩張影像的正確匹配率低；

3)本試驗所用方法充分利用影像之間的輻射和幾何信息。近似核線約束條件大大減小匹配搜索范圍，多張影像同時匹配使匹配點(diǎn)之間具有互檢查特性，可以有效剔除錯誤匹配點(diǎn)，提高匹配準(zhǔn)確率。

4總結(jié)與展望

相對與傳統(tǒng)框幅式影像而言，三線陣影像具有高重疊率、高冗余信息等優(yōu)點(diǎn)，為影像匹配提供充足的影像信息和紋理信息。

鑒于此，本文利用相關(guān)系數(shù)比值做為評判條件，篩選得到初匹配結(jié)果，然后根據(jù)篩選條件將三張影像上的部分匹配點(diǎn)通過多像前方交會算出相應(yīng)地面點(diǎn)坐標(biāo)，再將其反投影到正視影像上，與其對應(yīng)匹配點(diǎn)的像素坐標(biāo)做差值比較，小于閾值條件的保留作為最終匹配點(diǎn)結(jié)果。通過試驗表明基于物方幾何約束的多視匹配方法能夠快速得到較多正確匹配點(diǎn)，提高匹配成功率。

物方點(diǎn)坐標(biāo)與L0影像之間進(jìn)行坐標(biāo)轉(zhuǎn)換所用的最佳掃描行算法存在一定的缺陷，搜索出來的掃描行與正確掃描行存在1~2行的誤差，并且試驗中所用L0影像存在幾何變形，這都有可能導(dǎo)致錯誤匹配的發(fā)生。在后續(xù)的研究中將在這方面改進(jìn)。

參考文獻(xiàn)：

[1]GRUENA.Developmentandstatusofimagematchinginphotogrammetry[J].ThePhotogrammetricRecord,2012,27(137)：36-57.

[2]紀(jì)松.多視匹配策略與優(yōu)化方法研究[D].鄭州：信息工程大學(xué),2012.

[3]張卡,盛業(yè)華,孟微波,等.基于多視影像匹配的三維彩色點(diǎn)云自動生成[J].光學(xué)精密工程,2013,21(7)：1840-1849.

[4]石寧，馬慧云，張云生，等.基于位置傳播的ADS40L0級影像最佳掃描行快速搜索算法[J].測繪工程，2015，24(3)：11-15.

[5]JIS,ZHANGYS,FANDZ,etal.Integrationofmulti-viewmatchingmodelsforlineararraydigitalimagery[C]//AutomaticControlandArtificialIntelligence(ACAI2012),InternationalConferenceon.IET,2012：1244-1247.

[6]GABETL,GIRAUDONG,RENOUARDL.AutomaticGenerationofHighResolutionUrbanZoneDigitalElevationModels[J].ISPRSJournalofPhotogrammetryandRemoteSensing,1997,52(9):33-47.

[7]ZHANGLi.AutomaticDigitalSurfaceModel(DSM)GenerationfromLinearArrayImages[D].ETHZurich,Switzerland,2005.

[8]范大昭.多線陣影像匹配生成的理論與算法[D].鄭州：信息工程大學(xué),2007.

[9]江萬壽.航空影像多視匹配與規(guī)則建筑物自動提取方法研究[D].武漢：武漢大學(xué),2004.

[10]張萬強(qiáng)，趙俊三，唐敏.無人機(jī)影像構(gòu)建三維地形研究[J].測繪工程,2014，23(3)：36-41.A.Developmentandstatusofimagematchinginphotogrammetry[J].ThePhotogrammetricRecord,2012,27(137)：36-57.

[2]紀(jì)松.多視匹配策略與優(yōu)化方法研究[D].鄭州：信息工程大學(xué),2012.

[3]張卡,盛業(yè)華,孟微波,等.基于多視影像匹配的三維彩色點(diǎn)云自動生成[J].光學(xué)精密工程,2013,21(7)：1840-1849.

[4]石寧，馬慧云，張云生，等.基于位置傳播的ADS40L0級影像最佳掃描行快速搜索算法[J].測繪工程，2015，24(3)：11-15.

[5]JIS,ZHANGYS,FANDZ,etal.Integrationofmulti-viewmatchingmodelsforlineararraydigitalimagery[C]//AutomaticControlandArtificialIntelligence(ACAI2012),InternationalConferenceon.IET,2012：1244-1247.

[6]GABETL,GIRAUDONG,RENOUARDL.AutomaticGenerationofHighResolutionUrbanZoneDigitalElevationModels[J].ISPRSJournalofPhotogrammetryandRemoteSensing,1997,52(9):33-47.

[7]ZHANGLi.AutomaticDigitalSurfaceModel(DSM)GenerationfromLinearArrayImages[D].ETHZurich,Switzerland,2005.

[8]范大昭.多線陣影像匹配生成的理論與算法[D].鄭州：信息工程大學(xué),2007.

[9]江萬壽.航空影像多視匹配與規(guī)則建筑物自動提取方法研究[D].武漢：武漢大學(xué),2004.

[10]張萬強(qiáng)，趙俊三，唐敏.無人機(jī)影像構(gòu)建三維地形研究[J].測繪工程,2014，23(3)：36-41.

[責(zé)任編輯：李銘娜]