高分辨率SAR和可見光圖像同名點自動匹配技術

李瑩瑩，吳 昊，俞 雷，丁一帆，鮑 莉，李 豐

(北京市遙感信息研究所，北京 100192)

一、引 言

近年來可見光和SAR遙感已成為獲取全球空間信息的主要手段，二者分別反映了目標區(qū)域的不同層次特性，互補性較強，因此其信息融合應用也受到越來越多的關注，而圖像融合處理的基礎就是利用圖像間同名點的對應關系進行圖像配準。

多源圖像自動匹配技術[1-2]發(fā)展尚不完善，對于SAR和光學異源圖像之間的匹配，由于成像機理不同及SAR圖像斑點噪聲的影響，通常很難達到像素級的配準精度，因此研究一種高精度、高效率的同名點自動匹配技術顯得格外重要。目前自動匹配算法歸納起來主要分為：①基于灰度的方法[3-4]直接利用圖像的灰度信息，對輻射特性比較敏感，不太適合輻射失真較大的情況，更不適合SAR和光學兩種不同傳感器獲得的圖像之間的配準。②基于特征的方法[5-6]提取圖像的幾何特征作為配準基元，克服了灰度方法的缺點，已成為主要發(fā)展方向，但是計算量較大且特征提取結(jié)果與圖像質(zhì)量密切相關。近年來還出現(xiàn)了一些復合的圖像配準方法，主要有兩種類型：一是結(jié)合灰度和特征的圖像配準方法，二是結(jié)合多種特征的圖像配準方法。Zhang等[7]提出了一種組合邊緣特征和光流估計的配準方法；文獻[8]利用標記特征和灰度信息配準醫(yī)學圖像；Dare[9]利用點、區(qū)域、邊緣三種特征和由粗到精的策略配準SPOT 和SAR 圖像；彭文[10]分別利用點和輪廓特征、點和曲線特征進行圖像配準。

以上文獻中涉及的匹配算法往往較傳統(tǒng)方法耗時長,且算法對如何高效獲取高精度的同名點對等流程也未能作詳細論述。鑒于此，本文給出了一種基于不同邊緣檢測算子的光學和SAR圖像自動匹配方法，系統(tǒng)地闡述了仿射變換粗配準、特征點提取及同名點精匹配的全過程，并進行了匹配精度的目視和定量檢驗。試驗結(jié)果證明，該算法不僅處理速度快，而且提取的同名點對精度高，分布均勻。

二、算法流程

本文采用從粗到精的多級匹配策略，首先利用仿射變換進行光學和SAR圖像的粗配準，解決兩幅圖像之間的旋轉(zhuǎn)和尺度不一致問題；然后采用Harris算子提取光學圖像的特征點，以這些特征點的區(qū)域子圖像作為匹配模板，提取其Sobel特征圖像，在SAR粗匹配圖像對應的搜索范圍內(nèi)用ROA邊緣檢測算法提取SAR特征圖像；最后聯(lián)合兩幅圖像基于歸一化互相關原理進行精匹配，確定出SAR圖像的同名點。具體實現(xiàn)如圖1所示。

1. 利用仿射變換進行原始圖像粗匹配

由于光學和SAR圖像存在較大的分辨率和視角差異，在進行同名點精匹配之前，需要解決原始圖像間的尺度和旋轉(zhuǎn)問題，具體過程如圖2所示。

1) 根據(jù)光學圖像的位置，依賴四角位置的定位精度并考慮粗匹配的精度，確定出需要裁切區(qū)域的對應4個角點位置A1、A2、A3和A4。

2) SAR原始圖像的4個角點N1、N2、N3、N4位置已知，根據(jù)衛(wèi)星軌道參數(shù)和均勻分布的少量控制點，就可以利用仿射變換計算出A1～A44個點對應于SAR圖像上的4個位置B1、B2、B3、B4。

3) 采用三次卷積灰度插值對B1B2B3B4區(qū)域的SAR圖像按照光學圖像尺度(分辨率)進行重采樣。

圖1 同名點自動匹配步驟

圖2 基于仿射變換的圖像粗匹配

最終得到SAR圖像的粗匹配圖像，在裁切時確保了該區(qū)域包括參考光學圖像區(qū)域。使用粗匹配系數(shù)記錄上述從SAR原始圖像到匹配圖像的點對點變換流程，用于精匹配步驟中通過反變換確定同名點在SAR原始圖像上的候選區(qū)域。

2. 特征點自動提取

提取圖像特征點的方法有不少，如Moravec、Forstner等算子。Harris算子是由C．Harris提出的一種點特征提取算子，它采用了信號處理中的自相關函數(shù)矩陣，其特征值是自相關函數(shù)的一階曲率，如果兩個曲率值都高，那么就認為該點是特征點。其基本思想是從局部小窗口中觀測圖像特征，因為角點定義為包括灰度值變化明顯的點，所以窗口的移動會導致灰度值出現(xiàn)明顯的變化。

首先對灰度圖像的每個點，分別計算橫向和縱向的一階導數(shù)及二者的乘積，然后計算其興趣值。Harris算法要提取的特征點就是局部范圍內(nèi)的極大興趣值所對應的像素點。Harris算子是最穩(wěn)定的點特征提取算子之一，它的計算公式中只涉及灰度的一階導數(shù)，因此不需設置閾值；提取的點特征均勻而且合理，因為它對圖像的每個點都計算興趣值，所以在鄰域中選擇最優(yōu)。

3. 同名點自動精匹配

欲對兩幅圖像進行匹配，首先要對兩幅圖像進行特征描述。SAR圖像與可見光圖像對同一地面特征的像素灰度不具有高度的相關性，其主要區(qū)別是，在SAR圖像中道路顯示為黑色，而在可見光圖像上則呈白色；SAR圖像上對建筑物顯示非常清楚，而在可見光圖像上則可能有陰影效應；SAR圖像有明顯斑點噪聲，而可見光圖像有豐富的表面細節(jié)特征等。只有道路、建筑物、植被區(qū)等景物的邊緣輪廓特征是兩種圖像的主要相似點。

(1) 光學Sobel梯度圖像

圖像的梯度強度正反映了邊緣和輪廓的情況，把圖像看成二維離散函數(shù)，梯度其實就是對這個二維離散函數(shù)的求導。即通過計算圖像鄰域的微分獲得灰度變化率，相當于對圖像進行銳化，從而增強圖像的灰度反差。同時由于梯度強度有一定的相似性，因此在匹配測度上采用互相關優(yōu)勢，最終形成了基于圖像梯度和歸一化互相關的同名點精匹配方法。

梯度定義為

振幅為

計算梯度的關鍵問題是如何數(shù)字化地估計Gx和Gy，有幾種經(jīng)典的估計方法，如Sobel、Roberts、Prewitt。本文采用Sobel方法提供了兩個3×3矩陣

Gx=(z7+2z8+z9)-(z1+2z2+z3)

Gy=(z3+2z6+z9)-(z1+2z4+z7)

其中,z1～z9為圖像上特征點周圍3×3大小鄰域內(nèi)的灰度值。將上述定義的兩個矩陣Gx和Gy代入振幅計算公式近似計算出光學圖像梯度。

(2) SAR ROA特征圖像

由于SAR圖像具有典型的乘性斑點噪聲，常規(guī)的梯度算子很難反映圖像的邊緣輪廓信息,因為此類方法基于局部平均值之差[6]，它們的虛警率隨著被檢測區(qū)域的輻射強度的增加而增加,閾值也隨著平均輻射的變化而變化,這就難以得到應用。圖3顯示了對粗配準后的SAR圖像利用這些傳統(tǒng)的光學圖像梯度算子提取邊緣，可見輪廓不清晰，效果都比較差，這些方法并不適用于SAR圖像。

圖3 傳統(tǒng)光學圖像邊緣算子提取SAR圖像特征

邊緣提取的質(zhì)量直接影響著同名點匹配的精度，因此對特征算子的要求是定位精確可靠，對噪聲不敏感，在對實時性要求高的場合還要有較小的計算量。通過對幾種檢測效果的比較，本文采用基于比值邊緣檢測算法ROA[11]，它可以較好地克服斑點噪聲，較準確地反映SAR圖像上的邊緣信息。

計算過程根據(jù)圖4所示的模板進行，模板被分為3個區(qū)域。對于4個常用方向：水平、垂直、左傾、右傾，以感興趣像素為中心，大小為w×w的滑動窗口被其分成相鄰且無重疊的兩個區(qū)域。某個像素的第k對區(qū)域邊緣強度定義為

Rk=min(Pk/Qk,Qk/Pk)k=1,2,3,4

(2)

式中,Pk和Qk分別是當前像素第k對邊側(cè)區(qū)域像素的平均灰度值。采用4個方向的最值作為當前像素的梯度強度值，計算公式為

R=min(R1,R2,R3,R4)

(3)

圖4 ROA計算原理

(3) 基于Sobel和ROA特征的互相關匹配

提取同名特征點時，首先以光學圖像所提取的特征點位為中心，截取鄰近一定范圍的光學Sobel梯度圖像(如64×64)定義為匹配窗口模板；然后根據(jù)獲取的粗匹配系數(shù)計算該特征點在SAR原始圖像上所對應的大概位置，并將該位置鄰近稍大范圍的ROA梯度圖像定義為搜索窗口；最后使用匹配窗口在搜索窗口內(nèi)滑動，并逐點計算歸一化互相關系數(shù)，相關系數(shù)最大的位置就被認為是該光學特征點在SAR圖像上對應的同名點。

由于兩幅圖像是不同載荷在不同時間獲取的，相同地區(qū)的圖像差異仍然較大，導致相關系數(shù)不高，因此即使存在相關系數(shù)最大的位置，也并不能確保一定是同名點。在之前的研究工作中，經(jīng)過多次數(shù)據(jù)對的試驗，發(fā)現(xiàn)最大相關系數(shù)一般優(yōu)于0.2才能確保是同名點，而小于0.2就可能顯示兩幅圖像在此區(qū)域內(nèi)不存在同名點。筆者統(tǒng)計了最大相關系數(shù)的直方圖分布情況，可以得到相關系數(shù)大部分位于0.2～1.0之間，而在0～0.1之間出現(xiàn)高值尖峰是由于地物變化或成像差異而沒有同名點導致。

三、試驗結(jié)果與分析

本文試驗采用TerraSar衛(wèi)星和SPOT光學衛(wèi)星圖像數(shù)據(jù),其空間分辨率分別為3 m和1 m，成像時間分別為2009年11月9日和2009年3月13日。圖幅覆蓋范圍為北京城郊地區(qū)，影像中顯示局部區(qū)域地勢錯落有致，有一定范圍的丘陵分布，包含了大量的道路、建筑、溝渠等地物。兩幅圖像的粗匹配和光學圖像的特征點提取過程不再贅述，這里重點給出同名點自動精匹配過程的試驗結(jié)果。

圖5給出了對同一地區(qū)的光學和SAR圖像分別用Sobel算子和ROA算子進行邊緣提取的結(jié)果。經(jīng)過反復試驗發(fā)現(xiàn)，ROA滑動窗口的大小設置為9像素×9像素時邊緣提取的效果較好。與圖3其他幾種算子比較可以看出，ROA算子提取的邊界清楚、細致，且與光學圖像輪廓非常相似。雖然得到的圖像灰度值較低，同時損失了一些邊緣細節(jié)，但這對特征點的選取及配準計算都是不重要的。

圖5 兩種算子提取結(jié)果

本文試驗的運行環(huán)境為Intel Xeon W3520主頻2.67 GHz。光學特征點模板的大小設置為128×128，SAR圖像的候選區(qū)域大小設置為192×192，共測試了15個點的平均匹配時間為1～2 s左右。實際上獲取的特征點數(shù)隨試驗區(qū)域的大小和地物密集程度的不同而改變，1 m分辨率200 km2范圍單幅光學圖像的點數(shù)通常在幾千個左右，因此整個同名點匹配過程占用的時間基本在1 h以內(nèi)。

從一維上分別觀察兩幅原始圖像和特征提取圖像的某一行如圖6所示，可以看出，在原始灰度圖像上除了在150附近的兩個峰值有重合跡象外，其他部分都是混亂的。而在經(jīng)過邊緣提取后，得到相同行的邊緣圖趨勢基本一致。

圖6 SAR和光學圖像一維剖面灰度對比和梯度對比

為了檢驗同名點提取的精度，筆者拼合光學和SAR圖像包含特征點的相鄰子塊得到一幅新圖像(如圖7所示)，進行定性的目視檢驗。圖中深淺程度不同的方塊分別是SAR和光學圖像子塊，相鄰圖像塊接縫處的地物自然程度和平滑程度就顯示了兩幅圖像的匹配精度?？梢钥闯觯鞣N地物(河流、道路、建筑和田塊)在子塊交叉處連接十分自然平滑，沒有明顯的拼接錯位現(xiàn)象，表明匹配精度是很高的。

圖7 分別提取SAR和光學子塊交錯拼合的圖像

此外筆者進行了匹配精度的定量檢查，共檢查了30個同名特征點，這些點一般都是位于道路河流的交叉點或地物角點上，量取的像素坐標數(shù)值見表1。已知光學參考圖像上的特征點，表中第1列為精匹配獲得的SAR圖像同名點坐標，第2列為真實對應的同名點坐標。根據(jù)這些像素坐標計算出坐標差，進而可以計算圖像的匹配精度。經(jīng)過統(tǒng)計，兩幅圖像的匹配精度達到了0.863 8個像素。

四、結(jié)束語

光學和SAR圖像的灰度、紋理等特征都有很大的不同，而邊緣是這兩種類型圖像中的共有特征，因此基于邊緣的圖像匹配算法可以較好地解決這個問題。此外由粗到精的分級搜索策略符合人類視覺系統(tǒng)選擇性搜集信息的機理，且能節(jié)省系統(tǒng)的計算開銷，是一種有應用前途的匹配方法。因此本文提出的算法不僅解決了大圖幅影像同名點搜索的計算復雜度問題，而且獲取的同名點對分布更趨均勻，精度更高。試驗結(jié)果也有力地證明了這一點，在地物特征較為明顯地區(qū)的精度可達到1個像素以內(nèi)，每個同名點對的平均匹配時間為1～2 s左右。

致謝：特別感謝中國科學院電子學研究所尤紅建研究員在本文研究過程中的幫助和指導。

表1 同名點匹配精度檢查 像素

參考文獻：

[1] ZITOVA B, FLUSSER J. Image Registration Methods: A Survey[J]. Image and Vision Computing, 2003, 21(11): 977-1000.

[2] LEILA M, MANJUNATH B. Registration Techniques for Multisensor Remotely Sensed Imagery [J]. PE&RS, 1996, 62(9): 1049-1052.

[3] TON J. Registering Landsat Images by Point Matching [J]. IEEE Transactions on Geoscience and Remote Sensing, 1989, 27(5): 642-652.

[4] 王小睿, 吳信才. 遙感多圖像的自動配準方法[J]. 中國圖象圖形學報, 1997, 2(10): 735-739.

[5] DAI X, KHORRAM S. A Feature-based Image Registration Algorithm using Improved Chain Code Representation Combined with Invariant Moments [J]. IEEE Transactions on Geoscience and Remote Sensing, 1999, 37(5): 2351-2362.

[6] 王磊, 張鈞萍, 張曄. 基于特征的SAR圖像與光學圖像自動配準[J]. 哈爾濱工業(yè)大學學報, 2005, 37(1): 22-25.

[7] ZHANG Z, BLUM R. A Hybrid Image Registration Technique for Digital Camera Image Fusion Application [J]. Information Fusion, 2000(2): 135-149.

[8] JOHNSON H, CHRISTENSEN G. Consistent Landmark and Intensity-based Image Registration [J]. IEEE Transactions on Medical Imaging, 2002, 21(5): 250-461.

[9] PAUL D. An Improved Model for Automatic Feature-based Registration of SAR and SPOT Images [J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2001, 56(1): 13-28.

[10] 彭文. 基于特征的醫(yī)學圖像配準中若干關鍵技術的研究[D]. 杭州： 浙江大學, 2007.

[11] TOUZI R, LOPES A, BOUSQUET P. A Statistical and Geometrical Edge Detector for SAR Images[J]. IEEE Transactions on Geoscience and emote Sensing, 1988, 26(6): 764-773.