面向廣域場景的可見光-SAR遙感圖像匹配方法

王欽煒 李璋,* 江云天 卞一杰 趙宏 葉熠彬

面向廣域場景的可見光-SAR遙感圖像匹配方法

王欽煒1,2李璋1,2,*江云天1,2卞一杰1,2趙宏1,2葉熠彬1,2

（1 國防科技大學(xué)空天科學(xué)學(xué)院，長沙 410073）（2 湖南省圖像測量與視覺導(dǎo)航重點(diǎn)實(shí)驗(yàn)室，長沙 410073）

可見光-SAR（合成孔徑雷達(dá)）遙感圖像的高精度匹配是視覺導(dǎo)航、圖像融合等典型遙感應(yīng)用的基礎(chǔ)，現(xiàn)有匹配方法主要聚焦在非線性輻射失真（NRD）等成像差異的問題，并未充分考慮遙感圖像的場景差異，導(dǎo)致匹配方法的場景適應(yīng)性有限。為解決可見光-SAR圖像匹配中成像場景廣域多樣、成像差異等挑戰(zhàn)，文章提出了一種結(jié)合遙感圖像場景分類的廣域場景異源圖像的匹配方法。該方法首先使用廣域圖像匹配場景分類算法按照紋理特征對遙感圖像進(jìn)行四個典型場景（重復(fù)紋理、非均勻紋理、弱紋理和混合類別）的分類，然后在統(tǒng)一的特征匹配框架中為每類場景選擇合適特征描述符。將該方法在異源圖像匹配數(shù)據(jù)集上與兩種常用的可見光-SAR匹配方法進(jìn)行比較，通過實(shí)驗(yàn)驗(yàn)證，文章的方法可以在不增加計(jì)算時間的前提下，在所有類別上取得最優(yōu)的匹配結(jié)果。該方法為廣域場景下的可見光-SAR遙感圖像匹配提供了一種可行的解決方法。

可見光圖像 合成孔徑雷達(dá)圖像 廣域場景 特征描述 異源圖像匹配 場景分類 遙感應(yīng)用

0 引言

近年來，隨著遙感成像技術(shù)快速發(fā)展以及商用遙感的普及，遙感圖像的品質(zhì)有了顯著改善，形成了可見光、合成孔徑雷達(dá)（Synthetic Aperture Radar，SAR）等多模態(tài)成像方式下的海量遙感影像數(shù)據(jù)。為了更加有效的利用各成像模式所包含的不同信息，通常需要對同一區(qū)域的多模態(tài)成像進(jìn)行異源圖像匹配，高精度的匹配結(jié)果是圖像融合、變化檢測、視覺導(dǎo)航等遙感典型應(yīng)用的基礎(chǔ)[1-3]。然而，由于成像機(jī)理的不同，可見光和SAR遙感圖像之間存在幾何特性、非線性輻射失真（Nonlinear Radiation Distortions，NRD）以及噪聲等差異[4-5]。此外，遙感圖像覆蓋區(qū)域廣且場景復(fù)雜多樣，給高精度的異源圖像匹配帶來了挑戰(zhàn)[6]。

常用的異源圖像匹配方法會基于圖像的特征進(jìn)行匹配[7]，針對可見光和SAR圖像間存在的NRD等問題，常用的圖像特征包括梯度、相位一致性（Phase Congruency，PC）[8]和局部自相似性（Local Self-Similarity，LSS）[9]等特征。

傳統(tǒng)的特征描述符多數(shù)采用梯度特征構(gòu)建[10-14]，但相比于梯度，PC特征已被證明對光照和對比度變化更具魯棒性[15]，文獻(xiàn)[16]以分組的方式使用PC結(jié)構(gòu)圖提出了相位一致性結(jié)構(gòu)描述符（Phase Congruency Structural Descriptor，PCSD）；文獻(xiàn)[17]計(jì)算了PC的方向信息，使用方向梯度直方圖（Histogram of Orientated Gradient，HOG）描述符的框架構(gòu)建結(jié)構(gòu)特性描述符——方向相位一致性直方圖（Histogram of Orientated Phase Congruency，HOPC）；文獻(xiàn)[18]提出了一種新的仿射和對比度不變描述符，稱為最大穩(wěn)定相位一致性（Maximally Stable Phase Congruency，MSPC）；文獻(xiàn)[19]提出了一種基于PC和最大索引圖（Maximum Index Map，MIM）的更通用的方法，即輻射不變特征變換（Radiation-Invariant Feature Transform，RIFT）。

受局部自相似性（LSS）策略的啟發(fā)，文獻(xiàn)[20]提出了一個密集LSS（Dense Local Self-Similarity，DLSS）描述符來匹配光學(xué)和SAR圖像；文獻(xiàn)[21]提出了一種基于獨(dú)特順序的自相似性（Distinctive Order-Based Self Similarity，DOBSS）描述符，更準(zhǔn)確但也更費(fèi)時；文獻(xiàn)[22]引入了一種基于秩的局部自相似性（Rank-Based Local Self-Similarity，RLSS）描述符，以解決用于光學(xué)和SAR圖像之間嚴(yán)重的NRD。

但是，現(xiàn)有方法無法適應(yīng)廣域場景的匹配問題，本文嘗試提出一種適用于廣域場景的異源圖像匹配方法。首先，根據(jù)圖像紋理的強(qiáng)度和空間分布對SAR進(jìn)行場景分類，不同于語義分類的典型遙感分類方法[23-24]，圍繞匹配的需求，更側(cè)重特征的分布特性。進(jìn)一步在分類的基礎(chǔ)上，選擇合適特征描述符，充分驗(yàn)證各特征描述的場景適應(yīng)性，最終實(shí)現(xiàn)面向廣域場景的魯棒且準(zhǔn)確異源圖像匹配。

1 廣域圖像場景分類算法

典型的遙感圖像場景分類是學(xué)習(xí)和發(fā)現(xiàn)圖像語義標(biāo)簽的過程，語義標(biāo)簽通常包括居民區(qū)、商業(yè)區(qū)、農(nóng)田、河流以及森林等?；趫D像特征表達(dá)的遙感圖像分類方法，例如全局特征信息（GIST）[25]對場景的分類更注重特征的分布，而不是語義的標(biāo)簽[26]，更適合基于特征的異源遙感圖像匹配任務(wù)，設(shè)計(jì)適合異源圖像匹配的場景分類方法是提高匹配精度的關(guān)鍵。本文的分類方法受文獻(xiàn)[25]啟發(fā)，將實(shí)際匹配任務(wù)的需求作為本文進(jìn)行場景分類的目的。

針對俯瞰視角的廣域遙感圖像匹配問題，本文更加關(guān)注圖像全局的紋理強(qiáng)度與空間分布。本文根據(jù)圖像匹配任務(wù)設(shè)定的類別，以及場景分類中使用的特征描述和分類方法介紹如下。

1.1 廣域場景類別設(shè)定

圖像中常見的八種語義場景分別為港口、城市、河流、機(jī)場、島嶼、平原、戈壁以及山區(qū)。根據(jù)匹配任務(wù)需求，針對SAR圖像將以上八類場景按照紋理強(qiáng)度和空間分布分為四個類別——局部重復(fù)紋理、非均勻紋理、弱紋理以及混合場景。下面具體介紹每一類圖像的特點(diǎn)，并且在圖1中給出每個類別的兩幅示例圖。

1）重復(fù)紋理類別：主要為城市和平原場景。城市場景中建筑物大多以相似矩形沿著城市道路規(guī)則排列分布，道路將重復(fù)的建筑劃分成重復(fù)區(qū)域；平原場景中的農(nóng)田形狀結(jié)構(gòu)相似，沿道路分布且沒有明顯的地形差異。

2）非均勻紋理類別：主要為港口和海島場景。這兩種典型場景的共同之處是圖像中較大區(qū)域?yàn)楹Ｓ?，沒有有效紋理信息的存在。

3）弱紋理類別：主要為丘陵、戈壁和山區(qū)場景。圖像中的紋理信息多為地形起伏造成的非結(jié)構(gòu)性紋理，對比度較低且可辨別性不強(qiáng)。

4）混合類別：除了以上三種具有明顯紋理分布的場景以外，剩余的場景均被劃到混合類別。該類別場景種類多樣，包含前面提到的幾種類別的組合特點(diǎn)。

圖1 各類別場景示例

1.2 基于紋理分析的場景特征描述

對于上一節(jié)中提到的四種類別的圖像，可使用紋理強(qiáng)度、均勻度兩項(xiàng)指標(biāo)去衡量其全局的紋理強(qiáng)度和分布。本文采用二維Gabor濾波器組[27]提取圖像紋理信息，然后計(jì)算濾波器組的輸出的均值和標(biāo)準(zhǔn)差從而構(gòu)建特征向量。

1.3 基于支持向量機(jī)（SVM）的場景分類

由于當(dāng)前缺少基于特征分類方式構(gòu)建的公開數(shù)據(jù)集，沒有足夠龐大的數(shù)據(jù)集去訓(xùn)練深度學(xué)習(xí)模型，而上述紋理強(qiáng)度和均勻性度量屬于低維特征，本文采用SVM基于全局紋理特征對圖像進(jìn)行分類。

在本文的多分類問題中，使用“一對多”策略，又稱為OVR-SVM[28]，訓(xùn)練時依次把某個類別的樣本歸為一類，其他剩余的樣本歸為另一類，這樣四個類別的樣本就構(gòu)造出了四個二元分類器。給定未知樣本時，將其分類為具有最大分類函數(shù)值的類別。

在廣域場景分類模塊中，使用Gabor濾波器組構(gòu)建圖像的全局紋理特征向量，然后訓(xùn)練一組SVM二元分類器進(jìn)行多分類。如圖2所示。

圖2 廣域場景分類模塊

2 結(jié)合場景分類的異源遙感圖像匹配方法

2.1 異源圖像特征描述

結(jié)構(gòu)和形狀特性是相對獨(dú)立于輻射變化的物理特征，通過提取不同模態(tài)中穩(wěn)定的物理結(jié)構(gòu)特征，并基于特征圖像進(jìn)行異源圖像匹配，通?？捎糜诮鉀Q可見光和SAR圖像中存在的NRD問題。相比于梯度，PC特征已被證明對光照和對比度變化更具魯棒性[15]，是計(jì)算結(jié)構(gòu)特征的最常用表示?；赑C特征圖的常用特征描述符包括HOPC[17]和RIFT[19]已成功用在了異源圖像匹配中。

相位一致性是一種基于圖像局部相位的特征檢測器，邊緣和角點(diǎn)等特征常具有高度一致的局部相位信息[29]。文獻(xiàn)[15]使用多尺度和方向上的Log-Gabor濾波器（Log-Gabor Filter，LGF）計(jì)算了相位一致性，作者考慮了圖像的噪聲與模糊，改進(jìn)了相位一致性的計(jì)算，使其對噪聲更加魯棒[15]，改進(jìn)后相位一致性表達(dá)式如下

通過計(jì)算得到相位一致性的幅值，在此基礎(chǔ)上，文獻(xiàn)[17]還計(jì)算了相位一致性的方向，然后使用HOG的特征框架，將梯度替換為PC，利用PC的幅值和方向構(gòu)建HOPC特征。

2.2 廣域場景異源圖像匹配

針對SAR與可見光圖像匹配中成像場景廣域多樣、存在非線性輻射差異等挑戰(zhàn)，本文提出一種結(jié)合遙感圖像場景分類的廣域場景異源圖像的匹配框架，用于提升異源圖像匹配的魯棒性和準(zhǔn)確性，為視覺導(dǎo)航、圖像融合以及變化檢測等任務(wù)奠定基礎(chǔ)。

上一節(jié)介紹的兩種特征描述符中，HOPC描述符構(gòu)建過程中特征單元劃分更具層次，利用更精細(xì)的紋理信息構(gòu)建更高維的特征描述符，同時使用了幅值和方向信息，適用于紋理信息豐富的場景上，并且多層次的構(gòu)建單元，使得其在一定程度上適應(yīng)局部重復(fù)的紋理。RIFT描述符中使用MIM作為特征圖，其特征圖的構(gòu)建方式一定程度上克服了特征圖中有效紋理的稀疏性的缺點(diǎn)，對于包含無紋理和低對比度紋理的場景有著更好的魯棒性。

為了比較了兩種特征描述方式在不同類別圖像上的性能，本文統(tǒng)一使用RIFT方法[19]的特征匹配框架，并且根據(jù)其特點(diǎn)用于不同類別的場景：

1）重復(fù)紋理類別：選擇使用了更精細(xì)的紋理信息的HOPC作為特征描述符，記為R-HOPC；

2）非均勻紋理類別：選擇使用MIM作為特征圖的RIFT特征描述符；

3）弱紋理類別：同樣選擇使用MIM作為特征圖的RIFT特征描述符；

4）混合類別：包含的場景種類豐富且混合了以上多種類別的場景特點(diǎn)，紋理信息較為豐富，選擇使用了更精細(xì)的紋理信息的HOPC作為特征描述符。

根據(jù)上面對四種類別圖像的分析，可以確定廣域場景異源圖像匹配框架中的特征描述方法。在第3章中通過測試匹配性能來調(diào)整描述符的參數(shù)，從而確定最終使用的描述符。匹配模塊如圖3所示。

圖3 異源圖像匹配模塊

廣域場景的異源圖像匹配框架如圖4所示。

圖4 廣域場景異源圖像匹配框架

可以看到，框架中的各部分算法都可以根據(jù)任務(wù)需求進(jìn)行調(diào)整。

3 實(shí)驗(yàn)驗(yàn)證

由于目前尚未存在使用紋理分類的遙感圖像數(shù)據(jù)集，因此本文使用某挑戰(zhàn)賽數(shù)據(jù)集和實(shí)驗(yàn)室自有圖像構(gòu)建數(shù)據(jù)集，用于場景的分類與匹配測試。為了驗(yàn)證提出的廣域場景異源圖像匹配框架的有效性，本文測試了SAR圖像紋理分類，R-HOPC和RIFT方法在各類圖像上的匹配性能。在本章中，使用精確率和召回率指標(biāo)驗(yàn)證分類性能，使用均方根誤差和正確匹配率驗(yàn)證匹配性能。

3.1 數(shù)據(jù)集及評估標(biāo)準(zhǔn)

異源圖像匹配數(shù)據(jù)集包含可見光與SAR圖像對，均為真實(shí)非合成的圖像。數(shù)據(jù)集中的可見光與SAR圖像之間預(yù)先進(jìn)行了全局幾何矯正。數(shù)據(jù)集中的SAR圖像分辨率為512像素×512像素，經(jīng)過篩選保留其中325張SAR圖像通過人工標(biāo)注的方式構(gòu)建場景分類數(shù)據(jù)集。依據(jù)場景中紋理特征分布準(zhǔn)則，數(shù)據(jù)集的組成為：重復(fù)紋理類別55張、非均勻紋理類別67張、弱紋理類別32張以及混合類別171張。

為了測試分類器的性能，將場景分類數(shù)據(jù)集劃分為訓(xùn)練集和測試集，測試集中包括重復(fù)紋理7張、非均勻紋理6張、弱紋理5張和混合類別10張。將與測試集中SAR圖像成對的可見光圖像進(jìn)行裁剪，形成完全對齊一組的圖像對，構(gòu)成了本文的匹配測試集。

對于遙感圖像分類，選取精確率和召回率的計(jì)算公式分別為

式中 TP為真陽性；FP為假陽性；FN為假陰性。

對于異源圖像匹配，選取均方根誤差RMSE和正確匹配率CMR作為評價標(biāo)準(zhǔn)，其中RMSE的計(jì)算公式為

CMR計(jì)算公式為

式中 CM為匹配結(jié)果中正確匹配的點(diǎn)對數(shù)；為匹配點(diǎn)對總數(shù)。只有與真值點(diǎn)的誤差小于給定誤差閾值的匹配點(diǎn)才被認(rèn)為是正確匹配，由于不同場景匹配的難度不同，我們?yōu)槊款悎鼍斑x定不同的誤差閾值來確定正確的匹配數(shù)[17,30]。由于本文使用的是真實(shí)數(shù)據(jù)集，對于重復(fù)紋理與混合類別的場景，匹配難度相對較低，使用較小的閾值（2像素）來確定CM；對于非均勻與弱紋理類別的場景，匹配過程非常具有挑戰(zhàn)性，使用較大的閾值（3.5像素）來確定CM。

3.2 分類性能測試

在廣域場景分類中，本文使用了兩種以紋理信息構(gòu)建特征描述符的方法，GIST[25]、Gabor特 征[27]和兩種方式的混合記為GIST（Gabor）。在測試集上計(jì)算每個類別的精確率和召回率，將每種特征構(gòu)建方法在每個類別圖像上的和如表1所示。

表1 幾種特征的分類性能比較

Tab.1 Classification performance comparison of several features 單位：%

由表1可知，Gabor特征描述在每類圖像上的精確率和召回率均取得了最優(yōu)值，分類性能最好；通過結(jié)合GIST和Gabor特征描述方式分類，性能并沒有進(jìn)一步的提升。另外，本文中每種特征的平均構(gòu)建時間，如表2所示。

表2 幾種特征的計(jì)算時間

Tab.2 Computation time of several features

可以看到，低維度的全局特征描述過程很簡單，計(jì)算速度非?？?，三種特征描述方式的計(jì)算時間都在20～35ms的范圍，而使用Gabor特征的SVM分類器在每幅圖上的預(yù)測時間為10-2ms左右，相比于匹配過程10s數(shù)量級的計(jì)算時間可以忽略不計(jì)。得到結(jié)論，Gabor特征描述取得了最優(yōu)的分類性能和最快的計(jì)算速度，在廣域場景分類模塊中將其作為本文的特征描述方法。

3.3 匹配性能測試

本文對四類圖像需要的特征描述符參數(shù)進(jìn)行測試，通過調(diào)整兩種描述符的參數(shù)，尋找每類圖像上匹配性能最優(yōu)的參數(shù)組合。在HOPC描述符中，可調(diào)整的參數(shù)有每個塊內(nèi)單元的大小、數(shù)量、計(jì)算方向數(shù)以及模板的尺寸，參數(shù)組合記為R-HOPC（---）；在RIFT描述符中，可調(diào)整的參數(shù)有卷積濾波器組的尺度數(shù)、方向數(shù)以及圖像塊大小，參數(shù)組合記為RIFT（--）。

在HOPC特征描述符中，計(jì)算方向數(shù)的選擇是關(guān)鍵參數(shù)，通過增加計(jì)算的方向數(shù)量可以提高對重復(fù)紋理的適應(yīng)性，體現(xiàn)了方向信息在結(jié)構(gòu)表征中的重要性。在RIFT特征描述符中，圖像塊大小的選擇是關(guān)鍵參數(shù)；對于非均勻紋理類別，相對較小的圖像塊可以減輕紋理信息稀疏性對特征描述符表示性能的影響；對于弱紋理類別，適中尺寸的圖像塊既保證足夠的紋理信息，又不會因?yàn)檩^多非結(jié)構(gòu)紋理而降低描述符的匹配性能。本文中兩種描述符參數(shù)調(diào)整過程中在各自類別場景中計(jì)算的CMR和RMSE如圖5、圖6所示。

圖5 不同參數(shù)HOPC特征描述符的RRMSE與CMR

圖6 不同參數(shù)RIFT特征描述符的RRMSE與CMR

通過圖5和圖6中的結(jié)果，本文推薦在四種場景的類別中分別使用參數(shù)為R-HOPC(3-4-8-200)、RIFT(4-8-72)、RIFT(4-8-96)和R-HOPC (3-4-5-200)的特征描述符。

圖7顯示為每個類別確定的最優(yōu)特征描述符在所有圖像上匹配的平均RMSE（為了方便可視化，我們只保留了RMSE小于2.5個像素的區(qū)域）。由圖7的結(jié)果可以驗(yàn)證，異源圖像匹配模塊中為每類圖像確定的最優(yōu)特征描述符在該類圖像上取得了最優(yōu)的匹配精度。每個類別上最優(yōu)描述符計(jì)算的平均RMSE（圖7中綠框選中）分別為1.175像素、1.677像素、1.691像素及1.356像素。

圖7 每類圖像的平均RRMSE

本文按照類別在圖8～圖11中顯示了每對圖像匹配的RMSE和CMR。

RIFT描述符直接使用特征圖的直方圖得到，相比HOPC的特征描述方式在重復(fù)結(jié)構(gòu)上沒有任何優(yōu)勢，從圖8中可以看到其性能遠(yuǎn)落后于HOPC。四種方法計(jì)算的CMR分別為95.43%，48.56%，43.52%，92.79%。R-HOPC(3-4-8-200)的在編號為1的圖像上的CMR略低于R-HOPC(3-4-5-200)；但是在其余圖像上均不低于R-HOPC(3-4-5-200)，RMSE的趨勢同CMR。綜上來看，R-HOPC(3-4-8-200)方法在重復(fù)紋理類別圖像上的匹配性能最優(yōu)。

圖8 重復(fù)紋理類別的RRMSE與CMR

在非均勻紋理類別中，無紋理區(qū)域的存在導(dǎo)致PC特征圖中有大量零值，因此使用MIM作為特征圖的RIFT描述符一定程度上避免了有效紋理信息的稀疏性，從圖9（a）中（為了方便可視化，我們只保留了RMSE小于3個像素的區(qū)域）看到幾乎在所有圖像的匹配中得到了更低的RMSE。四種方法計(jì)算的CMR分別為16.55%，78.43%，58.82%，16.00%。RIFT(4-8-72)在編號為1的圖像上的CMR略微低于RIFT(4-8-96)方法，但是在其余圖像上均高于或與RIFT(4-8-96)相近，綜合來看，RIFT(4-8-72)方法在非均勻紋理類別圖像上的匹配性能最優(yōu)。

圖9 非均勻紋理類別的RRMSE與CMR

在弱紋理類別中，絕大多數(shù)的紋理為非結(jié)構(gòu)性紋理，RIFT描述符通過構(gòu)建MIM可以顯著克服紋理低對比度的挑戰(zhàn)，在圖10（a）中（為了方便可視化，我們只保留了RMSE小于4個像素的區(qū)域）看到所有圖像的匹配中得到了更低RMSE值。四種方法計(jì)算的CMR分別為15.71%，60.66%，78.84%，15.89%。從圖10（b）上可以看到，RIFT(4-8-96)在編號為4的圖像上的CMR低于RIFT(4-8-72)方法，但是在其余圖像上均為最優(yōu)且優(yōu)勢明顯。

混合類別通常包含著上述三種類型以外的所有圖像，因此單元更加精細(xì)的HOPC描述符提取的信息豐富特性得以體現(xiàn)。在圖11（a）中觀察到，R-HOPC(34-5-200)在所有圖像上都取得了最低或者接近最低的RMSE。四種方法計(jì)算的CMR分別為71.36%，57.25%，49.25%，81.37%。R-HOPC(3-4-5-200)僅在編號為8和10的圖像上略低于R-HOPC(3-4-8-200)方法，在其余圖像上均具有領(lǐng)先優(yōu)勢。綜合來看，R-HOPC(34-5-200)方法在混合類別圖像上的匹配性能最優(yōu)。另外該類別圖像的匹配結(jié)果中還有一個很明顯的特點(diǎn)，由于其場景種類的豐富性，計(jì)算的CMR差異很大，最高的達(dá)到100%的CMR，而最差的僅有60%左右。

圖11 混合類別的RRMSE與CMR

此外，為了還原文獻(xiàn)[17]中HOPC匹配框架的性能，本文使用了文獻(xiàn)[17]中的設(shè)置，將歸一化互相關(guān)（Normalized Cross Correlation，NCC）作為HOPC描述符的相似性度量準(zhǔn)則即HOPCNCC，在所有類別的圖像上進(jìn)行了匹配性能的測試。得到了在四種類別場景的圖像上計(jì)算的平均CMR分別為89.86%，50.33%，31.30%，78.80%，由上述CMR值可知，在非均勻紋理和弱紋理類別上HOPCNCC的匹配性能相較R-HOPC有明顯的提升，但是與RIFT相比仍然有一定差距。

圖12顯示了配準(zhǔn)結(jié)果?？梢钥吹奖疚臑槊款悎鼍按_定的特征描述符將可見光-SAR圖像對很好的對齊。

圖12 配準(zhǔn)結(jié)果的棋盤格可視化

4 結(jié)束語

本文提出了一種結(jié)合遙感圖像場景分類的廣域場景異源圖像的匹配方法，為解決SAR與可見光圖像匹配中成像場景廣域多樣、存在非線性輻射差異等挑戰(zhàn)。在異源圖像匹配中，現(xiàn)有方法無法適應(yīng)廣域場景的圖像匹配問題。在本文提出的匹配方法中，首先將SAR圖像中的場景類別分為重復(fù)紋理、非均勻紋理、弱紋理以及混合四類，受到GIST的啟發(fā)使用低維的全局紋理特征對SAR圖像的紋理強(qiáng)度和分布進(jìn)行描述，然后使用一組SVM分類器對紋理特征進(jìn)行分類，構(gòu)成廣域場景分類模塊。通過對異源遙感圖像匹配領(lǐng)域中兩種較優(yōu)的特征描述符HOPC和RIFT進(jìn)行參數(shù)調(diào)整，為每類場景確定具有最優(yōu)匹配性能的參數(shù)，并將特征描述符嵌入到同一個特征匹配框架中，組成異源圖像匹配模塊。

兩種特征描述符的特點(diǎn)可以較好的適應(yīng)SAR圖像中常出現(xiàn)的幾種場景類別，但是從匹配結(jié)果中也可以看到非均勻和弱紋理兩種類別的圖像沒能取得與其余兩種類別接近的性能，面臨的挑戰(zhàn)仍然是比較嚴(yán)峻的。在未來的工作中，將嘗試對兩種類別的特征檢測和匹配過程進(jìn)一步改進(jìn)，例如在非均勻紋理類別中使用紋理豐富度掩模，在弱紋理類別中應(yīng)用圖像增強(qiáng)方法來增強(qiáng)輪廓或邊緣特征，這些都可能有助于提高圖像匹配的精度。

由于HOPC和RIFT兩種特征描述符可以很好的解決NRD，適用于不同模態(tài)的圖像，因此本文的方法也可以拓展到其他類型的異源圖像匹配任務(wù)中。

[1] MA J Y, MA Y, LI C. Infrared and Visible Image Fusion Methods and Applications: A Survey[J]. Information Fusion, 2019(45): 153-178.

[2] JAMES A P, DASARATHY B V. Medical Image Fusion: A Survey of the State of the Art[J]. Information Fusion, 2014(19): 4-19.

[3] 陸翔, 章皖秋, 鄭雅蘭, 等. 特征選擇的全極化SAR 影像面向?qū)ο笸恋馗采w分類[J]. 航天返回與遙感, 2018, 39(2): 93-103.

LU Xiang, ZHANG Wanqiu, ZHENG Yalan, et al. Object-oriented Land Cover Classification Based on Feature Selection in Quad-polarimetric SAR Images[J]. Spacecraft Recovery & Remote Sensing, 2018, 39(2): 93-103. (in Chinese)

[4] LI Q, FU B H, DONG Y F. Registration of Radar and Optical Satellite Images Using Multiscale Filter Technique and Information Measure[M]//IMPERATORE P, RICCIO D. Geoscience and Remote Sensing New Achievements. London: Intec open Limited, 2010.

[5] HONG T D, SCHOWENGERDT R A. A Robust Technique for Precise Registration of Radar and Optical Satellite Images[J]. Photogrammetric Engineering & Remote Sensing, 2005, 71(5): 585-593.

[6] XIAO G B, LUO H, ZENG K, et al. Robust Feature Matching for Remote Sensing Image Registration via Guided Hyper-plane Fitting[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 60(99): 1-14.

[7] JIANG X Y, MA J Y, XIAO G B, et al. A Review of Multimodal Image Matching: Methods and Applications[J]. Information Fusion, 2021, 73: 22-71.

[8] MORRONE M C, OWENS R A. Feature Detection from Local Energy[J]. Pattern Recognition Letters, 1987, 6(5): 303-313.

[9] SHECHTMAN E, IRANI M. Matching Local Self-similarities Across Images and Videos[C]//2007 IEEE Conference on Computer Vision and Pattern Recognition, June 17-22, 2007, Minneapolis, MN, USA. IEEE, 2007: 1-8.

[10] XIANG Y M, WANG F, WANG L, et al. OS-Flow: A Robust Algorithm for Dense Optical and SAR Image Registration[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 6335-6354.

[11] YE Y X, BRUZZONE L, SHAN J, et al. Fast and Robust Matching for Multimodal Remote Sensing Image Registration[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(11): 9059-9070.

[12] DALAL N, TRIGGS B. Histograms of Oriented Gradients for Human Detection[C]//2005 IEEE Conference on Computer Vision and Pattern Recognition, June 20-25, 2005, San Diego, CA, USA. IEEE, 2005: 886-893.

[13] XIANG Y M, WANG F, YOU H J. OS-SIFT: A Robust SIFT-like Algorithm for High-resolution Optical-to-SAR Image Registration in Suburban Areas[J]. IEEE Transactions on Geoscience & Remote Sensing, 2018, 56(6): 3078-3090.

[14] FAN B, HUO C L, PAN C H, et al. Registration of Optical and SAR Satellite Images by Exploring the Spatial Relationship of the Improved SIFT[J]. IEEE Geoscience & Remote Sensing Letters, 2013, 10(4): 657-661.

[15] KOVESI P. Image Features from Phase Concurrency[J]. Journal of Computer Vision Research, 1999, 1(3): 1-26.

[16] FAN J W, WU Y, LI M, et al. SAR and Optical Image Registration Using Nonlinear Diffusion and Phase Congruency Structural Descriptor[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(9): 5368-5379.

[17] YE Y X, SHAN J, BRUZZONE L, et al. Robust Registration of Multimodal Remote Sensing Images Based on Structural Similarity[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(5): 2941-2958.

[18] LIU X Z, AI Y F, ZHANG J L, et al. A Novel Affine and Contrast Invariant Descriptor for Infrared and Visible Image Registration[J]. Remote Sensing, 2018, 10(4): 658.

[19] LI J Y, HU Q W, AI M Y. RIFT: Multi-modal Image Matching Based on Radiation-variation Insensitive Feature Trans-form[J]. IEEE Transactions on Image Processing, 2020(29): 3296-3310.

[20] YE Y X, LI S, HAO M, et al. Robust Optical-to-SAR Image Matching Based on Shape Properties[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(4):1-5.

[21] SEDAGHAT A, EBADI H. Distinctive Order Based Self-similarity Descriptor for Multi-sensor Remote Sensing Image Matching[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015(108): 62-71.

[22] XIONG X, XU Q, JIN G W, et al. Rank-based Local Self-similarity Descriptor for Optical-to-SAR Image Matching[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 17(10): 1742-1746.

[23] YANG Y, NEWSAM S. Spatial Pyramid Co-occurrence for Image Classification[C]//2011 IEEE International Conference on Computer Vision, November 6-13, 2011, Barcelona, Spain. IEEE, 2011: 1465-1472.

[24] 于夢馨, 劉波, 湯恩生. 改進(jìn)粒子群算法優(yōu)化SVM參數(shù)的遙感圖像分類[J]. 航天返回與遙感, 2018, 39(2): 133-140.

YU Mengxin, LIU Bo, TANG Ensheng. Remote Sensing Image Classification Based on Improved PSO Support Vector Machine[J]. Spacecraft Recovery & Remote Sensing, 2018, 39(2): 133-140. (in Chinese)

[25] OLIVA A, TORRALBA A. Modeling the Shape of the Scene: A Holistic Representation of the Spatial Envelope[J]. International Journal of Computer Vision, 2001, 42(3): 145-175.

[26] 楊迎港, 劉培, 張合兵, 等. 基于特征優(yōu)選隨機(jī)森林算法的 GF-2 影像分類[J]. 航天返回與遙感, 2022, 43(2): 115-126.

YANG Yinggang, LIU Pei, ZHANG Hebing, et al. Research on GF-2 Image Classification Based on Feature Optimization Random Forest Algorithm[J]. Spacecraft Recovery & Remote Sensing, 2022, 43(2): 115-126. (in Chinese)

[27] NEWSAM S, WANG L, BHAGAVATHY S, et al. Using Texture to Analyze and Manage Large Collections of Remote Sensed Image and Video Data[J]. Applied Optics, 2004, 43(2): 210-217.

[28] BOTTOU L, CORTES C, DENKER J S, et al. Comparison of Classifier Methods: A Case Study in Handwritten Digit Recognition[C]//1994 IEEE International Conference on Pattern Recognition, October 9-13, 1994, Jerusalem, Israel. IEEE, 1994: 77-82.

[29] KOVESI P. Phase Congruency Detects Corners and Edges[EB/OL]. [2022-03-15]. https://www.docin.com/p-782365141.html.

[30] YE Y X, YANG C, ZHANG J C, et al. Optical-to-SAR Image Matching Using Multiscale Masked Structure Features[J]. IEEE Geoscience and Remote Sensing Letters, 2022(19): 1-5.

An Optical-to-SAR Remote Sensing Image Matching Method for Wide Area Scene

WANG Qinwei1,2LI Zhang1,2,*JIANG Yuntian1,2BIAN Yijie1,2ZHAO Hong1,2YE Yibin1,2

（1 College of Aerospace Science and Engineering, National University of Defense Technology, Changsha 410073, China）（2 Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation, Changsha 410073, China）

Accurate optical-to-SAR image matching plays a fundamental role in typical remote sensing applications such as visual navigation and image fusion. Current image matching methods mainly focus on imaging differences such as the nonlinear radiation distortion (NRD). The differences of remote sensing image scene are not fully considered in common image matching procedure, which limits the adaptability of image matching methods for different scenes. To address the issues of wide-area image scenes and imaging modality differences in optical-to-SAR image matching, this study proposes a multimodal image matching framework with wide-area image scene classifier. The classifier is built on texture features and used to classify the images into four typical scenes (repetitive texture, non-uniform texture, weak texture and mixed classes). Then we select the corresponding feature descriptor for image matching process for a certain scene. The proposed method is compared with two commonly used optical-to-SAR image matching methods on the public dataset. The proposed method can achieve the best matching results for all typical scenes without increasing the calculation time, which provides a solution for optical-to-SAR remote sensing image matching for wide area scene.

optical image; synthetic aperture radar image; wide area scene; feature descriptor; multimodal image matching; scene classification; remote sensing application

V445

A

1009-8518(2022)05-0109-14

10.3969/j.issn.1009-8518.2022.05.011

2022-05-23

國家自然科學(xué)基金（61801491）；中國博士后基金項(xiàng)目（2021M693972）

王欽煒, 李璋, 江云天, 等. 面向廣域場景的可見光-SAR遙感圖像匹配方法[J]. 航天返回與遙感, 2022, 43(5): 109-122.

WANG Qinwei, LI Zhang, JIANG Yuntian, et al. An Optical-to-SAR Remote Sensing Image Matching Method for Wide Area Scene[J]. Spacecraft Recovery & Remote Sensing, 2022, 43(5): 109-122. (in Chinese)

王欽煒，男，1998年生，2020年獲南京理工大學(xué)兵器科學(xué)與技術(shù)專業(yè)學(xué)士學(xué)位，現(xiàn)在國防科技大學(xué)航空宇航科學(xué)與技術(shù)專業(yè)攻讀碩士學(xué)位。主要研究方向是可見光與SAR圖像匹配。E-mail：wqw20@nudt.edu.cn。

李璋，男，1985年生，2015年獲得代爾夫特理工大學(xué)生物醫(yī)學(xué)工程專業(yè)博士學(xué)位，國防科技大學(xué)空天科學(xué)學(xué)院應(yīng)用力學(xué)系研究員。主要研究方向是圖像測量與視覺導(dǎo)航。E-mail：zhangli_nudt@163.com。

（編輯：龐冰）