深度卷積特征表達(dá)的多模態(tài)遙感影像模板匹配方法

南 軻，齊 華,葉沅鑫

西南交通大學(xué)地球科學(xué)與環(huán)境工程學(xué)院，四川 成都 611756

隨著遙感技術(shù)的發(fā)展，從遙感影像上獲取所需信息已經(jīng)成為一種非常重要的信息獲取手段。不同的衛(wèi)星傳感器對(duì)地觀測(cè)可以為同一地區(qū)提供多光譜、多時(shí)相、多分辨率的多模態(tài)遙感影像(光學(xué)、紅外、SAR等)。這些多模態(tài)遙感影像反映了地物的不同特征，能夠?yàn)榈乇肀O(jiān)測(cè)提供互補(bǔ)的信息，彌補(bǔ)單一影像源的不足，提高影像的信息量[1]。利用多模態(tài)遙感影像進(jìn)行數(shù)據(jù)分析和處理前，必須進(jìn)行嚴(yán)格的匹配或配準(zhǔn)。雖然目前的遙感影像利用軌道參數(shù)和嚴(yán)格幾何定位模型進(jìn)行粗糾正，可消除影像間的旋轉(zhuǎn)和尺度等幾何形變[2]，但是由于多模態(tài)影像間非線性輻射差異較大，即同一地物呈現(xiàn)出完全不同的灰度信息，導(dǎo)致同名點(diǎn)的匹配十分困難，所以多模態(tài)遙感影像的自動(dòng)匹配仍然非常具有挑戰(zhàn)性。

目前，影像匹配方法大致可分為兩種，基于特征的方法和基于區(qū)域的方法[3-4]?；谔卣鞯姆椒ㄊ紫仁菍?duì)影像特征進(jìn)行提取，再利用特征間的相似性進(jìn)行匹配。常見(jiàn)的特征包括點(diǎn)特征(Moravec算子[5]、Harris算子[6]等)、線特征[7](道路、建筑物的邊緣或輪廓)、面特征[8-9](湖泊、草地等)和局部不變性特征(SIFT特征[10-11]、Shape Context[12]等)。這些特征受影像間的非線性輻射差異影響較大，難以反映多模態(tài)影像間的共有屬性，特征檢測(cè)的重復(fù)率往往較低，從而導(dǎo)致匹配效率低下，不能較好應(yīng)用于多模態(tài)遙感影像的自動(dòng)匹配[13]。

基于區(qū)域的方法也稱為模板匹配方法。首先在參考影像上選擇適當(dāng)尺寸的模板窗口，然后在待匹配影像的搜索域中利用某種相似性測(cè)度進(jìn)行匹配，選擇匹配窗口的中心作為同名點(diǎn)。常用的相似性度量有歸一化互相關(guān)(normalized cross correlation，NCC)[14]、互信息(mutual information，MI)[15]等。這些相似性測(cè)度直接利用影像灰度信息計(jì)算，對(duì)灰度信息變化敏感，受輻射差異影響較大，在多模態(tài)遙感影像匹配中表現(xiàn)不佳[16]。最近，有學(xué)者利用影像間的幾何結(jié)構(gòu)特征構(gòu)建相似性測(cè)度，該算法可以較好克服多模態(tài)影像間的輻射差異，獲得較高的匹配正確率，但是其提取的特征冗余，表達(dá)力不夠，而且當(dāng)影像的幾何結(jié)構(gòu)特征不夠豐富時(shí)，其匹配性能可能會(huì)有所下降[2]。

隨著人工智能技術(shù)的發(fā)展，深度學(xué)習(xí)方法已深入應(yīng)用于計(jì)算機(jī)視覺(jué)、圖像處理和大數(shù)據(jù)等方面。在影像匹配領(lǐng)域，目前已有學(xué)者利用深度學(xué)習(xí)方法開(kāi)展相關(guān)研究。文獻(xiàn)[17]分析了不同神經(jīng)網(wǎng)絡(luò)模型用于影像匹配的性能，文獻(xiàn)[18]將空間尺度卷積層加入卷積神經(jīng)網(wǎng)絡(luò)，以加強(qiáng)整體網(wǎng)絡(luò)的抗尺度特性。文獻(xiàn)[19]利用卷積神經(jīng)網(wǎng)絡(luò)開(kāi)展復(fù)雜背景條件下的影像匹配研究。目前大多數(shù)應(yīng)用深度學(xué)習(xí)的匹配研究采用的是基于特征的方法，即先利用特征提取算子在影像間檢測(cè)特征點(diǎn)，再利用深度學(xué)習(xí)技術(shù)構(gòu)建特征點(diǎn)的描述子，最后根據(jù)描述子之間的相似性識(shí)別同名點(diǎn)。由于首先要進(jìn)行特征點(diǎn)檢測(cè)，特征檢測(cè)的性能將大大地影響匹配效率?？紤]到多模態(tài)影像間顯著的輻射差異和噪聲干擾，特征檢測(cè)的重復(fù)率往往較低，即無(wú)法有效地檢測(cè)到共有特征，因此這些方法不能有效地應(yīng)用于多模態(tài)影像的匹配。

Siamese網(wǎng)絡(luò)(孿生網(wǎng)絡(luò))[20-21]是一種檢測(cè)圖像相似性的深度學(xué)習(xí)網(wǎng)絡(luò)模型。Siamese網(wǎng)絡(luò)具有深層次特征提取能力，被認(rèn)為是一種高效的深層網(wǎng)絡(luò)，并且它可以通過(guò)深層網(wǎng)絡(luò)學(xué)習(xí)來(lái)提取影像間的共有特征，提高影像在不同模態(tài)情況下的相似性檢測(cè)性能，能有效地抵抗影像間的非線性輻射差異。鑒于此，本文將Siamese網(wǎng)絡(luò)應(yīng)用于多模態(tài)遙感影像匹配，通過(guò)對(duì)其進(jìn)行優(yōu)化，使該網(wǎng)絡(luò)能有效地提取影像間的共有特征，然后采用模板匹配策略，避免特征檢測(cè)重復(fù)率的影響，來(lái)實(shí)現(xiàn)多模態(tài)遙感影像高精度匹配。

1 基于Siamese網(wǎng)絡(luò)的影像相似性檢測(cè)

Siamese網(wǎng)絡(luò)是一種提取訓(xùn)練樣本對(duì)的深層次特征用于影像相似性檢測(cè)的深度學(xué)習(xí)網(wǎng)絡(luò)模型。它包含兩個(gè)分支網(wǎng)絡(luò)和一個(gè)決策網(wǎng)，如圖1[17]所示。

圖1 Siamese網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Siamese network structure schematics

在Siamese網(wǎng)絡(luò)中，分支網(wǎng)絡(luò)包含卷積層、池化層、全連接層等，決策網(wǎng)絡(luò)可以是全連接層，也可以是某種相似性度量算法[17]。卷積層用于提取訓(xùn)練影像對(duì)的特征。池化層一方面可以非常有效地縮小矩陣尺寸，降低輸入影像或特征空間的空間分辨率，減少特征和參數(shù)，簡(jiǎn)化網(wǎng)絡(luò)計(jì)算復(fù)雜度，提高計(jì)算速度；另一方面，池化層可以進(jìn)行特征壓縮，減少特征信息，提取主要特征，理想狀態(tài)下保留顯著特征，保持特征空間的某種不變性(平移、旋轉(zhuǎn)等)[22-23]。全連接層相當(dāng)于一個(gè)特征空間變換，可以把特征信息進(jìn)行整合，降低特征維數(shù)，再加上激活函數(shù)的非線性映射，多層(兩層及以上)全連接層理論上可以模擬任何非線性變換[23]。Siamese網(wǎng)絡(luò)是對(duì)影像對(duì)同時(shí)訓(xùn)練的網(wǎng)絡(luò)模型，兩個(gè)分支網(wǎng)絡(luò)的權(quán)值共享。它同時(shí)提取訓(xùn)練樣本對(duì)的深層次特征，然后根據(jù)特征相似性判斷影像是否相似。因此，Siamese網(wǎng)絡(luò)提取的深層次特征可反映影像間的共有屬性，深層次特征可看作樣本對(duì)的共有特征。傳統(tǒng)的Siamese網(wǎng)絡(luò)中包含池化層，這些網(wǎng)絡(luò)可以較好地應(yīng)用于基于特征的匹配方法。在模板匹配過(guò)程中，池化層減少特征信息，提取主要特征，保持的特征不變性會(huì)使Siamese網(wǎng)絡(luò)對(duì)小范圍偏移的影像相似性檢測(cè)不敏感，無(wú)法滿足模板匹配的逐像素滑動(dòng)匹配的精度要求，造成匹配正確率降低。

本文在傳統(tǒng)Siamese網(wǎng)絡(luò)模型的基礎(chǔ)上構(gòu)建了一種影像相似性檢測(cè)模型。該網(wǎng)絡(luò)模型去除了特征提取過(guò)程中的池化層，將每一個(gè)卷積層生成的特征空間完整的表達(dá)并向下層傳遞，使模型提取的特征的空間信息更加完整，定位精度更高。該網(wǎng)絡(luò)模型可以有效地抵抗多模態(tài)遙感影像間非線性輻射差異和噪聲干擾，提取影像間共有特征的同時(shí)保證其定位精度，實(shí)現(xiàn)多模態(tài)遙感影像相似性的準(zhǔn)確檢測(cè)，并且滿足模板匹配的定位精度需求，模型如圖2所示。

圖2 本文網(wǎng)絡(luò)模型Fig.2 The proposed network model

該網(wǎng)絡(luò)模型的兩個(gè)分支網(wǎng)絡(luò)完全相同且權(quán)值共享，每個(gè)分支網(wǎng)絡(luò)包含兩部分，特征提取和特征降維，特征提取由6個(gè)卷積層組成，特征降維由3個(gè)全連接層組成，單個(gè)分支網(wǎng)絡(luò)如圖2所示。分支網(wǎng)絡(luò)的詳細(xì)參數(shù)如下

C(8,3,1)-Relu-BN(8)-C(16,7,1)-Relu-BN(16)-C(32,7,1)-Relu-BN(32)-C(128,7,1)-Relu-BN(128)-C(256,7,1)-Relu-BN(256)-C(64,7,1)-Relu-BN(64)-F(512)-Relu-F(512)-Relu-F(300)

式中，C(n,m,k)表示卷積層有n個(gè)卷積核，卷積核大小為m×m，步長(zhǎng)為k；Relu表示激活函數(shù)為Relu激活函數(shù)；BN(n)表示n維樣本批量標(biāo)準(zhǔn)化；F(n)表示全連接層輸出為n維。

用于網(wǎng)絡(luò)模型訓(xùn)練的訓(xùn)練影像對(duì)可分為正樣本對(duì)和負(fù)樣本對(duì)，正負(fù)樣本對(duì)均有標(biāo)簽進(jìn)行區(qū)別。其中，正樣本對(duì)對(duì)應(yīng)標(biāo)簽為0，負(fù)樣本對(duì)對(duì)應(yīng)標(biāo)簽為1。訓(xùn)練損失函數(shù)如下[24]

(1)

(2)

在訓(xùn)練過(guò)程中，最小化來(lái)自正樣本對(duì)的損失函數(shù)值，最大化來(lái)自負(fù)樣本對(duì)的損失函數(shù)值，從而提取的共有特征對(duì)正負(fù)樣本對(duì)有很好的區(qū)分效果，進(jìn)而提高影像對(duì)相似性檢測(cè)的準(zhǔn)確性。當(dāng)樣本對(duì)導(dǎo)入該網(wǎng)絡(luò)模型后，分支網(wǎng)絡(luò)中卷積層提取樣本共有特征，全連接層將共有特征降維并以n維特征向量的形式表達(dá)。決策網(wǎng)絡(luò)以歐氏距離作為相似性度量，對(duì)訓(xùn)練樣本對(duì)提取的共有特征計(jì)算歐氏距離并輸出結(jié)果。根據(jù)歐氏距離的大小反映樣本之間的相似性。

在試驗(yàn)過(guò)程中發(fā)現(xiàn)，特征降維會(huì)對(duì)匹配性能精度產(chǎn)生影響。筆者分析認(rèn)為，模板匹配過(guò)程中，全連接層破壞特征空間結(jié)構(gòu)，使特征信息丟失表達(dá)不全面，造成模板匹配正確率降低。因此，這里直接將網(wǎng)絡(luò)模型中特征提取的最后一層卷積層輸出的特征代入決策網(wǎng)絡(luò)中，以歐氏距離作為相似性度量，進(jìn)行模板匹配，取得了較高的匹配精度。下面通過(guò)對(duì)比試驗(yàn)對(duì)此進(jìn)行分析。

圖3是本文方法與傳統(tǒng)Siamese網(wǎng)絡(luò)(包含一個(gè)池化層)的模板匹配正確率的進(jìn)行對(duì)比。由曲線可以看出，池化和特征降維均無(wú)法較好地應(yīng)用于模板匹配，池化和特征降維會(huì)使特征定位精度降低，特征信息表達(dá)不完整，曲線趨于平緩后匹配正確率分別為80%、9%。根據(jù)本文方法提取未降維特征的匹配正確率曲線在網(wǎng)絡(luò)模型訓(xùn)練12輪之后趨于平緩，匹配正確率穩(wěn)定在98%，更加適用于多模態(tài)遙感影像的匹配。

圖3 方法對(duì)比Fig.3 Comparison of the proposed method and traditional method

圖4是用于試驗(yàn)的一對(duì)SAR和光學(xué)影像，模板尺寸為72×72像素，通過(guò)對(duì)比水平方向偏移的相似性曲線來(lái)說(shuō)明降低特征矩陣分辨率(池化層)對(duì)匹配性能的影響。試驗(yàn)過(guò)程中，傳統(tǒng)Siamese網(wǎng)絡(luò)采用一層最大池化層，池化窗口大小為2×2。從圖5中可以看出，池化層進(jìn)行特征壓縮，減少特征信息，提取主要特征，降低特征空間分辨率，保持特征空間不變性使網(wǎng)絡(luò)模型對(duì)逐像素滑動(dòng)匹配敏感度降低，造成相似性曲線的峰值區(qū)域區(qū)分度不明顯，峰值無(wú)法出現(xiàn)在正確位置上。

圖4 試驗(yàn)影像Fig.4 Experiment image

圖5 水平方向相似性曲線Fig.5 Horizontal similarity curves

2 多模態(tài)遙感影像模板匹配流程

利用上述優(yōu)化的Siamese網(wǎng)絡(luò)模型提取多模態(tài)遙感影像間的共有特征用于影像匹配。根據(jù)模板匹配的思想，在參考影像合適位置構(gòu)建匹配模板，在待匹配影像確定搜索域，隨后提取共有特征并計(jì)算二者的歐氏距離，搜索域中歐氏距離最小的位置便是匹配最佳的位置。本文提出的影像匹配方法分為兩個(gè)階段，模型訓(xùn)練階段和模板匹配階段。在模型訓(xùn)練階段，利用訓(xùn)練數(shù)據(jù)進(jìn)行模型訓(xùn)練。訓(xùn)練數(shù)據(jù)中正樣本對(duì)來(lái)自已經(jīng)配準(zhǔn)好的影像，負(fù)樣本對(duì)來(lái)自未配準(zhǔn)的影像。每對(duì)正負(fù)樣本對(duì)均包含獨(dú)立標(biāo)簽，用于網(wǎng)絡(luò)模型訓(xùn)練。在模板匹配階段，首先在參考影像中提取Harris特征點(diǎn)，確定模板區(qū)域，在輸入影像上確定搜索區(qū)域，利用訓(xùn)練好的網(wǎng)絡(luò)模型提取模板區(qū)域和搜索區(qū)域的共有特征并計(jì)算歐氏距離，將歐氏距離最小的位置作為最匹配點(diǎn)，直到所有特征點(diǎn)找到對(duì)應(yīng)的匹配點(diǎn)。匹配流程如圖6所示。

圖6 匹配流程Fig.6 Matching process

3 試 驗(yàn)

本文進(jìn)行了多組試驗(yàn)用于驗(yàn)證本文方法性能，分別從匹配正確率、均方根誤差(root mean square error，RMSE)和相似性圖等方面進(jìn)行詳細(xì)評(píng)價(jià)和分析并與NCC、MI、表示幾何結(jié)構(gòu)相似性的HOPC(histogram of orientated phase congruency)[2]方法以及基于傳統(tǒng)Siamese網(wǎng)絡(luò)的深度學(xué)習(xí)方法進(jìn)行對(duì)比。試驗(yàn)硬件平臺(tái)CPU為Inter(R) Xeon(R)E5-2640 v4 2.40 GHz，GPU為NVIDIA Tesla P40 24 GB,內(nèi)存為128 GB配置,采用PyTorch深度學(xué)習(xí)框架實(shí)現(xiàn)具體卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練和匹配試驗(yàn)。

3.1 試驗(yàn)準(zhǔn)備

本節(jié)共設(shè)置4組多模態(tài)遙感影像試驗(yàn)，兩組試驗(yàn)為光學(xué)和紅外遙感影像試驗(yàn)，兩組試驗(yàn)為光學(xué)和雷達(dá)遙感影像試驗(yàn)(圖7)。每組數(shù)據(jù)都利用嚴(yán)格幾何定位模型和軌道參數(shù)進(jìn)行粗糾正，消除了影像間的旋轉(zhuǎn)和尺度等幾何形變，影像間僅存在一定量的平移差異。盡管如此，影像間仍然存在顯著的非線性輻射差異，匹配難度較大。具體試驗(yàn)數(shù)據(jù)如表1所示。

表1 試驗(yàn)數(shù)據(jù)介紹

圖7 試驗(yàn)數(shù)據(jù)Fig.7 Experiment data

3.2 訓(xùn)練數(shù)據(jù)集準(zhǔn)備

準(zhǔn)備4組已配準(zhǔn)的多模態(tài)遙感影像數(shù)據(jù)，分別采集用于網(wǎng)絡(luò)模型訓(xùn)練和驗(yàn)證的正負(fù)樣本對(duì)。樣本尺寸為65×65像素。每組正樣本對(duì)即相同位置的影像圖塊。每組負(fù)樣本對(duì)是隨機(jī)平移若干個(gè)像素模擬未配準(zhǔn)情況。每組樣本對(duì)賦予一對(duì)相同數(shù)字的標(biāo)簽用以區(qū)分。在試驗(yàn)1中，用于訓(xùn)練的正負(fù)樣本對(duì)分別為59 535對(duì)和59 051對(duì)，用于驗(yàn)證的正負(fù)樣本對(duì)分別為4990對(duì)和4980對(duì)。在試驗(yàn)2中，用于訓(xùn)練的正負(fù)樣本對(duì)分別為62 500對(duì)和58 186對(duì)，用于驗(yàn)證的正負(fù)樣本對(duì)分別為5300對(duì)和5152對(duì)。在試驗(yàn)3中，用于訓(xùn)練的正負(fù)樣本對(duì)分別為60 577對(duì)和50 278對(duì)，用于驗(yàn)證的正負(fù)樣本對(duì)分別為5530對(duì)和5400對(duì)。在試驗(yàn)4中，用于訓(xùn)練的正負(fù)樣本對(duì)分別為56 147對(duì)和56 147對(duì)，用于驗(yàn)證的正負(fù)樣本對(duì)分別為5210對(duì)和5330對(duì)。

3.3 模型訓(xùn)練

每組試驗(yàn)網(wǎng)絡(luò)模型訓(xùn)練的過(guò)程相同。以試驗(yàn)1數(shù)據(jù)為例，模型訓(xùn)練以64個(gè)樣本對(duì)為一組做批次訓(xùn)練，一輪訓(xùn)練需1852批次(根據(jù)樣本對(duì)數(shù)量而定)，模型訓(xùn)練的迭代輪數(shù)最大為50輪，當(dāng)每輪訓(xùn)練損失函數(shù)值之差小于0.001時(shí)停止訓(xùn)練。梯度優(yōu)化算法使用隨機(jī)梯度下降(stochastic gradient descent，SGD)，學(xué)習(xí)率為0.001。

3.4 性能對(duì)比

為了驗(yàn)證本文方法的匹配性能，這里與其他模板匹配方法(NCC、MI、HOPC)在匹配正確率(容差為1.5個(gè)像素)、RMSE和相似性圖進(jìn)行結(jié)果對(duì)比和詳細(xì)分析。由于本文方法的訓(xùn)練樣本和匹配模板均使用65×65像素，為了保證不同方法性能對(duì)比的一致性和客觀性，其他模板匹配方法也使用相同尺寸的模板窗口。在匹配過(guò)程中，首先采用Harris特征點(diǎn)在參考影像上提取均勻分布[26]的200個(gè)特征點(diǎn)，然后在待匹配影像上確定21×21像素的搜索區(qū)域，并進(jìn)行模板匹配。

為了更直觀地定性比較幾種方法的匹配效果，本文將滑動(dòng)匹配過(guò)程中計(jì)算得到的搜索域的歐氏距離可視化表達(dá)成相似性圖，將NCC、MI、HOPC和傳統(tǒng)Siamese網(wǎng)絡(luò)方法類似地進(jìn)行可視化表達(dá)。為了統(tǒng)一標(biāo)準(zhǔn)和便于比較，本文首先對(duì)不同數(shù)據(jù)歸一化處理然后再進(jìn)行可視化表達(dá)。相似性如圖8所示，自上至下分別為4組試驗(yàn)，第1列為模板影像，第7列為待匹配影像，第2至6列分別為NCC、MI、HOPC、傳統(tǒng)Siamese網(wǎng)絡(luò)方法和本文方法的相似性圖。紅色表示相似性越高，藍(lán)色表示相似性越低。參考影像和待匹配影像是完全配準(zhǔn)的，因此當(dāng)模板滑動(dòng)位于待匹配影像中心位置時(shí)，模板處于正確的匹配位置。從圖8中易看出，NCC、MI方法抵抗多模態(tài)影像非線性輻射差異效果不佳，未能找到正確匹配位置；HOPC方法和傳統(tǒng)Siamese網(wǎng)絡(luò)方法的匹配位置與中心位置有偏差，相似性圖存在雙峰或多峰或峰值不明顯，峰值范圍大；本文方法相似性圖清晰簡(jiǎn)單，峰值位置處于搜索域中心位置，峰值范圍小，定位準(zhǔn)確，性能最優(yōu)。

圖8 相似性圖Fig.8 Similarity maps

表2中顯示了4組試驗(yàn)不同方法的匹配正確率和RMSE?？傮w來(lái)看，NCC方法在4組試驗(yàn)中匹配正確率最低。這是因?yàn)镹CC方法對(duì)于影像間的灰度只具有線性不變性，當(dāng)輻射差異較大，尤其是非線性的輻射差異時(shí)，NCC方法通常不能得到滿意的匹配效果。MI方法匹配正確率雖優(yōu)于NCC方法，但整體匹配正確率較低，4組試驗(yàn)中匹配正確率最高為40.5%，最低僅22%，無(wú)法滿足模板匹配的準(zhǔn)確率要求。這是因?yàn)镸I方法是根據(jù)像元灰度值的概率分布計(jì)算信息熵實(shí)現(xiàn)匹配的，需要大量計(jì)算影像灰度直方圖，容易出現(xiàn)局部極值產(chǎn)生誤匹配現(xiàn)象[27]。HOPC方法利用影像間的幾何結(jié)構(gòu)信息，獲得較高的匹配正確率。但是，由于4組試驗(yàn)影像的幾何結(jié)構(gòu)信息豐富程度不盡相同，4組試驗(yàn)匹配正確率起伏較大，該方法同樣存在局限性。基于傳統(tǒng)Siamese網(wǎng)絡(luò)的深度學(xué)習(xí)方法由于網(wǎng)絡(luò)中存在池化層使得特征信息減少，特征定位精度降低，從而造成該方法匹配正確率較低。

表2 試驗(yàn)結(jié)果對(duì)比

本文方法在匹配正確率上表現(xiàn)最佳，均保持95%以上的匹配正確率。這說(shuō)明了本文方法通過(guò)對(duì)Siamese網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，可有效地提取多模態(tài)影像間的共有特征，增強(qiáng)了影像匹配的穩(wěn)健性。另外本文方法的RMSE最小，這說(shuō)明本文方法的匹配精度最高。如圖9所示，本文方法的匹配點(diǎn)都非常正確地定位在多模態(tài)影像的同名區(qū)域。這些試驗(yàn)表明了本文方法在匹配穩(wěn)定性和精確度方面都優(yōu)于其他4種方法，可有效地實(shí)現(xiàn)多模態(tài)遙感影像的自動(dòng)匹配。

圖9 試驗(yàn)結(jié)果Fig.9 Experiment results

4 結(jié) 論

針對(duì)多模態(tài)遙感影像匹配中非線性輻射差異引起的困難問(wèn)題，本文將深度學(xué)習(xí)方法引入模板匹配中，構(gòu)建了一種提取影像間的共有特征的Siamese網(wǎng)絡(luò)模型，對(duì)此進(jìn)行優(yōu)化，使其適用于多模態(tài)遙感影像匹配。為了驗(yàn)證本文方法的性能和表現(xiàn)，將其與NCC、MI、HOPC、基于傳統(tǒng)Siamese網(wǎng)絡(luò)的深度學(xué)習(xí)等方法進(jìn)行詳細(xì)的對(duì)比與分析，結(jié)果表明：本文方法在多組多模態(tài)遙感影像匹配試驗(yàn)中匹配正確率最高，匹配精度較傳統(tǒng)的NCC、MI和傳統(tǒng)Siamese網(wǎng)絡(luò)方法有明顯提升，并且優(yōu)于目前精度較高的HOPC方法。這說(shuō)明本文方法可以有效抵抗多模態(tài)遙感影像間輻射差異，獲得高精度的同名匹配點(diǎn)，從而獲得可靠的匹配精度。

由于本文方法需要事先人工配準(zhǔn)影像進(jìn)行訓(xùn)練數(shù)據(jù)的采集，因此，本文方法在模型訓(xùn)練階段較為耗時(shí)，存在局限性。此外，模型結(jié)構(gòu)仍有優(yōu)化空間，訓(xùn)練樣本的數(shù)量和質(zhì)量與匹配準(zhǔn)確度之間的關(guān)系還需要進(jìn)一步的探究。本文的試驗(yàn)前提是利用衛(wèi)星影像的軌道參數(shù)和嚴(yán)格定位模型對(duì)其進(jìn)行粗糾正,消除影像間的旋轉(zhuǎn)和尺度差異。因此，對(duì)于具有顯著旋轉(zhuǎn)和尺度變化的多模態(tài)數(shù)據(jù)的匹配，有待進(jìn)一步研究。