基于非線性空間及空間約束的遙感圖像配準(zhǔn)

王亞麗，賴惠成

(新疆大學(xué)信息科學(xué)與工程學(xué)院，新疆烏魯木齊830046)

1 引言

圖像配準(zhǔn)[1]是將同一場(chǎng)景的不同時(shí)間，不同傳感器或不同視點(diǎn)的兩個(gè)或多個(gè)圖像匹配[2]的過(guò)程[1]。它是許多遙感任務(wù)不可或缺的部分，例如變化檢測(cè)，圖像融合和環(huán)境監(jiān)測(cè)等?；谔卣鞯乃惴▽?duì)圖像灰度變化和遮擋具有較好的穩(wěn)定性[2]，并且目前在遙感圖像配準(zhǔn)中使用最多，尺度不變特征變換(SIFT)[3]是經(jīng)典方法。但是，對(duì)于遙感圖像，由于非線性強(qiáng)度映射的顯著差異，正確對(duì)應(yīng)的數(shù)量不足以確認(rèn)匹配精度[4]。為了克服這個(gè)問(wèn)題，Kupfer等人[5]提出了一種快速模式搜索SIFT(MS-SIFT)算法，聯(lián)合了特征點(diǎn)的尺度，方向和位置信息。Gong.M等人[6]提出了基于SIFT和互信息的由粗到精的圖像配準(zhǔn)算法。然而，這些方法仍然無(wú)法對(duì)齊具有大灰度差異的遙感圖像對(duì)。聞等人[7]提出了增強(qiáng)特征匹配方法(PSO-SIFT)，匹配性能得到明顯改善，但是使用高斯尺度空間，容易使邊緣和細(xì)節(jié)變得模糊，導(dǎo)致特征點(diǎn)定位精度差，特征描述子區(qū)別度低。李[8]將非線性擴(kuò)散技術(shù)應(yīng)用在多光譜圖像配準(zhǔn)中，實(shí)驗(yàn)也表明非線性擴(kuò)散濾波能夠增加特征點(diǎn)檢測(cè)和配準(zhǔn)精度，然而該算法用加性算子分裂(AOS)方案[9]求解非線性方程的解析解，AOS方案需要在每個(gè)時(shí)間步驟求解大型線性方程組，比較耗時(shí)。

對(duì)此，本文提出了基于非線性尺度空間的改進(jìn)SIFT遙感圖像配準(zhǔn)算法，用非線性擴(kuò)散方程和快速顯式擴(kuò)散方法(FED)[10]構(gòu)建空間，其優(yōu)勢(shì)在于保留了尺度空間圖像的邊緣和細(xì)節(jié)，同時(shí)提高了速率；改進(jìn)的梯度計(jì)算方法克服了遙感圖像的非線性強(qiáng)度差異問(wèn)題；建立空間約束，改善了配準(zhǔn)結(jié)果，使配準(zhǔn)結(jié)果更精確。

2 SIFT算法[3]原理

2.1 特征點(diǎn)提取

首先高斯函數(shù)建立尺度空間并通過(guò)其相鄰尺度之間的差與圖像卷積建立高斯差分尺度空間，用作高斯拉普拉斯算子的近似。高斯差分尺度空間定義為

D(x，y，σ)=(G(x，y，kσ)-G(x，y，σ))*I(x，y)

(1)

其中k是常量，表示相鄰尺度空間的倍數(shù)，在SIFT算法中常取值為21/3。然后與三維中的26個(gè)點(diǎn)比較，選擇局部極值點(diǎn)作為候選關(guān)鍵點(diǎn)。用擬合三維二次函數(shù)精確候選特征點(diǎn)的位置與尺度，并且刪除低對(duì)比度的候選特征點(diǎn)。

2.2 特征點(diǎn)描述

利用圖像的梯度直方圖，來(lái)確定每個(gè)關(guān)鍵點(diǎn)的主方向。像素的梯度幅度與梯度方向定義為

(2)

(3)

L表示特征點(diǎn)高斯尺度空間圖像，然后，將坐標(biāo)軸旋轉(zhuǎn)為特征點(diǎn)的方向，旋轉(zhuǎn)后以主方向?yàn)橹行娜?*8像素的領(lǐng)域，將其分成16個(gè)子塊，并計(jì)算每個(gè)子塊8方向的梯度幅值，形成128維的描述符。

2.3 特征點(diǎn)匹配

使用描述符上的最小歐幾里德距離作為關(guān)鍵點(diǎn)匹配標(biāo)準(zhǔn)，有關(guān)SIFT的更多細(xì)節(jié)可以在文獻(xiàn)[3]中找到。

3 本文算法

基于非線性尺度空間和改進(jìn)SIFT的遙感圖像配準(zhǔn)主要包括以下幾方面改進(jìn)：

1)用非線性擴(kuò)散方程和快速顯式擴(kuò)散方程構(gòu)建非線性尺度空間。

2)用各向同性Sobel算子計(jì)算尺度空間中以及在求描述符過(guò)程中涉及到的梯度信息。

3)構(gòu)建空間約束條件，包括點(diǎn)和線。

算法整體流程如圖1所。

圖1 配準(zhǔn)流程圖

3.1 構(gòu)建非線性尺度空間

Nuevo等人[10]提出了一種快速多尺度特征檢測(cè)和描述算法A-KAZE.該算法使用非線性擴(kuò)散濾波器和快速顯式擴(kuò)散方程建立非線性尺度空間。

非線性擴(kuò)散方程是

(4)

其中t是比例參數(shù);div是散度操作符;?表示梯度操作符c(x，y，t)是擴(kuò)散系數(shù)，定義為

c(x，y，t)=g(|?Lσ(x，y，t)|)

(5)

其中?Lσ是高斯平滑后圖像的梯度，g定義為

(6)

參數(shù)k是控制擴(kuò)散水平的對(duì)比因子，確定必須保持或取消哪些邊緣。它越大，保留的邊緣信息越少。k值可以根據(jù)經(jīng)驗(yàn)固定或從圖像梯度直方圖估計(jì)[11]，本文取k的經(jīng)驗(yàn)值為梯度幅度統(tǒng)計(jì)直方圖的70%百分位所對(duì)應(yīng)的值。

由于非線性擴(kuò)散方程(1)沒(méi)有解析解，A-KAZE算法使用快速顯式擴(kuò)散(FED)算法獲得近似解，并構(gòu)建金字塔圖像。使用FED算法對(duì)方程(1)離散化可以表示為

(7)

這里，A(Li)表示編碼圖像電導(dǎo)率的圖像，τ表示時(shí)間步長(zhǎng)，Li+1是根據(jù)前一級(jí)解決方案計(jì)算的，如下

Li+1=(I+τA(Li))Li

(8)

這里I表示單位矩陣，考慮到先驗(yàn)估計(jì)Li+1，0=Li，獲得FED的周期為

Li+1，j+1=(I+τjA(Li))Li+1，j

j=0，……n-1

(9)

這里n表示顯式擴(kuò)散步驟的總數(shù)，τj代表相應(yīng)的可變步長(zhǎng)，如下

(10)

這里τmax是最大步長(zhǎng)，不違反顯式方案的穩(wěn)定性條件更多細(xì)節(jié)可以在文獻(xiàn)[10]中找到。

建立非線性尺度空間同SIFT算法類似，將非線性尺度空間離散化為O組，每組S層。定義空間中每層的圖像尺度

σi(o，s)=σ02i+j/s;o∈[0，…O-1]，

s∈[0，…S-1]，i∈[0，…W-1]

(11)

其中σ0表示非線性尺度空間中第一組第一層圖像的尺度，這里將其設(shè)置為1.6。W是平滑圖像的總數(shù);o和s分別是組數(shù)O和層數(shù)S的索引。值得注意的是，這里對(duì)圖像要進(jìn)行下采樣，且一旦生成不同尺度的平滑圖像，就執(zhí)行相鄰尺度之間的差異，然后同原SIFT一樣提取候選關(guān)鍵點(diǎn)與精確定位。由于非線性擴(kuò)散方程是按時(shí)間定義的，因此有必要將比例值轉(zhuǎn)換為時(shí)間值，轉(zhuǎn)換公式為

(12)

3.2 改進(jìn)的梯度計(jì)算方法

在構(gòu)建非線性尺度空間時(shí)，需要計(jì)算圖像的梯度，一般可以通過(guò)一階差分方法獲得。然而，由于非線性強(qiáng)度映射的顯著差異，正確對(duì)應(yīng)的數(shù)量不足以確認(rèn)匹配精度，因此，各向同性Sobel算子用于計(jì)算梯度的大小和方向，以改善描述符的灰度魯棒性。首先由改進(jìn)Sobel算子對(duì)圖像L(x，y)進(jìn)行卷積得到

Rx=H*L(x，y)，Ry=H′*L(x，y)

(13)

(14)

(15)

(16)

(17)

該算法優(yōu)化了GLOH并生成新的特征描述符[12]。使用圓形鄰域和對(duì)數(shù)極坐標(biāo)生成特征描述符。根據(jù)關(guān)鍵點(diǎn)所在圖像尺度σ對(duì)各圓環(huán)半徑進(jìn)行自適應(yīng)調(diào)整，描述子中最大圓環(huán)半徑R1為12σ，R2和R1的比值為0.73，R3和R1的比值為0.25，梯度方向在八個(gè)區(qū)間中量化，最后特征描述子為136維。

3.3 空間約束條件

首先初匹配用最近鄰與次近鄰比值法，并且距離比閾值dratio設(shè)置為0.9。然后通過(guò)快速抽樣一致性(FSC)算法[13]計(jì)算初始變換參數(shù)，然后從兩個(gè)角度構(gòu)建空間約束條件。

1)點(diǎn)約束

正確的對(duì)應(yīng)關(guān)鍵點(diǎn)應(yīng)位于相應(yīng)圖像中的相同位置[14]?？紤]到點(diǎn)坐標(biāo)不可避免的誤差，每個(gè)正確對(duì)應(yīng)點(diǎn)之間的偏差誤差應(yīng)足夠小。由文獻(xiàn)[7]啟示，定義位置歐式距離

PED(i)=(1+ep(i))ED(i)

(18)

其中ED(i)表示對(duì)應(yīng)于關(guān)鍵點(diǎn)描述符的歐幾里德距離。位置轉(zhuǎn)換模型誤差ep(i)定義為

(19)

其中T((x′i，y′i)，μ)是相似變換模型，μ是轉(zhuǎn)換模型參數(shù)。

2)線約束

如果某匹配對(duì)是一對(duì)正確的匹配對(duì)，則該匹配對(duì)與其它點(diǎn)距離的比值應(yīng)該不變，如圖2所示，這稱為距離比不變標(biāo)準(zhǔn)。在實(shí)驗(yàn)中，距離比不變準(zhǔn)則用于得到最精確的結(jié)果。

(20)

這些空間約束逐一前進(jìn)，逐漸縮小范圍，最終得到確切的結(jié)果。最后用快速抽樣一致性算法(FSC)算法從關(guān)鍵對(duì)中找到正確的對(duì)應(yīng)關(guān)系完成圖像配準(zhǔn)。

圖2 兩個(gè)圖像之間的空間約束

4 仿真校驗(yàn)與分析

4.1 測(cè)試數(shù)據(jù)

為了評(píng)估所提出的方法，測(cè)試了四組圖像對(duì)。這些圖像對(duì)如圖3所示。第一對(duì)是來(lái)自美國(guó)地質(zhì)調(diào)查項(xiàng)目的多光譜圖像[7]，Lat /Long：69.6 /-92.7，240-m分辨率。選擇來(lái)自波段5(傳感器：Landsat-7 ETM+，日期：2000/7/24)的尺寸為614×611的區(qū)段作為參考圖像。為了增加測(cè)試數(shù)據(jù)集的難度，在模擬旋轉(zhuǎn)90°之后，選擇來(lái)自第3頻段(傳感器：Landsat 4-5 TM，日期：1999/6/28)的尺寸為614×611的片段作為感覺(jué)到的形象。第二對(duì)是像素為617×593多光譜遙感圖像對(duì)，其中參考圖像是Landsat-7 ETM衛(wèi)星于2004年4月12日提取的第三波段圖像。待配準(zhǔn)的圖像是由Landsat 4-5 TM衛(wèi)星于2006年6月15日提取的第五個(gè)波段圖像。第三組圖像來(lái)自巴西的256×256的遙感圖像對(duì)，其中參考圖像是SPOT傳感器于1995年8月8日提取的第3波段圖像，待配準(zhǔn)的圖像是1994年6月7日由TM傳感器提取的第4波段圖像。第四組圖像是一對(duì)像素為600×500的SAR圖像。

圖3 遙感圖像測(cè)試對(duì)

4.2 評(píng)估標(biāo)準(zhǔn)

1)匹配準(zhǔn)確度：用相應(yīng)匹配關(guān)鍵點(diǎn)之間的均方根誤差(RMSE)[7]來(lái)定量評(píng)估配準(zhǔn)性能，它可以表示為

(21)

其中，(xi-yi)和(yi-y′i)是第i個(gè)匹配點(diǎn)的坐標(biāo)，N代表匹配點(diǎn)的總數(shù)。

2)正確匹配的關(guān)鍵點(diǎn)數(shù)量[7]：由于提出的方法基于關(guān)鍵點(diǎn)，因此穩(wěn)健性在很大程度上取決于關(guān)鍵點(diǎn)的數(shù)量。所以將正確匹配的關(guān)鍵點(diǎn)數(shù)量被用作評(píng)估所提出方法的穩(wěn)健性的標(biāo)準(zhǔn)。因此當(dāng)兩種算法的RMSE彼此接近時(shí)，可以使用正確匹配的關(guān)鍵點(diǎn)數(shù)量進(jìn)行進(jìn)一步比較。

4.3 實(shí)驗(yàn)結(jié)果與分析

圖4給出了非線性尺度空間和高斯尺度空間的簡(jiǎn)要比較，其中圖4(a)是原始圖像，圖4(b)由高斯方程產(chǎn)生，圖4(c)為非線性擴(kuò)散方程產(chǎn)生，二者具有相同的比例。非線性尺度空間和高斯尺度空間之間的差異是顯而易見(jiàn)的。隨著尺度值的增加，高斯尺度圖像變得越來(lái)越模糊，降低了特征點(diǎn)的定位精度，而非線性尺度圖像具有相對(duì)輕微的模糊性，有助于提取更多關(guān)鍵點(diǎn)。

圖4 高斯尺度與非線性尺度空間對(duì)比圖

表1，表2，表3以及表4中分表顯示了四組組測(cè)試圖像對(duì)本文算法與SIFT算法[3]，SAR-SIFT[12]算法和PSO-SIFT[7]算法在匹配精度，正確匹配的關(guān)鍵點(diǎn)數(shù)和平均運(yùn)行時(shí)間方面的實(shí)驗(yàn)比較結(jié)果。算法都在MATLAB R2016a下采用Intel core 3.20GHz處理器和8GB物理內(nèi)存實(shí)現(xiàn)。注意，該算法執(zhí)行十次，十個(gè)運(yùn)行時(shí)間的平均值作為最終運(yùn)行時(shí)間，*表示配準(zhǔn)失敗(RMSE>4)。

表1 第一組圖像算法的比較

表2 第二組圖像算法的比較

表3 第三組圖像算法的比較

表4 第四組圖像算法的比較

前三組測(cè)試圖像對(duì)都是在不同的頻帶和不同的傳感器設(shè)備中獲取的，由于光譜帶不同，遙感圖像對(duì)之間存在一些不規(guī)則的強(qiáng)度映射關(guān)系。SIFT，SAR-SIF算法未能準(zhǔn)確對(duì)齊三組測(cè)試圖像對(duì)，PSO-SIFT算法可以精確配準(zhǔn)三組測(cè)試對(duì)，但是PSO-SIFT算法與本文算法相比，在均方根誤差相差不大的情況下，本文算法的正確匹配點(diǎn)對(duì)數(shù)遠(yuǎn)多于PSO-SIFT算法。可以看出本文算法可以準(zhǔn)確配準(zhǔn)具有不規(guī)則強(qiáng)度映射關(guān)系的多光譜遙感圖像，也證明本文算法在配準(zhǔn)性能上的優(yōu)越性。

第四組測(cè)試圖像對(duì)是一組SAR圖像，SAR-SIFT算法是針對(duì)SAR圖像提出的算法，具有一定的優(yōu)越性，但是本文算法在正確匹配點(diǎn)對(duì)數(shù)上遠(yuǎn)超于SAR-SIFT算法，證明了本文算法可以準(zhǔn)確配準(zhǔn)SAR圖像，也證明了本文算法對(duì)遙感圖像配準(zhǔn)的廣泛性。

為了證明空間約束條件可以提高配準(zhǔn)精度，改善配準(zhǔn)性能，將有空間約束條件與未加空間約束的算法進(jìn)行對(duì)比，如上表所示，構(gòu)建約束條件后，獲得了更多正確的匹配關(guān)鍵點(diǎn)數(shù)，均方根誤差降低，對(duì)準(zhǔn)精度提高。

圖4顯示了本文算法與PSO-SIFT算法特征點(diǎn)匹配的結(jié)果對(duì)比圖，圖4 (a)(c)(e)為PSO-SIFT算法在前三組測(cè)試圖上匹配的結(jié)果，圖4 (b)(d)(f)為本文算法的前三組測(cè)試圖的匹配結(jié)果，可以看出本文算法的匹配效果明顯優(yōu)于PSO-SIFT算法。圖4 (g)為SAR-SIFT算法對(duì)第四組圖像的匹配結(jié)果，圖4 (h)為本文算法對(duì)第四組圖像的匹配結(jié)果圖，可以看出本文算法對(duì)SAR圖像的配準(zhǔn)也有一定的改善。圖6顯示了所提出算法的棋盤(pán)式配準(zhǔn)圖像，可以看出兩個(gè)圖像的邊緣以及區(qū)域都可以精確重疊，因此從直觀方面可以判斷配準(zhǔn)結(jié)果是精確的，也再次證明提出的算法的準(zhǔn)確性以及有效性。

圖5 本文算法與PSO-SIFT算法以及SAR-SIFT算法匹配結(jié)果對(duì)比圖

圖6 棋盤(pán)拼接結(jié)果圖

5 總結(jié)

本文為了實(shí)現(xiàn)遙感圖像的精確配準(zhǔn)，提高非線性灰度的魯棒性，提出了基于非線性尺度空間的改進(jìn)SIFT遙感圖像配準(zhǔn)方法。實(shí)驗(yàn)結(jié)果表明：①用非線性擴(kuò)散方程和快速顯式擴(kuò)散方程生成遙感圖像的多尺度表示，避免了高斯尺度空間的邊界模糊，同時(shí)提高特征點(diǎn)定位精度；②用各向同性Sobel算子計(jì)算梯度幅值和方向，基于優(yōu)化的GLOH生成特征描述符，克服了遙感圖像對(duì)之間不規(guī)則以及復(fù)雜的強(qiáng)度變換關(guān)系，增加了正確匹配點(diǎn)對(duì)個(gè)數(shù)；③利用空間約束獲得了更多正確的匹配關(guān)鍵點(diǎn)數(shù)和更高的對(duì)準(zhǔn)精度。與現(xiàn)有技術(shù)方法相比，所提出的方法，配準(zhǔn)性能得到明顯改善。