基于局部線(xiàn)性轉(zhuǎn)換的無(wú)人機(jī)影像拼接技術(shù)

劉天宇，趙高鵬

（南京理工大學(xué)自動(dòng)化學(xué)院，江蘇南京210094）

無(wú)人機(jī)（Unmanned Aerial Vehicle，UAV）是一種獲取航空影像數(shù)據(jù)的重要工具，無(wú)人機(jī)影像具有實(shí)時(shí)性強(qiáng)、獲取方式靈活、獲取成本低等優(yōu)點(diǎn)，其應(yīng)用已從最初的軍事領(lǐng)域擴(kuò)展到民用領(lǐng)域，在海岸監(jiān)視、城市規(guī)劃、資源勘查、氣象觀測(cè)、林業(yè)普查等眾多活動(dòng)中發(fā)揮著越來(lái)越重要的作用[1]。

無(wú)人機(jī)在獲取影像時(shí)受到飛行高度，相機(jī)焦距以及分辨率的限制，拍攝的單張影像視野很小，僅通過(guò)一張影像無(wú)法掌握整個(gè)區(qū)域的情況，因此，如何快速獲取較寬視野的無(wú)人機(jī)影像成為其應(yīng)用的關(guān)鍵[2-3]。目前，常用的方法是基于特征點(diǎn)的影像拼接[4-5]，即通過(guò)對(duì)無(wú)人機(jī)影像進(jìn)行處理，尋找相鄰圖像上的同名特征點(diǎn)進(jìn)行匹配，然后剔除相應(yīng)的誤匹配點(diǎn)，最后根據(jù)所得變換模型對(duì)影像進(jìn)行無(wú)縫拼接。影像拼接中所采用的匹配算法在很大程度上影響無(wú)人機(jī)影像拼接的速度和精度。

目前國(guó)內(nèi)外有許多學(xué)者對(duì)無(wú)人機(jī)影像的拼接技術(shù)進(jìn)行研究。文獻(xiàn)[6]提出一種基于擴(kuò)展差分圖像的拼接方法；文獻(xiàn)[7]提出一種約束化三角剖分的拼接方法；文獻(xiàn)[8]提出一種基于GA-SIFT和自適應(yīng)閾值的拼接方法；文獻(xiàn)[9]提出一種基于特征波段選擇的拼接方法；文獻(xiàn)[10]提出以衛(wèi)星影像為底圖的拼接方法；文獻(xiàn)[11]提出一種基于單目SLAM的拼接方法。

在以上的基礎(chǔ)上，針對(duì)無(wú)人機(jī)影像拼接累計(jì)誤差大，速度慢的特點(diǎn)，本文在采用SURF算法[12]提取特征點(diǎn)后，在經(jīng)過(guò)初匹配后，引入一種魯棒的LLT局部線(xiàn)性轉(zhuǎn)換法[13]進(jìn)行誤匹配點(diǎn)剔除，然后選取漸入漸出法對(duì)圖像進(jìn)行無(wú)縫拼接。最后，通過(guò)多組實(shí)驗(yàn)證明本文方法的有效性。

圖1　算法流程圖

1　基于局部線(xiàn)性轉(zhuǎn)換的拼接算法

1.1　特征點(diǎn)提取

無(wú)人機(jī)在拍攝影像時(shí)，由于受到外界環(huán)境以及自身穩(wěn)定性的影響，拍攝的影像可能存在平移、旋轉(zhuǎn)、尺度變換等情況，因此，要求檢測(cè)的特征點(diǎn)具有較好的魯棒性。拼接后期隨著圖片的累積，特征點(diǎn)數(shù)目增加，因此對(duì)特征點(diǎn)提取速率也有很高的要求。SURF（Speeded Up Robust Features）算法由 Bay于 2006年提出，是 SIFT（Scale Invariant Feature Transform）算法的一種改進(jìn)，對(duì)圖像平移、旋轉(zhuǎn)、尺度變換及遮擋等有較好的適應(yīng)性。與SIFT算法相比，SURF實(shí)現(xiàn)了更快的特征提取速度。因此，本文采用SURF算法來(lái)提取特征點(diǎn)。

1.2　特征點(diǎn)匹配

通過(guò)SURF算法提取到大量特征點(diǎn)后，需要對(duì)影像間的同名點(diǎn)進(jìn)行匹配?；舅悸肥菍?duì)一張影像中的某一個(gè)特征點(diǎn)，采取一種搜索策略，在鄰近的目標(biāo)影像中作搜索，找到與之距離最近和次近的特征點(diǎn)，基于最鄰近距離比值法（Nearest Neighbor Distance Ratio，NNDR），刪除最近鄰和次近鄰點(diǎn)距離比值大于設(shè)定閾值的特征點(diǎn)，最終得到初步的匹配點(diǎn)。

由于影像間可能存在各種幾何及光度變換、噪聲、量化誤差及相似局部結(jié)構(gòu)等多種因素影響，僅僅依靠距離閾值作約束條件不可避免存在一定的錯(cuò)誤匹配，因此需要引入其它約束對(duì)匹配結(jié)果進(jìn)行提純。目前最為流行的是RANSAC（Random Sample Con?sensus，隨機(jī)抽樣一致）算法。

但是RANSAC算法是一種不確定算法，因?yàn)樗惴ú淮_定，只是由一定的概率得到一個(gè)合理的結(jié)果，為了提高這一概率，必須提高迭代的次數(shù)，大大降低了拼接的效率，在準(zhǔn)確性和速度上無(wú)法同時(shí)達(dá)到無(wú)人機(jī)影像配準(zhǔn)的要求。對(duì)此，文中引入了一種基于局部線(xiàn)性轉(zhuǎn)換的提純算法，LLT（Locally Linear Trans?forming，局部線(xiàn)性轉(zhuǎn)換）算法。

LLT算法引入了一個(gè)統(tǒng)一的最大似然函數(shù)來(lái)估計(jì)初匹配后點(diǎn)集間的轉(zhuǎn)換關(guān)系，引入一個(gè)變量zn∈{0,1}，zn=1時(shí)匹配點(diǎn)正確，為0時(shí)則為誤匹配點(diǎn)。通過(guò)EM（Expectation-Maximization，最大期望）算法[14]來(lái)估計(jì)正確的內(nèi)點(diǎn)集，然后建立一個(gè)類(lèi)似于LLE（Locally Linear Embedding，局部線(xiàn)性嵌入）[15-19]的局部幾何約束來(lái)確保最優(yōu)解的適應(yīng)性。這個(gè)局部幾何約束可以保存鄰近特征點(diǎn)在轉(zhuǎn)換后的幾何構(gòu)造特征，從而可以獲得正確的匹配點(diǎn)。

根據(jù)文獻(xiàn)[13]，令初匹配后的N對(duì)特征點(diǎn)集為S={（xn,yn）}N

n=1，其中xn，yn是兩個(gè)2-D列向量分別帶有兩幅影像上特征點(diǎn)的空間位置信息，X=（x1,…,xN）T和Y=（y1,…,yN）T是兩個(gè)N×2 階矩陣代表兩個(gè)影像間的特征點(diǎn)集。為了不失一般性，假設(shè)正確匹配點(diǎn)的噪音是具有零均值和協(xié)方差σ2I的各向同性高斯分布，誤匹配點(diǎn)則滿(mǎn)足均勻分布。引入一個(gè)變量zn∈{0,1}，zn=1時(shí)匹配點(diǎn)為正確，為0時(shí)則為誤匹配點(diǎn)。為了得到最后的似然函數(shù)，算法引入一個(gè)參數(shù)集θ={T,σ2,γ}。T為轉(zhuǎn)換方程表示圖像間的幾何關(guān)系，對(duì)于正確匹配點(diǎn) （xn,yn），yn=T（xn）。γ表示在引入變量zn上的邊緣分布（也就是任意zn，1/a表示誤匹配點(diǎn)滿(mǎn)足的均勻分布，a為第二張圖片的面積也就是yn的范圍。

考慮到無(wú)人機(jī)影像的特點(diǎn)，以仿射變換為模型，假設(shè)變換方程為yn=T（xn）=Axn+t，A是一個(gè) 2×2階仿射矩陣，t是一個(gè)2×1階轉(zhuǎn)換向量，具體的算法流程如下：

其中，K是線(xiàn)性構(gòu)造中鄰近點(diǎn)的數(shù)量，λ是一個(gè)控制局部幾何約束在轉(zhuǎn)換中影響程度的參數(shù)，τ是判斷匹配點(diǎn)是否正確的閾值。

輸出：正確匹配點(diǎn)集Γ。

步驟1）：初始化γ，A=I，t=0，P=IN×N。

其中，P=diag（p1,…,pN）為一個(gè)對(duì)角矩陣，是一個(gè)后驗(yàn)概率表示匹配正確的概率。

步驟2）：根據(jù)方程（1）初始化σ2。

步驟3）：為X中每一個(gè)特征點(diǎn)搜索K個(gè)鄰近點(diǎn)。

步驟4）：通過(guò)方程（2）計(jì)算W。

步驟5）：重復(fù)迭代EM算法至收斂：

E-Step:根據(jù)方程（3）計(jì)算P

M-Step:根據(jù)方程（4）計(jì)算和

根據(jù)方程（5）（6）分別計(jì)算A和t；

根據(jù)方程（1）（7）跟新σ2和γ；

1.3　圖像無(wú)縫拼接

由于視差效應(yīng)、拍攝環(huán)境變化以及配準(zhǔn)誤差等因素的影響，圖像間難免會(huì)存在光照、色彩等差異。圖像融合就是要消除圖像光強(qiáng)或色彩的不連續(xù)性。它的主要思想是讓圖像在拼接處的光強(qiáng)平滑過(guò)渡以消除光強(qiáng)的突變。目前常見(jiàn)的融合算法有平均值法、多分辨率樣條技術(shù)和小波變換等。本文采用一種加權(quán)融合法——漸入漸出法。

設(shè)f1，f2分別代表待融合的兩幅已配準(zhǔn)影像，f代表最后的拼接圖像，則漸入漸出法的數(shù)學(xué)描述為：

式（8）中，d1、d2分別為f1和f2的權(quán)值，通常取d=1/w，w為重疊寬度，且d1+d2=1，0

漸入漸出法在選擇權(quán)值上對(duì)平均值法做出了改進(jìn)，能夠較好地解決圖像的光照變化問(wèn)題，同時(shí)算法簡(jiǎn)單直接、復(fù)雜度低、融合速度快，能夠滿(mǎn)足無(wú)人機(jī)影像拼接的需求。

綜上，本文算法總體流程如圖1所示。

圖1　算法流程圖

2　實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)設(shè)置：文中參數(shù)設(shè)置為K=15，λ=1000，τ=0.75，初始化γ=0.9。為了驗(yàn)證本文方法的有效性，在MATLAB 2012b下進(jìn)行仿真實(shí)驗(yàn)，PC配置是CPU為Intel Core i3-2350M，主頻為2.30 GHz，內(nèi)存為4 GB。

實(shí)驗(yàn)一：特征檢測(cè)與匹配試驗(yàn)。分別用SURF+RANSAC算法和本文SURF+LLT算法對(duì)圖2三組不同影像進(jìn)行配準(zhǔn)實(shí)驗(yàn)，其中a1，a2為一組800×800像素光照變化明顯的圖片，b1，b2為一組3072×2304像素旋轉(zhuǎn)變化明顯的圖片，c1，c2為一組720×480像素縮放變化明顯的圖片。

我們將實(shí)驗(yàn)的結(jié)果以表格的形式給出，表1，表2，表3給出了不同情況下本文方法和經(jīng)典RANSAC算法的對(duì)比。其中，總匹配點(diǎn)數(shù)是用最鄰近比值法初步匹配后的結(jié)果，以RANSAC迭代次數(shù)超過(guò)4×105次后取得的匹配點(diǎn)作為參考標(biāo)準(zhǔn)正確值（實(shí)際操作中迭代次數(shù)過(guò)高時(shí)間過(guò)長(zhǎng)不可?。?，最終匹配點(diǎn)數(shù)是經(jīng)過(guò)RANSAC（迭代4000次）或LLT算法去除誤匹配點(diǎn)后的結(jié)果，最終誤匹配點(diǎn)是和假定正確匹配點(diǎn)做比較后不一致的匹配點(diǎn)數(shù)。為了盡可能檢測(cè)更多的特征點(diǎn)來(lái)比較兩個(gè)算法，在用SURF算法提取特征點(diǎn)時(shí)，此處將Threshold值調(diào)為0.0001，在后續(xù)的拼接實(shí)驗(yàn)中將改為0.002。表格中p表示絕對(duì)正確率（最終匹配正確點(diǎn)數(shù)/最終匹配點(diǎn)數(shù)）。

圖2　待匹配的3組不同圖片

表1　不同方法對(duì)a1，a2進(jìn)行匹配結(jié)果比較

表2　不同方法對(duì)b1，b2進(jìn)行匹配結(jié)果比較

表3　不同方法對(duì)c1，c2進(jìn)行匹配結(jié)果比較

從表1，表2，表3中可以看出，面對(duì)不同特點(diǎn)的待匹配圖片，盡管RANSAC算法得到的最終匹配點(diǎn)數(shù)比本文算法要多，但是誤匹配點(diǎn)卻有很多，絕對(duì)正確率遠(yuǎn)不如本文的算法，并且本文算法在效率上也比RANSAC要高得多。因此，在正確匹配點(diǎn)足夠滿(mǎn)足拼接需求時(shí)，本文算法要優(yōu)于SURF+RANSAC算法。

實(shí)驗(yàn)二：兩幅圖像拼接實(shí)驗(yàn)。利用本文提出的方法對(duì)圖3（a）和圖3（b）進(jìn)行無(wú)縫拼接，兩幅圖為1024×683像素，圖4（a）和圖4（b）分別為本文算法初匹配結(jié)果和最終匹配結(jié)果圖，圖5為最終的拼接結(jié)果圖。

圖3　待拼接圖像

圖4　圖像匹配

圖5　兩幅圖像拼接結(jié)果

可以看出，本文方法可以很好地完成兩幅圖像的拼接。

實(shí)驗(yàn)三：實(shí)拍無(wú)人機(jī)影像拼接實(shí)驗(yàn)。利用本文提出的方法，對(duì)一組實(shí)拍無(wú)人機(jī)影像進(jìn)行拼接實(shí)驗(yàn)，圖片像素大小均為1920×1080，圖6為最終的拼接結(jié)果圖片。

圖6　拼接結(jié)果圖

可以看出，本文方法可以很好地完成多幅無(wú)人機(jī)影像的拼接。

3　結(jié)論

本文根據(jù)無(wú)人機(jī)影像的特點(diǎn)，通過(guò)SURF算法提取特征點(diǎn)，經(jīng)過(guò)初匹配后，選取一種基于局部線(xiàn)性轉(zhuǎn)換的LLT算法剔除誤匹配點(diǎn)，最后通過(guò)漸入漸出法完成對(duì)影像的無(wú)縫拼接。通過(guò)對(duì)3組具有不同特點(diǎn)的圖像進(jìn)行匹配，將其和經(jīng)典的RANSAC算法進(jìn)行對(duì)比，發(fā)現(xiàn)本文提出的方法在絕對(duì)準(zhǔn)確率和匹配速度上均要明顯優(yōu)于SURF+RANSAC算法，后續(xù)的拼接實(shí)驗(yàn)證明本文算法可以完成良好的圖像拼接，最后的實(shí)拍無(wú)人機(jī)影像拼接實(shí)驗(yàn)更是證明本文的方法可以用來(lái)對(duì)大量的無(wú)人機(jī)影像進(jìn)行拼接處理且具有良好的效果。