基于約束逼近投影變換的全景圖像拼接方法

余清洲,陳水利,蔡　國榕,蘇松志，吳云東

(1.廈門市無人機遙感應(yīng)用工程技術(shù)研究中心，福建 廈門 361021；2.集美大學理學院，福建 廈門 361021；

3.集美大學誠毅學院，福建 廈門 361021；4.集美大學計算機工程學院，福建 廈門 361021；

5.廈門大學信息科學與技術(shù)學院，福建 廈門 361005)

?

基于約束逼近投影變換的全景圖像拼接方法

余清洲1,2,陳水利1,3,蔡國榕1,4,蘇松志5，吳云東1,4

(1.廈門市無人機遙感應(yīng)用工程技術(shù)研究中心，福建 廈門 361021；2.集美大學理學院，福建 廈門 361021；

3.集美大學誠毅學院，福建 廈門 361021；4.集美大學計算機工程學院，福建 廈門 361021；

5.廈門大學信息科學與技術(shù)學院，福建 廈門 361005)

[摘要]全景圖像拼接算法是遙感信息處理、圖像處理等領(lǐng)域的研究熱點.基于逼近投影變換的算法對低空遙感圖像拼接有較好的效果，但對于遠離參考圖像的矩形塊會出現(xiàn)較大的畸變并且拼接縫周邊會出現(xiàn)大量的形變、鬼影等現(xiàn)象.為此，在逼近投影變換的基礎(chǔ)上，提出一種基于光束平差與投影變換相結(jié)合的圖像拼接策略，目的是通過約束變換總誤差來減少畸變現(xiàn)象.針對低空航拍圖像的實驗結(jié)果表明，與傳統(tǒng)拼接算法相比，新方法減少了圖像中的鬼影和模糊，且避免了建筑物、道路等地物的畸變現(xiàn)象.

[關(guān)鍵詞]投影；變換；動態(tài)直接線性變化；逼近投影變換算法；光束平差法

0引言

全景圖像拼接是當前遙感信息工程、計算機視覺、圖像處理等領(lǐng)域的重要研究課題.目前大多數(shù)方法以特征點為基礎(chǔ)，其基本流程包括：估計圖像的變換矩陣，使重疊的區(qū)域?qū)R，然后使對齊配準的圖像合并到一個共同的圖像坐標系上.在文獻[1]中可以找到一系列關(guān)于圖像自動拼接的優(yōu)秀算法.當前比較流行的合成圖像拼接技術(shù)中，最主要的有基于Graph Cut算法的縫切割方法[2-3]和先進的像素融合技術(shù)，如拉普拉斯金字塔融合[4]和泊松圖像融合[5]，這樣可以減少由于無法對齊而導(dǎo)致的模糊.

在圖像對齊方面，近年來出現(xiàn)很多優(yōu)秀算法，如：對于圖像中只有局部配準誤差的情況，文獻[6]提出了一種保護內(nèi)容的變換算法(Content-Preserving Warps,CPW)，將圖像分割為固定網(wǎng)格，通過優(yōu)化每個網(wǎng)格中基于局部對齊的數(shù)據(jù)項和基于全局相似矩陣的平滑項所建立的能量函數(shù)得到最優(yōu)的單應(yīng)矩陣；對于具有兩類較大幾何變換的圖像，如遠景與近景情況，文獻[7]提出了一種雙單應(yīng)性變換算法(Dual-Homography Warping，DHW)，采用聚類算法將特征點分為近景與遠景類，并確定相應(yīng)的單應(yīng)矩陣，最終在局部使用加權(quán)的單應(yīng)矩陣變換圖像；對于更復(fù)雜的拍攝環(huán)境下(不僅只有近景與遠景)的變換模型，文獻[8]提出了一種多個平滑變化的仿射變換算法(Smoothly Varying Affine，SVA)，分別在兩幅圖像中提取一定數(shù)量的特征點，建立混合高斯模型，利用EM算法得到光滑變化的局部仿射變換參數(shù)；對于建立多個復(fù)雜幾何模型依然無法很好對齊的圖像，文獻[9]提出了縫驅(qū)動拼接算法(Seam-Driven Image Stitching,SEAM)，對同一組圖像進行多次匹配拼接，尋找每組拼接結(jié)果的拼接縫并計算對應(yīng)的能量函數(shù)，使用損失函數(shù)值最小的一組對齊圖像作為最終拼接結(jié)果.

然而，如果提供的圖像數(shù)據(jù)不夠理想，特別是遙感圖像中的復(fù)雜環(huán)境，存在不同的高程信息，每個區(qū)域?qū)?yīng)不同單應(yīng)性，只簡單使用一個或幾個單應(yīng)性矩陣很難完整表達圖像之間的幾何關(guān)系，使用以上方法[6-9]將無法得到令人滿意的拼接結(jié)果.為了使最后生成的全景圖沒有太大的畸變保證建筑物的幾何結(jié)構(gòu)符合實際，又要對圖像的局部區(qū)域進行精確配準，保證沒有模糊及鬼影現(xiàn)象，本文仔細分析了光束平差法(Bundle Adjustment，BA)對全局配準的約束效果和逼近投影變換算法[10](As-Projective-As-Possible Warp， APAP)在圖像局部配準上的優(yōu)秀特性，將兩種算法結(jié)合起來以解決無人機遙感圖像的拼接問題.

1逼近投影變換算法

1.1　投影變換基本原理

(1)

(2)

1.2　動態(tài)直接線性變換

(3)

(4)

σ是一個標量.由式(4)可以知道，與點p*越接近的點權(quán)值更大.稱其為動態(tài)直接線性變換算法.將式(3)重新書寫為：

(5)

2全景圖像拼接

2.1　光束平差法

在進行全景圖像的拼接時，累積誤差將會導(dǎo)致圖像的兩端產(chǎn)生過度的變形，這將產(chǎn)生不理想的結(jié)果.光束平差法[11]就是保證大量圖像在進行拼接時，保持在同樣的幾何結(jié)構(gòu)上，避免圖像的過分失真.

(6)

2.2　約束逼近投影變換算法

當待拼接的圖像是無人機遙感圖像時，由于飛機在一個固定的高度基本保持平穩(wěn)的飛行狀態(tài)，所得到的圖像近似接近正攝影圖像，圖像間具有良好的幾何關(guān)系，在沒有大的旋轉(zhuǎn)、縮放的情況下，只需要進行簡單的平移和微調(diào)，就可以得到相對滿意的拼接結(jié)果.在拼接的過程中應(yīng)盡量減少道路、建筑物等圖像中目標的失真.使用經(jīng)過全局光束平差法修正過的單應(yīng)矩陣可以約束圖像的整體幾何結(jié)構(gòu).但這也將不可避免地導(dǎo)致圖像局部匹配的不精確，從而導(dǎo)致較明顯的鬼影和模糊現(xiàn)象.為此本文提出了一種基于光束平差法優(yōu)化的逼近投影變換算法.

如圖2a所示，根據(jù)公式(9)，為了使全局的誤差函數(shù)最小，多個點與點之間將無法完全對齊，每個點都做出了犧牲.當使用平均值融合算法得到全景圖像IPorig時，由于同一對應(yīng)點出現(xiàn)在了畫布的不同位置，而產(chǎn)生了鬼影和模糊現(xiàn)象.如圖2b所示，雖然有鬼影現(xiàn)象，但總會有一點相對于其他的對應(yīng)點的強度更大.圖2中，使用實心的點表示強度最大的點，空心的點表示被融合算法弱化掉的點，繼續(xù)使用高斯平滑可使這一現(xiàn)象更明顯.

本算法的主要流程如下：

1)使用傅里葉梅林算法，計算圖像間的拓撲關(guān)系，在圖像序列中選出一張參考圖像IR;

3實驗結(jié)果分析

3.1　參數(shù)設(shè)置與運行時間

實驗使用CPU為IntelCore2E7500 ，內(nèi)存3G，系統(tǒng)為Window7 32位的普通計算機.在進行逼近投影變換算法時，采用的是作者提供的開源代碼[14]，而光束平差法是基于谷歌的開源代碼Ceressolver庫函數(shù)[15]進行編寫的.

本研究采用的實驗數(shù)據(jù)為2013年在福建省龍巖市才溪鎮(zhèn)拍攝的無人機遙感圖像，降采樣后的分辨率為983×653.對每張圖像選取的特征點數(shù)為800個.在對圖像進行分塊時，設(shè)置C1=50,C2=50，這樣既能得到最佳的拼接效果，又能減少程序的內(nèi)存消耗.

實驗中采用了多條航帶，每條航帶抽取5到6張遙感圖像進行拼接，由于計算機的計算時間具有隨機性，故對同一個拼接任務(wù)進行了多次計算.包括預(yù)處理階段在內(nèi)，全部計算時間平均小于4min，每一張圖像，特征點的提取和匹配使用時間平均小于15s，光束平差法的時間平均小于5s，即每張圖像的動態(tài)直接線性變換計算時間平均小于20s.

3.2　實驗結(jié)果分析

圖3為一組具有不同高程信息的航拍圖像全景拼接的實驗結(jié)果，其中第一行為APAP算法的結(jié)果，第二行為光束平差法的拼接結(jié)果，第三行為本文算法的拼接結(jié)果.在第一列的全景圖中可以看到APAP算法沒有明顯的視差現(xiàn)象，但全局發(fā)生了較大的扭曲，特別是第一行中藍色橢圓圈出的局部區(qū)域可以清楚地看到全景圖像底部和右部邊緣出現(xiàn)嚴重變形，道路和建筑物等也發(fā)生較大扭曲；光束平差法保證了全景圖像整體幾何關(guān)系的穩(wěn)定，但從放大圖像中可以看到，模糊與鬼影現(xiàn)象較明顯，特別是房屋與樹木等較高程的區(qū)域；本文算法與光束平差法一樣很好地保證了全局的幾何結(jié)構(gòu)，且在紅色矩形圈出的放大圖像中，房屋和道路的拼接結(jié)果準確清晰，肉眼幾乎無法發(fā)現(xiàn)模糊和鬼影.

在災(zāi)害應(yīng)急及虛擬現(xiàn)實等實際應(yīng)用中，具有較大幾何畸變的圖像沒有利用價值，故在進行誤差分析時，對于APAP算法不予考慮.只使用光束平差法與本文的約束逼近投影變換算法進行比較.

從表1可以看出，與傳統(tǒng)的光束平差法相比，本文算法匹配精度得到了很大提高，每個像素的精準度可以提高2到4個像素，大大減輕了視差現(xiàn)象.

表1　誤差檢測

4結(jié)束語

本文提出了一種針對遙感圖像的全景拼接算法，它充分發(fā)揮了光束平差法和逼近投影變換算法各自的優(yōu)勢，與傳統(tǒng)算法相比，減少了視差的出現(xiàn)，并避免了道路和建筑物的扭曲.本文算法具有較大的靈活性，在得到最終拼接結(jié)果后，可以根據(jù)圖像的質(zhì)量，繼續(xù)采用結(jié)果圖作為參考幀迭代進行逼近投影變換，以達到預(yù)期的目標.但這個算法依賴于光束平差法的拼接質(zhì)量，若初始的拼接效果不理想，在后續(xù)的二次配準中將影響圖像的拼接結(jié)果.今后將進行最優(yōu)拼接縫的研究，以消除依然存在的部分模糊現(xiàn)象.

[參考文獻]

[1]SZELISKIR.Image alignment and stitching:a tutorial[J].Foundations and Trendsin Computer Graphics and Vision,2006,2(1):1-104.

[2]AGARWALA A,DONTCHEVA M,AGRAWALA M,et al.Interactive Digital Photomontage[J].ACM Trans Graph,2004,23(3):294-302.

[3]EDEN A,UYTTENDAELE M,SZELISKIR.Seamless image stitching of scenes with large motions and exposure differences[C]//Proceeding of Computer Society Conference on Computer Vision and Pattern Recognition.New York:IEEE,2006,2:2498-2505.

[4]BURT P J,ADELSON E H.A multiresolution spline with application to image mosaics[J].ACM Transactions on Graphics(TOG),1983,2(4):217-236.

[5]PURT P J,ADELSONM,BLAKE A.Poisson image editing[J].ACM Transactions on Graphics (TOG)，2003,22(3):313-318..

[6]LIU F,GLEICHER M,JIN H,et al.Content-preserving warps for 3D video stabilization[J].ACM Transactions on Graphics(TOG),2009,28(3):44.

[7]GAO J,KIM S J,BROWN M S.Constructing image panoramas using dual-homography warping[C]//2011 IEEE Conference on Computer Vision and Pattern Recognition.Colorado,USA:IEEE,2011:49-56.

[8]LIN W Y,LIU S,MATSUSHITA Y,et al.Smoothly varying affine stitching[C]//Proceeding of Computer Society Conference on Computer Vision and Pattern Recognition.Colorado,USA:IEEE,2011:345-352.

[9]GAO J,LI Y,CHINT J,et al.Seam-Driven Image Stitching[C]//Eurographics 2013-Short Papers.Girona,Spain:The Eurographics Association,2013:45-48.

[10]ZARAGOZA J,CHIN T J,BROWN M S,et al.As-Projective-As-Possible image stitching with moving DLT[C]//Proceeding of Computer Society Conference on Computer Vision and Pattern Recognition.Ohio,USA:IEEE,2013:2339-2346.

[11]AGARWAL S,SNAVELY N,SEITZ S M,et al.Bundle adjustment in the large[M]//Computer Vision-ECCV.Berlin :Springer Heidelberg,2010:29-42.

[12]BROWN M,LOWED G.Automatic panoramic image stitching using invariant features[J].International Journal of Computer Vision,2007,74(1):59-73.

[13]REDDY B S,CHATTERJIB N.An FFT-based technique for translation,rotation,and scale-invariant image registration[J].IEEE Transactions on Image Processing,1996,5(8):1266-1271.

[14]JULIO ZARAGOZA.MDLT[EB/OL].(2014-04-08)[2014-10-31].http://cs.adelaide.edu.au/~jzaragoza/doku.php?id=mdlt.

[15]AGARWAL S,MIERLE K.Ceres solver[EB/OL].(2014-06-09)[2014-10-31].https://code.google.com/p/ceres-solver/.

(責任編輯朱雪蓮英文審校黃振坤)

Panoramic Image Stitching Based on ConstraintAs-Projective-As-Possible TransformYU Qing-zhou1,2,CHEN Shui-li1，3，CAI Guo-rong1,4,SU Song-zhi5,WU Yun-dong1,4

(1.Xiamen UAVRS Application Engineering Technology Research Center,Xiamen 361021,China;

2.School of Science,Jimei University,Xiamen 361021,China;3.Chengyi College,Jimei University,

Xiamen 361021,China;4.School of Computer Engineering,Jimei University,Xiamen 361021,China;

5.School of Information Science and Technology,Xiamen University,Xiamen 361005,China)

Abstract:Panoramic image mosaic algorithm is a hot topic in the fields of remote sensing and image processing.State-of-the-art such as As-Projective-As-Possible (APAP) warp is efficient in low altitude remote sensing image mosaic.However,in APAP related algorithms,the rectangular block away from the reference image and seams suffer from large scale deformation and parallax,respectively.Therefore,in this paper,a novel algorithm that is based on the as-projective-as-possible warps and bundle adjustment is proposed.The purpose is to control the total transform error,thus to reduce image distortion.Experimental results conducted on low-altitude aerial images show that the proposed method reduces the phenomenon of ghosting and blurring.Moreover,the distortions of buildings and roads have been alleviated.

Key words:Projective；Warp;Moving DLT;As-Projective-As-Possible Warps;Bundle Adjustment

[中圖分類號]TP 391.41

[文獻標志碼]A

[文章編號]1007-7405(2015)06-0463-07

[作者簡介]余清洲(1990—)，男,碩士生，主要研究方向為圖像處理與模式識別.通信作者：陳水利(1956—)，男，教授，從事模糊數(shù)學及其應(yīng)用、遙感影像信息處理等方面研究，E-mail:sgzx@jmu.edu.cn

[基金項目]國家自然科學基金項目(61202143)；國家科技支撐計劃項目(201309110001)；863項目子課題(2012AA12A208-06)；國家博士后基金項目(2014M561090)；福建省自然科學基金項目(2013J01245,2012J01013)；福建省科技廳專項(JK2012025)；福建省科技計劃重點項目(2014H0034)

[收稿日期]2015-03-31[修回日期]2015-04-26