基于魯棒迭代優(yōu)化的圖像拼接算法＊

杜培明 ，邢 碩 ，2

（1.安徽工業(yè)大學電氣信息學院，安徽 馬鞍山 243032；2.銅陵學院電氣工程學院，安徽 銅陵 244061)

基于魯棒迭代優(yōu)化的圖像拼接算法＊

杜培明1，邢 碩1，2

（1.安徽工業(yè)大學電氣信息學院，安徽 馬鞍山 243032；2.銅陵學院電氣工程學院，安徽 銅陵 244061)

針對保持直線邊緣不畸變和改善拼接區(qū)域精度的需要，提出了一種基于魯棒迭代優(yōu)化的圖像拼接算法。采用SIFT特征匹配算法提取不變特征，依據(jù)RANSAC魯棒算法估計單應(yīng)性矩陣獲取精確內(nèi)點匹配點對，參照內(nèi)點匹配點對作為參數(shù)，利用最小二乘法重新估計單應(yīng)性矩陣，最終通過魯棒迭代優(yōu)化重新計算更多內(nèi)點直至內(nèi)點收斂。實驗結(jié)果表明，所提出的算法使得直線邊緣維持直線化，同時拼接精度得到提高。

SIFT特征匹配；RANSAC魯棒估計；最小二乘估計；迭代優(yōu)化

1 引言

圖像拼接技術(shù)是依賴采集的重疊圖像集合，利用計算機視覺進行圖像間的相互匹配，并將其拼接成無縫高分辨率圖像的過程。其本質(zhì)是獲取最優(yōu)坐標空間映射的單應(yīng)性矩陣，對待拼接圖像進行空間幾何變換，使得位于不同視點下的圖像公共區(qū)域相互匹配，實現(xiàn)圖像公共區(qū)域相互重疊和非公共區(qū)域相互拼接。現(xiàn)今，圖像拼接技術(shù)已經(jīng)成為計算機視覺的研究熱點，并被廣泛應(yīng)用到遙感圖像處理、醫(yī)學圖像處理、超分辨率圖像重構(gòu)等領(lǐng)域。

圖像匹配是指通過匹配算法識別兩幅或多幅圖像間的同名點，其是實現(xiàn)圖像拼接的關(guān)鍵和核心，可劃分為區(qū)域匹配［1，2］和特征匹配［3～5］。區(qū)域匹配利用區(qū)域統(tǒng)計量的相似性度量來實現(xiàn)圖像匹配，但其不能實現(xiàn)校正圖像形變，且域搜索的運算量較大，特征匹配利用提取不變性特征來估計圖像匹配，其依據(jù)不變性特征間的匹配關(guān)系來建立圖像間的映射關(guān)系，因而大大減少了算法的復雜度，但其關(guān)鍵在于如何有效提高匹配質(zhì)量。

特征匹配是指通過提取圖像的特征和對特征進行參數(shù)描述，再運用描述參數(shù)來進行匹配的過程。文獻［3］提出了依據(jù)不變特征實現(xiàn)全景圖像自動拼接，而對于近景圖像拼接直線部分會產(chǎn)生曲線化；文獻［4，5］針對空間變換簡單的眼底圖像進行圖像拼接，圖像不存在大幅度的旋轉(zhuǎn)變換和尺度變換，僅依據(jù)MLESAC算法進行剔除，難以得到精度較高的圖像拼接；文獻［6］給出了利用圓柱拼接算法來實現(xiàn)的柱面全景圖拼接，然而柱面拼接會導致圖像發(fā)生畸變，使得圖像中的直線變化為曲線，不適用于矩形度檢測等場合。

鑒于圖像拼接保持直線化和提高精度的需要，本文提出了一種基于魯棒迭代優(yōu)化的圖像拼接算法。通 過 SIFT（Scale-Invariant Feature Transform)特征匹配算法提取初始匹配點對，依據(jù)RANSAC（Random Sample Consensus)算法估計單應(yīng)性矩陣獲取內(nèi)點，用以剔除匹配過程中的誤匹配點對，再參照內(nèi)點利用最小二乘法來重新估計單應(yīng)性矩陣，采用迭代優(yōu)化重新計算內(nèi)點，重復循環(huán)直至內(nèi)點數(shù)目收斂，從而最終獲取圖像拼接的映射關(guān)系。

2 SIFT特征匹配

在采集拼接圖像過程中，圖像存在旋轉(zhuǎn)變換和尺度變換，使得傳統(tǒng)信息匹配和角點匹配難于適用，而 SIFT 特征提?。?，8］具有光照、尺度、旋轉(zhuǎn)不變性，且穩(wěn)定性較好，從而適用于拼接圖像的旋轉(zhuǎn)變化和尺度變化。

SIFT算法主要包含以下步驟：（1)建立DoG尺度空間，搜索該空間下的極值；（2)依據(jù)DoG空間極值，精確定位其位置和尺度；（3)計算關(guān)鍵點梯度直方圖，確定其主方向；（4)利用梯度直方圖，生成特征描述子。

SIFT特征提取完成后，需要依賴特征描述確定匹配點對。通常采用特征描述的歐氏距離作為相似性度量，取基準圖像的某個SIFT基準點，利用kd-樹在待匹配圖像中搜索最近鄰和次近代匹配點，若最近距離除以次近距離小于某個閾值，則接受該匹配點對。

3 射影變換

射影變換［9］描述著空間坐標點在不同坐標系下的投影映射關(guān)系，設(shè)基準圖像中點x和待匹配圖像中點x′為同一空間坐標點，則存在單應(yīng)性矩陣H 滿足式（1)：

矢量x′和矢量Hx相互平行，則有式（2)：

基準圖像的基準點到待匹配圖像的映射關(guān)系如式（3)所示：

單應(yīng)性矩陣H的自由度為8，則有：

其中，h為H的前八個元素組成的八維矢量，i＝1，…，4。

4 圖像拼接

4.1 RANSAC魯棒估計

設(shè)經(jīng)SIFT特征匹配獲取的匹配點對數(shù)目為N，匹配點對為xi和，則依據(jù)代價函數(shù)Jr值最優(yōu)來估計單應(yīng)性矩陣H，如式（5)所示：

RANSAC魯棒估計［9］步驟如下：

（1)隨機從N對SIFT特征匹配點對中選取四對匹配點對，并以此作為參數(shù)依據(jù)式（4)求取單應(yīng)性矩陣H。

（2)利用單應(yīng)性矩陣H將N 對匹配點對xi和分別映射到對方空間中，依據(jù)式（5)計算代價函數(shù)Jr值。

（3)修正循環(huán)變量Count，當Count為正時，重復（1)～ （3)。其中，Count＝log（1－p)/log（1－（1－ε)s)，p＝0.99，1－ε表示內(nèi)點概率，ε表示野值概率。

（4)選取代價函數(shù)Jr值最小的單應(yīng)性矩陣H作為RANSAC映射矩陣Hr，并由式（6)和式（7)依據(jù)歐氏距離dist判別xi和為內(nèi)點或野值，其中內(nèi)點數(shù)目為M，則野值數(shù)目為N－M。

4.2 最小二乘估計

經(jīng)RANSAC算法獲取的單應(yīng)性矩陣Hr，僅由4個匹配點對其進行描述，使其精度難以達到可靠保證，在此希望依據(jù)RANSAC算法獲取的內(nèi)點，利用最小二乘法來重新估計LS映射矩陣Hl。

依據(jù)式（4)變換可得式（8)：

依據(jù)M個內(nèi)點對應(yīng)的代價函數(shù)Jl值最優(yōu)來增強估計單應(yīng)性矩陣Hl，如式（9)和式（10)所示。

4.3 魯棒迭代優(yōu)化

經(jīng)最小二乘估計獲取的單應(yīng)性矩陣Hl，在此希望獲取更多的內(nèi)點使得估計精度更高，考慮利用單應(yīng)性矩陣Hl重新計算內(nèi)點數(shù)目，并重復該循環(huán)直至內(nèi)點數(shù)目收斂。

魯棒迭代優(yōu)化步驟如下：

（1)依據(jù)RANSAC魯棒估計獲取RANSAC映 射矩陣，并據(jù)此計算內(nèi)點數(shù)目M（0)；

（2)依賴 M（i－1)內(nèi)點坐標利用最小二乘估計獲取LS映射矩陣，并據(jù)此重新計算內(nèi)點數(shù)目M（i)；

（3)判別 M（i)＞，若該式成立，重復（2)～（3)，否則結(jié)束循環(huán)，并以作為最終的單應(yīng)性矩陣。

5 實驗結(jié)果與分析

5.1 近距場景

近距場景圖像包含旋轉(zhuǎn)變換和尺度變換，以幾本相互平行的書置于實驗臺上，離攝像機鏡頭較遠的書變形較強，如圖1a和圖1b所示，以書和實驗臺的邊緣保持線形為要求，進而依據(jù)本文算法實現(xiàn)圖像拼接。

近距場景圖像經(jīng)由SIFT特征匹配，獲取97對初始匹配點對，如圖1c所示；通過RANSAC魯棒估計，獲取62對內(nèi)點匹配點對，如圖1d所示；經(jīng)過最小二乘估計，獲取LS映射矩陣進行圖像拼接，如圖1e所示；經(jīng)過三次迭代優(yōu)化，獲取74對內(nèi)點匹配點對，獲取LS映射矩陣進行圖像拼接，如圖1f所示。

Figure 1 Close shot experiment圖1 近距場景實驗

從實驗結(jié)果可以看出，圖1a經(jīng)單應(yīng)性變換后，書與實驗臺能較好地保持直線不畸變，書矩形度恢復情況表現(xiàn)較好，同時拼接交界處能夠?qū)崿F(xiàn)無縫拼接，隨著迭代次數(shù)增加，內(nèi)點數(shù)目逐步增加，拼接效果逐步增強，如圖1e、圖1f和圖2所示。

Figure 3 Distant view experiment圖3 遠距場景實驗

Figure 2 Relation of inner points number and iterations圖2 內(nèi)點數(shù)目與迭代次數(shù)變化關(guān)系

5.2 遠距場景

遠距場景圖像包含旋轉(zhuǎn)變換和尺度變換，包含遠處建筑、湖面和山體，離攝像機鏡頭較遠場景幾何變換較為簡單，如圖3a所示。

遠距場景的實驗過程與近距場景基本一致，依據(jù)各幅圖像的匹配區(qū)域進行拼接，此處以第二幅圖像為拼接中心，其他圖像參照第二幅圖像進行拼接。從實驗結(jié)果可以看出，距離拼接中心較近的圖像在拼接過程中變形相對較小，各幅圖像基本實現(xiàn)無縫拼接，整合為一幅高分辨率圖像。

6 結(jié)束語

本文應(yīng)用魯棒迭代優(yōu)化方法對存在旋轉(zhuǎn)和尺度變換的圖像進行拼接，采用SIFT特征匹配算法提取匹配點對；依賴RANSAC魯棒算法估計單應(yīng)性矩陣；并據(jù)此獲取精確內(nèi)點匹配點對，依照內(nèi)點匹配點對作為參數(shù)，利用最小二乘法重新估計單應(yīng)性矩陣，再依據(jù)魯棒迭代優(yōu)化重新計算更多內(nèi)點直至內(nèi)點收斂。實驗結(jié)果表明，在近距場景和遠距場景圖像拼接過程中，本文方法均能得到較為滿意的拼接結(jié)果。

［1］ Wolberg G，Zokai S.Robust image registration using log－polar transform［C］∥Proc of IEEE International Conference on Image Processing，2000：493-496.

［2］ Viola P，Willian M.Alignment by maximization of mutual information［J］.International Journal of Computer Vision，1997，24（2)：137-154.

［3］ Brown M，Lowe D G.Automatic panoramic image stitching using invariant features［J］.International Journal of Computer Vision，2007，74（1)：59-73.

［4］ Wang Yu-liang，Shen Jian-xin，Liao Wen-he，et al.Automatic fundus images mosaic based on SIFT feature［C］∥Proc of the 3rd International Congress on Image and Processing，2011：2747-2751.

［5］ Wang Yu-liang，Shen Jian-xin，Liao Wen-he.Automatic fundus images registration and mosaic based on SIFT feature［J］.Journal of Nanjing University of Aeronautics ＆ Astro-nautics，2011，43（2)：222-228.（in Chinese)

［6］ Shum H，Szeliski R.Panoramic image mosaics［R］.Redmond：Microsoft Research，2001：1-50.

［7］ Lowe D G.Distinctive image features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60（2)：91-110.

［8］ Beis J S，Lowe D G.Shape indexing using approximate nearest-neighbour search in high-dimensional spaces［C］∥Proc of IEEE 1997Computer Society Conference on Computer Vision and Pattern Recognition，1997：1000-1006.

［9］ Hartley R，Zisserman A.Multiple view geometry in computer vision［M］.UK：Cambridge University Press，2000.

附中文參考文獻：

［5］ 王玉亮，沈建新，廖文和.基于尺度不變特征的眼底圖像自動配準與拼接［J］.南京航空航天大學學報，2011，43（2)：222-228.

Image mosaic based on robust iterative optimization

DU Pei-ming1，XING Shuo1，2
（1.School of Electrical Engineering ＆Information，Anhui University of Technology，Ma’anshan 243032；2.School of Electrical Engineering，Tongling University，Tongling 244061，China)

Aiming at the requirements of keeping edges in a straight line and improving the mosaic precision，an image mosaic algorithm based on robust iterative optimization is proposed.Firstly，SIFT feature matching algorithm is employed to extract features with invariance.Secondly，inlier matching points are obtained accurately through the homography matrix that is estimated according to RANSAC robust algorithm.Thirdly，the homography matrix is re-estimated utilizing least square method by treating inliers as parameters.Finally，more inliers are recomputed until converge based on robust iterative optimization.Experimental results show that，with the proposed method，edges are maintained as a straight line and the precision of image mosaic is greatly improved.

SIFT feature matching；RANSAC robust estimation；least-squares estimation；iterative optimization

TP391.41

A

10.3969/j.issn.1007-130X.2014.04.029

2012-10-24；

2013-01-21

通訊地址：244061安徽省銅陵市銅陵學院電氣工程學院

Address：School of Electrical Engineering，Tongling University，Tongling 244061，Anhui，P.R.China

1007-130X（2014)04-0741-05

杜培明（1964-)，男，安徽馬鞍山人，副教授，研究方向為圖像處理。E-mail：dpm1717＠ahut.edu.cn

DU Pei-ming，born in 1964，associate professor，his research interest includes image processing.