基于RVCF的大視角差異圖像匹配方法

胡文超，周　偉，關(guān)　鍵

（海軍航空工程學(xué)院a.研究生管理大隊；b.信息融合研究所；c.電子信息系，山東煙臺264001）

基于RVCF的大視角差異圖像匹配方法

胡文超a，周偉b，關(guān)鍵c

（海軍航空工程學(xué)院a.研究生管理大隊；b.信息融合研究所；c.電子信息系，山東煙臺264001）

文章針對SIFT算法對大視角變化圖像匹配效果差的問題，提出一種改進的SIFT算法——抗視角變化特征提取算法（Resistance to Viewpoint Change Feature，RVCF）。首先，利用最大穩(wěn)定極值區(qū)域（MSER）算法提取圖像中的仿射不變特征區(qū)域；然后，利用協(xié)方差矩陣將MSER檢測出的橢圓區(qū)域轉(zhuǎn)化成符合尺度空間條件的圓形區(qū)域；最后，利用SIFT算法對獲得的圓形區(qū)域進行仿射不變特征的提取與匹配。實驗結(jié)果表明：RVCF算法能夠在大的視角和尺度變化下成功實現(xiàn)圖像間的匹配。

尺度不變特征變換；最大穩(wěn)定極值區(qū)域；圖像匹配；大視角差異

圖像匹配是計算機視覺領(lǐng)域中的重要部分，廣泛應(yīng)用于圖像拼接、目標檢測與跟蹤、定位系統(tǒng)等［1］。近年來，基于特征的圖像匹配方法發(fā)展迅速，如Harris算法、Hessian-affine算法、最大穩(wěn)定極值區(qū)域（MSER）算法等。MSER算法［2］具有良好的仿射不變性，其使用分水嶺算法提取特征，這種方法不需要對圖像進行高斯濾波操作，也就不存在高斯濾波器和圖像結(jié)構(gòu)不匹配的問題，只要特征區(qū)域足夠顯著和清晰就有可能被正確提取出來。但MSER算法對尺度變換比較敏感，不具備尺度不變性［3］。David Lowe于2004年提出的尺度不變特征變換（Scale Invariant Feature Transform，SIFT）算法由于特征獨特性好，信息量豐富，并對旋轉(zhuǎn)、平移、縮放、噪聲等干擾具有良好的魯棒性而受到廣泛應(yīng)用［4］。雖然SIFT算法具有良好的尺度不變性，但其存在抗仿射性弱的缺點，在處理存在大視角變化的圖像時匹配效果嚴重下降［5］。對此，Morel等人于2009年提出ASIFT算法［6］，ASIFT算法在仿射不變性方面相比較SIFT有較大的提升，但由于ASIFT算法是對整幅圖像的變換，計算復(fù)雜度高，算法效率低下［7］。本文結(jié)合MSER算法和SIFT算法，提出一種RVCF算法以解決大視角變化和尺度變化的情況下的圖像匹配問題。

1　SIFT算法

SIFT算法主要包括4個步驟，分別是尺度空間構(gòu)建、特征點檢測與定位、關(guān)鍵點方向分配和計算特征描述子［8］。

1.1構(gòu)建DoG尺度空間

對于二維圖像I（x，y）在不同尺度下的尺度空間表示L（x，y，σ）可由圖像與Gaussian核的卷積得到：

式（1）中：G（x，y，σ）為二維高斯函數(shù)；x、y表示點的坐標；σ表示高斯正態(tài)分布的方差。

為了在尺度空間中更高效地檢測出穩(wěn)定、有效的特征點，利用不同尺度的高斯差分核與圖像進行卷積得到DoG尺度空間，其計算更加簡單，且是尺度歸一化的LoG函數(shù)的一種近似。

基于不同的尺度空間因子σ可將高斯金字塔分為多組（Octaves），每一組又分為多層，下一組圖像由上一組圖像降采樣得到［9］。本文中第0組第0層的尺度設(shè)置為1.6，每組金字塔的層數(shù)為4。

1.2特征點檢測與定位

為了尋找DoG尺度空間的局部極值點，每一個檢測點要與同尺度及上下相鄰尺度共26個相鄰點進行比較，以確保在二維圖像空間和尺度空間都檢測到極值點［10］。在DoG空間中得到的尺度不變局部極值點即為SIFT特征點。Lowe首先利用擬合三維二次函數(shù)對關(guān)鍵點進行亞像素級的精確定位。為了得到穩(wěn)定的特征點，利用Hessian矩陣對低對比度的特征點和不穩(wěn)定的邊緣響應(yīng)點進行剔除。Hessian矩陣的主曲率方程為

H的特征值α和β代表x和y方向的梯度，

假設(shè)α為較大特征值，β為較小特征值，令α=rβ，則：

r越大，則說明α與β的比值越大，即某方向的梯度值越大。因此，只需要將式（6）的值小于設(shè)定的閾值r即可［11］。本文中r的取值為10。

1.3關(guān)鍵點方向分配

經(jīng)過精確定位的特征點被稱為關(guān)鍵點。利用關(guān)鍵點的梯度及方向分布的特性計算出關(guān)鍵點的梯度和方向，使算子具有旋轉(zhuǎn)不變性。

式（7）、（8）中，L表示關(guān)鍵點所在的尺度。

1.4計算特征描述子

將坐標軸旋轉(zhuǎn)到關(guān)鍵點的方向以保證旋轉(zhuǎn)不變性，以關(guān)鍵點為中心取一個16×16的窗口，在每個窗口計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，構(gòu)成一個種子點，則每個種子點帶有8個方向向量信息，形成一個128維的特征描述向量［12］。

至此，SIFT描述符建立完成。雖然SIFT特征具有良好的尺度不變性，然其不具備仿射不變性，因而在大視角變換下失去其性能［13］，這就需要提出一種高效的、具有仿射不變的匹配算法。

2　RVCF算法

抗視角變化特征提取算法（Resistance to Viewpoint Change Feature，RVCF）先利用MSER算法檢測仿射不變特征區(qū)域，再利用協(xié)方差矩陣將MSER特征區(qū)域轉(zhuǎn)化成各項同性的尺度空間，并利用SIFT算法在該尺度空間提取特征點，完成圖像匹配，流程見圖1。

圖1　RVCF算法流程圖Fig.1 Flow chart of RVCF algorithm

2.1MSER特征區(qū)域檢測

MSER算法利用地形學(xué)中的分水嶺概念來求解最穩(wěn)定局部區(qū)域，主要步驟為：①將圖像灰度化，利用箱排序算法［6］按照圖像灰度值對像素點進行排序，即把待排序列的所有數(shù)組分到不同的箱中；②對每個箱進行自動排序并串聯(lián)起來；③按升序或降序的方式將像素放入其中，采用高效的合并-查找算法［7］來維護。令Qi為二值化閾值i對應(yīng)的二值圖像中的連通區(qū)域，當閾值在［i-Δ，i+Δ］時，連通區(qū)域?qū)?yīng)變?yōu)镼i+Δ和Qi-Δ。如在這個變化范圍內(nèi)，該區(qū)域具有極小變化率，則認為是最大穩(wěn)定極值區(qū)域（MSER）。經(jīng)過上述步驟雖得到大量的最大穩(wěn)定極值區(qū)域，但這些區(qū)域中存在面積過大、過小部分和極可能不穩(wěn)定部分，將這些部分去除掉后剩下的區(qū)域即為穩(wěn)定的最大穩(wěn)定極值區(qū)域，具體過程如下。

3）變化率過大區(qū)域：若q（i）>0.25，則認為該區(qū)域變化率過大，是不穩(wěn)定的，應(yīng)當去除。

圖2中的橢圓即為最后提取的MSER特征區(qū)域。

圖2　MSER特征檢測Fig.2 MSER feature detecting

2.2RVCF特征提取

檢測出的MSER區(qū)域雖然具有仿射不變性，但其由于是不規(guī)則區(qū)域，因而不具備各向同性性質(zhì)，即不具有尺度不變性。為利用尺度空間理論來提取尺度不變特征，需要把檢測出的MSER橢圓區(qū)域轉(zhuǎn)化成各向同性區(qū)域。

橢圓的中心點位于坐標軸原點的方程為：

式（9）可以被看作是圓心位于原點的圓關(guān)于協(xié)方差矩陣C′的線性映射：

式（10）中：D為對角矩陣，其主對角線為C′矩陣的特征值，特征值為正數(shù)；P為實數(shù)酉矩陣，其矩陣縱列為C′的特征向量。

橢圓的長軸和短軸分別是C′矩陣的特征向量，對應(yīng)特征值為橢圓半長軸和半短軸平方的倒數(shù)［8］。由于橢圓可以通過坐標伸縮變換轉(zhuǎn)換成一個圓，即令橢圓的x坐標乘以一個常數(shù)而不改變y坐標來生成，利用橢圓與圓之間的這種關(guān)系可以將一個橢圓旋轉(zhuǎn)壓縮成圓［9］，具體過程如圖3所示。

圖3　橢圓區(qū)域轉(zhuǎn)化為圓區(qū)域Fig.3 Transformation of ellipse region into circle region

首先，對MSER橢圓區(qū)域進行旋轉(zhuǎn)，使其2個焦點均落在x軸上，旋轉(zhuǎn)角度α為橢圓長軸與x軸的夾角；旋轉(zhuǎn)完畢后，利用高斯濾波器沿x軸方向?qū)E圓區(qū)域圖像進行濾波。為保證濾波器能夠正確對圖像進行采樣，令濾波器的標準差，其中c≥0.6，t為橢圓長軸與短軸的比值［10］；最后，利用坐標伸縮變換將橢圓轉(zhuǎn)化成圓。圓形區(qū)域具有各項同性的性質(zhì)，滿足尺度空間理論的使用條件，因而可以利用SIFT算法提取尺度不變特征。

3　實驗結(jié)果與分析

實驗采用的硬件環(huán)境為Intel Core I5四核處理器、主頻為3.3 GHz、內(nèi)存為8 G的PC機，軟件環(huán)境為VS2010軟件平臺，并使用C++語言實現(xiàn)了相關(guān)算法。圖4中的a）、b）、c）為3組800×600的實驗圖片，其中，Triumphal arch圖不僅有較大角度的仿射變換，而且還有90°的旋轉(zhuǎn)變換，Schoolroom圖中有明顯的仿射變換、亮度變化和背景差異，Book圖為彩色圖像，圖中存在比較明顯的視角變化和背景變化。實驗中SIFT算法的距離比閾值設(shè)置為0.59。圖5～7分別是圖4中a）、b）、c）3組圖像分別用SIFT算法和RVCF算法處理的結(jié)果，表1為實驗結(jié)果數(shù)據(jù)。

圖4　實驗圖像Fig.4 Image used in experiment

圖5　Triumphal arch檢測結(jié)果Fig.5 Detection results of the triumphal arch image

圖6　Schoolroom檢測結(jié)果Fig.6 Detection results of the schoolroom image

圖7　Book檢測結(jié)果Fig.7 Detection results of the book image

表1　SIFT與RVCF算法性能比較Tab.1 Performance comparison between SIFT and RVCF

從實驗結(jié)果可以看出，利用SIFT算法對圖4a）、b）、c）3組圖像進行處理時效果比較差。Triumphal arch圖中，SIFT算法共檢測到258對匹配點，但卻有212個錯誤匹配點，匹配率僅17.8%；Schoolroom圖中，SIFT算法檢測到29對匹配點，其中僅5對正確匹配點，匹配率為17.2%；Book圖中，SIFT檢測的匹配點對為93對，篩除后的剩余匹配點對為35對，匹配率為37.6%。而使用RVCF算法處理Triumphal arch圖、Schoolroom圖和Book圖時的匹配點對分別為278、34和323，匹配率為95.7%、88.2%和97.8%，匹配效果相比SIFT算法有相當大的改善。

出現(xiàn)上述結(jié)果的主要原因是SIFT算法利用尺度空間理論進行特征點檢測，其構(gòu)建尺度空間的方式是利用高斯核函數(shù)，而圖像經(jīng)過大視角仿射變換后原來的各項同性的圓形區(qū)域會變成各向異性的橢圓區(qū)域，其高斯核函數(shù)和尺度空間理論的應(yīng)用條件被破壞，因而會造成算法失效。

RVCF算法結(jié)合MSER算法與SIFT算法的優(yōu)點：先用MSER算法提取仿射不變特征區(qū)域；再利用協(xié)方差矩陣C′通過坐標伸縮變換的方式將橢圓區(qū)域轉(zhuǎn)化成圓形區(qū)域，使特征檢測區(qū)域成為各項同性區(qū)域以滿足尺度空間理論條件；最后，利用SIFT算法提取尺度不變特征并進行匹配。因此，RVCF特征具有良好的仿射不變性和尺度不變性。

實驗證明RVCF算法在較為顯著的仿射變換和尺度變換下能獲取大量匹配點，雖然存在少量誤匹配點，但對最終的匹配結(jié)果沒有影響，其匹配效果明顯優(yōu)于SIFT算法。

4　結(jié)論

本文針對SIFT方法在處理大視角差異圖像匹配時存在的匹配效果差的問題，結(jié)合MSER算法和SIFT算法，提出了一種抗視角變化特征提取算法。RVCF算法結(jié)合MSER算法的仿射不變區(qū)域與SIFT算法的尺度不變描述子形成RVCF特征，該特征不僅繼承了MSER算法良好的仿射不變特性，同時具備SIFT算法的尺度不變性和旋轉(zhuǎn)不變性等。實驗表明，RVCF算法在匹配大視角差異圖像時具有優(yōu)秀的匹配率，算法性能明顯優(yōu)于SIFT算法。

［1］LISA GOTTESFELE BROWN.A survey of image registration techniques［J］.ACM Computer Surveys，1992，24（4）：325-376.

［2］MATAS J，CHUM O，URBAN M，et al.Robust widebaseline stereo from maximally stable extremal regions［J］.Image and Vision Computing，2004，22（10）：761-767.

［3］陳月玲.結(jié)合區(qū)域匹配和點匹配的大視角圖像匹配方法［D］.西安：電子科技大學(xué)，2014. CHEN YUELING.A matching method for viewpointchange images by combining region with point matching［D］.Xi'an：Xidian University，2014.（in Chinese）

［4］DAVID G LOWE.Distinctive image features from scaleinvariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91-100.

［5］劉欣，李笑林，謝燦，等.一種基于仿射變換的SURF圖像配準算法［J］.計算機技術(shù)與應(yīng)用，2014，40（6）：130-136. LIU XIN，LI XIAOLIN，XIE CAN，et al.Affine-SURF algorithm for image recognition［J］.Computer Technology and ItsApplications，2014，40（6）：130-136.（in Chinese）

［6］MOREL J M，YU G.ASIFT：A new framework for fully affine invariant image comparison［J］.SIAM Journal on Imaging Sciences，2009，2（2）：438-468.

［7］薛艷華，何小海，雷翔，等.基于改進ASIFT算法的遙感圖像匹配［J］.四川大學(xué)學(xué)報：自然科學(xué)版，2013，50（5）：999-1005. XUE YANHUA，HE XIAOHAI，LEI XIANG，et al.Remote sensing image matching using an improved ASIFT algorithm［J］.Journal of Sichuan University：Natural Science Edition，2013，50（5）：999-1005.（in Chinese）

［8］潘子昂.基于SIFT算法的圖像匹配研究［D］.西安：電子科技大學(xué)，2012. PAN ZIANG.Research on image matching based on sift algorithm［D］.Xi'an：Xidian University，2012.（in Chinese）

［9］汪松.基于SIFT算法的圖像匹配方法研究［D］.西安：電子科技大學(xué)，2013. WANG SONG.SIFT based image matching algorithm research［D］.Xi'an：Xidian University，2013.（in Chinese）

［10］劉佳，傅衛(wèi)平，王雯，等.基于改進SIFT算法的圖像匹配［J］.儀器儀表學(xué)報，2013，34（5）：1107-1112. LIU JIA，F(xiàn)U WEIPING，WANG WEN，et al.Image matching based on improved SIFT algorithm［J］.Chinese Journal of Scientific Instrument，2013，34（5）：1107-1112.（in Chinese）

［11］吳偉交.基于SIFT特征點的圖像匹配算法［D］.武漢：華中科技大學(xué)，2013. WU WEIJIAO.Image matching algorithm based on SIFT feature points［D］.Wuhan：Huazhong University of Science&Technology，2013.（in Chinese）

［12］傅衛(wèi)平，秦川，劉佳，等.基于SIFT算法的圖像目標匹配預(yù)定位［J］.儀器儀表學(xué)報，2011，32（1）：163-169. FU WEIPING，QIN CHUAN，LIU JIA，et al.Matching and location of image object based on SIFT algorithm［J］. Chinese Journal of Scientific Instrument，2011，32（1）：163-169.（in Chinese）

［13］劉坤，羅予頻，楊士元.大視角下非平面場景的圖像特征匹配［J］.清華大學(xué)學(xué)報，2010，50（4）：499-502. LIU KUN，LUO YUPIN，YANG SHIYUAN.Image matching for non-planar scenes under wide baseline views［J］.Journal of Tsinghua University，2010，50（4）：499-502.（in Chinese）

［14］LEISERSON C E，RONALD R L，STEIN C.Introduction to algorithms［M］.Boston：MIT Press，2001：589-615.

［15］MURPHY C E，TRIVEDI M.N-tree disjoint-set foreset for maximally stable extremal regions［C］//British Machine Vision Conference.Edinburgh，2006：739-748.

［16］GARDING J，LINDEBERG T.Direct computation of shape cues using scale-adapted spatial derivative operators［J］.International Journal of Computer Vision，1996，17（2）：163-191.

［17］李威，史澤林，尹健.仿射高斯尺度空間下的完全仿射不變特征提?。跩］.光電工程，2012，39（12）：77-85. LI WEI，SHI ZELIN，YIN JIAN.Detecting fully affine invariant features in affine gaussian scale-space［J］.Opto-Electronic Engineering，2012，39（12）：77-85.（in Chinese）

［18］MOREL J M，YU G.Is SIFT scale invariant［J］.Inverse Problems and Imaging，2011，5（1）：115-136.A Modified RVCF Algorithm for Matching Images with Different Viewing Angle

HU Wenchaoa，ZHOU Weib，GUAN Jianc
（Naval Aeronautical and Astronautical University a.Graduate Students'Brigade；b.Institute of Information Fusion；c.Electronics and Information Engineering，Yantai Shandong 264001，China）

In order to solve the problem of invalidation of SIFT algorithm when viewpoints had been changed with large affine angle，in this paper a M-SIFT algorithm that the RVCF was proposed.Firstly，the algorithm detected affine invariant feature regions by MSER algorithm.Then covariance matrix was used to transform anisotropic patches into isotropic patches by rotating and squeezing to meet the condition of scale-space theory.Finally，the affine invariant key points on isotropic patches were detected and matching using SIFT algorithm.Experiments showed that RVCF worked well with large affine angle changes and scale changes.

SIFT；MSER；image matching；viewing angle difference

TP391

A

1673-1522（2016）05-0513-05

10.7682/j.issn.1673-1522.2016.05.003

2016-06-22；

2016-07-14

國家自然科學(xué)基金資助項目（61179017，61201445，61002045，61302008）；“泰山學(xué)者”建設(shè)工程專項經(jīng)費資助項目

胡文超（1991-），男，碩士生。