肖志濤,邱 虹,耿 磊,張 芳,吳 駿
(天津工業(yè)大學(xué) 電子與信息工程學(xué)院,天津 300387)
圖像匹配是指在變換空間中尋找一種或多種變換,使來(lái)自不同時(shí)間、不同傳感器或不同視角的同一場(chǎng)景的兩幅或多幅圖像在空間上對(duì)準(zhǔn).圖像匹配一般分為基于灰度相關(guān)和基于特征的匹配.前者對(duì)圖像灰度變換和幾何畸變等比較敏感,后者對(duì)圖像灰度變化、形變和遮擋有較強(qiáng)的魯棒性.目前,圖像匹配已廣泛應(yīng)用到圖像識(shí)別、圖像分析和計(jì)算機(jī)視覺(jué)、目標(biāo)識(shí)別等諸多領(lǐng)域.
近幾十年來(lái),圖像匹配算法得到了迅猛發(fā)展.比如由Kuglin和Hines[1]提出了相位相關(guān)法(phasecorrelation method,PCM).Averbuch和Keller Y[2]提出一種基于FFT的圖像匹配算法,能夠估計(jì)出亞像素精度的平移量.文獻(xiàn) [3]提出在頻域求取圖像間的平移與旋轉(zhuǎn)量,利用圖像的全部信息使得匹配精度高并且抗噪能力強(qiáng),但在平移量較小或者圖像裁剪的情況下匹配精度降低.Fourier-Mellin[4]變換先將圖像變換到對(duì)數(shù)極坐標(biāo),再應(yīng)用相位相關(guān)方法求得圖像間的旋轉(zhuǎn)、縮放和平移量.文獻(xiàn) [5]提出一種混合算法,先在空間域中使用對(duì)數(shù)極坐標(biāo)技術(shù)作為預(yù)處理來(lái)恢復(fù)大尺度變換和任意旋轉(zhuǎn)角度,然后通過(guò)使用非線性最小二乘優(yōu)化實(shí)現(xiàn)亞像素精度.由于對(duì)數(shù)極坐標(biāo)變換存在采樣不均勻的問(wèn)題,導(dǎo)致中心區(qū)域的過(guò)采樣和邊緣區(qū)域的欠采樣,文獻(xiàn)6提出自適應(yīng)極坐標(biāo)變換(adaptive polar transform,APT)方法,能夠?qū)D像進(jìn)行均勻有效的采樣.
在上述基礎(chǔ)上提出一種采用相位一致性(phase congruency,PC)進(jìn)行特征提取的自適應(yīng)極坐標(biāo)變換方法,本方法在圖像間存在平移、旋轉(zhuǎn)、尺度變換以及部分遮擋的情況下能夠準(zhǔn)確的進(jìn)行匹配,并且具有亮度和對(duì)比度不變性.
對(duì)數(shù)極坐標(biāo)變換(log-polar transform,LPT)是先對(duì)圖像進(jìn)行極坐標(biāo)變換,再進(jìn)行對(duì)數(shù)變換.圖像在直角坐標(biāo)系下的旋轉(zhuǎn)和尺度變換在對(duì)數(shù)極坐標(biāo)系中表現(xiàn)為平移.但由于LPT的采樣不均勻,導(dǎo)致在圖像中心區(qū)域過(guò)采樣而邊緣區(qū)域欠采樣.
自適應(yīng)極坐標(biāo)變換[6](adaptivepolar transform,APT)是將圖像映射到極坐標(biāo)系,與LPT不同的是,APT圓周方向的采樣數(shù)不是固定不變的,而是隨著極徑值的增大而增加.因此,APT可以實(shí)現(xiàn)對(duì)整幅圖像的均勻采樣,使邊緣區(qū)域的信息也能得到有效利用.
對(duì)于大小為2max×2max的圖像,令 和 分別為極徑和圓周方向的采樣數(shù).選取 =max,以 代表極徑方向第 個(gè)采樣點(diǎn)處的半徑值.由于在半徑 處,圓周方向的采樣數(shù)大約為2 個(gè)像素,取 =8.設(shè)圖像 , ,大小為2max×2max,進(jìn)行APT
為了使APT具有旋轉(zhuǎn)和尺度不變性,要進(jìn)行投影變換,對(duì)變換后的圖像分別進(jìn)行極徑和角度方向的投影.
對(duì)于大小為2max×2max的圖像 , ,進(jìn)行APT變換后的圖像為 , ,設(shè) 和 分別為極徑方向和角度方向的投影,有
式中: 1,, , 1,, ,= ,1= 1 1 ,2=11. 表示在 =max處圓周方向的采樣數(shù), 表示大于或等于 的最小整數(shù),表示小于或等于 的最大整數(shù).
圖1為將圖像進(jìn)行投影變換的結(jié)果.圖中虛線表示原圖的投影,實(shí)線表示旋轉(zhuǎn)或尺度變換圖像的投影.可以看出,對(duì)于僅存在旋轉(zhuǎn)的圖像,在極徑方向上的投影幾乎重合,而在角度方向上的投影表現(xiàn)為平移;對(duì)于僅存在尺度變換的圖像,在角度方向上的投影重合,而在極徑方向上的投影不同.因此,求圖像的旋轉(zhuǎn)量只需要考慮角度方向投影,而圖像的尺度變換量只需要考慮極徑方向的投影.
本文首先確立參考圖像和目標(biāo)圖像組.先對(duì)模型圖像使用相位一致性和非極大值抑制確定非極大值抑制值較大的點(diǎn)為中心點(diǎn),以中心點(diǎn)為圓心、以 為半徑的圓片作為參考圖像.對(duì)目標(biāo)圖像也使用相位一致性和非極大值抑制提取特征點(diǎn),以每一個(gè)特征點(diǎn)為圓心、以 為半徑的圓片作為目標(biāo)圖像組.再次使用相位一致性對(duì)參考圖像和目標(biāo)圖像組的每幅圖像進(jìn)行特征提取.然后變換到自適應(yīng)極坐標(biāo),通過(guò)分別計(jì)算極徑方向和角度方向的投影得出圖像間的尺度和旋轉(zhuǎn)變換量.最后應(yīng)用歐式距離公式找尋最小值定位出參考圖像的中心點(diǎn)在目標(biāo)圖像中的位置完成最終的圖像匹配.
相位一致性[7](phase congruency,PC)是一種特征檢測(cè)方法,它是由Morrone等[8]人通過(guò)對(duì)馬赫帶現(xiàn)象的研究提出來(lái)的.PC處理結(jié)果不受亮度和對(duì)比度的影響,具有通用性、穩(wěn)健性,并且與人類視覺(jué)感知特性一致.
圖2為圖像亮度和對(duì)比度改變時(shí),對(duì)PC處理前后的圖像進(jìn)行投影變換的區(qū)別.圖中虛線表示圖2a)的變換曲線,實(shí)線表示圖2b)的變換曲線.可以看出,對(duì)圖像進(jìn)行PC處理的投影曲線幾乎重合,而未對(duì)圖像進(jìn)行PC處理的投影曲線具有差異性.由于后續(xù)需要應(yīng)用投影變換求圖像的旋轉(zhuǎn)和尺度參數(shù),而PC對(duì)亮度和對(duì)比度具有魯棒性,所以對(duì)圖像先進(jìn)行PC處理可以提高匹配的準(zhǔn)確性.
在極坐標(biāo)域,上式可以表示為
先計(jì)算圖像的尺度參數(shù),將圖像的尺度恢復(fù)后再計(jì)算其旋轉(zhuǎn)參數(shù),最后進(jìn)行定位來(lái)達(dá)到圖像匹配的目的.
2.2.1 計(jì)算尺度參數(shù)
由圖1可以得出求圖像的尺度參數(shù)只需要考慮在極徑方向上的投影.根據(jù)式 (2)可以計(jì)算出參考圖像和目標(biāo)圖像在極徑方向上的投影,如下所示
2.2.2 計(jì)算旋轉(zhuǎn)參數(shù)
計(jì)算出尺度參數(shù)后,將圖像按照尺度因子變換回去再計(jì)算旋轉(zhuǎn)參數(shù).根據(jù)式 (3)可以得出參考圖像和目標(biāo)圖像在角度方向上的投影,如下所示
由圖1可以看出圖像的旋轉(zhuǎn)參數(shù)在極徑方向上的投影表現(xiàn)為平移,因此求得平移量就可以求得圖像的旋轉(zhuǎn)參數(shù).本文對(duì)和進(jìn)行歸一化,找其最高點(diǎn)之間的平移量,根據(jù)得到旋轉(zhuǎn)量.
2.2.3 定位
得到參考圖像和目標(biāo)圖像組的尺度和旋轉(zhuǎn)參數(shù)后進(jìn)行定位.對(duì)參考圖像 和目標(biāo)圖像的投影和應(yīng)用歐式距離可得
為了驗(yàn)證本文所提出方法的有效性,對(duì)存在旋轉(zhuǎn)、尺度變換、亮度對(duì)比度變化以及部分遮擋的情況下的圖像進(jìn)行實(shí)驗(yàn),并與現(xiàn)有方法進(jìn)行了比較.圖3為本文所使用的參考圖像,圖3a)為采集的模型圖像,圖3b)圓圈內(nèi)圖像則為參考圖像.
圖3 模型圖像與參考圖像Fig.3 Model imageand reference image
1)目標(biāo)圖像相對(duì)于參考圖像只存在旋轉(zhuǎn).圖4a1)~圖4c1)為本文方法匹配結(jié)果,圖4a2)~圖4c2)為文獻(xiàn) [6]方法的匹配結(jié)果,表1為具體數(shù)據(jù).可以看出,本文方法和文獻(xiàn) [6]方法對(duì)存在旋轉(zhuǎn)的圖像都可以準(zhǔn)確匹配.
2)目標(biāo)圖像相對(duì)于參考圖像只存在尺度變換.圖5a1)~圖5c1)為本文方法匹配結(jié)果,圖5a2)~圖5c2)為文獻(xiàn) [6]方法的匹配結(jié)果,表2為具體數(shù)據(jù).可以看出,本文方法和文獻(xiàn) [6]方法對(duì)存在尺度變換的圖像都可以準(zhǔn)確匹配.
3)目標(biāo)圖像相對(duì)于參考圖像同時(shí)存在旋轉(zhuǎn)、尺度變換以及部分遮擋.圖6a1)~圖6c1)為本文方法匹配結(jié)果,圖6a2)~圖6c2)為文獻(xiàn) [6]方法匹配結(jié)果,表3為具體數(shù)據(jù).可以看出,本文方法和文獻(xiàn) [6]方法都可以對(duì)同時(shí)存在旋轉(zhuǎn)、尺度變換以及部分遮擋的圖像準(zhǔn)確匹配.
表1 只存在旋轉(zhuǎn)時(shí)的匹配結(jié)果Tab.1 The imagematching resultsof rotation
表2 只存在尺度變換的匹配結(jié)果Tab.2 The imagematching resultsof scaling transformation
圖4 旋轉(zhuǎn)圖像的匹配Fig.4 Rotated imagesmatching
圖5 尺度變換圖像的匹配Fig.5 Scaled imagesmatching
表3 同時(shí)存在旋轉(zhuǎn)、尺度變換以及部分遮擋的匹配結(jié)果Tab.3 The image matching results of rotation,scaling transformation and partialocclusion
4)目標(biāo)圖像相對(duì)于參考圖像存在亮度、對(duì)比度變化.圖7a1)~圖7d1)為本文方法匹配結(jié)果,圖7a2)~圖7d2)為文獻(xiàn) [6]方法匹配結(jié)果,表4為具體數(shù)據(jù).實(shí)驗(yàn)表明,當(dāng)圖像亮度增加超過(guò)40%或減少20%、對(duì)比度增加超過(guò)60%或減少20%時(shí),文獻(xiàn) [6]方法無(wú)法正確定位,匹配出錯(cuò).這是由于圖像亮度、對(duì)比度的變化增大時(shí)導(dǎo)致投影變換曲線變化增大,使用相關(guān)函數(shù)計(jì)算時(shí)誤差增大,無(wú)法正確匹配.而本文方法采用的相位一致性具有亮度和對(duì)比度不變性,當(dāng)圖像亮度、對(duì)比度增加或減少到80%時(shí)仍能正確匹配.
表4 存在亮度、對(duì)比度變化的匹配結(jié)果Tab.4 Matching results of imagesw ith brightness and contrast changes
綜上所述,本文方法對(duì)圖像間存在旋轉(zhuǎn)、尺度變換以及部分遮擋情況下的圖像能夠準(zhǔn)確匹配,其誤差與文獻(xiàn) [6]數(shù)據(jù)相當(dāng).但圖像間存在亮度和對(duì)比度變化的情況下,本文方法比文獻(xiàn) [6]更能準(zhǔn)確匹配圖像.
本文研究了圖像間存在旋轉(zhuǎn)、縮放、平移、亮度和對(duì)比度改變以及部分遮擋情況下的圖像匹配.首先使用相位一致性對(duì)參考圖像與目標(biāo)圖像進(jìn)行特征提取,然后進(jìn)行自適應(yīng)極坐標(biāo)變換,最后通過(guò)計(jì)算投影變換得出旋轉(zhuǎn)與尺度變換參數(shù)并對(duì)圖像進(jìn)行匹配.自適應(yīng)極坐標(biāo)變換克服了對(duì)數(shù)極坐標(biāo)存在的采樣不均勻的問(wèn)題,當(dāng)圖像存在遮擋的情況下也能準(zhǔn)確匹配.而相位一致性對(duì)圖像亮度和對(duì)比度變化具有魯棒性.實(shí)驗(yàn)結(jié)果表明,在圖像間存在平移、旋轉(zhuǎn)、尺度變換以及部分遮擋的情況下能夠精確匹配,并且具有亮度和對(duì)比度不變性.
[1]Kuglin CD,HinesDC.The phasecorrelation imagealignment method[J].IEEE International Conferenceon Cybernetics and Society,1975:163-165.
[2]Averbuch A,Keller Y.FFT based image registration[J].IEEE International Conference on Acoustics,Speech,and Signal Processing,2002,4:3608-3611.
[3]Lucchese L,Cortelazzo GM.A aoise-robust frequency domain technique for estimating planar roto-translations[J].IEEE Transactionson Signal Processing,2000,48(6):1769-1786.
[4]Zhang J,Ou Z,Wei H.Fingerprint matching using phase-only correlation and fourier-mellin transforms[J].IEEE International Conference on Intelligent Systems Design and Applications,2006,2:379-383.
[5]Zokai S,Wolberg G.Image registration using log-polar mappings for recovery of large-scale sim ilarity and projective transformations[J].IEEE Transactionson Image Processing,2005,14(10):1422-1434.
[6]Matungka R,Zheng Y F,Ew ing R L.Image registration using adaptive polar transform[J].IEEE Transactionson Image Processing,2009,18(10):2340-2354.
[7]Logesparan L,Rodriguez-Villegas E.A novelphase congruency based algorithm for online data reduction in ambulatory EEG systems[J].IEEE Transactionson Biomedical Engineering,2011,58(10):2825-2834.
[8]KovesiP.Image features from phase congruency[J].Journal of Computer Vision Research,1999,1(3):1-26.