陳丹淇, 趙 迪

(1 上海機(jī)電工程研究所, 上海 201000; 2 上海衛(wèi)星工程研究所, 上海 201000)

基于特征點(diǎn)的圖像配準(zhǔn)方法研究*

陳丹淇1, 趙 迪2

(1 上海機(jī)電工程研究所, 上海 201000; 2 上海衛(wèi)星工程研究所, 上海 201000)

圖像配準(zhǔn)是將不同條件下(時(shí)間、傳感設(shè)備、氣候、角度等)得到的兩幅或者多幅圖像進(jìn)行匹配、疊加的過程。通常,每種配準(zhǔn)技術(shù)都是針對(duì)某一類具體應(yīng)用的,有一定的局限性。文中提出了一種融合的、基于特征點(diǎn)的圖像配準(zhǔn)方法,首先采用小波變換和USAN區(qū)域特性相結(jié)合的角點(diǎn)檢測(cè)方法,然后利用互相關(guān)和RANSAC相結(jié)合的方法進(jìn)行特征點(diǎn)匹配,最后采用薄板樣條法求解點(diǎn)變換矩陣。通過這種方法可以彌補(bǔ)不同配準(zhǔn)方法的不足,提高配準(zhǔn)精度。通過對(duì)人物、景物等大量圖像進(jìn)行實(shí)驗(yàn)分析,證明此算法具有很好的配準(zhǔn)精度、環(huán)境適應(yīng)性和實(shí)時(shí)性。

融合;圖像配準(zhǔn);角點(diǎn);特征點(diǎn)匹配

0 基于特征點(diǎn)的圖像配準(zhǔn)方法

圖像配準(zhǔn)實(shí)際上就是將不同時(shí)間、不同成像模式、不同視場(chǎng)下獲得的兩幅或多幅圖像進(jìn)行空間幾何變換的過程。也就是說,要將兩幅圖像中對(duì)應(yīng)于同一空間位置的兩個(gè)點(diǎn)聯(lián)系起來(lái),尋找到一種空間變換關(guān)系,使得經(jīng)過變換后的兩幅圖像差異性最小。

特征點(diǎn)作為圖像的關(guān)鍵特性,包含了圖像的高層信號(hào)信息,對(duì)光照、噪音的抗干擾能力較強(qiáng)。因此,基于特征點(diǎn)的圖像配準(zhǔn)算法是文中的研究重點(diǎn),其算法流程圖可見圖1。

1 基于小波變換和USAN區(qū)域特性的角點(diǎn)檢測(cè)

1.1 基于小波變換多尺度積的邊緣檢測(cè)方法

設(shè):

(1)

M2j代表了梯度向量模,反映了f(x,y)·θ(x,y)在點(diǎn)(x,y)上灰度變化的劇烈程度。M2j沿著A2j取極大值點(diǎn)對(duì)應(yīng)著f(x,y)的突變點(diǎn),也就是圖像的邊緣位置。

通過小波變換得到了圖像的邊緣位置,但是該方法易受噪聲影響,因此引入小波變換多尺度積判別準(zhǔn)則如式(2)。

(2)

由此可以得到邊緣點(diǎn)的判決條件:

1)點(diǎn)f(x,y)是M2j的局部極大值,且M2j>T,T為閾值。

從圖2可以看出,加入多尺度積后,可以有效抑制噪聲的影響,提高邊緣檢測(cè)的精度。

1.2 邊緣連接

利用小波變換進(jìn)行邊緣檢測(cè)之后,會(huì)存在毛草邊緣和短小的邊緣點(diǎn)。為了去除這些噪聲影響,同時(shí)為角點(diǎn)檢測(cè)提供有效的邊緣結(jié)構(gòu),文中利用像素梯度向量模和方向角來(lái)進(jìn)行邊緣連接。也就是說,如果像素(m,n)在像素(x,y)的鄰域內(nèi)且他們滿足以下條件,就可以把兩個(gè)像素連接起來(lái):

(3)

通過以上公式可以得到邊緣鏈數(shù)組,對(duì)于邊緣鏈小于某一閾值(5到15)將被作為噪聲邊緣去除,由圖3可以看出,通過邊緣連接后,可以去除掉短小且沒有使用價(jià)值的邊緣信息,并使邊緣得到平滑。

1.3 基于曲率的角點(diǎn)檢測(cè)

根據(jù)角點(diǎn)的特性可知,位于光滑曲線上的點(diǎn),其左右兩邊曲線所形成的夾角接近于零;而在角點(diǎn)處,其左右兩邊曲線會(huì)形成一個(gè)夾角。因此只有當(dāng)某點(diǎn)左右兩邊直線之間的夾角在某一個(gè)范圍內(nèi),文中選擇[π/4,π/2],則認(rèn)為這個(gè)點(diǎn)為角點(diǎn)。

1.4USAN區(qū)域特性去除偽角點(diǎn)

基于曲率的角點(diǎn)檢測(cè)方法比較簡(jiǎn)單快速,但會(huì)產(chǎn)生很多偽角點(diǎn),因此文中采用USAN區(qū)域特性去除這些噪聲點(diǎn)。

將位于圓形窗口模板中心的待檢測(cè)像素點(diǎn)稱為核心點(diǎn)。當(dāng)核心點(diǎn)在角點(diǎn)處時(shí),USAN區(qū)域最小,而相反USAN區(qū)域最大。通過此種方法可以有效去除偽角點(diǎn),如圖4。

1.5 基于小波變換和USAN區(qū)域特性檢測(cè)實(shí)驗(yàn)結(jié)果

本算法由于作用在小波變換多尺度邊緣檢測(cè)的基礎(chǔ)上,因而具有一定的抗噪聲,同時(shí)基于曲率局部極大值進(jìn)行角點(diǎn)判定,受角度旋轉(zhuǎn)的影響較小。

2 基于互相關(guān)和RANSAC算法相結(jié)合的特征點(diǎn)匹配

2.1 基于互相關(guān)的特征點(diǎn)匹配

假設(shè)p=(px,py)和q=(qx,qy)分別是待配準(zhǔn)圖和參考圖像上的特征點(diǎn)。則p和q相似程度的歸一化互相關(guān)公式如下:

py)-u1][f2(x+px,y+py)-u2]}

(4)

按照上述條件,逐點(diǎn)對(duì)兩幅圖像的特征點(diǎn)集進(jìn)行判斷,可初步建立控制點(diǎn)對(duì)之間的匹配關(guān)系。

2.2RANSAC(RandomSampleConsensus)算法

運(yùn)用互相關(guān)算法實(shí)現(xiàn)粗匹配之后,采用RANSAC方法進(jìn)行修正,以得到精確的匹配。

算法執(zhí)行步驟如下:

1)隨機(jī)提取N對(duì)特征點(diǎn),文中N=4;

2)根據(jù)變換模型求解變換參數(shù),采用投影變換;

3)在剩余的特征點(diǎn)對(duì)中計(jì)算符合變換模型的特征點(diǎn)對(duì)的個(gè)數(shù),記作K;

4)不斷的循環(huán)以上步驟,最大循環(huán)次數(shù)為1 000,同時(shí)記錄K值最大時(shí)相對(duì)應(yīng)的變換參數(shù);

5)依據(jù)最優(yōu)變換參數(shù),對(duì)特征點(diǎn)對(duì)進(jìn)行修正,得出匹配結(jié)果。

在誤匹配點(diǎn)數(shù)目接近一半的情況下,RANSAC算法仍然可以得到正確的結(jié)果,具有很好的魯棒性。

2.3 基于互相關(guān)和RANSAC相結(jié)合的特征點(diǎn)匹配實(shí)驗(yàn)結(jié)果

圖6是采用基于互相關(guān)的特征點(diǎn)匹配的算法,其中分別用紅、黃、藍(lán)、粉4種顏色標(biāo)記了誤匹配點(diǎn)對(duì)的位置。圖7是RANSAC法修正后的結(jié)果,可以看出經(jīng)過RANSAC法修正后,誤匹配點(diǎn)的錯(cuò)誤的運(yùn)動(dòng)趨勢(shì)得到了修正,為點(diǎn)變換矩陣的求解提供了精確的匹配結(jié)果。

3 薄板樣條法求解點(diǎn)變換矩陣

薄板樣條(TPS)圖像匹配算法能夠?qū)⒖臻g變換分解為一個(gè)全局仿射變換和一個(gè)局部非仿射變換。

此算法在考慮到全局幾何變換的同時(shí),考慮到了局部畸變,因此有較高的精確度。求解參數(shù)為(m+3)個(gè),便可以得出圖像間的變換矩陣。

4 文中實(shí)驗(yàn)結(jié)果

從試驗(yàn)結(jié)果可以看出,文中提出的基于特征點(diǎn)的圖像配準(zhǔn)方法具有良好的抗干擾性和環(huán)境適應(yīng)性,能夠在噪音環(huán)境下達(dá)到良好的配準(zhǔn)標(biāo)準(zhǔn)(圖8);能夠適應(yīng)旋轉(zhuǎn)縮小的環(huán)境變化,在手動(dòng)旋轉(zhuǎn)圖片和真實(shí)拍攝圖片上都可以達(dá)到良好的試驗(yàn)結(jié)果(圖8、圖9);能夠適應(yīng)不同角度真實(shí)環(huán)境變化,并有較好的抗干擾性能,在部分內(nèi)容發(fā)生變化的情況下,依然能夠保持良好的配準(zhǔn)精度(圖10)。同時(shí),文中提出的配準(zhǔn)方法工作機(jī)理較為簡(jiǎn)單,計(jì)算速率較高,具有良好的實(shí)時(shí)性能。

5 總結(jié)

文中在角點(diǎn)檢測(cè)中將小波變換和USAN區(qū)域特性很好的結(jié)合到了一起,有很高的準(zhǔn)確性,并具備一定的抗噪性和旋轉(zhuǎn)不變性。同時(shí),提出了基于互相關(guān)及RANSAC相結(jié)合的算法,獲得精度很高的匹配結(jié)果。最后采用薄板樣條法求解點(diǎn)變換矩陣,不但考慮到了

全局的仿射變換,而且考慮到局部的非仿射變換,具有很高的精確度。

文中的整個(gè)配準(zhǔn)過程完全是自動(dòng)完成的,通過大量的實(shí)驗(yàn)結(jié)果證明了文中提出配準(zhǔn)方法具有廣泛的適用性和良好的配準(zhǔn)效果。

[1] XU Peng, YAO Dezhong. A study on medical image registration by mutual information with pyramid Data structure[J]. Computers in Biology and Medicine, 2007(37): 320-327.

[2] PENG Daiqiang, LIU Jian, TIAN Jinwen, et al. Transformation model estimation of image registration Via least square support vector machines[J]. Pattern Recognition Letters, 2006(27): 1397-1404.

[4] HERIC Dusan, ZAZULA Damjan. Combined edge detection using wavelet transform and signal registration[J]. Image and Vision Computing, 2007,25(5): 652-662.

[5] BENTOUTOUA Y, TALEBB N, KPALMAC K, et al. A Feature-based approach to automated registration of remotely sensed images[C]// Proceedings of 2006 2nd International Conference on Information and Communication Technologies. New York: IEEE, 2006.

[6] THUNUGUNTLA Saikiran S, GUNTURK Bahadir K. Feature-based image registration in log-polar domain[C]// Proceedings of ICASSP’05. New York: IEEE, 2005.

版權(quán)聲明

凡稿件被本刊錄用，即視為作者同意將該論文的復(fù)制權(quán)、發(fā)行權(quán)、信息網(wǎng)絡(luò)傳播權(quán)、翻譯權(quán)、匯編權(quán)等權(quán)利在全世界范圍內(nèi)轉(zhuǎn)讓給本刊。本刊已許可中文科技期刊數(shù)據(jù)庫(kù)(維普)、萬(wàn)方數(shù)據(jù)數(shù)字化期刊群和中國(guó)知網(wǎng)(中國(guó)學(xué)術(shù)期刊(光盤版)電子雜志社)在其各自的系列數(shù)據(jù)庫(kù)產(chǎn)品中以數(shù)字化方式復(fù)制、匯編、發(fā)行及在信息網(wǎng)絡(luò)傳播本刊全文。作者著作權(quán)使用費(fèi)和稿酬一并支付(即包括印刷版、光盤版和網(wǎng)絡(luò)版各種使用方式的報(bào)酬)。如作者對(duì)本聲明持有異議，請(qǐng)?jiān)谕陡鍟r(shí)說明。

本刊編輯部

ImageRegistrationBasedonFeature

CHEN Danqi1, ZHAO Di2

(1 Shanghai Electro-mechanical Engineering Institute, Shanghai 201000, China; 2 Shanghai Institute of Satellite Engineering, Shanghai 201000, China)

Image registration is a process of matching and superimposing two or more images obtained under different conditions (time, sensing equipment, climate, angle, etc. ). Typically, each registration technique is specific to a particular class of application, with some limitations. An fusion image registration algorithm based on feature is presented in this thesis. Firstly, the corner detection method is combined with wavelet transform and USAN regional features. Then, the feature points are matched by cross correlation and RANSAC(Random Sample Consensus). Finally, the thin-plate spline algorithm is adopted. This method can make up for the shortcomings of different registration methods to improve the accuracy. Through experiments on a large number of images, such as characters and scenes, it is proved that the algorithm has good registration accuracy, environmental adaptability and real-time.

fusion; image registration; corner; feature points matching

TP751;TP391.41

A

2016-07-28

陳丹淇(1986-),女,內(nèi)蒙古扎蘭屯人,工程師,碩士,研究方向:圖像與語(yǔ)音處理。