楊志芳，顏 磊

武漢工程大學(xué)電氣信息學(xué)院，湖北 武漢 430205

圖像拼接是圖像處理中非常重要的技術(shù)，特別是隨著科技的逐漸發(fā)展，圖像獲取的途徑越來越多樣化，圖像的質(zhì)量要求也更高，圖像拼接技術(shù)可以很好的將兩幅或者兩幅以上具有重疊區(qū)域的圖像拼接成一幅信息更加豐富的圖像，被廣泛的應(yīng)用在醫(yī)學(xué)、軍事活動和計算機視覺等領(lǐng)域。

圖像拼接技術(shù)的關(guān)鍵在于圖像的特征提取和圖像匹配，文獻［1］提出的尺度不變特征轉(zhuǎn)換（scaleinvariant feature transform，SIFT）算法是圖像特征提取中的經(jīng)典算法，但SIFT 算法在圖像特征提取時存在計算量大、效率低等問題。文獻［2］針對SIFT 算法的缺點提出了加速穩(wěn)健特征算法（speed up robust feature，SURF），SURF 算法是對 SIFT 檢測算法的改進，通過構(gòu)建Hessian 矩陣來建立尺度空間，提高算法的魯棒性，在圖像特征的檢測速度上大大優(yōu)于SIFT 算法，但是該算法的匹配精度偏低。文獻［3］使用隨機抽樣一致性（random sample consensus，RANSAC）算法來篩選圖像的匹配特征點有利于準(zhǔn)確計算出圖像的變換矩陣。由于傳統(tǒng)的RANSAC 算法計算量較大以及匹配精度較低，后續(xù)如全局RANSAC（Universal-RANSAC）等算法［4-5］都針對上述問題進行了改進，以此來提高匹配結(jié)果的準(zhǔn)確性。

針對上述問題，本文提出利用加速分割檢測特征（features from accelerated segment test，F(xiàn)AST）算法和SURF 算法相結(jié)合進行圖像特征的提取以及描述，并通過改進的k-d 樹最近鄰查找（best bin first，BBF）算法［6］和雙向匹配的自適應(yīng)閾值方法相結(jié)合優(yōu)化匹配結(jié)果，以此提高檢測精度和拼接速度。

1 圖像拼接流程

圖像的特征點提取和描述是圖像拼接的基礎(chǔ)，為了提高特征點的提取速度和質(zhì)量，本文主要對經(jīng)典的 SURF 算法進行改進，采用 FAST［7］算法來快速大量的提取目標(biāo)圖像特征，使用SURF 算法對提取的特征點進行矢量描述，圖像拼接的流程圖如圖1 所示。

圖1 圖像拼接流程圖Fig.1 Flow chart of image mosaic

2 提取圖像特征點

2.1 特征點的選擇

對于圖像特征點的提取，Harris、SIFT、SURF等［8-10］算法的特征點檢測時間均較慢，F(xiàn)AST 算法由于不涉及梯度、尺度等復(fù)雜步驟，在計算效率上具有一定的優(yōu)勢，因此選取FAST 算法來快速準(zhǔn)確的獲取圖像特征點［11］。本文算法中，首先對圖像進行像素點的掃描，然后對其中的每一個像素點進行判斷，根據(jù)FAST 算法的角點公式來判斷該像素點周圍16 個像素點的灰度值大于或小于該點的灰度值，即：

式中，I(x)表示圓周c任意一點的圖像灰度值，I(P)表示中心像素點P的圖像灰度值，若N超過閾值εd，則該點為角點。本文中閾值設(shè)為9。圖2為FAST 算法的角點檢測模板。

圖2 FAST 算法的角點檢測模板Fig.2 Corner detection template used by FAST algorithm

2.2 特征點的描述

由于原始的FAST 算法檢測到的特征點不具備旋轉(zhuǎn)不變性和尺度不變性，導(dǎo)致圖像特征在提取過程中存在不穩(wěn)定性。使用SURF 算法來進行描述可以保證提取的特征點具有很好的穩(wěn)定性［12］。該算法在對特征點進行矢量描述時，首先是將提取的特征點設(shè)為圓心，然后計算半徑為6σ（σ為特征點的尺度）的鄰域內(nèi)所有像素點的水平（dx）、垂直（dy）Harr 小波響應(yīng)總和，將扇形滑動窗口以60°的角度進行掃描，每次掃描的間隔一定，計算出扇形滑動窗口中的小波特征總和的最大值，以最大值的扇形方向為該特征點的主方向。即對圖像Haar 小波響應(yīng)的dx、dy進行疊加處理得到矢量（mw，θw）。

當(dāng)mw值為最大值時，θw為該特征點的主方向（圖3）。

圖3 特征點主方向選取過程：（a）x 響應(yīng)，（b）y 響應(yīng)，（c）以60°按間隔進行窗口掃描Fig.3 Selection process of main direction of feature points：（a）response value of x，（b）response value of y，（c）window scanning with an angular interval of 60°

在特征點主方向選取后，計算以特征點為中心20s×20s（s為特征點所在的尺度值）矩形內(nèi)的特征描述子。20s×20s矩形被劃分為16 個子區(qū)間，在每個子區(qū)間內(nèi)計算出Haar 小波特征的x方向和y方向的響應(yīng)值，如圖4 所示。

圖4 特征點描述子的構(gòu)造Fig.4 Construction of feature point descriptor

其中特征點的描述向量為：

3 圖像特征點匹配

傳統(tǒng)的SURF 算法采用距離為準(zhǔn)則進行特征點相似度的判斷，即

式中，l為兩點間的距離，n為特征點的維數(shù)，X1為參考圖像特征點的描述向量、X2為待檢測圖像特征點的描述向量。

由式（4）計算出參考圖像和待檢測圖像之間所有特征點的距離后，選擇其中最近特征點和次近點的比值為閾值，即

閾值T一般?。?.4，0.8］，當(dāng)最近點lmin相比于近次點lsecond更近時，才保留該特征點。

從圖5（a）中可以看出傳統(tǒng)的SURF 匹配算法匹配的精度不高，因此本文采用BBF+雙向匹配的自適應(yīng)閾值來獲得更精確的匹配結(jié)果并且減少計算量，具體步驟為：

1）使用BBF 算法計算出參考圖和待檢測圖之間所有的特征點的距離，將最近特征點和次近點的比值設(shè)為閾值T，在［0.4，0.8］之間的圖像特征點進行分類統(tǒng)計，分別為集合X1、X2，然后求出這兩個集合的比值，分別為x1，x2。

2）對X1、X2兩個集合求交集運算，計算出交集部分的各個對應(yīng)匹配點的比值，設(shè)為集合Y。

3）將集合Y中的值進行篩選，求出最小值，特征點匹配的自適應(yīng)閾值就是計算出的最小值。

圖5 圖像匹配結(jié)果圖：（a）采用傳統(tǒng)SURF 算法匹配結(jié)果圖，（b）采用FAST+SURF+BBF+雙向匹配的自適應(yīng)閾值檢測圖Fig.5 Image matching results：（a）image matching by traditional SURF algorithm，（b）image matching by Fast，SURF，BBF and bidirectional adaptive threshold matching algorithm

4 RANSAC 算法的改進

變換矩陣是用來表示圖片間的變換關(guān)系，仿射變換能夠保證圖片的平直性以及平行性，一般使用RANSAC 算法進行變換矩陣求解［13-14］。

式（6）中(x,y )、(x',y' )為待拼接圖像的角點位置，s為尺度參數(shù)，H為變換矩陣，其中H共有8 個未知參數(shù)，使用奇異值的分解方法來計算圖片的變換矩陣。由于算法存在一定的誤差會導(dǎo)致存在錯誤匹配的現(xiàn)象，因此求出的變換矩陣不精確。傳統(tǒng)算法中一般使用RANSAC 算法對匹配點進行篩選，剔除錯誤的匹配點后再線性求解出變換矩陣。

由于RANSAC 算法對于一些特征點的色調(diào)、亮度、飽合度（hue，intenstitysaturation，HIS）需要反復(fù)檢測，導(dǎo)致檢測效率降低。本文中引入HIS 模型來對檢測的特征點進行二次約束，其原理是將RANSAC 算法檢測后的特征點進行二次檢測，對該點的亮度、顏色、色調(diào)等值進行檢測，設(shè)定一個閾值作為二次檢測的條件，不滿足此閾值就剔除。

這種HIS 模型的二次約束能夠提高正確特征點的檢測效率，避免了原RANSAC 算法中無限迭代的情況出現(xiàn)。

5 圖像融合

為了保證圖片能夠無縫拼接，選取漸入漸出加權(quán)融合法［15］對圖像進行拼接，具體公式如下：

其中x1，x2為待拼接圖像，X為拼接后的圖像，γ為加權(quán)因子為拼接圖像重疊部分的橫坐標(biāo)距離，wd為拼接圖像重疊部分像素點距重疊部分的橫坐標(biāo)距離。

6 結(jié)果與討論

本文的硬件環(huán)境為Intel（R）Core（TM）I5CPU和12 GB RAM，運行環(huán)境為Wimdow10+VS2015+Opencv3.2。對圖5 的2 幅圖片拼接結(jié)果如圖6所示。

圖6 實驗結(jié)果：（a）圖像匹配，（b）圖像拼接Fig.6 Experimental results：（a）image matching，（b）image mosaic

表1 是幾種常見算法拼接速度的結(jié)果。

表1 圖像匹配數(shù)據(jù)Tab.1 Image matching data ms

從實驗結(jié)果可以得出，本文算法拼接結(jié)果完整，算法精度和時間都有很好的提升，能夠滿足實際應(yīng)用中高精度和高實時性的要求。

為了更好的驗證本文的拼接結(jié)果，本文還進行了不同攝像機拍攝同一場景的不同部分進行圖像拼接，如圖7 所示。圖8 是用本文算法對圖7 中的兩幅圖進行拼接的效果，可以看到拼接的圖像效果很好，由此驗證了本文算法的有效性。

圖7 不同攝像機拍攝的實驗圖：（a）相機1，（b）相機2Fig.7 Experimental images captured by different cameras：（a）camera 1，（b）camera 2

圖8 拼接結(jié)果Fig.8 Image mosaic result

7 結(jié) 論

本文提出一種基于改進SUFR 算法的圖像拼接方法，針對傳統(tǒng)的SURF 算法匹配速度慢和誤匹配率高等問題，提出使用FAST 算法提取圖像特征，提高拼接速度，結(jié)合SURF 算法與BBF 和雙向匹配的自適應(yīng)閾值算法對圖像特征點進行描述和匹配，提高算法的匹配精度，最后將HIS 模型引入RANSAC 算法中剔除誤配點，進一步提高算法匹配的準(zhǔn)確率。在圖像拼接過程中，采用漸入漸出加權(quán)融合算法提高圖像拼接質(zhì)量，消除圖像拼接過程中常見的縫合處不平滑現(xiàn)象，實驗結(jié)果表明，本文算法能夠在提高檢測速度的基礎(chǔ)上，還具有較高的匹配精度和很好的拼接效果。