基于GMS和改進(jìn)最佳縫合線的視差圖像拼接算法

李四杰，唐清善，高英華

(1.長沙理工大學(xué)物理與電子科學(xué)學(xué)院，湖南 長沙 410114; 2.中國人民解放軍第3303工廠，湖北 武漢 430200)

0 引 言

圖像拼接是指將多幅具有一定重疊區(qū)域的圖像融合成一幅完整的大視角圖像[1-4]的技術(shù)。圖像拼接是計(jì)算機(jī)圖像學(xué)領(lǐng)域的一大研究熱點(diǎn)，在虛擬現(xiàn)實(shí)[5]、遠(yuǎn)程視頻監(jiān)控[6]、醫(yī)學(xué)圖像處理[7]、遙感技術(shù)[8-9]等方面都有著廣泛而迫切的應(yīng)用需求。

現(xiàn)有圖像拼接算法主要可以分為3類：

1)全局對(duì)齊方法。

這類方法首先通過特征提取算法SIFT[10]或SURF[11]進(jìn)行圖像匹配，然后利用隨機(jī)抽樣一致(RANdom SAmple Consensus, RANSAC)算法計(jì)算出全局單應(yīng)性矩陣進(jìn)行圖像配準(zhǔn)，最后對(duì)圖像進(jìn)行融合得到無縫的拼接圖像，如自動(dòng)拼接(AutoStitch)算法[12]。文獻(xiàn)[13]提出基于改進(jìn)SURF的圖像拼接算法，提高了圖像匹配的效率。然而在大視差圖像拼接的場景中，SIFT、SURF和其改進(jìn)算法容易產(chǎn)生錯(cuò)誤的匹配點(diǎn)，難以計(jì)算出精確的全局單應(yīng)性模型，導(dǎo)致拼接圖像出現(xiàn)鬼影和模糊等問題。

2)以盡可能投影(As-Projective-As-Possible, APAP)算法[14]為代表的空域變化繪制方法。

該類方法將圖像劃分為密集網(wǎng)格，對(duì)于每個(gè)網(wǎng)格分別計(jì)算出單應(yīng)性矩陣進(jìn)行對(duì)齊，即局部單應(yīng)性，因此該方法對(duì)齊圖像的效果很好，在視差較小的情況下表現(xiàn)優(yōu)異，但計(jì)算量較大，并且會(huì)出現(xiàn)局部圖像結(jié)構(gòu)扭曲的現(xiàn)象。文獻(xiàn)[15]提出了自適應(yīng)盡可能自然(Adaptive-As-Natural-As-Possible, AANAP)算法，與APAP算法不同，該算法結(jié)合全局變換和局部變換進(jìn)行拼接，局部變換用于對(duì)齊圖像，全局變換用于矯正形狀，避免了圖像的局部扭曲，但是同樣只適用于小視差的場景。文獻(xiàn)[16]提出基于直線特征約束網(wǎng)格變形的圖像拼接方法，該方法通過直線約束改善了圖像非重疊區(qū)域的扭曲問題，同時(shí)提高了圖像拼接的精度和還原度，在航拍圖像拼接上效果較好。

3)基于縫合線的方法。

這類方法通過計(jì)算圖像重疊區(qū)域上的最佳縫合線來拼接圖像。文獻(xiàn)[17]采用基于圖像的顏色差異和幾何差異的動(dòng)態(tài)規(guī)劃求解最佳縫合線。但該方法無法徹底消除鬼影問題，且在圖像曝光差異大的情況拼縫較明顯。

綜上所述，在拼接圖象視差較大的情況下，上述算法均無法解決鬼影、亮度不均等問題。因此，本文提出一種基于GMS和改進(jìn)最佳縫合線的視差圖像拼接算法。算法開始基于GMS算法快速獲得圖像中的特征匹配點(diǎn)，后通過改進(jìn)最佳縫合線算法中的能量函數(shù)優(yōu)化鬼影問題，再利用梯度域融合平滑圖像中亮度不均勻區(qū)域，從而實(shí)現(xiàn)圖像拼接。

1 基于GMS和改進(jìn)最佳縫合線的視差圖像拼接

Step1利用ORB算法在2幅輸入圖像中提取出大量的特征點(diǎn)，并計(jì)算特征描述子，通過暴力匹配(Brute Force, BF)算法，對(duì)2幅輸入圖像進(jìn)行粗匹配，再由GMS算法過濾掉誤匹配點(diǎn)。

Step2計(jì)算2幅圖像之間的單應(yīng)性矩陣，利用單應(yīng)性矩陣將一幅圖像投影到另一幅圖像的平面上，得到配準(zhǔn)圖像。

Step3計(jì)算改進(jìn)后的能量函數(shù)，并在配準(zhǔn)圖像的重疊區(qū)域利用圖割求解最佳縫合線。

Step4在圖像中縫合線兩側(cè)進(jìn)行梯度融合得到輸出圖像。

本文算法主要流程如圖1所示。

圖1 基于GMS和改進(jìn)最佳縫合線的視差圖像拼接算法流程圖

1.1 基于網(wǎng)格運(yùn)動(dòng)統(tǒng)計(jì)的特征匹配

特征點(diǎn)提取中的ORB算法特點(diǎn)是提取速度快、特征點(diǎn)魯棒性差，易產(chǎn)生大量的誤匹配點(diǎn)。而GMS算法將運(yùn)動(dòng)平滑度表示為區(qū)域中一定數(shù)量的匹配項(xiàng)的統(tǒng)計(jì)似然性[18]，即正確的匹配點(diǎn)周圍一定會(huì)存在足夠多數(shù)量的正確匹配點(diǎn)支撐它，而錯(cuò)誤的匹配點(diǎn)周圍沒有或者只有極少數(shù)的匹配點(diǎn)，通過統(tǒng)計(jì)特征點(diǎn)周圍的支持量可以快速地找到2幅圖像中正確的特征匹配對(duì)。融合二者的優(yōu)點(diǎn)，新的算法可以有效降低誤匹配點(diǎn)，并保證特征提取的實(shí)時(shí)性。

在使用ORB算法和BF算法后，得到特征粗匹配對(duì)。接著應(yīng)用GMS算法時(shí)，假設(shè)IA和IB為2幅輸入圖像，存在IA到IB最近鄰匹配集合λ={λ1,λ2,…,λi,…,λN},其中λi表示一個(gè)特征匹配對(duì)。假設(shè)λi鄰域支持量為Si，則有：

Si=|γ|-1

(1)

其中，γ是λ的子集，|γ|表示γ中包含特征匹配對(duì)的數(shù)量，-1項(xiàng)表示除去初始匹配對(duì)。

由于每個(gè)特征點(diǎn)是相互獨(dú)立的，所以特征點(diǎn)鄰域內(nèi)支持量Si近似服從于二項(xiàng)分布，則有：

(2)

其中，Pt為2幅圖像的2個(gè)對(duì)應(yīng)區(qū)域內(nèi)，在一個(gè)點(diǎn)匹配正確的條件下，周圍點(diǎn)支持它的概率，Pf表示為2幅圖像的2個(gè)對(duì)應(yīng)區(qū)域內(nèi)，在一個(gè)點(diǎn)匹配錯(cuò)誤的條件下，周圍點(diǎn)支持它的概率。R表示與所在網(wǎng)格區(qū)域相鄰但不相交的網(wǎng)格數(shù)，n表示該網(wǎng)格中的特征點(diǎn)數(shù)。

Si的均值與標(biāo)準(zhǔn)差可由公式(3)計(jì)算：

(3)

根據(jù)標(biāo)準(zhǔn)差Sf與均值mf可以得出判斷鄰域特征支持量是否匹配正確的閾值：

τ=mf+αSf

(4)

通過實(shí)驗(yàn)可以發(fā)現(xiàn)mf的值小到可以忽略不計(jì)，而α通常取一個(gè)較大的值來保證可以篩除掉錯(cuò)誤匹配，本文中α的取值為6。因此，τ也可以近似表示為：

(5)

其中，ns表示9個(gè)網(wǎng)格中特征點(diǎn)數(shù)量之和的平均值。

將圖像IA和IB分別劃分為G個(gè)網(wǎng)格，取G=20×20。統(tǒng)計(jì)網(wǎng)格中所有特征匹配對(duì)的鄰域支持量Si，并刪除Si<τ的特征匹配對(duì)，剩余的特征匹配對(duì)即為正確匹配。

1.2 單應(yīng)性變換模型

在完成圖像匹配之后，通過RANSAC算法找到至少4對(duì)匹配點(diǎn)，可以計(jì)算出單應(yīng)性矩陣H。接著利用單應(yīng)性矩陣H將2幅圖像變換到同一坐標(biāo)系上。

(6)

其中,(x,y)和(x′,y′)分別為變換前后的圖像坐標(biāo)。其中h0、h1、h3、h4描述了圖像的尺度變化和旋轉(zhuǎn)量；h2表示水平方向的平移量；h5表示垂直方向的平移量；h6、h7表示水平和垂直方向的變形量。

1.3 基于圖切割的最佳縫合線算法的改進(jìn)

經(jīng)過配準(zhǔn)后可以得到配準(zhǔn)圖像I0和I1，用P表示I0和I1的重疊區(qū)域，令L={0,1}表示一個(gè)標(biāo)簽集合，其中“0”代表該像素點(diǎn)屬于圖像I0，“1”代表該像素點(diǎn)屬于圖像I1。對(duì)于重疊區(qū)域中的每一個(gè)像素p賦予標(biāo)簽lp∈L，即求得重疊區(qū)域的縫合線l。縫合線l的能量函數(shù)表示如下：

(7)

其中，N?P×P是相鄰像素對(duì)(p,q)的四鄰域像素集合。

能量函數(shù)由2個(gè)部分組成：1)數(shù)據(jù)項(xiàng)，表示把標(biāo)簽lp賦給像素點(diǎn)p的懲罰，用Dp(lp)表示；2)平滑項(xiàng)Sp,q(lp,lq)，表示把標(biāo)簽對(duì)(lp,lq)賦給相鄰像素對(duì)(p,q)的懲罰。

最佳縫合線即所含能量最小的縫合線，能量最小問題可以由圖切割法求解[19]。相比動(dòng)態(tài)規(guī)劃法，圖切割法更加靈活。圖切割法首先需要建立一個(gè)有向圖G=<Φ,Ψ>，其中Φ表示頂點(diǎn)的集合，而Ψ表示有權(quán)邊e的集合。另外還有2個(gè)特殊的頂點(diǎn)，分別稱為源節(jié)點(diǎn)和匯節(jié)點(diǎn)。圖像的一個(gè)割C實(shí)際上就是Ψ的一個(gè)子集，即C?Ψ。經(jīng)過圖切割之后得到的有向圖G=<Φ,ψ/C>源節(jié)點(diǎn)和匯節(jié)點(diǎn)是分離的，也就是說源節(jié)點(diǎn)和匯節(jié)點(diǎn)之間不存在通路。定義成本函數(shù)|C|為圖像的割所經(jīng)過有權(quán)邊e的權(quán)值之和。即：

(8)

其中，we為每條邊的權(quán)值。

如圖2所示，假設(shè)基準(zhǔn)圖像和待拼接圖像的重疊區(qū)域?yàn)橐粋€(gè)3×3的像素矩陣，利用圖切割求解最佳縫合線的具體步驟如下：

圖2 最佳縫合線示意圖

Step1在重疊區(qū)域上建立圖。重疊區(qū)域上的每一個(gè)像素點(diǎn)對(duì)應(yīng)圖的一個(gè)節(jié)點(diǎn)，像素點(diǎn)之間的連線對(duì)應(yīng)圖的邊，邊的權(quán)值為連線兩端像素的顏色差。源節(jié)點(diǎn)和匯節(jié)點(diǎn)分別代表基準(zhǔn)圖像和待拼接圖像。

Step2計(jì)算數(shù)據(jù)項(xiàng)和平滑項(xiàng)。

數(shù)據(jù)項(xiàng)的定義為：

(9)

其中，?Ik∩?P分別表示Ik(k=0,1)與P的公共邊界。

當(dāng)像素點(diǎn)被賦值了錯(cuò)誤的標(biāo)簽時(shí)，會(huì)使得該數(shù)據(jù)項(xiàng)的值趨向于無窮大，這樣可以避免所求最佳縫合線穿過2幅圖像重疊區(qū)域的邊界。

平滑項(xiàng)的定義為：

(10)

I*(·)=‖I0(·)-I1(·)‖2

(11)

其中，I*(·)表示用歐氏距離計(jì)算2幅圖像之間的RGB顏色空間距離差。

Step3利用最大流算法進(jìn)行迭代求取最小能量，源節(jié)點(diǎn)擴(kuò)張方式選擇α擴(kuò)張[20-21]。求取使得目標(biāo)能量函數(shù)最小的縫合線，即最佳縫合線。

圖2中的虛線表示最佳縫合線，最佳縫合線左邊的像素1、4、5、7、8來自于基準(zhǔn)圖像，而右邊的像素2、3、6、9則來自于待拼接圖像。

人眼對(duì)于RGB顏色空間中3個(gè)顏色分量敏感程度是不相同的[22]，HSV顏色空間在圖像處理中使用較多，相比RGB有著更符合人類視覺的顏色表達(dá)能力[23]。因此，本文采用HSV顏色空間，并且在約束項(xiàng)中添加圖像的梯度信息來改進(jìn)最佳縫合線的能量函數(shù)。

改進(jìn)算法的步驟1和步驟3與上述Step1和Step3保持一致，改進(jìn)算法主要對(duì)能量函數(shù)公式(7)中的平滑項(xiàng)進(jìn)行了修改。

1)HSV顏色差異項(xiàng)Ehsv。

由于RGB空間3個(gè)分量均對(duì)圖像亮度高度敏感，即圖像亮度改變，3個(gè)分量都會(huì)受到亮度的影響而改變。這導(dǎo)致拼接圖像在亮度變化不大的區(qū)域會(huì)產(chǎn)生不自然的切縫。改進(jìn)算法將HSV顏色空間引入到最佳縫合線算法中，使最佳縫合線不僅對(duì)圖像的亮度敏感，而且圖像的飽和度以及明度都會(huì)影響最佳縫合線求解的結(jié)果。Ehsv的定義如下：

(12)

(13)

其中，h、s、v分別為HSV顏色空間的3個(gè)分量：色調(diào)(H)，飽和度(S)，明度(V)。

2)梯度差異項(xiàng)Eg。

對(duì)于彩色圖像來說，圖像梯度反映的是像素鄰域內(nèi)顏色的變化，圖像邊緣像素值變化大，所以在圖像邊緣有較大的梯度值，而圖像中較平滑的部分梯度值則較小。將圖像的梯度差異項(xiàng)加入縫合線搜索的約束項(xiàng)中，使縫合線避免穿過圖像中物體的邊緣。

Eg=‖?I0(p)-?I1(p)‖2+‖?I0(q)-?I1(q)‖2

(14)

其中，?I0(p)表示圖像I0在像素點(diǎn)p處的顏色梯度值，可由RGB圖像與Sobel算子進(jìn)行卷積求得。

綜上，改進(jìn)后的能量函數(shù)為：

(15)

(16)

其中，ε為2項(xiàng)之間的可調(diào)節(jié)的比例因子，ε的值越大，代表能量函數(shù)受Ehsv項(xiàng)的影響越大。

1.4 梯度融合

由于存在曝光差異，即使在利用最佳縫合線融合圖像后，圖像的拼縫仍然存在。本文采用梯度融合的方法對(duì)拼接圖像進(jìn)行進(jìn)一步的優(yōu)化。梯度融合即在梯度域中平滑過渡圖像拼縫來提高融合圖像的質(zhì)量[24]。具體步驟如下：

Step1根據(jù)求解最佳縫合線過程中得到的掩膜，將配準(zhǔn)后的圖像I0和I1分別與掩膜進(jìn)行點(diǎn)乘，得到拼接圖像f(x,y)，計(jì)算f(x,y)的梯度(Gx,Gy)。

Step2計(jì)算f(x,y)的散度div(G)，并以散度向量作為導(dǎo)向向量構(gòu)建泊松方程：

?2f(x,y)=div(G)

(17)

其中：

Step3添加邊界約束條件：

(18)

Step4將最佳縫合線兩端的梯度值以及邊界上的梯度值設(shè)置為0，利用牛頓迭代法可求解方程(17)，求得的解即為融合后的圖像。

2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的效果，本文在Win 10系統(tǒng)的PC上進(jìn)行算法仿真實(shí)驗(yàn)，處理器為Intel(R) Core(TM) i5-9300H CPU @ 2.40 GHz。分別從圖像匹配質(zhì)量和拼接質(zhì)量2個(gè)方面評(píng)估算法的性能。

2.1 圖像匹配實(shí)驗(yàn)

如圖3(a)所示，從上至下分別為4組分辨率為600×480的實(shí)驗(yàn)圖像，圖3(b)～圖3(d)為實(shí)驗(yàn)結(jié)果。從圖中可以看出每組的左右圖像之間存在較大的視差，這為圖像特征匹配帶來一定的挑戰(zhàn)。防止特征點(diǎn)過少導(dǎo)致的圖像配準(zhǔn)失敗，實(shí)驗(yàn)中SIFT算法和SURF算法都設(shè)置了比較低的閾值來獲取更多的特征點(diǎn)。由表1可以看出，受到視差的影響，SIFT算法和SURF算法匹配的結(jié)果中存在大量的誤匹配，而本文算法匹配的正確率遠(yuǎn)大于上面2種算法，匹配質(zhì)量更加可靠。另外，本文算法具有更快的剔除誤匹配的速度，保證了算法執(zhí)行的效率。

圖3 圖像匹配結(jié)果對(duì)比圖

表1 3種特征匹配算法對(duì)比

2.2 圖像拼接實(shí)驗(yàn)

2.2.1 參數(shù)ε選取

從圖4中可以看出，ε的不同取值會(huì)直接影響最佳縫合線的走向。如圖4(c)～圖4(e)中標(biāo)記的方框所示，當(dāng)ε的值為0.75、0.83、1時(shí)，最后的拼接圖中都生成了明顯的路標(biāo)鬼影。而當(dāng)ε取0.5和0.66時(shí)，得到的最佳縫合線基本一致，生成的拼接圖像也無明顯的畸變。為了保持能量函數(shù)中的Ehsv項(xiàng)所占權(quán)值大于Eg項(xiàng)，下面的實(shí)驗(yàn)中均取ε=0.66。

(a) ε=0.5 (b) ε=0.66

(c) ε=0.75 (d) ε=0.83

(e) ε=1

2.2.2 圖像拼接主觀評(píng)價(jià)實(shí)驗(yàn)

為了驗(yàn)證本文算法生成拼接圖像的質(zhì)量，選取2組分辨率分別為800×541和640×480的視差圖像，然后將本文算法分別與AutoStitch算法、APAP算法、AANAP算法，以及最佳縫合線算法進(jìn)行對(duì)比實(shí)驗(yàn)。

從圖5和圖6可以看出，對(duì)于視差圖像的拼接，除本文算法以外，其他算法生成的拼接圖像均出現(xiàn)了“鬼影”。同時(shí)在圖5(d)中APAP算法的結(jié)果圖出現(xiàn)了嚴(yán)重局部圖像扭曲的問題，圖6(d)和圖6(e)出現(xiàn)了明顯的亮度不均勻。而本文算法在2組對(duì)比實(shí)驗(yàn)中均表現(xiàn)良好，無明顯瑕疵，且生成的拼接圖觀感上比較自然。

對(duì)于傳統(tǒng)的最佳縫合線算法，由于其采用基于RGB顏色空間的歐氏距離差定義平滑項(xiàng)，僅僅只能保持局部顏色相似，而在某些圖像結(jié)構(gòu)比較復(fù)雜的情況下，求得的最佳縫合線有時(shí)候不符合人類視覺。如圖5(f)所示，圖像的背景為顏色相似的天空，傳統(tǒng)最佳縫合線僅考慮了RGB顏色差異，導(dǎo)致在拼接圖像中的黑色方框處出現(xiàn)了明顯的桅桿鬼影。而本文算法由于考慮了圖像的梯度差，使得最佳縫合線傾向于沿著物體的邊緣，避免直接穿過桅桿，消除了鬼影。在圖6(f)中的黑色方框處，傳統(tǒng)的最佳縫合線算法所求縫合線穿過了公路的邊沿處，導(dǎo)致拼接圖像出現(xiàn)斷層。而本文算法所求最佳縫合線避開了路沿和減速帶，使拼接圖像較為自然。

(a)船舶圖1

(b) 船舶圖2

(c) AutoStitch

(d) APAP

(e) AANAP

(f) 最佳縫合線

(g) 本文算法

(a)公路圖1

(b) 公路圖2

(c) AutoStitch

(e) AANAP

(f) 最佳縫合線

(g) 本文算法

2.2.3 圖像拼接自然度評(píng)價(jià)實(shí)驗(yàn)

為了更直觀地評(píng)價(jià)各算法拼接圖像的自然度，本文采取圖像自然度評(píng)價(jià)算法[25](Natural Image Quality Evaluator, NIQE)對(duì)拼接圖像的質(zhì)量進(jìn)行評(píng)價(jià)。NIQE是一種無參考圖像技術(shù)指標(biāo)，該算法不需要輸入任何的參考圖像信息，就能夠獨(dú)立地對(duì)被測(cè)圖像進(jìn)行打分。由于人類視覺系統(tǒng)總是傾向從圖像中清晰的區(qū)域?qū)D像的質(zhì)量進(jìn)行判斷[26]，因此NIQE算法首先在被測(cè)圖像中提取感興趣區(qū)域，接著從這些區(qū)域上計(jì)算36個(gè)相同的自然場景統(tǒng)計(jì)指標(biāo)，然后將指標(biāo)與多元高斯模型進(jìn)行擬合。最后，通過公式(19)計(jì)算待測(cè)圖像與自然圖像所建立的模型參數(shù)之間的距離來評(píng)估圖像質(zhì)量。NIQE的值越小代表圖像的自然度越高，即拼接圖像的質(zhì)量越好。反之，NIQE的值越大說明圖像的自然度越低，圖像失真越嚴(yán)重。

(19)

其中，ν1、ν2、Σ1、Σ2分別代表自然圖像多元高斯模型和被測(cè)圖像多元高斯模型的均值向量和協(xié)方差矩陣。

利用NQIE算法對(duì)圖像拼接對(duì)比實(shí)驗(yàn)1和對(duì)比實(shí)驗(yàn)2中5種拼接算法所生成的拼接圖像分別進(jìn)行打分，如表2所示，本文算法在2組實(shí)驗(yàn)中的得分均低于AutoStitch、APAP算法、AANAP以及最佳縫合線算法，這表明本文算法拼接圖像的自然度優(yōu)于上述4種算法。

表2 5種拼接算法NIQE得分

3 結(jié)束語

針對(duì)視差圖像拼接時(shí)易出現(xiàn)鬼影和亮度不均等問題，本文提出了一種改進(jìn)的圖像拼接算法。在圖像配準(zhǔn)階段，結(jié)合ORB算法和GMS算法獲取可靠的特征點(diǎn)，從而得到更精確的變換模型，提高了圖像配準(zhǔn)的魯棒性。在圖像拼接階段，將HSV顏色空間和圖像梯度差引入能量函數(shù)中改進(jìn)最佳縫合線，使鬼影問題得到優(yōu)化；同時(shí)采用梯度融合平滑拼接縫兩側(cè)亮度，使拼接圖像整體上看起來更自然。通過2組對(duì)比實(shí)驗(yàn)對(duì)本文算法的性能進(jìn)行了評(píng)估，結(jié)果表明：對(duì)于視差圖像場景的圖像拼接，本文算法的拼接效果優(yōu)于AutoStitch、APAP、AANAP和最佳縫合線算法，特征點(diǎn)匹配正確率最高提升了4.73倍，圖像拼接自然度平均提升了22.6%。在進(jìn)一步的研究工作中將把算法移植到硬件平臺(tái)上進(jìn)行加速，更好地提高算法的實(shí)時(shí)性。