改進(jìn)TV圖像去噪模型的全景圖像拼接算法

呼亞萍，孔韋韋，李 萌，黃翠玲

1.西安郵電大學(xué) 計算機(jī)學(xué)院，西安710121

2.陜西省網(wǎng)絡(luò)數(shù)據(jù)分析與智能處理重點實驗室，西安710121

圖像拼接技術(shù)可以將多幅圖像構(gòu)建成一幅大型寬視角的全景圖像。借助該技術(shù)，醫(yī)生可以獲取信息更為全面的大尺寸X射線圖像，有助于針對病灶特征制定更有效的治療方案。不僅如此，全景圖像還被廣泛應(yīng)用于地形勘測、環(huán)境監(jiān)測、遙感圖像處理、軍事科學(xué)、道路監(jiān)控等其他多個領(lǐng)域[1]。然而，在圖像拼接過程中，若待拼接圖像清晰度差、噪聲點較多，則很容易導(dǎo)致圖像拼接失敗，從而影響全景圖像的質(zhì)量。盡管人們可以通過改良設(shè)備來獲取高質(zhì)量的低噪聲圖像，提高圖像拼接的成功率，但硬件設(shè)備成本昂貴，無法實現(xiàn)大面積的應(yīng)用，針對硬件的局限性，人們考慮通過改進(jìn)算法的方法來提高圖像的質(zhì)量。因此，將改進(jìn)的圖像去噪模型應(yīng)用于全景圖像的拼接，是一種能夠解決實際問題的有效途徑[2]。

目前，應(yīng)用于全景圖像的拼接算法主要包括Harris角點檢測算法、Hessian-Laplace算法、SIFT算法、SUFR（Speeded Up Robust Features）算法以及各種類型衍生出來的改進(jìn)算法。Harris角點檢測算法[3]通過計算灰度圖像二階矩陣的特征值獲得具有旋轉(zhuǎn)不變特性的特征點，但由于該類特征點不具備尺度不變性，因此在噪聲點的干擾下會導(dǎo)致偽角點的出現(xiàn)；在此基礎(chǔ)上，文獻(xiàn)[4]提出通過引入圖像差分濾波算子對Harris角點檢測算法進(jìn)行改進(jìn)，幫助其檢測特征點，使得算子可以濾除噪聲響應(yīng)點，降低噪聲點帶來的負(fù)面影響；Hessian-Laplace算法[5]通過Hessian矩陣確定特征點的位置，利用拉普拉斯算子使得特征點具備尺度不變性，從而降低噪聲點的干擾，但算法的時間復(fù)雜度較高；SIFT算法[6]通過在尺度空間尋找極值點的方法，降低噪聲點的灰度值，提取出位置和尺度具備旋轉(zhuǎn)不變性的特征點，因此該算法在噪聲的干擾下能夠保持一定的穩(wěn)定性，但由于SIFT算法中會產(chǎn)生多維特征向量對特征點進(jìn)行歐式距離的匹配，對于多噪聲點的干擾，算法產(chǎn)生的高維特征向量在匹配過程中耗時較大；Raut等[7]提出在SIFT算法的基礎(chǔ)上采用Gabor濾波器作為預(yù)濾波器，減少噪聲點的干擾，降低算法的時間復(fù)雜度；SURF算法[8]通過采用Harr小波響應(yīng)及積分圖像的概念，提升圖像拼接的整體運(yùn)行速度；Durgam等[9]采用SURF算法對圖像進(jìn)行特征檢測后，通過RANSAC算法濾除噪聲點和異常點，細(xì)化特征點后提高了配準(zhǔn)精度；文獻(xiàn)[10]提出基于小波域SURF的遙感圖像配準(zhǔn)方法，采用小波變換分解源圖像和目標(biāo)圖像，利用主成分分析對描述子降維，去除描述子之間的噪聲信息，降低噪聲對圖像拼接的干擾。

在此背景下，提出一種改進(jìn)的TV圖像去噪模型[11]應(yīng)用于全景圖像拼接問題的研究。該改進(jìn)模型在TV圖像去噪模型建立泛函函數(shù)后引入卷積運(yùn)算，進(jìn)行一次濾波去噪降低大噪聲點的灰度值，在此基礎(chǔ)上求解泛函函數(shù)的拉格朗日方程[12]極小值，達(dá)到圖像二次去噪的效果，降低噪聲點對圖像拼接過程的干擾；隨后引入SIFT圖像拼接算法進(jìn)行特征點的提取與匹配；最后采用加權(quán)融合算法對圖像進(jìn)行融合處理得到視覺效果良好的全景圖像。

1 TV圖像去噪模型

圖像去噪是指盡可能降低觀察圖像中的噪聲干擾，得到有一個視覺效果良好的高質(zhì)量圖像，便于進(jìn)一步圖像處理。結(jié)合最大似然原理，可將圖像去噪問題通過求解最小二乘法[13]的方法表示，通過求解如下變分問題可得到真實圖像u的最小二乘逼近解：

然而，在求解過程中出現(xiàn)了極小化問題不適定的病態(tài)現(xiàn)象。正則化方法作為解決該問題的常用方法，其原理為在上述問題中引入一個正則化項進(jìn)行調(diào)節(jié)，使正則問題為良態(tài)后用正則問題的解逼近病態(tài)問題的解。近年來，利用變分正則化方法研究圖像去噪問題衍生出一系列圖像去噪模型，如TV圖像去噪模型引入泛函函數(shù)的概念，通過極小化圖像的泛函函數(shù)對圖像進(jìn)行去噪，同時保護(hù)圖像細(xì)節(jié)信息。設(shè)S為一個函數(shù)集合，若對于每一個函數(shù)x(t)屬于S有一個實數(shù)J與之對應(yīng)，則稱J是定義在S上的泛函[14]。最簡泛函函數(shù)的定義如下：

其中，被積函數(shù)F包含自變量t、未知函數(shù)x(t)及導(dǎo)數(shù)x'(t)。

Rudin等[15]在變分模型中引入拉格朗日乘子λ，平衡正則項與保真項間的權(quán)重，達(dá)到在去噪過程中保護(hù)細(xì)節(jié)信息的效果，TV圖像去噪模型的泛函函數(shù)表達(dá)式如下：

式中，第一項為正則項，實現(xiàn)平滑噪聲的功能；第二項為保真項，使得去噪后圖像保留較多的細(xì)節(jié)信息；在圖像的邊緣區(qū)域，參數(shù)λ值較大，保真項權(quán)重變大，保護(hù)圖像的細(xì)節(jié)信息；反之，正則項權(quán)重變大，去除圖像中的噪聲信息。

2 基于改進(jìn)模型的全景圖像拼接算法

2.1 算法描述

本文采用改進(jìn)的TV圖像去噪模型對源圖像進(jìn)行去噪處理，隨后進(jìn)行特征點的提取與匹配，最后進(jìn)行圖像融合，得到一幅含豐富信息的全景圖像。

基于TV圖像去噪模型的全景圖像拼接算法步驟如下：

輸入：含有噪聲的源圖像I1和I2。

輸出：去除噪聲后的全景圖像I。

初始條件：I1和I2所含噪聲類型為高斯噪聲，其均值為0，方差分別為0.01、0.02和0.03。

步驟1對含噪圖像I1和I2進(jìn)行去噪處理。首先在圖像區(qū)域以擴(kuò)散形式獲得I1和I2的像素點；隨后在建立像素點對應(yīng)的泛函函數(shù)后進(jìn)行卷積運(yùn)算，降低噪聲點的灰度值；最后通過求解含有卷積運(yùn)算的泛函函數(shù)所對應(yīng)的極小值方程得到最終的去噪圖像I'1和I'2。

步驟2對圖像I'1和I'2進(jìn)行特征點的提取與匹配。將步驟1處理后的圖像作為特征點提取的目標(biāo)圖像，采用SIFT算法提取出圖像I'1和I'2中穩(wěn)定性較強(qiáng)的特征點，然后通過采用比值法判定特征點之間的匹配關(guān)系，確定圖像的重疊區(qū)域。

步驟3實現(xiàn)圖像配準(zhǔn)后，在最大程度上實現(xiàn)了消除錯誤點的匹配，通過加權(quán)平均的方法進(jìn)行圖像融合，實現(xiàn)圖像的無縫拼接，得到最終的全景圖像I。

2.2~2.4節(jié)將對上述三個步驟進(jìn)行詳細(xì)分析與說明。

2.2 改進(jìn)的TV圖像去噪模型

為了提高圖像去噪質(zhì)量，本文在TV圖像去噪模型中引入卷積運(yùn)算。根據(jù)卷積運(yùn)算的性質(zhì)可知，卷積運(yùn)算可以達(dá)到濾除噪聲的效果，是一種直接對圖像灰度值進(jìn)行運(yùn)算的濾波方法，因此將卷積運(yùn)算引入TV模型中不會破壞模型的最初結(jié)構(gòu)。在此基礎(chǔ)上，對構(gòu)建完成后的泛函函數(shù)進(jìn)行卷積運(yùn)算可以達(dá)到再次圖像去噪的效果，從而提升圖像去噪的質(zhì)量。因此，針對式（3）進(jìn)行改進(jìn)，得到下述改進(jìn)模型：

式中，f運(yùn)算表示對TV圖像去噪模型的泛函函數(shù)進(jìn)行卷積運(yùn)算，所滿足的約束條件為：

根據(jù)Rudin等提出的相關(guān)知識可知，圖像噪聲的去除問題可以轉(zhuǎn)化為泛函函數(shù)的最小化問題，如下式所示：

對該模型的求解過程中，本文采用有限差分格式對模型所對應(yīng)的PDE進(jìn)行離散，并通過八鄰域系統(tǒng)獲取圖像像素點的周邊信息。令時間步長為Δt，網(wǎng)格步長為h且h=1，記則有限差分格式的離散求解過程如下：

需要滿足的邊界條件為：

改進(jìn)型模型的去噪步驟如下：

步驟1輸入含噪圖像I0，初始化時間步長Δt、迭代總次數(shù)IteN和參數(shù)λ。設(shè)置迭代次數(shù)n=1,I=I0。

步驟2計算圖像的梯度幅值|?I|和方差值σ2，根據(jù)式（8）計算第n+1次迭代的圖像In+1的泛函函數(shù)；并置n=n+1。

步驟3對圖像的泛函函數(shù)進(jìn)行卷積運(yùn)算操作。

步驟4求解步驟3中函數(shù)對應(yīng)的拉格朗方程極小值。

步驟5判斷n的值，若n≥IteN，則停止迭代，In為最后得到的去噪結(jié)果圖；否則，返回步驟2。

2.3 特征點的提取與匹配

2.3.1 SIFT特征點提取

本節(jié)將2.2節(jié)處理后的圖像作為特征點提取的目標(biāo)圖像，對去噪后的圖像進(jìn)行特征點的提取。SIFT算法在圖像尺度空間中具體步驟如下所示：

步驟1建立高斯差分圖像金字塔[16]（DOG尺度空間），通過對相鄰尺度空間做差分建立DOG金字塔，然后在空間內(nèi)做檢測極值。即：

式中，K為相鄰尺度空間因子的比例系數(shù)。

步驟2確定特征點位置[17]。首先在候選特征點中去除低比度的點，然后利用特征點周圍的像素塊Hessian矩陣，將不穩(wěn)點邊緣響應(yīng)點去除。即：

設(shè)trH和detH分別為Hessian矩陣的秩和行列式值，若：

則保留該特征點，否則舍棄，一般情況下，r=10。

步驟3通過方向直方圖確定特征點的主方向。若步驟2中定位的特征點坐標(biāo)為(x,y)，其對應(yīng)的模值為m(x,y)，方向為θ(x,y)。即：

圖像的SIFT特征點提取效果如圖1所示。

圖1 提取特征點Fig.1 Extraction of feature points

2.3.2 SIFT特征點匹配

針對上小節(jié)提取出的特征點，判斷在多維空間中兩個向量之間的距離是否滿足閾值條件，若滿足，則認(rèn)為兩個向量匹配，否則認(rèn)為這兩個向量間不具備匹配關(guān)系[18]。本文采取比值法[19]進(jìn)行圖像的特征點匹配，其原理為：將提取出的所有特征點向量組成數(shù)據(jù)集1，求解配準(zhǔn)圖中特征點向量與數(shù)據(jù)集1中向量的距離，取出距離中最小距離的前兩個向量，通過判斷兩個距離的比值來確定配準(zhǔn)圖中的特征點向量是否與數(shù)據(jù)集1中與之距離最短的向量匹配。在高維空間中，歐拉距離是常用的距離度量函數(shù)，以兩個點為例，點X和Y的歐拉距離為：

圖像的SIFT特征點匹配效果如圖2所示。

圖2 特征點匹配Fig.2 Feature point matching

2.4 圖像融合

實現(xiàn)圖像配準(zhǔn)后，在最大程度上實現(xiàn)了消除錯誤點的匹配，即可以進(jìn)行圖像融合[20]。圖像融合的質(zhì)量取決于圖像配準(zhǔn)的精度與圖像融合方法的選取。圖像加權(quán)融合方法，能夠降低來自被融合圖像的亮度、視角等參數(shù)不完全相同所造成的干擾，對兩幅圖像重合的區(qū)域，采用加權(quán)平均的融合方法平滑重疊區(qū)域，實現(xiàn)圖像的無縫拼接。以源圖像I1和I2為例，圖像加權(quán)融合的表達(dá)式為：

式中，Ii表示I1和I2融合后的圖像，α1和α2表示I1和I2的權(quán)值，權(quán)值由重合區(qū)域像素點與源圖像之間的距離決定，在0到1之間取值，漸變像素點與哪一幅源圖像距離越近，則該源圖像對應(yīng)的權(quán)值越大，反之越小，本文采用了加權(quán)平均的融合方法，權(quán)值α1和α2為0.5。

3 實驗結(jié)果與分析

為了驗證本文算法的有效性，本章針對房間1號圖和房間2號圖、海景1號圖和海景2號圖引入不同方差的高斯噪聲后進(jìn)行全景圖像拼接處理，源圖像如圖3所示。同時，本文選取了與本文算法相近的三種算法加以比較，分別為SIFT算法、文獻(xiàn)[4]算法和文獻(xiàn)[10]算法。其中，SIFT特征是圖像的局部特征，對平移、旋轉(zhuǎn)、尺度縮放等具有較好的不變性，即使少量目標(biāo)也可以產(chǎn)生較多的特征向量，但是對于特征點周圍紋理較少的情況，容易造成誤匹配；文獻(xiàn)[4]引入圖像差分濾波算子對Harris角點檢測算法進(jìn)行改進(jìn)，Harris角點檢測算法具有計算簡單的特點，但由于Harris角點檢測算法不產(chǎn)生多尺度特征信息，因此特征點沒有方向信息，失去了旋轉(zhuǎn)不變性；文獻(xiàn)[10]算法將小波變換引入SUFR算法，SUFR算法通過積分圖像減少了運(yùn)算量，但在求主方向階段會依賴局部區(qū)域像素的梯度方向，產(chǎn)生主方向不準(zhǔn)確現(xiàn)象。

圖3 源圖像Fig.3 Source image

幾種算法的參數(shù)設(shè)置情況如下：針對像素為200×200的源圖像分別加入σ=0.01,σ=0.02,σ=0.03的高斯噪聲，文獻(xiàn)[4]算法中濾波算子采樣窗口大小為3×3；文獻(xiàn)[10]算法中高斯二階微分濾波模板大小為5×5；改進(jìn)算法中TV圖像去噪模型R=I（單位算子），λ=0.01，Δt=5，迭代次數(shù)為30次。所有算法均在相同實驗環(huán)境下運(yùn)行，相應(yīng)的運(yùn)行環(huán)境配置為：Win10操作系統(tǒng)，Intel?Core?i7-9700K CPU@3.60 GHz 3.60 GHz，實驗平臺為Matlab R2016a。本文算法對應(yīng)的源圖像仿真實驗結(jié)果如圖4~圖6所示。

圖4 源圖像拼接效果對比(σ=0.01)Fig.4 Comparison of splicing effect of source images(σ=0.01)

圖6 源圖像拼接效果對比(σ=0.03)Fig.6 Comparison of splicing effect of source images(σ=0.03)

從直觀視覺角度看，SIFT算法在非重疊區(qū)域發(fā)生了形變，與真實圖片有差別；文獻(xiàn)[4]算法在圖像的重疊區(qū)域配準(zhǔn)效果較理想，在圖像的非重疊區(qū)域造成拼接接口位差，使得圖像拼接過程中出現(xiàn)位差現(xiàn)象；文獻(xiàn)[10]算法在重疊區(qū)域沒有發(fā)生明顯形變，在非重疊區(qū)域發(fā)生了圖像傾斜現(xiàn)象；與上述三種算法相比，本文算法通過改進(jìn)的模型對圖像進(jìn)行去噪預(yù)處理，最大程度上降低了噪聲對圖像拼接的干擾，因此獲得的全景圖像視覺效果較佳。

為了更為客觀地評價三種算法的圖像去噪效果，本文采用峰值信噪比[21]（Peak Signal to Noise Ratio，PSNR）、圖像熵[22]和均方誤差[23]（Mean Square Error，MSE）對不同算法的圖像效果進(jìn)行了評價。PSNR是目前應(yīng)用較為廣泛的客觀評價圖像質(zhì)量方法，PSNR數(shù)值越大表示圖像失真程度越小，恢復(fù)得到的圖像越接近原圖，整體質(zhì)量越高。PSNR的數(shù)學(xué)表達(dá)式為：

其中，L表示圖像的最大灰度級，對于8位圖像來說，L取255。

圖像熵表示為圖像灰度級集合的比特平均數(shù)，單位為比特/像素，描述了圖像信源的平均信息量。因此熵指的是體系的混亂程度，清晰圖像的熵值大于模糊圖像的熵值，因此熵值越大，圖像質(zhì)量越高。對于離散形式

的二維圖像，信息熵的數(shù)學(xué)表達(dá)式為：

圖5 源圖像拼接效果對比(σ=0.02)Fig.5 Comparison of splicing effect of source images(σ=0.02)

其中，pi為每一灰度級出現(xiàn)的概率。

MSE適用于針對已知原始圖像進(jìn)行模擬仿真的情況，用于比較仿真結(jié)果與原始圖像的偏差。MSE數(shù)值越小，仿真實驗效果越好。設(shè)x'i,j、xi,j分別為復(fù)原圖像和原始圖像在位置(i,j)處的像素值，M與N分別為圖像的行數(shù)和列數(shù)。其數(shù)學(xué)表達(dá)式如下：

上述算法針對源圖像的PSNR、圖像熵和MSE數(shù)值結(jié)果如表1~表6所示，此外，本章對四種算法的平均運(yùn)行時間進(jìn)行了分析與比較，其結(jié)果如表7所示。

表1 房間源圖像的不同算法PSNR值對比Table 1 Comparison of PSNR values of different algorithms for room source images dB

表2 房間源圖像的不同算法圖像熵值對比Table 2 Comparison of image entropy values of different algorithms of room source images

表3 房間源圖像的不同算法MSE值對比Table 3 Comparison of MSE values of different algorithms for room source images dB

表4 海景源圖像的不同算法PSNR值對比Table 4 Comparison of PSNR values of different algorithms for seascape source images dB

表5 海景源圖像的不同算法圖像熵值對比Table 5 Image entropy value comparison of seascape source images with different algorithms

表6 海景源圖像的不同算法MSE值對比Table 6 Comparison of MSE values of different algorithms for seascape source images dB

表7 不同類型算法運(yùn)行時間對比Table 7 Comparison of running time of different types of algorithms

由表1~表6不難看出，與傳統(tǒng)的去噪算法相比，基于本文模型獲得的全景圖像對應(yīng)的PSNR、圖像熵和MSE評價指標(biāo)值均有較好的表現(xiàn)，表明本文算法在噪聲去除和圖像清晰度方面均有較好的性能。在平均運(yùn)行時間方面，本文提出將改進(jìn)的圖像去噪模型引入全景圖像拼接算法中，因此運(yùn)行時間較長，但仍在可接受的范圍內(nèi)。

4 結(jié)束語

本文提出了一種改進(jìn)的TV圖像去噪模型應(yīng)用于全景圖像拼接問題的研究與解決。在引入高斯噪聲的場景下，首先對源圖像進(jìn)行去噪處理，為了提高圖像去噪質(zhì)量，在TV圖像去噪模型建立泛函函數(shù)階段引入卷積運(yùn)算，對噪聲點進(jìn)行一次濾波處理后求解函數(shù)的拉格朗日極小值，達(dá)到圖像去噪的效果，降低噪聲點對圖像拼接效果的影響；隨后，通過經(jīng)典算法SIFT特征匹配算法對去噪后的圖像進(jìn)行特征提取和匹配；最后，對待拼接圖像進(jìn)行加權(quán)融合處理，優(yōu)化視覺效果。仿真實驗結(jié)果表明，本文所提出的方法在去噪效果方面優(yōu)于同類去噪算法，其對應(yīng)的PSNR、圖像熵和MSE評價指標(biāo)數(shù)值有較好的表現(xiàn)，同時如何縮短算法的平均運(yùn)行時間將是下一步研究工作的重點。