基于四通道卷積稀疏編碼的圖像超分辨率重建方法

陳 晨，趙建偉，曹飛龍

(中國計量大學(xué)信息與數(shù)學(xué)系，杭州310018)(*通信作者電子郵箱zhaojw@amss.ac.cn)

0 引言

圖像超分辨率重建是將給定的低分辨率圖像恢復(fù)成高分辨率圖像的一種圖像處理技術(shù)。因為圖像超分辨率重建過程是一個病態(tài)問題，所以不同的重建方法可以恢復(fù)出不同的高分辨圖像，但這些重建方法的關(guān)鍵點在于通過先驗知識去尋找合適的低分辨率圖像與相應(yīng)的高分辨率圖像之間的內(nèi)在聯(lián)系。

近年來，國內(nèi)外學(xué)者提出了許多基于樣本的超分辨率圖像重建方法［1－8］。這些方法主要通過低分辨率和其相應(yīng)的高分辨率補丁對來學(xué)習(xí)低分辨率和高分辨率圖像之間的映射關(guān)系，或者尋找相同圖片的內(nèi)部相關(guān)性。Yang等［6］利用壓縮感知的思想［9－10］，提出了基于稀疏表示理論的超分辨率圖像重建方法。該方法假設(shè)低分辨率圖像補丁在低分辨率字典下的稀疏表示系數(shù)與其對應(yīng)的高分辨率圖像補丁在高分辨率字典下的稀疏表示系數(shù)是相同的，因此，高分辨率圖像補丁就可以通過訓(xùn)練好的高分辨率字典和求得的低分辨率圖像補丁的稀疏表示系數(shù)獲得。在文獻［6］的基礎(chǔ)上，Yang等［7］通過整幅圖像重疊補丁的分解和緊湊字典對的訓(xùn)練來降低算法的復(fù)雜度，該方法稱為稀疏編碼超分辨率重建(Sparse Coding Super-Resolution，SCSR)。盡管SCSR算法在超分辨率圖像中取得了很好的重建效果，但是將整幅圖像分解為重疊的補丁過程會破壞圖像整體的一致性。考慮到這個問題，Zeiler等［11］提出了卷積稀疏編碼模型。該模型不再將圖片拆分成為重疊補丁，而是將整幅圖片作為輸入進行重建。輸入的低分辨率圖像Y可以表示為r個濾波fi和相對應(yīng)的特征圖Zi的卷積和:

其中:Y表示輸入尺寸為m×n的圖像;fi表示大小為s×s的第i個濾波;Zi是相應(yīng)大小為(m+s－1)×(n+s－1)的特征圖。該模型有效地避免了將圖片拆分成重疊的補丁來進行重建所帶來的不足。Gu等［12］將模型式(1)應(yīng)用到圖像超分辨率重建中，得到名為卷積稀疏編碼(Convolutional Sparse Coding，CSC)的超分辨率重建方法。

在圖像分類中，為了提高分類的精度，人們通常將輸入圖像通過變換生成一組相關(guān)圖像，再將該組圖像的平均值作為輸入進行分類，這里最常見的變換有剪裁與翻轉(zhuǎn)［13］。由于文獻［12］中的基于卷積稀疏編碼的超分辨率重建方法著重于恢復(fù)圖像的高頻細節(jié)部分，高頻細節(jié)部分通常是人們視覺關(guān)注的部分，它們更能直觀地反映圖像的清晰度;因此，本文在卷積稀疏編碼的基礎(chǔ)上，將圖像的翻轉(zhuǎn)思想用于圖像超分辨率重建，即將圖像依次進行 90°、180°、270°和 360°翻轉(zhuǎn)作為輸入，建立四通道的卷積稀疏編碼的超分辨率圖像重建方法，以增強圖像的輪廓細節(jié)特征，增加算法的穩(wěn)定性。

1 四通道卷積稀疏編碼超分辨率重建

本章將闡述四通道卷積稀疏編碼超分辨率重建方法。該算法將圖像依次翻轉(zhuǎn)90°、180°、270°和360°后作為每一通道的輸入。在每一通道，先將輸入的低分辨率圖像分解為低頻和高頻兩部分［12］，然后分別用卷積稀疏編碼算法和三次插值方法對低分辨率圖像的高頻部分和低頻部分進行重建，最后加權(quán)求均值獲得重建的高分辨率圖像。算法的具體流程見圖1所示。以下將對每一通道的超分辨率圖像重建進行闡述。

圖1 四通道卷積稀疏編碼超分辨率重建方法流程Fig.1 Flow chart of four-channel convolutional sparse coding based super-resolution reconstruction method

1.1 低分辨率圖像的高頻與低頻部分分解

為了能夠更好地將低分辨圖像的紋理和細節(jié)信息進行超分辨率重建，本節(jié)先將要重建的低分辨率圖像Y分為低頻部分Yl和高頻部分Yh，即Y=Yl+Yh。

為了獲得低分辨率圖的低頻部分Yl，首先利用式(2)來提取低頻特征圖:

其中:ZY是低分辨率圖像Y的低頻特征圖;fp是大小為3×3的元素全取為1/9的低通濾波;fdh=［－1，1］和fdv=［－1，1］T分別是水平梯度算子和垂直梯度算子。

對于優(yōu)化問題式(2)，可以通過快速傅里葉變換在傅里葉域中求解得到，即:

其中:F和F－1分別表示傅里葉變換和傅里葉逆變換;珔F表示傅里葉變換的復(fù)共軛。

根據(jù)式(3)可以求得低分辨率圖Y的低頻特征圖ZY，由此可以計算得到低分辨率圖像Y的低頻部分Yl和相應(yīng)的高頻部分Yh:

1.2 低分辨率圖像高頻部分的超分辨率重建

本節(jié)將利用卷積稀疏編碼［12］對低分辨率圖像的高頻部分Yh進行重建。首先利用訓(xùn)練樣本得到一組低分辨率濾波，利用這組低分辨率濾波分解高頻部分Yh得到低分辨率特征圖;其次，利用訓(xùn)練樣本建立的低分辨率特征圖與高分辨率特征圖之間的映射關(guān)系來確定高分辨率特征圖;最后，根據(jù)學(xué)習(xí)得到的高分辨率濾波和高分辨率特征圖重建得到低分辨率圖像Y的高頻部分Yh的高分辨率圖像Xh，具體步驟如下。

1.2.1 基于CSC獲取低分辨率特征圖

對于給定的訓(xùn)練圖片樣本對{Pj，Qj)}，其中 Uj是低分辨率圖，Vj是相應(yīng)的高分辨率圖。利用下面的卷積稀疏編碼模型可以得到低分辨率濾波:1

考慮到計算機的內(nèi)存問題，優(yōu)化模型式(5)可以通過隨機交替方向乘子法(Stochastic Alternating Direction Multiplier Method，SADMM)［14］求解，得到低分辨率濾波。引入增廣變量s=fl，拉格朗日變量d，令Zl= ［()T，()T，…，()T］，L為(Zl)TZl特征值的上界，則式(5)的迭代解為:

hs.t.≤ 1，i=1，2，…，n

對于優(yōu)化模型式(7)，可以通過交替方向乘子算法求解得到低分辨率特征圖15］。引入輔助變量 Mi=和對偶變量Ui，則式(7)的迭代解為:

這里:

1.2.2 基于CSC獲得高分辨率特征圖和高分辨率濾波

對于給定的放大倍數(shù)k，設(shè)高分辨率特征圖和低分辨率特征圖有如下關(guān)系:

其中e是限制高分辨率濾波的標(biāo)量。對于優(yōu)化問題式(16)，也可以通過隨機交替方向乘子算法［14］求解。

1.2.3 高頻部分和低頻部分的高分辨率圖

對于低頻部分Yl，采用雙三次插值進行高分辨率重建，得到相應(yīng)的高分辨率圖Xl。最后，合并高分辨率圖Xh和Xl，得到低分辨率圖Y的高分辨率圖X:

為了加強重建效果，采用后投影法［16－17］對重建好的高分辨率圖X進行進一步的處理。

1.3 圖像超分辨率重建算法

綜合1.1和1.2節(jié)的分析，給出四通道卷積稀疏超分辨率重建算法的測試過程，具體算法步驟如下:

步驟2 將低分辨率圖像Y分解成低頻Yl和高頻Yh兩部分。

步驟3 對每一通道采用卷積稀疏編碼方法重建相應(yīng)的高分辨率圖像的高頻部分Xh。

1)通過式(7)求解出高頻部分Yh的低分辨率特征圖。

2)通過式(15)求解出高頻部分Yh的高分辨率特征圖。

3)通過式(17)求解出高分辨率圖像的高頻部分Xh。

步驟4 對每一通道，采用三次插值的方法重建低分辨率圖像低頻部分Yl的高分辨率圖像Xl。

步驟5 將四個通道重建出的高分辨率圖像加權(quán)求均值輸出最終的高分辨率圖像X。

2 實驗與結(jié)果分析

本章中將本文所提的四通道卷積稀疏編碼超分辨率重建方法與其他一些超分辨率圖像重建方法進行實驗比較。

2.1 實驗設(shè)置

本文中采用文獻［6］中的訓(xùn)練集訓(xùn)練低分辨率和高分辨率濾波，即將91張訓(xùn)練圖片隨機拆成大小為72×72的1000個子塊進行訓(xùn)練，這里的低分辨率濾波的尺寸大小為5×5，數(shù)量為800個，相應(yīng)的高分辨率濾波大小為5×k，數(shù)量為1200個，其中k為放大倍數(shù)。正則化參數(shù)γ取30，λ取0.02，對于放大倍數(shù)2和3的限制高分辨率濾波的常量e分別取4和9。實驗在Intel Xeco CPUE5-2630V3的Matlab R2015b上運行。

本文采用以下兩種經(jīng)典的標(biāo)準(zhǔn)峰值信噪比(Peak Signalto-Noise Ratio，PSNR)和結(jié)構(gòu)相似度(Structural Similarity，SSIM)［18－19］來評價超分辨率重建效果:

其中:

其中:p是圖像的行數(shù);q是圖像的列數(shù);X是重建的圖像;Xori是原始的高分辨率圖像。

其中:

其中:α1，α2和α3是權(quán)值;xi表示將圖像X拉成向量的第i個像素值;μX表示X的亮度估計;σX表示X的對比估計;C1、C2、C3都是常數(shù)。在實驗中，α1、α2和 α3設(shè)置為 1，C1，C2，C3取值為 C1=(K1L)2，C2=(K2L)2，C3=C2/2，其中 L是圖像的最大像素值，灰度圖像默認值為255，K1K21，取 K1=0.05，K2=0.05。通常情況下，PSNR 值和 SSIM 值越高，表示重建圖像的效果越好、結(jié)構(gòu)越準(zhǔn)確。

2.2 四通道的優(yōu)勢

本節(jié)將本文所提的四通道卷積稀疏編碼(Four-Channel based convolutional Sparse Coding，F(xiàn)CSC)和 CSC進行比較。為了保證對比實驗的準(zhǔn)確性，將采用同樣的濾波和映射函數(shù)以及相同的正則項參數(shù)對測試圖像進行恢復(fù)。對15幅經(jīng)典的測試圖像進行實驗，由于圖像的重建結(jié)果相似，選取其中的5張測試圖像在表1中進行展示。

從表1的實驗結(jié)果可以看出，采用四通道卷積稀疏編碼方法要比單通道上的卷積稀疏編碼要重建效果好。

表1 放大因子為2的不同重建方法PSNR對比 dBTab.1 PSNR comparison of different reconstruction methods with magnification factor of 2 dB

2.3 圖像超分辨率重建

本節(jié)將本文所提方法與一些超分辨率圖像重建方法，如固定鄰域回歸(Anchored Neighborhood Regression，ANR)算法［4］、調(diào)整后的固定鄰域回歸(Adjusted anchored neighborhood regression，A+)算法［5］、SCSR［7］、Zeyde 等［8］提出的基于稀疏表示的單幅圖像放大方法(記為Zeyde)、CSC［12］和自適應(yīng)的稀疏域選擇 (Adaptive Sparse Domain Selection，ASDS)方法［20］進行比較。選取常用的15張圖像作為測試圖像，其相應(yīng)的PSNR和SSIM值如表2～3所示，其擴大因子分別為2和3。

從表2和表3中可以看出，本文所提的方法在擴大因子2和3的情況下圖像的重建效果比其他對比方法均有所提高。在擴大因子2的情況下，本文所提方法能取得較高的PSNR和SSIM值。雖然本文方法并不能保證在每幅測試圖像上取得最高值，但是在大部分圖像上能取得較好的重建效果。同樣地，在擴大因子為3的情況下，相對于其他方法，本文所得方法所得的效果比較好。其中2幅圖像的重建結(jié)果如圖2和圖3中所示。

2.4 抗噪性實驗

實際生活中采集到的圖像往往存在噪聲干擾，因而算法是否具有一定的抗噪性將會直接影響到重建圖像的質(zhì)量。為了驗證本文所提方法的抗噪性能，將對含有少量噪聲的圖像進行測試。在實驗中，先對測試圖像分別添加了均值為0.1、方差為0.02的高斯白噪聲，其超分辨率重建實驗結(jié)果如表4所示。

表2 放大因子為2時不同圖像重建方法重建性能對比Tab.2 Reconstruction performance comparison of different image reconstruction methods with magnification factor of 2

表3 放大因子為3時不同圖像重建方法重建性能對比Tab.3 Reconstruction performance comparison of different image reconstruction methods with magnification factor of 3

圖2 放大因子為2時，不同圖像重建方法在圖像pepper上的重建效果比較Fig.2 Reconstruction effect comparison of different image reconstruction methods on image pepper with magnification factor of 2

圖3 放大因子為3時，不同圖像重建方法在圖像man上的重建效果比較Fig.3 Reconstruction effect comparison of different image reconstruction methods on image man with magnification factor of 3

表4 放大因子為3時不同圖像重建方法在高斯噪聲下的重建性能對比Tab.4 Reconstruction performance comparison of different image reconstruction methods under Gaussian noise with magnification factor of 3

從表4中可以看出，雖然本文所提方法的SSIM值低于傳統(tǒng)的CSC模型，但是比其他重建方法要更穩(wěn)定。另外，本文所提方法的PSNR值高于傳統(tǒng)的CSC模型，表明本文的方法重建的圖像在結(jié)構(gòu)上具有更好的相似性。

表5是測試圖像添加密度為0.01的椒鹽噪聲的比較結(jié)果。從表5可以看出，本文所提方法在抵抗椒鹽噪聲的性能上均優(yōu)于其他超分辨率重建方法。

本文所提的方法采用四通道并行的方式來重建超分辨率圖像，因而主要的計算量集中在通過卷積稀疏編碼模型求解稀疏特征圖上。文獻［12］指出，卷積稀疏編碼模型每一次迭代求解稀疏特征圖的復(fù)雜度主要由快速傅里葉變換決定，且復(fù)雜度為Ο(KN log N)，其中K為濾波個數(shù)，N為輸入圖像的像素點的個數(shù)。

表6是本文所提的超分辨率重建方法FCSC與其他重建方法在bird圖像上所用的時間。

從表 6 可以看出，Zeyde［8］、ANR［4］和 A+［5］的方法所用的時間很少，不足 1 s;SCSR［7］需要 56 s，而 CSC［12］和本文所提的方法所用的時間超過1 min，分別為74 s和76 s，主要是在濾波分解求解特征圖時花了較多的時間，ASDS［20］則用了最長的時間。

表5 放大因子為3時不同圖像重建方法在椒鹽噪聲下的重建性能對比Tab.5 Reconstruction performance comparison of different image reconstruction methods under pepper＆ salt noise with magnification factor of 3

表6 不同圖像重建方法的重建時間對比 sTab.6 Reconstruction time comparison of different image reconstruction methods s

3 結(jié)語

本文針對圖像分辨率較低的問題，提出了四通道卷積稀疏編碼超分辨率重建方法。該方法采用并行的四通道對輸入的低分辨率圖像的高頻部分進行卷積稀疏編碼重建，再通過均值化有效地提高模型的穩(wěn)定性、增強圖像的結(jié)構(gòu)相似性，克服重疊補丁對圖像一致性破壞的缺陷。實驗比較結(jié)果表明，本文所提的方法比一些經(jīng)典的超分辨率重建方法在PSNR、SSIM和抗噪性上具有更好的重建效果。

本文在對低分辨率圖像的高頻部分進行稀疏卷積編碼時，正則化參數(shù)選取經(jīng)驗值。下一步將討論正則化參數(shù)對所有圖片的自適應(yīng)性。