基于稀疏表示的單幅圖像超分辨率重建研究

于海平+林曉麗+周鳳麗+張華麗

摘要：針對傳統(tǒng)超分辨率重建方法計(jì)算復(fù)雜度高、重建效果差等問題，提出一種基于稀疏表示的圖像超分辨率重建模型。該模型利用稀疏表示方法，結(jié)合自回歸原理將原始圖像表示為若干個(gè)圖像塊的線性組合，并根據(jù)圖像邊緣特征將圖像塊進(jìn)行劃分，以提高算法效率，最后結(jié)合分治思想、變量分離技術(shù)以及增廣拉格朗日方法對模型進(jìn)行求解。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)插值算法相比，該算法對圖像重建效果更好。

關(guān)鍵詞關(guān)鍵詞：稀疏表示； 超分辨率；變量分離技術(shù)；增廣拉格朗日

DOIDOI：10.11907/rjdk.171376

中圖分類號：TP317.4

文獻(xiàn)標(biāo)識碼：A文章編號文章編號：16727800（2017）011022505

0引言

在數(shù)字圖像采集過程中，由于受到成像設(shè)備和拍攝條件的制約，人們常常無法獲得高分辨率的圖像。由于通過改善硬件設(shè)備提高圖像分辨率代價(jià)很高，因而從軟件方面提高圖像分辨率意義重大。因此，超分辨率重建（Super Resolution Image Reconstruction，SR）成為當(dāng)今研究的熱點(diǎn)問題[13]。該技術(shù)是一門綜合了傳感器、圖像處理（Image Processing）、計(jì)算機(jī)視覺（Computer Vision）和人工智能（Artificial Intelligence，AI）等多門學(xué)科的交叉問題，它在醫(yī)學(xué)成像（Medical Imaging）、圖像壓縮（Image Compression）、圖像特征提?。↖mage Feature Extraction）以及遙感成像（Remote Sensing Image）等領(lǐng)域具有重要的應(yīng)用價(jià)值[49]。

圖像超分辨率重建旨在利用同一場景下的一幅或多幅圖像重建出一幅高分辨率圖像，這是Tsai[10]于1984年首次提出的對圖像超分辨率重建的定義。此后，許多學(xué)者進(jìn)行了大量研究。目前，超分辨率重建方法主要分為基于插值的方法、基于建模的方法和基于學(xué)習(xí)的方法3大類。基于插值的方法旨在通過插值函數(shù)在周圍像素的基礎(chǔ)上插入丟失的像素值。比較基礎(chǔ)的方法主要包括雙線性插值法、三次樣條插值法和非均勻插值法[11]，此類方法算法復(fù)雜度較低，但是重構(gòu)出的圖像效果比較模糊，并且具有較明顯的鋸齒效果。后期又出現(xiàn)了一系列基于建模的方法，其中比較典型的方法包括：凸集投影方法[12]、迭代反向投影法[13]、基于概率論的方法[14]等，這類方法往往受到先驗(yàn)信息的約束，并且還存在收斂速度較慢以及解的不唯一性等問題。因此，近幾年又出現(xiàn)了基于學(xué)習(xí)的方法，這類方法主要是通過構(gòu)造低分辨率和高分辨率圖像樣本庫，通過學(xué)習(xí)樣本庫得到低分辨率圖像和高分辨率圖像之間的內(nèi)在關(guān)系，從而完成圖像超分辨率重建的過程。其中具有代表性的是Yang等[15]于2010年發(fā)表的基于稀疏表示的圖像超分辨率重建，主要思想是建立在同一幅圖像中高分辨率塊和對應(yīng)的低分辨率塊之間具有相同稀疏表示的前提下，通過共同訓(xùn)練低分辨率塊和高分辨率塊形成的兩個(gè)字典，并在假設(shè)的前提下進(jìn)行高低分辨率塊的匹配，最終得到高分辨率圖像。

Yang等提出的上述方法重建效果好，但也存在一些問題，比如從對詞典庫的訓(xùn)練角度看，該模型具有計(jì)算復(fù)雜度較高，對于邊緣較明顯的圖像，使用單一字典庫無法反映圖像邊緣特質(zhì)等弊端。因此，本文在Yang算法的基礎(chǔ)上進(jìn)行了以下兩點(diǎn)改進(jìn)工作：①在圖像稀疏性表示模型的基礎(chǔ)上，根據(jù)圖像自相似性和局部縮放不變性等特點(diǎn)重建圖像信息模型；②根據(jù)圖像自身特點(diǎn)，將字典庫中的字典塊分為規(guī)則和不規(guī)則兩類，以降低學(xué)習(xí)復(fù)雜度。

Dong等[16]提出了一種非局部自回歸模型進(jìn)行分辨率重建，該模型能較好地解決Yang等提出的模型問題。本文在Dong等的基礎(chǔ)上進(jìn)行優(yōu)化，簡化自回歸模型求解，利用PCA對圖像進(jìn)行分塊表示，生成高分辨率圖像塊，并使用梯度下降法進(jìn)行求解，得到最終的高分辨率圖像。

4實(shí)驗(yàn)結(jié)果

根據(jù)上述模型描述，對多幅測試圖像進(jìn)行仿真實(shí)驗(yàn)，如圖3～圖7所示分別表示Lena、Boy、Starfish、Butterfly、Plane 5幅圖像，這5幅圖像均出自伯克利圖像測試數(shù)據(jù)集。針對這5幅具有代表性的測試圖像，分別利用雙三次插值方法和本文提出的方法進(jìn)行對比實(shí)驗(yàn)。為了進(jìn)行定量分析，分別使用峰值信噪比（PSNR）[1720]和結(jié)構(gòu)相似性指標(biāo)（SSIM）[2123]兩個(gè)圖像評價(jià)指標(biāo)進(jìn)行對比。其中PSNR用來表示原圖像與處理后的圖像之間的均方誤差相對于（2^n-1）^2的對數(shù)值，它的單位是dB。PSNR的值越大，表明圖像失真越??；相反，PSNR值越小，表明圖像失真越大。SSIM表示一種衡量兩幅圖像相似度的新指標(biāo)，其值越大越好，最大為1。結(jié)構(gòu)相似性理論認(rèn)為，自然圖像信號是高度結(jié)構(gòu)化的，即像素間有很強(qiáng)的相關(guān)性。因此，SSIM取值越大越好。這兩種評價(jià)指標(biāo)的對比結(jié)果如表1所示。

5結(jié)語

稀疏表示方法作為機(jī)器學(xué)習(xí)的方法在近幾年備受關(guān)注，許多學(xué)者已經(jīng)對稀疏表示模型進(jìn)行了深入研究。本文利用稀疏表示理論提出了一種改進(jìn)的自回歸模型方法，用來解決超分辨率重建中計(jì)算復(fù)雜度高、重建效果差等問題。本文方法根據(jù)圖像邊緣特征將圖像進(jìn)行分塊處理，實(shí)驗(yàn)結(jié)果表明，新模型方法表現(xiàn)較優(yōu)。

參考文獻(xiàn)參考文獻(xiàn)：

[1]DONG C， LOY C C， HE K， et al. Image superresolution using deep convolutional networks[J]. IEEE transactions on pattern analysis and machine intelligence， 2016，38（2）：295307.

[2]PELEG T， ELAD M. A statistical prediction model based on sparse representations for single image superresolution[J]. IEEE Transactions on Image Processing， 2014，23（6）：25692582.endprint

[3]DONG C， LOY C C， HE K， et al. Learning a deep convolutional network for image superresolution[C].European Conference on Computer Vision. Springer International Publishing， 2014：184199.

[4]TRINH D H， LUONG M， DIBOS F， et al. Novel examplebased method for superresolution and denoising of medical images[J]. IEEE Transactions on Image processing， 2014，23（4）：18821895.

[5]ERRICO C， PIERRE J， PEZET S， et al. Ultrafast ultrasound localization microscopy for deep superresolution vascular imaging [J]. Nature， 2015，527（7579）：499502.

[6]LI L， CHEN Y， XU T， et al. Superresolution mapping of wetland inundation from remote sensing imagery based on integration of backpropagation neural network and genetic algorithm[J]. Remote Sensing of Environment， 2015，164：142154.

[7]FAN C， WU C， LI G， et al. Projections onto convex sets superresolution reconstruction based on point spread function estimation of lowresolution remote sensing images[J]. Sensors， 2017，17（2）：362.

[8]王抒，齊蘇敏.基于加權(quán)低分辨率圖像的自適應(yīng)正則化圖像重建[J].軟件導(dǎo)刊，2012，11（4）：161163.

[9]劉丁峰.超分辨率圖像復(fù)原技術(shù)綜述[J].軟件導(dǎo)刊，2009（12）：183185.

[10]TSAI R Y， HUANG T S. Multiframe image restoration and registration[J]. Advances in Computer Vision and Image Processing， 1984（2）：317339.

[11]GILMAN A， BAILEY D G. Near optimal nonuniform interpolation for image superresolution from multiple images[J]. Image and Vision Computing， 2006：3135.

[12]STARK H， OSKOUI P.Highresolution image recovery from imageplane arrays， using convex projections[J].Journal of the Optical Society of America A， 1989，6（11）：17151726.

[13]IRANI M， PELEG S. Improving resolution by image registration [J].Graphical Models and Image Processing， 1991， 53（3）：231239.

[14]DONALDSON K， MYERS G K.Bayesian superresolution of text in videowith a textspecific bimodal prior[J].International Journal of Document Analysis and Recognition（IJDAR），2005，7（23）：159：167.

[15]YANG J， WRIGHT J， HUANG T S， et al. Image superresolution via sparse representation[J]. Image Processing， IEEE Transactions on， 2010，19（11）：28612873.

[16]DONG W， ZHANG L， LUKAC R， et al. Sparse representation based image interpolation with nonlocal autoregressive modeling[J]. IEEE Transactions on Image Processing， 2013，22（4）：13821394.

[17]HUYNHTHU Q， GHANBARI M. Scope of validity of PSNR in image/video quality assessment[J]. Electronics letters， 2008，44（13）：800801.

[18]TURAGA D S， CHEN Y， CAVIEDES J. No reference PSNR estimation for compressed pictures[J]. Signal Processing： Image Communication， 2004，19（2）：173184.

[19]王永興，蒲亦非，鞏曉倩，等.分?jǐn)?shù)階三維塊匹配去噪算法[J].計(jì)算機(jī)應(yīng)用研究，2015，32（1）：287290.

[20]陳亞雄，黃樟燦，馮磊.基于奇異值分解和Contourlet變換的圖像壓縮算法[J].計(jì)算機(jī)應(yīng)用研究，2017，34（1）：317320.

[21]HORE A， ZIOU D. Image quality metrics： PSNR vs. SSIM[C].Pattern Recognition （ICPR）， 2010 20th International Conference on. IEEE， 2010：23662369.

[22]WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity[J]. IEEE transactions on image processing， 2004，13（4）：600612.

[23]黃隆華，陳志輝，彭小寧，等.基于梯度及HVS特性的離焦模糊圖像質(zhì)量評價(jià)[J].計(jì)算機(jī)應(yīng)用研究，2010，27（2）：781783.

責(zé)任編輯（責(zé)任編輯：黃健）endprint