超分辨率圖像恢復(fù)方法綜述

向海燕

(重慶郵電大學(xué)信號(hào)與信息處理重點(diǎn)實(shí)驗(yàn)室，重慶 400065)

超分辨率圖像恢復(fù)方法綜述

向海燕

(重慶郵電大學(xué)信號(hào)與信息處理重點(diǎn)實(shí)驗(yàn)室，重慶 400065)

由于成像技術(shù)及工藝的限制，從硬件方面提高超分辨率需要花費(fèi)高昂的費(fèi)用，因此考慮從軟件方面實(shí)現(xiàn)圖像的超分辨率。對(duì)現(xiàn)有的超分辨率圖像技術(shù)進(jìn)行了介紹，然后在此基礎(chǔ)上提出了算法的研究方向和展望，對(duì)超分辨率圖像恢復(fù)技術(shù)的研究有一定意義。

超分辨率;高分辨率圖像;低分辨率圖像;圖像恢復(fù)

圖像超分辨率可以被理解為圖像放大之后細(xì)節(jié)仍然清晰可見(jiàn)。現(xiàn)有的超分辨率圖像恢復(fù)一般是指恢復(fù)出一幅圖像邊緣清晰，細(xì)節(jié)、輪廓等較為清晰、合理的算法。超分辨率恢復(fù)技術(shù)通過(guò)一幅或者多幅低分辨率圖像，經(jīng)由重建的方法來(lái)獲得一幅高分辨率圖像［1］。由于目前成像器件分辨率的限制，從硬件上提高圖像的分辨率需要高昂的費(fèi)用和代價(jià)，因此從軟件方面來(lái)實(shí)現(xiàn)圖像的超分辨率具有較大的研究意義和價(jià)值。

自Tsai和Huang［2］于1984年第一次提出超分辨率重建問(wèn)題以來(lái)，出現(xiàn)了很多超分辨率恢復(fù)方法。超分辨率圖像恢復(fù)方法主要分為3種:第一種是基于插值的超分辨率恢復(fù)算法;第二種是基于重建約束的超分辨率圖像恢復(fù)算法;最后一種是基于學(xué)習(xí)的超分辨率圖像恢復(fù)方法?；诓逯档乃惴ㄖ饕p線性插值，雙三次插值等，算法簡(jiǎn)單但效果差，特別是當(dāng)放大倍數(shù)較大的時(shí)候，重建效果會(huì)急劇下降?；谥亟s束的超分辨率圖像恢復(fù)算法是研究較多的算法，主要包括迭代反投影(IBP)［3］，最大后驗(yàn)概率大(MAP)［4］，凸集投影法(POCS)［5］等。這些方法在低分辨率圖像足夠多的情況下，只要低分辨率圖像配準(zhǔn)精度足夠高就能恢復(fù)出具有較高質(zhì)量的圖像?；趯W(xué)習(xí)的超分辨率圖像恢復(fù)方法［6］是目前研究的熱點(diǎn)和難點(diǎn)，它打破了奈奎斯特采樣頻率的極限，即使采樣率小于等于2倍的奈奎斯特頻率，仍然能夠恢復(fù)出原始圖像。而在基于學(xué)習(xí)的超分辨率算法中，基于稀疏學(xué)習(xí)的超分辨率圖像恢復(fù)［7，13］是目前研究中效果最佳的算法，后續(xù)很多研究都是在此基礎(chǔ)上進(jìn)行擴(kuò)展。

1 超分辨率圖像恢復(fù)方法

圖像插值技術(shù)是一種比較簡(jiǎn)單的數(shù)學(xué)問(wèn)題，它是利用周?chē)袼鼗蛘哙徑c(diǎn)之間的關(guān)系對(duì)高分辨率圖像網(wǎng)格中未知像素的估計(jì)，使得這個(gè)估計(jì)值接近最理想的結(jié)果。常見(jiàn)的插值算法有最近鄰插值、雙線性插值、三線性插值、以及樣條插值和分形插值。插值技術(shù)比較簡(jiǎn)單，但是插值技術(shù)會(huì)因?yàn)榉糯笠蜃拥脑龃蠖霈F(xiàn)立即下降的情況，因此很少考慮插值技術(shù)。下面主要介紹兩種圖像恢復(fù)的超分辨率技術(shù):基于約束重建和基于學(xué)習(xí)的超分辨率圖像恢復(fù)技術(shù)。

1.1 基于約束重建的超分辨圖像恢復(fù)技術(shù)

實(shí)際應(yīng)用中，所獲得的低分辨率圖像是由成像器件采集到的圖像。而由于受成像器件的限制以及成像水平的影響，獲得的圖像一般是模糊、分辨率低且含有噪聲的圖像，故一般實(shí)現(xiàn)圖像恢復(fù)算法采用的低分辨率圖像都是將高分辨率圖像經(jīng)過(guò)退化模型模擬產(chǎn)生。

1.1.1 圖像退化模型

式(1)中:Dr為采樣矩陣，大小為ab×q2ab，由于選擇的采樣率一樣，所以直接用D表示即可;Mr為模糊矩陣，大小為q2ab×q2ab，模糊矩陣也是相同的，也用M表示;Fr為運(yùn)動(dòng)矩陣，大小為q2MN ×q2MN;n為噪聲，和原始圖像大小一樣即為a× b，此處利用H=DMP來(lái)表示整個(gè)過(guò)程。超分辨率圖像恢復(fù)就是在已知觀測(cè)的一系列低分辨率圖像的條件下，恢復(fù)出超分辨率圖像，所以圖像恢復(fù)是一個(gè)反問(wèn)題，其求解是一個(gè)病態(tài)逆問(wèn)題［8－9］。

1.1.2 對(duì)重建模型的求解

1)迭代反投影(IBP)算法

迭代反投影［10］是出現(xiàn)比較早的算法，它的基本思想是:首先通過(guò)插值方法估計(jì)出一幅高分辨率圖像，之后利用通過(guò)下采樣、模糊操作模擬低分辨率圖像。迭代反投影就是利用模擬的低分辨率和給定低分辨率圖像之間Y的差值來(lái)不斷更新當(dāng)前估算，而迭代操作過(guò)程中有一個(gè)反迭代矩陣HBP，它近似為H－1，即有

反迭代投影強(qiáng)調(diào)重建的結(jié)果要和原始的觀測(cè)數(shù)據(jù)匹配，但是由于重建結(jié)果的病態(tài)問(wèn)題的存在，重建的結(jié)果不是唯一的，且在IBP中沒(méi)有加入先驗(yàn)知識(shí)，因此解的結(jié)果可能不穩(wěn)定、不唯一，而且HBP的選擇也是一大難點(diǎn)。

2)最大后驗(yàn)概率(MAP)

最大后驗(yàn)概率是在IBP出現(xiàn)之后發(fā)展起來(lái)的，最經(jīng)典的算法是由Russell C.Hardie提出的MAP圖像重建［11］。該算法對(duì)未知圖像的估計(jì)是通過(guò)最大化給定的一系列觀測(cè)圖像Y對(duì)理想圖像X的條件概率密度函數(shù)P(X|Y)而得到的，即有

由于P(Y)與X是無(wú)關(guān)的，對(duì)上面取對(duì)數(shù)，因此可以簡(jiǎn)化為下面的式子:

從式(4)可以看出:該算法有效地利用了圖像的先驗(yàn)知識(shí)，因此能對(duì)解進(jìn)行約束，從而實(shí)現(xiàn)解的唯一。但是目前而言，圖像的先驗(yàn)信息選取不準(zhǔn)確會(huì)對(duì)圖像的效果有很大影響，而且該算法的時(shí)間代價(jià)也較高，不利于視頻和圖像的實(shí)時(shí)處理。

3)凸集投影(POCS)

凸集投影［12］使用集合理論把需要恢復(fù)的圖像的各種先驗(yàn)信息，例如正定、能量有界、數(shù)據(jù)可靠、光滑等定義為約束凸集，滿足這些約束的值就是圖像解集。POCS是一種迭代過(guò)程，在給定超分辨率圖像空間中任意一點(diǎn)的前提下，它可以定位滿足所有凸約束集條件的點(diǎn)，即收斂解。

POCS的解集是一個(gè)凸集，該凸集可以定義如下:

其中:yj(x，y)表示第j幅低分辨率圖像的像素值; rj(x，y)表示殘差;(x1，y1)表示高分辨率圖像的估計(jì);hj(x，y;x1，y1)表示對(duì)圖像的下采樣和模糊等操作。

該方法沒(méi)有唯一解，而且最后的解依賴圖像的初始估計(jì)，具有收斂速度較慢且解不穩(wěn)定等缺點(diǎn)。

1.1.3 小結(jié)

上面的方法各有優(yōu)缺點(diǎn)，后續(xù)有很多研究給出了各種改進(jìn)。改進(jìn)后的圖像效果和速度有所改善，但是當(dāng)圖像的放大因子達(dá)到飽和時(shí)，不論增加多少低分辨率圖像都不能再改善圖像的效果，因此基于學(xué)習(xí)的超分辨率圖像恢復(fù)技術(shù)應(yīng)運(yùn)而生。

1.2 基于學(xué)習(xí)的超分辨率圖像恢復(fù)技術(shù)

基于學(xué)習(xí)的超分辨率圖像恢復(fù)技術(shù)是目前圖像恢復(fù)技術(shù)研究的熱點(diǎn)。它通過(guò)學(xué)習(xí)高、低分辨率圖像塊之間的關(guān)系，并將這個(gè)關(guān)系作為先驗(yàn)信息指導(dǎo)低分辨率圖像進(jìn)行重建，這個(gè)關(guān)系就是需要學(xué)習(xí)的。目前基于學(xué)習(xí)的方法大致可以分為兩種:基于樣本的方法和基于稀疏表示的方法。下面主要圍繞這兩種超分辨率圖像恢復(fù)進(jìn)行說(shuō)明。

1.2.1 基于樣本的超分辨率圖像恢復(fù)方法

Freeman［13］于2002年首次提出基于樣本的超分辨率方法。通過(guò)建立高分辨率塊與對(duì)應(yīng)低分辨率塊和鄰近塊之間的關(guān)系，引入了馬爾可夫先驗(yàn)場(chǎng)。其基本思想是:讓每一個(gè)低分辨率圖像塊y成為一個(gè)觀測(cè)節(jié)點(diǎn)，選擇16個(gè)或者是與之非?？拷臉颖咀鳛殡[藏節(jié)點(diǎn)x的不同狀態(tài)，這個(gè)x就是需要估計(jì)的值。條件概率分布建模為

其中:Z為歸一化常數(shù)。

其中:dij(xi，xj)表示候選塊xi，xj重疊區(qū)域的平方差之和;σ為噪聲參數(shù)。同樣利用相同的馬爾科夫網(wǎng)絡(luò)來(lái)說(shuō)明φi(xi，yi)。由于需要構(gòu)建數(shù)十萬(wàn)個(gè)高分辨率與低分辨率圖像塊對(duì)來(lái)計(jì)算馬爾科夫網(wǎng)絡(luò)，因此計(jì)算量大。為了改善這種情況，針對(duì)這個(gè)樣本的恢復(fù)，Yang［14］提出了基于in－place樣本回歸的超分辨率算法，該算法的主要實(shí)現(xiàn)可以用圖1來(lái)表示。

圖1 重建模型

圖1中:y代表輸入低分辨率圖像Y上面的小塊，y0代表對(duì)Y進(jìn)行高斯濾波之后的低分辨率圖像上取得小塊，x0同樣也是從X0上面提取的圖像。學(xué)習(xí)算法主要是對(duì)一階回歸函數(shù)▽F進(jìn)行學(xué)習(xí)，不需要直接對(duì)回歸函數(shù)F(F是指低分辨率圖像塊y空間到高分辨率圖像塊x空間的映射)進(jìn)行學(xué)習(xí)，這樣得到的結(jié)果不僅更加精確，而且效率也有所提高。利用該算法，基本上能夠?qū)崿F(xiàn)實(shí)時(shí)處理，實(shí)現(xiàn)了5倍放大效果的超分辨率圖像效果仍較好。

1.2.2 基于稀疏表示的超分辨率圖像恢復(fù)

Olshausen［15］于1996年首次提出了學(xué)習(xí)字典的概念，并指出:“當(dāng)稀疏編碼應(yīng)用于二維圖像時(shí)，學(xué)習(xí)到的基與哺乳動(dòng)物視覺(jué)皮層V1區(qū)內(nèi)各種神經(jīng)元的反應(yīng)特性類似，并且證明了基于學(xué)習(xí)的字典比經(jīng)典的字典表達(dá)更精確，更接近人類反應(yīng)，自適應(yīng)性較強(qiáng)”。稀疏特性充分考慮了人眼的視覺(jué)特性，利用該算法恢復(fù)的圖像效果較好。Yang［16］提出了一種基于稀疏編碼的學(xué)習(xí)算法，該算法是從外部圖像樣本直接選取高低分辨率圖像塊作為高低分辨率字典，之后利用字典求解稀疏系數(shù)進(jìn)行超分辨率圖像恢復(fù)。該算法的缺陷是高低分辨率圖像塊之間并沒(méi)有稀疏關(guān)聯(lián)，而且選擇樣本時(shí)很難選擇合適的樣本，因此運(yùn)行時(shí)間相對(duì)較長(zhǎng)。后來(lái)Yang［17］又提出了一種稀疏聯(lián)合來(lái)求解高低分辨率字典，它的基本思想是將圖像的高分辨率塊和低分辨率塊的特征進(jìn)行聯(lián)合稀疏求解，特征的選擇一般選用一階和二階因子來(lái)提取，這樣學(xué)習(xí)得到目標(biāo)字典對(duì)，使得高低分辨率圖像具有相同的稀疏表示。該算法大大提高了運(yùn)算速度以及重建效果，由于算法仍然采用的是線性求解，因此算法收斂較慢。之后又有研究者對(duì)這個(gè)字典訓(xùn)練進(jìn)行改進(jìn)［18］，改進(jìn)的算法在選擇字典時(shí)速度仍然較慢，而字典的選擇對(duì)于恢復(fù)圖像的效果至關(guān)重要。Zeyde［19］對(duì)文獻(xiàn)［18］使用了不同的訓(xùn)練方法，從而在算法結(jié)構(gòu)和復(fù)雜度上都進(jìn)行了改進(jìn)，最終恢復(fù)圖像的效果有了很大改善。而后，廖秀秀［20］提出了雙稀疏字典的超分辨率圖像重建算法，這種恢復(fù)算法不僅在性能方面有所提升，而且速度也大大加快。

2 后續(xù)研究和展望

本文介紹了現(xiàn)有的一些超分辨率圖像恢復(fù)算法的優(yōu)缺點(diǎn)?；诓逯档幕謴?fù)算法簡(jiǎn)單，一般作為初始的高分辨率估計(jì)?；谥亟s束的超分辨率圖像重建一般要考慮多幅具有位移的低分辨率圖像進(jìn)行匹配，融合去求解高分辨率圖像，這個(gè)過(guò)程中配準(zhǔn)程度精度對(duì)圖像是否出現(xiàn)偽邊緣影響很大。而且當(dāng)放大因子達(dá)到一定程度時(shí)，即使有多幅低分辨率圖像仍然不能改變其效果。因此，綜合考慮，在目前基于稀疏的超分辨率圖像恢復(fù)已經(jīng)能夠做出很好的效果且時(shí)間代價(jià)也不是很大的情況下，基于稀疏的超分辨率圖像恢復(fù)算法是最具研究前景的。綜上所述，目前超分辨率圖像恢復(fù)方法研究包括:

1)如何讓圖像的細(xì)節(jié)更加清晰。當(dāng)放大因子較大時(shí)，仍然能夠恢復(fù)出和原始圖像接近的圖片。

2)稀疏聯(lián)合字典的求解。讓求解的稀疏系數(shù)更加完備且更加滿足人眼視覺(jué)特性要求。

3)文獻(xiàn)［21］指出，雖然稀疏重建和樣本算法都已經(jīng)達(dá)到了較好的效果，但是如果把回歸模型考慮到圖像恢復(fù)中，那么重建質(zhì)量將會(huì)有更大的改進(jìn)和提升?；跇颖镜倪x擇和回歸模型的結(jié)合在文獻(xiàn)［14］中已實(shí)現(xiàn)了就目前而言相對(duì)較好的效果，因此考慮若將稀疏和回歸模型結(jié)合也許能達(dá)到較好的恢復(fù)效果。

4)軟硬有機(jī)結(jié)合實(shí)現(xiàn)超分辨率圖像恢復(fù)。考慮將前端的硬件實(shí)現(xiàn)并做出改進(jìn)，使硬件實(shí)現(xiàn)時(shí)達(dá)到一定的效果，再利用恢復(fù)算法實(shí)現(xiàn)超分辨率，使方法倍數(shù)達(dá)到更大。

5)圖像質(zhì)量評(píng)價(jià)。如何找到一個(gè)比較符合人眼視覺(jué)效果的評(píng)判標(biāo)準(zhǔn)對(duì)圖像的研究有重要意義。

［1］蒲劍，張軍平，黃華.超分辨率算法研究綜述［J］.山東大學(xué)學(xué)報(bào):工學(xué)版，2009(1).

［2］Tsai R Y，Huang T S.Uniqueness and estimation of three－dimensionalmotion parameters of rigid objects with curved surfaces［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，1984(1):13－27.

［3］郭偉偉，章品正.基于迭代反投影的超分辨率圖像重建［J］.計(jì)算機(jī)科學(xué)與探索，2009，3(3):321－329.

［4］肖創(chuàng)柏，禹晶，薛毅.一種基于MAP的超分辨率圖像重建的快速算法［J］.計(jì)算機(jī)研究與發(fā)展，2009(5): 872－880.

［5］肖杰雄.基于POCS算法的超分辨率圖像重建［D］.上海:上海交通大學(xué)，2009.

［6］劉琚，喬建蘋(píng).基于學(xué)習(xí)的超分辨率重建技術(shù)［J］.智能系統(tǒng)學(xué)報(bào)，2009，4(3):199－207.

［7］Yang J，Wright J，Huang T，et al.Image super－resolution as sparse representation of raw image patches［C］//Computer Vision and Pattern Recognition，2008.CVPR 2008. IEEE Conference.USA:IEEE，2008:1－8.

［8］鄒謀炎.反卷積和信號(hào)復(fù)原［M］.北京:國(guó)防工業(yè)出版社，2001.

［9］劉志文，潘曉露，李一民.L1范數(shù)的總變分正則化超分辨率圖像重建［J］.微處理機(jī)，2012，33(3):37－39.

［10］Irani M，Peleg S.Super resolution from image sequences［C］//Pattern Recognition，1990.Proceedings，10th International Conference.USA:IEEE，1990，2:115－120.

［11］JointMAPRegistration and High－Resolution Image Estimation Using a Sequence of Under－sampled Images［Z］.

［12］王學(xué)玲.基于POCS算法的序列圖像超分辨率復(fù)原技術(shù)研究［D］.青島:中國(guó)海洋大學(xué)，2007.

［13］Freeman WT，Jones T R，Pasztor E C.Example－based super－resolution［J］.Computer Graphics and Applications，IEEE，2002，22(2):56－65.

［14］Yang J，Lin Z，Cohen S.Fast Image Super－Resolution Based on In－Place Example Regression［C］//Computer Vision and Pattern Recognition(CVPR)，2013 IEEE Conference.USA:IEEE，2013:1059－1066.

［15］Olshausen B A.Emergence of simple－cell receptive field properties by learning a sparse code for natural images［J］.Nature，1996，381(6583):607－609.

［16］Yang J，Wright J，Huang T，et al.Image super－resolution as sparse representation of raw image patches［C］//Computer Vision and Pattern Recognition，2008.CVPR 2008. IEEE Conference.USA:IEEE，2008:1－8.

［17］Yang J，Wright J，Huang T S，et al.Image super－resolution via sparse representation［J］.Image Processing，IEEE Transactions on，2010，19(11):2861－2873.

［18］Yang S，Wang M，Chen Y，et al.Single－image super－resolution reconstruction via learned geometric dictionaries and clustered sparse coding［J］.Image Processing，IEEE Transactions，2012，21(9):4016－4028.

［19］Zeyde R，Elad M，Protter M.On single image scale－up using sparse－representations［M］.Curves and Surfaces. USA:Springer Berlin Heidelberg，2012:711－730.

［20］廖秀秀.基于學(xué)習(xí)的圖像超分辨率重建算法研究［D］.廣州:華南理工大學(xué)，2013.

［21］Kim K I，Kwon Y.Single－image super－resolution using sparse regression and natural image prior［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(6):1127－1133.

(責(zé)任編輯 楊黎麗)

Review of Super-resolution Image Restoration Method

XIANG Hai－yan
(Key Laboratory of Signal and Information Treatment，Chongqing University of Posts and Telecommunications，Chongqing 400065，China)

As the limitation of imaging technology，improving super－resolution from the hardware needs expensive cost，so we consider implementing super－resolution image from the software.Firstly，this paper is a brief introduction of the previous super－resolution restoration technology，and then based on this，this paper puts forward the algorithm research direction and development in the future.

super－resolution;high resolution image;low resolution image，image restoration

TP13

A

1674－8425(2014)09－0072－05

10.3969/j.issn.1674－8425(z).2014.09.016

2014－05－18

國(guó)家自然科學(xué)基金項(xiàng)目(61275099)，信號(hào)與信息處理重慶市市級(jí)重點(diǎn)實(shí)驗(yàn)室建設(shè)項(xiàng)目(CSTC，2009CA2003)，重慶市自然科學(xué)基金項(xiàng)目(CSTC，2010BB2398)和重慶市科技攻關(guān)計(jì)劃項(xiàng)目(CSTC，2011AB2008)

向海燕(1990—)，女，重慶萬(wàn)州人，碩士研究生，主要從事圖像處理方面的研究。

向海燕.超分辨率圖像恢復(fù)方法綜述［J］.重慶理工大學(xué)學(xué)報(bào):自然科學(xué)版，2014(9):72－76.

format:XIANG Hai－yan.Review of Super－resolution Image Restoration Method［J］.Journal of Chongqing University of Technology:Natural Science，2014(9):72－76.