李麗榮

(天津大學(xué)理學(xué)院數(shù)學(xué)系，天津300072)

圖像的分辨率表征了圖像詳細(xì)信息的豐富程度.提高圖像的分辨率是圖像處理領(lǐng)域以及計(jì)算機(jī)視覺領(lǐng)域研究的重要課題.圖像超分辨率復(fù)原(super resolution image reconstruction，SISR)就是提高圖像分辨率的方法之一.超分辨率圖像復(fù)原突破了傳統(tǒng)的依靠硬件設(shè)備性能的提高來(lái)得到高分辨率圖像的限制，依靠軟件技術(shù)獲取所需的高分辨率圖像，降低了成像成本，具有更廣闊的發(fā)展空間和研究?jī)r(jià)值.

基于學(xué)習(xí)的超分辨率圖像復(fù)原方法是近年來(lái)研究的熱點(diǎn)，這是一種利用機(jī)器學(xué)習(xí)訓(xùn)練給定的圖像集，并尋找測(cè)試圖像與預(yù)先建立的訓(xùn)練集之間的先驗(yàn)關(guān)系來(lái)得到高分辨率的圖像的方法.基于學(xué)習(xí)的超分辨率復(fù)原方法在先驗(yàn)知識(shí)較少、高頻信息缺失較多的情況下能夠獲得分辨率較高的圖像，因此在超分辨率圖像復(fù)原時(shí)具有很大的優(yōu)勢(shì).Freeman等[1]提出的基于示例學(xué)習(xí)的 Markov模型，利用Markov網(wǎng)絡(luò)對(duì)高低分辨率的空間關(guān)系進(jìn)行建模;Chang等[2]提出的基于鄰域嵌入的學(xué)習(xí)方法，提出高低分辨率圖像具有相同局部幾何結(jié)構(gòu)的流形.這些方法都得到較好的復(fù)原效果，但要求訓(xùn)練樣本和測(cè)試樣本數(shù)目多，對(duì)噪聲敏感.為了得到更好的超分辨率復(fù)原圖像，Yang等[3]利用機(jī)器學(xué)習(xí)和壓縮感知的理論提出了基于稀疏表示(Sparse coding super－resolution，SCSR)的圖像超分辨率復(fù)原方法.

Rudin等[4]在 1992年提出了全變分(Total Variation，TV)模型用于圖像去噪，取得了較好地效果.這種方法建立在泛函分析和微分幾何的數(shù)學(xué)模型基礎(chǔ)上，保留了圖像的邊緣信息.隨著超分辨率圖像復(fù)原的發(fā)展，TV最小化逐漸被引入到圖像復(fù)原中，文獻(xiàn)[5]采用全變分離散表示模型復(fù)原超分辨率圖像.

本文將全變分最小化(TV)正則項(xiàng)引入到基于學(xué)習(xí)的圖像復(fù)原模型中，并采用交替迭代法求解.另外與文獻(xiàn)[3]的超完備字典訓(xùn)練方法不同，本文應(yīng)用K－SVD方法訓(xùn)練字典.最后結(jié)合非局部均值法和迭代反投影法對(duì)得到的復(fù)原圖像進(jìn)一步處理，提高圖像的分辨率.

1 基于稀疏表示的超分辨率復(fù)原模型

對(duì)于一幅低分辨率圖像Y，如果用表示其對(duì)應(yīng)的高分辨率圖像，則超分辨率圖像復(fù)原的觀測(cè)模型為:

其中:S表示下采樣矩陣，H表示點(diǎn)擴(kuò)散函數(shù)或衍射極限引起的模糊矩陣，ν表示噪聲.

根據(jù)基于示例的思想，把圖像分成大小相同的圖像塊，稱為一個(gè)patch，在不考慮模糊矩陣和噪聲的情況下，高分辨率圖像塊x∈Rn與相應(yīng)的低分辨率圖像塊y∈Rm之間的關(guān)系可以表示為:

超分辨率圖像復(fù)原即在已知低分辨率圖像塊y的情況下恢復(fù)高分辨率圖像塊x，這是一個(gè)欠定問(wèn)題，不能直接求解.文獻(xiàn)[3]通過(guò)學(xué)習(xí)的方法求解該問(wèn)題，利用圖像庫(kù)中的圖片聯(lián)合訓(xùn)練高分辨率字典Dh和低分辨率字典Dl，對(duì)于低分辨率圖像塊y，若可以通過(guò)低分辨率字典Dl稀疏表示為α，則相應(yīng)的高分辨率塊x可以通過(guò)高分辨率字典以及α得到.而求圖像塊y的稀疏表示α可以表示為以下問(wèn)題:

在α充分稀疏的情況下，問(wèn)題(3)可以松弛為以下問(wèn)題求解:

根據(jù)拉格朗日乘子法，上式可以表示為:

假設(shè)公式(5)的最優(yōu)解為α*，則高分辨率圖像塊x可以通過(guò)x=Dhα*重建得到.

2 TV正則化模型

2.1 全變分的概念

n ×n 圖像塊 x，xi，j，表示位于第 i行第 j列的像素值，則x的全變分則表示為:

2.2 超分辨率圖像復(fù)原TV模型

由于圖像像素之間很強(qiáng)的相關(guān)性，圖像的梯度在大部分區(qū)域是接近于零的，因此圖像的梯度空間也是稀疏的.TV最小化適用于圖像的重構(gòu)，可以更好的保留圖像邊緣，考慮把全變分正則項(xiàng)加入到SCSR方法中，并把向量化，得到基于學(xué)習(xí)的全變分超分辨率復(fù)原模型:

引入輔助變量 w=[w1;…;wN]，N=n2，wi∈R2，使得wi=Tix，為了保證這個(gè)公式成立，我們加入懲罰項(xiàng)，從而有以下模型:

對(duì)于上述模型采用交替迭代法[6]求解，把問(wèn)題(7)簡(jiǎn)化為以下兩個(gè)便于求解的子問(wèn)題:

令 ωj=(w1(j);…;wN(j))，j=1，2，由 T(1)，T(2)的定義，式(9)中

因此，子問(wèn)題(9)可以寫為:

式(10)可以表示為:

可以簡(jiǎn)化為最優(yōu)化問(wèn)題:

則原始目標(biāo)函數(shù)可以簡(jiǎn)化為下述兩個(gè)子問(wèn)題，然后采用交替迭代法求解:

首先求解式(9)，在這個(gè)子問(wèn)題中，wi是自變量，該問(wèn)題有封閉公式解，即:

并且設(shè)定0·(0/0)=0.對(duì)于問(wèn)題(12)，這是一個(gè)優(yōu)化問(wèn)題，可以直接采用梯度下降法求解.

關(guān)于迭代終止條件的設(shè)定，本文采用常用的方法，即當(dāng)?shù)螖?shù)滿足預(yù)先設(shè)定的值或者復(fù)原圖像之間的殘差滿足設(shè)定的閾值δ的時(shí)候迭代終止.

為了得到復(fù)原效果較好的圖像，通過(guò)上述方法復(fù)原圖像后，本文利用非局部均值算法[7]和迭代反投影算法[3]對(duì)得到的高分辨率圖像進(jìn)一步處理.

2.3 算法流程

通過(guò)上面的分析，本文整個(gè)算法流程總結(jié)如下:

輸入:低分辨率圖像Y，圖像放大倍數(shù)af;

步驟1:選取高分辨率圖像塊和低分辨率圖像塊，應(yīng)用K－SVD方法聯(lián)合訓(xùn)練字典，得到高分辨率字典Dh和低分辨率字典Dl;

步驟2:通過(guò)插值得到初始高分辨率圖像塊x(0);

步驟3:重復(fù)以下迭代，直到滿足終止條件

1)根據(jù)公式(8)求解得到wi;

2)固定wi，根據(jù)公式(12)解優(yōu)化問(wèn)題求得α;

3)令 x=Dhα，β =2β，返回 3.1.

步驟4:復(fù)原超分辨率圖像X0，用非局部均值法和梯度下降法對(duì)X0進(jìn)行后處理.輸出:高分辨率圖像X*.

3 仿真結(jié)果及分析

本文的仿真實(shí)驗(yàn)在Matlab R2013b版本上運(yùn)行，電腦配置為Windows7/64bit系統(tǒng)，4G內(nèi)存.本算法使用與文獻(xiàn)[3]相同的訓(xùn)練圖像集采用KSVD方法[8]訓(xùn)練字典，算法中圖像放大倍數(shù)af為2，測(cè)試低分辨率圖像大小為128×128，所以復(fù)原的高分辨率圖像大小為256×256，復(fù)原過(guò)程中采用的圖像塊大小為5×5.

為了證明本文算法的有效性，將其與插值算法和SCSR算法的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，以峰值信噪比(PSNR)來(lái)評(píng)價(jià)復(fù)原效果，由圖1可以看出，本文算法在視覺效果上比另外兩種算法更好，且PSNR值有所提高.

4 結(jié)語(yǔ)

本文采用K－SVD方法訓(xùn)練字典，提出在基于字典學(xué)習(xí)的超分辨率圖像復(fù)原模型中引入全變分正則項(xiàng)，通過(guò)變量替換把復(fù)原模型轉(zhuǎn)化為等價(jià)的優(yōu)化問(wèn)題并求解.本文算法在峰值信噪比和視覺效果上比SCSR算法都有所提高.由于采用交替迭代法求解，需要在迭代過(guò)程中不斷增加懲罰參數(shù)β的取值，容易造成迭代過(guò)程的數(shù)值不穩(wěn)定性，如何克服這個(gè)缺點(diǎn)是進(jìn)一步研究的內(nèi)容.

圖1 本文算法與其他算法復(fù)原效果比較

[1]FREEMAN W T，JONES T R，PASZTOR E C.Example based super－ resolution[J].IEEE Computer Graphics and Applications，2002，22(2)，56 －65.

[2]CHANG H，YEUNG D Y，XIONG Y.Super－ resolution through neighbor embedding[C]//IEEE Computer Society Conference on ComputerVision and Pattern Recognition.Washington.DC，USA，2004:275－282.

[3]YANG J C，WRIGHT J，HUANG T，et al.Image super－ resolution via sparse representation[J].IEEE Transaction on Image Processing，2010，19(11):2861－2873.

[4]RUDIN L，OSHER S，F(xiàn)ATEMI E.Nonlinear total variation based noise removal algorithms[J].Physica D，1992(60):259－268.

[5]YANG J，ZHANG Y，YIN W.A Fast TVL1－L2 Minimization Algorithm for gorithm for signal reconstruction from partial Fourier data[J].IEEE Journal of Special Topics Signal Process，2008，4(2):288－297.

[6]WANG Y，YANG J，YIN W，et al.A new alternating minimization algorithm for total variation image reconstruction[J].SIAM Journal on Imaging Sciences，2008，1(3):248－272.

[7]BUADES A，COLL B，MOREL J M.A non－local algorithm for image denoising[C]//Proc.IEEE COMSOC Conf.Computer Vis.Pattern Recognit.2005:60 －65.

[8]AHARON M，ELAD M，BRUCKSTEIN K S.An algorithm for designing overcomplete dictionaries for sparse representation[J].IEEE Trans.On Signal Processing.2006，54(11):4311 － 4322.