單幀學(xué)習(xí)與多幀重建結(jié)合的超分辨率盲重建方法

劉 薇,錢慧芳

(西安工程大學(xué) 電子信息學(xué)院,陜西 西安 710048)

超分辨率重建(super-resolution)旨在融合多幀圖像間的互補信息或者學(xué)習(xí)樣本庫中的先驗知識來提高圖像分辨率,獲得比單幀圖像更好的視覺效果,在遙感成像、醫(yī)學(xué)圖像、安全監(jiān)控等方面呈現(xiàn)出良好的應(yīng)用前景[1].在退化模型點擴散函數(shù)(Point Spread Function;PSF)已知的情況下,已有多種方法[2-4]得到較為滿意的重建效果.然而實際系統(tǒng)的PSF通常未知,在此情況下,超分辨率重建問題的求解一般分為3種思路:(1)為將高分辨率圖像的求解與模型參數(shù)估計結(jié)合在一起,通過設(shè)置適當(dāng)?shù)碾p正則項來獲取所需要的重建結(jié)果[5-7],其中對PSF的正則項設(shè)計是難點;(2)是采用單幀學(xué)習(xí)的方法,回避低分辨率圖像序列的亞像素配準(zhǔn)問題[8-11],但是單幀重建對于由PSF引起的較大模糊,往往在弱邊緣以及紋理豐富的區(qū)域重建效果不甚理想;(3)分步處理,首先對PSF進(jìn)行辨識,然后使用辨識到的PSF重建高分辨率圖像,此時算法的有效性取決于參數(shù)估計的準(zhǔn)確性.文獻(xiàn)[12]采用誤差參數(shù)曲線辨識PSF,但曲線中的拐點平坦區(qū)域等特征并不顯著,影響了參數(shù)估計的可靠性.

針對模糊圖像的超分辨率重建問題,傳統(tǒng)的模糊圖像復(fù)原方法雖然不能直接適用于超分辨率重建,但其思想仍值得借鑒,文獻(xiàn)[13]通過線擴展函數(shù)來估計散焦模糊圖像的PSF,文獻(xiàn)[14]通過評價復(fù)原圖像質(zhì)量來估計PSF.對此,本文從模糊PSF的辨識中汲取思路,以單幀學(xué)習(xí)得到的清晰高分辨率圖像內(nèi)容,作為辨識PSF的依據(jù).進(jìn)而在最大后驗概率框架下,利用多幀重建方法重建高分辨率圖像.該單幀學(xué)習(xí)與多幀重建相結(jié)合的方法融合了兩種方法的優(yōu)勢,能夠在圖像弱邊緣和紋理豐富的區(qū)域得到較單幀學(xué)習(xí)方法更細(xì)致的重建結(jié)果.

1 超分辨率重建模型

利用同一場景的多幀低分辨率圖像重建一幅高分辨率圖像,相應(yīng)的觀測模型可以表示為

yk=DBkFkx+nk.

(1)

其中yk(k=1,2,…,P)為第k幅低分辨率圖像按行排列而成的列向量;x為理想高分辨率圖像按行排列而成的列向量;D為降采樣矩陣;Fk運動矩陣,Bk為模糊矩陣,nk為噪聲向量.

假設(shè)圖像中模糊為空間不變,則Bk(k=1,2,…,P)均相等.對于未知Bk,如散焦模糊,需要確定Bk的參數(shù),即散焦半徑r.

在MAP框架下,根據(jù)正則化理論定義代價函數(shù):

(2)

其中 逼近項使用L2范數(shù),正則項可采用能夠有利于邊緣保持的Huber-Markov先驗?zāi)Ｐ?

高分辨率圖像的估計泛函為

(3)

2 基于參考塊的超分辨率重建算法

2.1 單幀學(xué)習(xí)超分辨率重建

待重建圖像經(jīng)過插值放大和高通濾波后被分割成與低分辨率樣本塊同樣大小的子塊,這些子塊與樣本庫中的低分辨率子塊進(jìn)行比較,選擇最相似塊(一個或多個)所對應(yīng)的高分辨率塊作為學(xué)習(xí)到的高頻信息疊加到待重建的低分辨率圖像上,由此得到重建效果.

然而，從低分辨率塊到高分辨率塊往往是一對多的映射.盡管Freeman[8]等使用的高分辨率塊間的相容性邊界,Sun[9]等使用的圖像紋理基元可以改善這種映射關(guān)系,但是當(dāng)?shù)头直媛蕡D像比較模糊,可利用的信息被削弱,這種一對多的關(guān)系仍然十分明顯.低分辨率塊不足以提供更多關(guān)于高分辨率塊的信息,弱邊緣及紋理區(qū)域的重建效果較差,原始高分辯率圖像及學(xué)習(xí)重建結(jié)果,如圖1所示.盡管如此，圖1(b)中強邊緣部分仍能獲得較好的重建效果,因此可選擇重建效果較好的強邊緣部分構(gòu)建參考信息塊,引導(dǎo)多幀重建算法進(jìn)行PSF辨識,進(jìn)而獲得更優(yōu)的重建結(jié)果.

(a) 原始高分辨率圖像 (b) 學(xué)習(xí)重建結(jié)果圖2 學(xué)習(xí)重建結(jié)果中提取的強邊緣塊 圖1 原始高分辨率圖像及學(xué)習(xí)重建結(jié)果

2.2 參考塊提取

設(shè)學(xué)習(xí)重建得到的結(jié)果圖像為I,取梯度函數(shù)為高斯函數(shù)的一階方向?qū)?shù),并將其離散到3個尺度和6個方向,然后分別與圖像I求卷積,濾波結(jié)果的最大值作為圖像當(dāng)前的梯度值,即

(4)

為了消除紋理塊的影響,提取到強邊緣塊,定義塊內(nèi)的平均梯度為

(5)

2.3 基于參考塊的多幀超分辨率重建

對于模糊圖像,強邊緣塊的單幀學(xué)習(xí)重建結(jié)果顯然優(yōu)于弱邊緣塊的結(jié)果,因此更具指導(dǎo)性.為了克服模糊退化,得到優(yōu)于單幀學(xué)習(xí)這種無指導(dǎo)性重建方法的結(jié)果,本文以強邊緣塊的單幀學(xué)習(xí)重建結(jié)果為參考,進(jìn)一步指導(dǎo)多幀重建方法選擇正確的模糊退化參數(shù),利用Huber Markov Random Field(HMRF)模型,在最大后驗概率MAP框架下實現(xiàn)對高分辨率圖像的估計[6].

(6)

因此,PSF散焦半徑r和高分辨率圖像x的求解過程轉(zhuǎn)換為

(7)

3 結(jié)果與討論

對標(biāo)準(zhǔn)測試圖像Butterfly,分別取散焦半徑r=2,r=3,r=4的PSF進(jìn)行模糊,2倍降采樣得到4幅低分辨率圖像,分別在散焦半徑r=1,2,3,4,5時進(jìn)行MAP重建[6],其中正則化參數(shù)選取0.01,參考塊相似度曲線如圖3所示.當(dāng)散焦半徑等于實際值時,參考塊相似度達(dá)到最大,據(jù)此可以辨識PSF的參數(shù).

圖3 使用不同散焦半徑重建時的參考塊相似度曲線

為了進(jìn)一步驗證算法的有效性,分別對標(biāo)準(zhǔn)測試圖像Lena,Plane,Butterfly等進(jìn)行實驗.使用不同參數(shù)的散焦PSF進(jìn)行降質(zhì),2倍降采樣.分別使用雙立方插值、文獻(xiàn)[7]中的雙正則方法、文獻(xiàn)[11]中的學(xué)習(xí)方法以及本文方法進(jìn)行重建.

為了保證學(xué)習(xí)算法能夠有效恢復(fù)模糊圖像的強邊緣,文獻(xiàn)[15]提出的方法被用來對插值圖像的PSF支持域進(jìn)行粗判定,使用判定結(jié)果對訓(xùn)練用高分辨率圖像進(jìn)行模糊,進(jìn)而構(gòu)建樣本庫.樣本塊由對應(yīng)的高分辨率塊和低分辨率塊組成,低分辨率塊用于搜索匹配,大小為7×7,高分辨率塊用于重建,大小為5×5.由圖4所示的3幅高分辨率圖像(256×256)，經(jīng)7×7塊遍歷構(gòu)成樣本庫,得到187 500個樣本塊.

(a)雙立方插值 (b)雙正則方法 (c)學(xué)習(xí)方法 (d)本文方法圖4 “Lena”(r=2)、“Plane”(r=3)、“蝴蝶”(r=4)的重建結(jié)果

表1給出了4種方法對參數(shù)不同的散焦模糊圖像進(jìn)行重建時所得重建結(jié)果的PSNR,無論從主觀效果還是從客觀評價指標(biāo)來看,本文方法都較其他方法有更好的重建效果.

進(jìn)一步測試實拍圖像，圖5給出了4幅實拍圖像Logo放大2倍的重建效果.從圖5可以看出，采用本文方法較其他方法更清晰地恢復(fù)圖像的文字信息和圖案紋理.實驗結(jié)果驗證了本文算法的有效性.

表1 不同方法所得重建結(jié)果的PSNR

(a)低分辨率圖像 (b)雙正則方法 (c)學(xué)習(xí)方法 (d)本文方法圖5 實拍圖像的重建

4 結(jié)束語

針對散焦模糊PSF參數(shù)未知時的超分辨率重建問題,提出了一種單幀學(xué)習(xí)與多幀重建相結(jié)合的算法.以單幀學(xué)習(xí)算法中恢復(fù)較好的強邊緣塊作為參考信息塊,指導(dǎo)多幀重建算法進(jìn)行PSF參數(shù)辨識并進(jìn)行超分辨率重建.實驗證明,本文算法對散焦型PSF有比較好的辨識效果,相比于雙正則算法以及單幀學(xué)習(xí)方法,能夠獲得更好的超分辨率重建結(jié)果.

參考文獻(xiàn)：

[1] 蘇衡,周杰,張志浩.超分辨率圖像重建方法綜述[J].自動化學(xué)報, 2013, 39(8): 1202-1213.

[2] 沈煥鋒,李平湘,張良培.一種基于正則化技術(shù)的超分辨率影像重建方法[J].中國圖象圖形學(xué)報,2005,10(4): 436-440.

[3] 韓玉兵,吳樂南,張冬青.基于正則化處理的超分辨率重建[J].電子與信息學(xué)報,2007,29(7):1713-1716.

[4] 唐斌兵,王正明.基于先驗約束的圖像超分辨率復(fù)原[J].紅外與毫米波學(xué)報,2008,27(5): 389-392.

[5] HE H,KOINDI P L.A regularization framework for joint blur estimation and super-resolution of video sequences[C].Proceedings of IEEE International Conference on Image Processing,Genova,Italy,2005,3(Ⅲ):329-332.

[6] 王素玉,沈蘭蓀,卓力,等.一種基于權(quán)值矩陣的序列圖像超分辨率盲重建算法[J].電子學(xué)報,2009,37(6):1198-1202.

[7] 楊浩,高建坡,吳鎮(zhèn)揚.基于雙正則化的圖像超分辨率盲重建[J].中國圖象圖形學(xué)報,2007,12(12):2057-2062.

[8] FREEMAN T W,JONES R T,PASZTOR C E.Example-based super-resolution[J].Computer Graphics and Applications,IEEE,2002,22(2):56-65.

[9] SUN J,ZHENG N N,TAO H,et al.Image hallucination with primal sketch priors[C].Proceedings of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Madison,USA.2003(2):729-736.

[10] CHANG H,YEUNG D Y,XIONG Y.Super-resolution through neighbor embedding[C].Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Washington,DC,USA.2004:275-282.

[11] FAN W,YEUNG D Y.Image hallucination using neighbor embedding over visual primitive manifolds[C].Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Minnesota,2007:1-7.

[12] 閆華,劉琚,孫建德,等.基于誤差-參數(shù)分析的超分辨率盲辨識和復(fù)原算法[J].通信學(xué)報,2009,30(8):62-68.

[13] 王正友,伍世虔,徐升華,等.一種離焦模糊圖像客觀檢測的新方法[J].中國圖象圖形學(xué)報,2007,12(6):1008-1013.

[14] 劉揚陽,金偉其,蘇秉華,等.基于超分辨力圖像復(fù)原算法的模糊系統(tǒng)辨識[J].光電子·激光,2005,16(2):213-216.

[15] CHEN L,YAP K H.Identification of blur support size in blind image deconvolution[C].Proceedings of the 2003 Joint Conference of the Fourth International Conference on Information, Communications and Signal Processing,2003(1):503-507.