基于Keren配準(zhǔn)和插值的快速超分辨率圖像重建*

李展 韓國強 陳湘驥 廖秀秀

(1.華南理工大學(xué)計算機科學(xué)與工程學(xué)院，廣東廣州510006;2.華南農(nóng)業(yè)大學(xué)信息學(xué)院，廣東廣州510642)

數(shù)字圖像處理技術(shù)在各個領(lǐng)域的廣泛應(yīng)用使人們對圖像和視頻的質(zhì)量提出了更高的要求.超分辨率圖像重建是指由一幅或多幅低分辨率(LR)的觀測圖像或視頻重建高分辨率(HR)圖像或視頻的過程［1］.由于超分辨率技術(shù)是用后期圖像和視頻處理的手段對已有圖像進(jìn)行軟件上的加工以增強圖像視頻的質(zhì)量，比起改變硬件設(shè)備的方式更為靈活，成本也更低，自1984年Tsai等［2］提出該術(shù)語以來，超分辨率重建已經(jīng)成為數(shù)字圖像處理領(lǐng)域的研究熱點之一.

超分辨率圖像重建經(jīng)典算法有Tsai等［2］的基于頻域的算法、Stark等［3］的凸集映射法 (POCS)、Kim 等［4］的非均勻插值法(NI)、Irani等［5］的迭代后向映射法(IBP)、Schultz等［6］的最大后驗概率法(MAP)等.Zomet等［7］改進(jìn)了迭代后向映射法，增強了它對噪聲、模糊不確定和運動誤差的魯棒性(RIBP).Elad等［8］提出了一個結(jié)合了最大后驗概率和凸集映射算法的超分辨率重建框架，以此定義一個新的凸優(yōu)化問題.Pham等［9］提出了一種結(jié)構(gòu)適應(yīng)的歸一化卷積法 (SANC)，采用兩遍歸一化卷積實現(xiàn)超分辨率重建.Datsenko等［10］結(jié)合數(shù)據(jù)庫和人工智能中的一些算法給出了基于學(xué)習(xí)的超分辨率重建.Anbarjafari等［11］利用小波變換分解低分辨率圖像序列進(jìn)行超分辨率重建.Pestak［12］在假設(shè)全局運動估計參數(shù)已知的情況下，提出了一種基于插值的超分辨率重建方法，該算法沒有考慮配準(zhǔn)算法的誤差，且其中的門限尺寸閾值對不同的圖像需取不同值，過小或過大會造成空洞或模糊.韓玉兵等［13］提出了一種基于加權(quán)最小二乘濾波的幀間數(shù)據(jù)融合算法，在單幀圖像插值反卷積和運動補償權(quán)值矩陣的基礎(chǔ)上實現(xiàn)了視頻序列超分辨率重建框架.周波等［14］首先對低分辨率圖像利用Robert算子進(jìn)行邊緣檢測，提出了一種基于改進(jìn)的Keren配準(zhǔn)和SANC的超分辨率重建算法，但沒有提及關(guān)于算法執(zhí)行速度的問題.

本研究實現(xiàn)了一種基于Keren配準(zhǔn)和模板卷積的快速超分辨率算法，用于對靜態(tài)場景圖像序列的超分辨率重建.

1 圖像退化模型和運動模型

1.1 退化模型

在超分辨率問題中，為了從一系列的低分辨率圖像中重建出一幅高分辨率的圖像，往往假設(shè)這些低分辨率圖像序列是由高分辨率圖像經(jīng)過運動、模糊、下采樣、加噪這些降質(zhì)過程得到的，如式(1)所示［2］:

式中:yk是m幅分辨率為N1×N2圖像中的第k幅;z是需要重建的qN1×qN2大小的圖像;q是放大因子;D、Bk、Mk和 nk分別代表下采樣矩陣、模糊矩陣、運動補償矩陣和加性噪聲向量.這個模型描述了圖像降質(zhì)退化的過程.如果不考慮模糊和噪聲的因素，式(1)可以簡化為［6］:

式中:Ak是配準(zhǔn)矩陣，相當(dāng)于下采樣和運動補償矩陣的乘積;z'是一幅具有模糊和噪聲的高分辨率圖像.本研究先通過圖像配準(zhǔn)算法估計平移和旋轉(zhuǎn)參數(shù)從而得到y(tǒng)k和z'之間映射關(guān)系的Ak矩陣，然后采用插值和填充的方法計算z'中的像素值，最后采用常規(guī)的去模糊去噪方法做后期處理，獲得最終的重建圖像.重建過程如圖1所示.

圖1 基于插值和模板卷積的快速超分辨率圖像重建流程圖Fig.1 Flowchart of fast super-resolution image reconstruction based on interpolation and template convolution

1.2 運動模型

如果假定圖像序列是對靜態(tài)場景在短時段內(nèi)的多次拍攝，并且拍攝時相機只有微小的移動，此時可以使用全局的平面平移或旋轉(zhuǎn)模型來描述圖像之間的運動關(guān)系［15］:

式中:(z't，z's)是模糊高分辨率圖像z'中像素點的坐標(biāo)，有 z't=1，2，…，qN1，z's=1，2，…，qN2;(yki，ykj)是第k幅低分辨率圖像yk中像素點的坐標(biāo)，有yki=1，2，…，N1，ykj=1，2，…，N2;(dik，djk)是平移量;φk是旋轉(zhuǎn)角.此時，配準(zhǔn)過程就是估計dik、djk、φk3個參數(shù)的值.

2 基于插值的魯棒超分辨率算法

在眾多超分辨率重建算法中，基于插值的方法具有簡單、快速、適合于實時計算等特點.基于插值的多幀超分辨率技術(shù)通常將超分辨率重建的過程分為圖像配準(zhǔn)、插值重建和圖像恢復(fù)3個步驟［16］.圖像配準(zhǔn)是對齊低分辨率圖像序列，估計圖像幀間的運動關(guān)系，獲得描述低分辨率圖像間變換關(guān)系的參數(shù)或矢量場;插值是在配準(zhǔn)的基礎(chǔ)上將多幅低分辨率圖像中的信息采用插值的方式融合到高分辨率的網(wǎng)格，重建一幅高分辨率圖像;最后的圖像恢復(fù)一般指去模糊去噪等.本研究重點關(guān)注第2個步驟，基于插值的超分辨率重建.

2.1 文中提出的算法的原理

對原始連續(xù)場景采樣后的高分辨率數(shù)字圖像z'是本研究重建的目標(biāo)，假設(shè)低分辨率圖像是由這幅高分辨率圖像經(jīng)下采樣后得到的，如圖2所示.根據(jù)退化模型式(2)，重建的高分辨率圖像z'跟實際低分辨率圖像yk之間存在映射關(guān)系A(chǔ)k.可以認(rèn)為，低分辨率圖像中像素點的灰度值是高分辨率圖像中相應(yīng)像素點灰度值信息的體現(xiàn).同一個高分辨率圖像的像素點在低分辨率圖像序列里存在的對應(yīng)點的幀數(shù)越多，說明該點出現(xiàn)的次數(shù)越多，則反映該點灰度值的信息越多，計算得到的該點灰度值“可信度”越大.反之，高分辨率圖像中也存在在低分辨率圖像序列中找不到對應(yīng)點的像素，也就是文中所指的“空洞”，此時空洞處的灰度值因為沒有對應(yīng)點而無法確定.利用“可信”的像素來計算“不確定”的空洞值是本算法的基本思想和特點.

圖2 快速魯棒超分辨率圖像重建算法原理Fig.2 Principle of fast and robust super-resolution image reconstruction algorithm

2.2 配準(zhǔn)算法

插值類超分辨率算法的局限性在于重建效果很大程度上依賴于圖像配準(zhǔn)算法的準(zhǔn)確程度.一方面，為獲得更高分辨率的重建效果，配準(zhǔn)算法應(yīng)能夠估計低分辨率圖像幀間亞像素級的運動位移參數(shù)［1］;另一方面考慮到實時應(yīng)用的要求，配準(zhǔn)算法應(yīng)具有計算負(fù)載低、執(zhí)行快速有效的特點.Vandewalle［17］研究比較了 Keren、Marcel、Lucchese 等［18-20］和 Vandewalle等［15，17，21］提出的 4 種用于估計全局平移和旋轉(zhuǎn)參數(shù)的配準(zhǔn)算法.其中Keren算法是利用一階Taylor展開的空域配準(zhǔn)算法，其余3種是基于傅里葉變換的頻域配準(zhǔn)算法.Vandewalle［17］的研究發(fā)現(xiàn)，Keren 算法和Vandewalle算法的精度明顯比另外兩種算法高;Keren算法對平移量的估計與Vandewalle算法的配準(zhǔn)精度相當(dāng)，對旋轉(zhuǎn)量的估計精度優(yōu)于Vandewalle算法.而且Keren算法簡單快速，執(zhí)行效率高，是超分辨率重建中廣泛使用的一種亞像素級配準(zhǔn)方法.本研究提出的超分辨率重建方法對一定精度范圍內(nèi)的配準(zhǔn)參數(shù)誤差不敏感，具有較強的魯棒性，因此權(quán)衡精度和速度，本研究選擇Keren算法實現(xiàn)對低分辨率圖像序列的配準(zhǔn)，以適應(yīng)實時應(yīng)用的需要.

圖3 低分辨率圖像向高分辨率網(wǎng)格的映射和插值過程Fig.3 Map and interpolation process from low-resolution images to high-resolution grid

2.3 插值映射

有了配準(zhǔn)參數(shù)后，為了實現(xiàn)低分辨率圖像向高分辨率網(wǎng)格的映射，采用了圖3所示的流程.圖3中z″sum./z″count表示兩個矩陣z″sum與z″count中對應(yīng)元素逐點相除.首先，利用變換參數(shù)將所有低分辨率圖像中的像素點坐標(biāo)換算成高分辨率網(wǎng)格的坐標(biāo)，并對這些計算得到的坐標(biāo)值取整，得到一張非均勻采樣的高分辨率圖像.再將所有落入同一個像素區(qū)域的所有點的灰度值求算術(shù)均值，作為此網(wǎng)格點上的像素值.實現(xiàn)時，定義了兩個跟高分辨率圖像同樣大小的疊加圖矩陣和計數(shù)矩陣，分別計算落入一個像素區(qū)域的點灰度值和和點個數(shù).具體步驟如下:

(1)取低分辨率圖像yk，對每個像素點(yki，ykj)用式(3)計算它在高分辨率網(wǎng)格中的坐標(biāo)值(z″t，z″s);

(2)對(z″t，z″s)計算值取整，若 (z″t，z″s)的值在合理坐標(biāo)范圍內(nèi)，即 1≤z″t≤qN1且 1≤z″s≤qN2，則在疊加圖z″sum中對應(yīng)像素點上加入點(yki，ykj)的像素灰度值，同時計數(shù)矩陣z″count對應(yīng)位置計數(shù)值加1;

(3)若還有低分辨率圖像幀未被處理，轉(zhuǎn)步驟(1)繼續(xù)，否則，轉(zhuǎn)步驟(4)

(4)將疊加圖所有非“空洞”數(shù)值與計數(shù)矩陣對應(yīng)位置點數(shù)據(jù)相除，得到插值后帶有“空洞”的高分辨率圖像 z″.

2.4 基于模板卷積的填充算法

低分辨率圖像之間配準(zhǔn)時，存在由于運動或遮蔽引起的“移進(jìn)移出”現(xiàn)象.有些低分辨率圖像中可見的像素由于“移出”而在高分辨率圖像中消失，因此并非低分辨率圖像中提供的所有信息都能用于高分辨率圖像的重建.另一方面，高分辨率圖像中有些像素點可能在所有的m幅低分辨率圖像中都找不到對應(yīng)點，因此映射完成之后可能在高分辨率網(wǎng)格中還留有一些尚未賦值的“空洞”像素.一般地說，放大因子q一定時，用于重建的低分辨率圖像幀數(shù)m越多，所能提供的信息也就越多，“空洞”數(shù)就越少.如何填補這些“空洞”像素也是提高質(zhì)量的重要環(huán)節(jié).

采用迭代模板卷積算法來填充“空洞”像素，如圖4所示.圖4中空白方塊表示“空洞”，灰色表示填充，不同深度的灰色表示在不同次數(shù)的卷積中依次填充.用一個3×3的卷積模板在有“空洞”的高分辨率圖像z″上滑動，其中參數(shù)w由實驗測定，實驗表明，對大多數(shù)圖像，w的最佳取值在4.5～7.3之間，本研究中取w=6.遇到“空洞”像素時將模板中的權(quán)值與“空洞”3×3鄰域中對應(yīng)像素值的乘積相加，然后除以實際參加相加的權(quán)值并進(jìn)行歸一化.具體如下:

1)取帶有“空洞”的高分辨率圖像z″:對每個需要填充的“空洞”像素點(z″t，z″s)，用式(4)計算其灰度值:

式中:g(u，v)代表像素點(u，v)處的灰度值.有3類特殊情況:

(1)若需要填充的“空洞”像素位于圖像邊界，如圖4中的A像素，則實際參加計算的鄰域像素僅為在圖像上的鄰域點:

圖4 迭代的模板卷積算法填充“空洞”像素的流程Fig.4 Holes filling procedure by iterative template convolution algorithm

(2)若“空洞”鄰域也存在“空洞”，如圖4中的B像素，則實際參加計算的鄰域像素只計非“空洞”像素:

(3)若“空洞”鄰域全是“空洞”，如圖4中的C像素，則暫不填充該像素，留到下一輪卷積處理.

2)若z″中還有未填充的“空洞”，轉(zhuǎn)步驟1)繼續(xù)，否則，轉(zhuǎn)步驟(3).

3)輸出完全填補所有“空洞”的高分辨率圖像 z″.

一般而言，圖像中“空洞”比例在30%以內(nèi)時，經(jīng)過第1輪模板卷積之后，大部分的“空洞”像素(圖像上鄰域內(nèi)有非“空洞”像素的那些“空洞”像素)已經(jīng)被填充.空洞較多的圖像一般進(jìn)行2到3輪卷積也可以全部填滿.“空洞”比例過高，意味著低分辨率圖像幀數(shù)m相對于放大因子q太小，或者低分辨率圖像中可用于重建的信息量不夠，此時卷積迭代次數(shù)較多，重建效果較差.

3 實驗結(jié)果及分析

本研究在matlab7.0環(huán)境中實現(xiàn)和測試了文中提出的算法，并通過實驗將提出的算法與NI、POCS、RIBP 和 SANC 進(jìn)行了對比［3-4，7，9］.參與對比的算法都先采用Keren算法進(jìn)行低分辨率圖像幀間的配準(zhǔn)，再進(jìn)行超分辨率重建.其中非均勻插值法使用matlab中基于三角形的三次插值的griddata函數(shù)實現(xiàn);另外幾種算法由Vandewalle［17］提供的開放源碼軟件superresolution 2.0實現(xiàn).所有算法均在 Intel Pentium 2.80GHz雙核處理器和1.0GB內(nèi)存的普通PC機上運行測試.重建圖像質(zhì)量以峰值信噪比(PSNR)和均方誤差(MSE)作為客觀評價標(biāo)準(zhǔn)，執(zhí)行時間比較以秒為單位.

第1組實驗對由一幅100×100的高分辨率手機鍵盤圖像(見圖5(a))平移和下采樣產(chǎn)生的4幅50×50的低分辨率圖像進(jìn)行超分辨率重建(q=2).4幅低分辨率圖像的實際位移量和由Keren算法計算得到的位移量見表1，第1幅圖像y1是參考幀(見圖5(b)).重建的結(jié)果見圖5，每個子圖的右上角是局部放大圖.從視覺上看，除了RIBP算法(見圖5(e))明顯有振鈴效應(yīng)外，其余算法的重建效果差別不大，但超分辨率重建后的清晰度都顯著優(yōu)于單幅低分辨率圖像(見圖5(b)).

圖5 手機鍵盤圖像序列超分辨率重建結(jié)果Fig.5 Super-resolution reconstruction results of cellphone keyboard image sequences

表1 手機鍵盤低分辨率圖像幀間的平移量Table 1 Shifts of low-resolution cellphone keyboard images

第2組實驗對象為一幅高分辨率的國際標(biāo)準(zhǔn)化組織(ISO)標(biāo)準(zhǔn)分辨率測試圖的512×512的局部圖(見圖6(a)).先對該圖進(jìn)行旋轉(zhuǎn)、平移和下采樣(q=4)，得到9幅128×128的低分辨率圖像.實驗結(jié)果見圖6，每個子圖的左上角是局部放大圖.為了顯示多幀超分辨率重建的效果，將低分辨率參考幀y1(見圖6(b))進(jìn)行雙三次插值的結(jié)果也列入算法的比較中.從圖6中可見，由于采樣不足，低分辨率圖像y1中出現(xiàn)了明顯的混疊條紋偽影(見圖6(b)局部圖)，而單幀雙三次插值并不能有效去除這些偽影(見圖6(c)).表3給出了第2組實驗中各算法的量化比較，其中POCS算法和RIBP算法因失效沒有列入.從圖6和表3可看出，有效的3種(見圖6(f)、(g)、(h))多幀超分辨率重建算法在重建效果上都優(yōu)于單幀圖像雙三次插值，其中文中提出的算法和SANC算法的峰值信噪比大致相當(dāng)，略優(yōu)于NI，但文中提出的算法與NI、SANC相比在執(zhí)行時間上具有明顯優(yōu)勢.比較表3中Keren配準(zhǔn)和直接輸入?yún)?shù)的執(zhí)行時間還可看出，文中提出的算法時耗主要是Keren配準(zhǔn)算法(2.6463s－0.6214s≈2.02s)，若能夠改進(jìn)配準(zhǔn)算法的時耗，可使算法進(jìn)一步加速.

表2 手機鍵盤圖像序列超分辨率算法的量化比較Table 2 Quantitative comparison of SR algorithms for cellphone keyboard image sequences

圖6 ISO分辨率測試圖像序列超分辨率重建結(jié)果Fig.6 Super-resolution reconstruction results of ISO resolution chart image sequences

表3 ISO分辨率測試圖像序列超分辨率算法的量化比較Table 3 Quantitative comparison of super-resolution algorithms for ISO resolution chart image sequences

4 結(jié)語

本研究在用Keren算法進(jìn)行低分辨率圖像序列配準(zhǔn)的基礎(chǔ)上，提出和實現(xiàn)了一種利用插值映射和模板卷積填充的快速超分辨率重建方法.實驗表明，文中提出的算法對平移參數(shù)的配準(zhǔn)誤差具有一定的魯棒性，重建效果較好，在執(zhí)行速度上具有較大優(yōu)勢，提供了超分辨率算法實時應(yīng)用的可能性.下一步研究將改進(jìn)配準(zhǔn)算法的執(zhí)行效率，使文中提出的算法進(jìn)一步優(yōu)化.

［1］ Park S C，Park M K，Kang M G.Super-resolution image reconstruction:a technical overview ［J］.IEEE Signal Processing Magazine，2003，20(3):21-36.

［2］ Tsai R Y，Huang T S.Multiframe image restoration and registration ［J］.Advances in Computer Vision and Image Processing，1984，1(2):317-339.

［3］ Stark H，Oskoui P.High resolution image recovery from image-plane arrays，using convex projections［J］.Journal of the Optical Society of American，1989，6(11):1715-1726.

［4］ Kim S，Bose N K，Valenzuela H.Recursive reconstruction of high resolution image from noisy undersampled multiframes［J］.IEEE Transactions on Acoustics，Speech，and Signal Process，1990，38(6):1013-1027.

［5］ Irani M，Peleg S.Improving resolution by image registration ［J］.Computer Vision，Graphics and Image Processing，1991，53(3):231-239.

［6］ Schultz R R，Stevenson R L.Extraction of high-resolution frames from video sequences［J］.IEEE Transactions on Image Processing，1996，5(6):996-1011.

［7］ Zomet A，Rav-Acha A，Peleg S.Robust super-resolution［C］∥Proceedings of 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Hawaii:IEEE，2001:645-650.

［8］ Elad M，F(xiàn)euer A.Restoration of a single superresolution image from several blurred，noisy，and undersampled measured images［J］.IEEE Transactions on Image Processing，1997，6(12):1646-1658.

［9］ Pham T Q，van Vliet L J，Schutte K.Robust fusion of irregularly sampled data using adaptive normalized convolution［J］.EURASIP Journal on Applied Signal Processing，2006，2006(10):236-247.

［10］ Datsenko D，Elad M.Example-based single document image super-resolution:a global MAP approach with outlier rejection ［J］.Multidimensional System and Signal Processing，2007，18(2):103-121.

［11］ Anbarjafari G，Demirel H.Image super resolution based on interpolation of wavelet domain high frequency subbands and the spatial domain input image［J］.ETRI Journal，2010，32(3):390-394.

［12］ Pestak T C.Development of an efficient super-resolution image reconstruction algorithm for implementation on a hardware platform［D］.Dayton:Department of Electrical Engineering，Wright State University，2010.

［13］ 韓玉兵，束鋒，吳樂南.基于加權(quán)最小二乘濾波的視頻序列超分辨率重建［J］.電子與信息學(xué)報，2009，31(1):120-123.Han Yu-bing，Shu Feng，Wu Le-nan.Super-resolution reconstruction of video sequence based on WLS filtering［J］.Journal of Electronics ＆ Information Technology，2009，31(1):120-123.

［14］ 周波，江月松，唐華，等.基于改進(jìn)Keren配準(zhǔn)方法的超分辨率算法［J］.激光與光電子學(xué)進(jìn)展，2010，47(5):051006-1-051006-6.Zhou Bo，Jiang Yue-song，Tang Hua，et al.A super-resolution algorithm based on modified approach of Keren registration method［J］.Laser＆ Optoelectronics Progress，2010，47(5):051006-1-051006-6.

［15］ Vandewalle P，Susstrunk S，Vetterli M.A frequency domain approach to registration of aliased images with application to super-resolution ［J］.EURASIP Journal on Applied Signal Processing:Special Issue on Super-Resolution，2006，2006:1-14.

［16］ Patanavijit V.Super-resolution reconstruction and its future research direction［J］.Assumption University Journal of Technology，2009，12(3):149-163.

［17］ Vandewalle P.Super-resolution from unregistered aliased images［D］.Lausanne:School of Computer and Communication Sciences，Ecole Polytechnique Federale de Lausanne，2006.

［18］ Keren D，Peleg S，Brada R.Image sequence enhancement using sub-pixel displacement［C］∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Ann Arbor:IEEE，1988:742-746.

［19］ Marcel B，Briot M，Murrieta R.Calcul de translation et rotation par la transformation de fourier［J］.Traitement du Signal，1997，14(2):135-149.

［20］ Lucchese L，Cortelazzo G M.A noise-robust frequency domain technique for estimating planar roto-translations［J］.IEEE Transactions on Signal Processing，2000，48(6):1769-1786.

［21］ Vandewalle P，Sbaiz L，Vandewalle J，et al.Super-resolution from unregistered and totally aliased signals using subspace methods［J］.IEEE Transactions on Signal Processing，2007，55(7):3687-3703.