季成濤 何小海 符耀慶 梁子飛 卿粼波

?

一種基于正則化的邊緣定向插值算法

季成濤①何小海*①符耀慶②梁子飛①卿粼波①

①(四川大學(xué)電子信息學(xué)院 成都 610065)②(中海油能源發(fā)展股份有限公司北京分公司 北京 100027)

針對傳統(tǒng)的基于線性回歸模型插值算法不能對變化劇烈的邊緣進(jìn)行有效插值的問題，該文提出一種基于正則化的邊緣定向插值算法。算法主要分為兩部分：參數(shù)估計(jì)部分與數(shù)據(jù)估計(jì)部分。在參數(shù)估計(jì)部分，為了更加準(zhǔn)確地描述圖像局部結(jié)構(gòu)，把已估計(jì)的高分辨率像素作為訓(xùn)練像素的一部分，用以進(jìn)行回歸模型參數(shù)的估計(jì)。在數(shù)據(jù)估計(jì)部分，引入像素平滑方向作為正則化項(xiàng)，以降低參數(shù)的誤估計(jì)引起的數(shù)據(jù)估計(jì)偏差。實(shí)驗(yàn)結(jié)果表明，該算法能很好地保持圖像的邊緣特征，尤其在變化比較劇烈的邊緣區(qū)域；與雙三次插值算法及基于正則化的局部線性回歸插值算法(Regularized Local Linear Regression, RLLR)相比，該算法能取得更好的視覺效果及較高的PSNR值。

圖像處理；插值；回歸模型；訓(xùn)練像素；正則化

1 引言

圖像插值，是對已知的低分辨率(Low Resolution, LR)圖像通過一定的算法獲得高分辨率(High Resolution, HR)圖像的過程。圖像插值在很多領(lǐng)域得到了廣泛的應(yīng)用，如消費(fèi)電子設(shè)備、計(jì)算機(jī)視覺、遙感技術(shù)應(yīng)用、醫(yī)學(xué)圖像處理等。傳統(tǒng)的圖像插值算法有最近鄰插值、雙線性插值、雙三次插值等[1,2]，這些插值方法的優(yōu)點(diǎn)是計(jì)算簡單，運(yùn)行時(shí)間少，但由于這些算法的插值濾波器有著各向同性的特點(diǎn)，不能根據(jù)不同的圖像結(jié)構(gòu)進(jìn)行自適應(yīng)插值，導(dǎo)致插值后的邊緣部分出現(xiàn)如模糊、振鈴、鋸齒等明顯的人工處理痕跡。

以上基于線性回歸模型的插值算法雖然取得了較好的效果，但對邊緣兩側(cè)變化較劇烈的部分，其插值效果并沒有得到很好的改善。究其原因主要是在模型估計(jì)階段利用低分辨率像素估計(jì)的線性回歸模型參數(shù)，并不能完全適合高分辨圖像的結(jié)構(gòu)，本文針對這一問題進(jìn)行了改進(jìn)。在模型參數(shù)估計(jì)階段，把低分辨率像素和已經(jīng)估計(jì)的高分辨率像素作為訓(xùn)練像素進(jìn)行參數(shù)的估計(jì)，另外，引入了像素平滑方向作為正則化項(xiàng)，以降低插值窗口內(nèi)結(jié)構(gòu)的多變所帶來的插值誤差。

2 圖像自回歸模型

其中為固定大小的局部窗口。

3 本文算法

通常，在以未知像素為中心的局部窗口內(nèi)進(jìn)行參數(shù)估計(jì)后，就可以利用式(1)進(jìn)行未知像素的插值，如圖1所示。實(shí)驗(yàn)顯示，在平滑區(qū)域及兩側(cè)變化不大的邊緣這樣做會產(chǎn)生較好的插值效果。但對于兩側(cè)變化劇烈的邊緣而言，參數(shù)估計(jì)會因?yàn)閳D像結(jié)構(gòu)的多變導(dǎo)致誤估計(jì)，本文針對該問題進(jìn)行了改進(jìn)。首先在參數(shù)估計(jì)階段，將已知的低分辨率像素和已經(jīng)估計(jì)出的高分辨率像素作為訓(xùn)練像素，以降低由于分辨率不同而引起的參數(shù)估計(jì)誤差；在數(shù)據(jù)估計(jì)階段，首先估計(jì)出以待插值像素為中心的像素平滑方向，然后將利用平滑方向的像素估計(jì)出的像素值作為正則化項(xiàng)，以降低由于圖像結(jié)構(gòu)多變導(dǎo)致的插值誤差。綜上所述，可用式(3)進(jìn)行對未知像素的求解：

本文采用2遍插值對整幅圖像進(jìn)行插值，如圖1所示，其中圖中黑色實(shí)心點(diǎn)為已知的低分辨率像素，白色點(diǎn)是第1遍插值操作的像素，灰色點(diǎn)是第2遍插值操作的像素。本文對邊界采樣用雙三次插值算法進(jìn)行處理。下文以第1遍插值過程為例說明算法流程，算法流程圖如圖2所示。

圖1 基于線性回歸模型插值示意圖

圖2 本文算法流程圖

3.1 模型參數(shù)估計(jì)

對式(4)進(jìn)行求解得到

3.2 數(shù)據(jù)估計(jì)

在參數(shù)估計(jì)階段，假定插值窗口內(nèi)的圖像結(jié)構(gòu)都服從同一參數(shù)模型，然而對于兩側(cè)變化比較劇烈的邊緣來說，由于結(jié)構(gòu)的多變不能很好地用同一參數(shù)模型進(jìn)行描述，因而會產(chǎn)生較大誤差；為了克服圖像結(jié)構(gòu)多變引起的邊緣插值不準(zhǔn)確，本文引入了像素平滑方向作為正則化項(xiàng)，以使最終的插值結(jié)構(gòu)更能適應(yīng)圖像的局部結(jié)構(gòu)。

4 實(shí)驗(yàn)結(jié)果

為了評價(jià)本文算法的效果，本文選取了KODAK 圖像庫中的圖像作為測試圖像。首先對原始的高分辨率圖像進(jìn)行以2為因子的隔點(diǎn)下采樣，將得到的對應(yīng)的低分辨率圖像作為輸入圖像，然后用本文算法進(jìn)行插值處理。同時(shí)將本文的插值效果與雙三次插值算法和RLLR插值算法進(jìn)行了對比，對應(yīng)的PSNR值如表1所示。

表1實(shí)驗(yàn)重建結(jié)果衡量標(biāo)準(zhǔn)PSNR對比

雙三次插值算法RLLR插值算法[11]本文方法 Hats31.191031.273131.4767 Windows31.089531.237731.3359 Market22.179722.007122.2277 Sailboats30.181030.108330.3687 Sailboat30.179230.400730.5985 Lighthouse26.990926.816627.0447 Mustang29.280029.615729.7186 Average28.727328.779828.9673

對于彩色圖像，是將彩色圖像的3個(gè)通道當(dāng)成3幅灰度圖像分別進(jìn)行插值，最后將各通道的插值結(jié)果合并成彩色圖像。圖5是用3種算法對灰度圖像進(jìn)行處理的實(shí)驗(yàn)結(jié)果，圖6是用3種算法對彩色圖像處理的實(shí)驗(yàn)結(jié)果。

從實(shí)驗(yàn)結(jié)果可以看到，雙三次插值與RLLR插值算法在進(jìn)行邊緣插值時(shí)，存在較嚴(yán)重的鋸齒和不平滑現(xiàn)象，如圖5中的白色線條和灰色線條，圖6中的白色直線處都出現(xiàn)了較明顯的鋸齒效應(yīng)，本文算法能更好地保護(hù)圖像的邊緣部分。

圖5 灰度圖像插值結(jié)果

圖6 彩色圖像插值結(jié)果

5 結(jié)論

傳統(tǒng)的基于線性回歸模型的插值算法主要存在以下兩個(gè)問題：由于分辨率不同引入的參數(shù)估計(jì)誤差和由于局部圖像結(jié)構(gòu)多變引入的數(shù)據(jù)估計(jì)誤差。針對這兩個(gè)問題本文提出了一種基于正則化的邊緣定向圖像插值算法。為了克服分辨率不同所引入的誤差，本文在參數(shù)估計(jì)階段，同時(shí)把低分辨率像素與已經(jīng)估計(jì)的高分辨率像素作為訓(xùn)練像素進(jìn)行模型參數(shù)估計(jì)。在數(shù)據(jù)估計(jì)階段，通過引入像素平滑方向作為正則化項(xiàng)，用來克服圖像結(jié)構(gòu)多變所帶來的誤差。實(shí)驗(yàn)結(jié)果表明，本文算法取得了較好的視覺效果和較高的PSNR值，尤其在邊緣兩側(cè)變化劇烈的部分能更好地保護(hù)邊緣。

[1] Keys R C. Cubic convolution interpolation for digital image processing[J].,,, 1981, 29(6): 1153-1160.

[2] Hou H S and Andrews H C. Cubic splines for image interpolation and digital filtering[J].,,, 1978, 26(6): 508-517.

[3] Dong Wei-sheng, Zhang Lei, Shi Guang-ming,.. Nonlocal back-projection for adaptive image enlargement[C]. 16th IEEE International Conference on Image Processing (ICIP), Cairo, 2009: 349-352.

[4] Hung Kwok-wai and Siu Wan-chi. Single image super- resolution using iterative wiener filter[C]. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Kyoto, 2012: 1269-1272.

[5] Guo Kai, Yang Xiao-kang, Zha Hong-yuan,.. Multiscale semilocal interpolation with antialising[J]., 2012, 21(2): 615-625.

[6] 趙旦峰, 王博, 楊大偉. 一種邊緣定向平滑圖像插值算法[J]. 電子與信息學(xué)報(bào), 2012, 34(7): 1543-1546.

Zhao Dan-feng, Wang Bo, and Yang Da-wei. An edge- directed smoothness algorithm for image interpolation[J].&, 2012, 34(7): 1543-1546.

[7] Zhang Lei and Wu Xiao-lin. An edge-guided image interpolation algorithm via directional filtering and data fusion[J]., 2006, 15(8): 2226-2238.

[8] Li Xin and Orchard M T. New edge-directed interpolation[J]., 2001, 10(10): 1521-1527.

[9] Asuni N and Giachetti A. Accuracy improvements and artifacts removal in edge based image interpolation[C]. Proceedings of the Third International Conference on Computer Vision Theory and Applications (VISAPP), Funchal, 2008: 58-65.

[10] Zhang Xiang-jun and Wu Xiao-lin. Image inerpolation by adaptive 2-D autoregressive modeling and soft-decision estimation[J]., 2008, 17(6): 887-896.

[11] Liu Xian-ming, Zhao De-bin, Xiong Rui-qin,.. Image interpolation via regularized local linear regression[J]., 2011, 20(12): 3455-3469.

[12] 任杰, 劉家瑛, 白蔚, 等. 基于隱式分段自回歸模型的圖像插值算法[J]. 軟件學(xué)報(bào), 2012, 23(5): 1248-1259.

Ren Jie, Liu Jia-ying, Bai Wei,.. Image interpolation algorithm based on implicit piecewise autoregressive[J]., 2012, 23(5): 1248-1259.

[13] Hung Kwok-Wai and Siu Wan-Chi. Robust soft-decision interpolation using weighted least squares[J]., 2012, 21(3): 1061-1069.

[14] Tang K, Oscar C Au,and Fang Lu. Image interpolation using autoregressive model and gauss-seidel optimization[C]. 6th IEEE International Conference on Image and Graphics (ICIG), Hefei, China, 2011: 66-69.

[15] Tomasi C and Manduchi R. Bilateral filtering for gray and color images[C]. Proceedings of the Sixth International Conference on Computer Vision (ICCV), Bombay, 1988: 839-846.

季成濤： 男，1988年生，碩士生，研究方向?yàn)閳D像處理、圖像超分辨率等.

何小海： 男，1964年生，教授，博士生導(dǎo)師，研究方向?yàn)閳D像處理、數(shù)字通信等.

符耀慶： 男，1962年生，高級工程師，研究方向?yàn)橛?jì)算機(jī)應(yīng)用技術(shù)及圖像處理.

梁子飛： 男，1989年生，博士生，研究方向?yàn)閳D像處理、圖像超分辨率等.

卿粼波： 男，1982年生，博士，講師，研究方向?yàn)閳D像處理、圖像通信.

An Edge Directed Interpolation Algorithm Based on Regularization

Ji Cheng-tao①He Xiao-hai①Fu Yao-qing②Liang Zi-fei①Q(mào)ing Lin-bo①

①(,,610065,)②(&,100027,)

The traditional methods based on linear regression model preserve the edge in some degree, but hardly work on the sharp edge. To solve this problem, an edge directed interpolation algorithm based on regularization is proposed in this paper, which is composed of the parameters estimation part and the data estimation part. In the first part, the high resolution structures which have been estimated are taken as one part of the training pixel to estimate the parameters of the linear regression model for effectively describing the structure. In the second part, the smooth pixel’s direction is applied as the regularization to reduce the error of estimated data aroused from the incorrect parameters. Experimented results show that the proposed method preserves the edge of image effectively, and both the visual effects and the PSNR are all better than bi-cubic and Regularized Local Linear Regression (RLLR).

Image processing; Interpolation; Regression model; Training pixel; Regularization

TN911.73

A

1009-5896(2014)02-0293-05

10.3724/SP.J.1146.2013.00582

何小海 hxh@scu.edu.cn

2013-04-25收到，2013-07-27改回

國家自然科學(xué)基金(61071161)，國家自然科學(xué)基金委員會和中國工程物理研究院聯(lián)合基金(11176018)資助課題