基于高頻增強(qiáng)曲線與迭代反射投影的遙感影像超分辨率重建

郭桐宇,宋偉東

(遼寧工程技術(shù)大學(xué) 測(cè)繪與地理科學(xué)學(xué)院，遼寧 阜新 123000)

基于高頻增強(qiáng)曲線與迭代反射投影的遙感影像超分辨率重建

郭桐宇,宋偉東

(遼寧工程技術(shù)大學(xué) 測(cè)繪與地理科學(xué)學(xué)院，遼寧 阜新 123000)

針對(duì)傳統(tǒng)迭代反射投影方法得到的重建影像，其邊緣部分存在鋸齒效應(yīng)和噪聲信息，從而無(wú)法達(dá)到提升影像清晰度不足的問(wèn)題。文中對(duì)初始重建影像，首先使用反銳化掩模方法提取其中的高頻分量，并對(duì)高頻信息進(jìn)行分類(lèi)，然后平滑掉其中的噪聲信息，應(yīng)用高頻增強(qiáng)曲線對(duì)高頻分量進(jìn)行提升，保持高頻分量的單調(diào)性。實(shí)驗(yàn)仿真結(jié)果表明，該方法可以消除噪聲，小的邊緣紋理細(xì)節(jié)得到增強(qiáng)，大輪廓沒(méi)有過(guò)增強(qiáng)，可有效提升重建影像的清晰度。

迭代反射投影；高頻增強(qiáng)；超分辨率重建；遙感影像

針對(duì)國(guó)產(chǎn)遙感衛(wèi)星影像，采用提升傳感器件的方法需要耗費(fèi)大量的開(kāi)支，為節(jié)約成本，通常用算法來(lái)提升遙感衛(wèi)星影像的空間分辨率。迭代反投影算法(Iterative Backprojection Projection,IBP) 是一種基于空間域的常見(jiàn)算法，最早由Irani[1]于1991年提出，對(duì)多幀序列彩色圖像和灰度圖像進(jìn)行超分辨率重建。但I(xiàn)BP方法由于投影核的各向同性，導(dǎo)致重建出來(lái)的圖像在強(qiáng)邊緣部分存在鋸齒效應(yīng)；針對(duì)這一現(xiàn)象，2007年戴盛陽(yáng)[2]提出對(duì)單張圖像使用雙邊濾波與迭代反投影方法相結(jié)合的方案，使用雙邊濾波器起到平滑圖像的效果，同時(shí)對(duì)圖像的邊界進(jìn)行保持，使得到的圖像更加清晰；魏生東[3]提出一種將非局部相似性與迭代反投影過(guò)程相結(jié)合的算法，在對(duì)圖像進(jìn)行重建的過(guò)程中，同時(shí)保持圖像的邊緣部分，但是當(dāng)這個(gè)算法應(yīng)用于具有大片陰影區(qū)域的范圍時(shí)效果不明顯，并且這個(gè)算法復(fù)雜度高。范亞瓊[4]提出自適應(yīng)閾值檢測(cè)與PCA數(shù)據(jù)降維相結(jié)合的方法來(lái)提升算法效率，但是其降質(zhì)模型存在問(wèn)題；郭偉偉[5]提出結(jié)合頻率域運(yùn)動(dòng)估計(jì)與迭代反投影相結(jié)合的方法，得到的結(jié)果更加清晰；干宗良[6]于2011年提出一種快速算法，對(duì)圖像的邊界使用Canny算子進(jìn)行邊緣提取，在保持圖像邊緣的同時(shí)，提升運(yùn)行效率。Jae-Seok[7]提出使用基于上下文相關(guān)的自相似性來(lái)產(chǎn)生更銳利的邊緣來(lái)達(dá)到更好的視覺(jué)效果。申世聞[8]提出將雙邊濾波應(yīng)用于單幀整幅圖像作為圖像的預(yù)處理過(guò)程來(lái)保持圖像的邊緣。徐志剛等提出一種基于L1/2范數(shù)正則約束的超分辨率重建算法，將L1/2范數(shù)替代L1范數(shù)構(gòu)建超分辨率模型[9]。黃煒欽[10]等提出一種空間自適應(yīng)正則化的圖像超分辨率重建算法，將自回歸模型引入超分辨率重建過(guò)程。

上述方法已經(jīng)實(shí)現(xiàn)了一定的進(jìn)展和突破，但上述方法存在時(shí)間復(fù)雜度高、計(jì)算代價(jià)大等缺點(diǎn)。本文對(duì)現(xiàn)有的超分辨率重建方法進(jìn)行分析和總結(jié)，提出基于高頻信息增強(qiáng)曲線與迭代反射投影相結(jié)合的超分辨率重建模型框架，使得重建結(jié)果可以提供更多有益的高頻細(xì)節(jié)信息，同時(shí)能夠達(dá)到兼顧遙感影像微觀與宏觀信息的目的。

1 相關(guān)理論

1.1 IBP算法模型

IBP算法應(yīng)用于單幅圖像進(jìn)行超分重建時(shí)，分為以下3個(gè)步驟[11]，其對(duì)應(yīng)的算法流程圖見(jiàn)圖1。

1)對(duì)現(xiàn)有的原始低分影像Il插值得到的模擬的高分辨率影像Ih見(jiàn)式(1)，經(jīng)過(guò)降質(zhì)模 型產(chǎn)生對(duì)應(yīng)的模擬低分辨率圖像見(jiàn)式(2)。

Ih=Il↑s，

(1)

Il=(Ih*g)↓s.

(2)

式中:Il為輸入的低分辨率圖像；Ih為使用雙三次插值模擬得到的高分辨率圖像；Il為對(duì)應(yīng)的模擬低分辨率圖像；*表示卷積運(yùn)算符，其中↓s表示下采樣運(yùn)算符，↑s對(duì)應(yīng)的 表示上采樣運(yùn)算符。

2)計(jì)算每次迭代中圖像的重構(gòu)誤差：

Er=Il-Il.

(3)

式中，Er為兩者之差即(誤差)。

3)將式(3)得到的誤差進(jìn)行上采樣插值最后反投影到重建的高分辨率圖像中，來(lái)得到最終的高分辨率圖像。

(4)

隨著教育模式的不斷改革，微課作為互聯(lián)網(wǎng)背景下的一種教學(xué)載體，已經(jīng)在教學(xué)中進(jìn)行了應(yīng)用。在農(nóng)村語(yǔ)文教學(xué)過(guò)程中，由于教學(xué)資源的不均衡，微課成為了很好的教學(xué)模式，并且深受教師和學(xué)生的喜愛(ài)。

圖1 傳統(tǒng)迭代反投影算法流程

1.2 高頻增強(qiáng)曲線

對(duì)圖像進(jìn)行分析，在空間域內(nèi)計(jì)算出圖像的高低頻分量，依據(jù)頻率的性質(zhì)和大小不同，設(shè)置相應(yīng)閾值，區(qū)分出圖像中的噪聲、細(xì)節(jié)和邊緣；對(duì)檢測(cè)出的噪聲點(diǎn)進(jìn)行去噪，并應(yīng)用高頻增量曲線對(duì)不同區(qū)域的高頻分量進(jìn)行自適應(yīng)增強(qiáng)。細(xì)節(jié)區(qū)域做微增強(qiáng)，小邊緣做較大增強(qiáng)，大邊緣區(qū)域不做增強(qiáng)，使得圖像的紋理細(xì)節(jié)更加豐富，使得增強(qiáng)后的高頻分量可以保持圖像的單調(diào)性[12]。

2 基于高頻增強(qiáng)曲線和IBP超分辨率重建算法

為改善迭代反射投影方法重建后得到的影像質(zhì)量，減小重建圖像的邊緣鋸齒效應(yīng)，使重建圖像更加清晰，本文提出在使用迭代反射投影方法得到的重建影像依據(jù)高頻增強(qiáng)曲線進(jìn)行自適應(yīng)高頻信息增強(qiáng)。其算法流程如圖2所示，具體步驟如下：

1)對(duì)使用迭代反射投影算法得到的初始高分辨率圖像使用反銳化掩模方法[13]分別提取圖像的高低頻分量，則

fH=f-fl.

(5)

式中：fl表示原圖像f經(jīng)過(guò)高斯濾波后得到低頻分量；fH表示原圖與fL差值運(yùn)算后得到的高頻分量。

2)對(duì)圖像信號(hào)的高頻分量進(jìn)行識(shí)別，分出噪聲、細(xì)節(jié)、小邊緣、大邊緣、并進(jìn)行如下增強(qiáng)處理。計(jì)算降噪動(dòng)態(tài)閾值T。

根據(jù)該點(diǎn)的高頻分量計(jì)算判斷該點(diǎn)是否屬于噪聲點(diǎn)。其表述為

T=ave×T0/128.

(6)

式中：T為降噪動(dòng)態(tài)閾值；ave為N×N模板內(nèi)各像素的亮度平均值的大??；T0為固定閾值。

(7)

圖2 算法流程

圖3 高頻信息增強(qiáng)曲線

本文方法的優(yōu)勢(shì)是依據(jù)所設(shè)定的高頻曲線的變化趨勢(shì)，對(duì)整幅圖像其中的N×N大小的模塊區(qū)域自適應(yīng)對(duì)其進(jìn)行不同程度的處理，對(duì)判定為噪聲區(qū)域的圖像進(jìn)行去噪，對(duì)細(xì)節(jié)小邊緣區(qū)域進(jìn)行增強(qiáng)，而對(duì)大邊緣區(qū)域，新的高頻區(qū)域不應(yīng)增強(qiáng)過(guò)大，防止畫(huà)面變化太大。

4)獲得增強(qiáng)信號(hào)。將依據(jù)高頻增強(qiáng)曲線增強(qiáng)后的高頻分量與低頻分量相加，即

(8)

式中：fout(i,j)為增強(qiáng)后的新圖像。

3 算法仿真實(shí)驗(yàn)結(jié)果

本文采用matlab語(yǔ)言設(shè)計(jì)本文算法，分別對(duì)遙感影像中的典型地物(見(jiàn)圖4)，256×256像素圖a,256×256像素圖c分別應(yīng)用雙三次插值算法[14]，NLIBP算法[15]以及本文算法進(jìn)行2倍超分辨率重建實(shí)驗(yàn)。并從重建圖像質(zhì)量，算法重建所用時(shí)間，以及重建的主觀質(zhì)量效果3個(gè)方面來(lái)評(píng)價(jià)本文算法的優(yōu)劣性。圖像重建質(zhì)量和算法重建所用時(shí)間分別見(jiàn)表1和表2。

圖4(a)、圖4(b)、圖4(c)及其降質(zhì)圖像及其對(duì)應(yīng)的不同算法重建得到的結(jié)果分別見(jiàn)圖5—圖7。同時(shí)本文采用峰值信噪比(PSNR)[16]這一客觀評(píng)價(jià)指標(biāo)作為本文的圖像質(zhì)量評(píng)價(jià)方法。

圖4 本文實(shí)驗(yàn)用圖

算法圖像雙三次插值NLIBP本文算法圖a320026323780333880圖b302849305860314060圖c352872356076367071

表2 3幅測(cè)試圖進(jìn)行超分重建所用時(shí)間對(duì)比圖 s

圖5 不同方法的超分辨率重建效果對(duì)比圖

圖6 不同方法的超分辨率重建效果圖

圖7 不同方法的超分辨率重建效果對(duì)比圖

從上述圖像中可以看到，圖4和圖6兩幅降質(zhì)圖像普遍存在鋸齒效應(yīng)，而經(jīng)過(guò)雙三次插值和迭代反射投影方法進(jìn)行處理后圖像的邊緣鋸齒效應(yīng)得以消除，但是其紋理細(xì)節(jié)提升程度十分有限，其對(duì)應(yīng)的紋理邊緣仍然存在不清晰的現(xiàn)象，而經(jīng)過(guò)本文算法處理后，本文圖像的紋理低細(xì)節(jié)區(qū)域做微增強(qiáng)，小邊緣區(qū)域做較大增強(qiáng)，強(qiáng)邊緣區(qū)域不做增強(qiáng)，增強(qiáng)了重建圖像的輪廓和細(xì)節(jié)，產(chǎn)生的高頻分量保持圖像的單調(diào)性。通過(guò)上述實(shí)驗(yàn)圖像和表格可以得到，本文算法能夠提升圖像的清晰度，增強(qiáng)圖像的紋理細(xì)節(jié)，并且算法的實(shí)現(xiàn)復(fù)雜度低，運(yùn)行速度快，對(duì)于單幀圖像能達(dá)到實(shí)時(shí)的處理效果具有實(shí)際應(yīng)用性。

4 結(jié)束語(yǔ)

本文提出一種基于高頻增強(qiáng)曲線和IBP的超分辨率重建算法，首先對(duì)圖像采用傳統(tǒng)的迭代反射投影算法進(jìn)行超分辨率重建。對(duì)重建得到的圖像進(jìn)行噪聲識(shí)別并平滑掉，然后對(duì)重建圖像的細(xì)節(jié)和小邊緣，應(yīng)用高頻增強(qiáng)曲線進(jìn)行自適應(yīng)的圖像增強(qiáng)，保持圖像高頻分量的單調(diào)性。本文實(shí)驗(yàn)表明，應(yīng)用本文算法得到的圖像處理結(jié)果，濾除圖像噪聲，加強(qiáng)圖像的細(xì)節(jié)，同時(shí)也避免強(qiáng)邊緣區(qū)域的過(guò)增強(qiáng)，提升圖像的清晰度。

[1] IRANI M,PELEG S.Improving resolution by image registration[J].Cvgip Graphical Models & Image Processing,1991,53(3):231-239.

[2] DAI S,HAN M,WU Y,et al.Bilateral Back-Projection for Single Image Super Resolution[C]//IEEE International Conference on Multimedia and Expo.IEEE Xplore,2007:1039-1042.

[3] DONG W,ZHANG L,SHI G,et al.Nonlocal back-projection for adaptive image enlargement[C]//International Conference on Image Processing,ICIP 2009,7-10 November 2009,Cairo,Egypt. DBLP,2009:349-352.

[4] 范亞瓊.利用非局部相似性的圖像超分辨率重建研究[D].南京：南京郵電大學(xué),2012.

[5] 郭偉偉,章品正.基于迭代反投影的超分辨率圖像重建[J].計(jì)算機(jī)科學(xué)與探索,2009,3(3):321-329.

[6] LIANG X,GAN Z.Improved Nonlocal Iterative Back-Projection Method for Image Super-Resolution[C]// Sixth International Conference on Image and Graphics.IEEE,2011:176-181.

[7] QIN Fengqing,LI Zhong,ZHU Lihong,et al.Research on the Influence of Initial Value Estimation on Image Super Resolution Reconstruction[C]//Proceedings of the 2nd International Conference on Information Science and Engineering.Washington D.C.,USA:IEEE Press,2010:1-4.

[8] 楊詞銀,尚海波,賈晨光,等.基于區(qū)域分割的自適應(yīng)反銳化掩模算法[J].光學(xué)工程,2003,11(2):188-192.

[9] 徐志剛,李文文,朱紅蕾,等.一種基于L_(1/2)正則約束的超分辨率重建算法[J].華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2017(6):38-42.

[10] 黃煒欽,黃德天,顧培婷,等.空間自適應(yīng)正則化的圖像超分重建算法[J].小型微型計(jì)算機(jī)系統(tǒng),2017(6):1398-1403.

[11] LI H,LAM K M.Guided iterative back-projection scheme for single-image super-resolution[C]// Global High Tech Congress on Electronics.IEEE,2013:175-180.

[12] 袁野,顧振宇.通過(guò)高頻增強(qiáng)曲線提高圖像清晰度的方法[J].電視技術(shù),2013,37(5):42-44.

[13] 高河偉,張麗,陳志強(qiáng),等.基于反銳化掩模的輻射圖像信息增強(qiáng)算法[J].核電子學(xué)與探測(cè)技術(shù),2005,25(5):481-483.

[14] 屈有山,田維堅(jiān),李英才,等.基于小波雙三次插值提高光學(xué)遙感圖像空間分辨率的研究[J].光子學(xué)報(bào),2004,33(5):601-604.

[15] DONG W,ZHANG L,SHI G,et al.Nonlocal back-projection for adaptive image enlargement[C]// IEEE International Conference on Image Processing.IEEE,2009:349-352.

[16] HORE A,ZIOU D.Image Quality Metrics: PSNR vs.SSIM[C]// International Conference on Pattern Recognition.IEEE,2010:2366-2369.

Superresolutionreconstructionofremotesensingimagebasedonhighfrequencyenhancementcurveanditerativebackprojection

GUO Tongyu，SONG Weidong

(School of Geomatics,Liaoning Technical University,Fuxin 123000,China)

For the reconstructed image obtained by the traditional iterative back projection method, the edges of the reconstructed image have sawtooth effect and noise information, so that the image resolution can not be improved. First, the unsharp masking method is used to extract high frequency components of the initial image reconstruction, classify the high frequency information, then smooth the noise information. The application of high frequency enhancement curve is used on the high frequency component upgrade to maintain the monotonicity of high frequency components. The simulation result shows that this method can eliminate the noise, small edge texture details are enhanced, and the large contour is not enhanced, which can effectively enhance the clarity of the reconstructed image.

iterative back projection;high frequency enhancement; super-resolution reconstruction；remote sensing image

著錄：郭桐宇,宋偉東.基于高頻增強(qiáng)曲線與迭代反射投影的遙感影像超分辨率重建[J].測(cè)繪工程，2018，27(1)：64-67，72.

10.19349/j.cnki.issn1006-7949.2018.01.013

2017-06-12

郭桐宇(1993-)，男，碩士研究生.

P237

A

1006-7949(2018)01-0064-04

王文福]