空間尺度信息的運(yùn)動(dòng)模糊核估計(jì)方法?

唐 述, 萬盛道, 楊書麗, 謝顯中, 夏 明, 張 旭

(計(jì)算機(jī)網(wǎng)絡(luò)和通信技術(shù)重慶市重點(diǎn)實(shí)驗(yàn)室(重慶郵電大學(xué)),重慶 400065)

由于成像系統(tǒng)的像差、散焦、大氣湍流、噪聲以及成像鏡頭與所拍攝場(chǎng)景的相對(duì)運(yùn)動(dòng)等眾多因素的影響,不可避免地會(huì)導(dǎo)致拍攝到的圖像出現(xiàn)模糊.近幾年,隨著相機(jī)的成像分辨率不斷提高以及焦距范圍的不斷擴(kuò)大,在引起圖像模糊的眾多因素中,由成像設(shè)備與被拍攝物體之間的相對(duì)運(yùn)動(dòng)所造成的圖像運(yùn)動(dòng)模糊已成為圖像模糊最主要的因素之一,因此,本文將主要針對(duì)場(chǎng)景靜止,由相機(jī)的平面內(nèi)平移所造成的單幅運(yùn)動(dòng)模糊圖像的盲復(fù)原方法進(jìn)行研究.在運(yùn)動(dòng)模糊圖像的盲復(fù)原研究中,能否準(zhǔn)確估計(jì)出引起圖像模糊的運(yùn)動(dòng)模糊核(motion blur kernel,簡(jiǎn)稱MBK)是能夠復(fù)原出原始清晰圖像的關(guān)鍵,而其中,圖像有利邊緣的準(zhǔn)確提取和正則化約束項(xiàng)的合理設(shè)計(jì),又是實(shí)現(xiàn)MBK準(zhǔn)確估計(jì)的關(guān)鍵.2008年,Shan等人在算法的初始階段先利用較強(qiáng)的正則化約束來選擇幅值較大的強(qiáng)邊緣來引導(dǎo)MBK的估計(jì),然后隨著迭代的進(jìn)行再逐漸減小正則化的強(qiáng)度從而復(fù)原出豐富的圖像細(xì)節(jié),同時(shí)在對(duì)MBK的約束方面則采用了空間域的L1范數(shù)稀疏性約束[1].2009年,Cho等人采用雙邊濾波器、shock濾波器和一種梯度閾值策略來提取圖像中幅值較大的強(qiáng)壯邊緣,然后僅利用提取的強(qiáng)壯邊緣對(duì)MBK進(jìn)行估計(jì),同時(shí),Cho等人僅利用了簡(jiǎn)單的L2范數(shù)來對(duì)MBK進(jìn)行稀疏性約束[2].2011年,Krishnan等人提出了一種L1/L2的正則化策略.該方法利用先前估計(jì)的潛在圖像梯度的L2范數(shù)作為當(dāng)前潛在圖像梯度的L1范數(shù)的權(quán)重,可以被認(rèn)為是一種歸一化的L1范數(shù)[3].2012年,Li等人對(duì)MBK進(jìn)行了全變差的正則化約束,并結(jié)合分裂的布雷格曼迭代,提出了一種擴(kuò)展的分裂布雷格曼迭代盲復(fù)原算法[4].2010年,Xu等人的研究發(fā)現(xiàn),與圖像邊緣的幅值相比,圖像邊緣的空間尺度更能決定MBK估計(jì)的準(zhǔn)確性[5]——只有當(dāng)圖像中邊緣的空間尺度大于MBK的尺度時(shí),這樣的邊緣才會(huì)有利于MBK的估計(jì)(圖像邊緣的空間尺度是指圖像中邊緣的寬度,而MBK的尺度是指MBK的支持域的大小).2013年,Xu等人提出了一族損失函數(shù)來選擇圖像中的有利邊緣,雖然這些損失函數(shù)能夠較好地近似稀疏性最強(qiáng)的L0范數(shù),但是在所選擇的有利邊緣中,絕大多數(shù)仍是由圖像邊緣的幅度值所決定的[6],并且該方法同樣也是僅利用了簡(jiǎn)單的L2范數(shù)來對(duì)MBK進(jìn)行稀疏性的約束.2013年,Pan等人將圖像邊緣的空間尺度信息結(jié)合到全變差的圖像去噪模型中,實(shí)現(xiàn)有利圖像邊緣的準(zhǔn)確提取,并提出了一種雙重正則化約束模型來同時(shí)對(duì)MBK的稀疏性和連續(xù)性進(jìn)行約束:空間域的超拉普拉斯分布約束MBK的稀疏性和梯度域的L0范數(shù)保證MBK的連續(xù)性[7].2016年,Pan等人根據(jù)圖像暗信道的稀疏性,提出了一種基于暗信道先驗(yàn)的模糊圖像盲復(fù)原方法[8].2015年,Ma等人提出了一種時(shí)間區(qū)域選擇策略來提取模糊視頻中每幅幀的有利圖像結(jié)構(gòu),能夠在有效去除視頻運(yùn)動(dòng)模糊的同時(shí)實(shí)現(xiàn)視頻的超分辨率重建[9].但是該方法仍然僅對(duì)MBK進(jìn)行了簡(jiǎn)單的L2范數(shù)約束.2015年,Perrone等人提出了一種基于最大邊緣分布的模糊圖像盲復(fù)原方法,該方法通過在所有可能的潛在圖像上進(jìn)行最大化邊緣分布來估計(jì)MBK[10].雖然該方法能夠估計(jì)出較為合理的MBK,但是其計(jì)算量太大.2016年,Zuo等人提出了一種逐迭代的p范數(shù)正則化方法,并結(jié)合一種數(shù)據(jù)驅(qū)動(dòng)策略來自適應(yīng)地選擇有利的圖像邊緣[11],該方法對(duì)于MBK則采用了超拉普拉斯分布來約束其稀疏性.2017年,Pan等人通過同時(shí)在圖像的空間域和梯度域進(jìn)行L0的稀疏性正則化約束來提取圖像中的有利邊緣,該方法同時(shí)也僅利用了簡(jiǎn)單的L2范數(shù)來對(duì)MBK進(jìn)行稀疏性約束[12].

綜上所述,現(xiàn)有方法存在的問題主要有:

· 一方面,在圖像有利邊緣的提取階段,現(xiàn)有的絕大多數(shù)方法都是基于圖像邊緣的幅度值而非圖像邊緣的空間尺度信息[1?4,6,11,12].雖然Xu等人[5]提出了一種基于空間尺度的邊緣提取策略,但是該方法對(duì)于用該策略計(jì)算出的邊緣地圖,僅采用了一種簡(jiǎn)單的閾值法(文獻(xiàn)[5]中的公式(2)和公式(3)),從中選擇出大尺度的有利邊緣(在本文中,將空間尺度大于MBK尺度的圖像邊緣稱為有利的圖像邊緣或者大尺度邊緣;反之,將空間尺度小于MBK尺度的圖像邊緣稱為有害的圖像邊緣或者小尺度邊緣),因而并不能實(shí)現(xiàn)有利邊緣的最優(yōu)提取.另外,雖然Pan等人[7]也提出了一種結(jié)合空間尺度信息和全變差圖像去噪模型的邊緣提取方法,但是該方法的空間尺度信息地圖僅是從觀察到的模糊圖像中計(jì)算得到的,而并沒有在后續(xù)的迭代中進(jìn)行更新(文獻(xiàn)[7]中的公式(4)),并且該方法還存在計(jì)算量大和耗時(shí)多的問題.由此可見,現(xiàn)有的方法并不能真正準(zhǔn)確地提取出圖像的有利邊緣.

· 另一方面,現(xiàn)有方法針對(duì)MBK正則化約束項(xiàng)的設(shè)計(jì)都過于簡(jiǎn)單,僅僅考慮了MBK的稀疏性[1?6,9,11,12],而忽略了MBK的連續(xù)性.雖然Pan等人[7]提出了一種雙重正則化約束模型來同時(shí)對(duì)MBK的稀疏性和連續(xù)性進(jìn)行約束,但是如前所述,該方法計(jì)算量太大,耗時(shí)太多.

由此可見,現(xiàn)有的方法并不能真正實(shí)現(xiàn)對(duì)MBK的準(zhǔn)確估計(jì),尤其是在嚴(yán)重運(yùn)動(dòng)模糊或者圖像中紋理細(xì)節(jié)較為復(fù)雜的情況中,進(jìn)而不能得到高質(zhì)量的復(fù)原圖像.

針對(duì)現(xiàn)有方法存在的兩方面缺陷,本文提出了一種基于空間尺度信息的運(yùn)動(dòng)模糊核估計(jì)方法:首先,為了準(zhǔn)確地提取有利的圖像邊緣,移除有害的圖像結(jié)構(gòu),本文提出了一種基于圖像空間尺度信息的圖像平滑模型,提出的模型能夠被有效的最優(yōu)化求解,從而能夠快速而準(zhǔn)確地提取出最優(yōu)的有利圖像邊緣;然后,從運(yùn)動(dòng)模糊退化函數(shù)的內(nèi)在特性出發(fā),提出了一種結(jié)合L0先驗(yàn)和L2先驗(yàn)的新的雙重正則化約束模型來對(duì)MBK的稀疏性和連續(xù)性進(jìn)行較好的約束,實(shí)現(xiàn)運(yùn)動(dòng)模糊核的準(zhǔn)確估計(jì),而且提出的雙重正則化約束模型同樣能夠被有效地最優(yōu)化求解.本文在客觀的評(píng)價(jià)指標(biāo)和主觀的視覺效果上進(jìn)行了大量實(shí)驗(yàn),結(jié)果證明了提出的方法能夠估計(jì)出更準(zhǔn)確的MBK和復(fù)原出更高質(zhì)量的去模糊圖像.

1 提出的模糊核估計(jì)方法

圖像的運(yùn)動(dòng)模糊可用如下的數(shù)學(xué)模型來表示:

其中,y為觀察到的模糊噪聲圖像;k為未知的線性退化函數(shù)(blur kernel,簡(jiǎn)稱BK);x為原始的清晰圖像;n為零均值,方差為σ2的加性高斯噪聲;*表示卷積運(yùn)算.本文提出的方法采用了模糊圖像盲復(fù)原領(lǐng)域常用的一種從粗到精的多尺度策略,并在每個(gè)尺度上都循環(huán)地執(zhí)行以下3個(gè)步驟.

1) 有利的圖像邊緣的提取(useful image edges extraction,簡(jiǎn)稱UIEE);

2) MBK的估計(jì)(motion blur kernel estimation,簡(jiǎn)稱MBKE);

3) 中間潛在圖像的復(fù)原(interim image restoration,簡(jiǎn)稱IIR).

本文提出方法的流程如圖1所示.

Fig.1 Overall process of our method圖1 本文提出方法的流程

Fig.1 Overall process of our method (Continued)圖1 本文提出方法的流程(續(xù))

由圖1可知,UIEE,MBKE和IIR是本文提出方法的關(guān)鍵.因此在接下來的章節(jié)中,本文將分別對(duì)UIEE,MBKE和IIR進(jìn)行詳細(xì)介紹.

1.1 有利的圖像邊緣的提取

如前所述,圖像邊緣的空間尺度更能決定MBK估計(jì)的準(zhǔn)確性[5],因此,本文提出了一種基于圖像空間尺度信息的圖像平滑模型以實(shí)現(xiàn)圖像有利邊緣的準(zhǔn)確提取:

其中,

·S表示結(jié)果圖像;

·I表示輸入圖像,初始輸入即為觀察到的模糊噪聲圖像;之后,隨著迭代的進(jìn)行,輸入則為中間的潛在復(fù)原圖像;

·?hS表示圖像S在水平方向上的一階梯度;

·?vS表示圖像S在垂直方向上的一階梯度;

·ε為一個(gè)很小的正數(shù),以防止分母等于0的情況產(chǎn)生;

·R(p)表示以像素點(diǎn)p為中心的局部矩形圖像塊.

從公式(2)的右邊(第2項(xiàng)和第3項(xiàng))可以得到:在圖像塊R(p)中,寬度小于R(p)寬度的圖像邊緣將會(huì)產(chǎn)生較大的Rh(Sp)值和Rv(Sp)值(因?yàn)樵赗h(Sp)和Rv(Sp)的分母中,寬度小于R(p)寬度的圖像邊緣會(huì)產(chǎn)生成對(duì)的正負(fù)梯度值,這些成對(duì)的正負(fù)梯度值會(huì)在Rh(Sp)和Rv(Sp)的分母中正負(fù)相消);反之,寬度大于R(p)寬度的圖像邊緣會(huì)得到較小的Rh(Sp)值和Rv(Sp)值.因此,最小化Rh(Sp)和Rv(Sp)即可將寬度大于R(p)寬度的圖像邊緣準(zhǔn)確地提取出來.由此可見,最小化Rh(Sp)和Rv(Sp)是一種基于圖像邊緣空間尺度的而非幅度值的圖像邊緣提取方法.于是我們得到:只要將圖像塊R(p)的寬度設(shè)置為等于或略大于MBK支持域的寬度,就能夠通過最小化公式(2)將圖像中的有利邊緣準(zhǔn)確地提取出來.公式(2)的第1項(xiàng)是為了保證輸出圖像和輸入圖像在內(nèi)容上不會(huì)有較大的偏差.關(guān)于該模型的最優(yōu)化求解,會(huì)在第2節(jié)詳細(xì)給出.

1.2 MBK的估計(jì)

除了圖像有利邊緣的準(zhǔn)確提取之外,正則化約束項(xiàng)的設(shè)計(jì)是影響MBK估計(jì)的另一個(gè)重要因素.Cai等人已經(jīng)證明[13],運(yùn)動(dòng)模糊退化函數(shù)具有兩種重要的特性:支持域的稀疏特性和連續(xù)特性.但是現(xiàn)有的方法針對(duì)MBK正則化約束項(xiàng)的設(shè)計(jì)幾乎都僅僅只考慮了MBK的稀疏特性[1?6,8,9,11,12],而忽略了MBK的連續(xù)特性.雖然Cai等人提出了一種雙重正則化約束模型來同時(shí)約束MBK的稀疏特性和連續(xù)特性,但是對(duì)于連續(xù)特性的約束,Cai等人卻是對(duì)MBK進(jìn)行像素值強(qiáng)度的高斯分布約束,即.然而,這類約束仿佛卻更加偏向于稀疏的特性[2,5,6,12].雖然Pan等人也提出了一種雙重正則化約束模型來同時(shí)對(duì)MBK的稀疏性和連續(xù)性進(jìn)行約束,但是如前所述,該方法耗時(shí)太多[7].

通過對(duì)現(xiàn)有正則化約束項(xiàng)的分析,我們發(fā)現(xiàn):直接對(duì)MBK的像素值強(qiáng)度進(jìn)行稀疏特性的約束較為有效,例如,其中,0<α<1,;而對(duì)于連續(xù)特性的約束,在梯度域進(jìn)行則比較有效,例如.即使L0范數(shù)是最稀疏的表示,但仍能夠在梯度域中保證MBK的連續(xù)性[7].基于以上的分析,本文提出一種結(jié)合L0先驗(yàn)和高斯先驗(yàn)的新的雙重正則化約束模型,對(duì)MBK的稀疏性和連續(xù)性進(jìn)行較好的約束.

其中,γkc和γks分別表示連續(xù)性正則化參數(shù)和稀疏性正則化參數(shù).由公式(3)可知:提出的模型將最稀疏的L0范數(shù)直接運(yùn)用到MBK的像素值強(qiáng)度上,同時(shí)將具有平滑漸變特性的高斯先驗(yàn)運(yùn)用到MBK的梯度域.因此,提出的模型能夠很好地同時(shí)保證MBK的稀疏性和連續(xù)性.同樣,在第2節(jié)會(huì)詳細(xì)給出對(duì)該模型的最優(yōu)化求解.

1.3 中間潛在圖像的復(fù)原

在IIR階段,本文采用了Krishnan等人提出的超拉普拉斯先驗(yàn)[14]來對(duì)中間的潛在圖像進(jìn)行復(fù)原:

其中,γI為正則化參數(shù).本文直接采用了文獻(xiàn)[14]中的方法來對(duì)公式(4)進(jìn)行最優(yōu)化求解.

2 對(duì)提出模型的最優(yōu)化求解

2.1 基于空間尺度信息的圖像平滑模型的求解

我們將分子中的|(?hS)q|提取出來,并重新排列像素,得到:

其中,εs為一個(gè)很小的正數(shù),防止分母等于0.接下來,令

2.2 雙重正則化約束模型的求解

由公式(3)可知,提出的雙重正則化約束模型引入了一種離散的計(jì)數(shù)測(cè)量,即||k||0=#{p||kp|≠0},因此,我們采用了一種與文獻(xiàn)[16]相類似的半二次性分裂的交互式最優(yōu)化策略對(duì)提出的模型(公式(3))進(jìn)行最優(yōu)化求解.首先引入一個(gè)輔助變量bk,并引入一個(gè)額外的約束:bk=k,那么公式(3)被轉(zhuǎn)換為

其中,βk為懲罰參數(shù).接下來,我們將交互式地迭代求解k和bk.

· 固定bk,那么k可通過求解下式得到:

公式(13)對(duì)于k是二次性的,因此可在頻率域求其閉合式解:

其中,F(?)和F?1(?)分別表示快速的傅里葉變換和快速的傅里葉逆變換,表示F(?)的復(fù)共軛,?表示逐元素相乘操作.

· 固定k,那么bk可以通過求解下式得到:

公式(15)是一種逐元素的最小化問題,因此bk由下式可得:

同時(shí),還在每次迭代中對(duì)MBK進(jìn)行了歸一化和非負(fù)的約束:

其中,D表示模糊核支持域的大小,kmax表示k中最大的元素.

本論文的方法將最低尺度的模糊噪聲圖像ycoarsest作為算法的初始輸入值;同時(shí),bk的初始值設(shè)為0.最終,一旦MBK被最終估計(jì)得到,我們就采用文獻(xiàn)[14]中提出的基于超拉普拉斯先驗(yàn)的非盲復(fù)原方法來得到最終的清晰復(fù)原圖像.

3 實(shí)驗(yàn)及分析

本文在客觀的評(píng)價(jià)指標(biāo)和主觀的視覺效果上進(jìn)行了大量的比較實(shí)驗(yàn)(分別與文獻(xiàn)[2]、文獻(xiàn)[3]、文獻(xiàn)[5?7]和文獻(xiàn)[11]的方法進(jìn)行了比較)來驗(yàn)證提出方法的優(yōu)越性.在客觀的評(píng)價(jià)指標(biāo)方面,本文分別采用了峰值信噪比(peak signal-to-noise ratio,簡(jiǎn)稱PSNR)[6]和逆卷積錯(cuò)誤比率(ratio between deconvolution error,簡(jiǎn)稱RBDE)[6]來衡量所有盲復(fù)原方法的性能.實(shí)驗(yàn)所用的計(jì)算機(jī)具有8G內(nèi)存和2.3GHz的雙核Intel處理器.所有圖像的像素值都被歸一化到0～1之間.由公式(4)、公式(7)和公式(12)可知,提出的方法一共涉及到6個(gè)參數(shù):εs,εs,γkc,γks,βk和γI.對(duì)于參數(shù)γkc和γks而言,參數(shù)γkc決定了MBK的連續(xù)平滑擴(kuò)散的程度,而參數(shù)γks決定了MBK的稀疏程度,因此,γkc和γks共同決定了MBK估計(jì)的準(zhǔn)確性.因?yàn)槟：龍D像中含有MBK的信息,因此在本文中,我們將γkc和γks的設(shè)置直接與模糊圖像聯(lián)系起來.經(jīng)過反復(fù)實(shí)驗(yàn),我們得到:在本文的所有實(shí)驗(yàn)中,γkc和γks分別被設(shè)置為參數(shù)βk控制著輔助變量bk與k之間的相似程度.在這里,本文采用了文獻(xiàn)[16]中的方法來對(duì)參數(shù)βk進(jìn)行設(shè)置:在算法的初始階段,對(duì)參數(shù)βk設(shè)定一個(gè)較小的初始值;然后,在每次迭代之后對(duì)βk的值加倍,直到達(dá)到βk的最大值為止.參數(shù)βk的初始值為βk_ini=2γks,最大值為βk_max=105.ε和εs分別被設(shè)置為0.001和0.02.參數(shù)γI則遵循文獻(xiàn)[14]的方法進(jìn)行設(shè)置.為了實(shí)驗(yàn)的公平性,在MBK的估計(jì)階段,實(shí)驗(yàn)中所有方法的實(shí)驗(yàn)結(jié)果都經(jīng)過了大量實(shí)驗(yàn),通過對(duì)每種方法中參數(shù)的反復(fù)調(diào)試而得到的最佳實(shí)驗(yàn)結(jié)果;而在最終的清晰圖像復(fù)原階段,所有方法均統(tǒng)一采用文獻(xiàn)[14]的非盲復(fù)原方法來得到最終的清晰復(fù)原圖像.

3.1 人造運(yùn)動(dòng)模糊圖像的實(shí)驗(yàn)

在人造運(yùn)動(dòng)模糊圖像的實(shí)驗(yàn)中,本文采用了文獻(xiàn)[6]所使用的測(cè)試圖像數(shù)據(jù)集和文獻(xiàn)[17]的測(cè)試數(shù)據(jù)集.其中,文獻(xiàn)[6]所使用的數(shù)據(jù)集為4幅255×255大小的灰度級(jí)清晰測(cè)試圖像(如圖2所示).而文獻(xiàn)[17]的數(shù)據(jù)集為80幅大小不一的灰度級(jí)清晰測(cè)試圖像.它們均采用了圖3所示的8種不同的MBK來代表8種不同的運(yùn)動(dòng)模糊,共產(chǎn)生出了672幅人造的運(yùn)動(dòng)模糊圖像.同時(shí),本文在文獻(xiàn)[6]的32幅運(yùn)動(dòng)模糊圖像上還加入了均值為0、標(biāo)準(zhǔn)差為0.001的加性高斯噪聲,而在文獻(xiàn)[17]的640幅運(yùn)動(dòng)模糊圖像上則加入了均值為0、標(biāo)準(zhǔn)差為0.01的加性高斯噪聲.為了驗(yàn)證提出方法的優(yōu)越性,將提出的方法與Cho等人的方法[2]、Krishnan等人的方法[3]、Xu等人的方法[5,6]以及Pan等人的方法[7,11]進(jìn)行了比較.

Fig.2 Four grayscale test images of Ref.[6]圖2 文獻(xiàn)[6]所采用的4幅灰度級(jí)標(biāo)準(zhǔn)測(cè)試圖像

Fig.3 Eight different MBKs圖3 8種不同的運(yùn)動(dòng)模糊核

本文對(duì)所有的672幅人造模糊圖像進(jìn)行了比較實(shí)驗(yàn),但是因?yàn)槠邢?在主觀視覺效果的比較上,本節(jié)僅給出了Face圖像在MBK4(最大的MBK)上的實(shí)驗(yàn)結(jié)果,如圖4所示.

如圖4所示,因?yàn)槲墨I(xiàn)[2,6]中的方法是基于梯度的幅值來選擇有利的圖像邊緣,同時(shí),它們又只考慮了MBK的稀疏特性,因此,估計(jì)的MBK存在一定程度的噪聲瑕疵,尤其是對(duì)于含有較多高對(duì)比度細(xì)邊緣的Face圖像.因此,文獻(xiàn)[2,6]的方法所復(fù)原出的圖像存在較多的ringing瑕疵(如圖4(c)和圖4(f)所示).基于L1/L2范數(shù)的盲去模糊方法所估計(jì)的MBK存在較為嚴(yán)重的間斷,其復(fù)原圖像存在較為嚴(yán)重的振鈴瑕疵(圖4(d)).雖然文獻(xiàn)[5]中的方法是基于空間尺度的大小來測(cè)量圖像中的有利邊緣,但是所采用的硬閾值法并不能準(zhǔn)確地提取出圖像中所有的有利邊緣,而且文獻(xiàn)[5]也只考慮了MBK的稀疏特性,因此,文獻(xiàn)[5]中方法所估計(jì)得到的MBK同樣存在一定程度的噪聲瑕疵和拖尾瑕疵,導(dǎo)致最終獲得的復(fù)原圖像不可避免地也存在一定程度的ringing瑕疵(如圖4(e)所示).雖然文獻(xiàn)[7]中的方法也是基于空間尺度來提取圖像中的有利邊緣,但是該方法仍然不能估計(jì)出準(zhǔn)確的MBK:對(duì)于含有較多高對(duì)比度細(xì)邊緣的Face圖像,用該方法估計(jì)出的MBK趨向于delta函數(shù),導(dǎo)致得到的復(fù)原圖像沒有任何的去模糊效果(如圖4(g)所示).文獻(xiàn)[12]中的方法也是一種基于圖像梯度幅值的邊緣選擇策略,因此該方法所估計(jì)的MBK與文獻(xiàn)[6]中方法估計(jì)的MBK相似,失真較為嚴(yán)重,因此其最終復(fù)原出的圖像也不可避免地存在較多的ringing瑕疵(如圖4(h)所示).相比之下,本文提出的方法因?yàn)閷?shí)現(xiàn)了圖像中大尺度有利邊緣的最優(yōu)化求解,同時(shí)利用L0先驗(yàn)和高斯先驗(yàn)很好地約束了MBK的稀疏特性和連續(xù)特性,因此本文提出的方法能夠在很好地保證MBK稀疏性和連續(xù)性的同時(shí)有效地去除噪聲和拖尾等瑕疵,估計(jì)出最準(zhǔn)確的MBK,進(jìn)而能夠獲得最高質(zhì)量的復(fù)原圖像(如圖4(i)所示).

Fig.4 Recovered results and estimated MBKs of all methods with test image Face and MBK4圖4 所有方法在Face圖像和MBK4實(shí)驗(yàn)中的復(fù)原圖像結(jié)果以及估計(jì)的運(yùn)動(dòng)模糊核

在客觀的評(píng)價(jià)指標(biāo)方面,本文分別采用了PSNR和RBDE來比較實(shí)驗(yàn)中所有盲復(fù)原方法的性能.圖5表示所有方法在所有672幅人造運(yùn)動(dòng)模糊圖像上的RBDE值.表1則表示在所有的672幅人造運(yùn)動(dòng)模糊圖像中,每種方法在每個(gè)MBK上所得到的平均PSNR值.

圖5中,橫坐標(biāo)上的數(shù)字2表示在所有的32幅人造模糊圖像的實(shí)驗(yàn)中,滿足RBDE<2的所有復(fù)原圖像所占的百分比.已經(jīng)證明:只有當(dāng)RBDE<2時(shí),得到的復(fù)原圖像的質(zhì)量才是可以接受的[6,7,17].如圖5所示:本文提出的方法在RBDE<2的情況下達(dá)到了最高的70.7%,明顯優(yōu)于其余的6種盲復(fù)原方法.表1列出了在所有的672幅人造運(yùn)動(dòng)模糊圖像中,每種方法在每個(gè)MBK上所得到的平均PSNR值.由表1可以明顯地看到:在絕大多數(shù)情況下,本文所提出的方法能夠獲得最高的平均PSNR值(在所有的672幅人造模糊圖像的盲復(fù)原實(shí)驗(yàn)中,6種MBK所獲得的平均PSNR值達(dá)到了最高),明顯優(yōu)于其余6種盲復(fù)原方法.圖5和表1從客觀的評(píng)價(jià)指標(biāo)方面證明了本文提出方法的有效性.

Fig.5 Percentages of the RBDEs of all the methods on all the 672 synthetic blurred images圖5 所有方法在所有672幅人造模糊圖像上的RBDE統(tǒng)計(jì)百分比

Table 1 Average PSNR (dB) values of each method for each MBK on all the 672 synthetic blurred images表1 在所有的672幅人造運(yùn)動(dòng)模糊圖像中,每種方法在每個(gè)MBK上所得到的平均PSNR值

3.2 真實(shí)運(yùn)動(dòng)模糊圖像的實(shí)驗(yàn)

除了人造的模糊圖像之外,在本節(jié)中還將提出的方法運(yùn)用到真實(shí)運(yùn)動(dòng)模糊圖像的盲復(fù)原中.圖6(a)為一幅大小為247×265的真實(shí)模糊圖像(“structure”),MBK的大小為45×45個(gè)像素.該幅模糊圖像包含有復(fù)雜的結(jié)構(gòu)和豐富的小尺度邊緣,具有一定的挑戰(zhàn)性.

如圖6所示,因?yàn)閮H考慮了MBK的稀疏性,文獻(xiàn)[2,5,6]中方法所估計(jì)的MBKs都含有或多或少的噪聲瑕疵,其最后的復(fù)原圖像具有顯而易見的陰影瑕疵(如圖6(b)、圖6(d)和圖6(e)所示).文獻(xiàn)[3]無法估計(jì)出一個(gè)合理的MBK,導(dǎo)致最后的復(fù)原圖像出現(xiàn)嚴(yán)重的失真(如圖6(c)所示).文獻(xiàn)[12]中方法估計(jì)出的MBK含有較為明顯的噪聲瑕疵,其最后的復(fù)原圖像也存在于有顯而易見的陰影瑕疵(如圖6(g)所示).雖然文獻(xiàn)[7]的方法能夠估計(jì)出一個(gè)較好的MBK,但其最后的復(fù)原圖像中仍含有一定程度的陰影效應(yīng)(如圖6(f)所示).相比之下,本文提出的方法在MBK的估計(jì)和最終圖像的復(fù)原上都明顯優(yōu)于其余的6種方法.在MBK的估計(jì)中,本文的方法能夠有效去除噪聲等瑕疵,很好地保證MBK的稀疏性和連續(xù)性,因此能夠復(fù)原出更加銳化的邊緣和更多的細(xì)節(jié),同時(shí)有效抑止陰影等瑕疵(如圖6(h)所示).

Fig.6 Restoration results,estimated MBKs and the zoomed in regions of the real motion blurred image with complex structures and rich thin edges圖6 含有復(fù)雜結(jié)構(gòu)和豐富小尺度邊緣的真實(shí)運(yùn)動(dòng)模糊圖像盲復(fù)原結(jié)果,估計(jì)的MBK和局部放大圖

圖7(a)和圖8(a)所示為兩幅真實(shí)的嚴(yán)重運(yùn)動(dòng)模糊圖像.圖7(a)為一幅大小為728×470的真實(shí)運(yùn)動(dòng)模糊圖像(“postcard”),其MBK的支持域?yàn)?5×91個(gè)像素.圖8(a)為一幅大小為685×561的真實(shí)運(yùn)動(dòng)模糊圖像(“toy”),其MBK的支持域?yàn)?5×95個(gè)像素.復(fù)原圖像則呈現(xiàn)出令人不太舒服的過度銳化瑕疵(如圖7(f)所示);相比之下,本文提出的方法能夠在有效去除MBK噪聲的同時(shí),很好地保證其連續(xù)性,獲得最準(zhǔn)確的MBK,得到最高質(zhì)量的復(fù)原圖像(如圖7(g)所示).

Fig.7 Restoration results,estimated MBKs and the zoomed in regions of the real large motion blurred image圖7 嚴(yán)重的真實(shí)運(yùn)動(dòng)模糊圖像盲復(fù)原結(jié)果,估計(jì)的MBK和局部放大圖

Fig.8 Restoration results,estimated MBKs and the zoomed in regions of the real large motion blurred image圖8 嚴(yán)重的真實(shí)運(yùn)動(dòng)模糊圖像盲復(fù)原結(jié)果,估計(jì)的MBK和局部放大圖

如圖8所示,文獻(xiàn)[2,5,6]中方法所估計(jì)的MBKs都含有噪聲和斷裂等瑕疵,其最終的復(fù)原圖像也存在明顯的ringing瑕疵(如圖8(b)、圖8(d)和圖8(e)所示).文獻(xiàn)[3]仍然無法估計(jì)出一個(gè)合理的MBK,導(dǎo)致最后的復(fù)原圖像出現(xiàn)嚴(yán)重的振動(dòng)(如圖8(c)所示).雖然文獻(xiàn)[7,12]的方法分別能夠估計(jì)出較好的MBK,但是其最后得到的復(fù)原圖像中仍含有一定程度的ringing瑕疵(如圖8(f)和圖8(g)所示).相比之下,本文提出的方法不僅能夠估計(jì)出準(zhǔn)確合理的MBK,而且能夠明顯抑制復(fù)原圖像中的ringing瑕疵(如圖8(h)所示);并且從局部放大圖中可見,本文提出方法所復(fù)原出的邊緣和細(xì)節(jié)也更加的清晰.

圖6～圖8從主觀的視覺效果上證明了本文提出方法的優(yōu)越性.接下來,我們將采用一種無參考的圖像質(zhì)量評(píng)價(jià)方法[18],從客觀的評(píng)價(jià)指標(biāo)方面進(jìn)一步驗(yàn)證本文提出方法在真實(shí)運(yùn)動(dòng)模糊圖像上的性能.表2為所有方法在真實(shí)運(yùn)動(dòng)模糊圖像上采用文獻(xiàn)[18]所得到的客觀評(píng)價(jià)值,其中,數(shù)字越高,說明圖像質(zhì)量越好.

Table 2 Objective metric values of the methods[2,3,5?7,12] and the proposed methods for real motion blurred images Fig.6～Fig.8 by using Ref.[18]表2 文獻(xiàn)[2,3,5?7,12]和本文提出方法在真實(shí)運(yùn)動(dòng)模糊圖像上采用文獻(xiàn)[18]方法所得到的客觀評(píng)價(jià)值

由表2可知,本論文提出方法在真實(shí)的運(yùn)動(dòng)模糊圖像(如圖6和圖8所示)中均能獲得最高的客觀測(cè)量值;在圖7中則略低于文獻(xiàn)[12]的方法.結(jié)合復(fù)原圖像圖7(f)和圖7(g)可知,這或許是因?yàn)楸疚奶岢龇椒ㄋ玫降膹?fù)原圖像的對(duì)比度較文獻(xiàn)[12]方法的復(fù)原圖像的對(duì)比度較低所致.

除了主觀和客觀的比較之外,表3為文獻(xiàn)[3,5?7,12]和本文提出方法在真實(shí)運(yùn)動(dòng)模糊圖像的實(shí)驗(yàn)中估計(jì)MBK的時(shí)長(zhǎng).

Table 3 Processing times of MBK estimation of the methods[3,5?7,12] and the proposed methods for Fig.6～Fig.8表3 文獻(xiàn)[3,5?7,12]和本文提出方法在圖6～圖8的實(shí)驗(yàn)中估計(jì)MBK的運(yùn)行時(shí)間

由圖6～圖8、表2和表3可知,雖然本文提出方法估計(jì)MBK所需的時(shí)間略高于文獻(xiàn)[5]中的方法,但是估計(jì)和復(fù)原的效果都有較大地提升.而相比其余的4種方法(文獻(xiàn)[3,6,7,12]),本文提出的方法無論是在運(yùn)行時(shí)間上還是在估計(jì)和復(fù)原的效果上都優(yōu)于這4種方法,尤其是相比于文獻(xiàn)[7]中的方法,運(yùn)行時(shí)間呈數(shù)量級(jí)的減少.

3.3 散焦模糊圖像的實(shí)驗(yàn)

為了驗(yàn)證本文提出方法的普適性,在本節(jié)中,將提出的方法運(yùn)用到散焦模糊圖像的盲復(fù)原中.在本次實(shí)驗(yàn)中,我們僅利用了人造的散焦模糊圖像來驗(yàn)證本文方法的有效性,并且利用高斯核來模擬散焦的情況.實(shí)驗(yàn)采用了9×9個(gè)像素點(diǎn)大小,標(biāo)準(zhǔn)差為3個(gè)像素點(diǎn)的高斯模糊核和Kids圖像(如圖2(a)所示),結(jié)果如圖9所示.

如圖9所示,在散焦模糊的情況下,本文提出的方法并不能估計(jì)出準(zhǔn)確的模糊核,也并不能復(fù)原出清晰銳化的圖像邊緣和細(xì)節(jié).這有可能是因?yàn)閷?duì)于散焦模糊而言,大部分的圖像高頻成分信息已經(jīng)在模糊的過程中丟失了,而公式(2)只是對(duì)給定圖像中大尺度邊緣的提取,因此對(duì)于信息已經(jīng)丟失了的散焦模糊圖像,其提取出的也只能是不完整或錯(cuò)誤的邊緣信息,因此不能實(shí)現(xiàn)模糊核的準(zhǔn)確估計(jì),進(jìn)而也就不能復(fù)原出高質(zhì)量的清晰銳化圖像.

Fig.9 Restoration experiment of defocus blurred image圖9 散焦模糊圖像的復(fù)原實(shí)驗(yàn)

4 結(jié) 論

本文提出了一種基于空間尺度信息的運(yùn)動(dòng)模糊核估計(jì)方法.首先建立一種基于圖像空間尺度信息的圖像平滑模型,并通過對(duì)約束項(xiàng)進(jìn)行分解,實(shí)現(xiàn)了對(duì)圖像有利邊緣的最優(yōu)化求解;其次,提出了一種結(jié)合空間L0先驗(yàn)和梯度L2先驗(yàn)的新的正則化約束模型來對(duì)MBK的稀疏性和連續(xù)性進(jìn)行較好的約束,實(shí)現(xiàn)了MBK的準(zhǔn)確估計(jì).本文的方法在客觀的評(píng)價(jià)指標(biāo)和主觀的視覺效果上進(jìn)行了大量實(shí)驗(yàn),結(jié)果證明了所提出方法的優(yōu)越性.

但是,提出的方法還存在一定的局限性,例如含有飽和像素區(qū)域的模糊圖像或者空間變化的運(yùn)動(dòng)模糊圖像等,本方法就會(huì)失效,因?yàn)樗鼈兊哪：砭`反了公式(1)中的均勻卷積操作.另一方面,本文提出的方法對(duì)于散焦模糊的圖像也不能得到令人滿意的復(fù)原結(jié)果.因此,將提出方法的思想運(yùn)用到處理飽和像素區(qū)域和空間變化的模糊以及散焦模糊圖像的復(fù)原,是我們接下來研究工作的重點(diǎn).

致謝感謝Sunghyun Cho、Seungyong Lee、Li Xu、Jiaya Jia和Jinshan Pan等人提供了他們的方法的程序代碼.