顯著邊緣直接引導的動態(tài)模糊圖像盲復原方法

付　強，孫秀霞，劉樹光，徐　嵩，彭　軻

(1. 空軍工程大學 航空航天工程學院，陜西 西安 710038； 2. 95910部隊，甘肅 酒泉 735018)

?

顯著邊緣直接引導的動態(tài)模糊圖像盲復原方法

付強1，孫秀霞1，劉樹光1，徐嵩2，彭軻1

(1. 空軍工程大學 航空航天工程學院，陜西 西安 710038； 2. 95910部隊，甘肅 酒泉 735018)

摘要：針對主動視覺中運動載體和云臺抖動導致圖像模糊的問題，提出一種顯著邊緣直接引導的動態(tài)模糊圖像盲復原方法。為了克服經(jīng)典Canny算子只能對邊緣進行標注的缺陷，設計了圖像邊緣搜索-增強算法，并基于此提出了僅依據(jù)圖像中顯著邊緣鄰域完成點擴散函數(shù)優(yōu)化估計的方法；為解決傳統(tǒng)殘差圖像方法不能適應預測圖像錯位的問題，提出圖像解模糊的遞歸殘差修正算法來抑制復原圖像波動；設計了圖像復原的分層迭代處理流程，保證模糊圖像復原的可靠性和精度。理想光照條件下的仿真表明，算法能準確恢復模糊圖像的邊緣，同時抑制復原圖像中的波動。非理想光照條件下的仿真也驗證了算法對環(huán)境有良好的適應性,具有較高的實際應用價值。

關鍵詞：盲復原；顯著邊緣；點擴散函數(shù)(PSF)；遞歸殘差；分層迭代

0引言

圖像動態(tài)模糊的生成模型即點擴散函數(shù)(point spread function，PSF)不同于攝像機失焦模糊，無法依據(jù)攝像機固有光學特性直接構建。PSF與曝光周期內(nèi)的運動直接相關，且該運動難以被直接測量，即使通過與攝像機固連的慣性測量單元(inertial measurement unit，IMU)也難以被準確測量，并且在時間上也難以與攝像機的曝光周期同步。

目前在國內(nèi)外針對模糊圖像處理的研究文獻中，其算法大多依賴PSF，需要較大的計算量，耗費大量時間，并且當主動視覺工作在高動態(tài)環(huán)境下時對圖像處理的實時性要求更高。文獻[1-2]提出了由多幅圖像去模糊模型，而僅對單幅圖像的處理顯然更困難。經(jīng)典的圖像復原算法有逆濾波、維納濾波以及基于貝葉斯分析圖像的復原算法等，比如利用維納濾波復原圖像，該方法的關鍵是已知成像系統(tǒng)的傳遞函數(shù)和噪聲的統(tǒng)計特性，以一種并非最適合人眼的方式對圖像進行了平滑[3]；基于貝葉斯理論的迭代復原算法復原效果好，但耗時長[4]；Lucy-Richardson(LR)算法作為圖像復原的經(jīng)典算法之一，在進行圖像復原時，對退化過程的先驗知識要求較少且復原效果比較好[5]。但是通常情況下，我們并不關心整幅圖像的清晰程度，而是所需信息是否滿足后續(xù)處理的需求。針對這種情況，我們只需恢復出所需要利用的有效信息，并不是把模糊圖像完全恢復清晰，這樣一方面大大減少計算量，一方面增強算法適用的針對性。

在視覺量測中，所獲得圖像往往具備包含顯著邊緣這一特點，因此，該方法可抑制動態(tài)模糊對視覺量測的影響，同時也可僅針對視覺測量感興趣的顯著邊緣進行圖像復原，從而進一步提高算法效率。本文根據(jù)動態(tài)模糊對圖像中顯著邊緣的影響在整個圖像中占據(jù)主導地位這一特性，提出了一種顯著邊緣直接引導的動態(tài)模糊圖像盲復原方法。方法由3部分組成：①PSF估計算法的設計；②圖像解模糊遞歸殘差修正算法的設計；③圖像復原的分層迭代處理流程的設計。該方法針對圖像顯著邊緣及其鄰域進行PSF估計和圖像解模糊處理，縮小了用于PSF估計的圖像范圍，提高了估計效率。分層迭代的圖像復原算法不但能抑制復原圖像中的波動，而且能實現(xiàn)與原清晰圖像在圖像位置上的精確匹配。

1圖像的動態(tài)模糊模型

為了更好地分析動態(tài)模糊圖像的成因，首先對其模型進行建立。一般地，二維圖像的動態(tài)模糊模型可寫成[6]

gb(u,v)=

(1)

(1)式中：u∈[ulb,uub]，v∈[vlb,vub]，其中，[ulb,uub],[vlb,vub]表示二維模糊圖像的邊界；gc和gb分別表示二維的清晰和模糊圖像；h表示二維PSF函數(shù)；符號“?”表示卷積；符號“=:”表示定義為。

二維圖像的離散動態(tài)模糊模型為

(2)

(2)式中：u∈[1,nh]∩N；v∈[1,nw]∩N；ru∈N；rv∈N；H(·)為PSF函數(shù)；Gc(·)為清晰圖像。由于卷積區(qū)間有限，由二維連續(xù)傅里葉變換和離散快速傅里葉變換(fast fourier transformation，F(xiàn)FT)可知，存在高頻信息丟失的問題。因此，即使預知PSF也無法對模糊圖像進行完全復原。當h或H未知時(即盲解模糊)，問題的求解更加困難。因此,對于盲解模糊，須根據(jù)實際需求有針對性地設計算法。

本文構建針對Gb子區(qū)域ΨGb,Sub(Gb,Sub尺寸為nb,Sub×1)的變換以適應本節(jié)解模糊算法的設計，ΨGb,Sub的像素數(shù)為nb,Sub，并構建一個像素位置對應表LPS(尺寸為2×nb,Sub)。

(3)

2動態(tài)模糊圖像盲復原方法設計

首先，根據(jù)顯著邊緣的動態(tài)模糊特性，設計顯著邊緣的搜索與增強算法，再由增強后的邊緣和與邊緣鄰域相對應的模糊圖像在全圖一致性的動態(tài)模糊假設下求解PSF，在提高運算效率的同時削弱了邊緣模糊鄰域外的圖像對估計的影響。其次，提出了圖像解模糊的遞歸殘差修正算法，在預測圖像和點擴散函數(shù)均無法準確已知的情況下，能有效抑制顯著邊緣所引起的復原圖像中的波動。最后，設計圖像復原的分層迭代處理流程保證了模糊圖像復原的可靠性和精度。

2.1利用顯著邊緣增強的點擴散函數(shù)估計方法

一般地，根據(jù)清晰邊界才能完成視覺量測，階躍式邊緣是被視覺量測所利用的顯著特征。在圖像復原中，若要有效利用模糊圖像的顯著邊緣，則須解決以下幾個問題：①搜索顯著邊緣；②增強顯著邊緣；③估計PSF(H)。

2.1.1顯著邊緣的搜索與篩選

圖像顯著邊緣的搜索是本文實現(xiàn)圖像復原的基礎。當降低圖像分辨率后，則顯著邊緣在被保留的同時其局部邊緣特性變得更為明顯，從而可采用現(xiàn)有邊緣提取算法提取顯著邊緣。在現(xiàn)有邊緣提取方法中，Canny算子能符合該需求。對于邊緣搜索而言，最重要的是對鄰接邊緣點的搜索，如圖1所示，主要包括2種方法：①優(yōu)先考慮最近距離后考慮最小轉(zhuǎn)向的方法；②優(yōu)先考慮最小轉(zhuǎn)向后考慮最近距離的方法。方法②可避免方法①出現(xiàn)的“鋸齒”，但導致部分邊緣點未納入邊緣集合SEd。但只需在方法②中設計相應的像素占用標記算法，以防止搜索出重復的邊，如圖1中的虛線所示。

圖1　2種不同的邊緣搜索算法

然而，Canny算子并不能直接檢測出“顯著邊緣”，必須設計篩選算法才能得到有效的邊緣。對邊緣集合SEd中轉(zhuǎn)折過大的部分進行分段，并取較長的段作為“顯著邊緣”。將完成所有邊緣1≤iEd≤nEd的搜索與篩選的算法簡記為

[LEdV,sCut]=SearchAndPickupEdges

(4)

(4)式中：LEdV為所有有效邊緣點的順序存儲；GCur為當前處理圖像；lSec和ηTrs分別為篩選邊緣時的每個分段的最小長度和轉(zhuǎn)角余弦閾值；wd為轉(zhuǎn)角估計的單邊寬度。

2.1.2顯著邊緣的增強

求解PSF時需要已知或預先估計這部分對應的清晰圖像，這里只能采用估計方法，即對顯著邊緣進行增強處理，并將處理結(jié)果作為對應清晰圖像的估計值。2.1.1節(jié)中得到的邊緣集合雖能順序得到各條邊緣上的點，但這些圖像位置信息僅僅是像素級的，而邊緣增強處理需要指定子像素級的邊緣。這里通過曲線擬合與曲面插值相交替迭代的方法完成估計。

ΨEdgeGrad=ExtractEdgePntsAndGrad

(5)

對于離散圖像而言，必須將每一點pEdCtr(k)處的梯度矢量離散化。將顯著邊緣梯度增強的離散化(得到ΔI(u/v)Grad)的過程記作

ΔI(u/v)Grad=DiscretForEdgeGrad

(6)

2.1.3PSF的估計

圖2　基于增強邊緣的模糊圖像盲復原流程Fig.2　Flow of Image Blind Restoration with enhancing edges

(7)

(8)

2.2遞歸殘差修正方法

已有諸多學者采用殘差圖像方法抑制復原圖像中的波動，然而，目前所研究的方法[7-8]尚不能適應預測圖像錯位的情形，并存在運算量大的問題。考慮到高分辨率圖像的解模糊可利用低分辨率復原圖像的特點，將顯著錯位的部分引入“預測圖像”，設計了圖像解模糊的遞歸殘差修正方法。

(9)

(10)

(10)式中：kLim為可調(diào)整的比例參數(shù)(0

文獻[8]根據(jù)復原圖像恢復中的波動主要是由圖像中的邊緣引起的這一特點，提出了殘差圖像解模糊中的增益修正方法。自適應增益的圖像解模糊函數(shù)為

(11)

(12)

圖3　已知PSF估計值時的遞歸殘差修正流程Fig.3　Flow of recurrence residual algorithm

(13)

2.3分層迭代處理方法

圖像分辨率不但直接決定了圖像所含的信息量，同時也對圖像處理算法的可靠性、精度及效率產(chǎn)生顯著影響。對圖像分辨率進行分層處理的方法已被廣泛應用，其主要作用在于：①能逐層篩選顯著目標以縮小執(zhí)行處理算法的范圍，從而提高處理效率；②能實現(xiàn)不同分辨率信息的分離以便于采用不同算法或設置不同參數(shù)來提升處理性能。圖像復原分層迭代處理的詳細流程如圖4所示，可分為“分層處理”與“迭代”2部分。

圖4　圖像復原分層迭代處理算法的詳細流程Fig.4　Flow of multi-layering with iteration algorithm

在該流程中，須設置以下4類參數(shù)：①整個處理流程的分層數(shù)和迭代次數(shù)：nResL,Ts；②搜索-增強顯著邊緣的參數(shù)：lSB,ηTrs,δEdp,ζD0,ξD0③PSF求解中的閾值和迭代次數(shù)：vh,min,ns；④解模糊中的增益調(diào)整系數(shù)，高斯濾波參數(shù)與優(yōu)化迭代次數(shù)：kDcy,αB,σB,nItr。

圖4中，函數(shù)ImResize若記為M1=ImResize(M0,kS)，其表示將矩陣(或圖像)M0按尺度比例kS雙線性插值變換為M1的函數(shù)(即圖像尺度變換函數(shù))。為便于算法設計，圖像的尺度變換采用兩分法，將圖像的多尺度變換簡記為

ΨGbMR=GenMultiResForPic(Gb,nResL),

(14)

(15)

邊緣梯度離散化時，不可避免地弱化了顯著邊緣，影響了對PSF估計的精度。將PSF的超分辨率重構(super resolution，SR)估計算法簡記為

CalcBlurMByShrpEdgesSR

(16)

對該算法的復雜度分析分為PSF估計和圖像解模糊2部分。

PSF估計中，算法效率的優(yōu)越性主要體現(xiàn)在圖像顯著邊緣和PSF的局部處理上。該優(yōu)化估計的計算量由構建的SGc(:,:,3)和LGb(3,:)決定。其中，SGc(:,:,3)為nb×nHVld矩陣；LGb(3,:)為1×nb向量；nb為顯著邊緣模糊鄰域內(nèi)點的總數(shù)；nHVld為PSF的有效像素個數(shù)。

設圖像分辨率為nh×nw，PSF大小為du×dv，并記dm=[0.5(du+dv)]Floor，由Canny算子得到的顯著邊緣點數(shù)為λNtb(nh+nw)，估計過程中PSF的有效像素個數(shù)nHVld≤λVlddm，則nb≤kNtb(nh+nw)dm,kNtb=λNtb·λVld。對一般圖像λNtb≤3且λVld≤5。因而，所構建的SGc(:,:,3)遠小于直接構建的尺寸((nhnw)×(dudv))。

3仿真實驗與分析

針對圖像顯著邊緣的復原，采用Matlab工具箱自帶圖像“toyobjects.png”對本文提出的算法進行仿真驗證。記仿真時的清晰圖像為GSc0375×380。

3.1理想成像情況下的仿真驗證

首先，在理想成像情況下對2幅在不同PSF下得到的模糊圖像進行復原處理的仿真，如圖5所示。其中，Ht1和Ht2分別為尺寸較小和較大的PSF，且Ht1和Ht2均不是等效的凸曲面。動態(tài)模糊仿真后得到GSb1375×380和GSb2375×380。

圖5　具有顯著邊緣圖像的動態(tài)模糊仿真Fig.5　Simulation results of the blurred imagewith obvious edges

這里分別對Ht1和Ht2所造成的模糊進行復原仿真驗證。

3.1.1Ht1造成模糊的分層迭代復原仿真

由于Ht1的尺寸較小，邊緣增強的偏差較小，因而不通過迭代即可得到邊緣比較清晰的復原圖像，PSF為Ht1時不同分辨率層次下的解模糊結(jié)果如圖6所示。這里將分層迭代處理中的參數(shù)設置為

(17)

圖6　PSF為Ht1時不同分辨率層次下的解模糊結(jié)果Fig.6　Image deblurring results when PSF is Ht1

從圖6可以看出，對于Ht1造成的模糊圖像，無須迭代(即Ts=1)即可經(jīng)過3層分辨率(即nRes=3)中的解算得到PSF估計值和復原圖像。

從圖6還可以看出，PSF隨著分辨率的提升而細化，最終接近Ht1。主要是因為本文算法在不同分辨率間的處理中，設計了與圖像分辨率對應的PSF的尺度變換方法，利用尺度變換后的復原圖像和PSF進行下一分辨率層次的迭代過程。說明本文算法既能在解模糊中抑制顯著邊緣引起的波動又能準確估計出PSF。

3.1.2Ht2造成模糊的分層迭代復原仿真

由于Ht2的尺寸較大，獲得的邊緣增強結(jié)果的偏差也較大，進而導致PSF矩陣估計值的偏差明顯。因此，需要在每個分辨率層內(nèi)進行迭代以逐步消除偏差，PSF為Ht2時，不同分辨率層次下的解模糊結(jié)果如圖7所示，這里將分層迭代處理中的參數(shù)設置為

(18)

圖7　PSF為Ht2時不同分辨率層次下的解模糊結(jié)果Fig.7　Image deblurring results when PSF is Ht2

分辨率為lRes=1,2,3及迭代次數(shù)為ts=1,2,3時的SGc(:,:,3)尺寸如表1所示。

表1　不同分辨率及迭代次數(shù)下的SGc(:,:,3)尺寸

對于視覺測量而言，復原圖像與PSF質(zhì)心所對應的原始圖像之間的匹配性將顯著影響測量精度，因此，這里對圖像進行匹配性的驗證，復原圖像與原圖的像素級匹配誤差如圖8所示。

圖8中，圖8a—圖8c為現(xiàn)有算法結(jié)果，圖8d為本文算法的匹配驗證結(jié)果，可以看出，本文算法的匹配性圖8d優(yōu)于圖8a—圖8c。這里構建指標

(19)

進行量化對比。

圖8a—圖8d對應的fMatchErr代價值如(20)式所示，同樣也表明了本文算法對圖像復原的質(zhì)量優(yōu)于圖8a—圖8c。

(20)

圖8　復原圖像與原圖的像素級匹配誤差(顯示為原誤差值的4倍)Fig.8　Pixel level’s match error of different methods (four times than the original error)

3.2光照干擾情況下的仿真驗證

在實際情況下，即使是含顯著邊緣的目標也往往會受到不均勻的光照，另外，成像過程中即使采用較低感光度也會引入噪聲。因而，這里采用如(21)式的光照波動和成像噪聲。

(21)

(21)式中：EGauss表示光照干擾情況下引入的高斯噪聲；N(0,1×10-4)表示均值0，方差1×10-4的高斯噪聲。光照擾動情況下的圖像及其模糊加噪仿真如圖9所示。

圖9　光照擾動圖像及其模糊加噪仿真Fig.9　Image with Gaussian white noises andun-ideal illumination

當采用雙邊濾波得到

(22)

然后，經(jīng)過分層迭代處理(參數(shù)同3.1.2節(jié)中仿真實驗的參數(shù))可得如圖10的仿真結(jié)果。

非理想光照條件下的仿真驗證了本文算法對環(huán)境具有良好的適應性。

4結(jié)論

本文依據(jù)顯著邊緣的模糊特性在估計PSF中占主導地位這一特征，提出了一種顯著邊緣直接引導的動態(tài)模糊圖像盲復原方法，能準確估計PSF并在圖像解模糊中抑制顯著邊緣引起的波動。設計的算法主要包括基于顯著邊緣增強的PSF估計、圖像解模糊的遞歸殘差修正以及圖像復原的分層迭代處理3部分。理想和非理想光照條件下的仿真結(jié)果表明，本文算法能高效地針對視覺測量中感興趣的顯著邊緣信息進行圖像復原，從而有利于保證視覺測量的精度與效率。

參考文獻：

[1]程姝，趙志剛，呂慧顯，等. 順序結(jié)構的運動模糊圖像復原技術綜述[J].計算機應用，2013，33(S1)：161-165，185.

CHENGShu,ZHAOZhigang,LYUHuixian,etal.Surveyondeblurringtechnologyformotionimageswithsequencestructure[J].JournalofComputerApplication,2013,33(S1):161-165,185.

[2]劉衛(wèi)華，白本督，趙小強.基于模糊相似度融合的圖像復原算法[J].計算機輔助設計與圖形學學報，2013，25(5)：616-621.

LIUWeihua,BAIBendu,ZHAOXiaoqiang.ImageRestorationAlgorithmBasedonFusionwithFuzzySimilarity[J].JournalofComputer-AidedDesign&ComputerGraphics,2013，25(5):616-621.

[3]周維華.Wiener濾波圖像復原[J]. 計算機工程與科學，2007，29(3)：39-40，62.

ZHOUWeihua.ResearchontheWienerFilterImageDeblurring.[J].ComputerEngineering&Science,2007，29(3):39-40,62.

[4]肖宿，韓國強，沃焱，等.貝葉斯框架下的模糊圖像盲區(qū)卷積算法(英文)[J].科學技術與工程，2010，10(14)：3344-3348.

XIAOSu,HANGuoqiang,WOYan,etal.BayesianFrameworkBasedBlindDeconvolutionAlgorithmforBlurredImage[J].ScienceTechnologyandEngineering, 2010, 10(14): 3344-3348.

[5]閆河，閆衛(wèi)軍，李唯唯.基于Lucy-Richardson算法的圖像復原[J]. 計算機工程，2010，36(15)：204-220.

YANHe,YANWeijun,LIWeiwei.ImageRestorationBasedonLucy-RichardsonAlgorithm[J].ComputerEngineering,2010, 36(15):204-220.

[6]BANHAMMARKR,KATSAGGELOKS.Digitalimagerestoration[J].SignalProcessingMagazineIEEE, 1997,14(2): 24-41.

[7]YUANL,SUNJ,QUANL,etal.Progressiveinter-scaleandintra-scalenon-blindimagedeconvolution[J].ACMTransactionsonGraphics, 2008, 27(3): 1-10

[8]YUANL,SUNJ,QUANL,etal.Imagedeblurringwithblurred/noisyimagepairs[J].ACMTransactionsonGraphics, 2007, 26(3): 15-27.

[9]LUCYL.Aniterativetechniquefortherectificationofobserveddistributions[J].JournalofAstronomical, 1974, 79(6): 745-754.

Image blind restoration algorithm based on obvious edge feature

FU Qiang1, SUN Xiuxia1, LIU Shuguang1, XU Song2, PENG Ke1

(1. Aeronautics and Astronautics Engineering College, Air Force Engineering University, Xi’an 710038, P.R.China;2.Unit of 95910，Jiuquan 735018, P.R.China)

Abstract:For the problem of the imaging blurring caused by motion of the vehicle or vibration of the active vision plat in vision measurement, a new algorithm of image blind restoration is proposed by obvious edge feature. Firstly, an algorithm for searching and enhancing image edges is designed to overcome the drawbacks of the Canny algorithm. Further, a method of optimum estimation for the PSF is proposed only based on the neighborhood area of the obvious edges. Secondly, a recurrence residual algorithm is proposed for image deblurring, which can restrain the ringing of the restored image caused by obvious edges. Lastly, a multi-layering with iteration flow path is designed for guaranteeing the accuracy and reliability of the blind restoration. Experiments demonstrate that the method can reconstruct images and suppress the ringing effectively．The experiment under un-ideal illumination condition also shows the good adaptability against environment. This image restoration new algorithm can be efficient in practical application.

Keywords：blind restoration; obvious edges; point spread function(PSF); recurrence residual; multi-layering with iteration

DOI：10.3979/j.issn.1673-825X.2016.01.013

收稿日期：2015-02-14

修訂日期：2015-10-13通訊作者：付強fuqiang931@126.com

基金項目：中國博士后科學基金(2014M562629)；陜西省自然科學基金(2014JM8332)

Foundation Items：The China Postdoctoral Science Foundation (2014M562629); The Natural Science Foundation Project of Shaanxi (2014JM8332)

中圖分類號：TP391

文獻標志碼：A

文章編號：1673-825X(2016)01-0087-08

作者簡介：

付強(1990-)，男，四川內(nèi)江人，博士研究生，主要研究方向為無人機視覺導航與圖像處理。E-mail:fuqiang931@126.com。

孫秀霞(1962-)，女，山東濰坊人，教授，博士生導師，主要研究方向為無人機導航與控制的理論及應用。E-mail:kgycw@163.com。

(編輯：王敏琦)