運動模糊圖像的攝像機響應(yīng)函數(shù)估計方法

闞未然,方賢勇,2

(1.安徽大學(xué)計算機科學(xué)與技術(shù)學(xué)院,合肥230601;2.南京大學(xué)計算機軟件新技術(shù)國家重點實驗室,南京210023)

運動模糊圖像的攝像機響應(yīng)函數(shù)估計方法

闞未然1,方賢勇1,2

(1.安徽大學(xué)計算機科學(xué)與技術(shù)學(xué)院,合肥230601;2.南京大學(xué)計算機軟件新技術(shù)國家重點實驗室,南京210023)

相機響應(yīng)函數(shù)(CRF)存在于照片的形成過程中,是輻照度到圖像強度的映射。由于CRF是非線性的,在模糊圖像去模糊的過程中有一定的影響,但目前的運動模糊去除算法并未考慮它的影響。為此,研究基于單幅運動模糊圖像的CRF估計算法,給出運動模糊模型與CRF相結(jié)合的模糊模型,該模型能準(zhǔn)確描述實際運動模糊圖的形成過程,并在該模型的基礎(chǔ)上提出一種靈活選取邊界求解CRF的方法。實驗結(jié)果證明,與傳統(tǒng)方法相比,該方法在求解CRF方法上具有較高的準(zhǔn)確性。

相機響應(yīng)函數(shù);輻照度;非線性;運動模糊;去模糊;邊界選取

1 概述

圖像去模糊是計算機視覺和圖像處理中研究多年的一個問題,其中比較常見的是運動模糊。運動模糊的過程可以看成是N個離散位置接收到光量的疊加。但是,通過實際照相機捕捉到的模糊圖,模糊的過程是針對圖像的輻照度,而不是圖像的強度[1]。

目前雖然有一些去模糊算法考慮了相機響應(yīng)函數(shù)(Camera Response Function,CRF)的影響,但只是針對散焦模糊,還缺少針對運動模糊圖像CRF的研究。本文就是針對運動模糊圖像的CRF求解問題進行研究。將CRF加入到運動模糊模型,然后從模糊圖的形成過程分析,逆向求得CRF。進一步給出了在已知運動方向的情況下,通過單幅模糊圖,提出靈活選取邊界求解CRF的方法。

圖像去模糊比較經(jīng)典的算法有維納去卷積[2]。近期出現(xiàn)了針對運動模糊[3]去模糊算法。更新的一些去模糊算法是通過運用機器學(xué)習(xí)[4]來去模糊,但是以上大多數(shù)的去模糊方法都沒有考慮 CRF的影響。

當(dāng)前對CRF的求解方法比較多的是針對清晰圖。Debevec和Malik[5]做了CRF的最開始的工作,他們假設(shè)CRF函數(shù)是光滑的曲線,然后對每個像素同時估計輻照度和CRF的反函數(shù)。以后的大多數(shù)方法都是對同一視角在不同曝光[6]下獲得的多幅圖像,運用曝光比的關(guān)系來計算CRF,另外也有在曝光算法的基礎(chǔ)上進行優(yōu)化[7]的求解算法。其他方法還有通過基于懲罰項的能量函數(shù)設(shè)計和海量數(shù)據(jù)篩選[8],求解CRF,通過能獲取RAW文件的相機拍攝圖片[9]計算CRF;對同一個場景拍攝2張噪聲不同的圖,通過2幅圖的強度相似度關(guān)聯(lián)求解CRF[10];通過燈和紙板創(chuàng)造不同的光照環(huán)境,在不同光照環(huán)境下得到圖像求解CRF[11]。

以上大多數(shù)方法都是針對一幅或者多幅清晰圖求CRF,而目前比較關(guān)心的是去模糊中的CRF求解。近期已有少數(shù)針對模糊圖求解 CRF的方法。文獻[12]通過同一個場景的一幅清晰圖和一幅模糊圖,運用它們之間的曝光比求CRF。文獻[13]提出了針對模糊圖邊界求解CRF的方法,他們發(fā)現(xiàn)模糊圖邊界的截面強度變化曲線和累積函數(shù)變化曲線是類似的,相同方向的邊界有相同的截面強度信息,利用同方向邊界之間相似的關(guān)系,求得CRF。這個方法雖取得一定的求解效果,但是也有比較明顯的弊病,即需要求出一組或者多組同方向的直邊界,才可以利用邊界相似性這一性質(zhì)。本文擬對這一方法進行改進,首先不需要一組相同方向的邊界,也不需要邊界是直的。除了CRF的計算方法之外,還有針對CRF的建模研究。運用較多的是多項式模擬CRF函數(shù)[13],另外也有EMoR經(jīng)驗?zāi)Ｐ蚚14]。本文使用相對比較準(zhǔn)確的多項式模型建模,通過單幅模糊圖的邊界信息求解CRF。

2 CRF對模糊區(qū)域的影響

卷積過程之后,通過相機響應(yīng)函數(shù)才能將輻射度映射到圖像強度,如圖1所示。

圖1 從場景光量到圖像強度的完整過程

首先分析CRF對模糊區(qū)域的影響。I代表清晰的圖,B代表對應(yīng)的模糊圖,B^=I?K代表的是按照傳統(tǒng)的模糊模型,不考慮CRF作用的模糊圖。通過B和B^的差值來衡量CRF對模糊圖的影響大小,Γ=B-B^。

比較容易得到,在均勻強度區(qū)域和低頻區(qū)域,?！?。分析高頻高對比度區(qū)域:

首先考慮以下形式的銳邊界I:

f-1有邊界f-1(0)=0且f-1(1)=1,假設(shè)有f-1(I)=I,可得:

即Γ=f()-。

在這個例子中,Γ(x)度量了f(x)偏離線性方程y(x)=x的程度。當(dāng)f(x)→x時,Γ(x)→0。但是,實際中的CRFf是非線性的。

定理 令I(lǐng)min和Imax分別表示圖像I在大小為模糊核覆蓋的局部區(qū)域內(nèi)的強度最小值和最大值,如果f-1是凸的,那么模糊不一致差Γ的范圍為:0≤?！躀max-Imin。

證明:因為K只包含0和正值,所以可以把f-1(I)?K看做像素值的正組合。如果f-1是凸的,由湯森不等式可得:

又因為CRFf是單調(diào)遞增的,可得到:

又因為I?K≤Imax,并且f-1是單調(diào)遞增的,由此可得:

同樣,可得B^=I?K≥Imin。由以上兩式可得:

綜合定理的證明和前面的推理,可以發(fā)現(xiàn)由非線性CRFf帶來的模糊差異主要出現(xiàn)在高頻高對比度的區(qū)域,這些區(qū)域也就是在以往的去模糊結(jié)果中常出現(xiàn)振鈴的區(qū)域。換個角度考慮,CRFf對這些區(qū)域的影響大,那么這些區(qū)域包含的CRF的信息也就多,如果想要比較準(zhǔn)確的求解CRFf,就需要選取高頻高對比度的區(qū)域,或者就直接選取邊界。

3 單幅圖像結(jié)合CRF的運動模糊模型

3.1 運動模糊模型和CRF

在曝光時間內(nèi),成像傳感器接收到的光量決定了圖像的像素強度值。

其中,I(x)是曝光后記錄的圖像;ΔI(x,t)是在第t個無窮小的時間間隔內(nèi)dt內(nèi)的傳感器接收到的光量; [0,T]是總的曝光時間;x是一個3×1的向量,表示的是同一個坐標(biāo)系下的像素點坐標(biāo)。將積分離散化之后可近似得到后面的結(jié)果。

當(dāng)相機和場景對象在曝光時間內(nèi)沒有相對的移動時,并且假設(shè)噪聲比較小。那么有:ΔI(x,t1)≈ΔI (x,t2)≈…≈ΔI(x,tN),也就是I(x)≈NΔI(x,t0)= I0(x)是一個清晰圖。當(dāng)相機和場景對象之間在曝光時間內(nèi)存在了相對運動時,I(x)就是許多不同的中間圖像ΔI(x,ti)的累積。這個相對運動,在圖像平面內(nèi)產(chǎn)生的是一個投影變換:ΔI(x,ti)=ΔI(hix, ti-1)。hi是一個非奇異的單應(yīng)性矩陣。如果知道了所有的hi,就可以用I0(x)表示所有的ΔI(x,ti):

其中,Hi同樣是一個單應(yīng)性矩陣。這樣就得到了運動模糊模型:

其中,B(y)是動態(tài)模糊圖像;I0(x)是對應(yīng)的清晰圖。

考慮將相機響應(yīng)函數(shù)f加入該模糊模型中:

其中,g(·)是相機響應(yīng)函數(shù)f的反函數(shù)。

假設(shè)已知清晰的初始位置圖I0,單應(yīng)性矩陣Hi,以及最后的模糊圖B,那么選擇一塊高對比度高強度的區(qū)域,x∈[xmin,xmax],y∈[ymin,ymax],以此來求解CRF。

對選擇的整塊區(qū)域,有:

根據(jù)文獻[16]的方法,將f的反函數(shù)g看作是維度為d的多項式函數(shù),即:

優(yōu)化求解的過程就是求解ap的過程,求解函數(shù)的約束為g(0)=0且g(1)=1。只需要最小化以下目標(biāo)函數(shù)就能夠求解g:

其中,λ后面的式子是保證g的邊界限制。這個問題可以運用各種優(yōu)化算法求解,例如fmincon等。

3.2 靈活邊界選取的CRF估計

以上完全依賴于相機成像原理的CRF求解模型需求的已知量太多(清晰圖,模糊圖和運動軌跡單應(yīng)性矩陣)。所以并不實用,下面的CRF求解方法只需要已知模糊的運動方向,就可以通過模糊圖求出CRF,而模糊的運動方向可以通過運動模糊估計或者在相機內(nèi)加入硬件設(shè)備來獲取。這里假設(shè)運動方向已經(jīng)已知。

對于一條模糊邊界e,在邊界的兩邊,圖像強度都是均勻的,并且假設(shè)運動也是均勻的運動。從邊界模糊的形成開始分析。

假設(shè)有清晰邊界[Is,…,Is,IL,…,IL],在邊界垂直方向運動,那么最后模糊的邊界的形式是[Is,…,Is, I1,I2,…,IM,IL,…,IL]。不考慮CRF的作用,可得:

在沒有CRF的作用之下,[I1,I2,…,IM]是一個近似的等差數(shù)列。

在CRF作用之下,清晰邊界和模糊邊界的假設(shè)的形式不變,那么模糊邊界關(guān)系如下:

[g(I1),g(I2),…,g(IM)]是一個近似的等差數(shù)列:其中,E是選取的邊界數(shù)目;ωj是第j條邊界的強度范圍,在這里也作為一個權(quán)值函數(shù),即強度范圍大的邊界可以提供更多的CRF求解的參考;M代表的是此圖的模糊大小。

類似于上文,將g看做多項式函數(shù),通過最小化以下目標(biāo)函數(shù),求解多項式函數(shù)的系數(shù)值:

那么可以通過以下方法計算CRF:

4 實驗結(jié)果與分析

4.1 模擬圖

使用的是文獻[13]文中實驗結(jié)果中的第7條gamma曲線模擬的CRF,模糊是通過運動模糊模型模擬的在水平方向的運動模糊,實驗圖如圖2所示。

圖2 模糊圖

選取粗線條標(biāo)記出來的邊界作為計算的數(shù)據(jù),通過方法的方法求解 CRF的反函數(shù),結(jié)果如圖3所示。

圖3 求解圖2的CRF反函數(shù)曲線

在圖3中,較粗的實線代表實際的CRF的反函數(shù)曲線,較細的曲線是通過本文的方法求解的CRF反函數(shù)曲線,將其歸一化到[0 1]之間計算?？梢园l(fā)現(xiàn),大致上求解的CRF反函數(shù)曲線還是能和真實的曲線保持比較好的契合度。

同樣的,對另外2幅模糊圖求解CRF的反函數(shù),實驗?zāi)：龍D如圖4所示,實驗結(jié)果如圖5所示。

圖4 實驗?zāi)：龍D

圖5 估計的CRF反函數(shù)求解結(jié)果

下面對圖2的模糊圖進行去模糊,去模糊的方法是參照文獻[15]中的動態(tài)去模糊方法。對考慮CRF和不考慮CRF直接去模糊的2種方式作比較,結(jié)果如圖6所示。

圖6 去模糊結(jié)果比較

圖6 (a)是首先將模糊圖通過CRF的反函數(shù)求得RAW的模糊圖,然后通過去模糊的方法得到去模糊的RAW圖,然后再加上CRF得到的。圖6(b)就是直接對模糊圖進行去模糊得到的我們可以發(fā)現(xiàn),圖6(a)在邊界細節(jié)上要明顯優(yōu)于圖6(b),圖6(b)的邊界會出現(xiàn)很多振鈴現(xiàn)象。圖 6(c)圖是對圖6(a)和圖6(b)畫方框區(qū)域的放大比較,上面一行是圖6(a)的放大,下面一行是圖6(b)的放大。被放大后圖6(b)的振鈴效果可以看的更加突出,可以更明顯的發(fā)現(xiàn)CRF的影響。

4.2 實際圖

除了以上的模擬出的模糊圖外,還對實際拍攝的模糊圖進行實驗如圖7、圖8所示。首先對模糊圖圖7(a)和圖8(a)分析,估計運動方向,求解CRF的反函數(shù),結(jié)果分別如圖7(b)和圖8(b)所示。因為2幅圖是通過同一個相機拍攝得到的,所以2幅圖的CRF應(yīng)該是相同的?？梢酝ㄟ^對照圖7(b)和圖8(b)發(fā)現(xiàn),2個求解的CRF反函數(shù)曲線是非常接近的,這也從側(cè)面反映出本文求解的方法是比較準(zhǔn)確的。

然后繼續(xù)對去模糊結(jié)果進行了比較。首先根據(jù)求解的CRF反函數(shù)反向求出模糊圖7(a)的RAW圖,然后進行去模糊,得到圖7(c);直接對模糊圖7(a)去模糊,根據(jù)求解的CRF反函數(shù)反向求出估計的清晰圖的RAW,得到圖7(d),同樣的對圖8(a)的模糊圖做類似的處理,得到圖8(c)和圖8(d)。通過比較圖7(c)和圖7(d)、圖8(c)和圖8(d)可以發(fā)現(xiàn),對真實的圖也一樣,不考慮CRF直接去模糊會導(dǎo)致在邊界處的振鈴效果,在去模糊之前去除非線性的CRF的結(jié)果要優(yōu)于直接去模糊。

圖7 實際模糊圖的實驗結(jié)果1

圖8 實際模糊圖的實驗結(jié)果2

4.3 實驗結(jié)果對比

另外,還對圖9(a)進行了與Sunyeong Kim方法[13]的對照,得到的對照曲線如圖9(b)所示。較粗的曲線是真實的CRF曲線,細的實線和虛線分別是方法和Sunyeong Kim方法求得的CRF曲線?？梢园l(fā)現(xiàn),在低圖像強度范圍內(nèi),求解的曲線要更加貼近實際的曲線,而在高圖像強度范圍內(nèi),本文方法和Sunyeong Kim的方法相差不多。并且在邊界的選取上更加靈活,所以本文的方法在CRF的求解上有一定的優(yōu)勢。

圖9 本文方法與Sunyeong Kim方法的實驗結(jié)果比較

5 結(jié)束語

本文根據(jù)相機響應(yīng)函數(shù)對模糊圖的作用,以及對去模糊過程造成的影響,指出在去模糊的方法中有必要考慮CRF的影響,并將動態(tài)映射模糊模型和CRF結(jié)合,從真實的模糊圖形成的過程逆向求解CRF。通過一幅圖的邊界強度信息求解CRF方法,并擴展到2幅對應(yīng)模糊圖求解CRF,實驗結(jié)果表明了該方法的準(zhǔn)確性。本文不足主要是限定在均勻的動態(tài)模糊中,而實際的運動模糊圖的形成并不完全是均勻運動。下一步工作將考慮非均勻的動態(tài)模糊以及旋轉(zhuǎn)模糊,并進一步優(yōu)化CRF求解,以更接近真實的CRF。

[1] Grossberg M D,Nayar S K.What is the Space of Camera Response Functions[C]//Proceedings of IEEE Computer Society Conference.[S.1.]:IEEE Press, 2004:1063-1074.

[2] Wiener N.Extrapolation,Interpolation,and Smoothing of Stationary Time Series[M].Cambridge,USA:Technology Press of the Massachusetts Institute of Technology,1949.

[3] Lucy L.An Iterative Technique for the Rectification of Observed Distributions[J].Astronomical Journal,1974, 79(6):745-754.

[4] Couzinié-Devy F,Sun J,Alahari K et al.Learning to Estimate and Remove Non-uniform Image Blur[C]// Proceedings of Computer Science/Computer Vision and Pattern Recognition Conference.[S.1.]:IEEE Press, 2013:126-132.

[5] Debevec P E,Malik J.Recovering High Dynamic Range Radiance Maps from Photographs[C]//Proceedings of ACM SIGGRAPH’08.[S.1.]:ACM Press,2008: 1-10.

[6] 章衛(wèi)祥,周秉鋒.一個穩(wěn)健的用于HDR圖像的相機響應(yīng)函數(shù)標(biāo)定算法[J].計算機學(xué)報,2006,29(4): 658-663.

[7] 顧正暉.相機響應(yīng)函數(shù)恢復(fù)的差分方法[EB/OL]. (2013-02-04).http://www.paper.edu.cn/releasepaper/ content/201302-57.

[8] 江登表,李 勃,陳啟美.自動曝光場景下基于相機響應(yīng)模型的運動檢測[J].電子與信息學(xué)報,2013,35 (11):2740-2743.

[9] Manders C,MannS.DeterminingCameraResponse Functions from Comparagrams of Images with Their Raw Datafile Counterparts[C]//Proceedings of ISIMP’04. [S.1.]:IEEE Press,2004:256-265.

[10] Takamatsu J,Matsushita Y,LkeuchiK.Estimating Camera Response Functions Using Probabilistic Intensity Similarity[C]//Proceedings of CVPR’08.[S.1.]:IEEE Press,2008:1-8.

[11] Bichsel M,Ohnesorge K W.How to Measure a Camera’s Response Curve from Scratch? [M]. Zurich, Switzerland:ACM Press,1993.

[12] Chen Xiaogang,Li Feng,Yang Jie,et al.A Theoretical AnalysisofCamera Response Functionsin Image Deblurring[C]//Proceedings of ECCV’12.Heidelberg, Germany:Springer,2012:245-256.

[13] Kim Sunyeong,Tai Yu-Wing,Joo Kim Seon,et al. NonlinearCamera Response Functions and Image Deblurring[C]//Proceedings of IEEE Conference on Computer Vision&Pattern Recognition.[S.1.]:IEEE Press,2012:25-32.

[14] Grossberg M D,Nayar S K.Modeling the Space of Camera Response Functions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(10): 1272-1282.

[15] Xu Li,Jia Jiaya.Two-phase Kernel Estimation for Robust Motion Deblurring[C]//Proceedings of ECCV’10. [S.1.]:IEEE Press,2010:157-170.

編輯 索書志

Camera Response Function Estimation Method for Motion Blurred Image

KAN Wei-ran1,FANG Xian-yong1,2
(1.School of Computer Science and Technology,Anhui University,Hefei 230601,China;
2.State Key Laboratory for Novel Software Technology,Nanjing University,Nanjing 210023,China)

Camera Response Function(CRF)appears in the formation of a photo,mapping the irradiance to the image intensity.CRF is nonlinear,thus it has effects on deblurring blurred image.But many current deblurring algorithms do not consider the influence of camera response function.Therefore,this paper discusses the algorithm of deblurring based on a single image with considering the influence of CRF,and presents a model combining the motion blur model with the CRF.This model can describe the forming process of a real blurred image accurately.Further more,it presents a flexible edge selection CRF estimation method based on the motion model.Experimental results prove that the method has advantage in solving CRF method and removes the influence of CRF on deblurring.

Camera Response Function(CRF);irradiance;nonlinear;motion blurred;deblurring;edge selection

1000-3428(2014)10-0232-07

A

TP18

10.3969/j.issn.1000-3428.2014.10.044

國家自然科學(xué)基金資助項目(61003131)。

闞未然(1989-),男,碩士研究生,主研方向:模式識別,計算機視覺;方賢勇,教授。

2013-10-17

2013-12-11E-mail:weiran.kan@gmail.com

中文引用格式:闞未然,方賢勇.運動模糊圖像的攝像機響應(yīng)函數(shù)估計方法[J].計算機工程,2014,40(10):232-238.

英文引用格式:Kan Weiran,Fang Xianyong.Camera Response Function Estimation Method for Motion Blurred Image[J].Computer,Engineering,2014,40(10):232-238.