沈陽理工大學(xué)自動化與電氣工程學(xué)院 牛朦朦
基于光場相機(jī)的深度圖像獲取技術(shù)研究
沈陽理工大學(xué)自動化與電氣工程學(xué)院 牛朦朦
光場相機(jī)近年來已經(jīng)引起越來越多人的關(guān)注,它采用在主透鏡的焦平面處放置一個微透鏡陣列,然后再投影到CCD上,使得圖片能夠記錄下四維光場,從而記錄光線的方向,使得圖片具有重聚焦和在主透鏡的子孔徑范圍轉(zhuǎn)換視角的功能,豐富的信息為獲取深度圖像提供了便利。本文從光場相機(jī)的結(jié)構(gòu)入手,分析和研究基于光場相機(jī)的深度圖像獲取技術(shù)。
光場相機(jī);重聚焦;深度圖像
隨著科技的發(fā)展,傳統(tǒng)機(jī)器視覺已經(jīng)不能滿足人們針對三維目標(biāo)識別的要求。獲取場景中各點相對攝象機(jī)的距離是計算機(jī)視覺的重要任務(wù)之一,深度圖像中的每一個像素值表示場景中某一點與攝像機(jī)之間的距離。深度圖像對比灰度圖像,具有物體三維特征,即深度信息,由于不受光源照射方向和物體表面發(fā)射特性的影響,且不存在陰影,所以能更準(zhǔn)確的表現(xiàn)物體表面的三維深度信息。
近年來,以光場相機(jī)為基礎(chǔ)的深度圖像估計理論研究取得了較大進(jìn)展。相對于傳統(tǒng)相機(jī)僅記錄場景二維信息,光場相機(jī)能夠記錄位置和方向的四維信息,由于光場相機(jī)提供的視點較多、數(shù)據(jù)集包含的光線角度采樣信息量較大,這些特點為高質(zhì)量的視差估計提供了數(shù)據(jù),本文從光場相機(jī)的原理特性出發(fā),分析和研究現(xiàn)有的基于光場相機(jī)的深度圖像獲取技術(shù)。
1.1光場的定義
光場實際上就是空間所有光線光輻射函數(shù)的總體,空間中光線攜帶二維位置信息 (u,v)和二維方向信息(θ,φ)在光場中傳遞。根據(jù) Levoy 的光場渲染理論,空間中攜帶強(qiáng)度和方向信息的任意光線,都可以用兩個互相平行的平面來進(jìn)行參數(shù)化表示,如圖1所示,光線與這兩個平面相交于兩點,形成一個四維光場函數(shù)L( u,v,x,y)。
圖1 光場四維參數(shù)化
1.2成像原理
光場相機(jī)與傳統(tǒng)相機(jī)相比,由三部分組成:主透鏡、微透鏡陣列與光電探測器。其中微透鏡陣列放置于主透鏡的像平面處,CCD放置在微透鏡的焦距處。具體成像過程為:物體中一點經(jīng)主透鏡聚焦在微透鏡陣列上,然后經(jīng)過單個微透鏡再分散出強(qiáng)度和方向分量,到達(dá)CCD的不同面元,這就是該點的光場信息。此外,為了防止光場的方向信息和成像目標(biāo)空間分布之間的混疊,主透鏡的像方F數(shù)和微透鏡陣列的F數(shù)必須一致。原始圖像是由一系列斑點組成,每個斑點都是微透鏡的成像。
1.3數(shù)字重聚焦
如圖1所示,根據(jù)經(jīng)典的輻射理論,在像平面上的一點的輻射來自鏡頭上所有輻射的權(quán)重積分,即:
其中LF(x,y,u,v)是距離目標(biāo)平面外F距離的光場參數(shù),通過數(shù)字積分近似估計,即可獲得一幅數(shù)字圖像。
圖2 數(shù)字重聚焦原理圖
如圖2所示,(x,y)面表示重聚焦所在平面,接收到的光輻射量為:
其中α=F’/F為變焦倍率。將(2)式代入(1)式即可獲得重聚焦的成像。由傅里葉切片定理可得,(x,y)面上得到的光輻射量就是的一個切片的投影積分,即通過一次曝光得到的光場信息可用來進(jìn)行不同焦距處圖像的重建。
一直以來,基于圖像的深度圖像的獲取是計算機(jī)視覺中的重點之一,針對人類視覺系統(tǒng)中的不同深度線索,如視差、模糊、陰影、紋理和透視等,研究人員們提出了不同的深度圖像獲取方法。光場相機(jī)由于之前介紹的能夠重聚焦,且由于微透鏡陣列的作用,產(chǎn)生視差角,所以光場相機(jī)具有進(jìn)行一次曝光成像,經(jīng)過后期處理能同時利用散焦測距原理和視差線索進(jìn)行深度圖像的獲取。
Bishop等人在 Plenoptic 1.0 光場采集的數(shù)據(jù)集上,提出一種深度圖估計和圖像超分辨方法,獲取了較高精度的深度圖像。在二維光場極平面圖像上,Wanner 和Goldluecke采用結(jié)構(gòu)張量計算像素匹配方向以實現(xiàn)對場景的深度圖估計。接著,該研究組又分析了光場圖像視差關(guān)系,進(jìn)而實現(xiàn)了光場圖像超分辨率。針對便攜式消費(fèi)級光場相機(jī),2013年Yu等提出了對遮擋的迭代深度估計,其采用全局優(yōu)化的計算框架,對不同微透鏡后的子圖像的匹配關(guān)系進(jìn)行求解,進(jìn)而實現(xiàn)深度圖像估計;同年,Kim 等在獲取高分辨率光場基礎(chǔ)上,實現(xiàn)高精度場景深度圖估計,其特點在于無需全局優(yōu)化[2]。
和視差線索不同,模糊線索是指同一個相機(jī)對不同深度場景進(jìn)行聚焦,處在非聚焦平面的物體的模糊程度與深度具有一定函數(shù)關(guān)系,利用該關(guān)系進(jìn)行深度圖像的獲取。光場相機(jī)因具有先拍照,后進(jìn)行數(shù)字重聚焦的操作,所以可以利用此線索進(jìn)行深度圖像獲取。
Tao 等人利用lytro消費(fèi)級光場相機(jī)同時利用視差和模糊的線索,對光場中的EPI圖像進(jìn)行視差和模糊線索進(jìn)行運(yùn)算,最后利用馬爾科夫隨機(jī)場算法融合這兩種深度線索,獲得了對近景較為復(fù)雜的情況下的較高精度的深度圖像生成;Wang等人在Tao的工作的基礎(chǔ)上,提出了一種存在遮擋的深度圖像獲取技術(shù),其利用圖片的一致性,將角度像素塊劃分為存在遮擋與非遮擋區(qū)域,并分別進(jìn)行深度圖像的求取,獲得了良好的深度圖像。
光場相機(jī)由于特殊的相機(jī)結(jié)構(gòu),相較于傳統(tǒng)相機(jī),由于圖像具有很大的重塑性,能夠后期進(jìn)行重聚焦操作,且具有大量的視差角線索,為獲取深度圖像提供了另一種方法,基于光場相機(jī)進(jìn)行深度圖像的獲取的研究不斷發(fā)展,但由于相機(jī)的特殊結(jié)構(gòu),光場相機(jī)多出來的二維信息是犧牲一定的空間分辨率作為代價,現(xiàn)有的光場相機(jī)往往在圖像的空間分辨率上不能滿足需求,二者存在一個折中,如何進(jìn)行進(jìn)一步的優(yōu)化將是后期研究的一個重點,此外微透鏡陣列之間的基線特別短,利用視差因素進(jìn)行深度圖像的求取中存在誤差,后續(xù)還有待進(jìn)一步研究。
[1]Levoy M, Hanrahan P. Light field rendering[C]// Conference on Computer Graphics and Interactive Techniques.ACM,1996:II-64-II-71.
[2]肖照林.基于相機(jī)陣列的光場成像與深度估計方法研究[D].西安:西北工業(yè)大學(xué),2014.