張琦, 王慶

(西北工業(yè)大學 計算機學院, 陜西 西安 710072)

光場以空間光線為基本單元,通過對光線位置和角度信息的離散采樣,可實現(xiàn)重聚焦、變視點等新穎應(yīng)用,是計算攝像學的理論創(chuàng)新點和技術(shù)突破口[1]。相較于傳統(tǒng)相機,光場相機[2]可通過單次拍攝實現(xiàn)對場景的多視點觀測,有助于提高計算機視覺領(lǐng)域諸多應(yīng)用性能,例如姿態(tài)估計[3]、三維重建[4]、全景拼接[5]、視覺里程計[6]等。為了支撐上述應(yīng)用,光場相機參數(shù)的精確標定至關(guān)重要,研究人員提出了多種光場相機標定方法,這些方法可根據(jù)標定板類型(角點、線、二次曲線)分為3類。

Dansereau等[7]構(gòu)建了光場相機記錄光線與空間光線的映射關(guān)系,建立了基于點到光線距離的光線外投影誤差,并以此標定光場相機參數(shù)。Zhang等[8]提出了六參數(shù)的光場相機多投影中心模型,分析了光場相機光線采樣對場景結(jié)構(gòu)的影響,推導(dǎo)了三維空間點投影變換矩陣,提出了光場相機標定方法。Zhang等[9]研究了光場相機的光線采樣和變換過程,提出了光場相機光線空間投影模型,并以此標定光場相機參數(shù)。與此不同,Bok等[10]利用從光場微透鏡圖像中提取的直線特征標定光場相機,推導(dǎo)了六參數(shù)的光場相機投影模型,繼而估計光場相機內(nèi)參數(shù)。但是由于光場成像存在空間與角度分辨率折衷問題,導(dǎo)致角點和直線特征檢測不準確,影響了光場相機標定的精度。相較于點和直線,二次曲線由于其簡易的數(shù)學模型和豐富的邊緣點使得其特征提取更為穩(wěn)定。二次曲線作為一種特殊的幾何目標,由于其特征提取的可靠性在光場相機標定中發(fā)揮了重要作用。Zhang等[11]研究了多投影中心模型對二次曲線和平面的映射,推導(dǎo)了共心二次曲線的共自配極三角形,分析其性質(zhì)并在光場中重建共自配極三角形,以此標定光場相機。但是,該類標定方法由于要求二次曲線共心而不夠靈活。

本文旨在設(shè)計一種離心圓標定板,并研究基于離心圓共自配極三角形的光場相機標定方法。通過分析離心圓極點-極線關(guān)系,研究了離心圓共自配極三角形的性質(zhì),并重建離心圓共自配極三角形。根據(jù)光場相機多投影中心模型對平面及二次曲面的映射,本文提出基于離心圓的光場相機標定算法。仿真和真實數(shù)據(jù)上的實驗結(jié)果表明了該方法可精確標定光場相機。

1 背景知識介紹

1.1 共自配極三角形

在二維射影空間中,點x和二次曲線C可定義一條直線l=Cx,該直線l被稱為x關(guān)于C的極線,反之x為l關(guān)于C的極點[13]。給定一個三角形,如果它的3個頂點是對應(yīng)3條邊關(guān)于二次曲線C的極點,則稱這種三角形為關(guān)于C的自配極三角形。圓的自配極三角形有一重要性質(zhì):圓有無窮多個自配極三角形,且其中一個頂點為無窮遠點,其所對應(yīng)邊過圓心。若多個二次曲線所對應(yīng)的自配極三角形相同,稱其為共自配極三角形[14]。

1.2 光場相機多投影中心模型

雙平行平面坐標[15]可用于光線參數(shù)化及描述光線變換。假設(shè)r=(s,t,x,y)T為光線雙平行平面坐標,其中(s,t)T是視點平面絕對坐標,即光線與視點平面的交點,表示光線的位置,(x,y)T是圖像平面相對坐標,即光線與圖像平面的交點相對于視點坐標(s,t)T的偏移量,表示光線方向。在光場相機多投影中心模型下,三維空間點X=(X,Y,Z)T被映射到投影中心為(s,t,0)T的子孔徑圖像點(x,y)T[8]

(1)

式中,f為雙平行平面間距。

K是光場相機內(nèi)參矩陣,描述光場相機記錄光線(i,j,u,v)T與相機坐標系下光線(s,t,x,y)T的變換

(2)

式中,(ki,kj,ku,kv,u0,v0)T是光場相機內(nèi)參數(shù)。此外,通過旋轉(zhuǎn)矩陣R=(r1,r2,r3)∈SO(3)和平移向量這t=(tx,ty,tz)T∈R3描述光場相機姿態(tài)變換

X=RXw+t

(3)

式中,X和Xw為空間點在相機標系和世界坐標系下坐標。根據(jù)(1)～(3)式,多投影中心模型對平面和二次曲線的映射為

(4)

(5)

式中:～表示相差一個縮放因子;Hij為場景平面與光場任意視點(i,j)T子孔徑圖像間平面單應(yīng)。tst=(s,t,0)T指光場內(nèi)任意2個子孔徑圖像的平移向量,(s,t)T=Kij(i,j)T。

2 離心圓共自配極三角形

相較于棋盤格角點和直線特征提取,離心圓由于其豐富的邊緣點和簡易數(shù)學模型,易于檢測和重建,本節(jié)將推導(dǎo)離心圓共自配極三角形的唯一性,并給出了其位置特點。

定理1離心圓共自配極三角形有且僅有一個,該三角形的一個頂點為無窮遠點,其對應(yīng)邊過2個離心圓的圓心。

證明假設(shè)abc為C1的自配極三角形,其中頂點a和邊lbc為關(guān)于C1的極點-極線關(guān)系。若a在C1上,則lbc與C1相切于點a,則點a,b,c在同一條直線上,無法構(gòu)成三角形。若a在C1內(nèi),則lbc在C1外,從而,點b,c在C1外。若a在C1外,lbc與C1相交,則出現(xiàn)3種情況:點b,c在C1外、點b,c在C1內(nèi)或一個在內(nèi)一個在外。①若點b,c均在C1外,則其對應(yīng)的邊與C1必有交點,而該條件不成立。②若點b,c在C1內(nèi),其所對應(yīng)的邊與C1無交點,而點a在C1外,該條件不成立。因此,abc的3個頂點的位置特點為2個在C1外,1個在C1內(nèi)。

假設(shè)abc為離心圓C1和C2的共自配極三角形,則其3個頂點中的2個分別在C1和C2內(nèi),1個在離心圓外,如圖1所示。根據(jù)第1.1小節(jié)所述,C1與C2的自配極三角形有一頂點為無窮遠點,且其對邊過圓心,因此C1與C2的共自配極三角形有且僅有1個,其外頂點c落在無窮遠線上,其對邊lab過C1與C2的圓心。

圖1 離心圓共自配極三角形

接下來從代數(shù)角度推導(dǎo)離心圓共自配極三角形的幾何意義,給定離心圓C1和C2

(6)

(7)

式中,(x0,y0)T為C2的圓心,r為離心圓半徑。

λ1=1?l1=(-y0,x0,0)T

(8)

3 基于離心圓的光場相機標定算法

首先在平面標定板上繪制如圖1所示的離心圓并記錄圓心及半徑的參數(shù)。通常,離心圓標定板設(shè)為世界坐標系OXwYw平面,并設(shè)C1圓心為坐標系原點。微透鏡圖像、子孔徑圖像、對極平面圖為光場的降維表達方法,其中子孔徑圖像是光場固定視點坐標的二維圖像。子孔徑圖像由于其分辨率較高而易于提取標定特征,常被用于光場相機標定。根據(jù)1組離心圓和光場子孔徑圖像上離心圓的對應(yīng),本節(jié)提出了基于離心圓的光場相機標定方法,包括基于共自配極三角形的線性初始化和基于光場Sampson誤差的非線性優(yōu)化。

3.1 線性初始化

(9)

(10)

3.2 非線性優(yōu)化

在完成光場內(nèi)外參的線性估計后,引入光場相機徑向畸變模型

(14)

在完成對光場相機徑向畸變建模后,為了能優(yōu)化光場相機內(nèi)參數(shù)p=(ki,kj,ku,kv,u0,v0)T,外參數(shù)Rp,tp和畸變參數(shù)d=(k1,k2,k3,k4)T,引入光場Sampson距離

(15)

利用Rodrigues公式[16]參數(shù)化旋轉(zhuǎn)矩陣R,并通過LM算法[17]非線性優(yōu)化(15)式。算法1描述了基于離心圓的光場相機標定方法。

算法1 基于離心圓共自配極三角形的光場相機標定算法

輸入: 標定板離心圓Cn,n=1,..,N

輸出: 光場相機內(nèi)參數(shù)P=(ki,kj,ku,kv,u0,v0)T

輸入: 光場相機外參數(shù)Rp,tp,p=1,2…,P

畸變系數(shù)d=(k1,k2,k3,k4)T

1) for 每個姿態(tài)p下的光場 do

2) for 每個子孔徑圖像 do

3) 根據(jù)定理1和(8)式重建離心圓共自配極三角形

4) 根據(jù)(10)式計算光場單應(yīng)Hij

5) end for

6) end for

7) 利用旋轉(zhuǎn)向量正交性和Cholesky分解從Hij中計算光場相機內(nèi)參數(shù)(ku,kv,u0,v0)T

8) for 每個姿態(tài)p下的光場do

9) 根據(jù)(11)～(13)式計算光場相機內(nèi)參數(shù)(ki,kj)T和外參數(shù)Rp,tp

10) end for

11) 初始化光場相機畸變參數(shù)d=(0,0,0,0)T

12) 使用LM優(yōu)化算法非線性優(yōu)化(15)式

4 實驗結(jié)果與分析

本節(jié)通過仿真數(shù)據(jù)與真實數(shù)據(jù)的實驗結(jié)果及分析,驗證本文提出的基于離心圓的光場相機標定算法的準確性。

4.1 仿真數(shù)據(jù)結(jié)果

本小節(jié)在仿真數(shù)據(jù)上驗證了本文所提標定算法,根據(jù)(3)～(5)式,利用Matlab生成仿真光場數(shù)據(jù),相機內(nèi)參數(shù)為ki=1.4×10-4,kj=1.5×10-4,ku=2.0×10-3,kv=1.9×10-3,u0=-0.59和v0=-0.52。在仿真實驗中,分別使用2種離心圓標定板,如圖2所示。此外,設(shè)置用于標定的光場數(shù)量為3,每個光場中共有7×7個視點,光場相機姿態(tài)分別是(6°,28°,-8°),(12°,-10°,15°)和(-5°,5°,-27°)。在每個子孔徑圖像的圖像點(u,v)T上加入均值為零標準差為σ的高斯噪聲,變化范圍是0.1至1.5像素,步進間隔為0.1像素。對于每組噪聲數(shù)據(jù),分別重復(fù)150次實驗。

圖2 離心圓標定板類型

圖3展示了內(nèi)參數(shù)估計值的相對誤差。其中,相對誤差隨著噪聲的增加而呈近線性增加。當噪聲固定時,相對誤差隨著離心圓數(shù)量的增加而降低。其中,高斯噪聲0.5像素是光場相機標定過程中所處噪聲上限。如圖3所示,當噪聲固定在0.5像素時,內(nèi)參數(shù)(ki,kj)T的相對誤差小于0.23%,(ku,kv)T和(u0,v0)T的相對誤差小于0.12%。因此,這些結(jié)果都證明了本文所提標定方法的魯棒性。

圖3 噪聲實驗

4.2 真實數(shù)據(jù)結(jié)果

表1列出了光場相機標定過程中離心圓投影點和離心圓光場子孔徑圖像間Sampson均方誤差,包括線性初始化、無畸變非線性優(yōu)化和帶畸變非線性優(yōu)化的結(jié)果。實驗結(jié)果表明,本文所提標定方法得到了較為準確的初值估計結(jié)果。在無畸變非線性優(yōu)化中,各個數(shù)據(jù)集的Sampson誤差均有明顯的下降,這展示了所定義的投影點到二次曲線Sampson距離及其代價函數(shù)(見(15)式)的有效性。另外,隨著畸變模型的引入,本文所提標定方法的Sampson均方誤差有明顯下降,這證明了畸變模型(見(14)式)的作用。

表1 基于離心圓的光場相機標定方法的Sampson均方誤差

為了與基于角點和直線特征的光場相機標定基準算法對比,在離心圓中尋找其與重建共自配極三角形的交點,并計算光線外投影均方誤差和重投影均方誤差。表2展示了本文所提標定算法與基準算法在光線外投影和重投影誤差上對比結(jié)果。

表2 基于離心圓的光場相機標定算法對比結(jié)果

此外,表3列出了離心圓光場數(shù)據(jù)集的內(nèi)參數(shù)估計結(jié)果。其中,數(shù)據(jù)集Circle-1和Circle-2的內(nèi)參數(shù)估計結(jié)果相似的原因是因為二者使用了相同的光場相機參數(shù)配置,數(shù)據(jù)集Circle-3和Circle-4的相機參數(shù)配置也是相同的但與數(shù)據(jù)集Circle-1和Circle-2的不同,因此前2組內(nèi)參數(shù)估計結(jié)果與后2組不同。圖4呈現(xiàn)了離心圓光場數(shù)據(jù)集的相機姿態(tài)估計結(jié)果。圖中的光場相機姿態(tài)均朝向離心圓標定板且分布在距標定板0.3～0.5 m范圍內(nèi),證明了相機姿態(tài)估計結(jié)果符合光場數(shù)據(jù)采集基本配置。根據(jù)表1和圖4所示的數(shù)據(jù)集Circle-1和Circle-2上的標定誤差和相機姿態(tài)分布可發(fā)現(xiàn),光場相機均勻采集標定板數(shù)據(jù)有助于提高標定結(jié)果的準確性。從數(shù)據(jù)集Circle-3和Circle-4上的標定誤差和相機姿態(tài)分布可知,增加標定光場數(shù)據(jù)有助于提高標定結(jié)果的準確性。此外,根據(jù)標定算法所計算的內(nèi)外參重建了任意2個光場中心視點圖像間平面單應(yīng),圖5為光場中心視點圖像單應(yīng)校正結(jié)果。進一步,為了驗證光場中心視點單應(yīng)校正結(jié)果的準確性,利用離心圓圖像點間重投影誤差對校正結(jié)果進行評價,如圖5所示。在圖5括號中列出了光場中心視點單應(yīng)校正的重投影均方根誤差結(jié)果。上述結(jié)果均驗證了本文所提出標定算法的準確性。

圖4 光場相機姿態(tài)估計結(jié)果

圖5 光場中心視點圖像單位校正結(jié)果

表3 光場相機標定方法的內(nèi)參數(shù)估計結(jié)果

5 結(jié) 論

根據(jù)離心圓共自配極三角形的性質(zhì),本文提出了基于離心圓共自配極三角形的光場相機標定方法。通過分析關(guān)于離心圓的極點-極線關(guān)系,文章推導(dǎo)了離心圓共自配極三角形的性質(zhì)。此外,根據(jù)光場相機多投影中心模型對平面及二次曲面的映射,本文通過離心圓光場子孔徑圖像重建共自配極三角形并計算平面單應(yīng),繼而提出了基于離心圓的光場相機標定算法,包括光場相機內(nèi)外參數(shù)的線性初始化和非線性優(yōu)化方法。仿真和真實數(shù)據(jù)實驗結(jié)果表明,離心圓標定板可穩(wěn)定提取特征并精確標定光場相機。