程 浩 安 平 張兆楊 李賀健 張之江

(新型顯示技術(shù)及應(yīng)用集成教育部重點(diǎn)實(shí)驗(yàn)室 上海 200072)

(上海大學(xué)通信與信息工程學(xué)院 上海 200072)

1 引言

目前，多視點(diǎn)顯示技術(shù)(也稱為裸視立體顯示)因其無需佩戴任何輔助設(shè)備就可以直接觀看顯示器上的3維圖像的特點(diǎn)而廣受關(guān)注。將其與多視點(diǎn)視頻顯示相結(jié)合就可大幅度擴(kuò)大立體視角、增強(qiáng)立體感、且人眼不易疲勞。自由視點(diǎn)電視(Free-viewpoint TV, FTV)已被認(rèn)為是未來 3維顯示技術(shù)的發(fā)展方向[1]。

目前FTV技術(shù)還不完善，正處在發(fā)展階段。文獻(xiàn)[2]從FTV整體框架出發(fā)對(duì)FTV進(jìn)行了比較全面的回顧和分析；可以使用兩個(gè)攝像機(jī)加TOF相機(jī)(Time-Of-Flight camera)的模式來代替攝像機(jī)陣列，這樣構(gòu)建的立體顯示系統(tǒng)也取得了不錯(cuò)的效果[3,4]。Smolic等人[5]對(duì)拍攝好的3D片源進(jìn)行后期制作和加工來增強(qiáng)其觀看效果。文獻(xiàn)[6]等在降低多視點(diǎn)編碼復(fù)雜度上進(jìn)行了深入的研究。然而目前多視點(diǎn)系統(tǒng)研究多為建立系統(tǒng)后的定性分析，由于未進(jìn)行模型構(gòu)建，所以只能通過反復(fù)探索性試驗(yàn)來獲得最終結(jié)果，這樣的結(jié)果因缺乏理論支持，不具有普適性。近幾年來，國(guó)內(nèi)外研究已經(jīng)開始涉及多視點(diǎn)立體顯示模型。其中文獻(xiàn)[7]從計(jì)算機(jī)圖形學(xué)的角度建立立體顯示數(shù)學(xué)模型，但尚未考慮攝像機(jī)焦距等因素，無法精確控制真實(shí)的拍攝過程；文獻(xiàn)[8]建立了多視點(diǎn)立體顯示模型，但沒有涉及到多視立體視角。

本文從多視點(diǎn)立體顯示的系統(tǒng)映射關(guān)系著手，建立多視點(diǎn)立體視角模型，該立體角與物體的深度和觀看距離存在定量關(guān)系。但因受到人眼融合極限的制約，因而給出在實(shí)際拍攝時(shí)的立體角范圍進(jìn)而推導(dǎo)出在理想情況下視點(diǎn)數(shù)N與最大立體視角之間的關(guān)系。本文的結(jié)果可為實(shí)際多視點(diǎn)系統(tǒng)的建立提供理論依據(jù)。本文余下部分的結(jié)構(gòu)如下：第2節(jié)和第3節(jié)分別給出多視點(diǎn)立體系統(tǒng)從采集端到顯示端的映射關(guān)系和多視點(diǎn)立體角度模型；第4節(jié)導(dǎo)出立體視角與視點(diǎn)數(shù)的關(guān)系；第5節(jié)和第6節(jié)分別是仿真實(shí)驗(yàn)分析和本文的結(jié)論。

2 基于平行攝像機(jī)陣列的多視點(diǎn)立體顯示映射關(guān)系

多視點(diǎn)立體顯示系統(tǒng)是由攝像機(jī)陣列和多視點(diǎn)立體顯示器兩部分組成。使用攝像機(jī)陣列同時(shí)地從不同位置拍攝真實(shí)物體，將獲得的多視點(diǎn)圖像信息在多視點(diǎn)立體顯示器中合成為立體對(duì)并顯示出立體圖像。

圖 1(a)為多視點(diǎn)立體顯示系統(tǒng)中的攝像機(jī)陣列。設(shè)世界坐標(biāo)系原點(diǎn)處在屏幕中心，XY平面與屏幕平面重合，攝像機(jī)陣列與XY平面平行，攝像機(jī)光心與世界坐標(biāo)系Z軸平行，攝像機(jī)陣列中相鄰攝像機(jī)間距相等。攝像機(jī)陣列X軸和Y軸上的間距為tx和ty，陣列中左上角第1個(gè)攝像機(jī)的坐標(biāo)為(xc,yc,zc,1)，第(i,j)個(gè)攝像機(jī)坐標(biāo)為Cij=(xij,yij,zij,wij)，則Cij可以表示為

式(1)中，i=1,2,…,M,j=1,2,…,N,M和N為攝像機(jī)陣列的行與列，zc為攝像機(jī)平面與XY平面之間的距離。

圖1(b)為人眼觀看的多視點(diǎn)立體顯示系統(tǒng)，為敘述方便這里以攝像機(jī)陣列中兩個(gè)相鄰攝像機(jī)拍攝到的立體圖像來說明。假設(shè)VO是真實(shí)物體上的一點(diǎn)，Ccl和Ccr為拍攝真實(shí)點(diǎn)VO的攝像機(jī)陣列中的兩個(gè)攝像機(jī)，他們分別拍攝到VO的立體像對(duì)在多視點(diǎn)立體顯示器上顯示為Sr和Sl。當(dāng)?shù)?個(gè)觀察者的雙眼處在VL1和VR1時(shí)，根據(jù)雙目立體成像原理，可以觀看到虛擬物體上的點(diǎn)處在Vl.1，以此類推，當(dāng)?shù)趎個(gè)觀察者雙眼處在VLn和VRn時(shí)，觀看到虛擬物體上的點(diǎn)為Vln。由上可見，多視點(diǎn)立體顯示中不同位置的觀看者能觀看到虛擬物體的不同位置的立體圖像。

圖1 多視點(diǎn)立體顯示系統(tǒng)模型

3 多視點(diǎn)立體顯示系統(tǒng)模型

根據(jù)上一節(jié)的分析，只有建立真實(shí)物體和虛擬物體之間的映射關(guān)系，才能更好地研究多視點(diǎn)立體顯示系統(tǒng)，并且合理地調(diào)整參數(shù)，提高立體效果。

在多視點(diǎn)立體顯示系統(tǒng)中，設(shè)真實(shí)物體上的一點(diǎn)為VO=(XO,YO,ZO,1)，觀察者最終看到的虛擬物體上的對(duì)應(yīng)點(diǎn)為VI=(XI,YI,ZI,1)，則真實(shí)物體與虛擬物體的對(duì)應(yīng)關(guān)系可以用一個(gè)齊次矩陣M表示：

根據(jù)光學(xué)成像原理和計(jì)算機(jī)視覺雙目視差原理[9]，從真實(shí)物體到虛擬物體總共經(jīng)過了圖2所示的4個(gè)坐標(biāo)系轉(zhuǎn)換過程。

圖2 多視點(diǎn)立體顯示系統(tǒng)中坐標(biāo)系轉(zhuǎn)換過程

根據(jù)計(jì)算機(jī)視覺原理，由于攝像機(jī)位置、攝像機(jī)焦距和CCD放大倍數(shù)等情況的不同，第(i,j)個(gè)攝像機(jī)拍攝到的物體點(diǎn)的空間坐標(biāo)VO=(XO,YO,ZO,1)轉(zhuǎn)換到屏幕坐標(biāo)Sij=(XS,YS,1)的映射關(guān)系可以表示為

Mij是由第(i,j)個(gè)攝像機(jī)的位置Cij=(xij,yij,zij,wij)來決定的。攝像機(jī)焦距為f。從CCD到顯示屏幕橫向(縱向)的放大因子為p(q)，一般情況下，p=q。

根據(jù)雙目成像原理[10]，真實(shí)物體被攝像機(jī)陣列中的一對(duì)攝像機(jī)拍攝后在屏幕上形成立體像對(duì)(XSl,YSl,1)和(XSr,YSr,1)。根據(jù)雙目視差原理，立體像對(duì)從屏幕坐標(biāo)系經(jīng)過大腦融合轉(zhuǎn)換到虛擬物體坐標(biāo)系的立體圖像點(diǎn)VI=(XI,YI,ZI,1)。

觀看者的左眼和右眼的位置分別為VL=(XL,YL,ZL,WL)和VR=(XR,YR,ZR,WR)。左眼和右眼分別觀看到屏幕上的像點(diǎn)為Sl=(XSl,YSl,1)和Sr=(XSr,YSr,1)。感受到的虛擬物體與屏幕上的立體像對(duì)之間的關(guān)系為

其中MR,ML分別為

把式(3)代入式(5)，就可以得到真實(shí)物體與虛擬物體之間的映射關(guān)系：

則M為

把式(4)，式(5)代入式(8)，可以得到

設(shè)Ccl=(xcl,ycl,zcl,1),Ccr=(xcr,ycr,zcr,1)分別表示拍攝真實(shí)物體時(shí)的左右攝像機(jī)坐標(biāo)。由式(8)和式(9)可以得到人眼感受到的虛擬物體VI=(XI,YI,ZI,1)和真實(shí)物體VO=(XO,YO,ZO,1)之間的映射關(guān)系：

式(10)是多視點(diǎn)立體顯示的數(shù)學(xué)模型，它包含拍攝時(shí)的攝像機(jī)陣列參數(shù)，可以此為依據(jù)預(yù)測(cè)立體顯示圖像的空間分布，優(yōu)化實(shí)拍參數(shù)，得到更好的立體顯示效果。

4 多視點(diǎn)立體視角模型

多視點(diǎn)立體視角是觀看者在觀看多視點(diǎn)立體顯示器時(shí)，雙眼與被觀察物體之間所形成的角度。為了方便研究假設(shè)攝像機(jī)陣列為水平攝像機(jī)陣列，且相機(jī)間隔均勻，人雙眼之間的距離為65 mm，人眼與立體顯示屏幕平行，真實(shí)物體在觀察者的正前方。

4.1 立體視角模型

設(shè)e為人雙眼之間的間距，則e=xR-xL;a為水平攝像機(jī)陣列之間的距離，則a=xcr-xcl；人雙眼與顯示屏平行，則zL=zR=zv。由式(10)可知虛擬物體的深度ZI為

其中zv是觀看者離多視點(diǎn)立體顯示器的距離，zc為攝像機(jī)陣列到拍攝平面的距離，ZO為真實(shí)物體的深度。多視點(diǎn)立體角度2β是觀察者的雙眼與所形成的虛擬物體之間的夾角，根據(jù)式(11)和計(jì)算機(jī)視覺可得

因此多視點(diǎn)立體視角模型為

式(13)中β為多視點(diǎn)立體顯示時(shí)雙眼觀察虛擬物體時(shí)的立體視角的半角(實(shí)際立體角度為2β，為方便敘述這里用β表示)，它與虛擬物體的深度ZI和觀察距離zv存在定量關(guān)系。

4.2 人眼融合極限

對(duì)于人眼觀看到的立體圖像而言，視差(以H來表示)過大則人眼無法生成有效的虛擬物體，會(huì)產(chǎn)生重影或雙輪廓。根據(jù)文獻(xiàn)[11]的研究，人眼融合的極限H應(yīng)滿足：

根據(jù)雙目立體顯示原理，立體視角可以用視差來表示。

所以，

把式(16)代入式(14)，得

根據(jù)式(17)可知，立體角度受到人眼融合極限的制約。在實(shí)際拍攝時(shí)必須考慮人眼融合極限，否則會(huì)產(chǎn)生重影、雙輪廓等現(xiàn)象影響立體觀看效果。

4.3 立體角與視點(diǎn)數(shù)之間的關(guān)系

如圖3所示，在理想情況下，對(duì)于平行攝像機(jī)陣列而言，觀察物體上的某一點(diǎn)時(shí)，N個(gè)攝像機(jī)會(huì)產(chǎn)生N個(gè)相應(yīng)的點(diǎn)，這N個(gè)點(diǎn)產(chǎn)生N-1對(duì)立體匹配對(duì)。根據(jù)裸視立體顯示技術(shù)的原理，觀察者通過在不同的位置觀看這N-1個(gè)立體匹配對(duì)來生成可觀察的虛擬立體點(diǎn)?？梢杂^察到的最大立體視角Agmax即為這N-1個(gè)立體匹配點(diǎn)所生成的N-1個(gè)虛擬立體點(diǎn)的角度之和。

這里需要引入一個(gè)參數(shù)——視點(diǎn)切換參數(shù)，即產(chǎn)生視點(diǎn)切換時(shí)觀察者平行移動(dòng)的距離，此參數(shù)與觀察者距離立體顯示器遠(yuǎn)近有關(guān)。假定立體顯示器為理想多視點(diǎn)立體顯示器，即觀察者在距離屏幕zv處水平移動(dòng)時(shí)，視點(diǎn)切換參數(shù)為。與觀察者觀看距離有關(guān)，即當(dāng)觀察者在距離zv處觀看裸視立體顯示器時(shí)，每移動(dòng)水平距離就造成視點(diǎn)切換，在下節(jié)的實(shí)驗(yàn)中取=32.5。如圖3所示，對(duì)于N-1個(gè)視點(diǎn)，當(dāng)觀察者離顯示屏的距離為zv時(shí)，從視點(diǎn)1過渡到視點(diǎn)N-1，需要水平移動(dòng)(N-2)·。由此可得到裸視立體顯示所能給出的最大立體角：

圖3 多視點(diǎn)立體顯示器的立體視角

5 仿真實(shí)驗(yàn)結(jié)果和分析

5.1 制約立體視角的因素

在構(gòu)建多視點(diǎn)立體顯示系統(tǒng)時(shí)，必須要綜合考慮攝像機(jī)陣列參數(shù)和觀察者參數(shù)，才能得到最佳觀看體驗(yàn)。表1中給出在1～6不同條件下進(jìn)行仿真實(shí)驗(yàn)的多視點(diǎn)拍攝和觀看參數(shù)，以驗(yàn)證式(13)得到立體角度與拍攝距離之間的關(guān)系。表1中p為放大因子，f為攝像頭焦距，zv為觀看距離，a為攝像機(jī)間距，ZO表示真實(shí)物體的實(shí)際深度。仿真實(shí)驗(yàn)中立體視角的單位均為弧度。

表1 攝像機(jī)陣列拍攝和觀察參數(shù)(mm)

圖4為在條件1，條件2，條件3時(shí)，實(shí)驗(yàn)所得的立體角與拍攝距離之間的關(guān)系。從圖中可以看出隨著拍攝距離的增加，立體角度也隨之減少。對(duì)比條件1，條件2，條件3，還可以看出隨著ZO增大，立體角度逐漸增大，當(dāng)拍攝距離也增加時(shí)，立體角度趨于一致。圖5為在條件4，條件5，條件6時(shí)，立體角度與拍攝距離之間的關(guān)系。對(duì)比條件4，條件5，條件6可以看出隨著攝像機(jī)之間的間距a的增大，立體角度也逐漸增大，當(dāng)拍攝距離也隨之增加時(shí)，立體角度趨于一致。

可見立體角度受到拍攝距離、物體的真實(shí)深度和攝像機(jī)間距的影響，當(dāng)物體真實(shí)深度或攝像機(jī)間距增加，會(huì)使立體角度變大，但當(dāng)拍攝距離逐漸增加時(shí)，立體角趨向于恒定值。因此，在建立實(shí)拍多視點(diǎn)立體采集/顯示系統(tǒng)時(shí)，必須要考慮拍攝場(chǎng)景中真實(shí)物體的深度范圍和拍攝相機(jī)陣列之間間距。

5.2 人眼融合極限對(duì)立體角度的制約

如前所述，式(13)所示的立體角不能無限制地增大，它受到考慮了人眼融合極限后的式(17)制約。為便于說明這兩者之間的關(guān)系，將表1中的實(shí)驗(yàn)參數(shù)取為表2。

表2 攝像機(jī)陣列拍攝和觀察參數(shù)(mm)

圖6-圖9為實(shí)驗(yàn)所得的人眼融合極限與立體角度的關(guān)系，實(shí)線為立體角度與拍攝距離的關(guān)系，虛線為人眼融合極限，即虛線之下的區(qū)域(包括虛線)為理想觀察區(qū)域，即處在該區(qū)域內(nèi)的點(diǎn)能夠觀察到理想的立體效果?？梢钥闯錾鲜龈鲌D中，立體角度與人眼融合極限存在一個(gè)交叉點(diǎn)Q,Q右側(cè)的點(diǎn)滿足人眼融合極限，為理想觀看區(qū)域可以優(yōu)質(zhì)地正常觀看，而Q左側(cè)的點(diǎn)形成的立體角度過大，無法形成可正常觀看的立體效果，也即會(huì)產(chǎn)生重影和雙輪廓等劣質(zhì)圖像。

5.3 視點(diǎn)數(shù)N與立體角度之間的關(guān)系

隨著視點(diǎn)數(shù)的增加可以觀看的立體角度也隨之增大，而且虛擬物體的立體感增強(qiáng)。實(shí)驗(yàn)所用的參數(shù)如表 3所示，下面實(shí)驗(yàn)驗(yàn)證式(20)的視點(diǎn)數(shù)與立體角度之間的關(guān)系。

表3 攝像機(jī)陣列拍攝和觀察參數(shù)(mm)

圖10和圖11中，立體角的單位為rad。從圖中可以看出隨著視點(diǎn)數(shù)的增加，立體角逐漸增大，但立體角度的增加幅度越來越少。對(duì)于水平攝像機(jī)陣列而言，立體角的極限為π(180°)。隨著視點(diǎn)數(shù)的增加，立體角的增速在放緩，立體效果增強(qiáng)不明顯；同時(shí)視點(diǎn)數(shù)的增加意味著所有攝像機(jī)的公共部分在減少，這說明所觀察到的立體場(chǎng)景變?。欢矣捎跀z像機(jī)價(jià)格、攝像機(jī)間距以及攝像機(jī)機(jī)身寬度等硬件因素的制約都使得視點(diǎn)數(shù)不能夠無限增加。

圖4 條件1，條件2，條件3時(shí)拍攝距離與立體角度之間的關(guān)系

圖5 條件4，條件5，條件6時(shí)拍攝 距離與立體角度之間的關(guān)系

圖6 條件1時(shí)拍攝距離與立體角度之間的關(guān)系

圖7 條件2時(shí)拍攝距離與立體角度之間的關(guān)系

圖8 條件3時(shí)拍攝距離與立體角度之間的關(guān)系

圖9 條件4時(shí)拍攝距離與立體角度之間的關(guān)系

圖10 條件1時(shí)視點(diǎn)數(shù)與立體角之間的關(guān)系

圖11 條件2時(shí)視點(diǎn)數(shù)與立體角之間的關(guān)系

由上可見，在建立實(shí)拍多視采集/立體顯示系統(tǒng)時(shí)，必須考慮攝像機(jī)陣列與拍攝場(chǎng)景之間的關(guān)系，通過調(diào)整攝像機(jī)陣列的位置、間距以及場(chǎng)景中各個(gè)物體的位置，使得觀眾在觀看整個(gè)場(chǎng)景時(shí)場(chǎng)景內(nèi)的所有點(diǎn)都處于人眼融合極限內(nèi)。增加視點(diǎn)數(shù)雖可獲得更大的立體觀察角度、增強(qiáng)其立體感，但受到如前所述的限制，只能適量增加。

6 結(jié)束語

本文建立了多視點(diǎn)立體角模型，獲得了拍攝距離與立體角之間的制約關(guān)系，通過仿真實(shí)驗(yàn)分析出攝像機(jī)間距與真實(shí)物體位置對(duì)立體角的影響。根據(jù)人眼融合極限，求出多視點(diǎn)系統(tǒng)拍攝時(shí)的最小拍攝距離和理想觀看區(qū)域。并且得到視點(diǎn)數(shù)N與立體角之間的關(guān)系圖，從圖中可以看出，隨著視點(diǎn)數(shù)的增加，多視點(diǎn)立體顯示所能觀察的最大立體角也相應(yīng)增大，但視點(diǎn)數(shù)增加到一定數(shù)量時(shí)，最大立體角度的增幅趨飽和。所以在實(shí)際建立多視點(diǎn)立體顯示系統(tǒng)時(shí)，不能盲目提高視點(diǎn)數(shù)來提升立體效果，而應(yīng)綜合考慮各方面的因素來優(yōu)化多視點(diǎn)系統(tǒng)的立體效果。

[1]Zhang Zhao-yang, An Ping, Zhang Zhi-jiang,et al.. 2D/3D Video Processing and Stereo Display Technology[M]. Beijing:Science Press, 2010: 1-10.

[2]Tanimoto M and Wildeboer M. Frameworks for FTV coding[C]. IEEE International Conference on Multimedia and Expo, Japan, July 2009: 1552-1553.

[3]Lee C, Song H, Choi B,et al.. 3D scene capturing using stereoscopic cameras and a time-of-flight camera[J].IEEE Transactions on Consumer Electronics,2011, 57(3): 1370-1376.

[4]Kang Yun-Suk and Ho Yo-sung. Disparity map generation for color image using TOF depth camera[C]. The True Vision-Capture, Transmission and Display of 3D Video(3DTVCON), South Korea, May 2011: 1-4.

[5]Smolic A, Kauff P, Knorr S,et al.. Three-dimensional video postproduction and processing[J].Proceedings of the IEEE,2011, 99(4): 607-625.

[6]Shen Li-quan, Liu Zhi, An Ping,et al.. Low-complexity mode decision for MVC[J].IEEE Transactions on Circuits and Systems for Video Technology, 2011, 21(6): 837-843.

[7]Son J Y, Saveljev V V, Kim J S,et al.. Multiview image acquisition and projection[J].Journal of Display Technology,2006, 2(4): 359-363.

[8]Bi Jia-yu, Zeng Dan, Zhang Zhijiang,et al.. Automultiscopic 3D displays system model and evaluation[C]. World Congress on Computer Science and Information Engineering, China,March 2009, 6: 514-518.

[9]Forsyth D A and Ponce J. Computer Vision: A Modern Approach[M]. NJ: Prentice Hall, 2003: 3-19.

[10]Son J Y, Javidi B, and Kwack K D. Methods for displaying three-dimensional images[J].Proceedings of the IEEE, 2006,94(3): 502-523.

[11]Lipton L. Foundations of the Stereoscopic Cinema ——A Study in Depth[M]. NY: Van Nostrand Reinhold, 1982:91-118.