張德忠

(四川信息職業(yè)技術學院，四川 廣元 628017)

單鏡頭真3D立體攝像技術

張德忠

(四川信息職業(yè)技術學院，四川 廣元 628017)

針對集成成像技術記錄圖像呈現(xiàn)立體深度小、圖像攝取技術要求高等缺點，提出一種單鏡頭真3D立體攝像系統(tǒng)，并從系統(tǒng)結構、原理、核心元件參數(shù)設計、顯示效果等方面對系統(tǒng)進行分析。研究表明，單鏡頭真3D立體攝像系統(tǒng)能記錄并呈現(xiàn)更深的三維場景，且可在一定范圍內進行焦距調整，其結構簡單，有利于真3D立體圖像技術的推廣，具有較高的研究與應用價值。

集成成像；真3D立體；視差；立體深度；視區(qū)

集成成像技術是利用微透鏡陣列對物空間場景進行記錄，并再現(xiàn)立體空間場景的一種無觀看視覺疲勞的真3D圖像技術，與全息3D技術相比，具有較小的數(shù)據(jù)量，無需相干光源照明等苛刻要求，成為目前國際上最前沿的3D顯示方式之一[1]。但集成成像系統(tǒng)在圖像記錄時，微透鏡陣列將物空間場景分解成多個圖像元，由于設備分辨率限制，合成圖像的視差為臨近圖像元記錄的有限視差，形成立體圖像的深度?。煌瑫r，由于記錄透鏡陣列中各透鏡元主軸平行，空間物點通過任意兩透鏡元記錄在兩圖像元的同一相對方位，在深度反轉后顯示時形成正視差[2]，顯示的立體圖像只呈現(xiàn)在屏的后方，這將使人的主觀感知深度進一步下降。由于人們的視覺習慣，觀看屏后方的立體圖像時會不由自主地向屏前移動，這樣必然對顯示設備分辨率提出更高要求。為確保集成成像系統(tǒng)圖像元間互不串擾，要求攝像微透鏡陣列中各透鏡元光路獨立[3]，要在透鏡元間加入擋光介質，光柵制作成本高；透鏡元光路獨立前提下很難實現(xiàn)焦距變化與調整，系統(tǒng)可使用范圍小。與普通雙目3D技術相比，集成成像系統(tǒng)記錄的圖像呈現(xiàn)立體深度小，圖像攝取的技術要求高、制作成本大、使用范圍小，極大程度地限制了集成成像技術的使用與推廣。

本文提出一種單鏡頭真3D立體攝像系統(tǒng)，相對于集成成像系統(tǒng)，可形成正負視差與零視差，能在顯示器件前后同時再現(xiàn)立體場景，極大地提高了立體呈現(xiàn)深度，有效降低了顯示器分辨率要求。同時透鏡元間無需再進行光線隔離，光柵制作成本低，并可在一定范圍內進行調焦，使用范圍廣，立體圖像攝取成本低。本文將從系統(tǒng)結構、原理、透鏡陣列的參數(shù)設計、顯示效果幾方面對系統(tǒng)進行介紹與分析。文中出現(xiàn)的透鏡陣列在水平與垂直方向的透鏡個數(shù)均假定為奇數(shù)，偶數(shù)時推理與分析類同，本文不再論述。

1 單鏡頭真3D立體攝像原理

1.1 單鏡頭真3D立體攝像系統(tǒng)結構

單鏡頭真3D立體攝像系統(tǒng)如圖1所示，它主要由平面攝像機、覆蓋在攝像機CCD上的球面光柵、深度反轉模塊構成。系統(tǒng)工作時，鏡頭將場景聚焦成像于CCD前的球面光柵上，球面光柵將鏡頭孔徑光闌平面不同子區(qū)域聚焦形成物像的各像點折射分配到不同位置特性的像素感光點上，CCD記錄這些圖像后送深度反轉電路，消除由球面光柵引起的顯示場景在空間上的深度反轉，所得圖像重現(xiàn)并覆蓋上相應的球面光柵，在一定視場內，就可裸眼觀看真3D立體圖像[4]。

圖1 單鏡頭真3D立體攝像系統(tǒng)結構

1.2 攝像球面光柵安裝要求與結構參數(shù)

球面光柵結構如圖2a和2b所示，它是一個由M×N個具有相同光學參數(shù)的微形光學透鏡構成的微透鏡陣列。每一透鏡元對應CCD上的I×J個像素點稱為一個立體像素元。X×Y像素的CCD上任一像素點P(x,y)在所處像素元內的行列位置可用取整和取余函數(shù)表示為

P(m,n,i,j)=P(int(x/I),int(y/J),

mod(x,I),mod(y,J))

(1)

如圖2c所示，球面光柵的透鏡元第一主點與感光器平面距離Δ、透鏡元第二主點(球面頂點)與鏡頭孔徑光闌平面間的距離v、透鏡元焦距fs、透鏡元水平節(jié)距p、CCD像素寬度δ、成像鏡頭孔徑光闌直徑D滿足式(2)～式(4)描述的結構與安裝位置要求

(2)

(3)

(4)

圖2 光柵結構及其安裝示意圖

由式(2)～式(4)分別可得光柵曲率半徑r、光柵厚度d、透鏡元節(jié)距p分別為[5]

(5)

(6)

(7)

1.3 單鏡頭真3D立體攝像原理

(8)

由于CCD像素點之間間隙小，孔徑光闌工作面上的相臨子區(qū)域可視為無縫連接，CCD上記錄的是I×J個連續(xù)變化的無視覺跳變現(xiàn)象發(fā)生的、不會產生視覺疲勞的真3D圖像[8]。

由式(3)可知，鏡頭孔徑光闌在各透鏡元下的像(即立體像素元)彼此相鄰且無重疊，使各透鏡元光路獨立，保證了像素元上任一像素點記錄的方位信息的唯一性。由于鏡頭孔徑光闌通常為圓形面，通過微透鏡在方形像素元上成像為圓形，造成像素元四角上像素點的浪費，降低了CCD像素點利用率。為此，工程中通常將鏡頭孔徑光闌設計成與像素元形狀匹配的長方形狀。式(4)是對球面光柵水平節(jié)距(即透鏡元寬度)的一個限定。由于垂直方向分析類同，本文只在水平方向進行分析。

1.4 深度反轉模塊作用

單鏡頭真3D立體攝像所得圖像在顯示時需進行視差圖像分離才能再現(xiàn)立體空間。顯示球面光柵屏作用是將各視差圖像折射到不同方向，送入處于不同空間位置的左右眼中形成真3D立體視覺。

由于透鏡成像的空間倒像作用，圖像攝取與顯示過程中，場景會經鏡頭透鏡與顯示屏兩次倒像，而包含深度信息的像素元經記錄透鏡陣列、顯示屏、顯示球面光柵陣列三次倒像，視差圖像形成的立體空間方位在縱深上存在倒置現(xiàn)象，直接通過球面光柵陣列觀看會看到與原物空間存在深度反轉的贗像[9]。為此加入深度反轉模塊，它將每一像素元內的各像素點按上下左右位置倒置重排，使用顯示球面光柵屏分像后呈現(xiàn)的立體圖像與原空間方位一致。數(shù)字圖像信號中可用數(shù)字運算器通過像素映射過程來實現(xiàn)深度反轉，其數(shù)學變換模型為

P2(x,y)=P(m,n,I-i,J-j)=P(int(x/I),

int(y/J),I-mod(x,I),J-mod(y,J))

(9)

2 顯示球面光柵屏與視區(qū)

2.1 顯示球面光柵參數(shù)

在像素寬度為δ0的平面顯示器上倒像顯示P2(x,y)，并在顯示器上覆蓋與像素元對應的球面光柵陣列，如圖3所示。其中：Δ0為顯示球面光柵透鏡元第一主點與顯示平面距離，正對顯示屏的雙眼在任意方向總能透過光柵屏看到兩幅不同的視差圖像，形成全視覺真3D立體圖像。

圖3 顯示球面光柵屏與視區(qū)

當光柵處于聚焦模式時Δ0=f0(f0為顯示球面光柵焦距)，顯示3D圖像的像素尺寸與光柵透鏡元尺寸p0相同[8]。設人眼剛好能看清p0的最佳視距S0上的視點間距為θ0，此時有

(10)

為保證在最佳視距上的視點透過透鏡陣列能從平面顯示器上看到一幅完整的視差圖像，要求光柵屏的每一透鏡主光軸應會聚于最佳視距上的一點。此時有

(11)

可得顯示器光柵的曲率半徑r0、光柵厚度d0、透鏡元節(jié)距p0分別為

(12)

(13)

(14)

其中，n0為顯示光柵的折射率；ε0為光柵與顯示器間的安裝間隙。

2.2 立體視區(qū)

顯示球面光柵確定后，通過光柵正常觀看立體圖像的空間區(qū)域稱視區(qū)，在視區(qū)內的任意視點上都能看到一幅完整視差圖像的區(qū)域稱主視區(qū)，所以主視區(qū)應是顯示器邊緣像素元通過光柵屏的公共可視區(qū)域。

(15)

(16)

(17)

(18)

在最佳視距上的視點間距為

(19)

由于人眼瞳孔間距不可變，要求θ0≤P，否則應對光柵重新設計。

當人雙眼在最佳視距上向左(右)移動出主視區(qū)時，人眼就進入左(右)第1邊視區(qū)，左(右)第1邊視區(qū)中的觀看圖像會失去屏上左(右)最外一列圖像而使立體圖像的總寬度變?yōu)?M-1)p0，左(右)第k邊視區(qū)圖像總寬度為(M-k)p0[10]。

3 景深與立體深度

3.1 立體圖像的景深

(20)

(21)

(22)

3.2 立體圖像的視差

單鏡頭真3D立體攝像屬于單鏡立體攝像，它同樣是利用鏡頭光路的對稱結構，將立體縱深信息轉變?yōu)槠矫嬉暡畹淖兓ｇR頭孔徑光闌水平方向上相距為a的最遠兩子區(qū)域對物空間一點形成的視差為Δx′[12]，其值為

Δx′=K1aΔu/(u-Δu)

(23)

式中：Δu為空間物點與焦平面的相對距離。

(24)

(25)

式中：ΔuN為近點與焦平面的相對距離。

立體圖像雖然是以像素元為單位記錄在CCD上的，但總是通過透鏡元對外呈現(xiàn)的，且每一透鏡元對應一像素元，故可知在顯示端倒像顯示后的近、遠點視差為

ΔxN=-ΔxF=-K2(I-1)p=-(I-1)p0

(26)

3.3 顯示立體深度

(27)

(28)

同理可得近點ZN顯示深度為

(29)

則最大顯示深度為

(30)

通常P>(I-1)Iδ0，當取p0=Iδ0時有

(31)

圖4 顯示深度示意圖

3.4 鏡頭光圈直徑D與立體深度關系

立體顯示中，立體圖像的呈現(xiàn)深度由視差確定，由式(24)、(25)、(30)、(31)可知，單鏡頭真3D立體攝像所能記錄的最大視差與呈現(xiàn)的最大立體深度均與鏡頭孔徑光闌直徑D無關，增大像素元內像素點數(shù)能有效地提高立體呈現(xiàn)深度。

當鏡頭孔徑光闌直徑確定時，由式(23)可知，空間物點記錄視差由其相對焦平面位置決定，當物點處在焦平面上時為零視差，當物點處在焦平面近、遠側時為正、負視差。

遠點與近點為系統(tǒng)可能清晰記錄與呈現(xiàn)立體圖像的物空間深度極點，在立體攝像機景深內的所有物點都將呈現(xiàn)清晰的立體圖像。由式(20)和式(21)可知，遠點與近點位置是由鏡頭F(F=f/D)決定，因此，可用需清晰呈現(xiàn)立體場景遠、近點為依據(jù)來確定鏡頭D值，得

(32)

或

(33)

超出景深的物點將變得模糊不清，但它們的物像更接近或遠離觀眾，對立體場景的渲染起到不可低估的作用。

3.5 與集成成像系統(tǒng)記錄深度對比

集成成像3D技術記錄圖像的最大顯示深度在p0=Iδ0時僅為[14]

ΔSmax=(I-2)Δ0

(34)

且立體影像只顯示在屏幕的后方，所呈現(xiàn)的立體圖像深度有限。對比式(31)可知，本系統(tǒng)的顯示立體深度與集成成像3D技術相比有了很大提高。并可通過控制P與(I-1)Iδ0關系來達到所需的顯示深度。

當系統(tǒng)對焦于1 m，顯示放大倍率K2=10，由式(22)、式(31)、式(34)得圖5所示單鏡頭真3D立體攝像的記錄景深、顯示立體深度與集成成像顯示深度與I的對應關系圖。

圖5 記錄景深、立體深度

4 結論

真3D立體攝像與顯示是立體攝像發(fā)展的必然趨勢，在現(xiàn)代通信、醫(yī)療、軍事中有著非常重要的作用。單鏡頭真3D立體攝像系統(tǒng)結構簡單，技術要求不高，能呈現(xiàn)較深的三維場景，有利于真3D立體圖像技術推廣，具有較高的研究與應用價值。

[1] 鄭華東，于瀛潔，程維明.三維立體顯示技術研究新進展[J].光學技術，2008，34(3)：426-430.

[2] 鄧歡，王瓊華，李大海，等.平行攝像機陣列移位法獲取視差圖像的研究[J].光子學報，2009，38(11)：2985-2988.

[3] 全春洪，楊楊，游福成.三維全景圖像生成技術[C]//立體圖像技術及其應用研討會論文集.天津：[出版者不詳]，2005：23-26.

[4] 張德忠.球面光柵全息立體圖像攝取設備：中國，CN 201926863 U[P].2011-08-10.

[5] 周磊，瓊華，李大海，等.立體顯示用柱面透鏡光柵的設計[J].光子學報，2009，38(1)：30-33.

[6] 張德忠，賈正松.復眼立體機器人視覺仿真[J].電視技術，2011，35(20)：35-37.

[7] 謝俊國，周永明，于丙濤. 基于微透鏡陣列實現(xiàn)全真立體顯示技術的研究[J].中國體視學與圖像分析，2008(1)：42-46.

[8] 張德忠，賈正松，王志強.無重影立體電視攝像技術的研究[J].電視技術，2008，32(2)：75-77.

[9] 焦甜甜，王瓊華，李大海，等. 基于3DS MAX的集成成像研究[J]. 液晶與顯示，2008，23(5)：621-623.

[10] 郝敦博，李大海，王瓊華，等.柱面透鏡自由主體顯示器的分辨率損失研究[J].液晶與顯示，2008(8)：494-498.

[11] 王清英.景深公式的推導[J].南陽師范學院學報，2003(3)：24-26.

[12] 賈正松，張德忠.無重影立體圖像特點與應用[J].電視技術，2011，35(5)：62-64.

[13] 張德忠，賈正松.無重影立體電視顯示技術的研究[J].電視技術，2009，33(9)：35-37.

[14] 王芳，黎達，趙星，等.集成成像三維顯示系統(tǒng)立體深度的研究[J]. 中國激光，2011，38(12)：1-5.

Single Lens Really 3D Stereo Camera Technology

ZHANG Dezhong

(SichuanCollegeofInformationTechnology,SichuanGuangyuan628017，China)

Aiming at the integrated recording imaging technology has the shortcomings such as stereoscopic depth is small, image capturing technology requires higher, one kind of single lens really 3D stereo camera system is proposed. The system structure, principle, parameter design, the core element of the display effect of several aspects of system are analyzed. Research shows that, single lens really 3D stereo camera 3D scene system can record and present the deeper, and can make the focal adjustment in a certain range, and has the advantages of simple structure, is conducive to the promotion of stereo image technology really 3D, has high value of research and application.

integrated imaging; true 3D stereo;parallax; stereo depth; viewport

四川省教育廳重點項目(13ZA0329)

TN949.13；TN942

A

10.16280/j.videoe.2015.16.013

2014-12-25

【本文獻信息】張德忠.單鏡頭真3D立體攝像技術[J].電視技術,2015，39(16).

張德忠(1970— )，教授級高工，主要研究方向為立體電視技術。

責任編輯：閆雯雯