張 平，湯勇明，夏 軍，吳 忠

(東南大學(xué)電子科學(xué)與工程學(xué)院，南京210096)

面向裸眼3D顯示的實時多視角視頻采集系統(tǒng)設(shè)計*

張 平，湯勇明*，夏 軍，吳 忠

(東南大學(xué)電子科學(xué)與工程學(xué)院，南京210096)

針對裸眼3D顯示屏研究了一種實時多視角視頻采集系統(tǒng)。該系統(tǒng)使用高清網(wǎng)絡(luò)攝像頭陣列進(jìn)行多視點原始畫面拍攝，通過網(wǎng)絡(luò)傳輸視頻流，視頻數(shù)據(jù)經(jīng)過解碼、矯正、合成等處理后變?yōu)榫哂卸鄠€視點(水平方向)的實時視頻圖像。實驗結(jié)果表明，該系統(tǒng)較好地解決了實際拍攝中存在的畸變、圖像對齊等問題，實現(xiàn)了實時4個視點(水平方向)的全高清視頻輸出，能直接在特定的裸眼3D顯示器上觀看。

立體視覺;實時多視角視頻;攝像機陣列;矯正

實時裸眼3D多視點立體顯示將是未來顯示系統(tǒng)的主要形式，而構(gòu)建實時視頻源將是其中的關(guān)鍵技術(shù)。目前市場上多視角裸眼3D實時視頻源的成熟產(chǎn)品較少，已有產(chǎn)品主要為通過2D轉(zhuǎn)3D實現(xiàn)的非裸眼視頻源，存在3D效果差，視點少等缺點。國內(nèi)外相關(guān)研究也主要集中于非實時性3D視頻源，這些研究往往對攝像頭要求較高或者需要較多的處理時間。

東南大學(xué)對傳統(tǒng)集成成像做了相應(yīng)改進(jìn)，開展了裸眼3D顯示器的研究工作，提出了一種集成成像微透鏡陣列制備方法［1-2］，該透鏡陣列可直接用于現(xiàn)有顯示器，配合畫面處理，即可實現(xiàn)多視角的裸眼3D效果。本文在上述基礎(chǔ)上開展了一種面向裸眼3D顯示的實時多視角視頻源采集系統(tǒng)設(shè)計。該系統(tǒng)通過攝像頭矩陣拍攝到不同角度的畫面，針對實際拍攝中存在的問題對原圖像進(jìn)行矯正處理，并根據(jù)3D顯示器的參數(shù)將其合成，實現(xiàn)多視角的3D實時視頻源。

1 硬件系統(tǒng)

本文的多視點視頻采集系統(tǒng)硬件體系組成如圖1所示，主要可分為3部分:攝像頭陣列、圖像處理平臺、裸眼3D顯示器。攝像頭陣列采用分辨率為1 920×1 080的網(wǎng)絡(luò)攝像頭水平排列而成;圖像處理平臺通過網(wǎng)絡(luò)接收視頻流后進(jìn)行解碼、矯正、合成處理，最后將其變?yōu)镈VI格式(1 920×1 080)輸出至裸眼3D顯示器。我們選用了Tile-Gx36作為圖像處理平臺的處理器來滿足實時性要求。Tile-Gx36芯片內(nèi)包含36個64 bit RISC架構(gòu)處理器核心，每個核具有1.2 GHz主頻，能滿足本系統(tǒng)中大量的圖像處理運算，同時圖像處理平臺配備了1 000MHz的網(wǎng)口、4G內(nèi)存為視頻處理的實時性提供保障。DVI格式轉(zhuǎn)換模塊將運算處理完的視頻圖像YUV數(shù)據(jù)轉(zhuǎn)換為裸眼3D顯示器要求的DVI格式。

圖1 硬件系統(tǒng)組成示意圖

2 軟件系統(tǒng)

圖像處理平臺軟件工作流程如圖2所示，分為讀取視頻流及解碼、圖像處理、輸出DVI轉(zhuǎn)換3個主要環(huán)節(jié)，其中圖像處理環(huán)節(jié)的關(guān)鍵步驟為矯正、合成。矯正是根據(jù)攝像頭模型中所介紹的參數(shù)，對原始圖像進(jìn)行去畸變、調(diào)整視差等處理。本系統(tǒng)假設(shè)工作時攝像頭陣列保持固定，故該參數(shù)可通過標(biāo)定提前獲得。視頻數(shù)據(jù)進(jìn)行矯正處理后，再根據(jù)3D顯示器的設(shè)置參數(shù)將多個子畫面合成包含多個視點內(nèi)容的畫面，送至DVI輸出轉(zhuǎn)換模塊。

圖2 軟件流程示意圖

實時性是本系統(tǒng)一個難點之一。本系統(tǒng)對處理算法進(jìn)行了大量優(yōu)化，主要可分為3方面:①基于該處理器多核但各核性能不強的情況，使用 SMP Linux系統(tǒng)，同時將處理算法進(jìn)一步細(xì)分，將計算量均攤至各個核，如圖1中Tile-GX36處理器內(nèi)部各個顏色表示不同的任務(wù)，相同顏色不同核為任務(wù)的進(jìn)一步細(xì)分，再通過多線程技術(shù)使各個核得到充分利用。②基于該處理器浮點數(shù)運算較差的情況，將算法中的浮點數(shù)運算轉(zhuǎn)化為整數(shù)運算。③基于該系統(tǒng)內(nèi)存充足但運算量大的特點，通過增加內(nèi)存使用量來減少運算量，如將部分計算通過查表方式實現(xiàn)。

3 攝像頭模型

設(shè)Q(X，Y，Z)為實際世界中的一點(稱該坐標(biāo)系為世界坐標(biāo)，該坐標(biāo)系用大寫XYZ表示，下文相同)，q(x，y，f)為成像平面上一點(稱該坐標(biāo)系為相機坐標(biāo)，該坐標(biāo)系用小寫xyz表示，f為焦距下文相同)，O為攝像頭的光心(即為相機坐標(biāo)原點)，如圖3所示，通過旋轉(zhuǎn)和平移可把世界坐標(biāo)系變?yōu)橄鄼C坐標(biāo)系，即Q在相機坐標(biāo)系上為［R|T］Q。

圖3 攝像頭成像模型

攝像頭拍攝可簡化為圖中模型。故世界坐標(biāo)Q和相機坐標(biāo)q存在。至此，我們再引入像素坐標(biāo)m(u，v)，由于最后畫面是以像素(整數(shù))來表示，單位像素對應(yīng)相機坐標(biāo)為dx，dy。同時由于工藝等原因，像素坐標(biāo)中心不可能100%在中心光軸上，故引入cx，cy，來表示像素平面中心對光軸的偏移。由此，我們可推出式(1):

當(dāng)有多個攝像頭時，由于攝像頭物理上不能做到完全對齊，成像平面必然不可能做到完全平行，最有可能兩攝像頭成像平面交錯，且Z軸上也未對齊。從單個攝像頭的旋轉(zhuǎn)和平移可以推出式(2):

其中，qc1為攝像頭1坐標(biāo)，qc2為攝像頭2坐標(biāo)，R，T分別為各自的旋轉(zhuǎn)和平移矩陣。由此可以得到攝像頭1基于攝像頭2的旋轉(zhuǎn)和平移矩陣。將該原理推廣到更多的攝像頭，假設(shè)都以某個攝像頭為基準(zhǔn)得到相應(yīng)的旋轉(zhuǎn)和平移矩陣，即可得到所有攝像頭的位置信息。

4 標(biāo)定和矯正

攝像頭拍攝到的畫面存在不同程度的畸變。根據(jù)Brown［4］提出的畸變模型，畸變主要分為兩種:徑向畸變和切向畸變。一般情況下離光心越遠(yuǎn)，畸變越大。有以下畸變公式:

徑向畸變:

切向畸變:

攝像頭標(biāo)定主要用于計算式(1)中的內(nèi)參數(shù)矩陣A，R、T為旋轉(zhuǎn)和平移矩陣，Q為世界坐標(biāo)，畸變矩陣D=［k1k2k3p1p2］，再根據(jù)式(2)即可得到攝像頭之間的位置關(guān)系。

本文利用自標(biāo)定方法［5］進(jìn)行標(biāo)定。由上述可知，每個攝像頭共有4個內(nèi)參數(shù)(只跟攝像頭內(nèi)部參數(shù)相關(guān))，6個外參數(shù)(R、T向量，由物體跟鏡頭位置關(guān)系決定)及5個畸變參數(shù)。攝像頭位置固定后，通過同時拍攝多幅角度不同的標(biāo)定物(一般為平面棋盤格圖像)，假設(shè)有N幅圖像(不同位置)，每幅圖有M個角點，則可以提供2N×M個約束，共有9+6N個未知數(shù)(每幅圖內(nèi)參數(shù)相同，畸變參數(shù)相同，外參不同)，理論上只要2N×M＞9+6N即可得到相應(yīng)解。實際使用時，往往通過10幅8×8以上的圖像來保證高質(zhì)量結(jié)果。

矯正主要分為畸變矯正和視差矯正。根據(jù)上述畸變模型，對其做數(shù)學(xué)運算即可得到相應(yīng)結(jié)果。本系統(tǒng)考慮到實際鏡頭邊緣畸變太大，故等比例裁掉相應(yīng)區(qū)域。如原1 920×1 080裁掉后變?yōu)? 600× 900。通過保持比例不變來保證最后圖像不失真。

視差是指現(xiàn)實世界中同一點在不同成像平面上的位移差?？煞譃榇怪币暡詈退揭暡睢１鞠到y(tǒng)目前實現(xiàn)效果為水平多視角畫面，故視差矯正目的為消除垂直視差，調(diào)整水平視差。

由攝像機成像模型可得出，不同攝像頭的坐標(biāo)系通過旋轉(zhuǎn)，平移必然可以重合。本文中視差矯正通過使多個坐標(biāo)系達(dá)到y(tǒng)，z軸重合，x軸保持相應(yīng)距離實現(xiàn)該目的。該過程主要分為3步:(1)對攝像機坐標(biāo)系旋轉(zhuǎn)使其平行;(2)使攝像機坐標(biāo)系y，z重合;(3)調(diào)整x軸。

圖4 坐標(biāo)系對齊方法示意圖

下面介紹一種兩坐標(biāo)系對齊的方法。如圖4所示，先對q2坐標(biāo)系進(jìn)行旋轉(zhuǎn)使兩坐標(biāo)系平行后，建立新坐標(biāo)系(圖中虛線)，以兩坐標(biāo)系原點連線方向為x軸，成像平面內(nèi)與x軸垂直方向為y軸，與x，y共同垂直方向即為 z軸，即新坐標(biāo)系為根據(jù)該坐標(biāo)系構(gòu)建新旋轉(zhuǎn)矩陣(由于坐標(biāo)原點即光心不變，故旋轉(zhuǎn)即可實現(xiàn))，旋轉(zhuǎn)矩陣Rnew通過轉(zhuǎn)置新坐標(biāo)系得到。最后可以得到式(3)，Anew為新的投影矩陣。

將該方法擴展到多攝像頭，首先通過標(biāo)定得知攝像頭參數(shù)后，旋轉(zhuǎn)各攝像頭畫面使其平行;然后確定多攝像頭光心理想連線，根據(jù)上述方法將各攝像頭畫面投影至所需位置，如圖4所示，虛線坐標(biāo)系即可得到垂直視差為0的畫面;最后根據(jù)3D顯示器及人眼觀看舒適度的需求調(diào)節(jié)x軸位置(水平視差大小)。

5 圖像合成

目前市面上的裸眼3D顯示器根據(jù)實現(xiàn)原理主要可分為視差擋板法，透鏡陣列法，微鏡投影法，微位相差板法，指向光源法，全息等。家用電器上透鏡陣列法應(yīng)用較多，主要原理為通過透鏡使左右眼看到不同的子畫面，從而產(chǎn)生立體感。

系統(tǒng)連接?xùn)|南大學(xué)研制的集成成像微透鏡陣列裸眼3D顯示器作為視頻輸出終端。圖像合成算法與該微透鏡陣列的排布一致，將處理后多個攝像頭畫面按一定規(guī)則重新排布。本文中采用透鏡陣列為4×480×1 080，即每個單元為水平分布的4個像素，共480×1 080組。通過該透鏡陣列，水平方向上將有4個視場。將4個攝像頭畫面合成后，觀察者在不同角度觀看時，將看到不同的子畫面，實現(xiàn)了多視角的需求。

6 實驗系統(tǒng)

圖5 系統(tǒng)實物圖

本系統(tǒng)實物如圖5所示，左邊為攝像頭陣列，目前為水平排布，后期可增加攝像頭個數(shù)擴展成多層結(jié)構(gòu);右邊為圖像處理平臺。

本系統(tǒng)最后形成水平方向具有4個視點的畫面，每個視點有效分辨率為(480×1 080)，但觀看者觀看時，顯示器長寬比是16∶9(1080p格式)的。故原畫面我們通過1 920×1 080的攝像頭采集，使畫面長寬比保持一致。4路攝像頭采集數(shù)據(jù)(1 920×1 080)經(jīng)處理后以DVI格式輸出1080p全高清畫面，DVI輸出幀率為60幀/s，有效幀率為25幀/s，剩余35幀為重復(fù)25幀有效幀得到。圖6為攝像頭采集的原圖，由該圖看出，4個攝像頭明顯沒有對齊，還存在一定傾斜。圖7為矯正后效果，圖中垂直視差已基本消除，水平視差基本均等。圖8為合成后圖，該圖由圖7中4幅子圖水平拼接得到。觀察該圖，我們發(fā)現(xiàn)現(xiàn)實中的同一點在圖中相應(yīng)水平線上，且視差基本相等，保證了立體感及多視角的連貫性。

圖6 攝像頭采集原圖

圖7 矯正后畫面

圖8 合成圖

7 結(jié)束語

本文開展了一種面向新型裸眼3D顯示器的實時多視角視頻采集系統(tǒng)設(shè)計，可將現(xiàn)實場景經(jīng)多個攝像頭拍攝后通過網(wǎng)絡(luò)傳輸，在多核處理器內(nèi)部進(jìn)行相應(yīng)處理轉(zhuǎn)化為3D視頻，該視頻可在裸眼3D顯示器上顯示。本系統(tǒng)目前已實現(xiàn)了水平方向的4個視角、25幀/s有效幀率、單視點分辨率480×1 080，合成FHD分辨率的視頻信號等功能。

［1］ 程杰杰.兩相流液體透鏡的動態(tài)模型與仿真研究［D］.南京:東南大學(xué)，2011:33-51.

［2］ Xia J，Qu D，Yang H，et al.Self Assembly Polymer Microlens Array for Integral Imaging［J］.Displays，2010，31(4):186-190.

［3］ 繆陳峰.集成成像子圖陣列獲取方法的研究［D］.南京:東南大學(xué)，2013:13-42.

［4］ Duane C B R N.Close-Range Camera Calibration［J］.Photo-grammetric Engineering，1971，37(8):855-866.

［5］ Zhang Z.Flexible Camera Calibration by Viewing a Plane from Unknown Orientations［C］//Computer Vision，1999.The Proceedings of the Seventh IEEE International Conference on.IEEE，1999，1:666 -673.

［6］ Taguchi Y，Koike T，Takahashi K，et al.TransCAIP:A live 3D TV System Using a Camera Array and an Integral Photography Display with Interactive Control of Viewing Parameters［J］.Visualization and Computer Graphics，IEEE Transactions on，2009，15(5): 841-852.

［7］ 張兆楊，安平，劉蘇醒.3D多視點立體顯示及其關(guān)鍵技術(shù)［J］.電子器件，2008，31(1):302-307.

［8］ 王瓊?cè)A，陶宇虹，李大海.基于柱面光柵的液晶三維自由立體顯示［J］.電子器件，2008，31(1):296-298.

［9］ Kang Y S，Lee C，Ho Y S.An Efficient Rectification Algorithm for Multi-View Images in Parallel Camera Array［C］//3DTV Conference:The True Vision-Capture，Transmission and Display of 3D Video，2008.IEEE，2008:61-64.

［10］王淑仙，汪靜，邱崧，等.基于單片DMD的裸眼立體顯示的實現(xiàn)方法研究［J］.電子器件，2008，31(1):325-328.

［11］陳華華，杜歆，李宏東.平行多基線立體視覺圖像校正［J］.浙江大學(xué)學(xué)報(工學(xué)版)，2004，38(7):799-804.

［12］Huang Y S，Xia J，Yin H C.Three-Dimensional Scene Recon-struction by Using Lenslet Array Model in Computational Integral Imaging［C］//International Conference on Optical Instrumentation and Technology.International Society for Optics and Photonics，2009: 75131E-75131E-8.

［13］郭秋艷，安平，張兆楊.基于多視點圖像的攝像機自標(biāo)定［J］.電子器件，2008，31(1):290-295.

［14］ Gary Bradski，Adrian Kaehler.Learning OpenCV［M］.Oreilly，2008:406-498.

張 平(1989- )，男，漢族，浙江省紹興市人，東南大學(xué)碩士在讀，主要研究方向為嵌入式研究和應(yīng)用，zping01234 @163.com;

湯勇明(1973- )，男，漢族，江蘇省江都市人，東南大學(xué)研究員，主要研究方向為電子電路設(shè)計，tym@seu.edu.cn。

Glass-Free 3D Display Oriented Real-Time Multi-View Video Capture System Design*

ZHANG Ping，TANG Yongming*，XIA Jun，WU Zhong
(School of Electronic Science and Engineering，Southeast University，Nanjing 210096，China)

This paper implements a real-time system for multi-view glass-free 3D video.Its input image is captured by some high definition cameras，then it transfers the data through the net.To obtain the output video with some horizontal view angles，we process these data with decoding，rectification，composition.As the experimental results shows that the camera capturing problems like distortion and image alignment are solved and the real-time full HD video with four view angles realized by the system could be watched immediately on the specific glass-free 3D display.

stereo vision;real-time multi-view video;camera array;calibration

10.3969/j.issn.1005－9490.2014.02.009

TN27

A

1005－9490(2014)02－0210－05

項目來源:新型國家“863”項目(2012AA03A302)

2013-06-12修改日期:2013-07-07

EEACC:7200