雙向3D圖像傳感器及其邏輯算法

蔡興旺，韓嶺，梁發(fā)云

(南昌大學(xué)機(jī)電工程學(xué)院，江西 南昌 330031)

高端顯示技術(shù)要求真實(shí)地還原三維世界，達(dá)到臨場(chǎng)感、浸入感和真實(shí)感的視覺屬性[1-2]。人類使用雙目獲取視覺信息從而感受3D效果，因此，獲取具有視差的左右眼圖像是形成3D視頻的重要前提。對(duì)于視差圖像的獲取，伍能舉[3]、劉助奎[4]首先拍攝單一角度的2D視頻，然后通過繪制虛擬視點(diǎn)或者2D視頻轉(zhuǎn)3D視頻軟件轉(zhuǎn)換出具有視差的圖像，但以此類方式生成的視差圖像與真實(shí)三維場(chǎng)景的深度信息存在偏差。文獻(xiàn)[5-6]設(shè)計(jì)了兩視點(diǎn)和多視點(diǎn)3D視頻采集系統(tǒng)，但是這種拍攝設(shè)備只能獲取單一方向的3D圖像，不便于多個(gè)方向3D視頻圖像的同步獲取。對(duì)于左右眼視差圖像的處理，張春雨等[7]研究了以軟件方式處理數(shù)據(jù)的方法。本文根據(jù)雙眼視覺機(jī)制構(gòu)建雙向3D圖像傳感器，可以實(shí)時(shí)采集具有左右眼視差的圖像信息。構(gòu)建便攜化的雙向3D圖像傳感器，可以滿足汽車前后方向同步監(jiān)控等場(chǎng)合的需求。并使用FPGA芯片構(gòu)建數(shù)字化、微型化圖像處理系統(tǒng)，利用FPGA高速并行處理數(shù)據(jù)的能力提高系統(tǒng)運(yùn)算效率。雙向3D圖像傳感器可應(yīng)用于需要同步獲取兩個(gè)方向3D圖像的場(chǎng)合，四目同幀等系統(tǒng)邏輯算法可為航拍多方向3D圖像采集、監(jiān)控等系統(tǒng)的設(shè)計(jì)提供參考和支持。

1 3D仿生原理

人的左、右眼存在大約65 mm的水平間距，雙眼觀看同一物體時(shí)在視網(wǎng)膜上形成具有視差的左右立體對(duì)圖像，經(jīng)過大腦融合使人們產(chǎn)生3D視覺。根據(jù)視差3D原理，3D圖像傳感器可以采用兩個(gè)相同型號(hào)的CMOS圖像傳感器及其鏡頭組模擬人的雙眼，相隔一定間距安裝在同一水平線上，能夠獲取具有左右視差的立體對(duì)圖像。3D圖像或視頻由左眼圖像和右眼圖像構(gòu)成[8],從仿生學(xué)角度來說，人眼的機(jī)能可以保證同步獲取圖像并經(jīng)視覺神經(jīng)傳送至視覺中樞形成三維圖景。3D圖像傳感的采集示意圖如圖1所示。

圖1 3D圖像傳感器的采集示意圖Fig.1 Schematic diagram of 3D image sensor acquisition

2 雙向3D圖像傳感器的系統(tǒng)構(gòu)成

在3D圖像傳感器的基礎(chǔ)上進(jìn)一步構(gòu)建雙向3D圖像傳感器，其硬件系統(tǒng)主要包括：FPGA、兩組雙攝像頭模組、緩沖存儲(chǔ)器SDRAM以及視頻輸出接口。在兩個(gè)方向分別配置雙攝像頭模組，F(xiàn)PGA作為主控芯片，使用微電子方式實(shí)現(xiàn)兩個(gè)方向3D圖像的同步獲取，通過數(shù)字邏輯方法完成四路視頻流的合幀處理并輸出，系統(tǒng)構(gòu)成如圖2所示。

圖2 系統(tǒng)結(jié)構(gòu)框圖Fig.2 System structure block diagram

根據(jù)系統(tǒng)結(jié)構(gòu)的規(guī)劃，初步研制出雙向3D圖像傳感器樣機(jī)用于邏輯算法的調(diào)試和實(shí)驗(yàn)。選擇具有豐富邏輯資源和足夠I/O引腳的FPGA開發(fā)板，完成雙向3D圖像傳感器的構(gòu)建[9]。由于該開發(fā)板的接插引腳排列在L形側(cè)邊，所以，首先將兩組雙攝像頭模組呈L形配置，拍攝夾角為90°的兩個(gè)方向，如圖3所示。也可以使用軟排線連接其中一組雙攝像頭模組，從而改變?cè)摻M雙攝像頭模組的位置和拍攝方向，使兩組攝像頭拍攝方向呈前后排列，用于同步采集前后方向的視差圖像。

圖3 雙向3D圖像傳感器Fig.3 Bidirectional 3D image sensor

3 系統(tǒng)邏輯算法

基于FPGA設(shè)計(jì)系統(tǒng)邏輯算法，雙向3D圖像傳感器通過FPGA芯片控制3D圖像輸入到輸出過程。系統(tǒng)上電后自檢無(wú)誤，圖像傳感器配置模塊同步啟動(dòng)，配置寄存器組參數(shù)確定每個(gè)CMOS型圖像傳感器的工作模式，如分辨率、幀率、圖像數(shù)據(jù)格式等[10]。配置結(jié)束后觸發(fā)圖像傳感器工作，按照幀同步、行同步和像素脈沖的時(shí)序輸出視頻圖像數(shù)據(jù)。圖像數(shù)據(jù)采集模塊捕捉3個(gè)同步信號(hào)，并根據(jù)脈沖時(shí)序把圖像數(shù)據(jù)傳輸至下級(jí)模塊。

由于圖像傳感器與輸出顯示設(shè)備所用時(shí)鐘不同且?guī)l不匹配，因此設(shè)計(jì)輪序緩存算法解決跨時(shí)鐘域問題。設(shè)計(jì)4個(gè)寫FIFO和4個(gè)讀FIFO，與SDRAM緩存器構(gòu)成“4個(gè)寫FIFO+SDRAM+4個(gè)讀FIFO”的三緩沖池緩沖結(jié)構(gòu)。4個(gè)圖像傳感器采集的圖像數(shù)據(jù)首先存入寫FIFO緩存，再按次序輸出到SDRAM中，下級(jí)四目同幀控制模塊需要數(shù)據(jù)時(shí)，按照時(shí)序要求從讀FIFO中輸出數(shù)據(jù)，以此完成系統(tǒng)的跨時(shí)鐘域處理[11]。

考慮到雙向3D圖像傳感器工作狀態(tài)的實(shí)時(shí)檢測(cè)，設(shè)置視頻顯示的接口用于連接外部監(jiān)視器或顯示屏，從而保證系統(tǒng)采集的視頻數(shù)據(jù)能夠準(zhǔn)確呈現(xiàn)。雙目3D圖像傳感器采用四目同幀的合幀視頻，在視頻幀中均分為四目圖像區(qū)[12]。L1、R1區(qū)分別顯示同一方向兩個(gè)攝像頭采集的左右眼視差圖像，L2、R2區(qū)分別顯示另一方向兩個(gè)攝像頭采集的左右眼視差圖像。攝像頭視頻幀的分辨率可根據(jù)實(shí)際情況設(shè)定，在此以3 840×2 160的分辨率為例規(guī)劃四目同幀視頻輸出格式。

圖4 四目同幀左右格式Fig.4 Format of four items in the same frame

將圖像數(shù)據(jù)寫入SDRAM時(shí)需要進(jìn)行精確的地址控制，這是影響四目同幀格式正確輸出的關(guān)鍵。因此，根據(jù)圖像輸出像素位置準(zhǔn)確計(jì)算突發(fā)寫入SDRAM的起始地址。B表示SDRAM一次突發(fā)寫入的數(shù)據(jù)個(gè)數(shù)，EL表示L1、L2區(qū)一行結(jié)束的像素計(jì)數(shù)，SL表示L1、L2區(qū)一行開始的像素計(jì)數(shù)。C表示一個(gè)區(qū)的一行像素?cái)?shù)據(jù)需要寫入的完整突發(fā)計(jì)數(shù)，Y表示不足一次完整突發(fā)的余量。由于L1、R1、L2、R2各區(qū)分辨率相同，因此完整突發(fā)次數(shù)C以及突發(fā)余量Y相等?？捎?jì)算出：

C=(EL-SL)/B

(1)

Y=(EL-SL)%B

(2)

根據(jù)每個(gè)區(qū)的完整突發(fā)次數(shù)C以及突發(fā)余量Y，進(jìn)一步計(jì)算突發(fā)寫入SDRAM的起始地址，保證四路視頻的精確拼接。VL1、HL1分別表示當(dāng)前幀已經(jīng)寫入SDRAM的數(shù)據(jù)對(duì)應(yīng)四目同幀拼顯示中的行、列計(jì)數(shù)，AL1為L(zhǎng)1區(qū)正在寫入的行已經(jīng)完成的完整寫突發(fā)數(shù)，WL1為L(zhǎng)1區(qū)的寫突發(fā)起始地址。由此計(jì)算出：

WL1=B×(HL1+(2C+2)×(AL1+VL1))

(3)

WR1=B×((C+1+HR1)+(2C+2)×(AR1+VR1))

(4)

WL2=B×((C+1+HL2)+(3C+3)×(AL2+VL2))

(5)

WR2=B×((C+1+HR2)+(4C+4)×(AR2+VR2))

(6)

計(jì)算出L1、R1、L2、R2各區(qū)每次突發(fā)寫入SDRAM的寫起始地址，通過對(duì)SDRAM的地址進(jìn)行控制，以此實(shí)現(xiàn)雙向3D圖像傳感器四目同幀格式的精確拼接。根據(jù)SDRAM地址依次讀出，即可輸出四目同幀的視頻格式。

4 調(diào)試與實(shí)驗(yàn)

根據(jù)3D視頻處理的要求，使用硬件描述語(yǔ)言編寫圖像傳感器同步配置模塊、圖像數(shù)據(jù)采集模塊、輪序緩存控制模塊、四目同幀控制模塊、監(jiān)控顯示控制模塊。使用Quartus Ⅱ進(jìn)行編譯，以JTAG方式下載至FPGA，通過調(diào)試之后，可以在監(jiān)控顯示器上觀察到四目同幀的視頻圖像。

使用SignalTap Ⅱ工具獲取寄存器配置時(shí)序如圖5所示。4個(gè)圖像傳感器配置總線的時(shí)鐘信號(hào)和數(shù)據(jù)信號(hào)時(shí)序完全同步，表明4個(gè)圖像傳感器配置同步，保證了圖像數(shù)據(jù)的同步采集。

圖5 同步配置時(shí)序圖Fig.5 Timing chart of synchronous configuration

寄存器配置完成后開始采集圖像，通過SignalTap Ⅱ獲取4個(gè)圖像傳感器輸出的行同步和場(chǎng)同步脈沖時(shí)序，如圖6所示，可見4個(gè)圖像傳感器的視頻輸出完全同步。

把雙向3D圖像傳感器放置在四周遮擋的實(shí)驗(yàn)箱內(nèi)，并在兩組3D圖像傳感器前方分別放置飛機(jī)模型和布偶。使用大尺寸電視機(jī)作為輸出顯示設(shè)備，雙向3D圖像傳感器通過VGA接口輸出2個(gè)方向的視差圖像，系統(tǒng)上電后穩(wěn)定運(yùn)行，四目同幀視頻輸出如圖7所示。

(b)場(chǎng)信號(hào)時(shí)序圖6 行場(chǎng)同步Fig.6 Horizontal and vertical synchronous signals

圖7 四目同幀3D視頻Fig.7 Four eyes 3D video at the same frame

通過電視機(jī)屏幕可以觀看到3D視頻圖像，屏幕上半部分顯示區(qū)的兩個(gè)窗口顯示一組3D圖像傳感器采集的左右眼圖像，下方兩個(gè)窗口分別顯示另一方向3D圖像傳感器采集的左右眼圖像。

5 結(jié)束語(yǔ)

本文提出了微型化雙向3D圖像傳感器的系統(tǒng)構(gòu)成方法，研制了雙向3D圖像傳感器樣機(jī)，研究了輪序緩存和四目同幀硬件邏輯算法，規(guī)劃了3D視頻幀的結(jié)構(gòu)。該雙向3D圖像傳感器能夠同步采集兩個(gè)方向的3D圖像，并輸出3D合幀視頻，能夠解決當(dāng)前3D拍攝設(shè)備的不足之處。實(shí)驗(yàn)表明，硬件設(shè)計(jì)方法合理且數(shù)字邏輯算法正確，可為全向3D圖像傳感器的研制提供參考，可促進(jìn)3D視頻處理集成電路(IC)的產(chǎn)業(yè)化。