基于FPGA的多模式實時立體顯示系統(tǒng)設(shè)計

劉來成，周文暉，樓 斌，鄭 寧

(杭州電子科技大學計算機應用技術(shù)研究所，浙江杭州310018)

0 引言

三維立體顯示有著廣泛的應用前景。是未來發(fā)展的一種趨勢［1］。立體顯示技術(shù)通常分為戴眼鏡或裸眼兩類，雖然裸眼立體顯示技術(shù)具有不受觀看設(shè)備的限制，但目前裸眼立體顯示技術(shù)存在觀看距離受限，以及更易產(chǎn)生視覺疲勞等不足。因此當前主流立體顯示技術(shù)通常是采用分時和分色技術(shù)［2］。采用FPGA實現(xiàn)分時/分色立體顯示具有占用空間小，設(shè)計靈活;可以脫機運行，相比于PC機更方便簡潔，易于移植;相比于DSP、ARM等有并行運算、速度快的優(yōu)勢。通過相關(guān)參數(shù)的修改，系統(tǒng)能適用于不同分辨率的顯示器，具有很好的適用性。近期Istavan Andorko和ZHANG Guangwei等人分別提出了基于FPGA的分時立體顯示系統(tǒng)［3，4］。但這些系統(tǒng)功能較為單一，只實現(xiàn)分時顯示。本系統(tǒng)針對當前基于FPGA立體顯示系統(tǒng)的不足，提出一種基于FPGA的集分色和分時技術(shù)于一體的多模式立體顯示系統(tǒng)。

1 立體顯示的工作原理

人眼有分辨三維物體空間位置的能力，從而對現(xiàn)實世界的事物有形象的感知和判斷。形成深度感的主要因素是兩眼存在視差，觀察物體時兩眼存在一定間距，左右眼中成像略有差異，通過大腦的分析綜合，左右圖融合為單幅圖像而產(chǎn)生立體感［5］。立體顯示技術(shù)大致分為:分色、分時、分光以及光柵式顯示等。它們具有的共同點:左右眼分別看到左右視圖［6］。

分色技術(shù)的原理是左圖紅分量經(jīng)過紅鏡片進入左眼，右圖藍綠分量經(jīng)過藍色鏡片進入右眼［7］。如圖1所示，分別將左圖紅分量和右圖藍綠提取，合成一張紅藍圖片，戴上紅藍眼鏡觀看時，左眼看到紅色的左圖，右眼看到藍綠的右圖，雙眼看到的不同圖像經(jīng)過融合在大腦中呈現(xiàn)出立體效果。分時立體顯示是將兩路圖像序列快速交替的顯示，通過液晶開關(guān)眼鏡，當顯示器顯示左(右)圖像時左(右)鏡片透光而右(左)鏡片不透光，原理如圖2所示。

紅藍眼鏡價格便宜，片源多，普通顯示器就能支持，但立體感及色彩較差。分時立體的質(zhì)量好，色彩保真度高，缺點是片源少，液晶開關(guān)眼鏡也較貴，對顯示器要求也高。實驗表明，幀頻為85Hz時，視頻的閃爍已經(jīng)很輕，達到100Hz時，可保證立體圖像清晰無閃爍［6］。

圖1 分色立體顯示原理示意圖

圖2 分時立體顯示原理示意圖

2 多模式立體顯示系統(tǒng)結(jié)構(gòu)

該系統(tǒng)使用自制雙目子卡采集視頻，子卡使用兩片Micro生產(chǎn)的MT9M111 CMOS感光芯片。通過I2C對芯片配置，獲得兩路幀率為15fps、RGB565格式，1 280×1 024分辨率的視頻。RGB565彩色模式一個象素占兩個字節(jié)，在FPGA中拼接成一幅完整信息的圖片。左右兩幅視頻乒乓緩存到SDRAM中，分別將左圖的紅和右圖的藍綠分量提取出來合成實現(xiàn)分色顯示。將左右兩幅圖像序列交替顯示實現(xiàn)分時顯示。系統(tǒng)的硬件結(jié)構(gòu)框圖如圖3所示。

圖3 系統(tǒng)的硬件框圖

FPGA芯片為Altera低成本、高密度Cyclone?II系列的EP2C70。邏輯單元(LE)68 416個，250個M4K嵌入存儲器區(qū)塊，嵌入RAM 1.1Mb，每個區(qū)塊有4 096位存儲器，150個嵌入乘法器，有4個用于系統(tǒng)時鐘管理的PLL。SDRAM的數(shù)據(jù)總線寬度為16bits，最高支持166MHz的讀寫頻率。輸出端D/A芯片為3通道10 bits高速數(shù)模轉(zhuǎn)換芯片ADV7123，最高支持分辨率1 600×1 200，100Hz刷新頻率。

3 立體顯示系統(tǒng)的FPGA硬件設(shè)計

3.14端口SDRAM控制器

該系統(tǒng)使用兩片32MB SDRAM分別作為兩路視頻數(shù)據(jù)的乒乓?guī)?，并通過4端口SDRAM控制器使用。4端口SDRAM控制器包括兩個寫入端FIFO和兩個讀出端FIFO，如圖4所示(虛線框)，本設(shè)計中所使用的FIFO的大小為512×16bit。4個異步FIFO主要用于實現(xiàn)不同時鐘域數(shù)據(jù)同步的功能。寫入端有FIFO A和FIFO B，進入FIFO的時鐘為27MHz，從FIFO中讀入到SDRAM的時鐘為166MHz;在控制器的讀出端有FIFO C和FIFO D，它們寫入FIFO的時鐘為166MHz，從FIFO中讀出時鐘為VGA控制模塊的時鐘108MHz。

圖4 4端口SDRAM控制器

該系統(tǒng)中，將SDRAM分配兩個獨立的1 280×1 024×2字節(jié)的地址空間，并分別結(jié)合兩個寫FIFO和兩個讀FIFO，實現(xiàn)兩幀數(shù)據(jù)的乒乓緩存與讀取。

寫入數(shù)據(jù)時，相鄰兩幀乒乓寫入到FIFO A和FIFO B中，根據(jù)選擇信號Sel_write進行判斷相應的FIFO是否滿256字寫入SDRAM中。在讀出端，根據(jù)選擇信號Sel_read判斷FIFO A和FIFO B乒乓讀取，判斷到讀滿256字后切換到另外的FIFO，實現(xiàn)乒乓操作。并將讀到FIFO中的數(shù)據(jù)送到下一級VGA Controller進行處理。

3.2 分色、分時立體顯示系統(tǒng)

在分時顯示方案中，使用雙路圖像序列交替控制模塊，實現(xiàn)雙路讀取的切換以及單路中A、B兩個幀地址空間的切換。

同步信號發(fā)射器，通過開發(fā)板上的USB口供電，接受FPGA處理后的視頻信號作為輸入;連接CRT顯示器上顯示，通過輸出端口連接到主動式快門3D分時立體眼鏡上。同步信號發(fā)射器上有一個左/右眼互換鍵，可以將立體眼鏡的左/右眼影像對調(diào)互換，每按鍵一次即左/右眼對調(diào)一次，用來同步立體眼鏡與顯示器上的信號。

雙路切換:通過判斷幀信號的上升沿實現(xiàn)rFont信號的反轉(zhuǎn)，使用rFcont信號來控制切換左右路的讀取操作。具體為，rFcont為0時，讀取左路一幀數(shù)據(jù)，即向左路發(fā)送讀有效信號;反之，為1時，讀取右路一幀數(shù)據(jù)。從而實現(xiàn)左右圖的分時讀取操作，時序如圖5所示。

分色顯示方案中左圖紅分量和右圖藍綠分量合成為一幅圖像。通過VGA控制模塊發(fā)出的讀有效信號，實現(xiàn)左右兩路幀緩存的同步讀取，將左路R分量低位補0，拼接為8bit數(shù)據(jù)賦給VGA控制模塊的R通道;同時，將右路G、B分量分別補零拼接為8bit數(shù)據(jù)，分別賦給VGA控制模塊的G通道和B通道。最終顯示一幀包含左圖的R分量和右圖的G、B分量的立體圖像，如圖6所示Signal Tap II采集的波形。

圖6 紅藍拼接模塊

3.3 兩種模式之間的切換

分時、分色兩種模式之間可以通過模式寄存器來切換，如圖7所示。切換信號到來時，不一定發(fā)生在下一幀圖片剛開始的時候，此時切換就會造成畫面混亂。通過檢測幀開始來解決。切換信號到來后，檢測到下一幀信號開始就轉(zhuǎn)到另一種模式。如果顯示器的刷新頻率不足85Hz，采用紅藍立體顯示模式觀看效果較好，否則就用液晶開關(guān)眼鏡觀看分時立體視頻。

圖7 分時與分色兩種模式切換的時序圖

4 實驗結(jié)果及分析

為達到更佳顯示效果，雙目光心的距離(基線)不宜過大，一般選取人雙眼的間距65mm。分色顯示:顯示器分辨率為1 280×1 024，戴上紅藍眼鏡能得到明顯立體效果。分時顯示時調(diào)整分辨率為1 280×1 024，刷新頻率為74Hz時，屏幕有稍微的閃爍;調(diào)整分辨率為640×480，刷新頻率為84Hz時，屏幕閃爍明顯減輕。對比文獻3中提出的系統(tǒng)，使用的是Xilinx生產(chǎn)的Virtex 4 FPGA，該系統(tǒng)使用的Cyclone II系列的FPGA，占用資源少，性價比更高。

FPGA的型號為EP2C70F896C6，資源使用情況如表1所示:該芯片中有68 416個LE資源，其中4%在這個工程中使用，3%用于實現(xiàn)組合邏輯，3%用于實現(xiàn)寄存器，即時序邏輯;組合邏輯與時序邏輯的使用比例是1:1。引腳總數(shù)為622個，使用了232個，占了37%。該器件的片內(nèi)存儲器總大小是1 152 000bits，在該工程中使用了858 112bits，使用率是74%。

表1 FPGA的使用資源

5 結(jié)束語

該文就當前立體顯示中最被廣泛使用的分時和分色技術(shù)，基于FPGA平臺進行了設(shè)計與實現(xiàn)。設(shè)計中將分時和分色兩種方案集成在一個系統(tǒng)中，減少了重復工作，并實現(xiàn)了通過模式寄存器高效切換。另外，該系統(tǒng)還具備雙目場景的同步抓取，實現(xiàn)了簡單的立體相機功能。通過實際的演示觀看，能達到很好的實時立體效果。系統(tǒng)可作為立體顯示的原型樣機，同時FPGA芯片豐富的資源給后續(xù)算法、功能的加入提供了空間。

［1］ 李小方，王瓊?cè)A.自由立體顯示器觀看視疲勞［J］.液晶與顯示，2008，23(4):464－467.

［2］ 王瓊?cè)A，王愛華.三維立體顯示綜述［J］.計算機應用，2010，30(3):579－581.

［3］ Istvan Andorko，Peter Corcoran，Petronel Bigioi.Hardware implementation of a real-time 3D video acquisition system［C］.Basov:National University of Ireland，2010:920－925.

［4］ Zhang Guangwei，An Zhiyong.FPGA-based hardware to achieve the stereoscopic display［C］.Beijing:Changchun University of science and technology，2008:1 732－1 735.

［5］ 張宇輝，呂國強，胡躍輝，等.立體顯示的雙目模型算法及實現(xiàn)［J］.計算機工程與應用，2006，42(5):65－67.

［6］ 康立民.立體照片的拍攝及合成［J］.北京機械工業(yè)學院學報，1996，11(2):30－42.

［7］ 李娟，關(guān)祥宏.基于微機的三維真立體顯示技術(shù)評述［J］.鐵路勘察，2005，31(2):24－27.