立體視覺編輯技術(shù)研究與設(shè)計

韓志宏，余 剛，謝世斌

（成都索貝數(shù)碼科技股份有限公司 基礎(chǔ)技術(shù)研究院，四川 成都 610041）

立體視覺編輯技術(shù)研究與設(shè)計

韓志宏，余 剛，謝世斌

（成都索貝數(shù)碼科技股份有限公司 基礎(chǔ)技術(shù)研究院，四川 成都 610041）

首先對立體視覺編輯的關(guān)鍵技術(shù)如3D IO硬件、編解碼效率優(yōu)化、渲染引擎以及編輯系統(tǒng)的功能和流程等進(jìn)行了研究和闡述，并對目前3D編輯設(shè)備的支持情況進(jìn)行了介紹。然后，重點介紹了索貝公司的E10系列非線性編輯系統(tǒng)。最后，對立體視覺編輯的關(guān)鍵技術(shù)進(jìn)行總結(jié)。

3D編輯；3D IO硬件；渲染引擎

立體視覺內(nèi)容基于人眼雙目立體視覺特性，一般采用雙視點同步視頻或圖像，利用立體顯示設(shè)備為觀眾提供立體內(nèi)容。視音頻及圖文等多媒體內(nèi)容，由于容易創(chuàng)作及接受，在文化產(chǎn)業(yè)中處于重要的地位。而基于立體視覺的視音頻及圖文等多媒體內(nèi)容（以下簡稱3D），對受眾有越來越強(qiáng)的吸引力。近年來，大量的3D大片、動畫上映，收視火爆，也印證了這個趨勢。

相比于傳統(tǒng)的視覺內(nèi)容制作，在立體視覺內(nèi)容制作方面，需要通過控制雙目攝像機(jī)的同步拍攝來獲取立體內(nèi)容。同時，在立體視覺內(nèi)容的加工過程中，需要支持對雙軌立體視頻內(nèi)容進(jìn)行同步處理，如調(diào)色、特效、字幕等，傳統(tǒng)的非線性編輯軟件無法支持。因此，立體視覺內(nèi)容制作需要投入大量成本，建設(shè)立體拍攝平臺、立體內(nèi)容后期處理制作平臺，這形成了立體視覺內(nèi)容制作的成本門檻。

立體視覺內(nèi)容相比于傳統(tǒng)的平面視覺內(nèi)容，由于利用了人眼的雙目立體視覺特性，通過人眼的匯聚以及大腦的視覺融合得到內(nèi)容場景中的深度感。在這個過程中，不合適的立體內(nèi)容將導(dǎo)致人眼的立體視覺疲勞，并由此影響人體健康。因此立體視覺內(nèi)容制作有著更高的技術(shù)要求。

1 立體視覺編輯技術(shù)

立體視覺編輯的關(guān)鍵技術(shù)包括3D IO硬件、編解碼效率優(yōu)化、渲染引擎以及編輯系統(tǒng)的流程開發(fā)等。

1.1 3D IO硬件

3D IO硬件開發(fā)中主要存在的難點在于解決數(shù)據(jù)量問題，以3D SDI的輸入、輸出出為例，其基帶數(shù)據(jù)是之前的兩倍。3D IO采集卡，必須具備更高的數(shù)據(jù)帶寬，以及更快的DSP處理速度。

索貝公司的MG 5000E板卡在設(shè)計中，采用PCI-EXPRESS×8接口技術(shù)，高達(dá)20 Gbit/s的雙向帶寬，支持同時播出和采集4路高清信號，由于有充足的傳輸帶寬，視頻可支持10 bit量化處理，同時也兼容其他量化精度。板卡支持DDR2-SDRAM內(nèi)存，更高的內(nèi)存帶寬，更低的芯片價格，滿足板卡處理大批量數(shù)據(jù)的要求。圖1是MG5000E的外觀圖。

圖1 MG5000E外觀圖

1.2 編解碼效率優(yōu)化

針對3D立體視覺的應(yīng)用流程，本文在設(shè)計中采用了3D代理文件，通過存儲若干個一般視頻和音頻信息，形成一個3D文件。它是一個虛擬文件，即它的音頻和視頻文件是單獨存儲在磁盤上的。通過3D代理文件索引找到視頻和音頻文件，從而模擬普通的文件格式。

在開發(fā)和設(shè)計中，需做好并行調(diào)度和同步處理，同時對3D代理的左右眼及音頻文件進(jìn)行解碼，以滿足3D非編處理的需要。圖2為編解碼引擎的架構(gòu)圖。

圖2 3D文件解碼架構(gòu)圖

1.3 渲染引擎

GPU并行圖像渲染能力是CPU幾十倍以上，采用CPU+GPU視頻圖像處理技術(shù)，可提高圖像處理速度的同時解放了CPU，利用CPU提高視頻解碼、編碼的速度和IO操作的能力，設(shè)計中需完成CPU和GPU協(xié)作工作的圖像處理流程[1-2]。

其中，CPU主要負(fù)責(zé)視頻數(shù)據(jù)的硬盤讀取和解碼、視頻的幀率變換、數(shù)據(jù)關(guān)鍵幀處理、數(shù)據(jù)流程控制，對GPU處理后的圖像基帶數(shù)據(jù)進(jìn)行編碼并寫入硬盤或傳遞到IO設(shè)備、信號質(zhì)量監(jiān)控等。GPU主要負(fù)責(zé)圖像的顏色空間轉(zhuǎn)換，高標(biāo)清、不同幅面之間適配，圖像疊加、渲染和特技處理等[3-4]。

本設(shè)計中，首先對數(shù)據(jù)量進(jìn)行充分的壓縮，并統(tǒng)一調(diào)度CPU與GPU的任務(wù)，從而提高整體性能。該技術(shù)的突破是CPU+GPU實現(xiàn)3D非編技術(shù)的關(guān)鍵。同時實現(xiàn)非編引擎針對以下場景的優(yōu)化：

1）核心引擎對2K和4K幅面的支持，擴(kuò)展高端應(yīng)用領(lǐng)域；2）支持10 bit和16 bit，可提供更好的圖像質(zhì)量；3）采用DirectX 11構(gòu)建視覺效果平臺，煙霧、新粒子系統(tǒng)等；4）面向高端制作、3D合成、超高清的優(yōu)化處理流程。

1.4 3D非編流程及功能設(shè)計

1）編輯流程

圖3為3D編輯的主體流程，包括雙目信號實時采集和輸出、文件上下載、實時預(yù)監(jiān)、3D full side by side文件生成等，編碼格式可選擇高清MPEG-2 I幀、高清H.264、高清WMV等。

圖3 3D立體視覺編輯流程圖

2）左右眼調(diào)節(jié)實現(xiàn)

3D左右眼調(diào)節(jié)功能偏重于左右眼獨立調(diào)節(jié)，配合豐富的調(diào)節(jié)參數(shù)，提高3D非編對3D視頻的處理能力，滿足客戶的實際需求。調(diào)整界面如圖4所示。

圖4 3D左右眼調(diào)節(jié)界面示意圖（截圖）

3）與第三方軟件協(xié)同交互機(jī)制

如圖5所示，通過AAF，EDL等實現(xiàn)與米斯泰克、SMOKE、達(dá)芬奇、FCP、Avid、第三方音頻工作站的文件交換。

圖5 與第三方軟件協(xié)同示意

4）絢麗的視頻圖文特效的實現(xiàn)

通過高質(zhì)量的圖形圖形算法與GPU實現(xiàn)相結(jié)合[5]，以實現(xiàn)絢麗的視頻圖文特效，如圖6所示。

圖6 頻圖文特效（截圖）

2 3D非線性編輯軟件

目前國內(nèi)外主流廠商已推出了支持雙目3D制作的非線性編輯產(chǎn)品。

索貝公司的E10采用自行開發(fā)的MG5000E板卡進(jìn)行dual-link 3D雙目信號實時采集和輸出，采用基于ART4引擎的3D立體視覺編輯核心，以及全面更新的引擎，實現(xiàn)分辨率無關(guān)以及格式無關(guān)的混合編輯技術(shù)可以幫助用戶靈活使用各種素材進(jìn)行節(jié)目制作，平滑完成高標(biāo)清兼容與過渡。優(yōu)秀的高清GPU特技能力，性能領(lǐng)先；豐富的高清實時特技種類，達(dá)到包裝級效果；并具有強(qiáng)大的音頻編輯功能。

E10可以對CG施加通用視頻特技、可以設(shè)置CG對象沿任意軌跡運(yùn)動；具有自己獨立的入屏、出屏和停留特技，可與視頻特技一起組合出非常復(fù)雜的特技效果。

E10實現(xiàn)了AFAP（As Fast As Possible）高效率設(shè)計，界面設(shè)計人性化，用戶可自定義界面組合并隨時呼叫不同的界面模式來配合不同的編輯工作，并提供了大量的便捷工具，大幅度地幫助用戶提高節(jié)目制作效率。

3 結(jié)束語

本文對立體視覺編輯的關(guān)鍵技術(shù)進(jìn)行了研究和闡述，包括：

1）3D IO硬件。主要包括3D IO硬件MG5000E板卡的結(jié)構(gòu)設(shè)計和解決3D數(shù)據(jù)量問題的基本方法。

2）編解碼效率優(yōu)化方面。同時對3D代理的左右眼及音頻文件進(jìn)行解碼，做好并行調(diào)度和同步處理，以滿足3D非編處理的需要。

3）渲染引擎。采用DirectX11的GPU平臺，提高CPU和GPU的調(diào)度優(yōu)化，并實現(xiàn)絢麗的3D效果。

4）雙目3D非編。需涵蓋立體視覺影視節(jié)目編輯全流程的系統(tǒng)功能模塊，并兼容2D影視節(jié)目編輯內(nèi)容。

[1]CHONG A，SOURIN A，LEVINSKIK.Grid-based computer ani?mation rendering[C]//Proc.4th International Conference on Com?puter Graphics and Interactive Techniques in Australasia and Southeast Asia.Kuala Lumpur，Malaysia：[s.n.]，2006：39-47.

[2]MILLER K，PRZYBYLA D，PEGAH M.Soothing the many-head?ed beast：improving the rendering process in the world of 3D ani?mation[C]//Proc.32nd Annual ACM SIGUCCSConference on Us?er Services.New York，USA：[s.n.]，2004：381-384.

[3]李建明，萬單領(lǐng)，遲忠先，等.一種基于GPU加速的細(xì)粒度并行粒子群算法[J].哈爾濱工業(yè)大學(xué)學(xué)報，2006，38（12）：2162-2166.

[4]PHARR M．GPU精粹2——高性能圖形芯片和通用計算編成技巧[M]．龔敏敏，譯．北京：清華大學(xué)出版社，2007．

[5]昊恩華.圖形處理器用于通用計算的技術(shù)現(xiàn)狀及其挑戰(zhàn)[J].軟件學(xué)報，2004，15（10）：1493-1504．

TP391

B

?? 雯

2014-09-24

【本文獻(xiàn)信息】韓志宏，余剛，謝世斌.立體視覺編輯技術(shù)研究與設(shè)計[J].電視技術(shù)，2014，38（22）.