裸眼3D視頻技術(shù)與節(jié)目制作

◎ 國家新聞出版廣電總局廣播科學(xué)研究院 周 毅

裸眼3D視頻技術(shù)與節(jié)目制作

◎ 國家新聞出版廣電總局廣播科學(xué)研究院 周 毅

概述了主流3D格式和國際3D標(biāo)準(zhǔn)發(fā)展現(xiàn)狀，正在申請(qǐng)制定的下一代的3D（裸眼）/多視圖中國國家視頻標(biāo)準(zhǔn)覆蓋3D終端，2D到3D轉(zhuǎn)換軟件和轉(zhuǎn)換芯片（IC），以及3D內(nèi)容制作和存儲(chǔ)等，在功能性和可用性上具備較大的優(yōu)勢。隨后，較詳細(xì)地介紹了中國裸眼3D標(biāo)準(zhǔn)的三大檔次、技術(shù)優(yōu)勢以及推進(jìn)計(jì)劃，以期對(duì)3D國標(biāo)的推進(jìn)起到積極的作用。

裸眼3D；標(biāo)準(zhǔn)；格式

在視覺正常的情況下，人類看到的圖像都是立體的。但是受技術(shù)實(shí)現(xiàn)上的限制，電視、電影畫面從黑白到彩色，長時(shí)期只能顯示二維圖像，而技術(shù)發(fā)展的最終目標(biāo)一定是實(shí)現(xiàn)與真實(shí)場景一樣的視像體驗(yàn)。因此可以說，裸眼3D是3D研究發(fā)展的終極目標(biāo)。從實(shí)現(xiàn)方式和手段上來講，就是“把眼鏡戴到終端顯示器上去”。

然而，任何科學(xué)創(chuàng)造的立體視像都是對(duì)自然圖像的恢復(fù)和重構(gòu)，因此，必然有很多人為的痕跡，如何抹去這些痕跡，成為目前科研人員需要解決的重點(diǎn)問題。

主流3D格式

目前，業(yè)界被廣泛認(rèn)知的3D格式主要有以下4種：H.264/AVC的多視圖視頻編碼（MVC）；采用Declipse格式的飛利浦圖像加深度圖（2D-plus-Depth/ 2D+Z）；杜比3D格式；2D plus Delta/ MVC（stereoscopic 3D）等。

目前，3D節(jié)目內(nèi)容大都采用side-by-side方式傳輸，如果終端不支持3D，會(huì)在電視上同時(shí)出現(xiàn)兩幅畫面，不宜觀看。而2D+X的方式因?yàn)楸Ａ袅?D格式的完整信息，可以向下兼容普通顯示設(shè)備的播放模式，更符合技術(shù)發(fā)展的規(guī)律。

1.2 D+Z

飛利浦圖像加深度圖（2D+Z）模式主要由主圖像和深度圖像兩部分組成，主圖像就是完整的2D節(jié)目源信息，即使終端設(shè)備不支持3D，也能通過解碼主圖像，直接播放節(jié)目內(nèi)容，不會(huì)浪費(fèi)頻道的資源。而立體電視的解碼器用主圖像加深度圖來生成兩視圖或者多視圖圖像，實(shí)現(xiàn)立體節(jié)目的顯示。目前，2D+Z是裸眼3D研究的主流，在ISO/IEC FDIS 23002-3:2007（E）中已被MPEG標(biāo)準(zhǔn)化為對(duì)于3D視頻信號(hào)的擴(kuò)展。

2D+Z中的重點(diǎn)技術(shù)是Declipse格式，該格式中，每一幀都包含初始的2D圖像、對(duì)應(yīng)每幀的深度圖、被前景對(duì)象覆蓋的背景區(qū)域和對(duì)應(yīng)的深度圖4個(gè)部分（見圖1）。視頻幀中某些部分因?yàn)槎嘁晥D中前景物體的大量偏移而形成阻擋區(qū)，從而影響視頻質(zhì)量。因此，這種格式可以為阻擋區(qū)提供更加精確的填充，從而提高潛在的視覺質(zhì)量。

圖1 Declipse格式示例

2.杜比3D

杜比3D的方式采用了2D+Delta的方式，與2D+Z方式相比，Delta中除了深度信息還包括邊緣、彩色補(bǔ)償?shù)刃畔ⅲ瑢?duì)于圖像恢復(fù)后的質(zhì)量更有保證，同時(shí)也增加了圖像還原的難度（見圖2）。杜比3D的關(guān)鍵組件包括解碼器端的實(shí)時(shí)深度提取（自動(dòng)轉(zhuǎn)換）和多視圖渲染，由用戶或自動(dòng)的深度調(diào)整，立體（S3D）和祼眼立體（AS3D）顯示，以及2D到3D實(shí)時(shí)轉(zhuǎn)換。實(shí)驗(yàn)顯示，當(dāng)Delta占主圖像的35%～40%時(shí)，效果最好。

圖2 杜比3D原理示意圖

國際3D標(biāo)準(zhǔn)發(fā)展現(xiàn)狀

1.日本

由于日本還沒有統(tǒng)一的3D電視標(biāo)準(zhǔn)，各公司采用不同的標(biāo)準(zhǔn)來推廣3D電視。2007年12月，NHK（日本放送協(xié)會(huì)）采用自主開發(fā)的“MT”方式推出3D電視頻道BS11。索尼、松下、東芝等其他公司和美國公司RealD合作，采用RealD格式推廣3D電視[1]。

日前，日本經(jīng)濟(jì)產(chǎn)業(yè)省決定制定相關(guān)3D影像標(biāo)準(zhǔn)，以使影像制作者不要制作過于強(qiáng)調(diào)立體感的圖像，并將向國際標(biāo)準(zhǔn)化組織提出建議，在全世界普及其標(biāo)準(zhǔn)。經(jīng)濟(jì)產(chǎn)業(yè)省認(rèn)為，只有建立起3D產(chǎn)業(yè)標(biāo)準(zhǔn)，其3D電視電影等相關(guān)產(chǎn)業(yè)才能得到進(jìn)一步發(fā)展。此外，經(jīng)濟(jì)產(chǎn)業(yè)省還準(zhǔn)備采取援助企業(yè)進(jìn)行3D產(chǎn)品開發(fā)，開設(shè)講座培養(yǎng)年輕人才等措施[2]。

2.韓國

韓國情報(bào)通信技術(shù)協(xié)會(huì)（韓國的標(biāo)準(zhǔn)化制定機(jī)構(gòu)）目前已制定完成的3D標(biāo)準(zhǔn)如表1所示。

表1 韓國情報(bào)通信技術(shù)協(xié)會(huì)已制定完成的3D標(biāo)準(zhǔn)

日本、韓國、美國和歐洲的3D標(biāo)準(zhǔn)都在制定中，但重點(diǎn)不是顯示端，而在傳輸、壓縮和編碼方面。筆者所在的國家新聞出版廣電總局廣播科學(xué)研究院申請(qǐng)制定的3D標(biāo)準(zhǔn)，不僅兼容2D視頻和需佩戴輔助設(shè)備的3D視頻，還支持裸眼3D視頻的編碼、傳輸及顯示，在功能性和可用性上優(yōu)于現(xiàn)存或正在制定的3D標(biāo)準(zhǔn)，可以滿足我國下一代3D標(biāo)準(zhǔn)的制定需求。

中國的裸眼3D標(biāo)準(zhǔn)

1.標(biāo)準(zhǔn)制定的必要性

目前的3D標(biāo)準(zhǔn)存在不足：無法向后兼容現(xiàn)存的視頻編碼標(biāo)準(zhǔn)；不能實(shí)現(xiàn)對(duì)深度信息和輔助信息的高效編碼；對(duì)2D+depth的渲染偽影較低；不能支持新用戶通過視圖合成和多視圖來體驗(yàn)（3D效果）；不能支持不同的3D/多視圖顯示器和轉(zhuǎn)換內(nèi)容。

2.裸眼3D新標(biāo)準(zhǔn)建議

標(biāo)準(zhǔn)旨在建立一套包括編碼、傳輸、解碼和顯示等部分的3D視頻標(biāo)準(zhǔn)，能夠支持多個(gè)視頻數(shù)據(jù)流，在傳統(tǒng)的2D視頻數(shù)據(jù)流上增加新的輔助信息，因此可以實(shí)現(xiàn)高效的3D制作及編碼。

標(biāo)準(zhǔn)不僅支持傳統(tǒng)的3D視頻（需佩戴輔助設(shè)備觀看），還支持最新的裸眼3D顯示技術(shù)，不僅方便了用戶，也可以帶給用戶全新的視覺體驗(yàn)。標(biāo)準(zhǔn)在現(xiàn)有的基本視頻流上增加了多層輔助信息，可以在2D/3D數(shù)據(jù)流間自由切換，并向后兼容現(xiàn)存的2D TV/ HDTV。因此本標(biāo)準(zhǔn)可以通過現(xiàn)有的2D架構(gòu)引入3D視頻，這在一定程度上降低了系統(tǒng)重構(gòu)成本，也更容易被用戶接受。

3.新標(biāo)準(zhǔn)的概述

中國的裸眼3D標(biāo)準(zhǔn)提案主要分為基本、高級(jí)和下一代三大檔次（見圖3）。

圖3 中國裸眼3D標(biāo)準(zhǔn)提案路線圖

基本檔次：利用簡單的、初級(jí)的多視點(diǎn)模式進(jìn)行三維重現(xiàn)，具有極低復(fù)雜度的2D到3D/多視圖轉(zhuǎn)換硬件，可以放大縮小并且具有自由視點(diǎn)。其優(yōu)勢是終端負(fù)擔(dān)較小，運(yùn)算較快，但是存在圖像效果較粗糙，三維可視角度較小等問題。

高級(jí)檔次：分為經(jīng)濟(jì)模式和質(zhì)量模式兩種（見圖4），與基本檔相比最大的特點(diǎn)是在圖像恢復(fù)前置入設(shè)備的“眼鏡”進(jìn)行了連續(xù)的、多視點(diǎn)的處理，以提升圖像質(zhì)量。

下一代檔次：在網(wǎng)絡(luò)環(huán)境較好、用戶對(duì)立體感要求較高的時(shí)候，適度補(bǔ)充多視圖模式立體畫面，以完善基本和高級(jí)檔次的圖像（見圖5）。

新標(biāo)準(zhǔn)的三大檔次與現(xiàn)存標(biāo)準(zhǔn)的比較如表2所示。

綜上所述，下一代的3D（裸眼）/多

圖4 高級(jí)檔次

視圖中國國家視頻標(biāo)準(zhǔn)非常必須，它具備現(xiàn)存3D標(biāo)準(zhǔn)不具備的全新特性和功能，且能廣泛支持不同的顯示器和內(nèi)容供應(yīng)商，定將引領(lǐng)世界的3D標(biāo)準(zhǔn)。

圖5 下一代檔次的多視圖導(dǎo)航

在裸眼3D推進(jìn)計(jì)劃的草案中，已經(jīng)涵蓋3D終端，2D到3D轉(zhuǎn)換軟件和轉(zhuǎn)換芯片（IC），3D內(nèi)容制作和存儲(chǔ)以及互聯(lián)網(wǎng)電話3D顯示系統(tǒng)。未來，還將對(duì)標(biāo)準(zhǔn)的綠色用眼、環(huán)保等方面展開進(jìn)一步的研究和探索。

表2 新標(biāo)準(zhǔn)比較

[1] 維基百科.立體テレビ放送[EB/OL]. [2014-09-10].http://tinyurl.com/pyp?ca2p.

[2] 傅勇.3D重構(gòu)全球電子業(yè)新秩序[N].經(jīng)濟(jì)參考報(bào)，2010-07-06（18）.

周 毅，教授級(jí)高級(jí)工程師，廣播科學(xué)研究院副院長。曾獲第六屆“王選新聞科學(xué)技術(shù)獎(jiǎng)”人才獎(jiǎng)之“杰出人才獎(jiǎng)”、中國電子學(xué)會(huì)評(píng)選的電子信息科學(xué)技術(shù)獎(jiǎng)、廣電總局科技進(jìn)步獎(jiǎng)等若干，近年組織團(tuán)隊(duì)在URa?dio系統(tǒng)、裸眼立體電視和廣播級(jí)高速攝像機(jī)方面的研究和產(chǎn)品填補(bǔ)了國內(nèi)空白，取得了突出成果。

TN949；TP391

A

【本文獻(xiàn)信息】周毅.裸眼3D視頻技術(shù)與節(jié)目制作[J].電視技術(shù)，2014，38（22）.