筑夢光影間
——二維影視三維立體化技術

陳啟超　王 勛（浙江工商大學計算機與信息工程學院）

筑夢光影間
——二維影視三維立體化技術

陳啟超王 勛
（浙江工商大學計算機與信息工程學院）

3D電影制作成本高、制作周期長、片源缺少等問題儼然已成為制約3D電影產(chǎn)業(yè)發(fā)展的瓶頸。如何高效高質地將2D影視作品轉制成3D影視，成為了解決該問題的突破口。浙江工商大學王勛教授主持的國家科技支撐計劃課題“二維影視作品三維立體化系統(tǒng)與應用”，突破了一系列關鍵技術，通過對二維視頻進行自動與交互相結合的方法恢復深度圖，再對生成的虛擬視角圖像對進行立體視頻空洞補全，最后生成立體視頻圖像對。

2D/3D轉換；深度恢復；視頻補全

1. 引言

2016年初，3D電影《美人魚》以33.9億元的票房成為華語票房冠軍。自2009年3D影片《阿凡達》以來，3D電影技術不斷成熟、觀影效果不斷改善，3D電影正以其獨有的空間表現(xiàn)形式，為電影藝術的展現(xiàn)開拓了一個全新的維度，也促進了當下電影市場的空前繁榮。盡管整個3D影視產(chǎn)業(yè)蓬勃發(fā)展，但片源缺乏、制作成本較高、制作周期漫長仍是當前3D電影發(fā)展亟待解決的問題。

2. 2D電影轉制3D電影前景廣闊

《阿凡達》和《泰坦尼克號》3D版均出自著名導演詹姆斯·卡梅隆之手。這兩部電影都為觀眾展現(xiàn)了近乎完美的3D效果。然而，它們在制作方法上卻有著天壤之別?！栋⒎策_》的大部分鏡頭采用三維攝像機直接進行拍攝，而另一部則是在原有的二維影像基礎上進行轉制，對畫面中的深度信息進行恢復，重建出3D影像。第一種方法制作成本較高，第二種方法成本相對低廉。如果能將普通2D電影轉制成3D電影，則可降低3D電影的制作門檻，更能將一大批已有的經(jīng)典影片制作成3D版本重新上映，豐富目前稀缺的3D片源。

然而，目前從2D影像中恢復深度信息的技術尚不成熟，制作影片需要大量的人工參與。國內(nèi)從事電影三維立體化系統(tǒng)研發(fā)的公司，相比國外尚處于起步階段，但國外的三維立體化技術同樣也存在著自動化程度不高、需要大量人工交互、建模不夠精細等問題，轉換的3D效果無法和實拍的立體視頻媲美。

3. 2D電影轉制3D電影流程

由上分析可見，發(fā)展2D轉制3D的技術是解決目前3D電影片源匱乏的有效途徑。2D/3D轉制需要3個關鍵步驟：首先，需要根據(jù)2D視頻恢復出畫面中每一幀的深度信息。然后，根據(jù)原視頻幀（左視圖）以及深度信息，模擬人眼形成立體感知的過程，生成原視頻每幀所對應的右視圖。最后，對生成的左視頻中存在的空洞進行修復。

3.1自動恢復深度信息

對于2D轉制3D立體視頻而言，從2D圖像恢復畫面中所蘊含的深度信息是最為基礎的一個步驟，也是重中之重。而一個電影中涉及到的場景拍攝方式千差萬別，例如攝像機移動拍攝靜止的場景、靜止的相機拍攝運動的物體、靜止的相機拍攝靜止的場景等［1］，沒有一種深度恢復的方法能夠完全適用于所有的情況。因此，應根據(jù)場景的不同情況來做有差別的深度恢復。

針對攝像機移動拍攝靜止場景的情況，可以通過多視圖立體幾何算法獲得每幀的深度圖之后，將每幀的像素投影至其它幀，統(tǒng)計視頻中的邊界和分割區(qū)域信息［2］，并結合統(tǒng)計的邊界和區(qū)域信息來創(chuàng)建能量函數(shù)，通過能量最小化來求解最優(yōu)的視頻分割［3］。

圖3　-1 基于學習的深度恢復過程

對于攝像機不移動或者場景中沒有運動物體的情況，可以通過基于機器學習的交互式深度恢復技術，以解決多視圖立體幾何算法不適用場景的深度恢復。整個過程如圖3-1所示。

3.2交互式深度圖生成

在經(jīng)過前面步驟的自動恢復之后，可以大致恢復出影片的深度，與以往依靠人工對每一幀手工標注相比，極大地減少了制作工作量。

然而，電影對于畫面的精細程度有著幾近完美的嚴苛要求。完全自動化恢復出的影片深度信息還不能直接用于電影生產(chǎn)，需要由人工來進行一定的交互作業(yè)，提升深度信息的質量。

圖3　-2 交互式深度圖修補

為此，我們開發(fā)了交互式深度恢復算法，對那些被錯誤割裂的連續(xù)物體，工作人員只需簡單地添加一些連線，以示該處應該是連續(xù)的，如圖3-2所示。交互式深度圖修補算法將會加大這兩個部分的相似度，并且通過相似度傳遞的方式傳播到與該處存在有空間關系的區(qū)域，重新計算整幅圖像的深度信息。這個過程可以反復進行以加強效果，直到最終深度結果滿足電影的需求。

3.3立體視頻空洞補全

在恢復了視頻幀深度信息后，需要將原視頻幀作為左視圖，以該視頻和相應的深度圖為基礎，繪制生成右視圖。生成的右視圖由于視角改變，往往存在空洞，需要進行視頻的空洞補全。

圖3　-3 空洞補全算法過程

針對不同的空洞產(chǎn)生原因，由不同的空洞補全策略對空洞進行補全修復。至于由于估算的深度存在誤差，導致前景和背景像素的相互滲透，則使用了一種深度圖預處理方法來應對［4］。通過以上的空洞修補方法進行修補之后，如圖3-3所示，就能夠創(chuàng)建出完整的3D電影左右視圖。

4　課題團隊介紹

王勛教授團隊在國家支撐計劃課題“二維影視作品三維立體化系統(tǒng)與應用”（2014BAK14B01）的支持下，在解決2D電影立體化方面已經(jīng)取得了一定成績：目前系統(tǒng)已能直接投入影視作品的制作，對電影級的超高分辨率視頻進行處理，并能對攝像機靜止、純旋轉、自由移動、變化焦距等各種情況下拍攝的視頻進行三維立體化，在進行電影級的3D視頻轉換時，對70%以上的鏡頭平均每幀處理時間不多于30分鐘，在對毛發(fā)、煙霧、瀑布等半透明物體的立體化處理上也有了不錯的進展，與企業(yè)合作已經(jīng)完成了2部電影的2D/3D轉制。

此外，團隊還突破了基于融合理論的深度恢復機理與方法、高效與魯棒的圖像/視頻分割技術、三維視頻時空一致性等關鍵技術，在重要學術期刊和國際學術會議上發(fā)表了近10篇高水平論文，已在視頻三維立體化相關技術領域取得兩項軟件著作權，申請國家發(fā)明專利12項。課題組中有1人獲省部級人才資助，培養(yǎng)了博士研究生3人，碩士研究生8人。

該課題的成功完成，將極大縮短目前3D影視制作周期、提升3D影視作品品質、降低3D影視的制作成本，提升我國立體影視產(chǎn)業(yè)的總體發(fā)展水平。

［1］ 劉偉， 吳毅紅， 胡占義. 電影2D/3D轉換技術概述［J］. 計算機輔助設計與圖形學學報， 2012， 24（1）：14-28.

［2］ Jiang H， Zhang G， Wang H，et al. Spatio-Temporal Video Segmentation of Static Scenes and Its Applications［J］. IEEE Transactions on Multimedia， 2015，17（1）：3-15.

［3］ 姜翰青， 趙長飛， 章國鋒等.基于多視圖深度采樣的自然場景三維重建［J］. 計算機輔助設計與圖形學學報，2015（10）：1805-1815.

［4］ 章國鋒， 鮑虎軍， 姜翰青等.一種針對復雜三維場景的高質量紋理映射方法：中國，CN 201410799686［P］.2015-04-29.