自由視點視頻的虛擬圖像合成

李 寒，程 浩 馮先成

（武漢工程大學電氣信息學院，湖北 武漢 430205）

自由視點視頻的虛擬圖像合成

李 寒，程 浩 馮先成

（武漢工程大學電氣信息學院，湖北 武漢 430205）

通過一種有效的基于深度圖像描繪技術(shù)的虛擬圖像合成方法評價一種快速深度圖像估計算法.此快速算法采用區(qū)域匹配SSD算法得到初始視差，構(gòu)造出圖割算法的能量函數(shù)求深度圖.仿真結(jié)果證明了快速算法能獲得高質(zhì)量的PSNR，可以合成較好的虛擬圖.

圖割法；SSD算法；深度圖像估計；深度圖像描繪

0 引 言

近幾年，隨著3D視頻技術(shù)的不斷發(fā)展，學者們開始關(guān)注一種叫多視點視頻的新3D表示技術(shù).這種技術(shù)中，場景信號是通過一系列不同視點的攝像機同步獲得的，即3D視頻信號是由一系列序列不同攝像機拍攝視頻序列組成的.這種技術(shù)被廣泛的用在自由視點視頻（Free Viewpoing Video：FVV）中［1］.在應(yīng)用中，用戶可以自由的選擇視點，而不受視頻視角的限制.目前商業(yè)廣播系統(tǒng)還不能支持多視頻信號的處理和傳輸；而且，在接受端計算合成虛擬視頻也是非常低效的.為了解決這一問題，研究者提出了不同的編碼方法和虛擬視頻合成方法，并被證明是有效的.文獻［2］中，利用視頻間視差與3D幾何特性編碼和合成虛擬視頻；同樣的，在文獻［3］中，利用小波變換去除視頻中的時間和空間的冗余信息，并且對子帶進行熵編碼.這兩種方法有效的去除冗余信息，滿足了3D信號的傳輸要求.但是，這兩方法對3D幾何特性要求很高，這也成為了他們應(yīng)用的瓶頸.相比之下，在基于圖像描繪（Image-based rendering：IBR）［4］中，多視點視頻信號由一些彩色視頻信號和利用這些彩色視頻插值得到的中間視頻信號組成的.這件技術(shù)不需要附加條件和幾何條件的約束就能合成出十分逼真的虛擬視頻來.然而，它對帶寬的要求很高.基于深度圖像的自由視點編碼是一種具有網(wǎng)格基編碼［5］和IBR的優(yōu)點的編碼方法.在選擇視點時，它做了一個光場函數(shù)的近似，這種近似允許減少攝像機視點數(shù)目，減少帶寬.

1 基于深度圖像的視點合成

1.1 自由視點DIBR算法

基于深度圖像描繪（Depth Image Based Rendering：DIBR）是利用參考視點的圖像及其每個像素對應(yīng)的深度信息，并且結(jié)合了相機的內(nèi)外參數(shù)，通過三維變換來合成場景中虛擬視點圖像，該過程包括以下四步［6］：

第一步變換（warping）：通過多個視頻點圖像和對應(yīng)深度圖像信息，即相機的內(nèi)外參數(shù)，進行三維變換合成粗虛擬圖像.由于深度信息是灰度圖像表示，其中像素點灰度值在0到255之間，灰度越大表現(xiàn)越遠，亦則相反.公式將灰度信息和深度信息聯(lián)系起來.

其中p（xref）是深度圖的灰度值，d（xref）是像素點得深度值，dmin和dmax分別是透視投影所變換所采用的遠近剪切值.得到深度信息后，再利用參考視點相機的內(nèi)外參數(shù)進行三維空間投影，公式如下：

其中Rref、Aref、tref分別表示相機內(nèi)參數(shù)、旋轉(zhuǎn)矩陣和平移矩陣，D向量矩陣（深度值），矩陣Pwc是三維空間中坐標.最后根據(jù)公式（3）將三維空間點投影到虛擬圖像平面.在這個過程中，先找出不連續(xù)點，并在投影物體時，去除這些點.

第二步：處理裂縫（Cracks）.三維變換合成會導致虛擬出得圖像中有空洞或裂縫現(xiàn)象，而這部分通過中值濾波對空洞和裂縫進行平滑處理.

第三步：混合（Blinding）.這個部分是將兩個被投影的圖像混合成為可見的前景景物.這個步驟可以減少因遮擋的誤投影.

第四步：內(nèi)繪（Inpainting）.和第二、三個步驟一樣，這個步驟也是對虛擬出圖像中問題進行修復(fù).在這個部分，利用深度圖像和視頻圖像的權(quán)重關(guān)系對虛擬圖像中的黑點像素進行插值修復(fù).如圖1所示.

圖1 DIBR算法流程Fig.1 DIBR algorithm

1.2 深度圖像估計

深度圖像估計是DIBR算法的關(guān)鍵技術(shù)之一，因為深度圖像的質(zhì)量好壞直接影響整個三維投影以及最后的虛擬圖像的質(zhì)量.為了獲得高質(zhì)量的深度圖像，學者們已經(jīng)提出了深度圖有基于區(qū)域的算法（local-based algorithms）和基于全局的算法（global-based algorithms）兩種方法.區(qū)域算法主要有 SAD［7］，SSD［7］，NCC［8］等算法.全局算法主要 有 圖 割 （Graph Cut：GC）［9］、動 態(tài) 規(guī) 劃（Dynamic Programming：DP）［10］、信念傳播（Belief Propagation：BP）［11－12］等算法.本文采用的快速圖割算法步驟如下.

1.2.1 求初視差 設(shè)S（xy）代表平方差值算法.利用改進SSD算法求取視差的初始值，假設(shè)S（x，y，d）表示I1（x，y）與I1（x，y＋d）區(qū)域的S 值時，則I1（x，y＋1）與I1（x，y＋1＋d）區(qū)域的S（x，y＋1，d）值可以用S（x，y，d）值表示：

1.2.2 校正初始視差 校正初始視差是為了提高視差的精度.通過左右一致驗證法［13］對視差圖進行校正.左右一致驗證法是假設(shè)左右圖分別為右左的參考圖，也就是分別求出以左右參考圖的右左深度視差（DL（p），DR（p）），然后求兩幅視差圖的一致性.

如果視差值相同，就是可以確定這個值為視差值，如果不一致則是遮擋點，那么將這個點做為圖割的限制項進行優(yōu)化能量函數(shù)，使能量函數(shù)最小.

1.2.3 構(gòu)建能量函數(shù)求最終的深度圖 將左右一致性求出遮擋點作為約束項f初始，能量函數(shù)如下：

2 實驗結(jié)果與分析

為了驗證本文提出的算法的性能，本文將采用美國Middlerbuy大學計算機視覺研究中心提供8視點的640×480的Ballroom測試序列和微軟研究所提供的8視點的1 024×768的Ballet測試序列進行算法耗時和合成虛擬視點的仿真實驗.在本試驗中，將選擇Ballroom和Ballet測試序列的視點0和做為虛擬視點，視點2為輔助視點，視點1為虛擬視點.計算機硬件條件為：單核CPU主頻為2.93 GHz，內(nèi)存為1 G，軟件編譯環(huán)境為vs2005.

因為采用了初始像素視差的計算結(jié)果來控制網(wǎng)絡(luò)的規(guī)模，在允許視差范圍內(nèi)增加的節(jié)點要比搜索全部視差范圍的節(jié)點要小得多，所以這樣就減少了網(wǎng)絡(luò)中的節(jié)點數(shù)，降低了計算復(fù)雜度.表1是兩種算法對Ballroom、Ballet的匹配耗時情況，不難看出本算法明顯減少匹配時間.圖2為不同算法估計出的深度圖.將虛擬合成出來的圖像進行噪聲峰值性噪比和結(jié)構(gòu)相似指標（SSIM）評價，發(fā)現(xiàn)利用本文算法產(chǎn)生的深度圖像合成出得虛擬圖像有較高的PSNR，有較高的相似度，結(jié)果如表2和表3所示.圖3中依次是Ballet序列的第1虛擬合成圖像，Ballroom序列的第1幀和第95幀虛擬合成圖像.

表1 算法耗時Tab 1 Algorithm time-consuming ms

圖2 不同算法估計的深度圖Fig.2 GC and proposed algorithm estimate depth maps

表3 虛擬圖像質(zhì)量評估比較Tab 3 Comparison of the PSNR GC and proposed algorithm

圖3 合成虛擬序列Fig.3 Synthetic virtual sequence

3 結(jié) 語

上述采用的DIBR算法合成虛擬圖像客觀和主觀上證明了快速立體匹配算法的性能.采用改進的SSD匹配算法快速獲得初始視差圖，并將其作為GC算法的參考項，減少網(wǎng)絡(luò)的規(guī)模，優(yōu)化了能量函數(shù)，在保證深度圖像質(zhì)量的情況下，進一步提高了估計效率.而虛擬合成的圖像會有裂紋、重影、空洞等問題，這些問題在高清視頻將被放大，不能滿足高清3D視頻觀看要求.

［1］程浩，王龍海.三維視頻中深度信息估計算法［J］.武漢工程大學學報，2011，33（19）：105-110.

［2］Mueller K，Smolic A，Kautzner M，et al.Rate distortion-optimized predictive compression of dynamic 3-D mesh sequences［J］.Signal process image comm，2007，21（9）：812-828.

［3］Cho J W，KIM M S，Valett，et al.A 3-D mesh sequence coding using the combination of spatial and temporal wavelet analysis［J］.Lecture notes in computer science，2007，21（9）：812-828.

［4］Shum H Y，Chan S C，Kang S B.Image-based rendering［M］.Berlin Germany：Springer-Verlag，2007：344-350.

［5］Merkle P，Smolic A，Mueller K，et al.Efficient prediction structures for multiveiw video coding［J］.Circuits syst video technol，2007，17（11）：1461-1473.

［6］Jung C，Jiao L.Depth-preserving DIBR based on disparity map over T-DMB［J］.Electionics letters，2010，46（9）：628-629.

［7］Yu Hsun Lin，Ja-Lingwu.A digital blind water marking for depth-image-based rendering 3D images［J］.Broadcasting：IEEE transcaction on，2011，57（2）：602-611.

［8］Tanimoto M.Overview of free viewpoint television［J］.Signal processing：Image Comm，2006，21（6）：454-461.

［9］楊海濤，常義林，霍俊彥，等.應(yīng)用于多視點視頻編碼的基于深度特征的圖像區(qū)域分割與區(qū)域視差估計［J］.光學學報，2008，28（6）：1073-1078.

［10］楊海濤.三維視頻編碼技術(shù)研究［D］.西安：西安電子科技大學，2009.

［11］Yin Zhao，Ce Zhu，et al.Depth no-synthesis-error model for view synthesis is in 3D video［J］.Image processing：IEEE transcaction on，2011，20（8）：2221-2228.

［12］Daribo I，Saito H.A novel inpainting-based layered depth video for 3DTV ［J］.Broadcasting：IEEE transactions on，2011，57（2）：553-541.

［13］Cheol kon Jung， Jiao L. Disparity-map-based rendering for mobile 3DTVs［J］.Consumer electronics：IEEE transactions on，2011，57（3）：1171-1175.

Virtual view synthesis for free viewpoing video

LI Han，CHENG Hao，F(xiàn)ENG Xian-cheng
（School of Telecomunication＆Information Engineering，Wuhan Institute of Technoloy，Wuhan 430205，China）

An effective virtual view synthesis approach was proved by utilizing the technology of depthimage-based rendering（DIBR）.This papers was utilized a fast depth images estimation based on SSD algorithm and graph cuts algorithm.First，the SSD matching method was used as a similarity decision criterion to determine the initial disparity map.When the energy function is constructed to calculate the depth map.Simulation results demonstrate that the fast algorithm provides high PSNR and synthesised good views.

graph cuts；SSD algorithm；depth images estimation；DIBR.

陳小平

TU502

A

10.3969／j.issn.1674-2869.2011.11.019

1674－2869（2011）11－0074－03

2011－09－15

李 寒（1983－），男，湖北應(yīng)城人，碩士研究生.研究方向：嵌入式系統(tǒng)及應(yīng)用、網(wǎng)絡(luò)通信、圖像處理.

指導老師：馮先成，男，副教授，碩士，碩士研究生導師.研究方向：網(wǎng)絡(luò)通信.

book=77,ebook=291