基于背景提取和分區(qū)修復(fù)的DIBR空洞填補方法

陳 悅，姚劍敏，郭太良

(福州大學物理與信息研究工程學院，福建福州350000)

基于背景提取和分區(qū)修復(fù)的DIBR空洞填補方法

陳 悅，姚劍敏，郭太良

(福州大學物理與信息研究工程學院，福建福州350000)

針對基于深度圖的視點繪制中空洞填補時產(chǎn)生的圖像失真問題，提出一種還原空洞區(qū)域可靠紋理的空洞填補方法。通過從臨近的幀畫面中提取有效信息還原真實的背景圖像，用于新視點中背景區(qū)域的空洞填補。并通過區(qū)分前景和背景圖像區(qū)域，對不同區(qū)域的空洞采取不同的填充方法，從而獲得較為可靠和真實的填補效果。從實驗結(jié)果來看，該方法獲得的PSNR數(shù)據(jù)優(yōu)于其他算法，并且與真實視點比較的結(jié)構(gòu)相似度達到99.1%，比傳統(tǒng)方法提高10%以上。

3DTV;DIBR;虛擬視點;空洞填補;背景提取;分區(qū)修復(fù)

近年來3D顯示技術(shù)迅速發(fā)展，其基本原理是通過人的雙眼接收兩幅具有一定視差的圖像，大腦將圖像進行融合而形成立體感。常見的3D視頻的獲取方法是采用兩個攝像機同時進行拍攝，獲得左右兩個視點的圖像信息［1］。另一個方法是采集一幅視頻圖像的同時，采集與之對應(yīng)的深度圖，深度圖顯示了視頻中每個像素到攝像機的距離，然后通過基于深度圖的繪制技術(shù)(DIBR)［2-3］獲得其他視點的圖像。利用基于深度圖的視點繪制方法可以從一個參考視點和一個對應(yīng)的深度圖繪制出新的視點圖像。在這個視點繪制的過程中，由于在一個參考視點中無法包含用于繪制新視點的所有像素信息，基于深度圖的視點繪制得到的視點中將會出現(xiàn)空洞區(qū)域，空洞填補是視點繪制的重要步驟。

目前常見的空洞填補方案可以分為兩個類別:一種是如文獻［4］采用的方法，先對深度圖進行預(yù)處理，常見的深度圖預(yù)處理方法有高斯濾波平滑處理，目的是減小圖像深度的不連續(xù)性，再通過DIBR繪制新視點，就可以得到空洞較小的視點，最后填補空洞;另外一種是如文獻［5］采用的方法，直接使用DIBR進行視點繪制，然后再通過各種圖像插值算法恢復(fù)空洞區(qū)域圖像紋理，一般是利用橫向區(qū)域的像素進行圖像插值，或者根據(jù)周圍區(qū)域圖像紋理進行填充。

本文提出一種基于背景提取和分區(qū)圖像修復(fù)的空洞填補方法，通過利用視頻序列中各幀圖像提取背景信息用于空洞填充，并計算前景圖像掩膜圖，對前景區(qū)域直接插值填充，背景區(qū)域利用提取的背景進行修復(fù)，獲得更加可靠的新視點圖像。

1 傳統(tǒng)空洞填補方法

新視點中出現(xiàn)的空洞主要有兩個類型，一種是較小空洞，通常只有一兩個像素的大小，這種空洞出現(xiàn)的原因是圖像在重新投影映射過程中拉伸造成的。由于這種空洞較小，只要利用周圍像素的信息進行填充就可以，不會對圖像質(zhì)量產(chǎn)生太大影響。另外一種空洞較大，這是由于在參考視點中被前景遮擋住的部分圖像內(nèi)容在新的視點中被暴露出來，卻沒有合適的像素可供填充［6］。第二種空洞出現(xiàn)在物體的邊緣，前景和后景的深度差越大，出現(xiàn)的空洞越明顯。這種空洞往往面積較大，很難在不造成圖像模糊的情況下進行填補。針對這些圖像中出現(xiàn)的缺陷，需要一些特殊的空洞填補方法對空洞進行填補。

目前常見的空洞填補方案可以分為兩個類別:

1)第一類是對深度圖進行預(yù)處理的方法［7］，例如先對深度圖進行高斯平滑處理，這樣繪制得到的新視點中將包含較小的空洞，有利于進一步的填補。由于空洞出現(xiàn)在深度不連續(xù)的區(qū)域，因此對深度圖的平滑處理減輕了深度的不連續(xù)程度也就縮小了空洞的尺寸。再利用周圍像素信息對空洞進行填補，由于空洞尺寸較小，所以填充也較為容易。然而對深度圖的平滑預(yù)處理也會帶來新的問題，就是改變了圖像的幾何參數(shù)，重新映射的圖像將會產(chǎn)生幾何變形。前景和背景的深度差越大，需要進行平滑處理的程度也越大，也就帶來了更為嚴重的圖像幾何變形。為了緩解這個問題，通常采用的是非對稱平滑過濾［8］，針對不同的區(qū)域進行不同程度的平滑處理，平滑過濾的強度取決深度的不連續(xù)程度，這樣可以一定程度上避免不必要的平滑處理。還有采用縮小深度變化范圍的方法，這樣減小了視差，也就減小了所產(chǎn)生的空洞尺寸，存在的缺點是減弱了圖像的立體效果。這類方法雖然空洞填補區(qū)域較為平滑，但無法避免對原始圖像整體效果的破壞。

2)第二類方法是則是先利用DIBR算法進行新視點繪制，再進行空洞填補，可以稱之為后處理方法［9］。后處理的常用方法是在空洞區(qū)域周圍進行搜索獲取可用的像素，搜索范圍一般是背景區(qū)域，利用周圍的像素計算出可用于填充空洞的像素顏色。例如為了填充空洞中的一個像素，先選取空洞邊緣與該像素同行的左右第一個像素作為參考點，然后用橫向插值算法［10］插入像素。有的方法在上述方法基礎(chǔ)上進行的改進，從周圍區(qū)域中提取更多的參考點，或是加入像素的深度值作為參考，以提升填充的可靠性［11］。同樣也可以通過搜索空洞周圍的線性圖像結(jié)構(gòu)，利用周圍的小圖像塊進行空洞填充，使填充區(qū)域與周圍有相同的結(jié)構(gòu)或者紋理［12-13］。然而插值得到的圖像與真實圖像存在一定偏差，圖像填補的可靠性比較低，填補區(qū)域的圖像產(chǎn)生了一定的失真。

如圖1所示，其中圖1a為原始參考視點，圖1b為采用高斯平滑處理深度圖的結(jié)果，接近空洞的區(qū)域出現(xiàn)了明顯的變形，圖1c為采用插值算法的處理結(jié)果，空洞填補的正確率比較低。

以上的各種方法都是逐幀進行圖像的處理，逐幀進行的空洞填充算法必然存在圖像填充區(qū)域的不連續(xù)和失真的現(xiàn)象，填充像素的正確性比較低。如果能充分利用參考視點中的圖像信息進行空洞填補，就可以得到可靠性較高的新視點圖像。并且對于分別屬于前景和背景區(qū)域的空洞，產(chǎn)生的原因不同，有針對性的采取不同的填充方式就能獲得更好的效果。

圖1 不同空洞填補方法效果比較

2 基于背景提取和分區(qū)修復(fù)的方法

為了更充分利用原有視頻圖像的信息，本文采取的方法是先提取背景圖像，用于后期空洞的填補，并通過確定圖像前景區(qū)域，在填充空洞時對前景和背景區(qū)域采用不同的方法，獲得更可靠的填補效果。這個過程可以分為兩個部分，先是利用原始視頻和深度圖重構(gòu)背景圖像和與之對應(yīng)的深度圖，并且確定圖像的前景區(qū)域，接著利用原始圖像和深度圖進行DIBR繪制新視點，通過計算前景掩膜圖并結(jié)合背景圖像和深度圖對圖像不同區(qū)域的空洞進行分別修復(fù)，整個繪制過程的流程圖如圖2所示。

圖2 繪制過程流程圖

在第一部分利用原始視頻和深度圖重構(gòu)背景圖像和對應(yīng)的深度圖。

1)背景圖像提取

由于通過DIBR繪制的新視點中的空洞區(qū)域是被前景遮擋的背景部分，這些部分的信息在當前幀被遮擋，但是可能在視頻圖像序列的其他幀中出現(xiàn)過。通過圖像間互補的辦法可以充分利用原始視頻，提取出正確的背景信息。在該方法中，需要視頻的拍攝相機保持靜止，這樣背景部分也保持靜止，提取出的背景視頻就是完整的背景圖像。在這種情況下，獲取的背景圖像可以用于視點繪制時同一場景畫面的背景空洞填補。提取背景圖像的過程采用了結(jié)合深度圖的方法，將圖像序列中深度值最大時的圖像作為背景圖像，通過不同幀之間圖像的比較還原出背景。實際效果如圖3所示。

圖3 視頻參考幀與處理獲得的背景圖像

2)背景深度圖提取

由于原始深度圖也是另外一個視頻流，可以采用與上述相同的方法來處理。如果拍攝的攝像機位置不變，只要取深度圖序列中深度的最大值作為背景深度，就可以獲得背景的深度圖。

第二部分就是利用DIBR進行新視點的繪制和空洞填補。通過DIBR繪制得到的新視點有許多空洞區(qū)域，根據(jù)空洞出現(xiàn)的區(qū)域不同分別處理，前景中的空洞通常較小，可以直接采用插值的方式進行填補，背景區(qū)域空洞較大，需要利用之前提取的背景信息進行修復(fù)。這時需要針對每幀畫面確定前景圖像區(qū)域，通過提取前景掩膜圖來進行區(qū)分。

先對前景區(qū)域圖像進行空洞填補，由前景掩膜圖可以確定哪些像素屬于前景圖像。之后再進行背景空洞填補，利用第一部分中提取的背景圖像，對新視點中的空洞區(qū)域進行填充。本文采用一種能量最小化的方法獲取每幀圖像的前景掩膜圖，并用矩陣Mt表示，對于與第t幀圖像，表示該幀圖像上的像素點p，當p點屬于前景時=0，否則就為1。

前景掩膜圖表示前景圖像的在原始視頻中的位置和形狀大小，通過最小化能量E來計算每一幀圖像It的前景框圖Mt。其中E的表達式為

式中:p為像素點;q為p像素周圍的另一個像素，取值范圍用Np表示，通常為4～8個像素;S為取像素的坐標范圍;E1為Mt跟真實前景的相關(guān)度;E2用于減小圖像噪聲的影響;λ用于調(diào)節(jié)E1和E2之間的影響因素，λ值越大則E2作用越大，掩膜圖就越平滑。

其中

式中:B表示背景圖像;T=100;Pf表示It屬于前景圖像的概率大小。當It屬于前景的概率越大，Pf越大，τp也就越大。

3 實驗結(jié)果

以下利用視頻序列“龍”中的一個視點圖像，通過采用了幾種不同的方法繪制新視點，最后利用另外一個視點的真實圖像來衡量繪制的效果。繪制效果如圖4所示。

圖4 不同處理方法填補效果比較

通過比較圖像的峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)以及結(jié)構(gòu)相似度(Structural Similarity Index，SSIM)［14］來衡量圖像的繪制質(zhì)量，比較結(jié)果如表1所示。

可以看出本文所采用的空洞填充方法繪制得到的圖像有較高的峰值信噪比和結(jié)構(gòu)相似度，具有較高的質(zhì)量。

表1 比較結(jié)果

4 小結(jié)

本文提出了一種利用深度圖繪制虛擬視點時空洞填充的優(yōu)化方法。通過將圖像分割為前景圖像和背景圖像兩部分，充分利用了視頻序列中的背景信息重建背景圖像，針對不同區(qū)域的空洞采用不同的填充方法。

對于背景不變的同一場景，在新視點中暴露出來的背景區(qū)域，只要在其他幀的圖像中出現(xiàn)過，都可以獲得正確的填充。本文的方法最大限度地還原了真實圖像，減少了空洞填充時產(chǎn)生的人工假像，可以繪制出接近真實圖像的高質(zhì)量新視點。

［1］帖志成.基于裸眼3D嵌入式設(shè)備智能顯示的設(shè)計與實現(xiàn)［J］.電視技術(shù)，2013，37(8):55-61.

［2］董芳菲，黃心淵.面向裸眼立體電視的體視動畫技術(shù)綜述［J］.電視技術(shù)，2011，35(22):32-37.

［3］梁發(fā)云，鄧善熙，楊永躍.立體圖像視頻格式及其轉(zhuǎn)換技術(shù)研究［J］.儀器儀表學報，2005，26(12):1233-1238.

［4］劉占偉，安平，劉蘇醒，等.基于DIBR和圖像融合的任意視點繪制［J］.中國圖象圖形學報，2007，12(10):1696-1700.

［5］趙冰，安平，劉超，等.多視繪制中的空洞填充算法［J］.信號處理，2013，29(8):1019-1026.

［6］CHENGC，LIN S，LAIS.Spatio-temporally consistentnovel view synthesisalgorithm from video-plus-depth sequences for autostereoscopic displays［J］.IEEE Trans.Broadcast，2011，57(2):523-532.

［7］CHAMMEM A，MITREAM，PRTEUX F.DWT based stereoscopic image watermarking［C］//Proc.SPIE 7863，Stereoscopic Displays and Applications XXII.［S.l.］:SPIE Press，2011:326-786.

［8］LIU R，XIE H，TIAN F，et al.Hole-filling based on disparity map for DIBR［J］.KSIITrans.Internet and Information Systems，2012，6(10): 2663-2678.

［9］TANIMOTOM，TEHRANIM，F(xiàn)UJIIT，etal.FTV for3-D spatial communication［J］.Proceedings of the IEEE，2012(4):905-917.

［10］SCHMEING M，JIANG Y.Depth image based rendering:a faithful approach for the disocclusion problem［C］//Proc.3DTV-Conference: The True Vision-Capture，Transmission and Display of 3D Video (3DTV-CON).Tampere:［s.n.］，2010:1-4.

［11］PO L，ZHANG S，XU X，et al.A new multidirectional extrapolation hole-filling method for depth-image-based rendering［C］// Proc.2011 IEEE International Conference Image Processing.［S.l.］: IEEE Press，201l:2589-2592.

［12］王種，趙力，齊增義，等.基于改進BP算法的中間視合成方法［J］.信號處理，2010，26(3):347-353.

［13］WANG C，ZHAO L，QI Z，et al.Intermediate view synthesismethod based on improved BP algorithm［J］.Signal Processing，2010，26(3): 347-353.

［14］張艷，安平，尤志翔，等.基于邊緣差異的虛擬視圖像質(zhì)量評價方法［J］.電子與信息學報，2013，35(8):1894-1900.

M ethod Based on Background Extraction and Partition Repair for Hole-filling in DIBR

CHEN Yue，YAO Jianmin，GUO Tailiang
(College of Physics and Information Engineering，F(xiàn)uzhou University，F(xiàn)uzhou 350000，China)

For the disocclusion problem occurred in view synthesis using depthmap rendering，a newmethod is proposed to fill the holeswith faithful texture in this paper.By extract valid information from adjoining frames，the true background is recovered and it can be used to fill the holes in background areas.By distinguish foreground area and background area，different approuches is used to fill the holes in different areas to getmore reliable and ture effect.From the experimental results，PSNR data obtained by this method is superior to other algorithms，and structural similarity reaches 99.1%compare with the real viewpoint，higher than traditionalmethods formore than 10%.

3DTV;DIBR;view synthesis;hole filling;background extraction;partition repair

TN941.1

A

陳 悅(1985—)，碩士生，主要研究方向為信息顯示系統(tǒng);

?? 雯

2014-01-08

【本文獻信息】陳悅，姚劍敏，郭太良.基于背景提取和分區(qū)修復(fù)的DIBR空洞填補方法［J］.電視技術(shù)，2014，38(23).

國家“863”重大專項(2012AA03A301;2013AA030601);國家自然科學基金項目(61101169;61106053);福建省自然科學基金項目(2011J01347)

姚劍敏(1978—)，碩士生導師，主要研究方向為視頻圖像處理、模式識別;

郭太良(1963—)，博士生導師，主要研究方向為場致發(fā)射陰極材料及器件研究。