自由立體顯示中基于深度卷積神經(jīng)網(wǎng)絡(luò)的虛擬視點(diǎn)生成方法

付傲威，趙 敏，羅 令，邢 妍，鄧 歡，王瓊?cè)A*

(1. 四川大學(xué) 電子信息學(xué)院，四川 成都 610065；2. 北京航空航天大學(xué) 儀器科學(xué)與光電工程學(xué)院， 北京 100191)

1 引 言

近年來(lái)，顯示技術(shù)越來(lái)越重要，人們已經(jīng)不再滿足于傳統(tǒng)的2D(Two-dimensional，二維)顯示，對(duì)于3D(Three-dimensional，三維)顯示的需求越來(lái)越迫切。裸眼3D顯示無(wú)需借助眼鏡或頭盔等輔助設(shè)備即可重建出3D圖像，引起了諸多研究人員的關(guān)注[1-5]。自由立體顯示作為裸眼3D顯示技術(shù)的一種，能夠得到清晰的3D效果。自由立體顯示需要獲取3D圖像，傳統(tǒng)3D獲取方法利用相機(jī)陣列對(duì)真實(shí)的目標(biāo)場(chǎng)景進(jìn)行拍攝，得到不同角度的視差信息，但存在成本過(guò)高以及標(biāo)定、傳輸及存儲(chǔ)困難的問(wèn)題。當(dāng)目標(biāo)場(chǎng)景為虛擬場(chǎng)景時(shí)，可在3D建模軟件中搭建相機(jī)陣列進(jìn)行3D獲取，但存在渲染時(shí)間過(guò)長(zhǎng)和難以實(shí)現(xiàn)3D實(shí)時(shí)獲取等問(wèn)題[6-7]。利用深度圖像繪制(Depth Image Based Rendering，DIBR)技術(shù)合成虛擬視點(diǎn)圖像的方法具有成本低和繪制速度快等諸多優(yōu)勢(shì)，被認(rèn)為是一種有效的3D獲取方法[8-9]?；贒IBR的虛擬視點(diǎn)圖像生成利用參考視點(diǎn)的紋理圖像和深度圖像，通過(guò)3D Warping變換獲得特定位置的虛擬視點(diǎn)圖像[8]。然而上述兩種方法都受到深度圖像精度和場(chǎng)景遮擋區(qū)域的影響，導(dǎo)致生成的虛擬視點(diǎn)圖像存在明顯的空洞和偽影，影響了自由立體圖像的合成質(zhì)量和自由立體顯示效果。

深度卷積神經(jīng)網(wǎng)絡(luò)(Deep convolutional neural networks，DCNN)是一種新興的圖像生成和修復(fù)技術(shù)，該技術(shù)通過(guò)對(duì)樣本圖像的學(xué)習(xí)，可以實(shí)現(xiàn)圖像超分辨率重建、圖像去噪和圖像修復(fù)[10-12]。Pathak提出基于語(yǔ)義的深度卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)學(xué)習(xí)圖像特征，生成圖像缺失部分的預(yù)測(cè)圖，最終實(shí)現(xiàn)缺失圖像的修復(fù)。該方法能夠修復(fù)大面積圖像空洞，但紋理信息失真嚴(yán)重，需要大量的樣本圖像對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練成本高、耗時(shí)長(zhǎng)[13]。Yang提出一種多尺度卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)對(duì)圖像特征和紋理特征進(jìn)行學(xué)習(xí)，實(shí)現(xiàn)了高分辨率的圖像修復(fù)。該方法能夠還原圖像紋理，但圖像部分內(nèi)容修復(fù)不全，需要大量訓(xùn)練集[14]。

本文提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的虛擬視點(diǎn)合成方法。該方法給定一個(gè)隨機(jī)初始化神經(jīng)網(wǎng)絡(luò)作為虛擬視點(diǎn)圖像先驗(yàn)，經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不斷迭代對(duì)生成的虛擬視點(diǎn)圖像進(jìn)行修復(fù)，能夠有效去除虛擬視點(diǎn)圖像的空洞和偽影，得到高質(zhì)量的虛擬視點(diǎn)圖像。該方法無(wú)需大量訓(xùn)練集，且耗時(shí)較短。合成的多幅虛擬視點(diǎn)圖像可交織生成自由立體圖像，用于自由立體顯示。實(shí)驗(yàn)結(jié)果表明，所提方法能夠有效提升虛擬視點(diǎn)圖像的質(zhì)量，應(yīng)用在自由立體顯示裝置上，具有良好的自由立體顯示效果。

圖1 所提方法的流程圖Fig.1 Principle of the proposed method

2 方法原理

本文所提的基于深度卷積神經(jīng)網(wǎng)絡(luò)的虛擬視點(diǎn)合成方法的流程如圖1所示，該方法包括3個(gè)過(guò)程：(1)虛擬視點(diǎn)圖像生成過(guò)程：輸入?yún)⒖家朁c(diǎn)紋理圖像和深度圖像，進(jìn)行3D Warping變換，得到多幅虛擬視點(diǎn)圖像；(2) 虛擬視點(diǎn)圖像修復(fù)過(guò)程：利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)生成的虛擬視點(diǎn)圖像進(jìn)行修復(fù)，得到無(wú)空洞和偽影的虛擬視點(diǎn)圖像；(3) 自由立體圖像合成過(guò)程：利用像素映射算法，將修復(fù)后的虛擬視點(diǎn)圖像交織成自由立體圖像，用于自由立體顯示。

2.1 DIBR虛擬視點(diǎn)圖像生成

DIBR虛擬視點(diǎn)圖像生成是通過(guò)3D Warping變換生成目標(biāo)視點(diǎn)視差圖像的過(guò)程，其原理如圖2所示。3D Warping變換包括兩個(gè)步驟：(1)利用已知的深度信息，將參考視點(diǎn)紋理圖像反向投影到3D空間中；(2)將3D空間點(diǎn)重投影到虛擬成像平面，得到對(duì)應(yīng)的虛擬視點(diǎn)圖像。

參考視點(diǎn)圖像的反向投影和重投影過(guò)程表示為：

(x,y,z)T=RrKr-1(u,v,1)Td(u,v)+tr，

(1)

(l,m,n)T=KvRv-1{(x,y,z)T-tv}，

(2)

其中，(x,y,z)表示三維空間點(diǎn)，(u,v, 1)T為參考視點(diǎn)圖像平面的像素齊次坐標(biāo)，Kr,Rr,tr分別表示參考視點(diǎn)對(duì)應(yīng)攝像機(jī)的內(nèi)部矩陣、旋轉(zhuǎn)矩陣及平移矩陣。Kv,Rv,tv分別表示虛擬視點(diǎn)對(duì)應(yīng)攝像機(jī)的內(nèi)部矩陣、旋轉(zhuǎn)矩陣及平移矩陣，d(u,v)表示(u,v)位置對(duì)應(yīng)的深度值，(l,m,n)T表示虛擬視點(diǎn)位置，對(duì)參考視點(diǎn)紋理圖像執(zhí)行反向投影和重投影兩個(gè)操作，即可生成目標(biāo)位置的虛擬視點(diǎn)圖像。

圖2 基于DIBR的虛擬視點(diǎn)圖像生成原理示意圖Fig.2 Schematic diagram of the virtual viewpoint image generation based on DIBR

2.2 虛擬視點(diǎn)圖像修復(fù)

受深度圖像精度和場(chǎng)景遮擋區(qū)域的影響，利用DIBR技術(shù)生成的虛擬視點(diǎn)圖像存在明顯的空洞和偽影。因此，需要對(duì)虛擬視點(diǎn)圖像進(jìn)行修復(fù)，去除空洞和偽影。所提方法利用一個(gè)隨機(jī)初始化的卷積神經(jīng)網(wǎng)絡(luò)作為圖像先驗(yàn)，基于虛擬視點(diǎn)圖像和任務(wù)依賴的觀測(cè)模型，通過(guò)不斷迭代使模型參數(shù)逼近最大似然，最終輸出修復(fù)后的虛擬視點(diǎn)圖像[10]。隨機(jī)初始化卷積神經(jīng)網(wǎng)絡(luò)作為圖像先驗(yàn)，通過(guò)迭代修復(fù)虛擬視點(diǎn)圖像，無(wú)需大量的訓(xùn)練圖像，因此大大節(jié)省了資源和時(shí)間。

所提方法從隨機(jī)分布中采樣虛擬視點(diǎn)圖像數(shù)據(jù)，并基于該數(shù)據(jù)分布限制受損觀測(cè)樣本分布，從而對(duì)虛擬視點(diǎn)圖像進(jìn)行修復(fù)。圖像修復(fù)任務(wù)可以被認(rèn)為是能量最小化問(wèn)題，表示為：

(3)

其中E(x;x0)是一個(gè)任務(wù)依賴的數(shù)據(jù)項(xiàng)，x*表示修復(fù)后的虛擬視點(diǎn)圖像，x表示網(wǎng)絡(luò)輸出，x0為未修復(fù)的虛擬視點(diǎn)圖像，R(x)是一個(gè)正則化項(xiàng)，用來(lái)抓取虛擬視點(diǎn)圖像的通用先驗(yàn)。所提方法采用卷積神經(jīng)網(wǎng)絡(luò)來(lái)代替R(x)，卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)化表征形式為：x=fθ(z),x∈R3×H×E，z∈RC×H×W，其中z為編碼張量，θ為網(wǎng)絡(luò)參數(shù)。

(4)

其值選取如下：

(5)

圖3 虛擬視點(diǎn)圖像的修復(fù)過(guò)程示意圖Fig.3 Schematic diagram of virtual viewpoint image inpainting

在隨機(jī)初始化卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，給定一個(gè)隨機(jī)權(quán)重θ0，采用隨機(jī)梯度下降算法訓(xùn)練，經(jīng)過(guò)多次迭代，得到最優(yōu)參數(shù)θ*，使生成的虛擬視點(diǎn)圖像不斷逼近初始的虛擬視點(diǎn)圖像，最終獲得修復(fù)后的虛擬視點(diǎn)圖像。

采用的卷積神經(jīng)網(wǎng)絡(luò)為編解碼的網(wǎng)絡(luò)結(jié)構(gòu)，編碼過(guò)程包括卷積、下采樣、批量標(biāo)準(zhǔn)化以及修正線性單元激活過(guò)程，對(duì)生成的虛擬視點(diǎn)圖像特定進(jìn)行學(xué)習(xí)。解碼過(guò)程包括批量標(biāo)準(zhǔn)化、卷積、修正線性單元激活和上采樣過(guò)程，最終輸出修復(fù)后的虛擬視點(diǎn)圖像。虛擬視點(diǎn)圖像的修復(fù)過(guò)程如圖3所示，其中di表示第i次迭代的編碼過(guò)程，ui表示第i次迭代的解碼過(guò)程，si表示第i次迭代的殘差連接過(guò)程，將di層輸出和ui層輸入連接在一起，實(shí)現(xiàn)跳躍式傳遞。經(jīng)過(guò)一次編解碼過(guò)程，完成一次迭代，多次迭代，最終輸出修復(fù)后的虛擬視點(diǎn)圖像。

2.3 自由立體圖像合成

自由立體圖像由多幅修復(fù)后的虛擬視點(diǎn)圖像的像素按照視點(diǎn)矢量渲染算法映射生成[7]。合成的自由立體圖像的子像素按照虛擬視點(diǎn)圖像的視點(diǎn)順序連續(xù)分布，自由立體圖像的像素結(jié)構(gòu)如圖4所示，可以看出[15]，每幅虛擬視點(diǎn)圖像像素已填充到單個(gè)柱透鏡單元覆蓋的全部子像素位置。

圖4 自由立體圖像與虛擬視點(diǎn)的關(guān)系示意圖Fig.4 Schematic diagram of the relationship between autostereoscopic image and virtual view

3 實(shí) 驗(yàn)

實(shí)驗(yàn)采用微軟亞洲研究院提供的“Ballet”圖像集中一個(gè)視點(diǎn)的紋理圖像和深度圖像進(jìn)行測(cè)試，虛擬視點(diǎn)圖像生成過(guò)程如圖5所示。

圖5(a)和圖5(b)分別為參考視點(diǎn)的紋理圖像和深度圖像，圖5(c)為合成的8幅虛擬視點(diǎn)圖像，每幅圖像的分辨率為1 024×768。由細(xì)節(jié)放大圖可以看出，受場(chǎng)景遮擋關(guān)系的影響，生成的虛擬視點(diǎn)圖像中，人物和圖像邊緣存在明顯的黑洞，背景區(qū)域存在大量細(xì)微的黑洞。由于視點(diǎn)1和8與參考視點(diǎn)5距離最遠(yuǎn)，其對(duì)應(yīng)生成的虛擬視點(diǎn)圖像黑洞區(qū)域最大。將生成的8幅虛擬視點(diǎn)圖像分別輸入深度卷積神經(jīng)網(wǎng)絡(luò)，對(duì)虛擬視點(diǎn)圖像進(jìn)行不斷迭代，每50次迭代輸出一幅對(duì)應(yīng)的虛擬視點(diǎn)圖像，迭代過(guò)程如圖6所示。由圖中可以看出，當(dāng)?shù)螖?shù)n=400次時(shí)，虛擬視點(diǎn)圖像的空洞和偽影得到了很好的去除。

圖5 參考視點(diǎn)和虛擬視點(diǎn)圖像。(a)參考視點(diǎn)紋理圖像；(b)參考視點(diǎn)深度圖像；(c)虛擬視點(diǎn)圖像。Fig.5 Reference view and virtual viewpoint images.(a) Reference view texture image； (b) Reference view depth image； (c) 8 virtual view images.

圖6 迭代過(guò)程輸出的虛擬視點(diǎn)圖像Fig.6 Output virtual viewpoint images during iteration process

圖7 未修復(fù)和修復(fù)后的虛擬視點(diǎn)圖像。(a)未修復(fù)的虛擬視點(diǎn)圖像；(b)修復(fù)后的虛擬視點(diǎn)圖像。Fig.7 Unrepaired and restored virtual viewpoint images. (a) Unrepaired virtual viewpoint images； (b) Restored virtual viewpoint images.

圖8 本文所提方法與傳統(tǒng)方法修復(fù)的虛擬視點(diǎn)圖像PSNR對(duì)比圖Fig.8 Comparison of PSNR of virtual viewpoint images inpainting by the proposed method and traditional method

8幅未修復(fù)和修復(fù)后的虛擬視點(diǎn)圖像如圖7所示。圖7(a)為利用3D Warping變換直接生成的虛擬視點(diǎn)圖像，圖7(b)為經(jīng)過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)修復(fù)后的虛擬視點(diǎn)圖像。由圖7(a)和7(b)的細(xì)節(jié)放大圖對(duì)比可以看出，修復(fù)后的1和8視點(diǎn)圖像的空洞區(qū)域得到了很好的修復(fù)，同時(shí)背景區(qū)域中小的空洞也得到了填充。

為驗(yàn)證所提方法的有效性，將修復(fù)后的虛擬視點(diǎn)圖像與傳統(tǒng)像素填充方法修復(fù)后的虛擬視點(diǎn)圖像進(jìn)行了對(duì)比。不同虛擬視點(diǎn)個(gè)數(shù)下，兩種方法的PSNR(峰值信噪比)值對(duì)比結(jié)果如圖8所示。本文所提方法中，修復(fù)后的虛擬視點(diǎn)圖像的PSNR均值為25.6，而傳統(tǒng)像素填充方法修復(fù)后的虛擬視點(diǎn)圖像的PSNR均值為22.5之間。由實(shí)驗(yàn)結(jié)果可知，所提方法對(duì)虛擬視點(diǎn)圖像的修復(fù)效果優(yōu)于傳統(tǒng)方法。

實(shí)驗(yàn)采用視點(diǎn)矢量渲染算法，將修復(fù)后的8幅虛擬視點(diǎn)圖像合成為分辨率3 840×2 160的自由立體圖像，并在斜率為0.181 8的8視點(diǎn)自由立體顯示器上進(jìn)行顯示，不同視角的再現(xiàn)3D圖像如圖9所示。可以看出，隨著視角從左向右進(jìn)行移動(dòng)，芭蕾舞者手部與墻上貼圖之間的距離逐漸增大。實(shí)驗(yàn)結(jié)果表明，所提方法生成的虛擬視點(diǎn)圖像應(yīng)用在自由立體顯示器上，具有較好的3D顯示效果。

圖9 不同視角的再現(xiàn)3D圖像。(a)左視角；(b)正視角；(c)右視角。Fig.9 Reconstructed 3D images with different views.(a) Left view； (b) Positive view； (c) Right view.

4 結(jié) 論

本文提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的虛擬視點(diǎn)生成方法。該方法采用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)虛擬視點(diǎn)圖像的空洞和偽影進(jìn)行修復(fù)，并將修復(fù)后的虛擬視點(diǎn)圖像通過(guò)視點(diǎn)矢量渲染算法合成自由立體圖像，應(yīng)用在自由立體顯示器上，實(shí)現(xiàn)了較好的3D顯示效果。實(shí)驗(yàn)結(jié)果表明，所提方法生成的虛擬視點(diǎn)圖像質(zhì)量相比傳統(tǒng)方法有明顯提升。