基于改進(jìn)密集連接型網(wǎng)絡(luò)的光場(chǎng)深度估計(jì)

蘇鈺生，王亞飛，李學(xué)華

北京信息科技大學(xué) 信息與通信工程學(xué)院，北京100101

1 引言

傳統(tǒng)的成像設(shè)備與系統(tǒng)只能記錄場(chǎng)景的二維平面信息，丟失了場(chǎng)景深度信息，如今在VR（Virtual Reality）技術(shù)的發(fā)展和應(yīng)用中，傳統(tǒng)設(shè)備存在著明顯的局限性。光場(chǎng)相機(jī)的誕生，改變了成像方式，能夠收集和記錄光的強(qiáng)度和光的方向，這使得通過(guò)光場(chǎng)圖像來(lái)估計(jì)場(chǎng)景深度信息成為可能[1]。

傳統(tǒng)方法，比如立體匹配[2]（stereo matching）結(jié)合隨機(jī)場(chǎng)理論[3]和PCA[4]，得到的深度圖（depth maps）精度較低，已經(jīng)無(wú)法滿足對(duì)準(zhǔn)確度和速度的需要。目前比較常用的算法主要分為兩類：基于優(yōu)化的算法和基于深度學(xué)習(xí)的算法。

基于優(yōu)化的代表方法有：文獻(xiàn)[5]根據(jù)相移理論提出了一種達(dá)到亞像素精度的多視角立體匹配方法，該算法克服了微透鏡鏡頭畸變，且改善了傳統(tǒng)匹配算法的準(zhǔn)確度?；贓PI的深度估計(jì)方法不同于匹配的方式，它通過(guò)分析光場(chǎng)數(shù)據(jù)的結(jié)構(gòu)，從而進(jìn)行深度估計(jì)。只需要計(jì)算EPI 中的斜線斜率即可計(jì)算出對(duì)應(yīng)點(diǎn)的深度。文獻(xiàn)[6]采用了結(jié)構(gòu)化張量來(lái)計(jì)算EPI中的斜率，得到初始視差圖，并且使用全變差去噪濾波器來(lái)精細(xì)化視差圖。還有考慮融合及散焦的深度估計(jì)方法[7]，根據(jù)光場(chǎng)剪切原理，通過(guò)衡量像素在不同焦點(diǎn)堆棧處的“模糊度”來(lái)得到對(duì)應(yīng)深度。這些傳統(tǒng)的估計(jì)方法都無(wú)可避免地在算法性能和計(jì)算速度上進(jìn)行折中，對(duì)于準(zhǔn)確度和效率無(wú)法同時(shí)保證。

也有學(xué)者采用深度學(xué)習(xí)的方法進(jìn)行光場(chǎng)的深度估計(jì)，文獻(xiàn)[8]采用了EPI patch作為神經(jīng)網(wǎng)絡(luò)的輸入，利用雙輸入流卷積神經(jīng)網(wǎng)絡(luò)提取特征，計(jì)算得到對(duì)應(yīng)的深度信息，然后采用變分法，以中心視圖作為先驗(yàn)結(jié)果優(yōu)化初始深度信息。文獻(xiàn)[9]也采用雙流網(wǎng)絡(luò)估計(jì)初始深度，通過(guò)基于能量函數(shù)的全局約束細(xì)化初始深度。雖然兩篇文獻(xiàn)采用了基于深度學(xué)習(xí)的方法，但是其執(zhí)行一次前向傳播運(yùn)算只能得到一個(gè)像素的深度信息，要獲取一張完整的深度圖需要計(jì)算多次，并且都使用了細(xì)化處理（refinement），計(jì)算變得更加耗時(shí)。文獻(xiàn)[10]采用RGB EPI Volume 作為輸入，設(shè)計(jì)了一種U 型網(wǎng)絡(luò)直接輸出深度信息，計(jì)算較快。但是由于只考慮一個(gè)方向上的EPI，使得估計(jì)結(jié)果的準(zhǔn)確度不高。

為了解決上述算法中暴露出的精度低、耗時(shí)長(zhǎng)的問(wèn)題，提出了基于EPI-DenseNet進(jìn)行光場(chǎng)深度估計(jì)。該方法采用HCI 4D光場(chǎng)標(biāo)準(zhǔn)數(shù)據(jù)集，利用多個(gè)方向的EPI信息作為神經(jīng)網(wǎng)絡(luò)的輸入，實(shí)現(xiàn)端到端的深度信息估計(jì)，一次計(jì)算即可得到完整的深度圖，無(wú)需進(jìn)行后處理等耗時(shí)操作，可實(shí)現(xiàn)快速準(zhǔn)確的深度估計(jì)。并且該方法使用了密集連接的結(jié)構(gòu)，解決了網(wǎng)絡(luò)隨著層數(shù)增加而出現(xiàn)梯度消失的問(wèn)題。同時(shí)提出了適用于光場(chǎng)圖像結(jié)構(gòu)的數(shù)據(jù)增強(qiáng)方法，如隨機(jī)灰度化，顯著提升了訓(xùn)練數(shù)據(jù)的數(shù)量，加快了EPI-DenseNet的訓(xùn)練，改善了網(wǎng)絡(luò)性能，提高了算法的魯棒性。最終，通過(guò)對(duì)比實(shí)驗(yàn)，EPI-DenseNet在均方誤差（Mean Squared Error，MSE）、不良像素率（Bad Pixel ratio，BadPixel）以及運(yùn)算時(shí)間（runtime）上都取得良好結(jié)果。

2 DenseNet模型

自ResNet 提出以后，卷積神經(jīng)網(wǎng)絡(luò)的深度不斷加深，ResNet 的變種網(wǎng)絡(luò)層出不窮，性能也不斷提升。CVPR2017提出的DenseNet[11]是一種具有密集連接的卷積神經(jīng)網(wǎng)絡(luò)，在該網(wǎng)絡(luò)中，任意兩層之間都有直接的連接，即每一層的輸入都是前面所有層輸出的并集，而該層所學(xué)習(xí)的特征圖也會(huì)被直接轉(zhuǎn)遞給其后面所有層作為輸入。這種做法可以緩解由于網(wǎng)絡(luò)層數(shù)增多在訓(xùn)練時(shí)引起的梯度消失的問(wèn)題，加強(qiáng)特征傳播，鼓勵(lì)特征復(fù)用，并且極大地減少了參數(shù)量。

圖1為DenseNet的一個(gè)Dense Block示意圖，與ResNet中的BottleNeck 基本一致：BN-ReLU-Conv（1×1）-BNReLU-Conv（3×3），一個(gè)DenseNet 由多個(gè)Dense Block組成，每一個(gè)Dense Block 之間的層稱為transition layers，由BN-Conv（1×1）-averagePooling（2×2）構(gòu)成。在圖像分類任務(wù)上，使用3 個(gè)數(shù)據(jù)集：CIFAR、SVHN 和ImageNet進(jìn)行測(cè)試，DenseNet-100的測(cè)試誤差為22.3%，已經(jīng)優(yōu)于ResNet-1001 的測(cè)試誤差22.71%，并且后者的參數(shù)量為10.2×106，而前者只有0.8×106，可見DenseNet結(jié)構(gòu)設(shè)計(jì)的優(yōu)越性以及其優(yōu)秀的特征抽取能力。

圖1 Dense Block結(jié)構(gòu)

3 EPI-DenseNet模型

本章將從模型結(jié)構(gòu)設(shè)計(jì)，輸入數(shù)據(jù)預(yù)處理，數(shù)據(jù)增強(qiáng)和訓(xùn)練細(xì)節(jié)來(lái)介紹EPI-DenseNet 進(jìn)行光場(chǎng)深度估計(jì)的方法。

3.1 模型結(jié)構(gòu)設(shè)計(jì)

設(shè)計(jì)一種端到端的深度全卷積網(wǎng)絡(luò)[12]EPI-DenseNet，以光場(chǎng)的EPI 結(jié)構(gòu)作為輸入，以視差圖（Disparity map）作為標(biāo)簽（label）訓(xùn)練網(wǎng)絡(luò)。為了獲得更加準(zhǔn)確的估計(jì)結(jié)果，考慮使用水平、豎直和對(duì)角線4 個(gè)方向上的EPI Volume通過(guò)4條輸入分支輸入到網(wǎng)絡(luò)的4個(gè)流中，完成低階特征的提取，再將提取的特征融合，由網(wǎng)絡(luò)的后半部分繼續(xù)進(jìn)行高階特征抽取，最后轉(zhuǎn)化為視差圖，完整結(jié)構(gòu)如圖2所示。

前半部分采用的“Conv Block 1”結(jié)構(gòu)如圖3所示，考慮到視差圖精度需求較高（像素級(jí)甚至是亞像素級(jí)），因此卷積核大小不宜過(guò)大，而EPI估計(jì)深度需要計(jì)算同一點(diǎn)在不同視角下的位移量，即需要跨通道搜索同一點(diǎn)，1×1 的卷積核由于其尺寸太小，無(wú)法感知點(diǎn)的位移量，因此，使用2×2的卷積核，步長(zhǎng)為1，這樣設(shè)置就可以測(cè)量±4的視差，并且全部使用valid-padding以加快訓(xùn)練速度。BN表示批歸一化層（Batch Normalization），其作用是將批處理（mini-batch）輸入的數(shù)據(jù)X：{X1,X2,…,Xm}的分布通過(guò)平移伸縮變?yōu)榫禐?，方差為1 的正態(tài)分布，歸一化處理的計(jì)算式為：

圖2 EPI-DenseNet結(jié)構(gòu)

圖3 Conv Block 1結(jié)構(gòu)

其中，Xi表示批歸一化層的輸入數(shù)據(jù)，μ 為輸入數(shù)據(jù)的均值，δ 是輸入數(shù)據(jù)的標(biāo)準(zhǔn)差。歸一化的目的是為了縮小輸入空間，從而降低調(diào)參難度，加快網(wǎng)絡(luò)的訓(xùn)練速度，由于目前訓(xùn)練網(wǎng)絡(luò)常用的方法是批量隨機(jī)梯度下降（mini-batch stochastic gradient descent），歸一化可以防止梯度爆炸或梯度消失，從而加快網(wǎng)絡(luò)收斂。激活函數(shù)采用線性整流函數(shù)（Rectified Linear Unit，ReLU），其表達(dá)式為：

ReLU 函數(shù)相比較其他激活函數(shù)，在隨機(jī)梯度下降過(guò)程中能快速收斂，在計(jì)算機(jī)視覺領(lǐng)域運(yùn)用廣泛。

圖2 后半部分在低階特征融合之后，設(shè)計(jì)了一種“Dense Block”來(lái)提取高階特征，其采用shortcuts 連接結(jié)構(gòu)（Concatenate），使淺層和深層的特征可以更自由地組合，對(duì)于第l 層的輸出來(lái)說(shuō)，其輸出Xl=Hl([X0,X1,…,Xl-1])，即網(wǎng)絡(luò)的每一層輸出都是之前層的組合，讓網(wǎng)絡(luò)去學(xué)習(xí)它們之間的組合方式，使得網(wǎng)絡(luò)模型能充分利用每一層提取到的特征，提升魯棒性，并且在訓(xùn)練深層的網(wǎng)絡(luò)時(shí)可以減少梯度消失可能性，提升收斂速度，如圖4所示，這是由于在傳統(tǒng)網(wǎng)絡(luò)執(zhí)行反向傳播時(shí)，輸出層的梯度在不斷向前傳遞時(shí)，梯度值逐漸減小，若網(wǎng)絡(luò)層數(shù)較深，梯度傳遞到淺層時(shí)由于太小使得淺層網(wǎng)絡(luò)參數(shù)無(wú)法得到很好的訓(xùn)練，在ResNet提出后，使用殘差學(xué)習(xí)可以有效方便地傳遞梯度，如圖5 所示，此時(shí)梯度計(jì)算式為：

圖4 改進(jìn)的Dense Block結(jié)構(gòu)

圖5 殘差學(xué)習(xí)

對(duì)比傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，采用這種設(shè)計(jì)在網(wǎng)絡(luò)深度相同時(shí)，需要訓(xùn)練的參數(shù)的數(shù)量會(huì)減少很多，從而使得網(wǎng)絡(luò)訓(xùn)練難度較低，同時(shí)計(jì)算所需資源也會(huì)降低。

“Dense Block”中的特征提取采用了“BN-ReLUConv”的結(jié)構(gòu)，如圖6（a）所示。其中卷積核大小依然是2×2，步長(zhǎng)為1，考慮到要將特征進(jìn)行連接，特征的尺寸應(yīng)該保持一致，故采用same-padding保證每一級(jí)特征的尺寸不變。為了將所有組合在一起的特征再進(jìn)行壓縮融合，使用了一種“Transition”的結(jié)構(gòu)，如圖6（b）所示，“Transition”中使用卷積核為1×1，步長(zhǎng)為1，其目的是在保留特征形狀不變的情況下，降低特征維度，壓縮通道，通過(guò)非線性的激活函數(shù)可以為輸入的特征添加非線性變換。與原始的DenseNet不同，EPI-DenseNet沒有采用池化層（pooling）進(jìn)行降采樣，這是為了滿足對(duì)不同分辨率的光場(chǎng)圖像均可以進(jìn)行深度估計(jì)。

圖6 Dense Block組成

通過(guò)采用Dense Block，網(wǎng)絡(luò)的參數(shù)可以得到大幅減少，對(duì)比不采用密集連接的常規(guī)CNN（卷積層數(shù)相同，通道數(shù)相同），參數(shù)量對(duì)比如表1。

表1 參數(shù)量對(duì)比

從表1 中可以看出，EPI-DenseNet 的參數(shù)量遠(yuǎn)少于常規(guī)CNN，則其訓(xùn)練難度較低，且由于參數(shù)量較少，所需的計(jì)算資源也較低，具備一定優(yōu)勢(shì)，執(zhí)行耗時(shí)對(duì)比如表2所示，可以看出EPI-DenseNet在效率上比常規(guī)網(wǎng)絡(luò)高。

表2 對(duì)比常規(guī)CNN執(zhí)行時(shí)間s

EPI-DenseNet最終將EPI特征轉(zhuǎn)化為一張高精度的視差圖，根據(jù)光場(chǎng)成像原理中視差與深度之間的幾何關(guān)系，可以通過(guò)以下公式快速計(jì)算深度值：

其中，f 為相機(jī)焦距，Z 為P 點(diǎn)的深度值，Δx 表示P點(diǎn)在不同視角下的位移量（視差），Δu 為相機(jī)鏡頭陣列的基線長(zhǎng)度。

3.2 輸入數(shù)據(jù)預(yù)處理

使用的數(shù)據(jù)集為HCI 4D標(biāo)準(zhǔn)光場(chǎng)數(shù)據(jù)集，數(shù)據(jù)集提供共計(jì)20個(gè)人工合成的光場(chǎng)場(chǎng)景的RGB圖像以及其對(duì)應(yīng)的視差圖和深度圖，如圖7 所示，其中16 個(gè)作為訓(xùn)練集用于算法模型的訓(xùn)練，4個(gè)作為驗(yàn)證集用于驗(yàn)證模型的泛化能力，每個(gè)場(chǎng)景的物體、紋理均不相同。該數(shù)據(jù)集是基于標(biāo)準(zhǔn)全光相機(jī)設(shè)備參數(shù)進(jìn)行設(shè)計(jì)合成的，因此其光場(chǎng)圖像具有基線較短，分辨率較低的特點(diǎn)。該數(shù)據(jù)集所提供的圖像分辨率為512×512，有9×9 個(gè)不同視角的RGB圖像。

圖7 HCI 4D光場(chǎng)數(shù)據(jù)集

與文獻(xiàn)[10]采用RGB EPI Volume 作為輸入不同，對(duì)于視差以及深度信息來(lái)說(shuō)，對(duì)顏色信息是不明感的，因?yàn)椴捎肊PI 進(jìn)行深度估計(jì)時(shí)，不論是彩色的EPI 還是灰度化的EPI，其極線的斜率均是可以準(zhǔn)確求出的，因此，為了降低網(wǎng)絡(luò)對(duì)數(shù)據(jù)的計(jì)算量，對(duì)于RGB圖首先進(jìn)行灰度化處理，將RGB值壓縮為灰度值，其操作為：

式中，R(i,j)，G(i,j)，B(i,j)為(i,j)像素點(diǎn)的三種顏色通道的分量。然后將得到的灰度圖按照?qǐng)D8中左側(cè)箭頭所示順序堆疊，得到一個(gè)512×512×9的EPI Volume，表示9張分辨率為512×512的灰度圖的疊加，以此作為一個(gè)輸入流。EPI-DenseNet使用了4個(gè)方向上的EPI Volume，如圖1 左側(cè)所示，采用多個(gè)方向的EPI 可以利用更多的視差信息，用于提高網(wǎng)絡(luò)估計(jì)的準(zhǔn)確性。

圖8 水平方向EPI Volume輸入

3.3 數(shù)據(jù)增強(qiáng)

采用深度學(xué)習(xí)的方法要求訓(xùn)練集必須具備一定大的規(guī)模，但是原始訓(xùn)練集只提供了16個(gè)場(chǎng)景，遠(yuǎn)遠(yuǎn)無(wú)法滿足深度學(xué)習(xí)的要求，因此，除了對(duì)數(shù)據(jù)做基本的預(yù)處理操作，還需要進(jìn)行數(shù)據(jù)增強(qiáng)的操作，以達(dá)到訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)的需求。

結(jié)合文獻(xiàn)[13]中針對(duì)單目深度估計(jì)提出的一系列數(shù)據(jù)增強(qiáng)的方法，考慮到HCI 4D光場(chǎng)數(shù)據(jù)集擁有多張不同視角的圖片，擁有更多的深度線索，并且目前網(wǎng)絡(luò)規(guī)模較大，需要大量訓(xùn)練數(shù)據(jù)，因此采取了如表3 的數(shù)據(jù)增強(qiáng)方式來(lái)擴(kuò)充訓(xùn)練數(shù)據(jù)，以達(dá)到網(wǎng)絡(luò)可以訓(xùn)練的基本要求。

表3 數(shù)據(jù)增強(qiáng)表

隨機(jī)灰度化采用的方式如下：

其中wR，wG，wB分別為RGB 三通道的權(quán)重，這三個(gè)數(shù)值是隨機(jī)生成的，且滿足以下條件：

使用無(wú)隨機(jī)灰度化訓(xùn)練網(wǎng)絡(luò)作為對(duì)比，當(dāng)兩個(gè)網(wǎng)絡(luò)收斂到同一水平時(shí)，在測(cè)試集上的4 個(gè)場(chǎng)景預(yù)測(cè)，計(jì)算不良像素率，結(jié)果如表4 所示，采用隨機(jī)灰度化會(huì)顯著提高模型的泛化能力，而無(wú)隨機(jī)灰度化的網(wǎng)絡(luò)訓(xùn)練結(jié)果出現(xiàn)了過(guò)擬合問(wèn)題，導(dǎo)致在測(cè)試集上表現(xiàn)不佳。

表4 隨機(jī)灰度化對(duì)BadPixel的影響 %

此實(shí)驗(yàn)采用的數(shù)據(jù)增強(qiáng)方式是表1 中各種方式的隨機(jī)組合，因此，將原始訓(xùn)練集可以擴(kuò)容到滿足EPIDenseNet訓(xùn)練的需求。

需要注意的是，在圖像旋轉(zhuǎn)之后，灰度圖的疊加順序和輸入網(wǎng)絡(luò)的順序也要相應(yīng)地改變，如圖9，例如：旋轉(zhuǎn)90°，此時(shí)豎直方向上的圖像疊加之后需要輸入到網(wǎng)絡(luò)的水平方向的輸入流中；旋轉(zhuǎn)180°，此時(shí)豎直方向上的所有圖像的疊加順序也要對(duì)應(yīng)地變化。

圖9 圖像旋轉(zhuǎn)后的調(diào)整

3.4 訓(xùn)練細(xì)節(jié)

由于EPI-DenseNet是全卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，沒有池化層（pooling），因此，可以接受任意大小的輸入圖像，不用要求訓(xùn)練圖像和測(cè)試圖像具有相同的尺寸。如果將512×512 的圖像直接輸入網(wǎng)絡(luò)，由于像素過(guò)多，會(huì)無(wú)法訓(xùn)練，因此采用25×25 的隨機(jī)裁剪圖像進(jìn)行網(wǎng)絡(luò)訓(xùn)練，再用512×512的圖像進(jìn)行驗(yàn)證。

在使用512×512的圖像作為輸入時(shí)，網(wǎng)絡(luò)前半部分采用尺寸為2×2的卷積核進(jìn)行卷積，步長(zhǎng)為1，沒有采用padding，因此其特征提取過(guò)程中的特征圖尺寸會(huì)減少，而后半部分的采用2×2卷積核，步長(zhǎng)為1，并且使用padding來(lái)維持特征圖尺寸不變，最終網(wǎng)絡(luò)輸出的視差圖尺寸為506×506。

在部分場(chǎng)景中，存在鏡面反射的區(qū)域，對(duì)于訓(xùn)練網(wǎng)絡(luò)會(huì)產(chǎn)生不良影響，因此在訓(xùn)練時(shí)將這部分區(qū)域去除，以保證網(wǎng)絡(luò)訓(xùn)練的準(zhǔn)確。

網(wǎng)絡(luò)訓(xùn)練采用的損失函數(shù)（loss function）是平均絕對(duì)誤差（mean absolute error），表達(dá)式如下：

其中，yi表示真實(shí)值，表示估計(jì)值，m 為視差圖的像素點(diǎn)數(shù)。

訓(xùn)練使用的是小批量隨機(jī)梯度下降，批次大?。╞atch-size）設(shè)為16，優(yōu)化器（optimizer）采用RMSprop，初始學(xué)習(xí)率為10-4。

訓(xùn)練的機(jī)器CPU 為E5-2650 v4，GPU 為NVIDIA TITAN V，采用Tensorflow 為訓(xùn)練后端，Keras 搭建網(wǎng)絡(luò)，訓(xùn)練時(shí)間大約1～2天即可得到良好的結(jié)果。

訓(xùn)練每完成一次迭代（iteration），就采用512×512分辨率的圖像作為驗(yàn)證集（validation set）驗(yàn)證訓(xùn)練結(jié)果，評(píng)價(jià)的標(biāo)準(zhǔn)為均方誤差和不良像素比率（bad pixel ratio）。均方誤差用于描述估計(jì)結(jié)果的平滑度，均方誤差越小，表示結(jié)果越好。均方誤差的計(jì)算式如下：

當(dāng)一個(gè)像素點(diǎn)的估計(jì)結(jié)果與實(shí)際數(shù)據(jù)相差超過(guò)一定閾值時(shí)，這個(gè)估計(jì)得到的像素點(diǎn)就是不良像素，不良像素的數(shù)量占總像素?cái)?shù)的比重則稱為不良像素比率，不良像素比率用于描述估計(jì)結(jié)果的準(zhǔn)確度，其值越小表示估計(jì)準(zhǔn)確度越高。其計(jì)算式為：

式中，t 表示閾值，這里采用的閾值為t=0.07。

最終實(shí)驗(yàn)的迭代過(guò)程如圖10、11。

圖10 MSE隨迭代下降

圖11 BadPixel隨迭代下降

如圖10 和圖11，EPI-DenseNet 在訓(xùn)練時(shí)，隨著網(wǎng)絡(luò)訓(xùn)練次數(shù)的增加，均方誤差和不良像素率在不斷下降，說(shuō)明EPI-DenseNet的網(wǎng)絡(luò)結(jié)構(gòu)較好，能夠很快速地收斂。

4 實(shí)驗(yàn)結(jié)果與分析

本章主要介紹采用文中算法模型得到的深度估計(jì)信息結(jié)果，并且與其他深度估計(jì)算法在同一個(gè)測(cè)試場(chǎng)景中的結(jié)果進(jìn)行比較。

4.1 算法結(jié)果

采用的測(cè)試集為HCI 4D 光場(chǎng)標(biāo)準(zhǔn)數(shù)據(jù)集中的test分類下的4 個(gè)不同場(chǎng)景Cotton、Dino、Sideboard、Boxes，其場(chǎng)景的復(fù)雜從左到右依次增大，Cotton場(chǎng)景中是一個(gè)雕像，場(chǎng)景較簡(jiǎn)單，估計(jì)難度較低；Dino場(chǎng)景增加了許多多邊形邊緣信息以及陰影的干擾，估計(jì)難度有所提高；而Sideboard在墻體部分使用了復(fù)雜的紋理，且在書架的部分由于書本高度不齊，其邊緣信息較為復(fù)雜；Boxes場(chǎng)景中在鏤空的盒子中裝有書本，對(duì)書本進(jìn)行了部分遮擋，估計(jì)難度較高。這4個(gè)場(chǎng)景的中心視角視圖如圖12所示。

圖12 測(cè)試場(chǎng)景

將測(cè)試集的圖像數(shù)據(jù)進(jìn)行預(yù)處理之后，輸入已經(jīng)訓(xùn)練收斂的EPI-DenseNet 中，預(yù)測(cè)得到的視差圖，與其他文獻(xiàn)結(jié)果對(duì)比，最終對(duì)比結(jié)果如圖13所示。

圖13 實(shí)驗(yàn)結(jié)果對(duì)比

從圖中可以看出，在左側(cè)兩個(gè)場(chǎng)景Cotton 和Dino中，EPI-DenseNet 估計(jì)結(jié)果準(zhǔn)確，圖形邊緣處也較為平滑，在復(fù)雜場(chǎng)景Sideboard 和Boxes 中，邊緣處的鋸齒相對(duì)較少，對(duì)于Boxes中網(wǎng)格遮擋情況的估計(jì)結(jié)果也好于圖13（c）、（d）。

4.2 算法性能分析

本節(jié)將EPI-DenseNet 與現(xiàn)有的文獻(xiàn)算法進(jìn)行性能比較，計(jì)算估計(jì)結(jié)果的均方誤差和不良像素率。文獻(xiàn)算法分為基于深度學(xué)習(xí)的和非基于深度學(xué)習(xí)的，算法比較結(jié)果如表5所示。

表5 實(shí)驗(yàn)結(jié)果對(duì)比

由此可見，EPI-DenseNet在4個(gè)測(cè)試場(chǎng)景中，均取得了比較良好的成績(jī)，說(shuō)明本文算法估計(jì)結(jié)果平滑，并且準(zhǔn)確度比較高。其中LF[5]、EPI1[14]和BSL[15]是基于匹配或稀疏編碼的方式進(jìn)行的光場(chǎng)深度信息估計(jì)，EPIDenseNet 在MSE 和BadPixel 指標(biāo)中均優(yōu)于這三種算法。由此，可以說(shuō)明采用基于深度學(xué)習(xí)的方式也可以獲取精度較高的深度信息。對(duì)比常規(guī)CNN，由于層數(shù)較多，參數(shù)量較大，訓(xùn)練耗時(shí)較長(zhǎng)，在精度上表現(xiàn)不佳。

在計(jì)算效率上，匹配算法需要進(jìn)行大量的計(jì)算，且很多情況下要對(duì)匹配結(jié)果加入精細(xì)化后處理，計(jì)算時(shí)間會(huì)大大增加；而EPI-DenseNet只需進(jìn)行一次前向傳播計(jì)算即可得到完整的深度圖，計(jì)算效率得到了很大的提高，具體比較結(jié)果如表6所示。

表6 計(jì)算時(shí)間對(duì)比s

可以看出，在所有測(cè)試場(chǎng)景中，EPI-DenseNet 在計(jì)算效率上體現(xiàn)出了巨大的優(yōu)勢(shì)，計(jì)算速度遠(yuǎn)超其他算法，對(duì)比常規(guī)CNN，在精度上取得了更好的結(jié)果。綜上所述，EPI-DenseNet在計(jì)算精度和時(shí)間上做了很好的權(quán)衡，在保證了計(jì)算結(jié)果準(zhǔn)確的前提下，大幅減少了計(jì)算所需時(shí)間。因此，可以說(shuō)明本文算法是有效且快速的。

5 結(jié)束語(yǔ)

本文采用深度卷積神經(jīng)網(wǎng)路進(jìn)行光場(chǎng)深度信息估計(jì)，通過(guò)隨機(jī)灰度化等數(shù)據(jù)增強(qiáng)方法有效地?cái)U(kuò)充了訓(xùn)練數(shù)據(jù)，使得網(wǎng)絡(luò)模型可以正確地學(xué)習(xí)光場(chǎng)的EPI結(jié)構(gòu)，提取所需特征轉(zhuǎn)化為深度信息，并且采用了密集連接型的結(jié)構(gòu)來(lái)減少網(wǎng)絡(luò)參數(shù)，節(jié)省了計(jì)算資源。最終，對(duì)比其他文獻(xiàn)算法，EPI-DenseNet在光場(chǎng)圖像深度估計(jì)的準(zhǔn)確率和精度上顯示出了優(yōu)勢(shì)，在計(jì)算效率上也有很大提高。