基于深度CRF網(wǎng)絡(luò)的單目紅外場(chǎng)景深度估計(jì)

王倩倩，趙海濤

基于深度CRF網(wǎng)絡(luò)的單目紅外場(chǎng)景深度估計(jì)

王倩倩，趙海濤

（華東理工大學(xué) 信息科學(xué)與工程學(xué)院，上海 200237）

對(duì)單目紅外圖像進(jìn)行深度估計(jì)，不僅有利于3D場(chǎng)景理解，而且有助于進(jìn)一步推廣和開(kāi)發(fā)夜間視覺(jué)應(yīng)用。針對(duì)紅外圖像無(wú)顏色、紋理不豐富、輪廓不清晰等缺點(diǎn)，本文提出一種新穎的深度條件隨機(jī)場(chǎng)網(wǎng)絡(luò)學(xué)習(xí)模型（deep conditional random field network, DCRFN）來(lái)估計(jì)紅外圖像的深度。首先，與傳統(tǒng)條件隨機(jī)場(chǎng)（conditional random field, CRF）模型不同，DCRFN不需預(yù)設(shè)成對(duì)特征，可通過(guò)一個(gè)淺層網(wǎng)絡(luò)架構(gòu)提取和優(yōu)化模型的成對(duì)特征。其次，將傳統(tǒng)單目圖像深度回歸問(wèn)題轉(zhuǎn)換為分類(lèi)問(wèn)題，在損失函數(shù)中考慮不同標(biāo)簽的有序信息，不僅加快了網(wǎng)絡(luò)的收斂速度，而且有助于獲得更優(yōu)的解。最后，本文在DCRFN損失函數(shù)層計(jì)算不同空間尺度的成對(duì)項(xiàng)，使得預(yù)測(cè)深度圖的景物輪廓信息相比于無(wú)尺度約束模型更加豐富。實(shí)驗(yàn)結(jié)果表明，本文提出的方法在紅外數(shù)據(jù)集上優(yōu)于現(xiàn)有的深度估計(jì)方法，在局部場(chǎng)景變化的預(yù)測(cè)中更加平滑。

紅外圖像；深度估計(jì)；條件隨機(jī)場(chǎng)；有序約束

0 引言

單目圖像深度估計(jì)是計(jì)算機(jī)視覺(jué)中最基本的任務(wù)之一，已經(jīng)在場(chǎng)景理解[1]、3D建模[2]、機(jī)器人[3]、自動(dòng)駕駛[4]等領(lǐng)域獲得了廣泛應(yīng)用。圖像深度即圖像上某點(diǎn)像素到拍攝相機(jī)的距離。早期的單目深度研究主要關(guān)注幾何假設(shè)，如箱體模型推測(cè)場(chǎng)景的空間布局[5]等，由于其嚴(yán)格的環(huán)境假設(shè)導(dǎo)致模型只在特殊場(chǎng)景下有效。

在單目場(chǎng)景深度估計(jì)的研究中，基于概率圖模型（probabilistic graphical models, PGM）的方法能夠在輸入和輸出之間建立結(jié)構(gòu)化聯(lián)系，因此被廣泛應(yīng)用到單目深度估計(jì)中。馬爾可夫隨機(jī)場(chǎng)（Markov random field, MRF）和條件隨機(jī)場(chǎng)（conditional random field, CRF）是應(yīng)用最多的PGM方法，他們的關(guān)鍵點(diǎn)在于構(gòu)造合理以及正確的特征表示。早期的研究[6]關(guān)注如何從單目線索中構(gòu)造MRF的絕對(duì)特征（一元特征）和相對(duì)特征（成對(duì)特征），但是這些紋理變化、運(yùn)動(dòng)、遮擋、陰影、散焦等單目線索都是低維手工特征，缺乏場(chǎng)景的通用性。

為了解決特定場(chǎng)景的限制，結(jié)合語(yǔ)義等其他任務(wù)信息[7-8]和基于數(shù)據(jù)驅(qū)動(dòng)的非參數(shù)方法[9-10]在一定程度上緩解了場(chǎng)景限制問(wèn)題。Liu等學(xué)者[7]以語(yǔ)義分類(lèi)和幾何先驗(yàn)為前提條件，首先通過(guò)MRF完成對(duì)圖像的語(yǔ)義標(biāo)注，之后使用預(yù)測(cè)的語(yǔ)義標(biāo)簽來(lái)指導(dǎo)深度估計(jì)模型。但在現(xiàn)實(shí)生活中，很難獲得可靠的語(yǔ)義或其他額外信息?；跀?shù)據(jù)驅(qū)動(dòng)的非參數(shù)方法是通過(guò)視覺(jué)相似性比較，從具有圖像-深度的數(shù)據(jù)集中搜索候選圖像的近似深度圖。Liu等學(xué)者[9]將深度估計(jì)當(dāng)作連續(xù)離散的CRF優(yōu)化問(wèn)題，采用級(jí)聯(lián)的GIST、PHOG等手工特征通過(guò)K近鄰算法檢索前個(gè)候選深度圖，但是CRF成對(duì)項(xiàng)只考慮了相鄰超像素之間的遮擋關(guān)系。

Eigen等學(xué)者[11]首先將卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks, CNNs）應(yīng)用在深度估計(jì)，從圖像塊上訓(xùn)練兩個(gè)尺度的CNNs，從而獲得了較好的結(jié)果。之后的很多研究都是通過(guò)修改深度網(wǎng)絡(luò)框架以期待獲得更精確的結(jié)果。Laina等學(xué)者[12]在ResNet[13-15]中利用了反向Huber損失；Gu等學(xué)者[13]基于ResNet估計(jì)紅外圖像的深度；Wu等學(xué)者[14]在CNNs的基礎(chǔ)上引入循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network, RNN）的序列特征用于紅外視頻的深度估計(jì)。

上述基于深度學(xué)習(xí)的方法由于沒(méi)有考慮優(yōu)化結(jié)構(gòu)損失，從而造成預(yù)測(cè)深度圖的景物輪廓模糊等問(wèn)題。CRF（或MRF）明確地包含了結(jié)構(gòu)約束，CNNs與CRF（或MRF）的結(jié)合成為深度估計(jì)、語(yǔ)義分割等視覺(jué)任務(wù)的主流方法。Chen等學(xué)者[16]采用全連接的CRF[17]，通過(guò)平均場(chǎng)近似實(shí)現(xiàn)CRF推理，成對(duì)項(xiàng)特征來(lái)自預(yù)設(shè)的顏色和位置特征。Li等學(xué)者[18]提出深度回歸和深度精細(xì)框架，該模型CRF成對(duì)特征的設(shè)計(jì)來(lái)自文獻(xiàn)[17]。Liu等學(xué)者[19]提出了用于深度估計(jì)的DCNF模型，作者致力于在一個(gè)統(tǒng)一的框架下學(xué)習(xí)連續(xù)CRF和CNNs。后來(lái)，Liu等學(xué)者[20]進(jìn)一步提出全卷積網(wǎng)絡(luò)訓(xùn)練和超像素池化方法。文獻(xiàn)[19-20]中CRF成對(duì)特征均來(lái)自顏色、顏色直方圖和紋理這3個(gè)簡(jiǎn)單預(yù)設(shè)信息。Xu等學(xué)者[21]將Attention機(jī)制與CNN-CRF結(jié)合用于深度估計(jì)，其CRF也是針對(duì)可見(jiàn)光圖像設(shè)計(jì)的。

由于紅外和可見(jiàn)光的成像原理差異，使得可見(jiàn)光圖像適用于光線充足的環(huán)境，而紅外圖像不受光線條件的限制，這使其特別適用于夜間無(wú)人駕駛等夜視應(yīng)用[22]，因而估計(jì)車(chē)載紅外圖像的深度信息意義重大。早前針對(duì)紅外圖像的研究[23-24]大多停留在手工特征的提取上，由于紅外圖像存在紋理、色彩信息不豐富等缺點(diǎn)，提取針對(duì)紅外圖像的特征具有一定的挑戰(zhàn)性。

本文將深度估計(jì)表示為離散CRF學(xué)習(xí)問(wèn)題，提出深度條件隨機(jī)場(chǎng)網(wǎng)絡(luò)學(xué)習(xí)模型，該模型主要由特征學(xué)習(xí)和CRF損失層組成。首先，一元項(xiàng)對(duì)單個(gè)像素的信息進(jìn)行了估計(jì)與約束，成對(duì)項(xiàng)鼓勵(lì)相鄰像素?fù)碛邢嗨频纳疃刃畔ⅰ１疚牡囊辉卣魇腔贒ense-Net[25]的深度卷積網(wǎng)絡(luò)，充分利用了密集連接機(jī)制，能夠通過(guò)特征在維度上的連接實(shí)現(xiàn)特征重用，使得模型的參數(shù)更少，性能更優(yōu)。Noh等學(xué)者[26]指出淺層CNNs可以獲得某些低級(jí)特征及其非線性組合，本文成對(duì)特征來(lái)自四層密集連接的全卷積網(wǎng)絡(luò)，為紅外圖像提供了更豐富的特征表示。其次，受文獻(xiàn)[27-28]啟發(fā)，并考慮車(chē)載圖像的遠(yuǎn)近特性，本文將連續(xù)深度值離散到對(duì)數(shù)空間以獲得有序標(biāo)簽，從而在CRF損失層中提出自適應(yīng)Huber Penalty來(lái)增加標(biāo)簽有序性約束和多尺度信息交互約束。

1 基本原理

Cao等學(xué)者[27]已經(jīng)證明將傳統(tǒng)的回歸問(wèn)題轉(zhuǎn)化為有序多分類(lèi)問(wèn)題，不僅會(huì)增加預(yù)測(cè)結(jié)果的正確性，而且會(huì)加快預(yù)測(cè)效率。針對(duì)車(chē)載紅外圖像本身存在的特點(diǎn)，本文在對(duì)數(shù)空間里平均分割真實(shí)深度圖獲得各個(gè)深度層級(jí)的分類(lèi)標(biāo)簽，用于深度估計(jì)實(shí)驗(yàn)：

式中：?{1,2,…,}，l(k)和d(k)分別表示第張圖像上像素的真實(shí)深度標(biāo)簽和真實(shí)深度值；min和max分別表示原深度圖中所有像素點(diǎn)的最小和最大真實(shí)深度值；floor(×)表示向下取整；是深度標(biāo)簽的等級(jí)。

圖1(a)、(b)展示了數(shù)據(jù)集中任一深度圖在原始空間和對(duì)數(shù)空間的分布情況，可以得出，在對(duì)數(shù)空間里分割原深度圖可以獲得更加均勻的深度分布。圖1(c)、(d)表明值的選取影響整個(gè)分類(lèi)的好壞，如果選取過(guò)大，說(shuō)明分割很密集與原深度圖相差較少，則對(duì)提高預(yù)測(cè)效率貢獻(xiàn)較??；反之，分割結(jié)果會(huì)很稀疏與原深度圖相差較大，則會(huì)降低預(yù)測(cè)正確率。本文通過(guò)實(shí)驗(yàn)分別設(shè)置值為12、22、32、52、72，從數(shù)據(jù)分布圖上可以得出結(jié)論：＝32時(shí)，效果最佳。

圖1 深度分布

2 深度估計(jì)模型的設(shè)計(jì)

本文的目標(biāo)是估計(jì)紅外圖像上每個(gè)像素點(diǎn)的深度標(biāo)簽信息，將單目深度估計(jì)問(wèn)題當(dāng)作CRF學(xué)習(xí)問(wèn)題，從而提出深度條件隨機(jī)場(chǎng)網(wǎng)絡(luò)學(xué)習(xí)模型（deep conditional random field network, DCRFN）。DCRFN的整體結(jié)構(gòu)如圖2所示，由特征學(xué)習(xí)和CRF損失層組成。在特征學(xué)習(xí)中，采用兩個(gè)深度卷積模型分別學(xué)習(xí)CRF的一元特征和成對(duì)特征。其中，一元模型直接從輸入圖像學(xué)習(xí)每個(gè)像素到深度標(biāo)簽的映射，從而獲得全局深度估計(jì)的結(jié)果；成對(duì)模型旨在獲得鄰域像素之間的約束關(guān)系，與傳統(tǒng)CRF成對(duì)特征的簡(jiǎn)單預(yù)設(shè)不同，本文提出的成對(duì)特征可以從一個(gè)新穎的深度卷積網(wǎng)絡(luò)中提取。在CRF損失層，其CRF一元項(xiàng)和成對(duì)項(xiàng)來(lái)自?xún)蓚€(gè)深度卷積模型的輸出，通過(guò)最小化負(fù)對(duì)數(shù)似然獲得最優(yōu)的深度估計(jì)結(jié)果。

2.1 DCRFN描述

假設(shè)＝{1,…,I}表示任意一張紅外圖像，其中是輸入圖像的總像素；＝{1,…,Y}表示每個(gè)輸入像素的深度標(biāo)簽，其中Y?{1,2,…,l}。CRF為給定隨機(jī)場(chǎng)條件下，離散隨機(jī)變量的馬爾科夫隨機(jī)場(chǎng)。條件隨機(jī)場(chǎng)(,)可以通過(guò)如下的Gibbs分布表示：

式中：是平衡參數(shù)。一元?jiǎng)?i>反映了每個(gè)像素分配標(biāo)簽的置信度，成對(duì)勢(shì),j鼓勵(lì)相鄰像素被賦予相同的深度標(biāo)簽。表示輸入紅外圖像的所有像素，B是像素(?)的鄰域。

2.2 勢(shì)函數(shù)

根據(jù)圖2的兩個(gè)深度卷積模型重新定義CRF的一元?jiǎng)莺统蓪?duì)勢(shì)。輸入紅外圖像經(jīng)過(guò)一元模型直接學(xué)習(xí)每個(gè)輸入像素到深度標(biāo)簽的映射(1)，經(jīng)過(guò)成對(duì)模型(2)在鄰域上建立相關(guān)關(guān)系；通過(guò)特征學(xué)習(xí)的(1)、(2)作為輸入傳遞給CRF損失層。

2.2.1 一元?jiǎng)莺瘮?shù)

CRF的一元?jiǎng)?i>，也就是等式(2)的第一項(xiàng)。本文引入密集連接模型作為一元分類(lèi)器，其勢(shì)函數(shù)定義：

一元模型是基于Dense-Net的深度卷積網(wǎng)絡(luò)，主要由密集塊、上采樣模塊和卷積層組成，其密集塊如圖2所示。輸入紅外圖像首先經(jīng)過(guò)一個(gè)7×7的卷積層獲得豐富的特征，之后通過(guò)4個(gè)密集塊，每個(gè)密集塊之間通過(guò)3×3的卷積連接實(shí)現(xiàn)尺寸的降低。通過(guò)對(duì)比實(shí)驗(yàn)確定各層輸出通道數(shù)從前到后為4、8、12、24。密集塊充分利用了跨層連接操作，每個(gè)層都會(huì)與前面的層在維度上連接在一起，并作為下一層的輸入，要求各層的特征圖大小要一致。由于池化操作會(huì)損失大量的細(xì)節(jié)信息[28]，本文用卷積操作替代平均池化實(shí)現(xiàn)下采樣。之后經(jīng)過(guò)上采樣模塊恢復(fù)特征圖尺寸至真實(shí)深度圖尺寸。本文將最后兩層全連接改為全卷積結(jié)構(gòu)，輸出特征圖像尺寸為[40,144,32]，從而實(shí)現(xiàn)像素級(jí)別的分類(lèi)預(yù)測(cè)。

2.2.2 成對(duì)勢(shì)函數(shù)

圖3 DCRFN鄰域約束關(guān)系

一元項(xiàng)只對(duì)單個(gè)像素的信息進(jìn)行了估計(jì)與約束，成對(duì)項(xiàng)鼓勵(lì)相鄰像素?fù)碛邢嗨频臉?biāo)簽信息。本文首先考慮紅外圖像無(wú)顏色且紋理信息不豐富，很難通過(guò)手工提取特征的缺點(diǎn)；其次考慮到CRF推斷的可行性，成對(duì)模型在Dense-Net思想上引入跨密集塊的密集連接。由于只有4層卷積，且卷積大小均為3×3，大大減少了模型的參數(shù)量，使得CRF在鄰域上實(shí)現(xiàn)精確推斷。通過(guò)2×2和4×4的池化操作實(shí)現(xiàn)降采樣，使得跨層連接不受特征圖尺寸的限制，從而通過(guò)全密集連接獲得紅外圖像豐富的成對(duì)特征。

2.3 DCRFN的推理和學(xué)習(xí)

等式(5)、(6)分別定義了CRF的一元?jiǎng)莺统蓪?duì)勢(shì)，本文通過(guò)最小化能量函數(shù)實(shí)現(xiàn)對(duì)參數(shù)的更新，對(duì)參數(shù)求偏導(dǎo)：

進(jìn)一步，通過(guò)BP對(duì)參數(shù)反向推導(dǎo)，2關(guān)于第層權(quán)重2和偏置2梯度為：

3 網(wǎng)絡(luò)訓(xùn)練

3.1 數(shù)據(jù)采集

NUSTMS數(shù)據(jù)集由南京理工大學(xué)無(wú)人車(chē)隊(duì)拍攝所得，包含5098對(duì)由遠(yuǎn)紅外攝像機(jī)拍攝的紅外圖像和測(cè)距雷達(dá)生成的深度圖。紅外圖像和相應(yīng)的深度圖的分辨率分別為576×160和144×40。本文數(shù)據(jù)集被分成訓(xùn)練集（3488對(duì)），驗(yàn)證集（586對(duì)）和測(cè)試集（1024對(duì)），數(shù)據(jù)集的深度范圍為3～100m。其數(shù)據(jù)采集裝置如圖4所示。

3.2 訓(xùn)練過(guò)程

本文所有實(shí)驗(yàn)均在GeForce GTX 1080Ti顯卡上采用深度學(xué)習(xí)庫(kù)TensorFlow實(shí)現(xiàn)。在訓(xùn)練階段，預(yù)先對(duì)紅外圖像進(jìn)行歸一化，通過(guò)截?cái)嗾龖B(tài)分布來(lái)初始化權(quán)重，并將偏置初始化為零。采用計(jì)算每個(gè)參數(shù)自適應(yīng)學(xué)習(xí)率的優(yōu)化器Adam Optimizer來(lái)更新權(quán)重和偏置，初始學(xué)習(xí)率設(shè)置為1×10－4。實(shí)驗(yàn)設(shè)置迭代次數(shù)為100000，batch-size為4。成對(duì)項(xiàng)的參數(shù)涉及{,1,2,3,}，其中參數(shù)用于平衡CRF一元?jiǎng)莺统蓪?duì)勢(shì)的貢獻(xiàn)程度，本文在驗(yàn)證集上采用網(wǎng)格搜索，在區(qū)間[0,1]上確定表現(xiàn)最優(yōu)的參數(shù)，取值為0.3時(shí)可以獲得最優(yōu)的rel和rms。s,?{1,2,3}等價(jià)于在尺度下相似特征的方差，它表達(dá)了相似特征的相似性和接近度。是自適應(yīng)Huber Penalty的常數(shù)，首先將＝1.5作為初始化，在驗(yàn)證集上確定＝1.2最佳。整個(gè)網(wǎng)絡(luò)在訓(xùn)練集上耗時(shí)約18h，運(yùn)行一張576×160的紅外圖像約0.04s（包括前端和后端）。

4 實(shí)驗(yàn)結(jié)果與分析

采用誤差和正確率準(zhǔn)則來(lái)定量評(píng)價(jià)本文提出的深度模型的表現(xiàn)，則有：

1）誤差準(zhǔn)則

2）正確率

4.1 DCRFN超參數(shù)的選擇

參數(shù)決定了成對(duì)勢(shì)函數(shù)的能量約束原則，它不僅影響模型的復(fù)雜程度，而且影響預(yù)測(cè)深度圖的平滑性。本文將參數(shù)分別設(shè)置為0、1、2、3、4、5，在評(píng)估指標(biāo)和模型大小方面分析最優(yōu)參數(shù)。表1展示了不同值的表現(xiàn)，當(dāng)?shù)闹荡笥诨虻扔?時(shí)，誤差和正確率準(zhǔn)則趨于穩(wěn)定，最后一列表明模型尺寸隨著尺度參數(shù)的增大呈現(xiàn)上升趨勢(shì)，為了實(shí)現(xiàn)更小的模型尺寸和更好預(yù)測(cè)性能的目標(biāo)，本文設(shè)置＝3。

除此之外，DCRFN的超參數(shù)1，2，3表達(dá)了在尺度參數(shù)＝3下相似特征的方差，決定了成對(duì)勢(shì)函數(shù)的能量在像素的特征空間鄰域的分布。若參數(shù)越小，則能量集中在特征空間較小的鄰域內(nèi)，使得模型對(duì)圖像的邊緣更敏感；反之，能量分散在特征空間較大的鄰域內(nèi)，使得模型對(duì)預(yù)測(cè)深度圖的平滑性貢獻(xiàn)更大。本文首先通過(guò)學(xué)習(xí)曲線縮小1，2，3的搜索范圍為[10,20]、[20,30]、[25,35]。實(shí)驗(yàn)發(fā)現(xiàn)3在區(qū)間[25,35]的變化幾乎不影響模型的性能，故取3為26。其次以rel指標(biāo)為參考（如圖5），通過(guò)網(wǎng)格搜索在1，2，空間內(nèi)搜索最優(yōu)參數(shù)，其中顏色越深表示rel值越小，顏色越淺表示rel值越大，當(dāng)1＝13，2＝24時(shí)，rel指標(biāo)達(dá)到極小值，即尋得最優(yōu)參數(shù)。

(a) 車(chē)載遠(yuǎn)紅外相機(jī)及測(cè)距雷達(dá)；(b) 雷達(dá)散點(diǎn)圖；(c) 原始紅外圖像；(d) 真實(shí)深度標(biāo)簽

表1 定量評(píng)價(jià)指標(biāo)在超參數(shù)S上的比較結(jié)果

圖5 DCRFN超參數(shù)尋優(yōu)

4.2 實(shí)驗(yàn)結(jié)果分析

在給定模型最優(yōu)超參數(shù)的情況下，表2列出了本文提出的DCRFN與一些經(jīng)典方法定量比較的結(jié)果?？梢钥闯觯贜USTMS數(shù)據(jù)集上，本文方法優(yōu)于有監(jiān)督學(xué)習(xí)的方法。相比較于文獻(xiàn)[6]，本文方法在誤差和正確率兩個(gè)評(píng)估指標(biāo)上表現(xiàn)突出，說(shuō)明通過(guò)深度卷積網(wǎng)絡(luò)獲得的一元和成對(duì)特征遠(yuǎn)優(yōu)于文獻(xiàn)[6]中通過(guò)手工提取的特征。文獻(xiàn)[11]沒(méi)有考慮鄰域關(guān)系，這使得它們表現(xiàn)弱于將CNNs與PGM結(jié)合的方法（文獻(xiàn)[16,19,27]和本文的DCRFN）。在基于PGM的方法中，本文提出的方法優(yōu)于其他3種方法，這主要由于本文針對(duì)紅外圖像的特點(diǎn)分別設(shè)計(jì)了兩個(gè)深度特征模型，而文獻(xiàn)[16,19,27]的成對(duì)特征來(lái)自簡(jiǎn)單的預(yù)設(shè)先驗(yàn)。圖6列出了紅外測(cè)試集中任意4個(gè)不同場(chǎng)景下的定性評(píng)估預(yù)測(cè)結(jié)果。可以看出，針對(duì)可見(jiàn)光設(shè)計(jì)的特征只能粗略的估計(jì)出紅外場(chǎng)景的總體深度信息，缺乏了細(xì)節(jié)特征，如第一列樹(shù)木的輪廓、第二列較深處的景物、第三列路上的行人等；而本文由于存在針對(duì)紅外場(chǎng)景設(shè)計(jì)的深度特征網(wǎng)絡(luò)，因此可以獲得更加豐富的細(xì)節(jié)信息。

圖6 NUSTMS數(shù)據(jù)集下預(yù)測(cè)深度圖實(shí)例

最后，本文分析證明了成對(duì)項(xiàng)模型于整個(gè)模型的重要性。如圖7所示，本文分別輸出了僅一元模型，僅成對(duì)模型和總體輸出結(jié)果的對(duì)比。通過(guò)定義一元項(xiàng)和成對(duì)項(xiàng)來(lái)模擬標(biāo)簽的聯(lián)合分布，可以看出，僅由一元模型雖可以估計(jì)出的整體的深度圖，添加了成對(duì)模型的約束后，使得預(yù)測(cè)結(jié)果更加平滑。與真實(shí)深度圖相比，通過(guò)本文提出的DCRFN預(yù)測(cè)的深度圖獲得了更加良好的視覺(jué)體驗(yàn)。圖8在指標(biāo)rms和正確率上定量驗(yàn)證了上述說(shuō)明。

圖7 DCRFN分解對(duì)比結(jié)果

圖8 訓(xùn)練過(guò)程中DCRFN分解表現(xiàn)對(duì)比

5 結(jié)論

本文提出一種新穎的DCRFN模型來(lái)估計(jì)單目紅外圖像的深度信息，這有助于推進(jìn)夜間視覺(jué)產(chǎn)品的應(yīng)用?，F(xiàn)有的紅外圖像深度估計(jì)方法雖基于CNNs，由于忽略了優(yōu)化結(jié)構(gòu)損失，造成預(yù)測(cè)深度圖模糊甚至錯(cuò)誤。本文在充分考慮紅外圖像特點(diǎn)的條件下，將CNNs與CRF的優(yōu)勢(shì)結(jié)合在模型中，二者的聯(lián)合優(yōu)化提升了模型的泛化能力。值得注意的是，DCRFN模型無(wú)需預(yù)先定義成對(duì)特征，可以實(shí)現(xiàn)全自主學(xué)習(xí)。同時(shí)深度的離散策略，使得有序約束能夠融合到DCRFN損失函數(shù)中，從而獲得更好的景物邊緣預(yù)測(cè)。除此之外，DCRFN不僅建立了原始紅外圖像和深度圖之間的關(guān)系，而且還構(gòu)造了場(chǎng)景不同尺度深度序列之間的關(guān)系。最后，實(shí)驗(yàn)評(píng)估指標(biāo)證明了本文方法的可行性與準(zhǔn)確性。

在未來(lái)的研究工作中，將考慮采用精簡(jiǎn)模型降低網(wǎng)絡(luò)的參數(shù)規(guī)模，以便模型能在夜間自動(dòng)駕駛領(lǐng)域?qū)嶋H應(yīng)用。除此之外，考慮將紅外場(chǎng)景深度估計(jì)任務(wù)用于如合成任務(wù)、目標(biāo)追蹤等夜視應(yīng)用，從而輔助智能產(chǎn)品的夜間決策。

[1] Cordts M, Omran M, Ramos S, et al. The cityscapes dataset for semantic urban scene understanding[C]//, 2016: 3213-3223

[2] PENG X, SUN B, Ali K, et al. Learning deep object detectors from 3D models[C]//, 2015: 1278-1286.

[3] Biswas J, Velos oM. Depth camera based indoor mobile robot localization and navigation[C]//, 2011: 1697-1702.

[4] Sivaraman S, Trivedi M M. Combining monocular and stereo-vision for real-time vehicle ranging and tracking on multilane highways[C]//, 2011: 1249-1254.

[5] Hedau V, Hoiem D, Forsyth D. Thinking inside the box: using appearance models and context based on room geometry[C]//, 2010: 224-237.

[6] Saxena A, SUN M, Ng A Y. Make3D: learning 3D scene structure from a single still image[J]., 2009, 31(5): 824-840.

[7] LIU B, Gould S, Koller D. Single image depth estimation from predicted semantic labels[C]//, 2010: 1253-1260.

[8] Russell B C, Torralba A. Building a database of 3D scenes from user annotations[C]//, 2009: 2711-2718.

[9] LIU M, Salzmann M, HE X. Discrete-continuous depth estimation from a single image[C]//, 2014: 716-723.

[10] Karsch K, LIU C, KANG S B. Depth extraction from video using non-parametric sampling[C]//, 2012: 775-788.

[11] Eigen D, Puhrsch C, Fergus R. Depth map prediction from a single image using a multi-scale deep network[C]//, 2014: 2366-2374.

[12] Laina I, Rupprecht C, Belagiannis V, et al. Deeper depth prediction with fully convolutional residual networks[J].3, 2016: 239-248.

[13] 顧婷婷, 趙海濤, 孫韶媛. 基于金字塔型殘差神經(jīng)網(wǎng)絡(luò)的紅外圖像深度估計(jì)[J]. 紅外技術(shù), 2018, 40(5): 21-27.

GU T T, ZHAO H T, SUN S Y. Depth estimation of infrared image based on pyramid residual neural networks[J]., 2018, 40(5): 21-27.

[14] WU S C, ZHAO H T, SUN S Y. Depth estimation from infrared video using local-feature-flow neural network[J/OL]., 2018: doi.org/10.1007/s13042-018-0891-9.

[15] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//, 2016: 770-778.

[16] CHEN L C, Papandreou G, Kokkinos I, et al. Semantic image segmentation with deep convolutional nets and fully connected CRFs[J]., 2015(4): 357-361.

[17] Kr?henbühl P, Koltun V. Efficient inference in fully connected CRFs with Gaussian edge potentials[J]., 2012(24): 109-117.

[18] LI N B, SHEN N C, DAI N Y, et al. Depth and surface normal estimation from monocular images using regression on deep features and hierarchical CRFs[C]//, 2015: 1119-1127.

[19] LIU F, SHEN C, LIN G. Deep convolutional neural fields for depth estimation from a single image[C]//, 2015: 5162-5170.

[20] LIU F, SHEN C, LIN G, et al. Learning depth from single monocular images using deep convolutional neural fields[C]//, 2015: 5162-5170.

[21] XU D, WANG W, TANG H, et al. Structured attention guided convolutional neural fields for monocular depth estimation[C]//, 2018: 3917-3925.

[22] Ibarra-Castanedo C, González D, Klein M, et al. Infrared image processing and data analysis[J]., 2004, 46(1-2): 75-83.

[23] 張蓓蕾, 孫韶媛, 武江偉. 基于DRF-MAP模型的單目圖像深度估計(jì)的改進(jìn)算法[J]. 紅外技術(shù), 2009, 31(12): 712-715.

ZHANG B L, SUN S Y, WU J W. Depth estimation from monocular images based on DRF-MAP model[J]., 2009, 31(12): 712-715.

[24] 席林, 孫韶媛, 李琳娜. 基于SVM模型的單目紅外圖像深度估計(jì)[J]. 激光與紅外, 2012, 42(11): 1311-1315.

XI L, SUN S Y, LI L N. Depth estimation from monocular infrared images based on SVM model[J].,2012, 42(11): 1311-1315.

[25] HUANG G, LIU Z, Laurens V D M, et al. Densely connected convolutional networks[C]//, 2017: arXiv:1608.06993.

[26] Noh H, HONG S, HAN B. Learning deconvolution network for semantic segmentation[C]//, 2015: 1520-1528.

[27] CAO Y, WU Z, SHEN C. Estimating depth from monocular images as classification using deep fully convolutional residual networks[J]., 2017(99): 1-1.

[28] FU H, GONG M,WANG C, et al. Deep ordinal regression network for monocular depth estimation[C]//, 2018: 2002-2011.

Depth Estimation of Monocular Infrared Scene Based on Deep CRF Network

WANG Qianqian，ZHAO Haitao

(School of Information Science and Engineering, East China University of Science and Technology, Shanghai 200237, China)

Depth estimation from monocular infrared images is required for understanding 3D scenes; moreover, it could be used to develop and promote night-vision applications. Owing to the shortcomings of infrared images, such as a lack of colors, poor textures, and unclear outlines, a novel deep conditional random field network (DCRFN) is proposed for estimating depth from infrared images. First, in contrast with the traditional CRF(conditional random field) model, DCRFN does not need to preset pairwise features. It can extract and optimize pairwise features through a shallow network architecture. Second, conventional monocular-image-based depth regression is replaced with multi-class classification, wherein the loss function considers information regarding the order of various labels. This conversion not only accelerates the convergence speed of the network but also yields a better solution. Finally, in the loss function layer of the DCRFN, pairwise terms of different spatial scales are computed; this makes the scene contour information in the depth map more abundant than that in the case of the scale-free model. The experimental results show that the proposed method outperforms other depth estimation methods with regard to the prediction of local scene changes.

infrared image, depth estimation, conditional random field, ordered constraint

TP391.9

A

1001-8891(2020)06-0580-09

2019-05-29；

2019-07-12.

王倩倩（1993-），女，碩士研究生，主要從事計(jì)算機(jī)視覺(jué)方面的研究。

趙海濤（1974-），男，博士，教授，主要從事模式識(shí)別、計(jì)算機(jī)視覺(jué)方面的研究。E-mail：haitaozhao@ecust.edu.cn。

國(guó)家自然科學(xué)基金（61375007）；上海市科委基礎(chǔ)研究項(xiàng)目（15JC1400600）。