李 婉， 畢競舸， 張選德, 晏潤冰

(1.陜西科技大學(xué) 電子信息與人工智能學(xué)院, 陜西 西安 710021； 2.陜西科技大學(xué) 機(jī)電工程學(xué)院， 陜西 西安 710021)

0 引言

計(jì)算機(jī)視覺系統(tǒng)通過圖像采集設(shè)備自動獲取場景圖像，然后利用機(jī)器學(xué)習(xí)、人工智能等算法進(jìn)行目標(biāo)跟蹤、識別、解譯等任務(wù)，極大減輕了人們的負(fù)擔(dān).目前，可見光成像設(shè)備仍是獲取圖像的最主要來源，但容易受到天氣條件的影響.在霧、霾之類天氣下采集的圖像會由于大氣散射的作用而被嚴(yán)重降質(zhì)，使圖像顏色偏灰白色，對比度降低，物體特征難以辨認(rèn)，不僅使視覺效果變差，還會影響圖像后期的處理，更會影響各類依賴于光學(xué)成像儀器的系統(tǒng)工作，如衛(wèi)星遙感系統(tǒng)、航拍系統(tǒng)、室外監(jiān)控和目標(biāo)識別系統(tǒng)等.

圖像去霧的主要目的是減少霧霾天氣中由于大氣粒子散射造成的圖像退化，提高圖像的清晰度和可視度，是圖像復(fù)原中的一個重要分支，在國內(nèi)外得到了廣泛研究[1-4].根據(jù)是否采用深度學(xué)習(xí)，可以將其分為兩大類：傳統(tǒng)的圖像去霧方法和基于深度學(xué)習(xí)的圖像去霧方法.

傳統(tǒng)圖像去霧方法主要包含基于圖像增強(qiáng)的方法和基于物理成像模型的方法.基于圖像增強(qiáng)的方法不考慮霧天圖像的物理退化過程，僅使用數(shù)字圖像領(lǐng)域現(xiàn)有的、成熟的圖像處理方法對霧天降質(zhì)圖像進(jìn)行增強(qiáng)處理，例如直方圖均值化[5]、同態(tài)濾波[6]、小波多尺度分析[7]、曲波變換[8]、Retinex[9]等.基于物理成像模型的方法是傳統(tǒng)去霧算法中的主流，它根據(jù)霧天圖像的物理退化過程，使用大氣散射模型對成像過程進(jìn)行建模，然后估計(jì)模型中未知量來復(fù)原無霧圖像[10,11].例如，He等[12]提出了一種暗通道先驗(yàn)(Dark Channel Prior，DCP)，該先驗(yàn)認(rèn)為無霧圖像至少有一個顏色通道的值是接近零的.Berman等[13]提出了一種基于全局的估計(jì)透射圖的方法，認(rèn)為無霧圖像僅由有限個聚類顏色組成.Zhu等[14]提出一種顏色衰減先驗(yàn)，即自然圖像的亮度和飽和度值會隨著霧濃度進(jìn)行變化，由此提出一種線性模型描述深度、亮度和飽和度之間的關(guān)系.

綜合而言，傳統(tǒng)的去霧算法大部分是模型驅(qū)動的算法，充分考慮圖像的退化特性結(jié)合暗通道、非局部、顏色衰減等先驗(yàn)信息，提高圖像復(fù)原的準(zhǔn)確性，但是均需要復(fù)雜的建模推理過程.

隨著深度學(xué)習(xí)的蓬勃發(fā)展，越來越多的學(xué)者對基于深度學(xué)習(xí)的圖像去霧方法進(jìn)行研究，并取得了顯著的成果[15-18].例如，Cai等[19]提出的基于卷積神經(jīng)網(wǎng)絡(luò)的去霧方法將模糊圖像作為輸入，中間透射圖作為輸出，學(xué)習(xí)模糊圖像和透射圖之間的映射關(guān)系，然后通過大氣散射模型恢復(fù)無霧圖像；Ren等[20]采用一種多尺度深度卷積網(wǎng)絡(luò)來學(xué)習(xí)有霧圖像和透射率的映射關(guān)系，獲得了更優(yōu)的去霧效果；Li等[21]提出了一種基于深度學(xué)習(xí)的去霧方法，從圖像增強(qiáng)的角度出發(fā)，直接從有霧圖像映射無霧圖像；Chen等[22]針對傳統(tǒng)DCP算法中估計(jì)透視圖時固定窗口帶來的問題，通過卷積神經(jīng)網(wǎng)絡(luò)自適應(yīng)為每一個像素點(diǎn)選擇估計(jì)窗口的大小，顯著提高了圖像去霧的效果；Hong等[23]提出了一種知識蒸餾去霧網(wǎng)絡(luò)，能夠自適應(yīng)地關(guān)注稠密霧霾區(qū)域重建的重要特征；Wu等[24]提出了一種基于對比學(xué)習(xí)的去霧網(wǎng)絡(luò).

對比傳統(tǒng)的和基于深度學(xué)習(xí)的兩類圖像去霧方法，基于深度學(xué)習(xí)的圖像去霧方法獲得了比傳統(tǒng)的圖像去霧方法更優(yōu)的結(jié)果，并且不需要復(fù)雜的建模過程.

最近，基于深度學(xué)習(xí)的圖像去霧算法開始關(guān)注圖像先驗(yàn)知識.因?yàn)閭鹘y(tǒng)圖像去霧算法已證實(shí)，在圖像先驗(yàn)信息的引導(dǎo)下，能夠獲得更好的圖像去霧效果.Dong等[25]提出了一種基于物理特征的去霧網(wǎng)絡(luò).該網(wǎng)絡(luò)的關(guān)鍵部件由一個具有殘差學(xué)習(xí)結(jié)構(gòu)的特征去霧單元組成，該特征去霧單元充分探索了對于去霧的有用特征，殘差學(xué)習(xí)結(jié)構(gòu)可以提高網(wǎng)絡(luò)的訓(xùn)練精度；Chen等[26]提出了一種物理先驗(yàn)指導(dǎo)的去霧網(wǎng)絡(luò).該網(wǎng)絡(luò)首先使用有標(biāo)簽的圖像進(jìn)行預(yù)訓(xùn)練，再使用無標(biāo)簽的圖像通過基于物理的先驗(yàn)進(jìn)行微調(diào).

因此，本文將圖像先驗(yàn)信息融入到卷積神經(jīng)網(wǎng)絡(luò)中，提出了基于非局部和先驗(yàn)信息的圖像去霧網(wǎng)絡(luò)，具體有以下特點(diǎn)：

(1)將非局部均值思想加入到神經(jīng)網(wǎng)絡(luò)中，捕捉圖像的非局部特性；

(2)將圖像去霧中的先驗(yàn)信息作為約束加入到損失函數(shù)中，提升對真實(shí)圖像的去霧性能；

(3)構(gòu)建有霧圖像到無霧圖像端到端的映射，融合不同尺度的卷積核的去霧網(wǎng)絡(luò)，發(fā)揮不同尺度卷積核的優(yōu)勢，從而得到比單一尺度重構(gòu)模型更優(yōu)的去霧結(jié)果；

(4)設(shè)計(jì)分步訓(xùn)練策略，有效提高了網(wǎng)絡(luò)的訓(xùn)練效率.

本文后續(xù)安排如下，在第1節(jié)中介紹了本文的相關(guān)工作；在第2節(jié)中介紹了基于非局部和先驗(yàn)約束的多尺度圖像去霧網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練方法；在第3節(jié)中進(jìn)行了仿真實(shí)驗(yàn)及結(jié)果分析；最后，在第4節(jié)中進(jìn)行了總結(jié)和展望.

1 相關(guān)工作

本文工作涉及到圖像去霧、深度殘差網(wǎng)絡(luò)、非局部神經(jīng)網(wǎng)絡(luò)，接下來對這三個方面相關(guān)的工作進(jìn)行概述.

圖像去霧：圖像去霧的主要目的是去除霧霾天氣中由于大氣粒子散射造成的圖像退化現(xiàn)象，提高其清晰度和可視度，通用的大氣光物理模型如下：

I(x)=J(x)T(x)+A(1-T(x))

(1)

T(x)=e-βd(x)

式(1)中：x是像素點(diǎn)的空間坐標(biāo)，I(x)表示不同大氣散射條件下的輻照度圖像，即有霧圖像，J(x)表示場景反射圖像，即清晰圖像，T(x)表示光線傳播的透射率，d(x)表示x點(diǎn)的深度，β表示大氣散射系數(shù)，A表示全局大氣光.

基于該物理模型有很多的優(yōu)秀去霧算法，通過估計(jì)透射率和大氣光，進(jìn)而得到去霧圖像，例如，基于暗通道[12]、非局部[13]、顏色衰減[14]等先驗(yàn)的透射圖估計(jì)方法.隨著深度學(xué)習(xí)的發(fā)展，圖像去霧領(lǐng)域開始采用一些網(wǎng)絡(luò)模型進(jìn)行圖像復(fù)原.一部分學(xué)者，采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)有霧圖像和透射率圖的映射，然后根據(jù)大氣光物理模型估計(jì)清晰圖像[19,20]；另一部分學(xué)者，不再預(yù)測透射率和大氣光，直接構(gòu)建從有霧圖像到無霧圖像的網(wǎng)絡(luò)模型[21].

非局部神經(jīng)網(wǎng)絡(luò)(Non-local Neural Net-works)[27]：非局部神經(jīng)網(wǎng)絡(luò)將傳統(tǒng)視覺處理中的非局部均值[28]的思想融合到神經(jīng)網(wǎng)絡(luò)中，其某一位置的響應(yīng)值通過其余所有位置的加權(quán)求和得到.相對于遞歸和卷積操作，非局部運(yùn)算能夠抓住圖像或者視頻中任意兩點(diǎn)之間的關(guān)系，也就是說非局部模塊能夠?qū)D像自身存在的相似性作為約束加入到神經(jīng)網(wǎng)絡(luò)中.同時，非局部運(yùn)算具有較高的效率，在層數(shù)較少的情況下仍能達(dá)到很好的效果.

深度殘差網(wǎng)絡(luò)(Deep Residual Network，ResNets)[29]：近年來，深度殘差網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域表現(xiàn)出優(yōu)異的性能，ResNets通過一個用短接實(shí)現(xiàn)的恒等映射，有效克服了非線性變換堆疊帶來的信號衰減問題，因此相對于傳統(tǒng)的卷積網(wǎng)絡(luò)模型，ResNets能夠有效地學(xué)習(xí)更深層網(wǎng)絡(luò).

2 基于非局部和先驗(yàn)約束的圖像去霧網(wǎng)絡(luò)

2.1 非局部重構(gòu)模塊

非局部平均思想由Baudes在2005年提出，它利用自然圖像中存在的自相似性來去噪，每一個像素點(diǎn)通過圖像中所有像素加權(quán)得到，其中加權(quán)值取決于兩個像素之間的相似度[28].非局部神經(jīng)網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中借鑒了非局部平均的思想，定義了用于神經(jīng)網(wǎng)絡(luò)的非局部操作[27]：

(2)

式(2)中：輸出信號o和輸入信號x尺寸是相同的，i代表輸出位置索引，j是列出全圖中所有可能位置的索引，函數(shù)f(xi,xj) 用來計(jì)算位置i和j之間的相似性，其結(jié)果是一個權(quán)重標(biāo)量，并且權(quán)重越大，位置i的輸出受位置j的值影響越大.函數(shù)g用來計(jì)算j位置輸入信號的一個表示.最后通過C(x)對響應(yīng)值歸一化.

為了捕捉更大尺度的自相似信息，設(shè)計(jì)了一個非局部重構(gòu)模塊，如圖1所示，對于有霧圖像在卷積特征提取后再進(jìn)行公式(2)的非局部操作.對于有霧圖像，首先進(jìn)行兩層卷積操作：

Fc1(x)=ReLU(Wc1*x+bc1)

(3)

z=Fc2(x)=ReLU(Wc2*Fc1(x)+bc2)

(4)

在式(3)和式(4)中：Wc1,Wc2，bc1，bc2分別表示第一層和第二層的濾波器和偏置，“*”表示卷積操作.

然后將特征圖z輸入到非局部模塊中，得到每一點(diǎn)的響應(yīng)輸出為：

(5)

式(5)中：“+zi”表示殘差連接[29]，Oi根據(jù)公式(2)計(jì)算得到，每一個位置的輸出通過特征圖所有位置的加權(quán)求和得到.權(quán)值函數(shù)f(xi,xj)采用Concatenation函數(shù)[27]：

(6)

特征圖z中的每一點(diǎn)，表示的是該點(diǎn)對應(yīng)圖像中的局部塊對某些卷積結(jié)構(gòu)的響應(yīng)值.兩點(diǎn)之間的相似性間接反映了圖像中所有圖像塊之間的相似性，特征圖經(jīng)過非局部模塊的處理，等價于對圖像進(jìn)行一個非局部的約束.

(7)

2.2 基于非局部的多尺度去霧網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)中卷積核大小的確定仍然是未解決的問題，一般做法是是通過不同的嘗試或者經(jīng)驗(yàn)值確定.目前普遍的觀念是，卷積核的尺寸越大，其感受野越大，越能更好的反映圖像的全局信息，但是訓(xùn)練時越難收斂.針對卷積核大小確定困難的問題，在整個網(wǎng)絡(luò)模型中采用三種非局部重構(gòu)模塊，它們分別采用不同尺度的卷積核，如圖2所示.在實(shí)驗(yàn)中也發(fā)現(xiàn)，對于不同采樣率，不同尺度的卷積的表現(xiàn)性能也不同，多種尺度卷積核的組合操作能夠提高圖像在不同采樣率下重構(gòu)的魯棒性.

圖2最上部的綠色非局部重構(gòu)模塊中，第一個卷積層采用大小為11×11的卷積核，第二個卷積層采用大小為1×1的卷積核，然后第二個卷積層和第三個卷積層之間加入一個非局部塊，第三個卷積層采用7×7的卷積核.圖2中間的橙色非局部重構(gòu)模塊中三層卷積核的大小分別為9×9， 1×1，5×5.圖2下部紫色的非局部重構(gòu)模塊中的三層卷積核大小均為3×3.非局部重構(gòu)模塊的輸入和輸出采用殘差連接，然后堆疊多個非局部重構(gòu)模塊得到圖像在該尺度卷積核下的估計(jì)值，分別寫作：

xrec1=Frec_1(y,Θrec_1),xrec2=Frec_2(y,Θrec_2),

xrec3=Frec_3(y,Θrec_3),

(8)

式(8)中：Θrec_1、Θrec_2、Θrec_3表示不同尺度下重構(gòu)網(wǎng)絡(luò)的參數(shù)集合.將三個不同尺度的非局部重構(gòu)模塊得到的重構(gòu)圖像進(jìn)行加權(quán)，得到最終的估計(jì)圖像：

(9)

式(9)中：權(quán)重wm可以在網(wǎng)絡(luò)訓(xùn)練過程中得到.

圖1 非局部重構(gòu)模塊

圖2 基于非局部和先驗(yàn)約束的多尺度去霧網(wǎng)絡(luò)

2.3 損失函數(shù)

均方誤差：首先，三個不同尺度下的重構(gòu)模塊得到的重構(gòu)圖像希望都是對原圖像的準(zhǔn)確重構(gòu)，因此對于這三個尺度下的均方差損失函數(shù)為：

(10)

式(10)中：Frec_m(yi,Θrec_m)為第m個尺度重構(gòu)網(wǎng)絡(luò)模塊的輸出，m=1,2,3.然后，輸出的目標(biāo)圖像對應(yīng)的均方差損失函數(shù)為

(11)

最終，網(wǎng)絡(luò)整體的損失函數(shù)等于三個尺度下?lián)p失函數(shù)和最終輸出圖像的損失函數(shù)的加權(quán)和：

(12)

式(12)中：β為加權(quán)系數(shù).

內(nèi)容損失：受超分辨重構(gòu)相關(guān)文獻(xiàn)的啟發(fā)[31]，采用內(nèi)容損失函數(shù)度量復(fù)原結(jié)果和目標(biāo)圖像結(jié)構(gòu)間的差異性.內(nèi)容損失函數(shù)不再度量每一個輸出像素與目標(biāo)輸出間的差異性，而是采用VGG網(wǎng)絡(luò)特征層的歐氏距離來判斷二者是否相似：

(13)

暗通道損失：He等[12]提出的暗通道先驗(yàn)(Dark Channel Prior，DCP)是圖像去霧領(lǐng)域的一個典型代表.DCP是指在大多數(shù)非天空區(qū)域中，至少有一顏色通道在某些像素處具有非常低的強(qiáng)度.對于一張圖像J的暗通道可以定義為：

(14)

(15)

總體損失函數(shù)：將公式(11～13)的損失函數(shù)結(jié)合，得到總體損失函數(shù)：

L=L2+wvggLvgg+wdcpLdcp

(16)

2.4 訓(xùn)練過程

為了有效的對提出的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，采用分布訓(xùn)練策略.

首先預(yù)訓(xùn)練網(wǎng)絡(luò)，優(yōu)化每一個尺度下的圖像重構(gòu)，即分別優(yōu)化公式(10)中三個不同尺度下的損失函數(shù).需要注意的是，在開始訓(xùn)練時，并不加入內(nèi)容損失和暗通道損失，而是在微調(diào)時才將其加入到網(wǎng)絡(luò)中.

在預(yù)訓(xùn)練開始時，公式(12)中的β采用較小的值，以保證訓(xùn)練的穩(wěn)定性，β隨著訓(xùn)練次數(shù)增加遞增，以保證最終輸出結(jié)果的性能.

在三個尺度下的非局部重構(gòu)網(wǎng)絡(luò)訓(xùn)練穩(wěn)定后，在網(wǎng)絡(luò)中加入內(nèi)容損失和暗通道損失，采用公式(16)對整個網(wǎng)絡(luò)進(jìn)行微調(diào).

3 實(shí)驗(yàn)結(jié)果與討論

本文使用公開的RESIDE[31]數(shù)據(jù)集來評估所提出的方法，并且與其他最先進(jìn)的單幅圖像去霧方法進(jìn)行比較.

3.1 實(shí)驗(yàn)設(shè)置

(1)實(shí)施細(xì)節(jié)：采用NVIDIA TITIAN XP 64Gb顯卡，在TensorFlow深度學(xué)習(xí)平臺上開展所有去霧模型技術(shù)方案的實(shí)施及驗(yàn)證.訓(xùn)練過程如2.4節(jié)所描述.受于內(nèi)存大小的限制，訓(xùn)練時每張圖像大小重設(shè)為64×64，測試時每張圖像大小重設(shè)為156×156，學(xué)習(xí)率為0.001，批大小為4.

(2)數(shù)據(jù)集：采用RESIDE數(shù)據(jù)集，該數(shù)據(jù)集包含室內(nèi)和室外場景下的模糊/清晰圖像對，選擇OTS子集中的1 600份室外無霧圖像和合成的室外有霧圖像對作為訓(xùn)練數(shù)據(jù)集，500份室外無霧圖像和合成的室外有霧圖像對作為測試數(shù)據(jù)集.

(3)評價標(biāo)準(zhǔn)：為了評估提出模型的性能，采用峰值信號噪聲比(PSNR)和結(jié)構(gòu)相似度(SSIM)作為評價指標(biāo)，其在圖像去霧任務(wù)中通常作為評價圖像質(zhì)量的標(biāo)準(zhǔn).將本文提出的模型與基于先驗(yàn)的模型(DCP[12])和基于深度學(xué)習(xí)的模型(DehazeNet[19]、AOD-Net[21]、PMS-Net[22]和PFDN[25])進(jìn)行比較.

3.2 與最先進(jìn)模型的比較

(1)定量評價:在表1中，總結(jié)了提出的多尺度去霧網(wǎng)絡(luò)在測試數(shù)據(jù)集上的表現(xiàn)，與之前的方法相比，多尺度去霧網(wǎng)絡(luò)在絕大多數(shù)結(jié)果上都有著最佳的表現(xiàn)，PSNR值為30.46，SSIM值為0.982 3.

表1 在合成數(shù)據(jù)集上的定量比較

此外，本文還將提出的去霧網(wǎng)絡(luò)模型與其他去霧模型在恢復(fù)圖像質(zhì)量上通過對合成的有霧圖像去除霧霾的方式進(jìn)行了定量比較，如圖3所示.通過與真實(shí)場景值的比較，通過觀察可以看出，DCP、DehazeNet和PMS-Net去霧后的結(jié)果存在嚴(yán)重的顏色失真，并且有部分區(qū)域的霧沒有去除干凈(見圖3(b)、圖3(c)和圖3(f))，并且PSNR和SSIM值普遍偏低，相較本文提出的網(wǎng)絡(luò)在PSNR值上低10個單位左右，在SSIM值上低0.2個單位左右.對于PFDN等基于深度學(xué)習(xí)的端到端去霧方法，雖然其在個別圖像上獲得了不錯的效果，擁有較高的質(zhì)量評價分?jǐn)?shù)，但在整體測試集上的平均表現(xiàn)不如本文提出的模型，在平均PSNR值上低于本文方法0.2個單位左右，在平均SSIM值上低0.03個單位左右.

(a)Input (b)DCP (c)DehazeNet (d)AOD (e)PMS-Net (f)PFDN (g)ours (h)GT圖3 在合成的有霧測試集上的去霧結(jié)果

(2)定性評價:將本文的多尺度網(wǎng)絡(luò)與其他去霧模型在RESIDE數(shù)據(jù)集中的未標(biāo)注的圖像進(jìn)行定性比較.如圖4所示，基于物理模型的去霧方法如DCP、DehazeNet和PMS-Net都出現(xiàn)了嚴(yán)重的顏色失真，AOD的部分區(qū)域顏色出現(xiàn)失真，這些區(qū)域的顏色偏暗(見圖4(d)的紅色矩陣)，PFDN不能很好地去除部分區(qū)域的霧(見圖4(f)的紅色矩陣).在圖4第三行第g列的圖像景深處去霧結(jié)果優(yōu)于其他方法.顯然，與其他方法相比，多尺度去霧網(wǎng)絡(luò)生成的圖像最自然.

(a)Input (b)DCP (c)DehazeNet (d)AOD (e)PMS-Net (f)PFDN (g)ours圖4 在真實(shí)場景測試集上的視覺比較

3.3 消融實(shí)驗(yàn)

為了證明本文提出的多尺度網(wǎng)絡(luò)、非局部塊、內(nèi)容損失、暗通道損失的有效性，進(jìn)行了消融實(shí)驗(yàn)，分析了不同因素對于圖像去霧結(jié)果的影響.

首先構(gòu)建本文的基準(zhǔn)網(wǎng)絡(luò)，即多尺度網(wǎng)絡(luò)，主要由若干個卷積層和殘差連接組成.隨后，將不同的模塊添加到基準(zhǔn)網(wǎng)絡(luò)中.表2展示了該網(wǎng)絡(luò)在SOTS室內(nèi)和室外數(shù)據(jù)集上的消融實(shí)驗(yàn)的性能比較，這里n代表添加非局部塊，Vgg代表添加內(nèi)容損失，DCP代表添加暗通道損失.①基準(zhǔn)網(wǎng)絡(luò)：文中提出的多尺度網(wǎng)絡(luò)模型，未添加非局部模塊，未采用內(nèi)容損失和暗通道損失.②基準(zhǔn)網(wǎng)絡(luò)+非局部模塊：添加非局部塊到基準(zhǔn)網(wǎng)絡(luò)中，未采用內(nèi)容損失和暗通道損失.③基準(zhǔn)網(wǎng)絡(luò)+非局部塊+內(nèi)容損失：添加非局部模塊和內(nèi)容損失到基準(zhǔn)網(wǎng)絡(luò)中.④基準(zhǔn)網(wǎng)絡(luò)+非局部塊+內(nèi)容損失+暗通道損失：在基準(zhǔn)網(wǎng)絡(luò)上添加非局部塊，加入內(nèi)容損失和暗通道損失，即本文提出的完整模型.

表2 多尺度去霧網(wǎng)絡(luò)的消融實(shí)驗(yàn)

圖5展示了消融實(shí)驗(yàn)的定性比較.觀察表2和圖5可以得到以下結(jié)論：通過對比實(shí)驗(yàn)設(shè)置①和實(shí)驗(yàn)設(shè)置②能夠發(fā)現(xiàn)：通過增加非局部塊，可以計(jì)算整張圖像中的某個像素點(diǎn)與其他區(qū)域像素的相似度，從而有效地改善去霧圖像顏色失真的問題，在性能上也有一定的提高，相較于實(shí)驗(yàn)設(shè)置①，實(shí)驗(yàn)設(shè)置②的PSNR值提升了0.31，SSIM值提升了0.01.加內(nèi)容損失(例如實(shí)驗(yàn)設(shè)置③)，計(jì)算在VGG特征空間上兩個像素點(diǎn)之間的相似度，能夠有效地提升性能，相較于實(shí)驗(yàn)設(shè)置②，PSNR值提升了0.54，SSIM值略微下降了0.000 9.相似地，通過在損失函數(shù)中增在網(wǎng)絡(luò)中同時加入非局部塊、內(nèi)容損失和暗通道損失(例如實(shí)驗(yàn)設(shè)置④)，相較于實(shí)驗(yàn)設(shè)置③，PSNR值上升了0.58，SSIM值提升了0.003，這是因?yàn)榘低ǖ罁p失是一種無監(jiān)督的先驗(yàn)損失，它能夠提升圖像的視覺效果，使圖像在亮度、對比度等結(jié)構(gòu)信息上略微提升，代價是可能會略微下降圖像的質(zhì)量評價分?jǐn)?shù)，如圖5中實(shí)驗(yàn)設(shè)置④圖像比實(shí)驗(yàn)設(shè)置③圖像下降了0.98.

圖5 非局部塊、內(nèi)容損失和暗通道損失的有效性

總體而言，多尺度去霧網(wǎng)絡(luò)可以獲得具有不同尺度信息的去霧圖像，增加非局部塊可以獲得更豐富的全局信息，增加感知損失可以獲得不同特征空間的信息，增加暗通道損失可以提升圖像的視覺效果.

4 結(jié)論

本文提出了一種基于非局部和先驗(yàn)約束的多尺度圖像去霧網(wǎng)絡(luò)，該網(wǎng)絡(luò)由三個含有非局部模塊的不同尺度的子網(wǎng)絡(luò)組成.非局部模塊能夠?qū)D像自身存在的相似性作為約束加入到神經(jīng)網(wǎng)絡(luò)中，從而有效地去除噪聲.其中多種尺度卷積核的組合操作能夠提高圖像在不同采樣率下重構(gòu)的魯棒性；暗通道先驗(yàn)損失作為一種無監(jiān)督的物理先驗(yàn)?zāi)軌蛞誀奚倭康膱D像質(zhì)量評價分?jǐn)?shù)為代價，提高了恢復(fù)圖像的視覺效果.這些組合有效地提升了去霧網(wǎng)絡(luò)的性能.

本文提出的去霧網(wǎng)絡(luò)是基于合成數(shù)據(jù)訓(xùn)練得到的，對數(shù)據(jù)集中的室外圖像去霧效果較優(yōu)，如何將模型從合成域遷移到真實(shí)域，進(jìn)一步提升算法對真實(shí)有霧、濃霧圖像的去霧效果，是需要進(jìn)一步研究的內(nèi)容.