劉威，陳成，江銳，盧濤

（1.武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205；2.武漢工程大學(xué)智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430205）

0 引言

圖像視覺是人類對(duì)外界信息感知的主要來源之一，而霧靄、煙霧等極端環(huán)境的影響使采集到的圖像和視頻質(zhì)量被嚴(yán)重破壞，造成所含信息缺失、紋理細(xì)節(jié)模糊以及顏色失真，限制了頂層計(jì)算機(jī)視覺（目標(biāo)檢測(cè)和跟蹤、衛(wèi)星遙感等）領(lǐng)域的發(fā)展。因此，圖像去霧成為計(jì)算機(jī)視覺基礎(chǔ)任務(wù)之一。近幾十年來，單幅圖像去霧領(lǐng)域吸引大量研究人員進(jìn)行探索研究，并涌現(xiàn)出許多方法。具體來說，圖像去霧方法大致可分為兩類：基于圖像增強(qiáng)的方法和基于圖像復(fù)原的方法。

1) 基于圖像增強(qiáng)的方法

基于圖像增強(qiáng)的方法在不考慮圖像退化原理情況下，通過降低圖像噪聲、增強(qiáng)圖像對(duì)比度恢復(fù)出清晰無霧圖像。最具代表性的方法是1964 年Land[1]提出的Retinex 理論，模擬人眼感知的物體顏色和亮度由物體表面對(duì)不同波長(zhǎng)光線的反射、吸收及透過能力決定。其數(shù)學(xué)模型表達(dá)式為

其中，S(x,y)表示獲取的低光照下實(shí)際圖像，R(x,y)表示場(chǎng)景反射圖像，L(x,y)表示照度圖像，?表示逐元素點(diǎn)乘。基于Retinex 理論的圖像增強(qiáng)的主要思想是從原始圖像S(x,y)中估計(jì)出照度圖像L(x,y)，從而分解出場(chǎng)景反射圖像R(x,y)。基于Retinex 理論，黃黎紅[2]提出的單尺度Retinex 霧圖增強(qiáng)方法，通過增強(qiáng)圖像的全局亮度和局部對(duì)比度，并對(duì)飽和度進(jìn)行調(diào)整，以達(dá)到去霧效果，但去霧后的圖像出現(xiàn)顏色失真。Yu 等[3]提出的改進(jìn)多尺度Retinex 霧圖增強(qiáng)方法能夠有效增強(qiáng)圖像內(nèi)容，以此獲得增強(qiáng)后的霧圖。Jobson 等[4]提出色彩恢復(fù)多尺度Retinex（MSRCR，multi-scale Retinex with color restoration）方法，在光照較暗的環(huán)境下能恢復(fù)出清晰度高的圖像。然而，Retinex 方法只考慮圖像陰暗處的增強(qiáng)，而沒有對(duì)圖像明亮處進(jìn)行處理，明亮區(qū)域常常出現(xiàn)光暈現(xiàn)象。直方圖均衡化作為一種增強(qiáng)圖像對(duì)比度的方法，也被運(yùn)用于圖像增強(qiáng)去霧方法的研究。李竹林等[5]對(duì)HIS 顏色空間中飽和度分量和亮度分量做自適應(yīng)直方圖均衡化處理，改善了直方圖均衡化去霧方法存在的噪聲放大和圖像失真的問題，獲得較好的對(duì)比度和邊緣細(xì)節(jié)。Xu 等[6]提出了一種基于對(duì)比度受限自適應(yīng)直方圖均衡化的去霧方法，通過最大值裁剪直方圖，并將裁剪后的像素平均分配到每個(gè)灰度級(jí)，在增強(qiáng)對(duì)比度的同時(shí)抑制噪聲。但是，基于直方圖增強(qiáng)的去霧方法同樣不考慮圖像退化原理，容易出現(xiàn)顏色失真和霧殘留等問題。

2) 基于圖像復(fù)原的方法

基于圖像復(fù)原的去霧方法大多是在McCartney等[7]提出的大氣散射模型基礎(chǔ)上進(jìn)行的，主要研究霧圖退化的原因。其表達(dá)式為

其中，I(x)表示觀察到的霧圖像，J(x)表示需要恢復(fù)的真實(shí)場(chǎng)景圖像，未知參數(shù)A和T(x)分別表示全局大氣光值和透射率，J(x)T(x)表示場(chǎng)景光線的直接衰減項(xiàng)，大氣光成份A[1 -T(x)]表示間接衰減項(xiàng)。在實(shí)際應(yīng)用中，透射率T(x)通常與場(chǎng)景深度相關(guān)，數(shù)學(xué)模型表達(dá)式為

其中，β表示散射系數(shù)，d(x)表示目標(biāo)點(diǎn)到相機(jī)鏡頭的光程距離。圖像復(fù)原的去霧方法可分為基于先驗(yàn)知識(shí)和基于學(xué)習(xí)2 種?；谙闰?yàn)知識(shí)的去霧方法通過先驗(yàn)知識(shí)來估計(jì)透射率T(x)和全局大氣光值A(chǔ)，然后利用大氣散射模型（ASM,atmospheric scattering model）進(jìn)行線性去霧處理。例如，Tarel 等[8]提出了快速圖像恢復(fù)算法，使用一種基于中值濾波的新算法對(duì)霧濃度進(jìn)行估計(jì)。He 等[9]提出了暗通道先驗(yàn)知識(shí)，獲得真實(shí)場(chǎng)景下的去霧結(jié)果，但該方法在處理天空區(qū)域時(shí)容易產(chǎn)生偽影現(xiàn)象。Ju 等[10]通過在ASM 中引入一個(gè)新的參數(shù)來增強(qiáng)霧圖的可見性。然而，這種基于先驗(yàn)知識(shí)估計(jì)的去霧方式對(duì)估計(jì)值極其敏感，難以處理分布不均勻的復(fù)雜場(chǎng)景中的霧靄。

最近幾年，隨著神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的不斷發(fā)展，基于學(xué)習(xí)的去霧方法逐漸成為主流。Cai 等[11]最早使用卷積神經(jīng)網(wǎng)絡(luò)（CNN，convolutional neural network）對(duì)透射率進(jìn)行估計(jì)，利用CNN 提取霧靄特征，解決了手工提取特征的難點(diǎn)。Ren 等[12]提出一種多尺度深度神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)更多的特征以提高霧天恢復(fù)效果。為擺脫對(duì)模型參數(shù)的估計(jì)，Liu等[13]提出端到端的可訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)去霧算法，由預(yù)處理、主干網(wǎng)和后處理3 個(gè)模塊組成。由于霧圖相關(guān)派生圖對(duì)霧靄特征具有不同的理解和表達(dá)能力，對(duì)霧圖相關(guān)派生圖加以充分利用能極大地發(fā)揮去霧模型的去霧效果。由此，研究者提出霧圖相關(guān)派生圖融合的方法[14-17]。其中，Ren 等[16]通過融合霧圖導(dǎo)出的3 個(gè)相關(guān)派生圖，建立門控融合的去霧方法。

上述方法在圖像去霧領(lǐng)域取得了一定的效果，但大多是基于端到端的配對(duì)訓(xùn)練。由于真實(shí)配對(duì)霧圖數(shù)據(jù)集難以采集，大多使用合成霧圖進(jìn)行配對(duì)訓(xùn)練，導(dǎo)致這些方法缺乏對(duì)真實(shí)場(chǎng)景的去霧能力。為此，研究人員從無監(jiān)督的角度出發(fā)，探索在不給定配對(duì)數(shù)據(jù)標(biāo)簽情況下實(shí)現(xiàn)霧圖清晰化[18-21]。Li 等[18]利用層接糾纏的思想將霧圖視為無霧圖像層、投射率圖層和大氣光層的糾纏，提出了零樣本的去霧算法。然而，這種零樣本的方式產(chǎn)生的每個(gè)圖層不可控，導(dǎo)致去霧效果較差。Engin 等[20]將循環(huán)生成對(duì)抗網(wǎng)絡(luò)（CycleGAN,cycle generative adversarial network）[21]用于圖像去霧，提出非配對(duì)訓(xùn)練的圖像去霧方法，但非配對(duì)訓(xùn)練中缺乏像素點(diǎn)之間的約束，造成生成去霧圖像質(zhì)量低。此后，研究者在CycleGAN 框架下進(jìn)行改進(jìn)，提出多種非配對(duì)去霧方法。Yang 等[22]認(rèn)為真實(shí)場(chǎng)景中的霧靄隨著密度和深度變化，提出了一種自增強(qiáng)的圖像去霧框架。考慮以上去霧方法存在的問題，本文基于CycleGAN非配對(duì)訓(xùn)練的原理，提出了一種四通道無監(jiān)督學(xué)習(xí)圖像去霧網(wǎng)絡(luò)。該網(wǎng)絡(luò)由去霧網(wǎng)絡(luò)、合成霧網(wǎng)絡(luò)和注意力特征融合網(wǎng)絡(luò)3 個(gè)子網(wǎng)絡(luò)，以及判別器網(wǎng)絡(luò)構(gòu)成。通過組合3 個(gè)子網(wǎng)絡(luò)構(gòu)成4 條不同的通道，形成多組對(duì)抗損失和循環(huán)一致性損失，從而增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)真實(shí)霧天數(shù)據(jù)域與清晰無霧數(shù)據(jù)域之間的映射關(guān)系。本文的主要貢獻(xiàn)如下。

1) 提出了一種四通道無監(jiān)督訓(xùn)練模型實(shí)現(xiàn)單幅圖像去霧。該模型有效解決了真實(shí)配對(duì)訓(xùn)練數(shù)據(jù)獲取困難的問題，并且改善了無監(jiān)督學(xué)習(xí)中特征提取不精確、生成圖像不可控的問題。

2) 提出了特征注意力和通道注意力相結(jié)合的注意力特征融合網(wǎng)絡(luò)，具有自適應(yīng)地融合霧相關(guān)派生圖像的能力，從而充分利用不同派生圖像之間結(jié)構(gòu)、紋理和色彩信息的自相似性。

3) 通過大量實(shí)驗(yàn)說明了本文方法在各種場(chǎng)景中恢復(fù)霧圖的有效性，與現(xiàn)有最先進(jìn)的方法相比，本文方法獲得了更好的視覺效果和客觀評(píng)價(jià)指標(biāo)。

1 相關(guān)工作

1.1 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)（GAN,generative adversarial network）由Goodfellow 等[23]提出。通過判別器和生成器兩部分，以博弈學(xué)習(xí)的方式有效學(xué)習(xí)訓(xùn)練圖像的分布，使生成器產(chǎn)生逼真的圖像來欺騙判別器。GAN 在合成圖像方面取得令人滿意的效果，因此在計(jì)算機(jī)視覺領(lǐng)域被廣泛使用。受GAN 生成圖像的啟發(fā)，圖像去霧領(lǐng)域也大量使用基于GAN 的變種實(shí)現(xiàn)圖像復(fù)原。Zhang 等[24]提出基于GAN 的聯(lián)合判別器來細(xì)化估計(jì)的透射率和去霧圖像。Li 等[25]基于條件生成對(duì)抗網(wǎng)絡(luò)（CGAN，conditional generative adversarial network）實(shí)現(xiàn)端到端可訓(xùn)練神經(jīng)網(wǎng)絡(luò)的霧圖清晰化。肖進(jìn)勝等[26]提出使用生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)霧霾場(chǎng)景圖像與清晰圖像之間的相互轉(zhuǎn)換。Shao等[27]利用GAN 框架建立的域自適應(yīng)去霧方法減小合成霧圖域與真實(shí)霧圖域之間的差距，從而提高了對(duì)真實(shí)霧的去除能力。本文的目標(biāo)是利用循環(huán)非配對(duì)訓(xùn)練的框架，實(shí)現(xiàn)由去霧網(wǎng)絡(luò)直接恢復(fù)清晰去霧圖像。

1.2 注意力機(jī)制

注意力機(jī)制具有引導(dǎo)深度神經(jīng)網(wǎng)絡(luò)關(guān)注感興趣特征而忽略不重要信息的能力，已在計(jì)算機(jī)視覺和自然語言處理領(lǐng)域廣泛應(yīng)用，在底層視覺任務(wù)（超分辨率、低光照增強(qiáng)、去霧和去雨等）中也得到成功應(yīng)用。Dai 等[28]使用二階段注意力自適應(yīng)地調(diào)整通道特征，以此獲得更具分辨率的表達(dá)。Deng等[29]引入注意力融合多個(gè)深度模型實(shí)現(xiàn)單幅圖像去霧。Qin 等[30]提出一種端到端的特征融合注意力網(wǎng)絡(luò)直接恢復(fù)無霧圖像，該網(wǎng)絡(luò)由通道注意力和像素注意力組成。本文目的是探索將注意力機(jī)制引入非配對(duì)訓(xùn)練網(wǎng)絡(luò)中，利用注意力機(jī)制強(qiáng)大的特征提取能力來自適應(yīng)地融合生成去霧圖和霧派生圖，從而有效補(bǔ)償非配對(duì)訓(xùn)練中樣本多樣性而造成的生成圖像不可控性。

2 本文方法介紹

本節(jié)將對(duì)本文提出的四通道無監(jiān)督圖像去霧模型進(jìn)行詳細(xì)介紹，分析去霧網(wǎng)絡(luò)、合成霧網(wǎng)絡(luò)、注意力特征融合網(wǎng)絡(luò)這3 個(gè)子網(wǎng)絡(luò)，以及判別器網(wǎng)絡(luò)對(duì)整體去霧模型結(jié)構(gòu)的必要性和有效性，并分別介紹它們的設(shè)計(jì)細(xì)節(jié)。

2.1 總體模型結(jié)構(gòu)

受CycleGAN 使用2 個(gè)生成器和2 個(gè)判別器實(shí)現(xiàn)不同域之間相互轉(zhuǎn)換思想的啟發(fā)，本文構(gòu)建如圖1所示的四通道無監(jiān)督單幅圖像去霧網(wǎng)絡(luò)，其中包括3 個(gè)子網(wǎng)絡(luò)，分別為去霧網(wǎng)絡(luò)GD、合成霧網(wǎng)絡(luò)GS和注意力特征融合網(wǎng)絡(luò)FA。順序組合不同子網(wǎng)絡(luò)構(gòu)建以下4 條映射通道：去霧通道，由去霧網(wǎng)絡(luò)和合成霧網(wǎng)絡(luò)組成，即GD→GS；去霧結(jié)果顏色-紋理恢復(fù)通道，由注意力特征融合網(wǎng)絡(luò)和合成霧網(wǎng)絡(luò)組成，即FA→GS；合成霧通道，由合成霧網(wǎng)絡(luò)和去霧網(wǎng)絡(luò)組成，即GS→GD；合成霧結(jié)果顏色-紋理恢復(fù)通道，由去霧網(wǎng)絡(luò)和注意力特征融合網(wǎng)絡(luò)組成，即GD→FA。本文方法的新穎之處在于通過這4 條通道形成一個(gè)相互對(duì)抗博弈的學(xué)習(xí)關(guān)系，進(jìn)而實(shí)現(xiàn)從有霧圖像域到無霧圖像域的映射轉(zhuǎn)換。多通道映射的關(guān)系強(qiáng)化了網(wǎng)絡(luò)的約束能力，使生成圖像具有更高清晰度、對(duì)比度和更清晰的紋理細(xì)節(jié)。

圖1 四通道無監(jiān)督單幅圖像去霧網(wǎng)絡(luò)

圖1 的右上部分由去霧通道和去霧結(jié)果顏色-紋理恢復(fù)通道構(gòu)成，實(shí)現(xiàn)對(duì)去霧網(wǎng)絡(luò)GD的約束與優(yōu)化。去霧通道映射和去霧結(jié)果顏色-紋理恢復(fù)通道映射分別表示為

同樣，圖1 的左下部分由合成霧通道和合成霧結(jié)果顏色-紋理恢復(fù)通道構(gòu)成，實(shí)現(xiàn)對(duì)合成霧網(wǎng)絡(luò)GS的約束和優(yōu)化，使其產(chǎn)生更加逼真的霧圖，從而提高去霧網(wǎng)絡(luò)GD從霧圖域到無霧圖域的轉(zhuǎn)換能力。合成霧通道映射和合成霧結(jié)果顏色-紋理恢復(fù)通道映射分別表示為其中，yr為真實(shí)無霧圖輸入，yr→f和yr→ff分別為GS合成霧圖和GD生成的無霧圖，為合成霧圖yy→f的相關(guān)派生圖，為2 個(gè)不同通道的重構(gòu)無霧圖。同樣，合成霧圖yr→f與真實(shí)霧圖xr通過判別器Dff構(gòu)成另一生成對(duì)抗損失，而2 個(gè)重構(gòu)無霧圖與真實(shí)無霧圖yr構(gòu)成循環(huán)一致性fogfree損失，以此來共同對(duì)合成霧網(wǎng)絡(luò)GS進(jìn)行約束。

2.2 去霧網(wǎng)絡(luò)

端到端的圖像生成算法是圖像與圖像間內(nèi)容和風(fēng)格的轉(zhuǎn)換，CNN 具有學(xué)習(xí)圖像深層特征的能力，通過深層特征對(duì)圖像風(fēng)格和內(nèi)容進(jìn)行表達(dá)，可以實(shí)現(xiàn)圖像之間的風(fēng)格轉(zhuǎn)換。本文采用一種新穎的密集連接編碼-解碼方式實(shí)現(xiàn)從霧圖到無霧圖的轉(zhuǎn)換，去霧網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 中，在編碼階段對(duì)輸入的霧圖采用核為7 × 7和3 × 3的卷積得到初始化特征，2 個(gè)卷積的步長(zhǎng)為1，濾波器數(shù)量為64，然后使用卷積塊進(jìn)行編碼。為增加卷積特征信息的流動(dòng)性，更加有效地利用各層卷積特征，本文采用密集連接[31]的思想來設(shè)計(jì)卷積塊，通過最大池化，3 層核為3 × 3、步長(zhǎng)為1 的卷積以及ReLU 激活函數(shù)構(gòu)成密集連接卷積塊。其中，最大池化增加了特征感受野。每經(jīng)過一次卷積塊，特征圖通道數(shù)擴(kuò)大一倍，尺寸（寬、高）大小縮小一倍。本文使用3 次卷積塊進(jìn)行編碼，最終的編碼特征圖通道為512，尺寸大小為原始輸入圖的。通常，增加網(wǎng)絡(luò)層的深度可以提高網(wǎng)絡(luò)的表達(dá)能力，但是，同時(shí)也會(huì)導(dǎo)致梯度消失。為了避免增加網(wǎng)絡(luò)層深度而造成梯度消失，本文使用6 次殘差塊進(jìn)一步細(xì)化編碼特征。殘差塊中使用批歸一化（BN,batch normalization）進(jìn)行標(biāo)準(zhǔn)化。在解碼過程中，本文設(shè)計(jì)的反卷積塊由一層核為3 × 3、步長(zhǎng)為2 的反卷積，2 層核分別為3 × 3和1 × 1、步長(zhǎng)為1 的卷積以及ReLU 激活函數(shù)構(gòu)成。同時(shí)，為了能充分利用編碼階段淺層特征包含的紋理細(xì)節(jié)、色彩信息以及深層特征富含的語義信息，采用跳躍連接拼接編碼層特征。每經(jīng)過一次反卷積塊，特征圖通道數(shù)縮小一半，尺寸擴(kuò)大一倍。本文使用3 次反卷積塊進(jìn)行解碼，最后經(jīng)一層核為7 × 7、步長(zhǎng)為1、濾波器數(shù)量為3 的卷積以及TanH 激活函數(shù)生成去霧圖像。

圖2 去霧網(wǎng)絡(luò)結(jié)構(gòu)

2.3 合成霧網(wǎng)絡(luò)

在本文無監(jiān)督訓(xùn)練的循環(huán)結(jié)構(gòu)下，合成霧圖的質(zhì)量對(duì)去霧網(wǎng)絡(luò)實(shí)現(xiàn)從有霧圖像域到無霧圖像域的轉(zhuǎn)換起到關(guān)鍵的約束作用，并將直接影響去霧網(wǎng)絡(luò)的去霧圖效果。由于真實(shí)場(chǎng)景霧靄的分布呈現(xiàn)隨機(jī)性與非均勻性，難以使用CNN 直接擬合實(shí)際場(chǎng)景霧圖。例如，Engin 等[20]利用CycleGAN 原理，提出的Cycle-Dehaze 去霧網(wǎng)絡(luò)模型，使用純網(wǎng)絡(luò)來設(shè)計(jì)去霧生成器和合成霧生成器，但由于CycleGAN 生成圖像的不可控，導(dǎo)致最終的去霧效果不佳。本文引入未知參數(shù)可訓(xùn)練的大氣散射模型對(duì)霧圖進(jìn)行擬合，生成霧靄分布最佳的霧圖，進(jìn)而約束去霧網(wǎng)絡(luò)。如式(2)所示，大氣散射模型需要對(duì)透射率T和全局大氣光值A(chǔ)進(jìn)行估計(jì)，本文的合成霧網(wǎng)絡(luò)使用參數(shù)可訓(xùn)練的方式分別對(duì)T和A的值進(jìn)行估計(jì)。合成霧網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

圖3 中以清晰無霧圖像J為輸入對(duì)透射率T進(jìn)行估計(jì)。首先，使用ResNet50 預(yù)訓(xùn)練模型的前5 層提取初始特征，得到初始特征圖。通常，全連接層具有較好的全局語義表達(dá)和位置感知能力，而卷積操作能有效提取局部特征。為更加精確地估計(jì)透射率，本文結(jié)合全連接與卷積操作對(duì)特征圖信息進(jìn)行提取。采用全局平均池化代替全連接層，對(duì)特征圖每個(gè)通道進(jìn)行處理；同時(shí)分別使用1 × 1、3 × 3和5 × 5的卷積核對(duì)特征圖進(jìn)行卷積操作。接著對(duì)不同感受野下的卷積特征進(jìn)行疊加求和。為了使網(wǎng)絡(luò)關(guān)注卷積求和后的有效信息，最后，將全局平均池化結(jié)果與求和結(jié)果進(jìn)行點(diǎn)乘得到最終提取的特征信息，經(jīng)過3 次核為3 × 3、步長(zhǎng)為2 的反卷積，一次核為3 × 3、步長(zhǎng)為1、濾波器數(shù)量為1 的卷積以及Sigmoid 激活函數(shù)處理后生成透射率圖T。在全局大氣光值的估計(jì)方面，本文以輸入圖像J中每個(gè)像素點(diǎn)的RGB 三通道中最大值作為輸入，通過6 次尺寸不變的卷積操作和Sigmoid 激活函數(shù)獲得全局大氣光值A(chǔ)。其中，第一次卷積核大小為7 × 7，其余卷積核大小為3 × 3，前5 次濾波器數(shù)量都為64，最后輸出濾波器數(shù)量為1。使用本文合成霧網(wǎng)絡(luò)生成的透射率圖以及對(duì)應(yīng)的合成霧圖像如圖4 所示，其中，清晰圖像來自公共數(shù)據(jù)集RESIDE。

圖3 合成霧網(wǎng)絡(luò)結(jié)構(gòu)

圖4 透射率圖以及合成霧圖像

2.4 注意力特征融合網(wǎng)絡(luò)

本文設(shè)計(jì)的多路映射結(jié)構(gòu)是為了增強(qiáng)去霧網(wǎng)絡(luò)從霧圖域到無霧圖域的轉(zhuǎn)換能力，而本文提出的注意力特征融合網(wǎng)絡(luò)是形成多路映射的關(guān)鍵，其目的在于將霧相關(guān)派生圖的特征融入去霧圖像中，以進(jìn)一步恢復(fù)去霧圖像的顏色、紋理細(xì)節(jié)信息。受文獻(xiàn)[15-17]的啟發(fā)，本文采用白平衡圖、對(duì)比度增強(qiáng)圖和伽馬校正圖作為霧相關(guān)派生圖像。其中，白平衡圖能夠恢復(fù)場(chǎng)景中的潛在顏色，實(shí)現(xiàn)圖像精確反映真實(shí)場(chǎng)景中的色彩狀況。對(duì)比度增強(qiáng)圖使霧靄區(qū)域具有全局可見性，但是容易導(dǎo)致較暗區(qū)域趨近于黑色。伽馬校正圖可以實(shí)現(xiàn)增強(qiáng)原始圖像的可見度，同時(shí)避免出現(xiàn)嚴(yán)重黑色區(qū)域。生成去霧圖與3 種霧派生圖各自含有利于圖像清晰化的特征和自相似性上下文信息。本文設(shè)計(jì)一個(gè)注意力特征融合網(wǎng)絡(luò)來有效地融合這些有利特征以生成清晰去霧圖像，注意力特征融合網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。

圖5 注意力特征融合網(wǎng)絡(luò)結(jié)構(gòu)

圖5 中以去霧網(wǎng)絡(luò)的去霧圖和霧相關(guān)派生圖作為輸入。為了將3 個(gè)霧相關(guān)派生圖中的高對(duì)比度、潛在場(chǎng)景顏色信息以及紋理細(xì)節(jié)傳遞給去霧網(wǎng)絡(luò)，本文應(yīng)用了權(quán)重機(jī)制。首先，將3 個(gè)派生圖與生成去霧圖進(jìn)行通道拼接，采用一個(gè)核大小為7 × 7、步長(zhǎng)為1、濾波器數(shù)量為64 的卷積進(jìn)行初始化；然后，通過使用一組特征注意力模塊和通道注意力來自適應(yīng)學(xué)習(xí)各輸入圖的特征權(quán)重，由特征權(quán)重與對(duì)應(yīng)的輸入圖相乘，疊加求和后得到融合特征；最后，經(jīng)過一個(gè)核大小為7 × 7、步長(zhǎng)為1、濾波器數(shù)量為3 的卷積以及激活函數(shù)Tanh 生成去霧圖像。特征注意力模塊的設(shè)計(jì)如下。首先進(jìn)行核大小為1 × 1的卷積和批量歸一化（BN，batch normalization）處理。引入級(jí)聯(lián)與并聯(lián)相結(jié)合的卷積模式提取特征信息，3 × 3和5 × 5的卷積核具有不同的感受野，通過拼接不同感受野下級(jí)聯(lián)卷積特征，并以核為1 × 1的卷積和批量歸一化細(xì)化拼接特征。再與初始卷積疊加求和得到有效特征。最后通過2 層核為3 × 3的卷積以及ReLU 和Sigmoid 激活函數(shù)自適應(yīng)生成有效特征的權(quán)重，使用此權(quán)重與有效特征點(diǎn)乘實(shí)現(xiàn)注意力提取有效特征。在特征注意力模塊中，所有卷積的濾波器數(shù)量都為64，且步長(zhǎng)都為1。本文使用3 次特征注意力模塊提取輸入圖的有效特征。對(duì)于通道注意力的設(shè)計(jì)，采用核為1 × 1、步長(zhǎng)為1 和濾波器數(shù)量為12 的卷積對(duì)最終提取的有效特征進(jìn)行卷積操作；隨后使用全局平均池化和最大池化將通道的全局空間特征壓縮為2 個(gè)不同空間特征表達(dá)；接著，將這2 種空間特征表達(dá)輸入一個(gè)含有2 層核為3 × 3的卷積和ReLU 激活函數(shù)的共享網(wǎng)絡(luò)中，得到特征向量輸出；最后，使用元素求和合并輸出的特征向量，經(jīng)Sigmoid 激活函數(shù)生成各輸入圖的最終特征權(quán)重。

2.5 判別器網(wǎng)絡(luò)

本文使用了2 個(gè)判別器Dff和Df。判別器網(wǎng)絡(luò)具有分辨真實(shí)圖像和生成圖像的作用，通過判別器構(gòu)造生成對(duì)抗損失可以促進(jìn)生成網(wǎng)絡(luò)生成的圖像特征信息分布逐漸趨近于真實(shí)圖像。Dff是用來區(qū)分真實(shí)無霧圖yr和由GD、FA生成的去霧圖xr→ff、，而Df是用來區(qū)分真實(shí)霧圖xr和網(wǎng)絡(luò)GS合成的霧圖yr→f。本文判別器網(wǎng)絡(luò)采用傳統(tǒng)CycleGAN中判別器的設(shè)計(jì)結(jié)構(gòu)，由6 層卷積和一系列BN、ReLU 激活函數(shù)組成。其中，從開始到結(jié)束每層卷積濾波器數(shù)量分別為64、128、256、512、512 和1，并且前4 層步長(zhǎng)為2，最后2 層步長(zhǎng)為1，所有卷積核的大小都為4 × 4。

3 損失函數(shù)

本文基于無監(jiān)督訓(xùn)練的循環(huán)框架實(shí)現(xiàn)端到端的圖像去霧，為了使網(wǎng)絡(luò)可控地生成高對(duì)比度、顏色保真度和紋理細(xì)節(jié)清晰的去霧圖，本文使用生成對(duì)抗損失、循環(huán)一致?lián)p失和循環(huán)一致性感知損失對(duì)網(wǎng)絡(luò)進(jìn)行必要的約束。

1) 生成對(duì)抗損失

本文構(gòu)建多個(gè)生成對(duì)抗損失是為了使去霧網(wǎng)絡(luò)GD和注意力特征融合網(wǎng)絡(luò)FA生成的去霧圖像更接近真實(shí)無霧圖像域，以及合成霧網(wǎng)絡(luò)GS合成的霧圖更接近于真實(shí)霧數(shù)據(jù)域。其中，判別器Dff旨在對(duì)齊真實(shí)無霧圖像域與生成去霧圖像之間的特征分布，而判別器Df旨在對(duì)齊真實(shí)霧數(shù)據(jù)域與合成霧圖之間的特征分布。去霧網(wǎng)絡(luò)GD和注意力特征融合網(wǎng)絡(luò)FA的生成對(duì)抗損失分別為

其中，Xdata和Ydata分別為真實(shí)霧和無霧數(shù)據(jù)域，xr和yr分別為真實(shí)霧圖和無霧圖，為霧圖xr相關(guān)派生圖。GS和Df構(gòu)成的生成霧對(duì)抗損失為

2) 循環(huán)一致性損失

生成對(duì)抗損失能對(duì)特征分布進(jìn)行約束，但不能實(shí)現(xiàn)像素點(diǎn)到點(diǎn)的約束，為保證生成圖像在結(jié)構(gòu)特征和紋理細(xì)節(jié)與原圖的一致性，本文引入循環(huán)一致性損失。從霧圖到無霧圖再到重構(gòu)霧圖的循環(huán)中，循環(huán)一致性fog 損失表示為

同理，從真實(shí)無霧圖到合成霧圖再到重構(gòu)無霧圖的循環(huán)中，循環(huán)一致性fogfree 損失表示為

3) 循環(huán)一致性感知損失

Engin 等在Cycle-Dehaze 證明，在被濃霧嚴(yán)重?fù)p害的圖像區(qū)域，循環(huán)一致性損失不足以恢復(fù)所有紋理信息。因此，本文同樣引入循環(huán)一致性感知損失，從圖像特征空間上進(jìn)行比較，學(xué)習(xí)霧圖中更多的紋理細(xì)節(jié)信息。本文使用預(yù)訓(xùn)練VGG19 的第2和第5 池化層提取淺層和深層特征的組合來保留輸入圖像結(jié)構(gòu)信息，循環(huán)一致性感知損失為

其中，φ表示參數(shù)固定的VGG19 的第2 和第5 池化層提取的特征。綜上所述，融合生成對(duì)抗損失、循環(huán)一致性損失和循環(huán)一致性感知損失，得到最終的總損失表示為

其中，λ1～λ6為正權(quán)重。為優(yōu)化去霧網(wǎng)絡(luò)模型，最終需使網(wǎng)絡(luò)滿足

4 實(shí)驗(yàn)結(jié)果及分析

為了充分說明本文方法的可行性和有效性，本文采用定性主觀評(píng)價(jià)和定量客觀評(píng)價(jià)進(jìn)行比較分析。在客觀評(píng)價(jià)中，本文采用被廣泛使用的峰值信噪比（PSNR,peak signal-to-noise ratio）和結(jié)構(gòu)相似性（SSIM,structural similarity）的有參評(píng)價(jià)指標(biāo)，以及Choi 等[32]提出的霧感知密度評(píng)估器（FADE,fog aware density evaluator）和Mittal 等[33]提出的自然圖像質(zhì)量評(píng)估器（NIQE,natural image quality evaluator）的無參評(píng)價(jià)指標(biāo)。其中，PSNR 和SSIM 值越大，表示去霧恢復(fù)效果越好；FADE 值越小，表示去霧能力越強(qiáng)；NIQE 值越小，表示去霧圖像生成質(zhì)量越好。本文采用現(xiàn)有最先進(jìn)的去霧方法DCPDN（densely connected pyramid dehazing network）[24]、DehazeNet[11]、GCANet（gated context aggregation network）[34]、DAD（domain adaptation for image dehazing）[27]、MSBDN（multi-scale boosted dehazing network）[35]、IDE（image dehazing and exposure）[10]、ZID（zero-shot image dehazing）[18]、YOLY（you only look yourself）[19]和D4（dehazing via decomposing transmission map into density and depth）[22]與本文方法進(jìn)行定性和定量的比較。

4.1 訓(xùn)練和測(cè)試細(xì)節(jié)

本文訓(xùn)練數(shù)據(jù)集來自RESIDE 數(shù)據(jù)集[36]，其中真實(shí)霧圖15 000 幅、清晰圖像13 500 幅；用于驗(yàn)證的霧圖1 000 幅。在網(wǎng)絡(luò)模型訓(xùn)練中指定圖像大小為256 ×256，學(xué)習(xí)率為 2 × 10-4，批量學(xué)習(xí)大?。╞atchsize）為3，迭代次數(shù)（epoch）為15，采用Adam優(yōu)化器。根據(jù)經(jīng)驗(yàn)，本文設(shè)置λ1=λ2=λ3=10，λ4=λ5=5，λ6=1。為得到最優(yōu)的去霧效果模型，在每次迭代中每循環(huán)3 000 次進(jìn)行一次驗(yàn)證，選擇最優(yōu)模型保存。此外，本文采用Pytorch 框架和一塊GPU為NVIDIA GeForce GTX 3060 進(jìn)行72h 訓(xùn)練。需說明的是，本文方法在測(cè)試階段僅需啟動(dòng)去霧網(wǎng)絡(luò)。

4.2 實(shí)驗(yàn)結(jié)果

4.2.1 合成霧圖去霧結(jié)果分析

本文采用 RESIDE 數(shù)據(jù)集中包含的 SOTS（synthetic object testing set）、ITS（indoor training set）以及Zhang 等[37]提出的HazeRD 這3 個(gè)合成霧公共數(shù)據(jù)集對(duì)不同去霧方法進(jìn)行主觀和客觀的去霧結(jié)果評(píng)價(jià)。本文方法與其他方法對(duì)合成霧圖的去霧結(jié)果對(duì)比如圖6 所示。

從圖6 的主觀視覺分析，DCPDN 方法去霧結(jié)果出現(xiàn)顏色失真、邊緣信息丟失的現(xiàn)象，而且對(duì)霧靄的去除能力弱。DehazeNet 方法有較好的邊緣紋理，然而去霧結(jié)果殘留了大量的霧靄，并且對(duì)比度和亮度都較低。GCANet、DAD 和MSBDN 這3 種方法的去霧結(jié)果雖然能較好地保留圖像紋理細(xì)節(jié)和色彩信息，但是在處理較濃的霧時(shí)依然有霧靄殘留（如圖6 中最后一行的去霧結(jié)果）。IDE 方法的去霧結(jié)果呈現(xiàn)較高的亮度，但存在色偏現(xiàn)象，并且表面依然存在一層薄霧。本文方法在有效去除霧的同時(shí)保留了較好的紋理細(xì)節(jié)和顏色信息，且具有高亮度和對(duì)比度，去霧結(jié)果與清晰圖像更加接近。從圖6 的有參評(píng)價(jià)指標(biāo)分析，本文方法面對(duì)不同場(chǎng)景下的霧靄時(shí)，去霧結(jié)果的PSNR 和SSIM 值都優(yōu)于其他大部分去霧方法。

為能更加客觀表現(xiàn)不同方法的去霧效果，本文定量求解不同方法在SOTS、ITS 和HazeRD 這3 個(gè)合成霧公共數(shù)據(jù)集上去霧結(jié)果的PSNR、SSIM、FADE 和NIQE 平均值，結(jié)果如表1 所示。從表1中可見，DCPDN 方法在3 個(gè)數(shù)據(jù)集上的所有評(píng)價(jià)指標(biāo)都表現(xiàn)較差，印證了圖6 中的主觀評(píng)價(jià)結(jié)果。本文方法去霧結(jié)果的有參評(píng)價(jià)指標(biāo)（PSNR、SSIM）和無參評(píng)價(jià)指標(biāo)（FADE、NIQE）均優(yōu)于其他方法。上述主觀評(píng)價(jià)和客觀評(píng)價(jià)的對(duì)比充分說明，本文方法在合成霧天數(shù)據(jù)集中具有較強(qiáng)的霧圖恢復(fù)能力，并能很好保留原圖紋理、顏色和結(jié)構(gòu)信息。

圖6 不同方法對(duì)合成霧圖的去霧結(jié)果對(duì)比

表1 不同方法在合成霧公共數(shù)據(jù)集上去霧結(jié)果的評(píng)價(jià)指標(biāo)

4.2.2 真實(shí)霧圖去霧結(jié)果分析

相比于合成霧圖，真實(shí)場(chǎng)景中霧靄的分布不均勻，且受各種因素的影響，使成像后的真實(shí)霧圖難以擬合霧靄分布規(guī)律。為說明本文方法能很好地去除真實(shí)場(chǎng)景霧靄，本節(jié)將使用 5 幅真實(shí)霧圖（R1～R5）進(jìn)行去霧性能分析。不同方法對(duì)真實(shí)霧圖的去霧結(jié)果對(duì)比如圖7 所示。從圖7 的主觀視覺分析，使用DCPDN 方法去霧結(jié)果呈現(xiàn)低對(duì)比度、低飽和度，且出現(xiàn)區(qū)域性變黑（如R1和R2尤為突出）。DehazeNet、GCANet 和MSBDN 這3 種方法對(duì)真實(shí)場(chǎng)景中霧靄的消除能力較差，去霧后的結(jié)果依然存在明顯霧靄。DAD 方法能夠去除真實(shí)場(chǎng)景中的霧靄，但去霧結(jié)果整體表現(xiàn)出較低亮度和對(duì)比度，視覺感知上效果較差（如R2所示）。IDE 方法的去霧結(jié)果有較高亮度，但其容易出現(xiàn)過度銳化（如R2過度銳化）和色偏現(xiàn)象（如R5嚴(yán)重色偏）。對(duì)比其他方法去霧結(jié)果，本文方法在有效恢復(fù)清晰圖像的同時(shí)保留完整邊緣細(xì)節(jié)和顏色信息，并且在對(duì)比度和亮度上呈現(xiàn)出較好的視覺效果。

圖7 不同方法對(duì)真實(shí)霧圖的去霧結(jié)果對(duì)比

從定量角度分析，對(duì)不同方法的真實(shí)霧圖去霧結(jié)果進(jìn)行無參評(píng)估，結(jié)果如表2 所示。從表2 可以看出，本文方法的去霧結(jié)果在FADE 和NIQE 這2 個(gè)指標(biāo)上優(yōu)于其他方法，表明本文方法對(duì)真實(shí)霧天具有較強(qiáng)的去霧能力和較好的圖像質(zhì)量恢復(fù)能力。

表2 不同方法對(duì)真實(shí)霧圖去霧結(jié)果無參評(píng)價(jià)指標(biāo)

為了進(jìn)一步驗(yàn)證本文提出的無監(jiān)督去霧方法在真實(shí)場(chǎng)景中的去霧效果的優(yōu)越性，本文與近年來最先進(jìn)的無監(jiān)督去霧方法進(jìn)行對(duì)比，結(jié)果如圖8 所示。從圖8 可以看出，ZID 方法的去霧結(jié)果在顏色和結(jié)構(gòu)上損失嚴(yán)重。YOLY 和D4 方法雖然能夠保留完整的紋理結(jié)構(gòu)，但去霧的結(jié)果中依然存在大量的霧靄并且對(duì)比度較低。本文方法在有效去除霧靄的同時(shí)保留了清晰的紋理細(xì)節(jié)，具有高亮度和對(duì)比度。從客觀評(píng)價(jià)指標(biāo)來看，本文方法生成圖像的感知質(zhì)量也是最優(yōu)的。

圖8 無監(jiān)督去霧方法對(duì)真實(shí)霧圖去霧結(jié)果對(duì)比

在實(shí)際應(yīng)用中不同方法模型的參數(shù)量和運(yùn)行速度是衡量其實(shí)用性的重要指標(biāo)，為了說明本文方法在場(chǎng)景應(yīng)用中的競(jìng)爭(zhēng)力，本文在測(cè)試階段與多種去霧方法進(jìn)行模型參數(shù)量和運(yùn)行時(shí)間的比較，結(jié)果如表3所示。從模型參數(shù)量上看，相比于大多數(shù)神經(jīng)網(wǎng)絡(luò)的方法，本文方法參數(shù)量較小。從算法運(yùn)行時(shí)間上看，本文固定輸入圖像的分辨率為512像 素 ×512像素，本文方法生成每幅圖像的運(yùn)行時(shí)間最短。

表3 不同方法模型參數(shù)量和運(yùn)行時(shí)間對(duì)比

4.2.3 消融研究

為了驗(yàn)證本文方法中引入模塊的有效性，本節(jié)進(jìn)行消融研究，包括以下5 個(gè)實(shí)驗(yàn)：實(shí)驗(yàn)1，使用傳統(tǒng)CycleGAN 生成器網(wǎng)絡(luò)直接去霧；實(shí)驗(yàn)2，在CycleGAN 的基礎(chǔ)上引入感知損失函數(shù)，即Engin等提出的Cycle-Dehaze；實(shí)驗(yàn)3，將實(shí)驗(yàn)2 中的生成器網(wǎng)絡(luò)替換成本文提出的去霧網(wǎng)絡(luò)；實(shí)驗(yàn)4，在實(shí)驗(yàn)3 中引入ASM 構(gòu)成本文提出的合成霧網(wǎng)絡(luò)；實(shí)驗(yàn)5，以實(shí)驗(yàn)4 為基礎(chǔ)，將本文提出的注意力特征融合網(wǎng)絡(luò)嵌入去霧網(wǎng)絡(luò)。消融實(shí)驗(yàn)結(jié)果如圖9 所示，包含2 幅霧圖（I1和I2）和5 個(gè)消融實(shí)驗(yàn)去霧結(jié)果圖以及對(duì)應(yīng)區(qū)域的放大圖。

圖9(b)僅使用CycleGAN 生成器網(wǎng)絡(luò)去霧，生成去霧結(jié)果整體結(jié)構(gòu)、紋理細(xì)節(jié)和顏色信息破壞嚴(yán)重（如圖9(b)中圖I1的放大區(qū)域）；而圖9(c)引入VGG 感知損失后，在色彩恢復(fù)上得到極大改善，但缺乏像素級(jí)之間的約束，去霧效果呈現(xiàn)出邊緣紋理失真現(xiàn)象。圖9(d)使用本文提出的去霧網(wǎng)絡(luò)代替圖9(c)中的生成器網(wǎng)絡(luò)，此網(wǎng)絡(luò)通過密集和跳躍連接方式在有效提取特征的同時(shí)能充分利用網(wǎng)絡(luò)淺層信息。圖9(d)去霧結(jié)果的色彩信息和紋理細(xì)節(jié)的恢復(fù)都優(yōu)于圖9(c)。為了進(jìn)一步優(yōu)化非配對(duì)框架造成的不可控性，在圖9(d)的基礎(chǔ)上引入ASM 構(gòu)建一個(gè)合成霧網(wǎng)絡(luò)，進(jìn)而約束去霧網(wǎng)絡(luò)，去霧結(jié)果如圖9(e)所示，圖9(e)的邊緣恢復(fù)以及霧靄的去除程度都優(yōu)于圖9(d)。將本文提出注意力特征融合網(wǎng)絡(luò)嵌入去霧網(wǎng)絡(luò)，從圖9(f)所示的去霧結(jié)果來看，盡管保留了較好的紋理細(xì)節(jié)，但多種霧圖派生圖的引入導(dǎo)致霧靄去除效果不佳。由此得出，在雙通道的循環(huán)框架中添加注意力融合派生圖特征對(duì)去霧網(wǎng)絡(luò)起不到約束作用。圖9(g)是本文設(shè)計(jì)的四通道無監(jiān)督單幅圖像去霧網(wǎng)絡(luò)，主要由密集-跳躍連接的去霧網(wǎng)絡(luò)、引入ASM 的合成霧圖網(wǎng)絡(luò)以及融合多類霧派生圖的注意力特征網(wǎng)絡(luò)組成。相比于圖9(b)～圖9(f)，圖9(g)具有清晰的紋理細(xì)節(jié)、顏色信息以及高亮度和對(duì)比度，從NIQE 評(píng)價(jià)指標(biāo)也可看出，本文方法去霧結(jié)果的客觀評(píng)價(jià)值是最優(yōu)的。由此證明了本文提出去霧方法的有效性。

圖9 消融實(shí)驗(yàn)結(jié)果

5 結(jié)束語

本文基于CycleGAN 框架提出了一種四通道無監(jiān)督學(xué)習(xí)圖像去霧網(wǎng)絡(luò)，有效解決了有監(jiān)督學(xué)習(xí)配對(duì)數(shù)據(jù)獲取難和無監(jiān)督學(xué)習(xí)圖像生成質(zhì)量低的問題。具體來說，為了能更好地約束去霧網(wǎng)絡(luò)來改善和恢復(fù)去霧圖像的質(zhì)量，本文利用去霧網(wǎng)絡(luò)、合成霧網(wǎng)絡(luò)和注意力特征融合網(wǎng)絡(luò)組合成相互約束的4條通道，以此構(gòu)建多重?fù)p失函數(shù)。特別在注意力特征融合網(wǎng)絡(luò)中，本文引入幾種霧相關(guān)派生圖來引導(dǎo)特征-通道注意力關(guān)注更多霧圖相關(guān)上下文信息，從而提高去霧結(jié)果的紋理和結(jié)構(gòu)信息。實(shí)驗(yàn)表明，本文方法在合成數(shù)據(jù)和真實(shí)場(chǎng)景霧圖上都能有效去霧，并且生成去霧結(jié)果在紋理細(xì)節(jié)、對(duì)比度和清晰度上相比于現(xiàn)有去霧方法都有所提升。