麻文剛，張亞東，郭 進

（西南交通大學信息科學與技術學院，四川成都 611756）

1 引言

霧天降質(zhì)圖像［1］的清晰化處理在航空、遙感、公路及鐵路等場景的工業(yè)操作中扮演著重要角色.尤其是在鐵路及公路場景，有霧圖像的清晰化處理將能有效提高鐵路及公路異物圖像的識別與檢測精度，因此具有相當重要的應用意義.目前圖像領域的去霧方法已有很多，但總體可分為三大類：圖像增強、暗通道先驗和深度學習.這三種方法對不同的去霧場景分別有不同應用，且時間復雜度相差較多.例如，傳統(tǒng)的圖像增強由于未將圖像處理時的退化信息加以考慮，僅通過不斷提升圖像的對比度來突出細節(jié)信息，通過減弱某些信息干擾來提高圖像質(zhì)量，這種方式很大程度上會導致去霧不徹底［2］；而基于暗通道先驗［3～8］的方法通過使用包含在單個圖像中的先驗信息來提出合理的假設條件，同時根據(jù)各種類型相關的約束函數(shù)進行求解與迭代來實現(xiàn)圖像去霧，雖能取得較好的效果，但參數(shù)設置存在局限性，導致去霧魯棒性不強.如Tan 等人［3］根據(jù)最大化局部對比度的方法實現(xiàn)去霧，通過計算局部對比度及對飽和度進行相關補償來優(yōu)化圖像，該方法獲得的圖像在一定程度上較為清晰，但是由于沒有做出閾值截斷，恢復圖像的顏色往往會過飽和；Fattal 等人［4］基于獨立分量分析來估計場景的反射率，根據(jù)提出的約束函數(shù)對透射率進行優(yōu)化，且對不同場景的圖像進行去霧分析，可以達到一定的效果，但由于該方法固有的統(tǒng)計特性弱點，因此對濃霧圖像的去霧效果不好；He 等人［5］根據(jù)暗通道先驗實現(xiàn)了良好的去霧效果，然而使用了軟摳圖技術，導致運行時間較長，不能實現(xiàn)圖像的實時處理；Gibson 等人［6］根據(jù)中值濾波計算大氣散射函數(shù)，通過計算不同場景圖像的透射率及大氣光值來實現(xiàn)圖像復原，但由于濾波參數(shù)選取不當，容易導致圖像邊緣信息丟失，因此復原圖像易產(chǎn)生黑斑效應［7～10］.此外，使用暗通道先驗去霧時，大多數(shù)散射模型的去霧方法在處理天空區(qū)域時都會產(chǎn)生過增強［11～14］現(xiàn)象，致使圖像的主觀視覺質(zhì)量較差.

機器學習的發(fā)展，尤其是深度學習中卷積神經(jīng)網(wǎng)絡的快速發(fā)展，使得去霧越來越優(yōu)越，性能已超過了傳統(tǒng)去霧方法.例如，Tang 等人［15］根據(jù)隨機森林的回歸框架，利用迭代優(yōu)化方法提出了一種基于學習的去霧方法.該方法雖能取得一定效果，但在去霧過程中必須先提取圖像特征向量，然后將其輸入隨機森林進行分類，最后實現(xiàn)去霧，因此計算復雜度較高，不適合實時性去霧；文獻［16，17］通過建立霧天圖像庫，通過卷積神經(jīng)網(wǎng)絡得到圖像傳輸圖來實現(xiàn)圖像去霧，由于只獲取傳輸圖，仍需應用大氣成像模型得到清晰圖像，因此去霧效果會受到成像模型的參數(shù)影響；文獻［18］首先以有霧圖像作為輸入，輸出了有霧圖像與無霧圖像之間的殘差圖像，然后直接從有霧圖像中去除霾層圖像，最后引入殘差學習來直接估計初始霾層，從而得到無霧圖像，由于利用最優(yōu)學習率減少了計算量，因此收斂過程被大大加快，實驗結(jié)果表明該方法能夠取得較好的去霧效果；文獻［19］提出了并聯(lián)卷積神經(jīng)網(wǎng)絡的單幅圖像去霧方法，首先采用RGB 圖像YUV 構(gòu)建并聯(lián)卷積神經(jīng)網(wǎng)絡，自適應地獲得有霧圖像特征，同時采用遞歸雙邊濾波對去霧后的圖像進行濾波，雖能得到較為清晰的無霧圖像，但運行時間較長.

綜上分析可知：雖然圖像增強與傳統(tǒng)暗通道先驗去霧能取得一定的效果，但這兩種方式須依賴參數(shù)選取，因此計算量過大，且對于復雜場景的有霧圖像效果一般；而基于深度學習的方法通過訓練模型庫，以清晰圖像作為訓練標簽，保證了霧天圖像與清晰圖像像素點的對應關系，因此效果較好，尤其對交通、航天及其野外等環(huán)境的圖像處理效果最好［20，21］.

復雜場景的圖像去霧對圖像清晰性要求較高.因此本文提出了景深先驗引導與環(huán)境光優(yōu)化的圖像去霧方法.具體過程為：根據(jù)景深引導網(wǎng)絡（Depth Guided Network，DGN）的兩個優(yōu)化分支恢復圖像邊界結(jié)構(gòu)，在深度引導網(wǎng)絡基礎上，利用空間特征變換（Spatial Feature Transform，SFT）層將細調(diào)后的景深圖轉(zhuǎn)化為空間特征；采用縮放及平移操作與去模糊分支中的圖像特征進行融合，通過景深引導對初始清晰圖像進行優(yōu)化；使用動態(tài)環(huán)境光替代全局大氣光來進一步優(yōu)化圖像去霧，得到最終復原圖像.主客觀評價表明，本文方法恢復出的圖像輪廓清晰且平滑性好，在各類性能指標最優(yōu)的情況下，平均運行時間最短.

2 本文方法

本文提出的去霧流程如圖1 所示.首先根據(jù)景深先驗復原出初始清晰圖像，同時采用景深細調(diào)網(wǎng)絡恢復出景深圖的邊界與結(jié)構(gòu)；然后，利用SFT 層將圖像進行迭代變換使細調(diào)后景深信息轉(zhuǎn)化為圖像特征，結(jié)合縮放及平移與初始清晰圖像特征融合，根據(jù)景深引導對初始清晰圖像進行優(yōu)化；最后，為使復原圖像具有適宜色彩與較高對比度，將動態(tài)環(huán)境光細化后用于圖像去霧，進一步優(yōu)化細節(jié)信息，得到最終復原圖像.

圖1 本文方法去霧流程

2.1 大氣散射模型

根據(jù)原始暗通道先驗原理，有霧圖像與復原圖像存在如下關系：

其中，I為有霧圖像；J為最終復原圖像；t為透射率；d為場景深度；A為大氣光值.去霧的主要目標為：求出最優(yōu)的場景深度d，進而求出透射率t，最終帶入式（1）求出復原圖像J.

2.2 景深引導的深度神經(jīng)網(wǎng)絡

DGN的網(wǎng)絡結(jié)構(gòu)如圖2所示，主要由去模糊分支與景深細調(diào)分支兩個主體結(jié)構(gòu)組成.為了更加清晰地恢復出圖像結(jié)構(gòu)信息，細調(diào)分支將有霧圖像的粗略景深圖進行估計分析，通過編碼計算進行不斷優(yōu)化；初始清晰圖像由DGN 中的去模糊分支利用細調(diào)的景深圖優(yōu)化得到.最終設計的DGN 網(wǎng)絡輸入為有霧圖像I及初始模糊景深由I估計），通過上述兩個分支進行編碼解碼計算，復原出初始清晰圖像J1.初始模糊景深βb的獲取過程如下所述.

圖2 景深引導的DGN結(jié)構(gòu)圖

一般而言，霧濃度隨著場景深度遞增而增加，因此假設場景深度、霧濃度及亮度值呈正相關［22］關系，即

其中，d(x)表示場景深度；c(x)為霧濃度；v(x)表示場景亮度，可轉(zhuǎn)換到HSV 空間進行求解，但該分量在包含白色物體的圖像中往往會失效.因為白色物體通常具有較高的亮度值，而圖像亮度分量圖中的白色場景通常對應景物較深處，因此容易導致亮度值估計不準確.為此，對大量有霧圖像進行統(tǒng)計后發(fā)現(xiàn)RGB 這3 種光的波長（700 nm，520 nm，440 nm）不同，且RGB這3個通道對光的散射強度為Sr＜Sg＜Sb.因此假設大氣中介質(zhì)同質(zhì)且均勻分布，霧濃度與景深之間呈正相關性關系［22］，此時散射強度也會隨著景深增加而增加.因此可由RGB這3個通道的散射強度來逼近景深，具體表達為

其中，SC代表圖像某一通道的散射強度.通過疊加原理可知：在圖像越亮的區(qū)域，RGB 某個分量會越大，但考慮到實際像素的不確定性，本文采用RGB 這3 個通道的算數(shù)平均值來逼近濃度，具體表達為

其中，mean(·)表示取均值，Ic(x)為有霧圖像的某一顏色通道.通常霧濃度隨著景深增加而變化，且兩者為正相關關系［22］，因此最終可以粗略得到初始模糊景深圖的估計，具體表達為

其中，c(x)表示霧濃度；βb(d(x))表示最終獲得的初始模糊景深圖；符號∝～表示近似相關關系；wθ是修正參數(shù).

由于初始模糊景深圖βb從模糊圖像I中估計得到，因此圖像中包含的清晰結(jié)構(gòu)信息不足.為此本文根據(jù)景深細調(diào)分支對βb進行細化，從而使得βb達到最優(yōu)，優(yōu)化的具體過程如圖2 下半部分所示.圖中景深細調(diào)分支（以λD表示）的基礎結(jié)構(gòu)為1個“編碼器-解碼器”，其中編碼器與解碼器之間存在部分跳躍的網(wǎng)絡連接.編碼器由3個特征尺度組成，每個尺度由1個跨步卷積層與3個殘差塊組成，其中跨步卷積層步長設置為2，目的是將上層特征圖分辨率通過采樣計算變?yōu)樵瓉淼亩种?；與之相對應的為解碼器，結(jié)構(gòu)上與編碼器對稱.同時為使得DGN 網(wǎng)絡的性能更佳，設計解碼器包含3 個殘差塊與1個轉(zhuǎn)置卷積層，作用為將上層特征圖分辨率通過采樣計算變?yōu)樵瓉淼?倍.最終設計的景深細調(diào)分支結(jié)構(gòu)含卷積層（Conv）、跨步卷積層（SC）、轉(zhuǎn)置卷積層（TC）、SFT層、Res 殘差塊及Tanh 正切激活函數(shù)，參數(shù)的詳細信息如表1所示.除了Conv2層，每個卷積層后面均連接一個線性整流單元激活層ReLU來優(yōu)化圖像景深信息.

表1 景深細調(diào)分支

由于初始清晰圖像未經(jīng)過細化，因此初始景模糊深βb不能完全體現(xiàn)出圖像所包含的具體信息.為此本文通過SFT層將原始輸入圖像中的特征進行不斷提取，然后傳遞到景深細調(diào)分支，經(jīng)過景深引導來優(yōu)化初始清晰圖像.在此過程中，網(wǎng)絡將通過殘差學習方式細調(diào)初始模糊景深βb，恢復其中的邊界并生成細調(diào)景深βr，繼續(xù)分析圖像特征后，得到初始清晰圖像J1，βr細化的過程為

景深細調(diào)分支設計完后，本文繼續(xù)給出了圖像去模糊分支的構(gòu)建過程，將其網(wǎng)絡結(jié)構(gòu)設計為解碼器-編碼器的一一對應模型結(jié)構(gòu)，設計思路與細調(diào)分支相同（篇幅原因，具體設計過程不再闡述），參數(shù)信息如表2所示.為了更好地恢復初始清晰圖像J1，繼續(xù)采用殘差學習對其優(yōu)化分析，具體如下：

表2 去模糊分支

2.3 空間特征變化層

常用的特征融合方法有特征串聯(lián)或特征點乘，此類方法雖在處理無霧圖像時具有很好效果，但在處理有霧圖像時，不能很好地提取圖像中的特征空間信息，導致特征融合效果一般，恢復的圖像細節(jié)信息有可能會被濾除.因此為了盡可能地提取圖像特征空間信息，本文利用SFT層進行圖像特征融合，快捷地提取特征中的空間信息，然后有效地融合由先驗及輸入圖像提取的特征，具體過程如圖3所示.

由圖3 可知，采用SFT 層進行特征融合的具體原理如下：首先將條件圖γ根據(jù)DGN 網(wǎng)絡中的三個卷積層進行不間斷的提取分析，之后傳遞到卷積塊中通過卷積層的特征分析進行計算，最終得到圖像空間特征信息的調(diào)制參數(shù)χ與θ.同時為了輸出圖像平移特征，原始圖像輸入特征φ在通過SFT 層時，按照式（9）進行調(diào)制，參數(shù)χ為

圖3 空間特征變換(SFT)結(jié)構(gòu)圖

其中，⊙代表點乘運算.

綜上分析，基于景深先驗引導的圖像去霧流程主要如下：對于景深細調(diào)分支結(jié)構(gòu)來說，首先將原始有霧圖像I視作DGN網(wǎng)絡的先驗信息，作為網(wǎng)絡輸入進行去霧分析；然后利用SFT 層進行圖像特征融合，快捷地提取特征的空間信息，同時有效地融合先驗與輸入圖像特征，進而獲得細調(diào)景深βr；在獲得細調(diào)景深βr后，根據(jù)DGN網(wǎng)絡中的去模糊分支將βr作為此層的輸入進行計算分析，通過設計的SFT 層將Conv1 層的輸出特征與先驗信息進行融合，得到初始清晰圖像J1.在此過程中，通過DGN 網(wǎng)絡中的兩個去霧分支進行編碼、解碼計算，使得圖像避免了傳統(tǒng)暗通道先驗帶來的細節(jié)信息恢復不完善與低對比度弱點，最終更好地完成圖像去霧.在具體訓練中，加入Dropout 層來改善深度神經(jīng)網(wǎng)絡的過擬合問題，dropout rate 為0.5，使得圖像數(shù)據(jù)集的訓練效果更好，最終的復原圖像效果更佳.

2.4 損失函數(shù)推導

為了更好地衡量去霧方法的性能，本文將對DGN網(wǎng)絡存在的損失函數(shù)進行推導.由于搭建的網(wǎng)絡為DGN 結(jié)構(gòu)，此結(jié)構(gòu)包括兩個分支結(jié)構(gòu)，因此在結(jié)合感知圖像的基礎上，推導出3 個損失函數(shù)，依次為去模糊分支損失、感知損失及景深精調(diào)損失.

（1）去模糊分支損失

對于去模糊分支損失，采用的是均方誤差損失，計算初始清晰圖像J1與“偽真實”圖像Jgt之間的均方誤差，如下所示：

偽真實圖像與模糊核尺寸相關，模糊核尺寸反映了圖像的模糊程度.當輸入的模糊核尺寸與偽真實圖像核尺寸相同時，可以得到較準確的模糊核以及清晰的復原圖像.

（2）感知損失

感知損失是初始清晰圖像J1與真實清晰圖像Jreal在高維特征空間之間的差距.傳統(tǒng)方法為將半監(jiān)督學習中的分類網(wǎng)絡作為特征提取工具來分析圖像信息.在參閱文獻［23］后，根據(jù)VGG 網(wǎng)絡進行圖像特征分析并完成信息提取.在提取特征后，輸入到分類器中進行訓練得到感知損失，感知損失計算如下：

其中，Vt代表分類網(wǎng)絡模型中的第t層特征，本文根據(jù)VGG-19 網(wǎng)絡［23］的三層卷積神經(jīng)網(wǎng)絡進行計算感知損失，通過分析感知損失使去霧效果達到最佳.

（3）景深精調(diào)損失

為了使得DGN 網(wǎng)絡訓練過程更好，同時使細調(diào)景深最優(yōu)，本文將真實清晰圖像估計得到的景深圖作為一個監(jiān)督信息，通過最小化細調(diào)景深βr與“偽真實”景深圖βgt之間的MSE損失來訓練網(wǎng)絡，具體如下：

根據(jù)上述分析，總損失函數(shù)為3個損失函數(shù)的加權和，即

其中，δa，δb及δc分別代表圖像內(nèi)容損失、感知損失、及景深細調(diào)損失的權重，取值分別為δa=1，δb=0.01，δc=1.

為了分析各個損失函數(shù)對圖像復原結(jié)果的貢獻，將式（13）中的各項損失權重值分別設置為0，并保持其余兩個權重參數(shù)不變.表3 首先給出了本文網(wǎng)絡結(jié)構(gòu)在不同損失函數(shù)組合下的圖像復原能力對比，繼而表4又給出了3種不同權重組合值下的圖像復原能力對比.選取結(jié)構(gòu)相似性（Structure Similarity Index Measure，SSIM）與峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）對圖像進行評價［19］.SSIM衡量兩幅圖像的相似度，該值越大表明圖像細節(jié)信息越好；PSNR 衡量圖像質(zhì)量，該值越大表明去霧圖像越接近無霧圖像.從表3、表4 可知，只有當3 個損失函數(shù)都存在時，DGN 模型才能夠復原出更加逼真的清晰圖像.更進一步，只有當權重組合設置為δa=1，δb=0.01及δc=1時，復原效果才會最好.

表3 損失函數(shù)有效性分析

表4 損失函數(shù)權重有效性分析

3 動態(tài)環(huán)境光估計

在利用傳統(tǒng)方法進行圖像去霧時，全局大氣光的使用會使得圖像對比度在復原后變低.圖像天空及遠景區(qū)域也會因為光照不均而導致去霧效果變差.同時當原始有霧圖像的環(huán)境較為惡劣或者陰影部分區(qū)域較多時，有霧區(qū)域也會出現(xiàn)光照不均問題，從而導致圖像色彩不均衡，對比度不適宜.因此在考慮全局大氣光帶來的缺點后，本文提出了一種動態(tài)環(huán)境光優(yōu)化策略，通過自適應地給圖像的不同區(qū)域分配光照，使得圖像去霧可以克服全局大氣光的光照不均衡問題，最終改善圖像去霧中低對比度的弱點.

3.1 環(huán)境光

由于原始輸入圖像景物特點的不同，必須自適應地為圖像不同區(qū)域進行分配光照，因此本文借鑒一種四叉樹搜索方法來［24］獲得全局大氣光AG，通過分析圖像每個區(qū)域特征將圖像分為3個區(qū)域，具體為

其中，A1，A2及A3分別表示有霧圖像中的濃霧區(qū)域、近景區(qū)域及陰影偏暗區(qū)域；R(i，j)表示圖像在HSV 空間中的亮度通道；ρ為圖像天空區(qū)域的分割系數(shù)；i，j分別表示像素點的行與列.本文首先通過分析原始有霧圖像的通道直方圖將圖像區(qū)域進行劃分.分割思路具體為：當圖像存在大面積濃霧信息時，圖像的通道直方圖具有明顯波峰，因此確定此時通道圖波峰波谷的位置即可很好地將有霧圖像進行分割.處理完濃霧區(qū)域后，非濃霧區(qū)域的處理為利用式（14）設置的ρAG/2 將圖像分割為近景與陰暗區(qū)域.當然一些圖像包含的信息較為簡單，圖像中結(jié)構(gòu)信息較少，因此可通過一種大津閾值方法將圖像簡易分割為天空與非天空區(qū)域，此時將天空區(qū)域得到的閾值稱為大津閾值.最終利用四叉樹方法可以動態(tài)的給圖像不同區(qū)域分配大氣光，同時通過大津閾值方法得到大津閾值，進而確定分割系數(shù)ρ.大多數(shù)實驗分析表明：有霧圖像的大津閾值與全局大氣光比值在0.8～1.0 范圍內(nèi)，因此本文將分割系數(shù)設置為ρ=0.9.為了驗證不同分割閾值對圖像去霧的影響，圖4（b）～（e）分別給出了ρ=0.7，ρ=0.8，ρ=1.0 及ρ=0.9 時分割的去霧結(jié)果，從圖可知分割系數(shù)為0.9 時不僅可分割出有霧圖像中的濃霧區(qū)域，而且還可較好地分割出圖像中的陰影偏暗區(qū)域與近景區(qū)域.

圖4 不同ρ值的圖像處理效果對比

將有霧圖像的V通道圖像分割為3 個區(qū)域后，取各自區(qū)域亮度均值為對應區(qū)域的大氣光，此時會生成粗略環(huán)境光圖集合，具體表達為

實驗結(jié)果表明，適度增大近景區(qū)域的大氣光值有利于改善去霧圖像的整體視覺效果，因此在計算近景區(qū)域的大氣光值時引入增益系數(shù)k，令k=1，2.

在具體的去霧過程中，對于濃霧圖像，增益系數(shù)k設置為2，對于非濃霧圖像，增益系數(shù)k設置為1.同時為了更直觀地驗證增益系數(shù)選擇原則，本文分別給出了不同有霧圖像在不同增益系數(shù)下的去霧效果對比（第一幅為濃霧圖像，第二幅為非濃霧圖像），具體結(jié)果如圖5 所示，從圖可知，濃霧圖像在k為2 時去霧較好，非濃霧圖像在k為1時去霧較好.

圖5 不同增益系數(shù)下的去霧效果對比

3.2 環(huán)境光圖細化

圖像雖然根據(jù)四叉樹搜索方法能夠動態(tài)分配環(huán)境光，但初始環(huán)境光圖較為粗略.因此本文根據(jù)閉運算操作對不同區(qū)域的動態(tài)環(huán)境光進行細化，使得環(huán)境光中的不連續(xù)區(qū)域被減少.為了直觀地說明細化環(huán)境光的作用，實驗給出了ρ=0.7，ρ=0.8，ρ=1.0 及ρ=0.9 的分割圖像在細化環(huán)境光、粗略環(huán)境光及未使用環(huán)境光的平滑損失對比（圖6（a）～（d））.從圖6 可知：第一，隨著迭代次數(shù)增加，利用細化環(huán)境光進行優(yōu)化去霧時，平滑損失值會一直下降，而其他兩種情況的平滑損失值在迭代次數(shù)增加時情況不一，例如，未使用環(huán)境光時平滑損失值會增大（圖6（a）（c）（d）），同時粗略環(huán)境光的曲線收斂性較差（圖6（a）（c）（d）），因此間接證明了細化環(huán)境光的優(yōu)勢；第二，細化環(huán)境光得到的平滑損失值下降幅度較大（圖6（a）（c）（d）），且在ρ=0.9 時的效果最好（圖6（c）），雖然圖6（b）中三者的平滑損失值相差不大，但還是細化環(huán)境光最小，圖6（d）中雖然粗略環(huán)境光的平滑損失在某些情況下小于細化環(huán)境光，但由于分割值設置不是最優(yōu)，曲線收斂性較差.而從圖6（c）可知：當分割值最優(yōu)時，細化環(huán)境光的平滑損失值會隨著迭代次數(shù)增加一直下降，因為動態(tài)地給圖像分配光照后，能使得圖像克服全局大氣光的光照不均衡問題，因此平滑損失最小，去霧效果也會最好.

圖6 不同分割值的平滑損失值對比

作為對比，實驗也給出了3種情況下的景深圖及復原圖像（圖7）.從圖7 可知，當最終利用細化環(huán)境光優(yōu)化去霧時，細化環(huán)境光后的景深圖最優(yōu)，如圖7（d）所示，此時環(huán)境光為，可以看出細化之后的環(huán)境光圖較為平滑，且復原圖像光照適宜，主觀效果較好.

圖7 環(huán)境光優(yōu)化效果對比

4 圖像復原及實驗分析討論

4.1 圖像復原

根據(jù)景深引導網(wǎng)絡優(yōu)化去霧后，得到了初始清晰圖像J1(x)與細調(diào)后的景深βr，根據(jù)βr及式（2）計算出透射率t(x)，此時對初始清晰圖像進行環(huán)境光優(yōu)化處理，在估算出動態(tài)環(huán)境光之后，根據(jù)式（1）得到終復原圖像J(x)，數(shù)學表達為

4.2 實驗結(jié)果對比

4.2.1 本文方法去霧效果驗證

圖8、圖9 給出了5 幅有霧圖像利用本文方法去霧的效果圖，從圖可知：5 幅圖像的清晰度與對比度都得到了很大程度的提高，濃霧區(qū)域圖像邊緣細節(jié)信息保持良好，天空區(qū)域去霧之后，沒有產(chǎn)生黑斑效應及圖像失真.由此驗證了本文方法去霧的性能.

圖8 有霧圖像

圖9 本文方法去霧效果

為了進一步驗證本文方法每個步驟去霧的必要性，建立了逐步去霧對比實驗.主要思路為：選取兩幅有霧圖像分別在圖像去模糊分支優(yōu)化（圖10（b）），在圖10（b）基礎上利用圖像細調(diào)分支優(yōu)化（圖（c）），在圖（c）基礎上使用粗略環(huán)境光去霧（圖10（d））及在圖10（d）基礎上使用優(yōu)化動態(tài)環(huán)境光去霧（圖10（e））情況下進行去霧對比.從圖10 可以看出，僅使用去模糊分支優(yōu)化恢復的圖像在濃霧區(qū)域去霧不徹底，兩幅圖像的部分濃霧依舊存在，且天空區(qū)域較為暗淡，基本沒有達到去霧效果；當利用圖像細調(diào)分支進行優(yōu)化后，景物（圖10（c）第一幅圖）中濃霧相對減少，天空區(qū)域較之前者亮度適宜，景物（圖10（c）第二幅圖）中火車部分濃霧相對減少，但是遠處濃霧區(qū)域還有霧氣干擾，圖像較遠處信息顯示不清晰；利用動態(tài)環(huán)境光代替全局大氣光后，可以看到景物（圖10（d）第一幅圖）圖像亮度適宜，且光照強度比較適宜，同時可以看到，較遠處的圖像信息處理較好（紅框標記部分），景物（圖10（d）第二幅圖）圖像對比度更加適宜，但由于是粗略環(huán)境光，所以天空區(qū)域較暗；在經(jīng)過動態(tài)環(huán)境光細化后，圖像整體恢復效果較好，邊緣細節(jié)信息能得到一定的復原（圖10（e）紅框標記部分），暗影現(xiàn)象基本消失且不存在halo效應，由此驗證了每個步驟的必要性.

圖10 去霧過程效果對比圖

4.2.2 合成有霧圖像對比實驗

為了進一步驗證所提方法的有效性，實驗選擇了去霧領域一些經(jīng)典的方法來比較去霧效果.主要有He方法、Gibson方法、Cai方法、基于深度學習的文獻［18］方法及文獻［19］方法.實驗首先在合成有霧圖像上進行上述方法的去霧對比，選取的圖像素材分別為偏向天空區(qū)域景物（去霧效果見圖11）及建筑景物（去霧效果見圖12）.

對于天空區(qū)域景物來說，當采用He 方法進行去霧時，基本能夠消除圖像中的霧氣干擾，去霧效果較好，但是可看出天空區(qū)域景物還是較為模糊（圖11（b）的第一幅圖），同時圖像色彩較為暗淡（圖11（b）的第二及第三幅圖），這主要是全局大氣光估計不準確造成的.當采用Gibson 方法進行去霧時，圖像對比度較之He 方法好，但可以看出復原圖像具有明顯的偏色現(xiàn)象（圖11（c）的第一幅圖），因此去霧存在局限性.當采用Cai 方法進行去霧時，與He 方法一樣，復原圖像整體色彩較淡，但是比He 方法恢復的圖像清晰度高，且具有良好的亮度，但對天空區(qū)域進行處理時，存在嚴重的偏色現(xiàn)象（圖12（d）的第三幅圖）.當采用文獻［18，19］方法進行去霧時，由于使用了基于神經(jīng)網(wǎng)絡的訓練方法，因此去霧效果較好，復原圖像的清晰度較高（圖12（e）（f）），但是也有各自的不足，例如，會形成整體去霧偏色現(xiàn)象（圖11（e）（f）的第一幅圖），且天空區(qū)域失真及遠處景物處理效果較差（圖11（e）（f）的第三幅圖）.圖11（g）及圖12（g）是本文方法實現(xiàn)的去霧效果，與前幾種方法相比，本文方法恢復了很多細節(jié)，天空區(qū)域處理較好，特別是在遠景區(qū)域，亮度相對較好，圖像主觀效果較好.

圖11 合成景物1(去霧效果對比)

圖12 合成景物2(遠處建筑景物)

主觀對比不足以證明本文方法對于去霧的有效性.因此本文繼續(xù)選取結(jié)構(gòu)相似性（SSIM）與峰值信噪比（PSNR）對圖像繼續(xù)進行客觀對比評價，客觀對比實驗結(jié)果如表5、表6所示.

從表5、表6 可知，在PSNR 指標對比方面，圖像1得到的PSNR 值都比較偏低，這是因為各方法都不同程度地產(chǎn)生了偏色現(xiàn)象，本文方法僅有第一幅圖像PSNR 值略小于文獻［19］方法，但均大于其余5 種方法，而在另外5 幅圖像的PSNR 對比中，本文方法均有最高的PSNR 值，這就表明本文方法去霧誤差相對較低，能夠較大程度地恢復圖像的細節(jié)信息，去霧性能較好.在SSIM 指標對比方面，綜合6 幅圖像對比來看，本文方法復原圖像的SSIM 值僅有第六幅圖像略低于文獻［19］方法，但另外幾幅圖像，本文得到的SSIM 值均最高，因此平均值也最高.這就表明經(jīng)過本文方法去霧的圖像更接近于標準無霧圖像，復原質(zhì)量相對較高.由此驗證了本文方法去霧的有效性.

表5 合成有霧圖像的PSNR指標對比/dB(↑)

表6 合成有霧圖像的SSIM值對比/%(↑)

4.2.3 真實有霧圖像對比實驗

圖13、圖14 為真實有霧圖像的去霧效果對比.He方法能夠在一定基礎上降低圖像霧氣，但圖像深度區(qū)域還是會存在去霧不徹底的問題（圖13（b）第二幅圖），且恢復細節(jié)能力較差（圖13（b）第二、三幅圖）.相對于He 方法，Gibson 方法去霧能夠使得復原圖像具有較好的對比度（（圖13（c）第一幅圖），但會使得圖像存在黑斑效應及濃霧區(qū)域去霧不徹底等問題（圖13（c）第二、三幅圖），也會使得局部區(qū)域產(chǎn)生過增強現(xiàn)象（圖14（c）第三幅圖），因此去霧存在很大的局限性.Cai 方法相對于前兩種方法得到的復原圖像整體效果較好，且從圖13（d）可看出，圖像整體亮度較為適宜，恢復的細節(jié)信息較多，但由于網(wǎng)絡模型學習能力有限，部分區(qū)域去霧不徹底（圖14（d）第四幅圖），可以看到大片區(qū)域還是存留殘霧.文獻［18，19］方法均為基于神經(jīng)網(wǎng)絡的去霧方法，因此去霧效果比前3 種方法好，例如從圖13（e）與圖14（e）可看到，文獻［18］方法復原的圖像整體對比度較高，濃霧區(qū)域去霧效果較好，同時也可從圖13（f）與圖14（f）看到，文獻［19］方法還可消除Gibson 方法去霧的黑斑效應問題，得到的圖像色彩適宜.但是由于神經(jīng)網(wǎng)絡的訓練庫本身數(shù)據(jù)小及過擬合問題，2 種方法也各有不足，例如，文獻［18］復原的圖像還是會產(chǎn)生較為嚴重的偏色現(xiàn)象（圖13（e）第三幅圖與圖14（e）第四幅圖），文獻［19］復原圖像會存在天空區(qū)域霧氣處理不完整的問題（圖13（f）第四幅圖）.圖13（g）和圖14（g）為本文算法實現(xiàn)的去霧效果，由圖可知，本文方法恢復出了圖像的很多細節(jié)，使得圖像更加直觀清晰，且圖像飽和度與亮度相對較好.對比其他去霧方法，本文復原的4 類圖像邊緣特性較為良好，在有效去霧的同時失真最小，同時復原圖像的整體直觀視覺性效果較好.

圖13 真實景物1(近景景物)

圖14 真實景物2(遠景景物)

為了進一步驗證本文方法對真實有霧圖像去霧的性能，繼續(xù)使用客觀對比參數(shù)再次評價去霧性能，參數(shù)為細節(jié)強度與色彩還原程度［25］.細節(jié)強度As表示圖像的總細節(jié)強度，使用Canny 算子檢測圖像的邊緣并求和；光暈強度Ahalo表示圖像的明亮通道估計.細節(jié)強度值越大，圖像細節(jié)越好，且圖像更加清晰.細節(jié)強度的表達式如下：

色彩還原程度的表達式如下：

對圖13、圖14 的去霧圖像進行上述客觀參數(shù)對比分析，得到如表7的客觀對比結(jié)果.從表7可以看出，在細節(jié)強度的對比中，文獻［18］與文獻［19］方法均采用神經(jīng)網(wǎng)絡進行訓練圖像，因此得到的Aν相對較大，其中第三、四幅圖的Aν值，文獻［19］方法均略高于本文方法，但是另外幾幅圖像得到的Aν值，本文均是最大.因此綜合來看，相較于He方法、Gibson方法、Cai方法及文獻［18］方法，本文復原圖像得到的Aν值最大，雖有2 幅圖像略小于文獻［19］方法，但是本文方法在9幅圖像中得到的平均Aν值還是最高，這也證明了本文方法獲得的復原圖像細節(jié)信息最好，且去霧性能較好.而在色彩還原程度對比結(jié)果中，He 方法、Gibson 方法及Cai 方法得到的M(h，h*)值相差不大，這是由于3 種方法恢復出的圖像可能存在黑斑效應及去霧不徹底現(xiàn)象，因此圖像某些細節(jié)信息沒有被恢復出來，色彩還原能力較弱；而文獻［18］與文獻［19］方法雖然得到的M(h，h*)比上述3 種方法都大，但是卻均小于本文方法；本文方法通過深度引導網(wǎng)絡優(yōu)化圖像景深，從而使得復原圖像的信息較為豐富，因此得到的M(h，h*)在幾種對比方法中最大，這也就表明本文方法具有較好的圖像色彩恢復能力.綜上所述，細節(jié)強度與色彩還原程度方面的實驗結(jié)果再次證明了本文方法去霧的優(yōu)越性與有效性.

表7 真實有霧圖像的實驗結(jié)果數(shù)據(jù)分析

4.2.4 魯棒性與時間分析

為了分析本文模型對噪聲的魯棒性，將真實場景的圖像加上噪聲進行去霧魯棒性的驗證，該噪聲為等級從0（未添加噪聲）到5%的高斯隨機噪聲.在添加噪聲后的測試集上評估本文方法的復原效果，并與幾種方法對比平均PSNR 值及SSIM 值，具體如圖15（a）（b）所示.從圖15（a）可知，所有方法在PSNR 值的對比中均對噪聲敏感，因此復原能力隨著噪聲等級增大而下降，但是本文方法的復原能力還是最好；從15（b）可以看出，本文方法在SSIM 值的對比中對等級低于2%的噪聲不太敏感，因此具有良好的復原效果.然而隨著噪聲等級增大，本文方法的復原效果也會變差，尤其是等級在3%以上時，復原效果會下降.但也可看出本文方法在測試過程中一直比其他去霧方法的評估結(jié)果好，由此也證明了本文方法在噪聲存在時的魯棒性.

圖15 不同噪聲等級下的復原能力對比

表8給出了不同圖像利用不同方法去霧時的平均運行時間對比，其中文獻［18］、文獻［19］及本文方法均對比測試時間.從表8可以看到He方法由于采用了軟摳圖技術，因此運行時間最長，其他方法運行時間次之，本文方法運行時間最短.因此又從時間對比可以得知：本文方法相比于其他去霧方法，更適合實時性去霧，且效果較好.

表8 各方法去霧的時間對比/s

5 結(jié)論

本文提出了一種基于景深先驗引導與環(huán)境光優(yōu)化的圖像去霧方法，結(jié)合DGN 的兩個優(yōu)化分支、SFT 層及細化動態(tài)環(huán)境光實現(xiàn)了優(yōu)化去霧，使得復原圖像清晰度較好.本文方法中景深先驗引導的深度神經(jīng)網(wǎng)絡能夠復原模糊圖像，圖像去模糊分支利用景深先驗從輸入的模糊圖像復原出了初始清晰圖像；景深細調(diào)分支利用模糊圖像作為先驗信息去除了景深圖中的模糊信息，進而恢復出了清晰邊界；使用動態(tài)環(huán)境光替代全局大氣光能夠優(yōu)化圖像去霧，使得圖像不同區(qū)域能夠自適應獲得環(huán)境光，進而使得復原圖像具有更高的對比度，且平滑損失較小.與當前去霧領域經(jīng)典的去霧方法相比，本文方法具有較好的直觀去霧效果，去霧更加徹底，且細節(jié)信息較好，在客觀評價指標取得最優(yōu)的同時運行時間最短，能夠適用于實時性去霧.更進一步，在不同噪聲等級干擾下，本文方法去霧魯棒性較好.