張楠楠，李志偉，郭新軍，肖新杰，阮 昊

（1.上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201620；2.中國(guó)科學(xué)院 上海光學(xué)精密機(jī)械研究所，上海 201800）

1 引 言

空氣中的懸浮粒子使大氣光發(fā)生散射現(xiàn)象，導(dǎo)致在該環(huán)境下采集的圖像質(zhì)量嚴(yán)重退化，從而對(duì)依賴于清晰圖像的計(jì)算機(jī)視覺任務(wù)產(chǎn)生嚴(yán)重的影響[1-4］。因此，對(duì)在惡劣條件下獲得的退化圖像進(jìn)行修復(fù)，并改善圖像的質(zhì)量，具有十分重要的意義。目前，圖像去霧的相關(guān)研究取得了較大進(jìn)展。

傳統(tǒng)的去霧方法[5-11］中，較為典型的圖像增強(qiáng)方法包括基于Retinex理論的方法[5］和基于直方圖均衡化[6］的方法等，這類方法未考慮在惡劣條件下圖像的成像原理，導(dǎo)致獲得的去霧結(jié)果中存在過度增強(qiáng)和色彩失真等一系列現(xiàn)象。He等[7-8］利用先驗(yàn)推算出物理型中的未知參數(shù)，進(jìn)而求得無霧圖像，由于在去霧的過程中先驗(yàn)具有不確定的未知因素，導(dǎo)致去霧結(jié)果中容易存在過飽和、偏暗、色彩失真和光暈等現(xiàn)象。Berman等[9］假設(shè)霧線由無數(shù)種顏色簇組成并提出一種非局部先驗(yàn)的去霧算法，但仍存在色彩失真的問題。這些基于大氣散射模型的傳統(tǒng)去霧方法取得了長(zhǎng)足的發(fā)展，但基于此方法得到的去霧結(jié)果中存在色彩失真和色調(diào)偏暗的問題，這是由于引入的先驗(yàn)知識(shí)具有不適用性，導(dǎo)致圖像去霧過程中放大了噪聲。

近年來，深度學(xué)習(xí)被研究者廣泛應(yīng)用于計(jì)算機(jī)視覺任務(wù)。如被應(yīng)用于基于深度學(xué)習(xí)的去霧方法[12-16］，在這類去霧方法中，Li等[12］和Cai等[13］使用深度學(xué)習(xí)的方法直接估算大氣散射模型中的未知參數(shù)，以用于求解無霧圖像，這類方法的去霧結(jié)果存在細(xì)節(jié)丟失和色彩失真。與這兩種方法不同的是，Qu等[14］的去霧方法不需要估算大氣散射模型中的未知參數(shù)，而是直接采取有霧圖像到無霧圖像轉(zhuǎn)換的策略，避免了因估算的未知參數(shù)不準(zhǔn)確所帶來的負(fù)面影響，即使如此，其去霧結(jié)果中仍存在色彩失真和色調(diào)偏暗的問題。基于深度學(xué)習(xí)的去霧方法在去霧效果上優(yōu)于傳統(tǒng)的去霧方法，但深度學(xué)習(xí)的去霧方法也存在不足，其在學(xué)習(xí)的過程中，由于數(shù)據(jù)集中所包含的特征信息與真實(shí)世界霧霾圖像中的特征信息有所差異，導(dǎo)致從數(shù)據(jù)集中學(xué)習(xí)到的特征信息與真實(shí)世界中的霧霾圖像不完全符合，造成對(duì)霧霾圖像的去霧結(jié)果中存在霧殘留、色彩失真和色調(diào)偏暗等問題。

綜上所述，傳統(tǒng)的去霧方法和基于深度學(xué)習(xí)的去霧方法能夠在一定程度上實(shí)現(xiàn)霧霾圖像去霧，但去霧結(jié)果中存在色調(diào)偏暗、色彩失真和光暈等問題。此外，這些方法僅能用于圖像去霧，而不能實(shí)現(xiàn)水下圖像修復(fù)和夜間圖像增強(qiáng)。Dong等[17］指出低照度圖像的表征圖像和直方圖表征，與霧霾圖像具有很高的相似度。因此可以尋找出一種適用性較強(qiáng)的圖像修復(fù)方法。

針對(duì)對(duì)比度下降、色調(diào)偏暗和色彩失真等問題，本文提出一種使用改進(jìn)型大氣散射模型的雙階段圖像修復(fù)方法。實(shí)驗(yàn)結(jié)果可證明，所提出的方法具有很好的適用性，既可有效實(shí)現(xiàn)霧霾圖像去霧，又能實(shí)現(xiàn)水下圖像修復(fù)和夜間圖像增強(qiáng)。所提出的方法不僅避免了最終的修復(fù)結(jié)果中存在色彩失真和色調(diào)偏暗的問題，而且在定量和定性實(shí)驗(yàn)上都取得了優(yōu)異的結(jié)果。

2 物理模型

2.1 傳統(tǒng)大氣散射模型

目前被廣泛應(yīng)用于描述圖像退化的大氣散射模型[18-20］，其數(shù)學(xué)表達(dá)式為：

其中：x為像素點(diǎn)位置，c為通道索引且c∈{R，G，B}，Ic(x)為退化后的圖像，Jc(x)為清晰圖像，Ac為全局大氣光值，t(x)為透射率。在式（1）表示的大氣散射模型中，等號(hào)右邊的第一項(xiàng)稱為直接衰減項(xiàng)，其描述了場(chǎng)景目標(biāo)的反射光在傳播介質(zhì)中的衰減過程；等號(hào)右邊的第二項(xiàng)稱為大氣光項(xiàng)，其描述了大氣光經(jīng)過空氣中懸浮顆粒的散射，會(huì)導(dǎo)致圖像發(fā)生色彩失真。通過分析式（1）可知，Ic(x)是輸入的已知圖像，為了反推出清晰圖像Jc(x)，只需求出Ac和t(x)即可實(shí)現(xiàn)退化圖像的修復(fù)。其中，透射率t(x)在均勻介質(zhì)中可表示為：

其中：β為大氣散射系數(shù)，d(x)為場(chǎng)景深度。進(jìn)一步，式（1）可表示為：

其中：ρ(x)為場(chǎng)景反照率，其中Acρ(x)=Jc(x)。

2.2 水下光學(xué)成像模型

水 下 光 學(xué) 成 像 模 型 由McGlamery[21］和Jaffe[22］正式提出。在Jaffe-McGlamery模型中，水下光學(xué)成像模型由三個(gè)分量組成：直接透射、背景透射和前向透射，其數(shù)學(xué)形式可以表示為：

其中：x為像素點(diǎn)位置，c∈{R，G，B}為通道索引，F(xiàn)c(x)為水下清晰圖像，t1(x)為透射率，B為水下背景光，*為卷積算子，g(x)為點(diǎn)擴(kuò)展函數(shù)。為避免通過估計(jì)點(diǎn)擴(kuò)展函數(shù)來求解反卷積的數(shù)學(xué)不適定問題，研究者通常假設(shè)水下場(chǎng)景足夠靠近相機(jī)，并忽略前項(xiàng)散射的影響[23］，因此式（4）可簡(jiǎn)單的表示為：

此時(shí)，可以發(fā)現(xiàn)式（5）和式（1）的大氣散射模型表達(dá)形式相同，在文獻(xiàn)[23］中也提到水下光學(xué)成像模型類似于大氣散射模型。基于水下光學(xué)成像模型的水下圖像修復(fù)方法，亦需要通過強(qiáng)有力的假設(shè)或先驗(yàn)來估計(jì)水下光學(xué)成像模型的兩個(gè)未知參數(shù)：透射率t1(x)和水下背景光B。在文獻(xiàn)[17］中提到低照度圖像的表征圖像和直方圖表征，與霧霾圖像具有很高的相似度，又因?yàn)樗峦嘶瘓D像和夜間模糊圖像都屬于低照度圖像，使得設(shè)計(jì)出一種適用性較強(qiáng)的圖像修復(fù)方法成為了可能。本文對(duì)大氣散射模型進(jìn)行改進(jìn)，并使用該改進(jìn)型大氣散射模型設(shè)計(jì)了一種雙階段圖像修復(fù)方法。

2.3 改進(jìn)型大氣散射模型

基于傳統(tǒng)大氣散射模型的傳統(tǒng)修復(fù)方法一般是通過引入先驗(yàn)知識(shí)求解該模型中的兩個(gè)未知參數(shù)：透射率和全局大氣光值，這些方法得到的結(jié)果普遍存在對(duì)比度下降、色調(diào)偏暗以及色彩失真等問題。根本原因是雖然傳統(tǒng)大氣散射模型中入射的大氣光是個(gè)常數(shù)，但大氣光對(duì)不同的場(chǎng)景具有不同的照明效果，因?yàn)椴煌瑘?chǎng)景中的物體具有不同的紋理密度，而光又可以在紋理中被吸收，光吸收率會(huì)隨紋理密度而發(fā)生變化，造成場(chǎng)景色調(diào)或明或暗和對(duì)比度下降。在文獻(xiàn)[24］中，通過在石墨烯上引入無序的納米紋理來實(shí)現(xiàn)光捕獲，這在微觀水平上增加了光吸收率。同樣地，在宏觀視圖中，亦是紋理密度越高光吸收率越大。由文獻(xiàn)[25］可知，退化圖像中的場(chǎng)景深度越小，紋理密度越豐富，其光吸收率越大，由于基于傳統(tǒng)大氣散射模型的修復(fù)方法沒有對(duì)傳統(tǒng)的大氣散射模型進(jìn)行改進(jìn)以避免場(chǎng)景中物體紋理密度對(duì)光吸收的負(fù)面影響，導(dǎo)致得到的修復(fù)結(jié)果對(duì)比度低且整體色調(diào)偏暗，尤其是場(chǎng)景深度小的區(qū)域色調(diào)最暗。傳統(tǒng)大氣散射模型的第二項(xiàng)稱為大氣光項(xiàng)，描述了空氣中懸浮的粒子會(huì)對(duì)周圍的環(huán)境光進(jìn)行散射造成色彩失真，且色彩失真程度與場(chǎng)景深度相關(guān)[26］。因此，為解決對(duì)比度下降、色調(diào)偏暗以及色彩失真等負(fù)面問題，本文首先改進(jìn)傳統(tǒng)的大氣散射模型，在傳統(tǒng)大氣散射模型中引入一個(gè)全局補(bǔ)償系數(shù)u(x)來削弱場(chǎng)景中物體的紋理密度對(duì)光吸收率的影響以及空氣中懸浮的粒子會(huì)對(duì)周圍的環(huán)境光進(jìn)行散射造成色彩失真的影響。改進(jìn)后的大氣散射模型可以用數(shù)學(xué)形式表示為：

根據(jù)文獻(xiàn)[26］可知，場(chǎng)景深度的變化會(huì)對(duì)修復(fù)結(jié)果產(chǎn)生不同程度的影響。場(chǎng)景深度越大修復(fù)結(jié)果中越容易存在色彩失真以及色調(diào)偏暗等問題，為避免這種影響，根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)，引入一個(gè)小于1的全局補(bǔ)償系數(shù)u(x)，其數(shù)學(xué)表達(dá)形式為：

通過聯(lián)立式（2）、（6）和（7）可得到本文所提出的改進(jìn)型大氣散射模型的數(shù)學(xué)表達(dá)為：

該改進(jìn)型模型是基于傳統(tǒng)大氣散射模型進(jìn)行改進(jìn)的，因此根據(jù)文獻(xiàn)[23］可知，該改進(jìn)型大氣散射模型同樣與水下光學(xué)成像模型極為相似。根據(jù)文獻(xiàn)[17］可知，水下圖像和夜間圖像的表征圖像及直方圖表征與霧霾圖像具有很高的相似度，所以該改進(jìn)型大氣散射模型亦可用于水下圖像和夜間圖像的修復(fù)。因此，可提出一種適用性較好的圖像修復(fù)方法，通過大量實(shí)驗(yàn)證明，其既可應(yīng)用于霧霾天氣又可應(yīng)用于水下，甚至黑夜，同時(shí)可以避免修復(fù)結(jié)果中存在對(duì)比度下降、色調(diào)偏暗和色彩失真等問題。

3 使用改進(jìn)型大氣散射模型的雙階段圖像修復(fù)方法

前面的工作已經(jīng)得到改進(jìn)型大氣散射模型如式（8）所示。進(jìn)一步分析式（8）可知：Ic(x)是已知的退化圖像，Ac則可以通過四叉樹法[27］求得，根據(jù)文獻(xiàn)[28］ρ(x)近似取值為0.5。此時(shí)，公式（8）中還存在兩個(gè)未知參數(shù)t(x)和tmin。不難發(fā)現(xiàn)，式（8）中存在對(duì)數(shù)函數(shù)，為了簡(jiǎn)化對(duì)t(x)和tmin的求解，根據(jù)文獻(xiàn)[28］對(duì)其進(jìn)行擬合分析得到：

其 中：z1=-0.397，z2=0.07747時(shí)，對(duì) 數(shù) 函 數(shù)與有理函數(shù)的擬合程度最好。通過聯(lián)立式（8）和（9）可得到簡(jiǎn)化后的數(shù)學(xué)表示形式為：

在式（10）中，若將tmin看作一個(gè)常數(shù)，則式（8）是一個(gè)關(guān)于t(x)的一元二次方程。因此，只需要求出tmin就可輕而易舉地求得透射率t(x)。為便于求解tmin，結(jié)合黃金分割法設(shè)計(jì)一個(gè)求取tmin的全局搜索方法（Global Search，GS，fGS），該方法可通過數(shù)學(xué)形式表示為：

其中：H和W表示圖像的尺寸大小，Ndark(x)=且Ω(x)是以像素點(diǎn)x為中心的局部塊。tmin通過該方法求得后，便可求得透射率t(x)，為使圖像過度的比較平滑同時(shí)保持圖像的邊緣信息，受文獻(xiàn)[29］和[30］啟發(fā)，本文使用引導(dǎo)濾波[8］進(jìn)一步細(xì)化透射率并得到最終的透射率t(x)。

通過聯(lián)立式（3）、（8）和（9）可得到清晰圖像Jc(x)的數(shù)學(xué)表達(dá)形式為：

在前面的描述中，式中未知量Ac，ρ(x)，t(x)和tmin均可被求出，由此，在使用改進(jìn)型大氣散射模型的雙階段圖像修復(fù)中，利用式（12）便可得到修復(fù)后的清晰圖像Jc(x)。所提出的使用改進(jìn)型大氣散射模型的雙階段圖像修復(fù)流程圖如圖1所示，圖像修復(fù)具體包含兩個(gè)階段。

圖1 雙階段圖像修復(fù)流程圖Fig.1 Flowchart of two-stage image restoration

首先，需要輸入一張退化圖像，然后利用式（12）求得粗略的清晰圖像，因?yàn)樵谇懊娴奶幚碇?，為方便求取全局大氣光值和透射率，根?jù)前人的經(jīng)驗(yàn)，反照率取值為0.5，但該取值并不適用于所有的場(chǎng)景，導(dǎo)致在部分場(chǎng)景下的修復(fù)結(jié)果會(huì)發(fā)生色彩失真。為了保證使用改進(jìn)型大氣散射模型的雙階段修復(fù)方法具有較強(qiáng)的適用性，既能處理霧霾圖像，又能處理水下圖像和夜間圖像，利用灰度世界算法，求出一個(gè)較為合理的反照率，本文只需要根據(jù)灰度世界算法，便可求出該粗略的清晰圖像的反照率。根據(jù)灰度世界算法[31］可知，我們需要先求出每個(gè)通道的平均值，然后求出每個(gè)通道的增益系數(shù)，并根據(jù)增益系數(shù)調(diào)整每個(gè)通道的分量，最后得到合理的反照率ρ(x)。由式（1）和式（3）可知Acρ(x)=Jc(x)，那么粗略圖像對(duì)應(yīng)反照率的數(shù)學(xué)形式為：

其中，c∈{R，G，B}為通道索引，那么粗略清晰圖像的平均反照率可以表示為

此時(shí)，可以得到粗略清晰圖像的合理反照率ρ(x)為：

因?yàn)榛叶仁澜缢惴梢詮膱D像中消除環(huán)境光的影響，所以利用灰度世界算法求得的合理的反照率ρ(x)進(jìn)一步為避免修復(fù)結(jié)果中存在色彩失真提供了保證，同時(shí)保證了所提出的改進(jìn)型大氣散射模型的雙階段修復(fù)方法具有較強(qiáng)的適用性，既能處理霧霾圖像，又能處理水下圖像和夜間圖像。

其次，將求取的合理反照率ρ(x)代入式（3）、（6）、（8）和（9）中更新參數(shù)，并將求取的四個(gè)新參數(shù)代入到式（12）中，最后該粗略的清晰圖像可通過公式（12）得到最終的清晰圖像。

為驗(yàn)證本文方法求取的合理反照率和傳統(tǒng)方法的不同，此處進(jìn)行了對(duì)比。通過式（13）可求出各方法的反照率和標(biāo)準(zhǔn)的反照率，為公平起見，在求取反照率時(shí)，統(tǒng)一使用RESIDE[32］數(shù)據(jù)集提供的標(biāo)準(zhǔn)大氣光值A(chǔ)c(x)，同時(shí)為方便實(shí)驗(yàn)結(jié)果對(duì)比，反照率取三個(gè)通道的平均值。為證明求取合理反照率的重要性，以及本文方法與傳統(tǒng)方法的不同，在RESIDE[32］數(shù)據(jù)集中隨機(jī)挑選3張退化圖像與傳統(tǒng)方法進(jìn)行實(shí)驗(yàn)對(duì)比，實(shí)驗(yàn)結(jié)果如 圖2所 示。He等[7］方 法 采 用 的 暗 通 道 先 驗(yàn) 知識(shí)不具有普遍適用性，并未對(duì)傳統(tǒng)的大氣散射模型進(jìn)行改進(jìn)，使得其反照率與標(biāo)準(zhǔn)反照率差別較大，導(dǎo)致得到的修復(fù)結(jié)果存在對(duì)比度下降、色彩失真和色調(diào)偏暗等問題（如圖2（b）所示）。Ju等[28］方法在圖像修復(fù)的過程中反照率取常數(shù)0.5，因?yàn)椴煌膱?chǎng)景具有不同的反照率，因此其將反照率取為0.5是不合適的，且與標(biāo)準(zhǔn)反照率差別較大，造成修復(fù)的結(jié)果存在色彩失真和場(chǎng)景過亮等問題（如圖2（c）和圖2（e）所示）。從圖2（d）和圖2（e）中可以看出，所提出方法得到的反照率與標(biāo)準(zhǔn)反照率最為接近，此時(shí)得到的峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）值也是最高的，說明所提出的方法得到的修復(fù)結(jié)果質(zhì)量最好。因此，可以得出結(jié)論：圖像修復(fù)時(shí)所求取的反照率與標(biāo)準(zhǔn)反照率越接近，得到的修復(fù)結(jié)果與標(biāo)準(zhǔn)清晰圖像就越接近，同時(shí)也證明，所提出的方法得到反照率較合理，修復(fù)結(jié)果也優(yōu)于傳統(tǒng)的方法。

在后面的實(shí)驗(yàn)中也發(fā)現(xiàn)，所提出的圖像修復(fù)方法確實(shí)具有很好的適用性，既能處理霧霾圖像，又能處理水下圖像和夜間圖像，并且避免了去霧結(jié)果中存在色彩失真和整體色調(diào)偏暗，使水下圖像修復(fù)的結(jié)果更符合人們眼睛看到的真實(shí)場(chǎng)景，而且夜間圖像增強(qiáng)后能夠呈現(xiàn)更多的細(xì)節(jié)信息并能實(shí)現(xiàn)更好的視覺效果。

圖2 在RESIDE數(shù)據(jù)集上不同算法的去霧結(jié)果Fig.2 Dehazing results of different algorithms on the RESIDE dataset

4 實(shí)驗(yàn)結(jié)果與分析

為證明所提出的圖像修復(fù)方法具有很好的適用性，并且能表現(xiàn)出優(yōu)異的性能，分別在霧霾、水下和夜間環(huán)境下開展了的實(shí)驗(yàn)。在霧霾圖像去 霧 的 實(shí) 驗(yàn) 中，以DCP[7］、AOD-Net[12］、DehazeNet[13］、EPDN[14］和IDE[28］作為對(duì)比。使用的合成數(shù)據(jù)集是RESIDE[32］及其中的SOTS數(shù)據(jù)集，真實(shí)霧霾圖像數(shù)據(jù)集是O-HAZE[33］數(shù)據(jù)集和IHAZE[34］數(shù)據(jù)集。在水下圖像修復(fù)的實(shí)驗(yàn)中，對(duì)比的四種方法包括DCP[7］、Fusion-based[35］、Retinex-based[36］和Red Channel[37］，使 用 的 數(shù) 據(jù) 集 是UIEB[38］數(shù)據(jù)集。在夜間圖像增強(qiáng)的實(shí)驗(yàn)中，使用的數(shù)據(jù)均來自于互聯(lián)網(wǎng)收集的圖像。實(shí)驗(yàn)中采用PSNR和SSIM用于評(píng)價(jià)圖像修復(fù)質(zhì)量的好壞，這兩個(gè)指標(biāo)的數(shù)值越大，表明圖像修復(fù)的質(zhì)量越好。以上實(shí)驗(yàn)均在HP筆記本電腦上進(jìn)行，電 腦 配 置 為：處 理 器Intel（R）Core（TM）i5-6300HQ CPU@2.30 GHz和8 G的RAM。

4.1 合成霧霾圖像的實(shí)驗(yàn)結(jié)果

為驗(yàn)證所提出方法的有效性，實(shí)驗(yàn)中隨機(jī)從SOTS數(shù)據(jù)集選擇部分合成霧霾圖像，與當(dāng)前典型的五種方法對(duì)比的實(shí)驗(yàn)結(jié)果如圖3所示。He等[7］和Li等[12］的去霧方法雖然能夠?qū)崿F(xiàn)霧霾圖像去霧，但這兩種方法的結(jié)果中存在圖像整體色調(diào)偏暗和對(duì)比度低的問題（如圖3（b）和（c）所示）。與上述兩種方法相比，即使Ju等[28］的方法避免了去霧圖像整體色調(diào)偏暗的問題，但其仍存在場(chǎng)景過亮和霧殘留的問題（如圖3（f）所示）。通過對(duì)比可發(fā)現(xiàn)，Cai等[13］的去霧方法得到的去霧結(jié)果普 遍 優(yōu) 于He等[7］、Li等[12］和Qu等[14］的 方法，這得益于Cai等[13］的方法采取了基于深度學(xué)習(xí)的方法，但由于其學(xué)習(xí)到的霧霾圖像的特征信息與真實(shí)世界的霧霾圖像有所差異，導(dǎo)致去霧結(jié)果中存在霧殘留（如圖3（d）所示）。Qu等[14］的去霧方法得到的去霧結(jié)果中存在色彩失真和整體色調(diào)偏暗的問題（如圖3（e）所示）。通過與當(dāng)前典型的五種去霧算法的對(duì)比實(shí)驗(yàn)可證明，所提出的方法得到的去霧圖像不僅避免了圖像整體色調(diào)偏暗，也避免了色彩失真和霧殘留等負(fù)面影響（如圖3（g）所示）。

為清晰展示所提出方法的優(yōu)越性，與當(dāng)前典型的五種去霧算法對(duì)比的客觀評(píng)價(jià)指標(biāo)如表1和表2所示，最優(yōu)指標(biāo)加粗顯示。其中表1展示了在圖3中使用不同去霧方法所得到的去霧圖像的性能指標(biāo)，表2展示了在SOTS數(shù)據(jù)集上使用不同去霧方法所得到去霧圖像的性能指標(biāo)的平均值。從表1可以看出，所提出的方法對(duì)SOTS數(shù)據(jù)集中隨機(jī)選擇的霧霾圖像去霧后，所取得的PSNR值和SSIM值均為最高的，圖3中的M1圖像所取得的PSNR值和SSIM值分別比排名第二的高10.044 1 dB和0.049，且本文算法在其他圖像上所取得的PSNR值和SSIM值也遠(yuǎn)遠(yuǎn)高于當(dāng)前典型的五種去霧算法的去霧結(jié)果所取得的PSNR值和SSIM值。通過定量對(duì)比實(shí)驗(yàn)可得出，所提出的方法對(duì)隨機(jī)選擇的霧霾圖像進(jìn)行去霧仍具有優(yōu)越性。

圖3 在SOTS數(shù)據(jù)集上不同算法的去霧結(jié)果Fig.3 Dehazing results of different algorithms on the SOTS dataset

表1 圖3相對(duì)應(yīng)的各去霧算法去霧結(jié)果的性能指標(biāo)Tab.1 Performance metrics of dehazing results of various dehazing algorithms corresponding to figure 3

從表2可清晰看出，與當(dāng)前典型的五種去霧算法進(jìn)行定量比較發(fā)現(xiàn)，所提出的方法在SOTS數(shù)據(jù)集上取得的PSNR平均值和SSIM平均值均為最高。值得一提的是，所提出的方法得到的PSNR平均值和SSIM平均值比排名第二的分別高出7.725 4 dB和0.066 6（見表2）。通過定性和定量的對(duì)比實(shí)驗(yàn)可得出，所提出的方法得到的去霧圖像更接近標(biāo)準(zhǔn)清晰圖像，圖像修復(fù)的質(zhì)量也是最好的，這驗(yàn)證了所提出的方法對(duì)于合成霧霾圖像去霧的有效性。這些優(yōu)勢(shì)歸因于所提出的改進(jìn)型大氣散射模型，通過在傳統(tǒng)的大氣散射模型中引入一個(gè)全局補(bǔ)償系數(shù)，進(jìn)而彌補(bǔ)了噪聲對(duì)圖像恢復(fù)帶來的負(fù)面影響。

4.2 真實(shí)霧霾圖像的實(shí)驗(yàn)結(jié)果

為評(píng)估所提出的方法對(duì)真實(shí)霧霾圖像的去霧能力，在兩個(gè)真實(shí)世界數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，這兩個(gè)數(shù)據(jù)集分別為O-HAZE[33］數(shù)據(jù)集和IHAZE[34］數(shù)據(jù)集。在實(shí)驗(yàn)中，隨機(jī)在這兩個(gè)數(shù)據(jù)集中各選擇兩張圖像進(jìn)行實(shí)驗(yàn)，分別如圖4和圖5所示，并將所提出的方法與當(dāng)前典型的五種方法的定性比較。其中，如圖4和5中的（b）、（c）、（d）和（e）所示，這四種方法得到的去霧結(jié)果與標(biāo)準(zhǔn)清晰圖像相比，即使在一定程度上實(shí)現(xiàn)了去霧，但都存在不足。這幾種方法普遍存在偏暗、色彩失真、霧殘留等問題。通過對(duì)比發(fā)現(xiàn)，Ju等[28］的去霧方法實(shí)現(xiàn)了去霧且避免了偏暗的問題，但由于其引入的光吸收系數(shù)存在缺陷，導(dǎo)致去霧結(jié)果中存在色彩失真且整體色調(diào)過亮（如圖4（f）和圖5（f）所示）。通過定性比較可知，本文所提出的方法與當(dāng)前典型的五種去霧方法相比更優(yōu)，所提出的方法不僅避免了去霧結(jié)果中存在的色彩失真和色調(diào)偏暗，而且與標(biāo)準(zhǔn)清晰圖像也是最相似的。

圖4 在O-HAZE數(shù)據(jù)集上不同算法的去霧結(jié)果Fig.4 Dehazing results of different algorithms on the O-HAZE dataset

為進(jìn)一步清晰展示所提出的方法的優(yōu)越性，與當(dāng)前典型的五種去霧算法對(duì)比的客觀評(píng)價(jià)指標(biāo)見表3和表4，其中最優(yōu)指標(biāo)加粗顯示。其中，表3是圖4中不同方法得到去霧結(jié)果的PSNR值和SSIM值。表4是使用I-HAZE[34］數(shù)據(jù)集，各個(gè)方法得到去霧結(jié)果的PSNR平均值和SSIM平均值。從表3和表4的定量對(duì)比可知，與當(dāng)前典型的五種去霧算法進(jìn)行定量比較，所提出的方法均取得了最高的PSNR值和SSIM值。其中，所提出的方法得到的PSNR值和SSIM值分別比排名第二的高0.800 8 dB、1.675 3 dB、0.218 7 dB和0.104 9、0.086 0、0.025 1（見表3和表4）。定性和定量實(shí)驗(yàn)證明，所提出的方法對(duì)具有濃霧的真實(shí)霧霾圖像依然具有很好的去霧能力，避免了去霧結(jié)果的色彩失真和整體色調(diào)偏暗等問題。由此，從側(cè)面證明了所提出的方法具有很好的適用性。這些優(yōu)勢(shì)得益于提出的改進(jìn)型大氣散射模型避免了噪聲光帶來的負(fù)面影響；在圖像修復(fù)的第一階段，利用灰度世界算法求得的合理反照率為所提的方法具有很好的適用性提供了保障。

圖5 在I-HAZE數(shù)據(jù)集上不同算法的去霧結(jié)果Fig.5 Dehazing results of different algorithms on the I-HAZE dataset

表3 與圖4相對(duì)應(yīng)的各去霧算法去霧結(jié)果的性能指標(biāo)Tab.3 Performance metrics of dehazing results of various dehazing algorithms corresponding to Figure 4

表4 在I-HAZE數(shù)據(jù)集上不同去霧算法去霧結(jié)果的性能指標(biāo)均值Tab.4 Average performance metrics of dehazing results with different dehazing algorithms on the I-HAZE dataset

4.3 水下圖像修復(fù)的實(shí)驗(yàn)結(jié)果

為進(jìn)一步驗(yàn)證所提出的方法具有很強(qiáng)的適用性，在水下數(shù)據(jù)集UIEB[38］上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖6所示。He等[7］的方法適用性不強(qiáng)，水下圖像修復(fù)結(jié)果普遍偏暗且發(fā)生色彩失真（如圖6（b）所示）；同樣，F(xiàn)u等[36］的方法亦發(fā)生嚴(yán)重的色彩失真（如圖6（d）所示）。對(duì)比分析可知，Galdran等[37］的方法取得不錯(cuò)的修復(fù)結(jié)果，但其整體清晰度下降（如圖6（e）所示），Ancuti等[35］的方法取得較好的視覺效果，但其圖像細(xì)節(jié)過渡的不夠平滑（如圖6（c）所示）。通過定性對(duì)比實(shí)驗(yàn)可知，本文所提出的方法得到最好的視覺效果，且避免修復(fù)結(jié)果中出現(xiàn)色彩失真和細(xì)節(jié)丟失，同時(shí)可以發(fā)現(xiàn)所提出的方法得到的修復(fù)結(jié)果圖6（f）與標(biāo)準(zhǔn)清晰圖像圖6（g）最為接近。

為更深入地證明本文所提出的方法具有很好的適用性并展示算法的優(yōu)越性，與當(dāng)前典型的四種水下圖像修復(fù)方法對(duì)比的客觀評(píng)價(jià)指標(biāo)見表5，其中最優(yōu)指標(biāo)加粗表示。所提出的方法和其他四種水下圖像修復(fù)方法的結(jié)果進(jìn)行定量比較發(fā)現(xiàn)，所提出方法的PSNR值和SSIM值均是最高的，這說明所提出的方法相比于其他四種水下圖像修復(fù)方法更加優(yōu)越。同時(shí)，也進(jìn)一步驗(yàn)證了所提出的方法具有很強(qiáng)的適用性。這得益于所得到的改進(jìn)型大氣散射模型和水下光學(xué)成像模型具有高的相似性，使得所提出的使用改進(jìn)型大氣散射模型的雙階段圖像修復(fù)方法具有很好的適用性，既能實(shí)現(xiàn)圖像去霧，又能實(shí)現(xiàn)水下圖像修復(fù)。

圖6 在UIEB數(shù)據(jù)集上不同算法的水下圖像修復(fù)結(jié)果Fig.6 Underwater image restoration results of different algorithms on the UIEB dataset

表5 在UIEB數(shù)據(jù)集上不同水下圖像修復(fù)算法修復(fù)圖像的性能指標(biāo)均值Tab.5 Average performance metrics of images restored by different underwater image restoration algorithms on the UIEB dataset

4.4 夜間圖像增強(qiáng)的實(shí)驗(yàn)結(jié)果

通過大量實(shí)驗(yàn)發(fā)現(xiàn)，所提出的方法不僅能實(shí)現(xiàn)霧霾圖像去霧，也能實(shí)現(xiàn)水下圖像修復(fù)，并且均能得到優(yōu)異的性能指標(biāo)和不錯(cuò)的視覺效果。根據(jù)文獻(xiàn)[17］可知，低照度圖像的表征圖像及直方圖表征與霧霾圖像具有很高的相似度，所以該改進(jìn)型大氣散射模型亦可用于夜間圖像的修復(fù)。實(shí)驗(yàn)發(fā)現(xiàn)，所提出的方法確實(shí)可用于夜間圖像增強(qiáng)，實(shí)驗(yàn)結(jié)果如圖7所示。其中，圖7中第一行是夜間圖像，第二行是使用所提出的方法對(duì)夜間圖像增強(qiáng)后的結(jié)果。經(jīng)定性對(duì)比實(shí)驗(yàn)可發(fā)現(xiàn)，增強(qiáng)后的圖像更清晰、對(duì)比度高，無色彩失真、展現(xiàn)出圖像更多的細(xì)節(jié)。由此，更進(jìn)一步證明所提出的 方法的確有很強(qiáng)的適用性。

5 結(jié) 論

針對(duì)傳統(tǒng)的去霧方法和基于深度學(xué)習(xí)的去霧方法存在色彩失真、對(duì)比度下降和色調(diào)偏暗以及這些方法的適用性有限等問題，提出一種適用性強(qiáng)的圖像修復(fù)方法——使用改進(jìn)型大氣散射模型的雙階段圖像修復(fù)。通過引入一個(gè)全局補(bǔ)償系數(shù)來彌補(bǔ)噪聲光所帶來的負(fù)面影響得到一個(gè)改進(jìn)型大氣散射模型，該模型避免了圖像修復(fù)結(jié)果中存在的色彩失真和色調(diào)偏暗等問題。這得益于改進(jìn)型大氣散射模型和求取的合理反照率，使得所提出的使用改進(jìn)型大氣散射模型的雙階段圖像修復(fù)方法具有很強(qiáng)的適用性。通過大量實(shí)驗(yàn)結(jié)果可證明，所提出的方法確實(shí)具有很好的適用性，既能有效實(shí)現(xiàn)霧霾圖像去霧，又能實(shí)現(xiàn)水下圖像的修復(fù)以及夜間圖像增強(qiáng)，并且避免了最終的圖像修復(fù)結(jié)果中存在色彩失真和偏暗等問題。不僅如此，所提出的方法在定量和定性實(shí)驗(yàn)上均取得了優(yōu)異的結(jié)果。