基于自適應(yīng)gamma校正估計(jì)的圖像去霧算法

吳正平，岑帥紅

(三峽大學(xué) 電氣與新能源學(xué)院，湖北 宜昌 201306)

1 引 言

霧、霧霾天氣是我們生活中普遍的現(xiàn)象，它是由大氣中所懸浮的小顆粒對光線發(fā)生一系列散射和吸收作用而產(chǎn)生的。霧、霧霾會造成戶外拍攝的圖像質(zhì)量嚴(yán)重下降，比如：對比度降低、大量的細(xì)節(jié)信息丟失以及色調(diào)發(fā)生偏移等。圖像質(zhì)量下降會影響視覺系統(tǒng)的穩(wěn)定性，使一些視覺系統(tǒng)的目標(biāo)特征提取與識別等后續(xù)操作無法實(shí)現(xiàn)。因此，對圖像進(jìn)行去霧處理是非常有必要的，該方面的研究有非常重要的現(xiàn)實(shí)意義和廣闊的應(yīng)用前景[1]。

近年來，已經(jīng)有許多學(xué)者對圖像去霧進(jìn)行了研究，這些研究主要圍繞以下3大方面：

(1)基于圖像增強(qiáng)的圖像去霧方法。該方法主要通過增強(qiáng)圖像的對比度，消弱或者增強(qiáng)圖像中某些特定的信息來達(dá)到圖像去霧的目的，其中包括一些基于Retinex的增強(qiáng)算法[2-3]。雖然上述方法在去霧方面取得了一定的效果，但是沒有物理模型的支持，在一些圖像上造成大量信息丟失，使復(fù)原的圖像失真。

(2)基于大氣散射模型的圖像復(fù)原去霧方法。該方法根據(jù)一些先驗(yàn)知識，在大氣散射模型的基礎(chǔ)上，估算預(yù)測出圖像去霧所需要的參數(shù)(透射率，大氣光值等)，然后再根據(jù)大氣散射模型復(fù)原出去霧圖像。其中包括He等人提出的經(jīng)典暗通道去霧方法[4-5]，該方法去霧效果較好，但在天空和景深突變區(qū)域有缺陷。這引發(fā)了許多學(xué)者進(jìn)行研究，并提出了許多改進(jìn)的暗通道去霧算法[6-8]。另外，Meng等人提出的邊界約束圖像復(fù)原方法[9]，存在去霧過度，造成顏色失真等。Zhu等人提出的顏色衰減先驗(yàn)去霧方法[10]，在濃霧場景下的去霧效果不好。

(3)基于深度學(xué)習(xí)的圖像去霧方法。該方法通過建立一個(gè)網(wǎng)絡(luò)模型，然后利用大量合成的圖像數(shù)據(jù)進(jìn)行訓(xùn)練，得到一個(gè)能夠預(yù)測透射率或者直接得到去霧圖像的網(wǎng)絡(luò)模型。其中Cai等人提出的DehazeNet網(wǎng)絡(luò)模型[11]通過預(yù)測透射率圖進(jìn)行去霧, Li等人提出的AOD網(wǎng)絡(luò)模型[12]、Chen等人提出的混合殘差學(xué)習(xí)網(wǎng)絡(luò)模型[13]、Qu等人提出的EPDN網(wǎng)絡(luò)模型[14]以及Dong等人提出的MSBDN-DFF網(wǎng)絡(luò)模型[15]都是直接復(fù)原出去霧圖像。該類方法受數(shù)據(jù)集的影響較大，不能適用所有場景下的霧圖，對真實(shí)霧圖去霧效果不理想，并且需要花費(fèi)大量的時(shí)間進(jìn)行訓(xùn)練，在硬件上也有要求。

綜上所述，本文針對當(dāng)前的圖像去霧算法存在去霧不足、亮度偏暗以及去霧過度所造成的圖像顏色失真等問題，提出一種新的透射率估算和改進(jìn)大氣光值估計(jì)的去霧方法。首先對于透射率的估算，通過像素級進(jìn)行操作，避免出現(xiàn)塊效應(yīng)，即根據(jù)圖像的亮度，利用具有衰減特性的不同gamma校正函數(shù)來擬合不同場景深度下有霧圖像與無霧圖像最小通道之間的關(guān)系，自適應(yīng)估算出無霧圖像最小通道，并通過引導(dǎo)濾波算法對估計(jì)的無霧圖像最小通道進(jìn)行修正，保持與有霧圖像相同的結(jié)構(gòu)，進(jìn)而根據(jù)大氣散射模型得到粗略的透射率。然后通過高斯相對性對透射率進(jìn)行優(yōu)化，得到結(jié)構(gòu)保留，局部平滑的精確透射率；然而對于大氣光值的估計(jì)，根據(jù)場景最深處往往存在圖像的上方以及藍(lán)色通道的像素值受場景深度影響最大等先驗(yàn)知識，對四叉樹搜索算法進(jìn)行改進(jìn)，即通過增加搜索鄰域，并把圖像的藍(lán)色通道的上半部分作為輸入，穩(wěn)定得到圖像中場景最深處所對應(yīng)的像素值作為大氣光值。另外，由于復(fù)原圖像偏暗，并利用gamma校正算法對復(fù)原圖像的亮度通道進(jìn)行增強(qiáng)。該算法的魯棒性較強(qiáng)，計(jì)算時(shí)間較短，復(fù)原的圖像明亮度適宜，景深突變處沒有光暈效應(yīng)，天空區(qū)域沒有發(fā)生嚴(yán)重失真。

2 理論背景

2.1 大氣散射模型

在圖像去霧的方法中，基于大氣散射模型復(fù)原的效果較好，利用該模型對圖像進(jìn)行復(fù)原的方法應(yīng)用廣泛。大氣散射模型[16]是Narasimhan和Nayer等人在McCartney的基礎(chǔ)上對霧天圖像建立的數(shù)學(xué)模型，其數(shù)學(xué)表達(dá)式如式(1)所示：

I(x)=J(x)t(x)+A[1-t(x)]，

(1)

式中：I(x)為有霧圖像，J(x)是需要復(fù)原出的無霧圖像，A是大氣光值，t(x)為透射率，其具體表達(dá)式如式(2)所示：

t(x)=exp[-βd(x)]，0

(2)

式中：β為大氣散射系數(shù)；d(x)為場景的深度，即成像設(shè)備到目標(biāo)之間距離。另外，通過大氣散射模型可以得到透射率t(x)，其公式如式(3)所示：

(3)

2.2 gamma校正

gamma校正公式如式(4)所示：

f(x)=xγ，

(4)

式中：0≤x≤1。當(dāng)γ>1時(shí)，f(x)≤x，因此該函數(shù)存在衰減的特性，在不同的γ下，gamma校正函數(shù)的示意圖如圖1所示。

圖1 Gamma校正示意圖

已知有霧圖像和無霧圖像之間也具有衰減特性，以及兩者歸一化值的關(guān)系示意圖與gamma校正的示意圖高度相似，由此可通過不同的gamma校正函數(shù)擬合一張圖像中不同場景深度區(qū)域有霧圖像與無霧圖像之間的關(guān)系。

3 自適應(yīng)gamma校正估計(jì)的圖像去霧算法

3.1 透射率估計(jì)

由于大氣散射物理模型本質(zhì)上是病態(tài)問題，可通過一些先驗(yàn)條件進(jìn)行約束或通過對已知信息進(jìn)行假設(shè)來獲得所需信息，因此本文通過對大氣散射模型以及gamma校正的分析可知，可利用不同的gamma校正函數(shù)來擬合不同場景深度下有霧圖像和無霧圖像的關(guān)系，即根據(jù)與場景深度呈正相關(guān)亮度通道，利用自適應(yīng)gamma校正函數(shù)估算出無霧圖像最小通道，并通過引導(dǎo)濾波算法對估計(jì)的無霧圖像最小通道進(jìn)行修正，保持與有霧圖像最小通道具有相同的結(jié)構(gòu)。進(jìn)而根據(jù)式(3)得到初始透射率，最后通過高斯相對性優(yōu)化初始透射率得到局部平滑的精確透射率。

3.1.1 自適應(yīng)gamma校正估計(jì)無霧圖像最小通道

根據(jù)大氣散射模型式(1)可以推導(dǎo)出：

(5)

由式(1)可知：斜率為1/t(x)=exp[βd(x)]，與場景的深度有關(guān)；當(dāng)I(x)/A=1時(shí)，J(x)/A=1；當(dāng)J(x)/A=0時(shí)，I(x)/A=[1-t(x)]；A、I(x)、J(x)三者的數(shù)值依次衰減。然而在一張圖像中，不同區(qū)域場景深度d(x)不同，式(5)中的斜率1/t(x)與橫軸上的截距[1-t(x)]不同，即I(x)/A和J(x)/A之間有著不同的關(guān)系，關(guān)系示意圖如圖2所示。

圖2 I(x)/A與J(x)/A關(guān)系示意圖

由于t(x)未知，式(5)無法進(jìn)行求解，然而根據(jù)gamma校正示意圖和I(x)/A與J(x)/A的關(guān)系示意圖高度逼近，另外，已知隨著場景深度的不斷增加，式(5)中的斜率、截距不斷增加，并且有霧圖像的最小通道和亮度也不斷增加，因此可根據(jù)有霧圖像亮度，用不同的gamma校正函數(shù)來擬合圖像中不同場景深度區(qū)域Imin/A與Jmin/A之間的關(guān)系。進(jìn)而通過自適應(yīng)gamma校正函數(shù)估計(jì)出無霧圖像的最小通道，如式(6)所示：

(6)

式中：S(x)>1；以及S(x)是與場景深度有關(guān)的函數(shù)，其公式如式(7)所示：

S(x)=exp[V(x)]+b，

(7)

式中：b=1.5時(shí)，去霧效果更好，是通過大量的實(shí)驗(yàn)獲得。V(x)表示有霧圖像在HSV空間中的明度通道值，該通道不受顏色的影響，與場景深度呈正相關(guān)的關(guān)系，因此利用該通道來估計(jì)場景的深度。

3.1.2 引導(dǎo)濾波算法修正無霧圖像最小通道并獲得初始透射率

已知有霧圖像最小通道，可以通過式(6)估計(jì)得到粗略的復(fù)原圖像最小通道。然而由于gamma校正函數(shù)是非線性函數(shù)，而在圖像的局部區(qū)域，即場景深度相同區(qū)域，有霧圖像最小通道與復(fù)原圖像的最小通道是線性關(guān)系，可能會破壞復(fù)原圖像最小通道的結(jié)構(gòu)，因此本文利用He等人提出的引導(dǎo)濾波算法[5]來修正估計(jì)的復(fù)原圖像最小通道，修正后的復(fù)原圖像最小通道Jmin可表示為：

Jmin(i)=akImin(i)+bk，?i∈wk，

(8)

E(ak,bk)=

(9)

式中：ε為正則化參數(shù)，防止ak過大。然后通過式(3)得到初始透射率，如下所示：

(10)

式中：Imin為有霧圖像的最小通道，Jmin為通過式(8)修正后估計(jì)得到的復(fù)原圖像最小通道。

3.1.3 基于高斯相對性的透射率優(yōu)化

已知圖像局部區(qū)域內(nèi)場景深度相同，透射率圖應(yīng)該在局部區(qū)域內(nèi)平滑；然而圖像中可能存在景深的突變，透射率隨之發(fā)生突變，透射率圖存在大尺度的結(jié)構(gòu)，因此需要保留透射率中大尺度的結(jié)構(gòu)，平滑掉小尺度的紋理?；诖?，本文通過一種新的尺度度量的方法——高斯相對性[17]對透射率進(jìn)行優(yōu)化，該方法在不破壞圖像結(jié)構(gòu)的情況下有效地定位并消除局部紋理，優(yōu)化效果圖如圖3所示。平滑優(yōu)化函數(shù)如式(11)所示：

圖3 透射率優(yōu)化前后對比圖

(11)

3.2 大氣光估計(jì)

大氣光值是大氣散射模型中一個(gè)重要的參數(shù)，它決定著復(fù)原圖像的亮度。由大氣散射模型可知，當(dāng)d(x)→∞時(shí)，t(x)=0，得到I(x)=A，因此找到圖像中場景最深處，即可得到大氣光值。對于該方面的研究并不是太多，其中包括 Kim等人提出的基于四叉樹搜索的大氣光估計(jì)方法[18]，但該方法會受到近景區(qū)域平滑白色物體影響，以及景深最遠(yuǎn)區(qū)域中前景物體的影響，造成大氣光值估計(jì)錯(cuò)誤，如圖4所示。

圖4 大氣光估計(jì)效果對比圖

為了得到更加精確的大氣光值，本文對四叉樹搜索算法進(jìn)行了改進(jìn)。首先根據(jù)圖像中場景最深處的背景區(qū)域往往在圖像的上半部分，以及有霧圖像中藍(lán)色通道像素值受場景深度的影響最大，因此將有霧圖像的藍(lán)色通道上半部分作為輸入，并增加輸入圖像上半部分的搜索領(lǐng)域；另外，最遠(yuǎn)處所在的區(qū)域會存在前景物體的影響，造成場景最深處區(qū)域標(biāo)準(zhǔn)差過大，使區(qū)域定位錯(cuò)誤，該問題可以通過降低區(qū)域標(biāo)準(zhǔn)差的比例來解決。利用式(12)作為圖像中最遠(yuǎn)位置的評判標(biāo)準(zhǔn)：

c(i)=Imean(i)-aIstd(i),i=1,2,…,5，

(12)

式中：a=0.3，該值是經(jīng)驗(yàn)值，可以通過大量的實(shí)驗(yàn)獲得；Imean(i)、Istd(i)為搜索區(qū)域i的平均值和標(biāo)準(zhǔn)差。經(jīng)實(shí)驗(yàn)驗(yàn)證，本方法可以精確地搜索到有霧圖像中場景最深處所在的位置，如圖4所示，即可得到較為精確的大氣光值。該算法所得到的大氣光值使復(fù)原圖像的亮度更加適宜，花費(fèi)時(shí)間更短。算法步驟如下所示：

(1)輸入有霧圖像中藍(lán)色通道圖像的上半部分；

(2)把圖像分成5個(gè)區(qū)域，如圖5所示；

圖5 分割區(qū)域圖

(3)根據(jù)式(12)計(jì)算出每一個(gè)區(qū)域的數(shù)值；

(4)選取對應(yīng)最大數(shù)值的區(qū)域。并返回到第1步；直到搜索區(qū)域尺寸小于規(guī)定值；

(5)把最后搜索區(qū)域所對應(yīng)的有霧圖像中各通道最大值作為大氣光值。

3.3 圖像復(fù)原與增強(qiáng)

通過第一節(jié)中經(jīng)過高斯相對性優(yōu)化后所獲得的精確透射率T(x)，以及第二節(jié)中經(jīng)過改進(jìn)后的四叉樹搜索算法所獲得的大氣光值A(chǔ)，根據(jù)大氣散射模型(1)，即可復(fù)原出無霧圖像，公式如式(13)所示：

(13)

為了使復(fù)原圖像具有更好的視覺效果，另外通過gamma校正算法對復(fù)原圖像的亮度圖像(V)進(jìn)行增強(qiáng)，其公式如式(14)所示：

(14)

4 實(shí)驗(yàn)結(jié)果與比較

為了驗(yàn)證本文所提算法的有效性與優(yōu)越性，本文通過主觀比較與客觀比較兩方面進(jìn)行驗(yàn)證，分別通過與多種經(jīng)典的傳統(tǒng)圖像去霧算法和近年來的基于深度學(xué)習(xí)的圖像去霧算法進(jìn)行對比，充分證明該算法的有效性與優(yōu)越性，使算法更加具有說服力。

4.1 主觀比較

主觀評價(jià)主要是通過人眼直接觀察的視覺效果進(jìn)行評價(jià)，沒有理論的支持，具有一定的局限性，但在一定程度上能夠說明圖像質(zhì)量的好壞，并且能夠快速評定圖像的質(zhì)量。因此通過5種不同類型場景的真實(shí)自然霧圖，即含有天空區(qū)域的薄霧圖像，含有明亮區(qū)域的濃霧圖像，含有天空區(qū)域的濃霧圖像，未含有天空區(qū)域的薄霧圖像，含有白色物體的濃霧圖像，首先分別與He等人[4-5]、Meng 等人[9]、Zhu等人[10]提出的3種經(jīng)典傳統(tǒng)去霧算法進(jìn)行主觀比較，效果對比圖如圖6所示。從圖6(b)可以看出He等人提出的算法得到的效果圖在景深突變區(qū)域產(chǎn)生光暈效應(yīng)，以及場景深處去霧不徹底。從圖6(c)可以看出Meng等人提出的算法在損失圖像色彩情況下，對圖像進(jìn)行去霧，然而造成去霧過度，使復(fù)原圖像的天空區(qū)域色彩發(fā)生偏移，造成圖像發(fā)生嚴(yán)重失真。從圖6(d)可以看出Zhu等人提出的去霧算法適用性不強(qiáng)，濃霧場景下去霧不徹底，大氣光值估計(jì)偏高，造成復(fù)原圖像偏暗，視覺效果不自然。然而從圖6(e)可以看出本文算法的效果圖明亮度適宜，景深突變處沒有光暈效應(yīng)，以及圖像沒有發(fā)生嚴(yán)重的失真，視覺效果自然，因此本文算法的去霧圖像有較好的主觀視覺效果。另外，通過與近些年基于深度學(xué)習(xí)的4種圖像去霧算法進(jìn)行主觀比較，如圖7所示。從圖7(b)可以看出DehazeNet網(wǎng)絡(luò)模型[11]復(fù)原出的圖像在近景區(qū)域偏暗，遠(yuǎn)景區(qū)域去霧不徹底；從圖7(c)可以看出AOD網(wǎng)絡(luò)模型[12]復(fù)原出的圖像與DehazeNet網(wǎng)絡(luò)模型一樣，近景區(qū)域偏暗，遠(yuǎn)景區(qū)域去霧不徹底；從圖7(d)可以看出EPDN網(wǎng)絡(luò)模型[14]在濃霧場景下，去霧效果不好，留下有殘霧；從圖7(e)可以看出MSBDN-DFF網(wǎng)絡(luò)模型[15]對真實(shí)自然霧圖的去霧效果較差，該算法的魯棒性不強(qiáng)；從圖7(f)可以看出，本文算法魯棒性更強(qiáng)，復(fù)原的圖像明亮度適宜，去霧更加徹底，因此對于真實(shí)霧圖，該算法比基于深度學(xué)習(xí)的去霧算法復(fù)原圖像的主觀視覺效果更好，表明該算法比其他算法的復(fù)原圖像在主觀視覺效果上有優(yōu)勢。

圖6 不同傳統(tǒng)去霧算法處理的5種不同類型場景真實(shí)霧圖的去霧效果對比圖

圖7 不同深度學(xué)習(xí)算法處理的5種不同類型場景真實(shí)霧圖的去霧效果對比圖

4.2 客觀比較

本文采用通用的4種無參考客觀評價(jià)指標(biāo)[19]：對比度(C)、信息熵(IE)、平均梯度(AG)以及運(yùn)行時(shí)間(T)，分別與He等人、Meng等人、Zhu等人提出的3種傳統(tǒng)去霧算法，以及4種基于深度學(xué)習(xí)的圖像去霧算法進(jìn)行比較，各種指標(biāo)結(jié)果對比如表1～4所示。其中對比度、信息熵、平均梯度的值越高越好。從表1和表2可以看出本文算法比He等人、Meng等人、Zhu等人提出的傳統(tǒng)去霧算法以及所有基于深度學(xué)習(xí)的去霧算法所復(fù)原出的圖像平均梯度和對比度都更高，因此本文算法比它們7種算法的圖像去霧效果更好，復(fù)原圖像更加清晰，在景深突變處沒有光暈效應(yīng)，天空區(qū)域沒有發(fā)生嚴(yán)重失真。然而從表3可以看出本文算法復(fù)原出的部分圖像信息熵在這8種算法中不是最高的，但大部分都能排到第二和第三位，具有較高的值，因此復(fù)原圖像的信息較為豐富，沒有發(fā)生嚴(yán)重失真。另外，從表4可以看出算法的運(yùn)行時(shí)間是較短的，比其他3種傳統(tǒng)去霧算法的運(yùn)行時(shí)間都短，并且相比于基于深度學(xué)習(xí)的大部分去霧算法的運(yùn)行時(shí)間較短，只比AOD網(wǎng)絡(luò)模型的運(yùn)行時(shí)間略長，從以上綜合考慮，該算法復(fù)原圖像具有不錯(cuò)的客觀指標(biāo)。因此該算法的圖像去霧效果較好。

表4 各算法的運(yùn)行時(shí)間

5 結(jié) 論

本文提出了一種自適應(yīng)gamma校正估計(jì)的圖像去霧算法。首先為了避免出現(xiàn)塊效應(yīng)，通過像素級操作對透射率進(jìn)行估算，即根據(jù)與場景深度相關(guān)的圖像亮度，利用不同的gamma校正衰減函數(shù)來逼近圖像中不同場景深度下有霧圖像與無霧圖像之間的關(guān)系，進(jìn)而自適應(yīng)估算出無霧圖像最小通道，并通過引導(dǎo)濾波算法對無霧圖像最小通道進(jìn)行修正，保持與有霧圖像最小通道具有相同的結(jié)構(gòu)。然后通過高斯相對性平滑初始透射率的局部紋理，并不破壞其結(jié)構(gòu)。另外，對于大氣光值的估計(jì)，通過增加搜索領(lǐng)域，將有霧圖像中藍(lán)色通道上半部分作為輸入的改進(jìn)四叉樹算法，精確獲得有霧圖像中場景最深處所對應(yīng)的像素值作為大氣光值。最后利用gamma校正算法對復(fù)原圖像的亮度進(jìn)行增強(qiáng)。通過實(shí)驗(yàn)驗(yàn)證，本文提出的假設(shè)成立，實(shí)驗(yàn)結(jié)果表明復(fù)原圖像的對比度和平均梯度分別提高40.66%，20.98%，運(yùn)行時(shí)間相比于傳統(tǒng)算法中運(yùn)行時(shí)間最短的算法，縮短了6.57%，以及復(fù)原圖像不存在光暈效應(yīng)，并且在圖像不發(fā)生嚴(yán)重失真的前提下，去霧更加徹底，明亮度適宜，視覺效果自然。