齊 卉,孫 超,蘇 通,馬俊智,朱勇杰,丁建軍
(江漢大學(xué) a. 人工智能學(xué)院,b. 智能制造學(xué)院,c. 爆炸與爆破技術(shù)研究院,湖北 武漢 430056)
工業(yè)促進(jìn)了人類社會(huì)的發(fā)展,隨之而來的是空氣污染越來越嚴(yán)重,空氣中懸浮的塵粒和水滴在大氣光的散射和吸收下形成霧霾。霧霾天氣條件下,自然光受空氣中懸浮粒子的干擾發(fā)生散射,使所獲取的戶外圖像對(duì)比度和色彩飽和度降低,圖像細(xì)節(jié)模糊不清,其視覺效果會(huì)顯著降低,從而限制了景物的識(shí)別,造成一些戶外圖像采集裝置無法正常工作[1?2]。計(jì)算機(jī)視覺應(yīng)用領(lǐng)域如智能交通、遙感探測(cè)、安全監(jiān)控等,其有效性與采集到的圖像的可視性息息相關(guān),對(duì)圖像質(zhì)量要求較高。因此,對(duì)霧霾天氣所采集的退化圖像做清晰化處理具有重要的現(xiàn)實(shí)意義。
目前,圖像去霧算法主要分為兩類:一類是基于圖像特征的去霧算法,即圖像增強(qiáng)算法,另一類是基于物理模型的去霧算法,即圖像復(fù)原算法[3]?;趫D像特征的去霧算法主要通過增強(qiáng)圖像的對(duì)比度,突出圖像細(xì)節(jié),改善整體視覺效果達(dá)到去霧目的,不考慮圖像降質(zhì)的原因,實(shí)用性強(qiáng),但可能會(huì)造成信息損失或過增強(qiáng)現(xiàn)象。典型算法有直方圖均衡化、Retinex 算法、同態(tài)濾波、小波變換等,其中,以圖像色感一致性為理論基礎(chǔ)的Retinex 算法受到研究者廣泛關(guān)注,該算法在單尺度Retinex(single?scale Retinex,SSR)算法的基礎(chǔ)上通過改進(jìn)發(fā)展成多尺度Retinex 算法(multi?scale Retinex,MSR)與帶色彩恢復(fù)的多尺度Retinex 算法,在彩色圖像增強(qiáng)領(lǐng)域取得較好成果[4]?;谖锢砟P偷娜レF算法則是根據(jù)大氣散射原理構(gòu)建圖像退化模型進(jìn)行計(jì)算去除霧氣影響,大氣散射的物理模型直觀表達(dá)了霧天圖像的退化原因,為圖像去霧研究工作奠定了堅(jiān)實(shí)的基礎(chǔ)。這類方法復(fù)原結(jié)果顏色自然,圖像信息得到了很好的保存,失真小,但參數(shù)較多,實(shí)現(xiàn)較復(fù)雜。物理模型去霧算法可大致劃分為基于偏微分方程的圖像復(fù)原方法、基于深度關(guān)系的圖像復(fù)原方法和基于先驗(yàn)信息的圖像復(fù)原方法[5]。近年來,基于先驗(yàn)知識(shí)或假設(shè)的圖像復(fù)原方法進(jìn)展極大,例如Tan[6]以有霧圖像比無霧圖像的對(duì)比度普遍較低為先驗(yàn)條件,采用最大化復(fù)原圖像的局部對(duì)比度方法提高圖像清晰度實(shí)現(xiàn)去霧。He 等[7]分析了大量戶外無霧圖像提出暗通道先驗(yàn)理論,估計(jì)大氣光和透射率,利用大氣散射模型復(fù)原圖像。暗通道先驗(yàn)算法為圖像去霧技術(shù)提供了一種新的思路[8],基于此算法原理的改進(jìn)算法陸續(xù)被提出,如引導(dǎo)濾波[9]和中值濾波[10]等。
鑒于此,本文基于MATLAB 平臺(tái)設(shè)計(jì)開發(fā)圖像去霧系統(tǒng),分析對(duì)比了幾種常用的圖像去霧算法,對(duì)帶霧圖像進(jìn)行不同技術(shù)下的去霧處理,為圖像去霧技術(shù)的研究奠定基礎(chǔ)。
圖像直方圖表示的是圖像中每一灰度級(jí)出現(xiàn)的概率情況。假設(shè)一幅圖像具有N個(gè)像素,rk表示第k個(gè)灰度級(jí)對(duì)應(yīng)的灰度,L表示灰度級(jí)個(gè)數(shù),nk表示灰度rk的像素個(gè)數(shù),則直方圖可定義為
直方圖均衡化的基本思想是將原始圖像的灰度直方圖變換成均勻分布的形式,增加了像素灰度值的動(dòng)態(tài)范圍,提高了圖像整體對(duì)比度。霧天圖像的直方圖總體分布比較集中,因此可以通過直方圖均衡化方法調(diào)整其直方圖分布,提升圖像的可視化效果,達(dá)到去霧目的[11]。
直方圖均衡化的處理步驟如下:
1)圖像預(yù)處理,得到原始圖像直方圖;
2)計(jì)算灰度值變換表,即采用累積分布函數(shù)進(jìn)行灰度映射;
3)通過灰度值變換表對(duì)原始圖像進(jìn)行映射變換,得到均衡化結(jié)果。
直方圖均衡化技術(shù)又可分為全局直方圖均衡化和局部直方圖均衡化。前者是將整幅圖像的直方圖進(jìn)行均衡化,后者則是將原始圖像劃分成若干子塊,再對(duì)子塊分別進(jìn)行均衡化處理。
Retinex 理論即視網(wǎng)膜大腦皮層理論,該理論認(rèn)為物體色彩主要取決于物體表面對(duì)紅綠藍(lán)3種光線的反射能力,不受光線的反射強(qiáng)度和光照非均勻性的影響[12],成像過程可表示為
式中,I(x,y)表示原始圖像,R(x,y)表示反射圖像,L(x,y)表示入射光照?qǐng)D像。Retinex 算法的原理是分離圖像中的入射光照分量,保留能反映圖像細(xì)節(jié)信息的反射分量。對(duì)(2)式進(jìn)行對(duì)數(shù)運(yùn)算,有
采用高斯環(huán)繞函數(shù)與原始圖像的卷積來對(duì)入射光照分量進(jìn)行估計(jì),則第i條顏色通道經(jīng)SSR算法處理后得到的反射分量rSSRi(x,y)可表示為
式中,i表示顏色通道的類別,F(xiàn)(x,y)=λe?(x2+y2)/c2表示高斯環(huán)繞函數(shù),λ表示歸一化系數(shù),c表示尺度參數(shù)。為彌補(bǔ)該算法尺度單一、難以平衡圖像動(dòng)態(tài)范圍壓縮能力和色彩保真性的缺點(diǎn)[13],提出了MSR 算法,該算法的實(shí)質(zhì)是對(duì)多個(gè)不同尺度的SSR 算法結(jié)果的加權(quán)平均,可表示為
式中,ωk表示權(quán)重系數(shù),F(xiàn)k(x,y)表示權(quán)值ωk對(duì)應(yīng)的高斯環(huán)繞函數(shù),N表示尺度個(gè)數(shù),一般選取大、中、小3 個(gè)不同尺度進(jìn)行加權(quán)。
霧天降質(zhì)圖像可用大氣散射模型描述如下:
式中,I(x)表示觀測(cè)到的帶霧圖像,J(x)表示待復(fù)原的無霧圖像,A表示全局大氣光值,t(x)表示介質(zhì)透射率。暗通道先驗(yàn)理論即在絕大多數(shù)戶外無霧圖像非天空區(qū)域內(nèi),總有大量像素在某個(gè)顏色通道上具有很小的亮度值[14],這個(gè)顏色通道即是暗通道。對(duì)于非天空區(qū)域的清晰無霧圖像J(x),其暗通道Jdark(x)強(qiáng)度值總是趨近于0,即
式中,Jc(y)表示圖像J的R、G、B 3 個(gè)通道中的某個(gè)通道,Ω(x)表示以像素x為中心的窗口區(qū)域。假設(shè)大氣光值A(chǔ)是已知的,估計(jì)初始透射率
引入?yún)?shù)ω使復(fù)原后的圖像保留一定的霧感避免出現(xiàn)失真,復(fù)原無霧圖像
式中,t0表示為防止透射率t(x)過小導(dǎo)致圖像整體偏白而設(shè)置的閾值。
本圖像去霧系統(tǒng)以MATLAB R2018b 為平臺(tái),對(duì)可視化的圖形用戶界面GUI 進(jìn)行設(shè)計(jì),通過用戶界面的菜單和控件實(shí)現(xiàn)相應(yīng)功能的調(diào)用,便于功能演示,增加了軟件交互的易用性。圖像去霧系統(tǒng)集成了全局直方圖均衡化、局部直方圖均衡化、多尺度Retinex、暗通道先驗(yàn)4 種經(jīng)典去霧算法。該系統(tǒng)能夠通過菜單關(guān)聯(lián)不同的去霧算法,主窗口加入坐標(biāo)軸控件用于圖像顯示,以原始圖像作為輸入,經(jīng)去霧算法處理后的復(fù)原圖像作為輸出,通過顯示原始圖像和去霧圖像演示不同算法的去霧性能。
系統(tǒng)結(jié)構(gòu)圖和主界面設(shè)計(jì)圖分別如圖1 和圖2 所示。
圖1 圖像去霧系統(tǒng)結(jié)構(gòu)圖Fig.1 The structure diagram of the image defogging system
圖2 圖像去霧系統(tǒng)主界面Fig.2 The main interface of the image defogging system
圖像去霧系統(tǒng)主界面包含功能區(qū)和圖像顯示區(qū)域,通過界面集成的若干菜單實(shí)現(xiàn)功能的調(diào)用。其中,功能區(qū)包含“打開文件”“選擇去霧算法”“保存圖像”以及“退出系統(tǒng)”4 個(gè)菜單,通過“選擇去霧算法”菜單可關(guān)聯(lián)“全局直方圖均衡化算法”“局部直方圖均衡化算法”“多尺度Retinex算法”和“暗通道先驗(yàn)算法”4 種經(jīng)典去霧算法進(jìn)行去霧處理并顯示。圖像顯示區(qū)域包含原始圖像和使用了相關(guān)去霧算法處理后的去霧圖像,可直觀顯示處理前后的圖像進(jìn)行去霧效果對(duì)比。
運(yùn)用該系統(tǒng)實(shí)現(xiàn)圖像去霧具體流程如下:
1)打開MATLAB 軟件,選擇相應(yīng)的“.fig”文件,可進(jìn)入圖像去霧系統(tǒng)主界面;
2)通過主界面功能區(qū)的“打開文件”菜單,選擇任意一幅自然帶霧圖像,載入待處理圖像,并在圖像顯示區(qū)域的坐標(biāo)軸控件中顯示;
3)通過“選擇去霧算法”菜單分別調(diào)用全局直方圖均衡化算法、局部直方圖均衡化算法、多尺度Retinex 算法和暗通道先驗(yàn)算法對(duì)原始帶霧圖像進(jìn)行去霧處理,同時(shí)在圖像顯示區(qū)域顯示去霧后的圖像,另外針對(duì)全局直方圖均衡化算法和局部直方圖均衡化算法,該系統(tǒng)還能通過顯示處理前后的圖像灰度直方圖對(duì)比去霧效果;
4)通過“保存圖像”菜單將處理后的圖像保存在相應(yīng)的文件夾中;
5)通過“退出系統(tǒng)”菜單退出圖像去霧系統(tǒng)。
綜上所述,該圖像去霧系統(tǒng)能夠完成圖像載入、去霧處理、圖像保存、效果對(duì)比等功能,系統(tǒng)主界面簡(jiǎn)潔美觀,能夠根據(jù)需要進(jìn)行擴(kuò)展,添加新的去霧算法,具有良好的可操作性。
針對(duì)本文描述的全局直方圖均衡化、局部直方圖均衡化、多尺度Retinex、暗通道先驗(yàn)4 種常用去霧算法,圖像去霧系統(tǒng)運(yùn)行效果如圖3 所示。
圖3 不同算法的去霧結(jié)果Fig.3 Defogging results of different algorithms
圖像質(zhì)量評(píng)價(jià)方法通??煞譃橹饔^評(píng)價(jià)方法和客觀評(píng)價(jià)方法[14]。
2.3.1 主觀評(píng)價(jià) 主觀評(píng)價(jià)是以觀察者對(duì)圖像的主觀視覺感受作為評(píng)價(jià)標(biāo)準(zhǔn)。該圖像去霧系統(tǒng)能夠顯示原始圖像和去霧圖像,以原始圖像為參考,通過觀察不同算法的去霧結(jié)果圖像對(duì)比去霧效果。
由圖3 可以看出,霧天環(huán)境導(dǎo)致圖像質(zhì)量下降,圖像較為模糊,經(jīng)過不同去霧算法處理的圖像的清晰度和對(duì)比度都有所提高。全局直方圖均衡化算法處理前后的直方圖的分布情況有明顯變化,但細(xì)節(jié)信息有待完善,出現(xiàn)少量色彩失真;局部直方圖均衡化算法處理前后的直方圖的分布情況有一定程度變化,能增強(qiáng)圖像的局部細(xì)節(jié),在一定程度上保持原始圖像的局部特征,圖像細(xì)節(jié)較明顯;多尺度Retinex 算法圖像整體偏亮,能突出細(xì)節(jié)信息,處理結(jié)果較平滑;暗通道先驗(yàn)算法圖像整體偏暗,去霧效果自然。
2.3.2 客觀評(píng)價(jià) 客觀評(píng)價(jià)則是通過不同的評(píng)價(jià)指標(biāo)對(duì)圖像質(zhì)量進(jìn)行客觀分析。本文以圖像的標(biāo)準(zhǔn)差、峰值信噪比、信息熵和算法運(yùn)行時(shí)間4 個(gè)方面作為評(píng)價(jià)指標(biāo),統(tǒng)計(jì)記錄了標(biāo)準(zhǔn)差、峰值信噪比、信息熵和運(yùn)行時(shí)間進(jìn)一步比較各算法性能。
標(biāo)準(zhǔn)差反映圖像灰度分布的離散程度,該值越大,則像素值的跳變?cè)酱?,圖像對(duì)比度也越大,視覺效果越好;峰值信噪比反映圖像失真程度,該值越大,則越接近清晰圖像,圖像失真越?。恍畔㈧胤从硤D像信息量,該值越大,圖像細(xì)節(jié)信息越豐富[15];運(yùn)行時(shí)間反映算法效率,運(yùn)行時(shí)間越短則算法效率越高。不同去霧算法處理效果如表1 所示。
表1 不同算法性能比較Tab.1 Performance comparison of different algorithms
綜合對(duì)比圖像去霧評(píng)價(jià)指標(biāo)及處理前后圖像可知,4 種去霧算法在處理效果上存在差異,有各自的局限性。全局直方圖均衡化算法能實(shí)現(xiàn)帶霧圖像的增強(qiáng)效果,該方法計(jì)算速度較快,但不能有效保持原始圖像的局部特征,細(xì)節(jié)信息有待完善,易出現(xiàn)色彩失真現(xiàn)象。局部直方圖均衡化算法能增強(qiáng)圖像的局部細(xì)節(jié),在一定程度上保持原始圖像的局部特征,但去霧圖像整體亮度偏暗,易存在模糊區(qū)域和局部過增強(qiáng)問題。多尺度Retinex 算法能突出細(xì)節(jié)信息,處理結(jié)果較平滑,但仍存在色彩失真的問題。暗通道先驗(yàn)算法可以復(fù)原圖像顏色細(xì)節(jié)特征,去霧效果較為自然,但在包含明亮的天空區(qū)域易產(chǎn)生色彩畸變現(xiàn)象,無法滿足所有情況,且算法復(fù)雜度較高。
本文基于MATLAB 平臺(tái)構(gòu)建開發(fā)圖像去霧系統(tǒng),測(cè)試表明,本系統(tǒng)可以很好地實(shí)現(xiàn)全局直方圖均衡化、局部直方圖均衡化、多尺度Retinex、暗通道先驗(yàn)4 種圖像去霧算法的帶霧圖像清晰化處理功能,4 種算法在去霧效果上各有優(yōu)缺點(diǎn)。全局直方圖均衡化算法簡(jiǎn)單有效,計(jì)算速度較快,對(duì)單景深的圖像復(fù)原效果較好,雖然能夠取得一定的增強(qiáng)效果,但對(duì)于景深多變的圖像去霧效果不理想;局部直方圖均衡化算法可以使特定的局部區(qū)域取得增強(qiáng)效果,但計(jì)算量較大,且常出現(xiàn)過增強(qiáng)問題;多尺度Retinex 算法使圖像清晰度得到很大提升,但處理后的圖像易出現(xiàn)泛白問題;暗通道先驗(yàn)算法去霧結(jié)果自然,圖像清晰度高,但計(jì)算量大,處理時(shí)間長,有待進(jìn)一步改進(jìn)。目前,圖像去霧技術(shù)在實(shí)際應(yīng)用中已取得不少成果,但在不同的場(chǎng)景下仍存在局限性,本系統(tǒng)不足之處在于系統(tǒng)設(shè)計(jì)過程中選取的算法相對(duì)偏少,引入的評(píng)價(jià)指標(biāo)也有限,下一步的研究工作是改進(jìn)完善去霧算法,并將有效的去霧算法集成到系統(tǒng)中,進(jìn)一步提高霧天降質(zhì)圖像復(fù)原效果。