張寶山, 楊 燕, 陳高科, 周 杰
(蘭州交通大學(xué) 電子與信息工程學(xué)院,甘肅 蘭州 730070)
圖像去霧問題大致分為2類:圖像增強(qiáng)方法和圖像復(fù)原方法。前者以提高圖像對比度為目的,增加處理后圖像的細(xì)節(jié)。后者通過分析霧圖降質(zhì)的原理,根據(jù)霧圖退化模型,求解去霧圖像。文獻(xiàn)[1~3]為早期采取的去霧方法,以Retinex算法為代表,通過提高圖像對比度達(dá)到了去霧的視覺效果,但并不能從根本上去霧。文獻(xiàn)[4]通過提高結(jié)果圖像的局部對比度,達(dá)到了視覺效果去霧目的,但算法并未考慮物理模型的透射率,恢復(fù)的圖像出現(xiàn)了過度飽和的現(xiàn)象。文獻(xiàn)[5]利用了數(shù)據(jù)統(tǒng)計(jì)理論,假設(shè)場景色度和介質(zhì)傳播率不相關(guān)的特性估計(jì)反射率,以此推斷出場景光在空氣中傳播時(shí)的透射率,達(dá)到了去霧的目的,但去霧效果很大程度上取決于輸入圖像的統(tǒng)計(jì)特性,在獨(dú)立成分變化不顯著的區(qū)域去霧效果并不理想。文獻(xiàn)[6]基于大氣耗散函數(shù)在可行域中逼近最大值的假設(shè),利用中值濾波的變形形式估計(jì)大氣耗散函數(shù),但該算法參數(shù)較多,不易調(diào)整,且不恰當(dāng)?shù)膮?shù)設(shè)置引入了光環(huán)(Halo)效應(yīng)。文獻(xiàn)[7]通過聯(lián)合雙邊濾波估計(jì)大氣耗散函數(shù)間接求得透射率,實(shí)現(xiàn)了快速去霧。文獻(xiàn)[8]是何愷明博士在2009年提出的暗通道先驗(yàn)原理,通過統(tǒng)計(jì)大量無霧室外圖像得到先驗(yàn)信息,即在非天空區(qū)域的局部區(qū)域內(nèi)至少有一個(gè)通道的值很小,根據(jù)大氣散射模型求出了透射率的粗略估計(jì),通過SoftMatting細(xì)化透射率,恢復(fù)出了無霧圖像。這是目前單幅圖像去霧領(lǐng)域中最有效的方法,但由于采用了Soft Matting細(xì)化透射率的方法,需要消耗大量的時(shí)間。由于天空、白云等區(qū)域不符合暗通道原理,算法估計(jì)的透射率在以上幾種區(qū)域偏小,導(dǎo)致了恢復(fù)的圖像色彩失真,影響了圖像的視覺效果。文獻(xiàn)[9]利用引導(dǎo)濾波代替Soft Matting細(xì)化透射率,極大地縮短了圖像處理的時(shí)間,但方法用有霧圖像作為引導(dǎo)圖,致使恢復(fù)的圖像總是存在一定程度的霧。
為改善暗通道先驗(yàn)算法的不足,本文提出了一種結(jié)合直方圖均衡化算法的快速去霧算法。
在計(jì)算機(jī)視覺和圖形領(lǐng)域中,單色大氣散射模型[10,11]廣泛用于描述霧霾圖像的形成過程
I(x)=J(x)t(x)+A(1-t(x))
(1)
式中x為圖像的空間坐標(biāo);I為有霧圖像;J為場景的輻射強(qiáng)度值,即無霧圖像;t為透射率,表示光線經(jīng)過散射作用后到達(dá)成像設(shè)備時(shí)剩余光能量的能力;A為大氣光強(qiáng)度;J(x)t(x)為場景的直接衰減項(xiàng);A(1-t(x))為環(huán)境光項(xiàng)。
通過大量的統(tǒng)計(jì)數(shù)據(jù)表明,在絕大多數(shù)彩色圖像的非天空區(qū)域中,總存在至少一個(gè)顏色通道的值很低,即暗通道
(2)
式中Ω(x)為以x為中心的窗口;c為彩色圖像RGB空間的三個(gè)顏色通道。無霧圖像非天空區(qū)域,暗通道Jdark(x)的值均很低,且趨于零,即
Jdark→0
(3)
假設(shè)大氣光A的值已知,將式(1)等號(hào)兩邊同時(shí)除以A,并且取最小值,得到
(4)
(5)
(6)
(7)
實(shí)際上,使在晴朗的天空中亦存在著一定數(shù)量的散射顆粒,而且一定量霧是估計(jì)景深的基礎(chǔ),因此,在式(7)中引入一個(gè)恒定的參數(shù),ω,0<ω≤1
(8)
根據(jù)式(1)、式(3)、式(8)可得復(fù)原圖像為
(9)
式中t0為為防止透射率過低而設(shè)置的一個(gè)下限值。
根據(jù)暗通道先驗(yàn)算法估計(jì)初始透射率,即將式(7)代入式(9)直接參與無霧圖像恢復(fù),恢復(fù)的圖像存在嚴(yán)重的光暈現(xiàn)象,如圖1所示。
如圖1(c)所示,式(7)直接參與圖像恢復(fù)得到的圖像存在嚴(yán)重的Halo效應(yīng),文獻(xiàn)[12]分析得出光暈產(chǎn)生的原因是暗通道求取時(shí)采用了塊操作。在對景深突變處的某個(gè)像素值很小或某個(gè)像素值很小的像素點(diǎn)x求取暗通道時(shí),以該點(diǎn)為中心的m×m范圍內(nèi)像素的暗通道值受其“連累”,使得原本暗通道值較大的像素點(diǎn)的暗通道值變小,暗通道向外“擴(kuò)張”,覆蓋了景深較大部分的一些邊緣。此時(shí),在透射率圖像上,這些點(diǎn)處的透射率隨之變大,使得在復(fù)原圖像景深突變處出現(xiàn)了Halo效應(yīng)或者去霧不徹底的現(xiàn)象。
對圖像進(jìn)行直方圖均衡化處理,可使原本比較少像素的灰度分配到其他的灰度中,處理后灰度范圍變大,對比度變大,能有效提高了圖像細(xì)節(jié)。直方圖均衡化是圖像處理領(lǐng)域中利用圖像直方圖對對比度進(jìn)行調(diào)整的方法。通過這種方法,亮度可以更好地在直方圖上分布,可用于增強(qiáng)局部的對比度而不影響整體的對比度。
對有霧圖像圖1(a)取最小值
(10)
圖1(a)的最小值圖像如圖2(a)所示,其相應(yīng)的直方圖如圖2(d)所示,最小值圖像的強(qiáng)度值集中在[0,0.6]。
圖2 最小值圖像的處理圖像及其直方圖
文獻(xiàn)[9]中選取原有霧圖像的3個(gè)通道作為引導(dǎo)圖,當(dāng)平均3個(gè)通道的濾波結(jié)果時(shí),會(huì)使得霧區(qū)的透射率偏大,根據(jù)式(9)可知,偏大的透射率將導(dǎo)致算法去霧能力減弱。同時(shí),由于選取了3個(gè)通道使得該算法的時(shí)間復(fù)雜度較高。而圖2(a)中含有大量有霧圖像的細(xì)節(jié)信息,直接選取圖2(a)作為初始透射率的引導(dǎo)圖進(jìn)行引導(dǎo)濾波,可有效降低算法的時(shí)間復(fù)雜度。但此時(shí)有霧圖像的最小值圖像仍然具有大量的污染噪聲,將圖2(a)作為引導(dǎo)圖進(jìn)行引導(dǎo)濾波,得到的透射率在遠(yuǎn)景區(qū)域仍然偏大。因此,對最小值圖像進(jìn)一步處理。通過直方圖均衡化的方式,可以提高最小值圖像的對比度,達(dá)到了對最小值圖像去霧的效果,減小霧對最小值圖像的污染。
為了簡化表達(dá),直方圖均衡化采用函數(shù)histeq()表達(dá)。圖2(a)直方圖均衡化后的最小值圖像如圖2(b)所示,其表達(dá)式為
V′(x)=histeq(V(x))
(11)
對比圖2(d)和圖2(e),圖2(a)中的灰度基本擴(kuò)展到了全部灰度級范圍,反映到圖2(b)中可以明顯得到對比度更高的最小值圖像。
圖3 不同引導(dǎo)圖透射率圖像
將圖2(b)作為引導(dǎo)圖,對透射率圖像進(jìn)行引導(dǎo)濾波,所得到的細(xì)化的透射率圖如圖3(b)所示。通過對比圖3(a)和圖3(b),圖3(b)在近景樹葉區(qū)域的透射率與圖3(a)相似,但是遠(yuǎn)景區(qū)域的透射率明顯小很多。而且圖3(b)透射率圖的層次感分明,克服了文獻(xiàn)[4]中對遠(yuǎn)景區(qū)域透射率估計(jì)過大而導(dǎo)致恢復(fù)圖像顏色失真的問題。
綜合考慮濾波效果及實(shí)際應(yīng)用的實(shí)時(shí)性要求,采用雙邊濾波器作為平滑濾波器,其數(shù)學(xué)表達(dá)式為
IB(x)=
(12)
式中fs為空間高斯函數(shù),用于表征空間鄰近度;fr為值域高斯函數(shù),用于表征灰度相似度;δ為方差;x為圖像的像素點(diǎn)位置;S為以x為中心的空域模板大小;y為S空域模板內(nèi)除x點(diǎn)的其他像素位置;R為值域模板大?。沪翞橐訧(x)為中心的R模板內(nèi)的強(qiáng)度值。為簡化表述,采用函數(shù)Bil()表示雙邊濾波。
最小值圖像圖2(a)經(jīng)過直方圖均衡化后,得到對比度增強(qiáng)的圖像圖2(b),雖然提升對比度具有一定的去霧效果,但也放大了最小值圖像的紋理效應(yīng),如圖2(b)方框內(nèi)所示。用V′(x)作為引導(dǎo)圖細(xì)化透射率,得到的結(jié)果如圖3(b)所示,雖然較最小值圖像直接做引導(dǎo)圖得到的透射率圖要好,但在圖3(b)方框處,仍然具有較強(qiáng)的紋理效應(yīng)。
雙邊濾波的特點(diǎn)在于其權(quán)值由空間高斯函數(shù)和值域高斯函數(shù)兩項(xiàng)的乘積構(gòu)成。對于與中心點(diǎn)相鄰且灰度差值小的像素雙邊濾波賦予了較大的權(quán)值,而對于與中心點(diǎn)相鄰且灰度差值大的像素雙邊濾波賦予了較小的權(quán)值。因此,雙邊濾波能在保持圖像的邊緣細(xì)節(jié)的同時(shí)很好地平滑圖像。將圖2(b)進(jìn)行雙邊濾波,其表達(dá)式為
V″(x)=Bil(V′(x))
(13)
圖2(b)經(jīng)過雙邊濾波后如圖2(c)所示,方框內(nèi)紋理效應(yīng)得到了明顯抑制,其相應(yīng)的直方圖如圖2(f)所示。將圖2(c)作為引導(dǎo)圖像細(xì)化透射率,其結(jié)果如圖3(c)所示。對比圖3(b)和圖3(c),可明顯的觀察到圖3(c)中矩形框區(qū)域內(nèi)的紋理效應(yīng)被濾除,且在近景樹葉部分的邊緣完好地保存了下來。
文獻(xiàn)[7]認(rèn)為可選擇有霧圖像中亮度最高的像素點(diǎn)的值作為大氣光的值,具體算法是從暗通道圖像中按照亮度的大小來取前0.1 %的像素。在有霧圖像中尋找對應(yīng)的具有最高亮度的點(diǎn)的值作為大氣光值。但該方法極易將白色物體過高地估計(jì)為全局大氣光,導(dǎo)致恢復(fù)的圖像去霧不徹底。本文采取的大氣光算法是取暗通道圖像中亮度值在前0.1 %的像素點(diǎn),將這些點(diǎn)在有霧圖像中的對應(yīng)點(diǎn)的值求平均,作為大氣光值A(chǔ)。
1)對有霧圖像進(jìn)行最小值處理,得到最小值圖像V(x);
2)將最小值圖像進(jìn)行直方圖均衡并經(jīng)雙邊濾波處理,得到V″(x);
3)利用最小值圖像V(x)計(jì)算有霧圖像I(x)的暗通道圖像,并得到初始透射率t′;
4)將V′(x)作為引導(dǎo)圖對t′進(jìn)行引導(dǎo)濾波,得到細(xì)化后的透射率圖t;
5)選取大氣光值A(chǔ);
6)利用透射率t恢復(fù)出無霧圖像J(x)。
本文算法結(jié)果均在CPU為Intel Core i5-3320M,內(nèi)存為4 GB的計(jì)算機(jī)上運(yùn)行所得。操作系統(tǒng)為Windows 7,仿真軟件為MATLAB 2014a。有霧圖像選自文獻(xiàn)[4]的實(shí)驗(yàn)圖像和一些去霧領(lǐng)域中的經(jīng)典測試圖像。采用的對比方法為文獻(xiàn)[7,9,14]中的方法。將實(shí)驗(yàn)圖像全部歸一化到[0,1]范圍內(nèi),參數(shù)選擇如下:本文算法最小值濾波窗口尺寸Ω=7,根據(jù)文獻(xiàn)[4]的參數(shù)選擇,將透射率下限值t0設(shè)置為0.1。雙邊濾波的參數(shù)設(shè)置為S=0.02 min(h×w),R=15。引導(dǎo)濾波參數(shù):濾波半徑是選取最小值濾波窗口的8倍,即r=56,并將調(diào)整系數(shù)ε設(shè)置為0.01。
圖4~圖6給出了4種去霧方法的效果。圖4有霧圖像的大小為600×400;圖5有霧圖像的大小為600×450;圖6有霧圖像的大小為1 024×768。可以看出:多尺度Retinex算法恢復(fù)的圖像整體偏色嚴(yán)重,而Tarel的算法在物體邊緣處極易出現(xiàn)Halo效應(yīng),并且去霧效果并不徹底,以上2種方法恢復(fù)的效果并不理想。圖4(d)與圖4(e)對比十分明顯,圖4(e)方框內(nèi)鐵盒子的表面光澤度明顯較圖4(d)真實(shí),而且恢復(fù)的圖像整體亮度明顯更高。比較圖6(d)與圖6(e)可以看出:圖6(d)中方框內(nèi)上方明顯偏亮,且下方圖像偏暗,較本文算法恢復(fù)的圖像欠明亮清晰。本文算法具有較好的清晰度和色彩恢復(fù)度,去霧效果更明顯。
圖4 火車圖像去霧效果對比
圖5 天安門圖像去霧效果對比
圖6 樹林圖像去霧效果對比
(14)
(15)
式中n0為有霧圖像的可見邊數(shù)目;nr為去霧圖像新增加的可見邊數(shù)目;ri為Pi處去霧圖像梯度與有霧圖像梯度的比值;φi為去霧圖像可見邊集合區(qū)域。
通過對有霧圖像的最小值圖像作直方圖均衡化并進(jìn)行雙邊濾波,得到初始透射率的引導(dǎo)圖,經(jīng)引導(dǎo)濾波后可以得到更為精細(xì)的透射率圖像,并且提高了運(yùn)算效率。實(shí)驗(yàn)結(jié)果表明,由本文算法得到的透射率恢復(fù)出的圖像具有更好的視覺效果,邊緣細(xì)節(jié)得到了更好的保留,尤其在圖像遠(yuǎn)景區(qū)域,可得到更多的圖像細(xì)節(jié),同時(shí)降低了時(shí)間復(fù)雜度。本文算法改善了傳統(tǒng)暗通道先驗(yàn)算法去霧能力較弱且運(yùn)算速度慢的不足。實(shí)驗(yàn)結(jié)果證明了本文算法的有效性。
表1 去霧結(jié)果對比
但算法在處理大面積天空區(qū)域時(shí),仍存在一定的偏色現(xiàn)象。下一步的研究重點(diǎn)是深入研究大氣散射模型,得到更為精準(zhǔn)的大氣光估計(jì),在處理有霧圖像時(shí)糾正天空區(qū)域偏色嚴(yán)重的問題。
[1] Land E H.An alternative technique for the computation of the designator in the Retinex theory of color vision[J].National Academy Science,1986,83(10):3078-3080.
[2] Rizzi A,Marini D,Rovati L L,et al.Unsupervised corrections of unkown chromatic dominants using a Brownian-path-based Retinex algorithm[J].Journal of Electronic Imaging,2003,12(3):431-441.
[3] Kimmel R,Elad M,Shaked D,et al.A variation framework for Retinex[J].Computer Vision,2003,52(1):7-23.
[4] Tan R T.Visibility in bad weather from a single image∥2008 IEEE Conference on Computer Vision and Pattern Recognition,CVPR 2008, IEEE,2008:1-8.
[5] Fattal R.Single image dehazing[J].ACM Transactions on Graphics (TOG),ACM,2008,27(3):72.
[6] Tarel J P,Hautiere N.Fast visibility restoration from a single color or gray level image∥2009 IEEE 12th International Confe-rence on Computer Vision,IEEE,2009:2201-2208.
[7] 陳 龍,郭寶龍,畢 娟,等.基于聯(lián)合雙邊濾波的單幅圖像去霧算法[J].北京郵電大學(xué)學(xué)報(bào),2012(4):19-23.
[8] He K,Sun J,Tang X.Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.
[9] He K,Sun J,Tang X.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(6):1397-1409.
[10] Narasimhan S G,Nayar S K.Vision and the atmosphere[J].International Journal of Computer Vision,2002,48(3):233-254.
[11] Narasimhan S G,Nayar S K.Chromatic framework for vision in bad weather[C]∥Proceedings of 2000 IEEE Conference on Computer Vision and Pattern Recognition,IEEE,2000:598-605.
[12] 鐘乾龍.單幅圖像去霧處理算法研究及軟件實(shí)現(xiàn)[D].成都:西南交通大學(xué),2012.
[13] Hautiere N,Tarel J P,Aubert D,et al.Blind contrast enhancement assessment by gradient ratioing at visible edges[J].Image Analysis & Stereology Journal,2008,27(2):87-95.
[14] Gibson K B,Vo D T,Nguyen T Q.An investigation of dehazing effects on image and video coding[J].IEEE Transactions on Image Processing,2012,21(2):662-673.