王巖 于萍 司振惠 郭鑫
摘要:針對(duì)暗通道先驗(yàn)算法存在的對(duì)全局大氣光值估計(jì)不準(zhǔn)確的問題,提出了一種單幅圖像除霧的優(yōu)化技術(shù),對(duì)全局大氣光值的選取方式進(jìn)行了改進(jìn)。首先用完美反射法對(duì)含霧圖像進(jìn)行顏色校正,接下來利用四叉樹算法粗略估計(jì)大氣光值,對(duì)其進(jìn)行數(shù)值校正;再利用引導(dǎo)濾波對(duì)透射率進(jìn)行優(yōu)化,進(jìn)而得到平滑的透射率。通過大氣散射模型復(fù)原,得到較為清晰的除霧圖像,最后用引導(dǎo)濾波豐富圖像細(xì)節(jié)。實(shí)驗(yàn)結(jié)果表明,該算法復(fù)原圖像清晰度高,具有較好的視覺效果。
關(guān)鍵詞:圖像除霧;四叉樹;大氣物理模型
【Abstract】Aimingattheproblemofinaccurateestimationoftheglobalatmosphericlightvalueinthedarkchannelprioralgorithm,asingleimagedefoggingoptimizationtechniqueisproposed,whichimprovestheselectionoftheglobalatmosphericlightvalue.First,usetheperfectreflectionmethodtocorrectthecolorofthefoggyimage,thenusethequadtreealgorithmtoroughlyestimatetheatmosphericlightvalueandcorrectitnumerically;thereforeusetheguidedfiltertooptimizethetransmittancetoobtainasmoothtransmittance.Throughatmosphericscatteringmodelrestoration,aclearerdefoggingimageisobtained.Finally,theimagedetailsareenrichedbyguidedfiltering.Theexperimentalresultsshowthatthealgorithmhashighdefinitionandgoodvisualeffects.
【Keywords】imagede-hazing;quadtree;atmosphericphysicalmodel
作者簡介:王巖(1996-),女,碩士研究生,主要研究方向:圖像去霧;于萍(1976-),女,博士,副教授,主要研究方向:計(jì)算機(jī)軟件與應(yīng)用;司振惠(1995-),女,碩士研究生,主要研究方向:圖像去霧;郭鑫(1997-),男,碩士研究生,主要研究方向:圖像去霧。
0引言
通常,人們可以通過拍攝圖像獲取到自然環(huán)境中的真實(shí)信息,無論是在視頻監(jiān)控還是在交通監(jiān)管等相關(guān)領(lǐng)域都會(huì)用到圖像采集。然而,在某些惡劣的天氣狀況下,如霧霾天氣下拍攝的照片則會(huì)出現(xiàn)模糊、視覺效果不佳等現(xiàn)象,對(duì)后續(xù)的圖像處理工作帶來嚴(yán)重的影響。因此,對(duì)含霧圖像進(jìn)行復(fù)原處理是十分重要的。
目前,圖像的除霧算法可以簡單分為2類:基于非物理模型的除霧算法和基于物理模型的除霧算法。其中,基于非物理模型的除霧算法,也就是圖像增強(qiáng)算法,包括Retinex[1-4]、直方圖均衡化算法[5]等,此類算法主要通過提高圖像的對(duì)比度來增強(qiáng)圖像的視覺效果。但這種除霧算法處理后的圖像容易出現(xiàn)顏色失真、顏色過飽和等問題,因此在實(shí)際應(yīng)用中效果并不理想。基于物理模型的除霧算法是根據(jù)一些先驗(yàn)信息來推斷出霧天圖像退化的原因,再通過大氣散射模型達(dá)到復(fù)原清晰圖像的目的。例如He等人[6]提出的基于暗通道先驗(yàn)的圖像除霧算法,該方法對(duì)含霧圖像的復(fù)原效果較好,但在視覺上仍然存在一些問題:使用粗估計(jì)的透射率進(jìn)行除霧處理后,在景深突變的區(qū)域會(huì)產(chǎn)生“白邊”的現(xiàn)象。為避免這種現(xiàn)象的出現(xiàn),He通過軟摳圖(Softmatting)算法對(duì)透射率進(jìn)行優(yōu)化,但優(yōu)化后的算法時(shí)間復(fù)雜度高,不能滿足實(shí)時(shí)處理的要求。He等人[7]又通過引導(dǎo)濾波[7]對(duì)透射率進(jìn)行優(yōu)化,這樣大大降低了算法的復(fù)雜度,但是圖像處理后會(huì)出現(xiàn)飽和度過高及對(duì)全局大氣光值估計(jì)不準(zhǔn)確的問題。肖鐘捷等人[8]引入快速、各向同性的低通高斯濾波器,代替軟摳圖算法對(duì)透射率進(jìn)行優(yōu)化,但是在算法效率方面并沒有較大的改善。
本文提出了一種單幅圖像除霧的優(yōu)化技術(shù)。首先,對(duì)輸入的含霧圖像采用完美反射法進(jìn)行顏色校正。接下來用四叉樹搜索算法粗略估計(jì)大氣光值,再對(duì)其進(jìn)行數(shù)值校正。同時(shí)對(duì)顏色校正后的圖像進(jìn)行暗通道處理,用引導(dǎo)濾波對(duì)獲取到的透射率進(jìn)行優(yōu)化,進(jìn)而得到平滑的透射率,再通過大氣散射模型進(jìn)行復(fù)原,得到清晰的除霧圖像。最后利用引導(dǎo)濾波對(duì)復(fù)原后的圖像進(jìn)行處理,豐富圖像的細(xì)節(jié)。
1理論基礎(chǔ)
1.1大氣散射模型
計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)中,通常采用公式(1)描述含霧圖像的物理模型:
其中,J(x)表示清晰圖像;t(x)是透射率,用于描述物體表面的反射光沒有散射而傳輸?shù)綀D像采集設(shè)備的比例;A是無窮遠(yuǎn)處的大氣光,通??梢詮奶炜諈^(qū)域簡單地估算出來。根據(jù)大氣散射理論,受霧、霾等大氣粒子的影響,光在該環(huán)境中傳播會(huì)發(fā)生散射,所以在霧天情況下,物體表面的反射光在傳播過程中只有部分反射光會(huì)傳輸?shù)讲杉O(shè)備,對(duì)圖像采集工作造成了影響。在公式(1)中有2個(gè)未知的參數(shù),即A和t(x),也就是說,要從中獲取到清晰無霧圖像I,即需先估計(jì)出更加精確的未知參數(shù)值。
如前文所述,透射率t(x)和大氣光A是通過大氣散射模型復(fù)原含霧圖像的關(guān)鍵參數(shù)。而公式(1)的物理模型是一個(gè)不確定方程,因此可以通過先驗(yàn)知識(shí)來估計(jì)上述兩個(gè)參數(shù)。
1.2暗通道先驗(yàn)理論
He等人[6]對(duì)大量清晰的室外圖像進(jìn)行了研究,發(fā)現(xiàn)在清晰室外圖像的大部分區(qū)域中(天空區(qū)域和白色區(qū)域除外),都有一個(gè)像素值為零的通道,簡稱為暗通道先驗(yàn)理論,可用公式(2)表示:
其中,透射率的取值過小容易造成圖像失真,故而對(duì)其中透射率的值做了下限定值,t0的取值為0.1。
2本文算法
2.1本文算法具體流程
(1)顏色校正:對(duì)輸入的含霧圖像采用完美反射法進(jìn)行顏色校正。這樣做可以調(diào)整輸入圖像的顏色,使圖像看上去更加自然。
(2)估計(jì)大氣光值:由于傳統(tǒng)的暗通道算法中獲取大氣光值的方式是選取圖像中最亮的點(diǎn),但是據(jù)此得到的大氣光值并不可靠。所以本文使用四叉樹算法粗略估計(jì)大氣光值,并對(duì)粗略估計(jì)得到的大氣光值進(jìn)行數(shù)值校正。
(3)暗通道處理:對(duì)顏色校正后的圖像進(jìn)行暗通道處理,得到粗略的透射率,再用引導(dǎo)濾波對(duì)透射率進(jìn)行優(yōu)化處理,這就得到平滑透射率。
(4)復(fù)原圖像:通過大氣散射模型復(fù)原,從而得到清晰的除霧圖像。
(5)豐富細(xì)節(jié):以完美反射法處理后的圖像作為引導(dǎo)圖像,利用引導(dǎo)濾波對(duì)復(fù)原后的圖像進(jìn)行處理,起到豐富圖像細(xì)節(jié)的作用。
算法具體示意圖如圖1所示。
2.2完美反射法
完美反射法,也被稱為鏡面法。該方法的原理是假設(shè)圖像中存在一個(gè)“鏡面”,并可以完全反射光源照射在物體上面的光線,那么在一些特定光源下,就可以將“鏡面”獲取到的色彩信息認(rèn)定為當(dāng)前光源的信息,接下來根據(jù)光源信息對(duì)圖像3個(gè)通道的值進(jìn)行校正,達(dá)到校正圖像顏色的目的。完美反射法校正圖像色差效果圖如圖2所示。
2.3改進(jìn)大氣光值估計(jì)方法
由式(1)可以看出,全局大氣光值A(chǔ)對(duì)于圖像進(jìn)行除霧操作有著十分重要的作用,所以對(duì)大氣光值的估計(jì)和選取是十分重要的。已知大氣光應(yīng)是含霧圖像中霧濃度最大的部分,He等人[6]在暗通道中選取最亮的像素值作為大氣光值,然而在現(xiàn)實(shí)中拍攝的圖像中,最亮的區(qū)域并不一定是霧濃度最大的地方,也可能是白色建筑、鏡子、車窗玻璃等反光物體。因此,He等人對(duì)大氣光的估計(jì)方法是不準(zhǔn)確的。為了更準(zhǔn)確地估計(jì)大氣光值,本文基于天空區(qū)域的像素值之間方差較小這一特點(diǎn),采用四叉樹搜索方法[9]對(duì)大氣光值進(jìn)行粗略估計(jì)并校正。該方法獲取大氣光過程的示意圖如圖3所示。圖3中,紅色方塊的區(qū)域?yàn)榇髿夤庾詈蟮倪x取區(qū)域。
四叉樹獲取大氣光的具體方法如下:
(1)先將完美反射法處理后的圖像劃分為4個(gè)大小均等的區(qū)域,再對(duì)每一個(gè)區(qū)域的均值及標(biāo)準(zhǔn)差進(jìn)行標(biāo)記,記為value[i](i取值為1、2、3、4)。
(2)將value[i]值最高的區(qū)域按照相同邏輯進(jìn)行劃分標(biāo)記,如此反復(fù)迭代,直到選取區(qū)域與設(shè)定的閾值(設(shè)定閾值為200像素)相等為止,至此選取區(qū)域中最大的亮度值作為粗略估計(jì)的大氣光值。
然而這種方法也存在一定的局限性,對(duì)于天空區(qū)域較小的圖像來說,由此方法得到的大氣光值過低,將導(dǎo)致除霧的視覺效果并不理想。進(jìn)一步地,還需要對(duì)粗略估計(jì)的大氣光值進(jìn)行校正。首先設(shè)定粗略估計(jì)的大氣光值為Ac,然后對(duì)其進(jìn)行數(shù)值校正。此時(shí)將用到如下數(shù)學(xué)公式:
A=Ac*p.(6)
其中,p為校正系數(shù),本文取值p=1.05。
2.4引導(dǎo)濾波
引導(dǎo)濾波是一種圖像濾波技術(shù),其特點(diǎn)是可以保持圖像的邊緣平滑,目前已經(jīng)可以應(yīng)用在圖像增強(qiáng)、圖像壓縮、圖像摳圖及圖像除霧等場景中。另外,該技術(shù)還可以消除雙邊濾波的局限性,如圖像中可能存在假邊緣的問題。這里假設(shè)引導(dǎo)圖像為I,輸入圖像為p。則輸出圖像可以定義為:
為了對(duì)比效果,本文分別用雙邊濾波法和引導(dǎo)濾波法獲取了暗通道圖像及算法復(fù)原后的圖像。如圖4所示。通過觀察圖像可以得出,雙邊濾波獲取的暗通道圖像存在假邊緣現(xiàn)象,這樣處理得到的圖像也會(huì)出現(xiàn)假邊緣的問題。而使用引導(dǎo)濾波處理后的暗通道圖較為平滑,細(xì)節(jié)較好,處理后的圖像效果也明顯優(yōu)于使用雙邊濾波處理后的圖像效果,效果參見圖4(b)。所以,本文使用引導(dǎo)濾波對(duì)透射率進(jìn)行優(yōu)化。
由于處理后的圖像存在部分細(xì)節(jié)丟失的問題,為了更好地復(fù)原圖像細(xì)節(jié),本文使用引導(dǎo)濾波對(duì)復(fù)原后的圖像進(jìn)行處理。為了對(duì)比效果,本文分別將含霧圖像及完美反射法處理后的圖像作為引導(dǎo)圖像進(jìn)行處理,對(duì)比結(jié)果如圖5所示。通過觀察可以得出,以完美反射法處理后的圖像作為引導(dǎo)圖像的視覺效果更好,細(xì)節(jié)更豐富,效果參見圖5(b),所以本文選用完美反射法處理后的圖像作為引導(dǎo)圖像,對(duì)復(fù)原后的圖像進(jìn)行處理。
3實(shí)驗(yàn)與分析
3.1除霧圖像主觀評(píng)價(jià)
為了驗(yàn)證本文算法的有效性,本文選擇了3幅自然光下的風(fēng)景圖像進(jìn)行復(fù)原實(shí)驗(yàn),并和文獻(xiàn)[10]、文獻(xiàn)[11]、文獻(xiàn)[12]的除霧算法處理后的圖像進(jìn)行了對(duì)比。對(duì)比結(jié)果如圖6所示。為了論述的方便,本文分別將圖像命名為bridge、bench及forest。文獻(xiàn)[10]利用顏色衰減先驗(yàn)除霧算法處理的結(jié)果見圖6(b),其存在的問題是圖像整體視覺效果偏暗,且在圖像邊緣處細(xì)節(jié)不夠清晰;文獻(xiàn)[11]使用多層感知器的算法除霧后的結(jié)果見圖6(c),該算法存在除霧不徹底及局部區(qū)域較暗的問題;文獻(xiàn)[12]基于暗通道先驗(yàn)的算法除霧的結(jié)果見圖6(d),其除霧后的圖像存在明顯的失真問題,與原圖像景物有較大的色差;本文算法處理后的結(jié)果見圖6(e),與上述除霧算法相比較,除霧的效果更好,且圖像的細(xì)節(jié)更清晰。
為了進(jìn)一步證明本文算法的有效性,本文選取了一張室外密集人群的圖像(命名為people),并與文獻(xiàn)[10]、文獻(xiàn)[11]、文獻(xiàn)[12]的除霧算法處理后的圖像進(jìn)行了復(fù)原實(shí)驗(yàn)比較,對(duì)比效果如圖7所示。圖7的第二列為去霧后圖像局部區(qū)域放大的細(xì)節(jié)圖。通過對(duì)比可以看出,對(duì)比算法局部放大后存在顏色偏暗的問題,視覺效果不佳,本文算法對(duì)圖像中人的輪廓邊緣處理較清晰,在細(xì)節(jié)方面有著較好的處理效果,且視覺效果更好。
3.2算法的客觀評(píng)估標(biāo)準(zhǔn)
圖像除霧算法的客觀評(píng)估是通過一些測(cè)試方法對(duì)圖像的質(zhì)量進(jìn)行評(píng)價(jià),從而得到一個(gè)可以反映圖像質(zhì)量或者是損失程度的參數(shù)作為評(píng)價(jià)的結(jié)果,該結(jié)果可以提高圖像質(zhì)量評(píng)價(jià)的精確度。圖像質(zhì)量評(píng)估標(biāo)準(zhǔn)可以分為3類:全參考圖像質(zhì)量評(píng)估[13]、部分參考圖像質(zhì)量評(píng)估[14]和無參考圖像質(zhì)量評(píng)估[15]。部分參考圖像質(zhì)量評(píng)估需要將與含霧圖像相對(duì)應(yīng)的清晰圖像作為參考圖像,在實(shí)際應(yīng)用中很不方便。因此,在圖像除霧領(lǐng)域中,無參考圖像質(zhì)量評(píng)估被廣泛使用,例如峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)。
為了驗(yàn)證本文算法在客觀評(píng)估指標(biāo)方面的除霧效果,本文選取了PSNR及SSIM指標(biāo)對(duì)處理后的圖像進(jìn)行分析,并與文獻(xiàn)[10]、文獻(xiàn)[11]以及文獻(xiàn)[12]算法處理后圖像的客觀指標(biāo)進(jìn)行了對(duì)比,對(duì)比結(jié)果見表1和表2。從表1和表2可以看出,相比其他三種算法,本文的PSNR以及SSIM的值較高,且對(duì)不同圖像處理的SSIM值都大于0.8,證明了本文算法除霧的效果較好且較穩(wěn)定,圖像失真較少。
4結(jié)束語
本文基于暗通道先驗(yàn)理論,提出了一種單幅圖像除霧的優(yōu)化技術(shù)。在粗略估計(jì)大氣光值時(shí),采用四叉樹搜索法,使圖像的處理更加自然,同時(shí)使用引導(dǎo)濾波對(duì)圖像的透射率及圖像細(xì)節(jié)進(jìn)行優(yōu)化。優(yōu)化后的算法在一定程度上避免了除霧后圖像容易出現(xiàn)的顏色失真以及與原圖像景物存在較大色差的問題。實(shí)驗(yàn)結(jié)果表明,優(yōu)化后的算法可以從含霧圖像中復(fù)原出較清晰的圖像,而且除霧后圖像無論是在主觀視覺效果,還是在客觀參數(shù)評(píng)估上都高于其他算法,證明了本文算法的優(yōu)越性和有效性。
參考文獻(xiàn)
[1]劉海波,楊杰,吳正平,等.基于暗通道先驗(yàn)和Retinex理論的快速單幅圖像去霧方法[J].自動(dòng)化學(xué)報(bào),2015,41(7):1264-1273.
[2]李武勁,彭怡書,歐先鋒,等.基于大氣散射模型和Retinex理論的霧霾圖像清晰化算法[J].成都工業(yè)學(xué)院學(xué)報(bào),2019,22(2):5-8,13.
[3]尚月.基于Retinex的夜間低照度圖像自適應(yīng)增強(qiáng)算法[J].信息通信,2020(4):36-38.
[4]梁健,巨海娟,張文飛,等.偏振光學(xué)成像去霧技術(shù)綜述[J].光學(xué)學(xué)報(bào),2017,37(4):1-13.
[5]王小芳,方登杰,何海瑞,等.基于多尺度細(xì)節(jié)優(yōu)化的MSRCR圖像去霧算法[J].實(shí)驗(yàn)技術(shù)與管理,2020,37(9):92-97.
[6]HEKaiming,SUNJian,TANGXiao'ou.Singleimagehazeremovalusingdarkchannelprior[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2011,33(12):2341-2353.
[7]HEK,SUNJ,TANGX.Guidedimagefiltering[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2013,35(6):1397-1409.
[8]肖鐘捷,李寶方.一種改進(jìn)的單幅圖像快速去霧方法與實(shí)驗(yàn)[J].地球信息科學(xué)學(xué)報(bào),2015,17(4):494-499.
[9]KIMJH,JANGWD,SIMJY,etal.Optimizedcontrastenhancementforreal-timeimageandvideodehazing[J].JournalofVisualCommunicationandImageRepresentation,2013,24(3):410-425.
[10]ZHUQ,MAIJ,SHAOL.Afastsingleimagehazeremovalalgorithmusingcolorattenuationprior[J].IEEETransactionsonImageProcessing,2015,24(11):3522-3533.
[11]SALAZAR-COLORESS,CRUZ-ACEVESI,RAMOS-ARREGUINJM.Singleimagedehazingusingamultilayerperceptron[J].JournalofElectronicImaging,2018,27(4):1.
[12]YANGYan,WANGZhiwei.Hazeremoval:PushDCPattheedge[J].IEEESignalProcessingLetters,2020,27:1405-1409.
[13]WANGZ,BOVIKAC,SHEIKHHR,etal.Imagequalityassessment:Fromerrorvisibilitytostructuralsimilarity[J].IEEETransactionsonImageProcessing,2004,13(4):600-612.
[14]CARNECM,CALLETPL,BARBAD.Objectivequalityassessmentofcolorimagesbasedonagenericperceptualreducedreference[J].SignalProcessingImageCommunication,2008,23(4):239-256.
[15]SHEIKHHR,BOVIKAC,CORMACKLK.No-referencequalityassessmentusingnaturalscenestatistics[J].IEEETransactionsonImageProcessing,2005,14(11):1918-1927.