劉志成, 王殿偉, 劉穎, 劉學(xué)杰
(1.太原工業(yè)學(xué)院 自動(dòng)化系, 山西,太原 030008;2. 西安郵電大學(xué) 通信與信息工程學(xué)院, 陜西,西安 710121;3.中國人民公安大學(xué) 人文社科部, 北京 100038)
?
基于二維伽馬函數(shù)的光照不均勻圖像自適應(yīng)校正算法
劉志成1, 王殿偉2, 劉穎2, 劉學(xué)杰3
(1.太原工業(yè)學(xué)院 自動(dòng)化系, 山西,太原 030008;2. 西安郵電大學(xué) 通信與信息工程學(xué)院, 陜西,西安 710121;3.中國人民公安大學(xué) 人文社科部, 北京 100038)
提出了一種基于二維伽馬函數(shù)的光照不均勻圖像自適應(yīng)校正算法. 利用多尺度高斯函數(shù)提取出場景的光照分量,然后構(gòu)造了一種二維伽馬函數(shù),并利用光照分量的分布特性調(diào)整二維伽馬函數(shù)的參數(shù),降低光照過強(qiáng)區(qū)域圖像的亮度值,提高光照過暗區(qū)域圖像的亮度值,最終實(shí)現(xiàn)對(duì)光照不均勻圖像的自適應(yīng)的校正處理. 通過與經(jīng)典算法對(duì)比表明,本文算法可以更好地降低光照不均勻?qū)D像的影響,提高圖像的質(zhì)量.
圖像增強(qiáng);光照不均勻;二維伽馬函數(shù);多尺度高斯函數(shù)
在視頻和圖像的采集過程中,由于受到地物環(huán)境復(fù)雜、物品之間相互遮擋以及環(huán)境光照條件多變等因素的影響,經(jīng)常會(huì)導(dǎo)致場景的光照不均勻,主要表現(xiàn)為圖像中亮的區(qū)域光線足夠或者過強(qiáng),而暗的區(qū)域照度不足,導(dǎo)致一些重要的細(xì)節(jié)信息無法凸顯甚至被掩蓋掉,嚴(yán)重影響了圖像的視覺效果和應(yīng)用價(jià)值,因此開展光照不均勻圖像的校正研究,消除不均勻光照對(duì)圖像的影響,已經(jīng)成為當(dāng)前圖像處理領(lǐng)域的一個(gè)研究熱點(diǎn)[1-3].
光照不均勻圖像校正的方法主要分為有參考的校正方法和無參考的校正方法兩大類. 由于前者需要參照某標(biāo)樣圖像進(jìn)行校正,而這樣的圖像在實(shí)際應(yīng)用過程中很難獲取,因此無參考的光照不均勻校正算法研究受到了廣泛的關(guān)注. 目前無參考的光照不均勻校正的方法主要有基于Retinex理論的算法、直方圖均衡化(HE)方法、非銳化掩膜法、形態(tài)學(xué)濾波法和基于空間照度圖的方法等. 基于Retinex理論的方法具有色彩恒常性,但是這類方法會(huì)在圖像亮度突變的地方產(chǎn)生光暈現(xiàn)象[4-5];直方圖均衡化方法因其具有算法簡單、運(yùn)算量小的優(yōu)點(diǎn)被廣泛用于圖像增強(qiáng)處理,但是對(duì)光照不均勻圖像處理結(jié)果存在過增強(qiáng)、色彩失真和灰階突變處噪聲放大等問題[6-7];非銳化掩膜方法把圖像分解為高頻分量和低頻分量后分別進(jìn)行處理,但是實(shí)際應(yīng)用中很難準(zhǔn)確地找到最優(yōu)的高頻和低頻分界閾值,兼顧細(xì)節(jié)增強(qiáng)和自然性保持之間的平衡[8-9];形態(tài)學(xué)濾波法可以改善圖像的可視性,但是會(huì)改變圖像的自然特征[10];基于空間可變照度圖的方法利用場景的光照分布特征對(duì)圖像進(jìn)行校正,但是其利用單尺度高斯函數(shù)的方法求解出來的光照分量存在照度細(xì)節(jié)信息表現(xiàn)力差等問題[11-12].
本文利多尺度高斯函數(shù)提取出光照不均勻圖像的光照分量,然后構(gòu)造了一種基于二維伽馬函數(shù)的自適應(yīng)亮度校正函數(shù),并利用光照分量的分布特性自適應(yīng)地調(diào)整二維伽馬函數(shù)的參數(shù),對(duì)光照不均勻圖像進(jìn)行自適應(yīng)的校正處理,在有效保留原圖像有效信息的前提下,實(shí)現(xiàn)對(duì)光照不均勻圖像校正的目的,不僅能夠有效地提升圖像的視覺效果,而且可以發(fā)現(xiàn)更多暗處的細(xì)節(jié)信息,為光照不均勻圖像的校正處理研究提供有價(jià)值的參考.
1.1 光照-反射成像模型
根據(jù)成像原理,可見光范圍內(nèi)所成的像是由于場景內(nèi)物體表面發(fā)出的光到達(dá)成像單元后產(chǎn)生的. 通常,一幅數(shù)字圖像可以看作是一個(gè)二維函數(shù)f(x,y),函數(shù)的值即為坐標(biāo)(x,y)點(diǎn)處的圖像的亮度值.f(x,y)由入射到場景內(nèi)的光照分量i(x,y)和物體表面的反射分量r(x,y)兩部分的乘積構(gòu)成,其基本理論模型的表達(dá)式如下[13]
(1)
將這種模型稱為照度-反射成像模型,其空間關(guān)系如圖1所示.
在光照-反射成像模型中,光照分量表征圖像的低頻特性,而反射分量反映圖像的高頻細(xì)節(jié)信息,決定了圖像的本質(zhì)特性. 對(duì)于光照均勻的圖像而言,其光照分量在空間內(nèi)近似均勻分布,即在任何位置、任何方向上的強(qiáng)度都一致,因此圖像的整體質(zhì)量比較好;而對(duì)于光照不均勻的圖像,由于場景中的光照分量的分布不均勻,導(dǎo)致圖像中光照強(qiáng)的區(qū)域中圖像的亮度值足夠或者過強(qiáng),而光照弱的區(qū)域圖像的亮度值不足,不僅降低了圖像的視覺質(zhì)量,而且會(huì)導(dǎo)致一些重要的細(xì)節(jié)信息無法提取,因此,對(duì)光照不均勻圖像的校正處理就顯得非常重要.
1.2 基于多尺度高斯函數(shù)的光照分量的提取
為了實(shí)現(xiàn)對(duì)光照不均勻圖像的校正處理,準(zhǔn)確提取出場景的光照分量非常重要. 但是對(duì)于常用的光學(xué)成像設(shè)備而言,其獲取的實(shí)際場景的圖像是由光照分量和反射分量共同作用的結(jié)果,并不具有分離出光照分量的功能,因此只能基于某種假設(shè)條件的基礎(chǔ)上,通過建立數(shù)學(xué)模型等手段才能從原始圖像中計(jì)算出光照分量.
根據(jù)Retinex理論,做如下假設(shè):真實(shí)場景圖像的光照分量主要存在于圖像低頻部分并且整體變化平緩;而反射分量則主要存在于圖像高頻部分,如邊緣、紋理等處,其變化比較劇烈[13]. 因此希望提取出的場景的光照分量只包含光照變化信息,不包含圖像的細(xì)節(jié)信息,以便更好地滿足場景光照分量的假設(shè)條件. 目前光照分量的計(jì)算方法比較多,比如基于雙邊濾波的方法[14]、利用Mean-shift濾波的方法[15]、基于Top-hat的方法[16]、基于線性引導(dǎo)濾波函數(shù)的方法[17],以及Retinex理論中基于多尺度高斯函數(shù)(濾波器)的方法[18-19]等. 鑒于多尺度高斯函數(shù)的方法可以有效地壓縮動(dòng)態(tài)范圍并準(zhǔn)確地估計(jì)出場景的照射分從量[18-19],因此本文選用多尺度高斯函數(shù)的方法來提取光照不均勻圖像的光照分量,用到的高斯函數(shù)的形式為
(2)
式中:c為尺度因子;λ為歸一化常數(shù),確保高斯函數(shù)G(x,y)滿足歸一化條件,即?G(x,y)dxdy=1. 利用高斯函數(shù)和原圖像做卷積,即可得到光照分量的估計(jì)值,其結(jié)果如下
(3)
式中:F(x,y)為輸入圖像;I(x,y)為估計(jì)出來的光照分量.
由Retinex理論可知,高斯函數(shù)的尺度因子c的取值決定了卷積核的作用范圍:c的值越大,高斯函數(shù)卷積核的范圍越大,色調(diào)保持的能力越強(qiáng),提取出的光照值的全局特性越好;反之c的取值越小,高斯函數(shù)卷積核的范圍越小,動(dòng)態(tài)范圍壓縮的效果越好,提取出的光照值的局部特性越明顯. 為了同時(shí)兼顧提取出的光照值的全局特性和局部特性,本文采用多尺度高斯函數(shù)的方法,利用不同尺度的高斯函數(shù)分別提取出場景的光照分量后進(jìn)行加權(quán),最終得到光照分量的估計(jì)值,其表達(dá)式為
(4)
式中:I(x,y)為(x,y)點(diǎn)處由多個(gè)不同尺度的高斯函數(shù)提取并加權(quán)后的光照分量值;ωi為第i個(gè)尺度高斯函數(shù)提取出的光照分量的權(quán)系數(shù);i=1,2,…,N為用到的尺度數(shù),考慮到光照分量提取的精度和運(yùn)算量之間的均衡,本文取N=3,即用3個(gè)不同尺度的高斯函數(shù)提取光照分量的值(所選用的尺度因子c的值分別為15,80和250),并且將每一個(gè)尺度提取出的光照分量的權(quán)系數(shù)設(shè)定為1/3. 利用3尺度的高斯函數(shù)分別提取灰度圖像和彩色圖像場景的光照分量,其結(jié)果如圖2和圖3所示.
由圖2和圖3可知,本文使用的多尺度高斯函數(shù)提取出來的光照分量可以有效地描述光照變化的信息,而且不帶有細(xì)節(jié)信息,非常符合對(duì)光照分量提取的特征要求,可見,這種基于多尺度高斯函數(shù)的方法可以有效地提取出場景的光照分量.
在提取出場景的光照分量后,就可以根據(jù)光照分量的分布特性構(gòu)造光照不均勻校正函數(shù),對(duì)光照不均勻圖像進(jìn)行校正處理,降低光照過強(qiáng)區(qū)域的亮度值,提高光照過低區(qū)域的亮度值. 為了實(shí)現(xiàn)上述目標(biāo),本文提出了一種基于二維伽馬函數(shù)的自適應(yīng)亮度校正方法,利用圖像的光照分量的分布特性自適應(yīng)地調(diào)整二維伽馬函數(shù)的參數(shù),實(shí)現(xiàn)提高光照不均勻圖像整體質(zhì)量的目的. 對(duì)于輸入的圖像F(x,y),假設(shè)提取出的光照分量為I(x,y),在參考文獻(xiàn)[12]的基礎(chǔ)上,構(gòu)造了一種新的二維伽馬函數(shù),其表達(dá)式如下
(5)
式中:O(x,y)為校正后的輸出圖像的亮度值;γ為用于亮度增強(qiáng)的指數(shù)值,其中包含了圖像的光照分量特性;m為光照分量的亮度均值. 如果光照分量的亮度均值為128,則在不同的光照分量值下,輸入圖像的亮度值經(jīng)過二維伽馬函數(shù)校正后的輸出曲線如圖4所示.
由圖4可知,當(dāng)某一點(diǎn)(x,y)處的光照值小于整幅光照分量的均值(本圖假設(shè)光照分量的均值為128)時(shí),二維伽馬函數(shù)會(huì)依指數(shù)增強(qiáng)原圖像在該點(diǎn)處的亮度值. 假設(shè)當(dāng)輸入圖像I(x,y)中某點(diǎn)(x,y)處提取到的光照值為64、輸入圖像在該點(diǎn)的亮度值為120時(shí),經(jīng)過校正后的輸出圖像的亮度值為149,可見在輸出圖像中的表現(xiàn)為提高原圖像中光照過低區(qū)域圖像的亮度. 當(dāng)某一點(diǎn)(x,y)處的光照值大于整幅光照分量的均值時(shí),二維伽馬函數(shù)會(huì)依指數(shù)衰減原圖像在該點(diǎn)處的亮度值. 再比如當(dāng)輸入圖像某點(diǎn)(x,y)處輸入圖像的亮度值仍為120,但是假設(shè)該點(diǎn)的光照值為192時(shí),經(jīng)過校正后的輸出圖像中該點(diǎn)的亮度值則變?yōu)?08,其結(jié)果為降低了原圖像中光照過高處圖像的亮度.
圖5是利用本文構(gòu)造的二維伽馬函數(shù)校正前后圖像的直方圖的對(duì)比. 由圖5可知經(jīng)過該二維伽馬校正后,原圖像中亮度過低的區(qū)域的亮度得到了增強(qiáng),而光照過強(qiáng)的區(qū)域的亮度得到了衰減,同時(shí)壓縮了圖像的動(dòng)態(tài)范圍,因此會(huì)得到較好的光照不均勻校正效果. 正是在光照分量的均值和每一個(gè)像素點(diǎn)處的光照值的共同作用下,本文提出的這種二維伽馬函數(shù)可以對(duì)原光照不均勻圖像進(jìn)行自適應(yīng)的校正處理,最終降低光照不均勻?qū)D像的影響,提高圖像的質(zhì)量.
由人眼視覺系統(tǒng)的感知特性可知,人眼對(duì)亮度的敏感程度要高于對(duì)顏色的敏感程度,因此對(duì)亮度分量的校正處理是光照不均勻校正算法的關(guān)鍵. 對(duì)于彩色圖像,如果直接在RGB3個(gè)通道做校正處理,不僅很難保證每個(gè)通道都按照相同的比例增強(qiáng)或者衰減,從而導(dǎo)致校正處理后的圖像發(fā)生色彩失真現(xiàn)象,而且同時(shí)對(duì)3個(gè)通道進(jìn)行處理的運(yùn)算量也比較大. 鑒于HSV色彩空間更符合人眼的視覺特性,而且HSV色彩空間中的色調(diào)(H)、飽和度(S)和亮度(V)三者相互獨(dú)立,因此對(duì)于亮度V的操作不會(huì)影響圖像的色彩信息,因此本文選擇在HSV色彩空間中實(shí)現(xiàn)對(duì)光照不均勻的彩色圖像進(jìn)行校正處理,算法的流程圖如圖6所示.
針對(duì)整體光照亮度比較低的圖像(場景1:光照分量均值小于128)、整體光照亮度適中(場景2:光照分量均值約等于128)及整體光照亮度較高(場景3:光照分量的均值大于128)這3種典型的場景,分別利用直方圖均衡化算法、帶色彩恢復(fù)的多尺度Retinex(MSRCR)算法和本文算法進(jìn)行處理,處理后的結(jié)果如圖7~圖9所示.
由圖7~圖9可以看出,對(duì)于整體光照亮度較低、整體光照亮度適中和整體光照亮度較高這3種類型的光照不均勻圖像進(jìn)行校正時(shí),直方圖均衡化算法的處理結(jié)果會(huì)發(fā)生嚴(yán)重的色彩失真和過度增強(qiáng)的現(xiàn)象,MSRCR算法處理的結(jié)果雖然具有色彩保持特性,但是對(duì)于光照過低區(qū)域存在噪聲放大現(xiàn)象,而且在樹葉等亮度突變處出現(xiàn)了光暈現(xiàn)象,嚴(yán)重影響了這兩種算法的處理效果. 本文提出的算法對(duì)3種不同類型的光照不均勻圖像都取得了比較好的校正效果,不僅適當(dāng)?shù)亟档土斯庹者^強(qiáng)區(qū)域的圖像亮度,而且有效地提高了光照過低區(qū)域的圖像的亮度,使亮度過低區(qū)域的細(xì)節(jié)信息得到了很好的呈現(xiàn). 另外,本文提出的算法還具有很好的色彩保持特性,經(jīng)過校正處理后的圖像的色彩比較自然,很好地保持了原圖像的色彩信息.
為了進(jìn)一步對(duì)比不同算法的處理效果,本文使用標(biāo)準(zhǔn)差、平均梯度和熵等客觀指標(biāo)進(jìn)行衡量. 標(biāo)準(zhǔn)差(standard diviation, SD)可以反映圖像的對(duì)比度特征,平均梯度(average gradient, AG)是圖像清晰度的重要衡量指標(biāo),熵(Entropy)可以衡量圖像所攜帶的信息量. 表1中所用到的3種場景的圖像經(jīng)過不同方法處理前后的數(shù)據(jù)對(duì)比如表1所示.
表1 不同算法處理結(jié)果的數(shù)據(jù)對(duì)比
由表1中的數(shù)據(jù)可知,經(jīng)過本文算法處理后圖像的質(zhì)量普遍有所改善,主要表現(xiàn)在標(biāo)準(zhǔn)差的值變大,說明圖像的對(duì)比度信息變得更好;梯度值有較大提升,說明處理后的圖像的清晰度有所提高;熵的值提高,說明校正后圖像中所包含的信息量進(jìn)一步變大,進(jìn)而可以從中提取到更多的信息,由此可見本文提出的算法對(duì)不同場景的光照不均勻圖像均取得了比較好的校正效果.
為了降低光照不均勻?qū)D像質(zhì)量的影響,本文提出了一種光照不均勻圖像的校正算法,對(duì)光照不均勻圖像進(jìn)行自適應(yīng)校正處理,取得了比較好的校正效果. 未來的研究可以將光照不均勻校正算法封裝成功能模塊,嵌入到智能監(jiān)控等系統(tǒng)中,可以顯著提高視頻監(jiān)控系統(tǒng)在光照不均勻條件下的成像質(zhì)量,也可以將算法嵌入到攝像頭等前端圖像采集設(shè)備,在成像的同時(shí)進(jìn)行光照不均勻校正處理,可以大幅度地降低后處理的工作量,因此具有非常廣闊的應(yīng)用前景.
[1] Lu Yannan, Xie Fengying, Wu Yefen, et al. No reference uneven illumination assessment for dermoscopy images[J]. IEEE Signal Processing Letters, 2015,22(5):534-538.
[2] Wang Shuhang, Zheng Jin, Hu Haimiao, et al. Naturalness preserved enhancement algorithm for non-uniform illumination images[J]. IEEE Transactions on Image Processing, 2013,22(9):3538-3548.
[3] Land E H, McCann J J. Lightness and Retinex theory[J]. Journal of the Optical Society of America, 1997,61(1):1-11.
[4] D’yia Sarah Md Shukri, Asmuni H, Othman R M, et al. An improved multiscale Retinex algorithm for motion-blurred iris images to minimize the intra-individual variations[J]. Pattern Recognition Letters, 2013,34(2013):1071-1077.
[5] Li Jia. Application of image enhancement method for digital images based on Retinex theory[J]. Optik, 2013,124:5986-5988.
[6] Lee Pinghan, Wu Szuwei, Hung Yiping. Illumination compensation using oriented local histogram equalization and its application to face recognition[J]. IEEE Transactions on Image Processing, 2012,21(9):4280-4289.
[7] 趙源萌,王嶺雪,金偉其,等.基于區(qū)域直方圖統(tǒng)計(jì)的灰度圖像色彩傳遞方法[J].北京理工大學(xué)學(xué)報(bào),2012,32(3):322-326.
Zhao Yuanmeng, Wang Lingxue, Jin Weiqi, et al. A color transfer method for colorization of grayscale image based on region histogram statistics[J]. Transactions of Beijing Institute of Technology, 2012,32(3):322-326. (in Chinese)
[8] Kareem S, Kale I, Morling R C S. Automated malaria parasite detection in thin blood films: a hybrid illumination and color constancy insensitive, morphological approach[C]∥Proceedings of the IEEE Asia Pacific Conference on Circuits and Systems. [S.l.]: IEEE, 2012:240-243.
[9] Maragos P, Pessoa L F C. Morphological fltering for image enhancement and detection, the image and video processing handbook[M]. Harcourt: Academic Press, 1999.
[10] Luan Xin, Hou Guojia, Sun Zhengyuan, et al. Underwater color image enhancement using combining schemes[J]. Marine Technology Society Journal, 2014, 48(3):57-62.
[11] Lee S, Han H, Kwak B, et al. Color image enhancement method using a space-variant luminance map[C]∥Proceedings of the 2010 Digest of Technical Papers International Conference on Consumer Electronics.[S.l.]: IEEE, 2010:413-414.
[12] Lee S, Han H, Kwak B, et al. A space-variant luminance map based color image enhancement[J]. IEEE Transactions on Consumer Electronics, 2010,56(4):2636-2643.[13] Land E H. An alternative technique for the computation of the designator in the retinex theory of color vision[J]. Proceedings of the National Academy of Sciences, 1986,83(10):3078-3080.
[14] Li Xiaorong, Pan Jing, He Yuqing, et al. Bilateral filtering inspired locality preserving projections for hyperspectral images[J]. Neurocomputing, 2015,164(2015):300-306.
[15] Han H, Sohn K. Automatic illumination and color compensation using mean shift and sigma filter[J]. IEEE Transactions on Consumer Electronics, 2009,55(3):978-986.
[16] Bai Xiangzhi, Zhou Fugen, Jin Ting. Enhancement of dim small target through modified top-hat transfor-mation under the condition of heavy clutter[J]. Signal Processing, 2010,90:1643-1654.
[17] He Kaiming, Sun Jian, Tang Xiaoou. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012,35(6):1397-1409.
[18] 李福文,金偉其,陳偉力,等.基于Retinex模型的彩色圖像全局增強(qiáng)算法[J].北京理工大學(xué)學(xué)報(bào),2010,30(8):947-951.
Li Fuwen, Jin Weiqi, Chen Weili, et al. Global color image enhancement algorithm based on Retinex model[J]. Transactions of Beijing Institute of Technology, 2010,30(8):947-951. (in Chinese)
[19] Banic N, Loncaric S. Light random sprays Retinex: exploiting the noisy illumination estimation[J]. IEEE Signal Processing Letters, 2013,20(12):1240-1243.
(責(zé)任編輯:李兵)
Adaptive Adjustment Algorithm for Non-Uniform Illumination Images Based on 2D Gamma Function
LIU Zhi-cheng1, WANG Dian-wei2, LIU Ying2, LIU Xue-jie3
(1.Department of Automation, Taiyuan Institute of Technology, Taiyuan,Shanxi 030008, China; 2.School of Telecommunication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an,Shaanxi 710121, China;3.People’s Public Security University of China, Beijing 100038, China)
An adaptive adjustment algorithm for non-uniform illumination images based on 2D Gamma function was proposed in this paper. At first the reflection component was extracted by multi-scale Gaussian functions. Then a 2D Gamma function fed by the local characteristic of reflection component was constructed to decrease the intensity at the bright region and increase the intensity at the dark region in the luminance domain. Finally the non-uniform illumination images was corrected adaptively by the proposed algorithm. Experimental results show that the proposed algorithm has better performance in reducing the impaction caused by non-uniform illumination and enhancing the quality of the images.
image enhancement; non-uniform illumination; 2D Gamma function; multi-scale Gaussian function
2015-08-03
國家自然科學(xué)基金青年基金資助項(xiàng)目(61202183);公安部科技強(qiáng)警基礎(chǔ)工作專項(xiàng)資助項(xiàng)目(2014GABJC024);陜西省自然科學(xué)基礎(chǔ)研究計(jì)劃資助項(xiàng)目(2015JM6350);陜西省教育廳專項(xiàng)科研計(jì)劃資助項(xiàng)目(14JK1680)
劉志成(1965—),男,博士,副教授,E-mail:2696125167@qq.com.
TP 391
A
1001-0645(2016)02-0191-06
10.15918/j.tbit1001-0645.2016.02.016