王文錦,杜素霞,陸 平
(中國(guó)船舶重工集團(tuán)公司第七一八研究所,河北邯鄲056027)
隨著現(xiàn)代科技的發(fā)展,紅外夜視成像技術(shù)在世界各國(guó)軍事領(lǐng)域均得到了廣泛的應(yīng)用。上至戰(zhàn)斗機(jī)、巡航導(dǎo)彈,下至艦船、潛艇、坦克、步兵裝備,紅外夜視成像系統(tǒng)都是實(shí)現(xiàn)其信息化改造的重要組成部分,是實(shí)現(xiàn)信息化作戰(zhàn)的必不可少的裝備之一。但由于目標(biāo)、景物的固有紅外特性和外界大氣環(huán)境等因素的干擾和影響,造成了成像效果的不理想,視覺(jué)觀察較為模糊。所以有必要對(duì)紅外夜視圖像進(jìn)行數(shù)字增強(qiáng)處理,為人眼觀察和后續(xù)的智能圖像分析檢測(cè)提供有利條件。
直方圖均衡化算法[1-2]是一種最常用的紅外夜間圖像增強(qiáng)方法。其實(shí)質(zhì)是使圖像中灰度概率密度較大的像素向附近灰度級(jí)擴(kuò)展,而概率密度較小的像素灰度級(jí)收縮,使圖像充分利用各灰度級(jí),因而增強(qiáng)了圖像的對(duì)比度。但由于紅外夜視圖像的灰度值動(dòng)態(tài)范圍小,而且存在噪聲干擾,所以直方圖均衡雖然增大了圖像的對(duì)比度,但主要提升的是紅外夜視圖像的噪聲,而非細(xì)節(jié);而且往往處理后的圖像視覺(jué)效果生硬、不夠柔和,有時(shí)甚至?xí)斐蓤D像質(zhì)量的惡化[3]。
本文根據(jù)紅外夜視圖像的特點(diǎn),提出了一種基于小波域的圖像自適應(yīng)增強(qiáng)系統(tǒng),該方案可以有效提高紅外夜視圖像的對(duì)比度,在抑制圖像噪聲的前提下對(duì)圖像細(xì)節(jié)進(jìn)行增強(qiáng)。無(wú)論是通過(guò)人眼視覺(jué)觀察,還是利用客觀評(píng)價(jià)指標(biāo)進(jìn)行評(píng)估,本文算法的表現(xiàn)均超越了直方圖均衡化算法。
紅外夜視圖像空間相關(guān)性強(qiáng),對(duì)比度低,視覺(jué)效果模糊。成像器件和電路本身會(huì)帶來(lái)各種噪聲,再經(jīng)過(guò)對(duì)數(shù)增益控制器的放大,造成了圖像的低信噪比。從紅外夜視圖像的應(yīng)用特點(diǎn)來(lái)看,成像系統(tǒng)一般應(yīng)用于野外移動(dòng)裝置,因此紅外夜視圖像增強(qiáng)方案必須適合在嵌入式系統(tǒng)中運(yùn)行,故開(kāi)發(fā)的增強(qiáng)算法必須運(yùn)算量小且易于硬件實(shí)現(xiàn)。
根據(jù)以上分析,本文提出的紅外夜視圖像自適應(yīng)增強(qiáng)方案如圖1所示。該系統(tǒng)主要由3個(gè)處理流程組成:小波變換預(yù)處理、低頻子帶增強(qiáng)和高頻子帶增強(qiáng)。下面具體介紹各流程的實(shí)現(xiàn)過(guò)程。
圖1 紅外夜視圖像自適應(yīng)增強(qiáng)系統(tǒng)框圖
為了對(duì)紅外夜視圖像存在的各種缺陷采取針對(duì)性強(qiáng)的處理措施,本文首先對(duì)圖像進(jìn)行小波變換。傳統(tǒng)的卷積小波變換運(yùn)算量大,且實(shí)時(shí)性差,不利于硬件實(shí)現(xiàn)。因此,本文采用Daub 5/3整數(shù)提升小波變換。它的正變換公式[4]為:
對(duì)應(yīng)的逆變換公式為:
Daub 5/3小波的優(yōu)點(diǎn)有:首先,運(yùn)算速度快,其正變換和逆變換的計(jì)算僅靠整數(shù)加法和移位就可實(shí)現(xiàn)。其次,內(nèi)存需求低,小波變換后的系數(shù)用short型數(shù)據(jù)(2個(gè)字節(jié))即可保存。這些特點(diǎn)均有利于它在硬件上的實(shí)現(xiàn)。
在小波分解后的圖像中,主要整體信息由低頻系數(shù)表征,紋理細(xì)節(jié)信息由高頻系數(shù)表征[5]。如圖2所示,本文對(duì)待處理的紅外夜視圖像進(jìn)行1級(jí)小波變換,后續(xù)處理過(guò)程在小波分解后的低頻子帶和高頻子帶分別進(jìn)行。
圖2 一級(jí)小波變換示意圖
由于紅外夜視圖像像素灰度值動(dòng)態(tài)范圍小,不能充滿整個(gè)灰度級(jí)空間,絕大部分像素集中于某些相鄰的灰度級(jí)范圍,而且圖像整體偏暗,相應(yīng)的灰度直方圖也集中分布于坐標(biāo)系的左側(cè)[6]。所以紅外夜視圖像增強(qiáng)的主要工作在于將暗區(qū)的信息表達(dá)清楚,但又不能過(guò)亮,以免丟失過(guò)度的細(xì)節(jié)信息。因此,本文算法對(duì)LL1子帶系數(shù)進(jìn)行自適應(yīng)動(dòng)態(tài)范圍擴(kuò)展。具體實(shí)施過(guò)程為:
首先,統(tǒng)計(jì)出紅外夜視圖像LL1子帶的直方圖,然后從直方圖的最左端開(kāi)始,對(duì)各像素值的出現(xiàn)頻數(shù)進(jìn)行累加。當(dāng)累積頻數(shù)達(dá)到0.03時(shí),將當(dāng)前像素值記為T1;繼續(xù)累加,當(dāng)累加頻數(shù)為0.97時(shí),將當(dāng)前像素值記為T2,累加結(jié)束。
其次,對(duì)LL1子帶系數(shù)進(jìn)行分段非線性變換,變換公式為:
從公式可以看出,上述變換可以將LL1子帶圖像的主要內(nèi)容擴(kuò)展到整個(gè)灰度級(jí)空間。隨著亮度的增加,該非線性變換函數(shù)對(duì)灰度級(jí)的拉伸擴(kuò)展程度呈遞減趨勢(shì),在擴(kuò)大圖像暗區(qū)主要內(nèi)容動(dòng)態(tài)范圍的同時(shí),避免了圖像過(guò)亮,有效防止了圖像細(xì)節(jié)信息的丟失。而且算法只對(duì)LL1子帶進(jìn)行處理,有效節(jié)省了運(yùn)行時(shí)間。
高頻子帶的處理流程主要包括兩項(xiàng)關(guān)鍵技術(shù),即紋理保護(hù)高斯濾波和噪聲抑制邊緣增強(qiáng)。
2.3.1 紋理保護(hù)高斯濾波
為了抑制紅外夜視圖像的噪聲,同時(shí)避免損失圖像的紋理細(xì)節(jié),并考慮到算法的易于硬件實(shí)現(xiàn)性,本文采用基于高頻子帶方向性的高斯模板濾波策略。
二維高斯濾波器的數(shù)學(xué)表達(dá)式[7]為:
如果對(duì)圖像中的所有像素點(diǎn)利用該公式進(jìn)行濾波處理,將涉及大量的指數(shù)和浮點(diǎn)數(shù)運(yùn)算,在很大程度上會(huì)影響到算法的實(shí)時(shí)性。本文通過(guò)選取合適的平滑參數(shù),將連續(xù)高斯濾波函數(shù)進(jìn)行離散化和歸一化,得到二維高斯濾波模板:
再對(duì)圖像小波分解后的高頻子帶采取濾波措施。HL、LH、HH子帶分別對(duì)應(yīng)圖像豎直、水平、對(duì)角線方向上的高頻分量,包含了大量的圖像紋理信息。為了保證這些細(xì)節(jié)信息不在濾波的過(guò)程中受損,本文對(duì)HL1、LH1、HH1子帶分別使用三個(gè)不同方向的濾波器,所對(duì)應(yīng)的公式分別為:
通過(guò)以上高斯加權(quán)平滑操作,在有效去除圖像高頻信息噪聲的同時(shí),保護(hù)了各方向的邊緣細(xì)節(jié)信息。而且處理過(guò)程均為整數(shù)運(yùn)算,保證了算法的實(shí)時(shí)性。
2.3.2 噪聲抑制邊緣增強(qiáng)
小波變換后的高頻部分包含圖像的細(xì)節(jié)信息,因此本文通過(guò)對(duì)高頻系數(shù)進(jìn)行非線性閾值增強(qiáng),來(lái)突出圖像的紋理細(xì)節(jié)。
由于高頻子帶中同時(shí)包含了圖像信號(hào)和噪聲,所以在進(jìn)行高頻系數(shù)處理前,有必要對(duì)二者進(jìn)行辨識(shí)區(qū)分。利用HH1子帶系數(shù)估計(jì)噪聲的標(biāo)準(zhǔn)方差[8],公式為:
其中,μ是HH1子帶系數(shù)的均值;xi是HH1子帶的系數(shù);n是HH1子帶系數(shù)的數(shù)量。
對(duì)于正交小波變換,高頻系數(shù)中的噪聲閾值取為:
將絕對(duì)值小于 T的HL1、LH1、HH1子帶系數(shù)看作噪聲信號(hào),其他系數(shù)作為細(xì)節(jié)信息采用變換函數(shù)進(jìn)行放大,達(dá)到增強(qiáng)圖像的高頻細(xì)節(jié)信息、并抑制噪聲的目的。本文采取的非線性閾值增強(qiáng)函數(shù)為:
其中,Cmax、Cmin分別對(duì)應(yīng)高頻子帶中絕對(duì)值最大和最小的系數(shù)值,Cmin一般取零。A是高頻系數(shù)的放大幅度,在本文中:
通過(guò)對(duì)幅值大于噪聲閾值的系數(shù)進(jìn)行放大,同時(shí)抑制被辨識(shí)為噪聲的系數(shù),在不放大圖像噪聲的同時(shí),對(duì)邊緣細(xì)節(jié)進(jìn)行了增強(qiáng)。
為了驗(yàn)證本文算法的有效性,對(duì)2幅具有代表性的紅外夜視圖像進(jìn)行了測(cè)試。分別使用本文算法和直方圖均衡化算法進(jìn)行增強(qiáng)處理,在主觀視覺(jué)效果和客觀評(píng)價(jià)指標(biāo)兩方面進(jìn)行了對(duì)比。其中客觀評(píng)價(jià)參數(shù)包括:離散信息熵和圖像噪聲指數(shù)。實(shí)驗(yàn)仿真的軟件平臺(tái)是Visual C++6.0,電腦配置為:主頻2.8GHz雙核CPU、2GB內(nèi)存。
圖3、圖4給出了2組紅外夜視圖像利用本文方法和直方圖均衡算法增強(qiáng)前后的視覺(jué)效果對(duì)比。從圖中可以看出,本文算法處理結(jié)果對(duì)比鮮明,細(xì)節(jié)清晰,更適合人眼觀察。而直方圖均衡化算法對(duì)噪聲進(jìn)行了過(guò)度增強(qiáng),一些重要細(xì)節(jié)信息在均衡的過(guò)程中也被合并掉,嚴(yán)重影響了圖像的視覺(jué)效果。
為量化圖像的灰度層次擴(kuò)展程度和細(xì)節(jié)增強(qiáng)程度,對(duì)兩種方法處理后圖像的離散信息熵(公式11)進(jìn)行了計(jì)算,結(jié)果如表1所示。
其中,ak表示灰度值為k的像素點(diǎn);P(ak)為像素點(diǎn)ak在圖像中出現(xiàn)的概率。
可以看出,和直方圖均衡化算法相比,本文算法處理圖像的離散信息熵提高了48%~58%。說(shuō)明原始圖像經(jīng)本文算法增強(qiáng)后,含有更大的信息量,灰度層次更豐富,邊緣細(xì)節(jié)信息得到了有效增強(qiáng)。
本文利用噪聲指數(shù)[10]來(lái)衡量處理后圖像的噪聲大小,其定義為:
從表1的計(jì)算結(jié)果可以看出,本文算法的噪聲指數(shù)僅為直方圖均衡化算法的5%。這說(shuō)明本文算法有效區(qū)分了有用信號(hào)和噪聲,在對(duì)圖像進(jìn)行增強(qiáng)的同時(shí)沒(méi)有進(jìn)行噪聲過(guò)增強(qiáng);而且采取的降噪措施切實(shí)可行。
表1 兩種算法的客觀評(píng)價(jià)指標(biāo)對(duì)比
本文提出了一種基于小波域的紅外夜視圖像自適應(yīng)增強(qiáng)系統(tǒng)。對(duì)不同內(nèi)容的圖像進(jìn)行自適應(yīng)動(dòng)態(tài)范圍擴(kuò)展,可以根據(jù)圖像的亮度統(tǒng)計(jì)特性自動(dòng)確定變換函數(shù),在擴(kuò)大圖像暗區(qū)動(dòng)態(tài)范圍的同時(shí),避免了圖像過(guò)亮,有效防止了圖像細(xì)節(jié)信息的丟失。根據(jù)小波系數(shù)的方向性進(jìn)行紋理保護(hù)高斯濾波,在去除噪聲信號(hào)的同時(shí),避免了邊緣細(xì)節(jié)信息的損失。噪聲抑制邊緣增強(qiáng)技術(shù)通過(guò)估計(jì)噪聲閾值,采取非線性閾值增強(qiáng)函數(shù)對(duì)高頻系數(shù)進(jìn)行邊緣細(xì)節(jié)增強(qiáng),同時(shí)避免了噪聲信號(hào)的放大。實(shí)驗(yàn)結(jié)果表明,本文算法不僅在主觀視覺(jué)方面的表現(xiàn)超越了直方圖均衡化算法,且離散信息熵提高了48% ~58%,噪聲指數(shù)僅為直方圖均衡化算法的5%,處理后的圖像滿足人眼觀察和機(jī)器識(shí)別的要求。今后的研究工作在于紅外夜視視頻序列的增強(qiáng),以及在嵌入式系統(tǒng)上對(duì)算法進(jìn)行優(yōu)化實(shí)現(xiàn)。
[1]Stark J A.Adaptive image contrast enhancement using generalizations ofhistogram equalization[J].IEEE Trans.on Image Processing,2000,9(5):889 -896.
[2]Lau S S Y.Global image enhancement using local information[J].Eletron.Letters,1994,30(2):122 -123.
[3]Zeyun Yu,Chandrajit Bajaj.A fast and adaptive method for image contrast enhancement[C]//Proc.of ICIP 2004,2004:1001-1003.
[4]A W CalderBank,I Daubechies,W Sweldons.Wavelet transforms that map integers to integers[J].Applied and computational harmonic analysis,1998,5(3):332 -369.
[5]Li Qingzhong,Wang Wenjin.Low-bit-rate coding of underwater color image using improved wavelet difference reduction[J].Journal of visual communication and image representation,2010,21(7):762 -769.
[6]Yang Shubin,He Xi,Cao Heng.Double-plateaus histogram enhancement algorithm for low-light-level[J].Journal of convergence information technology,2011,6(1):251-256.
[7]Wang Zhenhua,Dou Lihua,Chen Jie.An adaptive gaussian filter with scale adjustable[J].Optical Technique,2007,32(3):395 -402.(in Chinese)王振華,竇麗華,陳杰.一種尺度自適應(yīng)調(diào)整的高斯濾波器設(shè)計(jì)方法[J].光學(xué)技術(shù),2007,32(3):395 -402.
[8]David L Donoho,Iain M Johnstone.Ideal spatial adaption via wavelet shrinkage[J].Biometrika,1994,81(3):425-455.
[9]Ma Shichao,Wang Zhensong.Rapid comuptation of trigonometric function on dsp[J].Computer Engineering,2005,3(22):12 -14.(in Chinese)馬士超,王貞松.基于DSP的三角函數(shù)快速計(jì)算[J].計(jì)算機(jī)工程,2005,3(22):12 -14.
[10] John Immerkr.Fast noise variance estimation[J].Computer Vision and Image Understanding,1996,64(2):300-302.