低頻重分布與邊緣增強的紅外圖像增強算法

鄧春華,周 勇

(1.江西應(yīng)用科技學(xué)院軟件與區(qū)塊鏈學(xué)院,江西 南昌 330100；2.江西師范大學(xué)計算機信息工程學(xué)院,江西 南昌 330027)

1 引 言

紅外成像具有隱蔽性好和抗干擾性能強等優(yōu)點,廣泛應(yīng)用于軍事、民用和醫(yī)療等領(lǐng)域[1],但是由于平面探測器靈敏度不高、鏡頭光圈數(shù)和鏡頭景深不夠以及物體的溫度分布影響,紅外成像的清晰度和對比度往往較低,畫面較模糊[2]。因此,紅外圖像增強對紅外圖像的分析和應(yīng)用非常重要。直方圖均衡化[3]用變換函數(shù)增大圖像灰度級的動態(tài)范圍,以提升圖像的對比度,但是會壓縮微小細(xì)節(jié)的灰度級范圍,過增強圖像的部分背景。雙直方圖均衡化[4]根據(jù)圖像的亮度中值對圖像直方圖進(jìn)行劃分,再分別進(jìn)行均衡化處理,以提升圖像的信息熵和平均亮度。為了減少微小細(xì)節(jié)的欠增強和背景的過增強,平臺直方圖均衡[5]通過設(shè)置閾值,以保護(hù)這部分圖像信息。但是閾值的設(shè)置缺乏魯棒性,對部分圖像未必有效。自適應(yīng)直方圖均衡[6]對圖像的局部直方圖進(jìn)行自適應(yīng)的均衡化,具有一定的魯棒性,但是會帶來噪聲。于是,限制對比度的自適應(yīng)直方圖均衡方法[7]在均衡化的過程中結(jié)合對比度限制,以抑制噪聲的放大。文獻(xiàn)[8]對紅外圖像進(jìn)行自適應(yīng)的直方圖均衡化后,再次用拉普拉斯變換進(jìn)行細(xì)節(jié)銳化。

基于直方圖的紅外圖像增強方法通過灰度級的重分布來改善圖像的質(zhì)量,但是忽略了圖像在空間分布上的幾何特征。為了有效地保持和增強紅外圖像的幾何特征,基于Retinex的圖像增強方法將紅外圖像分解為基礎(chǔ)層和細(xì)節(jié)層,然后分別進(jìn)行增強處理[9-10]。文獻(xiàn)[11]對基礎(chǔ)圖像進(jìn)行自適應(yīng)拉伸,而對細(xì)節(jié)圖像進(jìn)行非線性曲線校正,以提升紅外圖像的對比度。文獻(xiàn)[12]用主特征提取法獲得紅外圖像的基礎(chǔ)層和細(xì)節(jié)層,分別增強它們的對比度。但是對基礎(chǔ)層的對比度增強處理會破壞圖像的亮度分布,使得增強圖像出現(xiàn)偽影。為了消除因圖像增強而產(chǎn)生的光暈和偽影,Umoh等人[13]提出一種基于鄰域小波閾值系數(shù)的紅外圖像增強技術(shù),通過小波閾值濾波和多尺度小波重構(gòu)實現(xiàn)紅外圖像的細(xì)節(jié)增強。文獻(xiàn)[14]提出多尺度卷積和自適應(yīng)雙區(qū)間的直方圖均衡化,對紅外圖像的細(xì)節(jié)和對比度進(jìn)行拉伸,并使用均方差和平均灰度均衡以提高圖像的亮度。

為了克服現(xiàn)有紅外圖像增強方法存在的欠增強、過增強以及光暈和偽影等缺陷,提出了低頻重分布與邊緣增強的紅外圖像增強算法。用改進(jìn)的引導(dǎo)濾波提取紅外圖像低頻和高頻部分,對低頻圖像的像素進(jìn)行均勻重分布,而用提出的方向梯度算子對高頻圖像進(jìn)行邊緣增強,實驗證明了本文方法的增強效果優(yōu)于部分最新提出的增強方法。

2 改進(jìn)引導(dǎo)濾波的圖像分解

Retinex理論認(rèn)為,當(dāng)光照條件產(chǎn)生變化時,人眼視覺對物體顏色的感知保持不變,即顏色恒常性,另外,人眼視覺感知的圖像,是由外界的光照分量和物體本身的反射分量的乘積組成,即:

I=L×R

(1)

其中,I為圖像；L為光照分量；R為反射分量。光照分量L的強度變化緩慢,為圖像的低頻成分,而反射分量R決定于成像物體表面固有的特性,表現(xiàn)為圖像的高頻成分。為了計算和處理上的方便,將式(1)轉(zhuǎn)換到對數(shù)域,得:

lnI=lnL+lnR

(2)

將式(2)進(jìn)一步等價變換,可得反射分量R的表達(dá)式:

R=exp(lnI-lnL)

(3)

因此,只要得到圖像的光照分量L,就可以由式(3)得到圖像的反射分量。由于高斯濾波具有良好的低通濾波能力,一般選取高斯濾波器對圖像I進(jìn)行濾波獲得圖像的光照部分,也即低頻成分:

L=G*I

(4)

其中,*為卷積運算;G為高斯濾波核:

(5)

其中,σ為空間標(biāo)準(zhǔn)差。

對L和R分別進(jìn)行增強處理后,根據(jù)式(2)作變換,得到增強的紅外圖像:

I=exp(lnL+ lnR)

(6)

根據(jù)高斯濾波核的定義式(5),明顯可以看出,高斯濾波核是基于空間距離的高斯分布,且具有各向同性,忽略了像素域的邊緣紋理,邊緣保持能力較差。相對地,引導(dǎo)濾波具有良好的邊緣保持能力,因此本文提出改進(jìn)的引導(dǎo)濾波以提取圖像的低頻成分。

引導(dǎo)濾波基于引導(dǎo)圖像,將圖像的每一像素與其鄰域像素定義為線性關(guān)系而進(jìn)行局部線性濾波,再將局部線性濾波結(jié)果累加得到濾波圖像。引導(dǎo)濾波定義為[15]:

ri=akgi+bk,i∈Nk

(7)

其中,Nk為引導(dǎo)圖像中以像素k為中心的鄰域;ak和bk為Nk的線性系數(shù)。濾波圖像r應(yīng)盡可能保持圖像的邊緣和紋理,與輸入的原圖像I接近,用最小二乘法進(jìn)行擬合,代價函數(shù)為:

(8)

其中,ε為正則化系數(shù),ε越大,平滑效果越明顯,ε越小,邊緣保持越好。通過線性回歸求解代價函數(shù)C,可得系數(shù)ak和bk分別為:

(9)

(10)

(11)

一般地,選取輸入圖像I作為引導(dǎo)圖像g,于是根據(jù)式(9)和(10),ak和bk簡化為:

(12)

bk=(1-ak)uk

(13)

雖然引導(dǎo)濾波具有良好的邊緣保持能力,但是用統(tǒng)一的正則化系數(shù)ε處理所有的圖像區(qū)域,濾波圖像容易產(chǎn)生光暈現(xiàn)象。因為除了圖像區(qū)域的方差外,正則化系數(shù)ε在較大程度上左右濾波處理的平滑和細(xì)節(jié)保持效果,而固定不變的正則化系數(shù)ε缺乏區(qū)域特性的敏感性,容易產(chǎn)生光暈現(xiàn)象。因此,本文對引導(dǎo)濾波進(jìn)行改進(jìn),提出了基于自適應(yīng)正則化系數(shù)的引導(dǎo)濾波,以更準(zhǔn)確地提取紅外圖像的低頻和高頻部分。

根據(jù)鄰域的信息熵區(qū)分當(dāng)前鄰域的平滑和細(xì)節(jié)的特性,自適應(yīng)的自適應(yīng)正則化系數(shù)為:

(14)

正則化系數(shù)ε自適應(yīng)于當(dāng)前鄰域N的信息熵,而分子的原圖像的信息熵Entropy(I)起到歸一化的作用。當(dāng)前鄰域N處于細(xì)節(jié)區(qū)域時,N的信息熵較大,而ε的值偏小,進(jìn)一步保持了圖像的紋理細(xì)節(jié)；而當(dāng)前鄰域N處于平滑區(qū)域時,N的信息熵較小,而ε的值偏大,進(jìn)一步提升平滑的效果。

3 低頻圖像的均勻重分布

決定圖像效果的因素為亮度和對比度,亮度過小或過大,以及像素分布不均都會影響圖像效果。理想的圖像效果為充分利用整個像素級空間和像素在整個像素級空間中相對均勻分布。一般地,圖像效果可以通過圖像的直方圖予以體現(xiàn),如圖1所示。圖1(a)的直方圖分布過于集中且偏左,對應(yīng)的圖像較暗且對比度低；圖1(b)的直方圖分布位置適宜但過于集中,對應(yīng)的圖像亮度適宜,但是對比度低；圖1(c)的直方圖過于集中且偏右,對應(yīng)的圖像亮度過大,且對比度低；圖1(d)的直方圖相對均勻地分布于整個像素級空間,且分布的主峰處于像素級范圍的中間,對應(yīng)的圖像亮度較適宜,對比度較高。

圖1 直方圖的例析

紅外圖像的成像機理決定了紅外圖像總體亮度較暗,對比度較低。為了提升紅外圖像的亮度和清晰度,使得隱藏于暗區(qū)的圖像細(xì)節(jié)正常顯示,同時為了避免圖像的過增強,基于以上分析,本文提出了一種低頻圖像的相對均勻重分布方法,用數(shù)學(xué)模型表示為:

Le=MaxIntensity*(L-min(L))/(max(L)-min(L))

(15)

其中,L和Le分別為歸一化后的低頻圖像和像素相對均勻重分布后的低頻圖像,MaxIntensity為最大像素值,max和min分別為最大、最小函數(shù)。式(15)將低頻圖像的直方圖分布,在整個像素級空間中按照像素值的大小順序,相對均勻地重分布,實現(xiàn)了整個像素級空間的充分利用、直方圖相對均勻分布以及直方圖的主峰處于像素級空間的中間。因此,重分布提升了低頻圖像的亮度和清晰度。以下為像素相對均勻重分布的一個例析,如表1所示。

表1 像素相對均勻重分布例析

表1中對應(yīng)于原圖像和像素相對均勻重分布后的直方圖如圖2所示。很明顯,相對于原圖像的直方圖,像素相對均勻重分布后的直方圖,近似均勻地分布于整個像素級空間,主峰處于空間范圍的中間。因此圖像的亮度較適宜,對比度較高。

圖2 直方圖相對均勻重分布前后的對比

4 高頻圖像的邊緣增強

紅外成像機理導(dǎo)致紅外圖像的對比度較低,對低頻圖像的直方圖進(jìn)行相對均勻重分布,是為了提升亮度以將隱藏于暗區(qū)的圖像細(xì)節(jié)清晰顯示,或者使得亮度較暗的圖像細(xì)節(jié)更加清晰。為進(jìn)一步提升紅外圖像的對比度,本文提出了基于方向梯度算子的高頻圖像邊緣增強方法。

根據(jù)圖像的邊緣走向以及鄰域像素基于空間距離的相關(guān)性,本文提出了一種方向梯度算子,如圖3所示。方向梯度算子包括水平、垂直和正、反對角線四個方向的梯度,基本上能夠獲取圖像的所有紋理方向。梯度算子用反比于空間距離的梯度系數(shù)體現(xiàn)鄰域像素對中心像素的梯度相關(guān)性,能更準(zhǔn)確地提取圖像各方向的邊緣信息。

圖3 多向梯度算子

如果高頻圖像的對比度較高,用梯度算子對其進(jìn)行卷積運算將會獲得邊緣較粗的邊緣圖像,但是為了避免過增強,對比度較高的圖像只需較小程度的邊緣增強。如果高頻圖像的對比度較低,用梯度算子對其進(jìn)行卷積運算將會獲得邊緣較微弱的邊緣圖像,但是為了進(jìn)一步提高圖像的對比度,對比度較低的圖像需要較大程度的邊緣增強。根據(jù)以上分析和實驗驗證,本文對高頻圖像采用自適應(yīng)于局部信息熵的非線性邊緣增強:

Re(k)=R(k)+E(k)/Entropy(Nk)

(16)

其中,R(k)為高頻圖像R中像素k的像素值;E為用上述方向梯度算子提取的邊緣圖像;Nk為高頻圖像中以像素k為中心的鄰域,Entropy為信息熵函數(shù),圖像鄰域的信息越豐富,其信息熵越大。從增強的定義式(16)可以看出,對高頻圖像的像素k的增強自適應(yīng)地反比于其鄰域Nk的信息熵。如果像素k對應(yīng)的鄰域Nk較清晰,則其信息熵較大,對像素k進(jìn)行較小程度的邊緣增強；如果像素k對應(yīng)的鄰域Nk較模糊,則其信息熵較小,對像素k進(jìn)行較大程度的邊緣增強。

5 實驗與結(jié)果分析

在安裝有Win11系統(tǒng)和Matlab 2021a軟件、處理器為i7 CPU和內(nèi)存為8 GB的計算機上部署實驗。用三個場景紅外圖像,根據(jù)視覺效果和圖像質(zhì)量指標(biāo)信息熵、Brenner梯度函數(shù)和無參考圖像質(zhì)量指標(biāo)NIQE,將本文方法與部分最新提出的方法進(jìn)行實驗比較分析,這些方法分別為文獻(xiàn)[7]、[8]、[13]和[14]提出的方法。信息熵H、Brenner梯度和NIQE定義為[16-18]

(17)

(18)

(19)

其中,H和W分別為圖像的高和寬;v1、v2、∑1和∑2分別為自然圖像和失真圖像的多變量高斯模型的均值和方差矩陣。信息熵H值越大,表示圖像信息越豐富；Brenner值越大,圖像越清晰；NIQE值越小,圖像質(zhì)量越高。

各算法對場景一圖像的增強效果如圖4所示。各算法對圖像的亮度和對比度均有不同程度的提升,但文獻(xiàn)[7]和[8]在亮度上仍然偏暗,對比度的提升不明顯；文獻(xiàn)[13]、[14]和本文方法的亮度較適宜,但文獻(xiàn)[13]的圖像效果稍顯模糊,文獻(xiàn)[14]的對比度較高,但是圖像的邊緣產(chǎn)生明顯的光暈現(xiàn)象,而本文方法在保持圖像自然效果的同時,較大地提升了圖像的對比度。

圖4 各算法對場景一的增強圖像

圖5顯示了各算法對場景二的增強效果圖像。原圖像的細(xì)節(jié)豐富,但亮度較暗,對比度也較低。文獻(xiàn)[7]顯著提升了圖像的對比度,但是同時存在背景的欠增強和前景目標(biāo)的過增強,部分微小的圖像細(xì)節(jié)未能正常顯示,且整體圖像偏暗,文獻(xiàn)[8]適宜地提升了圖像的亮度,但是對比度欠佳,類似地,文獻(xiàn)[13]和[14]的圖像效果整體泛白,對比度的提升并不顯著。相對地,本文方法在適宜地提升圖像整體亮度的同時,能夠增強原本模糊的微小細(xì)節(jié),使其得以清晰顯示,圖像的整體對比度較高。

圖5 各算法對場景二的增強圖像

各算法對場景三圖像進(jìn)行增強的效果如圖6所示。原圖像存在大量的亮區(qū)方格邊緣,圖像的整體亮度不足。文獻(xiàn)[7]的圖像亮度較暗,以致其對比度提升不明顯,文獻(xiàn)[13]和[14]存在明顯的過增強,部分前景細(xì)節(jié)丟失,而文獻(xiàn)[8]和本文均有效地提升了圖像的亮度和對比度,且本文方法對方格邊緣的增強尤為明顯。

圖6 各算法對場景三的增強圖像

對增強圖像的主觀視覺感知難免有偏差,為了更準(zhǔn)確地比較各算法的增強效果,將各算法對應(yīng)于增強三個場景圖像的信息熵、Brenner梯度以及NIQE指數(shù)值列于表2,信息熵和Brenner梯度值越大越好,而NIQE指數(shù)值越小越好。

表2 各算法對三個場景圖像增強的質(zhì)量指數(shù)值

對于場景一,文獻(xiàn)[7]和[8]的信息熵和Brenner梯度值較小,NIQE指數(shù)較大,而文獻(xiàn)[14]和本文方法的信息熵和Brenner梯度值較大,NIQE指數(shù)較小。其中,本文方法的三個指標(biāo)值稍微優(yōu)于文獻(xiàn)[14]。

對于場景二,本文方法的信息熵略高于其他算法,而Brenner梯度明顯高于其他算法,比指數(shù)值較高的文獻(xiàn)[7]還高出50左右。對于NIQE指數(shù)值,本文方法明顯比其他方法小,比指數(shù)值較低的文獻(xiàn)[8]還小1.8左右。

對于場景三,相對地,本文方法和文獻(xiàn)[8]的三個圖像質(zhì)量指標(biāo)值較高,其中本文方法稍微優(yōu)于文獻(xiàn)[8],其信息熵和Brenner梯度值分別比文獻(xiàn)[8]高出大約0.28和500,而NIQE指數(shù)值比文獻(xiàn)[8]低約0.14。

6 結(jié) 論

為了在有效增強圖像的亮度和對比度的同時,保持圖像的自然效果,提出了低頻重分布與邊緣增強的紅外圖像增強算法?；诟倪M(jìn)的引導(dǎo)濾波,對紅外圖像的低頻部分進(jìn)行相對均勻重分布,而對高頻圖像進(jìn)行方向邊緣增強,實驗結(jié)果證明了本文方法的有效性,相對于部分現(xiàn)有的增強算法,本文方法具有優(yōu)越的增強性能,其增強圖像的亮度和對比度較高,同時具有更好的自然效果。