高動態(tài)范圍紅外圖像壓縮與細(xì)節(jié)增強(qiáng)算法

劉永江，楊耿煌，董 建，劉 易

（天津職業(yè)技術(shù)師范大學(xué)自動化與電氣工程學(xué)院，天津300222）

在現(xiàn)代光學(xué)成像系統(tǒng)中，可見光成像技術(shù)可以獲取細(xì)節(jié)豐富、空間分辨率高的圖像，但易受低照度、霧霾、雨雪等惡劣環(huán)境的影響[1]。利用紅外成像技術(shù)測量物體向外輻射的熱量，可將場景中紅外波段的信息轉(zhuǎn)換成人眼可見的紅外圖像，從而抵消無關(guān)信息特征干擾[2]。因此，紅外成像技術(shù)現(xiàn)已廣泛應(yīng)用于軍事及民用環(huán)境，常見于夜間軍事行動、小區(qū)安防、工業(yè)測溫等。現(xiàn)階段，針對紅外成像技術(shù)的研究主要集中在高動態(tài)范圍壓縮與細(xì)節(jié)增強(qiáng)方向。該方向能夠解決如下問題：①工程上常用的紅外探測器，如紅外焦平面探測器，通常將采集的信息構(gòu)建為14位16 384灰度級的圖像，而人體視覺系統(tǒng)僅能識別8位256灰度級的圖像[3]，并且許多模擬和數(shù)字視頻接口要求8位數(shù)據(jù)精度，在人機(jī)交互時存在技術(shù)障礙，因此將高位階圖像動態(tài)限制到低位階尤為重要；②在動態(tài)圖像壓縮過程中存在細(xì)節(jié)丟失、噪聲放大、梯度翻轉(zhuǎn)等問題，需要對紅外圖像進(jìn)行細(xì)節(jié)增強(qiáng)，并以此來保留信息特征，以防特征值失效。

針對紅外圖像灰度級集中分布在一小塊區(qū)域，導(dǎo)致圖像亮度較暗問題，文獻(xiàn)[4]提出基于直方圖均衡化（histogram equalization，HE）紅外圖像增強(qiáng)方法，有效提高紅外圖像對比度，然而此方法對紅外圖像弱小細(xì)節(jié)增強(qiáng)的效果不夠明顯，易出現(xiàn)局部過亮或過暗現(xiàn)象。針對紅外圖像壓縮過程中圖像細(xì)節(jié)丟失問題，文獻(xiàn)[5-6]提出基于圖像分層處理的增強(qiáng)方法，有效突出圖像細(xì)節(jié)，但這樣會給背景層引入噪聲，時間復(fù)雜度較高。針對紅外圖像增強(qiáng)過程中引入噪聲問題，本文提出了一種基于對比度限制直方圖均衡（contrasted limited adaptive histogram equalization，CLAHE）的動態(tài)范圍紅外圖像壓縮及細(xì)節(jié)增強(qiáng)算法，以解決紅外圖像壓縮過程中出現(xiàn)的光暈、細(xì)節(jié)丟失、噪聲放大等問題。

1 分層處理的圖像增強(qiáng)

為了突出紅外圖像背景層中的目標(biāo)，本文用分層思想對紅外圖像進(jìn)行處理。首先，利用導(dǎo)向濾波對深度為14 bit的紅外圖像進(jìn)行處理，獲得低空間頻率層（low spatial frequency layer，LSFL）；其次，將原始圖像與低空間頻率層對應(yīng)像素相減生成高空間頻率層（high spatial frequency layer，HSFL）；最后，對壓縮后的LSFL和銳化后的HSFL進(jìn)行線性疊加，得到細(xì)節(jié)增強(qiáng)的8 bit圖像，該算法框圖如圖1所示。

圖1 基于CLAHE的紅外圖像動態(tài)壓縮和細(xì)節(jié)增強(qiáng)算法框圖

傳統(tǒng)算法使用雙邊濾波器（bilateral filter，BF）[7]進(jìn)行圖像分層，但由于經(jīng)過BF處理過的圖像邊界會出現(xiàn)梯度翻轉(zhuǎn)、光暈等現(xiàn)象，本文使用導(dǎo)向濾波（guided filter，GF）進(jìn)行分層處理。GF是一種保邊平滑濾波器[8]，其原理是利用引導(dǎo)圖像與輸入圖像在局部特征上呈現(xiàn)的線性關(guān)系，采用最小二乘法，使輸出圖像逼近原圖像，引入?yún)⒄請D像可以有效保持邊緣，避免梯度翻轉(zhuǎn)，降低時間復(fù)雜度。其計算式為

式中：qi為輸出像素的值；Ii為參照像素的值；ak和bk均為當(dāng)窗口中心位于k時，該線性函數(shù)的系數(shù)。

為實現(xiàn)輸出與參照圖像差異盡可能小，對系數(shù)（ak，bk）求解，轉(zhuǎn)化成回歸問題，利用最小二乘法解得差異最小的系數(shù)

式中：μk為圖像Ii在窗口ωk中的平均值為待濾波圖像P在窗口ωk中的均值；σk2為I在窗口ωk中的方差；ω為窗口ωk中像素的數(shù)量；?為正則化系數(shù)。

當(dāng)以待濾波圖像作為導(dǎo)向圖時，系數(shù)（ak，bk）可簡化成為

由式（3）可知，導(dǎo)向濾波器作為保邊平滑濾波器的原因在于：對于相對平滑的區(qū)域，窗口內(nèi)的方差σk2遠(yuǎn)小于正則化系數(shù)?，從而ak近似于0，bk近似于pˉk，相當(dāng)于對平滑區(qū)域進(jìn)行均值濾波；對于邊緣區(qū)域，方差σk2遠(yuǎn)大于正則化系數(shù)?，從而ak近似于1，bk近似于0，相當(dāng)于在邊緣區(qū)域保持原有梯度。導(dǎo)向濾波過程中重要的是濾波窗口的半徑和正則化系數(shù)的設(shè)置，本文設(shè)置濾波窗口半徑ω=4，ω=8；正則化系數(shù)?=0.01，?=0.04和?=0.16，通過兩兩組合，一共6種排列，不同排列情況的濾波圖像如圖2所示。

圖2 不同半徑和正則化系數(shù)的導(dǎo)向濾波結(jié)果

從圖2可知，隨著濾波窗口和正則化系數(shù)的增大，濾波效果增強(qiáng)，大部分的背景和細(xì)節(jié)信息被濾除。為了保證后續(xù)的處理，本文選擇窗口半徑ω=8，正則化系數(shù)?=0.04進(jìn)行導(dǎo)向濾波處理。

2 低空間頻率層的壓縮及去噪

14 bit紅外圖像經(jīng)過導(dǎo)向濾波得到對比度較低的LSFL后，需要動態(tài)范圍壓縮，由于AHE算法[9]會過度提高對比度，導(dǎo)致出現(xiàn)局部噪聲放大現(xiàn)象，本文使用CLAHE算法限制對比度提高程度，解決AHE算法出現(xiàn)的問題。對比度與像素點(diǎn)概率分布直方圖成比例，在計算像素周邊累積直方圖函數(shù)（cumulative distribution function，CDF）前，預(yù)先設(shè)定閾值，將大于一定閾值的部分平均裁剪到直方圖其他灰度級上，達(dá)到限制放大幅度效果，其主要步驟為：①將紅外圖像分成M×N個圖像塊，計算所有圖像塊的分辨率、微調(diào)水平和垂直像素尺寸，實現(xiàn)圖像整除。②設(shè)定紅外圖像的灰度取值范圍，建立映射表（look up table，LUT），映射范圍為0～255，實現(xiàn)14 bit紅外圖像壓縮到8 bit灰度級，并以此為基礎(chǔ)，對每個圖像塊建立直方圖。③對圖像塊直方圖進(jìn)行歸一化處理，設(shè)定裁剪閾值，取值范圍0～1，對每個圖像塊進(jìn)行直方圖裁剪。④對算法進(jìn)行插值計算，加快計算速度，得到經(jīng)過壓縮的紅外圖像。

經(jīng)過CLAHE算法后，14 bit紅外圖像轉(zhuǎn)換為8 bit，灰度直方圖如圖3所示，CLAHE算法后以及均值濾波后紅外圖像如圖4所示。

圖3 紅外圖像直方圖

圖4 CLAHE算法后以及均值濾波后紅外圖像

為了避免高頻成分對背景層的影響，對經(jīng)過CLAHE壓縮后得到的8 bit紅外圖像進(jìn)行均值濾波處理[10]，選取3×3模板，用中間像素點(diǎn)鄰域內(nèi)像素點(diǎn)算數(shù)平均值替換突變像素點(diǎn)，實現(xiàn)紅外圖像的增強(qiáng)。從圖4可以看出，經(jīng)過平滑濾波后的紅外圖像濾除掉了一些細(xì)節(jié)信息。

3 高空間頻率層的細(xì)節(jié)銳化

高空間頻率層由原始紅外圖像和低空間頻率層圖像相減得到，像素值有正有負(fù)，需要進(jìn)行去像素負(fù)值操作。并且拉普拉斯算子對噪聲敏感，易出現(xiàn)過度放大噪聲現(xiàn)象，因此在使用拉普拉斯算子銳化圖像之前要進(jìn)行噪聲濾除。

中值濾波是一種基于統(tǒng)計理論的、利用排序算法的、能夠有效消除噪聲的非線性圖像處理技術(shù)[11]。中值濾波常用于存在椒鹽噪聲的圖像，本文中生成高空間頻率層像素值有正有負(fù)，類似于椒鹽噪聲，因此先使用3×3窗口的中值濾波對高空間頻率進(jìn)行處理。

拉普拉斯算子屬于邊緣檢測范疇，在工程應(yīng)用中用來做空間銳化濾波器，可增強(qiáng)圖像中灰度值突變區(qū)域的紋理細(xì)節(jié)，減弱灰度值變化緩慢的區(qū)域[12]。拉普拉斯算子為二階微分線性算子，相對于一階微分線性算子，二階微分算子在處理圖像紋理細(xì)節(jié)信息時邊緣定位能力更強(qiáng)，銳化效果更好，其差分形式為

根據(jù)式（6），將拉普拉斯算子表示成掩膜版（filtermask，F(xiàn)M）的形式，由于拉普拉斯是各向同性濾波器，即圖像旋轉(zhuǎn)后，濾波效果不變，這就要求掩膜版是對稱的。

使用拉普拉斯算子的掩膜版在經(jīng)過中值濾波后的紅外圖像上逐行移動，用FM中的數(shù)值和圖像中對應(yīng)的像素相乘求和，賦值給與FM中心重合的像素點(diǎn)，對圖像的第一和最后的行列無法進(jìn)行卷積計算的像素值賦0，最終得到拉普拉斯銳化過的圖像，原始高空間頻率層和銳化濾波后的高空間頻率層如圖5所示。

圖5 原始高空間頻率層和銳化濾波后的高空間頻率層

4 低空間和高空間頻率層合成

經(jīng)過平滑處理的LSFL和銳化處理的HSFL需要進(jìn)行合成，合成圖像的灰度級應(yīng)為0～255。對LSFL和HSFL分配權(quán)重進(jìn)行線性融合，低空間頻率層權(quán)重設(shè)置為k（0＜k＜1），則高空間頻率層設(shè)置為1-k，表達(dá)式為

式中：Iout為合成圖像；ILSFL為低空間頻率層圖像；IHSFL為高空間頻率層圖像。

低空間頻率層和高空間頻率層加權(quán)融合過程中，重要的是權(quán)重參數(shù)的設(shè)置，本文設(shè)置3組權(quán)重參數(shù)并進(jìn)行融合圖像觀察，分別為k=0.2，k=0.5，k=0.8，3種不同權(quán)重的融合圖像如圖6所示。

圖6 3種不同權(quán)重的融合圖像

通過融合圖像發(fā)現(xiàn)，隨著低空間頻率層權(quán)重的增加，融合圖像中的信息越來越豐富，但是引入了大量的干擾信息，通過綜合考量，本文選擇權(quán)重參數(shù)k=0.5進(jìn)行低空間頻率層和高空間頻率層的融合。

低空間頻率層和高空間頻率層在融合過程中會降低圖像的亮度，本文使用Gamma變換對輸入圖像灰度值進(jìn)行非線性亮度提高[13]，使輸出圖像與輸入圖像灰度值呈指數(shù)關(guān)系，其公式為

式中：Vout為輸出灰度級水平；Vin為輸入灰度級水平，取值范圍0～1，先進(jìn)行歸一化操作，再進(jìn)行指數(shù)操作；A為常數(shù)，一般值為1。

Gamma變換通過非線性變換，將相機(jī)曝光或曝光不足的圖像進(jìn)行矯正，經(jīng)過Gamma變換后輸入和輸出圖像的灰度值如圖7所示。

圖7 Gamma分布密度函數(shù)圖像

圖7中，黑色曲線代表Gamma的值為1，即原圖；當(dāng)Gamma的值小于1時，圖像中較亮的區(qū)域灰度被壓縮，較暗的區(qū)域灰度被拉升，圖像整體變亮；當(dāng)Gamma的值大于1時，圖像較亮的區(qū)域灰度被拉升，較暗的區(qū)域灰度被壓縮，圖像整體變暗。

根據(jù)Gamma變換的特性以及本文合成的紅外圖像對比度降低現(xiàn)象，設(shè)γ=0.2，γ=0.4，γ=0.6，γ=2.5，γ=5，實驗結(jié)果如圖8所示。

圖8 Gamma變換圖像

從圖8可以看出，當(dāng)Gamma的值小于1時，圖像對比度明顯提高；當(dāng)Gamma的值大于1時，圖像對比度下降。通過綜合考量，本文選取Gamma值為0.6。

5 實驗結(jié)果及分析

為了驗證本文算法的有效性，使用Riad博士[14]公開的OTCBVS紅外圖像/視頻數(shù)據(jù)集進(jìn)行算法驗證，使用Matlab R2018進(jìn)行仿真，硬件環(huán)境為Windows 10，CPU為CORE i7，主頻2.6 GHz，運(yùn)行內(nèi)存8 G。通過選取不同場景下的14 bit原始紅外圖像，與平臺直方圖均衡、基于小波變換的圖像增強(qiáng)、基于雙邊濾波的圖像增強(qiáng)方法進(jìn)行對比，對比圖像如圖9所示。

圖9 不同增強(qiáng)算法效果對比

從人眼主觀角度評價不同算法的增強(qiáng)效果，經(jīng)過PE[15]算法處理后的紅外圖像，圖像對比度得到提高，但是圖像中潛在的弱小細(xì)節(jié)增強(qiáng)不明顯；基于小波變換算法處理后的紅外圖像，較原始圖像改善效果不明顯；基于雙邊濾波算法和本文算法處理后的紅外圖像，圖像對比度都得到顯著提高，但是本文算法得到的圖像質(zhì)量明顯優(yōu)于雙邊濾波，并且弱小細(xì)節(jié)得到有效突出。如場景1中門框上的條紋，道路兩邊的路燈清晰可見；場景2中路面的磚塊，夜空的云彩顯示效果明顯好于雙邊濾波；場景3中馬路上的廣告牌、行人、車輛等輪廓明顯。

為了定量評價算法增強(qiáng)效果，本文從標(biāo)準(zhǔn)差、平均梯度和信息熵3種指標(biāo)對不同算法的增強(qiáng)效果進(jìn)行客觀評價，如表1所示。

表1 不同增強(qiáng)算法客觀評價指標(biāo)

從表1可以看出，本文算法在標(biāo)準(zhǔn)差、平均梯度、信息熵指標(biāo)均取得最大值，證明本文算法可以有效改善紅外圖像的對比度并能突出弱小細(xì)節(jié)。

6 結(jié)語

本文采用基于分層處理的圖像增強(qiáng)算法，針對動態(tài)范圍壓縮及細(xì)節(jié)增強(qiáng)過程中存在的一系列問題，提出了一種基于CLAHE的動態(tài)范圍紅外圖像壓縮及細(xì)節(jié)增強(qiáng)算法。通過分層處理，對低空間頻率層進(jìn)行動態(tài)壓縮，對高空間頻率層進(jìn)行銳化，有效解決了梯度翻轉(zhuǎn)、細(xì)節(jié)丟失問題。通過主觀和客觀評價，對比其他增強(qiáng)算法，本算法可以有效突出紅外圖像中隱藏的細(xì)節(jié)，在動態(tài)范圍壓縮過程中有效增強(qiáng)了對比度、削弱了噪點(diǎn)，紅外圖像的質(zhì)量得到有效改善。