基于自適應(yīng)引導(dǎo)濾波的紅外圖像細(xì)節(jié)增強(qiáng)

路 陸，姜 鑫，楊錦程，朱 明，郝志成，王佳榮

（1.中國科學(xué)院 長春光學(xué)機(jī)密機(jī)械與物理研究所，吉林 長春 130033；2.重慶嘉陵華光光電科技有限公司，重慶 400000）

1 引 言

紅外成像系統(tǒng)具有良好的隱蔽性、抗干擾性以及可晝夜工作等特性，被廣泛應(yīng)用于軍事和民用領(lǐng)域［1］。然而，受熱輻射、熱交換等因素影響，紅外圖像常表現(xiàn)出圖像對(duì)比度低、邊緣細(xì)節(jié)不突出、視覺效果模糊等不足［1］，這將嚴(yán)重影響后續(xù)目標(biāo)探測識(shí)別等任務(wù)的執(zhí)行。此外，目前紅外探測器常使用12～14 bit模數(shù)轉(zhuǎn)換模塊［2］，輸出圖像動(dòng)態(tài)范圍遠(yuǎn)高于傳統(tǒng)顯示器的256個(gè)灰度級(jí)，不便于直接顯示觀察。因此，利用圖像處理方法將原始紅外圖像動(dòng)態(tài)范圍壓縮到顯示器顯示范圍、增強(qiáng)圖像細(xì)節(jié)，已成為當(dāng)前紅外應(yīng)用中必不可少的圖像處理操作之一。

2005年，美國FLIR公司提出了一種數(shù)字細(xì)節(jié)增強(qiáng)技術(shù)，同時(shí)完成了紅外圖像的高動(dòng)態(tài)范圍壓縮與細(xì)節(jié)增強(qiáng)［3］。2009年，Branchitta等［4］提出了一種基于雙邊濾波［5］和動(dòng)態(tài)范圍劃分的細(xì)節(jié)增強(qiáng)算法（Bilateral Filter and Dynamic Range Partitioning，BF&DRP），該算法基于分層處理架構(gòu)，將輸入圖像分解成基礎(chǔ)層和細(xì)節(jié)層，壓縮基礎(chǔ)層動(dòng)態(tài)范圍，增強(qiáng)細(xì)節(jié)層圖像細(xì)節(jié)，然后將處理結(jié)果融合在一起。在此基礎(chǔ)上，Zuo等［2］將雙邊濾波權(quán)重系數(shù)作為細(xì)節(jié)層自適應(yīng)增益因子，有效抑制梯度反轉(zhuǎn)偽像。Liu等［6］使用引導(dǎo)濾波［7］代替雙邊濾波，有效避免梯度反轉(zhuǎn)偽像。Zhou等［8］在Liu等［6］的方法基礎(chǔ)上，使用引導(dǎo)濾波線性系數(shù)作為細(xì)節(jié)層增益掩膜，進(jìn)一步抑制平坦區(qū)域噪聲。然而，Liu等［6］和Zhou等［8］算法中都使用固定值作為引導(dǎo)濾波的正則化系數(shù)，同一個(gè)正則化參數(shù)很難適應(yīng)所有應(yīng)用場景。為此，本文提出一種基于自適應(yīng)引導(dǎo)濾波的紅外圖像細(xì)節(jié)增強(qiáng)算法，自適應(yīng)選擇引導(dǎo)濾波正則化系數(shù)，進(jìn)一步提高算法的場景適應(yīng)性。

2 基礎(chǔ)理論

2.1 引導(dǎo)濾波

引導(dǎo)濾波［7］（Guided Image Filtering，GIF）是一種基于局部線性模型的濾波器，其假設(shè)在局部窗口wk內(nèi)引導(dǎo)圖像I與濾波輸出圖像q滿足線性關(guān)系：

其中，qi和Ii分別表示輸出圖像和參考圖像的第i個(gè)像素灰度值，(ak，bk)是在局部窗口wk內(nèi)為常量的線性系數(shù)。最小化代價(jià)函數(shù)為

可獲得

其中，μk和σ2k分別表示參考圖像I在局部窗口wk內(nèi) 的 均值 和 方差，pi和pˉk分 別表 示 輸 入 圖 像p的第i個(gè)像素灰度值和局部窗口wk內(nèi)的平均灰度值，|w|表示局部窗口wk內(nèi)的像素?cái)?shù)，ε表示正則化系數(shù)。

輸出像素qi被多個(gè)窗口wk覆蓋，可以獲得多個(gè)可能值，平均所有可能值是最簡單有效的估計(jì)方法：

2.2 平臺(tái)直方圖均衡化

平 臺(tái) 直 方 圖 均 衡 化［9］（Plateau Histogram Equalization，PHE）是一種直方圖均衡化改進(jìn)算法，它引入平臺(tái)閾值，解決傳統(tǒng)直方圖均衡化過增強(qiáng)問題，在紅外圖像增強(qiáng)領(lǐng)域中有廣泛應(yīng)用。

PHE計(jì)算過程如下：首先，削掉大于平臺(tái)閾值T的直方圖：

其中，H(i)為原始直方圖，HT(i)為平臺(tái)直方圖。然后，計(jì)算歸一化累計(jì)分布函數(shù)：

其中，R表示輸入圖像動(dòng)態(tài)范圍。

最后，PHE的輸出圖像可以表示為

其中，D表示輸出圖像動(dòng)態(tài)范圍，Iin(i)表示輸入圖像Iin的第i個(gè)像素灰度值。

2.3 Otsu法

Otsu法［10］是一種基于最大類間方差的自動(dòng)閾值選擇方法。設(shè)TOtsu為前景與背景的分割閾值，前景像素?cái)?shù)占比p0，平均灰度為μ0。背景像素?cái)?shù)占比p1，平均灰度為μ1。前景和背景的類間方差為

3 本文算法

本文算法流程如圖1所示，具體步驟如下：

圖1 本文所提出的算法流程圖Fig.1 Flowchart of the proposed algorithm

（1）利用自適應(yīng)GIF將輸入圖像Iin分離成基礎(chǔ)層IB和細(xì)節(jié)層ID=Iin-IB；

（2）利用PHE壓縮基礎(chǔ)層動(dòng)態(tài)范圍獲得IBP；

（3）利用掩膜圖像IM加權(quán)和γ變換處理細(xì)節(jié)層，獲得IDP；

（4）將IBP和IDP線性加權(quán)獲得加權(quán)圖像IW=(1-α)IBP+αIDP，其中α為線性加權(quán)系數(shù)；

（5）將IW線性拉伸到［0，255］范圍，獲得輸出圖像Iout。

3.1 自適應(yīng)引導(dǎo)濾波

當(dāng)輸入圖像p和參考圖像I一致時(shí)，GIF變成一種邊緣保護(hù)平滑濾波，式（3）可以簡化為：

可以看出，在強(qiáng)邊緣區(qū)域，局部圖像方差σ2k遠(yuǎn)大于ε，ak→1，輸出圖像接近輸入圖像，具有邊緣保持功能；在平坦區(qū)域，局部圖像方差σ2k遠(yuǎn)小于ε，ak→0，輸出圖像接近局部平均，具有局部平滑功能。

正則化系數(shù)ε是影響細(xì)節(jié)增強(qiáng)效果的重要參數(shù)。ε過小，細(xì)節(jié)層包含大量噪聲，如圖2（b）所示，輸出圖像噪聲明顯；ε過大，細(xì)節(jié)層包含細(xì)節(jié)過少，輸出圖像細(xì)節(jié)增強(qiáng)不充分。文獻(xiàn)［6，8］將ε設(shè)為固定值，缺乏自適應(yīng)性，不能適應(yīng)所有場景。文獻(xiàn)［11］提出一種基于全局方差的正則化參數(shù)選擇方法，對(duì)于高動(dòng)態(tài)范圍圖像，全局方差過大，導(dǎo)致ε選擇過大，細(xì)節(jié)層細(xì)節(jié)過少，如圖2（c）所示。本文提出一種基于Otsu法的正則化系數(shù)自適應(yīng)選擇方法，可以獲得更合適的ε，使得細(xì)節(jié)層保留更有用的邊緣細(xì)節(jié)，如圖2（d）所示。

圖2 不同ε細(xì)節(jié)層的對(duì)比Fig.2 Comparison of detail layers with different ε

正則化系數(shù)ε作用于整幅圖像，就要權(quán)衡所有的局部圖像方差本質(zhì)上就是選擇一個(gè)ε將所有分割成兩部分，類似于圖像二值化，因此本 文 使 用 最 經(jīng) 典 的Otsu法［10］選 擇ε。然 而，如圖3（a）所示并不滿足高斯分布，不適合用Otsu法計(jì)算閾值。相比之下在對(duì)數(shù)域更接近高斯分布，如圖3（b）所示，更適合用Otsu法計(jì)算分割閾值TOtsu。閾值TOtsu將分成高低兩部分，為了更好抑制低將TOtsu對(duì)應(yīng)的擴(kuò)大100倍作為最終正則化系數(shù)：

圖3 局部圖像方差直方圖統(tǒng)計(jì)Fig.3 Histogram statistics of local image variance

3.2 細(xì)節(jié)層處理

為了抑制細(xì)節(jié)層噪聲，選擇自適應(yīng)GIF的線性系數(shù)aˉi作為增益掩膜IM，對(duì)細(xì)節(jié)層ID加權(quán)，獲得掩膜加權(quán)細(xì)節(jié)層IDM：

其中，“°”表示點(diǎn)乘運(yùn)算。

為了進(jìn)一步增強(qiáng)圖像細(xì)節(jié)，使用γ變換進(jìn)一步增強(qiáng)掩膜加權(quán)細(xì)節(jié)層IDM：

其中，sign（·）表示符號(hào)函數(shù)，max（·）表示最大值函數(shù)，γ=1.2可以增強(qiáng)強(qiáng)邊緣，抑制弱邊緣。經(jīng)式（12）和式（13）處理后，細(xì)節(jié)層的處理效果如圖4所示，可以看出，在顯著增強(qiáng)建筑邊緣等圖像細(xì)節(jié)的同時(shí)，也有效地抑制了天空等平坦區(qū)域的噪聲放大。

圖4 細(xì)節(jié)層的處理效果Fig.4 Processing effect of the detail layer

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法，選擇3種場景進(jìn)行對(duì)比實(shí)驗(yàn)，如圖5所示。場景1是具有強(qiáng)烈明暗變化的典型高動(dòng)態(tài)范圍場景，場景2是紋理復(fù)雜的室外場景，場景3是典型的海天場景。實(shí)驗(yàn)使用的紅外圖像分辨率均為640×512，像素位寬14 bit。

圖5 用于測試的3個(gè)場景Fig.5 Three scenes for testing

為了驗(yàn)證本文算法性能，選擇7種傳統(tǒng)和先進(jìn)算法做對(duì)比，包括：自適應(yīng)增益控制（Adaptive Gain Control，AGC）［12］、BF&DRP［4］、雙邊濾波和數(shù)字細(xì)節(jié)增強(qiáng)（Bilateral Filter and Digital Detail Enhancement，BF&DDE）［2］、引導(dǎo)濾波和數(shù)字細(xì)節(jié)增強(qiáng)（Guided Image Filter and Digital Detail Enhancement，GIF&DDE）［6］、改 進(jìn)自適 應(yīng)細(xì)節(jié)增 強(qiáng)（Improved Adaptive Detail Enhancement，IADE）［8］、時(shí)間數(shù)字細(xì)節(jié)增強(qiáng)2（Temporal Digital Detail Enhancement 2，TDDE2）［13］以 及 改 進(jìn) 紅 外 圖 像 自適應(yīng)增強(qiáng)（Improved Infrared Image Adaptive Enhancement，I3AE）算法［11］。本文算法關(guān)鍵參數(shù)選擇如下：平臺(tái)閾值T設(shè)為像素?cái)?shù)0.01%，線性加權(quán)系數(shù)α=0.3。其他算法參數(shù)采用默認(rèn)參數(shù)。所有實(shí)驗(yàn)算法均在PC平臺(tái)（操作系統(tǒng)Windows10、Intel-i7處理器、48 GB內(nèi)存）上用Matlab R2020b實(shí)現(xiàn)。

4.1 主觀評(píng)價(jià)

圖6～8展示了不同算法在3個(gè)場景中的對(duì)比實(shí)驗(yàn)結(jié)果。如圖6所示，場景1是典型高動(dòng)態(tài)范圍場景，AGC、TDDE2和I3AE對(duì)陰影區(qū)域建筑細(xì)節(jié)增強(qiáng)不明顯。BF&DRP和IADE都在一定程度上過度增強(qiáng)圖像，而且BF&DRP在強(qiáng)邊緣處會(huì)出現(xiàn)“梯度反轉(zhuǎn)”偽像。BF&DDE和GIF&DDE在陰影區(qū)域具有顯著的增強(qiáng)效果，但其在天空區(qū)域卻出現(xiàn)嚴(yán)重失真。相比之下，本文算法不僅在天空區(qū)域獲得合理的增強(qiáng)，在陰影區(qū)域也獲得很好的細(xì)節(jié)增強(qiáng)，整幅圖像視覺效果更自然。

圖6 場景1的對(duì)比實(shí)驗(yàn)結(jié)果Fig.6 Comparison experimental results of sence 1

如圖7所示，場景2是紋理復(fù)雜的室外場景，包含建筑、樹木、陰影等諸多細(xì)節(jié)。BF&DRP過度增強(qiáng)了圖像對(duì)比度，IADE過度增強(qiáng)了圖像細(xì)節(jié)，兩者都損失了圖像自然感。BF&DDE和GIF&DDE處理效果嚴(yán)重失真。TDDE2損失了陰影區(qū)域圖像細(xì)節(jié)。AGC、I3AE和本文算法都獲得了良好的視覺效果，相比之下，本文算法處理效果更清晰，還有效保留了窗口鐵絲網(wǎng)等紋理細(xì)節(jié)，如圖7（h）中紅圈所示。

圖7 場景2中的對(duì)比實(shí)驗(yàn)結(jié)果Fig.7 Comparison experimental results of sence 2

如圖8所示，場景3是經(jīng)典海天場景，在天海交接處有多只漁船。AGC、BF&DDE、GIF&DDE、TDDE2和I3AE都在海天交接處出現(xiàn)一定程度的過增強(qiáng)，導(dǎo)致部分漁船不可見。BF&DRP雖然完好地保留了漁船影像，但也放大了天空噪聲。IADE和本文算法都很好地保留了漁船影像、抑制了天空噪聲，相比之下，本文算法處理結(jié)果中漁船對(duì)比度更高。

圖8 場景3的對(duì)比實(shí)驗(yàn)結(jié)果Fig.8 Comparison experimental results of sence 3

4.2 客觀評(píng)價(jià)

為了進(jìn)一步客觀評(píng)價(jià)本文算法的有效性，選擇平均梯度和基于感知的圖像質(zhì)量評(píng)價(jià)（Perception-based Image Quality Evaluator，PIQE）［14］對(duì)各種算法結(jié)果定量評(píng)價(jià)。

平均梯度在一定程度上反映了圖像細(xì)節(jié)多少，平均梯度越大，圖像細(xì)節(jié)越多，反之亦然。平均梯度可以表示為：

其中，Gm表示圖像平均梯度，fx和fy表示待測圖像的水平梯度和豎直梯度，N表示梯度圖像像素?cái)?shù)。圖6～8中不同算法的平均梯度計(jì)算結(jié)果如表1所示?？梢钥闯?，對(duì)于場景1和場景2，GIF&DDE平均梯度值最高，然而對(duì)于這兩個(gè)場景，GIF&DDE都有嚴(yán)重失真。除這兩個(gè)場景的GIF&DDE結(jié)果外，本文算法的平均梯度最高。相對(duì)于目前先進(jìn)算法IADE，本文算法的平均梯度平均提高了35.3%。

表1 不同算法的平均梯度Tab.1 Average gradient of various algorithms

PIQE通過計(jì)算空間顯著區(qū)域的圖像失真來評(píng)價(jià)圖像質(zhì)量，PIQE越小表示圖像質(zhì)量越高，反之亦然。本文利用Matlab自帶的piqe（）函數(shù)計(jì)算各算法結(jié)果的PIQE值。圖6～8中不同算法的PIQE結(jié)果如表2所示?？梢钥闯觯?種場景下本文算法的PIQE值均最小，這表示本文算法處理結(jié)果具有更高的圖像質(zhì)量。相對(duì)于目前先進(jìn)算法IADE，本文算法的PIQE值平均提高10.7%。

表2 不同算法的PIQETab.2 PIQE of various algorithms

表3列出不同算法的運(yùn)行時(shí)間，按平均運(yùn)行時(shí)間從小到大排列，其中運(yùn)行時(shí)間是10次運(yùn)行的平均時(shí)間?？梢钥闯?，本文算法運(yùn)行速度優(yōu)于TDDE2、BF&DRP和BF&DDE，劣 于 其 他4種算法。

表3 不同算法的運(yùn)行時(shí)間Tab.3 Runtime of various algorithms （s）

綜上所述，相比于經(jīng)典和先進(jìn)算法，本文算法不僅在3種場景下均獲得了視覺效果更好的結(jié)果，還獲得了更好的平均梯度和PIQE值，這說明本文算法處理效果具有更豐富的圖像細(xì)節(jié)和更高的圖像質(zhì)量。本文算法如何進(jìn)一步加速以及如何在嵌入式平臺(tái)上實(shí)時(shí)處理，將是接下來需要研究的內(nèi)容。

5 結(jié) 論

本文提出一種基于自適應(yīng)引導(dǎo)濾波的紅外圖像細(xì)節(jié)增強(qiáng)算法，利用設(shè)計(jì)的參數(shù)自適應(yīng)引導(dǎo)濾波將輸入圖像分解成基礎(chǔ)層和細(xì)節(jié)層，利用平臺(tái)直方圖均衡化壓縮基礎(chǔ)層動(dòng)態(tài)范圍，利用掩膜加權(quán)和γ變換抑制細(xì)節(jié)層噪聲并增強(qiáng)圖像細(xì)節(jié)。實(shí)驗(yàn)選取了5種經(jīng)典和先進(jìn)算法做對(duì)比，針對(duì)高動(dòng)態(tài)范圍場景、復(fù)雜室外場景以及海天場景紅外圖像進(jìn)行實(shí)驗(yàn)。結(jié)果表明，本文算法具有較強(qiáng)的場景適應(yīng)性，獲得了更好的增強(qiáng)效果；相比于目前先進(jìn)算法，本文算法在平均梯度上平均提高35.3%，在基于感知的圖像質(zhì)量評(píng)價(jià)指標(biāo)PIQE上平均提高10.7%。