基于視覺顯著性與對比度增強(qiáng)的紅外圖像融合

張承泓，李范鳴，吳瀅躍

?

基于視覺顯著性與對比度增強(qiáng)的紅外圖像融合

張承泓，李范鳴，吳瀅躍

（1.中國科學(xué)院紅外探測與成像技術(shù)重點(diǎn)實(shí)驗(yàn)室，上海技術(shù)物理研究所，上海 200083；2.中國科學(xué)院大學(xué)，北京 100049）

目前傳統(tǒng)多尺度分析紅外圖像融合算法存在以下不足：融合圖像的對比度改善效果有限，無法獲取圖像的某些細(xì)節(jié)信息；融合規(guī)則僅考慮單一特征，故未能突出目標(biāo)特征。針對以上問題，本文提出一種基于視覺顯著性與對比度增強(qiáng)的紅外圖像融合算法。首先對待融合的圖像進(jìn)行基于自適應(yīng)引導(dǎo)濾波的多尺度Retinex圖像增強(qiáng)，然后利用NSCT對圖像進(jìn)行多尺度分解，最后利用圖像視覺顯著性融合低頻系數(shù)，采用基于窗口的系數(shù)融合帶通系數(shù)。實(shí)驗(yàn)證明，該算法獲得的紅外融合圖像效果明顯優(yōu)于傳統(tǒng)方法。

圖像增強(qiáng)；圖像融合；視覺顯著性；自適應(yīng)引導(dǎo)濾波；NSCT；多尺度Retinex

0 引言

不同紅外波段的目標(biāo)具有不同的輻射特征，綜合這些特征，可以更全面客觀的展示場景與目標(biāo)信息[1]。為此，圖像融合技術(shù)在紅外多波段成像系統(tǒng)中的應(yīng)用得到廣泛關(guān)注。

基于多尺度分析的方法一直是圖像融合算法研究的熱點(diǎn)。李美麗等人先后將非負(fù)矩陣分析[2]、脈沖耦合神經(jīng)網(wǎng)絡(luò)[3]與非下采樣輪廓波變換（Non- Subsampled Contourlet Transform，NSCT）相結(jié)合生成融合圖像。邢雅瓊等人提出了一種基于NSCT與壓縮感知的圖像融合方法[4]。Liu等人提出了基于脊波變換的圖像融合算法[5]。殷明等人提出了一種基于非下采樣雙樹復(fù)輪廓濾波變換及稀疏表示的圖像融合方法[6]。這些算法大多能較好地綜合待融合圖像的原始信息，但對源圖像對比度改善有限，當(dāng)源圖像質(zhì)量較差時無法獲得理想的效果。

為解決上述問題，本文首先對待融合的紅外圖像進(jìn)行基于自適應(yīng)引導(dǎo)濾波的多尺度Retinex圖像增強(qiáng)，然后利用NSCT對圖像進(jìn)行多尺度分解，最后利用圖像全局視覺顯著性設(shè)計低頻系數(shù)融合規(guī)則，采用基于窗口的系數(shù)融合規(guī)則融合帶通系數(shù)。實(shí)驗(yàn)證明，該算法獲得的紅外融合圖像效果明顯優(yōu)于傳統(tǒng)方法。

1 基于自適應(yīng)引導(dǎo)濾波的多尺度Retinex圖像增強(qiáng)

1.1 多尺度Retinex

Retinex理論在假設(shè)全局光照平緩的情況下，認(rèn)為圖像的灰度分布(,)與場景的光照分量和物體的反射分量滿足以下方程：

(,)＝(,)*(,) (1)

式中：(,)為光照分量；(,)為目標(biāo)反射率決定的物體本質(zhì)信息。基于Retinex的圖像增強(qiáng)方法的核心思想是去除反映空間光照分布的照度信息，還原目標(biāo)的本質(zhì)信息，從而實(shí)現(xiàn)圖像細(xì)節(jié)的增強(qiáng)。自從該理論提出后，已發(fā)展出多種方法實(shí)現(xiàn)圖像的照度估計，其中多尺度中心環(huán)繞Retinex方法[7]是典型代表，其表達(dá)式如下：

式中：是尺度個數(shù)；w為單一尺度對應(yīng)權(quán)值；R(,)是第個尺度的輸出反射光分量。F(,)為環(huán)繞函數(shù)，通常使用高斯模型，但高斯濾波器在分配濾波權(quán)重時只考慮像素間的距離，忽略了濾波圖像自身內(nèi)容，容易導(dǎo)致增強(qiáng)后的圖像產(chǎn)生光暈和灰度反轉(zhuǎn)現(xiàn)象。故考慮引入自適應(yīng)引導(dǎo)濾波作為F，改善多尺度Retinex圖像增強(qiáng)的效果。

1.2 自適應(yīng)引導(dǎo)濾波

引導(dǎo)濾波[8]是一個局部線性濾波的模型，如下所示：

式中：代表圖像中某一像素，為輸出圖像；為引導(dǎo)圖像；a、b為局部窗對應(yīng)的線性系數(shù)；為長度為的局部矩形窗。

為使輸出圖像與輸入圖像差異最小，最小化線性模型的代價函數(shù)如下所示：

式中：為避免a過大的正則因子。利用線性回歸求出式(5)的最優(yōu)解a、b，如下所示：

式(7)改寫為：

從式(8)、(9)中可以看出的取值影響了該濾波算法的性能，當(dāng)較大時，圖像進(jìn)行平滑處理；當(dāng)較小時，圖像起到保持邊緣的作用。如何選取自適應(yīng)是關(guān)鍵。本文采用邊緣權(quán)重因子作為自適應(yīng)，表達(dá)式如下所示：

式(10)、(11)中：是引導(dǎo)圖像；,12(￠)是在￠的3×3領(lǐng)域的方差；是一個常值，通常取(0.001×)2，為圖像的動態(tài)范圍；為常值。當(dāng)￠位于邊緣時，(￠)較大，較小，引導(dǎo)濾波起保邊作用；當(dāng)￠位于平滑區(qū)域時，(￠)較小，較大，引導(dǎo)濾波起平滑作用。

2 非下采樣輪廓波變換理論NSCT

NSCT先由非下采樣金字塔濾波器組（non- subsampled pyramid filter bank，NSPFB）進(jìn)行多尺度變換，再由非下采樣方向?yàn)V波器組（non-subsampled directional filter bank，NSDFB）進(jìn)行多方向變換，其分解結(jié)構(gòu)如圖1所示。

圖1 NSCT分解結(jié)構(gòu)圖

NSPFB為雙通道非下采樣塔形結(jié)構(gòu)，圖2為其結(jié)構(gòu)示意圖。

圖2 雙通道非下采樣塔形濾波器組結(jié)構(gòu)

非下采樣金字塔（non-subsampled pyramid，NSP）變換的完全重構(gòu)條件需要濾波器組中的分解濾波器{0(),1()}和合成濾波器{0(),1()}能夠滿足“BEZOUT恒等式”，如下所示：

0(),1()＋0(),1()＝1 (12)

當(dāng)K＝3時三級NSPFB的結(jié)構(gòu)圖如圖3所示。

NSDFB將NSP變換后每一尺度上的帶通圖像再進(jìn)行級方向分解，最終獲得2個與原始圖像相同尺寸的方向帶通圖像。圖4為NSDFB雙通道非下采樣方向?yàn)V波器組結(jié)構(gòu)，圖5為NSDFB的2級分解結(jié)構(gòu)示意圖。

3 圖像融合規(guī)則設(shè)計

3.1 視覺顯著圖獲取

視覺注意是指人類視覺系統(tǒng)從自然場景中獲取重要的、緊密的信息。由于一個場景中包含的信息量過多，視覺注意機(jī)制能夠選擇性地根據(jù)感知減少冗余數(shù)據(jù)，挑選出人類感興趣區(qū)域，也稱為顯著性區(qū)域。視覺顯著性檢測[10]是最近幾年計算機(jī)視覺研究領(lǐng)域中的熱點(diǎn)，國內(nèi)外學(xué)者提出了眾多有價值的算法。本文采用計算譜殘差[11]的方法來獲取圖像的視覺顯著圖。計算步驟如下：

()＝([()]) (14)

圖4 雙通道非下采樣方向?yàn)V波器組結(jié)構(gòu)

圖5 2級NSDFB分解結(jié)構(gòu)

()＝S([()]) (15)

()＝lg() (16)

()＝()－h()*() (17)

()＝()*－1[exp(()＋())]2(18)

式中：和－1分別表示傅里葉變換和傅里葉反變換；()為圖像()的幅度譜；()為圖像()的相位譜；()為圖像相位譜的對數(shù)域形式；()為圖像的譜殘差；h()為局部均值濾波器；()為高斯濾波器；()即為所求圖像的視覺顯著性。將()以均值的3倍作為閾值進(jìn)行二值化，則得到最終的圖像顯著圖。待融合圖像的初始視覺顯著區(qū)域劃分分別記為A和B，取兩源圖像共有顯著區(qū)域public＝A∩B，則源圖像A獨(dú)有顯著區(qū)域Aonly＝A－public，源圖像B獨(dú)有顯著區(qū)域Bonly＝B－public。

3.2 圖像融合

在上述工作的基礎(chǔ)上，本文提出一種基于視覺顯著性與對比度增強(qiáng)的紅外圖像融合方法，其實(shí)現(xiàn)步驟如下：

1）先分別對源圖像A、B按照第1節(jié)的方法進(jìn)行圖像增強(qiáng)。

3）對于帶通系數(shù)，采用基于窗口的系數(shù)融合規(guī)則，首先計算系數(shù)的重要性測度，如下式所示：

然后計算相應(yīng)窗口區(qū)域系數(shù)的歸一化相關(guān)度，如下式所示：

式中：(,)、(,)為相應(yīng)的權(quán)重系數(shù)：

4）對于低通系數(shù)，采用基于視覺顯著性的融合規(guī)則，當(dāng)c(,)為顯著區(qū)域時，采用以下融合規(guī)則：

當(dāng)c(,)為非顯著區(qū)域時，使用以下融合規(guī)則：

5）對融合后的圖像系數(shù)進(jìn)行NSCT反變換，重構(gòu)出融合圖像。

4 實(shí)驗(yàn)結(jié)果與分析

算法的實(shí)現(xiàn)平臺為Matlab R2015（處理器為i7雙核，主頻為3.40GHz，內(nèi)存為4GB），NSCT采用3層分解，每層的方向分解個數(shù)分別為2、4、8；基于自適應(yīng)引導(dǎo)濾波的多尺度Retinex增強(qiáng)算法使用3個尺度，濾波方形窗的大小分別設(shè)為20，50，100 。

兩組實(shí)驗(yàn)的結(jié)果如圖6、圖7所示。

從圖6、圖7中可以看出本文提出的算法在圖像紋理及突出圖像細(xì)節(jié)方面有很好的表現(xiàn)，尤其是當(dāng)源圖像質(zhì)量較差時，效果尤為明顯。在圖6中，本文算法融合后的圖像可以很清晰地看清圖像左側(cè)大樓的字及在高架上行駛的車輛。在圖7中，輕軌站上窗戶的細(xì)節(jié)也清晰可見。

圖6 場景1的融合結(jié)果比較

圖7 場景2的融合結(jié)果比較

表1為場景1、場景2的客觀定量指標(biāo)對比。

表1 圖像定量評價指標(biāo)比較

從表1中可以看出，本文算法在空間頻率，c上較DWT、NSCT方法都高，表明本文算法融合后的圖像層次更多，細(xì)節(jié)更突出，人眼視覺效果更好。SSIM相對差些，這是因?yàn)楸疚乃惴ㄊ紫茸隽藞D像增強(qiáng)，改變了源圖像的直方圖分布，故相似度低些。GFNSCT_SD的指標(biāo)比GFNSCT都高表明選用視覺顯著性指導(dǎo)圖像融合比傳統(tǒng)的融合規(guī)則更有優(yōu)勢。

5 結(jié)論

本文通過對待融合紅外圖像進(jìn)行基于自適應(yīng)引導(dǎo)濾波的多尺度Retinex圖像增強(qiáng)，將一些隱藏在源圖像中的細(xì)節(jié)顯現(xiàn)出來；接著對圖像進(jìn)行NSCT分解，形成對圖像的多尺度多方向的表示；最后通過視覺顯著性與基于窗口的系數(shù)融合規(guī)則對圖像進(jìn)行融合，獲得了比傳統(tǒng)方法更好的融合效果。

[1] 王宇. 長線列紅外中長波圖像融合關(guān)鍵技術(shù)研究[D]. 上海: 上海技術(shù)物理研究所, 2014.

Wang yu. Research on key technologies for long linear mid-wave and long-wave IR image fusion[D]. Shanghai: Shanghai Institute of Technical Physics, 2014.

[2] 李美麗, 李言俊, 王紅梅, 等. NSCT和非負(fù)矩陣分解的圖像融合算法[J]. 計算機(jī)工程與應(yīng)用, 2010, 46(8): 21-24.

Li meili, Li yanjun, Wang hongmei, et al. Image fusion algorithm based on NSCT and non-negative matrix factorization[J]., 2014, 46(8): 21-24.

[3] 李美麗, 李言俊, 王紅梅, 等. 基于NSCT和PCNN的紅外與可見光圖像融合方法[J]. 光電工程, 2010, 37(6): 90-95.

Li meili, Li yanjun, Wang hongmei, et al. Fusion Algorithm of Infrared and Visible Images Based on NSCT and PCNN[J]., 2010, 37(6):90-95.

[4] 邢雅瓊, 王曉丹, 畢凱, 等. 基于非下采樣輪廓波變換和壓縮感知的圖像融合方法[J]. 控制與決策, 2014, 29(4): 585-592.

Xing yaqiong, Wang xiaodan, Bi kai, et al. Fusion technique for images based on non-subsampled contourlet transform and compressive sensing[J]., 2014, 29(4): 585-592.

[5] Liu Kun, Guo Lei, Chang Weiwei, et al. Alogrithm of image fusion based on finite Ridgelet transform[C]//, 2007, 6786(67860D): 1-7.

[6] 殷明, 段普宏, 褚標(biāo), 等. 基于非下采樣雙樹復(fù)輪廓波變換和稀疏表示的紅外和可見光圖像融合[J]. 光學(xué)精密工程, 2016, 24(7): 1763-1771.

Yin ming, Duan puhong, Chu biao, et al. Fusion of infrared and visible images combined with NSDTCT and sparse representation[J]., 2016, 24(7): 1763-1771.

[7] JOBSON Daniel J, RAHMAN Zia-ur, WOODELL Glenn A. A multi-scale Retinex for bridging the gap between color images and the human observation of scenes[J]., 1997, 6(7): 965-976.

[8] K. He, J. Sun, and X. Tang, Guided image filtering[J]., 2013, 35(6): 1397-1409.

[9] 楊粵濤. 基于非采樣Contourlet變換的圖像融合[D]. 長春: 長春光學(xué)精密機(jī)械與物理研究所, 2012.

Yang yuetao. Research on Image Fusion Based on Nonsubsampled Contourlet Transform[D]. Changchun: Changchun Institute of Optics, Fine Mechanics and Physics, 2012.

[10] Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection[J]., 2012, 34(10): 1915-1926.

[11] X. Hou, L. Zhang. Saliency detection: A spectral residual approach[C]//, 2007.

[12] Zheng Y F, Essock E A, Hansen B C. A new metric based on extended spatial frequency and its application to DWT based fusion algorithms[J]., 2007, 8(2): 177-192.

[13] Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli. Image quality assessment: from error visibility to structural similarity[J]., 2004, 13(4): 600-612.

[14] Yin Chen, Rick S. Blum. A new automated quality assessment algorithm for image fusion[C]//, 2009, 27: 1421-1432.

Infrared Image Fusion Based on Visual Saliency and Contrast Enhancement

ZHANG Chenghong1,2，LI Fanming1，WU Yingyue1

(1.,,200083,; 2.100049,)

Traditional infrared image fusion by multi-scale analysis has some disadvantage: the fused image cannot improve contrast, some details of the image cannot be caught; Fusion rules only depend on single feature, causing that the key target features in the scene of the fused image cannot be highlighted. To solve the above problems, in this paper, an infrared image fusion algorithm based on visual saliency and contrast enhancement is proposed. Firstly, the image is enhanced by using the algorithm of multi-scale Retinex based on adaptive guided filter; then, the image is decomposed by NSCT; finally, we use visual saliency to guide fusing the low frequency coefficient, using coefficient based on window to fuse band pass coefficient. The experimental results show that the fusion effect is superior to the traditional method.

image enhancement，image fusion，visual saliency，adaptive guided filter，NSCT，multi-scale Retinex

TP391

A

1001-8891(2017)05-0421-06

2016-12-29；

2017-04-14。

張承泓（1985-），男，博士研究生，助理研究員，主要研究方向?yàn)榧t外圖像處理、紅外圖像融合。