基于灰度能量差異性的紅外與可見(jiàn)光圖像融合

趙立昌,張寶輝,吳 杰,吳旭東,吉 莉

(1.南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院，江蘇 南京 210094;2.昆明物理研究所，云南 昆明 650223)

0 引言

圖像融合技術(shù)是將多個(gè)圖像傳感器對(duì)同一場(chǎng)景進(jìn)行圖像采集，利用各個(gè)圖像傳感器的特點(diǎn)，將它們所采集到的圖像融合成一幅新的圖像。融合后的圖像具有更加豐富的信息[1]，更適合人眼的觀察以及計(jì)算機(jī)的后續(xù)處理。

紅外與可見(jiàn)光圖像的融合是圖像融合領(lǐng)域的重要組成部分，紅外圖像是根據(jù)環(huán)境中不同物體所發(fā)出的熱輻射差異來(lái)探測(cè)目標(biāo)，因此它適合在低照度或者目標(biāo)被隱藏的環(huán)境下識(shí)別目標(biāo)，但是其缺點(diǎn)是細(xì)節(jié)信息的缺失;而可見(jiàn)光圖像具有很高的分辨率，擁有豐富的細(xì)節(jié)信息，但是難以探測(cè)出在復(fù)雜環(huán)境條件下的目標(biāo)。而紅外與可見(jiàn)光圖像的融合可以集成這兩種類型圖像的優(yōu)勢(shì)[2]，在計(jì)算機(jī)視覺(jué)、安防監(jiān)控、地震遙感等領(lǐng)域有著廣泛的應(yīng)用[3]。

目前，多尺度變換的融合方法是應(yīng)用于紅外與可見(jiàn)光融合的最廣泛的方法。常用的基于多尺度分解的圖像融合方法有:拉普拉斯金字塔融合算法[4]、離散小波變換法(discrete wavelet transformation,DWT)[5]、雙樹(shù)復(fù)小波變換(dual tree complex wavelet transform, DTCWT)[6]、輪廓波變換(contourlet transform, CT)[7]、非下采樣輪廓波變換(NSCT)等等。拉普拉斯金字塔分解算法不具備方向性;離散小波變換法分解的方向有限，不能很好地表示細(xì)節(jié)、輪廓等信息;雙樹(shù)復(fù)小波變換可得到6 個(gè)方向上的高頻子帶信息，但它是冗余的，對(duì)于n維信號(hào)，將產(chǎn)生2n:1 的冗余度;輪廓波變換進(jìn)行了上、下采樣操作，缺少平移不變性，容易產(chǎn)生偽吉布斯效應(yīng);非下采樣輪廓波變換是對(duì)輪廓波變換的改善，在輪廓波的基礎(chǔ)上添加了平移不變性，解決了偽吉布斯效應(yīng)的產(chǎn)生，具有多方向、多尺度的特性，將NSCT 應(yīng)用到圖像融合中能夠更好地提取源圖像的細(xì)節(jié)特征和方向信息，保留更多源圖像的信息。

融合規(guī)則對(duì)最終融合圖像的質(zhì)量有著至關(guān)重要的作用，傳統(tǒng)的融合規(guī)則有加權(quán)平均法[8]、絕對(duì)值取大法[9]、區(qū)域能量法[10]等，這些融合規(guī)則沒(méi)有從圖像區(qū)域之間的相關(guān)性考慮，最終的融合效果并不是太理想。而對(duì)紅外圖像進(jìn)行顯著目標(biāo)提取的融合算法是根據(jù)人類的視覺(jué)機(jī)制將人眼感興趣的部分進(jìn)行提取，背景進(jìn)行抑制，融合后的圖像具有突顯目標(biāo)特征，保留背景細(xì)節(jié)的優(yōu)勢(shì)。已有一些文章對(duì)此類算法進(jìn)行研究，主要是對(duì)紅外圖像的顯著性區(qū)域提取算法的研究，如基于文獻(xiàn)[11]的改進(jìn)流形排序的顯著性區(qū)域檢測(cè)，基于文獻(xiàn)[12]的改進(jìn)FT(frequency-tuned)算法的顯著性區(qū)域檢測(cè)和基于文獻(xiàn)[13]的形態(tài)學(xué)濾波的顯著性區(qū)域檢測(cè)等。

為了進(jìn)一步提高目標(biāo)和背景之間的對(duì)比度，增強(qiáng)目標(biāo)信息的辨識(shí)率，同時(shí)盡可能完整地保留可見(jiàn)光圖像中的細(xì)節(jié)紋理，本文提出了一種基于灰度能量差異性的紅外與可見(jiàn)光融合方法，首先通過(guò)基于灰度能量差異性的顯著目標(biāo)提取算法突出紅外圖像中的目標(biāo)信息;然后使用NSCT 的分解框架對(duì)紅外圖像和可見(jiàn)光圖像進(jìn)行高低頻的分解;利用計(jì)算得出的灰度能量差異圖對(duì)紅外圖像和可見(jiàn)光圖像的低頻部分進(jìn)行融合，對(duì)于高頻部分采用加權(quán)方差的規(guī)則進(jìn)行融合;最后對(duì)融合后的高頻系數(shù)和低頻系數(shù)進(jìn)行NSCT 逆變換得到最終的融合圖像。

1 基于灰度能量差異性的目標(biāo)提取算法

基于灰度能量差異性的目標(biāo)提取算法是一種在圖像中提取人眼感興趣的區(qū)域的顯著目標(biāo)檢測(cè)算法，也是一種顯著性檢測(cè)方法，主要原理是計(jì)算某一灰度能量與其他灰度能量的差異，通過(guò)能量差異值將圖像中的目標(biāo)區(qū)域提取出來(lái)。以往的顯著性檢測(cè)方法，主要是基于像素點(diǎn)的灰度值之間的關(guān)聯(lián)進(jìn)行顯著區(qū)域的檢測(cè)，如文獻(xiàn)[14]和文獻(xiàn)[15]，而本文的顯著區(qū)域檢測(cè)算法是基于本文定義的像素點(diǎn)之間的灰度能量的關(guān)系，對(duì)于像素點(diǎn)之間的灰度差異具有更高的敏感性，更能突出顯著目標(biāo)。對(duì)于一幅8 位的灰度圖像，定義該幅圖像的灰度距離矩陣D為:

式中:dk=[k-0,k-1,…,k-255]T，表征像素值為k時(shí)與其他像素值的灰度距離。定義灰度能量差異值Ek為:

式中:

式中:Wi表示各個(gè)像素出現(xiàn)的頻數(shù);N表示圖像總共的像素個(gè)數(shù)。將灰度能量差異值歸一化得:

式中:Emin為能量差異最小值;Emax為能量差異最大值，以現(xiàn)在的灰度能量差異值取代原來(lái)的像素值，某區(qū)域灰度能量差異值越大，說(shuō)明該區(qū)域越引人注意，是我們需要檢測(cè)的目標(biāo)，而其他灰度能量差異值小的區(qū)域則是我們不感興趣的地方，因此可以有效地抑制背景信息，突出圖像的目標(biāo)特征。使用正弦函數(shù)對(duì)灰度能量差異圖進(jìn)一步增強(qiáng)，如下式:

圖1是由文獻(xiàn)[14]、文獻(xiàn)[15]和本文算法所得到的顯著區(qū)域比較圖。圖(a)是紅外圖像，圖(b)是由文獻(xiàn)[14]的算法所得出的顯著圖，圖(c)是由文獻(xiàn)[15]的算法得到的顯著圖，圖(d)是由本文算法所得出的顯著圖。傳統(tǒng)的圖像增強(qiáng)算法在提高圖像對(duì)比度時(shí)無(wú)法檢測(cè)出顯著目標(biāo)，會(huì)對(duì)場(chǎng)景中一些其他的物體也進(jìn)行增強(qiáng)，使得紅外圖像中細(xì)節(jié)、紋理等高頻信息的缺失的區(qū)域無(wú)法有效地抑制，而后續(xù)的低頻融合規(guī)則會(huì)以此作為融合權(quán)重，這會(huì)導(dǎo)致融合后的圖像細(xì)節(jié)也會(huì)相應(yīng)地缺失，從而使得成像的清晰度較低，成像質(zhì)量較差。而像文獻(xiàn)[14]和文獻(xiàn)[15]的顯著區(qū)域檢測(cè)算法，雖然避免了對(duì)圖像中高頻信息缺失部分的增強(qiáng)，但是也沒(méi)有很好地抑制這些區(qū)域。經(jīng)本文算法處理后的紅外圖像能夠有效抑制背景，增強(qiáng)圖像中的目標(biāo)信息，將人眼感興趣的目標(biāo)提取出來(lái)。

2 NSCT分解框架

NSCT利用非下采樣金字塔(non-subsampled pyramid,NSP)和非下采樣方向?yàn)V波器組(non-subsampled direction filter banks, NSDFB)實(shí)現(xiàn)對(duì)圖像的多尺度、多方向的分解。首先通過(guò)NSP實(shí)現(xiàn)多尺度的分解，獲取高頻子帶和低頻子帶，然后使用NSDFB對(duì)高頻子帶進(jìn)行多方向的分解，得到高頻各方向子帶，然后對(duì)低頻子帶繼續(xù)NSP分解，重復(fù)上述過(guò)程，即得到NSCT 的多層分解，分解過(guò)程如圖2所示。NSCT取消了上、下采樣過(guò)程，改為對(duì)濾波器直接采樣，使得變換后得到的每一個(gè)子帶圖像都與源圖像大小相同，有良好的空域和頻域特性，并且具有平移不變性[16]。

3 本文融合策略

本文首先通過(guò)基于灰度能量差異性的目標(biāo)檢測(cè)算法突出表征紅外圖像中的目標(biāo)特征;然后對(duì)紅外圖像和可見(jiàn)光圖像采用NSCT 分解得到高頻分量和低頻分量;將基于灰度能量差異性的顯著區(qū)域提取算法的結(jié)果作為融合權(quán)重對(duì)紅外圖像和可見(jiàn)光圖像的低頻部分進(jìn)行融合，對(duì)于高頻部分采用加權(quán)方差的規(guī)則進(jìn)行融合;最后對(duì)融合后的高頻系數(shù)和低頻系數(shù)進(jìn)行NSCT 逆變換得到最終的融合圖像。融合框架如圖3所示。

圖1 紅外圖像的顯著圖比較Fig.1 Sali ency comparis on of infrared i mages

圖2 NSCT分解框架示意圖Fig.2 NSCT decomposition framework

圖3 本文算法的融合框架Fig.3 Fusion framework of the proposed algorithm

3.1 低頻系數(shù)融合規(guī)則

由于人眼的視覺(jué)系統(tǒng)主要是對(duì)圖像中像素的對(duì)比度較為敏感，對(duì)像素的亮度不太敏感，背景等灰度變化較為緩慢的區(qū)域被保留在低頻子帶中，而傳統(tǒng)的低頻系數(shù)融合方法無(wú)法清晰地區(qū)分出目標(biāo)輪廓與背景信息，全局對(duì)比度較低，本文提出了一種基于灰度能量差異的方法能夠有效地提取紅外圖像中的目標(biāo)區(qū)域。設(shè)紅外圖像和可見(jiàn)光圖像經(jīng)NSCT 后所得到的低頻系數(shù)分別為CLIR(i,j)和CLVIS(i,j)，由本文算法所得到灰度能量差異圖為EI，則融合后的低頻系數(shù)為:

其中融合權(quán)重wLIR和wLVIS的值由下式可得:

3.2 高頻系數(shù)融合規(guī)則

經(jīng)NSCT 分解得到的高頻子帶能夠表征圖像的邊緣、紋理等細(xì)節(jié)信息。本文的高頻系數(shù)融合規(guī)則是基于方差制定。方差的大小可以表示為該區(qū)域包含細(xì)節(jié)信息的多少，方差越大，說(shuō)明該點(diǎn)與周圍區(qū)域的灰度值差距越大，在圖像畫(huà)面中表現(xiàn)的就是紋理等高頻信息越豐富，本文所設(shè)定的方差分辨閾值主要是用來(lái)比較紅外圖像與可見(jiàn)光圖像高頻部分方差的大小，本文所取的閾值為0.24。由數(shù)學(xué)關(guān)系可知，兩者所占的權(quán)重之和為定值1，則權(quán)重之積最大為0.25，此時(shí)表示紅外圖像與可見(jiàn)光圖像的權(quán)重各占50%，說(shuō)明兩幅圖像有著近乎相同細(xì)節(jié)信息。當(dāng)一方所占權(quán)重≥40%并且≤50%，即權(quán)重之積大于等于0.24，可以認(rèn)為兩者方差之差較小，擁有相似的細(xì)節(jié)信息，兩幅圖像的高頻部分對(duì)最終的融合圖像的高頻部分均有較大貢獻(xiàn)，此時(shí)的融合圖像的高頻信息使用加權(quán)融合的方法;當(dāng)一方所占權(quán)重小于40%，即權(quán)重之積小于0.24，說(shuō)明兩幅圖像的方差之差較大，一方含有較多的細(xì)節(jié)信息，而另一方的細(xì)節(jié)信息較少，最終的融合圖像的高頻部分主要來(lái)自于方差大的一方，此時(shí)高頻部分采用方差取大的融合方法。由于高頻部分的融合規(guī)則是基于方差制定的，所以對(duì)于不同場(chǎng)景都能取得較好的融合效果。

設(shè)T為分辨兩幅圖局部方差差距的判斷依據(jù)，T的表達(dá)式為:

式中:wIRH,k(i,j)表示在紅外圖像k方向上的高頻子帶在像素點(diǎn)(i,j)處所占的權(quán)重;wVISH,k(i,j)則表示可見(jiàn)光圖像所占的比重。權(quán)重表達(dá)式可由下式求得:

式中:SIRH,k(i,j)表征紅外圖像k方向上的高頻子帶在像素點(diǎn)(i,j)處的方差;SVISH,k(i,j)表征可見(jiàn)光圖像的方差，其具體表達(dá)式如下:

當(dāng)T<0.24時(shí):

當(dāng)T≥0.224時(shí):

式中:CFH,k表征兩幅圖像在k方向上的高頻子帶融合后的高頻系數(shù)。

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文算法的有效性，選取3 組典型的已配準(zhǔn)的紅外與可見(jiàn)光圖像進(jìn)行融合實(shí)驗(yàn)，并將本文算法與離散小波變換(DWT)、雙樹(shù)復(fù)小波變換(DTCWT)、非下采樣輪廓波變換(NSCT)以及文獻(xiàn)[17]和文獻(xiàn)[18]的方法進(jìn)行比較。實(shí)驗(yàn)計(jì)算機(jī)CPU 主頻是2.8 GHz，內(nèi)存為8G，實(shí)驗(yàn)軟件平臺(tái)為MATLABR2018a。本文中DWT、DTCWT 和NSCT 的融合規(guī)則均采用低頻系數(shù)取均值，高頻系數(shù)為局部能量取大。源圖像與融合結(jié)果如圖4～圖6。

圖4為Uncamp源圖像的融合結(jié)果。紅外圖像中人物目標(biāo)清晰，但無(wú)法分辨柵欄、灌木等景物的細(xì)節(jié);而可見(jiàn)光圖像中人物被遮擋，但是可以清楚地看到柵欄、灌木的細(xì)節(jié)信息。圖(c)、(d)、(e)中左下角的樹(shù)木的細(xì)節(jié)模糊，且目標(biāo)人物與周圍環(huán)境的對(duì)比度較低，沒(méi)有突顯目標(biāo)特征;圖(f)中整體亮度偏低，樹(shù)木的細(xì)節(jié)看不清楚;圖(g)中整體亮度偏高，背景信息丟失嚴(yán)重;圖(h)是利用本文算法所獲得的融合圖像，可以看出融合圖像既有紅外圖像中目標(biāo)突出的優(yōu)勢(shì)，也能很好地保留可見(jiàn)光圖像中樹(shù)木、柵欄的細(xì)節(jié)信息，整體視覺(jué)效果更好。

圖5為Quad 源圖像融合結(jié)果。圖(c)、(d)、(e)中行人、汽車較為模糊，圖像對(duì)比度較低;圖(f)亮度偏低，無(wú)法很好地分辨出行人，汽車等目標(biāo)信息;圖(g)整體亮度偏高，給人一種失真的感覺(jué);圖(h)為本文算法所計(jì)算得到的圖像，可以明顯看出該幅圖像的清晰度更高，廣告牌上的字以及行人汽車清晰可見(jiàn)，符合真實(shí)場(chǎng)景，更適宜人眼觀察。

圖4 Uncamp源圖像融合結(jié)果Fig.4 Fusion resultsof Uncampsource images

圖6為Kayak 源圖像融合結(jié)果?？梢钥闯鰣D(c)、(d)、(e)對(duì)比度較低，視覺(jué)效果較差;圖(f)有明顯的陰影;圖(g)保留的背景信息較為完整，但是整體亮度偏高，不符合人眼觀察;圖(h)是由本文算法計(jì)算出的融合圖像，清晰度、對(duì)比度適宜，無(wú)偽影，亮度適中，視覺(jué)觀感最佳。

根據(jù)以上3組圖片，通過(guò)主觀視覺(jué)比較可以看出本文算法在圖像融合的成像質(zhì)量、視覺(jué)效果上有著較大的優(yōu)勢(shì)，也可以通過(guò)客觀參數(shù)指標(biāo)對(duì)這幾種算法進(jìn)行比較，如表1所示。

從表1中可以看出本文算法在信息熵(information entropy,IE)、平均梯度(averagegradient,AD)、標(biāo)準(zhǔn)差(standard deviation,STD)、空間頻率(spatialfrequency,SF)這4個(gè)指標(biāo)中均位于前列，說(shuō)明由本文算法處理所得的融合圖像從源圖像中獲得的信息量最多、擁有更豐富的細(xì)節(jié)特征、對(duì)比度和邊緣保持能力好、背景與目標(biāo)可清晰分辨，與主觀視覺(jué)所得出的結(jié)論相符。

圖5 Quad 源圖像融合結(jié)果Fig.5 Fusionresultsof Quad source images

圖6 Kayak 源圖像融合結(jié)果Fig.6 Fusion r esultsof Kayak sourceimage s

表1 客觀指標(biāo)對(duì)比Table 1 Comparison of objective indicators

5 結(jié)論

本文提出了一種基于灰度能量差異性的紅外與可見(jiàn)光圖像融合方法，通過(guò)對(duì)紅外圖像中目標(biāo)信息的增強(qiáng)提取，融合后的目標(biāo)特征更加顯著，并且極大地保留了可見(jiàn)光圖像中的細(xì)節(jié)，有效地解決了傳統(tǒng)融合算法時(shí)出現(xiàn)的目標(biāo)信息不夠突出，細(xì)節(jié)、紋理模糊等缺點(diǎn)，并且利用3 組經(jīng)典的紅外與可見(jiàn)光圖像進(jìn)行融合實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明本文算法較其他算法清晰度更高，對(duì)比度更適宜，更適合人眼觀察，STD、IE、AG、SF 等客觀評(píng)價(jià)指標(biāo)所得出的結(jié)論也與主觀視覺(jué)感受一致，說(shuō)明本文融合算法是一種行之有效的紅外與可見(jiàn)光圖像融合算法。