張　燁

(西安科技大學(xué) 通信與信息工程學(xué)院, 陜西 西安710054)

生活中較常見的兩類圖像為紅外圖像和可見光圖像，這兩類圖像由不同的傳感器獲得，成像機(jī)理不同，特點(diǎn)不同[1]。融合紅外圖像與可見光圖像具有較高的研究和應(yīng)用價(jià)值，因此得到了廣泛應(yīng)用[2-3]。目前，圖像融合領(lǐng)域中大都以提高圖像融合質(zhì)量為主要考慮因素，而實(shí)際生活中，在安全監(jiān)控、戰(zhàn)場(chǎng)感知等應(yīng)用領(lǐng)域，傳感圖像大多以動(dòng)態(tài)序列的形式輸出，這些系列圖像需要被實(shí)時(shí)地融合處理。若還使用傳統(tǒng)的圖像融合方法要達(dá)到實(shí)時(shí)處理的效果，不僅實(shí)現(xiàn)的復(fù)雜度增大，而且很大程度上增加了傳輸、儲(chǔ)存、重構(gòu)的成本。因此，壓縮感知理論(CS理論)[4-5]的引入解決了這個(gè)問(wèn)題。

在基于壓縮感知的圖像融合算法中，原圖像的空間信息在通過(guò)CS觀測(cè)時(shí)丟失，因此處理測(cè)量系數(shù)時(shí)不能夠使用基于空間的選取規(guī)則，復(fù)雜的融合規(guī)則也無(wú)法采用[6]。融合規(guī)則大多選擇絕對(duì)值取大、信息熵加權(quán)、相似性度量、標(biāo)準(zhǔn)差加權(quán)等簡(jiǎn)單方法。但由于絕對(duì)值取大法得到的融合圖像對(duì)比度太大，且有明顯噪點(diǎn)；信息熵只能籠統(tǒng)計(jì)算出包含在觀測(cè)向量中的信息；相似性度量無(wú)法準(zhǔn)確得到分類區(qū)間而造成分類錯(cuò)誤；基于標(biāo)準(zhǔn)差加權(quán)得到的融合圖像相比之下視覺效果較好，但是，當(dāng)兩幅圖像標(biāo)準(zhǔn)差相差不大時(shí)，根據(jù)系數(shù)的權(quán)重融合圖像很可能導(dǎo)致圖像融合效果變差，而使用絕對(duì)值取大法則能夠獲取兩幅圖像各自瞬變特征的顯著信息[7]。因此，本文提出了一種自適應(yīng)的融合規(guī)則，兼顧了待融合圖像的背景信息和紅外目標(biāo)信息，有效提高了圖像的融合質(zhì)量。

1　壓縮感知的數(shù)學(xué)模型

(1)

x=ψθ

(2)

其中，ψ=(ψ1,ψ2,…,ψN)∈RN×N為正交基字典矩陣。假設(shè)系數(shù)向量θ是K階稀疏的，即其中非零稀疏的個(gè)數(shù)K?N，那么采用另一個(gè)與正交基不相關(guān)的矩陣Φ：M×N(M?N)，對(duì)信號(hào)X做壓縮觀測(cè)可以得到M個(gè)線性投影，其中y∈RM，可表示為

y=Φx=Φψθ=ACSθ

(3)

顯然從y中恢復(fù)x是一個(gè)NP-hard問(wèn)題，但只要矩陣ACS任意2K列都是線性獨(dú)立的，那么至少存在一個(gè)K-系數(shù)的系數(shù)向量θ滿足y=ACAθ。換言之，在滿足上述要求的情況下，通過(guò)求解一個(gè)非線性優(yōu)化問(wèn)題就能從觀測(cè)y、觀測(cè)矩陣Φ和字典矩陣Ψ中近乎完美的重建信號(hào)X[8-10]。

2　圖像融合的基本框架

本文采用非下采樣 Contourlet變換(NSCT變換)[11]對(duì)待融合圖像進(jìn)行多尺度分解。圖像經(jīng)NSCT變換后被分解為1個(gè)低通子帶和K個(gè)方向子帶，由于低頻系數(shù)不具備稀疏性，而高頻系數(shù)具有較高稀疏性，所以保留圖像低頻系數(shù)，只對(duì)高頻系數(shù)進(jìn)行觀測(cè)；重構(gòu)時(shí)，利用重構(gòu)算法對(duì)高頻系數(shù)進(jìn)行恢復(fù)，在經(jīng)過(guò)NSCT逆變換重構(gòu)出圖像[12-13]?；贜SCT的壓縮感知圖像融合框圖如圖1所示。

圖1　融合框圖

2.1　低頻系數(shù)融合規(guī)則

不同物體在紅外圖像和可見光圖像的表達(dá)能力不同，可見光圖像的中高頻信息多分布在背景等處，而紅外圖像的中高頻則分布在熱目標(biāo)處。傳統(tǒng)融合算法中，對(duì)低頻的處理結(jié)果往往使背景比較模糊，或者為了突出紅外效果而造成背景信息權(quán)重偏向紅外圖像。因此，為得到更佳的融合圖像，其背景應(yīng)多來(lái)自可見光圖像，熱目標(biāo)信息來(lái)自紅外圖像[14]。根據(jù)這個(gè)特點(diǎn)，本文選擇分塊DCT高頻能量準(zhǔn)則融合NSCT分解得到的低頻系數(shù)。

(1)對(duì)低頻系數(shù)做DCT分塊變換。DCT變換系數(shù)矩陣的特點(diǎn)是：中高頻分量分散在右下角，低頻分量集中在左上角。如果直接計(jì)算DCT分塊的能量會(huì)導(dǎo)致圖像的中高頻能量被掩蓋，而每個(gè)子塊的副對(duì)角線右側(cè)系數(shù)基本反映了原圖像塊的高頻信息。因此根據(jù)對(duì)比每一分塊的高頻能量選擇融合系數(shù)。定義DCT變換矩陣高頻能量如式(4)所示

(4)

其中，N為圖像分塊大小，D(u,v)表示DCT系數(shù)矩陣中的系數(shù)，本文中分為8×8的子塊。

圖像融合時(shí)往往會(huì)出現(xiàn)部分灰度均勻的區(qū)域，且這些區(qū)域通常為背景，如果僅依據(jù)DCT系數(shù)的高頻能量規(guī)則融合則易出現(xiàn)誤判。因此在融合時(shí)，若兩幅原圖像的DCT高頻能量差值小于閾值T時(shí)，融合時(shí)偏重可見光圖像系數(shù)，即

XF(i,j)=a×XA(i,j)+(1-a)×XB(i,j),|EA-EB|

(5)

其中a=0.8，XF(i,j)為融合后的系數(shù)，XA(i,j)和XB(i,j)為兩幅原圖像的像素。

當(dāng)差值大于T時(shí)，分為兩種情況；紅外圖像量較大，融合系數(shù)權(quán)值側(cè)重紅外圖像。

(6)

其中b=0.2，EA和EB分別為可見光圖像和紅外圖像的DCT分塊系數(shù)矩陣能量。

2.2　高頻系數(shù)融合規(guī)則

通常來(lái)說(shuō)，絕對(duì)值更大的系數(shù)代表更多的瞬變特征顯著信息。但是CS觀測(cè)過(guò)程是對(duì)原圖像的線性投影，得到的觀測(cè)向量是觀測(cè)矩陣內(nèi)系數(shù)的線性組合，觀測(cè)矩陣的隨機(jī)性使原圖像的信息隨機(jī)分布到觀測(cè)向量上。當(dāng)圖像包含的信息很多時(shí)，絕對(duì)值系數(shù)大的圖像不一定是信息量多的圖像，而標(biāo)準(zhǔn)差卻能表示圖像信息量的多少。因?yàn)闃?biāo)準(zhǔn)差反應(yīng)的是灰度動(dòng)態(tài)范圍，標(biāo)準(zhǔn)差越大，說(shuō)明圖像灰度級(jí)分布越分散，圖像的對(duì)比度越高，圖像包含的信息越多。但是當(dāng)兩幅圖像的標(biāo)準(zhǔn)差相差不大時(shí)，無(wú)法判斷哪副圖像包含的信息更多[15]，系數(shù)的權(quán)重很可能導(dǎo)致融合效果變差，而使用絕對(duì)值取大法則能夠獲取兩幅圖像中較大的系數(shù)，得到圖像瞬變特征的顯著信息，提高細(xì)節(jié)的清晰度。因此，本文采用標(biāo)準(zhǔn)差加權(quán)和絕對(duì)值取大相結(jié)合的圖像融合方法。具體步驟如下：

(1)分別計(jì)算高頻分量經(jīng)過(guò)壓縮后紅外圖像和可見光圖像的標(biāo)準(zhǔn)差sd，如式(7)所示。

(7)

(2)計(jì)算兩幅觀測(cè)圖像標(biāo)準(zhǔn)差sdA和sdB的差值，如式(8)所示。

sdt=|sdA-sdB|

(8)

其中，sdA和sdB為可見光圖像和紅外圖像觀測(cè)系數(shù)的標(biāo)準(zhǔn)差；

(3)計(jì)算觀測(cè)后的融合值YF(i,j)。當(dāng)差值sdt大于閾值T，說(shuō)明兩幅圖像包含信息量的差異大，因此融合時(shí)要更偏重于標(biāo)準(zhǔn)差大的圖像，故采用標(biāo)準(zhǔn)差加權(quán)的方式作為融合規(guī)則。當(dāng)差值小于閾值T時(shí)，說(shuō)明兩幅圖像包含的信息量相差不大，此時(shí)，兩幅圖像的細(xì)節(jié)信息差異小，因此采用絕對(duì)值取大法融合圖像，突出其各自的細(xì)節(jié)信息。具體的融合規(guī)則如式(9)所示。

(9)

3　仿真結(jié)果及分析

選擇Matlab 2013a為軟件仿真工具，實(shí)驗(yàn)分析圖像均為256×256大小灰度級(jí)的可見光圖像和紅外圖像。此外，本文將絕對(duì)值取大法(CS_MAX)、信息熵加權(quán)法(CS_E)和標(biāo)準(zhǔn)差加權(quán)法(CS_SD)以及本文算法分別運(yùn)用于兩組圖像，并對(duì)融合效果從主觀和客觀參數(shù)兩方面進(jìn)行比較分析。

圖像融合實(shí)驗(yàn)仿真效果如圖2和圖3所示。實(shí)驗(yàn)分別對(duì)兩組待融合可見光圖像和紅外圖像作3層NSCT分解。兩組融合圖中，圖2(c)～圖2(e)分別是采用絕對(duì)值取大法、信息熵加權(quán)法、標(biāo)準(zhǔn)差加權(quán)法融合后的效果圖，圖2(e)為本文算法融合后的效果圖。從主觀角度來(lái)看，這幾種方法都能夠從紅外圖像中提取到熱源信息，并能將可見光圖像和紅外圖像的特性體現(xiàn)到融合圖像中。

圖2　圖1融合仿真實(shí)驗(yàn)效果圖

對(duì)于第一組圖像來(lái)說(shuō)，CS_MAX 法雖提取到了紅外目標(biāo)，但圖像的細(xì)節(jié)模糊，融合的效果最差；CS_E次之，因?yàn)樾畔㈧刂皇歉纳屏藞D像信息的豐富程度，并不能明顯提高圖像清晰度； CS_SD融合效果相對(duì)較好，不僅更精準(zhǔn)的提取到紅外目標(biāo)的輪廓，圖像的清晰度也有所提高，但是對(duì)圖像細(xì)節(jié)的表達(dá)不夠清楚；而本文算法融合效果在對(duì)紅外目標(biāo)輪廓的提取上要更精準(zhǔn)于前3種方法，且與周圍背景界線劃分明確，在顯著突出了紅外目標(biāo)(鴨子)的基礎(chǔ)上清楚地保留了可見光圖像草叢處細(xì)節(jié)信息，在背景清晰度上要高于這3種算法。

圖3　圖2融合仿真實(shí)驗(yàn)效果圖

對(duì)于第二組圖像來(lái)說(shuō)，CS_MAX、CS_E和CS_SD這3種算法得到的融合圖像細(xì)節(jié)信息均不清晰，如圖3(c)～圖3(e)中近處涼棚的邊緣、草叢以及遠(yuǎn)處的柵欄都有不同程度的模糊。而本文算法在精準(zhǔn)提取紅外目標(biāo)輪廓的基礎(chǔ)上，使融合后的背景更接近可見光圖像，例如涼棚的顏色、草叢的分枝及遠(yuǎn)處人物附近的柵欄。因此，本文算法與其他3種算法相比，保留了更多的可見光圖像細(xì)節(jié)信息。

兩組圖像的4種算法的客觀參數(shù)比較如表1所示。由表1可知：本文算法的融合效果在E(信息熵)、Ag(平均梯度)、SD(標(biāo)準(zhǔn)差)這幾方面指標(biāo)中均優(yōu)于其他算法。由于本文算法是根據(jù)源圖像的性質(zhì)而選擇不同的融合規(guī)則進(jìn)行圖像融合，既得到了圖像瞬變特征的顯著信息，又豐富了圖像的信息量，二者兼而有之，使得融合圖像從源圖像中獲取到更多的信息，增強(qiáng)了細(xì)節(jié)的表現(xiàn)力。

表1　4種算法圖像融合客觀參數(shù)比較

4　結(jié)束語(yǔ)

本文將壓縮感知算法應(yīng)用于圖像融合領(lǐng)域，針對(duì)低頻系數(shù)和高頻系數(shù)各自特征采用不同融合規(guī)則進(jìn)行融合。低頻融合選擇更能突出紅外和可見光圖像信息特點(diǎn)的分塊DCT高頻能量準(zhǔn)則，高頻考慮到傳統(tǒng)圖像融合規(guī)則中的局部信息選取規(guī)則不適用CS 的測(cè)量處理，因此采用結(jié)合高頻觀測(cè)值特點(diǎn)的自適應(yīng)融合規(guī)則融合圖像。仿真實(shí)驗(yàn)表明，本文算法在更大程度保留可見光圖像細(xì)節(jié)的基礎(chǔ)上準(zhǔn)確提取到了紅外目標(biāo)信息，提高了融合圖像的效果。

[1]李海超,李成龍,湯進(jìn),等.熱紅外與可見光圖像融合算法研究[J].計(jì)算機(jī)科學(xué)與探索,2016,10(3):407-412.

[2]錢小燕,韓磊,王幫峰.紅外與可見光圖像快速融合算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2011,23(7):1211-1216.

[3]舒久明.一種自適應(yīng)的紅外與可見光圖像融合算法[J].電子科技,2015,28(5):24-26.

[4]Donoho D L.Compressed sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[5]阮濤,那彥,王澍.基于壓縮感知的遙感圖像融合方法[J].電子科技,2012,25(4):43-45.

[6]柳翠寅,羅洪禮,李曉峰.基于壓縮感知的紅外與可見光圖像融合[J].四川大學(xué)學(xué)報(bào):工程科學(xué)版,2014,46(5):89-95.

[7]龔紫平.多觀測(cè)及分塊觀測(cè)壓縮感知的圖像融合方法研究[D].廣州:華南理工大學(xué),2012.

[8]焦李成,楊淑媛,劉芳,等.壓縮感知回顧與展望[J].電子學(xué)報(bào),2011,39(7):1651-1658.

[9]邵文澤,韋志輝.壓縮感知基本理論:回顧與展望[J].中國(guó)圖象圖形學(xué)報(bào),2012,17(1):1-10.

[10] 閆迪.基于壓縮感知理論的圖像重構(gòu)與圖像融合算法研究[D].西安:西安科技大學(xué),2013.

[11] 胡玉成,王創(chuàng)新.基于區(qū)域方向的NSCT與PCNN圖像融合算法[J].電子學(xué)報(bào),2014,27(4):30-32.

[12] 袁金樓,吳謹(jǐn),劉勁.基于NSCT與DWT的壓縮感知圖像融合[J].紅外技術(shù),2015,37(11):957-961.

[13] 趙學(xué)軍,劉靜.NSST域內(nèi)基于壓縮感知和PCNN的遙感圖像融合[J].科學(xué)技術(shù)與工程,2016,16(14):260-261.

[14] 郭明符,奚曉梁.基于局部能量的NSCT域紅外與可見光圖像融合算法[J].紅外與激光工程,2012,41(8):2229-2235.

[15] 亓興蘭,胡宗慶,劉健.SPOT-5全色與多光譜遙感影像融合方法比較[J].北華大學(xué)學(xué)報(bào):自然科學(xué)版,2011,12(2):214-218.