結(jié)合目標(biāo)提取和壓縮感知的紅外與可見(jiàn)光圖像融合

王　昕，吉桐伯，劉　富

(1.長(zhǎng)春工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，吉林 長(zhǎng)春 130012；2.吉林大學(xué) 通信工程學(xué)院，吉林 長(zhǎng)春 130022；3.中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林 長(zhǎng)春 130033)

?

結(jié)合目標(biāo)提取和壓縮感知的紅外與可見(jiàn)光圖像融合

王昕1，2，吉桐伯3，劉富2*

(1.長(zhǎng)春工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，吉林 長(zhǎng)春 130012；2.吉林大學(xué) 通信工程學(xué)院，吉林 長(zhǎng)春 130022；3.中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林 長(zhǎng)春 130033)

針對(duì)紅外與可見(jiàn)光圖像融合易受噪聲干擾從而使目標(biāo)信息減弱的問(wèn)題，提出了一種基于目標(biāo)區(qū)域提取和壓縮感知的融合算法。首先，在頻率域上對(duì)紅外圖像進(jìn)行顯著區(qū)域檢測(cè)得到其對(duì)應(yīng)的顯著度圖，并在顯著圖指導(dǎo)下結(jié)合區(qū)域生長(zhǎng)法提取紅外圖像的目標(biāo)區(qū)域，有效抑制噪聲與復(fù)雜背景的干擾。然后，用非下采樣剪切波變換對(duì)待融合的圖像進(jìn)行分解，采用不同的融合策略分別對(duì)目標(biāo)與背景區(qū)域的高、低頻子帶進(jìn)行融合。針對(duì)背景區(qū)域提出一種新的基于多分辨率奇異值分解和壓縮感知的融合規(guī)則，最后，進(jìn)行非下采樣剪切波逆變換得到融合圖像。與其他算法的對(duì)比實(shí)驗(yàn)結(jié)果表明，本文算法能更好地突出目標(biāo)區(qū)域，保留圖像細(xì)節(jié)信息，抑制噪聲干擾；圖像質(zhì)量評(píng)價(jià)指標(biāo)中的信息熵、標(biāo)準(zhǔn)差、互信息、邊緣保持度分別提高了3.94%，19.14%，9.96%和8.52%。

圖像融合；紅外圖像；可見(jiàn)光圖像；顯著度圖；非下采樣剪切波變換；目標(biāo)提??；壓縮感知；多分辨率奇異值分解

1　引　言

多傳感器融合可以增強(qiáng)圖像的可信度，提高系統(tǒng)的可靠性，降低對(duì)單一傳感器性能的要求。融合后的圖像可以更準(zhǔn)確、更全面地展示出目標(biāo)或場(chǎng)景的相關(guān)信息，更適合人眼觀察以及計(jì)算機(jī)的相關(guān)后續(xù)處理。紅外與可見(jiàn)光圖像融合是圖像融合的重要分支，也是目前圖像融合研究的重點(diǎn)。紅外傳感器是通過(guò)熱輻射成像，有利于突出場(chǎng)景中的目標(biāo)區(qū)域，但不能很好地表征場(chǎng)景細(xì)節(jié)特征；而可見(jiàn)光傳感器通過(guò)物體反射成像，能夠提供目標(biāo)所在場(chǎng)景的細(xì)節(jié)信息。因此，紅外與可見(jiàn)光融合不僅具有良好的紅外圖像的目標(biāo)特征，而且還能很好地保留可見(jiàn)光圖像的細(xì)節(jié)信息。

目前有一種主流的紅外與可見(jiàn)光融合算法是基于變換域的方法，如小波變換，金字塔變換，Curvelet變換，Contourlet變換等，但上述方法不具備平移不變性，容易導(dǎo)致圖像邊緣細(xì)節(jié)模糊。還有一種基于變換域的方法是非下采樣Contourlet變換(Non-subsampled Contourlet Transform，NSCT),其雖然具備平移不變性，融合效果好，但算法復(fù)雜度偏高[1]。為了克服此缺陷，文獻(xiàn)[2]提出了非下采樣剪切波變換(Non-subsampled Shearlet Transform，NSST)，它不僅繼承了NSCT的所有優(yōu)點(diǎn)， 而且提高了計(jì)算效率，近年來(lái)受到國(guó)內(nèi)外學(xué)者們的普遍關(guān)注。Kong等人基于NSST變換，并與空間頻率及PCNN(Pulse Coupled Neural Network)相結(jié)合實(shí)現(xiàn)了紅外與可見(jiàn)光圖像融合[3]。該算法雖然效果好，但復(fù)雜度偏高；周強(qiáng)等人將NSST成功應(yīng)用在紅外偏振圖像融合中[4]；除了變換域方法外，學(xué)者們還相繼提出基于壓縮感知的融合算法[5-8]，這種方法也是目前的研究熱點(diǎn)。壓縮感知作為信號(hào)處理的新技術(shù)，用在圖像融合領(lǐng)域可以極大地降低采樣數(shù)據(jù)量，提高融合效率，減輕存儲(chǔ)壓力。

在紅外與可見(jiàn)光圖像融合領(lǐng)域普遍存在的問(wèn)題是：在光照不足、目標(biāo)和背景顏色接近時(shí)，容易出現(xiàn)目標(biāo)信息丟失或減弱的現(xiàn)象。此外，由于紅外圖像的信噪比較低，噪聲的干擾會(huì)影響圖像的融合質(zhì)量?？紤]到由于現(xiàn)有的多數(shù)算法都很難正確區(qū)分噪聲和原始圖像的特征，從而導(dǎo)致融合結(jié)果產(chǎn)生模糊和虛假信息，本文提出了一種新的基于目標(biāo)提取和稀疏表示的圖像融合算法，算法流程如圖1所示。首先生成紅外圖像的顯著度圖，利用顯著度圖指導(dǎo)紅外目標(biāo)分割。這樣對(duì)具有復(fù)雜背景干擾及低信噪比的紅外圖像，依然能準(zhǔn)確提取紅外目標(biāo)區(qū)域。然后對(duì)紅外和可見(jiàn)光源圖像分別進(jìn)行NSST變換，對(duì)兩幅源圖像中的目標(biāo)區(qū)域和背景區(qū)域分別采用不同的融合策略進(jìn)行融合。仿真實(shí)驗(yàn)表明，本文算法在克服噪聲干擾的同時(shí)，有效避免了目標(biāo)信息丟失和弱化的問(wèn)題。

圖1　本文算法流程圖

2　基于顯著度圖的紅外目標(biāo)區(qū)域分割

在紅外目標(biāo)區(qū)域分割過(guò)程中，主要存在兩個(gè)問(wèn)題：(1)當(dāng)紅外圖像背景復(fù)雜度高，且存在背景干擾時(shí)，易導(dǎo)致誤分割；(2)自然界分子的熱運(yùn)動(dòng)會(huì)導(dǎo)致紅外圖像的信噪比較低，背景噪聲的存在會(huì)干擾目標(biāo)區(qū)域的正確提取。目前紅外目標(biāo)提取方法，有基于閾值的分割[9]、區(qū)域生長(zhǎng)法分割、模糊聚類分割方法[10]等。上述方法僅對(duì)某些固定場(chǎng)景的紅外圖像有較好的分割效果，當(dāng)背景干擾發(fā)生變化時(shí)，分割效果也會(huì)隨之改變。對(duì)于紅外圖像的背景噪聲問(wèn)題，多數(shù)算法都采用去噪預(yù)處理解決。而去噪很容易導(dǎo)致目標(biāo)區(qū)域邊緣模糊，而且噪聲很難完全去除。針對(duì)此問(wèn)題，本文利用顯著度圖指導(dǎo)下的區(qū)域生長(zhǎng)法來(lái)解決復(fù)雜背景干擾及低信噪比下的紅外圖像目標(biāo)分割問(wèn)題。

2.1顯著度圖

顯著性區(qū)域檢測(cè)就是找出圖像中人類視覺(jué)注意焦點(diǎn)的區(qū)域，再用顯著度圖進(jìn)行表示。紅外成像取決于景物的溫度分布，因此在紅外圖像中，目標(biāo)區(qū)域相對(duì)背景區(qū)域來(lái)說(shuō)是顯著的。Achanta利用圖像的顏色和亮度信息，針對(duì)自然景物的彩色圖像，提出了基于頻率域的顯著區(qū)域提取方法[11]。選擇高斯帶通濾波器來(lái)抽取圖像的顯著特征。高斯帶通濾波器定義如下：

G(x,y,σ1)-G(x,y,σ2)，

(1)

其中：σ1，σ2(σ1>σ2)是高斯濾波器的標(biāo)準(zhǔn)方差。定義σ1=ρσ，σ2=σ，則高斯帶通濾波器的帶寬由ρ來(lái)控制。對(duì)具有不同ρ的高斯帶通濾波器求和，能夠獲取更寬頻帶范圍內(nèi)的圖像特征。求和后的表達(dá)式如下：

G(x,y,σρN)-G(x,y,σ).

(2)

低頻截止頻率ωlc由σ1決定，高頻截止頻率ωhc由σ2決定。通過(guò)選擇合適的σ1與σ2的值，就得到能夠保持期望空間頻率特征的顯著度圖。為了盡可能地獲得低頻段的所有頻率值，σ1設(shè)置為無(wú)窮大；為了去掉圖像的高頻噪聲和紋理信息，選擇先用小高斯核濾波器擬合離散的高斯值，然后利用下式來(lái)計(jì)算圖像的顯著度圖S：

S(x,y)=‖Iμ-Iwhc(x,y)‖，

(3)

式中：Iμ為平均圖像特征相量；Iwhc為經(jīng)高斯濾波后的像素值；‖‖為歐式距離。利用上式分別計(jì)算亮度分量L和顏色分量A、B，得到最終的顯著度圖。該算法實(shí)時(shí)性好，能準(zhǔn)確保留顯著區(qū)域的邊緣信息，還能有效抑制噪聲的影響。

對(duì)于紅外灰度圖像，不能直接利用該模型，因此采用式(4)獲取相應(yīng)的顯著度圖：

S(x,y)=|Iμ-Iwhc(x,y)|，

(4)

式中：Iμ為紅外圖像灰度平均值；Iwhc為紅外圖像經(jīng)高斯濾波后的圖像。||是L1范數(shù)。

圖2為一幅紅外圖像及其顯著度圖。由圖2可見(jiàn)，在顯著度圖中，紅外圖像的顯著區(qū)域(目標(biāo)區(qū)域)變得更加顯著，不顯著區(qū)域(背景和噪聲)得到了有效的抑制。

(a) 紅外圖像(a)Infrared image　

(b)顯著度圖(b)Saliency map

2.2紅外圖像的目標(biāo)區(qū)域分割

由于區(qū)域生長(zhǎng)法對(duì)紅外目標(biāo)的分割效果較理想，因此被廣泛采用。區(qū)域生長(zhǎng)法的正確性依賴種子像素點(diǎn)的選取，當(dāng)紅外圖像背景區(qū)域復(fù)雜，且存在干擾(如噪聲等)時(shí)，容易選錯(cuò)種子點(diǎn)而導(dǎo)致誤分割。而在紅外圖像的顯著度圖中，背景區(qū)域被抑制，目標(biāo)區(qū)域相對(duì)噪聲是顯著的，因此可以在顯著度圖的指導(dǎo)下選擇正確的種子像素點(diǎn)，得到更準(zhǔn)確的分割結(jié)果。具體過(guò)程如下：(1)在顯著度圖中選擇灰度值最大的點(diǎn)作為種子點(diǎn)；(2)以種子點(diǎn)為中心，考慮其4鄰域像素點(diǎn)，如果滿足生長(zhǎng)規(guī)則，則將其合并。以鄰域像素點(diǎn)與已分割區(qū)域灰度均值的差作為相似性測(cè)度，把差值最小的鄰域像素點(diǎn)合并到分割區(qū)域；(3)當(dāng)相似性測(cè)度大于分割閾值t時(shí)，則停止生長(zhǎng)。本文算法選擇閾值t=50。

為進(jìn)一步驗(yàn)證本文算法的分割效果及抗噪性能，設(shè)置了實(shí)驗(yàn)，結(jié)果如圖3所示。對(duì)圖3(a)添加高斯噪聲得到圖3(b)，對(duì)圖3(b)進(jìn)行目標(biāo)區(qū)域分割。圖3(b)具有復(fù)雜的野外背景，且信噪比更低。圖3(c)為顯著度圖，圖3(d)～(h)分別為Otsu算法，文獻(xiàn)[9]中的最大熵法，文獻(xiàn)[10]中的K均值聚類算法，傳統(tǒng)區(qū)域生長(zhǎng)法(區(qū)域生長(zhǎng)過(guò)程與本文算法相同，唯一不同之處是在圖3(b)中直接選擇種子點(diǎn)。由于噪聲干擾，誤選了噪聲點(diǎn)作為種子點(diǎn))及本文方法的結(jié)果。

(a) 紅外圖像(a)Infrared image

(b) 加噪圖像(b)Noisy infrared image

(c) 顯著度圖(c)Saliency map

(d) Otsu算法(d)Otsu

(e) 最大熵法(e)Maximum entropy

(f) K均值聚類(f)K-means clustering

(g) 傳統(tǒng)區(qū)域生長(zhǎng)法(g)Region growing method

(h) 本文算法(h)Proposed method

實(shí)驗(yàn)結(jié)果表明，本文算法對(duì)于有復(fù)雜背景干擾的圖像及低信噪比圖像仍然能得到正確分割結(jié)果。提取紅外目標(biāo)區(qū)域后將其映射至可見(jiàn)光圖像中，完成對(duì)源圖像目標(biāo)區(qū)域與背景區(qū)域的分割。

3　基于區(qū)域分割和NSST的圖像融合

3.1NSST分解

由于NSST的整個(gè)分解過(guò)程中沒(méi)有下采樣環(huán)節(jié)，從而保證了平移不變性。NSST變換可以根據(jù)融合的實(shí)際需要選擇分解的方向數(shù)，故克服了NSCT分解方向數(shù)受限制的缺陷，能更好地表達(dá)圖像各方向上的邊緣和細(xì)節(jié)特征。

(a) NSST二層分解流程(a)Two level decomposition of NSST

(b) 原始圖像(b)Original image

(c) 低頻子帶圖像(c)Low-frequency subband

(d) 4個(gè)高頻子帶圖像

3.2目標(biāo)區(qū)域融合規(guī)則

為了盡可能地保留紅外圖像的熱目標(biāo)信息，將紅外圖像的低頻子帶系數(shù)作為融合圖像的低頻子帶系數(shù)：

LF(x，y)=Li(x，y)，(x,y)∈T.

(5)

為了使目標(biāo)區(qū)域的輪廓和細(xì)節(jié)特征更清晰，高頻子帶系數(shù)選擇“模極大值”法，即：

(6)

3.3背景區(qū)域的融合規(guī)則

3.3.1低頻子帶的融合規(guī)則

基于混合多分辨率的思想[12]，本文對(duì)于經(jīng)過(guò)NSST變換后的背景區(qū)域的低頻子帶采用多分辨率奇異值分解(Multi-resolution Singular Value Decomposition，MSVD)進(jìn)行融合。多分辨率奇異值分解與小波變換非常相似，它也是在分解過(guò)程中對(duì)信號(hào)分別用低通、高通濾波器進(jìn)行濾波，區(qū)別是小波變換是通過(guò)有限脈沖響應(yīng)(FIR)濾波器進(jìn)行濾波，而MSVD是用奇異值分解(SVD)進(jìn)行濾波。圖像的一層MSVD分解過(guò)程如下：

(1)將大小為m×n的圖像分成互不重疊的2×2的子塊，然后把每個(gè)子塊按照先列后行的順序整理成4×1的列向量；再將所有子塊的列向量進(jìn)行組合，形成一個(gè)大小為4×(m×n/4)的矩陣R。

(2)對(duì)R進(jìn)行奇異值分解：R=USVT，U和V均為4×4的正交矩陣。

(3)對(duì)R左乘UT，得A=UTR=SVT。

(4)A的第一行包含了最大的奇異值，代表了原圖像的概貌，對(duì)應(yīng)著圖像的低頻信息；A的其他行包含的是小的奇異值，對(duì)應(yīng)著圖像的細(xì)節(jié)，即高頻信息。

對(duì)低頻子帶Φ1繼續(xù)重復(fù)步驟(1)～(5)可進(jìn)行下一層分解，以此類推，完成多層MSVD分解。圖像的重構(gòu)可由上述各分解步驟的逆過(guò)程實(shí)現(xiàn)。MSVD三層分解結(jié)構(gòu)如圖5所示。

圖5　MSVD三層分解結(jié)構(gòu)圖

文獻(xiàn)[13]對(duì)比分析了MSVD和小波融合的性能，實(shí)驗(yàn)結(jié)果表明，兩者的融合效果非常接近，由于MSVD不像小波變換需要固定的基向量，其融合效果有時(shí)甚至超過(guò)小波。從融合時(shí)間上來(lái)看，MSVD的計(jì)算過(guò)程簡(jiǎn)單，實(shí)時(shí)性遠(yuǎn)高于小波融合方法。

NSST變換具有高度靈活的方向表達(dá)特性，在圖像的各向異性表達(dá)上優(yōu)于MSVD，非常適合表示圖像的邊緣特征，但對(duì)于某些局部細(xì)節(jié)特征區(qū)域，融合效果不如MSVD；而MSVD在圖像邊緣區(qū)域的融合誤差較大?；谝陨戏治?，本文提出一種新的融合規(guī)則，采用 MSVD分別對(duì)Li和Lv(Li，Lv∈B)進(jìn)行二次分解，得到相應(yīng)的低頻和高頻系數(shù)。由于可見(jiàn)光圖像中包含的背景信息更豐富，選擇MSVD分解后的可見(jiàn)光低頻系數(shù)作為融合圖像的低頻系數(shù)，而高頻系數(shù)選擇“模極大值”的融合策略進(jìn)行融合，最后利用 MSVD逆變換得到融合后的背景區(qū)域的低頻子帶LF(LF∈B)。

3.3.2高頻子帶的融合規(guī)則

由于圖像的目標(biāo)區(qū)域是更受關(guān)注的區(qū)域，如監(jiān)控場(chǎng)景中的行人和車輛等。而由于壓縮感知(Compressive Sensing，CS)能以較低的采樣率高效地重構(gòu)原信號(hào)，它已成為圖像融合領(lǐng)域的研究熱點(diǎn)。為了提高融合效率，對(duì)背景區(qū)域采用基于壓縮感知的融合算法。目前主要的圖像稀疏表示方法有DCT和正交小波變換及NSCT變換。DCT變換的時(shí)頻分析性能不好；小波變換的方向選擇性差；NSCT計(jì)算復(fù)雜度高，而且分解方向數(shù)受限。由于NSST可以根據(jù)融合需要選擇任意的分解方向數(shù)，能更好地表達(dá)圖像各方向的細(xì)節(jié)信息，比NSCT運(yùn)算效率高，可以更好地進(jìn)行圖像的稀疏表示。因此，本文將NSST應(yīng)用在壓縮感知域，融合具體流程如圖6所示。

圖6　背景區(qū)域高頻子帶融合流程圖

圖7　星形采樣模式

星形測(cè)量矩陣中，白色區(qū)域，即值為“1”的點(diǎn)是被采樣的點(diǎn)。紅外圖像背景噪聲主要存在于高頻子帶，故對(duì)高頻子帶進(jìn)行壓縮測(cè)量可以去除一部分噪聲的影響。測(cè)量完成后，融合規(guī)則采用基于空間頻率(Spatial Frequency， SF)加權(quán)的融合方法。SF越大代表圖像細(xì)節(jié)信息越豐富，而且SF對(duì)噪聲不敏感。圖像I(i，j)的空間頻率SF定義為：

(7)

(8)

(9)

設(shè)Φ為測(cè)量矩陣：

(10)

(11)

zi=wxxi+wyyi，i=1，2，…，M.

(12)

按照公式(9)計(jì)算X與Y的空間頻率，記為SFx與SFy，則：

wx=SFx/(SFx+SFy)，

(13)

wy=SFy/(SFx+SFy).

(14)

最小全變分算法對(duì)于二維信號(hào)的重構(gòu)效果是最突出的，可以更好地保留圖像細(xì)節(jié)[14]。全變分就是對(duì)圖像x的梯度幅值求和。最小全變分重構(gòu)的目標(biāo)函數(shù)為：

(15)

式中：φ為測(cè)量矩陣，y=φx+n，n為噪聲，x代表圖像信號(hào)，‖x‖TV為圖像x的全變分，x′為重構(gòu)信號(hào)，λ為正則因子。式(15)中第一項(xiàng)中通過(guò)求l2范數(shù)使能量差最小來(lái)抑制噪聲的干擾。第二項(xiàng)中的λ用來(lái)權(quán)衡圖像的稀疏性能與噪聲的抑制作用。

最后將融合后的目標(biāo)和背景區(qū)域的高、低頻子帶進(jìn)行NSST逆變換，即得到最終的融合圖像。

4　實(shí)驗(yàn)與結(jié)果

為了驗(yàn)證本文算法的性能，與文獻(xiàn)[15]中的離散小波變換融合法，文獻(xiàn)[16]中的基于小波稀疏的壓縮感知融合算法，文獻(xiàn)[17]中的基于離散傅里葉變換的壓縮感知融合算法，文獻(xiàn)[18]中的基于目標(biāo)區(qū)域分割的圖像融合算法及基于NSST變換的圖像融合算法(分別記為：DWT，DWT+CS，DFT+CS，RS，NSST)做了對(duì)比實(shí)驗(yàn)。本文算法NSST的尺度分解層數(shù)與方向數(shù)均為1。文獻(xiàn) [16]中的小波分解層數(shù)也為1層。文獻(xiàn)[16]與[17]中的采樣率和本文算法的一致，均為30%?；贜SST變換的圖像融合算法采用文獻(xiàn)[19]中的融合規(guī)則，分解層數(shù)為3層，方向分解級(jí)數(shù)依次為2，3，4(與文獻(xiàn)[18]中采用的NSCT變換層數(shù)和分解級(jí)數(shù)相同)。3組已配準(zhǔn)的紅外與可見(jiàn)光源圖像分別命名為：“Dune”、“Fieldcamp”和“UNcamp”，圖像大小均為256×256。算法編程所用平臺(tái)為MATLAB R2011a。融合實(shí)驗(yàn)的結(jié)果如圖8～10所示。

(a)可見(jiàn)光圖像(a)Visible image

(b)紅外圖像(b)Infrared image

(c)DWT方法(c)DWT method

(d)DWT+CS方法(d)DWT+CS method

(e)DFT+CS方法(e)DFT+CS method

(f)NSST方法(f)NSST method

(g)RS方法(g)RS method

(h)本文方法(h)Proposed method

(a)可見(jiàn)光圖像(a)Visible image

(b)紅外圖像(b)Infrared image

(c)DWT方法(c)DWT method

(d)DWT+CS方法(d)DWT+CS method

(e)DFT+CS方法(e)DFT+CS method

(f)NSST方法(f)NSST method

(g)RS方法(g)RS method

(h)本文方法(h)Proposed method

由上面的兩組對(duì)比實(shí)驗(yàn)結(jié)果可以看出：DWT，DWT+CS和DFT+CS 3種算法得到的融合圖像細(xì)節(jié)信息均很模糊，如圖8中的山丘、道路的輪廓模糊不清，圖9中的人物和車輛的輪廓及樹(shù)木的邊緣及細(xì)節(jié)也都有不同程度的模糊。而且3種算法融合圖像中的目標(biāo)(人物或車輛)幾乎被“淹沒(méi)”在背景區(qū)域中。分析可知，DWT算法由于只對(duì)點(diǎn)目標(biāo)物體能很好表達(dá)，所以融合結(jié)果的邊緣輪廓信息易模糊。DWT+CS算法由于采用DWT做稀疏基，捕捉邊緣能力差，而且其采用隨機(jī)測(cè)量矩陣會(huì)導(dǎo)致測(cè)量值無(wú)法正確反映原圖像的結(jié)構(gòu)信息，而本文選擇星形矩陣測(cè)量高頻子帶，使測(cè)量值與結(jié)構(gòu)信息相關(guān)聯(lián)；DWT+CS算法的融合規(guī)則為直接取最大，從而產(chǎn)生了條紋痕跡和噪聲。而且DWT與DWT+CS兩種算法的低頻均采用簡(jiǎn)單的加權(quán)平均規(guī)則導(dǎo)致紅外目標(biāo)信息被削弱。DFT+CS算法對(duì)整幅圖像用DFT做稀疏，星形矩陣主要采集位于圖像中心區(qū)域的低頻分量，高頻系數(shù)只采樣了少數(shù)點(diǎn)，所以造成了邊緣細(xì)節(jié)信息模糊。而本文只對(duì)高頻子帶進(jìn)行壓縮感知，對(duì)高頻子帶的采樣數(shù)目遠(yuǎn)多于DFT+CS，所以融合圖像質(zhì)量要好于后者。與NSST算法相比，本文算法的目標(biāo)區(qū)域更突出，目標(biāo)相對(duì)背景具有更高的對(duì)比度，更好地保留了紅外圖像的熱目標(biāo)信息。RS算法雖然和本文一樣具有很好的目標(biāo)指示特征，但就目標(biāo)輪廓而言，本文算法的紅外目標(biāo)與背景之間的邊界更清晰。

(a)可見(jiàn)光圖像(a)Visible image

(b)紅外圖像(b)Infrared image

(c)DWT方法(c)DWT method

(d)DWT+CS方法(d)DWT+CS method

(e)DFT+CS方法(e)DFT+CS method

(f)NSST方法(f)NSST method

(g)RS方法(g)RS method

(h)本文方法(h)Proposed method

為了驗(yàn)證本文算法的抗噪性能，對(duì)紅外圖像添加了高斯白噪聲，加噪圖像如圖10(b)所示。由加噪融合結(jié)果可以看出，本文算法對(duì)噪聲的抑制能力最佳。其他算法的融合圖像都不同程度地受到了噪聲的污染，導(dǎo)致圖像細(xì)節(jié)模糊，融合質(zhì)量下降，尤其是DWT算法，NSST算法以及RS算法受到噪聲的干擾最大。而本文算法即使對(duì)低信噪比圖像進(jìn)行融合，其目標(biāo)區(qū)域仍能呈現(xiàn)高亮顯示，道路，柵欄，房頂輪廓及房后的樹(shù)木邊緣仍清晰可見(jiàn)，可視效果最佳。

采用信息熵(E)[20]，標(biāo)準(zhǔn)差(SD)，互信息[21](MI)及邊緣保持度(QAB/F)[22]對(duì)各算法的融合圖像質(zhì)量進(jìn)行客觀評(píng)價(jià)，結(jié)果如表1所示。本文算法除了對(duì)圖8中的個(gè)別指標(biāo)略低于NSST算法和RS算法外，其他指標(biāo)在每一組實(shí)驗(yàn)圖像中均為最大值，客觀評(píng)價(jià)結(jié)果進(jìn)一步證實(shí)了本文算法的優(yōu)越性。此外，挑選融合效果較好的NSST算法和RS算法做了算法運(yùn)行時(shí)間的對(duì)比，結(jié)果顯示，本文算法的運(yùn)行時(shí)間約為NSST算法的35.79%，是RS算法運(yùn)行時(shí)間的17.02%。因此無(wú)論在融合質(zhì)量上，還是在算法執(zhí)行效率上，本文算法均占有一定優(yōu)勢(shì)。

表1　不同算法的客觀評(píng)價(jià)

5　結(jié)　論

本文提出了一種新的紅外與可見(jiàn)光圖像融合算法。該方法中，通過(guò)高斯帶通濾波器抽取紅外圖像的顯著特征得到顯著度圖，根據(jù)顯著度圖完成紅外目標(biāo)的分割，以有效抑制紅外背景噪聲等干擾。鑒于NSST的多方向性，平移不變性，良好的實(shí)時(shí)性，本文將其應(yīng)用在壓縮感知域，并結(jié)合所提出的壓縮感知融合方案實(shí)現(xiàn)了背景區(qū)域的融合，提高了融合效率；基于混合多分辨率分析的思想，提出了新的基于多分辨率奇異值分解的融合規(guī)則。仿真結(jié)果表明，與其他5種主流算法相比，本文算法的熵、標(biāo)準(zhǔn)差、互信息量和邊緣保持度分別至少提高了3.94%，19.14%，20.15%和8.52%，既突出了紅外圖像的目標(biāo)指示特性，也很好地保持了可見(jiàn)光圖像的細(xì)節(jié)信息。

[1]張蕾，金龍旭，韓雙麗，等. 采用非采樣Contourlet變換與區(qū)域分類的紅外和可見(jiàn)光圖像融合[J]. 光學(xué) 精密工程， 2015， 23(3)：810-818.

ZHANG L， JIN L X， HAN SH L，etal.. Fusion of infrared and visual images based on non-sampled Contourlet transform and region classification [J].Opt.PrecisionEng.， 2015， 23(3)：810-818.(in Chinese)

[2]EASLEY G， LABATE D， LIM W Q. Sparse directional image representation using the discrete Shearlet transforms [J].Appl.Comput.Harm.Anal， 2008， 25(1)： 25-46.

[3]KONG W， ZHANG L， LEI Y. Novel fusion method for visible light and infrared images based on NSST-SF-PCNN [J].InfraredPhys.Technol.， 2014， 65： 103-112.

[4]周強(qiáng)，趙巨峰，馮華君，等. 非下采樣剪切波的紅外偏振圖像融合[J]. 浙江大學(xué)學(xué)報(bào)(工學(xué)版)， 2014， 48(8)： 1508-1516

ZHOU Q， ZHAO J F， FENG H J，etal.. Infrared polarization image fusion with NSST [J].JournalofZhejiangUniversity(EngineeringScicnce)， 2014， 48(8)： 1508-1516.(in Chinese)

[5]DING M， WEI L， WANG B. Research on fusion method for infrared and visible images via compressive sensing[J].InfraredPhys.Technol， 2013， 57： 56-67.

[6]WANG R， DU L. Infrared and visible image fusion based on random projection and sparse representation [J].Int.J.RemoteSens， 2014， 35(5)： 1640-1652.

[7]何國(guó)棟，石建平，馮友宏，等. 基于壓縮感知的紅外與可見(jiàn)光圖像融合算法[J]. 激光與紅外， 2014， 44(5)： 582-585.

HE G D， SHI J P， FENG Y H，etal.. Fusion algorithm for infrared and visible image based on compressive sensing [J].Laser&Infrared， 2014， 44(5)： 582-585.(in Chinese)

[8]周渝人，耿愛(ài)輝，張強(qiáng)，等. 基于壓縮感知的紅外與可見(jiàn)光圖像融合[J]. 光學(xué) 精密工程， 2015， 23(3)： 855-863.

ZHOU Y R， GENG A H， ZHANG Q，etal.. Fusion of infrared and visible images based on compressive sensing[J].Opt.PrecisionEng.， 2015， 23(3)： 855-863.(in Chinese)

[9]杜峰， 施文康， 鄧勇， 等. 一種快速紅外圖像分割方法[J]. 紅外與毫米波學(xué)報(bào)， 2005， 24(3)： 370-373.

DU F， SHI W K， DENG Y，etal.. Fast infrared image segmentation method[J].JournalofInfraredandMillimeterWaves， 2005， 24(3)： 370-373.(in Chinese)

[10]云廷進(jìn)， 郭永彩， 高潮.K-均值聚類中心分析法實(shí)現(xiàn)紅外人體目標(biāo)分割[J]. 光電工程， 2008， 35(3)： 140-144.

YUN T J， GUO Y CH， GAO CH. Human segmentation algorithm in infrared images based onK-means clustering centers analysis[J].Opto-ElectronicEngineering， 2008， 35(3)： 140-144.(in Chinese)

[11]RADHAKRISHNA A， SHEILA H，F(xiàn)RAN-CISCO E，etal.. Frequency-tuned salient region detection [J].ComputerVisionandPatternRecognition， 2009： 1597-1604.

[12]SHU T L， YANG B. Hybrid multiresolution method for multisensor multimodal image fusion [J].IEEESensorsJournal， 2010， 10(9)： 1519-1526.

[13]NAIDU V P S. Image fusion technique using multi-resolution singular value decomposition [J].DefenceScienceJournal， 2011， 61(5)： 479-484.

[14]CANDéS E， ROMBERG J， TAO T. Stable signal recovery from incomplete and inaccurate measurements [J].CommunicationsonPureandAppliedMathematics， 2006， 59(8)： 1207-1233.

[15]QU G H， ZHANG D L， YANG P F. Medical image fusion by wavelet transform modulus maxima [J].OpticsExpress， 2001， 9(4)： 184-190.

[16]孫永明，吳謹(jǐn)，劉勁，等. 基于DWT的高頻系數(shù)壓縮感知圖像融合[J]. 紅外技術(shù)， 2014， 36(9)： 714-718.

SUN Y M， WU J， LIU J，etal.. Image fusion based on compressed sensing of DWT high frequency coefficients [J].InfraredTechnology， 2014， 36(9)： 714-718.(in Chinese)

[17]LI X， QIN S Y. Efficient fusion for infrared and visible images based on compressive sensing principle [J].IETImageProcessing， 2011， 5(2)： 141-147.

[18]LIU K， GUO L， LI H H，etal.. Fusion of infrared and visible light images based on region segmentation [J].ChineseJournalofAeronautics， 2009(22)：75-80.

[19]陳小林，王延杰.非下采樣變換的紅外與可見(jiàn)光圖像融合[J]. 中國(guó)光學(xué)，2011，4(5)：489-496.

CHEN X L， WANG Y J. Infrared and visible image fusion based on nonsubsampled contourlet transform [J].ChineseOptics， 2011，4(5)： 489-596.(in Chinese)

[20]LEUNG L W， KING B， VOHORA V. Comparison of image data fusion techniques using entropy and INI [C].Proceedingsof22ndAsianConferenceonRemoteSensing，Singapore， 2001： 152-157.

[21]QU G H， ZHANG D L， YAN P F. Information measure for performance of image fusion [J].ElectronicLetters， 2002， 38(7)：313-315.

[22]XYDES C S， PETROVI V. Objective image fusion performance measure [J].ElectronicsLetters， 2000， 36(4)： 308-309.

王昕(1972-)，女，遼寧大連人，博士，副教授，2003年于長(zhǎng)春理工大學(xué)獲得碩士學(xué)位，2007年于中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所獲得博士學(xué)位，現(xiàn)為吉林大學(xué)博士后，主要從事圖像融合，圖像處理與機(jī)器視覺(jué)的研究。E-mail： wangxin 315@ccut.edu.cn

導(dǎo)師簡(jiǎn)介：

劉富(1968-)，男，吉林農(nóng)安人，博士生導(dǎo)師，教授，1994年、2002年于吉林大學(xué)分別獲得碩士、博士學(xué)位，2004年香港理工大學(xué)博士后，主要從事計(jì)算機(jī)視覺(jué)與模式識(shí)別研究。E-mail：liufu @jlu.edu.cn

(版權(quán)所有未經(jīng)許可不得轉(zhuǎn)載)

Fusion of infrared and visible images based on target segmentation and compressed sensing

WANG Xin1，2， JI Tong-bo3， LIU Fu2*

(1.SchoolofComputerScience&Engineering，ChangchunUniversityofTechnology，Changchun130012，China;2.CollegeofCommunicationEngineering，JilinUniversity，Changchun130022，China;3.ChangchunInstituteofOptics，F(xiàn)ineMechanicsandPhysics，ChineseAcademyofSciences，Changchun130033，China)

*Correspondingauthor，E-mail：liufu@jlu.edu.cn

The image fusion of infrared and visible light is susceptible to noise and the target information is weakened easily. Therefore, a new fusion algorithm based on target area extraction and compressed sensing was proposed. Firstly, the infrared image was detected in a salient region at frequency-tuned domain to obtain a corresponding salient map. Under the guidance of the salient map, the infrared target area was extracted together with region growing method to effectively overcome the effects of noise and complex background interference on target segmentation. Then, non-subsampled shearlet transform was adopted to decompose the source images and the high and low frequency sub bands in the target and backgound regions were fused respectively. Finally, a new fusion rule was proposed based on multi-resolution singular value decomposition and compressed sensing, and the fused image was reconstructed by the non-subsampled shearlet inverse transform. As compared with the other algorithms, experimental results show that the algorithm highlights the target area, preserves the details of the source images and suppresses the noise interference. The image fusion quality evaluation indexes including information entropy, standard deviation, mutual information and transferred edge information have increased by 3.94%，19.14%，9.96% and 8.52%, respectively.

image fusion; infrared image; visible image; saliency map; non-subsampled shearlet transform; target segmentation; compressed sensing; multi-resolution singular value decomposition

2015-07-07；

2015-08-20.

國(guó)家自然科學(xué)基金資助項(xiàng)目(No.61303132)；吉林省科技廳自然科學(xué)基金資助項(xiàng)目(No.201215127)

1004-924X(2016)07-1743-11

TP751

Adoi:10.3788/OPE.20162407.1743