結(jié)合圖像特征比的紅外與可見光圖像融合算法

葉仕通

結(jié)合圖像特征比的紅外與可見光圖像融合算法

葉仕通

（廣東工業(yè)大學(xué)華立學(xué)院，廣東廣州511325）

針對現(xiàn)有圖像融合算法得到的融合圖像清晰度不高以及邊緣模糊等問題，提出了一種結(jié)合圖像特征比的紅外與可見光的圖像融合算法，通過小波變換將圖像進(jìn)行分解，并通過計算低頻分量中空間頻率比與能量比，來對低頻分量中的有效信號進(jìn)行保留，而對高頻分量則是通過邊緣檢測算法計算出高頻分量中的邊緣信號比，來對高頻分量的邊緣信號進(jìn)行保留；實驗結(jié)果表，該算法能夠得到相比其他算法更為清晰的融合圖像，具有一定的實用價值。

圖像融合算法；小波變換；紅外圖像；可見光圖像；邊緣檢驗

1 引 言

面對復(fù)雜多變的工作環(huán)境，如果單一地采用一種圖像傳感器來對外界環(huán)境進(jìn)行描述很難，根據(jù)多傳感器信息之間的互補(bǔ)性與冗余性，能夠有效地解決單一成像傳感器的不全面與不準(zhǔn)確等問題。但根據(jù)多成像傳感器輸出信息的不可交替顯示與簡單疊加特點，人們通過采用圖像的融合技術(shù)來保留每一個成像傳感器所獲取的重要信息。因此，圖像的融合技術(shù)成為了現(xiàn)如今的研究熱點，其中根據(jù)信息表征層次可以將圖像的融合算法分為像素級融合、特征級融合和決策級融合這三大類［1－5］。比較具有代表性的融合算法大多為像素級融合算法，如小波變換［6－7］、Contourlet變換［8－9］以及IHS變換［10］等。本文通過研究紅外與可見光傳感器這兩類常見的傳感器，將紅外傳感器探測性高，清晰度低的特點與可見光傳感器清晰度高、探測性低的特點進(jìn)行融合，從而得到更為豐富的圖像信號。

根據(jù)紅外圖像與可見光圖像的不同特點［11］，為更加有效的將這兩種圖像進(jìn)行的融合，本文提出了一種結(jié)合子帶間空間頻率比與邊緣比的圖像融合算法。采用小波變換將圖像分別低頻分量與高頻分量并對其進(jìn)行分類處理，對于圖像的低頻分量，通過計算其圖像間的空間頻率比與能量比來對低頻分量中的有效信號進(jìn)行保留。而多于圖像的高頻分量則是采用邊緣檢測算法，計算出圖像間的邊緣信號比進(jìn)行篩選，從而保護(hù)圖像中邊緣信號，來實現(xiàn)紅外圖像與可見光圖像間的有效融合。

2 小波算法

根據(jù)Campbell和Robson的實驗表明，圖像融合算法的小波分解過程與人的視網(wǎng)膜在不同的頻道中進(jìn)行處理是相類似的，因此，通過采用小波變換的圖像融合算法可以獲得與人的視覺特性接近的融合效果。在L2（R）空間中的任意函數(shù)都可以由一組稱為小波函數(shù)的分解來表征，即給定一個基本小波函數(shù)ψ，對于任意的f∈L2（R），定義二元函數(shù)：

其中，f為連續(xù)小波變換。

3 基于小波變換的圖像融合

基于快速小波變換的融合算法的流程闡述如下：首先，對已配準(zhǔn)的源圖像進(jìn)行小波分解，通過使用一組高低通濾波器進(jìn)行濾波，分離出圖像的高頻信息和低頻信息；其次，對每層分解得到的高頻信息和低頻信息依據(jù)所得到的信息特點，采取不同的融合策略，在各自的變換域進(jìn)行特征信息抽取，分別進(jìn)行融合；最后，采用第一步的小波變換的重構(gòu)算法對處理后的小波系數(shù)進(jìn)行反變換重建圖像，即可得到融合圖像。圖1為圖像的融合流程圖。

圖1 圖像的融合流程圖

通過小波變換后能有效的將圖像分為低頻子圖像以及高頻子圖像，如何有效的設(shè)計與選擇合理的融合規(guī)則對圖像的融合質(zhì)量影響很大。而傳統(tǒng)的融合算法大多都只是簡單的提取圖像中的細(xì)節(jié)提取以及采用簡單的加權(quán)算法對低頻信號進(jìn)行處理，使得到的融合圖像不能得到最佳的融合效果。因此，針對紅外圖像與可見光圖像的圖像特性，本文對圖像的低頻分量與高頻分量進(jìn)行分類處理，通過計算其圖像的空間頻率比與能量的大小來保留低頻子帶的特征，而高頻子帶則是采用邊緣檢測算法來提升高頻分量中細(xì)節(jié)信號的利用率，進(jìn)而提高算法的信息提取效率。

4 低頻分量

4.1 空間頻率比

圖像的空間頻率是與梯度相關(guān)的指標(biāo)，它反映了圖像的邊緣化程度，能很好地描述圖像的灰度突變信息。其中圖像的空間頻率越大，則表明圖像越活躍、越清晰［12］。對M×N的圖像空間頻率定義為：

其中，RF和CF分別表示行頻率和列頻率。

其中，f（x，y）表示像素位置（x，y）處的灰度值。

根據(jù)上述定義不難得出，以M×N為區(qū)域大小以及以（x，y）為中心的空間頻率為：

其中，i的取值為1和2，RF2i（x，y）與CF2i（x，y）分別表示的是圖像i在的行頻率域列頻率。

通過對圖像1與圖像2進(jìn)行空間頻率計算，可以得到：

圖像1的空間頻率為：

圖像2的空間頻率為：

進(jìn)而可以定義圖像1與圖像2的空間頻率比，即：

根據(jù)得出的圖像的空間頻率比來很衡量兩幅圖像的相關(guān)程度，進(jìn)而反映圖像間的相似性。為了方便計算，文章引入閾值λ來對圖像的相似性進(jìn)行分類，其中λ∈（0，1），本文λ取0.68。

1，2像的空間特性差異較小，即相似程度比較大。

1，21，2則說明兩幅圖像在該位置的空間特性差異較大。

4.2 融合規(guī)則

通過小波變換分解后，可以采用低頻分量對原始圖像進(jìn)行近似描述；因此，通過考慮低頻系數(shù)間的相關(guān)性，采用基于能量與空間頻率比的加權(quán)算法與進(jìn)行圖像的融合：

而通過僅采用加權(quán)算法對圖像的低頻分量進(jìn)行融合定義，圖像容易出現(xiàn)亮度無法預(yù)測等現(xiàn)象。為了更好地保護(hù)紅外圖像中得到圖像信號，使融合圖像能夠有一個較好的融合質(zhì)量，對該加權(quán)算法引入了基于能量的計算函數(shù)，如下所示。

能量計算函數(shù)：

其中，i為原始圖像的編號，即i＝1，2；J為當(dāng)前所在層數(shù)。則可得圖像能量如下：

圖像1能量：

圖像2能量：

為了使其更好地進(jìn)行融合處理，采用選擇模式對α（x，y）值進(jìn)行定義，具體形式如下所示：

通過根據(jù)M1，2（x，y）值的大小以及能量的大小來對圖像的加權(quán)系數(shù)進(jìn)行定義，以便函數(shù)能夠最大限度的保留源圖像的低頻部分的特征。

5 高頻分量

圖像的高頻分量主要存儲的是圖像中的細(xì)節(jié)分量，即包括圖像的邊緣信號等，而對于邊緣信號提取質(zhì)量的好壞對圖像的整體質(zhì)量影響很大［13］。因此，為了更好地提取圖像中的邊緣信號，采用基于邊緣檢測算法的高頻融合方法。

5.1 邊緣檢測算法

定義尺度2J時函數(shù)f（x，y）小波變換小波系數(shù)模與幅角表達(dá)函數(shù)如下所示：

模：

幅角：

其中：

ψ1（x，y）、ψ2（x，y）作為二維小波變換的基函數(shù)；θ（x，y）為二元平滑函數(shù)，且滿足小波函數(shù)為：

為了能夠更好地對邊緣信號進(jìn)行表述，本文令MJif（x，y）＝M2Jf（x，y），其中i表示圖像編號，J為所在的層數(shù)。

通過圖像的邊緣檢測算法，來有效的對圖像高頻分量中的邊緣信號進(jìn)行提取，進(jìn)行減少算法中的一些不必要的計算法，并將兩幅圖像所提取的邊緣信號采用融合規(guī)則進(jìn)行融合，實現(xiàn)圖像的有效融合。

5.2 融合規(guī)則

通過采用邊緣檢測算法來對圖像1與圖像2的邊緣信號進(jìn)行邊緣檢測，設(shè)MJ1f（x，y）與MJ2f（x，y）為圖像1、2的邊緣信號模值，MJFf（x，y）為融合后的邊緣模值，則有：

圖像1的邊緣模值：

圖像2的邊緣模值：

即可得邊緣信號的模值比：

為了提高算法對邊緣信號的處理速度，對其進(jìn)行分類，即引入判斷邊緣強(qiáng)度的閾值λ2，其中λ2∈（0，1）；通過對檢測后的所得到的圖像邊緣信號的模值比進(jìn)行判斷，來獲得融合后的邊緣信號，其具體形式如下所示：

其中閾值λ2取0.85?；趫D像邊緣檢測的融合方法通過針對高頻分量中的邊緣信號來重構(gòu)生成融合圖像，比較兩幅圖像中的邊緣信號的強(qiáng)弱來實現(xiàn)對強(qiáng)邊緣信號的保護(hù)，并將圖像的重構(gòu)誤差控制在一個合理的范圍內(nèi)。有效地減少參加融合算法的像素點個數(shù)來提高的算法的融合速率。

6 圖像融合效果的客觀評價

圖像的融合算法是通過加強(qiáng)信息量獲取以及對保護(hù)邊緣細(xì)節(jié)來改善圖像視覺效果的。而圖像的融合算法是通過消除同一場景下的多幅圖像的冗余性，來使其合成的圖像更加清晰以及全面的。為了檢驗算法是否符合以上優(yōu)點，選用了以下指標(biāo)對其進(jìn)行評價。

6.1 熵

熵值的大小表示圖像所包含的平均信息量的多少，圖像的熵定義為：

其中，L為圖像的總灰度級數(shù)；而Nl為灰度值為i的像素，而N為圖像的總像素。

對圖像的熵值進(jìn)行計算，通過比較圖像的熵值可以更好的展示圖像額細(xì)節(jié)表現(xiàn)能力，其中融合后的圖像的熵值越大，則表示其融合后的信息量也就越多。

6.2 標(biāo)準(zhǔn)差

均值定義為：

其中，N為圖像的像素總數(shù)；xi為第i個像素的灰度值。

則圖像的標(biāo)準(zhǔn)差為：

由于小波分解后的高頻分量存儲著圖像的細(xì)節(jié)特征，即邊緣信號等，而局部區(qū)域的標(biāo)準(zhǔn)差能夠很好的反映各像素灰度對應(yīng)于區(qū)域灰度均值的離散情況；其中標(biāo)準(zhǔn)差越大，其灰度級分布的越分散，則圖像的灰度級出現(xiàn)的概率越接近；從而可以更好的反映融合后圖像的邊緣、紋理等信息。

6.3 相關(guān)函數(shù)

假設(shè)Ff表示融合后的圖像，而Fp為圖像融合的理想結(jié)果。

則他們之間的互相關(guān)函數(shù)為：

其中，M，N為圖像的大小，通過計算法其圖像的相關(guān)性，來研究圖像的融合效果，其中互相關(guān)函數(shù)值越大，其表示的融合效果越好［14］。

7 仿真實驗

為了驗證算法的可行性，選用小波變換融合算法、提升小波融合算法以及文獻(xiàn)［1］算法與本文算法進(jìn)行比較，采用MATLAB 7.10.0進(jìn)行算法的仿真實驗，并給出了兩組同一場景且大小相同的可見光圖像和紅外圖像為待融合源圖像。其中選取較為簡單的紅外圖像A為與可見光圖像B，其大小都為352×240；而第二組則是采用圖像較為復(fù)雜的紅外圖像C與可見光圖像D，其大小都為352×288；通過仿真實驗，得圖2和圖3為各算法的仿真效果圖，如下所示。

圖2 各算法的仿真效果圖

圖3 各算法的仿真效果圖

由融合后的效果圖可以看出，本文算法的圖像融合效果優(yōu)于其他算法，可以看出采用本算法所得到的融合圖像的視覺效果最佳，圖像的清晰度以及亮度都優(yōu)于其他算法，從圖2的（f）中可以看到，本文算法能有效地保留可見光圖像中的背景信號，且紅外圖像中的信號也能被很好的表現(xiàn)出來，從而在融合圖像中能夠較好的看到紅外圖像中的發(fā)熱源；而圖3的（f）中，也可以清楚地看到，本文算法能夠保持較高的清晰度，有效地將紅外圖像與可見光圖像進(jìn)行融合，具有較高的信息融合效果。

根據(jù)上述的幾種評價標(biāo)準(zhǔn)，對仿真后的圖像進(jìn)行熵值、標(biāo)準(zhǔn)差、以及相關(guān)系數(shù)的測量，得表1為圖像A與圖像B融合數(shù)據(jù)表，表2為圖像C與圖像D融合數(shù)據(jù)表，如下所示。

表1 圖像A與圖像B融合數(shù)據(jù)表

由表1可看出，當(dāng)所采用的待融合圖像較簡單時，本文所提出的方法在標(biāo)準(zhǔn)差、熵值以及相關(guān)系數(shù)上優(yōu)于其他算法，其中相關(guān)系數(shù)優(yōu)勢明顯。有效證明了算法優(yōu)于其他算法，并證實了本文算法能夠有效的對圖像進(jìn)行細(xì)節(jié)提取。

表2 圖像C與圖像D融合數(shù)據(jù)表

由表2可看出，當(dāng)所采用的待融合圖像較復(fù)雜時，本文所提出融合算法依然能夠保持加高的標(biāo)準(zhǔn)差、熵值以及相關(guān)系數(shù)，其中標(biāo)準(zhǔn)差與相關(guān)系數(shù)優(yōu)勢明顯。有效證明了算法優(yōu)于其他算法，并證實了本文算法能夠有效的對圖像進(jìn)行細(xì)節(jié)提取，使得融合后的圖像具有清晰度高，攜帶信息豐富的特點。

進(jìn)而有效地證明了本文算法能夠很好的利用可見光圖像與紅外圖像的不同特性對圖像進(jìn)行融合，做到優(yōu)勢的互補(bǔ)，雖然由表1與表2中可以看出本文算法所消耗的時間與小波變換融合算法的時間一樣長，但其良好的融合效果與預(yù)期的效果相符，具有一定的實用價值。

8 結(jié)束語

提出了一種結(jié)合圖像特征比的紅外與可見光的圖像融合算法，根據(jù)紅外圖像與可見光圖像的不同特性，分別計算出圖像中的低頻分量與高頻分量中的特征比，并通過合理的進(jìn)行篩選，來實現(xiàn)圖像的優(yōu)勢互補(bǔ)。實驗結(jié)果表明，該算法不僅能夠有效的保證融合圖像清晰度，而且能夠有效保留圖像中的重要信息，但算法中的融合速度有待提高，將作為以后的研究目標(biāo)對其進(jìn)行深入的研究。

［1］ Jamal Saeedi，Karim Faez.Infrared and visible image fusion using fuzzy logic and population-based optimization［J］.Applied Soft Computing，2012，12（3）：1041－1054.

［2］ Wang Haihui.A new multiwavelet-based approach to image fusion［J］.Journal of Mathematical Imaging and Vision，2004，21（2）：177－192.

［3］ SH Chen，B Su，H Zhang.Feature space and metric measures for fusingmultisensory images［J］.International Journal of Remote Sensing，2008，29（11）：3257－3270.

［4］ Wang Zhaobin，Ma Yide，Gu Jason.Multi-focus image fusion using PCNN［J］.Pattern Recognition，2010，43（6）：2003－2016.

［5］ Chen Musheng.Image fusion based on contourlet transform and fuzzy theory［J］.Laser＆Infrared，2012，42（6）：695－698.（in Chinese）陳木生.基于Contourlet變換和模糊理論的圖像融合算法［J］.激光與紅外，2012，42（6）：695－698.

［6］ Richa Singh，Mayank Vatsa，Afzel Noore.Hierarchical fusion ofmulti-spectral face images for improved recognition performance［J］.Information Fusion，2008，9（2）：200－210.

［7］ Jing Tian，Li Chen.Adaptive multi-focus image fusion using a wavelet-based statistical sharpness measure［J］. Signal Processing，2012，92（9）：2137－2146.

［8］ Shuyuan Yang，Min Wang，Licheng Jiao.Contourlet hidden markov tree and clarity-saliency driven PCNN based remote sensing images fusion［J］.Applied Soft Computing，2012，12（1）：228－237.

［9］ Zhang Qiang，Guo Baolong.Multifocus image fusion using the nonsubsampled contourlet transform［J］.Signal Processing，2009，89（7）：1334－1346.

［10］He Chu，Liu Mengling，LiNa，etal.Multiple input tomultiple output images fusion based on turbo iteration［J］. EURASIP Journal on Advances in Signal Processing，2010，2010（6）：1－12.

［11］PJamesW Davis，PVinay Sharma.Background-subtraction using contour-based fusion of thermal and visible imagery［J］.Computer Vision and Image Understanding，2007，106（2－3）：162－182.

［12］Li Shutao，Yang Bin.Multifocus image fusion using region segmentation and spatial frequency［J］.Image and Vision Computing，2008，26（7）：971－979.

［13］Bai Xiangzhi，Zhou Fugen，Xue Bindang.Edge preserved image fusion based on multiscale toggle contrast operator［J］.2008，29（12）：829－839.

［14］Wei Chuanming，Rick SBlum.Theoretical analysis of correlation-based qualitymeasures forweighted averaging image fusion［J］.Information Fusion，2010，11（4）：301－310.

Infrared and visible image fusion algorithm based on combined image characteristics ratio

YE Shi-tong
（Huali College Guangdong University of Technology，Guangzhou 511325，China）

Aiming at low definition and blurred edges of the fusion image that obtained by existing image fusion algorithm，an infrared and visible image fusion algorithm based on combined image characteristics ratio is putout.The image is decomposed by wavelet transform，and the valid signal in the low frequency component is retained through calculating the low-frequency component of the spatial frequency ratio and the energy ratio.And in the high-frequency components，edge ratio is calculated by using the edge detection algorithm.At last，the edge of the image signal is retained.Experimental results show that this algorithm can get the clearer fusion image than other algorithms.

image fusion algorithm；lifting wavelet；infrared image；visible image； edge inspection

TP391

A

10.3969／j.issn.1001-5078.2013.11.07

1001-5078（2013）11-1234-06

葉仕通（1981－），男，講師，碩士，研究方向為視頻信號處理，計算機(jī)視覺，模式識別，圖形圖像處理及數(shù)據(jù)挖掘。E-mail：yst888＿0＠126.com

2013-04-09；

2013-05-03