NSST域改進(jìn)NMF的紅外與可見光圖像融合

葛 雯，姬鵬沖，趙天臣

?

NSST域改進(jìn)NMF的紅外與可見光圖像融合

葛 雯，姬鵬沖，趙天臣

( 沈陽航空航天大學(xué)電子信息工程學(xué)院，沈陽110136 )

針對(duì)紅外與可見光圖像融合時(shí)細(xì)節(jié)信息提取不充分、算法復(fù)雜度高等缺點(diǎn)，本文提出一種降低算法復(fù)雜度、豐富細(xì)節(jié)信息的基于非降采樣剪切波變換(NSST)和非負(fù)矩陣分解(NMF)的紅外與可見光圖像融合算法。該方法根據(jù)NSST算法對(duì)源圖像分別進(jìn)行多尺度、多方向稀疏分解，分別得到低頻部分和高頻部分。對(duì)低頻部分采用基于改進(jìn)的NMF融合規(guī)則；對(duì)高頻部分采用拉普拉斯能量和視覺敏感度系數(shù)相結(jié)合的融合規(guī)則。最后，對(duì)低頻融合部分和高頻融合部分執(zhí)行NSST逆變換得到最終的融合圖像。實(shí)驗(yàn)結(jié)果表明，該融合方法不僅可以保證融合圖像的清晰度，同時(shí)還可以縮短算法的運(yùn)行時(shí)間。

圖像融合；NSST；NMF；SML

0 引 言

對(duì)單一的傳感器受環(huán)境影響造成成像不完全，不準(zhǔn)確等方面，隨著科技的不斷發(fā)展，人們通過探尋互補(bǔ)的成像信息進(jìn)行信息融合，來達(dá)到消除單一傳感器成像弊端，此種技術(shù)被應(yīng)用在很多技術(shù)領(lǐng)域，比如紅外與可見光圖像的融合，高光譜圖像的融合，多聚焦圖像的融合等[1]。由圖像信息提取的特征層次的不同，可以把圖像融合分為像素級(jí)圖像融合，特征級(jí)圖像融合，決策級(jí)圖像融合這三個(gè)層次[1-2]。傳統(tǒng)圖像融合算法復(fù)雜度高邊緣細(xì)節(jié)提取不全，只能在有限的方向上分解，為此K. Guo和G.Easley等提出了基于非降采樣剪切波變換(Non-subsampled Shearlet Transform，NSST)。此理論讓標(biāo)準(zhǔn)的剪切波濾波器從偽極向坐標(biāo)系統(tǒng)映射到Cartesian坐標(biāo)系統(tǒng)，通過快速逆傅里葉變換FFT，進(jìn)行二維卷積完成，避免了下采樣操作，使其具有平移不變性克服了偽Gibbs現(xiàn)象[3-4]。

非負(fù)矩陣分解(Non-negative Matrix Factorization，NMF)是D. D. Lee和H. S. Seung在《Nature》期刊上提出的一種新的多元非負(fù)數(shù)據(jù)分析方法，把原始矩陣分解成一個(gè)非負(fù)基矩陣和非負(fù)系數(shù)矩陣，從而達(dá)到降維的作用[5-6]。隨后在標(biāo)準(zhǔn)的NMF算法基礎(chǔ)上提出了CNMF算法，LNMF算法，WNMF算法等[2,4]。本文在NMF算法基礎(chǔ)上提出了改進(jìn)的加權(quán)NMF算法，使融合圖像更進(jìn)一步的符合人眼視覺效果。

1 圖像的NSST變換理論

K.Guo和G.Easley等人利用合成小波理論通過把幾何和多尺度分析結(jié)合起來提出了Shearlet變換理論，但是Shearlet變換理論不具有平移不變性[7-9]。在此基礎(chǔ)上提出了NSST變換，它由基于非下采樣金字塔(Non-subsampled Pyramid，NSP)濾波組和基于改進(jìn)的剪切波濾波器組(Shearlet Filter, SF)組成[2,10]。當(dāng)圖像空間維數(shù)=2時(shí)，合成膨脹的仿射系統(tǒng)表達(dá)式：

其中：；和是22的可逆矩陣，表示膨脹矩陣分解層數(shù)，表示剪切的方向，表示圖像分解層數(shù)，表示圖像的剪切方向，表示圖像的平移量參數(shù)。=[4 0, 02]，=[1 1, 0 1]，此時(shí)稱為剪切波[5-10]。NSST的分解結(jié)構(gòu)示意圖如圖1所示，NSST梯形支撐區(qū)間如圖2所示。

圖1 NSST 的分解示意

圖 2 NSST 的梯形支撐區(qū)間

2 非負(fù)矩陣分解理論

非負(fù)矩陣分解理論(Non-negative Matrix Factorization，NMF)可以用下面的公式表示：

其中：表示非負(fù)原始矩陣，表示分解之后的非負(fù)基矩陣，表示分解之后的非負(fù)權(quán)重系數(shù)矩陣，表示噪聲或者誤差，表示矩陣分解的維數(shù)，滿足約束條件。當(dāng)=1時(shí)反應(yīng)全部圖像特征。

在乘性迭代規(guī)則上對(duì)和迭代因子改進(jìn)使近似于[6-9]。改進(jìn)的標(biāo)準(zhǔn)迭代規(guī)則：

其中表示加權(quán)系數(shù)矩陣。

3 圖像融合的規(guī)則和步驟

對(duì)紅外圖像和可見光圖像分別進(jìn)行NSST算法分解后，得到各自的低頻分量和高頻子帶分量。圖像的低頻分量包含了圖像的大部分背景能量和光譜信息；高頻子帶分量包含圖像的紋理，亮暗梯度變化，區(qū)域邊界等的細(xì)節(jié)信息[10-17]。

加強(qiáng)酸性氣田安全文化建設(shè)的探索與思考…………………………………………………………………………陸 博（2.91）

3.1 圖像融合的步驟

1) 對(duì)經(jīng)過嚴(yán)格配準(zhǔn)的紅外圖像和可見光圖像用NSST算法分別進(jìn)行分解，得到各自的NSST分解系數(shù)和，其中為低頻子帶系數(shù)，為層下方向的高頻子帶系數(shù)，I為紅外圖像，V為可見光圖像。

2) 對(duì)紅外與可見光圖像的低頻子帶和用基于改進(jìn)的加權(quán)NMF方法進(jìn)行融合得到低頻子帶融合圖像。

3) 采用SML和視覺敏感度系數(shù)相結(jié)合的方法，對(duì)高頻子帶系數(shù)和進(jìn)行融合，得到NSST域的高頻子帶融合系數(shù)。

4) 對(duì)低頻子帶融合系數(shù)和高頻子帶融合系數(shù)進(jìn)行NSST逆變換，得到最終的融合圖像M。

3.2 低頻子帶圖像融合規(guī)則

低頻子帶部分包含了圖像的主要能量信息[2-10]。使用NMF方法進(jìn)行融合，得到的低頻融合系數(shù)使圖像的輪廓信息最大程度地保留了下來。使用改進(jìn)的加權(quán)方法對(duì)和的迭代規(guī)則進(jìn)行改善，如下所示：

低頻系數(shù)融合步驟如下所示：

1) 把分解得到的低頻系數(shù)矩陣和按照行優(yōu)先的形式將像素值依次整理成列向量的形式存入到觀測(cè)矩陣中，構(gòu)造原始矩陣。

2) 根據(jù)式(6)分別計(jì)算源圖像低頻系數(shù)的灰度突變度，值，兩者取大作為目標(biāo)突變度。

3) 設(shè)定=1，初始化和的值；初始化′2加權(quán)系數(shù)矩陣，其元素均取0.5。

4) 根據(jù)式(4)進(jìn)行一次迭代，如果達(dá)到最大迭代次數(shù)，則對(duì)中的元素做重置變換到低頻系數(shù)范圍，把此結(jié)果作為低頻融合系數(shù)；否則轉(zhuǎn)向5)。

5) 計(jì)算迭代后矩陣的突變度，如果大于目標(biāo)突變度，則執(zhí)行4)，如果小于目標(biāo)突變度則把加權(quán)系數(shù)用式(5)代替。

3.3 高頻子帶圖像融合規(guī)則

圖像的高頻子帶部分代表圖像的邊緣，紋理等細(xì)節(jié)信息，拉普拉斯能量和(SML，用SML表示)表征了圖像領(lǐng)域內(nèi)細(xì)節(jié)信息的豐富程度[6]。人眼視覺對(duì)圖像的局部變化比較敏感，視覺敏感度系數(shù)更好地反映了人眼視覺的這個(gè)特征[10]，綜合SML和視覺敏感度系數(shù)，采用它們各自的優(yōu)勢(shì)進(jìn)行互補(bǔ)。SML和視覺敏感度系數(shù)(VCS，用VCS表示)表達(dá)式如式(7)和式(8)所示。

高頻子帶圖像的融合規(guī)則：

4 圖像融合評(píng)價(jià)指標(biāo)及實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文融合算法可行性，選擇兩組不同的256′256的紅外與可見光源圖像，本文用MATLAB R2015a分別進(jìn)行融合仿真實(shí)驗(yàn)。為保證良好的融合效果，本文分解層數(shù)為4層。圖3(c)采用Contourlet分解低頻取平均，高頻絕對(duì)值取大；圖3(d)用NSCT分解低頻采用改進(jìn)的加權(quán)平均，高頻的最高層采用方差選大，其余層采用能量選大；圖3(e)用NMF算法進(jìn)行融合；圖3(f)采用本文的NSST和改進(jìn)的NMF融合算法；圖4的融合算法和圖3的一樣。

圖3 實(shí)驗(yàn)圖像1

圖4 實(shí)驗(yàn)圖像2

上面兩組實(shí)驗(yàn)圖像中可以直觀得出每種算法下的融合圖像都有各自的特點(diǎn)[18]，通過本文融合算法進(jìn)行的源圖像與融合圖像的差分圖像的細(xì)節(jié)更豐富；比較融合圖像評(píng)價(jià)指標(biāo)信息熵(IE)，標(biāo)準(zhǔn)差(SD)，平均梯度(AG)和運(yùn)行時(shí)間()都得到一定的優(yōu)化。綜合這幾個(gè)融合評(píng)價(jià)指標(biāo)可以看出NSCT融合算法雖然細(xì)節(jié)信息豐富，但是算法運(yùn)行時(shí)間長(zhǎng)；本文方法融合圖像較清晰，圖像比較柔和具有良好的視覺感。

表1 圖3 對(duì)應(yīng)的融合質(zhì)量評(píng)價(jià)指標(biāo)

Table 1 Fusion quality evaluation index of figure 3

表2 圖4 對(duì)應(yīng)的融合質(zhì)量評(píng)價(jià)指標(biāo)

Table 2 Fusion quality evaluation index of figure 4

結(jié)束語

本文利用紅外圖像與可見光圖像的信息互補(bǔ)和冗余，提出了基于NSST變換和改進(jìn)的NMF變換相結(jié)合的圖像融合規(guī)則，通過大量實(shí)驗(yàn)表明此融合算法可以很好地縮短算法運(yùn)行時(shí)間，能夠有效地提取邊緣、紋理等細(xì)節(jié)信息，目標(biāo)亮度適中，并且能夠表現(xiàn)出較好的融合性能。

[1] 李俊山，楊威，張雄美. 紅外圖像處理、分析與融合 [M]. 北京：科學(xué)出版社，2009：174-182.

LI Junshan，YANG Wei，ZHANG Xiongmei. Infrared Image Processing，Analysis and Fusion [M]. Beijing：Science Press，2009：174-182.

[2] 邢笑雪. 基于NSST的圖像融合算法研究 [D]. 長(zhǎng)春：吉林大學(xué)，2014：69-77.

XING Xiaoxue. Research an the Image Fusion Algorithm Based on Non-sumsampled Shearlet Transform [D]. Changchun：Jilin University，2014：69-77.

[3] 謝彥浩. 基于改進(jìn)的Shearlet變換的多聚焦圖像融合 [D]. 西安：西安電子科技大學(xué)，2013：37-43.

XIE Yanhao. Multi-focus Image Fusion by Improved Shearlet Transform [D]. Xi￠an：Xidian University，2013：37-43.

[4] 馮鑫，王曉明. 基于shearlet變換的紅外與可見光圖像融合 [J]. 光電子×激光，2013，24(2)：384-390.

FENG Xin，WANG Xiaoming. Fusion of infrared and visible images based on Shearlet transform [J]. Journal of Optoelectronics×Laser，2013，24(2)：384-390.

[5] 朱明，楊粵濤. 基于非采樣Contourlet變換的圖像融合 [D]. 北京：中國(guó)科學(xué)院大學(xué)，2012：61-75.

ZHU Ming，YANG Yuetao. Research on Image Fusion Based on Nonsubsampled Contourlet Transform [D]. Beijing：University of Chinese Academy of Sciences，2012：61-75.

[6] 吳一全，殷駿，曹照清. 基于非下采樣Shearlet和WNMF的紅外熱波圖像融合 [J]. 光子學(xué)報(bào)，2014，43(10)：1-9.

WU Yiquan，YIN Jun，CAO Zhaoqing. Fusion of Infrared Thermal Wave Image Based on Nonsubsampled Shearlet Transform and Weighted Non-negative Matrix Factorization [J]. Acta Photonica Sinica，2014，43(10)：1-9.

[7] KONG Weiwei，YANG Lei，ZHAO Huaixun. Adaptive fusion method of visible light and infrared images based on non-subsampled shearlet transform and fast non-negative matrix factorization [J]. Infrared Physics & Technology(S1350-4495)，2014，67(3)：161–172.

[8] 吳一全，陶飛翔. 改進(jìn)投影梯度NMF的NSST域多光譜與全色圖像融合 [J]. 光學(xué)學(xué)報(bào)，2015，35(4)：1-10.

WU Yiquan，TAO Feixiang. Multispectral and Panchromatic Image Fusion Based on Improved Projected Gradient NMF in NSST Domain [J]. Acta Photonica Sinica，2015，35(4)：1-10.

[9] 劉少鵬，郝群，宋勇. 動(dòng)態(tài)WNMF及在圖像融合中的應(yīng)用研究 [J]. 傳感技術(shù)學(xué)報(bào)，2010，23(9)：1266-1271.

LIU Shaopeng，HE Qun，SONG Yong. Dynamic Weighted Non-Negative Matrix Factorization and Its Using Research in Image Fusion [J]. Chineae Journal of Sen Sors and Actuators，2010，23(9)：1266-1271.

[10] 孔韋韋，雷英杰. 基于NSST域人眼視覺特性的圖像融合方法 [J]. 哈爾濱工程大學(xué)學(xué)報(bào)，2013，34(6)：777-782.

KONG Weiwei，LEI Yingjie. Technique for image fusion based on NSST domain and human visual characteristics [J]. Journal of Harbin Engineerin University，2013，34(6)：777-782.

[11] EASLEY G，LABATE D，LIM W Q. Sparse directional image representation using the discrete shearlet transform [J]. Applied and Computational Harmonic Analysis(S1063-5203)，2008，25(1)：25-46.

[12] JIAO Mou，GAO Wei，SONG Zongxi. Image Fusion Based on Non-negative Matrix Factorization and Infrared Feature Extraction [C]// International Congress on Image and Signal Processing，Xi'an，China，Dec 16-18，2013，2：1046-1050.

[13] 李美麗，李言俊，王紅梅，等. NSCT和非負(fù)矩陣分解的圖像融合方法 [J]. 計(jì)算機(jī)工程與應(yīng)用，2010，46(8)：21-24.

LI Meili，LI Yanjun，WANG Hongmei，Image fusion algorithm based on NSCT and non-negative matrix factorization [J]. Computer Engineering and Applications，2010，46(8)：21-24.

[14] 王志社，楊風(fēng)暴，彭智浩. 基于NSST和稀疏表示的多源異類圖像融合方法 [J]. 紅外技術(shù)，2015，37(3)：210-217.

WANG Zhishe，YANG Fengbao，PENG Zhihao. Multi-source Heterogeneous Image Fusion Based on NSST and Sparse Presentation [J]. Infrared Technology，2015，37(3)：210-217.

[15] 江平，張強(qiáng)，李靜，等. 基于NSST和自適應(yīng)PCNN的圖像融合算法 [J]. 激光與紅外，2014，44(1)：108-113.

JIANG Ping，ZHANG Qiang，LI Jing，. Fusion algorithm for infrared and visible image based on NSST and adaptive PCNN [J]. Laser & Infrared，2014，44(1)：108-113.

[16] 張余寬，張弓. 基于剪切波的SAR/紅外圖像融合研究 [D]. 南京：南京航空航天大學(xué)，2011：28-41.

ZHANG Yukuan，ZHANG Gong. Research on Shearlet-Based SAR/IR Image Fusion [D]. Nanjing：Nanjing University of Aeronautics and Astronautics，2011：28-41.

[17] YE Youshi，ZHAO Baojun，TANG Linbo. SAR and Visible Image Fusion based on Local non-negative Matrix Factorization [C]// The Ninth IEEE International Conference on Electronic Measurement & Instruments，Beijing，China，Aug 16-19，2009，9：263-266.

[18] YUAN Yihui，ZHANG Junju，CHANG Benkang，. Objective quality evalution of visible and infrared color fusion image [J]. Optical Engineering(S0091-3286)，2011，50(3)：33-45.

Infrared and Visible Light Images Fusion of Improved NMF on NSST Domain

GE Wen，JI Pengchong，ZHAO Tianchen

( School of Electronics and Information Engineering, Shenyang Aerospace University, Shenyang 110136, China)

Aiming at insufficient details information extraction and higher complexity algorithm when the infrared and visible light image fusion is processed, an infrared and visible image fusion algorithm based on the Non-subsampled Shearlet Transform (NSST) and the improved Non-negative Matrix Factorization (NMF) is proposed. Making use of NSST to decompose source images on multi-direction and multi-scale sparse,low-frequency components and high frequency components are obtained. The fusion method of the improved NMF is adopted in the low frequency subband. The fusion rule for the combination of the Laplace energy and visual sensitivity coefficient is used to the high frequency components. Finally, the fusion image is obtained after executing the NSST inverse transformation. Experimental results show that the fusion method can not only guarantee the definition of the fused image, but also shorten the running time of the algorithm.

image fusion; NSST; NMF; SML

TP391

A

10.3969/j.issn.1003-501X.2016.04.012

2015-07-07；

2015-07-28

遼寧省科技廳工業(yè)攻關(guān)項(xiàng)目(2012216027)；沈陽市科技計(jì)劃項(xiàng)目(F13-096-2-00)

葛雯(1972-)，女(漢族)，遼寧沈陽人。副教授，博士，主要研究工作是圖像處理，航空電子信息。

姬鵬沖(1988-)，男(漢族)，陜西漢中人。碩士研究生，主要研究圖像融合。E-mail: 727256301@qq.com。