基于能量分割的空間域圖像融合算法研究

王新賽，馮小二，李明明

基于能量分割的空間域圖像融合算法研究

王新賽，馮小二，李明明

（陸軍炮兵防空兵學(xué)院（鄭州校區(qū)），河南 鄭州 450052）

針對(duì)空間域圖像融合存在不同圖源差異性信息提取、融合權(quán)重選取困難等問題，提出了一種新的空間域圖像融合算法。利用矩陣相似的基本原理，對(duì)紅外圖像矩陣進(jìn)行對(duì)角化變換，計(jì)算可見光圖像矩陣在主要特征向量上的映射，采用加權(quán)融合的方法處理特征值矩陣，對(duì)融合矩陣進(jìn)行對(duì)角化逆變換重構(gòu)融合圖像。實(shí)驗(yàn)結(jié)果表明，算法在充分保留源圖像有效信息的同時(shí)，融合圖像的整體灰度得到了明顯的改善，具有良好的圖像質(zhì)量評(píng)估指數(shù)和更加優(yōu)秀的視覺效果。

空間域；對(duì)角化；特征向量；圖像融合；質(zhì)量評(píng)估

0 引言

隨著計(jì)算機(jī)視覺、圖像處理等相關(guān)科學(xué)技術(shù)的快速發(fā)展，融合圖像因其具備圖像信息更加豐富、人眼視覺效果優(yōu)秀等優(yōu)點(diǎn)，得到了人們?cè)絹?lái)越多的重視。圖像融合技術(shù)是將多傳感器采集的數(shù)據(jù)信息進(jìn)行處理并再次以圖像的形式反映出來(lái)的技術(shù)，既不是簡(jiǎn)單的數(shù)據(jù)疊加，也不可以在融合的過程中引入虛假信息或者產(chǎn)生新的噪聲，融合圖像能夠?yàn)橄虏降娜斯ぷR(shí)別提供更加豐富的數(shù)據(jù)信息，起到“1＋1＞2”的效果。在光電探測(cè)技術(shù)中，以可見光探測(cè)、紅外探測(cè)手段發(fā)展最為成熟和迅速，在安保、反恐、醫(yī)療、軍事等眾多領(lǐng)域得到了廣泛的運(yùn)用。目前，像素級(jí)的圖像融合算法可以分為頻率域圖像融合和空間域圖像融合[1-3]。隨著小波理論的廣泛應(yīng)用，基于頻率域的圖像融合算法處理的融合圖像效果不斷得以改善，但是往往計(jì)算繁復(fù)、速度較慢，特別是在硬件設(shè)備相對(duì)簡(jiǎn)單、處理速度要求高的情況下，往往難以滿足工程要求。

傳統(tǒng)的空間域圖像融合方法的主要優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單、運(yùn)行速度快，目前的主流算法有加權(quán)平均法[4-5]、IHS（Intensity Hue Saturation）融合[6-7]、PCA（Principal Component Analysis）融合法[8-10]。其中，加權(quán)融合算法作為最經(jīng)典的融合算法，其特點(diǎn)是不對(duì)源圖像進(jìn)行任何變換處理，直接對(duì)數(shù)據(jù)進(jìn)行加權(quán)疊加，優(yōu)點(diǎn)是信息損耗及附加噪聲小，在實(shí)際工程上得到了廣泛的應(yīng)用。但是，加權(quán)融合中源圖像的加權(quán)因子的選取至關(guān)重要，如果加權(quán)因子選取不當(dāng)，甚至?xí)：龍D像已有的邊緣、紋理等重要信息；IHS融合、PCA融合算法主要是針對(duì)全彩色圖像或多光譜（3個(gè)以上）圖像進(jìn)行融合。主成分分析（PCA）是一種常用的融合準(zhǔn)則。使用PCA方法進(jìn)行圖像融合的常用方法有兩種：其一是用于高分辨率全色圖像與低分辨率多光譜圖像的融合；其二是用于同分辨率圖像的融合。將PCA應(yīng)用于近似圖像的融合，其中，PCA方法決定了各近似圖像融合時(shí)的權(quán)重，當(dāng)融合源圖像相似時(shí)，該方法近似于加權(quán)融合算法，其融合效果對(duì)圖像之間的相似性依賴很大，應(yīng)用非常受限。從以上分析來(lái)看，當(dāng)前空間域圖像融合算法主要存在2個(gè)難點(diǎn)：①很難有效地對(duì)源圖像的邊緣、紋理信息進(jìn)行分割和提??；②難以找到通用的不同信息的融合規(guī)則，導(dǎo)致融合圖像的連續(xù)性不強(qiáng)。針對(duì)以上問題，本文提出一種基于相似矩陣的空間域圖像融合算法，利用相似矩陣的基本原理，提取不同圖像之間的主要“能量信息”，實(shí)現(xiàn)圖像的有效融合。實(shí)驗(yàn)結(jié)果表明，相比傳統(tǒng)的空間域融合算法，本文算法具有較好的圖像質(zhì)量評(píng)估指數(shù)。

1 基本原理

根據(jù)矩陣相似的基本定理[11-12]，若輸入圖像(,)是×大小的一個(gè)階方陣，且可逆，必須存在對(duì)角陣，使得：

根據(jù)特征值與特征向量的定義可知：

(,)p＝ p(2)

式(2)表明，在幾何上，特征向量的方位，經(jīng)過線性變換后保持不變；在圖像處理中，特征值就表示了圖像的能量分布。如果對(duì)中進(jìn)行調(diào)整，可以通過式(1)實(shí)現(xiàn)圖像重構(gòu)。

圖1表現(xiàn)了對(duì)紅外源圖像進(jìn)行對(duì)角化分解后的特征值分布及重構(gòu)圖，源圖像大小為256×256，特征值數(shù)量為256個(gè)。圖1(a)～(b)分別是紅外原始圖像以及特征值分布圖，從圖(b)可以看出，特征值主要集中在一個(gè)較小的區(qū)間內(nèi)，經(jīng)過計(jì)算，前50個(gè)特征值占全體特征值模值的88.14%，代表了圖像的“主要能量”信息。圖1(c)～(e)分別是對(duì)特征值進(jìn)行提取后，通過式(1)進(jìn)行重構(gòu)后的圖像，其與原圖像的信息熵比值分別為：70.89%、92.18%、100%。從以上數(shù)據(jù)可以看出，通過矩陣對(duì)角化以后提取的主要特征值能夠很好地重現(xiàn)源圖像，如果采用全部特征值，則能夠完全重構(gòu)源圖像。圖像經(jīng)過對(duì)角化分解后得到的特征值表征了圖像的一種“能量分布”，特征值表征了能量的大小，特征向量表征為能量的方向性。圖像矩陣對(duì)角化本質(zhì)是實(shí)現(xiàn)了對(duì)圖像的“能量分割”，即主要特征值表征了主要信息，包含了圖像的主要灰度信息；次要特征值表征了細(xì)節(jié)信息，包含了圖像的細(xì)微變化。

2 基于能量分割的融合算法

本文提出的算法流程圖如圖2（以紅外原理圖像為基準(zhǔn)圖像）所示。其基本流程是：

步驟1：根據(jù)不同源圖像的特點(diǎn)以及不同的融合要求，選定基準(zhǔn)圖像并進(jìn)行矩陣的對(duì)角化。

步驟2：從對(duì)角化矩陣結(jié)果中，提取基準(zhǔn)圖像的特征值矩陣、特征向量矩陣；

步驟3：將另一幅源圖像在提取的特征向量矩陣上進(jìn)行映射，得到主要能量特征值矩陣和差值圖像；

步驟4：對(duì)待融合圖像的特征值矩陣進(jìn)行融合并重構(gòu)主成分圖像；

步驟5：對(duì)主成分圖像和差值圖像進(jìn)行融合，得到最終融合圖像。

圖2 本文算法流程圖

2.1 基準(zhǔn)圖像矩陣的對(duì)角化

設(shè)v(,)和i(,)分別為圖像配準(zhǔn)過的可見光和紅外圖像。隨著光學(xué)器件的不斷發(fā)展，可見光圖像往往要比紅外圖像具有更好的圖像分辨率和更清晰的細(xì)節(jié)。因此，通常采用紅外圖像i(,)作為基準(zhǔn)圖像，進(jìn)行對(duì)角化分解：

i(,)＝iii－1(3)

得到特征向量矩陣i、特征值對(duì)角陣i。

2.2 基于基準(zhǔn)圖像特征向量的映射

為了尋找可見光圖像與紅外圖像之間的“相似性”特征，因此可以計(jì)算可見光原始圖像v(,)在紅外圖像特征向量矩陣i上的映射。

式中：ivi－1和Dv(,)分別表示為可見光圖像的主要特征信息和細(xì)節(jié)信息。根據(jù)式(4)，v為計(jì)算v(,)對(duì)于特征向量i的最大映射分量，通過式(5)可將式(4)轉(zhuǎn)化為求v(,)的極小值問題。

式中：i表示為對(duì)應(yīng)于特征向量i的最大映射值，其中i表示紅外圖像的第個(gè)特征向量。從而完成對(duì)可見光圖像“能量分割”過程，因?yàn)椴捎昧送瑯拥淖儞Q坐標(biāo)系，保證兩者具有同樣的能量特性，實(shí)現(xiàn)了對(duì)不同能量間的圖像融合。Dv(,)是關(guān)于i的函數(shù)。

可以根據(jù)源圖像的特點(diǎn)以及對(duì)融合圖像質(zhì)量的要求，設(shè)置不同的函數(shù)類型得到不同的映射值。比如，可以選擇信息熵IE（Information Entropy）、標(biāo)準(zhǔn)差STD（Standard Deviation）、平均灰度AG（Average Grayscale）等圖像質(zhì)量評(píng)估指標(biāo)來(lái)構(gòu)建Dv(,)函數(shù)。本文以平均灰度為例，對(duì)v進(jìn)行求解：將式(5)展開：

式中：in表示特征向量i的第個(gè)元素。

則Dv(,)為關(guān)于i的一元一次方程，根據(jù)平均灰度的定義：

依此類推，得出映射矩陣：

2.3 融合特征值

由于特征值反應(yīng)了原始圖像的概貌，圖像均勻而平滑，所以較適合采用系數(shù)加權(quán)的方法對(duì)其進(jìn)行加權(quán)融合。i和v分別為紅外圖像Di(,)和可見光圖像Dv(,)的特征值矩陣，為融合系數(shù)，則：

式中：f為融合后的特征值矩陣。關(guān)于融合系數(shù)的選擇與經(jīng)典的圖像加權(quán)方法相似，通常取＝0.5，即采用加權(quán)平均的方法，也可根據(jù)圖像特征進(jìn)行選取，比如對(duì)圖像的整合亮度要求較高，可采用：

2.4 融合圖像重構(gòu)

根據(jù)式(1)進(jìn)行主成分圖像重構(gòu)，即：

得到最終融合圖像：

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的有效性，選取了2組紅外圖像與可見光圖像，經(jīng)典的camp系列圖像和tree系列圖像。本文采用的對(duì)比算法有2種，分別為PCA分析法、加權(quán)融合方法，融合結(jié)果分別如圖3和圖4所示，本文選用信息熵IE、平均灰度Mean、平均梯度AG（Average gradient）作為圖像質(zhì)量評(píng)估指標(biāo)，表1為圖3和圖4中相關(guān)圖像的質(zhì)量評(píng)估結(jié)果。

圖3 Camp系列圖像的融合結(jié)果

圖4 tree系列圖像的融合結(jié)果

表1 不同算法客觀評(píng)估指標(biāo)值

從表1可以看出，camp系列圖像和tree系數(shù)圖像的主要區(qū)別在：camp系列圖像的可見光圖像和紅外圖像的信息熵、均值和平均梯度比較相近，其差異性要遠(yuǎn)小于tree系列圖像。從視覺效果上說，camp系列圖像的對(duì)比度較強(qiáng)，可見光圖像和紅外圖像的紋理、邊緣比較清晰，可見光圖像中無(wú)法看到人物信息；tree系列圖像的整體灰度相對(duì)平均，紋理、邊緣相對(duì)模糊，可見光圖像和紅外圖像均可看到人物信息。從3種融合圖像的效果來(lái)看，相對(duì)比經(jīng)典的加權(quán)平均法、PCA融合算法，本文所提算法得出的融合圖像在信息熵、均值上和平均梯度上均有所提高，特別是圖像的整體灰度得到了明顯的改善。從視覺效果上來(lái)看，本文所提算法得出的融合圖像有效保留了源圖像的邊緣、細(xì)節(jié)信息，整體亮度得到了明顯的提升。

4 結(jié)語(yǔ)

本文提出了一種基于相似矩陣的空間域融合算法，在空間域?qū)χ饕煞诌M(jìn)行了加權(quán)融合，提取了可見光圖像與紅外圖像間的“差值”圖像，即細(xì)節(jié)成分，與主要成分進(jìn)行了圖像融合。實(shí)現(xiàn)結(jié)果表明，相對(duì)于經(jīng)典的加權(quán)融合法、PCA分析法，本文算法能夠在空間域有效地實(shí)現(xiàn)可見光和紅外圖像融合，融合圖像的相關(guān)信息得到了增強(qiáng)，具有良好的融合效果。但是該算法在實(shí)際運(yùn)用過程中廣泛的非方陣格式圖像，由于無(wú)法進(jìn)行對(duì)角化分解，可以采用人工分割圖像等方法手段進(jìn)行融合，有待進(jìn)一步研究完善。

[1] 甄媚. 可見光圖像與紅外圖像融合算法研究[D]. 西安: 西安科技大學(xué), 2019.

ZHEN Mei. Research on visible image and infrared image fusion algorithm[D]. Xi'an: Xi'an University of Science and Technology, 2019.

[2] 周渝人. 紅外與可見光圖像融合算法研究[D]. 長(zhǎng)春: 中國(guó)科學(xué)院研究生院(長(zhǎng)春光學(xué)精密機(jī)械與物理研究所), 2014.

ZHOU Yuren. Research on infrared and visible light image fusion algorithm[D]. Changchun: Graduate School of Chinese Academy of Sciences (Changchun Institute of Optics, Fine Mechanics and Physics), 2014.

[3] LI Hui, QI Xianbiao, XIE Wuyuan. Fast infrared and visible image fusion with structural decomposition[J]., 2020, 204: 106182.

[4] 趙娟, 孫澎濤, 吳粉俠, 等. 基于像素級(jí)的圖像融合[J]. 長(zhǎng)春工程學(xué)院學(xué)報(bào): 自然科學(xué)版, 2011, 12(2): 106-108, 112.

ZHAO Juan, SUN Pengtao, WU Fenxia, et al.Pixel-level image fusion[J].: Natural Science Edition, 2011, 12(2): 106-108, 112.

[5] 曲楊, 許衛(wèi)東, 楊駿堂, 等. 一種可見光和紅外圖像加權(quán)融合最佳權(quán)值因子的確定方法[J]. 電子世界, 2017(13): 12-14.

QU Yang, XU Weidong, YANG Juntang, et al. A method for determining the optimal weight factor for the weighted fusion of visible and infrared images[J]., 2017(13): 12-14.

[6] 劉成云, 常發(fā)亮, 劉春生, 等. 區(qū)域特征動(dòng)態(tài)加權(quán)的IHS小波遙感圖像融合[J]. 計(jì)算機(jī)工程, 2012, 38(8): 198-200.

LIU Chengyun, CHANG Faliang, LIU Chunsheng, et al.Fusion of IHS wavelet remote sensing images dynamically weighted by regional features[J]., 2012, 38(8): 198-200.

[7] TU Teming, SU Shunchi, SHYU Hsuen Chyun. A New Look at HIS-like Image Fusion Methods[J]., 2001, 2(3): 177-186.

[8] Rajenda Pandit Desale, Sarita V Verma. Study and analysis of PCA, DCT & DWT based image fusion techniques[C]//, 2013: 1-4.

[9] 潘梅森, 湯井田, 楊曉利. 采用PCA和PSNR的醫(yī)學(xué)圖像配準(zhǔn)[J]. 紅外與激光工程, 2011, 40(2): 355-364.

PAN Meisun, TANG Jingtian, YANG Xiaoli. Medical image registration using PCA and PSNR[J]., 2011, 40(2): 355-364.

[10] 吳粉俠, 李紅, 李洪星. 基于NSCT變換和PCA的圖像融合算法[J].航空計(jì)算技術(shù), 2015, 45(3): 47-51.

WU Fenxia, LI Hong, LI Hongxing. Image fusion algorithm based on NSCT transform and PCA[J]., 2015, 45(3): 47-51.

[11] 周琴. 矩陣特征值和特征向量在實(shí)際中的應(yīng)用及其實(shí)現(xiàn)[J]. 高師理科學(xué)刊, 2019, 39(7): 8-10.

ZHOU Qin. Application of matrix eigenvalues and eigenvectors in practice and their implementation[J]., 2019, 39(7): 8-10.

[12] 閔超. 關(guān)于矩陣特征值有關(guān)性質(zhì)的探討——線性代數(shù)教學(xué)思考[J]. 教育教學(xué)論壇, 2019(24): 190-191.

MIN Chao. Discussion on the properties of matrix eigenvalues -linear algebra teaching thinking [J]., 2019(24): 190-191.

Research on Spatial Domain Image Fusion Algorithm Based on Energy Segmentation

WANG Xinsai，F(xiàn)ENG Xiao’er，LI Mingming

(Army Academy of Artillery and Air Defense Force Zhengzhou Campus, Zhengzhou 450052, China)

To address the problems of image fusion in the spatial domain, such as the extraction of different image sources, and challenges in selecting fusion weights, a new spatial-domain image-fusion algorithm is proposed. Using the basic principle of matrix similarity, the infrared image matrix is diagonally transformed and the visible light image matrix is mapped onto the main eigenvectors. Then, the weighted fusion method is used to process the eigenvalue matrix and the fusion matrix is diagonalized as an inverse-transformed and reconstructed fusion image. The experimental results show that the algorithm fully retains the effective information of the source image; moreover, the overall grayscale of the fused image is significantly improved. Thus, the algorithm offers a strong image quality evaluation index and better visual effects.

spatial domain, diagonalization, feature vector, image fusion, quality evaluation

TP391.41

A

1001-8891(2022)07-0726-06

2020-08-24；

2020-09-28.

王新賽（1963-），男，江蘇睢寧人，教授，博士，研究方向?yàn)楣怆姵上?、模式識(shí)別。E-mail:wangxsai@126.com