李永萍，楊艷春，黨建武，王陽萍

〈圖像處理與仿真〉

基于變換域VGGNet19的紅外與可見光圖像融合

李永萍，楊艷春，黨建武，王陽萍

（蘭州交通大學(xué) 電子與信息工程學(xué)院，甘肅 蘭州 730070）

針對紅外與可見光圖像融合中出現(xiàn)細(xì)節(jié)信息丟失及邊緣模糊的問題，提出一種在變換域中通過VGGNet19網(wǎng)絡(luò)的紅外與可見光圖像融合方法。首先，為了使得源圖像在分解過程中提取到精度更高的基礎(chǔ)與細(xì)節(jié)信息，將源圖像利用具有保邊平滑功能的多尺度引導(dǎo)濾波器進(jìn)行分解，分解為一個(gè)基礎(chǔ)層與多個(gè)細(xì)節(jié)層；然后，采用具有保留主要能量信息特點(diǎn)的拉普拉斯能量對基礎(chǔ)層進(jìn)行融合得到基礎(chǔ)融合圖；其次，為了防止融合結(jié)果丟失一些細(xì)節(jié)邊緣信息，采用VGGNet19網(wǎng)絡(luò)對細(xì)節(jié)層進(jìn)行特征提取，L1正則化、上采樣以及最終的加權(quán)平均策略得到融合后的細(xì)節(jié)部分；最后，通過兩種融合圖的相加即可得最終的融合結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文方法更好地提取了源圖像中的邊緣及細(xì)節(jié)信息，在主觀評價(jià)以及客觀評價(jià)指標(biāo)中均取得了更好的效果。

圖像融合；引導(dǎo)濾波；VGGNet19；拉普拉斯能量；紅外與可見光圖像

0 引言

根據(jù)成像原理，紅外圖像是通過“測量”物體向外輻射的熱量獲得，描述的是目標(biāo)與背景所保持溫度的差異，具有較高的對比度和突出目標(biāo)的優(yōu)勢；而可見光圖像的優(yōu)點(diǎn)在于主要呈現(xiàn)場景中的細(xì)節(jié)以及紋理信息，不容易受到溫度等的影響[1-5]。由此，同一場景下的紅外圖像與可見光圖像中的信息具有一定的互補(bǔ)性。在同一場景下，為了實(shí)現(xiàn)信息的互補(bǔ)，可通過紅外與可見光圖像融合技術(shù)來獲取一幅具有更全面目標(biāo)和場景信息的圖像。目前在目標(biāo)跟蹤、智能監(jiān)控、視頻分析等領(lǐng)域紅外與可見光圖像融合有著廣泛的應(yīng)用[6-9]。

近年來，在圖像融合領(lǐng)域中由于深度學(xué)習(xí)具有較強(qiáng)的特征提取能力而得到了深入研究。文獻(xiàn)[10]提出了一種基于CNN的圖像融合方法，通過訓(xùn)練使網(wǎng)絡(luò)具有分類能力，通過二值化和兩個(gè)一致性策略得到?jīng)Q策映射，并由該映射作為權(quán)重重構(gòu)融合圖像；文獻(xiàn)[11]提出基于生成對抗網(wǎng)絡(luò)FusionGAN的紅外與可見光圖像融合方法；文獻(xiàn)[12]在現(xiàn)有基于GAN圖像融合方法的基礎(chǔ)上，提出了一種基于雙路級聯(lián)對抗機(jī)制的融合方法，在生成器模型中采用雙路級聯(lián)的方式進(jìn)行特征提取，在判別器模型中采用雙判別方式生成融合圖像；文獻(xiàn)[13]中提出通用的卷積神經(jīng)網(wǎng)絡(luò)圖像融合模型，以端到端的方式進(jìn)行訓(xùn)練，利用兩個(gè)卷積層從多個(gè)輸入圖像中提取特征，并根據(jù)輸入圖像類型選擇適當(dāng)?shù)娜诤弦?guī)則進(jìn)行融合得到融合圖像；文獻(xiàn)[14]建立權(quán)重獨(dú)立的雙通道殘差卷積神經(jīng)網(wǎng)絡(luò)，對可見光與紅外頻段下的目標(biāo)圖像進(jìn)行特征提取，生成多尺度復(fù)合頻段特征圖組的融合方法。目前學(xué)者們利用深度學(xué)習(xí)方法在紅外與可見光圖像融合上取得較好的融合效果，但是在融合過程中沒有結(jié)合圖像的尺度信息，往往影響融合圖像的視覺效果，容易出現(xiàn)細(xì)節(jié)丟失、邊緣模糊以及出現(xiàn)偽影等的問題。

多尺度變換方法通常將圖像中的信息分為結(jié)構(gòu)信息和細(xì)節(jié)信息，通過深度學(xué)習(xí)結(jié)合多尺度變換方法可以更好地提取源圖像的結(jié)構(gòu)信息，有效保留源圖像的細(xì)節(jié)信息，從而進(jìn)一步提升融合圖像質(zhì)量。引導(dǎo)濾波是一種重要的多尺度變換方法，具有保邊平滑和復(fù)雜度較低等特性。本文提出了一種基于變換域VGGNet19網(wǎng)絡(luò)的紅外與可見光圖像融合算法。首先，通過引導(dǎo)濾波進(jìn)行分解，獲取到包含源圖像大尺度信息的基礎(chǔ)層和包含細(xì)節(jié)信息的細(xì)節(jié)層；然后，采用拉普拉斯能量對基礎(chǔ)層進(jìn)行融合得到基礎(chǔ)融合圖，細(xì)節(jié)層通過VGGNet19網(wǎng)絡(luò)進(jìn)行多層特征提取，L1正則化、上采樣以及最終的加權(quán)平均策略得到細(xì)節(jié)融合圖；最后，通過相加得到最終結(jié)果。

1 基本理論

1.1 引導(dǎo)濾波

引導(dǎo)濾波器（guided filter，GF）在圖像融合領(lǐng)域是一種高效的圖像邊緣保持平滑濾波器[15]，其被定義為一個(gè)局部線性模型，其濾波時(shí)間與濾波器尺寸是相互獨(dú)立的。設(shè)為引導(dǎo)圖像，為濾波輸入圖像、為濾波輸出圖像、假設(shè)濾波器輸出結(jié)果與引導(dǎo)圖像為線性變換，則有：

P＝aJ＋b；"?(1)

式中：是大小為(2＋1)×(2＋1)的矩形窗口；J表示像素強(qiáng)度；線性系數(shù)a和b為內(nèi)的常數(shù)；和為像素索引，若引導(dǎo)圖像存在邊緣，為了使濾波輸出圖像保持與相似特性的邊緣，可通過最小化該局部線性模型的方式，因?yàn)?＝a?，故引導(dǎo)濾波器具有邊緣保持特性，即濾波輸出圖像是濾波輸入圖像去除紋理或噪聲后的圖像，公式如下：

P＝I－n(2)

式中：為待濾波圖像，采用最小二乘法，求出a和b：

正則化參數(shù)＞0；為引導(dǎo)圖像在窗口中的均值；2為在中的方差；||為中所包含像素的個(gè)數(shù)；為在窗口中待濾波圖像的均值。由于一個(gè)像素可能同時(shí)出現(xiàn)在多個(gè)窗口，因此，可通過對多個(gè)窗口的線性函數(shù)值取平均的方式計(jì)算該點(diǎn)輸出，公式如下：

式中：為以為窗口中心像素的包含所有像素的窗口。

1.2 VGGNet網(wǎng)絡(luò)

VGGNet網(wǎng)絡(luò)是一種結(jié)構(gòu)加深了的卷積網(wǎng)絡(luò)，其驗(yàn)證了增加網(wǎng)絡(luò)的深度確實(shí)可以提高網(wǎng)絡(luò)本身的性能，核心思想是通過利用較小的卷積核來增加網(wǎng)絡(luò)深度，通過加深結(jié)構(gòu)來提升性能[16]。VGGNet19網(wǎng)絡(luò)模型中共有19個(gè)權(quán)值層，通常為16個(gè)卷積核大小為3×3的卷積層和3個(gè)全連接層。其主要目的是通過非線性深層網(wǎng)絡(luò)來提升網(wǎng)絡(luò)的學(xué)習(xí)性能，以達(dá)到更好的應(yīng)用效果。在圖像處理中，對于輸入圖像的局部大小，通過小卷積核進(jìn)行特征提取較大卷積核具有更優(yōu)的性能，而VGGNet19網(wǎng)絡(luò)具有卷積核小以及網(wǎng)絡(luò)深度深的特性。因此，將VGGNet19網(wǎng)絡(luò)應(yīng)用于圖像融合領(lǐng)域能夠提取更精確的特征信息，以達(dá)到更好的融合效果。VGGNet19網(wǎng)絡(luò)架構(gòu)如圖1所示。

2 本文算法

2.1 本文方法結(jié)構(gòu)

本文方法主要分為3部分：1）源圖像多尺度分解：源圖像分解通過引導(dǎo)濾波完成，得到一層基礎(chǔ)信息和多層細(xì)節(jié)信息；2）基礎(chǔ)層與細(xì)節(jié)層融合策略：基礎(chǔ)層通過拉普拉斯能量進(jìn)行融合得到新的基礎(chǔ)部分，細(xì)節(jié)層輸入到VGGNet19網(wǎng)絡(luò)，進(jìn)行特征提取操作、L1正則化、上采樣以及最終的加權(quán)平均策略得到新的細(xì)節(jié)部分；3）多尺度圖像重構(gòu)：將得到融合圖像的基礎(chǔ)圖像和細(xì)節(jié)圖像通過相加，即可獲得最終的融合結(jié)果。圖2為本文算法思路框圖。

圖1 VGGNet19網(wǎng)絡(luò)結(jié)構(gòu)模型

圖2 本文算法思路框圖

2.2 引導(dǎo)濾波分解

為了使最終的融合圖像包含更多紅外圖像的細(xì)節(jié)信息與可見光圖像豐富的邊緣信息，本文采用引導(dǎo)濾波對源圖像進(jìn)行多尺度的邊緣保持分解（multi-scale guided filter decomposition, MGFD）。首先假設(shè)輸入的源圖像為，對其進(jìn)行級分解，會(huì)得到一幅基礎(chǔ)圖像b－1和－1幅細(xì)節(jié)圖像d(＝1,2,…,－1)。具體計(jì)算公式如下：

式中：0＝，和為引導(dǎo)濾波的兩個(gè)自由參數(shù)，可通過相加完成重構(gòu)，即：

2.3 融合策略

在圖像融合領(lǐng)域，融合策略的選擇將直接決定最終融合圖像效果，拉普拉斯算子是基于像素的算子，具有提高圖像對比度與清晰度的優(yōu)勢，因此本文選用拉普拉斯算子進(jìn)行基礎(chǔ)層的融合；VGGNet19網(wǎng)絡(luò)是一種卷積核較小的深層網(wǎng)絡(luò)模型，具有較高的網(wǎng)絡(luò)性能，在細(xì)節(jié)層中能夠提取到更多細(xì)節(jié)紋理信息，由此選用該網(wǎng)絡(luò)來進(jìn)行細(xì)節(jié)層的特征提取。

1）基礎(chǔ)層融合策略

由于將源圖像經(jīng)過引導(dǎo)濾波多尺度邊緣保持分解后，其基礎(chǔ)信息主要表示融合圖像的輪廓信息，因此為了有效地保留源圖像的主要能量信息，本文采用性能優(yōu)異的拉普拉斯算子（Laplacian operator）進(jìn)行基礎(chǔ)圖像的融合，能夠有效克服圖像中清晰度與對比度下降問題，提高圖像的局部清晰度，為最終的融合提供具有更高清晰度的基礎(chǔ)層融合圖像。過程如下：

式中：(,)為(,)處的基礎(chǔ)層系數(shù)，(,)為的中心位置，大小為×的窗口，取3。本文算法用到的窗口矩陣為[－1,－4,－1;－4, 20,－4;－1,－4,－1]。

2）細(xì)節(jié)層融合策略

細(xì)節(jié)層主要包含源圖像的細(xì)節(jié)及紋理信息，對細(xì)節(jié)層的處理直接影響融合圖像是否清晰以及邊緣失真是否嚴(yán)重。對于細(xì)節(jié)部分，先使用VGGNet19提取特征得到特征層；然后由特征層通過加權(quán)平均策略得到最終權(quán)重層；最后將最終權(quán)重層作為權(quán)重系數(shù)得到細(xì)節(jié)層融合圖像d。設(shè)細(xì)節(jié)信息為d J、表示第層中第個(gè)細(xì)節(jié)信息提取的特征映射，是第層的通道數(shù)，故：

＝(Id)，?{1,2,…,}，＝64×2－1(13)

式中：i(×)為特征提取層，＝{1,2,3,4,5}分別表示relu_1_1，relu_2_1，relu_3_1，relu_4_1，relu_5_1，在得到特征映射后，通過L1正則化來獲取該特征映射的活躍度水平映射，公式如下：

式中：1:M為維向量，表示特征映射中(,)處層的內(nèi)容。在得到活躍度水平映射后，通過softmax層獲取初始權(quán)重映射：

式中：(,)為在[0,1]范圍內(nèi)的初始權(quán)重映射值；為活躍度水平數(shù)量取2。在VGGNet網(wǎng)絡(luò)中最大池化層相當(dāng)于子采樣過程，本文算法中，步長設(shè)為2，因此在不同層特征映射圖的大小為細(xì)節(jié)內(nèi)容大小的1/(2－1)，?{1,2,3,4,5}，在得到初始權(quán)重映射后，進(jìn)行上采樣操作，將權(quán)重映射大小恢復(fù)至輸入圖像大小得到最終權(quán)重映射（大小與輸入圖像大小一致），公式如下：

即為上采樣的過程，權(quán)重映射圖的數(shù)目為2對，?{1,2,3,4,5}，初始融合細(xì)節(jié)：

細(xì)節(jié)信息融合結(jié)果：

3）圖像重構(gòu)過程

(,)＝b(,)＋d(,) (20)

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)說明

本文紅外與可見光源圖像選取公共數(shù)據(jù)集TNO中的21組圖像進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)仿真平臺(tái)采用Intel酷睿i7-1065G7 CPU，編程環(huán)境為Matlab 2019b。為驗(yàn)證算法性能，本文選定6組已配準(zhǔn)圖像進(jìn)行實(shí)驗(yàn)分析，其大小分別為360×270 pixel、632×496 pixel、505×510 pixel、640×480 pixel、360×270 pixel、595×328 pixel。為驗(yàn)證本文算法的可行性與有效性，將本文方法的融合結(jié)果與文獻(xiàn)[13]全卷積融合算法（image fusion framework based on convolutional neural network, IFCNN）、文獻(xiàn)[17]卷積稀疏表示模型（convolutional sparse representation, CSR）、文獻(xiàn)[18]基于顯著檢測的聯(lián)合稀疏表示模型（JSR model with saliency detection fusion method, JSRSD）、文獻(xiàn)[19]加權(quán)最小二乘優(yōu)化方法（weighted least square, WLS）、文獻(xiàn)[20]梯度濾波算法（gradient structural filter, GSF）、文獻(xiàn)[21]基于空間頻率激勵(lì)脈沖耦合神經(jīng)網(wǎng)絡(luò)的非下采樣Contourlet變換域圖像融合算法（nonsubsampled contourlet transform，NSCT）、文獻(xiàn)[22]拉普拉斯結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（Laplace-cnn, Lp-cnn）7種方法進(jìn)行了對比。引導(dǎo)濾波多尺度算法的參數(shù)設(shè)置為：分解層數(shù)＝4:1＝25,2＝14,1＝0.1,2＝10－2。

3.2 主觀評價(jià)

通過6組實(shí)驗(yàn)的融合結(jié)果如圖3所示，Img1中CSR人物旁邊有暈染，JSRSD、GSF和Lp-cnn缺少細(xì)節(jié)信息（呈現(xiàn)白塊），IFCNN、WLS和NSCT包含少量的紋理信息，但不如本文所包含信息豐富；Img2中CSR和NSCT有噪聲以及暈染塊的出現(xiàn)，路燈處JSRSD和Lp-cnn輪廓不分明，缺少可見光圖像中的邊緣信息，WLS、DTCWT和GSF雖然存在一些細(xì)節(jié)紋理信息，但相比本文方法，對比方法人物衣服線條不如本文分明；Img3中整體來看，CSR、JSRSD均出現(xiàn)噪聲塊，天空有較多暈染，NSCT天空處出現(xiàn)偽影，本文方法相比WLS和GSF在船頂端處有更加豐富的紋理信息，本文較IFCNN、Lp-cnn云層處的輪廓更加分明；Img4中天空及房屋墻面上CSR、WLS均有噪聲出現(xiàn)，NSCT在邊緣處有暈染，本文在沒有噪聲暈影出現(xiàn)的情況下相比GSF、Lp-cnn可以明顯看出人物及房屋邊界更加清晰；Img5中整體來看CBF、CSR和Lp-cnn存在樹木邊緣信息丟失的情況，JSRSD和NSCT人物邊緣出現(xiàn)暈染，IFCNN、GSF和WLS通過放大圖來看，人物輪廓不如本文分明；Img6中從樹木邊緣來看，CBF、CSR、WLS、JSRSD、GSF、Lp-cnn、NSCT均出現(xiàn)邊緣暈染，從放大圖看本文相對較少，并且包含更多飛機(jī)頭部位的紋理信息。該6組實(shí)驗(yàn)中有5組實(shí)驗(yàn)CBF和CSR其實(shí)驗(yàn)結(jié)果具有較多噪聲和暈染，顯著性特征不夠清晰。IFCNN、JSRSD、NSCT方法除顯著特征外其他區(qū)域細(xì)節(jié)模糊，對比度不高，其次更多地保留紅外圖像的特征，亮度偏高。GSF、Lp-cnn和WLS融合后圖像，區(qū)域過渡不夠自然，缺少小區(qū)域部分的細(xì)節(jié)紋理信息。通過以上7種方法的對比，本文所提方法其融合結(jié)果暈影和塊效應(yīng)不明顯，邊緣輪廓分明，包含更多的細(xì)節(jié)信息，具有更高的對比度。

圖3 實(shí)驗(yàn)結(jié)果：(a) 紅外圖像 (b) 可見光圖像 (c) IFCNN (d) CSR (e) JSRSD (f) WLS (g) GSF (h) NSCT (i) Lp-cnn (j) 本文

Fig. 3 Experimental results: (a) Infrared image(b) Visible image(c) IFCNN(d) CSR(e) JSRSD (f) WLS(g) GSF(h) NSCT(i)Lp-cnn(j) Ours

三維分析對比圖可以較好地表示融合結(jié)果圖中細(xì)節(jié)與紋理信息的分布情況。如圖4所示，以Img1為源圖像，可以看出同一場景下紅外圖像和可見光圖像在三維分析中所表現(xiàn)出來的特征信息，紅外圖像可根據(jù)溫度的高低區(qū)分圖像，可見光圖像則根據(jù)光照的亮度來區(qū)分場景信息。本文算法結(jié)果圖與對比方法結(jié)果圖的三維分析結(jié)果。相比本文算法IFCNN方法、CSR方法以及NSCT方法從圖像看均有少量噪聲偽影出現(xiàn)，在三維分布中可以看出輪廓信息有過擬合現(xiàn)象；JSRSD方法與WLS方法雖分布較為均勻，但細(xì)節(jié)邊緣線條不及本文算法清晰；GSF方法以及Lp-cnn方法藍(lán)色分布缺少，即輪廓不夠明顯，因此，從三維分析圖可以看出，本文算法具有細(xì)節(jié)紋理清晰的優(yōu)勢。

3.3 客觀評價(jià)

為驗(yàn)證算法性能及圖像融合質(zhì)量，本文對融合結(jié)果的定量分析主要采用5種在圖像融合方面廣泛使用的評價(jià)指標(biāo)，依次為圖像像素特征互信息（FMI-pixel）、離散余弦特征互信息（FMI-dct）、小波特征互信息（FMI-w）、相位一致性的度量（phase congruency-based Metric，P）以及圖像結(jié)構(gòu)相似程度的度量（structural similarity-based metric，Y）。其中FMI-pixel、FMI-dct、FMI-w分別從不同角度計(jì)算融合圖像與源圖像的特征互信息（feature mutual information，F(xiàn)MI）[23]，值越大，則說明融合圖像與源圖具有較高的信息相關(guān)性，即在融合過程中損失的細(xì)節(jié)信息越少；P用于測量從源圖傳輸?shù)饺诤蠄D像其邊緣與角點(diǎn)信息；Y測量融合圖像與源圖間的自適應(yīng)結(jié)構(gòu)信息，反映其相似程度，其值越大表示融合效果更優(yōu)。

通過6組實(shí)驗(yàn)圖像的客觀評價(jià)指標(biāo)如圖5所示。實(shí)驗(yàn)指標(biāo)值可以看出本文方法的FMI-dct指標(biāo)均優(yōu)于其余7種對比方法，而指標(biāo)FMI-pixel、FMI-w、Y的值在6組圖像中有5組處于最優(yōu)，P指標(biāo)值有大多數(shù)處于最優(yōu)。表明本文方法所獲得的融合結(jié)果與源圖像具有的離散余弦特征的特征互信息最多，即與源圖像具有較高的相關(guān)性，同時(shí)具有較多的圖像像素信息、小波特征信息以及自適應(yīng)結(jié)構(gòu)信息，能夠從源圖像中提取到更多的細(xì)節(jié)邊緣信息，融合結(jié)果包含更豐富的紋理結(jié)構(gòu)。綜上，本文所提算法融合效果更優(yōu)。

圖4 融合結(jié)果三維對比分析

綜合主客觀評價(jià)指標(biāo)，本文所提算法大多數(shù)指標(biāo)均優(yōu)于對比融合方法，較好地保留了可見光圖像中的邊緣及紋理信息，同時(shí)突出了紅外圖像的目標(biāo)，具有更優(yōu)的清晰度與對比度。從折線圖可以清晰地看出本文方法所存在指標(biāo)方面的優(yōu)越性。從FMI-pixel、FMI-dct、FMI-w、Y的指標(biāo)對比折線圖來看，本文方法的融合效果最優(yōu)；從P指標(biāo)對比折線圖來看，6組圖中本文方法有大多數(shù)優(yōu)于其余對比方法。

4 結(jié)論

本文通過在變換域中引用結(jié)構(gòu)較深的卷積神經(jīng)網(wǎng)絡(luò)VGGNet19來進(jìn)行紅外圖像與可見光圖像融合，改善了融合結(jié)果圖輪廓不分明以及細(xì)節(jié)信息丟失的問題，在實(shí)驗(yàn)過程中通過多尺度引導(dǎo)濾波分解源圖像，可以更好地提取源圖像中的細(xì)節(jié)紋理以及輪廓信息，其次結(jié)合基于像素的拉普拉斯能量算法進(jìn)行基礎(chǔ)部分的融合，通過VGGNet19網(wǎng)絡(luò)對細(xì)節(jié)信息進(jìn)行特征提取并得到一系列權(quán)重圖，保留了更多細(xì)節(jié)信息，避免了細(xì)節(jié)信息地丟失。最終得到輪廓分明，細(xì)節(jié)清晰的融合圖。實(shí)驗(yàn)結(jié)果表明，本文方法所得到的融合圖不僅具在視覺效果方面更加接近真實(shí)，而且客觀評價(jià)指標(biāo)方面也具有更優(yōu)的效果。由于VGGNet19網(wǎng)絡(luò)特征提取過程運(yùn)行時(shí)間較長，今后將嘗試對其進(jìn)行優(yōu)化，進(jìn)一步提高算法效率。

[1] MA Jiayi, MA Yong, LI Chang. Infrared and visible image fusion methods and applications: a survey[J]., 2019, 45: 153-178.

[2] 葉坤濤, 李文, 舒蕾蕾, 等. 結(jié)合改進(jìn)顯著性檢測與NSST的紅外與可見光圖像融合方法[J]. 紅外技術(shù), 2021, 43(12): 1212-1221.

YE Kuntao, LI Wen, SHU Leilei, et al. Infrared and visible image fusion method based on improved saliency detection and non-subsampled Shearlet transform[J]., 2021, 43(12): 1212-1221.

[3] LI Shutao, KANG Xudong, FANG Leyuan, et al. Pixel-level image fusion: a survey of the state of the art[J]., 2017, 33: 100-112.

[4] MA Cong, MIAO Zhenjiang, ZHANG Xiaoping, et al. A saliency prior context model for real-time object tracking[J]., 2017, 19(11): 24152424.

[5] HU Wenrui,YANG Yehui,ZHANG Wensheng, et al. Moving object detection using Tensor based low-rank and saliently fused-sparse decomposition[J]., 2017, 26(2): 724-737.

[6] 楊九章, 劉煒劍, 程陽. 基于對比度金字塔與雙邊濾波的非對稱紅外與可見光圖像融合[J]. 紅外技術(shù), 2021, 43(9): 840-844.

YANG Jiuzhang, LIU Weijian, CHENG Yang. Asymmetric infrared and visible image fusion based on contrast pyramid and bilateral filtering[J]., 2021, 43(9): 840-844.

[7] 羅迪, 王從慶, 周勇軍. 一種基于生成對抗網(wǎng)絡(luò)與注意力機(jī)制的可見光和紅外圖像融合方法[J]. 紅外技術(shù), 2021, 43(6): 566-574.

LUO Di, WANG Congqing, ZHOU Yongjun. A visible and infrared image fusion method based on generative adversarial networks and attention mechanism[J]., 2021, 43(6): 566-574.

[8] AZARANG A, HAFEZ E, MANOOCHEHRI, et al. Convolutional autoencoder-based multispectral image fusion[J]., 2019, 7: 35673-35683.

[9] HOU Ruichao, ZHOU Dongming, NIE Rencan, et al. VIF-net: an unsupervised framework for infrared and visible image fusion[J]., 2020(6): 640-6521.

[10] LIU Yu , CHEN Xun, HU Peng, et al. Multi-focus image fusion with a deep convolutional neural network[J]., 2017, 36: 191-207.

[11] MA Jiayi, YU Wei, LIANG Pengwei, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]., 2019, 48: 11-26.

[12] 唐麗麗, 劉剛, 肖剛. 基于雙路級聯(lián)對抗機(jī)制的紅外與可見光圖像融合方法[J]. 光子學(xué)報(bào), 2021, 50(9): 0910004.

TANG Lili, LIU Gang, XIAO Gang. Infrared and visible image fusion method based on dual-path cascade adversarial mechanism[J]., 2021, 50(9): 0910004.

[13] ZHANG Yu, LIU Yu, SUN Peng, IFCNN: a general image fusion framework based on convolutional neural network[J]., 2020, 54: 99-118.

[14] 郝永平, 曹昭睿, 白帆, 等. 基于興趣區(qū)域掩碼卷積神經(jīng)網(wǎng)絡(luò)的紅外-可見光圖像融合與目標(biāo)識(shí)別算法研究[J]. 光子學(xué)報(bào), 2021, 50(2): 0210002.

HAO Yongping, CAO Zhaorui, BAI Fan, et al. Research on infrared visible image fusion and target recognition algorithm based on region of interest mask convolution neural network[J]., 2021, 50(2): 0210002.

[15] 劉佳, 李登峰. 馬氏距離與引導(dǎo)濾波加權(quán)的紅外與可見光圖像融合[J]. 紅外技術(shù), 2021, 43(2): 162-169.

LIU Jia, LI Dengfeng. Infrared and visible light image fusion based on Mahalanobis distance and guided filter weighting[J]., 2021, 43(2): 162-169.

[16] LI Hui, WU Xiaojun, KITTLER J. Infrared and visible image fusion using a deep learning framework[C]// 24, 2018: 8546006-1.

[17] LIU Yu, CHEN Xun, WARD R K, et al. Image fusion with convolutional sparse representation[J]., 2016, 23(12): 1882-1886.

[18] LIU C H, QI Y, DING W R. Infrared and visible image fusion method based on saliency detection in sparse domain[J]., 2017, 83: 94-102.

[19] MA Jinlei, ZHOU Zhiqian, WANG Bo, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]., 2017, 82: 8-17.

[20] MA Jiayi, ZHOU Yi. Infrared and visible image fusion via gradientlet filter[J]., 2020(197-198): 103016.

[21] QU Xiaobo, YAN Jingwen, XIAO Hongzhi, et al. Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J]., 2008, 34(12): 1508-1514.

[22] LIU Yu, CHEN Xun, CHENG Juan, et al. Infrared and visible image fusion with convolutional neural networks[J].,, 2018, 16(3): 1850018.

[23] HAGHIGHAT M, RAZIAN M A. Fast-FMI: non-reference image fusion metric[C]//(AICT), 2014: 1-3.

Infrared and Visible Image Fusion Based on Transform Domain VGGNet19

LI Yongping，YANG Yanchun，DANG Jianwu，WANG Yangping

(,,730070,)

To address the problems of loss of detailed information and blurred edges in the fusion of infrared and visible images, an infrared and visible image fusion method through the VGGNet19 network in the transform domain is proposed. Firstly, in order to extract more accurate basic and detailed data from the source images during the decomposition process, the source images are decomposed using a multi-scale guided filter with edge-preserving smoothing function into a base layer and multiple detailed layers. Then, the Laplacian energy with the characteristics of retaining the main energy information is used to fuse the basic layer to obtain the basic fusion map. Subsequently, to prevent the fusion result from losing some detailed edge information, the VGGNet19 network is used to extract the features of the detail layers, L1 regularization, upsampling and final weighted average, thus the fused detail. Finally, the final fusion is obtained by adding two fusion graphs. The experimental results show that the method proposed can better extract the edge and detailed information in the source images, and achieve better results in terms of both subjective and objective evaluation indicators.

image fusion, guided filter, VGGNet19, Laplacian energy, infrared and visible image

A

1001-8891(2022)12-1293-08

2022-01-15；

2022-02-28.

李永萍（1996-），女，碩士研究生，主要研究方向：圖像融合。E-mail:2647336295@qq.com。

楊艷春（1979-），女，副教授，主要研究方向：圖像融合與圖像配準(zhǔn)。E-mail:yangyanchun102@sina.com。

長江學(xué)者和創(chuàng)新團(tuán)隊(duì)發(fā)展計(jì)劃資助（IRT_16R36）、國家自然科學(xué)基金（62067006）、甘肅省科技計(jì)劃項(xiàng)目（18JR3RA104）、甘肅省高等學(xué)校產(chǎn)業(yè)支撐計(jì)劃項(xiàng)目（2020C-19）和蘭州市科技計(jì)劃項(xiàng)目（2019-4-49）、甘肅省教育廳：青年博士基金項(xiàng)目2022QB-067、甘肅省自然科學(xué)基金（21JR7RA300）、蘭州交通大學(xué)天佑創(chuàng)新團(tuán)隊(duì)（TY202003）、蘭州交通大學(xué)-天津大學(xué)聯(lián)合創(chuàng)新基金項(xiàng)目（2021052）。