基于SGWT和多顯著性的紅外與可見光圖像融合

田立凡，楊 莘，梁佳明, 吳 謹(jǐn)

基于SGWT和多顯著性的紅外與可見光圖像融合

田立凡，楊 莘，梁佳明, 吳 謹(jǐn)

（武漢科技大學(xué) 信息科學(xué)與工程學(xué)院，湖北 武漢 430081）

由于譜圖小波變換（Spectral Graph Wavelet Transform, SGWT）可充分利用圖像在圖域中的光譜特性，本文結(jié)合其對(duì)不規(guī)則小區(qū)域表達(dá)的優(yōu)勢(shì)，提出了一種基于多顯著性的紅外與可見光融合算法。首先應(yīng)用SGWT將源圖像分解成一個(gè)低頻子帶和若干個(gè)高頻子帶；對(duì)于低頻系數(shù)，將多個(gè)互補(bǔ)的低層特征結(jié)合起來，提出了一種適合人眼視覺特征的多顯著性融合規(guī)則，對(duì)于高頻系數(shù)，充分考慮鄰域像素的相關(guān)性，提出了一種區(qū)域絕對(duì)值取大規(guī)則；最后，應(yīng)用了一種加權(quán)最小二乘優(yōu)化（weighted least squares, WLS）方法對(duì)譜圖小波重構(gòu)的融合圖像進(jìn)行優(yōu)化，在突出顯著目標(biāo)的同時(shí)盡可能多地保留可見光的背景細(xì)節(jié)。實(shí)驗(yàn)結(jié)果表明，與DWT（Discrete Wavelet Transform）、NSCT（Non-down Sampled Contourlet Transform）等7種相關(guān)算法相比，在突出紅外目標(biāo)的同時(shí)還能保留更多的可見光背景細(xì)節(jié)，具有較好的視覺效果；同時(shí)在方差、熵、abf和互信息量4個(gè)客觀評(píng)價(jià)上也均占據(jù)優(yōu)勢(shì)。

圖像融合；譜圖小波變換；多顯著性；加權(quán)最小二乘優(yōu)化

0 引言

圖像融合是用特定的算法將兩個(gè)或兩個(gè)以上的傳感器在同一時(shí)間或不同時(shí)間獲取的關(guān)于某個(gè)具體場(chǎng)景的圖像或圖像序列信息加以綜合，以生成新的有關(guān)此場(chǎng)景解釋的信息處理過程[1]。紅外與可見光圖像融合是多傳感器圖像融合研究的重要組成部分，其優(yōu)勢(shì)體現(xiàn)在如下幾個(gè)方面。首先，它們的信號(hào)來自不同的模式，從不同的方面提供場(chǎng)景信息，可獲得比單一模態(tài)信號(hào)更大的信息量。第二，紅外和可見光圖像呈現(xiàn)幾乎所有物體固有的特征。第三，紅外和可見光圖像共享互補(bǔ)的屬性可以產(chǎn)生魯棒性強(qiáng)且信息熵大的融合圖像。利用圖像融合技術(shù)將紅外與可見光圖像進(jìn)行融合，可以提高圖像理解和識(shí)別效率，在軍事、視頻監(jiān)控和消防等領(lǐng)域有著重要的研究?jī)r(jià)值和應(yīng)用前景[2]。

常用的紅外與可見光的圖像融合的方法有：基于多尺度分解的方法[3]、基于稀疏表示的方法[4]、基于顯著性檢測(cè)的方法[5]、基于子空間的方法[6]和基于神經(jīng)網(wǎng)絡(luò)的方法[7]等等。由于多尺度分解提供了一種具有靈活局部性和方向性的多分辨圖像表示方法，在圖像融合領(lǐng)域應(yīng)用較廣?；诙喑叨确纸獾募t外和可見光圖像融合通常包括3個(gè)步驟，首先，將每個(gè)源圖像分解為一系列多尺度表示，然后根據(jù)給定的融合規(guī)則對(duì)源圖像的多尺度表示進(jìn)行融合，最后進(jìn)行逆變換得到融合圖像。其中，多尺度分解方法的選擇和融合規(guī)則的選取是影響融合性能的兩個(gè)關(guān)鍵因素。

近年來以小波為代表的傳統(tǒng)多尺度分解理論由于其具有平移不變性、各向異性等優(yōu)勢(shì)，在圖像融合領(lǐng)域得到了廣泛的應(yīng)用。然而，離散小波變換（DWT）變換存在振蕩、移位方差、混疊和缺乏方向性的問題[8]。輪廓波變換（Contourlet Transform，CT）解決了小波變換的方向性問題，但由于輪廓波變換在拉普拉斯分解和方向?yàn)V波器組兩個(gè)過程中都經(jīng)過了下采樣操作，導(dǎo)致子圖像平移不變性較差，存在吉布斯現(xiàn)象。非下采樣輪廓波變換（NSCT）由非下采樣金字塔（Non-down Sampled Pyramid，NSP）和非下采樣方向?yàn)V波器組（Non-downsampled Directional Filter Bank，NSDFB）組成，具有較好的平移不變性和多方向性，但是計(jì)算效率偏低，比較耗時(shí)。除此之外，目前基于多尺度分解方法的融合規(guī)則也存在一些問題。例如，傳統(tǒng)的絕對(duì)值取大方式由于只是對(duì)單個(gè)像素進(jìn)行處理，會(huì)在圖像邊緣部分產(chǎn)生突兀；空間頻率和對(duì)比度等清晰度度量只是基于單個(gè)圖像的局部特征設(shè)計(jì)的，且只使用了一個(gè)低層特征，它們能反映出的視覺信息非常有限；基于稀疏描述的融合規(guī)則雖然很大程度上可以保留源圖像的信息，但是會(huì)在最后的融合圖像中產(chǎn)生偽影。

鑒于以上分析，本文提出了一種基于譜圖小波分解和視覺顯著性的紅外與可見光融合方法。譜圖小波變換是一種基于圖譜理論的小波變換，與傳統(tǒng)的多尺度分解方式不同，它不在信號(hào)域中進(jìn)行，而是在傅里葉域中進(jìn)行[9]。它不僅具有尺度不變性和各向異性，并且可以表示圖像中的不規(guī)則區(qū)域，這是傳統(tǒng)的多尺度變換所不具備的優(yōu)勢(shì)。

在融合規(guī)則方面，因?yàn)榈皖l分量代表圖像的概貌，考慮到相位一致性、拉普拉斯能量和、結(jié)構(gòu)測(cè)度和對(duì)比度測(cè)度4個(gè)低層特征既重要又互補(bǔ)，提出了一種適合人眼視覺特性的多顯著性低頻融合規(guī)則。高頻分量代表圖像的紋理邊緣特征，為了保留更多邊緣，傳統(tǒng)的絕對(duì)值取大能滿足大部分的需要，但是單獨(dú)使用絕對(duì)值取大并沒有考慮到周圍像素的相關(guān)性，本文基于這一點(diǎn)，提出了一種鄰域絕對(duì)值取大方法，保留邊緣的同時(shí)還能保證整體的平滑性，不產(chǎn)生偽影。

最后，提出了一種新的加權(quán)最小二乘優(yōu)化算法（Weighted Least Squares，WLS）對(duì)初始融合圖像進(jìn)行優(yōu)化，使最終融合圖像在與源圖像相似的同時(shí)盡可能多地包含可見光信息。

1 譜圖小波變換

傳統(tǒng)的信號(hào)處理方法大多是針對(duì)定義在正則歐氏空間上的數(shù)據(jù)而設(shè)計(jì)的，然而，許多有趣的應(yīng)用程序都涉及到在更復(fù)雜的拓?fù)溆蛏隙x的數(shù)據(jù)。例如在網(wǎng)狀結(jié)構(gòu)上定義的數(shù)據(jù)、在流形或不規(guī)則形狀域上定義的數(shù)據(jù)以及由“點(diǎn)云”組成的數(shù)據(jù)，因此開發(fā)能夠適應(yīng)復(fù)雜數(shù)據(jù)域的方法是一個(gè)重要的問題。隨著圖譜理論的出現(xiàn)和發(fā)展，使得信號(hào)在圖上的有效表示成為了可能。其中最具代表性的就是譜圖小波變換（SGWT），與傳統(tǒng)的小波變換相比，它不僅具有小波變換的所有優(yōu)點(diǎn)，還具有通過圖像在圖域中的光譜特性將圖像分解為不同子帶的能力[9]。權(quán)重圖的構(gòu)建和圖傅里葉變換是譜圖小波變換的理論基礎(chǔ)。

1.1 權(quán)重圖構(gòu)建

一個(gè)權(quán)重圖＝{,,}由一組頂點(diǎn)、一組邊和一個(gè)權(quán)重函數(shù)組成。是加權(quán)圖的鄰接矩陣，尺寸為×，定義如下：

式中：權(quán)重函數(shù)()表示為：

式中：(),()表示像素,周圍的鄰域，大小為×，dist((),())表示兩鄰域間的歐氏距離。通過改變,的值生成不同的權(quán)重圖。

對(duì)于一個(gè)加權(quán)圖來說，每個(gè)頂點(diǎn)的度數(shù)()表示為與其相關(guān)的所有邊權(quán)重之和，記作()＝Sa,n。定義矩陣的對(duì)角元素為頂點(diǎn)的度，其他地方為零。

一幅圖像構(gòu)成的權(quán)重圖如圖1所示。

圖1 生成權(quán)重圖

1.2 圖傅里葉變換

傳統(tǒng)的傅里葉變換定義如下：

反變換為：

而圖傅里葉變換是由圖拉普拉斯算子實(shí)現(xiàn)的，與上面公式類似，拉普拉斯矩陣由公式＝－定義。由于拉普拉斯矩陣是實(shí)對(duì)稱矩陣，它有一組完整正交的特征向量。用表示其特征向量，其中＝0, 1, …,－1，所有的特征向量可以表示為：

＝(5)

由于是實(shí)對(duì)稱矩陣，所以它的特征值都是非負(fù)的，對(duì)特征值排序?yàn)椋?/p>

0＝0≤1≤2≤…≤－1(6)

由以上的先驗(yàn)條件，通過拉普拉斯算子，圖傅里葉變換可以定義如下：

逆變換為：

(8)

1.3 圖小波變換

1.3.1 小波函數(shù)

圖傅里葉變換是在傳統(tǒng)傅里葉變換的基礎(chǔ)上，通過拉普拉斯矩陣的特征向量與定義在圖頂點(diǎn)的函數(shù)內(nèi)積實(shí)現(xiàn)的，與之類似的是，可以通過小波算子T＝()調(diào)制每個(gè)傅里葉模型給定的函數(shù)，得到譜圖小波變換核函數(shù)。其作用模式如下：

其反變換可以寫成：

最后圖小波系數(shù)在形式上是由給定函數(shù)和小波函數(shù)內(nèi)積得到的，表達(dá)如下：

1.3.2 尺度函數(shù)

類似于傳統(tǒng)小波，譜圖小波尺度函數(shù)可以看作是一個(gè)低通濾波器，具有和上面小波函數(shù)類似的結(jié)構(gòu)。定義尺度算子：

與小波系數(shù)的計(jì)算方式類似，尺度系數(shù)可以由下面公式得到：

(14)

值得說明的是，通過這種方式定義的尺度函數(shù)僅用于平滑圖像，表示圖像的低頻內(nèi)容，而不像傳統(tǒng)的尺度函數(shù)是由二尺度差分方程得到。也就是說，譜圖小波尺度函數(shù)的選擇與小波核的選擇并無(wú)關(guān)系，我們可以根據(jù)需要合理地選擇尺度函數(shù)[9]。

2 本文算法框架

本文提出了一種基于譜圖小波分解的紅外與可見光融合的算法，算法框圖如圖2所示。算法主要包括4個(gè)部分：譜圖小波分解、低頻融合規(guī)則、高頻融合規(guī)則和WLS優(yōu)化。

（四）結(jié)構(gòu)扁平，領(lǐng)導(dǎo)管理要求高。省軍區(qū)系統(tǒng)重組重塑后，體制結(jié)構(gòu)更加扁平，人員編成更加精干，對(duì)領(lǐng)導(dǎo)管理工作提出新的更高要求。由于省軍區(qū)單位點(diǎn)多線長(zhǎng)面廣，且駐地相對(duì)分散，管理對(duì)象既有軍官、士兵、文職人員和職工，還有專武干部和離退休干部，人員多樣、成分復(fù)雜，領(lǐng)導(dǎo)管理任務(wù)重、壓力大。因此，過去那種事無(wú)巨細(xì)“一竿子插到底”、大包大攬“保姆式”的領(lǐng)導(dǎo)管理方式顯然已不適用，必須打破傳統(tǒng)思維，跳出固有模式，創(chuàng)新理念方法，建立更加科學(xué)高效的領(lǐng)導(dǎo)管理和工作指導(dǎo)體系。

2.1 譜圖小波分解

由于譜圖小波變換具有對(duì)不規(guī)則小區(qū)域更強(qiáng)的表達(dá)能力，可以將更多源圖像的信息保留到融合圖像中，本文選擇譜圖小波變換作為多尺度分解方法。該方法將空域上的變換轉(zhuǎn)換到圖域，使空間特征在尺度上分離的同時(shí)還能夠表達(dá)出更多的小區(qū)域上的信息。假設(shè)有兩幅紅外與可見光的源圖像IR和VIS，通過譜圖小波變換分別分解為一個(gè)低頻子帶LFIR和LFVIS和個(gè)高頻子帶HFIRi和HFVISi（＝1, 2, …,）。圖3給出了street圖像應(yīng)用譜圖小波變換后得到的子帶圖像。圖(a)為兩幅源圖像，圖(b)是兩幅源圖像對(duì)應(yīng)的低頻子帶，圖(c)～(f)分別對(duì)應(yīng)兩幅源圖像的一級(jí)、二級(jí)和三級(jí)高頻子帶。多次實(shí)驗(yàn)證明，采用四級(jí)分解得到的融合圖像效果最好。

圖2 本文融合算法框架

圖3 Street圖像應(yīng)用譜圖小波分解結(jié)果

2.2 低頻融合規(guī)則

通過譜圖小波將源圖像分解之后，需要選擇合適的融合方式對(duì)低頻和高頻子帶進(jìn)行融合。傳統(tǒng)方法一般選擇局部能量、局部空間頻率或者局部對(duì)比度測(cè)度對(duì)低頻分量進(jìn)行融合，但是這些測(cè)度僅能反映出圖像的亮度、對(duì)比度或空間頻率等某一種信息，而一幅圖像往往具有更豐富的信息。低頻子帶融合的好壞往往決定了最終融合圖像的主觀質(zhì)量，為了使低頻融合子帶更加具備人眼的主觀感受，本文將相位一致性、局部對(duì)比度、結(jié)構(gòu)顯著性和局部修正拉普拉斯能量的優(yōu)勢(shì)結(jié)合起來，提出了一種新的顯著性測(cè)度方式。

2.2.1 相位一致性

相位一致性（Phase consistency，PC）是指在圖像的頻域中，邊緣相似的特征在同一階段出現(xiàn)的頻率較高。相位一致性的理論依據(jù)是人眼感知圖像信息時(shí)主要是依靠圖像信號(hào)的相位而非幅度[10]。與基于灰度的邊緣特征提取方法不同，通過計(jì)算圖像的相位一致性來檢測(cè)圖像中的邊緣可以不受圖像局部光線明暗變化的影響，并能包含圖像中的角、線、紋理等信息。尤其能在圖像邊緣對(duì)比度比較低時(shí)保留邊緣信息。對(duì)于一個(gè)信號(hào)()，其傅里葉展開為：

相位一致性的實(shí)質(zhì)是圖像上各個(gè)頻率成分的相位相似性的一種度量方式，定義如下：

(16)

式中：是指局部相位，后面的均值表示相位的加權(quán)平均值；A是指局部幅值，即第個(gè)余弦分量的幅度值。

2.2.2 局部對(duì)比度

為了彌補(bǔ)PC不包含對(duì)比度信息[11]的缺陷，引入了對(duì)比度的概念。

式中：0代表的是在像素(,)周圍3×3的鄰域；(0,0)是指鄰域內(nèi)的像素點(diǎn)。為了表示一個(gè)區(qū)域內(nèi)的局部對(duì)比度，公式(17)顯然不能夠滿足要求。因此，本文對(duì)SCM（SalientContrast Method）求一個(gè)鄰域內(nèi)的加權(quán)和作為局部對(duì)比度（Local Salient Contrast Method，LSCM）測(cè)度：

式中：鄰域的大小為(2＋1)(2＋1)。

2.2.3 結(jié)構(gòu)顯著性

2.2.2節(jié)提到，SGWT能夠更好地表示圖像上的小區(qū)域部分，因此，對(duì)圖像上的結(jié)構(gòu)信息具有很強(qiáng)的適應(yīng)性，為了更好地發(fā)揮它的優(yōu)勢(shì)，本文將結(jié)構(gòu)顯著性[12]信息引入到低頻融合規(guī)則中。

一個(gè)圖像(,)，在窗口上的梯度協(xié)方差矩陣定義為：

式中：I()和I()代表像素(,)在和方向的梯度，由于是實(shí)對(duì)稱矩陣，因此它可以奇異值分解為如下形式：

由于將局部圖像結(jié)構(gòu)與該矩陣的特征值聯(lián)系起來，這種方法能夠?qū)D像結(jié)構(gòu)進(jìn)行穩(wěn)定的描述，而且也適用于所有類型的結(jié)構(gòu)，包括邊緣以及角落。圖像結(jié)構(gòu)顯著性可以定義為：

式中：是控制對(duì)角狀結(jié)構(gòu)重視程度的參數(shù)，一般取＞－1。

2.2.4 局部修正拉普拉斯能量

以上3種顯著性測(cè)度對(duì)于亮度信息的表示并不是很完善，因此引入了修正拉普拉斯能量作為亮度信息的測(cè)度。

式中：step代表步長(zhǎng)，本文中步長(zhǎng)為1。局部修正拉普拉斯能量定義如下：

式中：窗口大小為(21＋1)(21＋1)。

2.2.5 新的顯著性度量方法

以上4種特征之間具有一定的互補(bǔ)性：相位一致性對(duì)圖像邊緣的敏感性、局部對(duì)比度彌補(bǔ)了相位一致性不包含對(duì)比度信息的缺陷、結(jié)構(gòu)顯著性發(fā)揮SGWT對(duì)不規(guī)則小區(qū)域表達(dá)的優(yōu)勢(shì)，以及修正拉普拉斯能量可提取圖像的亮度信息。因此本文結(jié)合邊緣、對(duì)比度、結(jié)構(gòu)和亮度這4種顯著性特征的優(yōu)勢(shì)，提出了一個(gè)新的顯著性度量參數(shù)NSM，定義如下：

式中：,,,是權(quán)重因子，在0～20范圍內(nèi)經(jīng)過多次實(shí)驗(yàn)得出，當(dāng)＝5,＝5,＝2,＝1時(shí)可取得較好的效果。

權(quán)重圖map定義為：

最后得到低頻融合系數(shù)F：

2.3 高頻融合規(guī)則

高頻子帶體現(xiàn)圖像的邊緣和細(xì)節(jié)，由于傳統(tǒng)的絕對(duì)值取大方法沒有考慮周圍像素的相關(guān)性，會(huì)導(dǎo)致圖像邊緣部分出現(xiàn)突兀，因此，本文設(shè)計(jì)了一種結(jié)合區(qū)域和絕對(duì)值取大的方法。

初始的權(quán)重圖定義如下：

式中：表示第幅高頻子帶圖像?？紤]到周圍鄰域的相關(guān)像素，得到最后的權(quán)重圖。

式中：sum(,)表示鄰域內(nèi)map(0,0)中大于1的個(gè)數(shù)，窗口的大小為×。高頻融合子帶計(jì)算如下：

2.4 WLS優(yōu)化

將低頻融合子帶和高頻融合子帶通過譜圖小波反變換得到初始的融合圖像F。為了使最后得到的融合圖像更加符合人眼主觀特性并且包含更多信息，本文選擇WLS[13]對(duì)F進(jìn)行優(yōu)化，其代價(jià)函數(shù)形式如下：

式中：為最終的融合圖像，第一項(xiàng)表示最后融合圖像盡可能地與初始融合圖像接近，第二項(xiàng)中是正則參數(shù)，表示可見光的權(quán)重，定義如下：

式中：表示一個(gè)窗口，大小通常為7×7，是一個(gè)很小的常數(shù)，通常取0.0001。第二項(xiàng)中(－VIS)2是為了使最后融合圖中包含更多的可見光的信息。將公式(30)寫成矩陣形式為：

式中：是一個(gè)包含中所有像素權(quán)重的對(duì)角矩陣。對(duì)公式(32)應(yīng)用梯度下降，可以得到：

將上式化簡(jiǎn)為：

式中：為單位矩陣。

3 實(shí)驗(yàn)結(jié)果和對(duì)比

本文的所有實(shí)驗(yàn)都基于MATLAB 2020a進(jìn)行。為了評(píng)價(jià)提出算法的性能，本文選擇了紅外與可見光融合VIFB數(shù)據(jù)集中4組圖像與傳統(tǒng)的多尺度變換DWT[14]、DTCWT、CVT[15]、GFF[16]、NSCT[17]以及NSCT_SR[18]和NSCT_PC[19]進(jìn)行比較。選用的源圖像如圖3所示。

為了客觀地評(píng)價(jià)融合圖像的性能，本文采用方差ar、熵EN、abf、互信息量MI四項(xiàng)客觀圖像評(píng)價(jià)指標(biāo)。方差是基于統(tǒng)計(jì)特性[20]的評(píng)價(jià)指標(biāo)，反映了圖像各個(gè)像元灰度相對(duì)于灰度平均值的離散情況，可以用來評(píng)價(jià)圖像本身質(zhì)量的好壞，其值越大說明圖像質(zhì)量越高；信息熵和互信息量則是基于信息量的客觀評(píng)價(jià)指標(biāo)，反映了融合圖像對(duì)源圖像信息保留量，其值越大說明保留的信息量越多；abf是基于人類視覺系統(tǒng)的評(píng)價(jià)指標(biāo)，它用局部度量來估計(jì)來自輸入的顯著信息在融合圖像中的表現(xiàn)程度，其值越高，表示融合圖像的質(zhì)量越好。

圖4給出了圖3(a)flower圖像的不同融合結(jié)果，從整體融合效果來看，每個(gè)融合圖像基本都能夠提取紅外圖像中的目標(biāo)信息，但除本文的算法和NSCT_PC、NSCT_SR外，其他融合圖像中的紅外目標(biāo)亮度較低，而背景也因?yàn)楸Ａ袅诉^多的紅外信息導(dǎo)致對(duì)比度變低。另外，從圖中可以明顯看到，NSCT_SR的融合圖像在對(duì)紅外目標(biāo)的提取中造成了黑影。通過對(duì)圖像的整體對(duì)比度和紅外信息的亮度進(jìn)行比較可以得到，本文的算法在突出紅外目標(biāo)的同時(shí)，在背景方面融合了更多的可見光信息，說明本文具有較好的主觀融合效果。

表1給出了flower圖像的客觀評(píng)價(jià)指標(biāo)?？梢钥闯?，本文提出的方法優(yōu)于其他方法，幾種客觀評(píng)價(jià)指標(biāo)均優(yōu)于其他方法，具有最佳的融合效果。

圖3 四組紅外與可見光源圖像

圖4 flower圖像不同方法融合結(jié)果

圖5(a)～(h)是lawn圖像的不同方法的融合結(jié)果圖，從5(a)～(c)可以看出，DWT、DTCWT、CVT的紅外顯著目標(biāo)亮度偏暗；GFF雖然突出了前面燈的紅外顯著信息，但是背景部分草的顯著信息沒有提取出來；NSCT的融合效果與前面3種多尺度分解方式相當(dāng)；NSCT_PC和NSCT_SR的結(jié)果在一定程度上突出了紅外的顯著信息和可見光的細(xì)節(jié)信息，但是由于顯著性方式不理想，在天空部分產(chǎn)生了黑影；本文的算法相較于其他算法紅外顯著信息突出且細(xì)節(jié)信息明顯，具有最好的主觀效果。圖6(a)～(h)是street圖像基于不同方法的融合結(jié)果，DWT、DTCWT、CVT和NSCT的紅外目標(biāo)較為模糊；GFF雖然突出了一部分紅外目標(biāo)，但圖像角落的紅外目標(biāo)的亮度不夠；NSCT_SR在一定程度上突出了紅外信息和可見光細(xì)節(jié)，但在融合過程中引入了不自然的黑影；NSCT_PC和本文的算法在突出紅外目標(biāo)和保留可見光細(xì)節(jié)方面具有最好的主觀效果；圖7(a)～(h)是mountain圖像的對(duì)比融合結(jié)果，前五組圖像的紅外目標(biāo)較為模糊；NSCT_PC和NSCT_SR的結(jié)果在一定程度上突出了紅外目標(biāo)信息，但由于顯著性方式的缺陷導(dǎo)致在前面草的細(xì)節(jié)部分產(chǎn)生了不自然的黑影；相比之下，本文的結(jié)果在突出紅外目標(biāo)并提高對(duì)比度方面具有最佳的主觀效果。綜上所述，本文的融合方法具有比較好的主觀融合效果。

表1 flower圖像客觀評(píng)價(jià)指標(biāo)

圖5 lawn圖像不同方法融合結(jié)果

圖6 street圖像不同方法融合結(jié)果

圖7 mountain圖像不同方法融合結(jié)果

表2～4列出其他3組融合圖像的客觀評(píng)價(jià)指標(biāo)對(duì)比?？梢钥闯觯疚奶岢龅乃惴ㄔ赼r和EN這兩項(xiàng)指標(biāo)均優(yōu)于其他算法，說明融合圖像在對(duì)比度和信息量方面比較理想。在abf上略次于GFF，但是主觀視覺上，GFF對(duì)顯著信息提取并沒有本文算法理想，這是由于GFF的背景信息較暗的緣故，導(dǎo)致abf指標(biāo)偏高。在MI上，只有l(wèi)awn圖像的融合結(jié)果略次于NSCT_SR，在其他融合圖像上是最優(yōu)的。這是由于NSCT_SR在天空部分引入了部分黑影，其指標(biāo)提升是在一定程度上犧牲人眼主觀評(píng)價(jià)實(shí)現(xiàn)的，這顯然得不償失。所以，本文提出的算法能夠應(yīng)用到紅外與可見光的融合中。

表2 Lawn圖像客觀評(píng)價(jià)指標(biāo)

表3 Street圖像客觀評(píng)價(jià)指標(biāo)

表4 Mountain圖像客觀評(píng)價(jià)指標(biāo)

4 結(jié)論

本文基于譜圖小波表達(dá)不規(guī)則區(qū)域的優(yōu)勢(shì)，將其應(yīng)用到圖像融合中對(duì)源圖像進(jìn)行多尺度分解，并將相位一致性、結(jié)構(gòu)顯著性、對(duì)比度測(cè)度和修正拉普拉斯能量結(jié)合起來作為低頻融合規(guī)則，對(duì)傳統(tǒng)的絕對(duì)值取大方法進(jìn)行改進(jìn)，考慮到周圍像素的相關(guān)性，提出了一種區(qū)域得絕對(duì)值取大規(guī)則并應(yīng)用到高頻系數(shù)，最后應(yīng)用WLS將更多的可見光的背景加入到融合圖像中。針對(duì)4組不同的源圖像，與不同算法的對(duì)比實(shí)驗(yàn)結(jié)果表明，本文算法得到的融合圖像在主觀評(píng)價(jià)上突出紅外目標(biāo)和抑制紅外背景信息效果明顯，符合人眼視覺特性；與DWT、DTCWT、NSCT-SR等經(jīng)典多尺度方法相比，融合圖像的主觀視覺效果更好，客觀評(píng)價(jià)指標(biāo)在方差、熵、abf和互信息量上也均占據(jù)優(yōu)勢(shì)，融合效果較為理想。

[1] Goshtasby A, Nikolov S . Image fusion: Advances in the state of the art[J]., 2007, 8(2): 114-118.

[2] Toet A, Hogervorst M A, Nikolov S G, et al. Towards cognitive image fusion[J]., 2010, 11(2): 95-113.

[3] Falk H. Prolog to a categorization of multiscale-decomposition-based image fusion schemes with a performance study for a digital camera application[J]., 1999, 87(8): 1315-1326

[4] GAO Y, MA J, Yuille A L. Semi-supervised sparse representation based classification for face recognition with insufficient labeled samples[J]., 2017, 26(5): 2545-2560.

[5] LIU C H, QI Y, DING W R. Infrared and visible image fusion method based on saliency detection in sparse domain[J]., 2017, 83: 94-102.

[6] 楊風(fēng)暴, 董安冉, 張雷, 等. DWT、NSCT和改進(jìn)PCA協(xié)同組合紅外偏振圖像融合[J]. 紅外技術(shù), 2017, 39(3): 201-208.

YANG Fengbao, DONG Anran, ZHANG Lei, et al. Infrared polarization image fusion using the synergistic combination of DWT, NSCT and improved PCA[J]., 2017, 39(3): 201-208.

[7] 董安勇, 杜慶治, 蘇斌, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的紅外與可見光圖像融合[J]. 紅外技術(shù), 2020, 42(7): 660-669.

DONG Anyong, DU Qingzhi, SU Bin, ZHAO Wenbo, et al. Infrared and visible image fusion based on convolutional neural network[J]., 2020, 42(7): 660-669.

[8] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: A survey[J]., 2019, 45: 153-178.

[9] David K Hammond, Pierre Vandergheynst, Rémi Gribonval. Wavelets on graphs via spectral graph theory[J]., 2011, 30: 129-150.

[10] Morrone M C, Ross J, Burr D C, et al. Mach bands are phase dependent[J], 1986, 324(6094): 250-253.

[11] ZHANG L, ZHANG L, MOU X, et al. FSIM: A feature similarity index for image quality assessment[J]., 2011, 20(8): 2378-2386.

[12] ZHOU Z, LI S, WANG B. Multi-scale weighted gradient-based fusion for multi-focus images[J]., 2014, 20: 60-72.

[13] MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]., 2017, 82: 8-17.

[14] LI H, Manjunath B S, Mitra S. Multisensor image fusion using the wavelet transform[J]., 1995, 57(3): 235-245.

[15] Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]., 2007, 8(2): 143-156.

[16] LI S, KANG X, HU J. Image fusion with guided filtering[J]., 2013, 22(7): 2864-2875.

[17] LI S, YANG B, HU J. Performance comparison of different multi-resolution transforms for image fusion[J]., 2011, 12(2):74-84.

[18] YU L, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]., 2015, 24: 147-164.

[19] ZHU Z, ZHENG M, QI G , et al. A phase congruency and local Laplacian energy based multi-modality medical image fusion method in NSCT domain[J]., 2019, 7: 20811-20824.

[20] 張小利, 李雄飛, 李軍. 融合圖像質(zhì)量評(píng)價(jià)指標(biāo)的相關(guān)性分析及性能評(píng)估[J]. 自動(dòng)化學(xué)報(bào), 2014, 40(2): 306-315.

ZHANG Xiao-Li, LI Xiong-Fei, LI Jun. Validation and correlation analysis of metrics for evaluating performance of image fusion[J]., 2014, 40(2): 306-315. Doi: 10.3724/SP. J.1004. 2014.00306

Infrared and Visible Image Fusion Based on SGWT and Multi-Saliency

TIAN Lifan，YANG Shen，LIANG Jiaming，WU Jin

(School of Information Science and Engineering, Wuhan University of Science and Technology, Wuhan 430081, China)

Spectral graph wavelet transform (SGWT) can fully utilize the spectral characteristics of an image in the image domain and has advantages in the expression of small irregular regions. Therefore, this paper proposes an infrared and visible fusion algorithm based on multi saliency. First, SGWT is used to decompose the source image into a low-frequency sub-band and several high-frequency sub-bands. For low-frequency coefficients, a multi saliency fusion rule suitable for human visual features is proposed by combining multiple complementary low-level features. For high-frequency coefficients, a rule for increasing the absolute value of the region is proposed by fully considering the correlation of neighborhood pixels. Finally, a weighted least squares optimization method is applied to optimize the fusion image reconstructed by spectral wavelet reconstruction, which highlights the main target and retains the background details of visible light as much as possible. The experimental results show that, compared with seven related algorithms such as DWT and NSCT, this method can highlight the infrared target and retain more visible background details, resulting in a better visual effect. Moreover, it exhibits advantages in four objective evaluations: variance, entropy,abf, and mutual information.

image fusion, spectral graph wavelet transform, multi saliency, WLS

TP751.1

A

1001-8891(2022)07-0676-10

2021-08-01；

2021-10-21.

田立凡（1999-），男，湖北天門人，工學(xué)碩士，圖像處理與模式識(shí)別。

楊莘（1977-），女，湖南婁底人，工學(xué)博士，副教授，多媒體通信與信號(hào)處理。E-mail: 317987@qq.com。

中國(guó)國(guó)家自然科學(xué)基金（61702384）；武漢科技大學(xué)（2017xz008）。