基于卷積神經(jīng)網(wǎng)絡(luò)的紅外與可見光圖像融合

董安勇，杜慶治，蘇 斌，趙文博，于 聞

（1.昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500；2.昆明北方紅外技術(shù)股份有限公司，云南 昆明 650500）

0 引言

紅外成像傳感器具有捕捉物體熱輻射的能力，但對(duì)場(chǎng)景紋理細(xì)節(jié)信息的變化不具有敏感性。可見光成像傳感器具有捕捉場(chǎng)景空間細(xì)節(jié)信息的能力，但容易遭受周圍惡劣環(huán)境的影響。因此，融合紅外與可見光圖像可以捕捉各波段互補(bǔ)特征，顯示輻射目標(biāo)保留場(chǎng)景信息。目前，在情報(bào)收集、監(jiān)控安全以及航空航天等領(lǐng)域有廣泛的應(yīng)用前景。

非下采樣剪切波變換（non-subsampled shearlet transform,NSST）具有平移不變特性和稀疏表示能力，在圖像融合領(lǐng)域已經(jīng)成為眾多學(xué)者研究的熱點(diǎn)。文獻(xiàn)[1]提出了稀疏表示和非下采樣Shearlet 變換相結(jié)合的多聚焦圖像融合算法，該算法可以使用融合的低頻子圖構(gòu)造過完備字典，捕捉源圖像更多的邊緣、紋理以及細(xì)節(jié)信息。文獻(xiàn)[2]提出了NSST與引導(dǎo)濾波相結(jié)合的多聚焦圖像融合算法，該算法設(shè)計(jì)了基于局部區(qū)域顯著性特征的引導(dǎo)濾波加權(quán)融合模式，可以保留源圖像較多的對(duì)比度和清晰度信息。但是，上述算法的融合模式都是人為給定的，缺乏自適應(yīng)調(diào)節(jié)的能力。

卷積神經(jīng)網(wǎng)絡(luò)（convolution alneuraln et work,CNN）可以將數(shù)據(jù)特征進(jìn)行分層表示，從而有效地挖掘數(shù)據(jù)局部和全局的特征信息，可以克服現(xiàn)有算法缺乏學(xué)習(xí)自我特征能力的缺陷。文獻(xiàn)[3]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的紅外與可見光圖像融合算法，該算法使用卷積神經(jīng)網(wǎng)絡(luò)得到了衡量源圖像特征信息的決策圖來(lái)自適應(yīng)調(diào)整融合模式。文獻(xiàn)[4]提出了基于圖像分割的卷積神經(jīng)網(wǎng)絡(luò)多聚焦圖像融合算法，該算法通過卷積神經(jīng)網(wǎng)絡(luò)將源圖像進(jìn)行分割來(lái)輸出對(duì)應(yīng)的決策圖。但是，上述算法沒有從多尺度角度將源圖像劃分為高低頻子帶進(jìn)行處理，不符合人眼視覺系統(tǒng)的特性。

脈沖耦合神經(jīng)網(wǎng)絡(luò)（pulsecoupled neural network,P CNN）模型具有全局耦合和脈沖同步的特性，可以將變換域高頻子帶融入豐富的視覺特性信息。文獻(xiàn)[5]提出了基于自適應(yīng)PCNN模型的四元數(shù)小波域圖像融合算法，該算法使用拉普拉斯算子優(yōu)化PCNN模型的閾值，改善了融合圖像的視覺效果。但是，該算法未能解決人工設(shè)定自由參數(shù)的困難，不利于自適應(yīng)地調(diào)整網(wǎng)絡(luò)參數(shù)。文獻(xiàn)[6]提出參數(shù)自動(dòng)設(shè)置的簡(jiǎn)易P CNN模型，該模型可以根據(jù)圖像的特征信息自適應(yīng)地設(shè)置PCNN 模型的自由參數(shù)，具有較強(qiáng)的適用性。

針對(duì)上述問題分析，本文綜合NSST 變換、CNN（convolutional neuraln et work）模型以及PCNN模型的互補(bǔ)特性，提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)的紅外與可見光圖像融合算法（NSST-CNN-APCNN（Adaptive Pulse Coupled Neural Network,APCNN）算法）。該算法從變換域角度解決了低頻子帶不具有融合模式自適應(yīng)調(diào)整的能力，同時(shí)又避免了經(jīng)典簡(jiǎn)易PCNN模型手動(dòng)設(shè)置自由參數(shù)的困難，增強(qiáng)了算法的表現(xiàn)力，優(yōu)化了融合處理過程，具有較高的適用性。

1 NSST變換與PCNN模型

1.1 非下采樣剪切波變換

圖1 NSST 變換過程Fig.1 NSST trans formation process

NSST變換主要包括兩個(gè)處理過程，即多尺度分解和方向局部化。多尺度分解過程是使用金字塔濾波器（non-subsam pledpyra midfilter,NSPF）將源圖像分解成k＋1個(gè)子帶（1個(gè)低頻分量和k個(gè)高頻分量）。方向局部化過程使用剪切波濾波器將高頻分量進(jìn)行j級(jí)方向變換，可以得到2j個(gè)高頻分量，很大程度上克服了偽吉布斯效應(yīng)[7]?！皊tore”圖像2級(jí)NSST 變換過程如圖1所示，分解的部分子帶如圖2所示（其中，(a)為低頻子帶，(b)和(c)為高頻子帶）。

圖2 NSST 分解子帶Fig.2 NSST deco mpositionsubb and

1.2 參數(shù)自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)

為了解決經(jīng)典PCNN模型需要人為設(shè)置自由參數(shù)的問題[8-9]，本文選用了參考文獻(xiàn)[10]提出的參數(shù)自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱為APCNN模型）。APCNN模型的數(shù)學(xué)描述如式(1)：

在上述APCNN 模型中，F(xiàn)ij[n]、Lij[n]、Uij[n]以及Eij[n]分別為(i,j)坐標(biāo)神經(jīng)元迭代n次的反饋輸入、鏈接輸入、內(nèi)部活動(dòng)以及動(dòng)態(tài)閾值。VL和αL分別為鏈接輸入的幅度系數(shù)和時(shí)間常數(shù)。VE和αE分別為變閾值函數(shù)的幅度系數(shù)和時(shí)間常數(shù)。Sij、β以及Wijkl分別為輸入激勵(lì)、鏈接強(qiáng)度以及突觸連接系數(shù)。從APCNN 模型中可以看出，存在VL、VE、αL、αE以及β5 個(gè)自由參數(shù)。其中，VL和β僅為的權(quán)重。因此，設(shè)λ＝βVL表示加權(quán)鏈接強(qiáng)度，將APCNN模型用來(lái)處理圖像融合問題，可以自適應(yīng)地給出剩余4 個(gè)自由參數(shù)的數(shù)學(xué)描述：

式中：σ(S)為輸入圖像的標(biāo)準(zhǔn)偏差；S′和Smax分別表示歸一化閾值和輸入圖像的最大強(qiáng)度。

2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)可以利用高維空間關(guān)系來(lái)解決人為設(shè)定特征信息的問題，從而具有很強(qiáng)的特征學(xué)習(xí)和特征提取能力。CNN 模型主要由輸入層、卷積層、池化層、全連接層以及輸出層組成[11]，CNN 模型的基本結(jié)構(gòu)如圖3 所示。其中，卷積層是模型的核心部分，主要作用是提取數(shù)據(jù)特征。每個(gè)卷積核都可以提取上一層輸入數(shù)據(jù)的特征，且隨著卷積核數(shù)量的不同，提取的特征豐富度也不同。池化層位于卷積層之后，主要作用是為了優(yōu)化參數(shù)規(guī)模、降低空間容量以及減少過擬合的影響。全連接層位于模型的末端，類似于人工模型的全連接方式。另外，如果需要解決分類問題，可以依次連接分類層。

對(duì)于基于CNN 模型的圖像融合算法來(lái)說，圖像融合的處理轉(zhuǎn)變成了CNN 模型的設(shè)計(jì)，融合模式可以通過訓(xùn)練CNN 模型自動(dòng)生成。同時(shí)，學(xué)習(xí)的特征數(shù)據(jù)可以被視為“最優(yōu)”方案。因此，基于CNN 模型的融合算法可以有效地解決需要人為設(shè)定自由參數(shù)的難題。為了保證兩幅源圖像特征提取和信息量估計(jì)的處理方式是一致的，本文選用了參考文獻(xiàn)[12]設(shè)計(jì)的孿生雙通道神經(jīng)網(wǎng)絡(luò)（siamese convolution neural network, SCNN）。SCNN 模型可以通過雙通道的CNN特征學(xué)習(xí)將雙通道輸入圖像的匹配度進(jìn)行估計(jì)，并由分類器輸出圖像匹配的結(jié)果，具有較高的收斂性。

3 基于NSST-CNN-APCNN 的紅外與可見光圖像融合算法

NSST-CNN-APCNN 算法首先將紅外與可見光圖像進(jìn)行4 級(jí)NSST 分解得到具有結(jié)構(gòu)特征的低頻子帶和保留細(xì)節(jié)特征的高頻子帶。然后，將NSST 域低頻子帶輸送到孿生雙通道CNN 模型，經(jīng)過CNN 模型的特征學(xué)習(xí)和分類來(lái)評(píng)估出決策圖，再根據(jù)決策圖輸出概率值和局部相似性測(cè)量函數(shù)，判別出可以自適應(yīng)調(diào)整的融合模式來(lái)完成NSST 域低頻子帶的融合。其次，使用NSST 域高頻子帶的絕對(duì)值作為APCNN 模型的激勵(lì)輸入，同時(shí)分別使用方差、區(qū)域能量以及可見度特征信息來(lái)調(diào)節(jié)式(2)中σ(S)的值。因此，可以根據(jù)輸入特征自適應(yīng)地調(diào)整APCNN 模型的自由參數(shù)，從而輸出點(diǎn)火映射圖來(lái)完成NSST 域高頻子帶的融合。最后，通過使用NSST 逆變換將紅外與可見光融合圖像進(jìn)行重構(gòu)?；贜SST-CNN-APCNN 的紅外與可見光圖像融合算法框架如圖4 所示。

圖3 CNN 模型基本結(jié)構(gòu)Fig.3 Basic structure of the CNN model

3.1 基于SCNN 模型的低頻系數(shù)融合

NSST 域低頻子帶系數(shù)融合決策圖的生成可以被認(rèn)為是分類問題的處理。具體來(lái)說，可以通過測(cè)量圖像塊信息量的多少得到系數(shù)融合的決策圖。SCNN 模型的網(wǎng)絡(luò)結(jié)構(gòu)具有相同權(quán)重和相同體系的兩個(gè)輸入分支，因此SCNN 模型對(duì)于兩個(gè)輸入圖像塊的特征提取和信息估計(jì)方式是一致的，且容易被數(shù)據(jù)集訓(xùn)練，具有較好的收斂性。本文選用的SCNN 模型基本結(jié)構(gòu)如圖5 所示。

本文算法將NSST 域低頻子帶分別輸送到SCNN模型的兩個(gè)分支，通過3 個(gè)卷積層和一個(gè)最大池化層可以得到兩個(gè)衡量圖像塊信息量的特征映射。兩個(gè)特征映射通過神經(jīng)元數(shù)目分別為256 和2 的兩個(gè)全連接層實(shí)現(xiàn)決策分配可以得到最終的概率值決策圖。其中，神經(jīng)元數(shù)目為2 的全連接層是分類層，神經(jīng)元數(shù)目2 為分類類別，通過分類器Softmax 可以輸出分類的概率值。這樣，SCNN 模型輸出的決策圖決定了對(duì)應(yīng)位置處源圖像塊細(xì)節(jié)信息的多少。為了使人類視覺神經(jīng)系統(tǒng)獲得更好的感知效果，本文算法首先將NSST域低頻子帶進(jìn)行了拉普拉斯分解，然后將SCNN模型輸出的決策圖進(jìn)行了高斯濾波分解，最后在每個(gè)分解層級(jí)上完成NSST 域低頻子帶系數(shù)的融合。NSST域低頻子帶系數(shù)融合的基本框架如圖6 所示，具體的融合流程如下所示。

圖4 基于NSST-CNN-APCNN 的圖像融合框架Fig.4 Image fusion framework based on NSST-CNN-APCNN

圖5 SCNN 模型基本結(jié)構(gòu)Fig.5 Basic structure of SCNN model

圖6 低頻子帶系數(shù)融合基本框架Fig.6 Basic framework for the fusion of low-frequency subband coefficients

步驟1：將大小為256×256 的紅外低頻子圖AL和可見光低頻子圖BL分成大小為16×16 的圖像塊集，成對(duì)地輸送到預(yù)先訓(xùn)練的SCNN 模型。

步驟2：將SCNN 模型兩個(gè)分支輸出的256 個(gè)特征映射級(jí)聯(lián)，再與256 維特征向量完全連接可以得到特征映射圖。

步驟3：將步驟2 得到的特征映射圖重疊區(qū)域塊“求平均”，從而得到與源圖像具有相同尺寸的特征映射圖。

步驟4：將步驟3 得到的特征映射圖中概率值大于0.5 的視為細(xì)節(jié)信息特征，置為1；小于0.5 的，視為非細(xì)節(jié)特征信息，置為0。

步驟5：將步驟4 得到的特征映射圖輸入到Softmax 分類器，并重新按照順序拼接可以得到二值圖。

步驟6：將步驟5 得到的二值圖進(jìn)行濾波處理，得到NSST 域低頻子圖系數(shù)融合最終的決策圖W。

步驟7：將成對(duì)輸入的圖像塊AL′和BL′進(jìn)行拉普拉斯分解，分別得到L(AL′)l子帶和L(BL′)l。其中，l為拉普拉斯分解層級(jí)。

步驟8：將步驟6 得到的決策圖W進(jìn)行高斯濾波處理，得到W分解子帶G(W)l。其中，步驟7 和步驟8 的分解級(jí)數(shù)設(shè)置為w和h分別為源圖像塊的空間大小，為向下取整。

步驟9：根據(jù)式(6)分別完成L(AL′)l子帶和L(BL′)l子帶的局部區(qū)域能量E(AL′)l(x,y)和E(BL′)l(x,y)的計(jì)算：

步驟10：設(shè)計(jì)了基于局部相似性的測(cè)量函數(shù)Sl(x,y)。其中，Sl(x,y)的函數(shù)值范圍為[－1,1]，設(shè)置閾值D來(lái)自適應(yīng)地調(diào)整融合模式。Sl(x,y)測(cè)量函數(shù)如式(7)表示：

步驟11：當(dāng)相似性較大時(shí)，SCNN 模型提取的特征信息是可靠的，此時(shí)可以根據(jù)SCNN 模型輸出的決策圖進(jìn)行低頻系數(shù)融合：

步驟12：相似性較低時(shí)，決策圖W是不可靠的，此時(shí)應(yīng)該選擇局部區(qū)域能量較大者，式(9)為具體的融合模式：

步驟13：將融合的低頻子帶L(FL′)l(x,y)進(jìn)行拉普拉斯逆變換，可以得到融合的NSST 域低頻子圖。

3.2 基于APCNN 模型的高頻系數(shù)融合

經(jīng)典的高頻子帶融合模式不能夠充分利用高頻細(xì)節(jié)特征，不僅容易導(dǎo)致圖像的結(jié)構(gòu)和空間信息大量丟失，而且容易引入噪聲和忽略細(xì)節(jié)。

因此，本文算法克服了需要人為設(shè)置PCNN 模型自由參數(shù)的難題[13]，根據(jù)紅外和可見光圖像類型的特征分別選用了子帶的標(biāo)準(zhǔn)偏差、局部區(qū)域能量和以及局部區(qū)域可見度信息自適應(yīng)地設(shè)置網(wǎng)絡(luò)參數(shù)來(lái)估計(jì)NSST 域高頻子帶系數(shù)的細(xì)節(jié)強(qiáng)度，可以有效地保留高頻子帶的顯著特征信息，符合人類的視覺神經(jīng)感知。

對(duì)于基于PCNN 模型的融合模式，通常選用單個(gè)像素的灰度值來(lái)激勵(lì)PCNN 模型。但是，人類的視覺系統(tǒng)對(duì)單個(gè)像素是不敏感的，因此本文算法選用整個(gè)高頻子圖的絕對(duì)值來(lái)激勵(lì)A(yù)PCNN 模型，即：

鏈接強(qiáng)度β可以改變鏈接通道權(quán)重來(lái)決定鄰域神經(jīng)元的內(nèi)部活動(dòng)狀態(tài)，通常是通過實(shí)驗(yàn)來(lái)確定β值。但是根據(jù)人眼視覺系統(tǒng)原理，神經(jīng)元的β值是隨著周圍特性的變化而變化的，因此β值需要隨著高頻子圖的特征來(lái)自適應(yīng)地調(diào)節(jié)。根據(jù)1.2 節(jié)APCNN 的設(shè)計(jì)，設(shè)λ＝βVL，則αL、λ、VE以及αe可以分別由式(2)、式(3)、式(4)以及式(5)表示。

式(2)的σ(S)為輸入圖像的標(biāo)準(zhǔn)偏差。但是，對(duì)于紅外與可見光圖像類型，局部區(qū)域能量和與局部區(qū)域可見光越大，表示視覺顯著性區(qū)域包含了較多的邊緣、輪廓以及紋理特征。因此，設(shè)σ(S)分別為局部區(qū)域能量和EOL、局部區(qū)域可見度VI 以及標(biāo)準(zhǔn)偏差SD來(lái)自適應(yīng)地調(diào)節(jié)APCNN 模型的自由參數(shù)，捕捉NSST域高頻子圖更多的特征信息，即：

式中：f(u,v)表示(u,v)處的像素值；w表示尺寸為l×l的窗口；mk表示像素平均值；N表示窗口像素?cái)?shù)；α表示常數(shù)。

NSST 域高頻子帶系數(shù)融合的具體流程如下所示：

步驟1：分別計(jì)算出NSST 域紅外高頻子圖AH和可見光高頻子圖BH的絕對(duì)值A(chǔ)Ha和BHa。

步驟2：將絕對(duì)值A(chǔ)Ha和BHa分別歸一化處理，賦值給Fij激勵(lì)A(yù)PCNN 模型。

步驟3：將APCNN 模型進(jìn)行參數(shù)初始化，即：

步驟4：設(shè)定EOL、VI 以及SD 特征分別為σ(S)。

根據(jù)公式(2)～(5)分別計(jì)算出APCNN 模型自適應(yīng)參數(shù)。

步驟5：根據(jù)APCNN 模型的運(yùn)行機(jī)制，實(shí)現(xiàn)Nmax次迭代，EOL、VI 以及SD 特征調(diào)參的點(diǎn)火次數(shù)分別為：TAE[Nmax]、TAV[Nmax]、TAS[Nmax]、TBE[Nmax]、TBV[Nmax]以及TBS[Nmax]。

步驟6：根據(jù)顯著性特征調(diào)參的點(diǎn)火輸出，構(gòu)造加權(quán)函數(shù)：

步驟7：根據(jù)步驟6 設(shè)計(jì)的加權(quán)函數(shù)，構(gòu)造紅外高頻子圖AH和可見光高頻子圖BH的點(diǎn)火映射圖：

步驟8：根據(jù)新點(diǎn)火圖，得到融合的高頻系數(shù)：

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)說明

為了驗(yàn)證NSST-CNN-APCNN 算法的實(shí)用性，選用了大小為256×256 預(yù)配準(zhǔn)的“森林”（場(chǎng)景復(fù)雜，而目標(biāo)單一）、“船”（場(chǎng)景單一，而目標(biāo)復(fù)雜）以及“商店”（場(chǎng)景復(fù)雜，且目標(biāo)復(fù)雜）3 組紅外與可見光圖像進(jìn)行融合實(shí)驗(yàn)，并將NSST-CNN-APCNN 算法與較為先進(jìn)的5 種融合算法進(jìn)行性能比較，對(duì)比算法分別為：文獻(xiàn)[14]（簡(jiǎn)稱NSCT-PCNN 算法）、文獻(xiàn)[15]（簡(jiǎn)稱SR 算法）、文獻(xiàn)[16]（簡(jiǎn)稱NSST 算法）、文獻(xiàn)[17]（簡(jiǎn)稱NSST-PAPCNN 算法）以及文獻(xiàn)[18]（簡(jiǎn)稱CNN 算法）。其中，仿真環(huán)境為2016b MATLAB，各組源圖像均進(jìn)行“歸一化”處理，對(duì)于NSST 變換部分，均選用“maxflat”濾波器，分解級(jí)數(shù)為4，方向子帶為[8,8,16,16]（其他參數(shù)根據(jù)文獻(xiàn)設(shè)定）。

4.2 融合評(píng)價(jià)

圖像融合質(zhì)量評(píng)價(jià)方法主要有兩個(gè)方面，即主觀視覺評(píng)價(jià)和客觀指標(biāo)評(píng)價(jià)。為了可以更加客觀地評(píng)價(jià)NSST-CNN-APCNN 算法的性能，選用了空間頻率（SF）、清晰度（SP）、邊緣信息傳遞因子（QAB/F）、結(jié)構(gòu)相似模型（SSIM）以及視覺信息保真度[19]（VIFF）5 個(gè)評(píng)價(jià)指標(biāo)評(píng)估融合圖像的融合質(zhì)量（指標(biāo)值越大，融合質(zhì)量越高，融合效果越好）。

第一組“森林”圖像實(shí)驗(yàn)素材如圖7(a)～(b)所示，圖7(a)是可見光灰度圖像，圖7(b)是與之對(duì)應(yīng)的紅外圖像。而圖7(c)～(h)是不同算法對(duì)圖7(a)～(b)進(jìn)行圖像融合得到的融合結(jié)果灰度圖像。

從圖7(c)～(h)融合結(jié)果可以看出，上述融合算法均可以有效地將源圖像的互補(bǔ)信息進(jìn)行融合，既顯示了目標(biāo)，又刻畫了場(chǎng)景。但是，不同的融合算法捕捉特征信息的能力也是各不相同的。NSCT-PCNN 算法的實(shí)驗(yàn)結(jié)果中，護(hù)欄紋理清晰，但樹木出現(xiàn)“重影”現(xiàn)象。SR 算法的實(shí)驗(yàn)結(jié)果中，目標(biāo)和場(chǎng)景層次感增強(qiáng)，但對(duì)比度嚴(yán)重減弱。NSST 算法和NSST-PAPCNN算法的實(shí)驗(yàn)結(jié)果中，目標(biāo)人物清晰，但紋理信息丟失嚴(yán)重。CNN 算法的實(shí)驗(yàn)結(jié)果中，灰度層次感較強(qiáng)，但屋檐左側(cè)的樹木存在空間“不連續(xù)”現(xiàn)象。NSST -CNN-APCNN 算法的實(shí)驗(yàn)結(jié)果中，目標(biāo)和場(chǎng)景對(duì)比度增強(qiáng)，紋理結(jié)構(gòu)特征明顯，保留了源圖像較多的細(xì)節(jié)信息。

第一組“森林”圖像的客觀質(zhì)量評(píng)價(jià)指標(biāo)如表1所示，評(píng)價(jià)指標(biāo)值歸一化走勢(shì)如圖8 所示。

從表1 的客觀質(zhì)量評(píng)價(jià)指標(biāo)可以看出，NSST -CNN-APCNN 算法的QAB/F指標(biāo)略低于CNN 算法，但SF、SP、VIFF 以及SSIM 指標(biāo)均明顯優(yōu)于5 種對(duì)比算法。從圖8 的歸一化走勢(shì)可以看出，雖然NSST -CNN-APCNN 算法的QAB/F指標(biāo)略低，但是VIFF 指標(biāo)相比于SR 算法提高了約28.62%，具有較好的視覺保真度。綜上可知，NSST-CNN-APCNN 算法捕捉邊緣信息的能力略弱于CNN 算法，但在活躍度、清晰度、保真度以及結(jié)構(gòu)信息方面的保留能力優(yōu)于5種對(duì)比算法，具有較優(yōu)的融合性能。

第二組“船”圖像實(shí)驗(yàn)素材如圖9(a)～(b)所示，

圖7 “森林”圖像不同算法的融合結(jié)果Fig.7 Fusion resultsof different algorithms for "forest"images

表1 “森林”客觀質(zhì)量評(píng)價(jià)指標(biāo)Table 1 “forest”objective qualityevaluation indicators

圖8 “森林”指標(biāo)值歸一化走勢(shì)圖Fig.8 “forest”indicator valuenormalization chart

從表2的客觀質(zhì)量評(píng)價(jià)指標(biāo)可以看出，NSST 圖9(a)是可見光灰度圖像，圖9(b)是與之對(duì)應(yīng)的紅外圖像。而圖9(c)～(h)是不同算法對(duì)圖9(a)～(b)進(jìn)行圖像融合得到的融合結(jié)果灰度圖像。-CNN-APCNN算法的SSIM指標(biāo)略弱于SR 算法，說明其空間結(jié)構(gòu)特征信息的捕捉能力弱于SR 算法。但是，NSST-CNN-APCNN算法的其他客觀質(zhì)量評(píng)價(jià)指標(biāo)均明顯優(yōu)于5種對(duì)比算法，可以提高觀察者對(duì)目標(biāo)和場(chǎng)景的感知能力，有助于目標(biāo)跟蹤和檢測(cè)識(shí)別的實(shí)際應(yīng)用。從圖10的歸一化走勢(shì)可以看出，NSST-CNN-APCNN算法、CNN算法以及NSST-PAPCNN算法的走勢(shì)略為一致，NSST 算法、SR 算法以及NSCT-PCNN算法的走勢(shì)略為一致，且前三者的VIFF指標(biāo)明顯高于后三者，刻畫了源圖像更深層面的保真度和結(jié)構(gòu)特征信息。另外，NSST-CNN-APCNN 算法除了SSIM指標(biāo)，其他客觀質(zhì)量評(píng)價(jià)指標(biāo)均為“最優(yōu)值”，且VIFF指標(biāo)相比于NSCT-PCNN算法提高了約71.44%，融合效果高度符合人眼視覺效果。

第3組“商店”圖像實(shí)驗(yàn)素材如圖11(a)～(b)所示，圖11(a)是可見光灰度圖像，圖11(b)是與之對(duì)應(yīng)的紅外圖像。而圖11(c)～(h)是不同算法對(duì)圖11(a)～(b)進(jìn)行圖像融合得到的融合結(jié)果灰度圖像。

圖9 “船”圖像不同算法的融合結(jié)果Fig.9 Fusion results of different algorithms for “boat”images

表2 “船”客觀質(zhì)量評(píng)價(jià)指標(biāo)Table 2 “forest”objective quality evaluation indicators

圖10 “船”指標(biāo)值歸一化走勢(shì)圖Fig.10 “boat”indicator valuenormalization chart

從圖11(c)～(h)融合結(jié)果可以看出，NSCT-PCNN算法的實(shí)驗(yàn)結(jié)果中，物體邊緣輪廓模糊，丟失了部分亮度信息，分辨率較差。SR 算法的實(shí)驗(yàn)結(jié)果中，目標(biāo)和場(chǎng)景紋理清晰，但亮度信息丟失明顯。NSST算法的實(shí)驗(yàn)結(jié)果中，物體邊緣過度平滑，且出現(xiàn)了重影干擾。CNN 算法的實(shí)驗(yàn)結(jié)果中，幾乎丟失了全部的可見光信息，不適合用于目標(biāo)復(fù)雜且場(chǎng)景復(fù)雜類型的圖像融合。NSST-PAPCNN算法和NSST-CNN-APCNN算法的實(shí)驗(yàn)結(jié)果中，物體連續(xù)性較好，細(xì)節(jié)刻畫深刻，且灰度、亮度以及銳利度比較貼近源圖像。但是，NSST-PAPCNN算法的目標(biāo)均存在“虛影”和“重影”的現(xiàn)象，使得人眼甄別困難。因此，NSST-CNN-APCNN算法的融合結(jié)果可以更好地分配可見光和紅外信息，有效地消除了“偽影”，保留了較好的細(xì)節(jié)信息。

第3組“商店”圖像的客觀質(zhì)量評(píng)價(jià)指標(biāo)如表3所示，評(píng)價(jià)指標(biāo)值歸一化走勢(shì)如圖12所示。

圖11 “商店”圖像不同算法的融合結(jié)果Fig.11 Fusion results of different algorith msfor "store "images

表3 “商店”客觀質(zhì)量評(píng)價(jià)指標(biāo)Table 3 “Store” objective q ualityevaluation indicators

圖12 “商店”指標(biāo)值歸一化走勢(shì)Fig.12 “Store”indicator value normalization chart

從表3的客觀質(zhì)量評(píng)價(jià)指標(biāo)可以看出，NSST -CNN-APCNN 算法的QAB/F指標(biāo)和SSIM指標(biāo)略弱于NSST 算法和CNN算法，說明NSST-CNN-APCNN算法遺失了少數(shù)的邊緣細(xì)節(jié)信息和深度結(jié)構(gòu)特征。但是，NSST-CNN-APCNN算法的SF、SP 以及VIFF指標(biāo)依舊明顯優(yōu)于5種對(duì)比算法，能夠較好地改善圖像的分辨率、增強(qiáng)圖像的清晰度以及提高圖像的保真度。從圖12的歸一化走勢(shì)可以看出，NSST-CNN-APCNN 算法和NSST 算法的各項(xiàng)客觀評(píng)價(jià)指標(biāo)均明顯優(yōu)于其他4種對(duì)比算法。另外，NSST-CNN-APCNN 算法在QAB/F指標(biāo)和SSIM 指標(biāo)略弱于NSST算法，但從圖11(e)中可以看出，NSST算法的融合效果存在“振鈴效應(yīng)”，從主觀視覺評(píng)價(jià)和客觀指標(biāo)評(píng)價(jià)綜合分析來(lái)看，NSST-CNN-APCNN算法捕捉了更多的清晰度、相似性以及邊緣紋理等細(xì)節(jié)信息，具有較好的可識(shí)別度。

5 結(jié)束語(yǔ)

NSST-CNN-APCNN算法將NSST變換、卷積神經(jīng)網(wǎng)絡(luò)以及參數(shù)自適應(yīng)的PCNN 神經(jīng)元模型相互結(jié)合，解決了NSST 分解低頻子帶融合模式給定的問題，同時(shí)又避免了手動(dòng)設(shè)置脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）參數(shù)的困難。為了提取到源圖像更加豐富的信息，NSST-CNN-APCNN 算法對(duì)于NSST 分解的低頻和高頻系數(shù)分別進(jìn)行了更加細(xì)致的處理，其將低頻子帶進(jìn)行了拉普拉斯分解，將SCNN 模型輸出的決策圖進(jìn)行了高斯濾波分解，最終在每個(gè)分解層級(jí)上完成了低頻系數(shù)的融合。對(duì)于高頻子帶的融合，其分別使用了方差、局部區(qū)域能量以及可見度特征來(lái)激勵(lì)參數(shù)自適應(yīng)PCNN 神經(jīng)元模型。綜合分析實(shí)驗(yàn)結(jié)果可知，在主觀和客觀評(píng)價(jià)方面，NSST-CNN-APCNN 算法均取得了較好的融合結(jié)果，較好地低刻畫了源圖像的結(jié)構(gòu)、紋理以及相似性等特征，有效地抑制了“偽影”和“失真”狀況的出現(xiàn)，并且在“森林”圖像實(shí)驗(yàn)中，融合圖像的SF 指標(biāo)、SP 指標(biāo)、VIFF 指標(biāo)以及SSIM 指標(biāo)相比于對(duì)比算法中最高的分別提高了約0.64%、3.67%、0.33%以及0.91%。在“船”圖像實(shí)驗(yàn)中，融合圖像的SF 指標(biāo)、SP 指標(biāo)、QAB/F指標(biāo)、VIFF 指標(biāo)以及SSIM 指標(biāo)相比于對(duì)比算法中最高的分別提高了約15.26%、1.69%、1.54%、0.18%以及1.56%。在“商店”圖像實(shí)驗(yàn)中，融合圖像的SF 指標(biāo)和SP 指標(biāo)相比于對(duì)比算法中最高的分別提高了約3.51%和3.57%。且VIFF 指標(biāo)和最高的指標(biāo)一樣。綜上可以看出，NSST-CNN-APCNN 算法可以在保證其他指標(biāo)減少較少的情況下提高圖像的SF 指標(biāo)、SP 指標(biāo)以及VIFF指標(biāo)，具有刻畫源圖像更深層面幾何結(jié)構(gòu)的能力。