基于交替梯度濾波器和改進(jìn)PCNN 的紅外與可見光圖像融合

楊艷春，裴佩佩，黨建武，王陽萍

（蘭州交通大學(xué)電子與信息工程學(xué)院，甘肅 蘭州 730070）

1 引言

隨著傳感器技術(shù)的快速發(fā)展，紅外與可見光圖像融合逐漸成為學(xué)者們的研究重點(diǎn)。紅外傳感器捕捉物體的溫度特性，可以不受天氣或光線條件的影響連續(xù)工作，獲取的紅外圖像具有較高的對(duì)比度和突出的目標(biāo)，但是其空間分辨率較低，容易受到噪聲和紋理的影響?？梢姽鈧鞲衅鞲鶕?jù)物體的反射特性進(jìn)行成像，獲得的圖像分辨率較高，能夠較好地體現(xiàn)紋理和細(xì)節(jié)信息，然而，圖像的質(zhì)量容易受到光照條件、天氣及遮擋等環(huán)境因素的制約。因此，結(jié)合紅外圖像的目標(biāo)識(shí)別能力以及可見光圖像豐富的場景信息，實(shí)現(xiàn)紅外與可見光圖像的有效融合，可以獲得目標(biāo)更加顯著，場景更加豐富的融合圖像，目前已廣泛應(yīng)用于目標(biāo)檢測、遙感、醫(yī)學(xué)及軍事等領(lǐng)域［1-4］。

紅外與可見光圖像融合方法通?？梢苑譃閮深?，即傳統(tǒng)方法和深度學(xué)習(xí)方法［5-9］。多尺度變換方法是傳統(tǒng)方法中常用的方法，隨著保邊濾波技術(shù)的不斷發(fā)展，保邊濾波具有空間一致性，能夠有效減少圖像邊緣偽影，并成功地應(yīng)用在紅外與可見光圖像融合中。Li 等結(jié)合引導(dǎo)濾波器在平滑的同時(shí)起到保邊作用的特性進(jìn)行圖像融合，克服了傳統(tǒng)多尺度融合方法對(duì)融合尺度要求的限制［10］。為了在分解過程中有效提高細(xì)節(jié)和邊緣捕獲能力，Liu 等采用冗余提升不可分離小波在NSST 域?qū)崿F(xiàn)多尺度分解，同時(shí)采用引導(dǎo)濾波器生成高效顯著圖和加權(quán)圖，不僅提高了計(jì)算速度，而且具有良好的性能［11］。多數(shù)保邊濾波器皆在考慮圖像的邊緣以及細(xì)節(jié)信息，沒有考慮尺度感知問題，Zhang 等提出滾動(dòng)引導(dǎo)濾波器（Rolling Guide Filter，RGF），該濾波器具有尺度感知和邊緣保持的特性，應(yīng)用在圖像融合中有效提高了融合效果［12］。Ren 等引入加權(quán)方差導(dǎo)引濾波器（MVGF），通過兩尺度分解代替多尺度分解，有效地保持基層邊緣，消除圖像輪廓周圍的偽影，使圖像分解的效果更優(yōu)，消除了圖像邊界附近產(chǎn)生的偽影［13］。近年來，基于深度學(xué)習(xí)的圖像融合方法成為研究熱點(diǎn)，Liu 等利用孿生卷積網(wǎng)絡(luò)對(duì)兩幅源圖像的像素級(jí)活動(dòng)信息進(jìn)行融合，得到權(quán)重圖，該方法能夠從整體上解決圖像融合中的活動(dòng)水平測量和權(quán)重分配兩個(gè)關(guān)鍵問題［14］。為了更好地進(jìn)行特征提取，An 等提出了一種由編碼層、融合層、解碼層和輸出層組成的基于監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)圖像融合方法［15］。目前，學(xué)者們利用多尺度變換方法以及濾波器方法在紅外與可見光圖像融合上取得了較好的融合效果。然而，基于多尺度變換方法通常將圖像中的信息分為結(jié)構(gòu)信息和細(xì)節(jié)信息，融合算法通常集中于保留不同尺度的細(xì)節(jié)信息，而不是目標(biāo)的亮度信息，所以最終的融合圖像呈現(xiàn)低對(duì)比度，目標(biāo)不夠顯著和邊緣模糊的問題，亮度的擴(kuò)散會(huì)導(dǎo)致邊緣模糊從而產(chǎn)生虛影。因此，Ma 等［16］從亮度和梯度分離的角度提出一種基于模糊梯度閾值函數(shù)和全局優(yōu)化的梯度濾波器，它可以消除小梯度紋理和噪聲，同時(shí)保持圖像整體亮度和邊緣梯度。將源圖像分解為近似層和殘差層，近似層反映了源圖像的整體亮度分布，消除了邊緣模糊和噪聲，可節(jié)省圖像的對(duì)比度和空間結(jié)構(gòu)信息；殘差層則反映了源圖像的小梯度變化，能夠保留源圖像的細(xì)節(jié)紋理信息。

梯度濾波器（Gradient Filter，GF）作為一種新穎的分解工具，在圖像融合中具有一定的優(yōu)勢。為進(jìn)一步提高它的性能，本文根據(jù)全局優(yōu)化梯度濾波器的框架，通過有效結(jié)合RGF 和平滑迭代濾波器（Smooth Iterative Recovery Filter，SIRmed），提出一種交替梯度濾波器（Alternating Gradient Filter，AGF）來分解圖像，在有效保留圖像整體亮度和防止邊緣模糊的同時(shí)，有效地去除了小尺度梯度的紋理和噪聲。同時(shí)，提出了一種基于交替梯度濾波和改進(jìn)脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network，PCNN）的紅外與可見光圖像融合方法。首先，利用AGF 對(duì)源圖像進(jìn)行分解；然后，近似層主要利用多尺度形態(tài)梯度（Multi-scale Morphological Gradient，MSMG）算子和最大區(qū)域能量進(jìn)行融合；殘差層采用改進(jìn)的PCNN 進(jìn)行融合，能夠更好地保留圖像細(xì)節(jié)紋理信息；最后，通過AGF 重構(gòu)得到融合圖像。該方法能夠避免在目標(biāo)物體的邊緣處產(chǎn)生虛影，較好地保留源圖像的亮度、邊緣、細(xì)節(jié)及紋理等信息。

2 交替梯度濾波器

2.1 梯度濾波器

針對(duì)基于局部加權(quán)平均的傳統(tǒng)濾波器分解圖像不可避免地會(huì)由于亮度的擴(kuò)散而導(dǎo)致邊緣模糊的不足，本文從亮度和梯度分離的角度出發(fā)，設(shè)計(jì)了一種基于模糊梯度閾值函數(shù)和全局優(yōu)化方法的保邊梯度濾波器，在消除小梯度紋理和噪聲的同時(shí)可保持圖像的整體亮度和邊緣梯度［16］。

令GF 為GletF（I，?，α，λ，n），其中I是輸入的源圖像，?是迭代次數(shù)，α是梯度閾值，λ是最大懲罰系數(shù)，n是閾值函數(shù)斜率。采用參數(shù)設(shè)定好的梯度濾波器對(duì)源圖像的亮度分布和小梯度變化進(jìn)行分解。源圖像經(jīng)過梯度濾波器過濾得到近似層：

用源圖像減去近似層可以得到殘差層，即：

其中m表示第m幅圖像。近似層保持了源圖像的亮度和能量分布，包含了源圖像的對(duì)比度和結(jié)構(gòu)信息，沒有噪聲和邊緣模糊，體現(xiàn)了源圖像的整體外觀。與近似層相比，殘差層幾乎沒有亮度和能量分布，主要反映了小的梯度變化，包括源圖像的細(xì)節(jié)紋理信息。

2.2 交替梯度濾波器

AGF 結(jié)合了GF，RGF 和SIRmed3 種濾波器的優(yōu)勢。GF 是具有全局優(yōu)化特性的保邊濾波器，可以在分解圖像過程中克服因亮度擴(kuò)散而導(dǎo)致的邊緣模糊問題。RGF 具有大尺度邊緣和局部強(qiáng)度保持特性。SIRmed 使圖像邊緣能夠較好地表示曲率特性［17］。3 種濾波器的結(jié)合可有效保留圖像的整體亮度和邊緣，同時(shí)去除小尺度的噪聲信息。

AGF 結(jié)合GF 全局優(yōu)化的特性、RGF 大尺度邊緣局部強(qiáng)度保持特性和SIRmed 的邊緣恢復(fù)特性，消除了RGF 的邊緣曲率平滑和SIRmed 的局部強(qiáng)度降低以及大尺度邊緣附近小尺度細(xì)節(jié)的引入。該算法實(shí)現(xiàn)簡單、效率高，能夠自動(dòng)保持大尺度結(jié)構(gòu)和局部強(qiáng)度，并能產(chǎn)生高質(zhì)量的融合結(jié)果。AGF 的流程如圖1 所示，包括以下4 個(gè)步驟：

圖1 交替梯度濾波流程Fig.1 Flow chart of AGF

步驟1，用一個(gè)聯(lián)合雙邊濾波器去除輸入圖像的小結(jié)構(gòu)［18］。第t次迭代濾波的結(jié)果Ot+1是通過使用前一次迭代步驟對(duì)輸入圖像應(yīng)用聯(lián)合濾波器得到的，其公式如下：

其中：I為輸入圖 像，O為輸出 圖像，i和j表示圖像中像素坐標(biāo)的索引，K代表一個(gè)標(biāo)準(zhǔn)化因子，f和g分別表示空間濾波核范圍和強(qiáng)度濾波核，Ω表示內(nèi)核的空間支持。

步驟2，對(duì)步驟1 得到的結(jié)果應(yīng)用聯(lián)合雙邊濾波器，使用源圖像作為引導(dǎo)圖像，詳細(xì)過程描述如下：

步驟3，對(duì)第二步的結(jié)果進(jìn)行中值濾波。濾波結(jié)果保證了圖像灰度和大尺度邊緣曲率的保持。中值濾波器的使用可以防止在大尺度邊緣附近重新引入過濾后的小尺度細(xì)節(jié)。

步驟4，對(duì)第三步中值濾波后的結(jié)果利用GF進(jìn)行濾波。GF 具有全局優(yōu)化的特性，可避免圖像因亮度的擴(kuò)散而導(dǎo)致邊緣模糊，保證了圖像邊緣信息，詳細(xì)過程如下：

AGF 模型中的每次迭代包含4 個(gè)連續(xù)的步驟：（1）RGF 操作過程，對(duì)輸入圖像I進(jìn)行聯(lián)合雙邊濾波，利用上一次迭代的結(jié)果Ot作為引導(dǎo)圖像；（2）SIRmed 操作過程，對(duì)第一步得到的結(jié)果再次進(jìn)行聯(lián)合雙邊濾波，以原始圖像I作為引導(dǎo)圖像；（3）對(duì)第二步的結(jié)果應(yīng)用一個(gè)小核（如3×3）的中值濾波器；（4）對(duì)第三步的濾波結(jié)果使用GF。交替使用原始圖像和濾波結(jié)果作為輸入或引導(dǎo)圖像，保證了整體圖像強(qiáng)度，保留了大尺度邊緣曲率。因此，AGF 結(jié)合RGF 亮度保持，SIRmed 邊緣曲率保持和GF 邊緣信息保持的特點(diǎn)，同時(shí)消除RGF 邊緣曲率平滑和SIRmed 對(duì)比度降低及在較大邊緣附近重新引入小細(xì)節(jié)的影響。

利用AGF 對(duì)源圖像進(jìn)行分解類似于GF，通過AGF 過濾得到近似層：

源圖像減去近似層，得到殘差層：

為了進(jìn)一步分析AGF 分解源圖像的優(yōu)勢，對(duì)比GF 和AGF 分解源圖像產(chǎn)生的近似層和殘差層的顯著區(qū)域的三維圖的差異，如圖2 所示。由圖2 可知，GF 分解得到的近似層含有較多的亮度信息，同時(shí)含有較多的細(xì)節(jié)信息，而AGF 分解的近似層同樣有較多的亮度信息，包含對(duì)比度信息。殘差層反映源圖像的小梯度變化，包括紋理信息和噪聲，GF 的殘差層包含的細(xì)節(jié)紋理信息較少，而AGF 的殘差層含有較多的細(xì)節(jié)紋理信息。

圖2 源圖像近似層和殘差層的三維圖Fig.2 Three-dimensional shapess of approximate layer and residual layer of source image

3 多尺度形態(tài)梯度算子

梯度表示圖像銳度信息，MSMG 算子是一種有效的梯度算子，可以在不同尺度上提取圖像的梯度信息，用來表示圖像中像素鄰近區(qū)域的對(duì)比度強(qiáng)度［19］。因此，MSMG 是一種高效的方法，常用于邊緣檢測和圖像分割。多尺度結(jié)構(gòu)元定義為：

其中：SE1表示基本結(jié)構(gòu)元素，M表示尺度數(shù)。在數(shù)學(xué)形態(tài)學(xué)中，結(jié)構(gòu)元素是圖像特征提取的重要工具。不同類型的圖像特征可以由不同形狀的結(jié)構(gòu)元素提取。因此，需要將結(jié)構(gòu)元素?cái)U(kuò)展到多尺度，利用這些多尺度結(jié)構(gòu)元素可以提取圖像的綜合梯度特征。梯度特征Gt可以用圖像I的梯度算子表示，即：

其中：⊕和⊙分別表示形態(tài)膨脹算子和侵蝕算子，x，y均表示像素坐標(biāo)。從多尺度結(jié)構(gòu)元素和梯度特征出發(fā)，計(jì)算各尺度上的梯度加權(quán)和得到最小二乘梯度圖，公式如下：

其中wt代表第t個(gè)尺度中梯度的權(quán)重，它可以表示為：

圖3 為利用MSMG 的圖像處理結(jié)果，圖像邊緣信息得到了較好地提取，證明了邊界測量的有效性。用MSMG 處理紅外與可見光圖像可以分離出場景信息，突出目標(biāo)的邊緣信息。

圖3 MSMG 操作示例Fig.3 Example for MSMG operation

4 PCNN 模型

4.1 簡化PCNN 模型

PCNN 不需要任何的訓(xùn)練直接可以使用，是一種基于迭代的運(yùn)算。標(biāo)準(zhǔn)PCNN 模型是一種反饋型網(wǎng)絡(luò)，接收域、耦合調(diào)制域和脈沖發(fā)生器3部分是每個(gè)神經(jīng)元的組成部分［20-21］。它的神經(jīng)元和輸入圖像的像素點(diǎn)之間是一對(duì)一的關(guān)系。在PCNN 的基本模型中，由于參數(shù)過多，在實(shí)際應(yīng)用中難以控制。本文采用一種PCNN 的簡化模型，如圖4 所示，第（i，j）個(gè)簡化神經(jīng)元的數(shù)學(xué)表達(dá)公式如下：

圖4 簡化的PCNN 模型Fig.4 Simplified PCNN model

其中：Fij［n］和Lij［n］分別是迭代n中位置（i，j）處神經(jīng)元的饋送輸入和鏈接輸入，Iij表示位置（i，j）處的殘差層系數(shù)，VL表示鏈接輸入的振幅增益，Ykl表示周圍其他像素位置的輸出，Uij［n］表示神經(jīng)元的內(nèi)部狀態(tài)信號(hào)，由[n-1]和Fij［n］（1+βLij［n］）組成。PCNN 的輸出模塊被稱為脈沖發(fā)生器，它決定了該模型的觸發(fā)事件，其輸出Yij［n］有兩種狀態(tài)：已觸發(fā)（Yij［n］=1）和未觸發(fā)（Yij［n］=0）。PCNN 簡化模型的初始化條件為：Yij（0）=0，Uij（0）=0 和θij（0）=0。

4.2 改進(jìn)的PCNN 模型

PCNN 模型的參數(shù)設(shè)置在一定程度上決定了該模型性能的好壞。PCNN 模型中的參數(shù)分別是αf，β，VL，αe，Vθ。本文把參數(shù)β和VL作為一個(gè)整體，因?yàn)榭臻g頻率能夠很好地反映圖像的紋理信息，所以將β和VL作為鏈接輸入的權(quán)重時(shí)再乘以空間頻率（Spatial Frequency，SF），設(shè)λ=（βVL）fS為加權(quán)鏈接強(qiáng)度。因此，在改進(jìn)的自適應(yīng)PCNN 模型中實(shí)際上有4 個(gè)參數(shù)，即：

其中：δ(s)表示輸入圖像I的標(biāo)準(zhǔn)差和平均梯度的區(qū)間，s'表示歸一化的Otsu 閾值，Smax表示輸入圖像的最大強(qiáng)度。通過無參數(shù)和無監(jiān)督自動(dòng)進(jìn)行選擇Otsu 的閾值。

參數(shù)自適應(yīng)PCNN 模型在進(jìn)行圖像融合時(shí)一般根據(jù)經(jīng)驗(yàn)或者實(shí)驗(yàn)來確定迭代次數(shù)n，迭代次數(shù)n的設(shè)置會(huì)影響PCNN 模型的脈沖同步性。簡化PCNN 模型每次的點(diǎn)火輸出為1 或0，不能反映出點(diǎn)火的幅度差異。由于Tanh 函數(shù)值變化敏感度高，所以本文計(jì)算每次迭代過程中子帶系數(shù)的點(diǎn)火輸出幅度采用Tanh 函數(shù)，在進(jìn)行同步脈沖激發(fā)時(shí)，能夠更好地體現(xiàn)出點(diǎn)火幅度之間的特征效果的不同。

利用簡化PCNN 模型以及Tanh 函數(shù)的PCNN 模型做消融實(shí)驗(yàn)，融合結(jié)果如圖5 所示。其中，差圖是利用融合圖和紅外圖像相減得到的，融合圖像應(yīng)更多地保留紅外圖像的目標(biāo)信息，作差運(yùn)算后其目標(biāo)區(qū)域值為0，在圖像中顯示為黑；而直方圖反映了圖像的灰度分布規(guī)律，描述每個(gè)灰度級(jí)具有的像素個(gè)數(shù)。結(jié)合差圖和直方圖可知，利用Tanh 函數(shù)的PCNN 性能更好。因此，采用Tanh 函數(shù)來計(jì)算每次迭代過程中子帶系數(shù)的點(diǎn)火輸出幅度Oij［n］，如式（14）所示：

圖5 PCNN 性能分析結(jié)果Fig.5 PCNN performance analysis results

輸出Yij［n］可以改進(jìn)為：

其中，當(dāng)Yij［n］=1 時(shí)為一次點(diǎn)火。

5 本文方法

如圖6 所示，本文方法的具體步驟如下：

圖6 本文算法流程Fig.6 Flowchart of proposed algorithm

（1）將已經(jīng)配準(zhǔn)好的源圖像紅外圖像I可見光圖像V利用AGF 進(jìn)行分解，分別得到其近似層和殘差層｛AI，Av｝和｛RI，Rv｝；

（2）利用MSMG 處理近似層圖像，進(jìn)行邊緣檢測，然后分別計(jì)算出近似層AI和AV的最大區(qū)域能量FI（x，y）和FV（x，y），采用紅外圖像的最大區(qū)域能量FI（x，y）和可見光圖像的最大區(qū)域能量FV（x，y）與紅外圖像I和可見光圖像V相結(jié)合的融合規(guī)則進(jìn)行融合；

（3）將殘差層RI，Rv的絕對(duì)值作為脈沖耦合神經(jīng)網(wǎng)絡(luò)的輸入，采用改進(jìn)參數(shù)自適應(yīng)PCNN 融合規(guī)則進(jìn)行融合；

（4）通過AGF 重構(gòu)得到融合圖像。

5.1 近似層融合規(guī)則

源圖像經(jīng)過AGF 分解后，主要的輪廓信息集中在近似層圖像中，用來控制融合圖像的整體外觀和對(duì)比度。因此，如何選取近似層的融合規(guī)則非常關(guān)鍵。MSMG 算子是一種有效的梯度算子，它從圖像中提取梯度信息，可以表示圖像中像素鄰近區(qū)域的對(duì)比度強(qiáng)度，同時(shí)可以區(qū)分背景和目標(biāo)對(duì)象，用于殘差層融合規(guī)則時(shí)會(huì)在邊緣產(chǎn)生偽影，用于近似層時(shí)，在保證融合效果同時(shí)避免在目標(biāo)邊緣產(chǎn)生偽影。能量是圖像的顯著特征，反映了圖像信號(hào)的變化，可保留圖像的大部分信息，利用區(qū)域能量進(jìn)行融合能夠體現(xiàn)像素之間的相關(guān)性。本文提出MSMG 和最大區(qū)域能量與源圖像相結(jié)合的融合規(guī)則。首先，利用MSMG 對(duì)近似層的圖像進(jìn)行處理，得到紅外圖像以及可見光圖像近似層圖像的最小二乘梯度圖：

AS（x，y）由式（10）計(jì)算得到（S=I，V）。

局部區(qū)域能量表示每個(gè)像素自身和附近像素的和，利用局部區(qū)域能量（Local Area Energy，LAE）方法選擇區(qū)域能量中最大的一個(gè)像素，計(jì)算經(jīng)MSMG 處理后的近似層AS（S=I，V）的局部能量值ELS（i，j），公式如下：

其中：（i，j）是近似層AI和AV進(jìn)行處理的像素位置，w值表示局部窗口（w=3），We是3×3 的濾波器模板We=［1，1，1；1，1，1；1，1，1］。通過3×3的窗口對(duì)區(qū)域能量進(jìn)行濾波，選擇鄰域內(nèi)的最大值FS（i，j），公式如下：

其中：FI表示紅外圖像近似層的最大值，F(xiàn)V表示可見光圖像近似層的最大值，II和IV分別表示紅外源圖像和可見光源圖像的灰度值。

通過上述公式得到近似層圖像的融合系數(shù)AF（i，j）：

其中：M（i，j）為近似層圖像（i，j）處的融合權(quán)重，AI（i，j）和AV（i，j）分別為（i，j）處紅外圖像和可見光圖像的近似層分解系數(shù)。

5.2 殘差層融合規(guī)則

采用改進(jìn)的自適應(yīng)PCNN 融合規(guī)則對(duì)殘差層進(jìn)行融合。將殘差層RI和RV的絕對(duì)值作為PCNN 的輸入激勵(lì)，即饋送輸入為Fij［n］=|Rs|，S∈｛I，V｝，去激勵(lì)改進(jìn)的自適應(yīng)PCNN 模型來生成融合權(quán)重圖。具體融合步驟如下：

（1）對(duì)外部輸入激勵(lì)Fij［n］進(jìn)行歸一化處理，使其取值范圍為［0，1］；

（2）采用改進(jìn)的參數(shù)自適應(yīng)的PCNN 模型，其參數(shù)根據(jù)式（13）計(jì)算；

（3）計(jì)算式（12）～式（15），在每次迭代結(jié)束時(shí)添加以下步驟，可以累計(jì)觸發(fā)次數(shù)：

因此，每個(gè)神經(jīng)元總的觸發(fā)次數(shù)為Tij［N］，其中N表示總迭代次數(shù)，RI，RV分別是紅外圖像和可見光圖像的殘差層系數(shù)，改進(jìn)PCNN 紅外圖像和可見光圖像的觸發(fā)次數(shù)分別為TRI，TRV，通過以下規(guī)則得到融合系數(shù)：

最后，通過AGF 對(duì)近似層和殘差層的融合系數(shù)進(jìn)行重構(gòu)，得到最終的融合圖像F如下：

6 實(shí)驗(yàn)結(jié)果及分析

6.1 梯度濾波器參數(shù)分析

GF 主要由4 個(gè)自由參數(shù)組成：迭代次數(shù)?、梯度閾值α、最大懲罰系數(shù)λ和閾值函數(shù)斜率n。將迭代運(yùn)算看作濾波運(yùn)算時(shí)，參數(shù)?控制濾波頻率，參數(shù)α控制要過濾的梯度范圍，參數(shù)λ表示小梯度的去除程度，參數(shù)n控制懲罰系數(shù)在梯度閾值附近的下降速度。n越大，懲罰系數(shù)的下降速度越快，表明紋理和邊界清晰。

當(dāng)最大懲罰系數(shù)λ較小時(shí)，?幾乎不改變?yōu)V波結(jié)果。當(dāng)λ較大時(shí)，濾波結(jié)果通常收斂于3～4次。然而，隨著?的增加，濾波對(duì)梯度變化的影響減小，因?yàn)榉椒ㄖ械摩吮容^小，為了減少運(yùn)行時(shí)間，設(shè)?=1。

在閾值函數(shù)斜率n和最大懲罰系數(shù)λ保持不變的條件下，α控制著去除梯度的范圍。為進(jìn)一步說明α對(duì)濾波結(jié)果的影響，如圖7 所示，當(dāng)n=10，λ=50 時(shí)，在一定范圍內(nèi)，隨著α的增加，越來越多的梯度被移除，圖像變得特別模糊。當(dāng)α達(dá)到一定水平時(shí)，圖像模糊程度不會(huì)改變。因?yàn)榧t外與可見光圖像的特點(diǎn)，只需要移除部分小梯度，所以本文中α=0.02。

圖7 梯度閾值α 濾波圖Fig.7 Smooth filtered diagram of gradient thresholds α

在梯度閾值α不變的條件下，λ控制著小梯度的模糊程度。λ越大，小梯度的模糊程度越高。n控制著梯度閾值附近懲罰系數(shù)的下降速率。n越大，下降的速度越快，紋理和邊緣之間的邊界越清晰。為進(jìn)一步說明參數(shù)λ和n對(duì)濾波結(jié)果的影響，令ɑ=0.02，n和λ取不同值時(shí)對(duì)應(yīng)的平滑圖像如圖8 所示。

圖8 n 和λ 平滑圖像Fig.8 Smooth images of n and λ

由圖8 可知，當(dāng)α=0.02 時(shí)，參數(shù)n越高，圖像邊緣的模糊程度越小，邊緣保持性越好；參數(shù)λ 越大，梯度消除效果越明顯。同時(shí)，參數(shù)n改變了λ對(duì)圖像濾波的影響。結(jié)合當(dāng)α=0.02 時(shí)參數(shù)n和λ對(duì)應(yīng)的平滑結(jié)果圖，可知在λ=50 和n=10 時(shí)圖像的梯度消除效果最好，并且邊緣的細(xì)節(jié)信息保存較完整，因此本文將它們?cè)O(shè)置為默認(rèn)值。

6.2 交替梯度濾波器性能分析

圖9顯示當(dāng)雙邊濾波器的σspatial=5，σrange=0.05 時(shí)，前3次迭代過程中RGF，SIRmed 和AGF 的濾波結(jié)果（Iteration 分別為1，2，3，在圖中記為t）。這3 種濾波器都是迭代地從輸入圖像的初始低分辨率開始大規(guī)模地恢復(fù)圖像邊緣。在這個(gè)過程中，RGF 會(huì)逐漸平滑大尺度邊緣的曲率，SIRmed 則會(huì)平滑整體圖像強(qiáng)度，導(dǎo)致圖像的全局對(duì)比度降低。AGF 會(huì)克服RGF 曲率平滑和SIRmed 局部對(duì)比度低的問題，即在不平滑曲率和保持圖像亮度的情況下恢復(fù)大尺度邊緣，同時(shí)克服了邊緣模糊問題。

圖9 RGF，SIRmed 和AGF 的濾波結(jié)果Fig.9 Filtering results of RGF，SIRmed and AGF

圖10 為當(dāng)t=3 時(shí)RGF，SIRmed，AGF 的濾波結(jié)果以及各自對(duì)應(yīng)的三維、二維截面圖。三維圖像可以看到像素的分布情況以及像素值的大小，選取Iteration=3 的濾波結(jié)果圖進(jìn)行分析，可以看出RGF 的等高線像素分布均勻，因?yàn)镽GF濾波器的小結(jié)構(gòu)消除以及邊緣保持的特點(diǎn)，圖像的邊緣曲率平滑，因此從三維圖中可以看出RGF逐漸平滑大尺度邊緣的曲率邊緣。而SIRmed 產(chǎn)生的邊緣能夠較好地表示曲率特性，正好克服RGF 的缺點(diǎn)，但是SIRmed 會(huì)平滑整體圖像強(qiáng)度，導(dǎo)致全局對(duì)比度降低。從三維圖也可以看出，像素值整體較低，和RGF 相比大尺度峰值總體降低。相比之下，AGF 結(jié)合RGF，SIRmed 以及GF 的優(yōu)點(diǎn)，在防止平滑曲率和保持整體圖像亮度以及對(duì)比度的情況下恢復(fù)了大尺度邊緣。從二維截面圖可以看出，AGF 在平滑曲率和保持局部圖像對(duì)比度的情況下恢復(fù)了大尺度邊緣，保持了邊緣的區(qū)域。

圖10 RGF，SIR，AGF 濾波結(jié)果分析Fig.10 Analysis of RGF，SIR，AGF filtering results

6.3 實(shí)驗(yàn)說明

為了從視覺效果的角度定性分析該方法的有效性，在公開的TNO，INO 等數(shù)據(jù)集上進(jìn)行了大量測試，均取得了較好的融合效果。文中選取具有代表性的4 組已經(jīng)配準(zhǔn)好的大小分別為632×496，360×270，256×256，768×576 的紅外與可見光圖像進(jìn)行實(shí)驗(yàn)展示，如圖11 所示。將本文方法與RGF 方 法［22］、BRG 方法［23］、GSF 方法［24］、IFCNN方法［25］和GF方法［16］進(jìn)行實(shí)驗(yàn)對(duì)比。

圖11 紅外與可見光源圖像Fig.11 Infrared and visible source images

其中，RGF 方法采用滾動(dòng)引導(dǎo)濾波器和高斯濾波器進(jìn)行多尺度分解，利用視覺顯著性圖和加權(quán)最小二乘進(jìn)行優(yōu)化；BRG 方法是一種通過紅外特征提取和視覺信息保存的簡單、快速的紅外與視覺圖像融合算法；GSF 方法是一種基于結(jié)構(gòu)相似性的梯度濾波方法，能夠解決計(jì)算平均源梯度時(shí)受到的抵消效應(yīng)影響，并突出源圖像的顯著特征與主要源梯度；IFCNN 方法利用兩個(gè)卷積層從輸入圖像中提取圖像的顯著特征，根據(jù)輸入圖像的類型選擇合適的融合規(guī)則（元素最大、最小或均值）；GF 方法是一種新的基于模糊梯度閾值函數(shù)和全局優(yōu)化的濾波器，克服了傳統(tǒng)基于局部加權(quán)平均的濾波器在分解過程中由于亮度的色散而導(dǎo)致的邊緣模糊問題，保證圖像的整體亮度和邊緣信息。

當(dāng)δs=5，δr=0.1，n=3，α=0.02，λ=50 和n=10 時(shí)AGF 效果好，因此將它們作為本文方法的默認(rèn)設(shè)置，自適應(yīng)PCNN 參數(shù)W=［0.0312，1，0.0312；1，0，1；0.0312，1，0.707］，迭代次數(shù)n通過Tanh 函數(shù)來設(shè)定。本文所有的實(shí)驗(yàn)均在win7系統(tǒng)上的Matlab2016a 環(huán)境中實(shí)現(xiàn)，仿真區(qū)域窗口設(shè)置為3×3。

6.4 仿真結(jié)果及分析

圖12 為4 組不同融合方法的實(shí)驗(yàn)結(jié)果，其中方框內(nèi)容為每組圖像的局部細(xì)節(jié)放大圖。第一組實(shí)驗(yàn)圖像，RGF 方法和IFCNN 方法的融合結(jié)果整體較好，但是對(duì)比度及清晰度不高；BRG 方法、GSF 方法和GF 方法融合圖像整體較為模糊，細(xì)節(jié)紋理信息都不夠清晰，其中BRG 方法得到的融合圖像里面有大面積的偽影出現(xiàn)；本文方法的紋理信息清晰，視覺效果好，因?yàn)榻惶嫣荻葹V波能夠避免目標(biāo)邊緣模糊。通過觀察局部放大圖像可以明顯看出，本文方法的紋理細(xì)節(jié)信息清晰，在場景信息豐富的同時(shí)，目標(biāo)對(duì)象顯著。第二組融合圖像，RGF 方法、IFCNN 方法的視覺效果好，紅外圖像的目標(biāo)人物突出，但清晰度不夠，對(duì)比度低，細(xì)節(jié)信息損失較多；BRG 方法從視覺角度出發(fā)，沒有考慮細(xì)節(jié)信息，因此紅外圖像的目標(biāo)人物得到很好地保存，但可見光圖像的背景細(xì)節(jié)信息丟失較為嚴(yán)重；GSF 方法對(duì)比度高，但目標(biāo)顯著同時(shí)邊緣有虛影產(chǎn)生，細(xì)節(jié)信息丟失較多；GF 方法邊緣細(xì)節(jié)紋理保存較好，消除小梯度噪聲信息，但目標(biāo)對(duì)象不突出；與其他方法相比，本文方法在保留特征信息的同時(shí)，圖像整體亮度和邊緣梯度最好，目標(biāo)對(duì)象顯著，背景紋理信息清晰，視覺效果佳。第三組和第四組融合圖像，RGF 方法、IFCNN 方法及GF 方法的整體融合效果較好，場景信息豐富，但目標(biāo)對(duì)象不突出，細(xì)節(jié)紋理不清晰；GSF 方法的整體融合效果模糊，含有較多的噪聲信息，對(duì)比度不高，尤其是第三組圖像邊緣模糊；BRG 方法目標(biāo)對(duì)象顯著，但場景信息不豐富，邊緣細(xì)節(jié)信息丟失嚴(yán)重，第四組圖像的樹葉邊緣模糊；相比之下，本文方法的整體視覺效果更好，因?yàn)锳GF 在防止邊緣曲率平滑和保持圖像亮度的情況下恢復(fù)了大尺度邊緣，避免圖像邊緣模糊，因此清晰度和紋理信息明顯，同時(shí)近似層引入MSMG 可以突出目標(biāo)對(duì)象，且沒有引入冗余信息。通過對(duì)第三、四組圖像的局部細(xì)節(jié)放大圖進(jìn)行觀察比較可以看到，本文方法得到的汽車和樹枝細(xì)節(jié)紋理清晰，目標(biāo)對(duì)象突出邊緣沒有偽影產(chǎn)生，整體融合效果圖的場景信息豐富，亮度比其他方法高。

圖12 融合結(jié)果Fig.12 Fused resuls

由于人眼視覺的差異，主觀評(píng)價(jià)方法存在著一定的局限性。為對(duì)融合結(jié)果圖進(jìn)行更加客觀地分析，本文利用平均梯度（AG）、標(biāo)準(zhǔn)差（STD）、信息熵（EN）、空間頻率（SF）、邊緣強(qiáng)度（EI）［26］以及視覺保真度（VIFF）［27］這6 種客觀評(píng)價(jià)指標(biāo)對(duì)融合方法的性能進(jìn)行定量分析。為了方便比較，采用柱狀圖的表現(xiàn)形式。表1 為客觀評(píng)價(jià)指標(biāo)的實(shí)驗(yàn)結(jié)果，圖13 為4 組圖像客觀評(píng)價(jià)指標(biāo)柱狀圖。

表1 各組源圖像不同方法融合結(jié)果的客觀評(píng)價(jià)指標(biāo)Tab. 1 Objective evaluation index of fusion results of different source images

AG 衡量圖像中細(xì)節(jié)反差和紋理變換，值越大，圖像細(xì)節(jié)越清晰；STD 反映圖像中灰度層次差異性，值越大，說明融合圖像的效果越好；EN主要是度量圖像包含信息量多少，信息熵越高表示融合圖像的信息量越豐富，質(zhì)量越好；SF 反映了空間頻率誤差的比值；EI 邊緣強(qiáng)度反映圖像的清晰程度，值越大說明融合圖像包含的細(xì)節(jié)信息越豐富，圖像越清晰；VIFF 是基于視覺保真度提出的衡量圖像質(zhì)量的指標(biāo)，其值越大，表示圖像融合質(zhì)量越好。

由圖13 可知，本文方法的AG 值高，說明細(xì)節(jié)紋理保留方面較好；STD 表示像素灰度值離散長度，可以反映圖像細(xì)節(jié)信息的豐富度，值越高，則細(xì)節(jié)信息越豐富；EN 表示圖像所包含信息量的多少，值越大則融合效果越好；SF 反應(yīng)圖像的灰度變化率，值越大整體質(zhì)量越好；EI 邊緣強(qiáng)度反映圖像的清晰程度，值越大說明融合圖像包含的細(xì)節(jié)信息越豐富，圖像越清晰；VIFF 越高，說明圖像與人眼視覺觀察越一致，從柱狀圖可以看出，本文方法的VIFF 值最大，融合效果最佳。4組源圖像通過6 種不同融合方法得到融合結(jié)果，通過觀察表1 的6 種指標(biāo)值，結(jié)合圖13 客觀評(píng)價(jià)指標(biāo)的柱狀圖走向趨勢，本文方法的指標(biāo)值整體較高。通過主觀視覺和客觀評(píng)價(jià)指標(biāo)可以得出，本文提出的方法優(yōu)于其他對(duì)比方法，能夠避免在目標(biāo)物體的邊緣處產(chǎn)生虛影，取得了最好的融合結(jié)果。

圖13 客觀評(píng)價(jià)指標(biāo)柱狀圖Fig.13 Bar charts of objective eualuation index

6.5 運(yùn)行時(shí)間分析

為了進(jìn)一步分析本文方法的有效性，評(píng)估這些算法的計(jì)算效率，表2 列出了不同融合方法處理632×496，360×270，256×256，768×576 四組源圖像的平均計(jì)算時(shí)間。從表2 可以看出，本文方法的計(jì)算效率最高，運(yùn)行時(shí)間最短，RGF 和BRG 方法的運(yùn)行時(shí)間略長，GSF 和IFCNN 方法的運(yùn)行時(shí)間偏長。通過定性、定量評(píng)價(jià)以及時(shí)間性能的分析可知，本文方法的性能最佳。

表2 不同融合方法的平均運(yùn)行時(shí)間Tab. 2 Average running time of different fusion methods（s）

7 結(jié)論

結(jié)合GF、RGF 和SIRmed 的優(yōu)良特性，本文提出AGF，它采用全局優(yōu)化方法在實(shí)現(xiàn)小結(jié)構(gòu)消除的同時(shí)具有局部強(qiáng)度保持和邊緣恢復(fù)的特性?；贏GF，提出一種基于AGF 和改進(jìn)PCNN 的紅外與可見光圖像融合方法。通過AGF 對(duì)源圖像進(jìn)行分解，它將源圖像分解為近似層和殘差層，近似層反映源圖像的整體亮度分布，采用多尺度形態(tài)學(xué)算子和最大區(qū)域能量作為它的融合規(guī)則；殘差層反映了源圖像的微小梯度變化，保留了源圖像的紋理信息，采用改進(jìn)的PCNN 作為融合規(guī)則。實(shí)驗(yàn)結(jié)果表明，主觀視覺上本文方法能夠避免在目標(biāo)物體的邊緣處產(chǎn)生虛影，較好地保留源圖像的亮度、邊緣、細(xì)節(jié)及紋理等信息；在客觀評(píng)價(jià)指標(biāo)上，與其他5 種融合方法進(jìn)行比較，平均梯度、標(biāo)準(zhǔn)差、信息熵、空間頻率、邊緣強(qiáng)度和視覺保真度分別平均提高了18%，10%，2.8%，16%，51%，11.2%。為了進(jìn)一步豐富融合圖像的細(xì)節(jié)信息，今后將進(jìn)一步研究AGF 模型優(yōu)化以及融合規(guī)則的選擇。