江 平，張 強(qiáng)，李 靜，張 錦

（合肥工業(yè)大學(xué)數(shù)學(xué)學(xué)院，安徽合肥230009）

基于NSST和自適應(yīng)PCNN的圖像融合算法

江 平，張 強(qiáng)，李 靜，張 錦

（合肥工業(yè)大學(xué)數(shù)學(xué)學(xué)院，安徽合肥230009）

針對(duì)紅外和可見(jiàn)光圖像的特點(diǎn)，本文提出了一種基于非下采樣剪切波變換（NSST）和自適應(yīng)的脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）相結(jié)合的紅外與可見(jiàn)光圖像融合的新算法。對(duì)經(jīng)過(guò)NSST變換后的低頻子帶系數(shù)采用帶高斯權(quán)重分布矩陣的局域方差和方差匹配度相結(jié)合的融合規(guī)則，對(duì)高頻子帶系數(shù)采用一種改進(jìn)的空間頻率作為PCNN輸入，且采用改進(jìn)的拉普拉斯能量和作為PCNN的鏈接強(qiáng)度，利用PCNN全局耦合性和脈沖同步性選擇高頻子帶系數(shù)，最后經(jīng)NSST逆變換后得到融合結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文提出的算法與傳統(tǒng)的圖像融合算法相比不僅在主觀視覺(jué)上取得較好的效果，而且在客觀標(biāo)準(zhǔn)上也有了一定的提高。

圖像融合；非下采樣剪切波變換（NSST）；脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）；空間頻率；拉普拉斯能量和

1 引 言

隨著紅外成像技術(shù)的飛速發(fā)展，紅外與可見(jiàn)光圖像融合成為圖像處理領(lǐng)域的研究熱點(diǎn)［1－2］。融合后的圖像可以有效地綜合紅外圖像目標(biāo)特征和可見(jiàn)光圖像中場(chǎng)景細(xì)節(jié)信息。小波變換具有良好的方向性和局部化特征可以較好地表示圖像的細(xì)節(jié)信息，但小波變換在一維時(shí)的優(yōu)良特性并不能簡(jiǎn)單地推廣到二維或更高維。于是，多尺度幾何分析受到廣泛關(guān)注主要有Ridgelet、Curvelet、Contourlet、Shearlet等變換工具。Contourlet變換（CT）是由DO等人［3］提出，其與小波分析相比具有良好的多分辨率和方向性但缺乏平移不變性，為此Cunha等人［4］提出非下采樣Contourlet變換（NSCT）。但是NSCT計(jì)算復(fù)雜度較高運(yùn)行時(shí)間較長(zhǎng)，Guo等人［5］提出了Shearlet變換（ST），ST與CT相比它沒(méi)有方向數(shù)目和支撐基尺寸大小的限制且計(jì)算效率更高，并在圖像融合中取得不錯(cuò)的效果［6］。然而由于ST不具備平移不變性，在圖像融合時(shí)易在奇異點(diǎn)附近產(chǎn)生偽吉布斯現(xiàn)象。于是，Easley等人［7］提出了NSST，它具備剪切波的所有優(yōu)點(diǎn)且有平移不變性。NSST在圖像融合中的應(yīng)用仍處于探索階段，雖然曹等人［8］利用NSST進(jìn)行圖像融合，但是他們沒(méi)有分析和討論分解子圖的融合規(guī)則，因此有必要進(jìn)一步探究NSST在圖像融合中的應(yīng)用。

PCNN是Eckhorn等人［9］通過(guò)模擬貓的大腦視覺(jué)皮層中同步脈沖發(fā)放現(xiàn)象提出的模型，其具有全局耦合性和脈沖同步性，被廣泛應(yīng)用于圖像融合［6，10－11］。Broussard等人［10］首先將PCNN應(yīng)用于圖像融合中，證實(shí)了PCNN用于圖像融合的可行性。之后肖等人［11］提出了一種結(jié)合NSCT和PCNN的圖像融合算法，但是由于他們沒(méi)有考慮到鏈接強(qiáng)度β是個(gè)變量，因而融合效果不理想。綜上，本文采用改進(jìn)的拉普拉斯能量和作為PCNN的鏈接強(qiáng)度β，且采用改進(jìn)的空間頻率作為PCNN的輸入。

2 基礎(chǔ)知識(shí)

2.1 NSST理論［12］

當(dāng)維數(shù)n＝2時(shí)，具有合成膨脹的放射系統(tǒng)定義為：

式中，ψ∈L2（R2）；A和B是2×2可逆矩陣；｜det B｜＝1。如果MAB（ψ）具有如下形式的緊框架條件，則MAB（ψ）中的元素稱為合成小波，即對(duì)?f∈L2（R2），有：

NSST離散化過(guò)程是由多尺度剖分和方向局部化構(gòu)成：（1）多尺度剖分。通過(guò)非下采樣金字塔組實(shí)現(xiàn)，圖像經(jīng)k級(jí)非下采樣濾波器分解可以得到（k＋1）個(gè)與原圖像大小相同的子帶圖像，其中包括1個(gè)低頻和k個(gè)高頻子圖；（2）方向局部化。NSST和ST不同，NSST的方向局部化是通過(guò)改進(jìn)的剪切波濾波器實(shí)現(xiàn)，標(biāo)準(zhǔn)的剪切濾波器是在偽極化網(wǎng)格中通過(guò)窗函數(shù)的平移操作實(shí)現(xiàn)，執(zhí)行過(guò)程中需要進(jìn)行下采樣操作，因而不具有平移不變性，而NSST把標(biāo)準(zhǔn)的剪切波濾波器從偽極化網(wǎng)格系統(tǒng)映射回到笛卡爾坐標(biāo)系統(tǒng)，通過(guò)逆傅里葉變換，最后直接通過(guò)二維卷積就可完成其操作［7］，因而避免了下采樣操作而滿足平移不變性。

2.2 PCNN理論

PCNN由多個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元由三部分組成：接收域、調(diào)制域及脈沖產(chǎn)生器。

PCNN中圖像每個(gè)像素點(diǎn)對(duì)應(yīng)一個(gè)神經(jīng)元，為了更好地將其應(yīng)用于圖像處理中，人們提出了各種改進(jìn)模型。本文采用的是一種簡(jiǎn)化模型［2］，其數(shù)學(xué)表達(dá)式如下：

式中，n是迭代次數(shù)；（i，j）表示剪切波系數(shù)在l尺度k方向的位置；（i，j）是神經(jīng)元之間的鏈接權(quán)值矩陣；a，b是PCNN中鏈接范圍大小；（i，j）和（i，j）分別是反饋輸入和鏈接輸入；Il，k（i，j）是外部輸入刺激矩陣；（i，j）為內(nèi)部活躍性總數(shù)；（i，j）為神經(jīng)元間的鏈接強(qiáng)度；（i，j）為閾值；VL是鏈接輸入放大系數(shù)；Vθ是閥值放大系數(shù)；αL和αθ分別為鏈接輸入和變閥值函數(shù)的時(shí)間常數(shù)；（i，j）為PCNN的脈沖輸出。如果Ul，k（i，j）＞（i，j），則神經(jīng)元產(chǎn)生一個(gè)脈沖Yl，k（i，j）＝1，稱為一次點(diǎn)火。

3 基于NSST與自適應(yīng)PCNN的圖像融合規(guī)則

假定待融合的紅外圖像（I）和可見(jiàn)光圖像（V）已經(jīng)過(guò)幾何配準(zhǔn)處理，圖像融合流程如圖1所示，融合步驟為：

（1）對(duì)I和V分別進(jìn)行NSST分解，得到各自的圖像分解后NSST系數(shù)：｛CI｝（l≥1）和｛CV，｝（l≥1）。其中，CI和CV為低頻子帶系數(shù)和ClV，k為l尺度下k方向上高頻子帶系數(shù)。

（2）對(duì)低頻子帶系數(shù)和各高頻子帶系數(shù)使用不同的融合策略，獲得融合后的系數(shù)｛CF，Cl，kF｝（l≥1）其中，CF為融合后圖像的低頻子帶系數(shù)；Cl，kF為融合后圖像在l尺度下k方向上的高頻子帶系數(shù)。

（3）對(duì)融合后系數(shù)進(jìn)行NSST逆變換，得到最終的融合圖像F。

圖1 紅外和可見(jiàn)光圖像融合流程圖

3.1 低頻子帶系數(shù)融合規(guī)則

圖像經(jīng)過(guò)NSST變換后得到的低頻部分代表了圖像的近似分量，包含了源圖像大量的能量信息。如果低頻系數(shù)采用常規(guī)的融合算法，如加權(quán)平均法有可能丟失源圖像中的一些重要信息或與源圖像形成較大的灰度差異。圖像的區(qū)域方差則反映了局部區(qū)域內(nèi)圖像信息量的豐富程度，因此本文采用局部區(qū)域方差匹配的融合規(guī)則對(duì)低頻系數(shù)進(jìn)行處理。

區(qū)域方差定義為：

式中，ˉC為所選區(qū)域的灰度均值；CS（i，j）為紅外（或可見(jiàn)光）圖像低頻子帶系數(shù)在點(diǎn)（i，j）時(shí)的灰度值；G為以點(diǎn)P（k1，k2）為中心大小為M×N（本文取3× 3）的局部區(qū)域；w（i，j）是以點(diǎn)P為中心時(shí)矩陣各點(diǎn)的對(duì)應(yīng)高斯權(quán)重分布系數(shù)，離點(diǎn)P越近權(quán)值越大，權(quán)值是通過(guò)行和列的高斯分布加權(quán)相加得到的。

局部區(qū)域的方差匹配度MS（k1，k2）定義為：

設(shè)α為方差匹配度閾值，本文取α＝0.5。

當(dāng)MS（k1，k2）＜α?xí)r，表明兩個(gè)區(qū)域的相關(guān)性差，區(qū)域方差大表示該區(qū)域包含更豐富的細(xì)節(jié)信息，因此采用方差取大的融合策略：

當(dāng)MS（k1，k2）≥α?xí)r，表明兩個(gè)區(qū)域的相關(guān)程度高，兩個(gè)區(qū)域都包含相當(dāng)?shù)募?xì)節(jié)信息，因此采用加權(quán)平均融合策略：

式中，Wmin和Wmax為定義的自適應(yīng)因子且：

3.2 高頻子帶系數(shù)融合規(guī)則

3.2.1 改進(jìn)的空間頻率作為PCNN的刺激輸入

由于NSST的高頻子帶系數(shù)代表了圖像的細(xì)節(jié)分量，如邊緣、直線、區(qū)域邊界等。在文獻(xiàn)［1］中，方勇等人首先成功地把PCNN應(yīng)用到紅外與可見(jiàn)光圖像融合中，但他直接使用子帶系數(shù)刺激PCNN，事實(shí)上人們對(duì)邊緣等特征更加敏感。因此，單純使用子帶系數(shù)作為輸入是不夠的。圖像的空間頻率反映了一幅圖像的總體活躍程度，空間頻率越大圖像越活躍、越清晰，因此在文獻(xiàn)［13］中，屈等人使用空間頻率作為PCNN的輸入，取得了一定的效果。

對(duì)于M×N的矩陣，空間頻率［13］定義為：

式中，RF表示行頻率；CF表示列頻率且：

由于式（7）中定義的空間頻率只描述了水平和垂直信息而缺乏對(duì)角信息，這樣就使得融合結(jié)果可能丟失很重要的細(xì)節(jié)信息。鑒于此，本文提出了一種改進(jìn)的空間頻率（MSF）。MSF包含了行頻率（RF），列頻率（CF），對(duì)角頻率（DF1，DF2）。

對(duì)于M×N的矩陣，改進(jìn)的空間頻率定義為：

3.2.2 改進(jìn)的拉普拉斯能量和作為鏈接強(qiáng)度β

在PCNN模型中的鏈接強(qiáng)度β表示當(dāng)前神經(jīng)元與其他神經(jīng)元鏈接的強(qiáng)度，在圖像中表現(xiàn)為當(dāng)前像素值與其周圍像素值的緊密聯(lián)系。在傳統(tǒng)的PCNN融合算法中，β取固定的常數(shù)。根據(jù)生理學(xué)和心理學(xué)研究發(fā)現(xiàn)，人眼對(duì)特征明顯區(qū)域的反應(yīng)要比不明顯區(qū)域反應(yīng)強(qiáng)烈，不可能每個(gè)神經(jīng)元的鏈接強(qiáng)度都相同［14］，而拉普拉斯能量和可以很好的反映圖像的邊緣特征信息，文獻(xiàn)［15］利用拉普拉斯能量和進(jìn)行圖像融合取得了較好的效果。

拉普拉斯能量和［15］定義為：

其中：

改進(jìn)的拉普拉斯能量和定義為：

3.2.3 高頻子帶系數(shù)的判決選擇

PCNN點(diǎn)火次數(shù)的大小反映了神經(jīng)元所受到外部刺激的大小，表征了NSST變換中所含細(xì)節(jié)信息的多少，因此選取點(diǎn)火次數(shù)大的點(diǎn)所對(duì)應(yīng)的NSST系數(shù)可得到更多源圖像細(xì)節(jié)信息。選取步驟如下：

（2）當(dāng)PCNN迭代到N時(shí)，由式（11）可以得到了一幅由Dl，k（i，j）表征的點(diǎn)火頻率映射圖：

（3）根據(jù)式（12）選取點(diǎn)火次數(shù)大的點(diǎn)所對(duì)應(yīng)的NSST系數(shù)作為最后融合圖像的高頻子帶系數(shù)：

4 仿真實(shí)驗(yàn)及結(jié)果分析

本文采用嚴(yán)格配準(zhǔn)的紅外與可見(jiàn)光圖像（大小均為256×256）進(jìn)行仿真實(shí)驗(yàn)。將本文的算法與以下算法進(jìn)行比較：基于梯度金字塔變換的融合算法（記為GP-mean-max）、基于離散小波變換融合算法（記為DWT-mean-max）、基于CT的融合算法（記為CT-mean-max）、基于ST的融合算法（記為ST-mean-max）、基于NSST的融合算法（記為NSST-mean-max），這些算法均采用低頻子帶系數(shù)取平均，高頻子帶系數(shù)取絕對(duì)值最大的融合規(guī)則；QU等人［13］提出的基于NSCT的融合算法（記為NSCT-mean-SFPCNN）和基于NSST的融合算法（記為NSST-mean-SFPCNN）融合規(guī)則均為低頻子帶取平均高頻子帶以空間頻率為輸入矩陣的PCNN。本文中PCNN的參數(shù)選取如下：N＝200，αL＝1.0，αθ＝0.2，VL＝1.0，Vθ＝20，a×b＝3×3 W＝［0.707 1 0.707； 1 0 1； 0.707 1 0.707］。

為了定量評(píng)價(jià)融合效果，本文采用標(biāo)準(zhǔn)差、信息熵、互信息［17］和QAB／F［18］作為客觀評(píng)價(jià)指標(biāo)。標(biāo)準(zhǔn)差（STD）反映了灰度相對(duì)灰度均值的離散程度，標(biāo)準(zhǔn)差越大融合效果越好；信息熵（En）表示圖像中所包含的平均信息量的多少；互信息（MI）是計(jì)算源圖像有多少信息轉(zhuǎn)移到融合后的圖像中，互信息越大，說(shuō)明該方法攜帶的信息量越大；QAB／F是衡量有多少邊緣信息從源圖像中轉(zhuǎn)移到融合圖像中，其值越大融合效果越好。

圖2（a）為紅外圖像能夠清晰看到一個(gè)欲穿過(guò)柵欄的人，但其他景物較模糊。圖2（b）為同一場(chǎng)景的可見(jiàn)光圖像，由于光線較暗，很難辨別可見(jiàn)光中的人，但柵欄、路、方桌、灌木叢等景物較清晰。圖2（c）～圖2（i）是本文選取的經(jīng)典融合算法融合圖像，圖2（j）是本文算法的融合圖像。從主觀評(píng)價(jià)看，基于梯度金字塔的融合圖像對(duì)比度比較低，圖像較模糊；基于小波的融合效果雖有些改善但仍存在明顯的波紋干擾；基于CT及ST，融合效果有一定的提高，但有明顯的Gibbs塊狀效應(yīng)，容易產(chǎn)生虛影模糊；至于NSST-mean-max、NSST-mean-SFPCNN這兩種算法雖然使用了NSST變換但是由于融合規(guī)則的不足，融合效果仍不是很理想。而本文融合算法由于NSST具有方向敏感性等優(yōu)良特性，可以提供不同的邊緣和細(xì)節(jié)信息，再加上提出的融合規(guī)則可以在一定程度上改善其清晰度、對(duì)比度，細(xì)節(jié)信息相對(duì)更豐富，人的目標(biāo)更清晰突出，有利于目標(biāo)的識(shí)別與檢測(cè)。

圖2 源圖像與融合結(jié)果圖

表1 融合結(jié)果的客觀評(píng)價(jià)數(shù)據(jù)

從客觀評(píng)價(jià)看，表1給出了不同融合算法融合后的標(biāo)準(zhǔn)差、信息熵、互信息及QAB／F值，由表中可以看出本文提出算法的客觀數(shù)據(jù)都高于其他算法，其結(jié)果基本與視覺(jué)特性保持一致。

5 結(jié)束語(yǔ)

本文提出了一種新的基于NSST和自適應(yīng)PCNN的圖像融合算法。NSST作為一種新的多尺度幾何分析工具，可以多尺度多方向地描述圖像，其執(zhí)行過(guò)程更高效。為了更有效地利用PCNN的優(yōu)良特性，本文采用改進(jìn)的拉普拉斯能量和作為PCNN的鏈接強(qiáng)度和改進(jìn)的空間頻率作為PCNN的輸入。實(shí)驗(yàn)結(jié)果表明，本文算法可以有效地綜合紅外圖像的目標(biāo)特征信息和可見(jiàn)光圖像的場(chǎng)景細(xì)節(jié)信息，證實(shí)了本文算法是一種有效的融合算法。

［1］ Fang Y，Liu SP.Infrared image fusion algorithm based on contourlet transform and improved pulse coupled neural networks［J］.China Patent1873693A，December 2006.

［2］ Li Meili，Li Yanjun，Wang Hongmei，et al.Fusion algorithm of infrared and visible images based on NSCT and PCNN［J］.Opto-Electronic Engineering，2010，37（6）：90－95.（in Chinese）李美麗，李言俊，王紅梅，等.基于NSCT和PCNN的紅外和可見(jiàn)光圖像融合方法［J］.光電工程，2010，37（6）：90－95.

［3］ Do M N，VetterliM.The contourlet transform：an efficient directionalmultiresolution image representation［J］.IEEE Transactions on Image Processing，1992，40（4）：882－893.

［4］ Cunha A L，Zhou JP，DO M N.The nonsubsampled cont-ourlet transform：theory design and application［J］.IEEE Transactions on Image Processing，2006，15（10）：3089－3101.

［5］ Guo K，Labate D.Optimally sparsemultidimensional representation using shearlets［J］.SIAM Journal on Mathematical Analysis，2007，39（1）：298－318.

［6］ Wang ZH，Wang JQ，Zhao DG，etal.Image fusion based on shearlet and improved PCNN［J］.Laser＆Infrared，2012，42（2）：213－216.（in Chinese）王朝暉，王佳琪，趙德功，等.基于Shearlet與改進(jìn)PCNN的圖像融合［J］.激光與紅外，2012，42（2）：213－216.

［7］ Easley G，Labate D，Lim W Q.Sparse directional image representation using discrete shearlet transform［J］.Applied and Computation Harmonic Analysis，2008，25（1）：25－46.

［8］ Cao Y，Li ST.Multifocus image fusion by nonsubsampled shearlet transform［C］／／Proc.IEEE 6thInt.Conf.on Image and Graphics，IEEE Press，Piscataway，NJ，2011，17－21.

［9］ Eckhorn R，Reiboeck H J，Arndt M，et al.Feature linking via synchronization among distributed assemblies：simulation of results from cat cortex［J］.Neural Computation，1900，2：293－307.

［10］Broussard R P，Pogers S K，Oxley M E，et al.Physiologicallymotivated image fusion for object detection using a pulse coupled neural network［J］.IEEE Transactions on Neural Networks，1999，10（3）：554－563.

［11］XiaoW，Wang R F.Image fusion algorithm based on nonsubsampled contourlet transform and pulse coupled neural network.［J］.Comput.Appl.，2008，28（S2）：164－167.

［12］Jiao Licheng，Hou Biao，Wang Suang，et al.Image multiscale geometric analysis：theory and applications［M］. Xi’an：Xidian University Press，2008.（in Chinese）焦李成，候彪，王爽，等.圖像多尺度幾何分析理論與應(yīng)用［M］.西安：西安電子科技大學(xué)出版社，2008.

［13］Qu X B，Yan JW，Xiao H Z，et al.Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain［J］.Acta Autom Sin.，2008，34（12）：1508－1514.

［14］Wang Zhihui，Zhao Baojun，Shen Tingzhi.Image fusion based on MMPN and adjustable linking strength［J］.Acta Electronica Sinica，2010，38（5）：1162－1166.（in Chinese）王志慧，趙保軍，沈庭芝.基于MMPN和可調(diào)節(jié)鏈接強(qiáng)度的圖像融合［J］.電子學(xué)報(bào)，2010，38（5）：1162－1166.

［15］HuangW，Jing Z L.Evaluation of focusmeasures inmultifocus image fusion［J］.Pattern Recognition Letters，2007，28（4）：493－500.

［16］Hu Gang，Ji Xiaomin，Liu Zhe，et al.Regional feature selfadaptive image fusion method based on nonsubsampled steerable pyramid transform［J］.Journal of Computer-Aided Design＆Computer Graghics，2012，24（5）：637－648.（in Chinese）胡鋼，吉曉民，劉哲，等.結(jié)合區(qū)域特性和非下采樣SPT的圖像融合方法［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖像學(xué)報(bào)，2012，24（5）：637－648.

［17］Qu G H，Zhang D L，Yan P F.Information measure for performance of image fusion［J］.Electronics Letters，2002，38（7）：313－315.

［18］Petrovic V，Xydeas C.On the effects of sensor noise in pixel-level image fusion performance［C］.Proceedings Of the Third International Conference on Information Fusion，IEEE Press，2000，2：14－19.

Fusion algorithm for infrared and visible image based on NSST and adaptive PCNN

JIANG Ping，ZHANG Qiang，LIJing，ZHANG Jin
（School of Mathematics，Hefei University of Technology，Hefei230009，China）

Aiming at the feature of infrared and vision images，a new fusion algorithm which combines nonsubsampled shearlet transform（NSST）with adaptive pulse coupled neural network（PCNN）is presented.For the low-frequency sub-band coefficients，a fusion rule which combines local variance with a Gaussian weight distribution matrix after NSST transform with variancematching is used.For the high-frequency sub-band coefficients，an improved spatial frequency as the input of the PCNN is used，and the improved sum of Laplace energy as the PCNN link strength is used.The high-frequency sub-band coefficients are selected by using the global coupling and pulse synchronization of PCNN，and finally fusion results are obtained by inverse NSST transform.The experiment results show that compared to the traditional image fusion algorithms，the proposed algorithm achieves better results in the subjective visual and also improves the objective criteria in some extent.

image fusion；nonsubsampled shearlet transform（NSST）；pulse coupled neural network（PCNN）；spatial frequency；the sum of Laplace energy

TP391

A

10.3969／j.issn.1001-5078.2014.01.024

1001-5078（2014）01-0108-06

江 平（1972－），女，副教授，博士，研究方向?yàn)閼?yīng)用數(shù)值逼近，幾何造型，圖形圖像處理等。E-mail：jiangping_72＠sina.com

2013-04-27；

2013-06-27