DWT、NSCT和改進PCA協(xié)同組合紅外偏振圖像融合

楊風(fēng)暴，董安冉，張 雷，吉琳娜

?

DWT、NSCT和改進PCA協(xié)同組合紅外偏振圖像融合

楊風(fēng)暴，董安冉，張 雷，吉琳娜

（中北大學(xué)動態(tài)測試技術(shù)重點實驗室，山西 太原 030051）

為充分保留紅外光強和偏振圖像細節(jié)、強度等信息，綜合多算法的優(yōu)勢性能，提出一種DWT、NSCT和改進PCA的多算法協(xié)同組合融合新方法，在考慮3種算法互補協(xié)同關(guān)系基礎(chǔ)上，充分保留源圖重要目標和細節(jié)信息。首先，用離散小波變換（DWT）將源圖分解為高低頻分量，低頻用非下采樣輪廓波變換（NSCT）再次分解；其次，對主成分分析法（PCA）進行權(quán)值改進，分塊融合NSCT分解所得低頻分量；然后，提出“相關(guān)系數(shù)-局部能量-局部標準差”規(guī)則融合NSCT分解所得高頻，用“層內(nèi)對比度”規(guī)則融合DWT分解所得高頻；最后，NSCT逆變換重構(gòu)所得圖像作為DWT低頻融合圖，再用DWT逆變換獲得最終融合圖像。實驗結(jié)果表明，所提方法在視覺效果、細節(jié)層次及保留等方面比單一或簡單組合方法更具優(yōu)勢，對不同場景適應(yīng)性較強。

圖像融合；紅外偏振；協(xié)同融合；DWT；NSCT；PCA

0 引言

紅外熱成像技術(shù)利用目標紅外輻射特性進行熱成像，所得紅外光強圖像具有顯著的亮度特征和區(qū)域特征，但紋理和細節(jié)特征不突出；紅外偏振成像能夠利用光譜、空間和偏振信息來捕獲目標材料、形狀、粗糙度等有用信息，有助于在復(fù)雜背景中檢測到人造物體和溫差小的目標，所得偏振圖像紋理、細節(jié)信息豐富，極大地增強了識別和探測雜亂場景目標的能力[1-4]，但其亮度特征較差。因此，紅外光強圖像和偏振圖像具有很強的互補性，將二者有效差異特征融合到一幅圖像，能有效提高紅外探測水平，滿足應(yīng)用需求。

當前紅外偏振圖像融合方法主要有：比率金字塔、形態(tài)學(xué)金字塔、對比度金字塔、拉普拉斯金字塔及小波變換（WT）、非下采樣輪廓波變換（NSCT）和剪切波變換（NSST）等多分辨率分析方法，以及取大融合、加權(quán)平均、主成分分析（PCA）、基于馬爾科夫隨機場（MRF）的圖像融合等空間域的融合方法。這些方法各具特點和優(yōu)勢，并取得了相應(yīng)的一系列成果。趙永強等[5-6]分析了小波域的融合規(guī)則，并研究了利用稀疏表示的多波段偏振圖像的融合方法，獲得了較好的視覺效果；Yue Z等[7]提出用多方向拉普拉斯金字塔將偏振信息融合到紅外光強圖像中，該方法所得融合圖像有較好的亮度和對比度，但該方法對邊角等細節(jié)表示不夠理想，對復(fù)雜場景難以適應(yīng)；A.Gagalowicz等[8]將D-S證據(jù)理論引入偏振圖像融合，但這種不確定信息處理的方法對不同場景適應(yīng)性不佳；Xuelian YU等[9]提出用NSCT結(jié)合模糊C均值分割的方法融合紅外偏振圖像，融合結(jié)果增強了目標邊界，能較好地保留重要信息，但一定程度上抑制了區(qū)域強度，且邊界處存在很多噪聲，不易判別小目標；González-Audícana等[10]提出用PCA和IHS空間變換在小波域融合的方法；Xu等[11]提出使用一種新的將馬爾科夫隨機場作為決策工具的圖像融合方法，該方法既可用于多尺度方法也可用于單尺度方法中；馬苗等[12]初步研究了多算法協(xié)同的方法并進行圖像融合，通過算法間競爭機制對指標和參數(shù)反復(fù)迭代選擇最優(yōu)算法。

單一算法對圖像融合往往有所側(cè)重，如取大法融合易丟失源圖像的一些暗細節(jié)，或造成對比度不高；PCA方法容易丟失細節(jié)和小目標；比率金字塔在突出細節(jié)的同時也易放大噪聲；小波變換方向性不佳等。而兩算法簡單組合若不充分考慮協(xié)同互補性和組合方式，會使源圖信息保留不夠充分，甚至起反作用而削弱圖像特征。文獻[12]采用的多算法協(xié)同方法是一種競爭性協(xié)同方式，最終也是用一種方法融合，不能充分綜合源圖細節(jié)信息。本文提出基于離散小波變換（DWT）、NSCT和PCA的多算法協(xié)同組合的方法融合紅外光強與偏振圖像，考慮三者之間互補關(guān)系，進行各算法各層級協(xié)同組合融合，避免單一算法或算法簡單組合對源圖信息考慮不充分而忽略重要差異信息的缺陷，從而獲得較好的視覺效果，以適應(yīng)不同場景融合需求。

1 DWT、NSCT和PCA協(xié)同性分析

1.1 算法特點分析

1）DWT：小波變換是一種能對信號進行有效時頻分析和處理的理想工具，是典型的多尺度分解方法，其對平滑信號和點狀奇異能有效表征。離散小波變換通過小波濾波器對圖像進行分解，每一層級可分為更高層級的低頻和三方向高頻（水平、垂直和對角方向）分量，以達到對圖像多尺度精細處理的目的。

2）NSCT：NSCT是小波變換后的一種新的先進的多尺度分解工具，對圖像分解具有多尺度和多方向性，對細節(jié)的表示是用類似于輪廓段的基結(jié)構(gòu)來逼近，基的支撐區(qū)間是具有隨尺度變化而變化的一定長寬比的“長條形結(jié)構(gòu)”，具有多方向性和各向異性，而小波是用正方形支撐區(qū)間描述輪廓，其基缺乏方向性，不具有各向異性，輪廓波變換能克服小波變換只有3個方向的局限性，對不同方向二維曲線能完美逼近[13]，如圖1（小波）和圖2（輪廓波）對圖像的描述。

圖1 小波變換對曲線的描述

圖2 輪廓波變換對曲線的描述

NSCT是由非下采樣金字塔（NSP）和非下采樣方向濾波器組（NSDFB）構(gòu)成，NSP進行多尺度分解，NSDFB進行多方向分解，其在輪廓波變換過程中去掉了采樣環(huán)節(jié)，具有平移不變性，能克服圖像處理中產(chǎn)生的偽吉布斯現(xiàn)象導(dǎo)致的圖像失真[14-15]。采用NSCT對圖像表示，能夠很好地表示輪廓邊緣等細節(jié)信息。

3）PCA：PCA是統(tǒng)計學(xué)中分析數(shù)據(jù)的一種有效方法，主要目的是降維和去相關(guān)性，將原來的維空間投影到維空間（＞），用低維空間數(shù)據(jù)充分代表原高維空間的數(shù)據(jù)，保留原數(shù)據(jù)的主要信息，突出主要成分，從而使數(shù)據(jù)更易處理。用于圖像融合，以圖像數(shù)據(jù)間協(xié)方差矩陣的特征值衡量不同圖像的重要性，對細節(jié)并不豐富的低頻信息較有效。

1.2 算法協(xié)同性分析

從算法的原理上分析可知，3種算法對圖像的表示具有很強互補協(xié)同性，DWT對平滑信號和點狀奇異能有效表示，重構(gòu)時紋理細節(jié)能量損失相對較小，而移變性是其缺點，易受噪聲影響，在融合中容易引入虛假信息；NSCT對圖像表示具有多方向性和平移不變性，對輪廓幾何形狀能完美重構(gòu)，但重構(gòu)時輪廓信息能量損失相對嚴重；PCA用于融合能突出圖像主要信息，對細節(jié)不豐富的低頻更有效，是一種空間域融合方法，簡單易處理。利用三算法互補協(xié)同關(guān)系進行協(xié)同組合融合能充分發(fā)揮3種算法的優(yōu)勢特點，更全面綜合源圖信息。

圖3中(b)、(c)是車場景紅外圖像的DWT和NSCT的分解重構(gòu)誤差圖。由圖可知DWT整體信息損失均勻（與原圖對比），小區(qū)域信息損失不受邊界和其它區(qū)域影響，如車后視鏡處；而NSCT整體信息損失不均勻（不同亮度區(qū)都很暗），且小區(qū)域重構(gòu)易受邊界影響（車后視鏡處）；DWT對噪聲較為敏感，導(dǎo)致細節(jié)信息易受噪聲影響而被淹沒，而NSCT有一定容噪能力；DWT對邊緣、細節(jié)描述不如NSCT，很多細節(jié)不能精確描述，但對邊角等含有奇異的信息描述與原圖一致，NSCT對邊緣、細節(jié)形狀描述較好，但重構(gòu)誤差線為亮線，說明細節(jié)能量損失相對較多?？芍?，二者無論是對強度特征還是對輪廓細節(jié)形狀特征等的表示均具有較強的互補性，加上PCA融合的特點，三者互補協(xié)同能更多保留源圖信息，增強視覺效果。

2 基于DWT、NSCT和PCA的協(xié)同組合融合

2.1 PCA算法改進

傳統(tǒng)PCA用于圖像融合，由PCA算法確定圖像融合權(quán)值。具體做法是將整個圖像看成一維向量，待融合圖像數(shù)據(jù)構(gòu)成1個矩陣，并求其協(xié)方差的特征值，將不同排序圖像數(shù)據(jù)對應(yīng)的特征值占所有特征值和的比重作為該圖的權(quán)重系數(shù)進行加權(quán)融合，即第幅圖像權(quán)值為：

式中：是第幅圖像矩陣對應(yīng)的特征值；是待融合圖像數(shù)。

若兩圖像相同或相似，所得最大特征值與其它特征值將差別很大，加權(quán)結(jié)果便是兩圖取大，符合人眼強度視覺，由于圖像相似性，也不會丟失重要信息；若圖像差異較大，不同特征值間差異變小，權(quán)值差異變小，圖像差異越大，加權(quán)結(jié)果越趨于平均，以保證重要差異不丟失。

這種融合方法具有權(quán)值確定的自適應(yīng)性特點，具有合理性，然而該方法太多考慮圖像的強度信息，一定程度上忽略了相位信息（因為特征值表征強度信息），在圖像強度和相位差別都較大時，會導(dǎo)致強度弱的圖像細節(jié)信息被淹沒。采用主成分對應(yīng)特征向量的絕對值作為權(quán)值，特征向量一定程度反映主成分的方向信息，其值的大小也一定程度反映數(shù)據(jù)的強度信息，其權(quán)值和大于1，有一定增強作用，不至于導(dǎo)致融合圖像對比度過小或細節(jié)被淹沒的現(xiàn)象。另外，將整幅圖作為一維數(shù)據(jù)，數(shù)據(jù)量太大，容易丟失小目標甚至中等目標，故本文對圖像進行分塊處理，每塊為8×8矩陣，防止小目標丟失。而分塊容易引入拼接痕跡，可將每對圖像塊組生成的融合權(quán)值分別放于2個矩陣中，并分別進行橫向和縱向為3或5、7或9等長度的模板進行均值濾波加以消除，對于不同尺寸和復(fù)雜度圖像，模板長度應(yīng)該不一致，尺寸越大，模板長度可相應(yīng)變大。

2.2 協(xié)同組合融合算法

1）由第一部分算法分析可知，可利用DWT、NSCT和PCA較強的互補性和不同層級間的特有特點結(jié)合適當融合規(guī)則進行協(xié)同組合融合。DWT由于對信息損失較為均勻，故用其對源圖進行第1次分解，在融合重構(gòu)時能保持紅外光強信息的區(qū)域平滑性和充分保留光強與偏振圖像的奇異點信息；DWT分解后低頻中仍有很多高頻信息，而NSCT能提取更多高頻細節(jié)，故用其對DWT分解低頻分量再次分解，有利于紋理細節(jié)信息（特別是偏振信息）的進一步有效融合；NSCT再次分解所得低頻分量中高頻信息較少，用改進PCA分塊融合NSCT分解低頻分量，能夠保留紅外光強圖像的亮度特征，即突出融合結(jié)果整體的主要亮度特征，且能減少低頻中細節(jié)（盡管很少）損失；NSCT分解高頻分量中細節(jié)信息較為精細，結(jié)構(gòu)信息突出，故用“相關(guān)系數(shù)-局部能量-局部標準差”規(guī)則融合，在充分保留細節(jié)等結(jié)構(gòu)信息的同時，又能盡可能減少強度信息的損失；DWT分解所得3個方向高頻分量中邊緣細節(jié)信息較為粗糙，但卻是主要的高頻信息，使用“層內(nèi)對比度”規(guī)則融合能突出融合結(jié)果中的主要高頻信息，增強紋理細節(jié)在整體背景中的對比度；且重構(gòu)時NSCT細節(jié)信息損失相對較多與DWT細節(jié)信息損失相對較少可形成互補，在一定程度上能抑制低頻噪聲并保證重構(gòu)結(jié)果整體信息的一致性。故本文融合方法為針對各算法特點及各層級特點的串聯(lián)嵌接協(xié)同組合融合。

圖3 車場景紅外光強圖及DWT和NSCT分解重構(gòu)誤差圖

2）對于NSCT分解所得高頻分量的融合，不僅需要保留源圖強度信息，更需要盡可能保留源圖紋理信息，而紅外光強與偏振圖像高頻分量中紋理信息差異較大，結(jié)構(gòu)信息突出，故提出用窗口相關(guān)系數(shù)判斷兩圖像局部結(jié)構(gòu)相似度，如果兩圖局部區(qū)域相關(guān)系數(shù)較高，則采用窗口加權(quán)能量取大的規(guī)則進行融合，這樣能突出主要目標而又不損失細節(jié)；若兩圖局部區(qū)域相關(guān)性不高，則說明兩圖相應(yīng)局部區(qū)域有較大差異，此時若采用能量決策則很可能會淹沒細節(jié)，故采用窗口標準差取大規(guī)則進行融合，這樣能充分保留較多差異信息。此規(guī)則與基于結(jié)構(gòu)相似性指標的規(guī)則不同，結(jié)構(gòu)相似性指標判斷相似性包含強度信息，有可能出現(xiàn)圖像區(qū)域在強度上很相似但在結(jié)構(gòu)上卻并不很相似的情況，此時相似性指標仍可能較大而導(dǎo)致誤判，從而丟失結(jié)構(gòu)信息。設(shè)窗口大小為×（、為≥3的奇數(shù)）。采用3×3窗口，判斷相似度的閾值設(shè)為0.75，兩圖局部相關(guān)系數(shù)為：

式中：(,)為、兩圖像以(,)為中心坐標的窗口協(xié)方差；(,)、(,)分別為兩圖窗口標準差；為3×3均值掩膜；eps為一小量。局部能量和局部標準差如下：

3）DWT分解所得高頻分量是紅外光強和偏振圖像的主要高頻信息，采用“層內(nèi)對比度”規(guī)則融合，在保留主要細節(jié)的同時能增強高頻信息在融合結(jié)果中的對比度，使高頻信息更突出，第（＝,）類圖像第（＝1,2,3）幅小波分解高頻分量的層內(nèi)對比度定義為：

式中：為DWT分解高頻第類圖像第幅高頻分量；0為小波分解低頻分量的3×3窗口均值特征，以ft為第幅小波分解高頻分量融合圖，則融合決策規(guī)則為：

4）具體融合算法如下：

①對源紅外光強與偏振圖像進行DWT一層分解，獲得小波分解高頻與低頻分量；

②用NSCT對DWT分解低頻分量進行二次分解，分解所得低頻分量用改進PCA進行分塊融合；

③NSCT分解高頻分量用所提“相關(guān)系數(shù)-局部能量-局部標準差”規(guī)則進行決策融合；

④DWT分解所得高頻分量用“層內(nèi)對比度”規(guī)則進行決策融合；

⑤對相應(yīng)融合的高低頻分量分別進行NSCT逆變換和DWT逆變換重構(gòu)融合圖，獲得最終紅外光強與偏振融合圖像。

融合方法流程簡圖如圖4所示。

圖4 本文所提融合方法流程圖

Fig.4 The flow chart of the proposed method

3 實驗及結(jié)果分析

此部分將選取512×424、256×256和256×256三組不同尺寸的配準過的紅外光強與偏振圖像驗證本文方法的有效性，3組圖像分別為：長波紅外熱水壺場景、長波紅外汽車場景及中波紅外汽車和樹場景，分別記為組1、組2和組3。

此處將分別用涉及到的NSCT、DWT和PCA單一融合方法和形態(tài)學(xué)差異金字塔（MDP）、比率金字塔（RP）、DWT與PCA組合和NSCT與DWT組合7種融合方法和本文所提協(xié)同組合融合方法進行對比，并用信息熵（IE）、標準差（STD）、對比度（CON）、空間頻率（SF）、平均梯度（AG）及Piella基于結(jié)構(gòu)相似性的兩個指標W與E共7種客觀融合評價指標評判融合結(jié)果。其中信息熵用來衡量圖像信息的豐富程度，其值越大則融合效果越好；標準差反映像素值的分布狀況，表征細節(jié)的多少；對比度描述融合圖像不同區(qū)域特征的相對顯著程度；空間頻率反映圖像在空間域的總體活躍程度，越大說明融合效果越好；平均梯度又被稱為清晰度，用來體現(xiàn)圖像中的微小細節(jié)反差和紋理變化特征，值越大表明圖像的清晰度越好，融合效果越好。W（優(yōu)于Piella另一指標）反映融合圖像與源圖的結(jié)構(gòu)相似性程度，值越大說明融合圖保留源圖整體信息越多；E反映融合圖像與源圖邊緣、細節(jié)的結(jié)構(gòu)相似性程度，值越大說明融合圖保留源圖邊緣、細節(jié)信息越多，融合質(zhì)量越好。

圖5～圖7分別為3組不同場景紅外光強和偏振圖像組及其不同方法融合結(jié)果圖。

表1～3分別是3組融合圖的融合評價指標，加粗數(shù)據(jù)表示指標最大。

由組1融合圖和融合評價指標可知，對于細節(jié)信息不是很豐富的熱水壺場景，各種方法融合均未出現(xiàn)太大失真現(xiàn)象，從視覺上看，本文方法綜合二者信息較多，除RP融合平均梯度指標稍高外，本文方法各指標均最高。

由組2融合圖和融合評價指標可知，對于場景較復(fù)雜的車場景，MDP融合空間頻率較高，但其視覺效果不佳，特別是邊緣處，PCA融合標準差指標稍高，其余指標本文方法均最高。

由組3融合圖和融合評價指標可知，對于復(fù)雜或細節(jié)反差較大的源圖，MDP和RP融合多項指標都偏高，但從視覺效果上看，此兩種方法融合效果較差。排除這兩種方法，本文方法指標均最高。

從融合指標和視覺效果綜合分析，本文協(xié)同組合融合方法融合效果最佳。而從主觀上整體來看，所有融合算法對于細節(jié)不復(fù)雜的場景（如熱水壺）融合均未造成嚴重失真，都能綜合源圖主要信息，只是有些融合圖的主要強度特征對比度不同或有邊緣細節(jié)差異，如形態(tài)學(xué)差異金字塔有一定的融合邊緣痕跡，如壺身邊緣處；比率金字塔融合壺身有較多噪聲，但不明顯。而對于細節(jié)豐富或反差較大的源圖，不同方法融合差異明顯，細節(jié)越豐富、反差越大，差異越明顯，如組2汽車場景MDP和RP融合在細節(jié)處都引入了誤差或虛假信息，這在組3融合圖中特別明顯，MDP融合由于形態(tài)學(xué)濾波算子過開閉操作導(dǎo)致邊緣等細節(jié)嚴重失真；而RP融合為了突出邊緣，將原圖與濾波后圖像的比率作為高頻，這樣雖然突出了高頻信息，但也容易突出噪聲，故在細節(jié)較多的組3場景融合中引入了過多的虛假信息，組2中融合也顯模糊，這也是這此兩種方法在組2和組3復(fù)雜場景融合某些指標虛高的原因，這對目標識別等后續(xù)處理極為不利。其余方法融合視覺上未出現(xiàn)失真現(xiàn)象，但各方法各有側(cè)重，DWT融合由于方向有限，會導(dǎo)致某些方向細節(jié)的丟失，故其很多指標不如NSCT；NSCT能很好保留圖像細節(jié)，但由于其分解重構(gòu)容易丟失邊緣細節(jié)等強度信息，融合時會導(dǎo)致某些區(qū)域邊緣與區(qū)域的對比度不強或整體強度信息不突出，如組1中壺身邊緣及壺口處的亮度信息，組2中車窗口處和車頭亮條處，組3中車頭與前車窗交界處等；PCA融合能突出主要成分，故其亮度特征凸顯，但細節(jié)容易丟失，組3融合中反應(yīng)最明顯；而DWT與PCA、NSCT與DWT簡單組合對融合質(zhì)量的提高也有限，甚至由于未考慮互補協(xié)同性而得不到提高，反而消弱某些特征，如組1中NSCT與DWT組合融合壺身邊緣處較亮的強度特征丟失，組2中DWT與PCA融合車窗處強度特征較差等，兩種方法對細節(jié)信息的保留也不如本文方法（E指標較?。６疚乃岱椒ǔ浞挚紤]了3種算法的互補協(xié)同關(guān)系，對紅外光強和偏振圖像差異信息有較多的保留，故融合不會過于偏重某一幅圖像信息，這在3組場景的融合中均有體現(xiàn)，其融合結(jié)果不僅凸顯了重要強度信息，對源圖細節(jié)信息也能充分保留（AG、E指標均較大），并有較好的對比度，視覺效果較好。故本文方法能有效針對各算法及其分解層級的特點，充分發(fā)揮各算法協(xié)同互補作用，獲得較好融合效果，且對不同場景適應(yīng)性較強，特別是較復(fù)雜場景。

圖5 熱水壺場景不同方法融合圖

圖6 車場景不同方法融合圖

Fig.6 The fused images with different methods for the car scene

圖7 車和樹場景不同方法融合圖

表1 熱水壺場景融合評價指標

表2 汽車場景融合評價指標

表3 車和樹場景融合評價指標

4 結(jié)論

提出了一種新的基于DWT、NSCT和PCA的協(xié)同組合紅外偏振圖像融合方法，所提方法充分考慮了DWT、NSCT和PCA三種算法分解層級的特點及對圖像表示的互補協(xié)同性特點，即DWT對圖像表示的均勻性和對奇異點表示的有效性，NSCT對輪廓形狀等細節(jié)表示的精確性和平移不變性等，及二者對細節(jié)信息表示的差異互補性，PCA方法改進后對低頻融合的有效性（突出主要特征），從而確定三者的串聯(lián)嵌接協(xié)同組合方式，并提出有針對性的不同高頻融合規(guī)則。多組不同場景紅外光強和偏振圖像融合結(jié)果表明，本文方法能充分發(fā)揮3種融合算法的各自優(yōu)勢，充分保留源圖細節(jié)、邊緣信息，并能突出重要目標強度信息，對于不同場景適應(yīng)性較強。本文方法對紅外光強和偏振圖像融合較為有效，也可嘗試與不同傳感器的圖像融合，下一步還需更探究PCA融合中自適應(yīng)濾波和其它不同融合算法如何更有效協(xié)同的問題。

[1] 李其申, 李俊峰, 江澤濤. 非下采樣Contourlet變換的圖像融合及評價[J]. 計算機應(yīng)用研究, 2009, 26(3): 1138-1142.

LI Qishen, LI Junfeng, JIANG Zetao. Image fusion based on non-subsampled Contourlet transform and evaluation[J]., 2009, 26(3): 1138-1142.

[2] 安富, 楊風(fēng)暴, 藺素珍, 等. 特征差異驅(qū)動的紅外偏振與光強圖像融合[J]. 中國科技論文, 2014, 9(1): 96-102.

An Fu, Yang Fengbao, Lin Suzhen, et al. Feature differences driven fusion of infrared polarization and intensity images[J]., 2014, 9(1): 96-102.

[3] Nedelcu A,Guériaux V, Berurier A, et al. Multispectral and polarimetric imaging in the LWIR:Intersubband detector a versatile solution[C]//, 2013, 59: 125-132.

[4] Yang Fengbao, Wei Hong. Fusion of infrared polarization and intensity images using support value transform and fuzzy combination rules[J]., 2013, 60: 235-243.

[5] 趙永強, 潘泉, 張洪才. 基于圖像序列融合的Stokes圖像計算方法[J].光電子激光, 2005, 16(3): 354-357.

Zhao Yongqiang, Pan Quan, Zhang Hongcai. Calcul ation Met hod of Stokes l mages Based on Sequence Image Fusion[J].·, 2005, 16(3): 354-357.

[6] Zhao YQ, Zhang QY, Yang JX. High-resolution multib and polarization epithelial tissue imaging method by sparse representation andfusion[J]. Applied Optics, 2012, 51(4): A27-A35.

[7] Yue Z, Li F.M. An infrared polarization image fusion algorithm based on oriented Laplacian pyramid[C]//Proc. ofSPIE, 2014, 9142: 914208.

[8] Gagalowicz A, Philips W. Optimal Gabor filters and Haralick features for the industrial polarization imaging[C]//Computer Vision/Computer Graphics Collaboration Techniques, MIRAGE, 2011, 6930: 122-132.

[9] Yu Xuelian, Chen Qian, Gu Guohua, et al. An infrared polarization image fusion method based on NSCT and fuzzy C-means clustering segmentation algorithms[C]//Proc. of SPIE, Infrared Technology and Applications, 2014, 9300: 93000W.

[10] González-Audícana M, Saleta JL, Catalán RG, et al. Fusion of multispectral and panchromatic images using improved IHS and PCA mergers based on wavelet decomposition[J]. IEEE Transactions on Geoscience &Remote Sensing, 2004, 42(6): 1291-1299.

[11] M Xu, H Chen, Varshney P K. An image fusion approachbased on Markov random fields[J]. IEEE Transactions on Geoscience &Remote Sensing, 2011, 49: 5116-5127.

[12] 馬苗, 田紅鵬. 圖像協(xié)同融合方法的初步研究[J]. 計算機應(yīng)用研究, 2008, 25(1): 316-318.

Ma Miao, Tian Hongpeng. Research on image cooperative fusion method[J]., 2008, 25(1): 316-318.

[13] 許廷發(fā), 李俊濤, 張一舟, 等. 真彩色傳遞雙波段圖像融合[J]. 中國光學(xué), 2014, 7(3): 402-410.

Xu Tingfa, Li Juntao, Zhang Yizhou, et al. True color transfer for dual band image fusion[J]., 2014, 7(3): 402-410.

[14] 安富, 楊風(fēng)暴, 牛濤. 模糊邏輯與特征差異驅(qū)動的紅外偏振圖像融合模型[J]. 紅外技術(shù), 2014, 36(4): 304-310.

An Fu, Yang Fengbao, Niu Tao. A Fusion Model of Infrared Polarization Images Based on Fuzzy Logic and Feature Difference Driving[J]., 2014, 36(4): 304-310.

[15] 袁金樓, 吳謹, 劉勁. 基于NSCT與DWT的壓縮感知圖像融合[J]. 紅外技術(shù),2015,37(11): 957-961.

Yuan Jinlou, Wu jin, Liu Jing. Image Fusion Based on Compressed Sensing of NSCT and DWT[J]., 2015, 37(11): 957-961.

Infrared Polarization Image Fusion Using the Synergistic Combination of DWT, NSCT and Improved PCA

YANG Fengbao，DONG Anran，ZHANG Lei，JI Linna

(,,, 030051,)

In order to retain the details and the intensity information of infrared intensity image and polarization image adequately and integrate prominent performance of different algorithms, a novel synergistic combination fusion method of infrared polarization images based on DWT, NSCT and improved PCA is proposed, which can fully preserve important objectives and details of source images after considering complementary relationship of the three fusion algorithms. Firstly, the source images are decomposed into high and low-frequency components with DWT. The low-frequency coefficients are decomposed again with NSCT. Secondly, the weights generated by PCA are improved to fuse the low-frequency coefficients obtained by decomposing of NSCT block-by-block. Then, a Correlation coefficient, Local energy and Local standard deviation rule is put forward to fuse the high-frequency coefficients obtained by decomposing of NSCT. And the high-frequency coefficients obtained by decomposing of DWT are fused with the Layer Contras rule. Finally, the fusion image obtained by inverse NSCT is used as the low-frequency fusion image of DWT. And the final fusion image is obtained using inverse DWT. Experimental results show that the proposed method has more advantages than the single or simple combination fusion method in the visual effect, levels of detail and details preservation and has strong adaptability to different scenes.

image fusion，infrared polarization，synergy fusion，DWT，NSCT，PCA

TP391

A

1001-8891(2017)03-0201-08

2016-05-17；

2016-05-27.

楊風(fēng)暴（1968-），男（漢），山西省臨汾人，教授，博士生導(dǎo)師，信號與信息處理。E-mail：yangfb@nuc.edu.cn。

中北大學(xué)動態(tài)測試技術(shù)重點實驗室開放基金目（ZDSYSJ2015005），教育部高等學(xué)校博士學(xué)科點專項科研資助（博導(dǎo)類）（20121420110004）