殷　明，段普宏，褚　標(biāo)，梁翔宇

(合肥工業(yè)大學(xué) 數(shù)學(xué)學(xué)院，安徽 合肥 230009)

?

基于非下采樣雙樹復(fù)輪廓波變換和稀疏表示的紅外和可見光圖像融合

殷明，段普宏*，褚標(biāo)，梁翔宇

(合肥工業(yè)大學(xué) 數(shù)學(xué)學(xué)院，安徽 合肥 230009)

提出了一種基于非下采樣雙樹復(fù)輪廓波變換(NSDTCT)和稀疏表示的紅外和可見光圖像融合方法，以改善傳統(tǒng)的基于小波變換的圖像融合方法的不足。該方法首先利用形態(tài)學(xué)變換處理源圖像，利用NSDTCT變換進(jìn)行圖像分解得到低頻子帶系數(shù)和高頻子帶系數(shù)。根據(jù)高低頻系數(shù)的不同特點(diǎn)，提出改進(jìn)的稀疏表示(ISR)的融合規(guī)則用于低頻子帶；然后將改進(jìn)的空間頻率作為脈沖耦合神經(jīng)網(wǎng)絡(luò)的外部輸入，提出基于自適應(yīng)雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)(2APCNN)的融合策略用于高頻子帶。最后通過NSDTCT逆變換獲得融合后的圖像。實(shí)驗(yàn)結(jié)果表明：本文方法在客觀指標(biāo)和視覺效果方面均優(yōu)于傳統(tǒng)圖像融合的方法。與傳統(tǒng)的NSCT-SR方法相比，實(shí)驗(yàn)的兩組圖像中4個(gè)客觀指標(biāo)：互信息(MI)、邊緣信息保留量QAB/F，平均梯度 (AG)和標(biāo)準(zhǔn)差(SD)分別提高了9.89%、6.39%、104.64%、55.09%和9.53%、17.77%、95.66%、52.89%。

圖像融合；紅外圖像；可見光圖像；非下采樣雙樹復(fù)輪廓波變換；稀疏表示；自適應(yīng)雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)；形態(tài)學(xué)變換

1　引　言

紅外和可見光圖像融合[1]就是將通過不同傳感器獲取的兩幅圖像整合成一幅質(zhì)量更高的圖像，其已廣泛應(yīng)用于計(jì)算機(jī)視覺、目標(biāo)識(shí)別和軍事等領(lǐng)域[2-3]。目前基于紅外和可見光圖像融合的算法主要在小波域中進(jìn)行，但傳統(tǒng)小波變換的方向性有限，不能高效地表示圖像的紋理、輪廓和邊緣等細(xì)節(jié)信息。為了有效地表示圖像中的細(xì)節(jié)信息，人們提出了更好的多尺度分解工具，如Curvelet、Ridgelet和Contourlet等。但Contourlet變換[4]中進(jìn)行了下采樣操作，導(dǎo)致融合圖像中出現(xiàn)偽吉布斯現(xiàn)象。為了解決這個(gè)問題，文獻(xiàn)[5]提出了非下采樣輪廓波變換(Non-subsampled Contourlet Transform， NSCT)方法，其克服了Contourlet變換的缺點(diǎn)，具有平移不變性，隨后被應(yīng)用于圖像融合和去噪等[6-7]領(lǐng)域中，并取得了良好的視覺效果。針對(duì)NSCT計(jì)算復(fù)雜度較高的問題，學(xué)者們又提出了改進(jìn)方法[8-9]。文獻(xiàn)[8]將雙樹復(fù)小波(Dual-tree Complex Wavelet Transform， DTCWT)和NSCT中的非下采樣方向?yàn)V波器組(Non-subsampled Directional Filter Banks， NSDFB)相結(jié)合，構(gòu)造了非下采樣雙樹復(fù)輪廓波變換(Non-subsampled Dual-tree Complex Contourlet Transform， NSDTCT)。文獻(xiàn)[9]中，DTCWT的第一個(gè)尺度濾波器為“FSfarras”，其余尺度濾波器使用的是“dualfilt1”，而文獻(xiàn)[10-11]已證明文獻(xiàn)[8]構(gòu)造的DTCWT中兩棵樹的頻率反映有輕微的不同，且其結(jié)構(gòu)不是完全對(duì)稱的，鑒于此，本文首先考慮將文獻(xiàn)[10]構(gòu)造的Q-shift DTCWT和NSCT中的NSDFB結(jié)合提出一種改進(jìn)的NSDTCT。由于其實(shí)現(xiàn)過程中沒有進(jìn)行下采樣操作，因此具有平移不變性，而且還擁有高度的方向選擇性和各向異性等優(yōu)點(diǎn)。但文獻(xiàn)[8]僅將NSDTCT應(yīng)用在圖像去噪中并取得了較好的效果，將NSDTCT應(yīng)用在圖像融合中還處于初始研究階段。由于圖像具有豐富的紋理信息和諸多的細(xì)節(jié)特征，因此本文將改進(jìn)的NSDTCT作為圖像的多尺度分解工具來實(shí)現(xiàn)紅外和可見光圖像融合。

然而，融合效果不僅依靠于圖像的分解工具，還依靠于具體的融合規(guī)則。近年來，稀疏表示[12](Sparse Representation，SR)成為了一種新的信號(hào)處理工具，被人們應(yīng)用于融合中。如：文獻(xiàn)[13-14]將SR應(yīng)用在多聚焦圖像融合中，改善了融合圖像的質(zhì)量。但文獻(xiàn)[13-14]都是利用SR直接對(duì)源圖像進(jìn)行融合，沒有引入圖像的多尺度變換工具，而多尺度變換工具能夠從多分辨率角度對(duì)圖像的細(xì)節(jié)特征進(jìn)行表示，因此不引入圖像分解工具會(huì)使融合圖像中的細(xì)節(jié)特征變得模糊。于是，文獻(xiàn)[15]將SR應(yīng)用在小波域中以實(shí)現(xiàn)圖像去噪，且獲得了較好的結(jié)果。隨后，文獻(xiàn)[16]將SR和小波變換相結(jié)合應(yīng)用于圖像融合，但文獻(xiàn)[16]僅根據(jù)最大值規(guī)則選擇稀疏系數(shù)，融合規(guī)則比較簡(jiǎn)單，容易導(dǎo)致源圖像中的有效信息遺失。

針對(duì)這一問題，本文提出了一種改進(jìn)的稀疏表示(Improved Sparse Representation， ISR)方法，具體為將自適應(yīng)模糊邏輯算法引入到SR中，對(duì)稀疏后的系數(shù)利用模糊邏輯算法自適應(yīng)地選擇出融合后的系數(shù)。脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Network， PCNN)是人工神經(jīng)網(wǎng)絡(luò)第三代模型，具有全局耦合性及脈沖同步性等特點(diǎn)，被廣泛應(yīng)用于圖像處理[17]中。但由于單通道PCNN每次只能對(duì)單幅圖像進(jìn)行信息提取，而實(shí)際應(yīng)用中一般都是利用兩幅圖像進(jìn)行融合，因此人們提出了雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)[18](Dual-channel Pulse Coupled Neural Network， 2PCNN)，并應(yīng)用在圖像融合[19-20]中。但2PCNN中的鏈接強(qiáng)度為固定值，外部輸入時(shí)直接使用子帶系數(shù)且脈沖輸出階段使用的是硬限幅函數(shù)，從而不能有效提取源圖像中的特征信息。為了克服這些缺點(diǎn)，本文提出了一種自適應(yīng)雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)(Adaptive Dual-channel Pulse Coupled Neural Network， 2APCNN)。

根據(jù)以上分析，利用SR和2APCNN的優(yōu)點(diǎn)，本文提出了一種新的紅外和可見光圖像融合算法。首先對(duì)紅外和可見光圖像進(jìn)行形態(tài)學(xué)變換[21]，再利用改進(jìn)的NSDTCT分解圖像以獲得低頻系數(shù)和高頻系數(shù)：對(duì)低頻系數(shù)，由于它的稀疏性相對(duì)較差，先對(duì)其進(jìn)行稀疏表示，再利用自適應(yīng)模糊邏輯算法選擇稀疏后的低頻系數(shù)；對(duì)于高頻系數(shù)，提出了一種2APCNN融合策略來選擇融合后的高頻子帶。最終，對(duì)低頻和高頻利用NSDTCT逆變換獲得融合后的圖像。

2　NSDTCT原理

2.1DTCWT

針對(duì)傳統(tǒng)小波變換方向選擇性少且不具有平移不變性的不足，文獻(xiàn)[9]提出了DTCWT，但由于DTCWT中存在結(jié)構(gòu)不是完全對(duì)稱等缺點(diǎn)。Kingsbury等[10]人提出了采用Q-shift濾波器的Q-shift DTCWT。Q-shift DTCWT利用希爾伯特變換設(shè)計(jì)的兩組濾波器組對(duì)圖像進(jìn)行并行處理，從而擁有良好的方向選擇性和平移不變性。經(jīng)過Q-shift DTCWT分解后，圖像可以獲得低頻系數(shù)和6個(gè)不同方向的高頻系數(shù)。

2.2NSDTCT

雖然Q-shift DTCWT克服了傳統(tǒng)小波變換方向選擇性小等缺點(diǎn)，但是通過Q-shift DTCWT獲得的6個(gè)不同方向的高頻子帶系數(shù)仍然不能很好地表征圖像中的細(xì)節(jié)特征。本文通過級(jí)聯(lián)Q-shift DTCWT和NSDFB提出了改進(jìn)的NSDTCT。其先利用Q-shift DTCWT對(duì)源圖像進(jìn)行分解獲得雙樹結(jié)構(gòu)子帶系數(shù)；其次再利用NSDFB對(duì)高頻子帶系數(shù)進(jìn)行分解，得到2n個(gè)方向的子帶系數(shù)。從而具有更多的方向選擇性，能夠更好地表達(dá)圖像中豐富的紋理特征和細(xì)節(jié)信息等。NSDTCT的分解結(jié)構(gòu)如圖1所示。

圖1　NSDTCT的分解結(jié)構(gòu)示意圖

3　相關(guān)理論

3.1SR理論

圖像稀疏表示是用過完備字典中少數(shù)非零原子的線性組合來刻畫源圖像。因?yàn)樽值涫沁^完備的，從而有許多方法可以用來表示源圖像，圖像稀疏表示的目的就是在字典中尋找可以描述源圖像的最優(yōu)線性組合。稀疏表示的模型可表示為：

(1)

式中：x∈Rn為源信號(hào)，D∈Rn×m(n

3.22APCNN基本原理

傳統(tǒng)的2PCNN中的鏈接強(qiáng)度被設(shè)置為常數(shù)，外部輸入直接使用子帶系數(shù)，而脈沖產(chǎn)生階段使用的是硬限幅函數(shù)，這些都會(huì)導(dǎo)致融合效果不佳。針對(duì)傳統(tǒng)2PCNN的不足，本文提出了一種自適應(yīng)的雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)(2APCNN)，考慮人眼對(duì)邊緣特征的敏感性，將平均梯度作為2APCNN的鏈接強(qiáng)度，自適應(yīng)地選擇相應(yīng)的通道；將改進(jìn)的空間頻率作為其外部輸入，并在脈沖輸出階段提出了一種軟限幅S型函數(shù)。其具體的數(shù)學(xué)模型如下：

(2)

平均梯度為：

(3)

(4)

4　基于NSDTCT和SR的融合規(guī)則

4.1基本框架

圖2為本文融合算法的結(jié)構(gòu)流程圖。主要步驟為：首先，采用形態(tài)學(xué)變換對(duì)源紅外圖像和可見光進(jìn)行分別處理，再利用NSDTCT變換對(duì)處理后的圖像進(jìn)行分解，獲得低頻系數(shù)和一系列高頻系數(shù)；其次，對(duì)低頻系數(shù)先利用ISR進(jìn)行稀疏處理，再利用自適應(yīng)模糊邏輯算法選擇融合后的系數(shù)。對(duì)高頻系數(shù)，利用提出的2APCNN進(jìn)行融合處理；最后，利用NSDTCT逆變換對(duì)融合后的低頻和高頻系數(shù)進(jìn)行處理，從而獲得一幅高質(zhì)量的圖像。

圖2　融合算法流程圖

4.2低頻融合規(guī)則

經(jīng)NSDTCT獲得的低頻子帶是源圖像的近似部分，它反映了源圖像的主要能量信息。傳統(tǒng)的低頻子帶融合策略是平均規(guī)則法。該方法簡(jiǎn)單卻降低了融合圖像的質(zhì)量。文獻(xiàn)[13]和[14]利用字典對(duì)低頻子帶進(jìn)行稀疏，然后采用最大值規(guī)則選擇稀疏后的低頻系數(shù)，其融合規(guī)則比較簡(jiǎn)單，但易丟失源圖像的有用信息。本文先利用源圖像低頻子帶構(gòu)成的樣本集訓(xùn)練過完備字典，再將過完備字典對(duì)低頻系數(shù)進(jìn)行稀疏，然后采用模糊邏輯算法自適應(yīng)地選擇稀疏后的系數(shù)。

具體的低頻融合規(guī)則如下。

步驟1：設(shè)源圖像A、B的低頻子帶分別為L(zhǎng)A和LB，采用滑動(dòng)窗技術(shù)對(duì)Lk(k=A、B)進(jìn)行分塊處理，再把所有圖像塊轉(zhuǎn)換成列向量[αA，αB]。

步驟2：從列向量中隨機(jī)選取樣本集，采用K-奇異值分解(K-Singular Value Decomposition，K-SVD )算法訓(xùn)練樣本集得到字典D，再結(jié)合OMP算法計(jì)算出稀疏表示系數(shù)Sk(k=A、B)。

步驟3：利用模糊邏輯算法自適應(yīng)地選擇出融合后的系數(shù)。即：

SF=ωA·SA+ωB·SB，

步驟4：將融合后的系數(shù)SF放至原來的位置，得到融合后的低頻系數(shù)LF。

4.3高頻融合規(guī)則

高頻子帶可反映圖像的細(xì)節(jié)信息，但傳統(tǒng)的高頻子帶融合方法大多采用“絕對(duì)值取大”，這將導(dǎo)致源圖像的冗余信息丟失及引入人工信息等缺點(diǎn)。本文采用2APCNN作為高頻子帶的融合規(guī)則，并提出了一種改進(jìn)的空間頻率(Improved Spatial Frequency，ISF)作為2APCNN的外部輸入，將平均梯度作為其鏈接強(qiáng)度，從而可以有效地提取圖像的細(xì)節(jié)信息，獲得較好的融合效果。

改進(jìn)的空間頻率定義為：

(5)

其中：

RF=[I(i，j)-I(i，j-1)]2

CF=[I(i，j)-I(i-1，j)]2

式中：I(i，j)表示圖像在(i，j)處的系數(shù)，RF和CF分別表示行頻率和列頻率，MDF和SDF分別表示兩個(gè)對(duì)角頻率。

具體的高頻融合規(guī)則如下。

步驟2：利用式(3)和式(4)計(jì)算高頻子帶的鏈接強(qiáng)度βk(i，j)(k=1，2)。

步驟3：通過式(2)分別得到神經(jīng)元的鏈接輸入Lij、神經(jīng)元的內(nèi)部狀態(tài)Uij、門限閾值θij和點(diǎn)火輸出幅度Xij。

步驟4：迭代步驟3直到所有神經(jīng)元產(chǎn)生脈沖響應(yīng)，然后選擇融合后的高頻系數(shù)：

其中：

5　實(shí)驗(yàn)結(jié)果與性能分析

為了檢驗(yàn)本文所提融合方法的融合性能，本文對(duì)2組(圖3)紅外和可見光圖像進(jìn)行了實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)中圖像均來自于http：//www.imagefusion.org/。另外，本文將8種典型融合方法與提出的方法進(jìn)行了比較。方法一和方法二分別采用CT和NSCT作為多尺度分解工具，其低頻和高頻融合規(guī)則與本文一致，但沒有進(jìn)行形態(tài)學(xué)變換，分別記為CT-SR1和NSCT-SR1；方法三：采用文獻(xiàn)[20]的NSCT-PCNN的融合算法，其低頻和高頻分別采用PCNN進(jìn)行融合，并將邊緣能量作為外部輸入；方法四：采用文獻(xiàn)[14]的融合算法，記為SR；方法五：采用文獻(xiàn)[16]的融合算法，將SR引入到NSCT的低通子帶中，高頻采用“絕對(duì)值取大”的融合策略，記作NSCT-SR2；方法六：采用NSDTCT分解源圖像，其融合規(guī)則選用傳統(tǒng)的低頻取平均、高頻取最大的策略，記為NSDTCT；方法七：采用本文改進(jìn)的稀疏表示直接對(duì)源圖像進(jìn)行融合，記為SR1；方法八：采用2APCNN的融合算法，記為2APCNN。在融合實(shí)驗(yàn)中，2APCNN的參數(shù)設(shè)置為：

αL=0.2，αθ=0.2，VL=1.5，Vθ=25，Wij，ab=[0.707，1，0.707;1，0，1;0.707，1，0.707].

實(shí)驗(yàn)均在Matlab R2014a上運(yùn)行，電腦配置為2.27 GHz主頻，Corei3處理器，2 G內(nèi)存，500 G 硬盤。本文還選用了4種評(píng)價(jià)指標(biāo)來定量衡量實(shí)驗(yàn)的融合效果，分別為互信息[23](Mutual Information， MI)、邊緣信息保留量[23]QAB/F，平均梯度[23](Average Gradient， AG)和標(biāo)準(zhǔn)差[23](Standard Deviation， SD)。MI用于衡量融合后圖像從源圖像中獲得的信息量大?。籕AB/F表示從源圖像轉(zhuǎn)移到融合后圖像的邊緣信息量；AG度量了融合圖像的清晰度；SD用來測(cè)量融合圖像中紋理信息的豐富程度。MI、QAB/F，AG和SD的值越大，就表明融合效果越佳。

圖4和圖5為通過不同方法獲得的融合圖像。從主觀視覺來看，這幾種方法都可以實(shí)現(xiàn)紅外和可見光圖像融合，但因?yàn)槊糠N方法的多尺度分解工具和融合規(guī)則不同，使得融合后的圖像質(zhì)量也不一樣。從融合結(jié)果圖還可以看出，CT-SR因?yàn)樵贑ontourlet變換時(shí)進(jìn)行了下采樣操作，故融合后圖像中存在偽吉布斯現(xiàn)象；在NSDTCT方法中，由于融合規(guī)則過于簡(jiǎn)單，導(dǎo)致融合結(jié)果較差；文獻(xiàn)[20]將PCNN與NSCT結(jié)合應(yīng)用于圖像融合，雖然在一定程度上提高了融合圖像的質(zhì)量，但是融合結(jié)果仍然不是很好；2APCNN方法由于會(huì)根據(jù)源圖像中的有效信息自適應(yīng)地選擇相應(yīng)的像素值，與PCNN相比，其融合效果有了一定的改善；文獻(xiàn)[14]中，利用SR實(shí)現(xiàn)圖像融合，但由于沒有引入多尺度分解工具，因此不能充分地將源圖像的細(xì)節(jié)信息提取到融合后的圖像中，從而導(dǎo)致融合圖像出現(xiàn)輪廓模糊；基于SR1的方法與SR方法相比，融合效果有了一定的提高，但細(xì)節(jié)信息仍然模糊；文獻(xiàn)[16]中，將NSCT和SR相結(jié)合雖然可使融合圖像的輪廓變得清晰，但由于融合規(guī)則不足，降低了融合圖像的對(duì)比度；方法二中將本文的融合規(guī)則和NSCT結(jié)合改善了融合圖像的視覺效果，但因?yàn)镹SCT不是最優(yōu)的多尺度分解工具，故融合結(jié)果仍不理想；本文先利用形態(tài)學(xué)變換對(duì)源圖像進(jìn)行增強(qiáng)，并采用NSDTCT作為圖像的分解工具，再結(jié)合本文提出的融合規(guī)則，使得融合效果更好。綜上可知，本文方法獲得的融合圖像的整體清晰度和對(duì)比度要明顯優(yōu)于其他方法，且融合圖像的邊緣信息更清晰，紋理等細(xì)節(jié)特征更豐富。

(a)可見光圖像1(a)Visual image 1

(b) 紅外圖像1(b)Infrared image 1

(a)可見光圖像2(a)Visual image 2

(b) 紅外圖像2(b)Infrared image 2

(a) CT-SR

(b) NSCT-SR1

(c) NSCT-PCNN

(d) SR

(e) NSCT-SR2

(f) NSDTCT

(g) SR1

(h) 2APCNN

(a) CT-SR

(b) NSCT-SR1

(c) NSCT-PCNN

(d) SR

(e) NSCT-SR2

(f) NSDTCT

(g) SR1

(h) 2APCNN

(i) Proposed method

表1和表2分別為圖3中兩幅紅外和可見光圖像通過9種方法融合后的客觀評(píng)價(jià)指標(biāo)。

表1　第1組圖像通過不同方法融合的客觀指標(biāo)

由表1，2可知，與其他方法相比，本文方法的MI、QAB/F，AG和SD 4個(gè)客觀指標(biāo)均最高，這也與主觀視覺效果一致。與其它8種方法中融合效果較好的文獻(xiàn)[16]中的方法相比，本文的客觀指標(biāo)分別提高了9.89%、6.39%、104.64%、55.09%和9.53%、17.77%、95.66%、52.89%。其中通過比較方法一、方法二和本文方法的MI和QAB/F，可以發(fā)現(xiàn)本文的圖像分解工具NSDTCT要優(yōu)于傳統(tǒng)的CT和NSCT，相比NSCT，本文的NSDTCT中兩組圖像的MI和QAB/F分別提高了6.07%、2.71%和3.45%、2.14%；本文提出的SR1的4個(gè)客觀指標(biāo)均要優(yōu)于文獻(xiàn)[14]的SR方法；與在空間域中實(shí)現(xiàn)圖像融合的SR、SR1和2APCNN相比，本文的融合結(jié)果有了很大的提高。此外，本文AG和SD幾乎是其他方法的2倍，說明本文方法有效改善了圖像的清晰度和紋理信息。

表2　第2組圖像通過不同方法融合的客觀指標(biāo)

6　結(jié)　論

本文先對(duì)源圖像進(jìn)行增強(qiáng)，再采用改進(jìn)的NSDTCT作為圖像分解工具，然后將稀疏表示和自適應(yīng)雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)將相結(jié)合并應(yīng)用于圖像融合中。實(shí)驗(yàn)表明，本文方法在客觀數(shù)據(jù)和視覺效果上都要優(yōu)于傳統(tǒng)的圖像融合算法，對(duì)比客觀數(shù)據(jù)可知，本文方法的客觀數(shù)據(jù)較其他方法分別提高了9.89%、6.39%、104.64%、55.09%和9.53%、17.77%、95.66%、52.89%。

[1]楊桄，童濤，陸松巖，等. 基于多特征的紅外與可見光圖像融合[J]. 光學(xué) 精密工程，2014，22(2)：489-496.

YANG G， TONG T， LU S Y，etal.. Fusion of infrared and visible images based on multi-features [J].Opt.PrecisionEng.， 2014， 22(2)： 489-496.(in Chinese)

[2]曾祥通，張玉珍，孫佳嵩，等. 顏色對(duì)比度增強(qiáng)的紅外與可見光圖像融合方法[J].紅外與激光工程，2015，44(4)：1198-1202.

ZENG X T， ZHANG Y ZH， SUN J S，etal.. One color contrast enhanced infrared and visible image fusion method [J].InfraredandLaserEngineering， 2015， 44(4)： 1198-1202.(in Chinese)

[3]陳貞，邢笑雪. 基于非下采樣Shearlet變換與壓縮感知的圖像融合[J]. 液晶與顯示， 2015， 30(6)： 1024-1031.

CHEN ZH， XING X X. Image fusion algorithm based on non-subsampled Shearlet transform and compressed sensing [J].ChineseJournalofLiquidCrystalsandDisplays， 2015， 30(6)： 1024-1031.(in Chinese)

[4]DO M N， VETTERLI M. The contourlet transform： an efficient directional multiresolution image representation [J].IEEETransactionsonImageProcessing， 2005， 14(12)： 2091-2106.

[5]da CUNHA A L， ZHOU J P， DO M N. The nonsub-sampled contourlet transform： theory， design， and applications [J].IEEETransactionsonImageProcessing， 2006， 15(10)： 3089-3101.

[6]楊粵濤，朱明，賀柏根，等. 采用改進(jìn)投影梯度非負(fù)矩陣分解和非采樣Contourlet變換的圖像融合方法[J]. 光學(xué) 精密工程， 2011， 19(5)： 1143-1150.

YANG Y T， ZHU M， HE B G，etal.. Fusion algorithm based on improved projected gradient NMF and NSCT [J].Opt.PrecisionEng.， 2011， 19(5)： 1143-1150.(in Chinese)

[7]殷明，劉衛(wèi). 非下采樣Contourlet變換域混合統(tǒng)計(jì)模型圖像去噪[J]. 光子學(xué)報(bào)， 2012， 41(6)： 751-756.

YING M， LIU W. Image denoising using mixed statistical model in nonsubsampled Contourlet transform domain [J].ActaPhotonicaSinica， 2012， 41(6)：751-756.(in Chinese)

[8]YING M， LIU W， ZHAO X，etal.. Image denoising using trivariate prior model in nonsubsampled dual-tree complex contourlet transform domain and non-local means filter in spatial domain [J].Optik， 2013， 124(24)： 6896-6904.

[9]KINGSBURY N. The dual-tree complex wavelet transform： a new efficient tool for image restoration and enhancement [C].ProceedingsofEuropenSignalProcessingConforence， 1998： 319-322.

[10]KINGSBURY N. A dual-tree complex wavelet transform with improved orthogonality and symmetry properties [C].InternationalConferenceonImageProcessing， 2000， 2：375-378.

[11]KINGSBURY N G. Design of Q-Shift complex wavelets for image processing using frequency domain energy minimization [C].ProcessingofIEEEInternationalConferenceonImageProcessing， 2003： 1013-1016.

[12]YANG B， LI S T.Multifocus image fusion and restoration with sparse representation [J].IEEETransactionsonInstrumentationandMeasurement， 2010， 59(4)： 884-892.

[13]彭真明，景亮，何艷敏，等. 基于多尺度稀疏字典的多聚焦圖像超分辨融合[J].光學(xué) 精密工程，2014，22(1)：169-176.

PENG ZH M， JING L， HE Y M，etal.. Superresolution fusion of multi-focus image based on multiscale sparse dictionary [J].Opt.PrecisionEng.， 2014， 22(1)： 169-176.(in Chinese)

[14]DIANA D N， ANUSMINA D J. Fusion and restoration of multifocus image using sparse representation [C].IEEE-InternationalConferenceonAdvancesinEngineering，ScienceandManagement， 2012：291-296.

[15]YAN R M， SHAO L， LIU Y. Nonlocal hierarchical dictionary using wavelets for image denoising [J].IEEETransactionsonImageProcessing， 2013， 22(12)： 4689-4698.

[16]LIU Y， LIU S P， WANG Z F. A general framework for image fusion based on multi-scale transform and sparse representation [J].InformationFusion， 2015， 24(7)：147-164.

[17]陳廣秋，高印寒，段錦，等. 基于奇異值分解的PCNN紅外與可見光圖像融合[J].液晶與顯示，2015，30(1)：126-136.

CHEN G Q， GAO Y H， DUAN J，etal.. Fusion algorithm of infrared and visible images based on singular value decomposition and PCNN [J].ChineseJournalofLiquidCrystalsandDisplays， 2015， 30(1)： 126-136.(in Chinese)

[18]WANG Z B， MA Y. Medical image fusion using m-PCNN [J].InformationFusion， 2008， 9(2)：176-185.

[19]ZHANG B H， LU X Q， JIA W T. A multi-focus image fusion algorithm based on an improved dual-channel PCNN in NSCT domain [J].Optik， 2013， 124(20)： 4104-4109.

[20]CHIHIRO I， ZHANG S J， YOKO U，etal.. A novel fusion algorithm for visible and infrared image using non-subsampled contourlet transform and pulse-coupled neural network[C].IEEE-InternationalConferenceonComputerVisionTheoryandApplications(VISAPP)， 2014： 160-164.

[21]CHEN J， ZHANG B， QI Y，etal.. Image edge detection method based on multi-structure and multi-scale mathematical morphology [J].InternationalConferenceonMultimediaTechnology， 2010：1-4.

[22]CUI P， NI L. Joint reconstruction algorithm for distributed compressed sensing [J].InfraredandLaserEngineering，2015， 44(12)：3825-3830.(in Chinese)

[23]張小利，李雄飛，李軍. 融合圖像質(zhì)量評(píng)價(jià)指標(biāo)的相關(guān)性分析及性能評(píng)估[J]. 自動(dòng)化學(xué)報(bào)，2014，40(2)：306-315.

ZHANG X L， LI X F， LI J. Validation and correlation analysis of metrics for evaluating performance of image fusion [J].ActaAutomaticaSinica，2014，40(2)：306-315.(in Chinese)

褚標(biāo)(1967-)，男，安徽懷遠(yuǎn)人，博士，副教授，1990年于安徽師范大學(xué)獲得學(xué)士學(xué)位，2000年、2008年于合肥工業(yè)大學(xué)分別獲得碩士、博士學(xué)位，主要從事圖像處理、CAGD等方面的研究。E-mail： hfgdhbt@163.com

段普宏(1991-)，男，安徽安慶人，碩士研究生，2014年于宿州學(xué)院獲得學(xué)士學(xué)位，主要從事小波分析與應(yīng)用、稀疏表示等方面的研究。E-mail： duanpu hong@126.com

導(dǎo)師簡(jiǎn)介：

殷明(1962-)，男，安徽合肥人，博士，教授，1985年于安徽師范大學(xué)獲得學(xué)士學(xué)位，1991年、2012年于合肥工業(yè)大學(xué)分別獲得碩士、博士學(xué)位，主要從事小波分析與圖像處理等方面的研究。E-mail： ymhfut@126.com

(版權(quán)所有未經(jīng)許可不得轉(zhuǎn)載)

Fusion of infrared and visible images combined with NSDTCT and sparse representation

YIN Ming， DUAN Pu-hong*， CHU Biao， LIANG Xiang-yu

(SchoolofMathematics，HefeiUniversityofTechnology，Hefei230009，China)

*Correspondingauthor，E-mail：duanpuhong@126.com

A novel fusion method of infrared and visible images was proposed based on Non-subsampled Dual-tree Complex Contourlet Transform(NSDTCT) and sparse representation to overcome the shortcomings of traditional image fusion method based on wavelet transform. With the proposed method, morphological transform was used to deal with source images, and then the source images were decomposed by the NSDTCT to obtain the low frequency sub-band coefficients and high frequency sub-band coefficients. According to the different characteristics of the low and high frequency coefficients, an Improved Sparse Representation (ISR) fusion rule was proposed for the low frequency sub-bands; Then, the improved spatial frequency was used as the external input of a pulse coupled neural network, and a fusion method based on the improved adaptive dual channel pulse coupled neural network (2APCNN) was presented for the high frequency sub-bands. Finally, the fused image was obtained by performing the inverse NSDTCT. Experimental results indicate that the proposed method outperforms the conventional image fusion methods in terms of both objective evaluation criteria and visual quality. As compared with conventional NSCT-SR method, the fusion quality indexes, Mutual Information(MI), Mount of edge Information(QAB/F), Average Gradient(AG) and Standard Deviation(SD) have increased by 9.89%, 6.39%, 104.64%, 55.09%, and 9.53%, 17.77%, 95.66%, 52.89%, respectively.

image fusion; infrared image; visible image; Non-subsampled Dual-tree Complex Contourlet Transform(NSDTCT); sparse representation; Adaptive Dual Channel Pulse Coupled Neural Network(APCNN); morphology transform

2016-02-26；

2016-04-25.

國(guó)家自然科學(xué)基金資助項(xiàng)目(No.11172086)；安徽省自然科學(xué)基金資助項(xiàng)目(No.1308085MA09)；安徽省教育廳自然科學(xué)研究重點(diǎn)資助項(xiàng)目(No.KJ2013A216)

1004-924X(2016)07-1763-09

TP391.4

Adoi:10.3788/OPE.20162407.1763