基于熱輻射信息保留的圖像融合算法

錢震龍，陳 波

（西南科技大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，四川 綿陽 621010）

0 引言

如今，紅外熱成像技術(shù)在各領(lǐng)域都得到了很好的運(yùn)用和發(fā)展。紅外圖像的獨(dú)有特征是熱輻射信息，但因其成像原理，紅外圖像難以避免地存在對比度不足、圖像邊緣不明顯、細(xì)節(jié)信息不足等問題?？梢姽鈭D像具有較為豐富的紋理信息和清晰的邊緣，具有較強(qiáng)的對比度，可以很好地與紅外圖像互補(bǔ)。將紅外圖像和可見光圖像的特征信息提取融合，可以得到信息更加豐富的圖像，并能改善單一紅外圖像對人類視覺不友好這一問題，使融合后的圖像不僅有紅外圖像的熱輻射信息，還能體現(xiàn)出可見光豐富的紋理和輪廓。因此，使用合理的圖像信息提取方法來將可見光圖像中的細(xì)節(jié)紋理信息同紅外圖像中的熱輻射信息進(jìn)行結(jié)合，是提升融合性能的關(guān)鍵[1]。

近年來，很多學(xué)者對紅外與可見光圖像融合算法展開了研究并得到了相應(yīng)的成果。常見的圖像融合算法包括以多尺度變換為策略的離散小波變換[2]、平穩(wěn)小波變換[3]、輪廓波變換（Contourlet）[4]、拉普拉斯金字塔變換[5]、非下采樣輪廓波變換（NSCT）[6]、非下采樣剪切波變換（non-subsampled shearlet transform，NSST）[7]，以及近幾年發(fā)展起來的以卷積神經(jīng)網(wǎng)絡(luò)為策略的深度學(xué)習(xí)[8]、自適應(yīng)融合[9]等融合方法。這些方法雖然在紅外與可見光圖像融合上都取得了較好的視覺效果，但由于它們在研究過程中更關(guān)注如何突出顯著目標(biāo)、增強(qiáng)圖像融合對比度及細(xì)節(jié)信息，而忽視了紅外熱輻射信息，故在保留紅外熱輻射信息上并沒有取得顯著的效果，融合后的圖像不能很好地體現(xiàn)出場景熱輻射分布，這將限制紅外與可見光圖像融合技術(shù)在工業(yè)檢測、體表溫度篩查監(jiān)控等社會領(lǐng)域的應(yīng)用。在當(dāng)今世界范圍抗擊新冠病毒疫情中，保留熱輻射信息的紅外可見光圖像融合技術(shù)會是防止疫情擴(kuò)散的一大助力。

針對上述問題，本文提出一種基于熱輻射信息保留的圖像融合算法，利用NSCT變換將圖像分解為高頻和低頻子帶，對低頻部分使用拉普拉斯算子提取特征并進(jìn)行融合，高頻部分使用基于點(diǎn)銳度和細(xì)節(jié)增強(qiáng)的融合規(guī)則進(jìn)行融合，使融合后的圖像不僅具有可見光圖像的細(xì)節(jié)信息，同時還能完好保留紅外圖像整體上的熱輻射強(qiáng)度和分布信息，最后通過逆NSCT 變換得到最終的融合圖像。

1 非下采樣輪廓波變換

NSCT不僅具備Contourlet 變換的多尺度性和各向異性，同時還具有平移不變特性，有效避免了融合中出現(xiàn)的Gibbs現(xiàn)象，確保了融合圖像的質(zhì)量。結(jié)構(gòu)上，NSCT 由非下采樣塔式濾波器組（non-subsampled py ramid filterbank，NSPFB）以及非下采樣方向濾波器組（non-subsampled directionalfilter bank，NSDFB）兩部分組成。NSCT 首先通過NSPFB對圖像進(jìn)行多尺度變換得到多個子帶，再經(jīng)NSDFB對每個子帶進(jìn)行多方向變換，過程如圖1所示。

圖1 NSCT變換示意圖Fig.1 NSCT transf ormation diagr am

非下采樣金字塔（Non-Subsampled Pyramid，NSP）包含分解濾波器{H0(z),H1(z)}和合成濾波器{G0(z),G1(z)}，要使變換能完全重構(gòu)，就需要滿足如下關(guān)系：

NSCT每級分解中使用的分解濾波器都是對前一級分解中的分解濾波器進(jìn)行采樣得到的，采樣用到的矩陣為而NSP變換后，所得到的是和源圖像尺寸一致的1＋k個子帶圖像，即一個低通子帶和多個帶通子帶圖像。式(2)為NSPFB的濾波器數(shù)學(xué)表達(dá)式：

經(jīng)過NSP變換后得到的子帶，進(jìn)一步進(jìn)行l(wèi)級的方向分解，可以得到2l個方向帶通圖像。對分解后的低頻子帶圖像和方向帶通圖像進(jìn)行需要的處理后，再通過逆NSCT變換，可以完成圖像的相關(guān)處理。

2 保留熱輻射信息的融合方法

首先，分別對可見光圖像和紅外圖像進(jìn)行NSCT變換，得到各自的低頻子帶和高頻子帶，然后分別對低頻子帶和高頻子帶采取不同的融合策略進(jìn)行融合。其中低頻子帶使用基于拉普拉斯算子特征提取的方法進(jìn)行融合，高頻子帶通過基于點(diǎn)銳度和細(xì)節(jié)增強(qiáng)的方法進(jìn)行融合，得到所有的融合子帶后，再經(jīng)NSCT反變換，即得到最終的融合圖像。整體的融合框架如圖2所示。

圖2 整體融合框架Fig.2 Integrated framewor k

2.1 基于特征提取的低頻融合

要保留紅外圖像的熱輻射信息，關(guān)鍵是在低頻部分的合成中，盡可能不破壞紅外低頻子帶的整體結(jié)構(gòu)，同時將可見光低頻子帶中的關(guān)鍵結(jié)構(gòu)信息與紅外低頻子帶進(jìn)行融合。現(xiàn)有的低頻子帶融合方法，如平均值融合[10]、基于視覺顯著性融合[11]、加權(quán)平均融合、基于像素特征能量的加權(quán)融合、鄰域特征結(jié)合IDCSCM（improved dual-channel spikingcortical model）融合[12]等方法旨在提高圖像的視覺效果，但都在很大程度上犧牲了紅外圖像的熱輻射信息，無法滿足本文所提到的需求。使用拉普拉斯算子進(jìn)行可見光低頻子帶信息提取，可以使其中的非關(guān)鍵信息值接近零值，減小低頻融合過程中對紅外低頻信息的改變，且因拉普拉斯算子是一個線性、位移不變的算子，經(jīng)算子處理后的子帶具有零平均灰度[13]，確保了低頻部分的融合不會改變紅外低頻子帶的平均灰度，滿足需求。故本文提出一種基于拉普拉斯算子的特征提取低頻融合方法，表達(dá)式如下：

式中：FN為融合子帶；AN為紅外圖像低頻子帶；BN為可見光圖像低頻子帶經(jīng)拉普拉斯特征提取后得到的特征系數(shù)；α為特征增益因子。由式可見，可通過調(diào)整α的大小來擴(kuò)大或減小可見光低頻特征系數(shù)對融合后低頻子帶系數(shù)的作用強(qiáng)弱，其值過小時，融合后圖像的低頻系數(shù)中可見光低頻部分的結(jié)構(gòu)信息體現(xiàn)不足，α過大時會破壞紅外低頻部分的結(jié)構(gòu)信息，影響融合圖像的質(zhì)量和視覺效果。為了使α對于不同圖像都能取得合適的數(shù)值，使用下式進(jìn)行自適應(yīng)取值：

式中：H為輸入圖像I在坐標(biāo)(i,j)處取灰度值；l和w分別為輸入圖像的橫向像素寬度和縱向像素寬度。為了保持紅外圖像低頻部分的平均強(qiáng)度不變，BN還應(yīng)滿足：

為獲取BN，需要對可見光圖像低頻子帶使用拉普拉斯算子進(jìn)行卷積運(yùn)算，以完成作為其特征的邊緣檢測。邊緣檢測是提取圖像特征的可行方法，并已被廣泛應(yīng)用到眾多領(lǐng)域[13]。拉普拉斯算子是一個二階微分算子，相比Sobel和Prewitt 等常用的邊緣檢測算子，拉普拉斯算子無方向性，這一特性使其能對各種方向的邊緣都有相同的增強(qiáng)作用，但其不具備平滑功能，對噪聲響應(yīng)敏感，而圖像的低頻部分相當(dāng)于已對圖像進(jìn)行過低頻濾波，適合采用拉普拉斯邊緣檢測來提取可見光圖像低頻部分的特征。

式(6)為二維拉普拉斯變換的定義[14]：

離散式可表示為：

根據(jù)離散表達(dá)式，可以得到拉普拉斯卷積核的結(jié)構(gòu)：

或：

本文選用式(9)拉普拉斯卷積核，通過與可見光低頻系數(shù)卷積，得到的可見光低頻特征系數(shù)BN不僅能反映出可見光低頻部分的紋理變化程度，同時能在一定程度上體現(xiàn)出其明暗分布信息。

得到的BN并不能直接用于低頻融合運(yùn)算中，還需經(jīng)過中心化和歸一化，再按照融合規(guī)則進(jìn)行低頻融合。中心化和歸一化分別如下所示：

2.2 基于點(diǎn)銳度的高頻融合

因低頻融合部分是以保留熱輻射整體信息為前提，故不可避免地會導(dǎo)致融合后的圖像在局部輪廓和邊緣上的對比度有所下降，為此需要一種帶細(xì)節(jié)增強(qiáng)的高頻融合以進(jìn)行圖像質(zhì)量損失補(bǔ)償。對此，本文提出一種基于點(diǎn)銳度[15]與細(xì)節(jié)增強(qiáng)的高頻融合規(guī)則，其中點(diǎn)銳度的數(shù)值大小能反映出鄰域灰度相對于中心點(diǎn)灰度的變化程度，其值越大，則表明局部變化越劇烈，圖像也越清晰，可作為融合度量。算法表達(dá)式如下：

式中：FKL為融合后NSCT變換第K層的L方向上的高頻子帶；AKL與BKL為同層同方向的紅外與可見光高頻方向子帶；i，j為子帶系數(shù)矩陣中的坐標(biāo)，G為本文的高頻融合算法。算法首先需要對AKL和BKL計算點(diǎn)銳度：

式中：m，n為子帶系數(shù)矩陣中局部范圍的長和寬；df為像素灰度變化幅值；dx為單位像素距離增量，可以看出，求取某點(diǎn)的點(diǎn)銳度即是在以該點(diǎn)為中心的鄰域范圍內(nèi)，對鄰域點(diǎn)與中心點(diǎn)作差，對差值取絕對值后進(jìn)行加權(quán)均值運(yùn)算，本文使用各點(diǎn)到中心點(diǎn)的距離作為權(quán)值高低依據(jù)，即距離中心點(diǎn)越近，權(quán)值越大。根據(jù)計算出的點(diǎn)銳度，采取以下高頻方向子帶融合規(guī)則：

式中：β為融合增益因子，其增益比重參照紅外和可見光高頻方向子帶在局部細(xì)節(jié)變化程度的相似程度來定值，其計算方式為：

可以看出，當(dāng)紅外高頻子帶與可見光高頻子帶的點(diǎn)銳度相似時，會有較大的融合增益，即對融合后圖像的主要輪廓進(jìn)行增強(qiáng)，對細(xì)節(jié)紋理進(jìn)行適量補(bǔ)足，以增強(qiáng)視覺效果，確保融合后的圖像質(zhì)量。

3 實(shí)驗結(jié)果與分析

為驗證所提出的融合算法的效果，本文將對融合后的圖像質(zhì)量和對紅外圖像信息的保留程度兩方面進(jìn)行算法對比實(shí)驗，對實(shí)驗結(jié)果的分析評價則從主觀和客觀兩方面進(jìn)行評價，并在對比實(shí)驗后對紅外源圖像和融合圖像進(jìn)行偽彩色實(shí)驗，以驗證算法的實(shí)際可行性。

對比實(shí)驗數(shù)據(jù)均取自TNO數(shù)據(jù)集，選擇小波變換（discrete wavelet transform，DWT）、非下采樣輪廓波變換（NSCT）、拉普拉斯金字塔變換（laplacian pyramid，LP）、非下采樣輪廓波變換同脈沖耦合神經(jīng)網(wǎng)絡(luò)結(jié)合（non-subsampled contourlet transform-pulse coupled neural network，NSCT-PCNN）4種圖像融合算法進(jìn)行對比實(shí)驗，偽彩色實(shí)驗數(shù)據(jù)使用取自實(shí)驗室的數(shù)據(jù)集，以上實(shí)驗均在MATLABR2015b中進(jìn)行，操作系統(tǒng)為Windows10，CPU為IntelCore i5-7200U，內(nèi)存8GB。

3.1 對比實(shí)驗

3.1.1 主觀評價

通過直觀的視覺感受對圖像融合的質(zhì)量優(yōu)劣進(jìn)行評判，是圖像評價中一種重要的參考，圖像作為視覺信息，其好壞最終將反饋給人的視覺，這種直觀判斷也是圖像分析的重要方法之一。圖3、4、5、6是各種不同算法的融合結(jié)果。

圖3 Kaptein_1123的融合結(jié)果Fig.3 Fusion results of Kaptein_1123

圖5 MMeting003 的融融合結(jié)果Fig.5 Fuusion results of Meting003

圖6 MManinhuis 的融融合結(jié)果Fig.6 Fuusion results of Maninhuis

可以看出出，幾種融合合方法都在不同程度上融合合了可可見光細(xì)節(jié)，整體上看，除本文的方法外，其它方方法視視覺上給人的的映像更加偏偏向于可見光圖像，從細(xì)節(jié)節(jié)上看看，DWT 和LLP 的可見光光細(xì)節(jié)部分融融合得較多，但但高熱熱源對象的熱熱輻射整體體強(qiáng)度明顯降降低，NSCTT 和NNSCT-PCNN的高熱源對對象熱輻射信息變化不大，，但對對偏向于背景景的低熱源部部分的熱輻射射進(jìn)行了大幅幅改變變，而從本文文提出算法得得到的圖像可以明顯看出，，其局局部和整體熱熱輻射強(qiáng)度與與紅外圖像的熱輻射強(qiáng)度高高度一一致，相較于于紅外圖像的的細(xì)節(jié)不足，所提方法融合合得到到的圖像很好好地將可見光光圖像的紋理細(xì)節(jié)與結(jié)構(gòu)同紅外外圖像融合，并并具有可見光光圖像中的立立體感和層次次感，很很大程度上改改善了視覺效效果，同時基本保持了紅外外圖像像所具有的熱熱輻射強(qiáng)度和和分布，而其它幾種算法對對熱輻輻射信息的保保留明顯不足足，體現(xiàn)出本算法的優(yōu)越性性。

3.1.2 客觀評評價

為客觀評評估各算法的的性能，本文文選用平均梯梯度（aveerage gradiennt，AG）、信信息熵（entroopy，EN）、空間頻頻率（spatial frequency，SF）對各算算法的圖像融融合質(zhì)量量進(jìn)行考量，用結(jié)構(gòu)相似似性（structuual similarityy，SSIMM）、互信息息（mutual infformation，MMI）、視覺信息保真真度（visualinformation ffidelity，VIFF）考量融合后圖像像與源紅外圖圖像的近似程程度，總計6項評價指標(biāo)標(biāo)對融合合效果進(jìn)行客客觀評價。其其中，AG可可反映圖像細(xì)節(jié)和紋紋理的變化程程度，EN 表表明圖像中信信息量的大小，SF能能體現(xiàn)圖像在在頻率上的信信息豐富的程程度，SSIM是對處處理后的圖像像相較處理前前圖像的失真真程度和損失進(jìn)行評評估，MI 可衡衡量兩變量間間的依賴性，用來度量融融合圖像像與源紅外圖圖像在灰度分分布上的相似似程度，VIF是基于于人類視覺失失真模型的一一種判據(jù)。以以上6 種指標(biāo)標(biāo)在數(shù)值值上越大，則則圖像的融合合質(zhì)量越好。表1和表2分別對對應(yīng)圖3、圖44的評價指標(biāo)標(biāo)數(shù)值，表3為為從TNO（TThe TNOO Image Fussion Dataset））中抽取10組紅外和可可見光源源圖像進(jìn)行融融合后得到的的指標(biāo)算數(shù)平平均值。

圖4 Kaamtein_1654的的融合結(jié)果Fig.4 Fusiion results of Kamtein_1654

表1 圖3各算法評評價指標(biāo)Table 1 Fig.3 Evvaluation indexees of each algorrithm

表2 圖4各算法評評價指標(biāo)Table 2 Fig.4 Evvaluation indexees of each algorrithm

表3 平均評價指標(biāo)Table 3 Average evaluation indexes

從評價指標(biāo)數(shù)據(jù)中可以看出，本文算法在AG、SF上占優(yōu)，表明得到的融合圖像在細(xì)節(jié)上的清晰度和紋理的豐富度上優(yōu)于其它算法；SSIM 和MI 則反映出本文算法對紅外圖像熱輻射信息的保留程度大于其它對比算法。雖然在EN 上不如NSCT 和NSCT-PCNN，但它們是以破壞紅外熱輻射整體結(jié)構(gòu)信息為代價得到的，而NSCT-PCNN 在圖4指標(biāo)和平均指標(biāo)中的VIF上高于本文算法，但由于VIF 對圖像的結(jié)構(gòu)信息沒有反映，單憑此項無法說明NSCT-PCNN 對紅外熱輻射保留程度高于本文。因此，綜合各評價指標(biāo)來看，本文所提出的融合算法是更加有效的。

3.2 偽彩色實(shí)驗

使用實(shí)驗室的紅外熱像儀進(jìn)行紅外圖像采集，成像溫寬會根據(jù)場景自動調(diào)節(jié)。由圖7、圖8可見，紅外圖像與融合圖像均能在視覺上反映出熱輻射分布信息，相較于紅外圖像，融合圖像融合了可見光細(xì)節(jié)信息，在保留熱輻射分布信息的基礎(chǔ)上，帶來了更好的視覺體驗，證明了本文算法的可行性。

圖7 偽彩色效果圖AFig.7 Pseudo-color rendering A

圖8 偽彩色效果圖BFig.8 Pseudo-color rendering B

4 結(jié)論

對于現(xiàn)有融合算法無法很好地保留紅外圖像熱輻射這一問題，本文提出了一種基于熱輻射保留的紅外與可見光圖像融合算法，使用NSCT 將圖像分解為高頻部分和低頻部分，并將拉普拉斯算子和點(diǎn)銳度分別應(yīng)用到低頻和高頻融合中，且在高頻融合過程中作適當(dāng)增強(qiáng)予以補(bǔ)償視覺損失，最后通過逆NSCT 得到融合圖像。融合后的圖像不僅很好地保留了紅外熱輻射信息，還具有清晰的細(xì)節(jié)輪廓，相較LP 算法在AG、SF 上分別提高了18.32%和15.10%，確保了融合圖像的質(zhì)量，且在偽彩色變換后具有良好的視覺體驗，驗證了本文算法的可行性，為拓寬紅外可見光圖像融合技術(shù)的應(yīng)用范圍提供了依據(jù)。