基于對比度金字塔與雙邊濾波的非對稱紅外與可見光圖像融合

楊九章，劉煒劍，程 陽

（北京理工大學(xué) 仿生機(jī)器人與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100081）

0 引言

在夜間低照度和濃霧等照明條件較差的情況下，可見光圖像難以獲得令人滿意的環(huán)境與目標(biāo)信息。紅外圖像可捕捉到場景熱信息，為解決照明調(diào)節(jié)差的問題提供了一種有效的方法。由于紅外圖像采用的光譜與人眼可感受的光譜不在同一譜段，因而紅外圖像的特征往往不被人類視覺系統(tǒng)所偏好，導(dǎo)致空間細(xì)節(jié)的丟失和非自然的視覺質(zhì)量的問題[1]。紅外和可見光圖像融合目的是利用兩種光譜成像技術(shù)的特性，生成一幅復(fù)合圖像[2]。在復(fù)合圖像中同時(shí)獲得清晰的目標(biāo)熱信息和更符合人類視覺習(xí)慣的背景信息。許多現(xiàn)實(shí)世界中的應(yīng)用包括視頻監(jiān)控、物體檢測和人臉識別均得益于該類融合技術(shù)[3]。近幾年提出的融合方法[4]多數(shù)只是用相同的方法處理可見光與紅外圖像，沒有充分利用兩種圖像的優(yōu)勢與區(qū)分兩者圖像的不同。本文提出融合方法以紅外與可見光圖像本身的優(yōu)勢作為出發(fā)點(diǎn)，差別處理紅外與可見光圖像，在融合圖像中保留可見光的環(huán)境細(xì)節(jié)與紅外圖像的環(huán)境與目標(biāo)信息。

紅外與可見光生成圖像的方法不同，紅外和可見光圖像在同一位置的強(qiáng)度往往具有較大差異。大多數(shù)紅外和可見光圖像的融合算法通過多尺度融合以更加符合人眼視覺[5]。例如，趙立昌等人通過機(jī)器學(xué)習(xí)確定多尺度融合的參數(shù)[6]，融合效果較好，能適應(yīng)多種場景要求，但是該算法通用性較差，對不同場景需要不同的算法模型的問題。崔曉榮等人提出的基于二維經(jīng)驗(yàn)?zāi)B(tài)分解[7]方法雖然能較為明顯的突出目標(biāo)，但是融合后圖像對比度變化較大，不符合人眼視覺。李辰陽等人提出的基于改進(jìn)譜殘差顯著性圖的融合[8]方法通過殘差圖確定雙樹復(fù)小波分解的系數(shù)，融合效果較好，但是較為復(fù)雜，融合結(jié)果受殘差圖顯著性影響較大。

在融合圖像中保留可見光的環(huán)境細(xì)節(jié)與紅外圖像的環(huán)境與目標(biāo)信息，本文先使用多尺度變換方法分解出圖像的高頻信息與低頻信息，通過結(jié)合雙邊濾波器的特點(diǎn)，在分離出的低頻部分對紅外與可見光圖像采用不同的處理方法，可充分利用紅外與可見光的優(yōu)勢，達(dá)到同時(shí)保留紅外圖像的特征信息和可見光圖像的細(xì)節(jié)信息融合效果，在高頻部分使用絕對值取大的方法。

1 雙邊濾波器

雙邊濾波器可以平滑小規(guī)模細(xì)節(jié)的同時(shí)保留強(qiáng)邊緣信息。它通過空間距離和高斯核的組合過濾空間和距離域中的圖像，是一種非線性邊緣保留濾波器[9]。高斯濾波核表示為：

圖像I在點(diǎn)p的雙邊濾波表示為：

式中：σs和σr是標(biāo)準(zhǔn)的空間域距離的高斯標(biāo)準(zhǔn)差；通過距離p－q和強(qiáng)度I(p)－I(q)控制了旁邊點(diǎn)的像素值對當(dāng)前點(diǎn)的影響。

2 對比度金字塔圖像融合

對比度金字塔[10]是一種常用的圖像分解方法，與傳統(tǒng)的拉普拉斯金字塔[11]不同，對比度金字塔每層獲取的信息不是差值信息，而采用更加符合人眼視覺習(xí)慣的比值信息。對比度金字塔將圖像分解為不同的空間頻度，頂層的空間頻度最低，每一層分別記錄了對應(yīng)空間頻度的比值信息。

在融合過程中，根據(jù)金字塔每層信息的不同特點(diǎn)，選擇不同的融合規(guī)則。傳統(tǒng)的融合規(guī)則有加權(quán)平均法[12]，絕對值取大法[13]等。這種對于不同空間頻度的分別處理，使得對比度金字塔圖像融合的效果更加符合人眼視覺。

3 基于對比度金字塔與雙邊濾波的非對稱紅外與可見光圖像融合

首先采用對比度金字塔將圖像分解為高頻與低頻兩部分：①對于低頻部分，即金字塔圖像分解的頂層圖像，采用非對稱的融合方法，即根據(jù)自身特點(diǎn)，對紅外圖像與可見光圖像采用不同的處理方式注入最上層可見光圖像中。②對于高頻部分，即除金字塔頂層以外的其他層圖像，采用經(jīng)典的絕對值取大的方法。具體來說，對于低頻部分，以最上層可見光圖像作為初始圖像。將紅外圖像與可見光圖像自己的特征信息注入最上層的可見光圖像。用雙邊濾波算法分別處理紅外圖像與可見光圖像，由公式(2)與公式(3)獲得紅外與可見光圖像的Ib。在獲得Ib的過程中通過設(shè)置一個(gè)相對較小的σr值可以保留由強(qiáng)邊緣分隔的“大尺度特征”，并刪除由紋理特征主導(dǎo)的精細(xì)尺度細(xì)節(jié)。

此外，Ig(p)是僅通過使用空間高斯gsσ計(jì)算的對應(yīng)高斯濾波圖像，計(jì)算方法為：

其中，Ib與Ig相比，Ib包含某些額外的邊緣信息。因此，分別通過以下減法獲得保留在Ib中去除的精細(xì)紋理細(xì)節(jié)P0和附加的邊緣特征P1：

在原可見光圖像的低頻信息基礎(chǔ)上，將紅外圖像的P0信息加入其中，使原來模糊的邊界變得清晰，將可見光圖像的P1信息加入，可保留更多的圖像細(xì)節(jié)，使得融合圖像保留紅外圖像目標(biāo)特征同時(shí)消除一部分因圖像融合帶來的可見光細(xì)節(jié)信息的減弱。

4 結(jié)果驗(yàn)證

為了驗(yàn)證本文算法的有效性，選取3 組的紅外與可見光圖像進(jìn)行對比，并將本文算法與拉普拉斯金字塔（Laplacian pyramid,LP）、小波融合[14]（wavelet method）、雙樹復(fù)小波變換[15]（dual-tree complex wavelet transform,DTCWT）方法進(jìn)行比較。實(shí)驗(yàn)計(jì)算機(jī)CPU 主頻1.99 GHz，內(nèi)存8 G，實(shí)驗(yàn)軟件平臺MATLAB R2014a。本文中LP、DP、DTCWT 的融合規(guī)則均采用低頻系數(shù)取均值，高頻系數(shù)為局部能量取大的方法，小波變換使用db2 波形。可見光和紅外的源圖像與采用不同方法得到的融合結(jié)果如圖1～圖3。

圖1為House 源圖像的融合結(jié)果，其中圖(a)為紅外圖像，圖(b)為可見光圖像?？梢钥闯黾t外圖像中人物目標(biāo)清晰，但無法分辨樹木、房屋等景物的細(xì)節(jié)信息；而可見光圖像中人物被遮擋，但是可以清楚看到樹木、房屋的細(xì)節(jié)信息。圖(d)、(e)、(f)分別為拉普拉斯金字塔、小波變換與雙樹復(fù)小波變換融合后的圖像?？梢钥闯鰣D(d)左邊模糊，整個(gè)圖像細(xì)節(jié)丟失比較嚴(yán)重；圖(e)的右下角圖像模糊，整個(gè)圖像對比度較低，沒有突顯目標(biāo)特征。圖(f)圖像右邊模糊，房屋邊界不清晰。圖(c)是本文算法獲得的圖像，可以看出融合圖像既有紅外圖像中目標(biāo)突出的優(yōu)勢，也能很好地保留可見光圖像中樹木、房屋的細(xì)節(jié)信息，更加符合人眼視覺。

圖1 House 源圖像融合結(jié)果Fig.1 Fusion results of House source image

圖2為Road 源圖像的融合結(jié)果，其中圖(a)為紅外圖像，圖(b)為可見光圖像，可以看出紅外圖像中路上的人物目標(biāo)清晰，但是道路、樹木、房屋邊界模糊?？梢姽鈭D像中因?yàn)闃淠菊趽蹩床坏饺宋锬繕?biāo)。圖(d)、(e)、(f)分別為拉普拉斯金字塔，小波變換與雙樹復(fù)小波變換融合后的圖像。可以看出圖(d)房屋邊緣模糊，旁邊的樹木細(xì)節(jié)丟失較嚴(yán)重；圖(e)房屋旁邊樹木邊界不清晰，圖(f)圖像上方細(xì)節(jié)丟失嚴(yán)重。圖(c)為本文算法獲得的融合圖像，可以發(fā)現(xiàn)融合圖像既有紅外圖像中目標(biāo)突出的優(yōu)勢，也能很好地保留可見光圖像中樹木、房屋，道路的細(xì)節(jié)信息，更加符合人眼視覺。

圖2 Road 源圖像融合結(jié)果Fig.2 Fusion results of Road image

圖3為Ship 源圖像的融合結(jié)果，其中圖(a)為紅外圖像，圖(b)為可見光圖像，可以看出紅外圖像上方天空邊界明顯，但是船細(xì)節(jié)丟失嚴(yán)重，可見光圖像船身細(xì)節(jié)保持完整，但是天空邊界丟失。圖(d)、(e)、(f)分別為拉普拉斯金字塔，小波變換與雙樹復(fù)小波變換融合后的圖像。可以看出圖(d)上方邊界線較為模糊，圖(e)中船的對比度失真，細(xì)節(jié)丟失嚴(yán)重；圖(f)船身細(xì)節(jié)丟失嚴(yán)重，不符合人眼視覺。圖(c)為本文算法將兩幅圖融合后的結(jié)果，可以發(fā)現(xiàn)融合圖像不僅圖像上方邊界線比其他方法融合得到的圖像更加突出，而且船的細(xì)節(jié)也更加明顯。

圖3 Ship 源圖像融合結(jié)果Fig.3 Fusion result of ship image

根據(jù)以上3 組圖片，通過主觀視覺比較可以看出本文算法在圖像融合的成像質(zhì)量上有著較大優(yōu)勢。為了定量體現(xiàn)本方法的優(yōu)勢，通過客觀參數(shù)指標(biāo)比較本方法和其他算法，結(jié)果如表1所示。從表1中可以看出本文算法在平均梯度（average gradient,AG），信息熵（information entropy,IE），邊緣強(qiáng)度（edge intensity,EI）這3 個(gè)指標(biāo)中均表現(xiàn)更佳，說明由本文算法相比于其他3 種方法，處理所得的融合圖像從原圖像中獲得的信息量最多、擁有更豐富的細(xì)節(jié)特征、圖像邊界更加清晰，與主觀視覺所獲得的結(jié)論相符。

表1 不同融合方法的客觀指標(biāo)對比Table 1 Comparison of objective indicators between different fusion methods

5 結(jié)論

本文提出了一種基于對比度金字塔非對稱雙邊濾波的紅外與可見光圖像融合方法，通過非對稱處理圖像的低頻信息，算法通用性較強(qiáng)，融合后圖像中的目標(biāo)邊界更加突出，保留了更多的圖像信息，提高了圖像的清晰度。同時(shí)進(jìn)行了3 組不同的紅外與可見光圖像的融合實(shí)驗(yàn)，結(jié)果表明該方法與拉普拉斯金字塔、小波融合和雙樹復(fù)小波變換方法相比，融合后的圖像更加清晰，更符合人眼視覺。最后，平均梯度、信息熵、邊緣強(qiáng)度等客觀評價(jià)指標(biāo)也說明本文方法比其他方法更具優(yōu)勢，是一種更為有效的圖像融合算法。