張 慧, 常莉紅, 馬 旭, 朱 樂

(寧夏師范學(xué)院 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院, 寧夏 固原 756099)

紅外視頻圖像[1-2]一般采用熱成像原理, 因而該類圖像在拍攝時(shí)對(duì)光線的要求較低, 多數(shù)應(yīng)用場景在夜間, 但所獲得的信息大部分為背景信息, 對(duì)比度較低.可見光成像獲得的圖像具有較高的分辨率、 較詳實(shí)的紋理信息和圖像細(xì)節(jié)成分, 但易受光照條件以及天氣環(huán)境因素的干擾.因此, 將紅外視頻圖像與可見光圖像相融合可彌補(bǔ)彼此的不足[3], 在軍事、 監(jiān)控、 安防及醫(yī)療領(lǐng)域應(yīng)用前景廣闊.

目前, 紅外與可見光圖像融合方法可分為基于空域的融合方法和基于變換域的融合方法兩種[4].近年來, 基于變換域的融合方法被廣泛關(guān)注, 尤其是多尺度的紅外與可見光圖像的融合方法取得了較好成果[5-8].但由于可見光受光線、 天氣等因素的影響, 成像會(huì)模糊不清, 而利用多尺度的紅外與可見光的融合方法解決該問題的研究報(bào)道較少, 本文提出一種基于曲波變換與引導(dǎo)濾波的可見光圖像內(nèi)容增強(qiáng)融合方法.首先利用引導(dǎo)濾波對(duì)融合前的可見光圖像中較暗區(qū)域的每個(gè)原始細(xì)節(jié)進(jìn)行增強(qiáng); 然后利用曲波變換分解可見光與紅外線的圖像, 分別獲得其低頻部分與高頻部分; 在處理低頻部分融合時(shí)不再采用傳統(tǒng)的平均融合規(guī)則, 而是在增強(qiáng)后的基礎(chǔ)上取系數(shù)最大值, 以防止融合后圖像損失或?qū)Ρ榷认陆? 提高融合后的效果; 在高頻部分仍采用絕對(duì)值取大的融合規(guī)則；最后將融合后的結(jié)果利用曲波變換的逆變換獲取融合的最終圖像.

1 脊波變換與曲波變換

1.1 脊波變換

φa,b,θ(x)=a-1/2φ[(x1cosθ+x2sinθ-b)/a],

(1)

函數(shù)f(x)的脊波變換可定義為

(2)

其重建公式為

(3)

1.2 曲波變換

曲波變換的本質(zhì)是在小波分解基礎(chǔ)上局部多尺度脊波變換的組合, 其基本思想是首先對(duì)圖像做小波變換, 將其分解為一系列不同尺度的子帶信號(hào), 得到圖像的低頻部分和高頻部分; 然后對(duì)每個(gè)子帶信號(hào)再做局部脊波變換, 得到圖像的曲波域數(shù)據(jù).脊波變換的特點(diǎn)是可有效地表達(dá)圖像中的直線邊緣, 該特性使曲波變換對(duì)圖像的平滑部分和邊緣部分提供稀疏表達(dá), 使對(duì)應(yīng)邊緣的大系數(shù)在實(shí)施變換過程中傳播受到限制, 具有能量集中的效果, 從而達(dá)到保護(hù)邊緣和細(xì)節(jié)的目的.并且曲波變換具有很強(qiáng)的方向性, 能提供更多的源圖像信息, 使最終融合效果更理想.

2 引導(dǎo)濾波

引導(dǎo)濾波是一種在輸出過程中引導(dǎo)圖像進(jìn)行局部線性變換的邊緣保持濾波器.引導(dǎo)濾波的優(yōu)勢(shì)在于不僅能保持圖像邊緣的平滑, 而且能增加細(xì)節(jié), 同時(shí)也適用于低頻部分的融合規(guī)則.

給定待濾波圖像P, 引導(dǎo)濾波將輸出圖像O, 引導(dǎo)圖像假設(shè)為I, 由文獻(xiàn)[7]給出的線性變換如下：

oi=ckIi+dk, ?i∈ωk,

(4)

其中ωk是以像素k為中心的一個(gè)正方形鄰域窗, 本文取3×3.為了確定式(4)中的系數(shù)(ck,dk), 引入最小化代價(jià)函數(shù)表示待濾波圖像P與引導(dǎo)濾波將輸出圖像O之間的差異：

(5)

其中ε是為了防止ck過大的正則化參數(shù).

對(duì)式(5)進(jìn)行線性回歸求解, 得

(6)

dk=pk-ckμk,

(7)

(8)

為了增強(qiáng)較暗光線下可見光圖像的夜視背景, 文獻(xiàn)[7]給出了一種有效的方法----基于方向?qū)Рǖ母邉?dòng)態(tài)范圍壓縮的圖像增強(qiáng)方法.為方便描述, 本文記方向?qū)Рㄋ阕訛镚Fr,ε(·),r和ε是關(guān)于導(dǎo)波尺寸和保護(hù)圖像邊緣程度的參數(shù), 則算法基本步驟如下：

1)對(duì)輸入圖像I先利用方向?qū)Рㄋ阕舆M(jìn)行分解得到基礎(chǔ)層Ib=GFr,ε(I)；

(9)

(10)

(11)

圖1 兩組可見光圖像的增強(qiáng)結(jié)果

3 基于曲波變換的融合算法

基于曲波變換的融合算法流程如圖2所示.

圖2 基于曲波變換的融合方法流程

步驟1)利用引導(dǎo)濾波增強(qiáng)可見光圖像, 增強(qiáng)過程如下：對(duì)可見光圖像O1利用式(9)對(duì)較暗區(qū)域中每個(gè)原始細(xì)節(jié)進(jìn)行增強(qiáng), 將增強(qiáng)后的圖像記為O1E.

步驟2)利用曲波變換對(duì)增強(qiáng)的可見光圖像O1E和紅外線圖像O2進(jìn)行融合：

① 對(duì)源圖像O1E和O2利用曲波變換分解, 得到分解后的低頻分量{LO1E,LO2}和一系列高頻分量{HO1E,HO2};

② 低頻分量融合準(zhǔn)則采用取最大系數(shù)法：Lf=max{LO1E,LO2}, 其中Lf是融合的低頻分量系數(shù);

③ 高頻分量的融合準(zhǔn)則.根據(jù)文獻(xiàn)[8]的理論分析, 在曲波變換分解后的高頻分量上仍采用傳統(tǒng)的基于局部區(qū)域最大值法的融合規(guī)則對(duì){HO1E,HO2}進(jìn)行融合, 即以每個(gè)像素k為中心的一個(gè)正方形鄰域窗中取絕對(duì)值最大值所對(duì)應(yīng)的像素值為融合圖像的值, 本文窗口塊的選擇大小為3×3, 融合的高頻部分記為Hf.

步驟3)對(duì)Lf和Hf利用曲波變換的逆變換得到最終的融合圖像If.

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文方法的可行性與融合效果, 對(duì)10組典型的紅外與可見光圖像進(jìn)行融合實(shí)驗(yàn), 并將實(shí)驗(yàn)結(jié)果與其他5種圖像融合方法的實(shí)驗(yàn)結(jié)果進(jìn)行比較.對(duì)比融合方法分別是金字塔變換(LP)方法、 雙樹復(fù)小波變換(DTCWT)方法、 非下采樣輪廓波變換(NSCT)方法、 小波變換(DWT)方法、 曲波變換(CVT)方法及本文基于增強(qiáng)的曲波變換(CVTE)方法.所有尺度分解都選用4層分解.測(cè)試圖如圖3所示, 其中第一行圖片是可見光圖像, 第二行圖片是同一場景中的紅外線圖像.

圖3 測(cè)試圖像

4.1 融合后的目視效果

圖4為Leaves紅外與可見光源圖像的融合實(shí)例.由圖4可見: 可見光圖像的樹葉信息較完整, 但目標(biāo)對(duì)比度較低；紅外光圖像目標(biāo)信息較清晰, 但樹葉的對(duì)比度較低; 幾種融合方法都實(shí)現(xiàn)了紅外源圖像和可見光源圖像的融合, 但在目視效果上具有一定的差別.DWT方法、 CVT方法和DTCWT方法得到的融合圖像中, 目標(biāo)不太清晰, 樹葉的對(duì)比度較高; LP方法與NSCT方法融合結(jié)果的樹葉對(duì)比度較低, 樹葉紋理不細(xì)致; 本文方法所得融合結(jié)果中樹葉的對(duì)比度更高, 目標(biāo)及樹葉的信息更完整準(zhǔn)確, 尤其是6組圖片中分別用紅色矩形框中所標(biāo)注的區(qū)域, 兩根白色的管子, 在本文方法所得融合圖像中最清楚.圖5為Queen’s Road紅外與可見光源圖像的融合實(shí)例.由圖5可見: 在可見光圖像中, 廣告牌較清晰, 其他細(xì)節(jié)非常模糊；紅外線圖像能反映出行人、 車輛、 燈的部分細(xì)節(jié), 但廣告牌模糊不清；利用6種不同的融合方法所得的結(jié)果存在差異.LP方法與NSCT方法融合結(jié)果中廣告牌清晰, 但是行人和路燈較模糊；DTCWT方法與DWT方法融合后廣告牌清晰, 行人與路燈較清晰, 但路面輪廓模糊；CTV方法中交通指示燈模糊, 行人也較模糊；本文CVTE方法融合后的效果非常好, 不僅廣告牌清晰可見, 且廣告牌下的柵欄、 廣告牌旁邊的建筑物也清楚可見(在其他融合效果圖中均看不到), 馬路輪廓清晰, 包括正在騎行的人都非常清楚, 尤其是紅色矩形框區(qū)域, 建筑物的輪廓和造型在各融合圖像中最清晰.

圖4 不同方法對(duì)Leaves圖像的實(shí)驗(yàn)結(jié)果

圖5 不同方法對(duì)Queen’s Road圖像的實(shí)驗(yàn)結(jié)果

4.2 圖像質(zhì)量評(píng)價(jià)指標(biāo)

為更客觀地評(píng)價(jià)融合的效果, 本文采用5種常見的融合指標(biāo)對(duì)各融合方法進(jìn)行客觀質(zhì)量評(píng)價(jià).5種融合指標(biāo)分別為度量圖像中信息豐富程度的熵(entropy, EN)、 度量融合圖像中結(jié)構(gòu)信息的標(biāo)準(zhǔn)偏差(standard deviation, SD)、 度量保留源圖像信息量的互信息(mutual information, MI)[9]、 基于結(jié)構(gòu)相似度的梯度評(píng)價(jià)指標(biāo)QG[10]及描述圖像邊緣信息的相位一致性度量指標(biāo)QP[11].在評(píng)價(jià)過程中, 這些評(píng)價(jià)指標(biāo)的數(shù)值越大表明融合效果越好.

表1列出了對(duì)圖3中圖片經(jīng)不同融合方法后客觀評(píng)價(jià)指標(biāo)的結(jié)果.通過分析表1中數(shù)據(jù)可見, 本文給出的融合方法在處理細(xì)節(jié)、 邊緣以及在保留源圖像的信息方面效果均較好.

綜上所述, 本文提出了一種基于多尺度分解的紅外線與可見光的圖像融合方法.首先利用引導(dǎo)濾波對(duì)可見光的圖像進(jìn)行增強(qiáng), 然后利用曲波變換對(duì)圖像進(jìn)行分解, 高頻與低頻部分分別采用絕對(duì)值最大法和系數(shù)最大法的融合規(guī)則, 最后利用曲波逆變換得到融合圖像.通過實(shí)驗(yàn)及其數(shù)據(jù)分析可知, 該方法在細(xì)節(jié)處理、 保護(hù)邊緣及保留源圖像信息上都有一定的優(yōu)勢(shì), 在視覺方面取得了較好的效果.

表1 不同方法融合的指標(biāo)

續(xù)表1