紅外和彩色可見光圖像亮度-對(duì)比度傳遞融合算法

李光鑫，吳偉平，胡 君

（中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，吉林長春130033）

紅外和彩色可見光圖像亮度-對(duì)比度傳遞融合算法

李光鑫，吳偉平，胡 君

（中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，吉林長春130033）

以紅外和彩色可見光圖像為研究對(duì)象，提出了一種基于亮度-對(duì)比度傳遞（LCT）技術(shù)的彩色圖像融合算法。首先借助灰度融合方法將紅外圖像與彩色可見光圖像亮度分量融合，然后用LCT技術(shù)改善灰度融合結(jié)果的亮度和對(duì)比度，最后利用快速YCBCR變換融合策略在RGB空間內(nèi)直接生成彩色融合圖像。文中利用像素平均融合法和多分辨率融合法作為不同的灰度融合措施以分別滿足高實(shí)時(shí)性和高融合質(zhì)量的需求。實(shí)驗(yàn)結(jié)果表明，提出算法的融合結(jié)果不僅具有與輸入彩色可見光圖像相近的自然色彩，而且具備令人滿意的亮度和對(duì)比度，即使采用運(yùn)算簡單的像素平均法進(jìn)行灰度融合，同樣可以獲得良好的融合效果。

彩色圖像融合；亮度-對(duì)比度傳遞；YCBCR變換；紅外圖像；可見光圖像

1 引 言

紅外和可見光圖像融合按輸出結(jié)果的色彩可分為灰度圖像融合和彩色圖像融合。彩色圖像可以為人們提供更多的信息，將源多波段圖像合成為一幅彩色融合圖像可以擴(kuò)大多傳感器系統(tǒng)表達(dá)信息的動(dòng)態(tài)范圍，從而更有利于場景的理解，因此，彩色圖像融合技術(shù)受到了各國學(xué)者的廣泛關(guān)注［1～3］。

現(xiàn)今的傳感器技術(shù)能夠方便地獲取彩色的可見光圖像，在對(duì)紅外和可見光圖像進(jìn)行融合時(shí)，如果能夠充分利用可見光圖像的顏色信息，得到的融合結(jié)果就會(huì)具備可見光圖像的自然顏色特征，從而符合人的視覺感知，增強(qiáng)融合圖像的可辨識(shí)性。 Toet［4］、Blum［5］、Smith［6］等眾多學(xué)者［7，8］對(duì)紅外和彩色可見光圖像的融合進(jìn)行了研究，提出的方法通過顏色變換分離可見光圖像的彩色分量，然后直接利用這些顏色信息構(gòu)筑最終融合圖像的彩色分量，所生成融合圖像的色彩比較自然，接近場景的真實(shí)情況，非常便于人眼觀察。

紅外和彩色可見光圖像融合過程中需要用到灰度圖像融合方法來合并源圖像的信息。為了獲得高質(zhì)量的融合圖像，通常需要用到高計(jì)算復(fù)雜度的灰度融合算法（一般為多分辨率圖像融合方法），使得整個(gè)融合系統(tǒng)變得復(fù)雜，很難滿足實(shí)際系統(tǒng)高實(shí)時(shí)性的需求。眾所周知，像素平均法（即將兩幅輸入圖像相加后除以二）運(yùn)算速度快，可以運(yùn)用到實(shí)時(shí)系統(tǒng)中，但是由于算法本身融合性能差，很難獲得令人滿意的融合效果，因此很少得到人們的青睞。

融合圖像亮度差，特別是對(duì)比度低是像素平均法的主要缺點(diǎn)。為了利用簡單的像素平均法同樣能夠獲得良好的彩色融合效果，本文提出了一種十分簡單的亮度-對(duì)比度傳遞（Luminance-contrast Transfer，LCT）技術(shù)，基于該技術(shù)，結(jié)合提出的快速YCBCR變換融合思路，開發(fā)了一種紅外和彩色可見光圖像的融合方法：基于LCT的彩色圖像融合算法（LCT Based Color Image Fusion Algorithm）。這種方法省去了顏色空間變換過程，直接在RGB空間內(nèi)對(duì)圖像進(jìn)行融合。實(shí)驗(yàn)結(jié)果表明，LCT方法的融合結(jié)果不僅可以保持源彩色可見光圖像的自然色彩，而且還具有令人滿意的亮度和對(duì)比度，即使用像素平均法進(jìn)行灰度融合同樣可以獲得良好的融合效果。

2 快速YCBCR變換融合原理

為了提高融合算法的運(yùn)算速度，本文給出了一種快速YCBCR變換融合策略。YCBCR變換［9，10］是圖像處理領(lǐng)域中較為常用的顏色變換，Y為亮度分量，CB和 CR存儲(chǔ)彩色信息，二者符合色差（Color Difference）模型［11，12］；CB為藍(lán)色差通道，CR為紅色差通道。YCBCR變換可以很容易地將彩色圖像的亮度和顏色信息分離，因此可以借助YCBCR變換完成紅外和彩色可見光圖像的融合。用IR表示源紅外圖像，Vis表示源彩色可見光圖像，利用YCBCR變換對(duì)紅外和彩色可見光圖像進(jìn)行融合的一般思路如下：

（1）將彩色可見光圖像［RVis，GVis，BVis］T變換到Y(jié)CBCR空間，得到可見光圖像的3個(gè)顏色分量YVis，CB，Vis，CR，Vis：

（2）用灰度圖像融合方法將可見光圖像亮度分量YVis和紅外圖像IR融合，得到灰度融合圖像F。

（3）用灰度融合圖像F作為亮度分量，CB，Vis，CR，Vis作為彩色分量，通過YCBCR逆變換得到最終的彩色融合圖像［RC，GC，BC］T：

對(duì)圖像進(jìn)行YCBCR變換需要大量的乘法和加法運(yùn)算，這會(huì)耗費(fèi)融合系統(tǒng)的運(yùn)算時(shí)間。通過

下列推導(dǎo)可以簡化上述的YCBCR變換融合過程：

式（3）表明，在RGB空間內(nèi)，通過對(duì)彩色可見光圖像［RVis，GVis，BVis］T進(jìn)行簡單的加法操作就可以獲得最終的彩色融合圖像［RC，GC，BC］T，這種快速YCBCR變換融合策略省去了顏色空間變換過程，直接在RGB空間內(nèi)完成圖像的融合，有效地降低了算法的復(fù)雜度。

3 亮度-對(duì)比度傳遞技術(shù)

2001年，美國猶他大學(xué)的Reinhard等人［13］通過均值和方差匹配思想提出了一種在兩幅彩色圖像之間進(jìn)行顏色傳遞（Color Transfer）的方法，該方法得到了圖形、圖像處理界眾多學(xué)者的重視。受Reinhard的均值、方差匹配思想的啟發(fā)，本文提出了LCT技術(shù)，用以改善融合圖像的亮度和對(duì)比度。LCT技術(shù)的具體表達(dá)式如下：

式中，F(xiàn)*為調(diào)整后的灰度融合圖像，Ref為灰度參考圖像，（μF，σF）和（μRef，σRef）分別為灰度融合圖像F和灰度參考圖像Ref的均值和方差。

式（4）所示的映射變換使得調(diào)整后的灰度融合圖像具有和參考圖像一樣的均值和方差。均值可以反映圖像的平均亮度，方差可以表示圖像的對(duì)比度，因此經(jīng)過映射變換后，參考圖像的亮度和對(duì)比度特征就會(huì)傳遞到灰度融合圖像中。這樣，只要選取一幅合適的灰度參考圖像，就可以用式（4）所示的方法來改善彩色融合圖像亮度分量的亮度和對(duì)比度，從而提高最終彩色融合圖像的質(zhì)量。由式（4）可以看到，亮度-對(duì)比度傳遞過程中只用到參考圖像的一階（均值）和二階（方差）統(tǒng)計(jì)量，這就表明，在實(shí)際的融合系統(tǒng)中沒有必要存儲(chǔ)一幅真正的圖像，只需要存儲(chǔ)參考圖像的均值和方差兩個(gè)特征參數(shù)。

4 LCT融合算法

結(jié)合LCT技術(shù)和快速YCBCR變換融合策略，本文提出了基于LCT技術(shù)的彩色圖像融合方法。算法步驟如下：

（1）計(jì)算彩色可見光圖像的亮度分量YVis：

（2）用灰度圖像融合方法將可見光圖像亮度分量YVis和紅外圖像IR融合，得到灰度融合圖像F。

（3）用式（4）將灰度參考圖像Ref的亮度和對(duì)比度傳遞給灰度融合圖像F，得到調(diào)整后的灰度融合圖像F*。

（4）將彩色可見光圖像的R，G，B分量分別與（F*-YVis）相加，得到最終的彩色融合圖像［RC，GC，BC］T，如式（3）所示。

可見光圖像亮度分量YVis和紅外圖像IR的灰度融合是LCT方法的重要步驟。除了采用像素平均（Pixel Averaging，PA）融合法以外，本文還利用多分辨率（Multiresolution，MR）融合法來融合YVis和IR。MR法可以將源圖像分解到多個(gè)頻率通道，從而進(jìn)行更為細(xì)致的融合，這種方法可以獲得非常高的融合質(zhì)量，但是其計(jì)算復(fù)雜度遠(yuǎn)高于PA法，不利于實(shí)時(shí)處理。因此，在實(shí)時(shí)性要求高的場合，可以用PA法來完成LCT方法的灰度融合步驟；在對(duì)融合質(zhì)量要求高的場合，可以用MR法來完成。

5 實(shí)驗(yàn)結(jié)果與分析

5.1 融合方法的比較

為了驗(yàn)證LCT融合方法的有效性，本節(jié)將該方法（這里稱 LCT方法）與灰度圖像融合方法（用PA法和MR法對(duì)紅外圖像IR和可見光圖像亮度分量YVis進(jìn)行灰度融合）和不用LCT的彩色圖像融合方法（這里稱為NLCT方法）進(jìn)行比較。其中 NLCT方法與 LCT方法相近，不同的是，NLCT方法不用LCT技術(shù)，直接用灰度融合圖像F與可見光圖像的亮度分量 YVis相減，然后將差值（F-YVis）分別加入到可見光圖像R，G，B 3個(gè)顏色通道來形成最終的彩色融合圖像。采用PA法進(jìn)行灰度融合的LCT方法稱為 P-LCT，采用MR法進(jìn)行灰度融合的LCT方法稱為M-LCT，相應(yīng)地，采用PA法和MR法進(jìn)行灰度融合的NLCT方法稱為P-NLCT和M-NLCT。為了降低紋波現(xiàn)象，實(shí)驗(yàn)中采用基于相關(guān)信號(hào)強(qiáng)度比的加權(quán)多分辨率圖像融合算法［14］進(jìn)行灰度MR融合，用Daubechies的雙正交“5-3”小波［15，16］作為多分辨率分析工具，分解層數(shù)為 4，閾值取 0.75，掩模?。?/16，1/8，1/16}，｛1/8，1/4，1/8}，｛1/16，1/8，1/16}}。

圖1 實(shí)驗(yàn)中所用的參考圖像Fig.1 Reference image used in the experiment

采用圖1所示的灰度圖像作為LCT方法的參考圖像，該圖像是作者用Sony Cybershot DSCF717數(shù)碼相機(jī)在日照充足情況下拍攝的，拍攝地點(diǎn)：吉林大學(xué)南嶺校區(qū)3號(hào)教學(xué)樓南側(cè)；拍攝時(shí)間：2006年5月。選取由英國Octec公司提供的“Octec1”、“Octec2”兩組配準(zhǔn)的長波紅外和彩色可見光圖像作為實(shí)驗(yàn)源圖像。Octec1紅外和彩色可見光圖像分別如圖2（a）和（b）所示，該組圖像在有煙霧障礙情況下拍攝，場景中包括3個(gè)人、一些樹木和樓房。Octec2紅外和彩色可見光圖像分別如圖3（a）和（b）所示，該組圖像在無煙霧障礙情況下拍攝，場景中包括一個(gè)人、一些樹木和樓房。

圖2 各方法對(duì)Octec1圖像的融合結(jié)果Fig.2 Fusion results of Octec1 images obtained by different methods

圖3 各方法對(duì)Octec2圖像的融合結(jié)果Fig.3 Fusion results of Octec2 images obtained by different methods

圖2、圖3分別展示了各方法對(duì)Octec1圖像、Octec2圖像的融合結(jié)果。通過實(shí)驗(yàn)結(jié)果可以得到以下兩個(gè)重要結(jié)論：

（1）同灰度融合方法和NLCT方法相比，LCT方法具有最好的融合效果，其融合圖像既具有與可見光圖像相近的自然色彩，又有良好的亮度和對(duì)比度。

圖2（c）、（d）和圖3（c）、（d）分別展示了灰度融合方法對(duì)Octec1圖像和Octec2圖像的融合結(jié)果。雖然源圖像信息在PA融合圖像和MR融合圖像中得到了不同程度的體現(xiàn)，但是由于灰度動(dòng)態(tài)范圍的限制，無論是對(duì)于PA法還是MR法，瞬時(shí)觀察它們的融合圖像都有一種“模糊一片”的感覺。

圖2（e）、（f）和圖3（e）、（f）分別為NLCT方法對(duì) Octec1圖像和 Octec2圖像的融合結(jié)果。NLCT方法實(shí)質(zhì)是在未經(jīng)過任何處理的灰度融合圖像中直接“灌注”可見光圖像的顏色，因此可以明顯地看到，P-NLCT融合圖像和M-NLCT融合圖像都很好地傳承了可見光圖像的自然色彩。這種色彩雖不能提高融合圖像的亮度和對(duì)比度，但是卻使得圖像場景中的各個(gè)部分更加容易區(qū)分。

圖2（g）、（h）和圖3（g）、（h）分別為用LCT方法對(duì)Octec1圖像和Octec2圖像的融合結(jié)果。同NLCT方法一樣，LCT方法直接用可見光圖像的顏色信息來構(gòu)筑融合圖像的彩色分量，所以PLCT融合圖像和M-LCT融合圖像都很好地保持了可見光圖像的自然色彩。LCT方法用經(jīng)過LCT技術(shù)處理后的灰度融合圖像作為彩色融合圖像的亮度分量，有效地改善了最終融合圖像的亮度和對(duì)比度，可以看到，LCT融合圖像的亮度和對(duì)比度明顯好于NLCT融合圖像。LCT技術(shù)和顏色信息的聯(lián)合運(yùn)用，使得LCT融合圖像具有一種“一目了然”的感覺。

（2）M-LCT方法具有最優(yōu)的融合質(zhì)量，P-LCT方法也能夠取得令人滿意的融合效果。

由圖2和圖3可以明顯地看到，相對(duì)于同組的其他圖像，M-LCT融合圖像（見圖2（h）和圖3（h））突出和表現(xiàn)圖像細(xì)節(jié)的能力更強(qiáng)，無論是對(duì)于Octec1圖像還是Octec2圖像，源多波段圖像中的人、樹木、地面、樓房的細(xì)節(jié)信息在M-LCT融合圖像中都得以清楚、準(zhǔn)確地的再現(xiàn)。彩色圖像融合、LCT、MR融合3種技術(shù)的性能優(yōu)勢在M-LCT融合圖像中得到了充分的展示，但是，這種優(yōu)勢是以犧牲算法復(fù)雜度為代價(jià)的，復(fù)雜的MR融合過程給算法計(jì)算帶來了嚴(yán)重的負(fù)擔(dān)。

LCT技術(shù)的運(yùn)用使得計(jì)算簡單的P-LCT方法也能夠取得良好的融合效果，源圖像中主要的特征信息在P-LCT融合圖像中都得以很好的再現(xiàn)。與P-LCT方法相對(duì)應(yīng)的PA方法和P-NLCT方法中都沒有使用LCT技術(shù)，它們的融合圖像表現(xiàn)源圖像細(xì)節(jié)信息的能力就較弱。PA方法（見圖2（c））、P-NLCT方法（見圖2（e））對(duì)Octec1圖像的融合結(jié)果中最右側(cè)樓房的門窗比較模糊，場景中最右側(cè)的人也不易識(shí)別；PA方法（見圖3（c））、PNLCT方法（見圖3（e））對(duì)Octec2圖像的融合結(jié)果中樹木、樓房和地面的紋理都不清晰，人也不易看得清楚。相比之下，在P-LCT融合圖像（見圖2（g）和圖3（g））中，可以明顯地看到上述信息。

P-LCT方法的融合效果雖然沒有M-LCT方法好，但是，P-LCT方法的融合質(zhì)量也能夠令人滿意。更重要的是，P-LCT方法的計(jì)算復(fù)雜度低，利于實(shí)時(shí)處理。因此，如果沒有特別的需要，實(shí)際工作中沒有必要采用復(fù)雜的M-LCT方法來融合圖像，低計(jì)算復(fù)雜度的P-LCT方法足以滿足大部分情況的需要。

5.2 參考圖像的選取

LCT方法對(duì)灰度參考圖像的要求并不苛刻，對(duì)參考圖像的場景和大小沒有嚴(yán)格的限制，只需要其具有適中的亮度和對(duì)比度。為了說明這一點(diǎn)，本節(jié)結(jié)合3幅不同的參考圖像，用M-LCT方法分別對(duì)Octec1圖像和Octec2圖像進(jìn)行融合，融合結(jié)果如圖4所示。圖4左列為實(shí)驗(yàn)中所用的3幅參考圖像，這3幅圖像均來自于FreeFoto.com網(wǎng)站；與這些參考圖像相對(duì)應(yīng)的融合圖像顯示在中、右兩列，分別為Octec1圖像和Octec2圖像的融合結(jié)果。

由圖4可以看到，所有的融合結(jié)果都傳承了相應(yīng)參考圖像的亮度和對(duì)比度特征。圖4上、中兩行參考圖像的亮度和對(duì)比度都比較適中，因此相應(yīng)的融合圖像都具有良好的視覺效果；下行參考圖像的亮度過高，這種不合適的亮度特征使得下行的融合圖像也過亮，嚴(yán)重地淹沒了圖像中的細(xì)節(jié)信息。

由圖4上、中兩行的圖像可以發(fā)現(xiàn)，不同參考圖像所對(duì)應(yīng)融合結(jié)果的差異不大。因此，在實(shí)際的融合系統(tǒng)中，沒必要隨著輸入圖像的變化來重新設(shè)置參考圖像的均值和方差，只需在系統(tǒng)中存儲(chǔ)一組固定的均值和方差（均值和方差所對(duì)應(yīng)的參考圖像需具有適中的亮度和對(duì)比度）即可完成亮度-對(duì)比度傳遞過程。

圖4 采用不同參考圖像的M-LCT方法的融合結(jié)果左：3幅不同的參考圖像；中：與各個(gè)參考圖像相對(duì)應(yīng)的Octec1圖像的融合結(jié)果；右：與各個(gè)參考圖像相對(duì)應(yīng)的Octec2圖像的融合結(jié)果Fig.4 Fusion results obtained by M-LCT method with different target images Left：three different target images；Middle：fusion results of Octec1 images corresponding to each target image；Right：fusion results of Octec2 images corresponding to each target image

6 結(jié) 論

以紅外和彩色可見光圖像為研究對(duì)象，提出了一種基于LCT技術(shù)的彩色圖像融合算法。該算法產(chǎn)生的融合圖像不僅具有和可見光圖像相近的自然色彩，而且還具備令人滿意的亮度和對(duì)比度，即使采用運(yùn)算簡單的像素平均法進(jìn)行灰度融合同樣可以獲得良好的融合效果。只要光照條件充足，能夠獲得彩色的可見光圖像，結(jié)合LCT方法就可以構(gòu)筑一個(gè)有效的實(shí)時(shí)彩色圖像融合系統(tǒng)。

致謝：Octec公司，F(xiàn)reeFoto.com網(wǎng)站提供了本文的實(shí)驗(yàn)源圖像，特此聲明并表示感謝。

［1］SMITH M I，HEATHER J P.Review of image fusion technology in 2005［J］.SPIE，2005，5782：29-45.

［2］倪國強(qiáng)，肖蔓君，秦慶旺，等.近自然彩色圖像融合算法及其實(shí)時(shí)處理系統(tǒng)的發(fā)展［J］.光學(xué)學(xué)報(bào)，2007，27（12）：2101-2109.NI G Q，XIAO M J，QIN Q W，et al..Development of near natural color image fusion algorithms and real-time image fusion system［J］.Acta Optica Sinica，2007，27（12）：2101-2109.（in Chinese）

［3］金偉其，王嶺雪，趙源萌，等.彩色夜視成像處理算法的新進(jìn)展［J］.紅外與激光工程，2008，37（1）：147-150.JIN W Q，WANG L X，ZHAO Y M，et al..Developments of image processing algorithms for color night vision［J］.Infrared and Laser Eng.，2008，37（1）：147-150.（in Chinese）

［4］TOET A.Color image fusion for concealed weapon detection［J］.SPIE，2003，5071：372-379.

［5］XUE Z Y，BLUM R S.Concealed weapon detection using color image fusion［C］.The 6th International Conference of Information Fusion，Melbourne Australia Jul 8-11，2003：622-627.

［6］DWYER D，SMITH M，DALE J，et al..Real time implementation of image alignment and fusion［J］.SPIE，2005，5813：16-24.

［7］LI G X，WANG K.An efficient natural-looking color fusion method of infrared and visible images［C］.IEEE TENCON 2006，Hong Kong，China Nov 14-17，2006：1-4.

［8］李光鑫，王珂.基于Contourlet變換的彩色圖像融合算法［J］.電子學(xué)報(bào)，2007，35（1）：112-117.LI G X，WANG K.Color image fusion algorithm using the contourlet transform［J］.Acta Electronica Sinica，2007，35（1）：112-117.（in Chinese）

［9］NEELAMANI R，QUEIROZ R de，F(xiàn)AN Z，et al..JPEG compression history estimation for color images［J］.IEEE T.Image Process.，2006，15（6）：1365-1378.

［10］SKODRAS A，CHRISTOPOULOS C，EBRAHIMIT.The JPEG 2000 still image compression standard［J］.IEEE Signal Proc.Mag.，2001，18（5）：36-58.

［11］JACK K.Video Demystified［M］.3rd ed.Eagle Rock，VA：LLH Technology Publishing，2001.

［12］POYNTON C.Digital Video and HDTV，Algorithms and Interfaces［M］.San Francisco：Morgan Kaufmann，2003.

［13］REINHARDE，ASHIKHMIN M，GOOCH B，et al..Color transfer between images［J］.IEEE Comput.Graph.，2001，21（5）：34-41.

［14］李光鑫，徐抒巖.適于圖像融合的快速顏色傳遞方法［J］.光學(xué) 精密工程，2009，9（17）：2301-2310.LI G X，XU S Y.Fast color transfer method for image fusion［J］.Opt.and Precision Eng.，2009，9（17）：2301-2310.

［15］COHEN A，DAUBECHIES I，F(xiàn)EAUVEAU J C.Biorthogonal bases of compactly supported wavelets［J］.Commun.Pur.Appl.Math.，1992，45：485-560.

［16］DAUBECHIES I.Ten Lectures on Waυelets［M］.Philadelphia：SIAM，1992.

Luminance-contrast transfer based fusion algorithm for infrared and color visible images

LI Guang-xin，WU Wei-ping，HU Jun

（Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China）

With the particular research on infrared and color visible images，a color image fusion algorithm based on Luminance-contrast Transfer（LCT）technique is presented.Firstly，the method employs a grayscale fusion approach to fuse the infrared image and the luminance component of the color visible image.Then，it uses the LCT technique to improve the luminance and contrast of the grayscale fused result.Finally，the color fused image is generated directly in the RGB space with the fast YCBCRtransform fusion scheme.Two different strategies which employ the pixel averaging fusion approach and the multiresolution fusion approach as the grayscale fusion solution are proposed to implement the high real-time and high fusion quality，respectively.Experimental results show that the proposed algorithm can produce a color fused image not only with the natural color appearance similar as that of the input color visible image，but with pleasing luminance and contrast，and can also provide a good result even using the pixel averaging scheme to implement the grayscale fusion.Key words：color image fusion；Luminance-contrast Transfer（LCT）；YCBCRtransformation；infrared image；visible image

國家自然科學(xué)基金資助項(xiàng)目（No.60507003）

TP751

A

1674-2915（2011）02-0161-08

2010-12-12；

2011-01-23

李光鑫（1978—），男，吉林長春人，博士，副研究員，主要從事圖像融合、圖像處理等方面的研究。E-mail：guangxin.li@126.com