基于分割與增強方法的紅外與微光圖像融合

徐敏

摘要摘要：為更好地保留原始紅外圖像的目標信息，挖掘更多微光圖像的細節(jié)信息，提出一種結合分割紅外圖像與增強微光圖像的融合方法。首先對原始紅外圖像進行二維最大熵法分割以提取紅外目標信息，對原始微光圖像進行Zadeh變換以增強其細節(jié)信息，依據紅外分割圖，將增強后的微光圖像與原始紅外圖像進行一次融合；然后，在非下采樣contourlet變換（NSCT）域，對原始紅外圖像、微光圖像和一次融合后的圖像進行二次融合，得到最終融合圖像。通過試驗對比，所提出的二次融合方法得到的融合圖像視覺效果明顯優(yōu)于其它方法。最后，利用多個指標進行客觀評價。結果顯示，該方法可有效突出目標信息，提高圖像清晰度與對比度，挖掘更多細節(jié)信息。

關鍵詞關鍵詞：紅外圖像；微光圖像；二維最大熵；zadeh 變換；二次融合；NSCT

DOIDOI：10.11907/rjdk.162352

中圖分類號：TP317.4文獻標識碼：A文章編號文章編號：16727800（2017）001017004

圖像融合就是利用多傳感器提供的冗余數據與互補信息進行處理，獲得一幅對同一場景目標更為準確與細節(jié)更具視覺效果的圖像[1]。紅外與微光圖像融合作為圖像融合中的一個重要分支，盡可能地保留原始數據信息，不產生臆造虛假信息，以對目標與場景進行合理的綜合描述。目前，該技術在智能交通、安全監(jiān)控、人類視覺輔助等領域得到廣泛應用[24]。

任何一種傳感器都有其自身的局限性，不能全面捕捉場景信息，紅外或微光傳感器也不例外。為了較好的結合兩者成像優(yōu)勢，許多學者做了大量研究，提出了很多融合方法，如拉普拉斯融合法、小波變換法、curvelet變換法、contourlet融合法、非下采樣contourlet法、shearlet等[58]，這些方法均屬于多尺度分解的方法，將原始圖像分解為低頻系數與高頻系數，并分別對其采用不同的融合規(guī)則進行融合，均能實現(xiàn)較好的融合，但未能較好地保留圖像的原始信息，尤其針對光照不足或者目標隱蔽等情況，容易出現(xiàn)目標丟失或不明顯，不能較好理解場景。為此，近年來，人們提出了其它融合方法[911]，以較好提取目標或挖掘更多深度細節(jié)信息。文獻[12]結合壓縮感知原則進行融合，縮短了融合時間且融合圖像較具視覺效果，但目標突出不明顯。李樹濤等[13]提出了基于平均濾波器，將原始圖像分解為基層與細節(jié)層，并利用引導濾波器構造權重圖，依權重圖加權融合，該方法可以實現(xiàn)快速融合，具有較好細節(jié)表現(xiàn)力，但針對紅外與微光的融合圖像對比度較差。文獻[14]提出結合引入了局部直方圖均衡化增強紅外與微光圖像，并用中值濾波進行去噪，融合較快且細節(jié)突出，但目標不顯著。邢素霞等[15]提出了Renyi熵分割紅外圖像提取目標，采用非下采樣 contourlet 變換（NSCT）域增強微光圖像低頻分量方法進行融合，亮度較好，但其增強過程中圖像的細節(jié)信息稍弱。

以上方法均能實現(xiàn)不同圖像信息之間的冗余互補，對比度或清晰度得到了一定程度提高，但不能較好兼顧對比度與清晰度。為了同時達到對比度增強與提高清晰度的目的，本文提出一種分割紅外圖像，增強微光圖像，將分割目標圖像與增強后的微光圖像進行融合，本文稱為一次融合。為有效防止圖像分割不完整與過增強，在NSCT域將一次融合圖像與原始紅外和微光圖像進行融合，本文稱為二次融合，以保留較多原始信息，視覺效果更好的目的。

2分割紅外圖像與增強微光圖像

2.1二維最大熵分割紅外圖像

熱目標是紅外圖像的重要信息，為較好突出紅外目標，本文引用二維最大熵閾值[16]分割紅外圖像，提取目標信息。

由于待分割紅外圖像目標域與背景域概率分布都不相同，采用灰度—區(qū)域灰度均值的后驗概率對各區(qū)域的發(fā)生概率進行歸一化處理。設初始圖像的分割值為（s，t）、 背景區(qū)域概率與目標區(qū)域的概率分別為pB和pO，則有：

2.2Zadeh變換增強微光圖像

微光圖像含細節(jié)紋理信息，其場景較暗，對比度不明顯，為使融合有更多細節(jié)信息，對微光圖像進行增強。傳統(tǒng)方法有直方圖均衡化、灰度拉伸等，但處理后動態(tài)效果不明顯，且過多增強了圖像的噪聲。本文選取Zadeh變換[17]進行增強。

該算法引入了生物特性，以考慮人眼接收圖像信息為出發(fā)點，具體實現(xiàn)如下：

4試驗結果與分析

為驗證本文融合算法的有效性和正確性，實驗基于MATLAB平臺，對兩組已完全配準的紅外與微光原始圖像（其大小均為256×256）選至圖片庫。圖2（a）、（b）為第一組，圖2（a）紅外圖像中可看到清晰的人物，微光圖像圖2（b）中可以清晰看到道路、山坡、灌木和柵欄等景物；如圖3（a）、（b）為第二組，圖3（a） 紅外圖像中可以辨識人物、船體及其它細小目標，微光圖像圖3（b）可清晰看到船體、天空等景物。4.1融合步驟

融合算法流程，以圖2（a）、（b）作為原始圖像如圖1所示。其中，圖1（c）為利用最大熵分割得到的背景圖，可以看到清晰的人物；采用Zadeh變換得到的增強后的圖像圖1（d），對比度提高，可見更多細節(jié)信息，如可清晰看到人物旁邊的柵欄；圖1（e）為圖1（c）與圖1（d）融合得到的一次融合圖像，其對比度明顯提高，而且看到確定的人物目標以及更為清晰的細節(jié)信息；圖1（f）為圖1（a）、圖1（b）與圖1（e）三者在NSCT域下融合得到的二次融合圖像，它是對圖1（e）進行一個二次處理，雖然與圖1（e）相比，其對比度有所下降，但其細節(jié)更為清晰，包含更多有用信息。

為加強對照試驗，本文采用4種方法對一次融合、二次融合得到的圖像進行效果驗證。圖2（c）～（d）與圖3（c）～（d）分別為采用bior97小波變換、NSCT的圖像融合結果，融合規(guī)則均為低頻加權平均與高頻絕對值取大，分解層數均為4層，稱為小波方法、NSCT方法；圖2（e）與圖3（e）為文獻[13]中方法，簡稱GF方法；圖2（f）與圖3（f）為文獻[15]中方法，簡稱Renyi熵法；圖2（g）與圖3（g）為對紅外最大熵分割，微光圖像zadeh變換增強，融合得到的融合圖像，簡稱一次融合；圖2（h）與3（h）為二次融合算法，簡稱二次融合。

4.2實驗結果與主客觀評價

由圖2分析可知，圖2（c）中柵欄模糊，細節(jié)丟失嚴重；圖2（d）清楚看到細節(jié)信息，但對比度較差；圖2（e）圖像目標明顯，但細節(jié)信息不清晰，整體不自然； 由圖3分析可知，圖3（c）目標船只周圍重影明顯，整體效果較為模糊；圖3（d）整體效果較好，但對比度一般；圖3（e）中船只不自然，細節(jié)信息不突出；圖3（f）圖像亮度過亮，淹沒了一些細小目標；圖3（g）有較好的視覺效果，但細小目標丟失嚴重；圖3（h）細節(jié)信息較為清晰，目標明顯，整體效果較好。可以看出，本文提出的方法得到的融合圖像具有更好的視覺效果。

為了進一步驗證本文所提方法的有效性，本文采用清晰度（C）、平均梯度（AG）、空間頻率（SF） 3個評價指標對各種方法進行評價，評價結果如表1。從表1可以分析出，本文所提方法得到更大的清晰度值、平均梯度值與空間頻率值，這與主觀評價結果相一致，本文提出的方法最優(yōu)。

參考文獻：

[1]潘瑜，鄭鈺輝，孫權森，等.基于PCA和總差變模型的圖像融合框架[J].計算機輔助設計與圖形學學報， 2011， 23（7）： 259266.

[2]JAMAL S， KARIM F. Infrared and visible image fusion using fuzzy logic and populationbased optimization[J]. Applied Soft Computing， 2012（12）：10411054.

[3]BAI X Z， ZHOU F G， XUE B D. Fusion of infrared and visual images through region extraction by using multi scale centersurround tophat transform[J]. Optics Express， 2011，19（9）： 84448457.

[4]BRANDON M，ISMAIL B A，MAX W，et al.Spine image fusion via graph cuts[J]. IEEE Transaction on Biomedical Engineering， 2013，60（7）： 18411850.

[5]JEESE S， MICHAEL A PUSATERI. Laplacian based image fusion[C]. Applied Imagery Pattern Recognition Workshop（AIPR）， 2010：17.

[6]YONGHYUN K， CHANGNO L， DONGYEOB H，et al.Improved additivewavelet image fusion[J]. IEEE Geoscience and Remote Letters， 2011，8（2）： 263267.

[7]XIONG J T，TAN R J，LI C L，et al.Image fusion algorithm for visible and pmmw images based on curvelet and improvedPCNN[J]. IEEE 11th International Conference on Signal Processing（ICSP），2012（2）：903907.

[8]LIU K， GUO L， CHEN J S. Contourlet transform for image fusion using cycle spinning[J]. Journal of Systems Engineering and Electronics， 2011，22（2）： 353357.

[9]路雅寧，郭雷，李暉暉.基于曲波活性測度的SAR與多光譜圖像融合[J].計算機應用研究，2012，29（11）：43604363.