戰(zhàn)場偵察圖像融合技術(shù)

沈永玲,薛 毅

(1.中國電子科技集團(tuán)公司第五十四研究所,河北石家莊050081;2.河北省經(jīng)濟(jì)信息中心,河北石家莊050051)

0 引言

多種光譜的圖像傳感器被應(yīng)用到戰(zhàn)場偵察,獲得的圖像包括可見光彩色圖像、紅外圖像(長波紅外、中波紅外、短波紅外)、微光圖像和微波圖像等。每種圖像都揭示了目標(biāo)特定的信息,但單一的圖像都不能完全滿足對戰(zhàn)場目標(biāo)分析的要求。圖像融合是解決這個矛盾的有效方法,融合后的圖像能夠?qū)⒚糠N傳感器的圖像的信息結(jié)合在一起,其信息內(nèi)容超過任何一種單一的圖像,能夠更加精確地描述偵察場景中的地形、地貌、隱藏的人員和武器類目標(biāo)。

戰(zhàn)場上獲取的偵察圖像最常見的是彩色圖像和紅外圖像,彩色圖像具有高分辨率和豐富逼真色彩的優(yōu)點(diǎn),但卻無法看到隱藏在偽裝之下的武器類目標(biāo)。紅外圖像具有發(fā)現(xiàn)隱藏的武器類目標(biāo)的特點(diǎn),但圖像分辨率低,并且是單色圖像,不利于人眼對圖像總體內(nèi)容的判讀。該文提出了應(yīng)用離散小波框架的融合處理與彩色空間變換相結(jié)合的處理技術(shù),實現(xiàn)了彩色圖像和紅外圖像融合處理,使融合結(jié)果圖像能夠保留彩色圖像的高分辨率和接近真實的色彩信息,同時包含紅外圖像發(fā)現(xiàn)的隱藏的武器類目標(biāo),為戰(zhàn)場目標(biāo)發(fā)現(xiàn)、識別和分析提供了數(shù)據(jù)基礎(chǔ)。

1 離散小波框架分解與合成算法

離散小波框架(Discrete Wavelet Frame,DWF)是一種基于多尺度分解的融合方法,比較標(biāo)準(zhǔn)的小波變換(DWT)有平移不變的特性,該特點(diǎn)對于融合彩色和紅外圖像很重要,因為在實際中保證2個源圖像的完全配準(zhǔn)很難達(dá)到,存在配準(zhǔn)誤差,平移不變的特性能夠使得融合方法對配準(zhǔn)誤差不敏感,可以用來開發(fā)具有魯棒性較好的融合方法。

在DWF算法中,信號f被分解為小波序列?ωi(k)和尺度序列si(k)。

式中,s0=f;h和g為原型濾波器;[h]↑2i和[g]↑2i為第i層的分析濾波器,分析濾波器的構(gòu)成是在原型濾波器元素之間插入適當(dāng)數(shù)量的零值而得。

信號f的重構(gòu)公式為:

式中,?h、?g為合成濾波器。

使用DWF算法實現(xiàn)第i級圖像分解和合成框圖如圖1所示。

圖1 使用DWF實現(xiàn)圖像分解和合成

2 彩色圖像與紅外圖像融合技術(shù)

2.1 彩色空間轉(zhuǎn)換

彩色圖像與紅外圖像融合處理流程中使用了RGB至HSV(H:色度,S:飽和度,V:亮度)及 RGB至LAB顏色空間轉(zhuǎn)換。利用這些顏色空間轉(zhuǎn)換實現(xiàn)融合后的圖像的色彩修正處理,能夠?qū)崿F(xiàn)將源彩色圖像的逼真色彩賦予融合后的圖像。

RGB至HSV顏色空間轉(zhuǎn)換方法:對于任意3個在[0,1]范圍內(nèi)的R、G、B值,其對應(yīng)HSV顏色空間中的H、S、V的值可由下式計算:

在LAB顏色空間,L代表亮度,A代表紅-綠色度,B代表黃-藍(lán)色度。相比較RGB和HSV顏色空間,用LAB空間中每種顏色只需要一個參數(shù)來表示。因此,在LAB空間對圖像顏色進(jìn)行處理更加方便。首先將RGB圖像轉(zhuǎn)換至XYZ空間,再轉(zhuǎn)換到LAB空間。由RGB_空間轉(zhuǎn)換到XYZ空間_的公_式_如下:

由XYZ空間向LAB顏色空間的轉(zhuǎn)換公式如式(8)所示:

2.2 融合處理流程

紅外圖像與彩色圖像融合處理流程如圖2所示。將輸入的彩色圖像記為Vrgb,包括了R、G、B三個彩色通道,將其變換到HSV空間(記為Vhsv)。彩色圖像的V通道,代表圖像的亮度,用于與紅外圖像融合。其他的2個通道H、S與原彩色圖像的色彩最接近,承載著源彩色圖像的顏色信息,被用于修正融合后圖像的顏色。

圖2 紅外圖像與彩色圖像融合流程

在融合開始,將原始的IR圖像進(jìn)行負(fù)片轉(zhuǎn)換,這樣做的原因是一些隱藏的武器有時在IR圖像的負(fù)片中更加明顯。采用基于離散小波框架的融合方法將彩色圖像的V通道分別與IR圖像及IR-1圖像進(jìn)行融合處理。

彩色圖像和IR圖像、IR-1圖像的融合方法如下:

①通過重采樣方法將低分辨率的IR、IR-1圖像變成與高分辨率的彩色圖像相同分辨率的圖像,實現(xiàn)2種圖像的配準(zhǔn);

②將IR、IR-1圖像和彩色圖像的亮度分量圖像進(jìn)行直方圖匹配增強(qiáng)處理;

③用DWF變換分別將IR、IR-1圖像和彩色圖像的亮度分量圖像分解為DWF表示,低頻系數(shù):,高頻系數(shù):2…I;

④為了增加融合后的圖像的空間信息,使用多尺度對比度增強(qiáng)方法增強(qiáng)彩色圖像的亮度分量,采用如下非線性函數(shù)映射每一級帶通圖像:

式中,M為非線性增強(qiáng)的最大值;Gi為增益系數(shù);i為帶通圖像的級數(shù);

⑤直接用IR或IR-1圖像數(shù)據(jù)I代替彩色圖像的亮度分量中的的低頻通帶分量,這樣可以有效地在融合后的圖像中保留紅外圖像的信息。融合后圖像的低頻率系數(shù)是,高頻率系數(shù)為:

⑥執(zhí)行DWF反變換獲得融合后的圖像。用DWF實現(xiàn)IR、IR-1圖像和彩色圖像的亮度分量圖像進(jìn)行融合的流程如圖3所示。

圖3 DWT實現(xiàn)圖像融合流程

2.3 融合后圖像色彩修正

如圖2所示,在用DWT實現(xiàn)IR、IR-1和彩色圖像的亮度分量融合后獲得了2個融合后的灰度圖像。需要將源彩色圖像的自然色彩賦予融合后圖像,使用如下步驟完成對融合后圖像的色彩修正處理:

①將彩色圖像的V通道(Vv)賦給綠色通道,將V v和IR融合后的圖像賦給紅色通道,將Vv和IR-1融合后的圖像賦給藍(lán)色通道。得到偽彩色圖像(FIrgb);

②將偽彩色圖像賦予接近源彩色圖像的色彩。一般情況下,冷區(qū)域武器在IR-1中呈現(xiàn)亮色,它們在融合后的圖像FIb中呈現(xiàn)亮色。因為FIb被賦給了藍(lán)色通道,因此,冷區(qū)域在偽彩色圖像中呈現(xiàn)藍(lán)色。為了同時獲得彩色圖像中的色彩及保留IR圖像中的有用信息(隱藏的武器),需要對偽彩色圖像進(jìn)行處理;

③將偽彩色圖像和彩色圖像進(jìn)行RGB彩色空間向LAB空間變換(表示為F1LAB(F1L,F1A,F1B)和VLAB(VL,,VA,VB))。用下面的方法獲得了一個新圖像F2LAB(F2L,F2A,F2B):

(F2L,F2A,F2B)=(VL,VA,F1B)。

F1LAB的L和A通道被彩色圖像VLAB的L和A通道替換,再將圖像F2LAB從LAB彩色空間變換到RGB彩色空間獲得圖像F2rgb。用上述的替換方程,彩色圖像F2rgb的色彩與原始彩色圖像的色彩接近,并且它結(jié)合了從IR圖像的重要信息(隱藏的武器);

④應(yīng)用下面方法處理圖像F2rgb,可以使融合后的圖像的背景內(nèi)容與原彩色圖像的背景接近一致。將圖像F2rgb轉(zhuǎn)換到 HSV空間(F2HSV(F2H,F2S、F2V),用下面的過程獲得新圖像F3HSV(F3H、F3S、F3V),

(F3H、F3S、F3V)=(VH,VS,F2V)。

即F2HSV的H和S通道用VHSV的S和V通道代替。

通過上述步驟可以對融合后的圖像的色彩進(jìn)行修正,使其色彩接近于源彩色圖像,利于人眼對戰(zhàn)場圖像的判讀,提高情報員對戰(zhàn)場偵察圖像的判讀效率和對圖像上目標(biāo)信息的識別能力。

3 試驗驗證及效果分析

3.1 試驗圖像驗證

為驗證所提出的彩色圖像和紅外圖像的融合方法的效果,使用了多組圖像進(jìn)行測試,一組試驗圖像及融合后的結(jié)果圖像如圖4所示,融合圖像具備了彩色圖像的色彩信息和高分辨率信息,包含了紅外圖像中的隱藏的武器目標(biāo)信息。

圖4 源圖像及融合圖像

3.2 融合效果分析

為了客觀、定量評價融合圖像的質(zhì)量,判斷融合后的圖像繼承源彩色圖像和紅外圖像的信息量的大小,采用條件交互信息量的方法衡量源圖像向融合圖像轉(zhuǎn)移的信息量。融合圖像F和源圖像A、B的條件交互信息量計算公式為:

式中,H(A,B)表示源彩色圖像和紅外圖像的聯(lián)合熵,定義為:

H(A,B|F)表示給定F時,A,B的條件熵,定義為:

CMI的值越大,表示融合圖像從源圖像中獲取的信息越豐富,融合效果越好,1表示源圖像的全部信息都轉(zhuǎn)移到了融合圖像(理想情況)。計算圖4中的源圖像和融合圖像的CMI值為0.877 68,根據(jù)經(jīng)驗,這表明了融合圖像從源圖像繼承的分辨率、對比度及顏色等信息量很大,融合圖像滿足戰(zhàn)場圖像分析的需要。

4 結(jié)束語

戰(zhàn)場圖像中以可見光彩色圖像與紅外圖像居多,應(yīng)用離散小波框架融合方法與彩色空間變換組合方法實現(xiàn)可見光彩色圖像與紅外圖像融合,使融合后的圖像保留了紅外圖像發(fā)現(xiàn)的隱藏的武器目標(biāo)、彩色圖像的高分辨率信息及自然的色彩信息。融合后的圖像更有利于指揮員對戰(zhàn)場圖像的判讀、發(fā)現(xiàn)和識別目標(biāo)、獲得更加豐富的戰(zhàn)場態(tài)勢感知。

[1]牛軼峰,趙博欣.像素級圖像優(yōu)化融合客觀評價指標(biāo)分析[J].計算機(jī)與數(shù)字工程,2010,38(3):116-122.

[2]CARPER J W,LILLESAND T M,KIEFER R W.The Use of Intensity-hue-saturation Transformation forMerging SPOT Panchromatic and Multispectral Image Data [J].PhotogrammeticEngineering and RemoteSensing,1990,56(4):459-467.

[3]UNSER M.Texture Classification and Segmentation Using Wavelete Frames[J].IEEETrans.on Image Processing,1995,4(11):1549-1560.