胡俊峰唐鶴云錢建生
1(徐州醫(yī)學(xué)院醫(yī)學(xué)影像學(xué)院,徐州 221006)2(中國(guó)礦業(yè)大學(xué)信息與電氣工程學(xué)院,徐州 221008)
非下采樣Contourlet變換醫(yī)學(xué)圖像融合性能研究
胡俊峰1,2*唐鶴云1錢建生2
1(徐州醫(yī)學(xué)院醫(yī)學(xué)影像學(xué)院,徐州 221006)2(中國(guó)礦業(yè)大學(xué)信息與電氣工程學(xué)院,徐州 221008)
通過對(duì)非下采樣Contourlet變換(NSCT)濾波器組合及圖像融合規(guī)則性能的研究,比較了不同條件得到的融合結(jié)果,全面分析了各種融合規(guī)則對(duì)融合性能的影響。提出低通子帶區(qū)域能量取大,高頻子帶方差加權(quán)取大和絕對(duì)值取大相結(jié)合的融合算法。相比基于傳統(tǒng)規(guī)則的NSCT算法,所提出算法的融合質(zhì)量及各項(xiàng)指標(biāo)都有明顯提高。實(shí)驗(yàn)結(jié)果表明,選取合適的濾波器組合和融合規(guī)則,即使分解層數(shù)較少,方向數(shù)不大,也能夠獲得理想的融合效果,同時(shí)還可有效減少融合算法的復(fù)雜度。
圖像融合;非下采樣Contourlet變換;濾波器組合;融合規(guī)則;效果評(píng)價(jià)
Abstract:Effects of the nonsubsampled contourlet transform(NSCT)were analysed and the fusion results using different filters and fusion rules were compared.An efficient fusion method was proposed fusing the lowfrequency coefficients based on region energy rule and the directional high-frequency coefficients based on region variance or weighted region variance and coefficient absolute value rules.Experimental results showed the improved fusion quality compared with the traditional NSCT algorithm.Appropriate filter combination and fusion rules could bring a satisfying fusion result even with less decomposing levels and directional banks.Besides,the proposed method could reduce the fusion algorithms complexity.
Key words:image fusion;nonsubsampled contourlettransform;filters combination;fusion rule;quality evaluation
多種成像模式提供的信息常常具有互補(bǔ)性,圖像融合是指將由不同傳感器或同一傳感器在不同時(shí)刻所獲得的多幅圖像經(jīng)過一定的處理、綜合,以獲取對(duì)同一場(chǎng)景的更為精確、全面的圖像描述。它廣泛應(yīng)用于地球遙感、資源探測(cè)、軍事偵察、機(jī)器視覺和醫(yī)學(xué)圖像后處理技術(shù)等諸多領(lǐng)域[1-2]。
近年來,小波變換由于其多分辨率、時(shí)頻局部等特性,被廣泛應(yīng)用于圖像處理領(lǐng)域,并且成為圖像融合領(lǐng)域的重要算法[3-5]。然而二維可分小波不能有效地捕捉輪廓信息,是一種“非稀疏”圖像表示法。為了解決小波這一局限性,新的理論不斷發(fā)展。2002年Do M N和 Vetterli M提出了一種“真正”的二維圖像表示算法即 Contourlet變換[6-9]。相對(duì)于小波變換,Contourlet變換除了具有多尺度、時(shí)頻局部特性外,還具有方向特性。但是,在對(duì)圖像進(jìn)行Contourlet變換的過程中,需要對(duì)圖像進(jìn)行下采樣操作,從而使得Contourlet變換不具備平移不變性,這在奇異性方面會(huì)產(chǎn)生偽吉布斯(pseudo-Gibbs)現(xiàn)象,導(dǎo)致圖像失真。為此 Cunha等[10]又提出一種具有平移不變性的Contourlet變換,即非下采樣 Contourlet變換(nonsubsampledcontourlet transform,NSCT)。該變換比 Contourlet變換具有更靈活的多分辨、多方向的圖像表示能力,且以冗余度換取了平移不變性[10-12]。由于該變換具有平移不變性,而且具有足夠的冗余信息,因此可以有效提取待融合圖像中的方向信息,使得融合后的圖像更好地滿足人眼的視覺要求。
本研究從NSCT變換本身出發(fā),通過調(diào)整濾波器組合及低通子帶和高通子帶融合規(guī)則,深入討論了NSCT變換各種濾波器組合和融合規(guī)則的特性,分析了各種融合規(guī)則對(duì)融合結(jié)果的影響。在此基礎(chǔ)上,考慮到醫(yī)學(xué)圖像的頻譜隨著分解層數(shù)的增加,在高頻處最外層方向性不強(qiáng),信息不豐富,提出低通子帶區(qū)域能量取大、高頻子帶方差加權(quán)取大和絕對(duì)值取大相結(jié)合的融合方法,比基于傳統(tǒng)規(guī)則的NSCT算法的融合質(zhì)量及各項(xiàng)指標(biāo)都有明顯提高,驗(yàn)證了理論分析與實(shí)驗(yàn)結(jié)論的有效性。實(shí)驗(yàn)證明,選取合適的濾波器組合和融合規(guī)則,即使分解層數(shù)較少,方向數(shù)不大,也能夠獲得理想的融合效果。這大大減少了融合算法的復(fù)雜度。
非下采樣Contourlet變換是將多尺度分析和方向分析分開進(jìn)行,首先采用非下采樣塔式濾波器組(nonsubsampled pyramid filter bank,NSPFB)對(duì)圖像進(jìn)行多尺度分解,然后再采用非下采樣方向?yàn)V波器組(nonsubsampled directional filter bank,NSDFB)對(duì)得到的各帶通子帶圖像進(jìn)行方向分解,從而得到不同尺度、方向子帶圖像(系數(shù))。
圖1(a)為非下采樣 Contourlet變換的分解框圖。首先,用非下采樣金字塔變換將輸入圖像分解為低通子帶和高通子帶,以實(shí)現(xiàn)圖像的多分辨率分解;然后利用非下采樣方向?yàn)V波器組,將高通子帶分解為多個(gè)方向子帶,方向子帶的數(shù)目可以是2的任意次冪(圖1(b))。這一過程可以在NSPFB輸出的低頻子帶重復(fù)迭代進(jìn)行,以實(shí)現(xiàn)圖像的多方向分解;最后對(duì)每一層的低通子帶重復(fù)上述操作,即可得到輸入圖像的多層非下采樣 Contourlet變換。
圖1 非下采樣 Contourlet變換。(a)塊分解圖;(b)NSCT頻率劃分圖Fig.1 Nonsubsampled contourlet transform.(a)nonsubsampled directional filter bank decomposition structure;(b)NSCT frequency domains
像素級(jí)的融合簡(jiǎn)單、直接,能夠保留盡可能多的信息,具有較高的精確度。本研究主要考慮的是像素級(jí)的圖像融合。NSCT分解后的低頻信息和高頻信息具有不同的物理意義,低頻信息保留了原始圖像的概貌信息,高頻信息中絕對(duì)值較大的系數(shù)對(duì)應(yīng)著一些突變,如圖像的邊緣、紋理等重要特征信息。因此需要對(duì)圖像的高頻細(xì)節(jié)信息和低頻近似信息加以區(qū)分,采用不同的融合算子和融合規(guī)則。不同的融合規(guī)則具有各自的優(yōu)缺點(diǎn),如果從融合規(guī)則組合與選取的過程中,探尋出融合規(guī)則的選取規(guī)律,就可以指導(dǎo)簡(jiǎn)便快捷的融合算法的提出。
圖像融合過程中,融合規(guī)則的選擇對(duì)于融合的質(zhì)量非常重要。常用的低頻子帶融合準(zhǔn)則包括:平均 (average,AVE)的準(zhǔn)則、選取區(qū)域方差 (region variance,RVA)最大的準(zhǔn)則。常用的高頻子帶融合準(zhǔn)則包括:選取系數(shù)絕對(duì)值 (coefficient absolute value,CAV)最大的準(zhǔn)則、選取區(qū)域能量 (region energy,REN)最大的準(zhǔn)則[11-13]。
根據(jù)多傳感器圖像非下采樣 contourlet變換的特點(diǎn),提出低頻能量取大、高頻中間分層方差取大以及方差加權(quán)取大、最外層分解絕對(duì)值取大的NSCT融合方法,以驗(yàn)證融合規(guī)則選取的重要性。下面以兩幅圖像的融合為例,來說明基于非下采樣contourlet變換的圖像融合算法實(shí)現(xiàn)。具體實(shí)現(xiàn)步驟如下:
步驟1:對(duì)已配準(zhǔn)的兩幅圖像分別標(biāo)記為圖像A和圖像B。
步驟2:選取合適的濾波器組合。
步驟3:對(duì)圖像A和B分別作基于NSCT的J層分解,首先NSPFB將圖像分解得到各個(gè)尺度上的低頻子帶和帶通子帶{DA(m,n),0≤j≤J-1},{DB(m,n),0≤j≤J-1},然后 NSDFB 對(duì)帶通子帶作方向分解,將其分解為多個(gè)高頻方向子帶表示在尺度2-l上的高頻方向子帶數(shù)目表示在圖像 A在尺度2-l上的第j個(gè)方向子帶。并分別得到其變換系數(shù),其中為圖像A低頻子帶系數(shù)為圖像 A 各個(gè)帶通方向子帶系數(shù)。對(duì)低頻子帶系數(shù)和各帶通方向子帶系數(shù)分別采用不同融合規(guī)則,得到融合圖像F的NSCT的系數(shù)。
步驟4:進(jìn)行非下采樣Contourlet逆變換從而得到融合圖像F。
1)低頻子帶融合規(guī)則
低頻子帶保留了原始圖像的概貌信息,對(duì)于低頻部分處理的主要目的是盡可能地保留這些概貌特征。本研究選取區(qū)域能量 (Region energy,REN)最大的準(zhǔn)則求取低頻子帶系數(shù)。區(qū)域能量定義為
其低頻子帶的融合系數(shù)為
式中,X=A、B,Ω(m,n)表示以(m,n)為中心的小鄰域(選取3×3)分別表示源圖像A,B和融合圖像F低頻子帶系數(shù)。
2)高頻子帶融合規(guī)則
高頻子帶中絕對(duì)值較大的系數(shù)對(duì)應(yīng)著一些突變,如圖像的邊緣、紋理等重要特征信息。對(duì)于高頻部分處理的主要目的是盡可能地增加融合圖像的細(xì)節(jié)信息。本研究提出采用中間各分層方差取大以及方差加權(quán)取大、最外層分解系數(shù)絕對(duì)值取大的NSCT融合方法。
區(qū)域方差 (region variance,RVA)最大準(zhǔn)則的區(qū)域方差定義為
區(qū)域方差加權(quán) (weighted region variance,WRVA)最大準(zhǔn)則定義為
最外層分解選取系數(shù)絕對(duì)值 (coefficient absolute value,CAV)最大的準(zhǔn)則,即
圖像質(zhì)量的評(píng)價(jià)方法原則上可以分為主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法兩類。圖像質(zhì)量客觀評(píng)價(jià)方法是當(dāng)前的研究重點(diǎn)[14-15],其共同點(diǎn)是用物理方法對(duì)圖像的物理特性進(jìn)行度量,將度量值與規(guī)定標(biāo)準(zhǔn)進(jìn)行比較,利用數(shù)字模型來度量圖像質(zhì)量;具有計(jì)算速度快、穩(wěn)定、不會(huì)因人而異、因時(shí)而異、易于被量化、易于比較研究等特點(diǎn)。
常用的客觀評(píng)價(jià)標(biāo)準(zhǔn)有圖像均值、標(biāo)準(zhǔn)差、信息熵、平均梯度、空間分辨率,近年來有人提出了邊緣信息評(píng)價(jià)因子[16]等。圖像均值是像素的灰度平均值,對(duì)人眼反映為平均亮度。標(biāo)準(zhǔn)差反映了圖像灰度相對(duì)于灰度平均值的離散情況。標(biāo)準(zhǔn)差大,則圖像灰度級(jí)分布分散,圖像的反差大,可以看出更多的信息。標(biāo)準(zhǔn)差小,則圖像反差小,對(duì)比度不大,色調(diào)單一、均勻,看不出太多的信息。信息熵是衡量圖像信息豐富程度的一個(gè)重要指標(biāo),熵值的大小表示圖像所包含的平均信息量的多少。如果融合圖像的熵增大,表示融合圖像的信息量增加,融合圖像所包含的信息就越豐富,融合質(zhì)量越好。平均梯度具有敏感地反映圖像中微小細(xì)節(jié)的能力,同時(shí)還可以反映出圖像中的紋理變換特征,可以用來評(píng)價(jià)圖像的清晰度。空間頻率反映了一幅圖像空間的總體活躍程度。
邊緣信息評(píng)價(jià)因子是一種新的基于邊緣信息的性能評(píng)價(jià)因子,反映了源圖像與融合圖像邊緣信息的傳遞量,大小越接近1說明邊緣傳遞越好,融合效果也就越好。其公式為
式中,QABF表示融合圖像 F相對(duì)于源圖像 A、B的整體邊緣保留量,QAF和QBF分別表示融合圖像F相對(duì)于源圖像A、B的邊緣保留量,gA和 gB源圖像A,B的邊緣強(qiáng)度。
首先研究非下采樣 Contourlet變換濾波器的組合特性,找到性能優(yōu)秀的濾波器的組合;在此基礎(chǔ)上討論融合規(guī)則對(duì)融合性能的影響,從而提出合適的融合算法;然后進(jìn)行融合規(guī)則驗(yàn)證以確定所提出的融合規(guī)則的有效性與正確性。待融合圖像選擇已配準(zhǔn)后的CT、MRI灰度圖像,驗(yàn)證圖像選用Lena標(biāo)準(zhǔn)圖像,大小為256像素×256像素,PNG格式(圖2(a)(b)、圖5(a))。實(shí)驗(yàn)平臺(tái)為Mobile AMD SempronTMProcessor 3200+1.6 GHz,521 MB 內(nèi)存,Mtlab7.01。
非下采樣 Contourlet變換首先用非下采樣金字塔濾波器(NSPFB)將輸入圖像分解為低通子帶和高通子帶,以實(shí)現(xiàn)圖像的多分辨率分解;然后利用非下采樣方向?yàn)V波器組(NSDFB)將高通子帶分解為多個(gè)方向子帶。常用的NSPFB二維濾波器有9-7、maxflat、pyr、pyrexc 四種,二維方向?yàn)V波器(NSDFB)有 harr、db、coif、qmf、test、vk、ko、kos、lax、sk、cd、pkva、oqf_362、dvmlp、sinc、dmaxflat等十七種。雖然四種不同的NSPFB都能滿足多尺度分解,同時(shí)十七種方向?yàn)V波器也能完成方向分解,但是由于各種濾波器互有不同,濾波器的選擇與組合方法直接影響著融合的性能。
選擇上述四種不同的非下采樣金字塔濾波器與十七種方向?yàn)V波器分別組合進(jìn)行融合實(shí)驗(yàn)。具體方法是任選一種NSPFB和十七種NSDFB組成一組,共四組。融合規(guī)則統(tǒng)一選擇常用的低頻子帶系數(shù)平均法,高頻方向子帶絕對(duì)值取大法。為了進(jìn)一步說明濾波器組合對(duì)于各層分解的影響,將分別獲得不同濾波器在二層方向分解后的圖像,以觀察和分析二層方向分解圖像的不同。選用客觀評(píng)價(jià)標(biāo)準(zhǔn):均值、標(biāo)準(zhǔn)差、信息熵、平均梯度、空間分辨率分別對(duì)每組進(jìn)行融合結(jié)果評(píng)價(jià)。
文獻(xiàn)[11-13]已經(jīng)對(duì)NSCT變換與小波變換和Contourlet變換進(jìn)行了詳細(xì)對(duì)比,證實(shí)了 NSCT變換優(yōu)于后兩種融合變換方法,由于篇幅限制,文中不再述及。主要對(duì)NSCT變換的各種融合規(guī)則進(jìn)行對(duì)比分析和選優(yōu)。實(shí)驗(yàn)方法選取常用的平均法、絕對(duì)值取大、能量取大[12]、方差取大[13]規(guī)則進(jìn)行組合,分解層數(shù)[0,1,2],濾波器組合選取 4.1中表現(xiàn)優(yōu)秀的9-7和lax濾波器組合參與實(shí)驗(yàn),進(jìn)行不同融合規(guī)則的選取對(duì)融合性能影響的實(shí)驗(yàn)研究,并與文獻(xiàn)[12-13]中提出的基于能量取大與方差取大方法進(jìn)行比對(duì),以提出新的有效融合規(guī)則。為了說明融合規(guī)則對(duì)于各層融合的影響,實(shí)驗(yàn)首先對(duì)兩幅圖像的方向子帶二層分解圖像分別進(jìn)行絕對(duì)值取大與方差取大融合,以觀察二層方向分解圖像融合結(jié)果的不同。融合評(píng)價(jià)采用主觀視覺分析與客觀標(biāo)準(zhǔn)共同進(jìn)行,客觀標(biāo)準(zhǔn)選取標(biāo)準(zhǔn)差、信息熵、平均梯度分別對(duì)每組進(jìn)行融合結(jié)果評(píng)價(jià),為了對(duì)融合結(jié)果邊緣信息進(jìn)行有效檢測(cè),引入了邊緣評(píng)價(jià)因子。
為了驗(yàn)證上述實(shí)驗(yàn)與理論分析的正確性和普遍有效性,選取Lena標(biāo)準(zhǔn)圖像,采用左右分別聚焦的方式獲得多聚焦源圖像(圖5(b)(c)),選取4.2實(shí)驗(yàn)中的各種規(guī)則組合模式進(jìn)行融合驗(yàn)證。
表1為4.1濾波器組合的圖像融合性能指標(biāo)。由于篇幅的限制,只給出了 lax、db3濾波器與NSPFB濾波器組合的融合結(jié)果,可以看出以lax濾波器組合圖像融合效果各項(xiàng)指標(biāo)分別優(yōu)于db3濾波器組合。而在各種組合中NSPFB濾波器以9-7為首選。造成各種濾波器組合的融合結(jié)果不同的原因在于各種濾波器性能不一樣,圖2給出了不同濾波器在二層方向分解后分別獲得的圖像,實(shí)驗(yàn)結(jié)果顯示9-7、db3組合二層方向分解圖像含有的信息明顯少于9-7、lax組合二層分解圖像,標(biāo)準(zhǔn)差、信息熵、平均梯度、空間分辨率都明顯小,說明9-7、db3組合融合圖像對(duì)比度小、信息少、細(xì)節(jié)反映度不高;同時(shí)說明9-7、lax濾波器組合分解的信息多,方向性更強(qiáng),具有較好的高頻特性。為了更好的發(fā)揮NSCT變換高頻多方向性的優(yōu)勢(shì),就要選擇高頻信息較多的濾波器組合進(jìn)行圖像融合研究。
表1 二組濾波器組合圖像融合性能指標(biāo)比較Tab.1 Comparison the image fusion of two group filters
圖2 不同濾波器組合圖像第二層方向分解結(jié)果。(a)CT圖像;(b)MRI圖像;(c)9-7&db3組合分解;(d)9-7&lax組合分解Fig.2 Second directional decomposition image of different group filters.(a)CT image;(b)MRI image;(c)9-7&db3 filters directional decomposition image;(d)9-7&lax filters directional decomposition image
圖3給出了4.2不同融合規(guī)則的方向子帶二層分解和融合效果??梢钥闯鼋^對(duì)值取大在該層的融合效能并沒有顯現(xiàn),表現(xiàn)為融合結(jié)果沒有第二幅圖像的信息(圖3(c));而方差取大的融合效果明顯(圖3(d))。說明選取不同融合規(guī)則對(duì)融合結(jié)果影響很大。表2給出了各種算法融合圖像的客觀評(píng)價(jià)性能指標(biāo),圖4為實(shí)驗(yàn)結(jié)果融合圖像。實(shí)驗(yàn)結(jié)果證明基于能量取大規(guī)則對(duì)亮度和灰度影響較大,表現(xiàn)為標(biāo)準(zhǔn)差和信息熵大,而方差取大規(guī)則對(duì)圖像清晰度有較強(qiáng)影響,表現(xiàn)為平均梯度大。說明區(qū)域能量擅長(zhǎng)低頻概貌的獲取,而方差對(duì)圖像高頻細(xì)節(jié)捕捉能力較強(qiáng);二者結(jié)合顯著提高了融合質(zhì)量,即低頻REN、高頻 RVA規(guī)則具有明顯優(yōu)勢(shì)(圖4(d))。但是如果低頻采用方差取大準(zhǔn)則[11],盡管評(píng)價(jià)客觀數(shù)據(jù)較好,由于方差取大的本身特性,導(dǎo)致融合圖像對(duì)比度太強(qiáng),影響了融合圖像的進(jìn)一步應(yīng)用,尤其是醫(yī)學(xué)融合圖像應(yīng)用于臨床時(shí),將明顯增加錯(cuò)誤診斷,導(dǎo)致誤診率的提高(圖4(b)(c))。方差取大的另一個(gè)缺點(diǎn)是運(yùn)行時(shí)間較長(zhǎng);研究發(fā)現(xiàn)低頻平均法(AVE)融合圖像太暗,灰度及邊緣保持較差(圖4(a)),絕對(duì)值取大(CAV)仍有一定優(yōu)勢(shì)(表2)。
為了充分利用能量取大低頻概貌和方差取大細(xì)節(jié)優(yōu)勢(shì),考慮到醫(yī)學(xué)圖像的頻譜隨著分解層數(shù)的增加,在高頻處最外層方向性不強(qiáng)、信息不豐富,方差取大可以與絕對(duì)值取大結(jié)合運(yùn)用,從而提出了低頻能量取大、中間分層方差取大、最外層絕對(duì)值取大準(zhǔn)則,即低頻 REN,高頻 RVA+CAV(即 R+C)(圖4(e))。在此基礎(chǔ)上探討低頻能量取大、中間分層方差加權(quán)取大、最外層絕對(duì)值取大準(zhǔn)則,即低頻 REN,高頻 WRVA+CAV(即 WR+C)(圖4(f))。于相比基于傳統(tǒng)規(guī)則的NSCT算法的各項(xiàng)指標(biāo)有明顯提高,融合結(jié)果顯示標(biāo)準(zhǔn)差、信息熵、平均梯度、邊緣信息值大,說明融合圖像對(duì)比度大、細(xì)節(jié)反映度高、灰度信息豐富、邊緣保持好;相比單純的低頻能量取大高頻方差取大,大大節(jié)省了運(yùn)行時(shí)間;而WR+C較R+C清晰度及灰度信息以及邊緣保持都有改進(jìn)。實(shí)驗(yàn)結(jié)果證明了方法的有效性及融合規(guī)則選取的重要性。結(jié)果表明NSCT變換的不同,融合規(guī)則性能亦不同,高低頻及各方向子帶均可以單獨(dú)選擇融合規(guī)則,正確的選擇融合規(guī)則組合可以獲得理想的融合效果。
圖3 方向子帶二層分解和融合結(jié)果。(a)CT圖像二層分解;(b)MRI圖像二層分解;(c)絕對(duì)值取大融合;(d)方差取大融合Fig.3 Second decomposition of directional bank and fusion image.(a)CT image of second directional decomposition;(b)MRI image of second directionaldecomposition;(c)CAV rulefusion image;(d)RVA rule fusion image
表2 不同融合規(guī)則對(duì)圖像融合性能指標(biāo)影響比較Tab.2 Comparison the image fusion of different fusion rules
圖4 不同規(guī)則圖像融合效果。(a)AVE&CAV融合圖像;(b)RVA&REN融合圖像;(c)RVA&RVA融合圖像;(d)REN&RVA融合圖像;(e)REN&R+C融合圖像;(f)REN&WR+C融合圖像Fig.4 Image fusion results of different fusion rules.(a)AVE&CAV rule fusion image;(b)RVA&REN rule fusion image;(c)RVA&RVA rule fusion image;(d)REN&RVA rule fusion image;(e)REN&R+C rule fusion image;(f)REN&WR+C rule fusion image
表3為4.3算法規(guī)則驗(yàn)證實(shí)驗(yàn)的融合性能指標(biāo)對(duì)比情況,圖5給出了實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)結(jié)果同樣表明低頻RVA、高頻RVA規(guī)則(圖5(f))融合指標(biāo)明顯優(yōu)于低頻RVA、高頻規(guī)則 REN(圖5(e)),說明高頻選用 RVA規(guī)則優(yōu)于高頻 REN規(guī)則,基于低頻REN、高頻RVA規(guī)則融合質(zhì)量及各項(xiàng)指標(biāo)優(yōu)于文獻(xiàn)[12-13]提出算法。而本研究提出的低頻能量取大、中間分層方差加權(quán)取大、最外層絕對(duì)值取大準(zhǔn)則,即低頻 REN,高頻 WRVA+CAV(即 WR+C)(圖5(h)),相比于基于傳統(tǒng)規(guī)則的NSCT算法的各項(xiàng)指標(biāo)有明顯提高,相比單純的低頻能量取大高頻方差取大,大大節(jié)省了運(yùn)行時(shí)間,灰度信息以及邊緣保持都有改進(jìn)。實(shí)驗(yàn)結(jié)果再次證明了本方法的有效性及融合規(guī)則選取的重要性。為了能夠清晰的表明實(shí)驗(yàn)結(jié)果,圖6是把圖5中各圖的眼部細(xì)節(jié)分別放大所得圖像,直觀顯示了融合結(jié)果,從而進(jìn)一步驗(yàn)證了本算法的有效性。
表3 不同融合規(guī)則對(duì)圖像融合性能影響比較Tab.3 Comparison the image fusion of different fusion rules
圖5 不同規(guī)則圖像融合效果。(a)Lena圖像;(b)左聚焦圖像;(c)右聚焦圖像;(d)AVE&CAV規(guī)則融合圖像;(e)RVA&REN融合圖像;(f)RVA&RVA融合圖像;(g)REN&RVA規(guī)則融合圖像;(h)REN&WR+C規(guī)則融合圖像Fig.5 Image fusion results of different fusion rules.(a)Lena image;(b)right focus image;(c)left focus image;(d)AVE&CAV rule fusion image;(e)RVA&REN rule fusion image;(f)RVA&RVA rule fusion image;(g)REN&RVA rule fusion image;(h)REN&WR+C rule fusion image
圖6 不同規(guī)則圖像融合比較。(a)Lena圖像;(b)左聚焦圖像;(c)右聚焦圖像;(d)AVE&CAV規(guī)則融合圖像;(e)RVA&REN融合圖像;(f)RVA&RVA融合圖像;(g)REN&RVA規(guī)則融合圖像;(h)REN&WR+C規(guī)則融合圖像Fig.6 Comparison the image fusion results of different fusion rules.(a)Lena image;(b)right focus image;(c)left focus image;(d)AVE&CAV rule fusion image;(e)RVA&REN rule fusion image;(f)RVA&RVA rule fusion image;(g)REN&RVA rule fusion image;(h)REN&WR+C rule fusion image
本研究詳細(xì)分析了非下采樣Contourlet變換濾波器組合以及融合規(guī)則選取對(duì)圖像融合性能的影響。研究表明NSCT變換中不同的濾波器組合分解效果不同,不同融合規(guī)則性能不同,高低頻及各方向子帶均可以單獨(dú)選擇融合規(guī)則,正確的選擇融合規(guī)則組合可以獲得理想的融合效果。提出了低通子帶區(qū)域能量取大,高頻子帶方差加權(quán)取大和絕對(duì)值取大相結(jié)合的融合算法,比基于傳統(tǒng)規(guī)則的NSCT算法的融合質(zhì)量及各項(xiàng)指標(biāo)都有明顯提高,有效地驗(yàn)證了方法的有效性。理論分析和實(shí)驗(yàn)結(jié)果證明:選取合適的濾波器組合,即使分解層數(shù)較少,方向數(shù)不大,配以合適的融合規(guī)則,就能夠獲得理想的融合效果,這大大減少了融合算法的復(fù)雜度。實(shí)驗(yàn)結(jié)果對(duì)NSCT的深入研究具有較大的指導(dǎo)意義。
[1]Matsopouios GK,Marshall S,Brunt J.Multi-resolution morphological fusion of MR and CT images of the human brain[J].IEEE Transactions on Image and Signal Processing,1994,141(3):137-142.
[2]Wang A,Sun Haijing,Guan Yueyang.The application of wavelet transform to multi-modality medical image fusion[A].In: Proceedings of IEEE international Conference on Networking,Sensing and Control[C].Chicago:IEEE,2006.270-274.
[3]張涇周,李婷,吳疆.醫(yī)學(xué)圖像的小波變換融合算法研究[J].中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào),2008,27(4):521-525.
[4]Jian Muwei,Dong Junyu,Zhang Yang.Image fusion based on wavelet transform [A].In:Proceedings of the 8th ACIS International Conference on Software Engineering,Artificial Intelligence,Networking,and Parallel/Distributed Computing[C].Chicago:IEEE,2007.713-718.
[5]胡俊峰,唐彩銀,鞏萍.基于小波變換的 CT/SPECT圖像融合最佳層數(shù)選?。跩].中國(guó)醫(yī)療設(shè)備,2009,24(3):10-12.
[6]Do MN,Vetterli M.Contourlet:A directional multiresolution image representation[A].In:Processings of IEEE International Conference on image Processing[C].Rochester:IEEE,2002.357-360.
[7]Do MN,Vetterli M.The contourlet transform:an efficient directionalmultiresolution image representation[J].IEEE Transactions on Image Processing,2005,14(12):2091-2106.
[8]才溪,趙巍.Contourlet變換低通濾波器對(duì)圖像融合算法影響的討論[J].自動(dòng)化學(xué)報(bào),2009,35(3):258-266.
[9]Do MN,Vetterli M.Pyramidal directional filter banks and curvelets [A].In:Proceedings of IEEE International Conference on Image Processing[C].Thessaloniki:IEEE,2001.3:158-161.
[10]Cunha AL,ZhouJiangping,Do MN.Thenonsubsampled contourlet transform:theory,design,and applications [J].IEEE Transactions on Image Processing,2006,15(10):3089-3101.
[11]郭雷,劉坤.基于非下采樣 Contourlet變換的自適應(yīng)圖像融合算法[J].西北工業(yè)大學(xué)學(xué)報(bào),2009,27(2):255-259.
[12]張強(qiáng),郭寶龍.基于非采樣 Contourlet變換多傳感器圖像融合算法[J].自動(dòng)化學(xué)報(bào),2008,34(2):135-141.
[13]賈建,焦李成,孫強(qiáng).基于非下采樣 Contourlet變換的多傳感器圖像融合[J].電子學(xué)報(bào),2007,35(10):1934-1938.
[14]Zheng Sheng,Shi Wenzhong,Liu Jian,et al.Multisource image fusion method using support value transform[J].IEEE Transactions on Image Processing,2007,16(7):1831-1839.
[15]Wang Zhijun,Djemel Z,Costas A,et al.A comparative analysis of image fusion methods[J].IEEE Transactions on Geoscience and Remote Sensing,2009,9(18):2137-2143.
[16]Xydeas CS,Petrovic V.Objcetive image fusion performance measure[J].Electronics Letters,2000,36(4):305-309.
Research of Medical Image Fusion Algorithms Based on Nonsubsampled Contourlet
HU Jun-Feng1,2*TANG He-Yun1QIAN Jian-Sheng2
1(School of Medical Imageology,Xuzhou Medical College,Xuzhou 221006,China)2(School of Information and Electric Engineering,China University of Mining and Technology,Xuzhou 221008,China)
R318.04
A
0258-8021(2010)04-0509-08
10.3969/j.issn.0258-8021.2010.04.006
2009-12-30,
2010-04-15
江蘇省高??萍汲晒D(zhuǎn)化項(xiàng)目(JHZD09-22);徐州市科技計(jì)劃項(xiàng)目 (XM09B070)
*通訊作者。 E-mail:hjf098@yahoo.com.cn