劉　斌,劉維杰,羅益輝,郭　琳

(1.湖北大學(xué)計(jì)算機(jī)與信息工程學(xué)院，湖北武漢 430062； 2.武漢大學(xué)計(jì)算機(jī)學(xué)院，湖北武漢 430072)

八通道MSVD構(gòu)造及其在多聚焦圖像融合中的應(yīng)用

劉斌1,劉維杰2,羅益輝1,郭琳1

(1.湖北大學(xué)計(jì)算機(jī)與信息工程學(xué)院，湖北武漢 430062； 2.武漢大學(xué)計(jì)算機(jī)學(xué)院，湖北武漢 430072)

針對(duì)經(jīng)典的SVD在圖像處理中的不足，提出了一種八通道多尺度奇異值分解(Multi-resolution Singular Value Decomposition，MSVD)構(gòu)造方法，并把它應(yīng)用于多聚焦圖像融合中.首先，在經(jīng)典SVD的基礎(chǔ)上，利用矩陣分塊的方法，提出了一種八通道多尺度SVD的構(gòu)造方法.其次，對(duì)參加融合的多聚焦圖像進(jìn)行八通道MSVD分解，得到高層低頻和各層七個(gè)方向的高頻，對(duì)分解的低頻子圖像利用數(shù)學(xué)形態(tài)學(xué)增強(qiáng)邊緣的方法進(jìn)行融合、高頻子圖像采用基于區(qū)域能量取大的融合規(guī)則進(jìn)行融合，并重構(gòu)獲得融合結(jié)果圖像.最后，對(duì)融合結(jié)果進(jìn)行主客觀評(píng)價(jià)和分析.實(shí)驗(yàn)結(jié)果表明，該圖像融合方法有較好的視覺(jué)效果，結(jié)果圖像有較高的清晰度，邊緣細(xì)節(jié)信息豐富，沒(méi)有方塊效應(yīng).從客觀數(shù)值和圖形評(píng)價(jià)指標(biāo)看，該方法有較高的清晰度，其清晰度比基于DWT的融合方法、基于LWT的融合方法、基于Curvelet的融合方法、基于Contourlet的融合方法都高.

圖像融合；矩陣奇異值分解；多尺度分析；多聚焦圖像

1　引言

圖像融合是指按照一定的規(guī)則，把同一目標(biāo)或同一場(chǎng)景的多個(gè)傳感器的成像或單一傳感器的多次成像進(jìn)行一定的處理，生成一幅新的圖像.通過(guò)單一傳感器所獲得的圖像信息往往不足以用來(lái)對(duì)目標(biāo)或場(chǎng)景進(jìn)行更好地檢測(cè)、分析與理解，對(duì)多個(gè)傳感器信息的融合能獲得同一場(chǎng)景或目標(biāo)更全面、更準(zhǔn)確、更可靠的信息，融合結(jié)果圖像更符合人或機(jī)器的視覺(jué)特性，有利于對(duì)圖像的進(jìn)一步分析、理解，目標(biāo)的檢測(cè)、識(shí)別或跟蹤.圖像融合在自動(dòng)目標(biāo)識(shí)別、機(jī)器視覺(jué)、遙感、機(jī)器人、復(fù)雜智能制造系統(tǒng)、醫(yī)學(xué)圖像等非軍事領(lǐng)域和軍事領(lǐng)域得到了廣泛的應(yīng)用[1,2].近年來(lái)圖像融合已成為熱門的研究課題.

多聚焦圖像融合是指利用計(jì)算機(jī)對(duì)來(lái)自于同一場(chǎng)景中的多個(gè)目標(biāo)進(jìn)行兩次或多次成像處理，將這些成像中的清晰部分組成一幅新的圖像，新的圖像可供計(jì)算機(jī)進(jìn)行進(jìn)一步圖像分析、目標(biāo)識(shí)別和圖像理解.目前，各種多聚焦圖像融合方法層出不窮，其中，基于多尺度分析的融合方法是主流方法，主要有：Burt等人提出了圖像的金字塔分解方法后[3]，金字塔技術(shù)被應(yīng)用于圖像融合，有基于Laplacian金字塔的融合方法[4]、基于對(duì)比度金字塔的融合方法[5,6]；基于張量積小波多尺度融合方法[7,8].近年來(lái)，隨著各類新的小波的不斷發(fā)展，出現(xiàn)了一些新的多聚焦圖像融合方法，基于形態(tài)學(xué)小波的融合方法[9]，基于Curvelet的融合方法[10,11]，基于采樣和非下采樣Contourlet的融合方法[12,13]，基于提升小波的融合方法等[14～16].基于Laplacian金字塔的融合方法和基于對(duì)比度金字塔的融合方法雖然實(shí)現(xiàn)了多尺度的圖像融合，但在融合結(jié)果圖像中會(huì)出現(xiàn)人工痕跡，且不具有方向性；基于張量積小波的融合方法雖然具有方向性，但它只強(qiáng)調(diào)了圖像的水平方向和垂直方向，且由于對(duì)濾波后的圖像分別進(jìn)行行、列的下2抽樣，使得結(jié)果圖像中不可避免地會(huì)產(chǎn)生方塊效應(yīng)；基于Curvelet和Contourlet的融合方法具有很好的方向性，但目前的Curvelet、Contourlet都是通過(guò)一維小波對(duì)圖像的行、列分別進(jìn)行處理，其母小波還是一維小波，因而本質(zhì)上還是張量積小波，且都依賴于Fourier變換，另外基于第一代、第二代Curvelet以及采樣和非下采樣Contourlet的圖像融合方法的運(yùn)算量均偏大；基于提升小波的圖像融合方法在空間域內(nèi)進(jìn)行，不依賴于Fourier變換，速度快，適合于實(shí)時(shí)圖像融合，但目前的提升小波還是張量積小波，它不是二維小波變換的一般形式，因而它也只提取圖像中的水平方向和垂直方向的邊緣信息，且也不可避免地會(huì)產(chǎn)生方塊效應(yīng).

矩陣或圖像的奇異值分解(Singular Value Decomposition，SVD)[17～19]是一種正交變換，具有最佳去相關(guān)性，對(duì)于任意行列線性相關(guān)的矩陣，通過(guò)左右各乘一個(gè)正交矩陣，得到一個(gè)對(duì)角陣，其奇異值個(gè)數(shù)就能反映原矩陣的行(列)不相關(guān)矢量的個(gè)數(shù).對(duì)于圖像這樣數(shù)據(jù)量大的矩陣，奇異值分解能夠去掉圖像中冗余信息，而把信息只集中保留到少數(shù)的奇異值上.此方法近年來(lái)在圖像壓縮、去噪、數(shù)字水印等數(shù)字圖像處理中得到廣泛應(yīng)用.它有如下特點(diǎn)：

(1)能量重新分配與集中.圖像的SVD分解是將圖像矩陣按特征值的大小對(duì)其進(jìn)行對(duì)角化分解，它體現(xiàn)了圖像能量從大到小的分布特點(diǎn)，主要能量集中于圖像的重新處理后的少數(shù)向量上，也就是體現(xiàn)了其主成份分析特性.這種奇異值分解有很好的穩(wěn)定性，即當(dāng)圖像被施加較小的擾動(dòng)時(shí)，圖像的奇異值也不會(huì)發(fā)生太大的變化.奇異值分解既是圖像的內(nèi)蘊(yùn)特征的表現(xiàn)，也體現(xiàn)了圖像能量從大到小的分布規(guī)律性，從頻率分布的角度看，這種能量從大到小的分布規(guī)律也體現(xiàn)了圖像頻率從低頻到高頻的分布規(guī)律，因而其分解也具有明顯的物理意義，也可看成是頻率的分解.

(2)具有正交性.即能消去圖像像素間的相關(guān)性.它使得處理后的圖像沒(méi)有冗余性，因而更適合于圖像壓縮和融合.

(3)在時(shí)域內(nèi)完成，不需要作Fourier變換，但也能體現(xiàn)頻率特征，有高頻和低頻.

(4)速度快，能進(jìn)行實(shí)時(shí)分解與融合，無(wú)需卷積運(yùn)算，具有線性計(jì)算復(fù)雜性.

2　八通道MSVD構(gòu)造

2.1矩陣的奇異值分解

從而可將矩陣A分解成三個(gè)矩陣的乘積

A=UΣVT

其中，Σ1是大小為m×n的非奇異對(duì)角陣.若r是A的秩，則Σ1的對(duì)角線上元素由大到小排列如下

σ1≥σ2≥…≥σr>0

由于正交矩陣U和V依賴于A，因此SVD是非線性的，且A和Σ1是等價(jià)的，因?yàn)?/p>

即Σ1的元素是矩陣A的特征值的均方根，我們把這些元素稱作A的奇異值.它們具有較強(qiáng)的穩(wěn)定性，當(dāng)矩陣A有微小振動(dòng)時(shí)，其奇異值的改變不會(huì)大于振動(dòng)矩陣的2-范數(shù).矩陣奇異值具有比例不變性和旋轉(zhuǎn)不變性，能表現(xiàn)圖像的代數(shù)特征，代表了圖像的灰度信息，奇異值越大，其對(duì)應(yīng)的特征向量擁有的信息量就越多.不失一般性，可知較大的奇異值包含了大部分的圖像信息，它對(duì)應(yīng)著圖像的近似部分，而較小的值就對(duì)應(yīng)著圖像的細(xì)節(jié)部分，即圖像中的高頻部分.因此，如果能將原圖像按照奇異值大小分離出近似和細(xì)節(jié)信息，那么就可以做成圖像的多尺度分析了.

2.2八通道MSVD構(gòu)造

為了達(dá)到實(shí)現(xiàn)圖像多尺度分析的目的，我們根據(jù)文獻(xiàn)[20]的分塊思想將圖像分塊變形后再進(jìn)行奇異值分解，從而構(gòu)造出一種圖像的八通道多尺度分析，具體步驟如下：

X(k,l)，1≤k≤m/p，1≤l≤n/q

Step2將每個(gè)子塊按先列后行的方式展開(kāi)成((p×q)×1)的列向量，再將這些列向量組合成一個(gè)(p×q)×(mn/(p×q))大小的矩陣T.

Step3對(duì)每個(gè)T進(jìn)行奇異值分解：T=USVT，其中U是大小為(p×q)×(p×q)的正交矩陣，V是大小為(mn/(p×q))2的正交矩陣.

Step4對(duì)T左乘正交矩陣UT，即可得到(p×q)×(mn/(p×q))的矩陣A，即

A=UTT=SVT

通過(guò)上述分解過(guò)程后可得到圖像的1個(gè)低頻子圖像和(p×q-1)個(gè)高頻子圖像.矩陣A的每一行所包含的信息與正交矩陣U的列向量有密切關(guān)系，根據(jù)奇異值分解，U的列向量與奇異值一一對(duì)應(yīng)的，U的第一列反映了最大的奇異值，代表了大部分的原圖像信息，那么左乘矩陣T而得到的A的第一行就包含了原圖像的主要信息，它相當(dāng)于原圖像的近似部分.同理A中其他行對(duì)應(yīng)的是小的奇異值，其包含的信息很少，相當(dāng)于圖像的細(xì)節(jié)部分.因此，圖像可以根據(jù)奇異值的大小分解成低頻和高頻信息，從而能實(shí)現(xiàn)圖像的多尺度分析.這樣，通過(guò)Step4得到矩陣A后，將A的每一行提取出來(lái)按先列后行的順序重新排列成一個(gè)(m/p)×(n/q)的矩陣，分別記為A1,A2,…,A(p×q)，根據(jù)上一節(jié)所講，A1就是低頻子圖像，其他都是高頻子圖像.

本文中當(dāng)p×q=8時(shí)就得到8通道的圖像分解，由于2×4=8且4×2=8，因此，可采用2×4或4×2的方塊方式，分解后可得到八幅圖像：1個(gè)低頻子圖像和7個(gè)高頻子圖像，分別記作A1,D1,D2,D3,D4,D5,D6,D7.

重構(gòu)過(guò)程是上述分解的逆過(guò)程，將分解得到的p×q個(gè)(m/p)×(n/q)矩陣分別按行、列展開(kāi)，再組合成(p×q)×(mn/(p×q))的矩陣A*，計(jì)算T*=UA*，然后將T*的列向量還原成p×q的塊，再將這些塊重新組合，得到一個(gè)m×n的重構(gòu)矩陣X*.

上述過(guò)程只是對(duì)圖像作一層SVD分解，對(duì)低頻子圖像A1按上述方式類似地進(jìn)行多層分解，即得到圖像的MSVD構(gòu)造.

3　圖像融合算法

基于八通道MSVD的圖像融合流程如圖1所示，分為如下五個(gè)主要步驟.

Step1對(duì)參加融合的多聚焦圖像進(jìn)行配準(zhǔn).

Step2按第2節(jié)的方式分別對(duì)參加融合的原圖像進(jìn)行多級(jí)八通道MSVD分解，得最高層一個(gè)低頻子圖像和各層七個(gè)高頻子圖像.

Step3對(duì)分解后的最高層低頻子圖像和各層高頻子圖像按不同融合規(guī)則進(jìn)行融合.

對(duì)圖像分解后的最高層(空間分辨率最低)的低頻圖像采用數(shù)學(xué)形態(tài)學(xué)增強(qiáng)邊緣的方法進(jìn)行融合.傳統(tǒng)的多聚焦圖像融合方法對(duì)圖像的低頻主要采用加權(quán)平均的方法進(jìn)行融合，這種方法對(duì)低頻度圖像有較好的融合效果，但它忽略了低頻圖像中還仍然含有高頻信息的特點(diǎn)，實(shí)際上，如果對(duì)低頻圖像進(jìn)一步分解，必然可以分解出相對(duì)頻率高的信息，但對(duì)圖像進(jìn)行多層分解會(huì)耗費(fèi)更多的運(yùn)算量；另外，我們對(duì)本文所提出的八通道多尺度分析所產(chǎn)生低頻圖像系數(shù)進(jìn)行分析后發(fā)現(xiàn)，其低頻圖像系數(shù)的變化量相對(duì)于其它的圖像多尺度分析的低頻系數(shù)的變化量要大，據(jù)此，我們提出利用形態(tài)學(xué)的邊緣增強(qiáng)方法對(duì)低頻邊緣信息進(jìn)行融合，設(shè)A、B分別為參加融合的兩幅多聚焦源圖像，記A分解后的低頻圖像為AJ,l(J表示最高層尺度指標(biāo)，l表示低頻)，B分解后的低頻圖像為BJ,l，具體融合步驟如下：

第一步，利用形態(tài)學(xué)梯度算子分別提取AJ,l和BJ,l的形態(tài)學(xué)梯度.利用形態(tài)學(xué)結(jié)構(gòu)元素分別對(duì)AJ,l和BJ,l進(jìn)行形態(tài)學(xué)開(kāi)、閉運(yùn)算，并把閉運(yùn)算的結(jié)果與開(kāi)運(yùn)算的結(jié)果相減，分別得兩梯度圖G(AJ,l)和G(BJ,l).

第二步，對(duì)上述得到的兩梯度圖相加或進(jìn)行取或運(yùn)算，得融合后的共同邊緣圖E.它同時(shí)吸收了A和B的低頻邊緣信息.

第三步，對(duì)AJ,l和BJ,l進(jìn)行加權(quán)平均，得低頻圖像FFJ,l.

第四步，把邊信息圖像E以適當(dāng)比例加入到低頻圖像FFJ,l中，得新的具有更豐富邊緣的低頻圖像FJ,l.

為了使融合結(jié)果圖像充分體現(xiàn)原圖像的清晰度，融合的基本原則就是提取參加融合圖像作MSVD分解后的系數(shù)圖像中能體現(xiàn)清晰成份的系數(shù).圖像作MSVD分解后的高頻系數(shù)與圖像的清晰度有直接的關(guān)系，高頻系數(shù)體現(xiàn)的是圖像的細(xì)節(jié)信息，高頻系數(shù)越大，圖像在相應(yīng)位置的變化量越大，從而前景的值和背景的值相差較大，相應(yīng)區(qū)域的對(duì)比度越大，圖像越清晰，因此，在對(duì)高頻圖像進(jìn)行融合時(shí)，要盡可能選擇絕對(duì)值較大的系數(shù)作為融合高頻子圖像的系數(shù).另外，由于圖像中的目標(biāo)是以區(qū)域的形式存在的，單個(gè)像素不能形成目標(biāo)，必須考慮一個(gè)像素和它周圍的窗口內(nèi)的像素一起參與運(yùn)算，因此，本文對(duì)圖像MSVD分解的各層高頻系數(shù)采用基于區(qū)域能量取大的融合規(guī)則，這樣既能很好地考慮圖像的清晰度和亮度，又能較好地表現(xiàn)圖像中的目標(biāo).即圖像MSVD分解后的高頻系數(shù)的融合規(guī)則如下：

定義這個(gè)窗口的能量為

(對(duì)所有的j，h及k=1,2,3,4,5,6,7)

Step4對(duì)圖像分解后的不同層的正交矩陣U進(jìn)行融合.

這里的U類似于圖像作小波分解和重構(gòu)過(guò)程的基，為了使基的作用在參加融合的圖像中盡可能平衡，選擇參加融合圖像分解后的各層的兩個(gè)U的平均值作為融合結(jié)果U的值，具體融合方式如下：

對(duì)參加融合的圖像A、B，記UA,j為A的第j層分解后的正交矩陣，UB,j為B的第j層分解后的正交矩陣，則第j層重構(gòu)的正交矩陣為

Uj=(UA,j+UB,j)/2

Step5按第2節(jié)的重構(gòu)方式對(duì)融合后的MSVD塔形結(jié)構(gòu)進(jìn)行重構(gòu)，得融合結(jié)果圖像F.

4　實(shí)驗(yàn)及結(jié)果評(píng)價(jià)

4.1實(shí)驗(yàn)結(jié)果

我們進(jìn)行了大量的實(shí)驗(yàn)研究，得到了一致的結(jié)論，這里展示兩組實(shí)驗(yàn)結(jié)果，第一組為實(shí)際多聚焦圖像的融合實(shí)驗(yàn)，第二組為模擬多聚焦圖像及其融合實(shí)驗(yàn).第一組的源圖像如圖2(a)、圖2(b)所示，是Pepsi圖像，圖像大小均為512×512，圖2(a)是聚焦左邊可樂(lè)瓶的圖像，圖2(b)是聚焦右邊文字的圖像.第二組為模擬多聚焦融合實(shí)驗(yàn)，選定的清晰的標(biāo)準(zhǔn)圖像如圖3(a)所示，是大小為512×512的清晰的Baboon圖像，利用文獻(xiàn)[21]方法分別對(duì)它們進(jìn)行左右或上下分別聚焦產(chǎn)生模擬多聚焦圖像，模擬多聚焦圖像的生成過(guò)程為：選擇一個(gè)中心點(diǎn)和模糊半徑，用高斯徑向模糊函數(shù)對(duì)圖像進(jìn)行模糊，中心點(diǎn)最清晰，離中心點(diǎn)越遠(yuǎn)的像素越模糊.圖3(b)和圖3(c)分別為通過(guò)上述方法對(duì)圖3(a)的Baboon圖像分別進(jìn)行聚焦于下部和聚焦于上部的圖像.圖2(g)、圖3(h)分別是利用本文方法對(duì)圖2(a)和圖2(b)、圖3(b)和圖3(c)進(jìn)行融合的結(jié)果圖像.

為了體現(xiàn)本文方法的特點(diǎn)，我們把它與基于離散小波變換(DWT)的融合方法(文獻(xiàn)[8])、基于提升小波變換(LWT)的融合方法(文獻(xiàn)[14])、基于Curvelet的融合方法(文獻(xiàn)[11])、基于Contourlet的融合方法(文獻(xiàn)[12])分別作對(duì)比研究，這四種方法對(duì)低頻采用的是加權(quán)平均、對(duì)高頻采用局部窗口能量取大的融合規(guī)則.圖2(c)～圖2(f)分別是Pepsi圖像分別使用這四種方法得到的融合結(jié)果圖像，圖3(d)～圖3(g)分別是Baboon圖像分別使用這四種方法得到的融合結(jié)果圖像.DWT方法和Contourlet方法所采用的張量積小波均為Daubechies系列小波中的db2小波.LWT方法使用db2小波的提升小波，基于Contourlet融合方法所使用的方向?yàn)V波器為5-3方向?yàn)V波器，所有參與比較的五種方法對(duì)源圖像的分解層數(shù)均為3，使用Matlab7.5編程.

從融合結(jié)果圖像可以看出，圖2(g)的Pepsi左右都清晰，圖3(h)的Baboon圖像的上下都很清晰.分別比較圖2(g)與圖2(c)～圖2(f)、圖3(h)與圖3(d)～圖3(g)的融合視覺(jué)效果可以看出，圖2(g)左邊可樂(lè)瓶上及右邊的數(shù)字和英文字符比其它方法的都清晰；圖3(h)上面的Baboon的眼睛、下面的胡須比其它方法的都清晰.說(shuō)明本文方法所得結(jié)果圖像有較好的對(duì)比度和清晰度.為了更看清融合效果，我們?nèi)D像中的部分局部進(jìn)行比較，眾所周知，基于Contourlet的融合方法相對(duì)其它方法有較好的融合效果，因此，我們選用本文方法的局部與基于Contourlet的融合方法的對(duì)應(yīng)局部進(jìn)行比較，分別取出圖2(g)和圖2(f)、圖3(h)和圖3(g)的對(duì)應(yīng)局部圖像，對(duì)比效果列于圖4中，圖4(a) 、圖4(c)為本文方法局部結(jié)果圖像、圖4(b)和圖4(d)分別為基于Contourlet融合方法的局部圖像，可以明顯看出，左邊比右邊清晰，從而說(shuō)明本文建議方法融合結(jié)果更清晰.

4.2客觀性能比較

為了看出各種方法的融合客觀效果，我們選用數(shù)值法和圖形法兩種方式對(duì)融合圖像質(zhì)量進(jìn)行評(píng)價(jià).多聚焦圖像融合的主要目的就是獲得有較高清晰度的融合結(jié)果圖像，因此本文采用的數(shù)值指標(biāo)為圖像的清晰度[22]，數(shù)值法一般是通過(guò)圖像的統(tǒng)計(jì)信息，把圖像質(zhì)量用一個(gè)函數(shù)值表示，它是對(duì)圖像信息的概括和抽象，簡(jiǎn)單易于計(jì)算，然而它只用一個(gè)數(shù)值去評(píng)價(jià)圖像的質(zhì)量，丟掉了圖像中的很多有用的信息，如像素的位置等信息.近年來(lái)，為了適應(yīng)人們對(duì)評(píng)價(jià)結(jié)果直觀性和多功能的要求，在一個(gè)圖形或圖像中描述多個(gè)數(shù)值結(jié)果的圖像質(zhì)量評(píng)價(jià)法得到應(yīng)用，主要有直方圖法[23]、Hosaka曲線法[24]、Eskicioglu圖表法[25]及基于SVD的灰度圖像評(píng)價(jià)方法[26]等.除直方圖法外，這些方法大多數(shù)需要標(biāo)準(zhǔn)參考圖像，而且目前主要應(yīng)用于圖像壓縮的質(zhì)量評(píng)價(jià).基于此，本文選用直方圖法去評(píng)價(jià)圖像融合的質(zhì)量，對(duì)于有標(biāo)準(zhǔn)圖像的情形(第二組實(shí)驗(yàn))，我們選用基于SVD的灰度圖像評(píng)價(jià)方法對(duì)融合結(jié)果質(zhì)量進(jìn)行評(píng)價(jià).

清晰度是衡量圖像的清晰程度的重要指標(biāo)，若F為融合結(jié)果圖像，則其清晰度的表達(dá)式如下：

這里ΔFx和ΔFy分別表示圖像F在x方向和y方向的差分.清晰度的值越大，圖像越清晰.

圖像直方圖是圖像中各灰度級(jí)所對(duì)應(yīng)的像素?cái)?shù)或所占比例的統(tǒng)計(jì)，通過(guò)直方圖的變化趨勢(shì)可以看出圖像各灰度級(jí)的像素的分布，直方圖有差值直方圖和絕對(duì)值直方圖兩種，前者主要用于有標(biāo)準(zhǔn)圖像的情況，而后者不受此條件的限制，本文選用絕對(duì)值直方圖評(píng)價(jià)融合圖像的清晰度，圖像直方圖分布越分散，圖像的標(biāo)準(zhǔn)差越大，更多像素的前景和背景的差值越大，從而圖像的對(duì)比度越大，圖像越清晰.

基于SVD的灰度圖像評(píng)價(jià)方法是對(duì)融合結(jié)果圖像和標(biāo)準(zhǔn)參考圖像分別分塊，并求對(duì)應(yīng)塊的奇異值的均方差，得到一個(gè)灰度圖像，圖像中的每個(gè)像素的值對(duì)應(yīng)結(jié)果圖像和標(biāo)準(zhǔn)圖像在對(duì)應(yīng)塊上的差異，由于奇異值是塊圖像的本質(zhì)特征，這種差異是兩圖像的本質(zhì)差異，差值越小，表明融合結(jié)果圖像越接近標(biāo)準(zhǔn)圖像，損失越小.

本文研究的融合方法的第一組實(shí)驗(yàn)的清晰度性能指標(biāo)列于表1中.比較表1數(shù)據(jù)可以看出，本文建議的融合方法比基于DWT融合方法、基于LWT融合方法、基于Curvelet融合方法、基于Contourlet融合方法有較高的清晰度.

圖5列出了Pepsi圖像使用本文上述五種方法得到的融合結(jié)果圖像的直方圖，比較各方法的直方圖可以看出，本文建議方法直方圖的分散程度比其它四種方法的分散程度都高，圖5(e)中灰度級(jí)接近0和灰度級(jí)接近200的像素?cái)?shù)明顯比其它方法多，這也說(shuō)明中間灰度級(jí)的像素?cái)?shù)相對(duì)少了，從而灰度級(jí)分散了，即融合圖像有較高的對(duì)比度.

表1　多聚焦圖像融合清晰度

圖6列出了Baboon圖像使用基于SVD灰度圖像評(píng)價(jià)方法的奇異值差異圖，從圖中明顯可以發(fā)現(xiàn)，本文建議方法的差異圖像(圖6(e))偏暗，說(shuō)明其灰度值較小，從而對(duì)應(yīng)塊的奇異值的差較小，即融合圖像較接近標(biāo)準(zhǔn)參考圖像.

5　結(jié)論

提出了一種八通道多尺度奇異值分解(MSVD)的構(gòu)造方法，并把它應(yīng)用于多聚焦圖像融合中.這種多尺度構(gòu)造方法能把圖像分解到不同的尺度上，從而對(duì)圖像的低頻和高頻可以在不同頻率上的輪廓和細(xì)節(jié)進(jìn)行融合處理，使融合效果更符合人的視覺(jué)特性，同時(shí)，圖像在不同層分解的七個(gè)高頻使融合結(jié)果圖像有更多更好的方向性.另外，這種多尺度分析還保留了SVD的正交性，使得圖像分解無(wú)冗余；再者，對(duì)圖像的分解與重構(gòu)只在空域內(nèi)完成，不依賴于Fourier變換，從而使圖像融合有較快的速度.實(shí)驗(yàn)結(jié)果表明，該圖像融合方法有較好的視覺(jué)效果，結(jié)果圖像有較高的清晰度，邊緣細(xì)節(jié)信息豐富，沒(méi)有方塊效應(yīng).從客觀性能指標(biāo)看，該方法有較高的清晰度，其清晰度比基于DWT的融合方法、基于LWT的融合方法、基于Curvelet的融合方法、基于Contourlet的融合方法都高.

[1]Bahador Khaleghi,Alaa Khamis,Fakhreddine O Karray,et al.Multisensor data fusion:A review of the state-of-the-art[J].Information Fusion,2013,14(1):28-44.

[2]A A Goshtasby,S Nikolov.Image fusion:Advances in the state of the art[J].Information Fusion,2007,8(2):114-118.

[3]Burt P T,Adelson E H.The laplacian pyramid as a compact image code[J].IEEE Transactions on Communications,1983,31(4):532-540.

[4]Yun Se-Hwan,Kim Jin Heon,Kim Suki.Image enhancement using a fusion framework of histogram equalization and laplacian pyramid[J].IEEE Transactions on Consumer Electronics,2010,56(4):2763-2771.

[5]劉貴喜,楊萬(wàn)海.基于多尺度對(duì)比度塔的圖像融合方法及性能評(píng)價(jià)[J].光學(xué)學(xué)報(bào),2001,21(11):1336-1342.

Liu Gui-xi,Yang Wan-hai.A multiscale contrast-pyramid-based image fusion scheme and its performance evaluation[J].Acta Optica Sinica,2001,21(11):1336-1342.(in Chinese)

[6]A Toet.Multiscale contrast enhancement with application to image fusion[J].Optical Engineering,1992,31(5):1026-1031.

[7]Li H,Manjunath B S,Mitra S K.Multi-sensor image fusion using the wavelet transform[J].CVGIP:Graphical Models and Image Processing,1995,57(3):235-245.

[8]Pajares G,Cruz J.A wavelet-based image fusion tutorial[J].Pattern Recognition,2004,37(9):1855-1872.

[9]Jiang Yong,Wang Minghui.Image fusion with morphological component analysis[J].Information Fusion,2014,18(7):107-118.

[10]Li Shutao,Yang Bing,Hu Jianwen.Performance comparison of different multi-resolution transforms for image fusion[J].Information Fusion,2011,12(2):74-84.

[11]王剛,馬美仲,趙英路,等.Curvelet變換域的圖像融合算法[J].儀器儀表學(xué)報(bào),2008,29(9):1841-1845.

Wang Gang,Ma Mei-zhong,Zhao Ying-lu,et al.Algorithm for image fusion in the curvelet transform domain[J].Chinese Journal of Scientific Instrument,2008,29(9):1841-1845.(in Chinese)

[12]劉坤,郭雷,常威威.基于Contourlet變換的區(qū)域特征自適應(yīng)圖像融合算法[J].光學(xué)學(xué)報(bào),2008,28(4):681-686.

Liu Kun,Guo Lei,Chang Wei-wei.Regional feature self-adaptive image fusion algorithm based on contourlet transform[J].Acta Optica Sinica,2008,28(4):681-686.(in Chinese)

[13]Zhang Q,Guo B L.Multifocus image fusion using the nonsubsampled contourlet transform[J].Signal Processing,2009,89(7):1334-1346.

[14]Xiao Xiaohong,Wu Zhihong.Image fusion based on lifting wavelet transform[A].Proceedings of IEEE International Symposium on Intelligence Information Processing and Trusted Computing[C].Huanggang:IEEE,2010.659-662.

[15]Geng Guozhang,Chen Hao,Liu Yanying,Wang Yanjie.Image fusion method of 9/7 wavelet transform based on lifting scheme[A].Proceedings of IEEE International Symposium on Knowledge Acquisition and Modeling Workshop[C].Piscataway:IEEE,2008.522-524.

[16]Chai Y,Li H F,Guo M Y.Multifocus image fusion scheme based on features of multiscale products and PCNN in lifting stationary wavelet domain[J].Optics and Communications,2011,284(5):1146-1158.

[17]劉瑞禎,譚鐵牛.基于奇異值分解的數(shù)字圖像水印方法[J].電子學(xué)報(bào),2001,29(2):168-171.

Liu Rui-zhen,Tan Tie-niu.SVD based digital watermarking method[J].Acta Electronica Sinica,2001,29(2):168-171.(in Chinese)

[18]趙學(xué)智,葉邦彥.SVD和小波變換的信號(hào)處理效果相似性及其機(jī)理分析[J].電子學(xué)報(bào),2008,36(8):1582-1589.

Zhao Xue-zhi,Ye Bang-yan.The similarity of signal processing effect between SVD and wavelet transform and its mechanism analysis[J].Acta Electronica Sinica,2008,36(8):1582-1589.(in Chinese)

[19]趙學(xué)智,葉邦彥.多分辨SVD包理論及其在信號(hào)處理中的應(yīng)用[J].電子學(xué)報(bào),2012,40(10):2039-2046.

Zhao Xue-zhi,Ye Bang-yan.Multi-resolution SVD packet theory and its application to signal processing[J].Acta Electronica Sinica,2012,40(10):2039-2046.(in Chinese)

[20]Kakarala R,Ogunbona P O.Signal analysis using a multiresolution form of the singular value decomposition[J].IEEE Transactions on Image Processing,2001,10(5):724-735.

[21]Zhang Z,Blum R S.A categorization of multiscale-decomposition-based image fusion schemes with a performance study for a digital camera application[J].Proceedings of IEEE,1999,87(8):1315-1326.

[22]馬苗,萬(wàn)仁遠(yuǎn),尹義龍.基于相似性灰關(guān)聯(lián)的Curvelet域多聚焦融合[J].電子學(xué)報(bào),2012,40(10):1984-1988.

Ma Miao,Wan Ren-yuan,Yin Yi-long.Multi-focus image fusion based on grey relation of similarity in curvelet domain[J].Acta Electronica Sinica,2012,40(10):1984-1988.(in Chinese)

[23]Eskicioglu A M.Quality measurement for monochrome compressed images in the past years[A].Proceedings of IEEE International Conference on Acoustics,Speech,and Signal Processing[C].Istanbul:IEEE,2000.Vol.4,1907-1910.

[24]Eskicioglu A M,Fisher P S.Image quality measure and their performance[J].IEEE Transactions on Communication,1995,43(12):2959-2965.

[25]Eskicioglu A M.Multi-dimensional measure for image quality[A].Proceedings of Data Compression Conference[C].Snowbird:IEEE,1995.469.

[26]Aleksandr Shnayderman,Alexander Gusev,Ahmet M Eskicioglu.An SVD-based grayscale image quality measure for local and global assessment[J].IEEE Transactions on Image Processing,2006,15(2):422-429.

劉斌男，1963年生于湖北紅安，教授、博士生導(dǎo)師.2006年在華中科技大學(xué)圖像所獲模式識(shí)別與智能系統(tǒng)專業(yè)博士學(xué)位.主要從事圖像融合、小波理論與應(yīng)用、模式識(shí)別等的教學(xué)和研究工作.

E-mail:liubin3318@163.com

劉維杰男，1991年生于湖北武漢，現(xiàn)博士就讀于武漢大學(xué)計(jì)算機(jī)學(xué)院.主要研究方向?yàn)樾畔踩?、圖像處理.

Construction of Eight Channel Multi-Resolution Singular Value Decomposition of Matrix and Its Application in Multi-Focus Image Fusion

LIU Bin1,LIU Wei-jie2,LUO Yi-hui1,GUO Lin1

(1.School of Computer and Information Engineering,Hubei University,Wuhan,Hubei 430062,China;2.Computer School,Wuhan University,Wuhan,Hubei 430072,China)

To improve the defaults of classical SVD in image processing,a construction method of eight channel multi-resolution singular value decomposition of matrix (MSVD) is presented.An image fusion method based on this MSVD is proposed.Firstly,based on the principle of classical SVD and blocking algorithm,a multi-resolution analysis of eight-channel SVD of matrix is constructed.Each image involved in the fusion are decomposed into one approximation and seven detail images with different resolution by the eight channel multi-resolution singular value decomposition.Secondly,combined with reconstruction algorithm of MSVD,the frame of image fusion is given.The different frequency of original images can be shown in multi-resolution form.The low-frequency sub-image is fused by using an edge enhancement method of mathematical morphological gradient.For the seven high-frequency sub-images of each level,the energy of each image patch over 3×3 window in the high-frequency sub-images is computed as activity measurement.The center pixel of the 3×3 window in which the energy is bigger is selected as the new pixel of the fused result images.Finally,the performance of the result image is evaluated using objective numerical and graphics indices.The experimental results show that the proposed method has good visual effect and has no blocking-artifact.When compared with the fusion method based on DWT,LWT,Curvelet and Contourlet,the proposed fusion method has been observed to have higher definition.

image fusion;singular value decomposition of matrix;multi-resolution analysis;multi-focus image

2014-12-30；

2015-04-18；責(zé)任編輯：孫瑤

國(guó)家自然科學(xué)基金面上項(xiàng)目(No.61471160)；湖北省自然科學(xué)基金重點(diǎn)項(xiàng)目(No.2012FFA053)

TP391.4

A

0372-2112 (2016)07-1694-08

??學(xué)報(bào)URL:http://www.ejournal.org.cn

10.3969/j.issn.0372-2112.2016.07.025