孫永明,吳 謹(jǐn),劉 勁
(武漢科技大學(xué) 信息科學(xué)與工程學(xué)院,湖北 武漢 430081)
圖像融合是將多個(gè)傳感器獲得的某一場(chǎng)景的多幅圖像進(jìn)行綜合,以獲得信息更豐富、更符合人眼視覺特性或更適于計(jì)算機(jī)處理的新圖像。其應(yīng)用已遍及機(jī)場(chǎng)導(dǎo)航、安全監(jiān)控、醫(yī)學(xué)成像與診斷、機(jī)器視覺、智能交通、工業(yè)過程及軍事等領(lǐng)域。當(dāng)前大多數(shù)圖像融合研究工作主要集中在像素級(jí),像素級(jí)圖像融合存在中間環(huán)節(jié)數(shù)據(jù)量大、存儲(chǔ)空間大、實(shí)時(shí)性差等缺點(diǎn)。基于壓縮感知(Compressed Sensing,CS)的圖像融合技術(shù)由于其只對(duì)少量的采樣數(shù)據(jù)進(jìn)行分析處理,解決了中間環(huán)節(jié)數(shù)據(jù)量大的問題。
目前國(guó)內(nèi)外對(duì)基于壓縮感知的圖像融合中的采樣模式、測(cè)量矩陣設(shè)計(jì)、重構(gòu)算法以及融合規(guī)則問題進(jìn)行了探索研究。文獻(xiàn)[1]比較了3種壓縮采樣模式對(duì)壓縮感知重建性能的影響,并進(jìn)行了圖像融合仿真實(shí)驗(yàn),在采樣率為50%時(shí)仍有較好的融合結(jié)果。文獻(xiàn)[2]提出了一種基于雙放射狀采樣模式的壓縮感知圖像融合算法,在相同采樣率下比單放射狀采樣模式的融合效果要好。文獻(xiàn)[3]提出了一種基于特征值分解減小Gram矩陣的整體互相關(guān)系數(shù)的測(cè)量矩陣優(yōu)化方法,在優(yōu)化速度和重建效果方面都有一定的優(yōu)勢(shì)。由于高斯隨機(jī)測(cè)量矩陣硬件實(shí)現(xiàn)起來(lái)比較困難。因此,設(shè)計(jì)一種易于硬件實(shí)現(xiàn)的測(cè)量矩陣是基于CS圖像融合的重要問題。
測(cè)量矩陣主要有高斯隨機(jī)矩陣、循環(huán)矩陣和哈達(dá)瑪矩陣。其中高斯隨機(jī)矩陣最為常用,但由于其不確定性使得硬件實(shí)現(xiàn)比較困難;循環(huán)矩陣?yán)诖鎯?chǔ)和硬件實(shí)現(xiàn),但是效果較差,需要對(duì)其進(jìn)行優(yōu)化;哈達(dá)瑪矩陣效果最好且易于硬件實(shí)現(xiàn),但N 必需滿足N=2k,k=1,2,3…,限制了其應(yīng)用范圍。針對(duì)以上問題,本文設(shè)計(jì)了一種由-1,0和1構(gòu)成的測(cè)量矩陣,并對(duì)其進(jìn)行優(yōu)化,其優(yōu)點(diǎn)是易于硬件實(shí)現(xiàn),重構(gòu)效果較好且不受圖像大小限制。
壓縮感知理論是Candes、Donoho和Tao等人于2004年提出的一種新的信息獲取理論,與傳統(tǒng)的壓縮如文獻(xiàn)[4]中所述的壓縮有所不同,其核心思想是在信號(hào)采樣的同時(shí)實(shí)現(xiàn)信息的壓縮,它突破了奈奎斯特2倍最低采樣頻率的限制。該理論指出,若信號(hào)在某個(gè)變換域是稀疏的或可壓縮的,就可以利用與變換矩陣非相關(guān)的測(cè)量矩陣將變換系數(shù)投影為低維觀測(cè)向量。這種投影保持了重建信號(hào)所需的信息,通過進(jìn)一步求解稀疏最優(yōu)化問題就能夠從低維觀測(cè)向量精確地或高概率地重建原始高維信號(hào)。因此,將壓縮感知理論用于圖像融合,在壓縮域?qū)ι倭康木€性測(cè)量值進(jìn)行融合,然后對(duì)融合的測(cè)量值進(jìn)行重構(gòu),這在很大程度上減少了數(shù)據(jù)量和對(duì)存儲(chǔ)空間的需求。
假設(shè)圖像信號(hào)X∈RN×N,它的稀疏基為Ψ∈CN×N,ΨΨH=ΨHΨ=I,其中I為單位矩陣。利用稀疏基Ψ對(duì)X進(jìn)行稀疏變換,可以得到X在Ψ域的等價(jià)表示Θ=ΨX。
對(duì)X稀疏變換后,需要設(shè)計(jì)一個(gè)合理的測(cè)量矩陣Φ∈ZM×N,M<N,實(shí)現(xiàn)對(duì)信號(hào)X的觀測(cè)取樣,獲得觀測(cè)值Y,其大小為M×N。即:
測(cè)量矩陣設(shè)計(jì)的目的是如何采樣得到M個(gè)觀測(cè)值,并保證從少量觀測(cè)值中有效重構(gòu)出長(zhǎng)度為N的高維度信號(hào)X,或其等價(jià)表示Ψ域下的稀疏向量值。由于觀測(cè)集合Y的數(shù)量小于原始信號(hào)X的維數(shù),因此重構(gòu)信號(hào)X變成了一個(gè)求解欠定性方程組的問題,不易求解。但當(dāng)Φ×Ψ滿足有限等距特性(Restricted Isometry Property,RIP)[5-6]時(shí),欠定性方程組的求解問題可轉(zhuǎn)化為l0范數(shù)的最優(yōu)化求解問題:
RIP給出了上式高概率重構(gòu)的條件。因此,Φ×Ψ必須滿足RIP條件。而Φ×Ψ是否滿足RIP條件由Φ和Ψ間的相關(guān)性決定,如果不相關(guān),則Φ×Ψ 具有RIP性質(zhì)的概率很高[7]。CS理論的框架如圖1所示。
圖1 CS理論框架Fig.1 CS theoretical framework
設(shè)D=ΦΨ,其中Φ為測(cè)量矩陣,Ψ為稀疏變換矩陣。設(shè)D~表示對(duì)D進(jìn)行列單位化之后的矩陣,則稱G=D~TD~為 Gram 矩陣[8]。為了達(dá)到較好的重構(gòu)效果,測(cè)量矩陣Φ和稀疏變換矩陣Ψ的相關(guān)性必須要小,即使得D=ΦΨ有很小的列相關(guān)系數(shù),即Gram矩陣的非對(duì)角線元素盡可能為零?;ハ嚓P(guān)系數(shù)μ可以定義為Gram矩陣所有非對(duì)角線元素的絕對(duì)值之和,即
其中:g(i,j)是 Gram 矩陣的元素。
本文對(duì)測(cè)量矩陣的優(yōu)化采用模擬退火法,該方法減小互相關(guān)系數(shù)的核心思想是:按一定的規(guī)則改變測(cè)量矩陣的每一個(gè)元素值,求得改變后相應(yīng)的互相關(guān)系數(shù);如果互相關(guān)系數(shù)變小,則以一定的概率p(本文中p=0.5)改變?cè)撛刂?;否則,保持不變。
Φ生成算法具體步驟如下:
步驟1:生成一個(gè)只含有-1、0和1的向量a,長(zhǎng)度為N;
步驟2:對(duì)向量a以步長(zhǎng)1循環(huán)移位N次得到向量序列a1,a2…aN得到初始測(cè)量矩陣Φ=[a1,a2…aN]T,大小為 N×N;
步驟3:根據(jù)式(3)計(jì)算 Gram 矩陣G=D~TD~的相關(guān)系數(shù)μ0;
步驟4:依次將0變?yōu)?求得相應(yīng)Gram矩陣的相關(guān)系數(shù)μ1,將0變?yōu)椋?求得相應(yīng)Gram矩陣新的相關(guān)系數(shù)μ-1;令μnew=min(μ1,μ-1),如果μnew大于μ0,保持0值不變;否則,如果μ1小于μ-1,將0變?yōu)?,如果μ1大于μ-1,將0變?yōu)椋?。
基于壓縮感知圖像融合的核心思想是在壓縮域?qū)ι倭康臏y(cè)量值進(jìn)行融合,然后對(duì)融合得到的測(cè)量值進(jìn)行重構(gòu),以達(dá)到減小中間計(jì)算量的目的。
本文基于壓縮感知的圖像融合方案:
(1)對(duì)兩幅源圖像f1和f2分別進(jìn)行小波變換,得到小波系數(shù)F1和F2;
(2)分別對(duì)其小波系數(shù)F1和F2進(jìn)行測(cè)量取值,得到測(cè)量值Z1和Z2;
(3)按照系數(shù)絕對(duì)值取大法進(jìn)行融合,得到融合后的測(cè)量值Z;
(4)采用正交匹配追蹤 (Orthogonal Matching Pursuit)算 法[9]重構(gòu)出融合后的小波系數(shù)F;
(5)進(jìn)行小波逆變換,得到融合后的圖像f。其框圖如圖2所示。
圖2 基于CS圖像融合框圖Fig.2 Image fusion framework based on CS theory
選取標(biāo)準(zhǔn)Lena圖像(256×256),由3中所提出的方法構(gòu)造出大小為190×256的測(cè)量矩陣,測(cè)量矩陣優(yōu)化前后的重構(gòu)圖像峰值信噪比(PSNR)如圖3所示。
圖3 優(yōu)化前后PSNR值Fig.3 PSNR values before and after optimization
優(yōu)化前后重構(gòu)圖像PSNR的均值μ和方差σ如表1所示。重構(gòu)圖像的平均PSNR較優(yōu)化前提高了8.232 5dB。方差近似為零表明優(yōu)化后的該測(cè)量矩陣能保證圖像具有較穩(wěn)定的重構(gòu)結(jié)果。
表1 優(yōu)化前后PSNR的均值和方差Tab.1 Mean value and variance of PSNR before and after optimization
實(shí)驗(yàn)選取大小為512×512的Clock和Pepsi左右聚焦圖像,采樣率為50%的情況下,分別用高斯測(cè)量矩陣和本文測(cè)量矩陣進(jìn)行CS圖像融合,得到融合圖像的峰值信噪比(PSNR)、空間頻率(SF)、平均梯度(G)[10]如表2和表3所示,融合效果如圖4和圖5所示。從實(shí)驗(yàn)結(jié)果數(shù)據(jù)和融合效果圖都可以可以看出,本文測(cè)量矩陣基本能夠達(dá)到高斯測(cè)量矩陣的性能,取得了較好的融合效果。
圖4 Clock圖像融合結(jié)果Fig.4 Fusion results of Clock image
表2 Clock圖像融合評(píng)價(jià)指標(biāo)Tab.2 Evaluation index of Clock image fusion
表3 Pepsi圖像融合評(píng)價(jià)指標(biāo)Tab.3 Evaluation index of Pepsi image fusion
圖5 Pepsi圖像融合結(jié)果Fig.5 Fusion results of Pepsi image
針對(duì)隨機(jī)測(cè)量矩陣的不確定性和硬件實(shí)現(xiàn)難度大的問題,本文設(shè)計(jì)的測(cè)量矩陣僅含有-1、0和1三個(gè)值,其優(yōu)點(diǎn)是易于硬件實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明,經(jīng)過優(yōu)化后的該測(cè)量矩陣取得了不錯(cuò)的重構(gòu)效果。將該測(cè)量矩陣用于基于壓縮感知的圖像融合,在采樣率僅為50%的情況下仍能取得較好的融合效果。
[1] Wan T,Canagarajah N,Achim A.Compressive image fusion [C]//Processing of the International Conference on Image Processing,California,USA:IEEE Press,2008:1308-1311.
[2] 黃曉生,戴秋芳,曹義親一種基于小波稀疏基的壓縮感知圖像融合算法[J].計(jì)算機(jī)應(yīng)用研究,2012,29(9):2581-2583.Huang X S,Dai Q F,Cao Y Q.Compressive sensing image fusion algorithm based on wavelet sparse basis [J].Application Research of Computers,2012,29(9):2581-2583.(in Chinese)
[3] 趙瑞珍,秦周,胡紹海.一種基于特征值分解的測(cè)量矩陣優(yōu)化方法[J].信號(hào)處理,2012,28(5):653-657.Zhao R Z,Qin Z,Hu S H.An optimization method for measurement matrix based on eigenvalue decomposition[J].Signal Processing,2012,28(5):653-657.(in Chinese)
[4] 殷亞男,王曉東,李丙玉.基于預(yù)測(cè)和JPEG2000的MODIS紅外輻射多光譜圖像無(wú)損壓縮算法[J].液晶與顯示,2013,28(6):922-926.Yin Y N,Wang X D,Li B Y.Lossless compression method based on prediction and JPEG2000for MODIS emissive IR bands multispectral image[J].Chinese Journal of Liquid Crystals and Displays,2013,28(6):922-926.(in Chinese)
[5] Donoho D.Compressed sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.
[6] Candes E,Tao T.Robust uncertainty principles:exact signal reconstruction from highly incomplete information[J].IEEE Transactions on Information Theory,2006,52(2):489-509.
[7] 鄭萬(wàn)澤,何勁,魏星,等.基于Contourlet變換的圖像壓縮感知重構(gòu)[J].計(jì)算機(jī)工程,2012,38(12):194-196.Zheng W Z,He J,Wei X,et al.Image compressive sensing reconstruction based on contourlet transform [J].Computer Engineering,2012,38(12):194-196.(in Chinese)
[8] Abolghasemi V,F(xiàn)erdowsi S,Sanei S.A gradient-based alternating minimization approach for optimization of the measurement matrix in compressive sensing[J].Signal Processing,2012(92):999-1009.
[9] Needell D,Vershynin R.Uniform uncertainty principle and signal recovery via regularized orthogonal matching pursuit[J].Foundations of Computational Mathematics,2007,9(3):317-334.
[10] 傅瑤,孫雪晨,薛旭成,等.基于非下采樣輪廓波變換的全彩色圖像與多光譜圖像融合方法研究[J].液晶與顯示,2013,28(3):429-433.Fu Y,Sun X C,Xue X C,et al.Panchromatic and multispectral image fusion method based on nonsubsampled contourlet transform [J].Chinese Journal of Liquid Crystals and Displays,2013,28(3):429-433.(in Chinese)