李 紅,劉 芳,張 凱

(1.西安電子科技大學計算機學院,陜西西安 710071;2.西安電子科技大學智能感知與圖像理解教育部重點實驗室,陜西西安 710071;3.西安電子科技大學國際智能感知與計算聯(lián)合研究中心,陜西西安 710071)

?

稀疏非負矩陣分解下的遙感圖像融合

李 紅1,2,3,劉 芳1,2,3,張 凱2,3

(1.西安電子科技大學計算機學院,陜西西安 710071;2.西安電子科技大學智能感知與圖像理解教育部重點實驗室,陜西西安 710071;3.西安電子科技大學國際智能感知與計算聯(lián)合研究中心,陜西西安 710071)

摘要:為了降低多光譜圖像與全色圖像融合過程中的光譜扭曲和空間失真,提出了一種稀疏非負矩陣分解的融合新方法.首先從全色圖像學習出一個高分辨字典和相應(yīng)的低分辨字典,然后構(gòu)造多光譜圖像的稀疏非負矩陣分解模型,在低分辨字典下獲得光譜系數(shù)矩陣,最后將該系數(shù)矩陣與高分辨字典相乘得到融合后的高分辨多光譜圖像.稀疏正則項的引入有效克服了標準非負矩陣分解算法的不穩(wěn)定現(xiàn)象,能夠較好地保持圖像的光譜信息和空間信息.將該方法應(yīng)用于快鳥衛(wèi)星和地球眼衛(wèi)星數(shù)據(jù),與同類方法的對比分析結(jié)果顯示:該方法能夠減少光譜扭曲和空間信息的損失,得到的融合結(jié)果在視覺效果和客觀評價指標上均優(yōu)于對比方法.

關(guān)鍵詞:遙感圖像融合;非負矩陣分解;稀疏正則

由于成像傳感器的物理限制,大部分衛(wèi)星只能獲得低空間分辨率的多光譜圖像(Low spatial ResolutionMultiSpectral,LRMS)和高空間分辨率的全色圖像(High spatial Resolution PANchromatic,HRPAN),例如,快鳥衛(wèi)星提供的多光譜圖像和全色圖像的空間分辨率分別為2.4 m和0.6 m,這些圖像往往不能滿足目標識別與地物分類的實際需求.為了提高多光譜圖像的空間分辨率,研究者們通過融合多光譜圖像和全色圖像,綜合利用多光譜圖像中的光譜信息和全色圖像中的空間信息,獲得高空間分辨的多光譜圖像(High spatial Resolution MultiSpectral,HRMS).常用的圖像融合方法主要可分為基于成分替代的方法[1-3],基于注入的方法[4-6]和基于模型的方法[7-9].基于成分替代的方法其原理實現(xiàn)簡單、易于操作,但是容易引起較嚴重的光譜扭曲;基于注入的方法能夠較好地保持光譜信息,但是空間信息通常會被扭曲;基于模型的方法能夠獲得較好的融合結(jié)果,但是算法復(fù)雜度較高.

1999年,文獻[10]提出了非負矩陣分解(Non-negative Matrix Factorization,NMF)理論,它是用非負性約束來獲取數(shù)據(jù)表示的一種方法.NMF將一個非負的矩陣分解為左右兩個非負矩陣的乘積,不僅反映了人類思維中“局部構(gòu)成整體”的概念,而且要求分解后的所有分量均為非負值,使得數(shù)據(jù)分解后的矩陣具有嚴格的物理含義.NMF的出現(xiàn)克服了傳統(tǒng)矩陣分解中的諸多問題,求解方法具有收斂速度快、左右非負矩陣存儲空間小的特點,因此,該理論一經(jīng)提出就引起了各個領(lǐng)域科學家的廣泛關(guān)注.

文獻[11]提出了一種基于有約束非負矩陣分解的多光譜與全色圖像融合方法.該方法通過對多光譜和全色圖像進行非負矩陣分解,采用有約束的更新規(guī)則進行求解,得到高空間分辨率的多光譜圖像.然而,該方法容易引起較大的光譜扭曲,且融合結(jié)果易受矩陣初始化的影響.筆者提出一種稀疏非負矩陣分解下的遙感圖像融合方法(Sparse Non-negative Matrix Factorization,SNMF).首先從全色圖像學習出一個高分辨字典和相應(yīng)的低分辨字典,然后構(gòu)造多光譜圖像的稀疏非負矩陣分解模型,在低分辨字典下獲得光譜系數(shù)矩陣,最后將該系數(shù)矩陣與高分辨字典相乘得到融合后的高分辨多光譜圖像.稀疏正則項的引入克服了標準非負矩陣分解算法的不穩(wěn)定現(xiàn)象,能夠較好地保持圖像的光譜信息和空間信息.將文中方法應(yīng)用于快鳥衛(wèi)星和地球眼衛(wèi)星數(shù)據(jù),實驗結(jié)果表明:該方法能夠減少光譜扭曲和空間信息的損失,得到的融合結(jié)果在視覺效果和客觀評價指標上均優(yōu)于對比方法.

1 稀疏非負矩陣分解

作為一種矩陣分析方法,非負矩陣分解可以描述為以下問題,已知矩陣V∈Rm×n,該矩陣的任意元素均為非負,根據(jù)非負矩陣分解理論,V可以分解為

其中,W為基矩陣,H為系數(shù)矩陣,且W和H中的任意元素均為非負,則V中的每一列數(shù)據(jù)均可通過W中每一列的線性加權(quán)和獲得.由于對W和H的非負約束,非負矩陣分解能夠從V中學習到數(shù)據(jù)的局部屬性,體現(xiàn)了局部組成整體的思想.

稀疏正則能夠很好地保持圖像的邊緣和紋理特征,在圖像處理領(lǐng)域中得到了廣泛的應(yīng)用.文獻[12]提出了稀疏非負矩陣分解方法(SNMF),該方法利用l1范數(shù)構(gòu)造了稀疏正則并引入到非負矩陣分解,則W和H的求解可轉(zhuǎn)化為最小化如下目標函數(shù):

其中,.*為點乘操作,./為點除操作,T為矩陣的轉(zhuǎn)置.按照上述更新規(guī)則求解得到W和H,直到更新次數(shù)達到最大值或者目標函數(shù)的值達到預(yù)先設(shè)定的要求.

2 基于SNMF的遙感圖像融合算法

假設(shè)低分辨率的多光譜圖像具有K個波段,大小為m×n.全色圖像大小為rm×rn,多光譜圖像與全色圖像空間分辨率之比為r.將多光譜圖像分成l×l的小塊,并轉(zhuǎn)化為列向量,得到矩陣L∈Rl2×KN,則全色圖像被分成rl×rl的小塊,得到矩陣P∈Rr2l 2×N,N為全色圖像的總塊數(shù).根據(jù)非負矩陣分解理論,P可分解為高空間分辨率字典W1和系數(shù)矩陣H:

為了獲得低空間分辨率的字典,筆者將全色圖像P下采樣得到低空間分辨率的全色圖像PL

其中,W2=DW1,為低空間分辨率字典.假設(shè)全色圖像與其相應(yīng)的低分辨圖像分別在高空間分辨率字典和低空間分辨率字典下具有相同的分解系數(shù)矩陣.由式(6)和式(7)可得,P和PL在各自對應(yīng)字典下的系數(shù)矩陣是相同的.因此,由式(5)和式(6)可得

則根據(jù)以下更新規(guī)則可同時得到W1和W2.

將多光譜圖像L在低空間分辨率字典W2下進行稀疏非負矩陣分解,可得到具有光譜信息的系數(shù)矩陣H1,即

則高空間分辨率的多光譜圖像HMS可由W1和H1相乘獲得,即

基于SNMF的遙感圖像融合算法如下:

Step 1 將多光譜圖像L進行分塊,塊大小為l×l,并將各塊拉成列向量;將全色圖像進行分塊,其塊大小為rl×rl;

Step 2 將全色圖像P進行下采樣,得到下采樣后的圖像PL,將P和PL進行分塊,并拉成列向量,組成?P;

Step 3 加入稀疏正則項,依據(jù)迭代更新規(guī)則式(10)和式(11),對?P進行稀疏非負矩陣分解得到W,其中W1和W2分別為高、低分辨字典;

Step 4 由式(13)得到L在字典W2下的系數(shù)矩陣H1,該矩陣包含多光譜圖像的光譜信息;

Step 5 高分辨率字典W1與光譜信息矩陣H1相乘,得到最終的高分辨多光譜圖像.

3 仿真實驗

為了驗證算法的有效性,將文中方法用于快鳥衛(wèi)星和地球眼衛(wèi)星數(shù)據(jù)的融合,其中快鳥衛(wèi)星數(shù)據(jù)來自于西安地區(qū),拍攝于2008年9月30日,地球眼衛(wèi)星數(shù)據(jù)來自于澳大利亞霍巴特地區(qū),拍攝于2009年2月24日.以上數(shù)據(jù)的多光譜圖像均有4個波段,分別為紅色(R),綠色(G),藍色(B)和近紅外(NIR).筆者對比了多種經(jīng)典的相關(guān)圖像融合算法,包括廣義的亮度色調(diào)飽和度(Generalized Intensity-Hue-Saturation,GIHS)變換法[1]、主成分分析(Principal Component Analysis,PCA)變換法[2]、小波注入法(AWLP)[5]、基于稀疏表示的方法CS_1[7]和CS_2[8]以及有約束的非負矩陣分解方法(CNMF)[11].文中算法采用最大迭代次數(shù)作為更新規(guī)則的終止條件,涉及的主要參數(shù)有多光譜圖像分塊大小,字典中原子的數(shù)目以及稀疏正則參數(shù)λ,在實驗中分塊大小為8×8,原子數(shù)目為1000,λ為0.01.為了客觀分析算法的性能,文中采用相關(guān)系數(shù)(Correlation Coefficient,CC),均方根誤差(Root-Mean-Square Error,RMSE),全局融合指標(Q4),全局相對光譜損失(ERGAS)[13]和光譜角(Spectral Angle Matching,SAM)[13]這5種定量指標對文中算法進行評價.

3.1 快鳥衛(wèi)星

圖1給出了對比方法以及文中方法在快鳥衛(wèi)星數(shù)據(jù)上的融合結(jié)果.從圖1可以看出,基于GIHS方法的融合結(jié)果有嚴重的光譜扭曲,尤其是操場區(qū)域,綠色失真較嚴重,與參考圖像差異較大;基于PCA方法的融合結(jié)果空間信息保持較好,但圖像對比度較低,且光譜扭曲較大;基于AWLP方法較好地保持了圖像的光譜信息,但是在局部區(qū)域?qū)⑷珗D像中的空間信息過多地引入到了多光譜圖像,產(chǎn)生了一定的空間扭曲;基于CS_1的方法產(chǎn)生了較好的融合結(jié)果,但是在局部區(qū)域出現(xiàn)了邊緣模糊的現(xiàn)象,例如在城鎮(zhèn)區(qū)域的邊緣比較模糊;基于CS_2方法的融合結(jié)果塊效應(yīng)較明顯,且伴隨有嚴重的空間扭曲;受初始化矩陣的影響,基于CNMF方法的融合結(jié)果不穩(wěn)定,尤其是在操場區(qū)域與房屋區(qū)域產(chǎn)生了嚴重的光譜扭曲.而文中所提方法的融合結(jié)果更接近于參考圖像,從視覺上看較好地保持了光譜信息,又避免了空間信息的丟失.

圖1 快鳥圖像的融合結(jié)果

表1給出了對比方法及文中方法的數(shù)值結(jié)果,其中加粗的數(shù)字表示所有方法中最好的結(jié)果.從表1可以看出,對于CC和RMSE,CS_2方法在NIR波段得到了較好的數(shù)值指標,且綜合指標SAM優(yōu)于其他方法.但文中方法的大多數(shù)數(shù)值指標均優(yōu)于其他使用的對比方法.綜上所述,由于引入了稀疏先驗,對于快鳥衛(wèi)星數(shù)據(jù),文中方法在視覺效果和數(shù)值指標上均取得了較好的結(jié)果.

3.2 地球眼衛(wèi)星

圖2給出了對比方法以及文中方法在地球眼衛(wèi)星數(shù)據(jù)上的融合結(jié)果.從圖2中可以得到與圖1相同的結(jié)論.基于GIHS方法和CNMF方法產(chǎn)生了嚴重的光譜扭曲,尤其是在植被區(qū)域;基于PCA方法的融合結(jié)果空間結(jié)構(gòu)信息較好,但與參考圖像相比,融合圖像較暗,光譜扭曲較明顯;基于AWLP方法的結(jié)果較接近參考圖像,光譜扭曲度較低,但由于引入過多的空間信息,使得局部區(qū)域的空間細節(jié)過度增強;基于CS_1方法的結(jié)果圖像空間信息保持較好,但光譜扭曲較明顯,而基于CS_2方法的結(jié)果有明顯的空間失真,導致圖像模糊不清;基于CNMF方法的融合結(jié)果雖然空間信息保持較好,但光譜失真較嚴重,受初始化矩陣的影響,其運行結(jié)果不穩(wěn)定.綜合分析,文中所提方法得到的圖像與參考圖像相比,光譜信息比較接近原圖像,而且圖像空間分辨率較高.

表1 快鳥圖像融合結(jié)果的數(shù)值指標

圖2 地球眼圖像的融合結(jié)果

表2 地球眼圖像融合結(jié)果的數(shù)值指標

表2列出了圖2中所有方法的數(shù)值指標,其中加粗的數(shù)字表示所有方法中最好的結(jié)果.從表2可以看出,對于CC指標來說,CS_2方法和CNMF方法分別對于G波段和NIR波段的融合結(jié)果較好;基于CNMF方法對于B和NIR波段的RMSE值優(yōu)于文中方法的,但基于CNMF方法的運行結(jié)果不穩(wěn)定;而文中方法的大部分指標優(yōu)于其他對比方法的指標.綜上所述,對地球眼衛(wèi)星數(shù)據(jù),文中方法在視覺效果和數(shù)值指標上均取得了較好的結(jié)果.

4 結(jié) 論

筆者提出了一種稀疏非負矩陣分解下的遙感圖像融合方法.在快鳥數(shù)據(jù)和地球眼衛(wèi)星數(shù)據(jù)上的實驗結(jié)果表明,基于GIHS方法的結(jié)果獲得的圖像光譜失真較嚴重;基于CS_2稀疏表示的方法得到的圖像塊效應(yīng)明顯、圖像模糊、空間信息損失較嚴重;而基于CNMF方法的算法穩(wěn)定性較差,融合的結(jié)果光譜扭曲較嚴重.相較于對比算法,文中方法得到了視覺效果較高的高分辨多光譜圖像,且客觀評價指標大部分高于對比算法的評價指標.稀疏非負矩陣分解應(yīng)用于多光譜圖像與全色圖像融合中,有效降低了圖像融合的空間與光譜扭曲現(xiàn)象,挖掘不同譜段間的稀疏性,提高算法的魯棒性,并將該模型擴展到高光譜圖像與全色圖像的融合,研究工作正在進行中.

參考文獻:

[1]TU T M,HUANG P S,HUNG C L,et al.A Fast Intensity-Hue-Saturation Fusion Technique with Spectral Adjustment for IKONOS Imagery[J].IEEE Geoscience and Remote Sensing Letters,2004,1(4):309-312.

[2]CHAVEZ Jr P S,SLIDES S C,ANDERSON J A.Comparison of Three Different Methods to Merge Multiresolution and Multispectral Data:Landsat TM and SPOT Panchromatic[J].Photogrammetric Engineering and Remote Sensing,1991,57(3):295-303.

[3]GARZELLI A.Pansharpening of Multispectral Images Based on Nonlocal Parameter Optimization[J].IEEE Transactions on Geoscience Remote Sensing,2015,53(4):2096-2107.

[4]UPLA K P,JOSHI M V,GAJJAR P P.An Edge Preserving Multiresolution Fusion:Use of Contourlet Transform and MRF Prior[J].IEEE Transactions on Geoscience Remote Sensing,2015,53(6):3210-3220.

[5]OTAZU X,GONZALEZ-AUDICANA M,FORS O,et al.Introduction of Sensor Spectral Response into Image Fusion Methods.Application to Wavelet-based Methods[J].IEEE Transactions on Geoscience Remote Sensing,2005,43 (10):2376-2385.

[6]劉帆,張凱,焦李成,等.結(jié)合最優(yōu)亮度分量的遙感圖像融合方法[J].西安電子科技大學學報,2014,41(6):45-50.LIU Fan,ZHANG Kai,JIAO Licheng,et al.Novel Pan-sharpening Method via an Optimal Intensity Component[J].Journal of Xidian University,2014,41(6):45-50.

[7]LI S T,YANG B.A New Pan-sharpening Method Using a Compressed Sensing Technique[J]IEEE Transactions on Geoscience Remote Sensing,2011,49(2):738-746.

[8]LI S T,YIN H T,FANG L Y.Remote Sensing Image Fusion via Sparse Representations Over Learned Dictionaries [J].IEEE Transactions on Geoscience Remote Sensing,2013,51(9):4779-4789.

[9]ZHU X X,BAMLER R.A Sparse Image Fusion Algorithm with Application to Pan-sharpening[J].IEEE Transactions on Geoscience Remote Sensing,2013,51(5):2827-2836.

[10]LEE D D,SEUNG H S.Learning the Parts of Objects by Non-negative Matrix Factorization[J].Nature,1999,401 (6755):788-791.

[11]WANG Z N,YU X C,ZHANG L B.A Remote Sensing Image Fusion Algorithm Based on Constrained Nonnegative Matrix Factorization[C]//Proceedings of 1st International Congress on Image and Signal Processing:4.Piscataway: IEEE,2008:672-676.

[12]HOYER P O.Non-negative Sparse Coding[C]//Proceedings of the IEEE Signal Processing Society Workshop.Piscataway:IEEE,2002:557-565.

[13]ALPARONE L,WALD L,CHANUSSOT J,et al.Comparison of Pansharpening Algorithms:Outcome of the 2006 GRS-S Data-Fusion Contest[J].IEEE Transactions on Geoscience Remote Sensing,2007,45(10):3012-3021.

(編輯:李恩科)

Remote sensing image fusion based on sparse non-negative matrix factorization

LI Hong1,2,3,LIU Fang1,2,3,ZHANG Kai2,3
(1.School of Computer Science and Technology,Xidian Univ.,Xi’an 710071,China;2.Ministry of Education Key Lab.of Intelligent Perception and Image Understanding,Xidian Univ.,Xi’an 710071,China;3.International Research Center of Intelligent Perception and Computation,Xidian Univ.,Xi’an 710071,China)

Abstract:In order to reduce the spectral and spatial distortions,a novel method based on sparse nonnegative matrix factorization(SNMF)is proposed for multispectral and panchromatic images fusion.Firstly,the high spatial resolution and low spatial resolution dictionaries are learned from panchromatic.Then we construct a sparse non-negative matrix factorization model of the multispectral image.Thus,the coefficients matrix with spectral information can be obtained.The high spatial resolution multispectral image is produced by the multiplication high spatial resolution dictionary and the coefficients matrix.By introducing the sparse regularization,the instability of the standard non-negative matrix factorization is conquered and the fused image can preserve the high spectral and spatial information.Some experiments are made on QuickBird and Geoeye satellite datasets,and experimental results show that our proposed method can reduce distortions in both the spectral and spatial domains,and outperform some related pan-sharpening approaches in visual results and numerical guidelines.

Key Words:remote sensing image fusion;non-negative matrix factorization;sparse regularization

作者簡介:李 紅(1976-),女,西安電子科技大學博士研究生,E-mail:honglishining@163.com.

基金項目:國家重點基礎(chǔ)研究發(fā)展計劃資助項目(2013CB329402);國家自然科學基金資助項目(61173090,61573267,91438103,91438201);高等學校學科創(chuàng)新引智計劃資助項目(B07048)

收稿日期:2015-06-26

doi:10.3969/j.issn.1001-2400.2016.02.033

中圖分類號:TP751

文獻標識碼:A

文章編號:1001-2400(2016)02-0193-06