王忠武，劉順喜

（中國土地勘測規(guī)劃院，北京100035）

一種融合中分辨率多光譜與高分辨率全色圖像的方法

王忠武，劉順喜

（中國土地勘測規(guī)劃院，北京100035）

針對中分辨率多光譜與高分辨率全色圖像空間分辨率差異大，導(dǎo)致融合結(jié)果難以較好平衡光譜信息保持和空間信息保持能力的問題，該文分析了7種常用融合方法用于中分辨率多光譜與高分辨率全色圖像融合的優(yōu)缺點(diǎn)及其融合質(zhì)量的影響因素，提出了一種組合融合方法。該方法在保留Gram－Schmidt方法的細(xì)節(jié)注入方式的基礎(chǔ)上，綜合利用高通濾波法和Gram－Schmidt方法的優(yōu)勢構(gòu)造低分辨率全色圖像，確保在提高融合圖像空間分辨率的同時(shí)有效降低其光譜變形。通過CBERS－02多光譜和IRS－P5全色圖像的實(shí)驗(yàn)，證明了新融合方法的有效性。

融合；中分辨率多光譜圖像；高分辨率全色圖像

中空間分辨率（簡稱“中分辨率”）、大幅寬多光譜圖像（如CBERS－02、02B衛(wèi)星多光譜圖像分辨率19.5 m、幅寬113 km；北京一號小衛(wèi)星多光譜圖像分辨率32 m、幅寬600 km等）在快速提供大區(qū)域全覆蓋遙感數(shù)據(jù)、服務(wù)資源環(huán)境宏觀監(jiān)測方面具有顯著優(yōu)勢［1］。為提高多光譜圖像的地物解譯潛力，資源環(huán)境遙感調(diào)查監(jiān)測中常用高分辨率（優(yōu)于5 m）全色圖像對中分辨率多光譜圖像進(jìn)行Pan－Sharpen融合，以獲得既具有多波段光譜又具有較高分辨率的融合圖像。然而，業(yè)務(wù)應(yīng)用中，由于多光譜和全色圖像分辨率倍率、傳感器波譜范圍差異顯著等原因，常用融合方法往往受到高分辨率全色圖像的噪聲和中分辨率多光譜的虛假信息的影響，難以較好平衡保持光譜信息和保持空間信息能力，融合效果不佳［2］。為此，ERDAS 9.2版提出多級高通濾波方法，采用兩次高通濾波逐級提取細(xì)節(jié)信息并逐級濾除噪聲，但是難以解決幾何配準(zhǔn)誤差引起的光譜漂移現(xiàn)象，而且融合過程耗時(shí)長。本文從常用融合方法的原理出發(fā)，分析各方法的優(yōu)缺點(diǎn)及其融合質(zhì)量的影響因素，提出了一種組合高通濾波方法和Gram－Schmidt方法的融合方法，確保在提高融合圖像空間分辨率的同時(shí)有效降低光譜變形，以提高中分辨率多光譜和高分辨率全色圖像的融合效果。

1 常用方法的融合質(zhì)量影響因素分析

Pan－Sharpen融合理論框架［2］如下：

其中：HMS為融合后高分辨率多光譜圖像；LMS為對原始多光譜圖像重采樣至全色圖像尺度的低分辨率多光譜圖像；W 為空間細(xì)節(jié)注入方式；δ為空間細(xì)節(jié)信息，δ＝HRP－LRP，HRP為高分辨率（原始）全色圖像，LRP為低分辨率全色圖像。

由融合理論框架可知，影響融合質(zhì)量的實(shí)際因素為W和LRP。LRP既可以通過HRP濾波得到，又可以通過LMS各波段變換或加權(quán)得到。

1.1 高通濾波（High Pass Filter，HPF）方法

HPF方法以多光譜和全色圖像的分辨率之比作為參數(shù)，自適應(yīng)構(gòu)造高通濾波器對HRP進(jìn)行多級高通濾波，獲取高頻信息注入LMS（注入比例由高頻信息與LMS的標(biāo)準(zhǔn)方差確定），獲得初步融合圖像，將初步融合圖像與LMS進(jìn)行基于均值－標(biāo)準(zhǔn)差的直方圖匹配，獲得最終融合圖像H MS［3］。采用直方圖匹配方法調(diào)整初次融合圖像的亮度，等價(jià)于對W、δ分別進(jìn)行線性變換。在不考慮該過程的影響時(shí)，HPF方法可表示為：

HPF方法的本質(zhì)是由HRP高通濾波構(gòu)造LRP，當(dāng)全色與多光譜圖像的分辨率較高且相差不大時(shí)，此方法能獲得較好效果。然而，中分辨率多光譜和高分辨率全色圖像的融合質(zhì)量受到多個(gè)因素的影響［4］：1）受分辨率差別較大的影響，過大的分辨率差距將導(dǎo)致重采樣多光譜圖像時(shí)，產(chǎn)生較多虛假信息，使融合結(jié)果出現(xiàn)光譜不連續(xù)、浮雕等效果；2）受全色圖像噪聲的影響，噪聲會隨高頻信息一起注入LMS；3）受配準(zhǔn)精度的影響，配準(zhǔn)誤差過大會導(dǎo)致細(xì)節(jié)信息注入位置不當(dāng)，使融合結(jié)果不穩(wěn)定。

1.2 Gram－Schmidt方法

Gram－Schmidt［5］方法首先采用某種方式（HRP高通濾波、LMS波段加權(quán)平均、外部自定義等）獲得LRP，以LRP作為第一分量對LMS進(jìn)行Gram－Schmidt正交變換，然后用直方圖匹配后的HRP替換第一分量，進(jìn)行Gram－Schmidt反變換獲得H MS。Gram－Schmidt方法可表示為：

其中：ρ為相關(guān)系數(shù)，σ為標(biāo)準(zhǔn)差，GS1為Gram－Schmidt變換后的第一分量。獲得較好融合效果的前提是LRP與HRP具有較大相關(guān)性。

對于中分辨率多光譜和高分辨率全色圖像的融合，為避免HPF方法中HRP高通濾波構(gòu)造LRP的缺點(diǎn)，通常采用LMS各波段加權(quán)平均構(gòu)造LRP。然而，由于CBERS－02、02B、北京一號（BJ－1）等衛(wèi)星多光譜圖像與常用高分辨率全色圖像的波段范圍差異顯著，直方圖匹配難以實(shí)現(xiàn)LRP與HRP中所有同類地物灰度的完美匹配，LRP與HRP相關(guān)性不高必然導(dǎo)致H MS產(chǎn)生嚴(yán)重光譜變形。

1.3 PANSHARP方法

PANSHARP方法假設(shè)LMS、HRP與H MS之間存在線性關(guān)系，采用最小二乘和統(tǒng)計(jì)理論等方法自動擬合三者的關(guān)系，實(shí)現(xiàn)較好保持光譜信息的目標(biāo)［6］。理論上，PANSHARP方法可通過多項(xiàng)式變換方法在Pan－Sharpen理論框架下表示。

對于中分辨率多光譜和高分辨率全色圖像的融合，分辨率的巨大差異會影響不同面積的地物在不同尺度圖像上的表現(xiàn)，例如高亮度、大面積地物在多光譜圖像中的尺寸明顯大于全色圖像，低亮度、小面積地物在多光譜圖像中難以發(fā)現(xiàn)而在全色圖像中特征明顯。這些客觀現(xiàn)象極易破壞LMS、HRP與HMS的線性關(guān)系假設(shè)，從而降低PANSHARP方法融合質(zhì)量。

1.4 亮度色調(diào)飽和度（IHS）變換法、主成分分析（PCA）變換法、Brovey變換法

IHS和PCA變換法的理論基本一致。首先，采用IHS［7］或PCA變換，將LMS分解為空間分量和光譜分量，然后參考空間分量對HRP進(jìn)行直方圖調(diào)整，并替換變換后第一分量，最后反變換獲得HMS。相對于Gram－Schmidt正交變換，IHS和PCA變換很難得到相互獨(dú)立的分量，導(dǎo)致H MS存在光譜變形。此外，直方圖匹配也存在于此類方法中，同樣會導(dǎo)致嚴(yán)重的光譜變形。不同于IHS變換法將細(xì)節(jié)信息等量注入LMS，Brovey變換法根據(jù)LMS各波段間的灰度比例關(guān)系注入細(xì)節(jié)信息。3種融合方法分別表示為式（4）、式（5）、式（6）：

其中：K為多光譜圖像的波段數(shù)，ρ為相關(guān)系數(shù)，σ為標(biāo)準(zhǔn)差，PC1為PCA變換后第一分量。通常3種方法的融合圖像光譜連續(xù)性較好，但光譜變形較嚴(yán)重。

1.5 Multiplicative方法

Multiplicative方法將HRP和LMS按照乘法組合方式進(jìn)行合成，乘法系數(shù)為經(jīng)驗(yàn)常數(shù)，如式（7）所示，其中A、B為經(jīng)驗(yàn)系數(shù)，不合適的經(jīng)驗(yàn)系數(shù)將會引起較嚴(yán)重的光譜變形［8］。

2 基于HPF方法和Gram－Schmidt方法的組合融合方法

根據(jù)以上分析，中分辨率多光譜和高分辨率全色圖像的分辨率和波譜范圍差異顯著是造成以上方法融合效果不理想的主要原因。同樣可知，HPF方法中高通濾波構(gòu)造LRP方法能較好地提取細(xì)節(jié)信息，但易受到HRP噪聲的影響，Gram－Schmidt方法中波段加權(quán)構(gòu)造LRP方法能避免噪聲的引入，但易受到來自LMS與HRP波譜范圍不同引起的細(xì)節(jié)信息提取不佳的影響。由于中分辨率多光譜和高分辨率全色圖像融合的目標(biāo)是在提高空間分辨率的同時(shí)盡量降低光譜變形，因此可綜合LMS構(gòu)造LRP和HRP構(gòu)造LRP兩種方法的優(yōu)勢，在提取細(xì)節(jié)信息和抑制噪聲之間實(shí)現(xiàn)較好的平衡，降低LMS構(gòu)造LRP引起的光譜變形和HRP構(gòu)造LRP引起的光譜突變［9］，顯著提升融合效果。此外，Gram－Schmidt方法的細(xì)節(jié)注入方法綜合考慮了LMS各波段間的灰度比例關(guān)系，以及與LRP間的相關(guān)性，是一種較好的細(xì)節(jié)注入方法。

綜上，在保留Gram－Schmidt方法的細(xì)節(jié)注入方式的基礎(chǔ)上，綜合利用高通濾波法和Gram－Schmidt方法的優(yōu)勢構(gòu)造低分辨率全色圖像，本文提出組合HPF方法和Gram－Schmidt方法的新融合方法，以確保在提高融合圖像空間分辨率的同時(shí)有效降低其光譜變形。在理論框架中表示為：

其中：LRPLMS和LRPHRP分別為LMS、HRP構(gòu)造的LRP。

3 實(shí)驗(yàn)分析

為驗(yàn)證本文理論分析的正確性，選擇CBERS－02多光譜圖像和IRS－P5全色圖像進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)數(shù)據(jù)分辨率相差約8倍，波譜范圍差別較大（表1）。圖像覆蓋范圍為吉林省境內(nèi)，從原始全色圖像中截取400 ×400像素作為實(shí)驗(yàn)區(qū)。調(diào)整原始多光譜圖像色彩至自然真彩色，多光譜圖像波段組

合方式為241，地物類型包括植被、裸地、水體、居民地等。由于天氣的原因，圖像中存在少量薄云及其產(chǎn)生的陰影。

表1 實(shí)驗(yàn)數(shù)據(jù)的分辨率與光譜范圍Table 1 Resolution and spectral range of experiment images

圖1（見封2）為各種融合方法的融合結(jié)果。經(jīng)目視比較可知：1）HPF方法融合結(jié)果出現(xiàn)了較明顯的浮雕效果，主要原因是分辨率相差大，多光譜圖像重采樣時(shí)增加了很多虛假信息；河流處出現(xiàn)了明顯的馬賽克現(xiàn)象，原因在于全色圖像中河流的灰度值存在較小的差別，經(jīng)過高通濾波后這部分細(xì)節(jié)信息被放大，并注入了多光譜圖像。2）Gram－Schmidt方法融合結(jié)果中，裸地變?yōu)樽仙蛟谟贚RP與HRP的直方圖相關(guān)性不高，采用線性拉伸或非線性調(diào)整的方法，無法使該類地物在兩幅圖像中的灰度值一致，導(dǎo)致提取細(xì)節(jié)信息時(shí)，灰度值的差異同時(shí)被提取出，并注入了多光譜圖像，最終引起光譜變形。此外，薄云處也出現(xiàn)了嚴(yán)重的光譜變形。3）PANSHARP方法融合結(jié)果與Gram－Schmidt融合法的結(jié)果相似，裸地也變?yōu)榱藴\紫色，河流區(qū)域出現(xiàn)了空間增強(qiáng)過量的現(xiàn)象，薄云變?yōu)榘祷疑?，這會影響對圖像的后續(xù)處理，特別是圖像分類。4）IHS變換法的結(jié)果中，薄云處已經(jīng)變?yōu)榘祷疑跓o其他輔助資料參與的情況下，后續(xù)處理中容易將其誤作裸地。PCA變換法的融合結(jié)果整體偏紅，由PCA變換法的原理可知，空間細(xì)節(jié)是LMS和LRP的函數(shù)，LRP是LMS的函數(shù)，可以推斷，整體偏紅的融合結(jié)果主要是由于LMS加權(quán)擬合LRP不當(dāng)所致。Brovey變換法的融合結(jié)果光譜變形最嚴(yán)重，多光譜圖像的紅、藍(lán)波段被注入了大量多余光譜信息。5）Multiplicative方法的融合結(jié)果整體色彩偏暗，河流處幾乎變?yōu)楹谏?，原因在于?jīng)驗(yàn)系數(shù)不適合于該景圖像。6）本文方法的融合結(jié)果整體看，融合圖像與原始多光譜的色彩基本一致，并且各波段光譜變化也較為連續(xù)。在本文所有實(shí)驗(yàn)的融合方法中，該融合效果最好，更利于后續(xù)的圖像處理以及融合圖像的應(yīng)用。

在定性主觀評價(jià)的基礎(chǔ)上，同時(shí)采用定量評價(jià)指標(biāo)進(jìn)行客觀評價(jià)。表2為各融合圖像與原始多光譜圖像的各波段相關(guān)系數(shù)及均值。Multiplicative方法和本文方法的相關(guān)系數(shù)全部達(dá)到0.94以上，其他方法的相應(yīng)值基本在0.8以下，說明了兩種融合方法的結(jié)果圖像與原始多光譜圖像的光譜離散度基本一致，具有較好的相關(guān)性，說明融合圖像光譜保持性能較好。然而，從灰度均值看，Multiplicative融合圖像的各波段均值與原始多光譜圖像差距較大，在圖像中表現(xiàn)為亮度值偏低，這與定性評價(jià)中Multiplicative融合圖像整體顏色偏暗基本一致，相對而言，其他融合圖像的均值與原始多光譜圖像基本一致。綜合考慮以上兩個(gè)定量評價(jià)指標(biāo)可知，本文方法融合質(zhì)量最優(yōu)。

表2 各融合圖像的定量評價(jià)Table 2 Quantity assessment of fusion results

4 結(jié)論

對于中分辨率多光譜圖像和高分辨率全色圖像的Pan－Sharpen融合，本文提出了一種組合HPF和Gram－Schmidt方法的新融合方法，實(shí)驗(yàn)證明該方法能緩解空間細(xì)節(jié)增強(qiáng)過度導(dǎo)致光譜不連續(xù)、冗余信息增加過多導(dǎo)致光譜變形嚴(yán)重等問題，并有效提高融合質(zhì)量。值得說明的是，相對于多級高通濾波法，本文方法僅需經(jīng)過一次高通濾波計(jì)算，融合處理時(shí)間明顯縮短，更符合業(yè)務(wù)應(yīng)用的要求，經(jīng)改進(jìn)后可為中分辨率多光譜圖像和高分辨率全色圖像融合提供一種全新方案。下一步將主要開展加權(quán)系數(shù)的自動選擇研究及更多數(shù)據(jù)的實(shí)驗(yàn)等工作。

［1］ 柴淵，李萬東.土地利用動態(tài)監(jiān)測技術(shù)與方法［M］.北京：地質(zhì)出版社，2011.

［2］ 竇聞.多元遙感數(shù)據(jù)像素級融合統(tǒng)一理論框架研究［D］.北京：北京師范大學(xué)，2006.

［3］ GAMGKOFNER U G，PRADHAN P S，HOLCOMB D W.Optimizing the high－pass filter addition technique for image fusion［J］.Photogrammetric Engineering ＆Remote Sensing，2008，9：1101－1118.

［4］ 陳志剛，束炯.基于Savitzky－Golay方法的遙感影像融合［J］.地理與地理信息科學(xué)，2011，27（2）：26－29.

［5］ AIAZZI B，BARONTI S，SELVA M.Improving component substitution pansharpening through multivariate regression of MS＋Pan data［J］.IEEE Transactions on Geoscience and Remote Sensing，2007，45（10）：3230－3239.

［6］ ZHANG Y.A new merging method and its spectral and spatial effects［J］.Int.J.Remote Sensing，1999，20（10）：2003－2014.

［7］ 袁林山，杜培軍，王莉，等.基于灰色絕對關(guān)聯(lián)度邊緣檢測的多源遙感影像加權(quán)IHS融合［J］.地理與地理信息科學(xué)，2008，24（3）：11－15.

［8］ 柳文祎，何國金，張兆明，等.ALOS全色波段與多光譜影像融合方法的比較研究［J］.科學(xué)技術(shù)與工程，2008（11）：2864－2869.

［9］ 王忠武.Pan－Sharpen融合系統(tǒng)關(guān)鍵問題研究［D］.北京：中國科學(xué)院遙感應(yīng)用研究所，2009.

Abstract：For pan－sharpening mid－resolution multi－spectral image and high－resolution panchromatic image，a better balance between spectral information maintaining and spatial information maintaining can hardly achieved because of the large resolution gap.Based on analyzing the characteristic and factors affecting fusion quality of seven popular fusion methods，a new fusion method is proposed to improve the resolution of the fusion result while minimizing the spectral distortion by combining methods of constructing low resolution panchromatic image in high pass filter resolution merging method and Gran－Schmidt spectral sharpening method and adopting the default injecting manner of the latter method.Experiment is carried out on CBERS－02 multi－spectral and IRS－P5 panchromatic image，and the result shows that the new method performs superiority.

Key words：fusion；mid－resolution multi－spectral image；high－resolution panchromatic image

A Fusion Method for Mid－resolution Multi－spectral Image and High－Resolution Panchromatic Image

WANG Zhong－wu，LIU Shun－xi
（China Land Surveying and Planning Institute，Beijing 100035，China）

TP751

A

1672－0504（2012）04－0042－04

2012－02－14；

2012－03－09

國土資源高分應(yīng)用示范系統(tǒng)先期攻關(guān)項(xiàng)目（E0202／1112）

王忠武（1983－），男，博士，副研究員，主要從事土地遙感、遙感圖像處理等研究。E－mail：wangzhongwu＠m(xù)ail.clspi.org.cn