推掃式多光譜遙感相機動態(tài)范圍拓展方法

孫 武，韓誠山，呂恒毅,2，薛旭成，胡長虹

(1.中國科學(xué)院 長春光學(xué)精密機械與物理研究所，吉林 長春 130033；2.中國科學(xué)院大學(xué)，北京 100049)

1 引 言

國內(nèi)外現(xiàn)有高分辨率航天遙感相機多為推掃式航天遙感相機[1-2]，其動態(tài)范圍一般不大于80 dB，無法滿足實際場景的遠大于100 dB動態(tài)范圍的要求。目前，提高相機動態(tài)范圍的方法主要有4類：(1)針對同一場景進行多次不同量的曝光，獲取多幅不同曝光量的圖像，再將它們?nèi)诤蠟橐环碌母邉討B(tài)范圍的圖像，這是較為經(jīng)典的辦法。這類方法于1997年由Paul E.D., Jitendra M.首次提出[3]，2003年至2005年，Robertson M.A.，Szeliski R.，Goshtasby A.A.等人針對該技術(shù)做了進一步的探索和完善[4-6]。該方法主要針對同一靜態(tài)場景進行動態(tài)范圍拓展，由于推掃式航天遙感相機難以在較短的時間內(nèi)對同一場景進行多次曝光，該方法不適用于該場合。(2)薛旭成等人提出在推掃式航天遙感相機上應(yīng)用雙排TDI CCD(Time Delay Integration-Charge Coupled Device)，對同一場景成兩幅或多幅積分級數(shù)不同的圖像，再通過圖像融合算法獲取高動態(tài)范圍遙感圖像[7]。周繼權(quán)[8]等人提出基于相機陣列的高動態(tài)范圍圖像合成方法也是同樣的原理，可以應(yīng)用于動態(tài)變化的場景。該類方法可以有效提高相機的動態(tài)范圍，但是由于成本、功耗、重量、光學(xué)設(shè)計等問題，在航天領(lǐng)域的工程應(yīng)用價值比較低。(3)呂濤、呂偉振等人提出利用數(shù)字微鏡獲取高動態(tài)范圍圖像[9-10]，但是考慮到技術(shù)和產(chǎn)品的性能[11-13]、成熟度、可靠性等因素，目前難以應(yīng)用到航天相機領(lǐng)域。(4)Wu Sun等人提出采用面陣CMOS，并應(yīng)用數(shù)字TDI技術(shù)，設(shè)置2個高低不同的數(shù)字積分級數(shù)，針對同一場景可以獲取2幅不同曝光量的圖像，再通過融合算法獲取高動態(tài)范圍遙感圖像[14]。該技術(shù)簡單易行，可在不改變現(xiàn)有光機設(shè)計、不增加成本的前提下有效提高動態(tài)范圍，但是該技術(shù)只能在新研制的遙感相機中應(yīng)用，對現(xiàn)有遙感相機需要需要進行硬件改造。

本文提出了一種特殊的TDI-CCD積分級數(shù)設(shè)置方法：通過設(shè)置較低的P譜段積分級數(shù)，配合較高的多光譜譜段積分級數(shù)，提高動態(tài)范圍。具體做法是：通過多譜段圖像融合獲取一幅低積分級數(shù)全色圖像；該圖像經(jīng)過上采樣后，與高積分級數(shù)、高分辨率全色圖像融合，以獲得一幅高動態(tài)范圍、高分辨率的全色遙感圖像。該方法可以作為一種特殊的高動態(tài)范圍成像模式，廣泛應(yīng)用于推掃式多光譜航天遙感相機中。

2 積分級數(shù)設(shè)置及動態(tài)范圍拓展方法

為實現(xiàn)推掃式多光譜遙感相機的動態(tài)范圍拓展，可結(jié)合TDI-CCD的像元尺寸、譜段分布等特點，將P譜段積分級數(shù)調(diào)高、B譜段積分級數(shù)調(diào)低，以分別獲取長、短曝光時間的圖像，再通過圖像融合獲取高動態(tài)范圍的圖像。

2.1 推掃式多光譜遙感相機

推掃式多光譜遙感相機常采用TDI-CCD作為探測器，將光信號轉(zhuǎn)換為數(shù)字圖像信號。TDI-CCD中分為全色譜段(記作P譜段)和多光譜譜段(統(tǒng)稱為B譜段，分別記作B1, B2, B3, B4,…,Bn譜段)。一般而言，P譜段地面像元分辨率為δp，B譜段地面像元分辨率為δb。表1 列出了幾顆常見商業(yè)高分辨率遙感衛(wèi)星的探測器像元尺寸。一般而言，δb是δp的k倍，k為整數(shù)。B譜段圖像中第i行第j列的像元Bi，j對應(yīng)k×k個全色圖像的像元。與同一光學(xué)系統(tǒng)配合使用時，像元尺寸與地面像元分辨率成正比，Bx(x≤n)譜段圖像像元與P譜段圖像像元的對應(yīng)關(guān)系如圖1 所示。

表1 商業(yè)高分辨率遙感衛(wèi)星地面像元分辨率Tab.1 Ground pixel resolution of commercial high-resolution remote sensing satellites(nadir)

圖1 Bx譜段圖像與P譜段圖像的像元對應(yīng)關(guān)系 Fig.1 Corresponding relationship of pixels betweene Bx band image and P band image

各個譜段可以分別獲取一幅圖像，由于P譜段與B譜段地面像元尺寸大小不同，一般來說，P譜段可以獲取高分辨率的圖像，B1,B2,B3,B4,…,Bn譜段可以分別獲取各自波長范圍的較低分辨率的圖像。通過全色圖像與多光譜圖像的融合，可以獲取高分辨率彩色或假彩色圖像。

2.2 特殊積分級數(shù)設(shè)置方法及相應(yīng)動態(tài)范圍

常規(guī)的遙感相機在設(shè)置積分級數(shù)時，僅考慮信噪比這一參數(shù)，一般選擇滿足TDI CCD不飽和的最大積分級數(shù)[15]。

為了獲取長短曝光的遙感圖像，進一步達到動態(tài)范圍拓展的目的，本文提出一種新的積分級數(shù)設(shè)置方法，將各譜段積分級數(shù)設(shè)置偏離原有最佳數(shù)值：P譜段積分級數(shù)從原值MP調(diào)高μ1倍至NMP；B1,B2,B3,B4,…,Bn各譜段積分級數(shù)從原值MB1，MB2，MB3，MB4，…，MBn，調(diào)低μ2倍至NMB1，NMB2，NMB3，NMB4，…,NMBn。

P譜段直接成像，得到一幅全色圖像，記作ΓP。B譜段多幅圖像融合成一幅全色灰度圖像ΓB，插值后記作ΓBIN。在完成積分級數(shù)調(diào)整，提高ΓP的曝光量，降低ΓB的曝光量之后，將ΓP和ΓBIN融合在一起，可以獲取一幅高動態(tài)范圍的全色圖像Γ。

新舊積分級數(shù)設(shè)置的關(guān)系如公式(1)～(2)所示。

NMP=μ1·MP,

(1)

NMBx=μ2·MBx,

(2)

其中x=1,2,3,…,n，μ1>1,0<μ2<1。

在原積分級數(shù)下，P譜段和B譜段單個像元的曝光量為E0。改變積分級數(shù)后，全色譜段的曝光量變?yōu)?/p>

EP=E0·μ1,

(3)

多光譜譜段曝光量變?yōu)?/p>

EB=E0·μ2,

(4)

探測器原有動態(tài)范圍是：

(5)

其中，E指探測器可探測到的曝光量大小。

積分級數(shù)調(diào)整之后，考慮到曝光量與積分級數(shù)成正比，拓展得到的新的動態(tài)范圍為：

(6)

進而可知，動態(tài)范圍拓展量為：

(7)

由式(7)可知，當μ1=2,μ2=0.25的時候，動態(tài)范圍提高量為18.06 dB。

3 融合與插值算法

3.1 多譜段圖像融合算法

觀察各多光譜遙感衛(wèi)星圖像可知，各譜段圖像的相關(guān)性很強，在多光譜圖像數(shù)據(jù)集合中，存在相當多的信息冗余[16]。主成分分析算法(Principal Component Analysis,PCA)是一種統(tǒng)計分析方法，主要用于減少數(shù)據(jù)的維數(shù)[17-21]。在遙感領(lǐng)域，其常被用于多光譜與全色譜段圖像融合：一般是將配準后的多光譜圖像ΓB1，ΓB2，ΓB3，…，ΓBn，作為輸入，經(jīng)過PCA變換后，得到PC1，PC2，PC3，…,PCn共n個主成分，這些主成分對應(yīng)n個從大到小的特征值γ1，γ2，γ3，…，γn。選取前3個主成分，用經(jīng)過直方圖匹配的全色譜段、高分辨率圖像替換PCA變換結(jié)果中的第一主成分，然后再進行PCA反變換，得到高分辨率彩色圖像的RGB成分。

主成分分析算法過程中，第一主成分圖像包含了各輸入譜段中的相同信息，而獨特的光譜信息則體現(xiàn)在其它輸出成分中[16]。各主成分分量對方差的貢獻大小可以用各自對應(yīng)的特征值來表示，從PC1到PCn逐漸減小。以特征值為權(quán)重，由各個主成分分量的加權(quán)平均值得到一幅灰度圖像，該圖像既包含了各個譜段的信息，又避免了信息冗余，與全色譜段的圖像最為接近。

Γ1，Γ2，Γ3，…，Γn分別對應(yīng)PC1，PC2，PC3，…,PCn共n個主成分，其像元灰度值可用Γ1(x,y)，Γ2(x,y)，Γ3(x,y)，…，Γn(x,y)表示。

經(jīng)過PCA變換后的融合過程可以用公式(8)表示：

(8)

3.2 圖像插值方法

對ΓB進行插值可以獲取全色、高分辨率、長曝光量的遙感圖像ΓBIN。

現(xiàn)有的各種插值方法，包括最近鄰域法、雙線性內(nèi)插法和立方卷積內(nèi)插法等方法，都是基于周邊像元的灰度值進行推斷的。本文提出充分利用對應(yīng)區(qū)域內(nèi)高積分級數(shù)、高分辨率全色譜段圖像ΓP的像素分布特點，對ΓB進行插值得到ΓBIN。

根據(jù)圖1所示的像元對應(yīng)關(guān)系，與一個B譜段圖像像元Bi，j所對應(yīng)的是k×k個P譜段圖像像元，利用這k×k個P譜段圖像像元的灰度值比例關(guān)系估算插值后的B譜段k×k個像元的像素值，具體可以表示為：

(9)

3.3 高、低積分級數(shù)圖像融合方法

根據(jù)公式(1)～(4)對現(xiàn)有各譜段積分級數(shù)關(guān)系的描述，可以將ΓBIN的像元灰度值γ1(x,y)和ΓP的像元灰度值γ2(x,y)按照以下方式進行融合：

由于

μ1<μ2,

(10)

一般有

γ1(x,y)≤γ2(x,y) ,

(11)

滿量程灰度值表示為:

ΦFS=2β.

(12)

在高積分級數(shù)圖像中，較暗區(qū)域顯示比較清晰，低積分級數(shù)圖像較亮區(qū)域顯示比較清晰，為充分利用上述特征，可以作以下融合，得到高動態(tài)范圍圖像ΓHDR各像元灰度值γHDR(x,y)的表達式：

(13)

4 實驗與結(jié)果

4.1 圖像采集

選取一臺TDI CCD相機進行成像實驗。首先將TDI CCD積分級數(shù)分別按照表2第一組、第二組數(shù)據(jù)設(shè)置，獲取相應(yīng)圖像并配準。

表2 兩組積分級數(shù)設(shè)置Tab.2 Two groups of TDI stages

圖2 兩個積分級數(shù)各自對應(yīng)的P譜段圖像 Fig.2 Two images of band P with different values of MP

圖3 按照第二組積分級數(shù)設(shè)置所得到的8個B譜段圖像 Fig.3 Eight images of band B when selecting the second group of TDI stages

按照第一組積分級數(shù)設(shè)置，成像并配準后的P譜段圖像為ΓP0，如圖2(a)所示；按照第二組積分級數(shù)設(shè)置，成像并配準后的P譜段圖像為ΓP，如圖2(b)所示，B譜段圖像ΓB1，ΓB2，ΓB3，…，ΓB8如圖3所示。

4.2 多光譜圖像的融合與上采樣

將ΓB1，ΓB2，ΓB3，…，ΓB8作為輸入，進行PCA變換，得到8個主成分分量，并按照3.1節(jié)中的方法得到融合后的低積分級數(shù)、低分辨率的灰度圖像ΓB，如圖4所示。

利用公式(9)對ΓB進行上采樣，得到新的低積分級數(shù)、高分辨率的灰度圖像ΓBIN，如圖5所示。

圖4 ΓB：由8個B譜段圖像融合所得到的灰度圖像 Fig.4 ΓB：gray image fused from the 8 images of band B

圖5 ΓBIN：上采樣后的ΓB Fig.5 ΓBIN:ΓB image after upsampled

4.3 高動態(tài)范圍圖像獲取

依據(jù)公式(13)將低積分級數(shù)、高分辨率的圖像ΓBIN與高積分級數(shù)、高分辨率圖像ΓP進行融合，得到新的高動態(tài)范圍、高分辨率灰度圖像ΓHDR，如圖6所示。

為了獲取更好的顯示效果，可以對灰度進行調(diào)整，使之更符合人眼的視覺特性，達到圖像增強的目的[22-23]。對ΓHDR進行灰度調(diào)整，得到Γadjust，如圖7所示。

圖6 ΓHDR：由ΓBIN和ΓP融合得到的高動態(tài)范圍圖像 Fig.6 ΓHDR: the HDR image fused by ΓBIN and ΓP

圖7 灰度調(diào)整后的高動態(tài)范圍圖像 Fig.7 HDR image after a grayscale adjustment

比較ΓBIN、ΓP和Γadjust，尤其是橢圓圈出的部分可以看出，ΓBIN中的較亮區(qū)域細節(jié)較為清晰，ΓP較暗區(qū)域細節(jié)較為清晰，而在高動態(tài)范圍圖像ΓHDR中，這兩個區(qū)域的細節(jié)均可以較好地觀察到。

顯然，由于μ1=2,μ2=0.25，由公式(7)可得動態(tài)范圍拓展量為18.06 dB。

5 結(jié) 論

根據(jù)推掃式航天遙感相機一般采用單排多譜段TDI CCD探測器，相機與場景之間存在高速相對運動的特點，本文提出了通過設(shè)置特殊積分級數(shù)提高相機動態(tài)范圍的方法，并介紹了應(yīng)用PCA變換實現(xiàn)多光譜圖像到全色圖像的融合方法，以及根據(jù)高分辨率全色譜段圖像實現(xiàn)低分辨率圖像上采樣的方法。

實驗與計算結(jié)果表明：該方法能有效提高推掃式航天遙感相機的動態(tài)范圍，所獲取的HDR圖像能夠涵蓋比原圖像更大的動態(tài)范圍。當P譜段積分級數(shù)提高為原來的2倍， B譜段積分級數(shù)降低到原有積分級數(shù)的1/4時，動態(tài)范圍可以提高18.06 dB。與常規(guī)遙感相機成像方法相比，利用該方法進行動態(tài)范圍拓展時，遙感圖像處理的時間復(fù)雜度有所增加，但圖像處理的工作可完全在地面實現(xiàn)，即可以在不增加相機硬件成本、不改變原有光機結(jié)構(gòu)的前提下，實現(xiàn)推掃式TDI CCD航天遙感相機動態(tài)范圍拓展的目的，具有較高的工程應(yīng)用價值。