“高分四號”衛(wèi)星面陣凝視相機(jī)超分辨技術(shù)

劉薇 高慧婷 曹世翔 何紅艷 譚偉

（北京空間機(jī)電研究所，北京 100094）

“高分四號”衛(wèi)星面陣凝視相機(jī)超分辨技術(shù)

劉薇 高慧婷 曹世翔 何紅艷 譚偉

（北京空間機(jī)電研究所，北京 100094）

“高分四號”（GF-4）衛(wèi)星是中國首顆高分辨率地球靜止軌道衛(wèi)星，在防災(zāi)減災(zāi)、環(huán)境監(jiān)測、天氣預(yù)報等領(lǐng)域具有重大的應(yīng)用價值。GF-4衛(wèi)星相機(jī)采用面陣探測器，具有凝視觀測、時間分辨率高等特點。根據(jù)GF-4衛(wèi)星的成像特點，對GF-4衛(wèi)星影像進(jìn)行超分辨重建，可得到分辨率更高的衛(wèi)星影像。文章針對遙感影像超分辨率重建需要解決的三個問題：圖像配準(zhǔn)、點擴(kuò)散函數(shù)（Point Spread Function，PSF）的準(zhǔn)確測量和超分辨率重建算法進(jìn)行了研究。使用了精確測量PSF的改進(jìn)凸集投影超分辨重建方法對 GF-4衛(wèi)星在軌圖像進(jìn)行了驗證。測試結(jié)果表明，經(jīng)超分辨重建后的影像在保持清晰度和信息細(xì)節(jié)的同時，分辨率得到了較大提高。該方法在面陣凝視空間相機(jī)遙感圖像的超分辨重建領(lǐng)域具有良好的應(yīng)用前景。

精確測量點擴(kuò)散函數(shù) 改進(jìn)凸集投影法 超分辨率 面陣相機(jī) “高分四號”衛(wèi)星

0 引言

“高分四號”（GF-4）衛(wèi)星是我國第一顆高分辨率地球靜止軌道遙感衛(wèi)星，攜帶超大面陣凝視相機(jī)，具有觀測位置相對固定、時間分辨率高等特點。GF-4衛(wèi)星相機(jī)的成像模式和特點，使其具備了進(jìn)行序列圖像超分辨重建的基礎(chǔ)[1]。

超分辨率技術(shù)（Super Resolution，SR）[2]是從獲取的低分辨率（Low Resolution，LR）影像重建出高分辨率(High Resolution，HR)的影像[3]。超分辨率重建技術(shù)的研究與應(yīng)用，可以充分發(fā)掘現(xiàn)有遙感影像數(shù)據(jù)的潛力[4]，在盡量減少硬件改變的前提下，得到高于系統(tǒng)設(shè)計分辨率的遙感影像，更好服務(wù)于防災(zāi)減災(zāi)、環(huán)境監(jiān)測、天氣預(yù)報等領(lǐng)域。

目前在遙感領(lǐng)域的超分辨率重建應(yīng)用比較少，較為成功是 SPOT5衛(wèi)星[5]和 OrbView-3的超模式（Supermode）。其設(shè)計是使用兩個同樣的CCD線陣，在沿軌和垂軌方向各錯開0.5個像元來提高影像的采樣密度，從而達(dá)到提高分辨率的效果。這種超模式是通過硬件直接克服圖像配準(zhǔn)的問題。理論上空間分辨率可以是原來的2倍，真正的圖像品質(zhì)會略差于理論值，SPOT5獲得的超分辨重建圖像分辨率大約為原有分辨率的1.7-1.85倍。

另一遙感應(yīng)用案例是日本ALOS衛(wèi)星PRISM三線陣傳感器，可以同時生成同一地區(qū)的三張影像[6]，利用這3張低分辨率影像來生成高分辨的影像。ALOS衛(wèi)星PRISM三線陣傳感器遙感影像進(jìn)行超分辨重建的分辨率提高倍數(shù)目前沒有評估。

SPOT5、OrbView-3和ALOS衛(wèi)星都采用推掃成像，在硬件上采用多個傳感器同時成像的方法得到同一地物的序列圖像。與這些衛(wèi)星不同，GF-4衛(wèi)星上裝載面陣凝視相機(jī)，可在很短時間內(nèi)對同一場景進(jìn)行重復(fù)采樣得到序列圖像，為超分辨重建提供了實現(xiàn)前提。

GF-4衛(wèi)星遙感影像超分辨率重建需要解決三個問題：1）圖像配準(zhǔn)[7-9]；2）點擴(kuò)散函數(shù)（Point Spread Function，PSF）的準(zhǔn)確測量；3）超分辨率重建算法。

1 圖像配準(zhǔn)

（1）圖像分塊

選取子塊，對每一個子塊SubA與SubB，完成特征點選取、特征向量生成、同名點匹配操作：

1）特征點選取[10]：構(gòu)建SubA與SubB的尺度空間，需完成6次高斯濾波，從濾波結(jié)果中選取局部的極值點作為特征點。

高斯濾波記為：

式中 x,y表示圖像子塊的位置，σ表示尺度。

從中間3層DOG每個像元出發(fā)，比較其上下和周邊26像元，確定當(dāng)前像元是否為極值，作為特征點P。圖1為多組尺度空間特征點提取示意。

2）特征向量生成：計算特征點P周圍的梯度直方圖，將區(qū)域劃分為4×4個子區(qū)域，其中，每個區(qū)域有八個梯度向量，按照高斯窗加權(quán)累計到P點，得到主方向Φ，并將坐標(biāo)按照主方向進(jìn)行旋轉(zhuǎn)，以達(dá)到旋轉(zhuǎn)不變性，最后得到4×4×8=128維向量D：，并對它進(jìn)行整體歸一化，從而最終得到特征點的描述向量。

圖1 構(gòu)造SIFT分層Fig.1 The octave and layer construction of SIFT

圖2 生成特征向量Fig.2 Feature description using principle direction

3）同名點匹配：按次近、最鄰近比值完成兩幅子塊間的特征向量對應(yīng)，同時得到特征點匹配結(jié)果，即尋找圖像A中某一特征向量在B中的最小距離d0和次最小距離d1，當(dāng)時，認(rèn)為最小距離對應(yīng)的向量點為匹配點。

（2）計算圖像關(guān)系

根據(jù)所有的特征點像元對應(yīng)關(guān)系，計算兩個圖像的多項式變換結(jié)果。P2( x, y)、P2( x, y)分別為兩個圖像的特征點集。按最小二乘求解兩個圖像特征點集的二次方程式多項式系數(shù) (a0, a1, a2, a3, a4, a5)和(b0, b1, b2, b3, b4, b5)，然后即可計算兩幅圖像的相對關(guān)系：

式中 (xp1,yp1)和 (xp2,yp2)兩幅圖像中對應(yīng)的點，作為超分前的配準(zhǔn)結(jié)果。

2 PSF測量

PSF是光學(xué)系統(tǒng)的模糊核，也是各種復(fù)原和超分辨重建方法的基礎(chǔ)[11]，準(zhǔn)確測量光學(xué)系統(tǒng)和探測器的PSF能為超分辨重建奠定堅實基礎(chǔ)，大幅提高重建品質(zhì)[12]。

根據(jù)GF-4衛(wèi)星相機(jī)特點，本文進(jìn)行了基于相位PSF靶標(biāo)的GF-4衛(wèi)星全色面陣相機(jī)分視場PSF測量，通過相位靶標(biāo)設(shè)計來保證PSF準(zhǔn)確性，通過多次測量來降低圖像噪聲和統(tǒng)計漲落的影響。精確測量PSF能為超分辨重建提供準(zhǔn)確物理約束，提高重建圖像的正確性。

2.1 靶標(biāo)設(shè)計

受實驗室測試平臺振動等實驗條件影響，為了保證實驗室測試數(shù)據(jù)有效性，設(shè)計錯相位星點靶標(biāo)陣列控制相位靶標(biāo)，保證每幀圖像至少有一個星點在一個像元內(nèi)成像，從而保證PSF測量的準(zhǔn)確性。此外，通過多次采樣測量，降低圖像噪聲和統(tǒng)計漲落的影響。

圖3 相位PSF靶標(biāo)Fig.3 Phase PSF Target

2.2 PSF計算

1）對相位 PSF靶標(biāo)成像 100幀以上，對每一幀圖像的點源進(jìn)行相位篩選。點源為pi, j(i =0,1,… ,9; j =0,1,… ,9)，設(shè)p0,0相位為 (θx0,0,θy0,0)，則點源pi, j的相位為：

式中 mod表示取余數(shù)。根據(jù)式（3），得到100組子塊灰度分布矩陣 DNx, y（即點源相位模板），其中x=0,1,… ,9； y=0,1,… ,9。

為了確定待測點源的準(zhǔn)確相位，提取待測點源子窗口圖像 DNm, n，圖像大小與相位模板相同，設(shè)計目標(biāo)函數(shù)J( x, y)如下：

式中 J( x, y)表示兩組向量比值均方根，J( x, y)最小值時，表示 DNx, y與 DNm, n最接近時，對應(yīng) DNx, y對應(yīng)的相位即為待測點源的準(zhǔn)確相位：

2）對每一幀靶標(biāo)圖像的滿足相位為(0,0)的星點利用高斯函數(shù) N(μ1, μ2,σ1,σ2)進(jìn)行擬合，得到每一幀圖像高斯分布點擴(kuò)散函數(shù)方差和。

3）計算每一幀圖像的高斯分布點擴(kuò)散函數(shù)方差，最終得到高斯分布點擴(kuò)散函數(shù)方差序列σp1和σp2，對σp1和σp2作直方圖分布統(tǒng)計，得到直方圖序列，并將該直方圖序列擬合得到高斯分布函數(shù)N(μh1,μh2,σh1,σh 2)， N (0,0,σh1,σh2)即為GF-4衛(wèi)星相機(jī)的點擴(kuò)散函數(shù)。

2.3 分視場PSF測量

在傳統(tǒng)凸集投影（Project onto Convex Sets，POCS）算法中，通常選用盲的高斯模糊核函數(shù)，而單一的模糊核函數(shù)無法真實描述全圖像的模糊情況，為了保證測量的PSF能進(jìn)行準(zhǔn)確的超分辨重建，本文采用了分視場PSF測量，一共進(jìn)行了GF-4衛(wèi)星相機(jī)9個視場的PSF測量。

圖4 測量視場示意圖Fig.4 Measurement field of vision

3 改進(jìn)POCS超分辨重建方法

POCS方法是一種空域超分辨重建方法[13]，這種方法和最大后驗概率法（MAP）[14-15]等超分辨重建方法相比，原理直觀，算法簡單，是目前序列圖像超分辨重建的研究熱點之一。把成像系統(tǒng)先驗知識作為進(jìn)行圖像重建的約束條件[16]，每個約束條件對應(yīng)于在整個成像空間中的一個含有理想高分辨率影像的凸形約束集。這組凸形約束集代表了期望的高分辨率影像的一些特性，如正定、能量有界等，通過這些約束集就可以得到簡化的解空間。

低分辨率圖像的超分辨重建可表達(dá)為：

式中 yi表示大小r1×r2的LR圖像；z表示的HR圖像（N表示分辨率提高倍數(shù)）；H為點擴(kuò)散函數(shù)；nk為噪聲。

3.1 邊緣幅度約束因子

傳統(tǒng)POCS算法中殘差閾值通常選定一個常數(shù)，點擴(kuò)散函數(shù)假設(shè)為單一的高斯模糊函數(shù)，對全局的迭代投影采用相同程度的一致性約束，造成某些位置（例如邊緣）出現(xiàn)欠投影或過投影，形成邊緣振蕩效應(yīng)。本文算法將基于分視場的精確PSF測量結(jié)果，設(shè)為點目標(biāo)的初始高分辨率圖像，構(gòu)造邊緣幅度約束因子為：

3.2 投影操作

由于精確測量了GF-4不同視場的點擴(kuò)散函數(shù)，本文采用精確測量的分視場PSF進(jìn)行投影修正。

式中 htr(n1, n2; i, j, k)表示圖像的模糊核PSF。

在上述投影操作下，HR圖像的估計值 ?(c) f 可以從所有低分辨圖像中迭代求解得到，可以采用投影算子Ptr和PA。理論上要求迭代到最終的高分辨率圖像估計值位于所有限制集的交集中。

3.3 分視場圖像邊緣修正

由于 GF-4衛(wèi)星圖像經(jīng)過不同視場點擴(kuò)散函數(shù)投影操作后，在視場邊緣有可能出現(xiàn)不均勻的邊緣現(xiàn)象。由于視場邊緣是由不同視場的PSF共同影響下得到的圖像，所以本文采用分視場邊緣圖像權(quán)重修正法進(jìn)行。分視場邊緣的圖像修正根據(jù)下式進(jìn)行：

式中 DNmo（i, j）為修正后的圖像灰度值； VD（ k）為邊緣像元到第k個分視場的空間距離；DNk(i, j)為第k個分視場(i, j)位置上的圖像數(shù)值。

3.4 超分辨重建詳細(xì)算法

Step1：確定參考幀圖像，采用雙線性或三次樣條內(nèi)插得到初始高分圖像。

Step2：設(shè)置迭代次數(shù)。

Step3：對每一幀低分辨圖像進(jìn)行迭代計算：

Step3.1：進(jìn)行圖像精配準(zhǔn)，得到每一幀低分圖像相對參考幀的運動向量；

Step3.2：計算每一個迭代步數(shù)的投影約束集；

Step3.3：根據(jù)精確測量的PSF對每幀低分辨率圖像進(jìn)行投影迭代；

Step3.4：計算每一步的迭代殘差；

Step3.5：根據(jù)殘差修正高分辨率圖像。

Step4：檢查是否達(dá)到迭代次數(shù)，并進(jìn)行分視場圖像邊緣修正，得到超分辨重建圖像。

4 GF-4在軌圖像驗證

4.1圖像處理結(jié)果

根據(jù)文中提出的基于精確測量PSF的改進(jìn)POCS超分辨重建方法，選用三組（每組6幀）GF-4衛(wèi)星在軌圖像作為試驗對象進(jìn)行測試，是很短時間內(nèi)對同一場景成像的多幅圖像。同時，使用基于盲估計PSF的POCS超分辨重建方法和最大后驗概率法的超分辨率重建方法對這三組圖像進(jìn)行了處理，圖像處理結(jié)果如下：

圖5 低分變率圖像和不同超分辨率重建方法處理圖像Fig.5 LR Picture & HR picture of different method

從圖5可見，由于GF-4衛(wèi)星圖像幅寬大，使用基于盲估計PSF的POCS超分辨重建方法處理的圖像在圖像的一部分區(qū)域處理效果好，但另一部分處理效果不好，說明盲估計的PSF不能適用于GF-4圖像的全局處理；使用 MAP超分辨率重建方法處理的圖像部分區(qū)域出現(xiàn)鋸齒噪聲；而本文方法在提高分辨率的同時很好的保持了圖像細(xì)節(jié)，分塊處理的方法避免了PSF的區(qū)域效應(yīng)，邊緣幅度約束因子也保證了不會出現(xiàn)邊緣振蕩效應(yīng)。

4.2 相關(guān)指標(biāo)計算

對以上三組實驗進(jìn)行超分辨處理的品質(zhì)量化指標(biāo)評價，采用指標(biāo)包括分辨率提高、圖像清晰度（圖像中景物邊緣的銳利程度，用邊緣灰度變化程度表征，代表圖像對景物細(xì)節(jié)的還原能力和微小細(xì)節(jié)的感知能力，數(shù)值越大越好）、信息熵（代表圖像信息量，數(shù)值越小代表圖像信息量越大）、峰值信噪比（PSNR數(shù)值越大，代表圖像失真越少）、均方誤差（MSE，圖像平均誤差，數(shù)值越小越好）。

表1 不同方法指標(biāo)Tab. 1 Different method index

從表1可以看出，本文方法在圖像分辨率提升一樣的前提下，清晰度[17-18]、信息熵等指標(biāo)好于其他兩種方法，說明恢復(fù)的圖像高頻信息多于其他兩種方法；峰值信噪比、均方誤差指標(biāo)好于其他兩種方法，說明在提升分辨率，恢復(fù)高頻信息的同時，在噪聲抑制方面也表現(xiàn)更好。

5 結(jié)束語

本文提出的改進(jìn)POCS方法是建立在對GF-4成像系統(tǒng)（相機(jī)）測試精確PSF基礎(chǔ)上的，與其他方法相比，能得到接近真實的約束集。而且，本文提出的方法能有效的抑制邊緣振蕩效應(yīng)，在提高圖像分辨率的同時，清晰度和信息量等方面也得到了明顯提升。

本文提出的方法已經(jīng)經(jīng)過了在軌圖像的驗證，可以為面陣凝視型相機(jī)的超分辨重建工程應(yīng)用提供借鑒。

References)

[1] STARK H, OSKOUI P. High Resolution Image Recovery from Image-plane Arrays, Using Convex Projections[J]. Journal of the Optical Society of America Optics & Image Science, 1989, 6(11): 1715-1726.

[2] BAKER S, KANADE T. Limits on Super-resolution and How to Break Them[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 2(9): 1167-1183.

[3] FASIU S, ROBINSON D, ELAD M, et al. Advances and Challenges in Super-resolution[J]. International Journal of Imaging System & Technology, 2004, 14(2): 47-57.

[4] GETREUER P. Image Interpolation with Geometric Contour Stencils[J]. Image Processing On Line, 2011, 4(3): 954-979. DOI: 10.5201/ipol.2011.g_igcs

[5] TAN Bing, XING Shuai, XU Qing, et al. A Research on SPOT5 Supermode Image Processing[J]. Remote Sensing Technology & Application, 2004, 19(4): 249-252.

[6] 范沖, 龔健雅, 朱建軍, 等. ALOS-PRISM遙感影像超分辨率重建[J]. 遙感學(xué)報, 2009, 13(1): 75-82.

FAN Chong, GONG Jianya, ZHU Jianjun, et al. Super-resolution Reconstruction of ALOS-PRISM Remote Sensing Images[J]. Journal of Remote Sensing, 2009, 13(1): 75-82. (in Chinese)

[7] DONG Weisheng, ZHANG Lei, SHI Guangming, et al. Image Deblurring and Super-resolution by Adaptive Sparse Domain Selection and Adaptive Regularization[J]. IEEE Trans. Image Processing, 2011, 20(7): 1838-1857.

[8] FONSECAL M G, COSTAM H M. Automatic Registration of Satellite Images: IEEE Brazilian Symposium on Computer Graphics and Image Processing[C]. Campos do Jordao: IEEE, 1997: 219-226. DOI:10.1109/SIGRA.1997.625182.

[9] HSIEH J W, LIAOH Y M, FAN K C, et al. Image Registration Using a New Edged-approach[J]. Computer Vision and Image Understanding, 1997, 67(2): 112-130.

[10] DONG Weisheng, SHI Guangming, ZHANG Lei, et al. Super-resolution with Nonlocal Regularization Sparse Representation: Visual Communication and Image Processing 2010[C]. Huangshan: SPIE, 2012. DOI: 10.1117/12.863368.

[11] LIU Changmen, CHEN Xi. Point Spread Function (PSF) Measurement for Cell Phone Camera with a High Resolution PSF of the Imaging Lens and a Sub-pixel Digital Algorithm[C]//SPIE Proceedings Vol. 7072: Optics and Photonics for Information Processing II. SPIE, 2008. DOI: 10.1117/12.796034.

[12] TAKACS P Z, KOTOV I, FRANK J, et al. PSF and MTF Measurement Method for Thick CCD Sensor Characterization[J]. Proc. SPIE, 2010, 7742(9): 774207-774207-12.

[13] FAN Chong, GONG Jianya, ZHU Jianjun. POCS Super-resolution Sequence Image Reconstruction Based on Image Registration[J]. Acta Geodaetica Et Cartographica Sinica, 2006, 35(4): 358-363.

[14] YANG Xin, WANG Chongqing, FEI Shumin. An Adaptive Technology for SAR Image Blind Super-resolution Based MAP[J]. Journal of Astronautics, 2010, 31(1): 217-221.

[15] HARDIE R C, BARNARD K J, AMSTRONG E E. Joint MAP Registration and High-resolution Image Estimation Using a Sequence of Undersampled Images[J]. IEEE Trans image Processing, 1997, 6(10): 1621-1633.

[16] LU Yao, INAMURA M. Spatial Resolution Improvement of Remote Sensing Images by Fusion of Subpixel-shifted Multi-observation Images[J]. International Journal of Remote Sensing, 2003, 24(23): 4647-4660.

[17] 劉薇, 高慧婷, 王治強(qiáng), 等. “實踐九號”A衛(wèi)星圖像的直接解調(diào)成像方法[J]. 航天返回與遙感, 2013, 34(5): 63-69.

LIU Wei, GAO Huiting. WANG Zhiqiang, et al. Direct Demodulation Method Applied in Remote Sensing Images of SJ-9A Satellite[J]. Spacecraft Recovery & Remote Sensing, 2013, 34(5): 63-69.(in Chinese)

[18] 譚偉, 楊秉新, 何紅艷. 一種新的遙感影像清晰度評價方法[J]. 中國空間科學(xué)技術(shù), 2016, 36(2): 50-57.

TAN Wei, YANG Bingxin, HE Hongyan. A New Definition Evaluation Method for Remote Sensing Image of Satellite[J]. Chinese Space Science and Technology, 2016, 36(2): 50-57.(in Chinese)

Study on Super Resolution of GF-4 Satellite Staring Plane Array Camera

LIU Wei GAO Huiting CAO Shixiang HE Hongyan TAN Wei

（Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）

GF-4 Satellite is the first Chinese high resolution geostationary orbit satellite, and it has important application value in disaster prevention and reduction, environmental monitoring, weather forecast and so on. The camera of GF-4 satellite adopts array detector, which has the characteristics of staring observation and high time resolution. According to the imaging characteristics of GF-4 satellite, we can get a higher resolution satellite image with a super resolution reconstruction of the GF-4 satellite image. The article studies three following problems need to be solved for the remote sensing image super resolution reconstruction: image registration, the accurate measurement of point spread function and algorithm of super resolution reconstruction. An improved project onto convex sets super resolution reconstruction method based on accurate measurement is used to verify the images of GF-4 satellite. The verification results show that after super resolution reconstruction, the resolution of images are greatly improved while maintaining clarity and details of the information. This method has a good application prospect in the field of super resolution reconstruction of the image of plane array staring space camera.

accurate measurement of camera point spread function; improved project onto convex sets method; super resolution; plane array camera; GF-4 satellite

V443.5

: A

: 1009-8518(2016)04-0087-09

10.3969/j.issn.1009-8518.2016.04.012

劉薇，女，1977年生，2006年獲中國科學(xué)院空間物理專業(yè)博士學(xué)位，高級工程師。研究方向為遙感圖像處理與應(yīng)用。E-mail：liuweibee@126.com。

（編輯：毛建杰）

2016-06-08

高分辨率對地觀測系統(tǒng)重大專項（50-Y20A08-0508-15/16）