方 芳 孫鶴泉

（海軍大連艦艇學(xué)院 大連 116018）

基于Criminisi算法對(duì)遙感圖像的修復(fù)研究?

方 芳 孫鶴泉

（海軍大連艦艇學(xué)院 大連 116018）

海洋遙感圖像數(shù)據(jù)在海洋學(xué)研究中具備重要作用，但海洋遙感圖像數(shù)據(jù)易受天氣現(xiàn)象等影響，造成數(shù)據(jù)大量缺測(cè)。針對(duì)這一現(xiàn)象，論文利用改進(jìn)的Criminisi算法實(shí)現(xiàn)對(duì)葉綠素遙感圖像數(shù)據(jù)的填補(bǔ)修復(fù)，并對(duì)修復(fù)結(jié)果可靠性進(jìn)行了初步探討。

遙感圖像數(shù)據(jù)；葉綠素；Criminisi算法

1 引言

隨著我國(guó)經(jīng)濟(jì)的高速增長(zhǎng)以及海洋科技的飛躍式發(fā)展，走向深藍(lán)、開(kāi)發(fā)遠(yuǎn)洋資源成為我國(guó)海洋戰(zhàn)略的重點(diǎn)。我海軍部隊(duì)艦船航行、出島鏈訓(xùn)練等已成為常態(tài)化，為其提供高質(zhì)量的海洋數(shù)據(jù)保障極為必要。

隨著衛(wèi)星遙感技術(shù)的進(jìn)步，通過(guò)海洋遙感圖像數(shù)據(jù)獲取海洋信息成為海洋工作者的重要手段。但是，由于天氣等原因的影響［1～2］，經(jīng)常出現(xiàn)成片區(qū)域衛(wèi)星數(shù)據(jù)缺測(cè)的現(xiàn)象。尋求一種合適的方案，盡可能地恢復(fù)缺測(cè)區(qū)域衛(wèi)星數(shù)據(jù)是很有必要的。許多學(xué)者利用DINEOF算法［1～3］，實(shí)現(xiàn)對(duì)長(zhǎng)歷時(shí)海洋遙感圖像數(shù)據(jù)缺測(cè)數(shù)據(jù)的很好填充，但該算法要求數(shù)據(jù)缺測(cè)量不能超過(guò)5%，而且理論上無(wú)法實(shí)現(xiàn)對(duì)單個(gè)遙感圖像數(shù)據(jù)的有效填充。

數(shù)字圖像修復(fù)技術(shù)在圖像領(lǐng)域應(yīng)用廣泛，利用圖像修復(fù)技術(shù)，可很好實(shí)現(xiàn)劃痕字畫等圖像的修復(fù)。目前，主要的圖像修復(fù)技術(shù)包括基于紋理合成的修復(fù)算法、基于偏微分方程的修復(fù)算法以及基于稀疏表示的修復(fù)算法等，主流的修復(fù)算法模型包括TV模型、CDD模型、Criminisi算法、PCD算法等［4～8］。王相海等利用改進(jìn)的CDD模型實(shí)現(xiàn)對(duì)陸地遙感圖像數(shù)據(jù)的良好修復(fù)［8］，筆者認(rèn)為，海洋遙感圖像數(shù)據(jù)不同于陸地遙感圖像數(shù)據(jù)，陸地遙感圖像數(shù)據(jù)具有復(fù)雜的地物特征，而一般來(lái)講，海洋遙感圖像數(shù)據(jù)存在較為明顯的紋理結(jié)構(gòu)，因而可嘗試?yán)没诩y理合成的Criminisi算法對(duì)海洋遙感圖像數(shù)據(jù)進(jìn)行修復(fù)處理。

本文中，將簡(jiǎn)要介紹由Criminisi等學(xué)者提出的Criminisi算法［8］，并對(duì)Criminisi算法進(jìn)行適當(dāng)修改，使其適用于海洋遙感圖像數(shù)據(jù)的修復(fù)填補(bǔ)，同時(shí)利用Criminisi算法對(duì)葉綠素遙感圖像數(shù)據(jù)進(jìn)行修復(fù)處理，并對(duì)其修復(fù)結(jié)果的可靠性進(jìn)行簡(jiǎn)要探討。

2 衛(wèi)星數(shù)據(jù)

由韓國(guó)發(fā)射的世界上第一顆地球靜止海洋氣象通訊衛(wèi)星COMS（Communication，Ocean and Me?teorological Satellite）攜帶的遙感載荷 GOCI（Geo?stationary Ocean Color Imager）傳感器，可提供由可見(jiàn)光到近紅外八個(gè)波段的遙感數(shù)據(jù)，所提供數(shù)據(jù)時(shí)間分辨率達(dá) 1 小時(shí)，水平分辨率達(dá) 500 m［9～11］，在http：//kosc.kiost.ac/網(wǎng)站上，可直接獲取由各波段數(shù)據(jù)反演得到的L2級(jí)海洋水色遙感圖像，但由于天氣狀況等因素影響，其數(shù)據(jù)往往有不同程度的缺測(cè)。針對(duì)這一現(xiàn)象，下文將利用獲取的葉綠素遙感圖像數(shù)據(jù)進(jìn)行缺測(cè)數(shù)據(jù)修復(fù)填補(bǔ)的探究。

3 Criminis算法簡(jiǎn)介

Criminis算法在圖像修復(fù)中效果明顯，有許多學(xué)者對(duì)其原理進(jìn)行過(guò)詳細(xì)介紹［4～8，12］。Criminisi算法在針對(duì)缺失數(shù)據(jù)的修復(fù)過(guò)程中，基于全局遍歷計(jì)算區(qū)塊優(yōu)先權(quán)，優(yōu)先權(quán)傾向于具有高可信度數(shù)據(jù)的缺失數(shù)據(jù)邊緣，得到具備最高優(yōu)先權(quán)的修復(fù)塊后，遍歷全局，利用SSD匹配準(zhǔn)則，尋找可用于替換修復(fù)塊的樣本塊。

3.1 待修復(fù)區(qū)塊優(yōu)先權(quán)計(jì)算

如圖1，對(duì)于給定的圖像塊P，其中心點(diǎn)位于如圖所示待修復(fù)邊緣p點(diǎn)處，p∈δΩ；對(duì)于優(yōu)先權(quán)P(p)，我們有計(jì)算公式：

對(duì)整個(gè)待修復(fù)區(qū)域邊緣，Criminis算法將遍歷各個(gè)相關(guān)圖像塊，計(jì)算其優(yōu)先權(quán)，基于此來(lái)決定算法對(duì)缺失區(qū)域數(shù)據(jù)的修復(fù)順序，其中，置信度C(p)、數(shù)據(jù)項(xiàng)D(p)計(jì)算公式為

C(p)主要用于衡量P點(diǎn)所在待修復(fù)區(qū)塊的可利用數(shù)據(jù)信息，D(p)則可反應(yīng)所選區(qū)塊的結(jié)構(gòu)性特征，其中，α為歸一化因子，Criminisi算法針對(duì)R、G、B三維圖像數(shù)據(jù)處理，顯然歸一化因子選擇典型的像素灰度值255，而將處理的葉綠素遙感圖像數(shù)據(jù)則是一維數(shù)據(jù)矩陣，數(shù)據(jù)分布不同于R、G、B三維圖像數(shù)據(jù)，基于α的歸一化作用，應(yīng)選擇衛(wèi)星數(shù)據(jù)的最大值來(lái)替代255；是待修復(fù)區(qū)塊內(nèi)中心點(diǎn)p的等照度線強(qiáng)度及方向；np則是p點(diǎn)所在修復(fù)區(qū)域邊界處的單位外法線方向。

3.2 最優(yōu)匹配塊遍歷搜索及填充

找到具備最高優(yōu)先權(quán)的待修復(fù)區(qū)塊ψp后，全局遍歷搜索，基于SSD匹配準(zhǔn)則，在數(shù)據(jù)源區(qū)域Φ尋找最接近于ψp的樣本塊ψq′，基于葉綠素遙感圖像數(shù)據(jù)特點(diǎn)，SSD匹配準(zhǔn)則計(jì)算公式如下式（4）：

在Criminisi算法中，得到最優(yōu) ψq′后，將 ψq′直接用于復(fù)制替換ψp，對(duì)葉綠素遙感圖像數(shù)據(jù)進(jìn)行處理時(shí)，為盡量保存原有的數(shù)據(jù)信息，在填充過(guò)程中，筆者保留ψp有效信息，而僅將數(shù)據(jù)缺失區(qū)域予以替換。

3.3 置信度的更新

利用ψq′替換ψp后，修復(fù)區(qū)域邊界信息發(fā)生改變，需要計(jì)算更新置信度：

重復(fù)以上步驟，直至修復(fù)區(qū)域填補(bǔ)結(jié)束。

4 數(shù)據(jù)修復(fù)填補(bǔ)結(jié)果

利用修改后Criminisi算法，對(duì)遙感圖像數(shù)據(jù)進(jìn)行處理，填補(bǔ)結(jié)果如圖2所示。

圖2（a）為2014年9月27日8時(shí)由GOCI獲取的臺(tái)灣海峽附近葉綠素遙感圖像數(shù)據(jù)。計(jì)算可知，其缺測(cè)數(shù)據(jù)量達(dá)33%，因而進(jìn)行數(shù)據(jù)填充修復(fù)是有必要的。圖2（b）為利用Criminisi算法進(jìn)行填補(bǔ)后結(jié)果，直觀分析可知，填補(bǔ)后數(shù)據(jù)圖像具有很好的視覺(jué)相關(guān)性，圖像連續(xù)性好，沒(méi)有異常紋理結(jié)構(gòu)產(chǎn)生，可見(jiàn)，填補(bǔ)后數(shù)據(jù)具備可信度，至少可用于分析葉綠素遙感圖像數(shù)據(jù)的分布趨勢(shì)。

同時(shí)，為驗(yàn)證Criminisi算法用于遙感圖像數(shù)據(jù)修復(fù)的可靠性，選擇2014年9月27日10時(shí)由GOCI獲取的同一海域遙感圖像數(shù)據(jù)，隨機(jī)截除兩個(gè)不相鄰的30×30的矩形小區(qū)域后，對(duì)數(shù)據(jù)進(jìn)行Criminisi算法修復(fù)填補(bǔ)，處理結(jié)果如圖3。

其中圖3（a）為原始葉綠素遙感圖像數(shù)據(jù)，圖3（b）為截除矩形小區(qū)域后葉綠素遙感圖像數(shù)據(jù)，圖3（c）為對(duì)圖3（b）修復(fù)后得到的葉綠素遙感圖像數(shù)據(jù)，由圖3可知，在截取的待修復(fù)區(qū)域，修復(fù)后紋理連續(xù)性同原始數(shù)據(jù)較好吻合，雖有一定的視覺(jué)連續(xù)性差異，但主要結(jié)構(gòu)恢復(fù)良好。

同時(shí)，為進(jìn)一步確定填補(bǔ)結(jié)果的可靠性，將截除位置的原始數(shù)據(jù)以及修復(fù)后得到的數(shù)據(jù)作對(duì)比，如圖4所示。

圖4（a）和圖4（b）為截取的原始數(shù)據(jù)，4（c）和4（d）為利用Criminisi算法計(jì)算后得到的修復(fù)數(shù)據(jù)，分析可知，修復(fù)后得到的葉綠素遙感圖像數(shù)據(jù)紋理結(jié)構(gòu)清晰，同原始數(shù)據(jù)整體上匹配良好，但是，在原始數(shù)據(jù)有較大突變的位置，修復(fù)后得到的數(shù)據(jù)不能很好地匹配原始數(shù)據(jù)，說(shuō)明Criminisi算法對(duì)數(shù)據(jù)有明顯突變的區(qū)域，修復(fù)效果有待提高。

5 結(jié)語(yǔ)

本文將圖像修復(fù)技術(shù)引用到對(duì)遙感圖像缺測(cè)數(shù)據(jù)的填補(bǔ)修復(fù)，同時(shí)實(shí)現(xiàn)Criminisi算法對(duì)遙感圖像缺測(cè)數(shù)據(jù)的修復(fù)研究。實(shí)驗(yàn)表明，利用Criminisi算法可實(shí)現(xiàn)對(duì)遙感圖像數(shù)據(jù)特別是紋理結(jié)構(gòu)清晰、突變小的遙感圖像數(shù)據(jù)缺測(cè)值的良好填補(bǔ)修復(fù)，這對(duì)于分析遙感圖像數(shù)據(jù)在缺測(cè)區(qū)域的分布趨勢(shì)具有重要意義。深入研究圖像修復(fù)技術(shù)，將其合理應(yīng)用到遙感圖像數(shù)據(jù)缺測(cè)值的填補(bǔ)修復(fù)中，將具有重要意義。

［1］郭俊如.東中國(guó)海遙感葉綠素?cái)?shù)據(jù)重構(gòu)方法及其多尺度變化機(jī)制研究［D］.青島：中國(guó)海洋大學(xué)，2014.

［2］郭俊如，宋軍，鮑獻(xiàn)文，李靜.東中國(guó)海遙感葉綠素?cái)?shù)據(jù)重構(gòu)方法研究［J］.遙感技術(shù)與應(yīng)用，2016（05）：939-949.

［3］盛崢，石漢青，丁又專.利用DINEOF方法重構(gòu)缺測(cè)的衛(wèi)星遙感海溫?cái)?shù)據(jù)［J］.海洋科學(xué)進(jìn)展，2009（02）：243-249.

［4］張紅英.數(shù)字圖像修復(fù)技術(shù)的研究與應(yīng)用［D］.成都：電子科技大學(xué)，2006.

［5］魏欣，蔣華偉.改進(jìn)的Criminisi圖像修復(fù)算法［J］.計(jì)算機(jī)工程與應(yīng)用，2011（04）：205-207，218.

［6］張紅英，彭啟琮.數(shù)字圖像修復(fù)技術(shù)綜述［J］.中國(guó)圖象圖形學(xué)報(bào)，2007（01）：1-10.

［7］王相海，孫麗，萬(wàn)宇，王爽，陶兢喆.非局域樣本填充和自適應(yīng)曲率驅(qū)動(dòng)模型的遙感圖像修復(fù)算法［J］.模式識(shí)別與人工智能，2016（08）：735-743.

［8］Criminisi A，Perez P，Toyama K.Object removal by exem?plar-based inpainting［C］//Computer Vision and Pattern Recognition，2003.Proceedings.2003 IEEE Computer So?ciety Conference on.IEEE，2003：721.

［9］李冠男，王林，王祥，王新新，孫廣輪.靜止水色衛(wèi)星GO?CI及其應(yīng)用進(jìn)展［J］.海洋環(huán)境科學(xué)，2014（06）：966-971.

［10］Choi J K，Park Y J，Ahn J H，et al.GOCI，the world's first geostationary ocean color observation satellite，for the monitoring of temporal variability in coastal water tur?bidity［J］.Journal of Geophysical Research Oceans，2012，117（C9）：9004.

［11］王泉斌，秦平，趙曉晨.世界首顆靜止軌道海洋水色衛(wèi)星應(yīng)用研究進(jìn)展［J］.海岸工程，2017（02）：71-78.

［12］劉永，朱元培，李尊.Criminisi圖像修復(fù)算法的研究［J］.數(shù)字技術(shù)與應(yīng)用，2017（03）：161-163.

Restoration of Remote Sensing Image Based on Criminisi Algorithm

FANG Fang SUN Hequan
（Dalian Navy Academy，Dalian 116018）

The ocean remote sensing image data play an important role in ocean research.However，the ocean remote sensing image data are easily disturbed by weather conditions or other reasons，which results in a lot of data loss.The missing ocean remote sensing image data can be reconstructed by modified Criminisi algorithm presented in detail in the paper，such as chlorophyll data.Meanwhile，the restoration reliability is briefly discussed.

remote sensing image，chlorophyll data，criminisi algorithm

TP391

10.3969/j.issn.1672-9730.2017.11.021

Class Number TP391

2017年5月5日，

2017年6月17日

方芳，男，碩士研究生，研究方向：海洋遙感技術(shù)與應(yīng)用。孫鶴泉，男，博士，副教授，研究方向：海洋遙感、海洋技術(shù)與實(shí)驗(yàn)流體力學(xué)方法。