鄒宗慶

【摘要】本文主要對基于云平臺的衛(wèi)星遙感圖像處理進行研究，在把握衛(wèi)星遙感圖像處理流程以及分析Hadoop云平臺重要組件的基礎(chǔ)之上，明確基于Hadoop的圖像處理與MeanShift圖像分割具體操作步驟與要點，以期實現(xiàn)對衛(wèi)星遙感圖像大數(shù)據(jù)的有效解決。

【關(guān)鍵詞】云平臺;Hadoop;衛(wèi)星遙感圖像;MeanShift圖像分割

中圖分類號：TN92? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A? ? ? ? ? ? ? ? ? ? ? ? ? DOI：10.12246/j.issn.1673-0348.2021.17.005

衛(wèi)星遙感是對地球數(shù)據(jù)信息進行采集的一項技術(shù)，有著非常突出的重要作用，以無國界限制、覆蓋范圍大、觀測存在周期性以及數(shù)據(jù)的采集可符合客觀性要求等特點為其主要表現(xiàn)?；谛l(wèi)星遙感所獲得的遙感圖像數(shù)據(jù)，又有很明顯的四高特征，也就是空間分辨率高、時間分辨率高、光譜分辨率高以及輻射分辨率高，本文對基于云平臺的衛(wèi)星遙感圖像處理方法展開研究。

1. 衛(wèi)星遙感圖像處理流程

以抽象程度及研究方法等的不同作為劃分依據(jù)，數(shù)據(jù)圖像的處理主要有3個層次的劃分，分別為數(shù)據(jù)處理層、圖像分析層（也就是信息提取層）以及圖像理解層（對應(yīng)的為知識層），進一步對數(shù)據(jù)圖像處理層次的劃分進行參考與借鑒，與衛(wèi)星遙感自身所具有的特點相結(jié)合，衛(wèi)星遙感圖像的處理流程通常被劃分為4個主要層次，分別為預處理層、數(shù)據(jù)處理層、信息提取層以及分析決策層（該層與知識層，也就是圖像理解層相對應(yīng)），如圖1所示。根據(jù)層次劃分可以清楚地發(fā)現(xiàn)，預處理層被獨立了出來，對其原因進行分析，可大致歸納為以下幾點。

預處理作業(yè)同衛(wèi)星遙感圖像的獲取方式有著非常密切的聯(lián)系，且該項作業(yè)是必須經(jīng)歷的一個步驟，相較于其他領(lǐng)域的圖像預處理而言，衛(wèi)星遙感圖像的預處理算法原理及實現(xiàn)過程表現(xiàn)出較為明顯的不同。

盡管算法在一定程度上將數(shù)據(jù)處理層的特性彰顯了出來，不過因為處理之前與之后圖像區(qū)域內(nèi)的像素位置出現(xiàn)了遷移的情況，這在一定程度上增加了鄰域及邊界的不確定性，由此一來，處理難度也會相應(yīng)加大。

在衛(wèi)星遙感傳感器愈發(fā)向星載——陸地同步實時處理的宏觀趨勢下，預處理功能的順利與高效發(fā)揮能夠在較大程度上緩解地面處理壓力。所以，衛(wèi)星遙感圖像的預處理工作需要被單獨執(zhí)行，也就是做好輻射定標以及大氣校正算法分析。不過，因為本文重點放在云平臺應(yīng)用下的衛(wèi)星遙感圖像處理上，因而不對預處理以及后期的信息提取與分析決策作過多研究，僅針對基于Hadoop云平臺的衛(wèi)星遙感圖像分割進行具體分析。

2. Hadoop云平臺

Hadoop是分布式存儲計算框架，它是以云體系為基礎(chǔ)的一種云計算平臺，能夠提供分布式存儲及計算的編程環(huán)境。對Hadoop平臺的總體構(gòu)成進行分析，主要涉及到HDFS、MapReduce以及Hive等重要組件。

2.1 HDFS

屬于一種具有分布式特點的文件系統(tǒng)，當處于一個集群網(wǎng)絡(luò)中時，計算機的數(shù)量往往會很多，對于任何一臺能夠正常運行的計算機而言，它們的存儲量都是比較大的，可進行海量差異化數(shù)據(jù)的存儲。以HDFS系統(tǒng)為支持，海量差異化數(shù)據(jù)的管理任務(wù)可以高效地被完成。

2.2 MapReduce

MapReduce是一種數(shù)據(jù)模型，圖2所示為其主要框架，可以將對數(shù)據(jù)的并行化處理功能很好地發(fā)揮出來，對于多個計算節(jié)點而言，此數(shù)據(jù)模型具有能夠分配大規(guī)模計算分析任務(wù)的優(yōu)勢，對于統(tǒng)計分析任務(wù)效率的提升具有顯著的積極意義。當完成對數(shù)據(jù)的輸入作業(yè)以后，系統(tǒng)執(zhí)行對所輸入各類數(shù)據(jù)的分片處理操作，針對每一個輸入分片，都會有一個對應(yīng)的Map任務(wù)被單獨啟動，這時，又會有一些鍵值對生成，本地硬盤又會進一步執(zhí)行對它們的存儲任務(wù)。Map對之后所得結(jié)果進行處理，基于網(wǎng)絡(luò)傳輸技術(shù)的支持，由具體運行Reduce任務(wù)的相應(yīng)節(jié)點接收。這一環(huán)節(jié)，Reduce函數(shù)所發(fā)揮的作用體現(xiàn)在可以對它們進行合并處理之上，基于這一操作可以將所得最終結(jié)果存儲于HDFS中。

2.3 Hive

這是一種構(gòu)建在Hadoop上的數(shù)據(jù)倉庫框架，對其功能進行分析，體現(xiàn)在能夠?qū)iveQl查詢進行有效轉(zhuǎn)換之上，用具體的MapReduce來表示，這種操作可以在一定程度上降低HiveQL程序向Hadoop平臺移植的難度。

3. 基于Hadoop云平臺的衛(wèi)星遙感圖像分割

3.1 基于Hadoop的圖像處理

借助于基于Hadoop的圖像處理云平臺，將由HDFS執(zhí)行存儲任務(wù)的、已經(jīng)經(jīng)過預處理的數(shù)據(jù)作為衛(wèi)星遙感圖像數(shù)據(jù)輸入至此Hadoop云平臺，MapReduce框架會從HDFS中進行對所需圖像數(shù)據(jù)的加載。MapReduce編程模型中對用于程序開發(fā)的各種類型的實體類與接口均有涉及，其中，InputFormat類可完成對所輸入數(shù)據(jù)信息有效性的檢查工作，之后執(zhí)行對這些信息的邏輯切片處理，并向不同的mapper分發(fā)作進一步處理。此外，由前文可知，MapReduce還提供RecordReader的實現(xiàn)，結(jié)合對數(shù)據(jù)切片的讀取，會有相應(yīng)的鍵值對生成。

為了實現(xiàn)對衛(wèi)星遙感圖像數(shù)據(jù)更加高效的處理，需要對圖像處理接口進行自定義改寫，也就是自定義改寫ImageInputFormat與ImageRecordReader。這么做的目的在于讓ImageInputFormat與ImageRecordReader分別繼承InpurFormat與RecordReader，前者的作用在于查驗與校驗輸入的衛(wèi)星遙感圖像數(shù)據(jù)，進行isSplitable（）方法的重寫，同時，設(shè)置此方法的返回值為False，這種做法可以將整幅圖視作一個split，對圖像切分情況的出現(xiàn)加以規(guī)避，由此一來，圖像信息的完整性會得到很好的保證。Hadoop框架會對ImageRecordReader進行調(diào)用，針對讀入的各個圖像文件，都會有相應(yīng)的鍵值對生成，而對于map函數(shù)，則執(zhí)行對圖像處理相關(guān)算法的調(diào)用任務(wù)，以此完成對圖像的處理。

在讀入圖像之時，其讀取形式為二進制數(shù)據(jù)流形式，而與之相對應(yīng)的，圖像的輸出則需要作業(yè)人員采用可視化的方式將圖像存儲下來，這能夠為后期的查看提供便利，因而應(yīng)進行圖像輸出類型的自定義，該操作對于圖像在HDFS中的順利存儲具有一定的推動作用。通過對圖像輸出類的自定義，用ImageRecordWriter類將抽象類RecordWrite繼承，并在ImageRecordWriter類中執(zhí)行對二進制字節(jié)流向新圖像文件中的寫入任務(wù)，可以實現(xiàn)在HDFS上對輸出鍵值對的寫入任務(wù)，最終達成存儲圖像數(shù)據(jù)的目的。

3.2 基于Hadoop的MeanShift圖像分割

MeanShift是一種以聚類為基礎(chǔ)的迭代式算法，表現(xiàn)出很高的復雜性特點，而其這一復雜性又對計算機的性能提出嚴格的要求。Hadoop云平臺集群作為一種分布式數(shù)據(jù)處理系統(tǒng)，從理論層面上看，能夠?qū)崿F(xiàn)對自身計算能力的無限擴展，因而對于MeanShift聚類算法而言有著非常好的適用性。借助Hadoop云平臺，MeanShift圖像分割算法可以按照以下幾個步驟來實現(xiàn)：

（1）執(zhí)行對圖像輸入類型ImageInputFormat的自定義任務(wù)，同時，做好對圖像文件切割方法的自定義工作;

（2）對圖像的輸出類型進行設(shè)計，執(zhí)行對ImageRecordWriter類的自定義任務(wù)，同時，以圖像形式將數(shù)據(jù)存儲下來;

（3）在圖像數(shù)據(jù)特征空間內(nèi)部，將點x作為中心，同時，長度h作為半徑進行一個高緯球的繪制，得到落于該高緯球內(nèi)部的全部點xi;

（4）將x像素點處的均值飄移向量求解出來，其中G所表示的是核函數(shù);

（5）若所得（注：ε表示的是容許誤差，取值在0-1之間），則退出程序;

（6）若，則進一步求解新圓心的坐標x，并向步驟（3）返回。

在以上迭代計算及賦值操作的基礎(chǔ)上，均值漂移窗口會呈現(xiàn)出逐漸移動的態(tài)勢，經(jīng)過窗口變換，收斂到數(shù)據(jù)峰值的全部點均會連通起來，實現(xiàn)圖像分割，同時，在Reduce環(huán)節(jié)輸出數(shù)據(jù)到HDFS執(zhí)行保存操作。

參考文獻：

[1]趙忠明，高連如，陳東，等.衛(wèi)星遙感及圖像處理平臺發(fā)展[J].中國圖象圖形學報，2019，24（12）：2098-2110.

[2]王小凱.基于云平臺的遙感圖像處理方法研究[D].遼寧：東北大學，2015.