分布式空間數(shù)據(jù)存儲(chǔ)對(duì)象分析

李寶雙

摘? ?要：文章針對(duì)目前各行業(yè)的大量數(shù)據(jù)存在的地域化以及日漸凸顯的數(shù)據(jù)快速增長(zhǎng)的特點(diǎn)，重點(diǎn)提出了分布式空間數(shù)據(jù)的儲(chǔ)存對(duì)象概念，同時(shí)，介紹了基于分布式空間數(shù)據(jù)儲(chǔ)存對(duì)象的一種高性能、可伸縮性的信息共享管理體制，為分布式數(shù)據(jù)儲(chǔ)存工作提供出了全新的工作形式。

關(guān)鍵詞：空間數(shù)據(jù);分布式存儲(chǔ);基于對(duì)象的存儲(chǔ)

大數(shù)據(jù)時(shí)代，數(shù)據(jù)的存儲(chǔ)已經(jīng)在各行各業(yè)中得到了廣泛的應(yīng)用，特別是地球空間信息技術(shù)，針對(duì)一些層次更高的分辨率傳感器技術(shù)，在發(fā)展過(guò)程當(dāng)中使地理信息系統(tǒng)所受到的影響和挑戰(zhàn)不斷加劇。地理信息系統(tǒng)（Geographic Information System，GIS）是獲取、處理、管理和分析地理空間數(shù)據(jù)的重要工具，在GIS系統(tǒng)的運(yùn)用過(guò)程當(dāng)中會(huì)出現(xiàn)數(shù)據(jù)的大量上漲以及對(duì)數(shù)據(jù)的合理應(yīng)用等相關(guān)問(wèn)題，通過(guò)空間數(shù)據(jù)儲(chǔ)存的標(biāo)準(zhǔn)和需求，現(xiàn)階段，空間數(shù)據(jù)的儲(chǔ)存量從吉字節(jié)（Gigabyte，GB）級(jí)別上升到了太字節(jié)（Terabyte，TB）級(jí)別，甚至達(dá)到了拍字節(jié)（Petabyte，PB）級(jí)別。在儲(chǔ)存大量空間數(shù)據(jù)過(guò)程當(dāng)中，已經(jīng)無(wú)法延續(xù)傳統(tǒng)形式，即向GIS的集中儲(chǔ)存模式，在數(shù)據(jù)的儲(chǔ)存空間上有著明顯的限制，通過(guò)海量數(shù)據(jù)地域分布，保證整個(gè)數(shù)據(jù)空間的運(yùn)用更加合理，在一些網(wǎng)絡(luò)信息環(huán)境下的信息分布和分層儲(chǔ)存更加適用。

1? ? 分布式空間數(shù)據(jù)存儲(chǔ)對(duì)象

現(xiàn)有的數(shù)據(jù)儲(chǔ)存模式基本都是在數(shù)據(jù)結(jié)構(gòu)層面上操作，分析數(shù)據(jù)構(gòu)成類型的不同，沒(méi)有考慮數(shù)據(jù)在儲(chǔ)存過(guò)程當(dāng)中的數(shù)量特性以及數(shù)據(jù)使用性能方面的需求。常見的空間數(shù)據(jù)拓?fù)潢P(guān)系如圖1所示。

圖1? 空間數(shù)據(jù)的拓?fù)潢P(guān)系

在數(shù)據(jù)空間分布形式上，相關(guān)工作人員只單純分析了數(shù)據(jù)，收集工作中存在的地域性差別，需要人為將空間數(shù)據(jù)依照相關(guān)的排列規(guī)則進(jìn)行分層和分級(jí)，然后進(jìn)行數(shù)據(jù)劃分儲(chǔ)存。在此過(guò)程當(dāng)中并沒(méi)有充分考慮到整個(gè)網(wǎng)絡(luò)和計(jì)算內(nèi)部的工作特性，因此，也無(wú)法充分滿足整個(gè)GIS分布系統(tǒng)的實(shí)際功能需求。對(duì)很多不同的觀測(cè)數(shù)據(jù)來(lái)講，比如，在衛(wèi)星遙感數(shù)據(jù)和監(jiān)測(cè)數(shù)據(jù)系統(tǒng)當(dāng)中，數(shù)據(jù)必須要具備在線分布和儲(chǔ)存的工作能力。如何有效運(yùn)用信息資源，不能完全依靠人為工作的預(yù)先規(guī)劃，所以，需要將整個(gè)空間數(shù)據(jù)的儲(chǔ)存工作由被動(dòng)式的服務(wù)模式轉(zhuǎn)化成為主動(dòng)分布工作模式，以一種自適應(yīng)的工作服務(wù)狀態(tài)，在整個(gè)空間數(shù)據(jù)儲(chǔ)存過(guò)程當(dāng)中解決數(shù)據(jù)大量上漲的問(wèn)題[1]。

2? ? 海量空間數(shù)據(jù)分布式存儲(chǔ)機(jī)制

以分布式空間數(shù)據(jù)作為儲(chǔ)存對(duì)象建立起空間數(shù)據(jù)系統(tǒng)結(jié)構(gòu)，在大量的數(shù)據(jù)空間當(dāng)中依照數(shù)據(jù)本身所具有的不同特性，在數(shù)據(jù)的使用需求、儲(chǔ)存特性以及一系列的用戶定義空間當(dāng)中，對(duì)數(shù)據(jù)的儲(chǔ)存對(duì)象進(jìn)行科學(xué)地劃分，在分布式儲(chǔ)存器當(dāng)中安裝了對(duì)象存儲(chǔ)裝置（Object Storage Device，OSD）處理器、內(nèi)存以及網(wǎng)絡(luò)接口，在整個(gè)系統(tǒng)的構(gòu)成類型上，通過(guò)分布式儲(chǔ)存結(jié)構(gòu)作為主要的核心點(diǎn)，在工作過(guò)程當(dāng)中具有信息本地處理功能，用于數(shù)據(jù)的緩存和數(shù)據(jù)快速處理，實(shí)現(xiàn)了信息傳輸過(guò)程中的網(wǎng)絡(luò)銜接。在空間數(shù)據(jù)儲(chǔ)存對(duì)象當(dāng)中，分布式結(jié)構(gòu)可以儲(chǔ)存在多個(gè)OSD系統(tǒng)當(dāng)中，多個(gè)空間數(shù)據(jù)對(duì)象也可以使用同一個(gè)OSD模型結(jié)構(gòu)，OSD當(dāng)中所包含的設(shè)備類型分為數(shù)據(jù)信息單元，以一種自主管理的模式在整個(gè)空間數(shù)據(jù)結(jié)構(gòu)中進(jìn)行分布和處理。比如，信息處理速率和對(duì)象處理長(zhǎng)度等方面都需要加以考慮，在OSD系統(tǒng)內(nèi)部承擔(dān)了系統(tǒng)儲(chǔ)存器中的數(shù)據(jù)維護(hù)工作和單元數(shù)據(jù)管理工作，有效消除了系統(tǒng)服務(wù)器內(nèi)部存在的瓶頸問(wèn)題。以GIS服務(wù)器通過(guò)系統(tǒng)分布式空間儲(chǔ)存對(duì)象，為客戶端提供出準(zhǔn)確有效的OSD空間邏輯信息，同時(shí)，依照客戶在操作過(guò)程當(dāng)中的組織管理需求，對(duì)數(shù)據(jù)儲(chǔ)存管理對(duì)象進(jìn)行識(shí)別。GIS服務(wù)器另外一個(gè)作用是通過(guò)用戶授權(quán)工作管理，OSD授權(quán)信息提供相應(yīng)的安全工作驗(yàn)證，在信息完成驗(yàn)證工作之后，數(shù)據(jù)方面不通過(guò)服務(wù)器結(jié)構(gòu)直接進(jìn)行轉(zhuǎn)發(fā)，在客戶端和儲(chǔ)存器內(nèi)部實(shí)現(xiàn)了第三方通信信息的連接。

3? ? 分布式空間數(shù)據(jù)存儲(chǔ)基本實(shí)現(xiàn)方法

利用數(shù)據(jù)共享，設(shè)備共享，通信靈活地實(shí)現(xiàn)分布式空間數(shù)據(jù)的存儲(chǔ)，基于多地點(diǎn)多設(shè)備的實(shí)現(xiàn)，如圖2所示。

圖2? 分布式存儲(chǔ)示意

4? ? ?分布式空間數(shù)據(jù)存儲(chǔ)對(duì)象優(yōu)勢(shì)

基于分布式空間數(shù)據(jù)在系統(tǒng)的工作過(guò)程中，針對(duì)不同類型的儲(chǔ)存對(duì)象，所設(shè)定的數(shù)據(jù)儲(chǔ)存空間具有以下幾個(gè)方面的優(yōu)勢(shì)。

4.1? 高性能優(yōu)勢(shì)

基于分布式空間的訴訟儲(chǔ)存過(guò)程當(dāng)中，在數(shù)據(jù)對(duì)象的空間儲(chǔ)存方面，數(shù)據(jù)的客戶端和儲(chǔ)存器之間，可以進(jìn)行信息的高速傳輸，服務(wù)器當(dāng)中的輸入/輸出（Input/Output，I/O）端口，存在的信息傳輸速率較慢問(wèn)題得以有效的解決，同時(shí)，還可以有效防止信息傳輸過(guò)程當(dāng)中產(chǎn)生的信息失真以及信息傳輸阻塞等不良問(wèn)題。當(dāng)儲(chǔ)存系統(tǒng)內(nèi)部需要對(duì)信息儲(chǔ)存量和儲(chǔ)存空間進(jìn)行擴(kuò)展過(guò)程中，對(duì)信息儲(chǔ)存技術(shù)需要提供一個(gè)更加均衡的空間模型，這樣才可以充分保證整個(gè)信息系統(tǒng)在處理信息的能力上得到同步提高，進(jìn)而在信息的響應(yīng)速度和信息的傳輸速率上得到明顯的提高，保證整個(gè)系統(tǒng)可以更加適用GIS環(huán)境下多個(gè)用戶共同發(fā)出信息請(qǐng)求，整個(gè)數(shù)據(jù)傳輸規(guī)模和傳輸效率具有更高效果。

4.2? 異構(gòu)共享、透明訪問(wèn)

在海量空間數(shù)據(jù)的分布儲(chǔ)存過(guò)程當(dāng)中，經(jīng)常會(huì)面對(duì)多重異構(gòu)的儲(chǔ)存工作環(huán)境，通過(guò)這種儲(chǔ)存環(huán)境可以充分實(shí)現(xiàn)空間數(shù)據(jù)儲(chǔ)存資源的有效共享。首先，在系統(tǒng)儲(chǔ)存工作當(dāng)中，在操作平臺(tái)上經(jīng)常會(huì)產(chǎn)生矛盾問(wèn)題，分布式空間數(shù)據(jù)儲(chǔ)存對(duì)象可以將系統(tǒng)設(shè)備當(dāng)中的數(shù)據(jù)模塊從設(shè)備層當(dāng)中進(jìn)行分離，同時(shí)將儲(chǔ)存系統(tǒng)內(nèi)部的信息邏輯結(jié)構(gòu)和儲(chǔ)存層的映射關(guān)系之間進(jìn)行對(duì)應(yīng)，通過(guò)這種方式，很容易實(shí)現(xiàn)跨平臺(tái)數(shù)據(jù)結(jié)構(gòu)的組成。從用戶角度上來(lái)進(jìn)行分析，通過(guò)對(duì)空間數(shù)據(jù)儲(chǔ)存對(duì)象的設(shè)定存在很明顯的差別，用戶在使用過(guò)程中不需要關(guān)心大量數(shù)據(jù)該如何進(jìn)行劃分和儲(chǔ)存，只需要通過(guò)使用對(duì)象接口，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的透明化訪問(wèn)，這在很大程度上提高了數(shù)據(jù)訪問(wèn)工作人員的工作效率。

4.3? 靈活高效的安全機(jī)制

在分布式的GIS用戶的協(xié)同工作模式當(dāng)中，經(jīng)常會(huì)涉及一些針對(duì)空間數(shù)據(jù)的操作和儲(chǔ)存部分，在整合空間數(shù)據(jù)的儲(chǔ)存工作當(dāng)中具有操作時(shí)間較長(zhǎng)以及信息準(zhǔn)確度不足等問(wèn)題[2]。對(duì)此，在進(jìn)行GIS空間數(shù)據(jù)的儲(chǔ)存工作當(dāng)中，相關(guān)工作人員需要針對(duì)不同的空間數(shù)據(jù)對(duì)象的一致性和信息的安全性加以有效的保障。在分布式空間的數(shù)據(jù)儲(chǔ)存和管理工作當(dāng)中，需要對(duì)其進(jìn)行不同屬性以及不同的訪問(wèn)方式來(lái)進(jìn)行設(shè)定。相比于傳統(tǒng)的基礎(chǔ)文件或者是模塊數(shù)據(jù)的管理工作來(lái)講，在分布式的空間數(shù)據(jù)儲(chǔ)存工作當(dāng)中，在整個(gè)數(shù)據(jù)的儲(chǔ)存安全性方面有著重要的保障，因此，這種數(shù)據(jù)處理方式更加有利于建立起GIS網(wǎng)絡(luò)環(huán)境條件，實(shí)現(xiàn)了對(duì)多用戶相互之間的靈活信息提取、儲(chǔ)存以及應(yīng)用等。

5? ? 結(jié)語(yǔ)

在數(shù)字城市和數(shù)字社會(huì)的發(fā)展過(guò)程當(dāng)中，需要在空間數(shù)據(jù)的儲(chǔ)存功能上達(dá)到PB級(jí)以上的級(jí)別。隨著當(dāng)前信息化技術(shù)的發(fā)展速度不斷加快，信息的收集量以及收集的詳細(xì)程度都在不斷深化。在海量空間的數(shù)據(jù)儲(chǔ)存過(guò)程當(dāng)中，不但需要充分滿足數(shù)據(jù)儲(chǔ)存量的標(biāo)準(zhǔn)要求，同時(shí)還需要充分滿足GIS分布式數(shù)據(jù)工作服務(wù)的標(biāo)準(zhǔn)。

[參考文獻(xiàn)]

[1]王曉龍.基于Spark的地理空間大數(shù)據(jù)查詢處理技術(shù)研究[D].西安：西安電子科技大學(xué)，2017.

[2]涂振發(fā).云計(jì)算環(huán)境下海量空間數(shù)據(jù)高效存儲(chǔ)關(guān)鍵技術(shù)研究[D].武漢：武漢大學(xué)，2012.

Analysis on the storage object of the distributed spatial data

Li Baoshuang

（China No.8 Shipbuilding Heavy Industry， Yangzhou 225001， China）

Abstract：Aiming at the regionalization of a large number of data in various industries and the characteristics of the rapid growth of data， the paper puts forward the concept of storage object of distributed spatial data， and introduces a kind of high-performance data storage object based on the distributed spatial data. The scalable information-sharing management system provides a brand-new form of work for distributed data storage.

Key words：spatial data; distributed storage; object-based storage