• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于分布式架構(gòu)的海量空間數(shù)據(jù)快速瀏覽與發(fā)布系統(tǒng)設(shè)計(jì)

      2022-12-30 10:34:46東,申
      中國(guó)科學(xué)探險(xiǎn) 2022年9期
      關(guān)鍵詞:瓦片空間數(shù)據(jù)引擎

      李 東,申 遼

      1云南省自然資源廳國(guó)土資源信息中心

      2云南省測(cè)繪資料檔案館〈云南省基礎(chǔ)地理信息中心〉

      隨著自然資源數(shù)據(jù)獲取方式更加快捷,云南省現(xiàn)有自然資源信息化建設(shè)積累了大量的空間地理信息數(shù)據(jù)成果,因數(shù)據(jù)量大導(dǎo)致地圖服務(wù)瀏覽、查詢效率不高,地圖瓦片的構(gòu)建處理時(shí)間冗長(zhǎng)、更新不及時(shí),影響了自然資源大數(shù)據(jù)建設(shè)成果的應(yīng)用與推廣。同時(shí),現(xiàn)有國(guó)土資源、基礎(chǔ)測(cè)繪、地質(zhì)環(huán)境等專業(yè)的信息化應(yīng)用建設(shè)中也發(fā)布了大量的地圖服務(wù),由于技術(shù)要求不一、管理分散、更新困難等問(wèn)題,迫切需要建設(shè)國(guó)土空間海量數(shù)據(jù)快速瀏覽查詢、服務(wù)發(fā)布及更新系統(tǒng),滿足自然資源空間大數(shù)據(jù)的管理、快速瀏覽查詢和更新需求。

      1 系統(tǒng)技術(shù)設(shè)計(jì)

      建設(shè)自然資源數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng),主要是為了解決好兩個(gè)方面的問(wèn)題。

      一是研發(fā)高性能分布式地圖瓦片引擎,解決地圖服務(wù)的快速切圖、快速發(fā)布、快速瀏覽的問(wèn)題。實(shí)現(xiàn)在大數(shù)據(jù)量背景下的空間地圖服務(wù)高速化。

      二是研發(fā)國(guó)土資源空間數(shù)據(jù)統(tǒng)一發(fā)布系統(tǒng),解決現(xiàn)有地圖服務(wù)管理分散、數(shù)據(jù)不統(tǒng)一、資源利用效率低等問(wèn)題。實(shí)現(xiàn)跨平臺(tái)的地圖服務(wù)統(tǒng)一管理、統(tǒng)一發(fā)布和統(tǒng)一更新。

      系統(tǒng)功能的建設(shè)應(yīng)包含高性能地圖瓦片引擎、空間數(shù)據(jù)高速更新、統(tǒng)一地圖服務(wù)發(fā)布與管理、地圖快速瀏覽查詢、系統(tǒng)監(jiān)控等五大主要功能模塊。

      1.1 系統(tǒng)技術(shù)架構(gòu)

      自然資源海量數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng)需要在架構(gòu)層面,解決自然資源數(shù)據(jù)體量巨大、處理速度快、數(shù)據(jù)類型繁多、價(jià)值密度低等特性帶來(lái)的挑戰(zhàn),因此在技術(shù)選型上采用了當(dāng)前主流的Hadoop架構(gòu),并結(jié)合空間數(shù)據(jù)存儲(chǔ)、分析的特點(diǎn),選擇了多種當(dāng)前主流的大數(shù)據(jù)框架[1]。在大數(shù)據(jù)存儲(chǔ)層,統(tǒng)一采用分布式文件系統(tǒng),架構(gòu)Swift、HBase,實(shí)現(xiàn)對(duì)空間數(shù)據(jù)的存儲(chǔ);在大數(shù)據(jù)處理層,采用MapReduce、Hive、Spark等大數(shù)據(jù)處理框架,同時(shí)采用GIS Tools for Hadoop實(shí)現(xiàn)對(duì)空間大數(shù)據(jù)的處理[2]??臻g大數(shù)據(jù)管理的總體技術(shù)架構(gòu)如圖1所示:

      圖1 系統(tǒng)技術(shù)架構(gòu)

      (1)數(shù)據(jù)采集層

      國(guó)土資源大數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng)的數(shù)據(jù)來(lái)源于國(guó)土資源大數(shù)據(jù)平臺(tái),數(shù)據(jù)格式以結(jié)構(gòu)化空間數(shù)據(jù)為主,此外還會(huì)包括大量的非結(jié)構(gòu)化數(shù)據(jù),例如:圖片、視頻、音頻、文檔等。

      (2)大數(shù)據(jù)存儲(chǔ)層

      為了滿足不同數(shù)據(jù)格式的存儲(chǔ)要求,在數(shù)據(jù)存儲(chǔ)層搭建異構(gòu)的數(shù)據(jù)庫(kù)存儲(chǔ)技術(shù),對(duì)于結(jié)構(gòu)化數(shù)據(jù),采用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)(RDBMS)Oracle;對(duì)于非結(jié)構(gòu)化數(shù)據(jù),采用分布式存儲(chǔ)架構(gòu),Ceph、HDFS、HBase、Swift。在數(shù)據(jù)存儲(chǔ)層,對(duì)關(guān)系型數(shù)據(jù)庫(kù)和分布式存儲(chǔ)實(shí)現(xiàn)統(tǒng)一管理,向上層提供統(tǒng)一的訪問(wèn)接口[3]。

      (3)大數(shù)據(jù)處理層

      結(jié)合空間數(shù)據(jù)處理的特點(diǎn),在大數(shù)據(jù)處理層建 立GIS Tools for Hadoop框 架,依 托 底 層 的MapReduce、Hive,對(duì)空間數(shù)據(jù)進(jìn)行分布式處理和運(yùn)算。同時(shí),搭建通用的大數(shù)據(jù)處理框架,如Spark等,滿足常規(guī)大數(shù)據(jù)的處理需求,處理結(jié)果經(jīng)過(guò)空間建模、可視化,最終面向業(yè)務(wù)應(yīng)用。

      (4)服務(wù)層

      服務(wù)層為用戶提供快速瀏覽的地圖服務(wù)能力,包括矢量地圖快速瀏覽服務(wù)、影像地圖快速瀏覽服務(wù)。

      (5)應(yīng)用層

      國(guó)土資源大數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng)支持Web端的訪問(wèn)方式,用戶可以在Web端,訪問(wèn)系統(tǒng)所發(fā)布的各類專題地圖服務(wù)。包括土地專題圖、礦政專題圖、地質(zhì)環(huán)境專題圖、不動(dòng)產(chǎn)登記專題圖等。

      1.2 系統(tǒng)功能設(shè)計(jì)

      (1)高性能地圖瓦片引擎

      提供矢量地圖的分布式瓦片圖像緩存生成、影像地圖的分布式瓦片圖像緩存生成、分布式瓦片緩存管理、瓦片緩存局部更換等功能。為了與ArcGIS平臺(tái)兼容,高性能瓦片引擎要在輸入、輸出兩大環(huán)節(jié)與ArcGIS平臺(tái)保持兼容。高性能地圖瓦片引擎不僅要能夠識(shí)別ArcGIS配圖文件,還要能夠利用存儲(chǔ)在國(guó)土資源空間數(shù)據(jù)庫(kù)中的空間數(shù)據(jù)來(lái)生成地圖瓦片。由于既有的業(yè)務(wù)應(yīng)用系統(tǒng)所引用的地圖服務(wù),都是采用ArcGIS平臺(tái)發(fā)布的,所以高性能地圖瓦片引擎所生成的地圖瓦片也要能夠發(fā)布到ArcGIS平臺(tái)上,這樣就可以最大限度地保證在提升地圖服務(wù)效能的同時(shí),保持相關(guān)業(yè)務(wù)的持續(xù)性。

      采用分布式計(jì)算框架不僅把計(jì)算的壓力分散到多臺(tái)設(shè)備上,尤其是把IO的壓力也分散開,有效利用各臺(tái)設(shè)備上的高速緩存,極大地提高瓦片生成效率。

      在分布式瓦片引擎節(jié)點(diǎn)上生成的地圖瓦片,也是散布在各個(gè)節(jié)點(diǎn)上。通過(guò)分布式文件系統(tǒng)將這些分散的地圖瓦片組織成為一個(gè)統(tǒng)一的整體。為了提高分布式瓦片存儲(chǔ)的存取速度,必須建立一套統(tǒng)一的分布式文件索引。

      (2)數(shù)據(jù)主動(dòng)更新

      針對(duì)既有空間數(shù)據(jù)庫(kù),能夠感知空間數(shù)據(jù)的更新。按照數(shù)據(jù)更新的空間范圍,快速重構(gòu)瓦片圖像緩存,并更新到相關(guān)地圖服務(wù)中。

      數(shù)據(jù)更新模塊的功能滿足兩項(xiàng)要求:

      一是能夠主動(dòng)感知既有空間數(shù)據(jù)庫(kù)中的指定空間數(shù)據(jù)的更新。

      二是按照空間數(shù)據(jù)更新范圍,自動(dòng)生成局部瓦片并更新到相關(guān)地圖服務(wù)中,根據(jù)所感知的空間數(shù)據(jù)的更新范圍,自動(dòng)計(jì)算需要重新生成的瓦片范圍,通過(guò)瓦片引擎生成局部的地圖瓦片,然后再通過(guò)地圖統(tǒng)一發(fā)布服務(wù),把局部的地圖瓦片更新到相關(guān)的地圖服務(wù)中。

      (3)統(tǒng)一地圖服務(wù)發(fā)布與管理

      統(tǒng)一地圖服務(wù)發(fā)布與管理模塊包含國(guó)土空間資源目錄維護(hù)、矢量地圖服務(wù)快速發(fā)布、影像地圖服務(wù)快速發(fā)布、導(dǎo)入既有地圖服務(wù)、地圖服務(wù)維護(hù)管理等功能。

      統(tǒng)一地圖服務(wù)發(fā)布與管理模塊的功能需要滿足兩項(xiàng)要求:

      一是快速發(fā)布新的地圖服務(wù),包括矢量地圖服務(wù)和影像地圖服務(wù)。在高性能地圖服務(wù)平臺(tái)上,發(fā)布新的地圖服務(wù)。根據(jù)要求通過(guò)高性能地圖瓦片引擎生成地圖瓦片,提供可以快速瀏覽的地圖服務(wù)。

      二是跨平臺(tái)維護(hù)與管理既有已發(fā)布的地圖服務(wù)。通過(guò)ArcGIS的地圖服務(wù)管理接口,跨平臺(tái)接入已發(fā)布的地圖服務(wù),并實(shí)現(xiàn)統(tǒng)一的地圖服務(wù)管理功能。

      (4)地圖快速瀏覽查詢。地圖快速瀏覽查詢模塊包含基礎(chǔ)地圖快速瀏覽、專題圖快速瀏覽、圖層控制、地圖工具(選取、繪制、編輯、地圖量算)、空間數(shù)據(jù)快速查詢、空間數(shù)據(jù)分析等功能。本模塊實(shí)現(xiàn)的地圖快速瀏覽與快速查詢是基于所發(fā)布的地圖服務(wù)提供的高性能。

      (5)系統(tǒng)監(jiān)控

      系統(tǒng)監(jiān)控模塊包含集群管理、服務(wù)器節(jié)點(diǎn)監(jiān)控、服務(wù)發(fā)布任務(wù)監(jiān)控、操作日志、系統(tǒng)日志,以及基礎(chǔ)的系統(tǒng)管理功能。

      由于高性能地圖瓦片引擎會(huì)用到分布式處理技術(shù),導(dǎo)致系統(tǒng)部署在較為復(fù)雜的分布式集群環(huán)境下,良好高效的系統(tǒng)監(jiān)控模塊會(huì)使得整個(gè)集群環(huán)境易于維護(hù)。

      2 采用的關(guān)鍵技術(shù)

      2.1 基于dubbo的分布式處理

      隨著云計(jì)算的發(fā)展,系統(tǒng)應(yīng)用的規(guī)模不斷擴(kuò)大,常規(guī)的垂直應(yīng)用架構(gòu)已無(wú)法應(yīng)對(duì),分布式服務(wù)架構(gòu)以及流動(dòng)計(jì)算架構(gòu)勢(shì)在必行,亟需一個(gè)治理系統(tǒng)確保架構(gòu)演進(jìn)有條不紊。在本系統(tǒng)里我們將業(yè)務(wù)應(yīng)用抽取為一個(gè)個(gè)獨(dú)立的服務(wù),形成穩(wěn)定的服務(wù)中心,統(tǒng)一對(duì)外提供服務(wù)調(diào)用。采用分布式部署,具備橫向擴(kuò)展能力,滿足快速響應(yīng)需求,提供高容錯(cuò)處理機(jī)制。

      主要核心部件:

      Remoting:網(wǎng)絡(luò)通信框架,實(shí)現(xiàn)了sync-overasync和request-response消息機(jī)制;

      RPC:遠(yuǎn)程過(guò)程調(diào)用,支持負(fù)載均衡、容災(zāi)和集群功能;

      Registry:服務(wù)目錄框架用于服務(wù)的注冊(cè)和服務(wù)事件發(fā)布和訂閱。

      2.2 基于nginx+lua+redis的高性能訪問(wèn)分發(fā)

      借助于Nginx的事件驅(qū)動(dòng)模型和非阻塞IO,可以實(shí)現(xiàn)高性能的Web應(yīng)用程序。同時(shí)引入ngx_lua,該模塊通過(guò)標(biāo)準(zhǔn)Lua5.1解釋器或LuaJIT 2.0/2.1,把Lua嵌入到Nginx里面,并利用Nginx子請(qǐng)求,把強(qiáng)大的Lua線程混合到Nginx的事件模型中。Lua代碼被執(zhí)行在網(wǎng)絡(luò)上是100%非阻塞的。在本系統(tǒng)中,上游請(qǐng)求服務(wù)為Redis,通過(guò)讀取Redis里存儲(chǔ)的瓦片緩存票據(jù)緩存索引,最終實(shí)現(xiàn)地圖訪問(wèn)的高性能分發(fā)。

      Nginx采用的是master-worker模型多進(jìn)程模型一個(gè)master進(jìn)程管理多個(gè)worker進(jìn)程,基本的事件處理都是放在woker中,由master處理外部信號(hào)、配置文件的讀取及worker的初始化,worker進(jìn)程采用單線程、非阻塞的事件模型(Event Loop,事件循環(huán))來(lái)實(shí)現(xiàn)端口的監(jiān)聽及客戶端請(qǐng)求的處理和響應(yīng),同時(shí)worker還要處理來(lái)自master的信號(hào)。由于worker使用單線程處理各種事件,所以一定要保證主循環(huán)是非阻塞的,否則會(huì)大大降低worker的響應(yīng)能力。而Lua代碼執(zhí)行是非阻塞,非常符合Nginx進(jìn)程模型。

      2.3 分布式空間分析引擎

      通常GIS軟件以數(shù)據(jù)獲取、存儲(chǔ)、管理功能為主,并添加了各種時(shí)間維度和空間維度的專題圖展示功能,具有空間統(tǒng)計(jì)、地理分區(qū)、路徑分析、選址優(yōu)化等空間分析方法。但現(xiàn)有的數(shù)據(jù)管理和分析算法也難以擴(kuò)展到大規(guī)模的分布式并行計(jì)算系統(tǒng)之上,無(wú)法滿足對(duì)非結(jié)構(gòu)化的未知數(shù)據(jù)的探索性分析的需要,無(wú)法滿足大規(guī)模數(shù)據(jù)快速處理和復(fù)雜時(shí)空關(guān)系的分析需要。分布式空間分析引擎,引入空間數(shù)據(jù)庫(kù)一體化管理空間、屬性數(shù)據(jù),以及較小冗余度、高效空間索引等優(yōu)勢(shì),結(jié)合分布式計(jì)算引擎對(duì)大型運(yùn)算的優(yōu)化支持,實(shí)現(xiàn)分布式技術(shù)的空間分析方法。分布式空間分析引擎架構(gòu)由2部分組成:

      一是分布式計(jì)算層,以計(jì)算性能良好的Spark作為計(jì)算引擎,引入了與其他分布式計(jì)算不同的彈性分布式數(shù)據(jù)集(Resilient Distributed Datasets, RDD)進(jìn)行內(nèi)存運(yùn)算,與MapReduce相比節(jié)省了大量的磁盤輸入、輸出操作,提高了運(yùn)算速度;并以Shark(Hive on Spark)為數(shù)據(jù)倉(cāng)庫(kù),將查詢語(yǔ)句轉(zhuǎn)換為Spark上的RDD操作。

      二是數(shù)據(jù)管理層,采用空間數(shù)據(jù)庫(kù)與HDFS混合的方式進(jìn)行數(shù)據(jù)存儲(chǔ)。

      3 結(jié)論

      通過(guò)高速分布式計(jì)算技術(shù)與傳統(tǒng)的空間地理信息服務(wù)發(fā)布相結(jié)合,建設(shè)自然資源數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng),實(shí)現(xiàn)高速生成地圖瓦片、高速發(fā)布地圖服務(wù)、高速瀏覽地圖服務(wù),從技術(shù)上為云南省國(guó)土資源大數(shù)據(jù)的推廣應(yīng)用提供保障。同時(shí)通過(guò)分布式服務(wù)治理技術(shù),對(duì)國(guó)土資源時(shí)空云平臺(tái)、基礎(chǔ)地理信息時(shí)空云平臺(tái)、地質(zhì)環(huán)境信息時(shí)空云平臺(tái)上所發(fā)布的地圖服務(wù),實(shí)現(xiàn)跨平臺(tái)的統(tǒng)一管理、統(tǒng)一發(fā)布、統(tǒng)一更新,逐步改善既有業(yè)務(wù)應(yīng)用系統(tǒng)的地圖服務(wù)環(huán)境,從管理上解決國(guó)土資源信息化高速發(fā)展、數(shù)據(jù)成果快速積累所帶來(lái)的一些問(wèn)題。

      猜你喜歡
      瓦片空間數(shù)據(jù)引擎
      一種基于主題時(shí)空價(jià)值的服務(wù)器端瓦片緩存算法
      慣性
      藍(lán)谷: “涉藍(lán)”新引擎
      商周刊(2017年22期)2017-11-09 05:08:31
      元數(shù)據(jù)驅(qū)動(dòng)的多中心空間數(shù)據(jù)同步方法研究
      無(wú)形的引擎
      河南電力(2015年5期)2015-06-08 06:01:46
      基于Cocos2d引擎的PuzzleGame開發(fā)
      基于NoSQL數(shù)據(jù)庫(kù)的瓦片地圖服務(wù)
      基于文件系統(tǒng)的分布式海量空間數(shù)據(jù)高效存儲(chǔ)與組織研究
      客戶端空間數(shù)據(jù)緩存策略
      多源空間數(shù)據(jù)同名實(shí)體幾何匹配方法研究
      来安县| 河津市| 成安县| 明溪县| 桑植县| 新建县| 桐柏县| 南川市| 新津县| 广南县| 广河县| 齐河县| 中牟县| 那坡县| 台山市| 鹤峰县| 滕州市| 利辛县| 浦东新区| 邯郸县| 历史| 吉隆县| 余庆县| 淮滨县| 普陀区| 健康| 英德市| 通化市| 青海省| 安乡县| 靖州| 西昌市| 连云港市| 迁安市| 东兰县| 庆阳市| 保靖县| 抚宁县| 灵丘县| 吐鲁番市| 永顺县|