彭仲秋,向詩(shī)強(qiáng),陳建明,黃顯義,李永華,張鵬
(1.新疆維吾爾自治區(qū)地質(zhì)礦產(chǎn)勘查開發(fā)局地球物理地球化學(xué)探礦大隊(duì),新疆 昌吉 831100;2.新疆維吾爾自治區(qū)地質(zhì)礦產(chǎn)勘查開發(fā)局信息中心,新疆 烏魯木齊 830000)
隨著大數(shù)據(jù)、云計(jì)算、地理信息技術(shù)的飛速發(fā)展,信息技術(shù)在地學(xué)數(shù)據(jù)管理與服務(wù)領(lǐng)域得到廣泛應(yīng)用。中國(guó)地質(zhì)調(diào)查局于2016 年啟動(dòng)“地質(zhì)云”建設(shè),開展數(shù)據(jù)資源整合集成,擬解決海量空間數(shù)據(jù)的分布式存儲(chǔ)、處理、查詢、互操作和虛擬化等問題。2017 年11 月“地質(zhì)云1.0”正式上線運(yùn)行,2018 年10月“地質(zhì)云2.0”正式上線運(yùn)行,實(shí)現(xiàn)了中國(guó)地調(diào)局“地質(zhì)云”主數(shù)據(jù)中心與29 個(gè)中國(guó)地調(diào)局直屬分中心的互聯(lián)互通,建立健全“地質(zhì)云”數(shù)據(jù)共享技術(shù)體系與運(yùn)行機(jī)制,為地質(zhì)行業(yè)信息系統(tǒng)整合與數(shù)據(jù)資源共享提供了平臺(tái)。
地學(xué)數(shù)據(jù)具專業(yè)性、多元異構(gòu)性、時(shí)空性、海量性等特點(diǎn)[1]。①地學(xué)數(shù)據(jù)來源于地質(zhì)調(diào)查、地球物理、地球化學(xué)、遙感、測(cè)繪等方面,涉及多個(gè)學(xué)科,具很強(qiáng)的專業(yè)性;②地學(xué)數(shù)據(jù)種類繁多、形式多樣、內(nèi)容豐富,涵蓋了地學(xué)專業(yè)各個(gè)領(lǐng)域。如:空間數(shù)據(jù)、屬性數(shù)據(jù)、成果文檔等。形式包括文本、文檔、圖件(矢量、柵格)、表格、數(shù)據(jù)庫(kù)、圖片、音頻、視頻等結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)具不同存儲(chǔ)格式。如MapGIS(wt wl wp)、Shapefile(shp)、GeoJson、GeoTiff、grid、AutoCAD(dxf dwg)、gml、xml、txt、csv、mdb、xlsxlsx、tiff、jpeg、docdocx、pdf 等,具多元異構(gòu)性;③地學(xué)數(shù)據(jù)描述對(duì)象是地球,空間屬性為固有屬性,脫離空間位置的地學(xué)數(shù)據(jù)無意義。任何觀測(cè)數(shù)據(jù)均在某一時(shí)間點(diǎn)獲取,地學(xué)數(shù)據(jù)具明顯時(shí)空特性[1];④地學(xué)數(shù)據(jù)體量巨大。包括野外調(diào)查、勘探、遙感、文獻(xiàn)數(shù)據(jù)等。隨著時(shí)間推移及數(shù)據(jù)采集技術(shù)的發(fā)展,地學(xué)數(shù)據(jù)將呈爆發(fā)式海量增長(zhǎng)[2]。
新疆地礦局具有較規(guī)范和全面的基礎(chǔ)地理、遙感影像、基礎(chǔ)地質(zhì)、災(zāi)害地質(zhì)、水文地質(zhì)、工程地質(zhì)、地球化學(xué)、地球物理、礦產(chǎn)地、探礦權(quán)、采礦權(quán)、工作程度、成礦區(qū)帶、自然保護(hù)區(qū)、整裝勘查區(qū)、潛力評(píng)價(jià)、地?zé)豳Y源等地學(xué)數(shù)據(jù)資源。通過2007—2013 年實(shí)施的礦產(chǎn)資源潛力評(píng)價(jià)項(xiàng)目,基本摸清了新疆礦產(chǎn)資源現(xiàn)狀,為礦產(chǎn)資源保障能力和勘查部署提供了依據(jù),形成海量地質(zhì)信息成果。
(1)數(shù)據(jù)資源分散,缺乏統(tǒng)一管理和共享機(jī)制,數(shù)據(jù)長(zhǎng)期處于孤島狀態(tài),利用率低[3]。
(2)數(shù)據(jù)間聯(lián)系較弱,不同專業(yè)間數(shù)據(jù)尚未整合,不利于綜合展示、分析和利用。
(3)紙質(zhì)、光盤等存儲(chǔ)數(shù)據(jù)資料,使用過程中常出現(xiàn)原件磨損、丟失、損毀等問題。
(4)電子數(shù)據(jù)資料多采用文件方式進(jìn)行存儲(chǔ)和管理,易出現(xiàn)數(shù)據(jù)冗余、版本多、混亂、泄密等問題。
(5)數(shù)據(jù)查詢檢索、統(tǒng)計(jì)分析效率低下。
(1)整合與集成多元、海量地學(xué)數(shù)據(jù),在數(shù)據(jù)間建立相互關(guān)聯(lián),消除信息孤島,達(dá)到綜合成果展示、綜合統(tǒng)計(jì)分析、綜合利用的目的。
(2)實(shí)現(xiàn)地學(xué)數(shù)據(jù)統(tǒng)一管理、維護(hù)、發(fā)布,保證數(shù)據(jù)一致性,消除數(shù)據(jù)冗余。
(3)實(shí)現(xiàn)海量地學(xué)數(shù)據(jù)的高效檢索查詢。
(4)建立有效訪問控制機(jī)制,安全存儲(chǔ)機(jī)制保障數(shù)據(jù)安全可靠。
(5)建立地學(xué)數(shù)據(jù)共享協(xié)作機(jī)制,提高地學(xué)數(shù)據(jù)利用率,盤活數(shù)據(jù)財(cái)富。
中共中央和國(guó)務(wù)院高度重視大數(shù)據(jù)的重要意義和作用,《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》、《國(guó)土資源信息化“十三五”規(guī)劃》、《新疆維吾爾自治區(qū)礦產(chǎn)資源總體規(guī)劃(2016—2020 年)》、《新疆維吾爾自治區(qū)礦產(chǎn)資源勘查開發(fā)“十三五”規(guī)劃》等政策法規(guī)均將大數(shù)據(jù)作為支撐、引領(lǐng)各行業(yè)領(lǐng)域發(fā)展水平提升的重要抓手,“新疆地學(xué)基礎(chǔ)數(shù)據(jù)中心”建設(shè)完全符合政策要求。
新疆是我國(guó)礦產(chǎn)資源大省,新疆地質(zhì)礦產(chǎn)勘查開發(fā)局在長(zhǎng)期地質(zhì)工作中積累了多專業(yè)、海量基礎(chǔ)地理、遙感影像、基礎(chǔ)地質(zhì)、災(zāi)害地質(zhì)、水文地質(zhì)、工程地質(zhì)、地球化學(xué)、地球物理、礦產(chǎn)地、探礦權(quán)、采礦權(quán)、工作程度、成礦區(qū)帶、自然保護(hù)區(qū)、整裝勘查區(qū)、潛力評(píng)價(jià)、地?zé)豳Y源等地學(xué)數(shù)據(jù)資源。隨著工作的不斷推進(jìn),將持續(xù)產(chǎn)生大量新的地學(xué)數(shù)據(jù),且數(shù)據(jù)較規(guī)范和全面,具有地學(xué)基礎(chǔ)數(shù)據(jù)中心建設(shè)的數(shù)據(jù)基礎(chǔ)。
4.3.1 數(shù)據(jù)整合技術(shù)可行性
首先,以中國(guó)地質(zhì)調(diào)查局編制的《地質(zhì)信息產(chǎn)品發(fā)布技術(shù)要求(試行)》和全國(guó)地質(zhì)資料館《地質(zhì)資料核心元數(shù)據(jù)內(nèi)容結(jié)構(gòu)和填寫說明》為基礎(chǔ),從數(shù)據(jù)內(nèi)容、數(shù)據(jù)分級(jí)、空間坐標(biāo)系、數(shù)據(jù)模型、工作流程、質(zhì)量監(jiān)控、數(shù)據(jù)存儲(chǔ)等方面著手,編制《新疆地學(xué)基礎(chǔ)數(shù)據(jù)中心建設(shè)技術(shù)要求》,數(shù)據(jù)整合過程嚴(yán)格按技術(shù)要求規(guī)定執(zhí)行;其次,利用地學(xué)領(lǐng)域?qū)I(yè)軟件(Arc-GIS、MapGIS、GeoIPAS、GeoElec、Suffer、QGIS、uDig等)對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理,聯(lián)合關(guān)系型數(shù)據(jù)庫(kù)(PostgreSQL)、空間數(shù)據(jù)庫(kù)(PostGIS)、文檔型數(shù)據(jù)庫(kù)(MongoDB)、分布式文件系統(tǒng)(Handoop)、全文檢索數(shù)據(jù)庫(kù)(ElasticSearch)等類型數(shù)據(jù)庫(kù)建立地學(xué)數(shù)據(jù)資源池;最后,建立形式上統(tǒng)一的數(shù)據(jù)集成及數(shù)據(jù)訪問接口體系。
4.3.2 平臺(tái)建設(shè)技術(shù)可行性
大數(shù)據(jù)、云計(jì)算、地理信息技術(shù)已深入發(fā)展到各個(gè)領(lǐng)域。利用云計(jì)算技術(shù)將互聯(lián)網(wǎng)的計(jì)算、存儲(chǔ)、數(shù)據(jù)、應(yīng)用等資源進(jìn)行有效整合,實(shí)現(xiàn)多層次虛擬化與抽象,建立地學(xué)數(shù)據(jù)中心運(yùn)行所需的基礎(chǔ)設(shè)施環(huán)境。基于PostgreSQL、MongoDB、Handoop 等分布式數(shù)據(jù)庫(kù)、文件系統(tǒng)建立地學(xué)大數(shù)據(jù)資源池,采用ElasticSearch 全文檢索技術(shù)建立關(guān)鍵字索引、全文分詞索引、空間索引數(shù)據(jù)庫(kù),聯(lián)合PostGIS、GeoServer、IGServer、OpenLayers等地理信息技術(shù)開發(fā)遵循OGC標(biāo)準(zhǔn)的地學(xué)數(shù)據(jù)空間信息服務(wù)功能,基于JAVA、Spring Cloud 開發(fā)微服務(wù)架構(gòu)的分布式地學(xué)基礎(chǔ)數(shù)據(jù)中心平臺(tái)。
新疆地學(xué)基礎(chǔ)數(shù)據(jù)中心建設(shè)完全符合國(guó)家政策要求,順應(yīng)地質(zhì)信息化發(fā)展趨勢(shì),能對(duì)海量多專業(yè)地學(xué)數(shù)據(jù)進(jìn)行集成和綜合,實(shí)現(xiàn)地學(xué)數(shù)據(jù)的科學(xué)存儲(chǔ)管理、統(tǒng)一更新維護(hù)、高效查詢統(tǒng)計(jì)、快速成果展示、專業(yè)分析應(yīng)用、專業(yè)評(píng)價(jià)及地學(xué)數(shù)據(jù)多元統(tǒng)計(jì)分析等。在推動(dòng)公共數(shù)據(jù)資源開放、提高地學(xué)成果服務(wù)水平、擴(kuò)大服務(wù)范圍、轉(zhuǎn)變服務(wù)方式等方面起到積極作用。