黃少芳,劉曉鴻
(中國地質大學(北京),北京 100083)
?
地質大數(shù)據(jù)應用與地質信息化發(fā)展的思考
黃少芳,劉曉鴻
(中國地質大學(北京),北京 100083)
地質工作經(jīng)過長期積累形成了的海量的地質資料與數(shù)據(jù),具有重要的價值。地質數(shù)據(jù)具有多元(源)、異構、時空性、相關性、隨機性、模糊性和非線性等特征,具有大數(shù)據(jù)特點,屬于大數(shù)據(jù)范疇。由于地質調(diào)查工作和信息技術發(fā)展的融合,促進了地質大數(shù)據(jù)應用與地質信息化發(fā)展,地質信息化進入基于大數(shù)據(jù)分析與大數(shù)據(jù)應用的數(shù)據(jù)驅動新時代。本文分析了當前地質大數(shù)據(jù)技術及其應用,提出對地質大數(shù)據(jù)整合集成,對多來源、多模態(tài)、多時態(tài)數(shù)據(jù)的相關性分析、數(shù)據(jù)挖掘與關聯(lián)建模,實現(xiàn)基于大數(shù)據(jù)的可視化與智能化。對地質大數(shù)據(jù)支持下的地質云平臺構建、地質大數(shù)據(jù)應用服務系統(tǒng)和標準化建設的三要素,進行了探討。
地質大數(shù)據(jù);地質資料;信息化;標準化
地質工作經(jīng)過長期積累形成了的海量的地質資料與數(shù)據(jù),大多數(shù)是靜態(tài)數(shù)據(jù),此外還有動態(tài)數(shù)據(jù),如地質災害、地質環(huán)境調(diào)查與監(jiān)測等形成大量的實時動態(tài)數(shù)據(jù)。當今大數(shù)據(jù)時代,以大數(shù)據(jù)的思維和理念,應用大數(shù)據(jù)技術,解決地質大數(shù)據(jù)的有關問題,創(chuàng)新地質大數(shù)據(jù)應用,實現(xiàn)地質大數(shù)據(jù)價值。近期,國務院印發(fā)了《促進大數(shù)據(jù)發(fā)展行動綱要》(國發(fā)〔2015〕50 號),為我國大數(shù)據(jù)發(fā)展進行了頂層設計,促進大數(shù)據(jù)規(guī)劃、標準、技術、產(chǎn)業(yè)、安全、應用協(xié)同發(fā)展。國家發(fā)改委印發(fā)了《關于組織實施促進大數(shù)據(jù)發(fā)展重大工程的通知》(發(fā)改辦高技〔2016〕42號),將重點支持大數(shù)據(jù)示范應用、共享開放、基礎設施建設,以及數(shù)據(jù)要素流通。地質調(diào)查是獲取地球數(shù)據(jù)和信息的過程,通過采用地、物、化、遙、鉆等各種地質手段和科學探測與實驗測試方法,進行各類數(shù)據(jù)采集、獲取信息,基于大數(shù)據(jù)的現(xiàn)代地質調(diào)查,加強對地質大數(shù)據(jù)的管理,突破數(shù)據(jù)處理與分析傳統(tǒng)思維,以提升服務經(jīng)濟社會發(fā)展的能力和水平,使地質工作邁入地球科學與大數(shù)據(jù)融合的新時代。
1.1大數(shù)據(jù)與大數(shù)據(jù)技術
大數(shù)據(jù)還沒有嚴格的科學定義,是各種類型復雜的結構化和非結構化數(shù)據(jù)集,雖意指數(shù)據(jù)量超出了傳統(tǒng)尺度的規(guī)模,但數(shù)據(jù)量還不是判斷大數(shù)據(jù)的唯一標志,大數(shù)據(jù)具有4V特點,分別是體量浩大(Volume)、生成快速(Velocity)、模態(tài)繁多(Variety)和價值巨大但密度低(Value)[1]。大數(shù)據(jù)是應對數(shù)字化信息化時代,面對數(shù)據(jù)量劇增而產(chǎn)生的一種新數(shù)據(jù)技術,面對這樣一個全球數(shù)據(jù)爆炸性的增長,需要一套全新的數(shù)據(jù)處理和分析技術。沒有數(shù)據(jù),技術發(fā)揮不了作用。沒有技術,數(shù)據(jù)也只能是一堆枯燥的數(shù)字,難以上升為認知與規(guī)律,更難以實現(xiàn)數(shù)據(jù)價值的升值。
地質數(shù)據(jù)往往首先是原始數(shù)據(jù),如通過區(qū)域地質調(diào)查、地球物理調(diào)查、地球化學調(diào)查、地質鉆探、資源勘查、地質環(huán)境調(diào)查與監(jiān)測、巖石礦物測試等獲取的數(shù)據(jù),都是原始的第一手地質資料數(shù)據(jù),如何對這些原始數(shù)據(jù)進行進一步分析與加工處理,整合集成后提取具有更高價值的地質信息,需要大數(shù)據(jù)新理念的指導和大數(shù)據(jù)新技術的應用?;诘刭|大數(shù)據(jù)技術的分析處理,通過化散為整、化異構為同構,對非結構數(shù)據(jù)和知識服務進行建模,實現(xiàn)技術轉化和服務創(chuàng)新。
1.2地質大數(shù)據(jù)及其特點
地質學屬于數(shù)據(jù)密集型科學,地質數(shù)據(jù)獲取難度大成本高,大量深地、深空、深海和深時數(shù)據(jù)獲取難度更大,地質數(shù)據(jù)具有多元(源)、異構、時空性、相關性、隨機性、模糊性和非線性等特征,地質數(shù)據(jù)的混合性、變異性、相關性等隨時空變遷而數(shù)據(jù)特征各異[2]。地質數(shù)據(jù)具有大數(shù)據(jù)典型特點,隨著科學研究第四范式的誕生,將大數(shù)據(jù)的理念、技術和方法應用于地質領域,這種具有多源、多元、異構等復合型數(shù)據(jù)列入大數(shù)據(jù)范疇,即地質大數(shù)據(jù)。地質大數(shù)據(jù)是大數(shù)據(jù)的重要組成,是地質調(diào)查工作和信息科學技術發(fā)展、融合的結果,包括地質觀測數(shù)據(jù)、探測數(shù)據(jù)、實驗測試數(shù)據(jù)等,具體類型有地質礦產(chǎn)調(diào)查數(shù)據(jù)、地球物理數(shù)據(jù)、地球化學數(shù)據(jù)、實驗測試數(shù)據(jù)、地質鉆探數(shù)據(jù)、地質監(jiān)測數(shù)據(jù)等,涉及地球深部的各個圈層,涉及地球形成與演化歷史,涉及地球的物質組成及其變化,涉及礦產(chǎn)資源的形成、勘查與開發(fā)利用,涉及地質環(huán)境的破壞與修復等。從數(shù)據(jù)類型看,地質大數(shù)據(jù)類型多樣,包括各種格式的矢量和柵格圖件、文檔以及視頻數(shù)據(jù)等。從數(shù)據(jù)量看,其數(shù)據(jù)量巨大。從數(shù)據(jù)共享看,對海量的多樣化數(shù)據(jù)進行匯聚,應用大數(shù)據(jù)技術對其進行加工處理。
地質大數(shù)據(jù)還具有其獨特的專業(yè)數(shù)據(jù)特點:①地質大數(shù)據(jù)多樣性。從宏觀的地球物理等傳統(tǒng)地質大數(shù)據(jù)需要大存儲、大處理,到微觀地質學的同位素年代數(shù)據(jù),從原始聲光電磁的地質探測原始數(shù)據(jù)到大數(shù)據(jù)集成處理后的圖像、圖件等,從數(shù)據(jù)到圖像、從圖像到數(shù)據(jù)、地質數(shù)據(jù)可以互聯(lián)互通[3];②地質大數(shù)據(jù)時空屬性。地質學具有時空屬性,地質學研究的對象與采集的數(shù)據(jù)具有空間屬性。地質數(shù)據(jù)更具有特定的時間性,任何地質數(shù)據(jù)都會與地質年代關聯(lián),不同地質時代和不同地區(qū)的巖石、地層、礦床具有不同的分布特征和規(guī)律,因此,地質數(shù)據(jù)具有時空屬性;③地質大數(shù)據(jù)的價值性。通過分析數(shù)據(jù)可以得出如何抓住機遇及收獲價值,例如對于大量的物化探異常數(shù)據(jù)與綜合信息提取與拓撲,通過異常檢查與驗證,找礦取得新發(fā)現(xiàn),其經(jīng)濟社會價值巨大。
1.3大數(shù)據(jù)應用驅動地質工作變革與創(chuàng)新
數(shù)據(jù)產(chǎn)業(yè)是新興產(chǎn)業(yè),也驅動了數(shù)據(jù)革命。在大數(shù)據(jù)經(jīng)濟時代,科學研究的范式正由經(jīng)驗型到概念型、模擬型向數(shù)據(jù)密集型的科學發(fā)現(xiàn)與演進,產(chǎn)生體量巨大,并蘊含重要價值的數(shù)據(jù)集,傳統(tǒng)的科研流程、方法和技術正在發(fā)生重大變化。掌握了數(shù)據(jù),掌握了數(shù)據(jù)算法,掌握了數(shù)據(jù)的關聯(lián)性,就能夠決定了數(shù)據(jù)的產(chǎn)業(yè)價值。從蒸汽機開始第一次工業(yè)革命,到互聯(lián)網(wǎng)引發(fā)信息技術革命,當前是以數(shù)據(jù)為驅動的數(shù)據(jù)革命。新興大數(shù)據(jù)與大數(shù)據(jù)技術應用成為信息化發(fā)展的強大驅動,大數(shù)據(jù)是根本,云計算是工具,在信息化與大數(shù)據(jù)并行的智能化創(chuàng)新發(fā)展時代,對于地質大數(shù)據(jù)的管理和應用正在發(fā)生深刻的乃至顛覆性的變化。
當前,地質工作正面臨大數(shù)據(jù)、大挑戰(zhàn)、大變革,數(shù)據(jù)的真實、可靠、完整、全面是地質工作的基礎,數(shù)據(jù)就是價值財富和創(chuàng)新的資源,從海量地質數(shù)據(jù)的存儲管理到地質知識發(fā)現(xiàn),并通過智能化平臺提供服務[4]。地質大數(shù)據(jù)給地質工作帶來了新的變革與創(chuàng)新機遇,因此,要重視數(shù)據(jù),特別要重視數(shù)據(jù)在支撐決策中的作用,轉變工作決策模式,重在服務理念與服務方式的創(chuàng)新與變革。地質數(shù)據(jù)的數(shù)字化是基礎,最終目的實現(xiàn)信息化與智能化,創(chuàng)新開展知識管理和知識服務,發(fā)揮地質大數(shù)據(jù)潛在的知識價值,建立和發(fā)展“用數(shù)據(jù)來說話、用數(shù)據(jù)來管理、用數(shù)據(jù)來決策、用數(shù)據(jù)來創(chuàng)新”的數(shù)據(jù)環(huán)境與文化。
2.1地質大數(shù)據(jù)技術與地質大數(shù)據(jù)應用
大數(shù)據(jù)涵蓋大數(shù)據(jù)技術、大數(shù)據(jù)工程、大數(shù)據(jù)應用等,以其體量大、類型多、變化快、應用價值高為特征的數(shù)據(jù)集,正在迅猛發(fā)展和快速增長。大數(shù)據(jù)技術是數(shù)據(jù)分析的前沿技術,是對大數(shù)據(jù)進行獲取、存儲、分析、處理等技術的總稱,是對數(shù)據(jù)巨大、來源分散、格式多樣的數(shù)據(jù)進行采集、存儲和關聯(lián)分析,從中發(fā)現(xiàn)新知識、創(chuàng)造新價值、提升新能力的新一代信息技術和服務。大數(shù)據(jù)應用是對大數(shù)據(jù)進行挖掘與應用,產(chǎn)生知識價值的過程以及在商業(yè)領域的應用。
地質大數(shù)據(jù)技術主要包含數(shù)據(jù)信息的采集與傳輸轉換、存儲與管理、關聯(lián)分析與數(shù)據(jù)挖掘、可視與智能、共享與安全等[5]。數(shù)據(jù)是數(shù)學形式記錄,本身不具有具體的意義,信息是對數(shù)據(jù)的解釋和注釋,賦含一定的意義。從數(shù)據(jù)-信息-知識的演變是人類認識深化、內(nèi)涵拓展、價值提升的變化過程。大數(shù)據(jù)技術的意義,并不在于掌握規(guī)模龐大的數(shù)據(jù)信息,而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化智能處理,從中分析和挖掘出有價值的結構化信息[2]。地質大數(shù)據(jù)技術還體現(xiàn)在兩個層面,一是地質數(shù)據(jù)的組織邏輯及物理模式,無論是結構化數(shù)據(jù)還是非結構化數(shù)據(jù),都要有記錄指向可查,使平臺通過一定的技術手段能檢索到該數(shù)據(jù),并能獲取。二是支撐地質大數(shù)據(jù)的應用服務平臺,地質大數(shù)據(jù)內(nèi)容、種類、格式的多樣性和繁雜性,要求大數(shù)據(jù)平臺頂層設計的先進與安全。
地質大數(shù)據(jù)應用,是采用現(xiàn)代大數(shù)據(jù)與信息技術,立足地質大數(shù)據(jù)技術與應用,本著數(shù)字化、智能化的技術發(fā)展路線和創(chuàng)新變革的理念,通過化散為整、化異構為同構,多樣化碎片化非結構數(shù)據(jù)存儲、關聯(lián)、發(fā)現(xiàn)和挖掘,將多源異構多時態(tài)海量地質數(shù)據(jù)匯集與一體化組織,進行全面深入的數(shù)據(jù)挖掘,從中找到蘊含的有價值的相關關系,應用于地質實踐,充分發(fā)揮地質數(shù)據(jù)的作用,讓數(shù)據(jù)不斷增值,基于非結構數(shù)據(jù)與知識服務建模,實現(xiàn)技術創(chuàng)新和優(yōu)化服務。地質大數(shù)據(jù)應用要防止簡單化片面化,一是不能簡單地將大數(shù)據(jù)等同于開放數(shù)據(jù),很多開放數(shù)據(jù)只是離散小數(shù)據(jù),并不具備大數(shù)據(jù)的基本特征。二是不能將大數(shù)據(jù)等同于共享數(shù)據(jù),大數(shù)據(jù)平臺建設不僅推動大數(shù)據(jù)應用,還將數(shù)據(jù)信息的基礎系統(tǒng)進行統(tǒng)一,實現(xiàn)不同區(qū)位數(shù)據(jù)的互聯(lián)互通,進行數(shù)據(jù)資源的整合,建設國家級全國地質大數(shù)據(jù)中心,形成更加完善的決策支持體系,在數(shù)據(jù)整合的基礎上實現(xiàn)優(yōu)化服務。基于服務后臺的大數(shù)據(jù)中心,借助信息技術將業(yè)務流程、服務、網(wǎng)絡和數(shù)據(jù)資源進行優(yōu)化整合,便捷高效地為公眾提供一體化的服務。三是大數(shù)據(jù)并非等同于海量數(shù)據(jù),大數(shù)據(jù)強調(diào)的是對數(shù)據(jù)的分析和應用,建立統(tǒng)一的數(shù)據(jù)資源目錄體系、數(shù)據(jù)標準體系、數(shù)據(jù)共享交換體系等,大數(shù)據(jù)雖指海量數(shù)據(jù),但并不是全數(shù)據(jù),而是數(shù)據(jù)資源總量不斷增長的狀態(tài),從中挖掘出有價值信息是大數(shù)據(jù)應用的關鍵。
2.2數(shù)據(jù)挖掘與關聯(lián)建模
大數(shù)據(jù)研究不同于傳統(tǒng)的邏輯研究,是據(jù)其內(nèi)在的數(shù)據(jù)邏輯,對數(shù)量巨大的數(shù)據(jù)進行統(tǒng)計性的搜索、比較、聚類、分類等分析歸納。數(shù)據(jù)相關性分析是將各類數(shù)據(jù)進行邏輯關系比較,將相似的數(shù)據(jù)邏輯關聯(lián)并分類劃分,目的是找出數(shù)據(jù)集里隱藏的相互關系,一般用支持度、可信度、興趣度等參數(shù)反映相關性。數(shù)據(jù)挖掘是應用數(shù)據(jù)分析和發(fā)現(xiàn)算法,從大量的、模糊的、隨機的數(shù)據(jù)集中,識別出有效有用的數(shù)據(jù),提煉隱含在其中不被人發(fā)現(xiàn)的有用信息和知識,發(fā)現(xiàn)隱藏在數(shù)據(jù)之中的數(shù)據(jù)關系、歷史數(shù)據(jù)演化規(guī)律,同時對未來進行預測,通過基于數(shù)據(jù)的預測分析,為未來發(fā)展進行預測評價。
地質大數(shù)據(jù)是集地質描述、基礎數(shù)據(jù)、地質圖表、地質認識的地質數(shù)據(jù)資料,其價值巨大。地質大數(shù)據(jù)的整合集成是對數(shù)據(jù)的一致性處理,包括空間基準不一致、語義不一致和尺度不一致的地質空間大數(shù)據(jù)一致性處理,以及地質數(shù)據(jù)的一體化存儲與管理。在大數(shù)據(jù)技術支持下,對地質大數(shù)據(jù)整合集成,進行充分挖掘,地質大數(shù)據(jù)及大數(shù)據(jù)相關技術為實現(xiàn)地質信息化和現(xiàn)代化發(fā)展提供了有效的支撐。數(shù)據(jù)信息的融合與提取是在對各種分散的多源異構數(shù)據(jù)進行一體化組織與集成整合的基礎上,通過信息處理技術建立各種數(shù)據(jù)模型,從而提取出有用的信息。地質大數(shù)據(jù)挖掘是通過歸類、關聯(lián)等數(shù)據(jù)分析,獲取其表達的信息和知識,從而發(fā)現(xiàn)其內(nèi)在的聯(lián)系與規(guī)律,是認識的總結提高和認知的發(fā)現(xiàn)。據(jù)此,通過對多來源、多模態(tài)、多時態(tài)數(shù)據(jù)的相關性分析,數(shù)據(jù)挖掘和模式分析,提高對數(shù)據(jù)資料的綜合與深度應用,從而實現(xiàn)新知識的發(fā)現(xiàn)和價值的升值。
2.3基于大數(shù)據(jù)的可視化與智能化
數(shù)據(jù)可視化是進行大數(shù)據(jù)分析的重要手段,是借助計算機數(shù)據(jù)圖形分析處理技術,發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在關系,揭示新問題,產(chǎn)生新的綜合與表現(xiàn),形成新觀點,提供新的洞察力[6]。可視分析是通過交互可視界面來進行分析、推理和決策的過程,本質也是知識發(fā)現(xiàn)。可視分析與一般分析及挖掘的不同在于,其不依賴于數(shù)學模型,是一種探索式分析。數(shù)據(jù)可視化作為一種知識表達、知識展示和知識傳遞的手段,通過將復雜、抽象、枯燥、難于理解的數(shù)據(jù)轉化為直觀的圖形,進而提供智能和決策分析。
地質大數(shù)據(jù)可視分析的基礎是多年積累的地質體建模、地質過程建模、地質調(diào)查數(shù)據(jù)可視化及交互技術,可視分析就是在這些技術的基礎上,克服高維性、不確定性和異構性,研究開發(fā)從復雜地質大數(shù)據(jù)中抽取有效特征和知識發(fā)現(xiàn)。目前,一些已有的三維地質建模軟件能夠實現(xiàn)多種數(shù)據(jù)三維建模、顯示和分析等功能,但這些建模方式仍然是靜態(tài)交互,在大數(shù)據(jù)時代下的可視化技術將朝著自動化和交互性方向發(fā)展。
在智能研究領域,經(jīng)過長期實踐,積累了很多科學方法和應用技術,如自然語言語義分析、信息提取、知識表現(xiàn)、自動化推理等。這些方法技術目前正在逐步地應用于大數(shù)據(jù)技術,結合預測性分析和處方性分析,挖掘大數(shù)據(jù)蘊含的規(guī)律和價值,從而為人類決策提供智能支持。人工智能的發(fā)展,需要大量的知識和經(jīng)驗,這些知識和經(jīng)驗需要海量的數(shù)據(jù)作為支持。知識服務是基于專業(yè)化、個性化、時效性的服務,是依據(jù)用戶需求,以信息的搜尋、組織、分析、重組等知識開發(fā)為基礎,通過數(shù)據(jù)分析與挖掘,進行知識創(chuàng)新,向用戶提供知識應用和智能決策服務。
3.1地質云平臺
在當代數(shù)據(jù)大規(guī)模生產(chǎn)、分享和應用的數(shù)據(jù)革命時代,云技術是近年來信息技術發(fā)展的新興技術,是將云計算的各種特征用于支撐建模、存儲、處理等要素的地理空間信息技術。云計算作為一種新興的計算模式,它是以大數(shù)據(jù)是根本,云計算為工具,為大數(shù)據(jù)的集中管理和分布式訪問提供了必要的場所和分享的渠道。
地質云是充分利用地質、礦產(chǎn)、地球物理、地球化學、遙感、水文、環(huán)境、災害、地形、地貌等地質調(diào)查數(shù)據(jù),以大數(shù)據(jù)技術支持下的地質數(shù)據(jù)應用與服務為目標,通過數(shù)據(jù)采集、資源整合、數(shù)據(jù)傳輸、數(shù)據(jù)挖掘、信息提取、知識發(fā)現(xiàn)等手段,構建基于地質大數(shù)據(jù)的云平臺,實現(xiàn)從數(shù)據(jù)到信息、信息到知識,知識到智慧數(shù)據(jù)開發(fā)與信息轉換,服務于政府決策、科學研究、企業(yè)生產(chǎn)等多層次、多角度、多目標的需求與應用。構建地質云系統(tǒng),一要明確地質大數(shù)據(jù)的應用目的,二是基于虛擬化技術建立云存儲模式,實現(xiàn)地質大數(shù)據(jù)的一體化組織,三是搭建服務虛擬化的地質云計算平臺,提供服務管理、搜索調(diào)用。地質云技術的應用增加了地質數(shù)據(jù)的使用效率,用戶通過瀏覽器或者應用程序界面提交計算任務或者服務請求,使地質數(shù)據(jù)信息創(chuàng)造更多更新的價值。
3.2大數(shù)據(jù)應用服務系統(tǒng)
信息技術的發(fā)展推動了地質行業(yè)的數(shù)據(jù)共享和信息服務水平的提高,地質大數(shù)據(jù)開發(fā)與應用是國家大數(shù)據(jù)戰(zhàn)略的組成部分,地質大數(shù)據(jù)開發(fā)應用依靠大數(shù)據(jù)平臺實現(xiàn)實現(xiàn)地質資料數(shù)據(jù)的互聯(lián)共享和社會服務,實現(xiàn)數(shù)據(jù)到信息的轉化,進一步對信息進行集成形成知識體系,合理利用并提供共享服務。在應用和服務中又會產(chǎn)生新的數(shù)據(jù),從中再提取有用信息。形成數(shù)據(jù)-信息-知識-智能的鏈式應用服務體系。
構建地質大數(shù)據(jù)應用服務體系,采用3S 技術、網(wǎng)絡技術、云計算等技術,對地質數(shù)據(jù)信息進行集成整合、深度加工、研發(fā)服務產(chǎn)品,對地質大數(shù)據(jù)進行挖掘與關聯(lián)分析,獲取更多智能而有價值的信息,提供多方位的社會服務和智能決策支撐。大數(shù)據(jù)平臺體系包括:地質大數(shù)據(jù)管理、地質大數(shù)據(jù)無縫集成與適配、數(shù)據(jù)分析與挖掘、大數(shù)據(jù)關聯(lián)性分析、可視化與智能分析、地質大數(shù)據(jù)智能解釋與展示等。大數(shù)據(jù)應用服務平臺依據(jù)不同行業(yè)、不同領域、不同需求的大數(shù)據(jù)處理需求,構建大數(shù)據(jù)獲取、存儲、組織、分析、決策、共享、交互、協(xié)作和服務的智慧平臺,是基于信息資源、知識、智慧、共享的交互與創(chuàng)新,主要包括:基礎支撐與管理層、大數(shù)據(jù)處理層、大數(shù)據(jù)分析與決策層、交互服務層。①基礎支撐與管理層,為大數(shù)據(jù)應用服務平臺提供技術與環(huán)境支持,并對數(shù)據(jù)、知識、資源、智能、服務等進行感知,并將服務模塊提供給大數(shù)據(jù)處理與管理層;②大數(shù)據(jù)處理層,通過對結構化、半結構化和非結構化地質大數(shù)據(jù)的管理與處理,進行數(shù)據(jù)獲取、識別、分類、聚合、定位、挖掘、組織與存儲等系統(tǒng)管理層,根據(jù)服務需求,為數(shù)據(jù)分析與知識服務提供協(xié)作支撐,是網(wǎng)絡環(huán)境下管理與服務的集合,實現(xiàn)大數(shù)據(jù)與應用服務平臺的調(diào)用與管理;③數(shù)據(jù)分析與決策層,是構成大數(shù)據(jù)整體平臺系統(tǒng)的核心,從海量的結構化、非結構化和半結構化數(shù)據(jù)中進行過濾、歸納、挖掘、關聯(lián)、分析,進行智能與決策;④交互服務層,進行嵌入式服務的終端封裝、接入、訪問、調(diào)用和服務等。
3.3技術標準體系
地質信息標準化建設在空間信息管理、轉換、共享、應用等方面起著重要的作用,地質大數(shù)據(jù)應用與服務需要相關的技術標準與行業(yè)規(guī)范為支撐,需要建立科學、合理、適用的技術標準體系,主要包括基礎標準、信息交換標準、存儲管理標準、信息接口服務標準。
由于大數(shù)據(jù)產(chǎn)業(yè)和應用發(fā)展迅猛,亟需通過標準化的途徑整合資源,使各方面達成共識,形成統(tǒng)一的數(shù)據(jù)格式、接口、安全、開放等標準,為數(shù)據(jù)開放共享提供基礎,為數(shù)據(jù)安全應用提供保障。統(tǒng)一完善的標準是空間信息進行協(xié)同操作的基礎,信息技術的發(fā)展對標準化提出需求,涉及大數(shù)據(jù)支持下地質數(shù)據(jù)智能感知識別、傳感適配、描述分類、協(xié)作共享、訪問接入、服務協(xié)議等標準和技術規(guī)范,同時標準的制定促進了新技術、新方法的應用和發(fā)展[7]。建立完善的技術標準體系,涵蓋地質數(shù)據(jù)分類、采集、存儲、交互、服務等,重點進行信息分類與編碼、數(shù)據(jù)庫建設等基礎標準和信息共享與服務標準的制定。
當前,在工信部和國標委的領導下,全國信息技術標準化技術委員會大數(shù)據(jù)標準工作組于2014年12月成立,統(tǒng)籌開展大數(shù)據(jù)標準化工作,基本形成了大數(shù)據(jù)標準體系,并且《信息技術大數(shù)據(jù)術語》和《信息技術大數(shù)據(jù)技術參考模型》等八項國家標準已經(jīng)基本完成,《信息技術數(shù)據(jù)質量評價指標》、《信息技術通用數(shù)據(jù)導入接口規(guī)范》等兩項國家標準大綱也已擬定。
大數(shù)據(jù)標準體系建設與標準化發(fā)展,一是建立大數(shù)據(jù)與應用標準體系,在標準體系范圍和架構下,推進標準化發(fā)展,圍繞數(shù)據(jù)格式接口、開放共享、數(shù)據(jù)質量、數(shù)據(jù)安全、大數(shù)據(jù)平臺等研制大數(shù)據(jù)系列技術標準,重點開展數(shù)據(jù)格式接口、開放共享等標準體系建設。二是加強標準驗證和應用試點示范,建立標準符合性評估體系,推動標準對產(chǎn)業(yè)和應用的支撐作用。三是在國際標準化方面積極努力。
[1]李國杰,程學旗.大數(shù)據(jù)的研究現(xiàn)狀與科學思考[J].中國科學院院刊,2012,27(6):647-657.
[2]趙鵬大.大數(shù)據(jù)時代的地學研究[C]//湖北地質科技論壇.2014.
[3]王登紅,劉新星,劉麗君.地質大數(shù)據(jù)的特點及其在成礦規(guī)律、成礦系列研究中的應用[J].礦床地質,2015,34 (6):1143-1154.
[4]黃少芳,劉曉鴻.基于大數(shù)據(jù)的地質資料檔案信息化與服務[J].資源產(chǎn)業(yè),2015,17(6):56-60.
[5]嚴光生,薛群威,肖克炎,等.地質調(diào)查大數(shù)據(jù)研究的主要問題分析[J].地質通報,2015,34(7):1273-1279.
[6]李朝奎,嚴雯英,肖克炎,等.地質大數(shù)據(jù)分析與應用模式研究[J].地質學刊,2015,39(3):352-357.
[7]黃少芳,劉曉鴻.大數(shù)據(jù)時代地質資料信息化發(fā)展探討[J].中國國土資源經(jīng)濟,2013(10):67-69.
Thinking about the application of geological big data and geological information development
HUANG Shao-fang,LIU Xiao-hong
(China University of Geosciences(Beijing),Beijing 100083,China)
Massive geological information and data have formed by the long-term accumulation of geological work,which has important value.It has the characteristics of big data and belongs to the category of big data,Geological data,which has many features such as multivariate(Multi-source),heterogeneous,temporal,relevance,randomness,fuzziness and nonlinear.Integration of geological survey and information technology has promoted the development of application of big data and geological information,and geological information goes into a new era of data-driven which is based on big data analytic and big data application.This paper analyzes the current geological data technology and its applications,and proposes to integrate geological data integration,meanwhile it conducts correlation analysis,data mining and associated modeling about multi-source,multi-modal and multi-temporal state data.Finally,it implements the visualization and intelligent,based on big data.Besides,this paper also has discussed 3 elements supported by geological big data,which include geological cloud platform building,geological data application system and standardization of construction.
geological big data;geological data;informatization;standardization
2016-01-22
黃少芳(1969-),女,講師,從事地質檔案管理與信息化研究。E-mail:Huangsf@cugb.edu.cn。
G271
A
1004-4051(2016)08-0166-05