• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      大數(shù)據(jù)理念在海洋環(huán)境觀測(cè)數(shù)據(jù)共享中的應(yīng)用研究*

      2015-11-16 09:07:34宋坤
      海洋開發(fā)與管理 2015年6期
      關(guān)鍵詞:數(shù)據(jù)源觀測(cè)海洋

      宋坤

      (國(guó)家海洋技術(shù)中心 天津 300112)

      1 引言

      海洋是關(guān)系國(guó)家領(lǐng)土、海洋權(quán)益和軍事對(duì)抗的戰(zhàn)略空間和主題,其具有重要的政治、經(jīng)濟(jì)和軍事意義。海洋環(huán)境是指以人類生存與發(fā)展為中心,相對(duì)其存在并產(chǎn)生直接或間接影響的海洋自然和非自然全部要素的整體。海洋環(huán)境數(shù)據(jù)來源于人們對(duì)海洋環(huán)境的了解、觀測(cè)和掌握,是人類進(jìn)行海洋開發(fā)、海洋環(huán)境保護(hù)、軍事保障和海洋管理的主要決策依據(jù)。

      海洋環(huán)境數(shù)據(jù)覆蓋了水文、氣象、化學(xué)、生物、地質(zhì)、地球物理等多個(gè)學(xué)科,主要包括大氣(氣溫、風(fēng)、雨、云、霧等)、水文(海水溫度、鹽度、深度、潮汐、海浪、海流等)以及海底地形、地貌、地質(zhì)、重力、磁力、海底擴(kuò)張等各種數(shù)據(jù)信息[1]。由于數(shù)據(jù)采集的分布性、多源性和多樣性等,海洋環(huán)境觀測(cè)數(shù)據(jù)具有類型復(fù)雜、結(jié)構(gòu)多樣等顯著特征。有效地組織管理數(shù)據(jù)信息,實(shí)現(xiàn)觀測(cè)數(shù)據(jù)共享,對(duì)海洋環(huán)境科學(xué)研究和應(yīng)用具有重要的意義和價(jià)值。

      大數(shù)據(jù)(Big Data)是指無法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。而海洋環(huán)境觀測(cè)數(shù)據(jù)的多樣性、多源性、復(fù)雜性與大數(shù)據(jù)的主要特征數(shù)據(jù)量巨大(Volume)、數(shù)據(jù)類型多(Variety)、數(shù)據(jù)流動(dòng)快(Velocity)和數(shù)據(jù)潛在價(jià)值(Value)相一致。在海洋環(huán)境觀測(cè)數(shù)據(jù)共享應(yīng)用中引入大數(shù)據(jù)的理念不止是為了更好地組織管理龐大的數(shù)據(jù)信息,其主要意義還在于更大地挖掘其潛在的應(yīng)用價(jià)值。

      2 大數(shù)據(jù)理念

      當(dāng)氣象學(xué)家在做氣象地圖分析、物理學(xué)家在建立大物理仿真模型等過程中,由于數(shù)據(jù)量巨大而不能再用傳統(tǒng)的計(jì)算技術(shù)來實(shí)現(xiàn)時(shí),大數(shù)據(jù)的概念在這些科學(xué)研究領(lǐng)域首先被提出來。隨著互聯(lián)網(wǎng)和電子商務(wù)的快速發(fā)展,大數(shù)據(jù)的理念和技術(shù)開始被實(shí)際應(yīng)用。大數(shù)據(jù)的新技術(shù)和新架構(gòu)也在面臨解決數(shù)據(jù)量大、數(shù)據(jù)種類多、數(shù)據(jù)流動(dòng)速度快、數(shù)據(jù)不完備甚至不可理解等問題中得以不斷開發(fā)出來。

      大數(shù)據(jù)應(yīng)用真正要實(shí)現(xiàn)的是“用數(shù)據(jù)說話”,而不再是直覺或者經(jīng)驗(yàn)。其主要包括以下3 個(gè)方面:一是發(fā)現(xiàn)過去沒有發(fā)現(xiàn)的數(shù)據(jù)潛在價(jià)值;二是通過不同數(shù)據(jù)集的整合創(chuàng)造新的數(shù)據(jù)價(jià)值;三是把在一個(gè)領(lǐng)域已經(jīng)發(fā)揮過價(jià)值的數(shù)據(jù)再次應(yīng)用在新的領(lǐng)域創(chuàng)造出新的價(jià)值[2]。

      3 海洋環(huán)境觀測(cè)數(shù)據(jù)共享需求

      (1)隨著國(guó)家對(duì)海洋科學(xué)研究重視程度的提高,國(guó)家公益性專項(xiàng)、“863”計(jì)劃等的支持創(chuàng)建了許多海洋工程項(xiàng)目,對(duì)海洋生物、化學(xué)、物理等各領(lǐng)域進(jìn)行了探究,同時(shí)也產(chǎn)生了許多的數(shù)據(jù)資料。但由于我國(guó)海洋觀測(cè)平臺(tái)的條塊管理模式使得觀測(cè)數(shù)據(jù)具有分布式、區(qū)域化的特征,很多數(shù)據(jù)只在某一個(gè)領(lǐng)域或某一個(gè)課題中得以利用,并未能充分挖掘數(shù)據(jù)的價(jià)值。考慮到數(shù)據(jù)資源的分布式特征需要引入大數(shù)據(jù)的理念,建立數(shù)據(jù)共享機(jī)制,實(shí)現(xiàn)數(shù)據(jù)的重復(fù)利用,挖掘數(shù)據(jù)的潛在價(jià)值。

      (2)由于海洋環(huán)境觀測(cè)數(shù)據(jù)獲取的手段不同、表述的方式不同,使得數(shù)據(jù)的類型多樣。按照數(shù)據(jù)結(jié)構(gòu)分為結(jié)構(gòu)化數(shù)據(jù)即存儲(chǔ)在數(shù)據(jù)庫(kù)中、可以用二維表結(jié)構(gòu)來邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù);半結(jié)構(gòu)化數(shù)據(jù)即格式較為規(guī)范的,可以通過某種方式解析得到每項(xiàng)的數(shù)據(jù);無結(jié)構(gòu)的非結(jié)構(gòu)化數(shù)據(jù)是指非純文本類數(shù)據(jù),沒有標(biāo)準(zhǔn)格式,無法直接解析出來相應(yīng)的值,如圖像、視頻等。基于海洋環(huán)境觀測(cè)數(shù)據(jù)的異構(gòu)性特征,需要借鑒大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)理念對(duì)異構(gòu)數(shù)據(jù)進(jìn)行整合、對(duì)其存儲(chǔ)進(jìn)行重新的規(guī)劃和部署。

      (3)在傳感器技術(shù)、海洋觀測(cè)技術(shù)、通信技術(shù)的飛速發(fā)展形勢(shì)下,海洋環(huán)境觀測(cè)數(shù)據(jù)的獲取頻率在不斷提高,如何快速地完成數(shù)據(jù)的更新、分析并提供相應(yīng)的應(yīng)用及產(chǎn)品,是實(shí)現(xiàn)數(shù)據(jù)共享需要解決的重要問題。在數(shù)據(jù)存儲(chǔ)和計(jì)算中,可以采用大數(shù)據(jù)的分布式存儲(chǔ)+計(jì)算平臺(tái)的模式,以滿足觀測(cè)數(shù)據(jù)的快速流動(dòng)性。

      4 海洋環(huán)境觀測(cè)數(shù)據(jù)共享平臺(tái)框架設(shè)計(jì)

      依據(jù)海洋環(huán)境觀測(cè)數(shù)據(jù)共享的需求,結(jié)合近年來蓬勃發(fā)展的大數(shù)據(jù)的概念和技術(shù),本研究提出了一種基于大數(shù)據(jù)理念的海洋環(huán)境觀測(cè)數(shù)據(jù)共享平臺(tái)框架,如圖1所示。

      該框架主要由數(shù)據(jù)源、數(shù)據(jù)操作、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)訪問、數(shù)據(jù)分析、應(yīng)用服務(wù)以及相關(guān)數(shù)據(jù)共享管理制度和安全機(jī)制等組成。各層相對(duì)獨(dú)立,層間的耦合性比較小。

      數(shù)據(jù)源處于框架的最底層主要包括需要共享的基礎(chǔ)數(shù)據(jù)、各類歷史資料、各項(xiàng)目和區(qū)域獲得的實(shí)時(shí)數(shù)據(jù)和延時(shí)數(shù)據(jù),以及獲取和制作的信息產(chǎn)品等,作為整個(gè)平臺(tái)運(yùn)行的基礎(chǔ)。

      數(shù)據(jù)操作是對(duì)異構(gòu)的多源數(shù)據(jù)進(jìn)行抽取、排序/過濾、轉(zhuǎn)換等處理,以實(shí)現(xiàn)數(shù)據(jù)的重新整合、部署,完成數(shù)據(jù)的規(guī)范化存儲(chǔ)。

      數(shù)據(jù)訪問是各數(shù)據(jù)集與數(shù)據(jù)分析之間的橋梁,實(shí)現(xiàn)數(shù)據(jù)的提取以及分析信息的加載。

      數(shù)據(jù)分析是根據(jù)應(yīng)用的需要對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行檢索、統(tǒng)計(jì)分析、信息產(chǎn)品制作、數(shù)據(jù)同化融合等分析處理,為應(yīng)用服務(wù)提供后臺(tái)并行計(jì)算。數(shù)據(jù)的操作、存儲(chǔ)、訪問及分析都要以元數(shù)據(jù)管理為依托。

      應(yīng)用服務(wù)是平臺(tái)最終能提供給用戶的功能以及與用戶交互的接口,包括數(shù)據(jù)查詢、信息可視化、信息共享及數(shù)據(jù)評(píng)價(jià)與反饋等。

      數(shù)據(jù)管理、安全和備份恢復(fù)是幫助進(jìn)行數(shù)據(jù)治理、實(shí)現(xiàn)數(shù)據(jù)保護(hù)。

      數(shù)據(jù)共享管理制度是指與海洋環(huán)境觀測(cè)數(shù)據(jù)共享相關(guān)的各種法律、法規(guī)和文件。

      整個(gè)框架以多源數(shù)據(jù)為基礎(chǔ),以提供各類應(yīng)用服務(wù)為目標(biāo),以數(shù)據(jù)管理、安全和共享管理制度為運(yùn)行保障,最終實(shí)現(xiàn)海洋環(huán)境觀測(cè)數(shù)據(jù)的共享。

      圖1 海洋環(huán)境觀測(cè)數(shù)據(jù)共享平臺(tái)框架

      4.1 分布式數(shù)據(jù)存儲(chǔ)

      為了有效地避免數(shù)據(jù)重復(fù)建設(shè)和信息孤島,以及海洋環(huán)境觀測(cè)數(shù)據(jù)異構(gòu)性的特征,需要基于基礎(chǔ)數(shù)據(jù)和元數(shù)據(jù)對(duì)多源異構(gòu)海洋環(huán)境觀測(cè)數(shù)據(jù)信息進(jìn)行整合,并對(duì)信息資源的存儲(chǔ)進(jìn)行重新部署[3]。根據(jù)數(shù)據(jù)涉及學(xué)科的不同、安全等級(jí)的不同和應(yīng)用需求的不同,將海洋觀測(cè)數(shù)據(jù)分為多個(gè)數(shù)據(jù)集,并通過關(guān)鍵數(shù)據(jù)集來維護(hù)其間的關(guān)系。關(guān)鍵數(shù)據(jù)集主要包括元數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)等。結(jié)合觀測(cè)數(shù)據(jù)應(yīng)用的情況,從管理和應(yīng)用效率的角度出發(fā),采用數(shù)據(jù)集中存儲(chǔ)與分散存儲(chǔ)相結(jié)合的方式,共享頻率高公開數(shù)據(jù)存放在本地?cái)?shù)據(jù)庫(kù)中。對(duì)于某項(xiàng)目或地區(qū)的非公開數(shù)據(jù)則存儲(chǔ)在數(shù)據(jù)生產(chǎn)者的數(shù)據(jù)庫(kù)中,其數(shù)據(jù)源的生產(chǎn)、維護(hù)更新和所有權(quán)歸數(shù)據(jù)生產(chǎn)者。該平臺(tái)只在元數(shù)據(jù)的描述中提供該類數(shù)據(jù)的數(shù)據(jù)標(biāo)志信息、內(nèi)容信息及發(fā)布信息等。

      4.2 信息共享機(jī)制

      根據(jù)共享內(nèi)容的粒度差異,信息共享需求分為數(shù)據(jù)級(jí)共享和應(yīng)用級(jí)共享[4]。數(shù)據(jù)級(jí)共享指共享的內(nèi)容為數(shù)據(jù),是粒度較低的共享,主要是純數(shù)據(jù)庫(kù)級(jí)的數(shù)據(jù)提取和發(fā)送。在該共享平臺(tái)中體現(xiàn)為以元數(shù)據(jù)為核心建立信息目錄,通過數(shù)據(jù)檢索提供數(shù)據(jù)查詢、信息共享等服務(wù)。應(yīng)用級(jí)共享指從應(yīng)用層面依據(jù)用戶需求提供經(jīng)數(shù)據(jù)統(tǒng)計(jì)分析、同化融合和科學(xué)計(jì)算等處理分析后的信息產(chǎn)品及資料,雖然展示的是信息產(chǎn)品,但實(shí)質(zhì)提供的是在Web Services技術(shù)規(guī)范下的與邏輯相關(guān)的通用服務(wù)共享功能,是粒度較高的共享。

      4.3 數(shù)據(jù)更新和維護(hù)策略

      海洋環(huán)境觀測(cè)數(shù)據(jù)的流動(dòng)速度很快,數(shù)據(jù)的更新和維護(hù)關(guān)系到共享平臺(tái)的運(yùn)行效果。在海洋信息交換領(lǐng)域數(shù)據(jù)源非常廣泛,新數(shù)據(jù)源的添加也是不可避免的,所以該平臺(tái)對(duì)數(shù)據(jù)的更新和維護(hù)采用動(dòng)態(tài)管理的方式,對(duì)數(shù)據(jù)的加載、檢索、分析等,使用數(shù)據(jù)配置的關(guān)聯(lián)方式和管理方式,以適應(yīng)海洋數(shù)據(jù)源的變動(dòng),提高平臺(tái)對(duì)數(shù)據(jù)的支持能力。

      5 結(jié)束語(yǔ)

      所謂信息共享指信息的雙向流動(dòng),即任何單位或個(gè)人履行了把所掌握的全部或部分?jǐn)?shù)據(jù)貢獻(xiàn)出來作為社會(huì)發(fā)展之用的義務(wù),就有權(quán)利獲得其他人提供的數(shù)據(jù)或信息,只有形成信息的雙向流動(dòng)才能促進(jìn)海洋事業(yè)的發(fā)展[5]。本研究以海洋觀測(cè)數(shù)據(jù)共享的需求為依托,引入了大數(shù)據(jù)的理念,提出了一種海洋環(huán)境觀測(cè)數(shù)據(jù)共享平臺(tái)的框架,在理論與技術(shù)層面上為海洋觀測(cè)數(shù)據(jù)的共享提供了一種模型,以實(shí)現(xiàn)數(shù)據(jù)的共享及其潛在價(jià)值的挖掘。該平臺(tái)的搭建和運(yùn)行還需要海洋信息管理制度的完善和海洋信息共享相關(guān)法律的建立,以保障數(shù)據(jù)生產(chǎn)者的利益和敏感數(shù)據(jù)的安全。

      [1]李琳,郝建新,湯曉安,等.基于GML的海洋空間數(shù)據(jù)共享研究[J].現(xiàn)代電子技術(shù),2009(6):147-153.

      [2]趙剛.大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)踐指南[M].北京:電子工業(yè)出版社,2013:1-21.

      [3]丁火平,陳建平,余劍平,等.基于SOA 架構(gòu)的數(shù)字城市信息共享方法研究[J].計(jì)算機(jī)工程與設(shè)計(jì),2009,30(20):4632-4625.

      [4]錢大君,吳建平,余柏蒗,等.上海市資源與環(huán)境數(shù)據(jù)共享平臺(tái)的實(shí)現(xiàn)[J].計(jì)算機(jī)工程,2008,34(10):283-285.

      [5]常虹,于華明,鮑獻(xiàn)文,等.我國(guó)海洋數(shù)據(jù)信息共享現(xiàn)狀及立法建議[J].海洋開發(fā)與管理,2008,25(1):134-138.

      猜你喜歡
      數(shù)據(jù)源觀測(cè)海洋
      觀測(cè)到恒星死亡瞬間
      軍事文摘(2023年18期)2023-11-03 09:45:42
      海洋的路
      Web 大數(shù)據(jù)系統(tǒng)數(shù)據(jù)源選擇*
      愛的海洋
      琴童(2017年7期)2017-07-31 18:33:48
      第一章 向海洋出發(fā)
      基于不同網(wǎng)絡(luò)數(shù)據(jù)源的期刊評(píng)價(jià)研究
      天測(cè)與測(cè)地VLBI 測(cè)地站周圍地形觀測(cè)遮掩的討論
      可觀測(cè)宇宙
      太空探索(2016年7期)2016-07-10 12:10:15
      高分辨率對(duì)地觀測(cè)系統(tǒng)
      太空探索(2015年8期)2015-07-18 11:04:44
      基于真值發(fā)現(xiàn)的沖突數(shù)據(jù)源質(zhì)量評(píng)價(jià)算法
      湄潭县| 洪雅县| 黑河市| 久治县| 额济纳旗| 错那县| 衡南县| 涡阳县| 南投县| 衡南县| 宁夏| 三穗县| 秀山| 高淳县| 莱西市| 瑞昌市| 宁国市| 康马县| 乡城县| 兴海县| 江川县| 溆浦县| 永州市| 林口县| 安远县| 凤冈县| 沂南县| 通榆县| 光泽县| 京山县| 岐山县| 清远市| 宝应县| 革吉县| 蓬安县| 廉江市| 洞头县| 台湾省| 香格里拉县| 岳池县| 句容市|