葉勇超+趙琪
摘要:大數(shù)據(jù)不僅使世界認(rèn)識到數(shù)據(jù)的重要性,更引發(fā)了許多行業(yè)從根本上的變革。大數(shù)據(jù)時代也對GIS提出了諸多挑戰(zhàn),如海量、多源、異構(gòu)數(shù)據(jù)的存儲與管理以及面對大量噪音的價值挖掘等。該文主要介紹了GIS當(dāng)前的發(fā)展現(xiàn)狀及瓶頸,探討了GIS在大數(shù)據(jù)時代下的數(shù)據(jù)采集、數(shù)據(jù)存儲與管理及數(shù)據(jù)分析和挖掘所面臨的問題和初步的解決辦法,展望GIS在大數(shù)據(jù)時代下的發(fā)展前景。
關(guān)鍵詞:GIS;大數(shù)據(jù);空間數(shù)據(jù)
1 什么是大數(shù)據(jù)
大數(shù)據(jù)(Big Data)又稱為巨量資料,指需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)?!按髷?shù)據(jù)”概念最早由維克托·邁爾·舍恩伯格和肯尼斯·庫克耶在編寫《大數(shù)據(jù)時代》中提出,指不用隨機(jī)分析法(抽樣調(diào)查)的捷徑,而是采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)有4V特點(diǎn),即Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)[1]。
大數(shù)據(jù)技術(shù)的進(jìn)步必將對世界產(chǎn)生巨大的推動作用,同時人們的觀念也要發(fā)生改變。維克托·邁爾-舍恩伯格認(rèn)為,在大數(shù)據(jù)時代人們將發(fā)生三個巨大的思維變革:①人們對數(shù)據(jù)的操作不再是針對隨機(jī)的樣本,而是面對全體的數(shù)據(jù);②人們不再過多地要求數(shù)據(jù)的精準(zhǔn)性,而是需要數(shù)據(jù)紛繁復(fù)雜,種類多樣;③人們不再追求事物的因果關(guān)系,轉(zhuǎn)而關(guān)注數(shù)據(jù)之間的相關(guān)關(guān)系。這種觀念上的改變會隨著大數(shù)據(jù)的發(fā)展而逐漸作用于各個行業(yè)中,對整個人類社會的發(fā)展產(chǎn)生巨大的推動作用。
2 大數(shù)據(jù)時代下GIS的發(fā)展
2.1傳統(tǒng)GIS所面臨的挑戰(zhàn)
隨著GIS向著數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)多維化、系統(tǒng)集成化、系統(tǒng)智能化、平臺網(wǎng)絡(luò)化和應(yīng)用社會化(數(shù)字地球)的方向不斷發(fā)展,傳統(tǒng)GIS由二維逐漸向三維GIS(包括二三維一體化)、時態(tài)GIS、網(wǎng)絡(luò)GIS和移動GIS推進(jìn),但隨著大數(shù)據(jù)時代的來臨,管理的數(shù)據(jù)量越來越大、種類越來越多、數(shù)據(jù)結(jié)構(gòu)越來越復(fù)雜,暴露出的問題也越來越多,如對計(jì)算機(jī)及存儲硬件要求更苛刻、數(shù)據(jù)分析處理技術(shù)及數(shù)據(jù)挖掘技術(shù)更高、三維仿真與虛擬現(xiàn)實(shí)技術(shù)與無線通訊技術(shù)結(jié)合等等。
2.2大數(shù)據(jù)時代下GIS的數(shù)據(jù)采集
大數(shù)據(jù)GIS的數(shù)據(jù)形式多樣,主要有地圖數(shù)字化、遙感影像、傳感器實(shí)時監(jiān)測設(shè)備、RFID設(shè)備、歷史資料等媒介產(chǎn)生的各種數(shù)據(jù)。首先,由于大數(shù)據(jù)源的種類各異,獲取數(shù)據(jù)的方法也各不相同,在運(yùn)用GIS對大數(shù)據(jù)進(jìn)行采集識別過程中,需要建立多源數(shù)據(jù)的關(guān)聯(lián)和識別模型、多源多態(tài)數(shù)據(jù)的自動識別方法等,同時將不同來源、不同形式的大數(shù)據(jù)綜合分析,以多角度、全面地描述事物對象。其次,需要建立完善的正確性條件和約束性規(guī)則以確保數(shù)據(jù)的完整性和同一性。最后, 建立數(shù)據(jù)監(jiān)管部門,以確保數(shù)據(jù)的真實(shí)性。
2.3大數(shù)據(jù)時代下GIS的數(shù)據(jù)存儲與管理
存儲是分析的基礎(chǔ),管理是挖掘的保障,隨著數(shù)據(jù)量的增加,數(shù)據(jù)的存儲和管理也需要發(fā)生從量變到質(zhì)變的改進(jìn)。海量的數(shù)據(jù)雖然可以為分析和挖掘提供豐富的數(shù)據(jù)來源使分析和挖掘更加準(zhǔn)確和全能,但是也對數(shù)據(jù)的存儲和管理提出了新的要求。分布式的存儲和管理是處理大數(shù)據(jù)的一個基本的思路。在數(shù)據(jù)庫與應(yīng)用層之間建立良好的接口:大數(shù)據(jù)環(huán)境下的存儲與管理軟件棧,需要從上層應(yīng)用中讀取PB甚至EB量級的數(shù)據(jù),同時還需使上層應(yīng)用能夠快速、準(zhǔn)確、高效地訪問數(shù)據(jù)庫的各個節(jié)點(diǎn)以讀取數(shù)據(jù),建立良好的訪問接口是必不可少的[2]。而數(shù)據(jù)在數(shù)據(jù)層和應(yīng)用層之間的流動過程中必須保證其正確性和準(zhǔn)確性,則需要建立數(shù)據(jù)評價模型和數(shù)據(jù)保障模型以確保數(shù)據(jù)的可用性。
2.4大數(shù)據(jù)時代下GIS的數(shù)據(jù)分析及挖掘
傳統(tǒng)的空間數(shù)據(jù)雖然具備大數(shù)據(jù)的屬性,但是由于缺乏足夠的大數(shù)據(jù)的理論支撐,空間數(shù)據(jù)并不像如今的大數(shù)據(jù)時代所提到的大數(shù)據(jù)那樣的全能。其主要功能是用于展示和描述性分析,在預(yù)測分析和決策支持的相關(guān)方面比較弱勢。而在大數(shù)據(jù)時代,建立在相關(guān)關(guān)系分析法基礎(chǔ)上的預(yù)測是大數(shù)據(jù)的核心,同時人們需要從傳統(tǒng)的決策模式過渡到數(shù)據(jù)指導(dǎo)決策的新的模式中,在大數(shù)據(jù)持續(xù)發(fā)展的過程中,會漸漸地進(jìn)化為數(shù)據(jù)即決策的行為模式[3]。同時隨著智慧城市、智慧地球等概念的興起和推廣,遙感數(shù)據(jù)、衛(wèi)星航圖影像數(shù)據(jù)隨著技術(shù)的更新而日益增加,傳感器數(shù)據(jù)隨著時間的推移不斷的累積,GIS的數(shù)據(jù)越來越多,然而與之相對應(yīng)的是現(xiàn)在GIS行業(yè)面臨著一個問題:“數(shù)據(jù)龐雜,知識匱乏”。即人們擁有很多的數(shù)據(jù),但是缺乏從數(shù)據(jù)中提取出來用于預(yù)測和決策支持的相關(guān)知識。在數(shù)據(jù)庫知識發(fā)現(xiàn)興起之后,隨著數(shù)據(jù)挖掘技術(shù)的不斷發(fā)展,人們將陸續(xù)從GIS 龐大的數(shù)據(jù)庫中挖掘出相關(guān)的知識用于指導(dǎo)實(shí)踐。
2.5大數(shù)據(jù)與GIS空間分析
空間模型是傳統(tǒng)空間分析重要思想,它考慮的是如何建立一個更高精度的數(shù)學(xué)模型。區(qū)別于傳統(tǒng)GIS空間分析,大數(shù)據(jù)GIS更多關(guān)注從不同空間或者時間尺度上挖掘數(shù)據(jù)中隱含的規(guī)則或知識。為了克服大數(shù)據(jù)的不確定性,在進(jìn)行GIS空間分析時應(yīng)盡可能地使用多源數(shù)據(jù),并對多源數(shù)據(jù)進(jìn)行融合,以充分發(fā)揮大數(shù)據(jù)所隱含的信息優(yōu)勢。大數(shù)據(jù)GIS的空間分析需要具備空間建模功能,還應(yīng)具備挖掘新模式、新知識、新規(guī)律的能力。
3結(jié)語:
總之,大數(shù)據(jù)時代,GIS面臨著以下挑戰(zhàn)和機(jī)遇:超大規(guī)模數(shù)據(jù)的高效管理,其中包括數(shù)據(jù)管理體系和架構(gòu)、流數(shù)據(jù)的實(shí)時處理和分析以及歷史數(shù)據(jù)和模式的高效查詢和分析。針對大量數(shù)據(jù)噪音多及數(shù)據(jù)不確定性大的特性,需要重新思考空間統(tǒng)計(jì)模型的選擇、參數(shù)的訓(xùn)練和使用及計(jì)算效率等問題。面對全體數(shù)據(jù),需要發(fā)展適合的空間數(shù)據(jù)挖掘算法,發(fā)現(xiàn)數(shù)據(jù)背后所隱藏的模式和價值。高效地顯示和分析超大規(guī)模的時空數(shù)據(jù),發(fā)展與地理計(jì)算相結(jié)合的可視分析理論。大數(shù)據(jù)GIS需要一整套系統(tǒng)、科學(xué)的理論和方法來應(yīng)對大數(shù)據(jù)帶來的挑戰(zhàn)。
參考文獻(xiàn)
[1]李清泉,李德仁.大數(shù)據(jù)GIS[J].武漢大學(xué)學(xué)報(信息科學(xué)版),2014,6(39):641-644.
[2]孟小峰,慈祥.大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展,2013,50(1):146-169.
[3]王樹良,丁剛毅,鐘鳴.大數(shù)據(jù)下的空間數(shù)據(jù)挖掘思考[J].中國電子科學(xué)研究院學(xué)報,2013,8(1):8-17.
作者簡介:
葉勇超(1994.7.20-)男,漢族,身份證號:412727199407206519,本科生,河南省周口市,研究方向:地理信息科學(xué).
趙琪(1996.11.02-)男,漢,身份證號:142726199611021237,本科生,山西省運(yùn)城市,研究方向:地理信息科學(xué)