摘 要:為了提升GIS時(shí)空大數(shù)據(jù)融合處理效果和大數(shù)據(jù)融合效率,本文提出基于可視化數(shù)據(jù)挖掘技術(shù)的GIS時(shí)空大數(shù)據(jù)融合處理方法。首先,采集GIS時(shí)空大數(shù)據(jù),分析可視化數(shù)據(jù)挖掘技術(shù);其次,構(gòu)建地理時(shí)空數(shù)據(jù)可視化挖掘模型,將地理軌跡數(shù)據(jù)由CSV格式轉(zhuǎn)換為Shapefile向量數(shù)據(jù)格式;最后,計(jì)算轉(zhuǎn)換后的地理坐標(biāo),對GIS時(shí)空大數(shù)據(jù)進(jìn)行融合處理。試驗(yàn)結(jié)果表明,基于可視化數(shù)據(jù)挖掘技術(shù)的GIS時(shí)空大數(shù)據(jù)融合處理方法能夠快速處理時(shí)空數(shù)據(jù),在不同測試時(shí)空內(nèi),使用本文方法融合處理的數(shù)據(jù)量比其他方法更多,本文方法效果更好。
關(guān)鍵詞:數(shù)據(jù)融合;GIS時(shí)空大數(shù)據(jù);信息處理技術(shù);融合處理;可視化數(shù)據(jù)挖掘技術(shù)
中圖分類號(hào):D 26 " " " " 文獻(xiàn)標(biāo)志碼:A
地理信息系統(tǒng)(Geographic Information System,GIS)集成地理空間數(shù)據(jù)和屬性數(shù)據(jù),為各種領(lǐng)域提供了強(qiáng)大的空間分析和決策能力。GIS領(lǐng)域亟需解決的問題是高效地融合和處理GIS時(shí)空大數(shù)據(jù)。在文獻(xiàn)[1]中,研究人員將預(yù)處理后的數(shù)據(jù)整合到一個(gè)集中的數(shù)據(jù)管理平臺(tái)中,保證數(shù)據(jù)能夠在該平臺(tái)中進(jìn)行共享和交互。平臺(tái)的存儲(chǔ)和計(jì)算能力強(qiáng),能夠高效處理并分析龐大的數(shù)據(jù)集。采用這種整合與集中管理的方式可以更有效地管理和利用巡護(hù)時(shí)空大數(shù)據(jù)。在文獻(xiàn)[2]中,研究人員利用關(guān)聯(lián)規(guī)則和挖掘技術(shù)深入研究無線傳感網(wǎng)中的節(jié)點(diǎn)數(shù)據(jù)。對這些節(jié)點(diǎn)數(shù)據(jù)特性進(jìn)行需求分析,構(gòu)建1個(gè)數(shù)據(jù)融合模型,該模型能夠在時(shí)間和空間方面對數(shù)據(jù)進(jìn)行融合,提升GIS時(shí)空大數(shù)據(jù)融合處理的準(zhǔn)確性。
本文方法將數(shù)據(jù)挖掘技術(shù)與可視化技術(shù)相結(jié)合,將復(fù)雜的數(shù)據(jù)以圖形、圖像等直觀、清晰的方式展現(xiàn),使用戶能夠更快速、準(zhǔn)確地理解數(shù)據(jù),發(fā)現(xiàn)數(shù)據(jù)中的規(guī)律。
1 可視化數(shù)據(jù)挖掘技術(shù)
可視化數(shù)據(jù)挖掘技術(shù)是一種結(jié)合可視化技術(shù)和數(shù)據(jù)挖掘技術(shù)的先進(jìn)技術(shù)。這種技術(shù)利用圖形、圖像等直觀形式展現(xiàn)大量數(shù)據(jù)中的信息和知識(shí),幫助用戶更快速、準(zhǔn)確地理解數(shù)據(jù),發(fā)現(xiàn)數(shù)據(jù)中的規(guī)律和趨勢??梢暬瘮?shù)據(jù)挖掘技術(shù)包括數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘和可視化等步驟,數(shù)據(jù)挖掘是可視化數(shù)據(jù)挖掘技術(shù)的核心步驟,其利用各種算法對數(shù)據(jù)進(jìn)行挖掘,獲得有價(jià)值的信息和知識(shí)。
2 采集GIS時(shí)空大數(shù)據(jù)
GIS時(shí)空大數(shù)據(jù)的可視化過程以地圖作為核心框架,進(jìn)一步將時(shí)間數(shù)據(jù)進(jìn)行空間化處理,將兩者有效融合,創(chuàng)造一種新穎的數(shù)據(jù)展現(xiàn)形態(tài)。充分利用地理信息技術(shù)的空間可視化優(yōu)勢將時(shí)空數(shù)據(jù)以地圖形式進(jìn)行直觀展示,不僅方便從多個(gè)視角進(jìn)行深入觀察,還從空間層面對大數(shù)據(jù)進(jìn)行高效分析。本文設(shè)計(jì)的GIS時(shí)空大數(shù)據(jù)采集步驟包括以下3個(gè)。
2.1 交點(diǎn)定義
在實(shí)際操作中,采集的道路數(shù)據(jù)通常為連續(xù)的多段線形式。為了定位,需要遍歷所有涉及的道路折線段,確定這些折線段之間的交點(diǎn)[3],即道路節(jié)點(diǎn)。
2.2 道路數(shù)據(jù)切割
在進(jìn)行道路數(shù)據(jù)處理的過程中,使用本文方法確定并計(jì)算1條測得的道路的交叉區(qū)域,得到道路交叉層。然后利用這個(gè)交點(diǎn)圖層對原有的道路數(shù)據(jù)進(jìn)行切割。當(dāng)采集地理軌跡數(shù)據(jù)時(shí),采用CSV格式導(dǎo)出這些數(shù)據(jù),呈現(xiàn)為一系列點(diǎn)集,需要將其轉(zhuǎn)換為在GIS中廣泛使用的Shapefile向量數(shù)據(jù)格式[4-5]。在完成轉(zhuǎn)換后,自動(dòng)構(gòu)建向量數(shù)據(jù)的拓?fù)潢P(guān)系,在弧段與節(jié)點(diǎn)之間建立準(zhǔn)確的連接?;《闻c節(jié)點(diǎn)之間的具體關(guān)系見表1。
設(shè)鄰接向量P,弧段q1~q7的鄰接關(guān)系如公式(1)所示。
(1)
節(jié)點(diǎn)N1~N5設(shè)定的連通向量N如公式(2)所示。
(2)
2.3 冗余數(shù)據(jù)處理
在數(shù)據(jù)收集的過程中,為保證道路數(shù)據(jù)的完整性與準(zhǔn)確性,某些路段的長度會(huì)超過實(shí)際道路長度。因此,在后續(xù)處理中需要識(shí)別并移除這些多余的部分。
3 單波段與單極化數(shù)據(jù)的像元差值提取
Sentinel-1數(shù)據(jù):Sentinel-1是一個(gè)全天時(shí)、全天候的合成孔徑雷達(dá)成像系統(tǒng),其是歐盟委員會(huì)(European Commission,EC)和歐洲航天局(European Space Agency,ESA)針對哥白尼全球?qū)Φ赜^測項(xiàng)目研制的首顆衛(wèi)星。為了將大氣上層表觀反射率轉(zhuǎn)換為大氣下層地表反射率,本研究采用歐州航天局官方提供的Sen2Cor大氣校正模塊對Sentinel-2數(shù)據(jù)進(jìn)行大氣校正。除了對Sentinel-2的單波段數(shù)據(jù)與Sentinel-1的單極化數(shù)據(jù)的像元差值進(jìn)行分析外,還利用紅光(Red)和近紅外(Near Infrared,NIR)波段獲取歸一化植被指數(shù)(Normalize Difference Vegetation Index,NDVI),并提取NDVI與垂直極化數(shù)據(jù)(Vertical Polarization,VV)以及垂直水平數(shù)據(jù)(Vertical-Horizontal Polarization,VH)的像元差值。
本文根據(jù)NDVI模型生成對應(yīng)的NDVI產(chǎn)品,裁剪影像。NDVI的計(jì)算過程如公式(3)所示。
(3)
式中:PRed,PNIR分別為Sentinel-2數(shù)據(jù)對應(yīng)的紅光和近紅外波段的地面反射率值。
利用歸一化后的單波段數(shù)據(jù)(藍(lán)光、綠光、紅光和近紅外光)與歸一化后的單極化數(shù)據(jù)逐一進(jìn)行波段運(yùn)算,獲取2種傳感器數(shù)據(jù)的像元差值,計(jì)算過程如公式(4)所示。
T(x,y,t)=S2(x,y,n,t)-S1(x,y,m,t)
(n=Bule,Green,Red,NIR;m=VV,VH) " " "(4)
式中:T(x,y,t)為Sentinel-2 與 Sentinel-1 數(shù)據(jù)的像元值之差;S2、S1分別為Sentinel-1和Sentinel-2數(shù)據(jù)的像元值;n為Sentinel-2的波段數(shù)據(jù),包括藍(lán)光(Blue)、綠光(Green)、紅光和近紅外光;m為Sentinel-1的雙極化數(shù)據(jù),包括VV和VH;t為獲取像元值所需的時(shí)間。
利用樣本點(diǎn)的位置信息從計(jì)算結(jié)果中提取樣本點(diǎn)位置所有像元的值,取地類內(nèi)所有樣本點(diǎn)的均值作為該地類像元差值,最終獲取不同時(shí)相的像元差值序列特征。
4 構(gòu)建地理時(shí)空數(shù)據(jù)可視化挖掘模型
根據(jù)上文提取的GIS時(shí)空大數(shù)據(jù)像元差值,本章利用可視化數(shù)據(jù)挖掘技術(shù)的柵格瓦片可視化算法,將該技術(shù)應(yīng)用于時(shí)空數(shù)據(jù)中,對地理時(shí)空數(shù)據(jù)進(jìn)行可視化挖掘[6]。柵格瓦片可視化算法流程如圖1所示。
由圖1可知,柵格瓦片可視化算法流程如下。首先,設(shè)計(jì)地圖的中心點(diǎn),確定時(shí)空數(shù)據(jù)對應(yīng)的地理范圍。其次,設(shè)定柵格瓦片的起始行列序號(hào),確定X軸、Y軸的瓦片數(shù)量,將柵格瓦片鋪滿地圖,計(jì)算單張瓦片的像素分辨率,確定瓦片對應(yīng)的時(shí)空面積,獲取對應(yīng)的地理坐標(biāo),最終得到地理時(shí)空坐標(biāo)的位置,使柵格瓦片可視化[7-8]。本文構(gòu)建數(shù)據(jù)集成挖掘模型,將其應(yīng)用于時(shí)空數(shù)據(jù)的可視化挖掘中,本文設(shè)計(jì)的數(shù)據(jù)集成挖掘模型的結(jié)構(gòu)如圖2所示。
由圖2可知,利用可擴(kuò)展標(biāo)記語言(Extensible Markup Language,XML)文件配置數(shù)據(jù)庫連接信息,設(shè)置用戶界面,構(gòu)建數(shù)據(jù)集成模型對數(shù)據(jù)進(jìn)行集成,并利用元數(shù)據(jù)倉庫進(jìn)行處理,設(shè)計(jì)數(shù)據(jù)集成引擎與數(shù)據(jù)中心進(jìn)行交互。時(shí)空數(shù)據(jù)通常是指融合了地理經(jīng)緯度信息的數(shù)據(jù)集,瀏覽器頁面基于一個(gè)二維的平面坐標(biāo)系統(tǒng)來展示內(nèi)容。因此,在GIS中對坐標(biāo)軸進(jìn)行設(shè)定:X軸代表經(jīng)度,數(shù)值沿此軸向右逐漸增加;Y軸代表緯度,數(shù)值沿此軸向上逐漸增加[9]。模型構(gòu)建的具體步驟如下。
第一步,設(shè)定瓦片像素為tS,分辨率為R。
第二步,單張瓦片對應(yīng)的地理時(shí)空面積為GS,計(jì)算過程如公式(5)所示。
GS=tS×R " " " " (5)
第三步,得到對應(yīng)的地理坐標(biāo)(Gleft,Gtop),計(jì)算過程如公式(6)所示。
(6)
式中:GX、GY分別為屏幕的X軸和Y軸;W、H分別為屏幕的寬度和高度。
該地理坐標(biāo)(Gleft,Gtop)對應(yīng)的地理位置(Xs,Ys)如公式(7)所示。
(7)
式中:Gs為單張瓦片對應(yīng)的地理時(shí)空面積。
基于上述分析,地理時(shí)空數(shù)據(jù)可視化挖掘模型的計(jì)算過程如公式(8)所示。
(8)
經(jīng)過上述研究,設(shè)計(jì)面向空間信息的可視化挖掘方法,為空間信息融合處理奠定堅(jiān)實(shí)的基礎(chǔ)。
5 GIS時(shí)空大數(shù)據(jù)的融合處理
根據(jù)采集的GIS時(shí)空大數(shù)據(jù)獲取歷史數(shù)據(jù),分析地理現(xiàn)象的時(shí)空變化規(guī)律。為了優(yōu)化資源配置,提高資源使用效率,減少浪費(fèi),將采集得到的GIS時(shí)空大數(shù)據(jù)輸入時(shí)空數(shù)據(jù)可視化挖掘模型中,創(chuàng)建共享數(shù)據(jù)類別,采用語義融合技術(shù)整合不同來源和類型的數(shù)據(jù),確定其是否對應(yīng)于同一個(gè)類別中的同一個(gè)概念,采用時(shí)空數(shù)據(jù)分析方法對融合后的數(shù)據(jù)進(jìn)行分析,提取有用信息,具體融合處理過程如下。
以p1=(x1,y1)=(Xs,Ys)為圓心,將半徑r設(shè)定為20 m進(jìn)行搜索,p2(x2,y2)為該空間中的任意節(jié)點(diǎn),p1為搜索圓形的圓心,p2為搜索圓形內(nèi)的任意點(diǎn)。p1與p2之間的距離d的計(jì)算過程如公式(9)所示。
(9)
如果d≤r,那么p1與p2 這2個(gè)點(diǎn)為同名點(diǎn);如果dgt;r,那么p1與p2 這2個(gè)點(diǎn)不是同名點(diǎn)。
在數(shù)據(jù)融合處理過程中使用統(tǒng)一的設(shè)備,所有數(shù)據(jù)的定位模式均設(shè)定為單點(diǎn)定位,基于這種一致性可以合理推斷同一個(gè)對象采集的不同數(shù)據(jù)在權(quán)重方面是相等的。這種設(shè)置保證了數(shù)據(jù)采集標(biāo)準(zhǔn),降低了由于設(shè)備差異或定位方法不同導(dǎo)致的誤差。在GIS時(shí)空大數(shù)據(jù)融合處理過程中,這種統(tǒng)一性能夠保證數(shù)據(jù)的可比性和融合的準(zhǔn)確性,因此十分重要。
將這些數(shù)據(jù)的空間位置信息進(jìn)行融合,計(jì)算x、y坐標(biāo)的平均值,如公式(10)所示。
(10)
式中:xi、yi分別為第i次采集的點(diǎn)位坐標(biāo)x、y的值。
利用公式(8)可以得到每個(gè)節(jié)點(diǎn)融合后的時(shí)空數(shù)據(jù)地理坐標(biāo)位置。
6 試驗(yàn)測試與結(jié)果
6.1 試驗(yàn)準(zhǔn)備
為驗(yàn)證本文方法的有效性,筆者進(jìn)行試驗(yàn),以MATLAB軟件為基礎(chǔ)搭建一個(gè)模擬測試平臺(tái),檢測本文方法的數(shù)據(jù)融合處理性能。在測試過程中將文獻(xiàn)[1]方法、文獻(xiàn)[2]方法與本文方法進(jìn)行對比,以3種方法的數(shù)據(jù)融合處理效率作為測試結(jié)果。
6.2 試驗(yàn)結(jié)果
基于上述試驗(yàn)準(zhǔn)備,3種方法的對比測試結(jié)果見表2。
由測試結(jié)果可知,本文提出的基于可視化數(shù)據(jù)挖掘技術(shù)的GIS時(shí)空大數(shù)據(jù)融合處理方法能夠快速處理數(shù)據(jù),因此,在不同測試時(shí)間內(nèi),與文獻(xiàn) [1] 方法、文獻(xiàn) [2] 方法相比,本文方法融合處理的數(shù)據(jù)量更多,證明了本文方法的有效性。
綜上所述,利用可視化數(shù)據(jù)挖掘技術(shù)能夠自動(dòng)或半自動(dòng)地識(shí)別數(shù)據(jù)中的關(guān)鍵信息,減少人工分析和處理的工作量,提高 GIS 時(shí)空大數(shù)據(jù)融合處理的效率和準(zhǔn)確性。
7 結(jié)語
基于可視化數(shù)據(jù)挖掘技術(shù)的GIS時(shí)空大數(shù)據(jù)融合處理方法不僅推動(dòng)了GIS技術(shù)快速發(fā)展,還影響了社會(huì)經(jīng)濟(jì)發(fā)展、城市規(guī)劃以及環(huán)境監(jiān)測等領(lǐng)域。在這個(gè)過程中,數(shù)據(jù)安全和隱私保護(hù)十分重要。在利用大數(shù)據(jù)進(jìn)行空間分析的過程中,必須嚴(yán)格遵守相關(guān)法律法規(guī),保障用戶數(shù)據(jù)的安全性和隱私性。未來基于可視化數(shù)據(jù)挖掘技術(shù)的GIS時(shí)空大數(shù)據(jù)融合處理方法將繼續(xù)發(fā)揮其獨(dú)特優(yōu)勢。
參考文獻(xiàn)
[1]張新宇,林澤攀,武紅敢,等.巡護(hù)時(shí)空大數(shù)據(jù)助推林草業(yè)務(wù)的協(xié)同融合[J].林業(yè)科技通訊,2022(6):31-33.
[2]秦麗娜.基于關(guān)聯(lián)規(guī)則挖掘的無線傳感網(wǎng)時(shí)空數(shù)據(jù)融合方法探究[J].北部灣大學(xué)學(xué)報(bào),2023,38(4):68-71.
[3]杜家寬,李雁飛,孫嗣文,等.多源數(shù)據(jù)融合的泛時(shí)空特征水稻深度學(xué)習(xí)提取[J].農(nóng)業(yè)大數(shù)據(jù)學(xué)報(bào),2024,6(1):56-67.
[4]丁夢蘇,楊慕喬,陳世敏.大規(guī)模時(shí)空圖數(shù)據(jù)存儲(chǔ)和分析的優(yōu)化方法[J].高技術(shù)通訊,2023,33(2):124-134.
[5]黃慧萍,陳芳淼.城市群建設(shè)與管理的時(shí)空大數(shù)據(jù)體系框架構(gòu)建研究[J].遙感技術(shù)與應(yīng)用,2023,38(2):443-453.
[6]周揚(yáng),韓崔燕,田楠,等.基于多源時(shí)空大數(shù)據(jù)的市政管線安全管控關(guān)鍵技術(shù)研究[J].工業(yè)建筑,2023,53(增刊2):62-66.
[7]徐鵬飛,麥均碩,王嘉銘,等.基于時(shí)空大數(shù)據(jù)分析的出租車智慧調(diào)度系統(tǒng)[J].信息與電腦(理論版),2024,36(2):103-105.
[8]劉宏志,張燦,李秋爽,等.智慧基建背景下電網(wǎng)工程造價(jià)資源庫建設(shè)研究[J].建筑經(jīng)濟(jì),2022,43(3):59-66.
[9]柯霖.基于多源數(shù)據(jù)融合與模糊聚類的電力工程數(shù)據(jù)處理方法研究[J].電子設(shè)計(jì)工程,2023,31(24):163-167.