林蔚凱
(龍巖市勘察測繪大隊,福建 龍巖 364000)
隨著龍巖市中心城區(qū)的高速發(fā)展,城市面貌日新月異,城市邊界向四周延伸,城市建設(shè)工程不斷增加,測繪企事業(yè)單位業(yè)務(wù)不斷拓展,測繪成果種類多樣,日積月累,逐漸形成了數(shù)量巨大的測繪成果數(shù)據(jù),然而這些數(shù)據(jù)資料被雜亂地存放在電腦硬盤或是服務(wù)器,有的難以檢索,導(dǎo)致數(shù)據(jù)資料容易遺失且難以使用[1],目前龍巖市已有的地形圖基礎(chǔ)數(shù)據(jù)無法滿足自然資源局的規(guī)劃、審批、管理等用圖需要。自然資源局作為基礎(chǔ)測繪數(shù)據(jù)管理單位,其核心工作就是對已經(jīng)獲取的成果數(shù)據(jù)進行高效管理并使其價值最大化。因此,為響應(yīng)龍巖市數(shù)字城市地理空間框架項目建設(shè)的需求,同時為完成龍巖市基礎(chǔ)地理信息整合更新系統(tǒng)改造及運維工作,龍巖市自然資源局(以下簡稱市局)需獨立開發(fā)龍巖市測繪成果管理與更新系統(tǒng),對市局現(xiàn)有的以及今后新生產(chǎn)的各類比例尺地形圖數(shù)據(jù)和各種基礎(chǔ)地理信息數(shù)據(jù)等海量測繪成果數(shù)據(jù)進行高效的管理[2],提升龍巖市基礎(chǔ)測繪工作的管理水平。
近年來,經(jīng)濟社會發(fā)展和自然資源管理對測繪成果的依賴性不斷增強。隨著GIS技術(shù)的飛速發(fā)展,測繪地理信息技術(shù)手段進入高速發(fā)展階段,基礎(chǔ)測繪更加精細化動態(tài)化,測繪相關(guān)數(shù)據(jù)類別、數(shù)量急劇增加。不同比例尺且投影多樣、覆蓋面廣且時間跨度長、類型繁雜、數(shù)據(jù)量龐大的成果數(shù)據(jù)[3],使測繪單位數(shù)據(jù)管理負擔(dān)過重、數(shù)據(jù)利用效率低下,如何安全、高效地對數(shù)據(jù)進行一體化管理成為測繪單位面臨的首要問題。傳統(tǒng)的“質(zhì)檢、替換、接邊”更新測繪成果數(shù)據(jù)的方式已暴露出了很多弊端,安全性低,不能自動更新,無法滿足日益增長的測繪成果數(shù)據(jù)實時更新需求。隨著國家推進數(shù)字化、信息化的力度加大,設(shè)計數(shù)據(jù)成果管理系統(tǒng),使數(shù)據(jù)互聯(lián)互通、按需共享,實現(xiàn)上下聯(lián)動、左右協(xié)同、數(shù)據(jù)共享、智能高效的測繪成果全生命周期管理成為當(dāng)務(wù)之急。
市局針對基礎(chǔ)測繪建立地理信息要素生產(chǎn)系統(tǒng)及數(shù)據(jù)庫管理系統(tǒng),結(jié)合最新的GIS技術(shù)和數(shù)據(jù)庫管理方式,以數(shù)據(jù)庫為根源[4],以GIS異構(gòu)數(shù)據(jù)集成為關(guān)鍵方法,以中間件提取及數(shù)據(jù)倉庫技術(shù)為主要技術(shù)支撐,通過多種數(shù)據(jù)和程序調(diào)用接口,為用戶提供一個動態(tài)圖檔管理的新思路,實現(xiàn)多源異構(gòu)數(shù)據(jù)統(tǒng)一和層次化管理,并建立增量更新模式[5]。為提高基礎(chǔ)地理信息數(shù)據(jù)的更新效率,同時滿足規(guī)范要求,采用基于地理信息要素生產(chǎn)系統(tǒng)及數(shù)據(jù)庫管理系統(tǒng)聯(lián)動增量更新技術(shù),即圖形增量和庫體增量聯(lián)動更新,改變傳統(tǒng)的數(shù)據(jù)更新方式,解決數(shù)據(jù)接邊問題和數(shù)據(jù)冗余問題。
測繪數(shù)據(jù)成果按時間跨度分為歷史數(shù)據(jù)、現(xiàn)狀數(shù)據(jù),常見的測繪成果數(shù)據(jù)格式包括dwg、mdb、tif、img、DEM、osgb,以 及docx(doc)、xlsx(xls)、pdf等文檔格式,測繪成果類型主要為控制點數(shù)據(jù)、地形圖數(shù)據(jù)、數(shù)據(jù)庫數(shù)據(jù)、影像數(shù)據(jù)、DEM數(shù)據(jù)、DOM數(shù)據(jù)、三維模型數(shù)據(jù)、項目成果文檔等。
由于測繪數(shù)據(jù)繁雜的數(shù)據(jù)結(jié)構(gòu),并具有獨特的地理空間信息,市局選擇國產(chǎn)地理信息平臺SmartGIS地理信息平臺作為基礎(chǔ)軟件開發(fā)平臺,為系統(tǒng)擴展提供基礎(chǔ)平臺層面的技術(shù)保證。該平臺適用于所有當(dāng)下普遍使用的操作系統(tǒng)(Linux、UNIX、Windows),可以提供高效的海量空間數(shù)據(jù)庫引擎,供給全面基于組件庫的組件對象模型,支持TB級海量數(shù)據(jù)處理,支持采用關(guān)系數(shù)據(jù)庫系統(tǒng)管理空間數(shù)據(jù),支持識別多種不同格式源數(shù)據(jù),支持基于組件的開發(fā)語言。系統(tǒng)開發(fā)是圍繞數(shù)據(jù)庫進行,進而將數(shù)據(jù)的多源異構(gòu)性問題交由數(shù)據(jù)庫系統(tǒng)解決,系統(tǒng)僅針對整理后的成果數(shù)據(jù)進行更新管理。
系統(tǒng)體系結(jié)構(gòu)設(shè)計如圖1所示。
圖1 系統(tǒng)體系結(jié)構(gòu)
依據(jù)本系統(tǒng)目標(biāo)要求,選取PostgreSQL數(shù)據(jù)庫管理軟件存儲海量多源異構(gòu)數(shù)據(jù)。PostgreSQL是一個主流開源數(shù)據(jù)庫系統(tǒng),它應(yīng)用增添SQL語言,增加了復(fù)雜數(shù)據(jù)工作負載功能,結(jié)合了許多安全存儲,其完整性、并發(fā)性、可靠性、安全性均滿足系統(tǒng)要求。
系統(tǒng)主要包含用戶層、應(yīng)用層、支撐層、數(shù)據(jù)層、基礎(chǔ)設(shè)施層5個層級。用戶層:不同設(shè)備的接入用戶,包括系統(tǒng)管理員、審核人員、操作人員、系統(tǒng)維護人員。應(yīng)用層:用戶與平臺的交互界面,實現(xiàn)數(shù)據(jù)入庫、數(shù)據(jù)瀏覽、數(shù)據(jù)管理、數(shù)據(jù)查詢、匯交查詢統(tǒng)計等多種功能,最終實現(xiàn)測繪成果管理與更新信息化。支撐層:系統(tǒng)的樞紐,負責(zé)整個系統(tǒng)的后臺服務(wù)、管理應(yīng)用、數(shù)據(jù)處理等功能,以保證各子系統(tǒng)之間數(shù)據(jù)有效關(guān)聯(lián)和管理,并對應(yīng)用層業(yè)務(wù)進行支撐。數(shù)據(jù)層:系統(tǒng)通過數(shù)據(jù)庫建設(shè),針對不同數(shù)據(jù)來源,實現(xiàn)各類數(shù)據(jù)集中管理與統(tǒng)一應(yīng)用,數(shù)據(jù)庫包括歷史成果庫、現(xiàn)勢成果庫、業(yè)務(wù)庫、備份庫等。基礎(chǔ)設(shè)施層:系統(tǒng)運行的基礎(chǔ),包括網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、服務(wù)器、安全設(shè)備等硬件設(shè)施,滿足測繪成果數(shù)據(jù)管理、存儲、更新和應(yīng)用的需要,保證整個系統(tǒng)的基礎(chǔ)運行環(huán)境穩(wěn)定高效。
系統(tǒng)采用對象-關(guān)系型數(shù)據(jù)庫PostgreSQL進行信息存儲,它是功能強大、特性豐富和復(fù)雜的自由軟件數(shù)據(jù)庫系統(tǒng),同時其空間數(shù)據(jù)管理擴展PostGIS對于空間數(shù)據(jù)具有較強的管理功能。其中應(yīng)用程序接口采用ArcSDE實現(xiàn),從而將空間數(shù)據(jù)檢索和分析相關(guān)功能集成到自己的應(yīng)用系統(tǒng)中。
針對增量更新業(yè)務(wù)需求,設(shè)計空間數(shù)據(jù)庫表如表1所示。
表1 空間數(shù)據(jù)庫表
2.6.1 數(shù)據(jù)下載與分發(fā)
選擇范圍線、分發(fā)路徑、導(dǎo)出方式、分發(fā)方式與分發(fā)版本,進行數(shù)據(jù)庫中現(xiàn)勢數(shù)據(jù)的下載與分發(fā),基于下載的待更新數(shù)據(jù)進行后續(xù)數(shù)據(jù)生產(chǎn)與更新。
2.6.2 數(shù)據(jù)更新
根據(jù)現(xiàn)實情況,基于下載的待更新包進行地理要素增、刪、改操作,完成數(shù)據(jù)更新,形成待更新數(shù)據(jù),并在更新作業(yè)過程中記錄更新要素ID、變更類型、更新時間等更新信息,形成待更新數(shù)據(jù)包。
2.6.3 變更檢查
利用待更新數(shù)據(jù)包進行數(shù)據(jù)庫更新操作前,需要進行變更檢查,判斷待更新數(shù)據(jù)包中的數(shù)據(jù)和更新記錄是否正確。檢查內(nèi)容包括數(shù)據(jù)沖突檢查、接邊錯誤檢查、數(shù)據(jù)格式檢查、數(shù)據(jù)拓撲檢查、更新數(shù)據(jù)邏輯檢查等。
2.6.4 數(shù)據(jù)接邊
變更檢查通過后,利用系統(tǒng)功能一鍵完成數(shù)據(jù)在范圍線邊界的接邊工作。若有部分數(shù)據(jù)無法自動接邊,需要將未接邊要素導(dǎo)出,手動接邊后,再度進行接邊檢查和自動接邊。
2.6.5 更新入庫
接邊檢查通過后,一鍵進行增量更新入庫,此時增量更新將添加一個新的版本。至此數(shù)據(jù)增量更新完成。具體更新流程如圖2所示。
圖2 增量更新流程
在更新內(nèi)容時,基于項目要求和數(shù)據(jù)更新規(guī)范在系統(tǒng)的基礎(chǔ)數(shù)據(jù)庫中找到更新區(qū)域,分發(fā)修改范圍進行要素提取。對于點和面要素等獨立要素,直接進行提取;對于線要素,在范圍線附近最近節(jié)點處進行打斷提取。更新完成后使用局部替換法。數(shù)據(jù)生產(chǎn)方面應(yīng)符合地方發(fā)布的數(shù)據(jù)庫生產(chǎn)規(guī)范。
更新中會產(chǎn)生更新記錄和生產(chǎn)更新地理信息要素數(shù)據(jù)庫。更新記錄包含幾何空間屬性的編輯、更新操作(如刪除、改動、修改地理實體)等操作,其中所有地物要素會給它賦予唯一ID。唯一ID是數(shù)據(jù)庫中每個要素的唯一身份編碼,是實現(xiàn)增量更新的關(guān)鍵。要素的屬性、位置、形狀等發(fā)生變化,地物的唯一ID也將按照規(guī)則重新生成,而原先的唯一ID跟隨原先的要素進入歷史數(shù)據(jù)庫。
在系統(tǒng)端的增量更新入庫前,需要進行檢查,具體檢查內(nèi)容包括3個方面。一是更新范圍檢測,即對項目的更新范圍進行沖突檢測。例如,若臨近的兩個項目的分發(fā)范圍出現(xiàn)部分重疊,因生產(chǎn)活動需要一定的時間,就有可能出現(xiàn)后分發(fā)更新數(shù)據(jù)的項目先完成增量更新,導(dǎo)致數(shù)據(jù)庫中重疊部分的要素的唯一ID發(fā)生變化,那么,先分發(fā)更新數(shù)據(jù)的項目就需要重新分發(fā)更新數(shù)據(jù),不然就會出現(xiàn)要素的唯一ID對應(yīng)不上的問題。二是沖突檢測,包含了對要素、幾何、新增地物正確性、完整性與結(jié)構(gòu)一致性、圖形精度、屬性精度、接邊精度、數(shù)據(jù)更新、要素關(guān)系一致性等的檢測。三是唯一ID檢查,當(dāng)通過數(shù)據(jù)庫質(zhì)檢后,需進行唯一ID檢查,確保增量更新有效。檢查流程如圖3所示。
圖3 唯一ID檢查流程
接邊:當(dāng)所有數(shù)據(jù)達到入庫要求后先進行接邊數(shù)據(jù)提取即接邊預(yù)處理;新增地物替換數(shù)據(jù)庫中,原數(shù)據(jù)進入歷史版本庫;刪除地物替換數(shù)據(jù)庫中,原數(shù)據(jù)進入歷史版本庫;修改地物進行ID一一對比,界限值之內(nèi)直接接邊,超過界限值或ID不一致時,人工干預(yù)排查。
入庫:當(dāng)接邊數(shù)據(jù)處理完成后,進行數(shù)據(jù)庫更新。更新方式為在原始狀態(tài)數(shù)據(jù)基礎(chǔ)上,僅對變化區(qū)域?qū)嶓w信息進行更新。根據(jù)更新記錄,對已經(jīng)改變原有位置和屬性地物的,先用現(xiàn)狀數(shù)據(jù)取代歷史數(shù)據(jù),再建立現(xiàn)狀數(shù)據(jù)與歷史數(shù)據(jù)的聯(lián)系,并清除臨時空間數(shù)據(jù)庫原有地形地物等信息,所有新增操作按照更新時間、更新范圍、位置以及要素、幾何、唯一ID、時間信息等方式完整保存到歷史數(shù)據(jù)空間庫中,以便后期進行分析回溯,改動后數(shù)據(jù)保存在基礎(chǔ)現(xiàn)勢庫中。
在增量更新的作業(yè)中,進行全程質(zhì)量控制,自動記錄分發(fā)歷史信息,包括項目名稱、分發(fā)類型、分發(fā)日期、分發(fā)版本號和是否已完成更新,且備份當(dāng)前增量更新的數(shù)據(jù)庫信息,包括現(xiàn)勢庫信息、歷史庫信息、增量更新版本信息、分發(fā)信息等。
截至目前,此套系統(tǒng)數(shù)據(jù)管理模塊已錄入龍巖市中心城區(qū)范圍內(nèi)自然資源局所有類型的歷史測繪數(shù)據(jù)。增量更新模塊已采用20個工程建設(shè)項目的竣工測量全要素地形成果,并完成龍巖市基礎(chǔ)地形數(shù)據(jù)庫的增量更新工作,更新了45.59萬m2的基礎(chǔ)地形要素。相比傳統(tǒng)的更新方式,增量更新不僅降低了人工成本,更是豐富了數(shù)據(jù)的屬性,減少了人工文件夾檢索,減輕了數(shù)據(jù)管理的工作負擔(dān),提高了工作效率。該系統(tǒng)改善了傳統(tǒng)管理更新模式,實現(xiàn)了測繪成果數(shù)據(jù)可視化管理,自動化更新,提升了測繪成果管理信息化水平;提供數(shù)據(jù)對接端口,提升了數(shù)據(jù)共享能力,使測繪成果數(shù)據(jù)能得到更好的應(yīng)用。
在現(xiàn)存的根據(jù)數(shù)據(jù)管理系統(tǒng)庫的基礎(chǔ)測繪成果生產(chǎn)更新管理中,測繪數(shù)據(jù)成果生產(chǎn)系統(tǒng)和數(shù)據(jù)庫管理系統(tǒng)之間是不同步的。傳統(tǒng)的全覆蓋式更新的管理方式嚴重影響數(shù)據(jù)的現(xiàn)勢性,進而制約了生產(chǎn)效率。利用數(shù)據(jù)庫增量更新技術(shù)進行測繪數(shù)據(jù)生產(chǎn)的管理更新,可實現(xiàn)測繪成果生產(chǎn)系統(tǒng)與數(shù)據(jù)庫管理系統(tǒng)的聯(lián)動更新,減少更新范圍和工作量,提高了更新效率,同時完成了各期數(shù)據(jù)版本管理。