文/余姚市住房和城鄉(xiāng)建設(shè)局 董雯雯
面對當(dāng)前不同企業(yè)中的城建規(guī)劃檔案、招標(biāo)檔案、投標(biāo)檔案、施工檔案、竣工驗收檔案等內(nèi)容,應(yīng)采用JAVA或Java EE匯編語言、JSP網(wǎng)頁開發(fā)技術(shù),以及虛擬主機、API接口、網(wǎng)絡(luò)云服務(wù)器等的云計算技術(shù),建構(gòu)起城建檔案的網(wǎng)絡(luò)信息化系統(tǒng),對某一空間區(qū)域內(nèi)的城建檔案,作出數(shù)據(jù)挖掘與整合、信息查詢、業(yè)務(wù)服務(wù)執(zhí)行等的集中管理,帶動城建檔案資源的存儲、開發(fā)與共享。
(一)削減城建檔案資源管理的人力、物力與資金成本。大數(shù)據(jù)及云計算技術(shù)、“互聯(lián)網(wǎng)+”技術(shù)、5G通信技術(shù)等人工智能技術(shù)快速發(fā)展的背景下,對于不同城市區(qū)域、企事業(yè)單位的城建檔案管理,也開發(fā)出數(shù)字化網(wǎng)絡(luò)云服務(wù)的管理系統(tǒng),進行傳統(tǒng)紙質(zhì)化城建檔案的掃描、錄入、篩選分析與存儲管理。因此,數(shù)字化、云服務(wù)化城建檔案管理模式的實施,能夠大大減少以人力資源為主的檔案管理工作量,削減與降低檔案管理的人力、物力、資金成本,使得不同企業(yè)利用文檔掃描儀、電子錄入系統(tǒng),進行不同類別城建檔案的自動化、智能化管理。
(二)加強數(shù)字化城建檔案資源的共享管理、異地云備份。依托于SQL Server網(wǎng)絡(luò)信息化系統(tǒng)平臺,建立城建檔案館、異地檔案備份數(shù)據(jù)庫,可以按照不同檔案內(nèi)容的來源、文件大小、數(shù)據(jù)格式,對現(xiàn)有的文檔、圖像、視頻、音頻等檔案資源,進行數(shù)字檔案信息的掃描、上傳、存儲與異地備份。因而在網(wǎng)絡(luò)云服務(wù)檔案管理系統(tǒng)中,可以實現(xiàn)海量檔案資源的自動搜集、專用信貸傳輸、云端數(shù)據(jù)存儲、數(shù)據(jù)與服務(wù)共享,為外部用戶、檔案管理人員的城建檔案訪問與調(diào)用提供支持。
(三)提高城建檔案自動化搜集、檢索、整合管理的質(zhì)量。城建檔案管理涉及不同城建規(guī)劃項目數(shù)據(jù),以及城建招投標(biāo)數(shù)據(jù)、施工數(shù)據(jù)、竣工驗收數(shù)據(jù)等記錄與管理。借助于網(wǎng)絡(luò)云服務(wù)的城建檔案管理系統(tǒng),對有關(guān)公共基礎(chǔ)設(shè)施、企事業(yè)單位的城建檔案數(shù)據(jù),開展自動化搜集、檢索、分析與整合管理,可有效提升不同類別檔案信息的統(tǒng)一資料搜集、錄入與存儲效率,最大程度保障城建檔案的真實可靠性、城建檔案管理的質(zhì)量。
(一)大數(shù)據(jù)挖掘技術(shù)。根據(jù)《城市建設(shè)檔案著錄規(guī)范(GB/T50323)》《建設(shè)工程檔案信息數(shù)據(jù)采集標(biāo)準(zhǔn)T/CECS 707-2020》等文件的規(guī)定,當(dāng)下不同城建規(guī)劃項目、企事業(yè)單位中涉及的城建檔案,通常包括公路、鐵路、水運、橋梁、房屋、供電、供熱、給排水、燃氣、照明等多方面內(nèi)容,因而需要針對海量化的城建檔案數(shù)據(jù)信息資源,進行不同檔案重要文檔、日志、表單或圖像信息的挖掘。這一情況下,引入大數(shù)據(jù)挖掘技術(shù),構(gòu)建以Hadoop應(yīng)用程序框架、spark大數(shù)據(jù)處理引擎等為主的分布式計算框架,并利用多元線性回歸的統(tǒng)計分析算法、機器學(xué)習(xí)算法,進行某一城建單位內(nèi)檔案信息的收集、挖掘、處理與存儲,可幫助管理人員完成相應(yīng)的檔案工作決策。
(二)虛擬化與并行計算技術(shù)。在城建檔案網(wǎng)絡(luò)管理平臺中,對網(wǎng)絡(luò)計算機、服務(wù)器、存儲器、I/O連接接口、應(yīng)用程序等軟硬件作出虛擬化,是大數(shù)據(jù)云計算的重要組成技術(shù)之一。當(dāng)前對網(wǎng)絡(luò)軟硬件設(shè)施虛擬化的技術(shù)執(zhí)行,通常會借助于MVC框架、VMware服務(wù)器、hypervisor應(yīng)用管理程序,開展城建檔案網(wǎng)絡(luò)系統(tǒng)中的軟硬件虛擬化,虛擬出CPU微處理器、Web server服務(wù)組件、OS操作系統(tǒng)、I/O接口,來為城建檔案信息的分布式并行處理提供軟硬件支持。
而分布式并行計算技術(shù)作為海量化數(shù)據(jù)的處理計算,主要將某一數(shù)據(jù)計算任務(wù)分解為多個小任務(wù),進行城建檔案數(shù)據(jù)處理的任務(wù)分配、并行計算任務(wù)執(zhí)行,將計算任務(wù)分配至相應(yīng)的虛擬化硬件模塊、數(shù)據(jù)節(jié)點完成信息資源處理。
(三)B/S數(shù)據(jù)服務(wù)架構(gòu)技術(shù)。B/S數(shù)據(jù)服務(wù)架構(gòu)也被稱為瀏覽器/服務(wù)器架構(gòu)模式,主要通過構(gòu)建Web網(wǎng)絡(luò)瀏覽器的工作界面,來完成用戶客戶端、服務(wù)器端(Server)之間的數(shù)據(jù)交互,以及不同數(shù)據(jù)庫請求、業(yè)務(wù)請求任務(wù)的執(zhí)行。現(xiàn)有城建檔案系統(tǒng)的B/S數(shù)據(jù)服務(wù)架構(gòu),主要包括客戶端、Web服務(wù)器、數(shù)據(jù)庫服務(wù)器等組成層級。
其中客戶端層級為Web瀏覽器頁面,通常采取JsP動態(tài)網(wǎng)頁開發(fā)技術(shù)、Java EE匯編語言,將已編寫完成的HTML代碼轉(zhuǎn)換為網(wǎng)頁,用于用戶數(shù)據(jù)信息訪問、業(yè)務(wù)請求等的響應(yīng),并將數(shù)據(jù)訪問或處理請求發(fā)送至后臺服務(wù)器。之后Web服務(wù)器為B/S架構(gòu)的中間層,主要通過借助于Spring MVC框架,進行數(shù)據(jù)訪問、數(shù)據(jù)處理、進程響應(yīng)請求的執(zhí)行,并將執(zhí)行結(jié)果返回客戶端瀏覽器。數(shù)據(jù)庫服務(wù)器為B/S架構(gòu)的最底層,可用于接收外部客戶請求、發(fā)出數(shù)據(jù)庫請求操作,方便城建檔案信息的查詢、調(diào)用與存儲。
本文在網(wǎng)絡(luò)計算機、后臺服務(wù)器、存儲器、數(shù)據(jù)庫等硬件的基礎(chǔ)上,采取JAVA、Java EE等匯編語言,以及hypervisor應(yīng)用管理程序、MVC框架、VMware服務(wù)組件,搭建起用于資源管理的網(wǎng)絡(luò)信息化系統(tǒng),整個系統(tǒng)被部署在SQL Server數(shù)據(jù)管理平臺,展示頁面為瀏覽器/服務(wù)器(B/S)網(wǎng)頁架構(gòu)。
在此基礎(chǔ)上,添加城建檔案信息的數(shù)字化掃描儀、GIS地理信息系統(tǒng)、XML文件存儲與備份引擎、分類服務(wù)器,進行城市公共基礎(chǔ)設(shè)施、房屋建筑等城建檔案的管理,包括數(shù)字化檔案搜集、挖掘、加工處理、存儲與備份,具體的網(wǎng)絡(luò)信息化檔案管理系統(tǒng)結(jié)構(gòu)如圖1所示:
圖1 城建檔案網(wǎng)絡(luò)信息化管理系統(tǒng)架構(gòu)
從圖1的城建檔案網(wǎng)絡(luò)信息化管理系統(tǒng)架構(gòu)可以得出:在虛擬主機、API接口、網(wǎng)絡(luò)云服務(wù)器、工作流引擎、XML文件存儲與備份引擎等軟硬件的支持下,當(dāng)前網(wǎng)絡(luò)化城建檔案管理模式,主要包含城建檔案管理系統(tǒng)、城建業(yè)務(wù)管理系統(tǒng)、城建聲像檔案管理系統(tǒng)的組成部分。
以上不同城建檔案管理的系統(tǒng)模塊,可針對從外部用戶客戶端渠道接收的城市市政檔案、房屋建筑檔案、管線工程檔案、其他電子化文件檔案,由XML引擎、工作流引擎等對多種檔案信息進行識別判斷。然后依托在線城建檔案業(yè)務(wù)管理的監(jiān)控平臺,開展檔案庫房溫度、濕度的實時監(jiān)控,并提供傳統(tǒng)紙質(zhì)檔案、照片檔案、錄音錄像檔案等的資源搜集、數(shù)字化加工、存儲與備份管理。
在完成多源城建檔案信息的處理、存儲后,利用城建檔案門戶網(wǎng)站的服務(wù)窗口,進行互聯(lián)網(wǎng)檔案信息發(fā)布、內(nèi)容檢索、在線業(yè)務(wù)指導(dǎo)、交互反饋等的功能設(shè)置,由外部用戶經(jīng)由Web網(wǎng)站交互端口,發(fā)出數(shù)據(jù)信息訪問、數(shù)據(jù)處理請求。隨后將數(shù)據(jù)訪問、數(shù)據(jù)處理請求的任務(wù)執(zhí)行結(jié)果進行分類提取,并在Web網(wǎng)頁交互端口中顯示,得出城建檔案的重要數(shù)據(jù)、類別數(shù)據(jù)信息,可支持城建檔案瀏覽、上傳、下載與共享服務(wù)的功能實現(xiàn)。
(一)網(wǎng)絡(luò)系統(tǒng)登錄界面。借助于JSP動態(tài)網(wǎng)頁開發(fā)技術(shù)、B/S網(wǎng)頁服務(wù)架構(gòu),進行城建檔案信息化管理系統(tǒng)的界面制作與登錄。由城建檔案網(wǎng)絡(luò)平臺的管理人員,根據(jù)外部用戶的等級分配訪問權(quán)限,用戶在輸入賬戶名、密碼等信息后,后臺服務(wù)器會對JSP網(wǎng)絡(luò)頁面的訪問代碼,進行登錄值、驗證信息的編譯與操作響應(yīng),若登錄信息正確則跳轉(zhuǎn)至系統(tǒng)業(yè)務(wù)界面。
城建檔案系統(tǒng)業(yè)務(wù)執(zhí)行界面,包括城建檔案信息登記、檔案責(zé)任書報送、文檔及聲像資料上傳、業(yè)務(wù)交流等的組成模塊,分別負責(zé)多種工程信息的數(shù)據(jù)填寫,以及圖片、視頻的拍攝與上傳,并保存城建檔案信息至后臺服務(wù)器。
而在開展城建檔案系統(tǒng)信息登記、文件資料上傳、業(yè)務(wù)交流之前,需要先利用JSP網(wǎng)頁前端驗證法,對用戶賬戶名、密碼等登錄信息進行保存后的驗證,具體的執(zhí)行流程如下:
1.發(fā)送用戶名請求的字符串,獲取“用戶名”參數(shù)信息并修剪。2.若系統(tǒng)請求失效,則返回有關(guān)“用戶名”獲取請求的參數(shù)信息,否則繼續(xù)執(zhí)行以下程序。3.若輸入用戶名為空,則設(shè)置用戶信息==0,將以上發(fā)送的錯誤信息返回,并立即跳轉(zhuǎn)至登錄界面、重定向System.out系統(tǒng)。4.若輸入的用戶名、密碼正確,則登錄并保存用戶信息。
(二)城建檔案的自動搜集、掃描上傳。在《城市建設(shè)檔案著錄規(guī)范(GB/T50323)》《建設(shè)工程檔案信息數(shù)據(jù)采集標(biāo)準(zhǔn)T/CECS 707-2020》等文件指導(dǎo)下,依托地方城建檔案的數(shù)據(jù)中心、網(wǎng)絡(luò)信息管理平臺,以及外加的自動掃描儀、服務(wù)器集群等基礎(chǔ)軟硬件設(shè)施,對某一企事業(yè)單位內(nèi)部的城建檔案,包括城建文本、圖像、音頻、視頻、超媒體鏈接等文件資源,開展自動化的數(shù)據(jù)信息掃描、冗余噪聲處理,完成城建檔案管理的前端訪問請求、數(shù)據(jù)輸入控制。
(三)城建檔案的挖掘與加工處理。在某一廣域網(wǎng)或局域網(wǎng)空間內(nèi)的城建檔案處理過程中,通?;贛apReduce集群平臺、hypervisor應(yīng)用管理程序、HDFS分布式文件存儲系統(tǒng),進行網(wǎng)絡(luò)平臺內(nèi)的計算機、服務(wù)器、存儲器、I/O接口等的軟硬件虛擬化。之后利用多種虛擬化硬件的數(shù)據(jù)節(jié)點,包括名稱節(jié)點(NameNode)、數(shù)據(jù)節(jié)點(DataNode),開展不同類別城建檔案的數(shù)據(jù)挖掘、加工處理。
首先借助于hypervisor vSphere虛擬化程序的服務(wù)組件,包括Sqoop、Flume數(shù)據(jù)采集組件,對外部客戶導(dǎo)入的城建檔案數(shù)據(jù)資源,進行數(shù)據(jù)信息來源、文檔大小、文件格式等的日志信息挖掘。之后針對挖掘到的城建檔案信息資源,作出冗余數(shù)據(jù)的預(yù)處理,通常由MapReduce集群平臺負責(zé),經(jīng)歷城建檔案數(shù)據(jù)的清洗、集成、選擇和變換等執(zhí)行流程,去除存在錯誤、重復(fù)的冗余數(shù)據(jù)噪聲,以保障后續(xù)城建檔案數(shù)據(jù)存儲的準(zhǔn)確性。
(四)城建檔案資源存儲與遠程備份。網(wǎng)絡(luò)數(shù)字化城建檔案資源的歸檔存儲、遠程備份管理,主要依托后臺云服務(wù)器、存儲器、數(shù)據(jù)庫的軟硬件,對已經(jīng)整理完成的城市規(guī)劃、房屋、道路、橋梁、水電、管道、園林等檔案信息,進行分類的數(shù)據(jù)整合、規(guī)范集中存儲,以便于城建檔案部門、檔案管理人員、外部用戶的訪問和調(diào)用。
而在城建檔案數(shù)據(jù)信息的遠程備份,則利用本企事業(yè)單位的主數(shù)據(jù)庫,與其他數(shù)據(jù)庫備份機之間,經(jīng)由5G通信技術(shù)、TCP/IP協(xié)議建立網(wǎng)絡(luò)連接,傳輸本地的城建檔案文件資源至異地備份,同時更新日志實時傳送至備份數(shù)據(jù)庫之中,并將城建檔案數(shù)據(jù)的存儲與備份結(jié)果,在Web網(wǎng)頁交互端口作出顯示。
面對城市區(qū)域日益增多的公共基礎(chǔ)設(shè)施、房產(chǎn)建設(shè)項目,如何對存在的海量化城建檔案數(shù)據(jù)進行全面的挖掘、篩選與存儲管理,成為城建檔案部門關(guān)注的重要課題之一。借助于MVC框架、VMware服務(wù)器、hypervisor應(yīng)用管理程序等框架,以及Web service組件、Agent組件、XML中間件等的組件,進行海量化城建檔案的搜集、檢索、挖掘、加工處理、存儲與備份,滿足大規(guī)模城建檔案數(shù)據(jù)的管理需求。