楊順秀 黃振
摘要:為了沖破“信息孤島”,趕上交通行業(yè)信息化發(fā)展的趨勢(shì)和大數(shù)據(jù)時(shí)代的步伐,提升廣西高速公路科學(xué)管理和服務(wù)水平,文章設(shè)計(jì)了一種以交通大數(shù)據(jù)共享交換服務(wù)為核心的數(shù)據(jù)共享交換平臺(tái)框架,為不同來(lái)源數(shù)據(jù)的融合、集成、共享和交換提供技術(shù)支持。
關(guān)鍵詞:大數(shù)據(jù);共享交換;高速公路;信息化
中圖分類(lèi)號(hào):U412.366 文獻(xiàn)標(biāo)識(shí)碼:A DOI:10.13282/j.cnki.wccst.2019.10.044
文章編號(hào):1673-4874(2019)10-0159-03
0引言
隨著計(jì)算機(jī)技術(shù)的進(jìn)步和社會(huì)的發(fā)展,發(fā)展智慧交通成為提升交通科學(xué)管理和交通服務(wù)水平的重要措施。其中交通行業(yè)的信息化建設(shè)是發(fā)展智慧交通的核心基礎(chǔ)之一。目前,廣西交通相關(guān)部門(mén)大多都采用各自不同的信息系統(tǒng)、業(yè)務(wù)系統(tǒng),其應(yīng)用的標(biāo)準(zhǔn)、規(guī)范均不一致。同時(shí),部門(mén)、區(qū)域、行業(yè)之間數(shù)據(jù)資源的隔離也阻礙了廣西區(qū)域信息化建設(shè)的進(jìn)程。數(shù)據(jù)資源的隔離和不一致性導(dǎo)致了諸多問(wèn)題的出現(xiàn):
(1)高速公路相關(guān)部門(mén)相互之間的聯(lián)系“縱強(qiáng)橫弱”。相關(guān)部門(mén)縱向?qū)蛹?jí)關(guān)系之間聯(lián)系密切,而橫向之間關(guān)系孤立,導(dǎo)致橫向之間的溝通交流十分困難,形成了許多“信息孤島”。
(2)交通相關(guān)信息資源隔絕。交通相關(guān)信息資源的孤立、不互通,導(dǎo)致交通信息化設(shè)施重復(fù)投資建設(shè),為交通部門(mén)人員增加了大量重復(fù)工作,從而增加交通建設(shè)的成本。
(3)缺乏對(duì)交通大數(shù)據(jù)的分析和挖掘。目前,大部分交通部門(mén)還沒(méi)有具備成熟的交通大數(shù)據(jù)分析應(yīng)用能力,未能充分利用海量的交通數(shù)據(jù),造成數(shù)據(jù)資源的浪費(fèi)。
因此,本文提議構(gòu)建一種融合的交通大數(shù)據(jù)共享交換平臺(tái),對(duì)平臺(tái)的總體設(shè)計(jì)框架、平臺(tái)創(chuàng)新點(diǎn)及應(yīng)用價(jià)值作分析論述,促進(jìn)大數(shù)據(jù)資源的集成、共享及其潛在價(jià)值的挖掘利用。
1數(shù)據(jù)共享交換平臺(tái)的主要建設(shè)內(nèi)容
1.1高速公路大數(shù)據(jù)資源集成和管理
高速公路大數(shù)據(jù)資源集成和管理以綜合利用交通數(shù)據(jù)資源為目標(biāo),建立一個(gè)通用的、分布式數(shù)據(jù)共享交換平臺(tái),將交通運(yùn)輸、運(yùn)管、氣象等相關(guān)部門(mén)的數(shù)據(jù)統(tǒng)一集成管理。數(shù)據(jù)源的管理包括數(shù)據(jù)源的分類(lèi)、目錄管理、安全保障、日志記錄及統(tǒng)計(jì)和監(jiān)控等。
1.2 數(shù)據(jù)標(biāo)準(zhǔn)化處理
數(shù)據(jù)共享交換首先要從各部門(mén)提取數(shù)據(jù),對(duì)于這些不同來(lái)源的數(shù)據(jù),需要進(jìn)行標(biāo)準(zhǔn)化融合處理,包括數(shù)據(jù)清洗、過(guò)濾、轉(zhuǎn)換和加載,重新組織數(shù)據(jù),確保數(shù)據(jù)正確,消除數(shù)據(jù)冗余。
2 平臺(tái)介紹
數(shù)據(jù)共享交換平臺(tái)的建設(shè)目標(biāo)是通過(guò)整合高速公路運(yùn)營(yíng)中相關(guān)業(yè)務(wù)系統(tǒng)和各領(lǐng)域的數(shù)據(jù)資源,打破“信息孤島”,將這些數(shù)據(jù)進(jìn)行共享交換,使各部門(mén)、各領(lǐng)域之間實(shí)現(xiàn)數(shù)據(jù)的聯(lián)動(dòng)聯(lián)通,在公眾出行、公路協(xié)同、公路管理等方面起到重要的作用。在如今數(shù)據(jù)爆發(fā)的時(shí)代,海量高速公路數(shù)據(jù)具有大量隱含的有用信息等待挖掘,而數(shù)據(jù)資源是數(shù)據(jù)挖掘的基礎(chǔ),所以數(shù)據(jù)共享交換平臺(tái)也將為高速公路的數(shù)據(jù)挖掘領(lǐng)域提供便利。
如圖1所示為平臺(tái)總體架構(gòu)圖,該平臺(tái)分為網(wǎng)絡(luò)基礎(chǔ)設(shè)施、數(shù)據(jù)資源、共享交換平臺(tái)、應(yīng)用層和表示層,共五層。
2.1網(wǎng)絡(luò)基礎(chǔ)設(shè)施
網(wǎng)絡(luò)基礎(chǔ)設(shè)施主要為高速公路中的收費(fèi)站、服務(wù)區(qū)、隧道等交通設(shè)施中的網(wǎng)絡(luò),包括硬件設(shè)備、系統(tǒng)軟件及其運(yùn)行環(huán)境,以及提供通信的因特網(wǎng)。這些網(wǎng)絡(luò)基礎(chǔ)設(shè)施將采集到各類(lèi)高速公路數(shù)據(jù),如監(jiān)控視頻、收費(fèi)數(shù)據(jù)、車(chē)流量、突發(fā)事件、氣象信息等。在當(dāng)今的互聯(lián)網(wǎng)時(shí)代中,網(wǎng)絡(luò)基礎(chǔ)設(shè)施是整個(gè)高速公路運(yùn)營(yíng)中極其關(guān)鍵的一部分。
2.2 數(shù)據(jù)資源
該平臺(tái)可共享交換的數(shù)據(jù)資源不局限于關(guān)系型數(shù)據(jù)庫(kù),還包括MongoDB、Excel、RDF、CSV、谷歌電子表格等各種形式的數(shù)據(jù),對(duì)各類(lèi)數(shù)據(jù)資源的兼容性強(qiáng)。對(duì)多種形式的數(shù)據(jù)進(jìn)行統(tǒng)一采集和存儲(chǔ),建立統(tǒng)一的交通數(shù)據(jù)資源庫(kù)。在采集和整合各類(lèi)數(shù)據(jù)時(shí),對(duì)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、加載和標(biāo)準(zhǔn)化處理,保證數(shù)據(jù)的規(guī)范性和易用性。
2.3 共享交換平臺(tái)
共享交換平臺(tái)提供了數(shù)據(jù)共享交換服務(wù)、安全保障服務(wù)及服務(wù)調(diào)用統(tǒng)計(jì)和監(jiān)控服務(wù)。
(1)數(shù)據(jù)共享交換服務(wù)
數(shù)據(jù)共享交換服務(wù)即交通運(yùn)輸各級(jí)部門(mén)及外部關(guān)聯(lián)部門(mén)之間相關(guān)數(shù)據(jù)的共享和交換,提高交通數(shù)據(jù)資源的利用率,增強(qiáng)交通運(yùn)輸管理和引導(dǎo)能力,促進(jìn)各級(jí)部門(mén)、各分散應(yīng)用系統(tǒng)之間的數(shù)據(jù)聯(lián)通和業(yè)務(wù)協(xié)同。一方面用戶(hù)通過(guò)數(shù)據(jù)服務(wù)引擎將數(shù)據(jù)資源共享到平臺(tái),這些數(shù)據(jù)資源將公開(kāi)為Web服務(wù)或Rest資源;另一方面用戶(hù)通過(guò)調(diào)用Rest/Web服務(wù)來(lái)獲取平臺(tái)上的數(shù)據(jù)資源。
(2)安全保障服務(wù)
使用HTTP(S)基本身份驗(yàn)證、WS-SecuritV、WS-PolicyAttochment和WS-SecurityPolicy等方式進(jìn)行身份驗(yàn)證、授權(quán)和加密,保障數(shù)據(jù)的機(jī)密性、完整性。
為公共安全模式提供方便的WS-Security策略配置。
通過(guò)策略配置,靈活限制訪司頻率、源IP等。
全面的用戶(hù)管理,用戶(hù)按角色劃分,并為不同角色配置對(duì)應(yīng)的操作權(quán)限。
(3)服務(wù)調(diào)用統(tǒng)計(jì)與監(jiān)控
平臺(tái)對(duì)每個(gè)數(shù)據(jù)服務(wù)進(jìn)行請(qǐng)求數(shù)、響應(yīng)數(shù)、出錯(cuò)數(shù)、最大響應(yīng)時(shí)間、最小響應(yīng)時(shí)間、平均響應(yīng)時(shí)間的統(tǒng)計(jì),并采用圖形化界面對(duì)服務(wù)平均響應(yīng)時(shí)間進(jìn)行記錄。平臺(tái)的系統(tǒng)統(tǒng)計(jì)功能將有效服務(wù)數(shù)、總故障計(jì)數(shù)、總響應(yīng)數(shù)、平均響應(yīng)時(shí)間等參數(shù)進(jìn)行統(tǒng)計(jì),同時(shí)對(duì)系統(tǒng)內(nèi)存使用情況進(jìn)行統(tǒng)計(jì)監(jiān)控,從而直觀掌握服務(wù)和系統(tǒng)的性能。
2.4 應(yīng)用層
數(shù)據(jù)共享交換平臺(tái)為交通運(yùn)輸各級(jí)部門(mén)、氣象局、消防等各內(nèi)外部門(mén)提供數(shù)據(jù)資源服務(wù)接口,為滿(mǎn)足不同用戶(hù)實(shí)際需求提供數(shù)據(jù)基礎(chǔ),提供相關(guān)應(yīng)用如應(yīng)急聯(lián)動(dòng)、高速公路管理、大數(shù)據(jù)分析和挖掘等。
2.5 表示層
建立廣西高速公路信息綜合網(wǎng)站,為各類(lèi)用戶(hù)提供統(tǒng)一的訪司入口。
3 平臺(tái)創(chuàng)新
3.1關(guān)聯(lián)支持
類(lèi)似于關(guān)系型數(shù)據(jù)庫(kù)中的跨庫(kù)查詢(xún),本數(shù)據(jù)共享交換平臺(tái)支持跨數(shù)據(jù)源的嵌套查詢(xún),可由來(lái)自多個(gè)源的數(shù)據(jù)組合咸單個(gè)響應(yīng)。
3.2 提供事務(wù)性數(shù)據(jù)訪問(wèn)和服務(wù)
在本平臺(tái)中,可共享交換的數(shù)據(jù)源可能分布在各個(gè)不同的服務(wù)器上,在這種集群環(huán)境下,為保證集群的ACID、效率和性能,平臺(tái)引入了分布式事務(wù),并采用JMS(Java Message Service)來(lái)實(shí)現(xiàn)。在多個(gè)節(jié)點(diǎn)(數(shù)據(jù)源)中的事務(wù)提交相對(duì)復(fù)雜,如果出現(xiàn)部分節(jié)點(diǎn)的事務(wù)提交出錯(cuò),這種情況下發(fā)生改變的節(jié)點(diǎn)必須進(jìn)行回滾,以保證數(shù)據(jù)源的一致性。本平臺(tái)支持跨數(shù)據(jù)源的事務(wù)性訪司和服務(wù),并且具有回滾的能力。
3.3 完善的管理和監(jiān)控
本平臺(tái)具有企業(yè)級(jí)安全性的綜合管理和監(jiān)控Web控制臺(tái),內(nèi)置標(biāo)準(zhǔn)訪司和性能統(tǒng)計(jì)的收集和監(jiān)控,具有日志記錄系統(tǒng)集成的靈活日志記錄支持。
3.4 具有高性能、高可用性和穩(wěn)定性
本平臺(tái)全部采用流式處理大數(shù)據(jù)量,數(shù)據(jù)訪問(wèn)的延遲極低,采用最小化數(shù)據(jù)庫(kù)訪司的分布式響應(yīng)緩存,支持高可用部署,長(zhǎng)期執(zhí)行穩(wěn)定,資源利用率高。
3.5數(shù)據(jù)標(biāo)準(zhǔn)化
本平臺(tái)數(shù)據(jù)通過(guò)XSLT和XQuery進(jìn)行轉(zhuǎn)換,提供標(biāo)準(zhǔn)數(shù)據(jù)類(lèi)型的內(nèi)置驗(yàn)證程序,并提供通過(guò)Java擴(kuò)展的可定制驗(yàn)證器。
4 交通大數(shù)據(jù)共享交換在廣西高速公路發(fā)展中的應(yīng)用和價(jià)值
數(shù)據(jù)共享交換平臺(tái)圍繞廣西高速公路信息化建設(shè)為核心,集成了交通運(yùn)輸、運(yùn)管、氣象、安全運(yùn)輸、公安等各部門(mén)的相關(guān)數(shù)據(jù),打通數(shù)據(jù)交換的標(biāo)準(zhǔn)通道,將這些數(shù)據(jù)進(jìn)行開(kāi)放共享,初步實(shí)現(xiàn)跨區(qū)域、跨行業(yè)、跨層級(jí)、跨部門(mén)、跨系統(tǒng)間的數(shù)據(jù)共享和交換。數(shù)據(jù)共享交換平臺(tái)大大節(jié)約了各部門(mén)建設(shè)數(shù)據(jù)資源庫(kù)的成本,有利于推進(jìn)“信息孤島”間的協(xié)同管理。同時(shí)可利用這些數(shù)據(jù)資源拓展相關(guān)大數(shù)據(jù)應(yīng)用,如智慧出行,交通大數(shù)據(jù)分析、挖掘及決策支持,車(chē)路協(xié)同等應(yīng)用,提升廣西的交通科學(xué)管理水平和服務(wù)質(zhì)量,促進(jìn)廣西交通行業(yè)的現(xiàn)代化發(fā)展。
本文提出并開(kāi)發(fā)的交通大數(shù)據(jù)共享交換平臺(tái)目前已經(jīng)在河池至百色高速公路、吳圩機(jī)場(chǎng)至大塘高速公路、梧州至柳州高速公路等多條廣西高速公路路段得到成功應(yīng)用,實(shí)現(xiàn)了各部門(mén)各區(qū)域之間的信息互聯(lián)互通,大大減少了交通信息化建設(shè)的成本,提升了廣西高速公路的管理水平,帶來(lái)了良好的經(jīng)濟(jì)效益和社會(huì)效益。隨著該平臺(tái)的不斷推廣應(yīng)用,其對(duì)廣西高速公路現(xiàn)代化發(fā)展的推動(dòng)效果將愈加顯著。
5 結(jié)語(yǔ)
本文提出了一種融合的交通大數(shù)據(jù)共享交換技術(shù),對(duì)數(shù)據(jù)共享交換平臺(tái)的主要建設(shè)內(nèi)容進(jìn)行了分點(diǎn)概述,對(duì)平臺(tái)的總體框架、主要功能和創(chuàng)新點(diǎn)進(jìn)行了詳細(xì)的分析論述,并對(duì)該平臺(tái)的實(shí)際應(yīng)用情況及其應(yīng)用價(jià)值作了說(shuō)明和分析。該技術(shù)促進(jìn)了交通大數(shù)據(jù)資源的集成、共享及其潛在價(jià)值的挖掘利用,大大減少了廣西高速公路管理的成本,提高了管理的質(zhì)量和水平。目前,該技術(shù)在廣西多個(gè)高速公路路段得到了應(yīng)用,接下來(lái)的工作主要是對(duì)該技術(shù)繼續(xù)進(jìn)行推廣應(yīng)用,同時(shí)針對(duì)應(yīng)用過(guò)程中出現(xiàn)的新需求或不足,對(duì)其進(jìn)行不斷地維護(hù)改進(jìn),目標(biāo)是確保該技術(shù)對(duì)于提升廣西高速公路科學(xué)管理和服務(wù)水平起到良好的促進(jìn)作用。