大數(shù)據(jù)在?；愤\(yùn)輸監(jiān)管平臺(tái)中的應(yīng)用

武翠芳

(東營(yíng)市交通運(yùn)輸局，山東 東營(yíng) 257091)

1 引 言

伴隨著化工產(chǎn)業(yè)的日益發(fā)展，我國(guó)?；沸枨笠膊粩嘣鲩L(zhǎng)。在各種運(yùn)輸方式中，傳統(tǒng)的公路運(yùn)輸方式存在靈活易組織的特點(diǎn)，為實(shí)現(xiàn)“精準(zhǔn)到戶”的運(yùn)輸，?；肥褂霉愤\(yùn)輸方式優(yōu)勢(shì)明顯。據(jù)數(shù)據(jù)統(tǒng)計(jì)，公路運(yùn)輸?；愤\(yùn)輸占運(yùn)輸總量的80%左右，是?；愤\(yùn)輸?shù)闹饕x擇方式。由于?；芬兹?、易爆、易腐蝕具有的特點(diǎn)，給運(yùn)輸過(guò)程帶來(lái)較大風(fēng)險(xiǎn)。

2 項(xiàng)目目標(biāo)及意義

本文研究的項(xiàng)目是基于東營(yíng)市?；愤\(yùn)輸管理現(xiàn)狀及存在問(wèn)題而產(chǎn)生的，目的是執(zhí)行東營(yíng)市政府加強(qiáng)對(duì)危化品運(yùn)輸監(jiān)管的精神，建立起一套對(duì)于危化品運(yùn)輸全過(guò)程監(jiān)管監(jiān)測(cè)的平臺(tái)，提高對(duì)于東營(yíng)市整個(gè)?；愤\(yùn)輸行

業(yè)的監(jiān)管水平，同時(shí)可以隨時(shí)接收車輛上危化品狀態(tài)及車輛位置信息，將這些數(shù)據(jù)實(shí)時(shí)保存之后，指揮中心用戶可以發(fā)送警示及指導(dǎo)指令給行駛中的車輛，提示駕駛員及時(shí)更正危險(xiǎn)駕駛行為；可在客戶端任意調(diào)取任意車輛上運(yùn)載的危險(xiǎn)化學(xué)品信息，為可能實(shí)施的救援提供技術(shù)保障。結(jié)合東營(yíng)市危化品運(yùn)輸企業(yè)及政府管理部門的需求，本文設(shè)計(jì)實(shí)現(xiàn)了一套基于GPS/GIS架構(gòu)的?；愤\(yùn)輸行為智能監(jiān)管平臺(tái)。平臺(tái)的數(shù)據(jù)服務(wù)中心(Data server Center)簡(jiǎn)稱DSC，是?；沸畔⒐芾硐到y(tǒng)中服務(wù)器軟件所有功能單元的核心。車載終端設(shè)備與指揮中心服務(wù)器端通信，數(shù)據(jù)服務(wù)中心負(fù)責(zé)與用戶端界面交互管理，同時(shí)負(fù)責(zé)客戶端與云平臺(tái)數(shù)據(jù)庫(kù)的交換數(shù)據(jù)的任務(wù)。本文會(huì)系統(tǒng)性地分析該數(shù)據(jù)服務(wù)中心的數(shù)據(jù)實(shí)現(xiàn)，以及具體功能實(shí)現(xiàn)的問(wèn)題，例如與用戶客戶端的交互，與云平臺(tái)數(shù)據(jù)庫(kù)的交互，與車載終端設(shè)備的通信以及數(shù)據(jù)服務(wù)中心內(nèi)部數(shù)據(jù)同步管理的問(wèn)題。

3 東營(yíng)市?；奋囕v管理需求分析

東營(yíng)市作為全國(guó)危險(xiǎn)品運(yùn)輸行業(yè)的焦點(diǎn)，有著得天獨(dú)厚的運(yùn)輸優(yōu)勢(shì)，也給政府監(jiān)管帶來(lái)更多挑戰(zhàn)。有的危化品運(yùn)輸企業(yè)重效益輕管理，安全措施不落實(shí)；有的?；奋囕v和從業(yè)人員資質(zhì)未經(jīng)行業(yè)管理部門認(rèn)證，許多車輛也有超載超限、非法改裝、未安裝緊急切斷裝置的現(xiàn)象。有效建立?；愤\(yùn)輸監(jiān)管體制，是監(jiān)管部門追求的目標(biāo)。市面上正在使用的平臺(tái)有部門的、企業(yè)的，如果沒(méi)有良好的政府監(jiān)管平臺(tái)對(duì)它們進(jìn)行監(jiān)控，這些平臺(tái)就會(huì)形同虛設(shè)。

?；愤\(yùn)輸企業(yè)的管理包括企業(yè)級(jí)、車輛、人員、油氣儲(chǔ)罐等許多環(huán)節(jié)，由交通、安監(jiān)、公安、應(yīng)急、質(zhì)監(jiān)等多部門監(jiān)管，監(jiān)管與數(shù)據(jù)的分隔性，亟待催生一種新的管理模式打破監(jiān)管壁壘，優(yōu)化監(jiān)管環(huán)節(jié)，成為監(jiān)管本地?；愤\(yùn)輸行業(yè)向好發(fā)展的手段。

本文依據(jù)東營(yíng)市危化品運(yùn)輸行業(yè)現(xiàn)狀及需求，設(shè)計(jì)實(shí)現(xiàn)了一個(gè)政府監(jiān)管平臺(tái)，該平臺(tái)是基于JT/T809協(xié)議的規(guī)范的，即上級(jí)監(jiān)控平臺(tái)，對(duì)企業(yè)端使用的車輛監(jiān)控平臺(tái)(簡(jiǎn)稱為下級(jí)監(jiān)控平臺(tái))進(jìn)行了整合監(jiān)管。

主要工作包括以下內(nèi)容。

設(shè)計(jì)政府監(jiān)管平臺(tái)、下級(jí)監(jiān)控平臺(tái)、JT/T809通訊協(xié)議網(wǎng)關(guān)(簡(jiǎn)稱為809通訊平臺(tái))之間的通信方案。該通訊平臺(tái)是基于809網(wǎng)關(guān)協(xié)議的，它是在NIO的Netty框架基礎(chǔ)上進(jìn)行編寫的，再加上WebSocket技術(shù)及RabbitMQ服務(wù)為政府監(jiān)管平臺(tái)前后端與下級(jí)監(jiān)控平臺(tái)前后端之間相互通信提供技術(shù)支持，完成了通信模塊開(kāi)發(fā)。

(2)設(shè)計(jì)政府監(jiān)管平臺(tái)的數(shù)據(jù)庫(kù)方案設(shè)計(jì)。本系統(tǒng)中數(shù)據(jù)類型種類較多，需要根據(jù)不同數(shù)據(jù)的特點(diǎn)采用不同的數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)，數(shù)據(jù)庫(kù)存儲(chǔ)總體方案為MongoDB+Redis緩存+Mysql。

(3)設(shè)計(jì)和實(shí)現(xiàn)政府監(jiān)管平臺(tái)。

政府監(jiān)管平臺(tái)后端采用SpringMVC+Hibernate框架、前端采用Vue.js進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)。系統(tǒng)中相關(guān)功能的實(shí)現(xiàn)符合模塊化設(shè)計(jì)原則，包括基本信息管理功能、綜合交通運(yùn)行監(jiān)控、電子運(yùn)單管理功能、車輛預(yù)警處置、化工企業(yè)過(guò)車監(jiān)控管理、數(shù)據(jù)統(tǒng)計(jì)分析功能六大模塊功能。

4 設(shè)計(jì)方案及主要技術(shù)

4.1 ?；返缆愤\(yùn)輸過(guò)程風(fēng)險(xiǎn)分析

?；愤\(yùn)輸路徑上出現(xiàn)的安全風(fēng)險(xiǎn)因素，可以理解為在未來(lái)某段時(shí)間內(nèi)，在?；愤\(yùn)輸路徑中可能發(fā)生的人身傷亡或財(cái)產(chǎn)損失事故，這些事故因?yàn)榕c危化品運(yùn)輸行為有密切聯(lián)系，其危害性經(jīng)常不可預(yù)測(cè)。通過(guò)查閱交通事故數(shù)據(jù)，我們發(fā)現(xiàn)?；愤\(yùn)輸路徑交通事故的誘因，通常是駕駛?cè)说奈ｋU(xiǎn)駕駛行為、運(yùn)輸車輛的非法改裝和沒(méi)有按時(shí)檢修、運(yùn)輸貨物的不合規(guī)儲(chǔ)存、道路與交通路況及交通規(guī)則不合理、交通管控策略不適應(yīng)實(shí)際運(yùn)輸要求等五個(gè)方面。

東營(yíng)市交通部門從技術(shù)上已經(jīng)實(shí)施了一些監(jiān)管措施，如配載車輛IC信息卡、安裝4G視頻監(jiān)控設(shè)備，實(shí)現(xiàn)了車輛危險(xiǎn)駕駛行為“六預(yù)防”；增加了接打電話、吸煙、打瞌睡等危險(xiǎn)駕駛行為提醒功能，構(gòu)建起了一套安全運(yùn)行預(yù)警系統(tǒng)和車輛緊急避險(xiǎn)提醒監(jiān)管系統(tǒng)。

4.2 大數(shù)據(jù)與?；奋囕v動(dòng)態(tài)監(jiān)管平臺(tái)的融合

對(duì)“大數(shù)據(jù)”的定義有多種，最為流行的定義被稱為“3V”數(shù)據(jù)，即Volume、Velocity和Variety。從容量、速度、多樣性層面對(duì)數(shù)據(jù)進(jìn)行了定義。傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)無(wú)法處理大量的數(shù)據(jù)存儲(chǔ)信息，現(xiàn)在亟待一種新的數(shù)據(jù)處理技術(shù)，可以幫助人們以極快速度分析處理使用大數(shù)據(jù)的技術(shù)。

隨著各種傳感器技術(shù)的成熟應(yīng)用，?；愤\(yùn)輸載體每天回傳大量的信息數(shù)據(jù)，如智能卡數(shù)據(jù)、?；奋囕vGPS軌跡以及承運(yùn)?；沸畔⒌?，這些數(shù)據(jù)記錄了?；奋囕v的運(yùn)行情況和進(jìn)出貨信息。從前的存儲(chǔ)方式，使得回傳數(shù)據(jù)數(shù)據(jù)存在運(yùn)輸軌跡缺失、時(shí)空信息混亂等問(wèn)題。車輛動(dòng)態(tài)監(jiān)管平臺(tái)存在數(shù)據(jù)孤島，各監(jiān)管部門之間系統(tǒng)互相獨(dú)立，技術(shù)標(biāo)準(zhǔn)不一致。要實(shí)現(xiàn)更全面的監(jiān)管職能，就需要整合多源數(shù)據(jù)，結(jié)合大數(shù)據(jù)技術(shù)深入分析挖掘，才能為?；菲髽I(yè)營(yíng)運(yùn)車輛監(jiān)管平臺(tái)提供可靠的數(shù)據(jù)來(lái)源。

Apache開(kāi)發(fā)了一種新的分布式系統(tǒng)框架即Hadoop技術(shù)，它為最底層的分布式文件系統(tǒng)提供了一種使用性能，可以較高容錯(cuò)、快速處理數(shù)據(jù)文件；MapReduce作為一種編程模型，它提供了一種并行化編程框架，用戶不需要清楚系統(tǒng)內(nèi)分布式和并行化的編程細(xì)節(jié)，只需要通過(guò)實(shí)現(xiàn)一個(gè)簡(jiǎn)單的Map函數(shù)，指定并發(fā)的歸約函數(shù)，對(duì)這兩個(gè)類進(jìn)行編寫就可以實(shí)現(xiàn)分布式系統(tǒng)架構(gòu)的實(shí)現(xiàn)。本系統(tǒng)平臺(tái)的實(shí)現(xiàn)是指定了一個(gè)映射函數(shù)，用來(lái)把之前的鍵值對(duì)與新的鍵值對(duì)形成映射關(guān)系，從而可以保證每個(gè)鍵值對(duì)共享相同的鍵組。Hadoop技術(shù)具有最簡(jiǎn)單的并行計(jì)算平臺(tái)，還有可以存儲(chǔ)大量數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)平臺(tái)，這樣為傳統(tǒng)的數(shù)據(jù)算法提供了新的技術(shù)基礎(chǔ)。該系統(tǒng)將數(shù)據(jù)挖掘算法和Hadoop平臺(tái)細(xì)節(jié)進(jìn)行封裝，對(duì)外提供Rest接口，用戶通過(guò)Rest接口調(diào)用并行化的數(shù)據(jù)挖掘算法進(jìn)行數(shù)據(jù)分析，無(wú)需了解底層的具體實(shí)現(xiàn)。

5 系統(tǒng)實(shí)施

5.1 開(kāi)發(fā)實(shí)施步驟

實(shí)施步驟主要包括準(zhǔn)備階段、用戶需求調(diào)研分析、產(chǎn)品分析設(shè)計(jì)、系統(tǒng)頂層設(shè)計(jì)、服務(wù)端架構(gòu)搭建與測(cè)試環(huán)境準(zhǔn)備、設(shè)計(jì)庫(kù)表結(jié)構(gòu)、微服務(wù)模塊設(shè)計(jì)開(kāi)發(fā)、前后端接口標(biāo)準(zhǔn)設(shè)計(jì)開(kāi)發(fā)、程序代碼編程開(kāi)發(fā)與系統(tǒng)集成與測(cè)試等。

5.2 系統(tǒng)總體架構(gòu)設(shè)計(jì)

本平臺(tái)總體上基于云計(jì)算、云服務(wù)、大數(shù)據(jù)開(kāi)發(fā)技術(shù)，采用分層、SOA的架構(gòu)模式，各功能盡量采用SOA模式，各模塊對(duì)外提供完整的接口(API等)，服務(wù)模塊的粒度基于角色、二級(jí)功能模塊。

總體架構(gòu)為分層和SOA服務(wù)模式相結(jié)合，縱向分層，橫向按業(yè)務(wù)切分SOA服務(wù)模塊，業(yè)務(wù)服務(wù)模塊貫穿各層，各組件之間通過(guò)消息中間件、Restful API、Web service、Socket等網(wǎng)絡(luò)調(diào)用方式進(jìn)行交互。所有服務(wù)功能模塊都必須通過(guò)服務(wù)接口公開(kāi)數(shù)據(jù)和功能；服務(wù)模塊之間須通過(guò)這些接口來(lái)進(jìn)行溝通，不能有其他形式的進(jìn)程間通信，沒(méi)有直接連接。大服務(wù)模塊之間不允許直接讀取數(shù)據(jù)存儲(chǔ)，不使用共享內(nèi)存模型，沒(méi)有任何形式的后門，唯一允許的方式是通過(guò)網(wǎng)絡(luò)調(diào)用服務(wù)接口，所有服務(wù)接口必需從底層設(shè)計(jì)上支持外部變化，各模塊設(shè)計(jì)必須在外界的接口上規(guī)劃和設(shè)計(jì)該模塊的內(nèi)容。各服務(wù)支持桌面Web、移動(dòng)APP、智能移動(dòng)終端、C/S客戶端各終端模式接入。

層次大致分為物聯(lián)網(wǎng)/自動(dòng)化控制層、基礎(chǔ)支撐層、大數(shù)據(jù)層、服務(wù)層、用戶訪問(wèn)層。

(1)物聯(lián)網(wǎng)及自動(dòng)化控制層：包括物聯(lián)網(wǎng)設(shè)備接入、網(wǎng)絡(luò)通信及自動(dòng)化控制處理。物聯(lián)網(wǎng)設(shè)備接入：包括各機(jī)械、車輛等傳感器設(shè)備數(shù)據(jù)采集、控制、通信、數(shù)據(jù)接入?yún)R集、設(shè)備遠(yuǎn)程監(jiān)控管理服務(wù)。自動(dòng)化控制：主要是對(duì)設(shè)備進(jìn)行遠(yuǎn)程自動(dòng)化控制，包括：PLC、DCS、控制網(wǎng)絡(luò)、控制指令管理等，與管理對(duì)接。本層接入的數(shù)據(jù)自動(dòng)給大數(shù)據(jù)層進(jìn)行統(tǒng)一管理。

(2)基礎(chǔ)支撐層：對(duì)上層各類軟件服務(wù)的基礎(chǔ)支持環(huán)境，軟硬件環(huán)境、操作系統(tǒng)、數(shù)據(jù)庫(kù)、運(yùn)行環(huán)境、中間件、基礎(chǔ)平臺(tái)等。包括：云計(jì)算和大數(shù)據(jù)環(huán)境；數(shù)據(jù)庫(kù)；Java Web應(yīng)用服務(wù)；數(shù)據(jù)實(shí)時(shí)發(fā)布服務(wù)；消息中間件、業(yè)務(wù)規(guī)則引擎、設(shè)備狀態(tài)監(jiān)控Web組態(tài)件、Web圖形化交互編輯、企業(yè)消息總線、地理信息系統(tǒng)、物聯(lián)網(wǎng)接入；移動(dòng)應(yīng)用環(huán)境支持移動(dòng)設(shè)備接入；內(nèi)存數(shù)據(jù)管理；高性能網(wǎng)絡(luò)應(yīng)用框架；操作系統(tǒng)等。

(3)大數(shù)據(jù)層：對(duì)平臺(tái)各類數(shù)據(jù)進(jìn)行統(tǒng)一管理。此層次對(duì)多類型、多數(shù)據(jù)源、高速數(shù)據(jù)進(jìn)行統(tǒng)一管理，支持對(duì)大數(shù)據(jù)分析展示。對(duì)于業(yè)務(wù)管理類數(shù)據(jù)，比如申請(qǐng)、審批、電子運(yùn)單等固定數(shù)據(jù)的業(yè)務(wù)，采用傳統(tǒng)記錄型關(guān)系數(shù)據(jù)庫(kù)。對(duì)于電子運(yùn)單、視頻圖像、圖片、網(wǎng)頁(yè)內(nèi)容、客戶交互數(shù)據(jù)等散數(shù)據(jù)，不適合用關(guān)系型數(shù)據(jù)庫(kù)，需要采用大數(shù)據(jù)模式的NoSQL等方式處理或單獨(dú)處理。對(duì)于來(lái)自物聯(lián)網(wǎng)的實(shí)時(shí)性的設(shè)備狀態(tài)數(shù)據(jù)、車輛動(dòng)態(tài)數(shù)據(jù)、實(shí)時(shí)作業(yè)數(shù)據(jù)等需要高速緩存，實(shí)時(shí)處理方式。對(duì)于設(shè)備狀態(tài)、車輛等動(dòng)態(tài)目標(biāo)，業(yè)務(wù)辦理數(shù)據(jù)等需要實(shí)時(shí)的，采用分布式緩存技術(shù)，達(dá)到高并發(fā)讀寫。

(4)服務(wù)層：基于SOA模式和SaaS平臺(tái)方式，針對(duì)各功能和角色，包括各類終端服務(wù)、地理信息服務(wù)、大數(shù)據(jù)服務(wù)、設(shè)備管理、視頻服務(wù)、物聯(lián)網(wǎng)設(shè)備云服務(wù)等。支持各類服務(wù)模式的接入，包括桌面、移動(dòng)終端等設(shè)備，服務(wù)調(diào)用Restful API等?，F(xiàn)有系統(tǒng)集成服務(wù)，通過(guò)各類接口和ESB進(jìn)行集成。

(5)用戶訪問(wèn)層：各類訪問(wèn)模式和終端，包括來(lái)自企業(yè)操作人員、政府監(jiān)管等用戶，訪問(wèn)渠道包括瀏覽器、移動(dòng)終端、控制中心、移動(dòng)APP等。

SOA服務(wù)模塊按業(yè)務(wù)進(jìn)行劃分，基于上述分層，按角色、業(yè)務(wù)功能分塊，形成各功能獨(dú)立的服務(wù)模塊，每個(gè)SOA模塊都提供服務(wù)接口，各SOA模塊之間通過(guò)網(wǎng)絡(luò)互相調(diào)用服務(wù)接口。服務(wù)各模塊通過(guò)網(wǎng)絡(luò)調(diào)用進(jìn)行交互。各服務(wù)之間可自由組合，定制不同的產(chǎn)品。平臺(tái)各部分之間相對(duì)獨(dú)立，有相互交互，每個(gè)部分都可以獨(dú)立運(yùn)行，自由組合配置。

6 結(jié) 語(yǔ)

大數(shù)據(jù)在?；沸袠I(yè)管理平臺(tái)中的應(yīng)用，連通了各監(jiān)管部門及運(yùn)輸企業(yè)之間的數(shù)據(jù)孤島，提高了?；奋囕v道路事故救援的及時(shí)有效性，交通運(yùn)輸管理部門可以制定更加詳盡的管理方案及應(yīng)急事件預(yù)警方案，降低重大?；愤\(yùn)輸事故發(fā)生率，推動(dòng)行業(yè)良性發(fā)展。