王波,李時輝,朱萍

公路智能交通云平臺設計與實現

王波,李時輝,朱萍

義烏工商職業(yè)技術學院, 浙江 義烏 322000

鑒于公路交通數據及應用的分散、獨立與割裂，本文提出設施連通、數據互通、信息暢通以及人、車、路協同的基本思想，給出基于線性規(guī)劃NP求最優(yōu)解的大規(guī)模資源調度算法、Hadoop與Spark相整合的大數據融合架構和OpenStack、Magnum、Docker相集成的應用部署框架。經驗證，該設計能成功實現公路交通基礎設施資源融合、數據融合和應用融合，有效破解公路交通所面臨的現實困境。

公路; 智能交通; 云計算

隨著經濟社會的高速發(fā)展，我國機動車保有量、駕駛人數量和道路交通流量持續(xù)增長，人們對道路交通快速、舒適、安全的出行需求與日俱增，這與當前道路交通擁堵、事故頻發(fā)、應急預警遲緩等現狀存在突出矛盾。究其根源，我國的道路交通存在區(qū)域跨度大和管理層級多等現象，客觀上造成了交通數據及應用的分散、獨立與割裂，從而缺乏對交通數據進行及時有效的處理，對交通信息進行全面深度的融合與應用，以及對交通事件進行科學智能的分析、預警與響應[1-3]。因此，如何借助云計算和大數據等新興技術優(yōu)勢，推動公路交通的基礎設施資源融合、數據融合和應用融合[4,5]，實現更經濟的資金投入、更實時的線路誘導、更精準的事故預警、更科學的指揮決策、更敏捷的應急響應，構建現代、綜合、高效的公路智能交通云平臺，是當前道路交管部門亟待解決的重要課題[1,6]。

1 平臺設計

1.1 功能設計

為提高公路交通運行效率和安全保障，減少道路擁堵、交通違紀及事故的發(fā)生，降低交通能源消耗和環(huán)境污染，根本上是要實現公路交通基礎設施的連通、數據的互通以及信息的暢通，并在此基礎上實現人、車、路之間實時的信息共享和高效的協同合作。根據上述功能要求，平臺的總體功能架構可設計為四個層次，由里外往外依次為基礎設施層、數據層、信息層、應用層（見圖1）。其中，基礎設施層主要依托物聯網和現代網絡通信技術，實現道路、收費站、服務區(qū)、卡口、車輛、監(jiān)控/監(jiān)測設備等公路交通基礎設施的感知與互聯；數據層主要運用云計算和大數據技術，實現基于路況、車況、天氣氣象、地理位置、交通事故等多主體、多維度異構海量數據的匯集與流通；信息層主要利用數據挖掘、人工智能、圖像識別和位置定位等技術，實現分類預警、通行態(tài)勢、違紀違章、行車誘導等信息的集成與共享；應用層主要依靠技術整合和機制創(chuàng)新，實現公路交通的決策、預警、響應、指揮及調度的敏捷化、智能化和一體化協同。

圖 1 公路智能交通云平臺總體功能架構

1.2 系統(tǒng)設計

平臺設計的核心思想是融合，表現為公路交通的基礎設施資源融合、數據融合以及應用平臺融合[4]。具體來看，基礎設施資源融合引入云操作系統(tǒng)技術，通過分布式資源聚合、虛擬化隔離和異構資源適配等方式，將公路交通現有孤立、分散、異構的IT基礎設施硬件進行統(tǒng)一虛擬化與池化，建成面向公路智能交通統(tǒng)一的邏輯基礎設施資源池，面向用戶提供標準化與自動化彈性、按需、敏捷的基礎設施服務。數據融合引入大數據引擎構件，通過ETL數據抽取和匯總機制，將公路交通海量結構化、半結構化、非結構化數據進行統(tǒng)一匯聚與存儲；基于并行計算、分布式數據庫、大數據挖掘與分析、深度學習等技術，實時對公路交通運行狀況進行多維度評估與決策，為預防交通事故發(fā)生提前預警，為交通應急與指揮調度提供可靠支撐。應用平臺融合引入云原生應用的開發(fā)理念，基于OpenStack、Hadoop、Docker及Spring等開源工具、技術和框架，支持面向DevOps的敏捷開發(fā)和分布式水平擴展，有助于促進平臺敏捷迭代和持續(xù)集成。

2 關鍵技術分析

2.1 大規(guī)模資源調度

在公路交通分布式數據中心情況下，為滿足用戶彈性、按需、敏捷的資源服務需求，平臺需具備大規(guī)模資源調度能力，即是要實現將虛擬機實例或虛擬機集群映射到計算資源池內最合適的物理機或者物理機集群，并在存儲資源池中為虛擬機實例或虛擬機集群快速匹配適切的物理存儲。據此推演，公路交通的大規(guī)模資源調度問題，可規(guī)劃為一個線性規(guī)劃NP求最優(yōu)解的問題，其約束條件及目標函數均可按需進行策略配置。公路交通大規(guī)模資源調度的近似最優(yōu)解算法可表示為式（1），整個系統(tǒng)的求解可視為值取最小值的過程，通?？梢罁剑?）所示條件來獲得系統(tǒng)的最優(yōu)解[4]。

2.2 大數據融合處理

大數據融合處理的實現基于Hadoop與Spark整合框架，主要由大數據采集、大數據存儲、大數據倉庫和大數據引擎等部件組成（見圖2）。其中，大數據采集基于Sqoop數據交換和Flume日志收集等核心組件實現，為公路交通實時、海量的結構化與非結構化數據采集提供支持。大數據存儲基于Hadoop大數據框架HDFS和HBase的集群實現，為公路交通超大規(guī)模的數據存儲和高容錯、高吞吐量的數據訪問提供支持。大數據倉庫基于Hadoop的HIVE數據倉庫分析系統(tǒng)實現，對公路交通大數據批處理查詢和分析提供支持，由Driver負責HQL的編譯、優(yōu)化與執(zhí)行，Metastore負責Hive元數據信息的存儲[7]；大數據引擎基于Spark框架和YARN集群實現，對公路交通狀況的科學評估、公路交通管理的智能決策、公路交通事故的應急預警以及突發(fā)事件的指揮調度等提供支持；YARN為Spark應用提供統(tǒng)一的資源管理和調度，而Spark則為公路交通實時海量的關聯數據操作（Spark SQL）、大數據挖掘與分析（Spark MLlib）、流式計算（Spark Streaming）、并行圖計算（GraphX）以及分布式協同處理（Zookeeper）提供計算框架與處理引擎。

圖 2 公路智能交通云平臺大數據融合處理架構

2.3 敏捷化集成部署

面對應用輕量化、高性能、跨平臺及細粒度發(fā)展需求，公路智能交通平臺基于OpenStack云計算基礎框架，引入Docker容器技術，運用Swarm架構為Docker提供集群服務，并使用Magnum來部署管理Swarm容器集群，進而更好地促進OpenStack和Docker集成，實現敏捷化的應用部署，為用戶提供彈性、按需的PaaS服務（圖3）。該架構具體實現流程如下：（1）用戶通過magnum client端發(fā)出請求，magnum-api接收用戶請求，調用api.py、app.py完成消息解析，將該消息通過RPC消息隊列轉發(fā)到magnum-conductor；（2）magnum-conductor調用ca_conductor.py、cluster_conductor.py、conductor_listener.py或indirection_api.py進行相關處理；（3）swarm-manger調用scheduler模塊選擇出最優(yōu)節(jié)點swarm-node，并通過discovery service模塊發(fā)現節(jié)點docker daemon；（4）docker server接受、調度并分發(fā)docker client發(fā)送的請求，由Docker運行引擎engine通過執(zhí)行job的方式來處理每項任務，調用libcontainer來操縱容器的namespace、cgroups、apparmor等，按照用戶的需求和指令訂制docker container。

圖 3 基于“OpenStack+Magnum+Docker”集成應用部署架構

3 應用實例

根據上述設計與關鍵技術分析，該平臺以某市公路交通智能化建設為例，配置云計算服務器4臺和云主控服務器1臺等，基于Ubuntu 20.04 LTS云應用開發(fā)系統(tǒng)環(huán)境，以及OpenStack 0.46.0+Magnum 10.0.0+Docker 18.09云應用集成部署框架和Hadoop 3.2.1+Spark 3.0.0大數據融合平臺（詳見下表），成功研發(fā)了公路智能交通云平臺。從該實例的測試來看，平臺對行車速度、通行流量、交通違法、交通事故及交通氣象等海量交通數據實現了實時采集與存儲，對違法取證、事故識別、事件預警、應急響應和指揮調度等交通控制管理提供了大數據分析與科學決策支撐，對行車誘導、交通預警、運行態(tài)勢、違法通告等交通服務信息進行了綜合集成與個性推送；確保了公路交通的設施連通、數據互通與信息暢通，實現了人、車、路之間信息共享和高效協同，進而為化解當前公路交通困境、提升運行效率提供了有力保證。

表 1 軟硬件配置信息

4 結論與展望

基于設施連通、數據互通、信息暢通以及人、車、路高效協同的基本思想，該平臺系統(tǒng)提出了一種基于線性規(guī)劃NP求最優(yōu)解的大規(guī)模資源調度算法，Hadoop與Spark相整合的大數據融合處理架構，以及OpenStack、Magnum與Docker相集成的應用部署框架。經實例檢驗，基于上述設計構建的云平臺，能成功地實現公路交通基礎設施資源融合、數據融合和應用平臺融合，可有效緩解公路交通擁堵、事件事故頻發(fā)、應急指揮遲緩等突出矛盾，并為加速構建快速、舒適、安全的現代公路交通服務體系提供了切實保障。

[1] 姚宏宇.基于云計算架構的交通智能化信息平臺[J].信息技術與標準化,2014(10):20-23

[2] Yang XH, Wang B, Chen SY,. Epidemic dynamics behavior in some bus transport networks [J]. Physica A, 2012,391(3):917-924

[3] Wang Bo, Yang XH. A transfer method of public transport network based on adjacency matrix multiplication searching algorithm [J]. WSEAS Transactions on Circuits and Systems, 2011,10(3):104-113

[4] 顧炯炯.云計算架構技術與實踐[M].第2版.北京:清華大學出版社,2019:67-68

[5] 王波,柯紅紅,蔣天發(fā).基于復雜網絡理論的杭州公交網絡建模與特性分析[J].武漢大學學報(工學版),2011,44(3):404-408

[6] 倪琴,許麗.云計算技術在智能交通系統(tǒng)中的應用研究[J].交通與運輸(學術版),2012(1):106-109

[7] Grover M, Malaska T, Seidman J,.郭文超,譯.Hadoop應用架構[M].北京:人民郵電出版社,2017

Design and Implementation of Highway Intelligent Transportation Cloud Platform

WANG Bo, LI Shi-hui, ZHU Ping

322000,

In view of the dispersion, independence and separation of highway traffic data and applications, the basic ideas of facility connection, data interchange, information unimpeded, and human vehicle road cooperation are proposed. The large-scale resource scheduling algorithm based on linear programming NP to find the optimal solution, the big data fusion architecture integrated by Hadoop and Spark, and the application deployment framework integrated by Openstack, Magnum and Docker are given. It is proved that the design can successfully achieve the integration of road traffic infrastructure resources, data and applications, and effectively solve the practical difficulties faced by road traffic.

Highway; intelligent transportation; cloud platform

U491.1+3

A

1000-2324(2020)03-0503-04

10.3969/j.issn.1000-2324.2020.03.022

2019-08-28

2019-10-17

浙江省哲學社會科學規(guī)劃課題(20NDJC230YB)

王波(1982-),男,博士,副教授,主要研究方向為自動化、計算機技術. E-mail:wangbo@ywicc.edu.cn