費 曄

(上海久事(集團)有限公司 上海 200122)

0 引 言

2010年以來，上海綜合交通體系發(fā)展堅持“十二五”規(guī)劃提出的“四個更加”要求，即更加注重“交通引導、管理優(yōu)先、服務(wù)提升和城鄉(xiāng)統(tǒng)籌”的基本思路，交通運輸服務(wù)能力持續(xù)提升，交通綜合管理水平逐步提高、交通設(shè)施建設(shè)有序推進，總體上，“十二五”規(guī)劃目標推進有序，上?！皹屑~型、網(wǎng)絡(luò)化、功能性”綜合交通體系架構(gòu)已經(jīng)基本形成[1]。

然而，作為一個國際性、特大型的城市，上海在交通發(fā)展中還有許多面臨的困難和問題，我們試圖依托于互聯(lián)網(wǎng)+、云計算、大數(shù)據(jù)等新一代信息技術(shù)，來解決一些可提高和完善的交通問題，例如：提升交通運營企業(yè)的運行效能、做好對公眾的交通綜合信息服務(wù)、完善交通主管部門的科學決策等。

1 研究的內(nèi)容

目前上海的交通信息服務(wù)平臺呈現(xiàn)零散化和各自為政的特點，無法提供“一站式、全覆蓋、個性化”的交通綜合信息服務(wù)。

一方面，上海本土的政府和企業(yè)推出了不少圍繞交通信息服務(wù)的軟件產(chǎn)品，如“上海公交”、“地鐵指南”、“智行者”、“樂行天下”、“上海停車”等APP應(yīng)用[2]。另一方面，許多互聯(lián)網(wǎng)企業(yè)都加入了“互聯(lián)網(wǎng)+交通”的新業(yè)態(tài)，例如，針對自駕車服務(wù)的有高德地圖、百度地圖；針對網(wǎng)約出租車業(yè)務(wù)的有神州租車、易到租車、首汽租車等；針對定制公交的有嗒嗒巴士、小豬巴士等；針對騎行交通的有摩拜單車、OFO共享單車等；還有提供綜合出行服務(wù)的滴滴出行。

但是，這些百家爭鳴的交通信息服務(wù)平臺都是零散化和各自為政的，無法向公眾提供一個統(tǒng)一的信息服務(wù)入口，獲得多種信息服務(wù)。另外這些APP應(yīng)用大部分都提供單獨的、非聯(lián)動的交通信息服務(wù)，既缺乏交通運營企業(yè)準確的業(yè)務(wù)數(shù)據(jù)，也沒有形成完整的出行鏈服務(wù)，而且基本沒有提供針對公眾定制化的公共交通實時性服務(wù)[3]。總體來說就是現(xiàn)在市場上的APP應(yīng)用還無法提供“一站式、全覆蓋、個性化”的交通綜合信息服務(wù)。

2 項目總體框架

參照真實的上海交通的運輸場景，我們需要結(jié)合多種先進的技術(shù)，設(shè)計出明確的云平臺框架模型。

2.1 建設(shè)一個上海城市級別的智慧交通云服務(wù)平臺

堅持“開放、互聯(lián)、共享”的理念，推進落實“公交優(yōu)先”戰(zhàn)略，在“十三五”期間構(gòu)建一個面向公眾、企業(yè)和政府服務(wù)的上海智慧交通云服務(wù)平臺(以下簡稱云平臺)。云平臺現(xiàn)階段將由“一中心、一應(yīng)用、一系統(tǒng)”組成，即上海綜合交通大數(shù)據(jù)共享中心、上海智慧出行服務(wù)移動應(yīng)用、上海交通監(jiān)管和決策服務(wù)系統(tǒng)。云平臺有如下特點：

(1) 交通大數(shù)據(jù)資源的統(tǒng)一管理。云平臺將整合、匯聚、接入道路交通、公共交通、對外交通及其他行業(yè)的數(shù)據(jù)資源，并對這些大數(shù)據(jù)進行統(tǒng)一維護、處理，使其達到可發(fā)布、可共享的數(shù)據(jù)規(guī)范要求[4]。

(2) 交通出行服務(wù)更具精準化、智能化。云平臺基于企業(yè)運營數(shù)據(jù)、道路通行數(shù)據(jù)、客流分布數(shù)據(jù)等交通大數(shù)據(jù)的分析，可以由系統(tǒng)自動形成多個優(yōu)化的出行規(guī)劃方案，并且提供的交通信息服務(wù)更加精準可靠。

(3) 更加符合監(jiān)管精細化、決策科學化。云平臺可以采集到最原始、最小顆粒度的交通數(shù)據(jù)，通過這些數(shù)據(jù)所構(gòu)成的監(jiān)管數(shù)據(jù)能反映出真實的交通現(xiàn)狀，而且數(shù)據(jù)都可以溯源。同樣基于這些數(shù)據(jù)的分析、比較、模擬等，也使得政府做出的決策更科學。

2.2 “一中心、一應(yīng)用、一系統(tǒng)”的功能定位

2.2.1 上海綜合交通大數(shù)據(jù)共享中心的功能定位

(1) 綜合交通大數(shù)據(jù)共享中心(以下簡稱大數(shù)據(jù)中心)是云平臺的大數(shù)據(jù)儲存載體，它既儲存城市道路、公共交通、慢行交通、停車、高速公路、對外交通等交通領(lǐng)域的數(shù)據(jù)，也儲存通過數(shù)據(jù)交換等方式而來的公安、氣象、環(huán)保、旅游、住建、安監(jiān)、規(guī)劃、測繪、電信等行業(yè)數(shù)據(jù)。

(2) 大數(shù)據(jù)中心在對數(shù)據(jù)的處理和分析上突出“公交優(yōu)先”原則，即優(yōu)先考慮對公共交通兩網(wǎng)融合、地面公交線網(wǎng)優(yōu)化、公共交通信息服務(wù)等方面的數(shù)據(jù)支撐。

(3) 大數(shù)據(jù)中心具有開放、共享、可流通的特性，在規(guī)則允許下，可以向政府其他非交通管理部門、企業(yè)等共享和交換數(shù)據(jù)，以此推動全社會的交通數(shù)據(jù)分析、數(shù)據(jù)增值等應(yīng)用。

(4) 大數(shù)據(jù)中心與其他交通數(shù)據(jù)中心既有聯(lián)系又具有不同的定位。目前上海已有兩個交通數(shù)據(jù)中心，一個屬于上海交通委員會信息中心，另一個屬于上海交通信息中心。上述兩個交通數(shù)據(jù)中心和將建的云平臺中的大數(shù)據(jù)中心的定位和關(guān)系如表1所示。

表1 交通數(shù)據(jù)中心和云平臺中的大數(shù)據(jù)中心的定位和關(guān)系

根據(jù)表1得知，云平臺的主要匯聚數(shù)據(jù)資源和系統(tǒng)定位，與其他兩個數(shù)據(jù)中心有所區(qū)別，目的為避免重復建設(shè)，共享數(shù)據(jù)資源，三個數(shù)據(jù)中心之間本著開放、互聯(lián)和共享的模式共同發(fā)展[5]。

2.2.2 上海智慧出行服務(wù)移動應(yīng)用的功能定位

打造代表上海的智慧出行服務(wù)移動應(yīng)用，即智慧出行APP。

(1) 智慧出行APP是一個充分體現(xiàn)“公交優(yōu)先”的移動應(yīng)用，它將首先為用戶推薦公共交通的出行方式，并且可以獲得公共交通運營企業(yè)的實時運營數(shù)據(jù)，為用戶計算出準確的出行時間和費用。這是智慧出行APP與類似滴滴、百度、高德等互聯(lián)網(wǎng)應(yīng)用的區(qū)別所在，它可以和交通運營企業(yè)提供的運營服務(wù)結(jié)合得更加緊密，因此提供的信息服務(wù)更加精準可靠。

(2) 智慧出行APP可以快速擁有用戶數(shù)量優(yōu)勢，這些用戶數(shù)來自于上海公共交通卡、滬通卡(ETC)的持有者，這部分持有者的日平均活躍數(shù)在近500萬。因此，我們在初期就可以通過制定營銷策略來爭取這些持卡者成為APP用戶，后期通過自身核心業(yè)務(wù)服務(wù)和其他衍生的、豐富的關(guān)聯(lián)服務(wù)，來增加用戶粘性，打造智慧出行服務(wù)的特色模式。

(3) 智慧出行APP是一款“一站式、全覆蓋、個性化”的移動應(yīng)用產(chǎn)品，即公眾可以通過一個統(tǒng)一的訪問入口去了解到各類交通綜合信息服務(wù)，體現(xiàn)“一站式”功能；公眾除了了解出行的交通信息外，還需要了解目的地周邊的商業(yè)、辦公、餐飲、娛樂等信息，并且能完成線上預定、線上支付等，這體現(xiàn)了“全覆蓋”功能；公眾可以獲得個人定制的交通信息服務(wù)，如提供不同時耗、不同費用和不同舒適度的多個出行路徑的選擇，多種交通方式換乘的路徑誘導，針對自己的出行計劃設(shè)定消息提醒等，這體現(xiàn)了“個性化”功能。

2.2.3 上海交通監(jiān)管和決策服務(wù)系統(tǒng)的功能定位

(1) 上海交通監(jiān)管和決策服務(wù)系統(tǒng)(以下簡稱監(jiān)管決策系統(tǒng))為交通主管部門提供上海綜合交通信息的監(jiān)管服務(wù)，全面掌握上海所有的交通運行情況，可以基于交通大數(shù)據(jù)進行綜合分析。

(2) 監(jiān)管決策系統(tǒng)為交通主管部門的科學決策提供數(shù)據(jù)支持，如交通規(guī)劃和交通政策的輔助支持，公共交通線網(wǎng)優(yōu)化的決策支持，綜合交通模型建設(shè)和應(yīng)用支持等。

(3) 監(jiān)管決策系統(tǒng)為交通主管部門在發(fā)生重大事件時提供應(yīng)急處置能力，通過系統(tǒng)可實現(xiàn)相關(guān)部門的協(xié)同管理，政企聯(lián)動指揮，應(yīng)急預案的響應(yīng)和演練等功能。

3 云服務(wù)平臺系統(tǒng)總體設(shè)計實現(xiàn)

3.1 交通大數(shù)據(jù)共享中心

1) Linux系統(tǒng)安裝 一般使用開源版的Redhat系統(tǒng)——CentOS作為底層平臺。為了提供穩(wěn)定的硬件基礎(chǔ)，在給硬盤做RAID和掛載數(shù)據(jù)存儲節(jié)點的時，需要按情況配置。例如，可以選擇給HDFS的namenode做RAID2以提高其穩(wěn)定性，將數(shù)據(jù)存儲與操作系統(tǒng)分別放置在不同硬盤上，以確保操作系統(tǒng)的正常運行。

2) 分布式計算平臺/組件安裝 目前國內(nèi)外的分布式系統(tǒng)的大多使用的是Hadoop系列開源系統(tǒng)。Hadoop的核心是HDFS，一個分布式的文件系統(tǒng)。在其基礎(chǔ)上常用的組件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。

使用開源組件的優(yōu)點：(1) 使用者眾多，很多bug可以在網(wǎng)上找的答案(這往往是開發(fā)中最耗時的地方)；(2) 開源組件一般免費，學習和維護相對方便；(3) 開源組件一般會持續(xù)更新，提供必要的更新服務(wù),當然還需要手動做更新操作；(4) 因為代碼開源，若出bug可自由對源碼作修改維護。

分布式集群的資源管理器一般用Yarn(Yet Another Resource Negotiator)。常用的分布式數(shù)據(jù)數(shù)據(jù)倉庫有Hive、Hbase。Hive可以用SQL查詢，但效率略低，Hbase可以快速、近實時讀取行[7]。外部數(shù)據(jù)庫導入導出需要用到Sqoop。Sqoop將數(shù)據(jù)從Oracle、MySQL等傳統(tǒng)數(shù)據(jù)庫導入Hive或Hbase。Zookeeper是提供數(shù)據(jù)同步服務(wù)，Yarn和Hbase需要它的支持。Impala是對hive的一個補充，可以實現(xiàn)高效的SQL查詢[7]。ElasticSearch是一個分布式的搜索引擎。針對分析，目前最火的是Spark，此處忽略其他，如基礎(chǔ)的MapReduce 和 Flink。Spark在core上面有ML lib，Spark Streaming、Spark QL和GraphX等庫，可以滿足幾乎所有常見數(shù)據(jù)分析需求[8]。

值得一提的是，上面提到的組件，如何將其有機結(jié)合起來，完成某個任務(wù)，不是一個簡單的工作，可能會非常耗時。

3) 數(shù)據(jù)導入 數(shù)據(jù)導入的工具是Sqoop。用它可以將數(shù)據(jù)從文件或者傳統(tǒng)數(shù)據(jù)庫導入到分布式平臺，一般主要導入到Hive，也可將數(shù)據(jù)導入到Hbase。

4) 數(shù)據(jù)分析 數(shù)據(jù)分析一般包括兩個階段：數(shù)據(jù)預處理和數(shù)據(jù)建模分析。

數(shù)據(jù)預處理是為后面的建模分析做準備，主要工作是從海量數(shù)據(jù)中提取可用特征，建立大寬表。這個過程可能會用到Hive SQL、Spark QL和Impala[9]。

數(shù)據(jù)建模分析是針對預處理提取的特征/數(shù)據(jù)建模，得到想要的結(jié)果。如前面所提到的，這一塊最好用的是Spark。常用的機器學習算法，如樸素貝葉斯、邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、TFIDF、協(xié)同過濾等，都已經(jīng)在ML lib里面[10-11]，調(diào)用比較方便。

5) 結(jié)果可視化及輸出API 可視化一般是對結(jié)果或部分原始數(shù)據(jù)做展示。有兩種情況，行數(shù)據(jù)展示和列查找展示。在這里，要基于大數(shù)據(jù)平臺做展示需要用到ElasticSearch和Hbase。Hbase提供快速(ms級別)的行查找。ElasticSearch可以實現(xiàn)列索引，提供快速列查找。

3.2 上海智慧出行服務(wù)移動應(yīng)用和上海交通監(jiān)管和決策服務(wù)系統(tǒng)

上海智慧出行服務(wù)移動應(yīng)用和上海交通監(jiān)管和決策服務(wù)系統(tǒng)都體現(xiàn)在上海智慧出行移動APP上。從圖1可以看出，整個上海智慧出行APP可以分成三個模塊，第一個模塊主要用來實時顯示線路界面，輸入需要查找的出行線路。比如輸入11號線，用戶站在江蘇路在等待11號線的到來，在開啟了定位之后，界面上就會顯示從11號線第一站到最后一站，每一輛地鐵所在的位置，這樣用戶就可以準確地知道自己還有幾分鐘可以上車之類的信息。當用戶查詢的線路發(fā)生事故，比如11號線晚點5 min之類的會在第一模塊的頭部展示出來，并且在出行線路底部還會實時地展示上海市的天氣情況以及穿衣指導。

圖1 上海智慧交通移動端框圖

第二部分是線路查詢，輸入需要到達的目的地，系統(tǒng)會接入谷歌地圖和百度地圖，用戶可以選擇自己信賴的地圖，然后由第三方接口提供數(shù)據(jù)。

第三個部分是上海實時交通消息，以整張地圖的形式展現(xiàn)，比如中環(huán)路距離李子園出口300 m的第一條車道發(fā)生交通事故，預計通行時間為5 min，用戶可以實時進行查詢。

以上所有的實時信息都是根據(jù)大數(shù)據(jù)平臺進行數(shù)據(jù)分析，交通監(jiān)管部門監(jiān)管和決策系統(tǒng)處理之后發(fā)布的數(shù)據(jù)。

4 結(jié) 語

上海市智慧交通出行總共有數(shù)據(jù)大平臺、智慧移動APP和交通監(jiān)管和數(shù)據(jù)決策服務(wù)系統(tǒng)三個部分組成。大數(shù)據(jù)平臺用來對各種移動數(shù)據(jù)進行收集，將數(shù)據(jù)收集之后傳給交通監(jiān)管和決策服務(wù)系統(tǒng)，再進行分析之后展示在智慧出行服務(wù)移動應(yīng)用上。整個系統(tǒng)為上海用戶的出行提供了極大的便利。