流式處理框架在實(shí)時(shí)交通信息中的應(yīng)用

趙正+呂浩涵

【摘要】 流式處理既可以對(duì)海量數(shù)據(jù)實(shí)時(shí)分析以減少延遲，又可以對(duì)海量?jī)r(jià)值比較低的數(shù)據(jù)進(jìn)行預(yù)處理再存儲(chǔ)，有效節(jié)省存儲(chǔ)空間，有利于提高后續(xù)數(shù)據(jù)處理的效率。本文在對(duì)三種流式處理框架分析的基礎(chǔ)上，采用流式處理框架，建立實(shí)時(shí)交通信息流式處理模型，從數(shù)據(jù)的實(shí)時(shí)采集、數(shù)據(jù)緩沖、流式計(jì)算及數(shù)據(jù)存儲(chǔ)方面來進(jìn)行分析。

【關(guān)鍵詞】 流式處理框架 交通信息 應(yīng)用

一、前言

隨著經(jīng)濟(jì)的快速發(fā)展及城市化進(jìn)程的加快，機(jī)動(dòng)車的數(shù)量越來越多，交通需求與道路設(shè)施之間的矛盾愈發(fā)尖銳，掌握實(shí)時(shí)交通信息狀況，合理選擇出行路線，成為人們出行前不得不考慮的問題。計(jì)算機(jī)應(yīng)用系統(tǒng)的不斷發(fā)展、通信網(wǎng)絡(luò)技術(shù)和傳感器的不斷進(jìn)步，數(shù)據(jù)采集、數(shù)據(jù)傳輸能力大大增強(qiáng)，使人類能夠獲取實(shí)時(shí)交通信息，如交通實(shí)驗(yàn)觀測(cè)數(shù)據(jù)、交通導(dǎo)航服務(wù)信息、交通傳感器網(wǎng)絡(luò)監(jiān)控?cái)?shù)據(jù)、交通實(shí)時(shí)速度數(shù)據(jù)、交通攝像機(jī)監(jiān)控?cái)?shù)據(jù)等，這種在動(dòng)態(tài)環(huán)境中產(chǎn)生的信息構(gòu)成了連續(xù)不斷的流式數(shù)據(jù)。先存儲(chǔ)后處理是傳統(tǒng)的數(shù)據(jù)處理方式，而這種方式無法滿足海量數(shù)據(jù)實(shí)時(shí)處理的需求，流式處理應(yīng)運(yùn)而生。流式處理既可以對(duì)海量數(shù)據(jù)實(shí)時(shí)分析以減少延遲，又可以對(duì)海量?jī)r(jià)值比較低的數(shù)據(jù)進(jìn)行預(yù)處理再存儲(chǔ)，有效節(jié)省存儲(chǔ)空間，有利于提高后續(xù)數(shù)據(jù)處理的效率。

二、流式處理框架介紹

1、流式處理Storm。Storm是一個(gè)免費(fèi)開源的分布式實(shí)時(shí)計(jì)算系統(tǒng)，簡(jiǎn)化了流數(shù)據(jù)的可靠處理，可用于任意編程語言。使用時(shí)，先要設(shè)計(jì)一個(gè)用于實(shí)時(shí)計(jì)算的圖狀結(jié)構(gòu)，這個(gè)圖狀結(jié)構(gòu)將會(huì)被提交給集群，由集群中的masternode（主控節(jié)點(diǎn)）分發(fā)代碼，將任務(wù)分配給workernode（工作節(jié)點(diǎn)）執(zhí)行。一個(gè)圖狀結(jié)構(gòu)中包括bolt和spout兩種角色，spout負(fù)責(zé)發(fā)送數(shù)據(jù)流，bolt負(fù)責(zé)轉(zhuǎn)換數(shù)據(jù)流，同時(shí)bolt可以完成計(jì)算、過濾等操作。

2、流式處理Spark。Spark是一種開源集群計(jì)算環(huán)境，Spark啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負(fù)載。Spark是在Scala語言中實(shí)現(xiàn)的。Spark可用來構(gòu)建大型的、低延遲的數(shù)據(jù)分析應(yīng)用程序。Spark在處理前按時(shí)間間隔預(yù)先將Stream數(shù)據(jù)分成小的時(shí)間片斷（幾秒），以類似batch批量處理的方式來處理這小部分?jǐn)?shù)據(jù)。

3、流式處理Samza。Samza是一個(gè)開源框架，它是一個(gè)分布式流處理框架，專用于實(shí)時(shí)數(shù)據(jù)的處理。Samza是在Hadoop基礎(chǔ)上建立的，而且使用了LinkedIn自家的Kafka分布式消息系統(tǒng)。Samza可以幫助開發(fā)者構(gòu)建應(yīng)用、處理消息隊(duì)列、更新數(shù)據(jù)庫(kù)、計(jì)數(shù)以及其他的聚合、轉(zhuǎn)換消息等等。

三、實(shí)時(shí)交通信息的流式處理模型

對(duì)實(shí)時(shí)交通信息的處理，流式處理框架可以發(fā)揮重要作用。利用流式處理框架，建立實(shí)時(shí)交通信息流式處理模型，主要包括數(shù)據(jù)采集、數(shù)據(jù)接入、流式計(jì)算和數(shù)據(jù)存儲(chǔ)四個(gè)過程。交通數(shù)據(jù)采集子系統(tǒng)從采集設(shè)備上實(shí)時(shí)地獲取交通信息，然后把數(shù)據(jù)匯總后轉(zhuǎn)發(fā)給緩沖系統(tǒng)，緩沖系統(tǒng)為數(shù)據(jù)傳輸?shù)接?jì)算系統(tǒng)起到緩沖作用，協(xié)調(diào)采集數(shù)據(jù)的速率和計(jì)算系統(tǒng)處理數(shù)據(jù)的速率。然后流式計(jì)算系統(tǒng)對(duì)信息進(jìn)行相應(yīng)的實(shí)時(shí)計(jì)算處理，并將計(jì)算結(jié)果存入存儲(chǔ)單元。各個(gè)過程分析如下：

1、數(shù)據(jù)采集。實(shí)時(shí)交通信息數(shù)據(jù)采集主要通過環(huán)形感應(yīng)線圈、雷達(dá)、圖像傳感器、紅外線傳感器等裝置來實(shí)現(xiàn)，根據(jù)城市路網(wǎng)結(jié)構(gòu)、主要干道交通流歷史數(shù)據(jù)，合理地分布交通流檢測(cè)裝置，可以有效地采集到城市交通網(wǎng)絡(luò)狀況信息。實(shí)時(shí)交通信息數(shù)據(jù)采集需要保證采集速度快、可靠性高、能實(shí)時(shí)監(jiān)聽數(shù)據(jù)變化。

2、數(shù)據(jù)接入。考慮到采集數(shù)據(jù)的速度和數(shù)據(jù)處理的速度可能不同步，需要對(duì)數(shù)據(jù)進(jìn)行緩沖處理，并且要保證延遲性不能太長(zhǎng)。為此可以采用分布式發(fā)布訂閱系統(tǒng)，其中包括一些消息生產(chǎn)者以及消息訂閱者，消息生產(chǎn)者主要用于收集數(shù)據(jù)，多個(gè)服務(wù)器進(jìn)行緩沖，而消息訂閱者主要對(duì)數(shù)據(jù)訂閱。利用這種緩沖處理，有利于控制和優(yōu)化數(shù)據(jù)流經(jīng)系統(tǒng)的速度。

3、流式計(jì)算。流式計(jì)算有著實(shí)時(shí)性要求高、持續(xù)計(jì)算、數(shù)據(jù)產(chǎn)生速率不定的特點(diǎn)。數(shù)據(jù)收集產(chǎn)生的流式數(shù)據(jù)速率快，需要計(jì)算系統(tǒng)能實(shí)時(shí)計(jì)算，有足夠的低延遲性，結(jié)果反饋需要保證時(shí)效性。同時(shí)，流式計(jì)算環(huán)境中大多數(shù)的流式數(shù)據(jù)是不被保存的，且一般只使用一次、易丟失，計(jì)算系統(tǒng)需要有容錯(cuò)能力。數(shù)據(jù)的產(chǎn)生是動(dòng)態(tài)的，速率在前后時(shí)刻可能發(fā)生變化，因此計(jì)算系統(tǒng)要有良好的伸縮性，有效利用資源。在實(shí)時(shí)場(chǎng)景中，可以引入內(nèi)存數(shù)據(jù)庫(kù)及分布式應(yīng)用程序協(xié)調(diào)服務(wù)器，盡量保證流式計(jì)算有很好的處理效果。

4、數(shù)據(jù)存儲(chǔ)。根據(jù)實(shí)時(shí)交通信息監(jiān)測(cè)數(shù)據(jù)，異常檢測(cè)、異常狀況分析、路況分析、下一時(shí)段交通流量預(yù)測(cè)等業(yè)務(wù)不同的需求對(duì)結(jié)果進(jìn)行不同方式的存儲(chǔ)處理。

結(jié)論：本文在對(duì)三種流式處理框架分析的基礎(chǔ)上，采用流式處理框架，建立實(shí)時(shí)交通信息流式處理模型，從數(shù)據(jù)的實(shí)時(shí)采集、數(shù)據(jù)緩沖、流式計(jì)算及數(shù)據(jù)存儲(chǔ)方面來進(jìn)行分析，說明流式處理框架在實(shí)時(shí)交通信息處理中有很大的實(shí)用性。

參 考 文 獻(xiàn)

[1] 閔真. 基于物聯(lián)網(wǎng)技術(shù)的交通信息采集系統(tǒng)[D].南昌：南昌大學(xué)（碩士學(xué)位論文），2012.

[2] 方艾芬，蔡崗，繆新頓. 基于大數(shù)據(jù)的機(jī)動(dòng)車緝查布控平臺(tái)構(gòu)建[J]. 警察技術(shù). 2014（06）.

[3] 孟小峰，慈祥. 大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J]. 計(jì)算機(jī)研究與發(fā)展. 2013（01）.