吳順剛

貴州高速公路集團(tuán)有限公司，貴州 貴陽 550000

高速公路大數(shù)據(jù)處理現(xiàn)狀與挑戰(zhàn)分析

吳順剛

貴州高速公路集團(tuán)有限公司，貴州 貴陽 550000

高速公路有著“經(jīng)濟(jì)大動脈”的別稱，在全國的公路網(wǎng)中占據(jù)著十分重要的地位，并發(fā)揮著極為重要的作用。通常情況下，在高速公路日常運(yùn)營的過程中，每天都會有大規(guī)模的數(shù)據(jù)產(chǎn)生，且這些數(shù)據(jù)的增長速度越來越快，給數(shù)據(jù)的分析與儲存帶來了嚴(yán)峻的挑戰(zhàn)。其中，高速公路大數(shù)據(jù)主要是由異構(gòu)的、海量的數(shù)據(jù)構(gòu)成。因此，如何高效、科學(xué)、合理地對這些大數(shù)據(jù)進(jìn)行正確訪問、分析、儲存，以便能更好地為交通提供高效的服務(wù)，已成為了一個(gè)迫切需要解決的客觀性問題?；诖?，主要對高速公路運(yùn)營的過程中所產(chǎn)生的大數(shù)據(jù)來源、具體特點(diǎn)進(jìn)行了討論，并對大數(shù)據(jù)的相關(guān)處理技術(shù)、數(shù)據(jù)的意義以及將會面臨的一系列問題與挑戰(zhàn)等進(jìn)行了深入探究。

公路橋梁；養(yǎng)護(hù)；措施

引言

隨著我國經(jīng)濟(jì)的發(fā)展，高速公路運(yùn)輸正朝著現(xiàn)代化和智能化的方向發(fā)展。為了使高速公路交通在出行服務(wù)、安全應(yīng)急等方面得到更好地發(fā)展，必須注重對相關(guān)的大數(shù)據(jù)進(jìn)行深度分析，以便從中獲得更多的信息，真正實(shí)現(xiàn)數(shù)據(jù)為決策者服務(wù)的目的，并使高速公路的管理能力與運(yùn)營效率得到大幅度提升。

1 大數(shù)據(jù)的來源

（1）視頻監(jiān)控系統(tǒng)數(shù)據(jù)。指的是高速公路收費(fèi)站、隧道內(nèi)以及道路兩旁設(shè)置的監(jiān)控?cái)z像頭所產(chǎn)生的大量視頻數(shù)據(jù)。（2）傳感器數(shù)據(jù)。高速公路上分布著大量的標(biāo)識站、路感線圈，且在收費(fèi)站的入口與出口處安裝了RFID傳感器，能夠感知行經(jīng)車輛，從而產(chǎn)生源源不斷的數(shù)據(jù)。（3）應(yīng)用系統(tǒng)數(shù)據(jù)。高速公路收費(fèi)站的管理軟件、各路公司以及收費(fèi)站所運(yùn)行的稽核軟件、12122呼叫系統(tǒng)等也在不斷生成數(shù)據(jù)。（4）聯(lián)網(wǎng)收費(fèi)軟件數(shù)據(jù)。各條高速公路上均存在相當(dāng)數(shù)量的收費(fèi)站，且各個(gè)收費(fèi)站的收費(fèi)車道均有數(shù)十條不等，收費(fèi)車道上運(yùn)行收費(fèi)軟件同樣生成了數(shù)量龐大的數(shù)據(jù)。

2 高速公路大數(shù)據(jù)的特征

（1）高速性。即處理數(shù)據(jù)時(shí)應(yīng)確保高效。例如收費(fèi)站應(yīng)及時(shí)將收費(fèi)數(shù)據(jù)傳輸至結(jié)算中心，對于擁堵路段，系統(tǒng)應(yīng)準(zhǔn)確快速地獲取相關(guān)信息并進(jìn)行分析。（2）價(jià)值密度低。盡管數(shù)據(jù)量龐大，但有價(jià)值的數(shù)據(jù)并不多。視頻監(jiān)控系統(tǒng)每天都會生成眾多數(shù)據(jù)，但有用的數(shù)據(jù)僅為幾分鐘或幾秒，故通過對異常數(shù)據(jù)的分析有助于對路網(wǎng)的異?，F(xiàn)象進(jìn)行判斷[1]。（3）多樣性。高速公路所生成的數(shù)據(jù)種類豐富，有結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、視頻數(shù)據(jù)及其他相關(guān)信息等，如交通管制、安全事件、交通環(huán)境、天氣狀況、地質(zhì)災(zāi)害等。（4）規(guī)模龐大。筆者選擇四川高速進(jìn)行說明，每天經(jīng)收費(fèi)站的車輛至少為 200萬量，且監(jiān)控系統(tǒng)會對車輛進(jìn)行拍照，圖片大小為500KB/張。因此累積的圖片數(shù)量約為300TB/年，且隨著社會的發(fā)展，相關(guān)數(shù)據(jù)也在不斷增加。

3 大數(shù)據(jù)的相關(guān)處理技術(shù)

（1）大數(shù)據(jù)研究的意義。隨著時(shí)代的發(fā)展，人們可以借助大數(shù)據(jù)實(shí)現(xiàn)宏觀、持續(xù)地分析，從而挖掘更多的知識，進(jìn)而為其決策提供依據(jù)與支持。

作為最早使用大數(shù)據(jù)的一大企業(yè)，沃爾瑪在大數(shù)據(jù)方面進(jìn)行了較大的投資，并獲得了較大的回報(bào)。其運(yùn)用大數(shù)據(jù)分析Carlie Brown與Source兩大超市消費(fèi)者的購買意向時(shí)，發(fā)現(xiàn)其意向正逐漸轉(zhuǎn)向高檔品，因此，沃爾瑪及時(shí)地對兩家超市的庫存進(jìn)行了調(diào)整，從而使銷售業(yè)績獲得了40%的提升[2]。而在我國，淘寶每天的數(shù)據(jù)量均高達(dá)10 TB，且其每年雙十一的成交額均高達(dá)上百億，之所以會獲得如此優(yōu)異的成績，離不開其對數(shù)據(jù)（歷史數(shù)據(jù)、搜索習(xí)慣、消費(fèi)習(xí)慣等）的分析。眾多現(xiàn)象表明，電子商務(wù)領(lǐng)域與大數(shù)據(jù)有著密切地關(guān)聯(lián)，其成功運(yùn)營離不開大數(shù)據(jù)分析。因此，在交通運(yùn)輸領(lǐng)域同樣應(yīng)強(qiáng)化對大數(shù)據(jù)的應(yīng)用，從而加快高速公路的現(xiàn)代化與智能化，使安全預(yù)警、交通疏導(dǎo)等工作得以更好地進(jìn)行[1]。

（2）并行數(shù)據(jù)庫。該數(shù)據(jù)庫始于上世紀(jì)80年代，主要借助關(guān)系的形式來對結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲，均支持SQL語言。借助SQL，能夠使并行數(shù)據(jù)和外界進(jìn)行良好地交互。并行數(shù)據(jù)在過去的三十多年內(nèi)獲得了較大的發(fā)展，目前，其功能也在日益增多，但是高速公路網(wǎng)正逐年擴(kuò)大，其生成的數(shù)據(jù)已超越了并行數(shù)據(jù)的處理范圍，且在處理非結(jié)構(gòu)化數(shù)據(jù)方面，并行數(shù)據(jù)存在一定的缺陷，究其原因主要是擴(kuò)展性偏差。

（3）云計(jì)算。該技術(shù)由網(wǎng)絡(luò)計(jì)算、并行計(jì)算、分布式計(jì)算發(fā)展而來，數(shù)據(jù)的并行處理與海量數(shù)據(jù)存儲是其核心，該技術(shù)具有較強(qiáng)的可行性。云計(jì)算的數(shù)據(jù)存儲技術(shù)包括兩種：一是Hadoop的HDFS，功能與DFS類似，屬于開源系統(tǒng)，眾多互聯(lián)網(wǎng)公司（淘寶、雅虎等）均使用該系統(tǒng)。二是分布式文件系統(tǒng)GFS，該系統(tǒng)屬于應(yīng)用經(jīng)濟(jì)性服務(wù)器創(chuàng)建的集群，且擁有高擴(kuò)展性、高可用性以及高性能的特點(diǎn)，然而不開源。

為了能夠?qū)Υ髷?shù)據(jù)進(jìn)行更好地處理，應(yīng)采用特定編程模型，2004年Google研發(fā)的MapReduce有效地使分布式編程簡化，系統(tǒng)能夠完成任務(wù)調(diào)度以及各類復(fù)雜的并行處理，程序員僅需關(guān)注程序邏輯的實(shí)現(xiàn)。用戶在編程時(shí)僅需實(shí)現(xiàn)Reduce函數(shù)與Map 函數(shù)，前者指的是處理分塊數(shù)據(jù)，后者則指定需處理的數(shù)據(jù)塊。MapReduce框架能夠?qū)?shù)據(jù)實(shí)施自動分塊、調(diào)度以及執(zhí)行。借助MapReduce與GFS，Google每日能夠處理20PB數(shù)據(jù)，利用 MapReduce能在多方面（商業(yè)智能分析、日志分析、數(shù)據(jù)分析等）實(shí)現(xiàn)極佳的效果。

4 機(jī)遇和挑戰(zhàn)

（1）大數(shù)據(jù)存儲。盡管Hadoop中的HDFS系統(tǒng)可用于高速公路所生成的大數(shù)據(jù)的存儲，然而卻無法滿足其實(shí)時(shí)性需求，故應(yīng)對有關(guān)數(shù)據(jù)實(shí)施分類，以多種形式進(jìn)行存儲。對于實(shí)時(shí)性有較高要求的數(shù)據(jù)，應(yīng)將其存儲至實(shí)時(shí)數(shù)據(jù)庫內(nèi)，而業(yè)務(wù)數(shù)據(jù)、對實(shí)時(shí)性并無太高要求的數(shù)據(jù)則應(yīng)將其存儲至并行數(shù)據(jù)庫。眾多非結(jié)構(gòu)化數(shù)據(jù)、歷史數(shù)據(jù)則應(yīng)存儲至HDFS系統(tǒng)內(nèi)。此外高速公路網(wǎng)記錄的大數(shù)據(jù)具備數(shù)據(jù)生成較快的特點(diǎn)，并對分析響應(yīng)具有較高的要求，故應(yīng)研究此類數(shù)據(jù)的存儲方式，以便展開后續(xù)分析。（2）展現(xiàn)大數(shù)據(jù)。經(jīng)分析后的高速公路大數(shù)據(jù)，能將多方信息傳達(dá)給用戶，作為數(shù)據(jù)處理的最后一大環(huán)節(jié)，使信息以有效直觀的形式呈現(xiàn)出來是一件極具挑戰(zhàn)性的事情，若缺乏良好的用戶體驗(yàn)則會降低系統(tǒng)的實(shí)用性。故在對人機(jī)交互界面進(jìn)行設(shè)計(jì)時(shí)，應(yīng)注重設(shè)計(jì)的科學(xué)性[2]。

5 結(jié)語

本文就高速公路網(wǎng)所生成的大量數(shù)據(jù)的分析方法與存儲方式，如實(shí)時(shí)數(shù)據(jù)庫、并行數(shù)據(jù)庫、云平臺等，實(shí)時(shí)數(shù)據(jù)庫、并行數(shù)據(jù)庫處理大數(shù)據(jù)時(shí)具有迅速、高度擴(kuò)展性、成本較低等特點(diǎn)，實(shí)現(xiàn)了海量存儲與實(shí)時(shí)處理的目的。然而在我國大數(shù)據(jù)仍處于起步階段，尚未對大數(shù)據(jù)進(jìn)行應(yīng)用。因此在大數(shù)據(jù)的存儲、可靠性分析以及實(shí)際運(yùn)用方面仍面臨較多的困難與挑戰(zhàn)，高速公路網(wǎng)所積累的眾多數(shù)據(jù)所采用的存儲模式資源利用率、大數(shù)據(jù)處理、抗風(fēng)險(xiǎn)等方面仍有較大的發(fā)展空間。故值得相關(guān)人員進(jìn)行進(jìn)一步的探究，從而推進(jìn)高速公路大數(shù)據(jù)的使用。

[1]林艷.大數(shù)據(jù)在我國高速公路中的應(yīng)用探討[J].北方交通，2016（5）：162-164.

[2]曾海祥.大數(shù)據(jù)時(shí)代的高速公路運(yùn)營[J].新經(jīng)濟(jì)，2015（20）：89.

Analysis on the Present Situation and Challenge of Large Data Processing in Expressway

Wu Shungang
Guizhou Expressway Group Co., Ltd., Guizhou Guiyang 550000

Highway has the name of “economic artery”, which occupies a very important position in the national highway network, and plays a very important role.Usually, in the process of Expressway daily operation, every day there will be massive data, and these data is growing faster and faster, has brought serious challenges to the storage and analysis of data.Among them, the highway big data is mainly composed of heterogeneous, massive data.Therefore, how to efficiently and scientifically and reasonably correct access, analysis and storage of these large data, in order to provide better and efficient services for transportation, has become an urgent need to address the problem of objectivity.The specific characteristics of large data sources, this paper mainly produced in the process of expressway operation are discussed, and the related processing technology, on the face of big data and the significance of the data will be a series of problems and challenges in-depth research, the specific content of inquiry for the following exposition.

highway bridge; maintenance; measure

P208

A

1009-6434（2017）3-0145-02