廣西ETC車道日志分析的實(shí)踐與應(yīng)用

覃慶勇

(廣西捷通高速科技股份有限公司，廣西 南寧 530022)

0 引言

我國(guó)高速公路電子不停車收費(fèi)(ETC)系統(tǒng)從2014年開(kāi)始全國(guó)聯(lián)網(wǎng)，其暢通、高效、低碳的通行方式受到社會(huì)車輛的普遍歡迎，截至2017年12月份，全國(guó)ETC用戶總量已接近5 800萬(wàn)，其中廣西ETC用戶已超過(guò)40萬(wàn)。

隨著ETC用戶的快速增長(zhǎng)，對(duì)ETC發(fā)行方及車道管理者提出了更高的服務(wù)質(zhì)量要求，要求能夠?qū)崟r(shí)監(jiān)控ETC車道的設(shè)備狀態(tài)、交易情況，對(duì)突發(fā)事件快速響應(yīng)。基于車道日志分析的實(shí)踐與應(yīng)用在一定程度上是解決這個(gè)問(wèn)題的有效方式。

1 ETC車道日志利用現(xiàn)狀及大數(shù)據(jù)特征

1.1 ETC車道日志利用現(xiàn)狀

ETC車道收費(fèi)控制程序是ETC車輛通行、交易的關(guān)鍵軟件，在ETC車輛通行過(guò)程中產(chǎn)生了豐富詳細(xì)的日志信息，并存放于車道管理終端服務(wù)器中。然而目前這些日志信息只有在稽查、扣費(fèi)爭(zhēng)議處理時(shí)才會(huì)通過(guò)下載日志文件進(jìn)行查詢，利用程度較低、查詢效率不高，造成了一定的資源浪費(fèi)。雖然基于傳統(tǒng)的信息系統(tǒng)管理軟件，例如各省份已投入上線運(yùn)行的ETC車道監(jiān)測(cè)評(píng)價(jià)系統(tǒng)，提供了統(tǒng)計(jì)車道交易數(shù)量、交易成功率、通過(guò)率等信息，但時(shí)效性低，不能實(shí)時(shí)反映車道的狀態(tài)。同時(shí)，傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)，查詢緩慢，影響了用戶體驗(yàn)及工作效率；功能單一，不能自動(dòng)識(shí)別逃費(fèi)等惡意行為。

根據(jù)統(tǒng)計(jì)，廣西區(qū)內(nèi)目前有近500個(gè)ETC車道，按每個(gè)車道日志每年200 M的數(shù)據(jù)量，共計(jì)近100 G的數(shù)據(jù)量，而且逐年隨著用戶的增長(zhǎng)，車道日志量將不斷增加。車道日志是非結(jié)構(gòu)化的數(shù)據(jù)，價(jià)值密度較低。由于車道管理終端服務(wù)器存儲(chǔ)空間有限，車道最多保存半年時(shí)間的車道日志，對(duì)于沒(méi)有原始交易記錄的事后爭(zhēng)議處理和查證比較困難。解決以上問(wèn)題的根本途徑就是利用大數(shù)據(jù)技術(shù)，建立一個(gè)功能完善的車道日志數(shù)據(jù)平臺(tái)，統(tǒng)一收集、存儲(chǔ)、分析和加以利用。

1.2 ETC車道日志大數(shù)據(jù)特征

大數(shù)據(jù)是指具有“大量化、多樣化、快速化、價(jià)值密度低”等特點(diǎn)，且無(wú)法使用傳統(tǒng)流程或工具處理或分析的信息[1]，按照此定義，目前ETC車道日志已經(jīng)明顯有了大數(shù)據(jù)的特征。近年來(lái)，隨著技術(shù)的發(fā)展，建立大數(shù)據(jù)處理平臺(tái)的成本越來(lái)越低，在大數(shù)據(jù)融合的背景下，未雨綢繆，將ETC車道日志大數(shù)據(jù)從言語(yǔ)上落到實(shí)際的運(yùn)營(yíng)管理體系當(dāng)中，實(shí)現(xiàn)精細(xì)化管理，才能更好的服務(wù)用戶，獲取更多的延伸收益。

本文首先對(duì)ETC車道交易流程進(jìn)行分析，利用開(kāi)源技術(shù)，構(gòu)建ETC車道日志數(shù)據(jù)平臺(tái)，并結(jié)合實(shí)際數(shù)據(jù)研究分析ETC車道日志大數(shù)據(jù)處理分析過(guò)程中的關(guān)鍵技術(shù)，應(yīng)用于企業(yè)日常管理。

2 ETC車道交易流程及車道日志數(shù)據(jù)分析

2.1 ETC車道交易流程分析

ETC車道交易的基本流程如圖1所示，以出口車道為例，基本過(guò)程為ETC車輛進(jìn)入檢測(cè)線圈范圍后，天線開(kāi)始讀取OBU和卡片信息，進(jìn)行OBU、CPU卡的有效性判斷，讀取行駛路徑，根據(jù)出入口及費(fèi)用標(biāo)準(zhǔn)進(jìn)行寫卡扣款，清除CPU卡片中指定的路徑信息，記錄交易明細(xì)到數(shù)據(jù)庫(kù)中，同時(shí)記錄詳細(xì)的設(shè)備交互信息、交易明細(xì)到文本文件中。

ETC車道交易后產(chǎn)生的車道日志文本主要有以下數(shù)據(jù)：

(1)OBU信息：OBU號(hào)、發(fā)行方、序列號(hào)(印在OBU外殼)、OBU有效期、OBU狀態(tài)、車牌號(hào)碼、車牌顏色、車型、用戶類型。

(2)卡片信息：卡發(fā)行方、卡序列號(hào)、卡片類型、卡內(nèi)車牌、卡有效期、交易前余額。

(3)入口信息和交易后信息，交易時(shí)間信息：入口收費(fèi)站及時(shí)間、狀態(tài)、車牌、交易時(shí)間、交易序列號(hào)及類型、交易后余額及耗時(shí)等。

(4)車牌信息：為圖像識(shí)別車牌。

(5)交易失敗信息：未識(shí)別到OBU或者OBU無(wú)卡或者卡未插好。

圖1 ETC出口車道交易流程圖

2.2 車道日志數(shù)據(jù)分析

從ETC車道日志中可統(tǒng)計(jì)出車道單位時(shí)間內(nèi)的交易次數(shù)、成功率、失敗原因、交易金額等。另一方面可通過(guò)數(shù)據(jù)平臺(tái)采集、清洗(去除重復(fù)的信息)、壓縮合并(減少日志文件大小)存儲(chǔ)車道日志文件，進(jìn)行統(tǒng)計(jì)分析，并以圖形化展現(xiàn)，實(shí)時(shí)反映車道交易信息的變化和趨勢(shì)，主要可以實(shí)現(xiàn)以下幾方面的功能：

(1)基于交易成功率信息，發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)規(guī)律，從而可預(yù)測(cè)相關(guān)ETC關(guān)鍵設(shè)備的健康狀態(tài)。例如通過(guò)車道通過(guò)率，判斷車道天線的質(zhì)量，設(shè)備是否正常，如果車道通過(guò)率突然下降，則天線可能出故障，應(yīng)及時(shí)修復(fù)設(shè)備，提高用戶體驗(yàn)。

(2)基于數(shù)據(jù)挖掘分類和聚類模型，建立模型，自動(dòng)識(shí)別和統(tǒng)計(jì)逃費(fèi)交易信息。例如通過(guò)車道日志區(qū)分車載兩個(gè)OUB試圖逃費(fèi)的車輛，從而減輕人工參與工作量，減少高速公路通行費(fèi)損失。

(3)提供決策依據(jù)，如統(tǒng)計(jì)各OBU廠商設(shè)備交易成功率，判斷產(chǎn)品質(zhì)量，為ETC發(fā)行方采購(gòu)提供決策，提高OBU發(fā)行質(zhì)量。

(4)提高查詢效率，建立文本索引，快速定位到所查車輛的原始交易記錄。

(5)及時(shí)應(yīng)對(duì)突發(fā)事件，例如系統(tǒng)中實(shí)時(shí)反應(yīng)同一品牌、同一批次的OBU車道交易失敗情況，可預(yù)警發(fā)行方及時(shí)聯(lián)系客戶進(jìn)行設(shè)備的召回處理，避免引起更大范圍的影響。

(6)車輛引流，實(shí)時(shí)反應(yīng)車道通行情況，為智慧交通提供參考。

3 ETC車道日志數(shù)據(jù)平臺(tái)關(guān)鍵技術(shù)

目前活躍的開(kāi)源社區(qū)提供了各種數(shù)據(jù)處理框架、工具及方法，極大降低了大數(shù)據(jù)平臺(tái)建設(shè)的成本，推動(dòng)了大數(shù)據(jù)的發(fā)展。車道日志數(shù)據(jù)平臺(tái)架構(gòu)如圖2所示，系統(tǒng)采用了開(kāi)源成熟的技術(shù)框架進(jìn)行建設(shè)。數(shù)據(jù)平臺(tái)通過(guò)FileBeat實(shí)時(shí)采集數(shù)據(jù)到消息隊(duì)列Kafka中，并通過(guò)Kafka進(jìn)行數(shù)據(jù)格式化(Log Consumer)、實(shí)時(shí)計(jì)算(Storm)、離線存儲(chǔ)分析(HDFS)的分流，計(jì)算結(jié)果存儲(chǔ)于ElasticSearch和InfluxDB，并可通過(guò)Kibana實(shí)現(xiàn)數(shù)據(jù)可視化的查詢和搜索，Stat Service則提供監(jiān)控報(bào)警和電子大屏的展示。

圖2 ETC車道日志數(shù)據(jù)平臺(tái)架構(gòu)圖

(1)Filebeat，資源消耗非常低的日志采集客戶端程序，負(fù)責(zé)將ETC車道日志實(shí)時(shí)傳入到消息隊(duì)列(Kafka)中，高效率的日志收集保證了日志傳輸?shù)臅r(shí)效性，避免影響宿主機(jī)主程序的運(yùn)行。

(2)Kafka是一種開(kāi)源、高吞吐量的分布式流處理平臺(tái)，作為消息隊(duì)列接收Filebeat采集到的日志，可分流數(shù)據(jù)到離線存儲(chǔ)平臺(tái)(HDFS)，離線計(jì)算平臺(tái)，實(shí)時(shí)流水計(jì)算(Storm，Spark)，及時(shí)查詢ElasticSearch等。Kafka持久化、單機(jī)數(shù)百萬(wàn)每秒的高吞吐量保證了平臺(tái)數(shù)據(jù)收集的可靠性。

(3)Log Consumer，自定義日志消費(fèi)處理模塊，從Kafka中讀取非結(jié)構(gòu)化的日志消息，并轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)，通過(guò)ElasticSearch提供的存接口創(chuàng)建索引、存儲(chǔ)，便于快速查詢和統(tǒng)計(jì)。

(4)Elasticsearch，一個(gè)基于Lucene的分布式、可擴(kuò)展、實(shí)時(shí)的搜索與數(shù)據(jù)分析引擎。在數(shù)據(jù)平臺(tái)中用于日志結(jié)構(gòu)數(shù)據(jù)、部分計(jì)算結(jié)果的存儲(chǔ)和搜索，并通過(guò)Kibana提供數(shù)據(jù)可視化和查詢。

(5)Storm是個(gè)實(shí)時(shí)、大吞吐量、分布式以及具備高容錯(cuò)的計(jì)算系統(tǒng)，在數(shù)據(jù)平臺(tái)中用于實(shí)時(shí)日志的計(jì)算分析和風(fēng)險(xiǎn)控制，可實(shí)時(shí)統(tǒng)計(jì)車道流量、平均交易時(shí)間、交易失敗率等，并將結(jié)果存入Elasticsearch或時(shí)序數(shù)據(jù)庫(kù)。

(6)Stat Service，自主研發(fā)的數(shù)據(jù)統(tǒng)計(jì)服務(wù)，可定期查詢Elasticsearch，并將結(jié)果存入時(shí)序數(shù)據(jù)庫(kù)InfluxDB中，同時(shí)提供大屏展示、自動(dòng)預(yù)警和報(bào)警。

(7)InfluxDB，時(shí)間序列數(shù)據(jù)庫(kù)，用于存儲(chǔ)帶時(shí)間標(biāo)簽的數(shù)據(jù)，有效彌補(bǔ)了關(guān)系型數(shù)據(jù)庫(kù)無(wú)法滿足對(duì)時(shí)間序列數(shù)據(jù)的有效存儲(chǔ)與處理[2]。在數(shù)據(jù)平臺(tái)中用于存儲(chǔ)單位時(shí)間內(nèi)車道交易數(shù)量、交易金額、平均通行時(shí)間、通行失敗率等數(shù)據(jù)，并能夠快速的反映到電子大屏。

(8)HDFS用于存儲(chǔ)原始的車道文件，可通過(guò)Hadopp MapReduce或Spark進(jìn)行歷史車道數(shù)據(jù)的離線計(jì)算。

4 ETC車道日志數(shù)據(jù)分析關(guān)鍵流程

4.1 非結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)換

如圖3所示，Log Consumer實(shí)時(shí)消費(fèi)消息隊(duì)列中的數(shù)據(jù)，對(duì)每條數(shù)據(jù)進(jìn)行分解、去重、轉(zhuǎn)換、過(guò)濾等，并將格式化的數(shù)據(jù)通過(guò)Elasticsearch提供的接口存儲(chǔ)。原始的ETC車道文本日志為非結(jié)構(gòu)化的格式(見(jiàn)圖4)，每行信息包含了時(shí)間、消息來(lái)源、消息名稱、消息值。數(shù)據(jù)平臺(tái)Log Consumer通過(guò)文本切割分離的方法，轉(zhuǎn)換成JSON格式(如圖5所示)存入Elasticsearch中。相比與原始數(shù)據(jù)，格式化后的數(shù)據(jù)更容易閱讀，同時(shí)提高了數(shù)據(jù)的查詢與統(tǒng)計(jì)效率。

圖3 ETC車道日志轉(zhuǎn)換過(guò)程圖

圖4 ETC車道原始日志文件格式示意圖

圖5 格式化后JSON格式數(shù)據(jù)示例圖

4.2 ETC車道日志數(shù)據(jù)的實(shí)時(shí)分析

數(shù)據(jù)平臺(tái)采用Storm進(jìn)行車道日志的數(shù)據(jù)實(shí)時(shí)分析，如圖6所示。Storm將所有ETC車道的日志作為數(shù)據(jù)來(lái)源，Spout從消息隊(duì)列中獲取數(shù)據(jù)，并轉(zhuǎn)換為數(shù)據(jù)流傳輸至Bolt，Spout保證了消息傳遞的可靠性，保證每條車道日志都能處理，從而能夠得到正確的分析結(jié)果。Bolt是數(shù)據(jù)運(yùn)算處理單元，對(duì)車道日志進(jìn)行文本分隔、計(jì)算，最終將通行時(shí)間、交易額、失敗率等計(jì)算結(jié)果存入InfluxDB和Elasticsearch中。系統(tǒng)可通過(guò)查詢InfluxDB實(shí)時(shí)展示車道流量、交易額等情況，當(dāng)失敗率超過(guò)一定閥值時(shí)，則進(jìn)行報(bào)警。

圖6 ETC車道日志實(shí)時(shí)分析流程圖

通過(guò)分析處理的ETC車道日志大數(shù)據(jù)平臺(tái)上線運(yùn)行如圖7所示，廣西全區(qū)ETC車道通行交易情況可實(shí)時(shí)顯示。

圖7 廣西全區(qū)ETC車道實(shí)時(shí)交易熱點(diǎn)圖

5 結(jié)語(yǔ)

經(jīng)過(guò)分析處理的車道日志數(shù)據(jù)具有重要的價(jià)值，通過(guò)關(guān)鍵技術(shù)構(gòu)建的車道日志大數(shù)據(jù)處理平臺(tái)在上線運(yùn)行后，車道日志得到了很好的分析利用，取得了良好的效果。企業(yè)能夠通過(guò)電子大屏實(shí)時(shí)掌握廣西區(qū)內(nèi)所有ETC車道的交易狀況，原有的車道日志查詢時(shí)間從原有的半個(gè)小時(shí)縮短為毫秒級(jí)別，極大地提高工作效率；另一方面，系統(tǒng)能夠?qū)崟r(shí)將ETC車道通行狀況通過(guò)移動(dòng)應(yīng)用或微信公眾號(hào)為用戶提供出行參考，及時(shí)預(yù)警突發(fā)情況，問(wèn)題處理變被動(dòng)為主動(dòng)，提高了問(wèn)題處理的效率。車道日志大數(shù)據(jù)分析平臺(tái)提高了用戶體驗(yàn)，有助于ETC的推廣，從而創(chuàng)造出更大的經(jīng)濟(jì)、社會(huì)、環(huán)境效益。