申雷霄，劉 軍

（徐州市公路管理處，江蘇 徐州 221000）

0 引言

隨著物聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)、傳感網(wǎng)等概念和技術(shù)的發(fā)展，交通智能化水平有了極大的提高，同時(shí)也對(duì)基礎(chǔ)設(shè)施智能化、信息化水平及人員的管理水平提出了更高的要求。在交通標(biāo)志方面，現(xiàn)有導(dǎo)航設(shè)備可以提供部分限速、測(cè)速監(jiān)控、指路標(biāo)志等信息，但仍存在信息不全、更新滯后的問(wèn)題。比如在交通標(biāo)志的日常維護(hù)與管養(yǎng)工作中，會(huì)對(duì)道路交通標(biāo)志做增減或其他調(diào)整，但未能在數(shù)據(jù)庫(kù)中體現(xiàn)，而這僅是交通標(biāo)志智能化、信息化最基礎(chǔ)的內(nèi)容之一。因此，通過(guò)對(duì)交通標(biāo)志的巡檢，建立交通標(biāo)志的全網(wǎng)數(shù)據(jù)庫(kù)，是實(shí)現(xiàn)交通標(biāo)志信息化的基礎(chǔ)。

交通標(biāo)志是動(dòng)態(tài)變化的設(shè)施，對(duì)其巡檢及調(diào)整優(yōu)化是道路日常運(yùn)營(yíng)管理的重要工作之一。目前，我國(guó)大部分城市對(duì)交通標(biāo)志的巡檢分析主要采用人工手段[1,2]。這種方式不僅存在調(diào)查效率低、成本高、精度低、信息化程度較低、數(shù)據(jù)統(tǒng)計(jì)分析不方便、外業(yè)及內(nèi)業(yè)任務(wù)繁重等弊端，更重要的是，所獲取的交通標(biāo)志信息數(shù)據(jù)不便于存儲(chǔ)及開(kāi)發(fā)利用。由于只有樁號(hào)信息，沒(méi)有其他可用于聯(lián)網(wǎng)的位置信息（如經(jīng)緯度），難以加載于全線或全網(wǎng)，也不便與其他相同等級(jí)的道路進(jìn)行橫向?qū)Ρ确治觥?/p>

在交通標(biāo)志的檢測(cè)與識(shí)別上，Kuo等[3]首先通過(guò)Hough變換和角點(diǎn)檢測(cè)來(lái)獲取交通標(biāo)志的精確位置，然后利用卷積神經(jīng)網(wǎng)絡(luò)和K-d樹(shù)來(lái)識(shí)別交通標(biāo)志。Ciresan和Sermanet等[4-5]利用卷積神經(jīng)網(wǎng)絡(luò)直接從輸入數(shù)據(jù)中學(xué)習(xí)出具有判別性的特征用于交通標(biāo)志識(shí)別，并獲得了很好的識(shí)別性能。然而，這類方法在訓(xùn)練以及分類上都涉及非常高的時(shí)間復(fù)雜度。Shopa等[6]結(jié)合特定的預(yù)處理與K近鄰分類算法對(duì)交通標(biāo)志分類。劉成云等[7]通過(guò)改進(jìn)的MBLBP特征設(shè)計(jì)級(jí)聯(lián)分類器實(shí)現(xiàn)了標(biāo)志牌的檢測(cè)，但是所提取的特征缺乏對(duì)標(biāo)志輪廓形狀信息的描述，并且特征提取耗時(shí)較長(zhǎng)。除此以外，還有大量基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別算法研究[8-12]。以上算法普遍存在運(yùn)算量較大、計(jì)算復(fù)雜、訓(xùn)練和分類時(shí)間成本高等問(wèn)題，不能充分地滿足智能交通系統(tǒng)的需求。

在移動(dòng)檢測(cè)方面，國(guó)內(nèi)某公司研發(fā)的imajing產(chǎn)品將移動(dòng)制圖和地理信息系統(tǒng)技術(shù)與道路實(shí)景技術(shù)融合到一個(gè)獨(dú)特的工具鏈中，用來(lái)滿足基礎(chǔ)設(shè)施的維護(hù)、監(jiān)控和管理需求。imajing的一款后處理軟件imajbox是一個(gè)一體化的、獨(dú)立的、拿來(lái)即用的移動(dòng)測(cè)量系統(tǒng)，能對(duì)交通基礎(chǔ)設(shè)施進(jìn)行快速的數(shù)據(jù)采集。

為了提高交通設(shè)施養(yǎng)護(hù)的規(guī)范化、標(biāo)準(zhǔn)化、信息化水平，掌握各地交通設(shè)施的總量及交通標(biāo)志的使用壽命和維護(hù)管養(yǎng)情況，本文借鑒自然場(chǎng)景下的交通標(biāo)志檢測(cè)與識(shí)別方法，提出了基于機(jī)器視覺(jué)的公路交通標(biāo)志自動(dòng)化巡檢系統(tǒng)。該系統(tǒng)利用YOLO（You Only Look Once）算法進(jìn)行交通標(biāo)志的檢測(cè)與追蹤，大大提高了檢測(cè)速度，滿足了移動(dòng)式視頻檢測(cè)器的要求，極大地提高了交通標(biāo)志的巡檢效率，并實(shí)現(xiàn)了交通標(biāo)志的網(wǎng)絡(luò)化、信息化。

1 交通標(biāo)志的檢測(cè)與追蹤

交通標(biāo)志識(shí)別系統(tǒng)一般通過(guò)安裝在交通工具上的攝像頭獲取道路交通信息，并將其傳入計(jì)算機(jī)進(jìn)行自動(dòng)處理。室外環(huán)境復(fù)雜多變，交通標(biāo)志的明亮程度、損壞形變、尺寸變化都對(duì)目標(biāo)檢測(cè)系統(tǒng)提出了很高的要求。針對(duì)這些特點(diǎn)，本文提出一種基于YOLO算法的交通標(biāo)志檢測(cè)方法。該方法檢測(cè)速度非?？?，可以滿足移動(dòng)式視頻檢測(cè)要求。

1.1 YOLO算法

YOLO算法的全稱是You Only Look Once：Uni?fied,Real-Time Object Detection。其中，You Only Look Once指只需要進(jìn)行一次卷積神經(jīng)網(wǎng)絡(luò)（Con?volutional Neural Networks,CNN）運(yùn)算；Unified指這是一個(gè)統(tǒng)一的框架，提供端到端的預(yù)測(cè)；Real-Time指YOLO算法實(shí)時(shí)性好、速度快。

整體來(lái)看，YOLO算法采用一個(gè)單獨(dú)的CNN模型實(shí)現(xiàn)端到端的目標(biāo)檢測(cè)。整個(gè)系統(tǒng)的工作流程是：首先將輸入圖像劃分成448×448個(gè)網(wǎng)格，然后將圖像送入CNN網(wǎng)絡(luò)，最后根據(jù)CNN網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果得到需要檢測(cè)的目標(biāo)。

YOLO算法將目標(biāo)檢測(cè)統(tǒng)一到一個(gè)神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)使用整個(gè)圖像中的特征來(lái)預(yù)測(cè)每個(gè)邊界框。它同時(shí)預(yù)測(cè)圖像所有類的所有邊界框。因此，該網(wǎng)絡(luò)可以學(xué)習(xí)到完整的圖像和圖中所有的對(duì)象。YOLO算法可實(shí)現(xiàn)端到端訓(xùn)練并能夠?qū)崟r(shí)地檢測(cè)目標(biāo)，同時(shí)也保持著較高的平均精度。

首先將圖像劃分為S×S個(gè)網(wǎng)格[13-15]。如果某個(gè)目標(biāo)的中心落入該網(wǎng)格中，則該網(wǎng)格就負(fù)責(zé)檢測(cè)該目標(biāo)。每個(gè)網(wǎng)格預(yù)測(cè)存在某類物體的概率以及目標(biāo)的B個(gè)包圍框。每個(gè)包圍框預(yù)測(cè)物體的位置坐標(biāo)參數(shù)以及它是目標(biāo)的置信度。置信度分值反映該模型對(duì)包圍框是否包含目標(biāo)的信心及其預(yù)測(cè)的準(zhǔn)確程度。定義置信值為其中Object表示目標(biāo)；Pr(Object)表示這個(gè)包圍框含有目標(biāo)的可能性大小，當(dāng)該包圍框是背景（即不包含目標(biāo)）時(shí)，Pr(Object)=0，而當(dāng)該邊界框包含目標(biāo)時(shí)，Pr(Object)=1。IOUtruthpred為預(yù)測(cè)框與實(shí)際框的交并比（Intersection Over Union,IOU），表示邊界框的準(zhǔn)確度，其中truth表示預(yù)測(cè)框，pred表示實(shí)際框。因此，置信度表示的是兩個(gè)因子的乘積，也反映了預(yù)測(cè)框的準(zhǔn)確度。

每一個(gè)包圍框包含5個(gè)值：x,y,w,h和c。其中：坐標(biāo)(x,y)表示包圍框相對(duì)于網(wǎng)格單元邊界框的中心；寬度w和高度h是相對(duì)于整張圖像預(yù)測(cè)的；c表示預(yù)測(cè)的包圍框與實(shí)際包圍框的交并比。因此，每個(gè)包圍框的預(yù)測(cè)值實(shí)際上包含5個(gè)元素：(x,y,w,h,c)。其中，x,y,w,h表示包圍框的大小與位置，c是置信度。每個(gè)網(wǎng)格單元還預(yù)測(cè)各個(gè)條件類別的概率 Pr(Classi|Object)，其中

Classi(i=1,2,…,C)表示各個(gè)類別；Object表示目標(biāo)；該概率值其實(shí)是在各個(gè)包圍框置信度下的條件概率，以網(wǎng)格包含目標(biāo)為條件，每個(gè)網(wǎng)格單元只預(yù)測(cè)一組類別概率，而不管包圍框數(shù)量B是多少。

在測(cè)試時(shí)，將條件類別概率和單個(gè)包圍框的置信度預(yù)測(cè)相乘，得到各個(gè)包圍框的類別置信度：

包圍框的類別置信度表示的是該包圍框中目標(biāo)屬于各個(gè)類別的可能性大小和包圍框匹配目標(biāo)的好壞，一般會(huì)根據(jù)類別置信度來(lái)過(guò)濾網(wǎng)絡(luò)的包圍框。

1.2 目標(biāo)檢測(cè)方案

采用YOLO算法與級(jí)聯(lián)分類器相結(jié)合的方式進(jìn)行目標(biāo)檢測(cè)，檢測(cè)流程如圖1所示。

圖1 目標(biāo)檢測(cè)方案流程圖

基于YOLO算法的目標(biāo)檢測(cè)方法是將目標(biāo)檢測(cè)任務(wù)看作目標(biāo)區(qū)域預(yù)測(cè)和類別預(yù)測(cè)的回歸問(wèn)題。該方法采用單個(gè)神經(jīng)網(wǎng)絡(luò)直接預(yù)測(cè)目標(biāo)邊界和類別概率，實(shí)現(xiàn)端到端的目標(biāo)檢測(cè)。該方法檢測(cè)速度非?？欤A(chǔ)版的實(shí)時(shí)檢測(cè)可以達(dá)到45幀/s；FastYO?LO版可以達(dá)到155幀/s。

利用Adaboost算法來(lái)訓(xùn)練強(qiáng)分類器。Adaboost是一種迭代算法，其核心思想是針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器（弱分類器），然后把這些弱分類器集合起來(lái)，構(gòu)成一個(gè)更強(qiáng)的最終分類器（強(qiáng)分類器）。通過(guò)分析圖像特征，采用不同特征完成分類器，可以得到二分類器，再將分類器級(jí)聯(lián)起來(lái)，形成級(jí)聯(lián)分類器，從而提高目標(biāo)檢測(cè)的準(zhǔn)確度，如圖2所示。

圖2 級(jí)聯(lián)分類器示意圖

目標(biāo)檢測(cè)方案的具體實(shí)施步驟如下：

（1）制作voc格式的數(shù)據(jù)集

利用現(xiàn)有的含有交通標(biāo)志的圖片數(shù)據(jù)庫(kù)制作voc格式的數(shù)據(jù)集，對(duì)圖片中的交通標(biāo)志進(jìn)行標(biāo)注并生成相應(yīng)的標(biāo)注文件。在該數(shù)據(jù)集中標(biāo)注的交通標(biāo)志類別總共為五類：禁令標(biāo)志、警告標(biāo)志、指示標(biāo)志、指路標(biāo)志和輔助標(biāo)志，如圖3所示。

圖3 各類別交通標(biāo)志示例

（2）YOLO訓(xùn)練數(shù)據(jù)集

采用YOLO算法對(duì)標(biāo)定的數(shù)據(jù)集進(jìn)行訓(xùn)練，圖像視頻按幀輸入，經(jīng)過(guò)Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)獲得特征圖譜。所用到特征圖譜大小分別為13×13、26×26和52×52網(wǎng)格。

（3）根據(jù)預(yù)先設(shè)置好的anchor boxes在特征圖譜上進(jìn)行交通標(biāo)志多尺度檢測(cè)。YOLO采用聚類方法K-means來(lái)選取anchor box。

（4）采用logistic分類器對(duì)交通標(biāo)志進(jìn)行級(jí)聯(lián)分類，確定其所屬類別。

（5）輸入下一幀轉(zhuǎn)到步驟（2），直到視頻幀停止。

2 交通標(biāo)志自動(dòng)化巡檢系統(tǒng)

基于機(jī)器視覺(jué)的公路交通標(biāo)志自動(dòng)化巡檢系統(tǒng)是一個(gè)物理分布、邏輯統(tǒng)一的信息化平臺(tái)。該平臺(tái)為用戶提供了一個(gè)公路標(biāo)志牌巡查、報(bào)警以及信息管理的有效途徑，其基于機(jī)器視覺(jué)的自動(dòng)化過(guò)程有效地提高了用戶的工作效率。

2.1 系統(tǒng)架構(gòu)

該系統(tǒng)可以分為檢測(cè)系統(tǒng)和數(shù)據(jù)管理系統(tǒng)兩個(gè)子系統(tǒng)，總體架構(gòu)如圖4所示。上層為檢測(cè)系統(tǒng)，集成所有檢測(cè)模塊，包括交通標(biāo)志檢測(cè)、道路標(biāo)線檢測(cè)和路面坑塘檢測(cè)，這也是系統(tǒng)的三大核心功能。交通標(biāo)志檢測(cè)主要是對(duì)道路上的交通標(biāo)識(shí)進(jìn)行檢測(cè)，檢測(cè)其類別是否正確、是否缺失并報(bào)警。道路標(biāo)線檢測(cè)主要對(duì)道路沿線的道路標(biāo)線進(jìn)行檢測(cè)，檢測(cè)是否缺失并報(bào)警。路面坑塘檢測(cè)主要對(duì)道路路面進(jìn)行檢測(cè)，檢測(cè)是否存在坑塘并報(bào)警。下層是數(shù)據(jù)管理模塊，主要是存儲(chǔ)并管理檢測(cè)系統(tǒng)所產(chǎn)生的所有數(shù)據(jù)，兩層之間互相聯(lián)動(dòng)，共同支撐整個(gè)公路交通標(biāo)志自動(dòng)化巡檢系統(tǒng)的運(yùn)行。

2.2 系統(tǒng)結(jié)構(gòu)與功能

圖4 基于移動(dòng)視頻的公路交通標(biāo)志巡檢系統(tǒng)架構(gòu)圖

系統(tǒng)結(jié)構(gòu)如圖5所示，主要由GPS裝置、攝像頭、通信及數(shù)據(jù)解析模塊、攝像頭控制模塊、用戶界面、數(shù)據(jù)管理模塊及統(tǒng)計(jì)分析模塊構(gòu)成。除GPS裝置、攝像頭之外的所有模塊均集成在一臺(tái)計(jì)算機(jī)中，計(jì)算機(jī)與GPS裝置通過(guò)路由器相連，與攝像頭通過(guò)USB接口相連。

圖5 基于移動(dòng)視頻的公路交通標(biāo)志巡檢系統(tǒng)結(jié)構(gòu)圖

GPS裝置與通信及數(shù)據(jù)解析模塊連接。它通過(guò)向GPS衛(wèi)星發(fā)出請(qǐng)求，得到設(shè)備當(dāng)前的經(jīng)緯度坐標(biāo)位置，再將檢測(cè)到的坐標(biāo)位置信息打包后發(fā)送給通信及數(shù)據(jù)解析模塊，最后由通信及數(shù)據(jù)解析模塊對(duì)它進(jìn)行接收和處理。

攝像頭與攝像頭控制模塊連接。攝像頭控制模塊能實(shí)時(shí)地對(duì)焦距和曝光度等參數(shù)進(jìn)行調(diào)節(jié)。攝像頭將采集的視頻傳送給攝像頭控制模塊，由控制模塊進(jìn)行格式轉(zhuǎn)換和存儲(chǔ)等處理。同時(shí)攝像頭能夠通過(guò)控制模塊與用戶界面模塊建立連接，及時(shí)接收用戶發(fā)送來(lái)的指令，采集交通標(biāo)志的圖像信息或者拍攝相應(yīng)的行車(chē)視頻以供后續(xù)分析處理。

通信及數(shù)據(jù)解析模塊與用戶界面連接，將處理過(guò)的地理位置信息發(fā)送給用戶界面。攝像頭控制模塊也與用戶界面連接，負(fù)責(zé)將處理后的視頻數(shù)據(jù)發(fā)送給用戶界面。

除此之外，用戶界面能夠?qū)崟r(shí)顯示電子地圖，并自動(dòng)在電子地圖的相應(yīng)位置對(duì)與之前采集到的交通標(biāo)志信息進(jìn)行標(biāo)記。標(biāo)記的信息還包括樁號(hào)信息。樁號(hào)信息的自動(dòng)計(jì)算過(guò)程如下：以公路起點(diǎn)處的經(jīng)緯度坐標(biāo)和樁號(hào)作為參考，結(jié)合GPS裝置獲得的當(dāng)前經(jīng)緯度坐標(biāo)位置和幾何知識(shí)，自動(dòng)計(jì)算當(dāng)前交通標(biāo)志的樁號(hào)。另外，用戶還能手動(dòng)將參考樁號(hào)輸入系統(tǒng)，系統(tǒng)根據(jù)參考樁號(hào)進(jìn)行樁號(hào)核算，以減小誤差。計(jì)算公式如下：

式（2）～式（5）中：(longituder,latituder)為參考樁號(hào)的經(jīng)緯度坐標(biāo)；(longitudec,latitudec)為當(dāng)前標(biāo)志的經(jīng)緯度坐標(biāo)；Nr為參考點(diǎn)的樁號(hào)；Nc為當(dāng)前點(diǎn)的樁號(hào)。

用戶界面還將接收地理位置信息和視頻數(shù)據(jù)，并將它們傳給數(shù)據(jù)管理模塊。數(shù)據(jù)管理模塊對(duì)接收的數(shù)據(jù)做存儲(chǔ)、檢索和刪除處理。同時(shí)，用戶界面能調(diào)用數(shù)據(jù)管理模塊的數(shù)據(jù)。

數(shù)據(jù)管理模塊與統(tǒng)計(jì)分析模塊連接。統(tǒng)計(jì)分析模塊對(duì)數(shù)據(jù)管理模塊中的數(shù)據(jù)做進(jìn)一步的統(tǒng)計(jì)和分析，即通過(guò)分析交通標(biāo)志的位置信息、標(biāo)志類型、架設(shè)情況、版面形狀等信息得到交通標(biāo)志的狀態(tài)評(píng)估結(jié)果，并給出相應(yīng)的維護(hù)建議。

2.3 系統(tǒng)數(shù)據(jù)組成與管理方案

系統(tǒng)的數(shù)據(jù)組成主要包括下面七個(gè)部分：

（1）視頻數(shù)據(jù)，指由固定式攝像頭所拍攝的視頻，數(shù)據(jù)格式為.avi。

（2）圖片數(shù)據(jù)，指特定事件發(fā)生時(shí)所拍攝的事件圖片，數(shù)據(jù)格式為.jpg或.png。

（3）事件數(shù)據(jù)，指檢測(cè)獲得的事件所屬類別，數(shù)據(jù)格式為“交通標(biāo)志”、“道路標(biāo)線”、“路面坑塘”。

（4）狀態(tài)數(shù)據(jù)，指檢測(cè)事件的情況，數(shù)據(jù)格式為“正?！被颉爱惓！?。

（5）坐標(biāo)數(shù)據(jù)，指事件發(fā)生地的GPS坐標(biāo)，數(shù)據(jù)格式為“（經(jīng)度，緯度）”。

（6）數(shù)量數(shù)據(jù)，指檢測(cè)事件發(fā)生的數(shù)量，數(shù)據(jù)格式為整型。

（7）時(shí)間數(shù)據(jù)，指事件發(fā)生的時(shí)間，數(shù)據(jù)格式為“年-月-日-時(shí)-分-秒”。

在系統(tǒng)內(nèi)，對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一信息管理，并按照數(shù)據(jù)事件進(jìn)行分類存儲(chǔ)與管理。管理系統(tǒng)結(jié)構(gòu)如圖6所示。

圖6 數(shù)據(jù)管理系統(tǒng)結(jié)構(gòu)圖

數(shù)據(jù)管理的主要功能包括：（1）數(shù)據(jù)建庫(kù)，支持多種數(shù)據(jù)類型的數(shù)據(jù)建庫(kù)；（2）數(shù)據(jù)存儲(chǔ)，將已采集的數(shù)據(jù)裝載到數(shù)據(jù)庫(kù)進(jìn)行管理；（3）數(shù)據(jù)目錄服務(wù)，即建立并維護(hù)符合巡查系統(tǒng)信息要求的目錄管理；（4）數(shù)據(jù)檢索，即按照指定檢索條件查找數(shù)據(jù)；（5）數(shù)據(jù)修改與刪除，即對(duì)指定數(shù)據(jù)進(jìn)行修改或刪除操作。

3 系統(tǒng)實(shí)測(cè)效果

通過(guò)檢測(cè)系統(tǒng)與數(shù)據(jù)管理系統(tǒng)兩個(gè)子系統(tǒng)間的互通互聯(lián)，建立交通標(biāo)志的數(shù)據(jù)庫(kù)（融合了交通地理信息系統(tǒng)GIS-T、標(biāo)志牌位置GPS信息以及傳輸通信4G的數(shù)據(jù)），實(shí)現(xiàn)對(duì)交通標(biāo)志的巡檢、分析、評(píng)價(jià)、優(yōu)化設(shè)置及政策輔助等功能。主要用于公路交通標(biāo)志自動(dòng)化巡檢分析以及輔助決策支持，實(shí)現(xiàn)了交通標(biāo)志的自動(dòng)化、智能化、網(wǎng)絡(luò)化普查與分析功能。

系統(tǒng)的測(cè)試結(jié)果如圖7所示。

從圖7可以看出，該系統(tǒng)能夠準(zhǔn)確地對(duì)路邊不同種類、不同形狀的交通標(biāo)志進(jìn)行圖像捕捉、檢測(cè)與識(shí)別，快速而精準(zhǔn)。對(duì)道路標(biāo)線和路面坑塘，系統(tǒng)也能通過(guò)圖像處理實(shí)現(xiàn)精準(zhǔn)檢測(cè)。實(shí)測(cè)結(jié)果顯示，該系統(tǒng)具有較高的測(cè)試精度，測(cè)試效果較好。

圖7 系統(tǒng)測(cè)試結(jié)果

4 結(jié)論

本文提出的基于機(jī)器視覺(jué)的公路交通標(biāo)志自動(dòng)化巡檢系統(tǒng)，基于YOLO算法進(jìn)行交通標(biāo)志的檢測(cè)與追蹤，實(shí)現(xiàn)了對(duì)多個(gè)類別、多種形狀的交通標(biāo)志的精準(zhǔn)檢測(cè)，大大提高了目標(biāo)檢測(cè)速度和巡檢效率，實(shí)現(xiàn)了交通標(biāo)志檢測(cè)、道路標(biāo)線檢測(cè)和路面坑塘檢測(cè)的網(wǎng)絡(luò)化、信息化。下一步的工作是擴(kuò)展該系統(tǒng)的功能，實(shí)現(xiàn)對(duì)道路上違法拋撒物品和在道路兩側(cè)違法設(shè)立攤點(diǎn)等行為的監(jiān)測(cè)。