基于機(jī)器視覺(jué)的智慧高速管控系統(tǒng)設(shè)計(jì)

基金項(xiàng)目：

廣西重點(diǎn)研發(fā)計(jì)劃“基于人工智能的高速公路服務(wù)區(qū)安全防控成套技術(shù)研究與應(yīng)用（自籌）”（編號(hào)：桂科 AB22080038）；廣西重點(diǎn)研發(fā)計(jì)劃“基于人工智能的高速公路跨境服務(wù)成套技術(shù)研發(fā)與應(yīng)用（自籌）”（編號(hào)：桂科 AB22080039）

作者簡(jiǎn)介：

戴培柱（1972—），高級(jí)工程師，主要從事高速公路投資建設(shè)與管理工作。

摘要：文章通過(guò)研究高速公路管控系統(tǒng)的應(yīng)用現(xiàn)狀，分析存在的問(wèn)題，提出設(shè)計(jì)一種基于機(jī)器視覺(jué)的智慧高速公路管控系統(tǒng)。該系統(tǒng)以監(jiān)控視頻的AI理解技術(shù)為基礎(chǔ)，借助視頻事件檢測(cè)手段主動(dòng)預(yù)測(cè)交通異常事件，聯(lián)通后續(xù)應(yīng)急救援處置方案，達(dá)成準(zhǔn)確高效的事件發(fā)現(xiàn)、主動(dòng)快捷的告警管控機(jī)制。該系統(tǒng)實(shí)現(xiàn)了高速公路多目標(biāo)跟蹤全面化、交通事件檢測(cè)精準(zhǔn)化，有助于提高高速公路應(yīng)急管控效率，可為建設(shè)智慧高速公路提供借鑒和參考。

關(guān)鍵詞：智慧高速；機(jī)器視覺(jué)；多目標(biāo)跟蹤；視頻事件檢測(cè)；應(yīng)急處置

中圖分類(lèi)號(hào)：U495文獻(xiàn)標(biāo)識(shí)碼：A 58 192 3

0 引言

高速公路建設(shè)是國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展的需要，也是我國(guó)交通需求迅速增長(zhǎng)的必然結(jié)果。截至“十三五”末期，我國(guó)高速公路通車(chē)?yán)锍桃堰_(dá)16.1×104 km［1］，位列世界第一。廣西高速公路管養(yǎng)里程也突破了8 000 km。然而在面對(duì)高速公路緊急異常事件（如碰撞事故、擁堵、車(chē)輛逆行）時(shí)，傳統(tǒng)高速公路運(yùn)營(yíng)管理模式存在依賴人工巡查發(fā)現(xiàn)事件、依賴人工經(jīng)驗(yàn)判斷事件的弊端，造成管理效率低下和出行不便。隨著高分辨率監(jiān)控相機(jī)的普及和視頻事件檢測(cè)技術(shù)的發(fā)展，高速公路管控已擺脫依賴人工的困境，走上基于監(jiān)控視頻的智能化檢測(cè)和管控的捷徑。但廣西地形復(fù)雜，場(chǎng)景環(huán)境多變，給交通事件管控帶來(lái)檢測(cè)識(shí)別精度不足、事件誤報(bào)漏報(bào)、被動(dòng)應(yīng)急防控效率低下等問(wèn)題。

為此，本文提出了一種基于機(jī)器視覺(jué)的智慧高速公路管控系統(tǒng)設(shè)計(jì)，借助機(jī)器視覺(jué)技術(shù)理解視頻內(nèi)容，提高路網(wǎng)狀態(tài)敏感度、事件發(fā)現(xiàn)及時(shí)性與準(zhǔn)確性和事件管控效率，為全面實(shí)現(xiàn)安全高效、智能交互、持續(xù)發(fā)展的智慧高速公路生態(tài)，提供了創(chuàng)新有效的解決方案。

1 高速公路管控系統(tǒng)應(yīng)用現(xiàn)狀

作為目前應(yīng)用最多的路側(cè)感知設(shè)備，攝像機(jī)可拍攝高清、數(shù)字化監(jiān)控視頻，為基于機(jī)器視覺(jué)的智慧高速公路系統(tǒng)提供實(shí)時(shí)可靠的視頻圖像數(shù)據(jù)源。盡管視頻事件檢測(cè)技術(shù)已落地在高速公路管控中，但實(shí)際場(chǎng)景的應(yīng)用也暴露出了以下問(wèn)題：

（1）檢測(cè)識(shí)別精度不足。傳統(tǒng)交通事件檢測(cè)采用線圈檢測(cè)技術(shù)，安裝維護(hù)不方便，檢測(cè)性能受設(shè)備狀態(tài)影響較大，識(shí)別精度有限。一些視頻事件檢測(cè)使用光流法，檢測(cè)運(yùn)動(dòng)目標(biāo)的灰度變化趨勢(shì)已近似模擬行車(chē)軌跡［2］，但其精度極大受限于外部照明條件。為解決該問(wèn)題，可以采用深度學(xué)習(xí)、機(jī)器視覺(jué)技術(shù)，發(fā)揮大數(shù)據(jù)優(yōu)勢(shì)，訓(xùn)練能適應(yīng)路面、隧道等多元背景、多光照環(huán)境的檢測(cè)模型，可提高系統(tǒng)的檢測(cè)識(shí)別精度。

（2）交通事件誤報(bào)漏報(bào)。現(xiàn)有交通事件檢測(cè)系統(tǒng)告警異常時(shí)有發(fā)生，輸出失真信息或漏報(bào)真實(shí)事件，增加了人工復(fù)核成本、降低了高速公路運(yùn)營(yíng)管理效率。誤報(bào)漏報(bào)的原因除了天氣突變、設(shè)備調(diào)整、路況復(fù)雜等外部因素外，也有檢測(cè)方法低效的內(nèi)部因素。因此，需要選擇更精準(zhǔn)可靠的檢測(cè)模型，同時(shí)針對(duì)誤報(bào)、漏報(bào)型異常數(shù)據(jù)增加大量負(fù)樣本，建立有效的特殊數(shù)據(jù)處理機(jī)制和客觀完善的評(píng)價(jià)體系，提高智能交通系統(tǒng)對(duì)誤報(bào)漏報(bào)事件的檢測(cè)能力。

（3）被動(dòng)應(yīng)急防控效率低下。傳統(tǒng)事件管控過(guò)程需要人工發(fā)現(xiàn)并層層上報(bào)，現(xiàn)有的視頻事件檢測(cè)系統(tǒng)也存在誤報(bào)漏報(bào)率高的問(wèn)題，難以達(dá)到準(zhǔn)確、及時(shí)預(yù)警，且事件決策分析緩慢，前端分析和后臺(tái)處置的信息共享和業(yè)務(wù)協(xié)同能力不足，可能導(dǎo)致應(yīng)急處置延誤、擴(kuò)大事故傷害。因此，需要化被動(dòng)為主動(dòng)，全時(shí)段、全方位精準(zhǔn)感知、預(yù)先判斷、提前準(zhǔn)備，同時(shí)打通事件檢測(cè)和應(yīng)急管控的管道，事發(fā)時(shí)主動(dòng)鏈接后續(xù)應(yīng)急處置預(yù)案，做到立即檢測(cè)、一鍵管控，避免二次事故發(fā)生。

2 基于機(jī)器視覺(jué)的智慧高速公路管控系統(tǒng)整體框架

針對(duì)現(xiàn)有的基于視頻監(jiān)控的高速公路管控系統(tǒng)存在的應(yīng)用問(wèn)題，文章充分研究相關(guān)背景技術(shù)，提出了一種基于機(jī)器視覺(jué)的智慧高速管控系統(tǒng)。該系統(tǒng)以高速公路監(jiān)控視頻為基礎(chǔ)，系統(tǒng)整體框架見(jiàn)圖1。在電子地圖、AI和數(shù)據(jù)三大技術(shù)引擎的支撐下，系統(tǒng)通過(guò)構(gòu)建全態(tài)路況感知系統(tǒng)、視頻事件檢測(cè)系統(tǒng)和告警管控系統(tǒng)，對(duì)高速公路海量交通視頻圖像進(jìn)行實(shí)時(shí)分析，分析視頻中的車(chē)輛和行人的行為與狀態(tài)，實(shí)現(xiàn)交通路況全方位、全天候感知，異常事件精準(zhǔn)檢測(cè)、實(shí)時(shí)監(jiān)測(cè)、多維評(píng)估，應(yīng)急事件智能管控，旨在提升高速公路交通管理的信息化服務(wù)水平。

2.1 全路況感知子系統(tǒng)

全路況感知子系統(tǒng)是針對(duì)高速公路監(jiān)控視頻的第一級(jí)處理層級(jí)，利用機(jī)器視覺(jué)和深度學(xué)習(xí)技術(shù)，從車(chē)輛、道路和天氣環(huán)境三個(gè)維度分析視頻內(nèi)容，實(shí)現(xiàn)對(duì)高速公路全面、精確的路況感知。該系統(tǒng)的功能模塊如下：

（1）車(chē)輛屬性監(jiān)測(cè)。

車(chē)輛屬性監(jiān)測(cè)能夠自動(dòng)識(shí)別車(chē)輛靜態(tài)特征（車(chē)牌、車(chē)型信息等），還能實(shí)現(xiàn)動(dòng)態(tài)特征的全線跟蹤，實(shí)時(shí)定位車(chē)輛位置，顯示車(chē)牌、車(chē)型和運(yùn)行軌跡，大幅度提升監(jiān)測(cè)精確度和規(guī)范化管理效率。

（2）道路路況監(jiān)測(cè)。

道路路況監(jiān)測(cè)主要包括道路施工和拋灑物的識(shí)別。道路施工檢測(cè)模塊通過(guò)對(duì)反光錐筒、隔離欄或隔離樁等施工物體的識(shí)別和檢測(cè)對(duì)疑似施工事件自動(dòng)報(bào)警。拋灑物檢測(cè)模塊能實(shí)時(shí)檢測(cè)車(chē)道、硬路肩等區(qū)域的路面遺留拋灑物，可通過(guò)設(shè)定檢測(cè)報(bào)警時(shí)間、同一位置重復(fù)報(bào)警次數(shù)等參數(shù)，進(jìn)行精細(xì)化、合理化預(yù)警管控。

（3）環(huán)境狀態(tài)監(jiān)測(cè)。

系統(tǒng)可結(jié)合監(jiān)測(cè)站點(diǎn)的歷史監(jiān)測(cè)記錄進(jìn)行分析，實(shí)時(shí)預(yù)測(cè)當(dāng)前天氣環(huán)境中的煙火、雨霧、團(tuán)霧等狀態(tài)。根據(jù)圖像背景分辨出目標(biāo)物輪廓的最大距離，計(jì)算視頻流檢測(cè)視域內(nèi)的能見(jiàn)度質(zhì)量，并實(shí)時(shí)輸出當(dāng)前能見(jiàn)度數(shù)據(jù)和預(yù)測(cè)能見(jiàn)度變化趨勢(shì)，當(dāng)能見(jiàn)度低于閾值時(shí)產(chǎn)生異常報(bào)警。

2.2 視頻事件智慧檢測(cè)子系統(tǒng)

視頻事件智慧檢測(cè)子系統(tǒng)通過(guò)建立面向高速公路場(chǎng)景的交通事件風(fēng)險(xiǎn)分析模型，借助大量標(biāo)注視頻的風(fēng)險(xiǎn)事件數(shù)據(jù)和業(yè)務(wù)判斷邏輯，對(duì)擁堵、碰撞事故、占用應(yīng)急車(chē)道、違章變道、違章逆行、違章停車(chē)等異常事件進(jìn)行特征分析和智能檢測(cè)，為高速公路智慧管控系統(tǒng)提供事件級(jí)別的識(shí)別和預(yù)警。該系統(tǒng)的功能模塊如下：

（1）監(jiān)控視頻管理。

監(jiān)控視頻管理模塊能夠?qū)崿F(xiàn)接入和管理不同品牌的視頻監(jiān)控平臺(tái)和外圍設(shè)備等，支持標(biāo)準(zhǔn)對(duì)接協(xié)議，能夠轉(zhuǎn)發(fā)和管理實(shí)時(shí)流媒體數(shù)據(jù)、管理設(shè)備狀態(tài)，支持監(jiān)控錄像查詢、抓拍，視頻回放。

（2）事件特征分析及預(yù)測(cè)。

系統(tǒng)通過(guò)機(jī)器視覺(jué)算法分析視頻內(nèi)容特征，根據(jù)車(chē)輛行駛狀態(tài)、多目標(biāo)位置跟蹤、行車(chē)軌跡、路面覆蓋率等路況感知信息，識(shí)別擁堵路段、事故現(xiàn)場(chǎng)、違章占道、違章逆行等交通異常事件，并向系統(tǒng)發(fā)出異常報(bào)警，避免二次事故發(fā)生。

（3）事件數(shù)據(jù)共享。

對(duì)路況感知數(shù)據(jù)和事件檢測(cè)數(shù)據(jù)進(jìn)行集成、預(yù)處理，并整合成標(biāo)準(zhǔn)化數(shù)據(jù)報(bào)表，便于分析交通流量和路況趨勢(shì)，為多個(gè)子系統(tǒng)的數(shù)據(jù)挖掘和安全預(yù)警奠定基礎(chǔ)；有助于研究高頻事故類(lèi)型及人為原因、發(fā)生路段、天氣環(huán)境等，為高速公路運(yùn)營(yíng)進(jìn)一步優(yōu)化提供數(shù)據(jù)支撐。

2.3 告警管控子系統(tǒng)

告警管控子系統(tǒng)體現(xiàn)人工對(duì)智慧高速管控系統(tǒng)的干預(yù)，有利于確保事件完備準(zhǔn)確、處置行動(dòng)精準(zhǔn)有效。主要包括交通信息發(fā)布、事故預(yù)警和處置、交通誘導(dǎo)三個(gè)模塊。

（1）交通信息發(fā)布。

交通信息發(fā)布是告警管控系統(tǒng)的核心功能，可以針對(duì)全路況感知子系統(tǒng)和視頻事件智慧檢測(cè)子系統(tǒng)提供的車(chē)輛狀態(tài)、道路路況、天氣環(huán)境和交通事件異常狀態(tài)碼，進(jìn)行信息整合和轉(zhuǎn)發(fā)。該模塊提供異常事件的錄像及事件發(fā)生的基本信息，并通報(bào)給指定用戶，如復(fù)核人員、處置人員、系統(tǒng)報(bào)警界面、聯(lián)網(wǎng)信息發(fā)布系統(tǒng)等。

（2）事故預(yù)警和處置。

系統(tǒng)根據(jù)專(zhuān)家意見(jiàn)，整合事件風(fēng)險(xiǎn)等級(jí)、處置物資清單、相關(guān)處置團(tuán)隊(duì)管轄關(guān)系和處置方案，形成事故處置的數(shù)字化預(yù)案。事件信號(hào)發(fā)布至系統(tǒng)事故預(yù)警和處置模塊后，需要對(duì)事件進(jìn)行人工復(fù)核，核實(shí)視頻完整性和事件類(lèi)型、時(shí)空信息的準(zhǔn)確性。確認(rèn)無(wú)誤的事件將立即匹配最佳應(yīng)急預(yù)案，通過(guò)網(wǎng)絡(luò)和電話形式轉(zhuǎn)發(fā)事件和處置預(yù)案到指定的處置部門(mén)。應(yīng)急處置期間，系統(tǒng)將實(shí)時(shí)跟進(jìn)并更新處置進(jìn)度，保證處置進(jìn)程在系統(tǒng)中透明、公開(kāi)。處置結(jié)束后，系統(tǒng)結(jié)算并展示處置時(shí)長(zhǎng)，為后續(xù)人員和資源配置優(yōu)化提供依據(jù)。

（3）交通誘導(dǎo)。

為了更快速、有效地解決交通事故及其帶來(lái)的擁堵，交通信息發(fā)布至系統(tǒng)報(bào)警界面后，采用基于情報(bào)板和多平臺(tái)聯(lián)動(dòng)的交通誘導(dǎo)方式，建立數(shù)字化導(dǎo)流治堵體系。情報(bào)板和交通誘導(dǎo)大屏簡(jiǎn)要指示通行建議，LED顯示屏在靜態(tài)圖形的路段標(biāo)識(shí)區(qū)域鑲嵌LED可變光帶，通過(guò)LED的不同顏色發(fā)光，形象標(biāo)識(shí)這些路段處于暢通（綠色）、堵塞（紅色）或擁擠（橙色）狀態(tài)的實(shí)時(shí)路況，顯示形象直觀、信息量大、視認(rèn)時(shí)間相對(duì)較短。通過(guò)聯(lián)網(wǎng)發(fā)布，系統(tǒng)還可以聯(lián)動(dòng)交通廣播、高德地圖、百度地圖等交通誘導(dǎo)媒介，實(shí)時(shí)向駕駛員傳遞路況信息，形成“道路感知-分析決策-道路管控”的閉環(huán)，提升高速公路通行效率。

3 關(guān)鍵技術(shù)

Yolo目標(biāo)檢測(cè)框架、Deepsort跟蹤算法和事件檢測(cè)算法是本系統(tǒng)的關(guān)鍵算法技術(shù)，本系統(tǒng)應(yīng)用這些核心算法支撐路況感知、事件檢測(cè)的基本業(yè)務(wù)。

（1）Yolo目標(biāo)檢測(cè)框架。

Yolo目標(biāo)檢測(cè)框架是利用深度學(xué)習(xí)進(jìn)行物體檢測(cè)的技術(shù)，具有實(shí)時(shí)性、高精度的特點(diǎn)，應(yīng)用在全路況感知子系統(tǒng)實(shí)現(xiàn)車(chē)輛精確定位。Yolo框架首先對(duì)輸入的圖片進(jìn)行尺寸標(biāo)準(zhǔn)化預(yù)處理，并將其劃分為N×N的網(wǎng)格；然后對(duì)每個(gè)網(wǎng)格內(nèi)的子圖像，輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)；接著輸出當(dāng)前網(wǎng)格內(nèi)所含目標(biāo)的邊界框、定位置信度，以及目標(biāo)類(lèi)別和分類(lèi)置信度；根據(jù)預(yù)測(cè)結(jié)果和目標(biāo)標(biāo)簽的差值不斷調(diào)整更新網(wǎng)絡(luò)權(quán)重、重新訓(xùn)練，直到優(yōu)化出具有高準(zhǔn)確率和高召回率的檢測(cè)模型。

（2）Deepsort跟蹤算法。

Deepsort算法是實(shí)現(xiàn)實(shí)時(shí)的、多目標(biāo)動(dòng)態(tài)跟蹤的算法，能精準(zhǔn)跟蹤車(chē)輛目標(biāo)的實(shí)時(shí)位置，形成一段時(shí)間內(nèi)的車(chē)輛行動(dòng)軌跡，應(yīng)用在視頻事件智慧檢測(cè)子系統(tǒng)中實(shí)現(xiàn)事件判斷的前趨軌跡擬合。跟蹤算法關(guān)注連續(xù)視頻流圖片中同一汽車(chē)目標(biāo)的位置關(guān)聯(lián)，其目的是在連續(xù)的時(shí)間維度中建立動(dòng)態(tài)目標(biāo)之間的空間聯(lián)系。為了實(shí)現(xiàn)幀間目標(biāo)預(yù)測(cè)，Deepsort算法利用卡爾曼濾波算法，根據(jù)當(dāng)前目標(biāo)檢測(cè)框的位置，線性地預(yù)測(cè)目標(biāo)在下一幀的位置。Deepsort算法使用匈牙利算法，找到當(dāng)前目標(biāo)框與預(yù)測(cè)目標(biāo)框的最佳匹配，從而實(shí)現(xiàn)跟蹤。

（3）事件檢測(cè)算法。

事件檢測(cè)算法旨在建立事件風(fēng)險(xiǎn)分析模型，利用大量道路感知數(shù)據(jù)進(jìn)行交通異常事件的定性和定量分析，應(yīng)用在視頻事件智慧檢測(cè)子系統(tǒng)中實(shí)現(xiàn)交通異常事件的實(shí)時(shí)監(jiān)測(cè)和報(bào)警。算法主要利用車(chē)輛目標(biāo)跟蹤結(jié)果、車(chē)輛軌跡信息和路段標(biāo)定信息，判斷停車(chē)、逆行、擁堵等常見(jiàn)的交通異常事件。根據(jù)軌跡目標(biāo)框在5 s內(nèi)的重合度超過(guò)80%，判斷停車(chē)事件發(fā)生；根據(jù)軌跡在3 s內(nèi)的運(yùn)行方向與公路車(chē)道線方向夾角超過(guò)90°，判斷逆行事件發(fā)生；根據(jù)行車(chē)速度緩慢和車(chē)輛在5 s內(nèi)的重疊率高，判斷擁堵事件發(fā)生。

（4）指標(biāo)計(jì)算。

為了驗(yàn)證技術(shù)可行性，在目標(biāo)檢測(cè)方面，通過(guò)采集路面、隧道兩個(gè)場(chǎng)景內(nèi)24 h的監(jiān)控視頻并經(jīng)過(guò)人工抽取幀畫(huà)面和目標(biāo)標(biāo)注，構(gòu)建了擁有小型客車(chē)、大型客車(chē)、小型貨車(chē)、大型貨車(chē)、非機(jī)動(dòng)車(chē)、行人、錐筒共7類(lèi)目標(biāo)、187 369個(gè)目標(biāo)框的數(shù)據(jù)集。將所有監(jiān)控圖片隨機(jī)打亂用于深度學(xué)習(xí)模型訓(xùn)練和測(cè)試［3］，最終用Yolo模型實(shí)現(xiàn)目標(biāo)檢測(cè)精度達(dá)到89%，其中高速公路中最常見(jiàn)的小型客車(chē)檢測(cè)精度最高，達(dá)到95.5%，說(shuō)明Yolo檢測(cè)模型能幫助全路況感知子系統(tǒng)進(jìn)行精準(zhǔn)車(chē)輛定位。使用Yolo目標(biāo)檢測(cè)和Deepsort跟蹤算法，對(duì)高速公路監(jiān)控視頻進(jìn)行動(dòng)態(tài)多目標(biāo)檢測(cè)跟蹤效果如圖2所示，表明無(wú)論是路面還是隧道高速公路場(chǎng)景，系統(tǒng)都能較好地識(shí)別和跟蹤各類(lèi)型車(chē)輛、行人和三角錐筒，檢測(cè)性能高效。

事件檢測(cè)方面，通過(guò)構(gòu)建包含8類(lèi)共3 314個(gè)事件的交通異常事件檢測(cè)數(shù)據(jù)集，衡量事件分析模型的檢測(cè)效果。本文提出的系統(tǒng)具有91%的異常停車(chē)檢出率，85%的車(chē)輛逆行檢出率，84%的擁堵檢測(cè)準(zhǔn)確率，表明視頻事件智慧檢測(cè)子系統(tǒng)能很好地解決交通誤報(bào)漏報(bào)問(wèn)題，確保后續(xù)預(yù)警管控的可靠性。

4 結(jié)語(yǔ)

本文面向高速公路實(shí)際應(yīng)用場(chǎng)景，以監(jiān)控視頻為數(shù)據(jù)基礎(chǔ)，提出了一種基于機(jī)器視覺(jué)的智慧高速管控系統(tǒng)。通過(guò)結(jié)合全態(tài)路況感知子系統(tǒng)的實(shí)時(shí)監(jiān)測(cè)能力、視頻事件檢測(cè)子系統(tǒng)的事件發(fā)現(xiàn)能力以及告警管控子系統(tǒng)的應(yīng)急聯(lián)動(dòng)能力，達(dá)成對(duì)交通事件的早發(fā)現(xiàn)、快處置，可有效保障交通出行，提高高速公路運(yùn)營(yíng)管理水平。

參考文獻(xiàn)

［1］國(guó)務(wù)院安全生產(chǎn)委員會(huì).國(guó)務(wù)院安委會(huì)辦公室關(guān)于印發(fā)《“十四五”全國(guó)道路交通安全規(guī)劃》的通知［Z/OL］.http：//big5.www.gov.cn/gate/big5/www.gov.cn/zhengce/zhengceku/2022-07/29/content_5703363.htm，2022-07-21.

［2］胡 永.基于視頻的公路交通事件檢測(cè)算法研究［J］.現(xiàn)代信息科技，2019，3（7）：61-63.

［3］張 奇，趙洹琪，胡偉超.淺談基于視頻識(shí)別的交通事件檢測(cè)算法性能評(píng)估［J］.道路交通管理，2023（8）：36-39.