基于雷視融合感知技術(shù)的公路隧道交通管控系統(tǒng)研究

陳 宏, 付立家, 尚 康, 朱香敏

(1.山東高速股份有限公司, 濟(jì)南 250014; 2.招商局重慶交通科研設(shè)計(jì)院有限公司, 重慶 400067; 3.重慶交通大學(xué) 交通運(yùn)輸學(xué)院, 重慶 400074)

《交通強(qiáng)國(guó)建設(shè)綱要》《公路“十四五”發(fā)展規(guī)劃》明確指出,推進(jìn)新一代信息技術(shù)與公路交通運(yùn)輸?shù)纳疃热诤?加強(qiáng)交通流量、突發(fā)事件、違法超限等信息的自動(dòng)感知[1-2]。傳統(tǒng)的交通信息感知設(shè)備與技術(shù)已難以滿足信息化、智能化交通發(fā)展的要求[3]。為提高公路隧道信息感知水平,精準(zhǔn)探測(cè)隧道運(yùn)行狀態(tài),并輔助支撐隧道交通管控決策,以雷達(dá)與視頻檢測(cè)設(shè)備為基礎(chǔ),融合雷視檢測(cè)數(shù)據(jù),建立公路隧道交通管控系統(tǒng)。

近年來,國(guó)內(nèi)外對(duì)雷達(dá)和視頻數(shù)據(jù)融合方法都有深入研究,提出各種理論模型和應(yīng)用方案。在融合方法方面,Xu D等[4]融合雷達(dá)和視頻檢測(cè)數(shù)據(jù)定位目標(biāo)區(qū)域,以拉格朗日插值在時(shí)間維對(duì)齊,改進(jìn)型Hausdorff距離匹配算法在空間維對(duì)齊,實(shí)現(xiàn)了高匹配度車輛檢測(cè)。Giancarlo A等[5]通過雷達(dá)數(shù)據(jù)定位目標(biāo)區(qū)域,根據(jù)車輛垂直對(duì)稱性實(shí)現(xiàn)了車輛的檢測(cè)。丁俊杰[6]以改進(jìn)YOLOv5目標(biāo)識(shí)別算法為基礎(chǔ),提出一種三階段雷達(dá)視頻異構(gòu)數(shù)據(jù)融合算法,依次進(jìn)行時(shí)間融合、空間融合和交通信息融合感知。在應(yīng)用方案方面,王祥雪等[7]以雷視數(shù)據(jù)為基礎(chǔ),在視頻監(jiān)控系統(tǒng)中融入車輛識(shí)別、交通事件檢測(cè)等功能,實(shí)現(xiàn)了基于車輛信息的多模態(tài)數(shù)據(jù)綁定和可視化聯(lián)動(dòng)。張皓月等[8]將雷視融合技術(shù)應(yīng)用于高速公路重點(diǎn)路段,建立了高速公路事件檢測(cè)與分析系統(tǒng)。孟維偉等[9]融合毫米波雷達(dá)和視覺傳感器的檢測(cè)數(shù)據(jù),實(shí)現(xiàn)了交通狀態(tài)及風(fēng)險(xiǎn)事件的實(shí)時(shí)檢測(cè)。曾磊等[10]基于新一代信息技術(shù),建立了智慧公路隧道管控體系框架,實(shí)現(xiàn)了高效、節(jié)能和安全管控隧道的目的。

目前,針對(duì)雷視融合解決方案多依賴于專家經(jīng)驗(yàn)設(shè)計(jì),存在融合步驟繁瑣,數(shù)據(jù)利用率低,且難以有效用于公路隧道交通管控等問題。本文探究雷達(dá)和視頻數(shù)據(jù)的高效融合方法,以期達(dá)到高精度、高魯棒和大范圍的檢測(cè)交通信息目的,并以此建立公路隧道交通管控系統(tǒng)體系框架,探討其關(guān)鍵技術(shù)、應(yīng)用平臺(tái)和實(shí)現(xiàn)功能。

1 雷視融合感知技術(shù)

該技術(shù)通過雷視一體機(jī)和邊緣處理器依次實(shí)現(xiàn)雷達(dá)和視頻數(shù)據(jù)的采集、識(shí)別和融合,流程如圖1所示。1) 雷視一體機(jī)對(duì)目標(biāo)區(qū)域內(nèi)通行車輛數(shù)據(jù)進(jìn)行實(shí)時(shí)采集,獲取雷達(dá)與視頻檢測(cè)數(shù)據(jù);2) 邊緣處理器分別提取雷達(dá)與視頻檢測(cè)數(shù)據(jù),以YOLOv5算法[11]提取視頻中的車輛車型信息,以3DSSD雷達(dá)目標(biāo)檢測(cè)算法提取車輛位置信息;3) 對(duì)提取的目標(biāo)數(shù)據(jù)進(jìn)行時(shí)空同步,經(jīng)時(shí)間配準(zhǔn)剔除無效雷達(dá)與視頻幀,經(jīng)空間標(biāo)定將有效雷達(dá)數(shù)據(jù)空間轉(zhuǎn)換到像素空間;4) 以ROI方法融合雷達(dá)和視頻檢測(cè)的車輛目標(biāo),并根據(jù)檢測(cè)距離融合雷視目標(biāo)信息,實(shí)現(xiàn)公路隧道通行車輛全息感知。

圖1 雷視融合流程

1.1 雷視信息時(shí)空同步

由于毫米波雷達(dá)與攝像機(jī)感知交通信息的原理和方式都不相同,導(dǎo)致交通信息在采集頻率、數(shù)據(jù)空間、數(shù)據(jù)維度上存在差異,因此需在時(shí)間上和空間上分別進(jìn)行同步,實(shí)現(xiàn)雷視數(shù)據(jù)的同頻同維度呈現(xiàn)。

1) 時(shí)間配準(zhǔn)

時(shí)間配準(zhǔn)是將相同采樣時(shí)間的雷達(dá)與視頻數(shù)據(jù)幀相映射,實(shí)現(xiàn)步驟如下:(1) 同步數(shù)據(jù)起點(diǎn),以保證雷達(dá)與攝像機(jī)采樣起始時(shí)間相同,規(guī)避采集時(shí)間不同導(dǎo)致的雷達(dá)和視頻數(shù)據(jù)無法融合;(2) 計(jì)算2類傳感器工作頻率的最大公約數(shù),尋求數(shù)據(jù)融合的最大頻率;(3) 向下兼容同步2類傳感器,篩選出相互映射的雷達(dá)和視頻數(shù)據(jù),實(shí)現(xiàn)雷達(dá)和視頻數(shù)據(jù)在時(shí)間層面精準(zhǔn)匹配,如圖2所示。

圖2 時(shí)間配準(zhǔn)原理

2) 空間標(biāo)定

空間標(biāo)定是實(shí)現(xiàn)雷視數(shù)據(jù)的同空間呈現(xiàn),通過大地空間坐標(biāo)系和相機(jī)空間坐標(biāo)系將雷達(dá)空間坐標(biāo)系轉(zhuǎn)換到像素空間坐標(biāo)系,如圖3所示。雷達(dá)空間坐標(biāo)系是以雷達(dá)為中心的三維球坐標(biāo)系,像素空間是以圖像左上角為中心的二維笛卡爾坐標(biāo)系?？臻g標(biāo)定步驟為:(1) 將雷達(dá)空間坐標(biāo)系轉(zhuǎn)化為大地空間坐標(biāo)系(以雷達(dá)為中心的三維笛卡爾坐標(biāo)系);(2) 經(jīng)平移和旋轉(zhuǎn)操作后,將大地空間坐標(biāo)系轉(zhuǎn)化為相機(jī)空間坐標(biāo)系(以相機(jī)為中心的三維笛卡爾坐標(biāo)系);(3) 根據(jù)小孔成像原理及圖片像素寬度,將相機(jī)空間坐標(biāo)系轉(zhuǎn)化為像素空間坐標(biāo)系。

圖3 空間標(biāo)定原理

1.2 基于ROI的雷視目標(biāo)融合算法

通過時(shí)空同步實(shí)現(xiàn)雷達(dá)和視頻數(shù)據(jù)同頻同維呈現(xiàn)后,引入目標(biāo)區(qū)域ROI(Region of Interest),在像素空間內(nèi)關(guān)聯(lián)兩者檢測(cè)目標(biāo)信息,包括目標(biāo)類型、像素位置、空間位置等信息。假設(shè)雷達(dá)的目標(biāo)區(qū)域面積定義為SR,區(qū)域中心點(diǎn)為OR,視頻目標(biāo)區(qū)域面積為SP,中心點(diǎn)為OP,可通過ROI來計(jì)算目標(biāo)間關(guān)聯(lián)度,見式(1)。

(1)

式中:Oτ、Sτ為目標(biāo)關(guān)聯(lián)度閾值,僅當(dāng)雷達(dá)和視頻目標(biāo)區(qū)域的中心距離小于Oτ,交并比大于Sτ時(shí),輸出兩者融合目標(biāo);ΔO、IOU如圖4所示。若有雷達(dá)目標(biāo)與所有視頻目標(biāo)均未關(guān)聯(lián)成功,則單獨(dú)輸出該目標(biāo);若有雷達(dá)目標(biāo)與多個(gè)視頻目標(biāo)均能關(guān)聯(lián)成功,則輸出高關(guān)聯(lián)性融合目標(biāo)。

圖4 ROI目標(biāo)融合

1.3 基于距離的混合檢測(cè)方法

毫米波雷達(dá)探測(cè)距離約為250 m,探測(cè)距離遠(yuǎn),精度高,環(huán)境適應(yīng)性強(qiáng);視頻檢測(cè)器有效探測(cè)距離僅為50 m到100 m[12],探測(cè)距離近,成本低,信息豐富。由于兩者檢測(cè)區(qū)域只存在部分重疊區(qū),在重疊區(qū)融合雷達(dá)和視頻檢測(cè)目標(biāo);在非重疊區(qū)以雷達(dá)檢測(cè)目標(biāo)為主,視頻檢測(cè)為輔,如圖5所示。雷達(dá)檢測(cè)目標(biāo)交通信息包括車型、大地位置坐標(biāo)、車速等信息,視頻檢測(cè)交通信息包括車牌號(hào)碼、車型、像素坐標(biāo)和顏色等信息。在重疊區(qū)建立雷達(dá)和視頻檢測(cè)目標(biāo)的映射關(guān)系,實(shí)現(xiàn)全方位、高精度的感知交通信息,為隧道管理、控制、節(jié)能減排等提供穩(wěn)定的數(shù)據(jù)支撐。

圖5 雷視距離融合

2 公路隧道交通管控系統(tǒng)

2.1 系統(tǒng)架構(gòu)

系統(tǒng)總體方案按照數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系和運(yùn)營(yíng)維護(hù)保障體系設(shè)計(jì),采用分層設(shè)計(jì)的多層系統(tǒng)體系架構(gòu),如圖6所示。系統(tǒng)架構(gòu)分為設(shè)備層、通信層、數(shù)據(jù)層、應(yīng)用層和用戶層。設(shè)備層包括交通感知設(shè)備、交通控制設(shè)備和環(huán)境感知設(shè)備,構(gòu)成隧道數(shù)據(jù)采集的基本設(shè)施;通信層包括公路隧道架設(shè)的光纖網(wǎng)、4G/5G網(wǎng)、緊急電話專網(wǎng)和物聯(lián)網(wǎng)等;數(shù)據(jù)層包括大數(shù)據(jù)技術(shù)支撐下的數(shù)據(jù)采集、儲(chǔ)存、清洗、分析、應(yīng)用、保護(hù)、清理和共享等操作,其中公路隧道數(shù)據(jù)庫(kù)包括車輛基本數(shù)據(jù)、軌跡數(shù)據(jù)、交通流數(shù)據(jù)、異常事件數(shù)據(jù)、違法數(shù)據(jù)和環(huán)境數(shù)據(jù)等結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù);應(yīng)用層圍繞公路隧道運(yùn)營(yíng)管理的核心業(yè)務(wù),包括公路隧道三維實(shí)景化管控系統(tǒng)、數(shù)據(jù)分析研判系統(tǒng)、應(yīng)急聯(lián)動(dòng)管控系統(tǒng)和信息共享系統(tǒng);用戶層包括政府部門、公路隧道運(yùn)營(yíng)管理企業(yè)、科研機(jī)構(gòu)、檢測(cè)單位和駕乘人員等。

圖6 公路隧道交通管控系統(tǒng)體系架構(gòu)

2.2 關(guān)鍵技術(shù)

1) 車輛定位與軌跡融合技術(shù)

車輛定位技術(shù)是將雷達(dá)和視頻數(shù)據(jù)經(jīng)邊緣處理器分析融合,全息感知隧道檢測(cè)區(qū)域內(nèi)所有車輛目標(biāo)的位置、類別和特征信息。車輛軌跡融合技術(shù)是按照多目標(biāo)跟蹤算法對(duì)檢測(cè)區(qū)域的雷達(dá)和視頻目標(biāo)信息進(jìn)行目標(biāo)檢測(cè)、跟蹤和特征提取等。根據(jù)車輛位置和特征,對(duì)不同位置設(shè)備采集到的車輛特征進(jìn)行匹配,并進(jìn)行多目標(biāo)跟蹤,生成車輛唯一身份ID與行駛軌跡,實(shí)現(xiàn)設(shè)備間數(shù)據(jù)傳遞和數(shù)據(jù)融合,生成車輛通行隧道軌跡信息。

2) 運(yùn)行狀態(tài)感知技術(shù)

公路隧道運(yùn)行狀態(tài)感知主要是對(duì)斷面交通流、區(qū)域交通流、車輛違法信息和交通事件信息的精準(zhǔn)感知,如表1所示。根據(jù)車輛定位和軌跡融合技術(shù)建立車輛通行隧道全息化、可視化和數(shù)字化模型,以車輛高精度軌跡數(shù)據(jù)判斷車輛逆行、違規(guī)變道等;以車輛速度判斷車輛超速、慢行等;以特征匹配、深度學(xué)習(xí)等檢測(cè)并判斷交通事件類型。公路隧道運(yùn)行狀態(tài)感知技術(shù)為公路隧道數(shù)字孿生、精確預(yù)警和聯(lián)動(dòng)管控等提供強(qiáng)有力的數(shù)據(jù)保障。

3) 數(shù)字孿生技術(shù)

依據(jù)三維建模、地理信息、數(shù)據(jù)可視化、人工智能、AR/VR/MR等技術(shù)建立數(shù)字孿生隧道[13],實(shí)現(xiàn)物理世界的現(xiàn)實(shí)交通向信息世界的虛擬交通映射,如圖7所示。融合隧道監(jiān)測(cè)設(shè)備采集的數(shù)據(jù),建立實(shí)時(shí)數(shù)據(jù)的多維度立體數(shù)據(jù)庫(kù)。采用計(jì)算攝影學(xué)、三維GIS實(shí)景建模、三維可視化輕量建模等技術(shù)對(duì)實(shí)時(shí)交通流、異常交通事件、車輛行為、環(huán)境狀態(tài)的實(shí)時(shí)孿生呈現(xiàn),通過動(dòng)態(tài)數(shù)字建模、數(shù)據(jù)驅(qū)動(dòng)與靶向數(shù)據(jù)交互技術(shù),實(shí)現(xiàn)對(duì)隧道的立體化、精準(zhǔn)化、智能化監(jiān)控管理。

表1 公路隧道運(yùn)行狀態(tài)信息

圖7 公路隧道數(shù)字孿生體系

2.3 系統(tǒng)功能及應(yīng)用

1) 三維實(shí)景化管控平臺(tái)

該平臺(tái)是以交通感知信息驅(qū)動(dòng),基于雷視融合感知技術(shù)、運(yùn)行狀態(tài)感知技術(shù)和數(shù)字孿生技術(shù)等搭建三維虛擬孿生隧道。為公路隧道提供全方位的智能管控方案,包括車道控制、速度控制、限行管理、封閉控制、交通誘導(dǎo)、交通預(yù)警、通風(fēng)控制、照明控制等功能。在滿足公路隧道日常運(yùn)營(yíng)基礎(chǔ)上,通過大數(shù)據(jù)、人工智能、數(shù)字孿生等技術(shù)探究公路隧道低碳環(huán)保、節(jié)能減排和精細(xì)化的智能管控策略。如在保證公路隧道通行能力下根據(jù)交通流參數(shù)動(dòng)態(tài)調(diào)整燈具亮度,達(dá)到節(jié)約能源目的。

2) 數(shù)據(jù)分析研判平臺(tái)

該平臺(tái)通過對(duì)隧道運(yùn)行數(shù)據(jù)的收集、分析和處理,為隧道提供數(shù)據(jù)挖掘、統(tǒng)計(jì)分析、預(yù)測(cè)模型、數(shù)據(jù)可視化和運(yùn)營(yíng)安全評(píng)價(jià)等功能。以隧道傳感器檢測(cè)信息為基礎(chǔ),分析隧道內(nèi)數(shù)據(jù)特征,多源和多元數(shù)據(jù)融合,建立公路隧道交通流、交通違法、交通事件等數(shù)據(jù)庫(kù),對(duì)隧道運(yùn)營(yíng)、控制和維護(hù)提供穩(wěn)定數(shù)據(jù)支撐,并為隧道管理人員提供輔助決策參考。如根據(jù)交通量預(yù)測(cè)模型,提供動(dòng)態(tài)調(diào)整可變限速、開關(guān)通行車道數(shù)、風(fēng)機(jī)開啟數(shù)量和時(shí)間等輔助決策方案。

3) 應(yīng)急聯(lián)動(dòng)管控平臺(tái)

該平臺(tái)主要是對(duì)隧道應(yīng)急事件的管理、協(xié)調(diào)和應(yīng)對(duì),為隧道提供交通事件檢測(cè)、資源管理、突發(fā)事件報(bào)警、發(fā)布預(yù)警信息、應(yīng)急調(diào)度指揮和應(yīng)急培訓(xùn)演練等功能。將聯(lián)動(dòng)系統(tǒng)嵌入應(yīng)急管控平臺(tái)中,實(shí)現(xiàn)交通事件的遠(yuǎn)程監(jiān)控,并對(duì)照明、通風(fēng)、交通誘導(dǎo)、環(huán)境監(jiān)測(cè)和火災(zāi)等設(shè)備聯(lián)動(dòng)控制。該平臺(tái)采用一隧一預(yù)案對(duì)事件類型進(jìn)行分類,突發(fā)事件時(shí)快速響應(yīng)“一鍵下發(fā)”,自動(dòng)修改情報(bào)板提示語(yǔ),自動(dòng)切換信號(hào)燈等機(jī)電設(shè)備,在極大提升應(yīng)急響應(yīng)速度的同時(shí)保障了隧道內(nèi)部人員和車輛安全。

4) 信息共享平臺(tái)

該平臺(tái)可提供出行前和出行中的信息共享服務(wù),其中出行前信息服務(wù)包括隧道基礎(chǔ)信息、路況信息、交通管制信息、限行信息等。出行中信息服務(wù)包括車道指示信息、交通違章信息、交通誘導(dǎo)信息、限速信息和預(yù)警信息。該平臺(tái)可實(shí)現(xiàn)隧道內(nèi)部與外部信息的互通共享,促進(jìn)跨部門、跨系統(tǒng)之間協(xié)作和協(xié)調(diào),實(shí)現(xiàn)信息的整合和共享,提高信息資源的利用效率和質(zhì)量,從而提高隧道安全性、運(yùn)營(yíng)效率、管理水平和應(yīng)急響應(yīng)能力等。

3 工程應(yīng)用

3.1 工程概況

山東高速股份有限公司運(yùn)營(yíng)管轄的濟(jì)萊高速公路起點(diǎn)為濟(jì)南市港溝南,終點(diǎn)是萊蕪市東北西峪村,全長(zhǎng)75.5 km,共有8座隧道,其中長(zhǎng)隧道3座,作為山東省濟(jì)南和萊蕪區(qū)劃合并后的同城高速公路,交通量大且持續(xù)增長(zhǎng),隧道智能交通管控技術(shù)需求迫切。

3.2 工程效果

濟(jì)萊高速公路隧道智能管控平臺(tái)部分功能界面如圖8所示,其依次展示了公路隧道交通管控主頁(yè)、應(yīng)急預(yù)案管理頁(yè)面、應(yīng)急聯(lián)動(dòng)管控頁(yè)面和三維實(shí)景化管控頁(yè)面。

該平臺(tái)選取定位精度、異常事件檢測(cè)準(zhǔn)確率、交通流數(shù)據(jù)采集準(zhǔn)確率、多目標(biāo)融合精度等指標(biāo)來衡量應(yīng)用效果。

該平臺(tái)于2022年12月上線使用至今,經(jīng)工程應(yīng)用驗(yàn)證,車輛定位精度達(dá)到厘米級(jí),交通流數(shù)據(jù)采集準(zhǔn)確率、多目標(biāo)融合精度達(dá)到95%以上,有效解決了隧道安全運(yùn)營(yíng)的狀態(tài)識(shí)別、安全監(jiān)測(cè)、預(yù)警與有效管控等運(yùn)營(yíng)安全問題;雷視融合感知提供的精確交通流數(shù)據(jù)有力支撐了隧道照明智能調(diào)光控制技術(shù)應(yīng)用,隧道運(yùn)營(yíng)成本同比降低20%以上,有效提高了隧道交通安全與通行水平,增強(qiáng)了應(yīng)急處突能力,示范效果顯著,取得了良好的經(jīng)濟(jì)效益和社會(huì)效益。

(b) 應(yīng)急預(yù)案管理頁(yè)面

(c) 應(yīng)急聯(lián)動(dòng)管控頁(yè)面

(d) 三維實(shí)景化管控頁(yè)面

4 結(jié)論

1) 雷視融合感知技術(shù)是集合毫米波雷達(dá)和視頻檢測(cè)技術(shù)于一體的復(fù)合感知技術(shù),融合雷達(dá)和視頻感知優(yōu)勢(shì),取長(zhǎng)補(bǔ)短,克服單一技術(shù)缺陷。

2) 通過時(shí)空同步、ROI目標(biāo)融合和距離融合方式構(gòu)成雷視目標(biāo)融合技術(shù),經(jīng)時(shí)空同步實(shí)現(xiàn)雷視數(shù)據(jù)同頻同維呈現(xiàn),ROI目標(biāo)融合實(shí)現(xiàn)雷達(dá)和視頻檢測(cè)目標(biāo)匹配,根據(jù)雷達(dá)和視頻檢測(cè)范圍劃分重疊區(qū)和非重疊區(qū),分區(qū)域融合雷達(dá)和視頻檢測(cè)信息。雷視融合感知技術(shù)可實(shí)現(xiàn)交通信息全方面、高精度感知。

3) 以雷視融合技術(shù)、數(shù)字孿生技術(shù)等為基礎(chǔ),建立設(shè)備層、通信層、數(shù)據(jù)層、應(yīng)用層和用戶層5個(gè)層次的公路隧道交通管控系統(tǒng)體系框架。該系統(tǒng)能準(zhǔn)確感知隧道運(yùn)營(yíng)狀態(tài),制定精細(xì)化管理方案,應(yīng)急聯(lián)動(dòng)控制隧道設(shè)備,監(jiān)測(cè)并降低電力能源消耗,全面提升公路隧道的運(yùn)行效率和管理水平。