陳 強(qiáng)

(廣西交科集團(tuán)有限公司,廣西 南寧 530007)

0 引言

隨著我國機(jī)動車保有量突破4億輛,高速公路里程數(shù)突破16×104km,高速公路的通行效率和通行安全成了智慧高速領(lǐng)域重點的關(guān)注對象[1]。對高速公路上的車輛進(jìn)行跟蹤不但可以為高速公路的調(diào)度提供有效的數(shù)據(jù)支撐,提高高速公路的通行效率,還可以對重點車輛進(jìn)行跟蹤,保障高速公路的行車安全。然而,目前的路側(cè)感知通常以單獨(dú)的視頻或者雷達(dá)為主[2-3],前者雖然可以提供車輛的有效特征和具體的可視化靜態(tài)信息,卻難以獲取精確的車輛行駛速度、位置等動態(tài)信息,無法對車輛的進(jìn)行準(zhǔn)確的軌跡跟蹤[4];后者雖然可以得到精確的車輛行駛狀態(tài),但是稀疏的數(shù)據(jù)使得其難以標(biāo)識車輛的類型、顏色等靜態(tài)信息,且由于缺乏可視化的車輛特征,使其無法快速識別重點車型。因此,高速公路迫切需要一套可以兼顧車輛行駛狀態(tài)和車輛靜態(tài)特征的路側(cè)感知系統(tǒng)。

針對這一需求,本文研究設(shè)計了一種基于雷視融合的車輛跟蹤系統(tǒng)?；谏疃葘W(xué)習(xí)、數(shù)據(jù)增強(qiáng)等技術(shù),依托毫米波雷達(dá)和高清相機(jī)的數(shù)據(jù)融合,構(gòu)建一套完整的基于雷視融合的車輛跟蹤軟硬件系統(tǒng)。系統(tǒng)可以通過融合毫米波雷達(dá)和高清相機(jī)的數(shù)據(jù)達(dá)到對車輛的精準(zhǔn)識別與跟蹤,彌補(bǔ)了毫米波雷達(dá)或者高清相機(jī)等單一路側(cè)難以全方面感知高速公路行駛狀態(tài)的缺點,為高速公路的高效安全通行提供有效的數(shù)據(jù)感知支撐。

1 系統(tǒng)總體架構(gòu)

基于雷視融合的車輛跟蹤系統(tǒng)指的是對毫米波雷達(dá)和高清交通攝像頭數(shù)據(jù)進(jìn)行處理及融合,綜合二者的數(shù)據(jù)特點進(jìn)行車輛精準(zhǔn)跟蹤。由于系統(tǒng)是對動態(tài)多源數(shù)據(jù)進(jìn)行融合,數(shù)據(jù)大且需要較高的實時性,因此需要算法的部署設(shè)備與數(shù)據(jù)采集直接進(jìn)行鏈接以降低數(shù)據(jù)傳輸?shù)臅r延。為了降低時延,在設(shè)計中采用了邊-端的二級物聯(lián)網(wǎng)總體架構(gòu),如圖1所示。在前端,毫米波雷達(dá)和高清交通攝像頭使用剛性較大的結(jié)構(gòu)進(jìn)行連接,通過位置標(biāo)定、時間標(biāo)定同步采集數(shù)據(jù)。在邊緣端,部署毫米波雷達(dá)數(shù)據(jù)的優(yōu)化算法對雷達(dá)數(shù)據(jù)進(jìn)行濾波、平滑及修正等數(shù)據(jù)增強(qiáng),提高雷達(dá)點云數(shù)據(jù)的檢測精度;部署基于CNN的車輛識別算法,提取車輛的車型和顏色等靜態(tài)信息,以彌補(bǔ)毫米波雷達(dá)難以進(jìn)行車輛識別的問題;通過位置和時間標(biāo)定參數(shù)進(jìn)行空間坐標(biāo)系和時間坐標(biāo)系數(shù)據(jù)的融合,完成車輛的精準(zhǔn)跟蹤。在完成雷視融合后,將結(jié)果以視頻的形式上傳到中心。雷視融合系統(tǒng)在全域、全天候進(jìn)行車輛跟蹤的同時,可以得到車輛運(yùn)行現(xiàn)場的各種信息,為高速公路的應(yīng)急保障、調(diào)度指揮提供直觀可視的圖像,彌補(bǔ)單一傳感器在應(yīng)用中數(shù)據(jù)單一的問題,具有較高的應(yīng)用價值與技術(shù)優(yōu)勢。

圖1 系統(tǒng)的總體框架設(shè)計圖

2 系統(tǒng)設(shè)計

2.1 前端數(shù)據(jù)采集系統(tǒng)

雷視融合的前端由一臺毫米波雷達(dá)和一臺高清相機(jī)組成,部署在進(jìn)行車輛跟蹤的重要交通路段,對路面數(shù)據(jù)進(jìn)行實時采集。在前端,毫米波雷達(dá)主要作用是采集高速公路中車輛的行駛速度、空間位置、運(yùn)行狀態(tài)、車流量等關(guān)鍵交通信息。然而,毫米波雷達(dá)的數(shù)據(jù)較為稀疏,缺乏可用于車輛顏色、大小、類型的識別數(shù)據(jù),難以對車輛本身進(jìn)行識別判斷。高清相機(jī)則是一種數(shù)據(jù)稠密的傳感器,可以采集路面上的全部信息,用于車輛特征的提取及提供直觀可視的現(xiàn)場數(shù)據(jù)。

系統(tǒng)前端采用的毫米波雷達(dá)和高清相機(jī)分別是H1200長距毫米波雷達(dá)和HIC2641-FW高清相機(jī)。與目前的車輛跟蹤與檢測傳感器包括超聲波雷達(dá)、激光雷達(dá)、雙目相機(jī)等設(shè)備相比,毫米波雷達(dá)具有跟蹤目標(biāo)多、數(shù)據(jù)量小、抗干擾能力更強(qiáng)等優(yōu)點。(1)與超聲波雷達(dá)相比,H1200長距離毫米波雷達(dá)可以同時跟蹤多達(dá)512個目標(biāo),可以保證系統(tǒng)在交通繁忙的路段進(jìn)行多車跟蹤。(2)與精密的激光雷達(dá)相比,H1200長距離毫米波雷達(dá)具有更好的抗霧、煙、灰塵等干擾的能力,具有規(guī)模更小的點云數(shù)據(jù)和更好的可維護(hù)性能。(3)與雙目相機(jī)等光學(xué)傳感器相比,毫米波雷達(dá)具有全天候監(jiān)測的優(yōu)點,且可以在無算法情況下實時提供包括停車、超速、逆行等交通異常事件信息。另外,與現(xiàn)有的普通毫米波雷達(dá)相比,H1200毫米波雷達(dá)具有超視距的探測距離,由于可以檢測更遠(yuǎn)的距離,可以極大地降低部署密度,且在雷視融合中可以為融合算法提供更長融合時間。雖然毫米波具有以上優(yōu)點,但其無法進(jìn)行車型、顏色的識別。因此,本系統(tǒng)選用了HIC2641-FW高清相機(jī)作為數(shù)據(jù)的補(bǔ)充,相機(jī)的最大分辨率達(dá)到2 688×1 520,可以滿足基于卷積神經(jīng)網(wǎng)絡(luò)的車輛識別等算法要求。

2.2 邊緣處理系統(tǒng)

系統(tǒng)的邊緣設(shè)備是部署雷視融合算法的重要載體,一方面接收毫米波雷達(dá)和高清相機(jī)的數(shù)據(jù),另一方面需要部署多種算法進(jìn)行數(shù)據(jù)的處理。在系統(tǒng)設(shè)計中邊緣設(shè)備應(yīng)該綜合考慮設(shè)備的算力性能、接口、價格等特點。本系統(tǒng)在設(shè)計中選擇在搭載Intel I7的服務(wù)器上進(jìn)行部署運(yùn)行,所選服務(wù)器搭載了HDMI+DP雙顯示接口、4個USB3.0端口、2個USB2.0端口、1個Mini PCIe插槽、2個千兆網(wǎng)口,具有穩(wěn)定可靠、接口豐富、尺寸小巧等優(yōu)點,符合雷視融合算法快速部署的要求。

2.3 數(shù)據(jù)流系統(tǒng)

數(shù)據(jù)流設(shè)計是保障數(shù)據(jù)能在硬件系統(tǒng)中快速處理的重要手段。通過高清相機(jī)對路面情況進(jìn)行圖像采集,并且在邊緣計算設(shè)備進(jìn)行預(yù)處理。其中,本系統(tǒng)使用的圖像預(yù)處理包括兩部分:(1)由于本系統(tǒng)設(shè)計的算法模型在部署后能處理的圖像大小是固定的,因此,第一步需要將視頻流逐幀轉(zhuǎn)換成固定尺寸;(2)為了提高數(shù)據(jù)在神經(jīng)網(wǎng)絡(luò)中流水化處理速度,需要將雷達(dá)數(shù)據(jù)和圖像數(shù)據(jù)進(jìn)行同步采樣,并將其打包成一個數(shù)據(jù)包進(jìn)行傳輸。

系統(tǒng)傳輸使用的PCIe高速接口作為邊緣設(shè)備處理器和圖形計算卡直接傳輸?shù)財?shù)據(jù)接口。PCIe是一種串行擴(kuò)展總線標(biāo)準(zhǔn),用于連接計算機(jī)到一個或多個外圍設(shè)備。根據(jù)系統(tǒng)要求,單個邊緣設(shè)備需要對接三臺高清相機(jī)和三臺毫米波雷達(dá),因此產(chǎn)生的數(shù)據(jù)量是巨大的,需要使用高速接口進(jìn)行數(shù)據(jù)傳輸。如圖1所示,為了提高傳輸效率,本文使用的PCIe傳輸都是以直接存儲器存取(Direct Memory Access,DMA)的方式進(jìn)行傳輸。所有數(shù)據(jù)的下載與結(jié)果的上傳都是通過PCIe進(jìn)行傳輸以降低系統(tǒng)延時。

3 雷視融合系統(tǒng)

3.1 毫米波雷達(dá)數(shù)據(jù)的優(yōu)化模塊

毫米波雷達(dá)可以獲得車輛的位置、速度等關(guān)鍵信息,且雷達(dá)數(shù)據(jù)的精確程度影響著整個系統(tǒng)的精度。然而在實際的數(shù)據(jù)采集中,雷達(dá)的數(shù)據(jù)比較容易受到干擾,產(chǎn)生錯誤的數(shù)據(jù)。(1)由于路面、路邊設(shè)施等對微波的反射干擾,會產(chǎn)生虛假目標(biāo)或者一輛車分裂成多個目標(biāo)的情況。(2)在實際的應(yīng)用中,需要對車輛進(jìn)行一段時間的跟蹤,而雷達(dá)在對車輛進(jìn)行跟蹤的過程中,會出現(xiàn)部分幀無法探測到車輛的情況。前一種誤差會導(dǎo)致車輛在映射到視頻中時出現(xiàn)問題,產(chǎn)生映射錯誤;后一種誤差會導(dǎo)致在跟蹤中出現(xiàn)跟丟或者位置跳躍的情況。針對以上問題,系統(tǒng)對毫米波雷達(dá)進(jìn)行數(shù)據(jù)優(yōu)化。使用k-mean聚類對數(shù)據(jù)進(jìn)行二次聚類,消除虛假目標(biāo)和目標(biāo)分裂的問題。對雷達(dá)的持續(xù)數(shù)據(jù)使用時間滑窗的辦法,保證數(shù)據(jù)的連貫性。使用車輛的運(yùn)動模型,對雷達(dá)的跟蹤軌跡使用Kalman濾波,使得跟蹤結(jié)果更為平滑。通過以上三個數(shù)據(jù)優(yōu)化算法,可以有效提高雷達(dá)數(shù)據(jù)的準(zhǔn)確性,進(jìn)一步保證系統(tǒng)的跟蹤效果。

3.2 基于卷積神經(jīng)網(wǎng)絡(luò)的車輛跟蹤與識別模塊

雖然雷達(dá)可以對車輛的軌跡進(jìn)行比較精確的跟蹤,但雷達(dá)的點云數(shù)據(jù)過于稀疏,且難以提供車輛的有效特征。因此,需要高清相機(jī)的視頻數(shù)據(jù)作為車輛識別的主要數(shù)據(jù)來源。本系統(tǒng)使用Yolo v5 Deepsort模型對多車輛進(jìn)行識別與跟蹤。為了提高識別精度,系統(tǒng)使用手工標(biāo)注的高速公路車輛數(shù)據(jù)對Yolo v5 Deepsort進(jìn)行進(jìn)一步訓(xùn)練。訓(xùn)練后的模型部署在邊緣設(shè)備的圖形計算卡中進(jìn)行車輛的跟蹤與識別。

3.3 雷視數(shù)據(jù)融合模塊

根據(jù)以上方法對毫米波雷達(dá)和視頻數(shù)據(jù)進(jìn)行處理后,可以得到車輛的位置、速度等信息和車輛的標(biāo)識結(jié)果,然后將雷達(dá)的位置、速度等信息通過雷視融合算法融合到視頻的車輛標(biāo)識框中。雷視融合算法模塊主要包括三個步驟:(1)通過相機(jī)的安裝位置,對車道線的距離進(jìn)行標(biāo)定和劃分,得到一個像素和距離的映射關(guān)系;(2)根據(jù)車輛的實際運(yùn)行情況,離線計算毫米波雷達(dá)和相機(jī)之間的旋轉(zhuǎn)和平移矩陣;(3)將毫米波雷達(dá)的數(shù)據(jù)通過旋轉(zhuǎn)和平移矩陣映射到視頻的像素點中。

4 測試結(jié)果與分析

表1展示了本文提出的雷視融合系統(tǒng)在實際運(yùn)行中各個模塊的運(yùn)行時間。表1中的統(tǒng)計方法為使用服務(wù)器自帶時間進(jìn)行10 000次運(yùn)行,取其平均時間。如表1所示,整個系統(tǒng)的運(yùn)行時間為52.8 ms,因此系統(tǒng)可以以18.9幀/s的速度實時處理高清圖像。其中最耗時的計算模塊為圖像識別,占據(jù)了整個運(yùn)行時間的52.7%,這是因為本文使用了深度卷積網(wǎng)絡(luò)進(jìn)行特征提取,需要較高的算力。

表1 雷視融合算法各模塊的運(yùn)行時間表

除了運(yùn)行時間,還對系統(tǒng)進(jìn)行了實地測試,具體測試結(jié)果如表2所示。由表2可知,雷視融合的有效距離為140 m,這是由于圖像識別的有效距離僅有150 m;系統(tǒng)可以對雙向十車道進(jìn)行全監(jiān)控,可以有效滿足目前高速公路的要求;融合檢測準(zhǔn)確率為92%,準(zhǔn)確率的計算方式為:在有效范圍內(nèi),系統(tǒng)可以完整地跟蹤車輛信息則記為一次正確檢測,否則記為一次錯誤檢測;速度的測量精度為96%,可以較為準(zhǔn)確地顯示車輛速度。

表2 雷視融合系統(tǒng)的測試結(jié)果表

以上所有的模塊獨(dú)立部署在邊緣設(shè)備上并且獨(dú)立運(yùn)行,模塊之間使用總線進(jìn)行數(shù)據(jù)通信。在完成以上全部模塊的計算后,系統(tǒng)將得到如圖2所示的結(jié)果傳回中心進(jìn)行雷視融合可視化輸出。

圖2 雷視融合的可視化結(jié)果輸出示例圖

5 結(jié)語

路側(cè)感知是保障高速公路高效、安全通行的數(shù)據(jù)保障。本文通過融合毫米波雷達(dá)和高清相機(jī)的數(shù)據(jù),設(shè)計實現(xiàn)了一套完整的車輛跟蹤系統(tǒng)。該系統(tǒng)由前端數(shù)據(jù)采集、邊緣計算系統(tǒng)和雷視融合算法三部分組成。通過使用數(shù)據(jù)增強(qiáng)、深度學(xué)習(xí)等技術(shù),得到準(zhǔn)確的車輛識別與跟蹤,有效解決了單一路側(cè)識別難以同時提供車輛的動態(tài)和靜態(tài)特征的問題,為保障高速公路高效、安全通行提供有效的數(shù)據(jù)支持。