基于雙目視覺(jué)的違章車輛檢測(cè)與跟蹤系統(tǒng)設(shè)計(jì)

王朋 張四海 吳非 孫永良 喬羽

【摘? 要】在大多數(shù)的交通事故中，車輛的違章行為是最主要的誘導(dǎo)因素。為了盡可能地減緩交通擁堵問(wèn)題，維護(hù)交通秩序，需要開(kāi)展對(duì)基于雙目視覺(jué)的違章車輛檢測(cè)與跟蹤系統(tǒng)設(shè)計(jì)研究。通過(guò)對(duì)其攝像、工業(yè)控制裝置等硬件和基于雙目視覺(jué)的車輛視頻圖像獲取、運(yùn)行車輛跟蹤、車輛違章檢測(cè)等軟件進(jìn)行設(shè)計(jì)，并通過(guò)實(shí)驗(yàn)證明該系統(tǒng)與文獻(xiàn)系統(tǒng)相比檢測(cè)精度更高。

【Abstract】In most traffic accidents， vehicle violation is the main inducer. In order to reduce traffic congestion and maintain traffic order as much as possible， it is necessary to design and research the detection and tracking system of illegal vehicles based on binocular vision. The hardware such as camera， industrial control device and binocular vision-based software such as vehicle video image acquisition， vehicle tracking and vehicle violation detection are designed， and the experiment proves that this system has higher detection accuracy than the literature system.

【關(guān)鍵詞】雙目視覺(jué);違章車輛;檢測(cè);跟蹤;系統(tǒng)

【Keywords】binocular vision; illegal vehicles; detection; tracking; system

【中圖分類號(hào)】TN958.98? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 【文獻(xiàn)標(biāo)志碼】A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?【文章編號(hào)】1673-1069（2020）07-0194-03

1 引言

當(dāng)前人們生活水平的不斷提高，使得私家車的數(shù)量成倍增長(zhǎng)，造成交通擁堵的問(wèn)題日益嚴(yán)峻，并且大大提高了發(fā)生交通事故的風(fēng)險(xiǎn)概率。為防止問(wèn)題的進(jìn)一步惡化，必須首先加強(qiáng)對(duì)車輛交通違章行為的檢測(cè)和實(shí)時(shí)跟蹤，及時(shí)糾正車輛出現(xiàn)的違章行為，從而降低交通事故發(fā)生的概率，在最大程度上保障人們的生命安全和合法權(quán)益。在智能交通系統(tǒng)中，該領(lǐng)域的研究人員充分利用傳感技術(shù)、計(jì)算機(jī)技術(shù)、信息技術(shù)等現(xiàn)代化科技使現(xiàn)代化交通運(yùn)輸管理系統(tǒng)更加具有高效性、準(zhǔn)確性等特點(diǎn)，而在智能交通系統(tǒng)中有關(guān)違章車輛檢測(cè)與跟蹤系統(tǒng)是其中不可獲取的組成部分，可以為交通系統(tǒng)提供更加準(zhǔn)確、客觀的現(xiàn)實(shí)依據(jù)。陸德彪等提出一種基于深度數(shù)據(jù)的車輛目標(biāo)檢測(cè)與跟蹤方法，通過(guò)采用基于柵格的參數(shù)自動(dòng)化聚類算法和卡爾曼濾波算法對(duì)原始數(shù)據(jù)進(jìn)行處理，并在每個(gè)聚類中提取目標(biāo)線段來(lái)獲取目標(biāo)特征并計(jì)算得到目標(biāo)的位置信息，完成目標(biāo)關(guān)聯(lián)及狀態(tài)估計(jì)。

2 基于雙目視覺(jué)的違章車輛檢測(cè)與跟蹤系統(tǒng)硬件設(shè)計(jì)

本文基于雙目視覺(jué)的違章車輛檢測(cè)與跟蹤系統(tǒng)硬件主要包括攝像機(jī)、光端機(jī)、視頻編碼/解碼器、工業(yè)控制裝置、磁盤存儲(chǔ)陣列、視頻矩陣以及電視墻等，本文系統(tǒng)中硬件結(jié)構(gòu)的具體組成結(jié)構(gòu)如圖1所示。

本文系統(tǒng)中的攝像機(jī)設(shè)備主要包括對(duì)重點(diǎn)檢測(cè)路段的監(jiān)控?cái)z像頭、用于記錄監(jiān)控視頻的攝像機(jī)以及無(wú)線網(wǎng)絡(luò)攝像機(jī)三種。其中重點(diǎn)檢測(cè)路段的監(jiān)控?cái)z像頭主要用于對(duì)路段進(jìn)行實(shí)時(shí)采集交通視頻流，通過(guò)視頻線、光纖以及網(wǎng)絡(luò)環(huán)境將車輛運(yùn)行視頻傳輸?shù)礁鱾€(gè)交警監(jiān)控中心，再將實(shí)時(shí)視頻畫面?zhèn)鬏數(shù)诫娨晧ι?，通過(guò)磁盤存儲(chǔ)陣列進(jìn)行備份。選用無(wú)線網(wǎng)絡(luò)攝像機(jī)進(jìn)行違章檢測(cè)，將視頻接口作為連接點(diǎn)，直接將模擬攝像機(jī)與顯示設(shè)備進(jìn)行連接，從而完成攝像功能。本文選用的無(wú)線網(wǎng)絡(luò)攝像機(jī)型號(hào)為TL-IPC42C-4，該型號(hào)攝像機(jī)的CCD像素高達(dá)40萬(wàn)，水平分辨率為500線，照度（靈敏度）為F∶LUX=1∶20，掃描制式采用PAL制掃描，鏡頭整體規(guī)模為MTV8/5.5/4.5/3.5mm，信噪比S/N為60db，工作電源為DC14V（±2V）1800mA，視頻輸出為2.4Vp-p785Ω、BNC接頭。TL-IPC42C-4型號(hào)無(wú)線網(wǎng)絡(luò)攝像機(jī)采用高性能的CMOS圖像傳感器，在對(duì)車輛違章行為進(jìn)行檢測(cè)時(shí)可以保證畫質(zhì)的高質(zhì)量。視頻傳輸?shù)牟蹲叫盘?hào)在經(jīng)過(guò)指定的視頻信息捕捉卡后需將視頻信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，并對(duì)其進(jìn)行壓縮可以轉(zhuǎn)換到計(jì)算機(jī)上，進(jìn)行下一步的操作。

在傳統(tǒng)違章車輛檢測(cè)與跟蹤系統(tǒng)的基礎(chǔ)上，增加工業(yè)控制機(jī)，通過(guò)工業(yè)控制機(jī)內(nèi)部的視頻捕獲卡將攝像機(jī)模擬的視頻信號(hào)以數(shù)字化的形式展現(xiàn)，并存儲(chǔ)在幀緩沖器當(dāng)中。再通過(guò)幀緩沖器中的數(shù)字視頻數(shù)據(jù)，通過(guò)CPU讀入進(jìn)行分析和處理，為后續(xù)系統(tǒng)軟件部分判斷車輛是否存在違章情況提供視頻依據(jù)。最后將相關(guān)數(shù)據(jù)傳輸?shù)浇煌刂浦行倪M(jìn)行數(shù)據(jù)管理，并進(jìn)行登錄、查詢、統(tǒng)計(jì)、報(bào)表輸出及處罰管理。

3 基于雙目視覺(jué)的違章車輛檢測(cè)與跟蹤系統(tǒng)軟件設(shè)計(jì)

3.1 車輛視頻圖像獲取

本文設(shè)計(jì)的基于雙目視覺(jué)的車輛視頻圖像獲取系統(tǒng)，主要通過(guò)虛擬車輛檢測(cè)器實(shí)現(xiàn)，虛擬車輛檢測(cè)器的整體結(jié)構(gòu)如圖2所示。

由圖2可以看出，該虛擬車輛檢測(cè)器是由標(biāo)簽層、隱層一、隱層二和可視層組成。其中隱層一中共包含16×16個(gè)節(jié)點(diǎn)，隱層二中共包含12×12個(gè)節(jié)點(diǎn)，可視層內(nèi)共包含24×24個(gè)節(jié)點(diǎn)，并且在可視層中，節(jié)點(diǎn)的數(shù)量等同于輸入樣本的維數(shù)?？梢晫优c隱層之間主要是由一組權(quán)值進(jìn)行相互連接。為了獲得網(wǎng)絡(luò)權(quán)重，使用包括非違規(guī)車輛樣本和違法車輛樣本的多個(gè)無(wú)標(biāo)記視頻圖像樣本來(lái)進(jìn)行無(wú)監(jiān)督模型訓(xùn)練，并獲得初始權(quán)值，接著導(dǎo)入標(biāo)簽信息，通過(guò)反向?qū)傩员O(jiān)視訓(xùn)練來(lái)優(yōu)化網(wǎng)絡(luò)權(quán)重。

在本文系統(tǒng)當(dāng)中，將可視層和隱層一看作一個(gè)受限制玻爾茲曼機(jī)，可得到可視層和隱層一節(jié)點(diǎn)間的狀態(tài)能量。計(jì)算公式如下：

公式（1）中，P表示可視層和隱層一節(jié)點(diǎn)間的狀態(tài)能量;xmn表示可視層第m行第n列位置上節(jié)點(diǎn)的狀態(tài)量;zij表示隱含層第i行第j列位置上節(jié)點(diǎn)的狀態(tài)量;ymn，ij表示可視層第m行第n列位置上節(jié)點(diǎn)和隱層第i行第j列位置上節(jié)點(diǎn)的連接權(quán)值。根據(jù)上述公式可以得出可視層狀態(tài)和隱層一狀態(tài)間的條件概率分布的計(jì)算公式為：

公式（2）和公式（3）中，K1表示可視層狀態(tài)的條件概率;K2表示隱層一狀態(tài)的條件概率。為保證本文系統(tǒng)獲取視頻圖像的準(zhǔn)確性，在上述公式計(jì)算基礎(chǔ)上，采用對(duì)比分歧算法對(duì)虛擬車輛檢測(cè)器的連接權(quán)值和偏移量進(jìn)行逐步的更新。在上述訓(xùn)練之后，可以獲得虛擬車輛檢測(cè)器，可以跨越雙眼的視覺(jué)圖像來(lái)確定是否有車輛違規(guī)。特定方法是取原始圖像上所有可能車輛區(qū)域的連接區(qū)域的最小外接矩形，并且將矩形擴(kuò)展為可能的車輛感興趣區(qū)域的20%。

3.2 運(yùn)行車輛跟蹤

提取車輛視頻圖像后，根據(jù)感興趣的車輛區(qū)域，系統(tǒng)提供需要跟蹤的目標(biāo)信息，包括目標(biāo)大小、中心點(diǎn)坐標(biāo)和其他信息。接下來(lái)，使用跟蹤表算法來(lái)跟蹤與預(yù)定檢測(cè)信息結(jié)合的目標(biāo)車輛。不同框架的相同車輛是相關(guān)的。然后，估計(jì)并跟蹤每個(gè)車輛的運(yùn)動(dòng)軌跡。各幀的車輛的運(yùn)行狀態(tài)通過(guò)跟蹤理解，車輛的規(guī)則和交通信號(hào)的狀態(tài)信息被結(jié)合，判斷車輛是否違反規(guī)則，具體流程為：

第一步：從車輛視頻圖像中獲取車輛目標(biāo)的每一幀運(yùn)動(dòng)信息。

第二步：針對(duì)車輛目標(biāo)生成跟蹤目標(biāo)，并形成運(yùn)動(dòng)目標(biāo)車輛鏈表。

第三步：匹配當(dāng)前的目標(biāo)對(duì)象鏈表與已跟蹤的運(yùn)動(dòng)車輛目標(biāo)鏈表。若存在新的車輛跟蹤目標(biāo)，則執(zhí)行第四步，若不存在新的運(yùn)動(dòng)車輛跟蹤目標(biāo)則執(zhí)行第七步。

第四步：將新的跟蹤目標(biāo)位置與檢測(cè)區(qū)域中心位置做比較，若新的跟蹤目標(biāo)出現(xiàn)則對(duì)區(qū)域中心位置進(jìn)行并跳轉(zhuǎn)到第五步，若不在則跳轉(zhuǎn)到第六步。

第五步：計(jì)算新的跟蹤目標(biāo)的色彩概率分布。

第六步：更新所有運(yùn)動(dòng)目標(biāo)的色彩概率分布。

第七步：對(duì)所有運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤計(jì)算。

第八步：針對(duì)計(jì)算結(jié)果來(lái)繪制跟蹤目標(biāo)框圖。

第九步：對(duì)下個(gè)目標(biāo)進(jìn)行檢測(cè)。

根據(jù)上述步驟完成跟蹤檢測(cè)。

3.3 檢測(cè)違章車輛

違法車輛包括：進(jìn)入導(dǎo)向車道不按規(guī)定方向行駛;交叉路口不按規(guī)定行駛或停車;違反限速規(guī)定等車輛。在交叉路口根據(jù)紅綠燈的狀態(tài)信息以及車輛的運(yùn)行狀態(tài)信息根據(jù)表1中所述條件對(duì)車輛是否存在違章行為進(jìn)行檢測(cè)。

根據(jù)表1，在檢測(cè)到發(fā)生違規(guī)行為的車輛的情況下，自動(dòng)調(diào)用攝像機(jī)，根據(jù)所檢測(cè)到的車輛的特定空間和地理位置，捕捉違法車輛的車牌，或?qū)?lái)自動(dòng)識(shí)別車牌號(hào)碼。

4 仿真對(duì)比實(shí)驗(yàn)與分析

在進(jìn)行對(duì)比實(shí)驗(yàn)之前，首先建立數(shù)據(jù)可視化的模擬車輛行車記錄的仿真平臺(tái)，設(shè)置對(duì)照組為陸德彪等設(shè)計(jì)的系統(tǒng)與跟蹤系統(tǒng)下對(duì)違章車輛的檢測(cè)，與本文系統(tǒng)對(duì)違章車輛的檢測(cè)系統(tǒng)進(jìn)行對(duì)比。在仿真平臺(tái)中，選取100組車輛作為檢測(cè)與跟蹤目標(biāo)，并保證每一組的車輛行駛狀態(tài)都各不相同，對(duì)比兩種系統(tǒng)的違章車輛檢測(cè)與跟蹤結(jié)果，結(jié)果如表2所示。

根據(jù)表2中的實(shí)驗(yàn)結(jié)果可以得出，本文方法的準(zhǔn)確率明顯高于陸德彪等的方法。說(shuō)明本文提出的基于雙目視覺(jué)技術(shù)提出的違章車輛檢測(cè)與跟蹤系統(tǒng)，對(duì)車輛違章行為的檢測(cè)精度更高，將其應(yīng)用于實(shí)際中具有更高的應(yīng)用價(jià)值。

5 實(shí)際應(yīng)用

在青島市勁松三路，長(zhǎng)沙路到銀川西路方向，在5個(gè)原監(jiān)控設(shè)備基礎(chǔ)上，再安裝5個(gè)應(yīng)用基于雙目視覺(jué)的違章車輛檢測(cè)與跟蹤系統(tǒng)的監(jiān)控設(shè)備。共同針對(duì)交通擁堵且事故高峰路段進(jìn)行交通監(jiān)控，一周時(shí)間內(nèi)分別對(duì)違章車輛進(jìn)行統(tǒng)計(jì)。統(tǒng)計(jì)結(jié)果如表3所示。

由兩種監(jiān)控系統(tǒng)的實(shí)際監(jiān)控違章車輛結(jié)果可知，基于雙目視覺(jué)的違章車輛檢測(cè)與跟蹤系統(tǒng)的監(jiān)控設(shè)備相較于原有的監(jiān)控設(shè)備準(zhǔn)確率更高，更能有效地監(jiān)測(cè)出違章車輛。

6 結(jié)語(yǔ)

違章車輛檢測(cè)與跟蹤作為智能交通系統(tǒng)的一部分，涵蓋了計(jì)算機(jī)、通信等眾多領(lǐng)域，在交通、安防以及公共事業(yè)等領(lǐng)域具有舉足輕重的作用。本文結(jié)合雙目視覺(jué)技術(shù)提出一種全新的檢測(cè)與跟蹤系統(tǒng)，希望為車輛違章檢測(cè)的智能化、精確化發(fā)展提供方向。

【參考文獻(xiàn)】

【1】隋靚，黨建武.基于運(yùn)動(dòng)目標(biāo)軌跡的高速公路異常事件檢測(cè)算法研究[J].計(jì)算機(jī)應(yīng)用與軟件，2018，35（01）：246-252.

【2】陸德彪，郭子明，蔡伯根，等.基于深度數(shù)據(jù)的車輛目標(biāo)檢測(cè)與跟蹤方法[J].交通運(yùn)輸系統(tǒng)工程與信息，2018，18（03）：55-62.

【3】劉丹萍，聶宇航，許靜，等.面向樹木刷白機(jī)器人智能化的雙目攝像頭圖像畸變矯正算法研究[J].科技視界，2019（01）：114-115.

【4】張?zhí)煲?，韓家明，宋佳蓉.基于連續(xù)自適應(yīng)均值漂移和立體視覺(jué)的無(wú)人機(jī)目標(biāo)跟蹤方法[J].應(yīng)用科技，2018，45（02）：55-59.

【5】方博文，張曉東，陳敬義.基于雙目視覺(jué)的行車中障礙距離檢測(cè)方法研究[J].機(jī)械設(shè)計(jì)與制造，2019（04）：94-98.

【6】同志學(xué)，賀利樂(lè)，王消為.基于雙目視覺(jué)的工程車輛定位與行駛速度檢測(cè)[J].中國(guó)機(jī)械工程，2018，29（04）：423-428.

【7】李群生，趙剡，王進(jìn)達(dá).一種適用于高動(dòng)態(tài)強(qiáng)干擾環(huán)境的視覺(jué)輔助微機(jī)械捷聯(lián)慣性導(dǎo)航系統(tǒng)/全球定位系統(tǒng)超緊組合導(dǎo)航系統(tǒng)[J].兵工學(xué)報(bào)，2019，40（11）：2241-2249.