魯鵬程,許志明,瞿文政,劉少江,倪偉傳,萬(wàn)智萍
(中山大學(xué)新華學(xué)院,廣東 廣州 510520)
移動(dòng)目標(biāo)跟蹤是一種結(jié)合計(jì)算機(jī)視覺(jué)、模式識(shí)別、視頻編碼、圖像處理等多個(gè)領(lǐng)域的綜合性技術(shù),在智能交通、野外物種保護(hù)、城市安防監(jiān)控等方面都具有重要作用[1-2]。尤其在智能交通系統(tǒng)領(lǐng)域,移動(dòng)目標(biāo)跟蹤系統(tǒng)常用于違法違規(guī)車輛的行駛軌跡追蹤。由于越來(lái)越多的城市道路已經(jīng)采用聯(lián)網(wǎng)的監(jiān)控系統(tǒng),對(duì)道路的交通情況進(jìn)行實(shí)時(shí)監(jiān)視[3-4]。當(dāng)出現(xiàn)肇事車輛逃逸時(shí),傳統(tǒng)的追查方法是通過(guò)監(jiān)控錄像查找肇事車輛的外形特征、車牌號(hào)碼以及移動(dòng)軌跡,再通過(guò)這些信息來(lái)對(duì)該肇事車輛進(jìn)行搜查,然而當(dāng)遇到一些不可抗拒的環(huán)境因素,例如大雨大霧等天氣,監(jiān)控圖像往往捕捉不到肇事車輛的車牌號(hào)碼以及一些外形特征,從而加大了對(duì)肇事車輛的追查難度[5]。
而目標(biāo)跟蹤系統(tǒng)通過(guò)對(duì)采集到的監(jiān)控圖像進(jìn)行算法處理,可以鎖定移動(dòng)目標(biāo),在監(jiān)控界面可以清楚地顯示車輛的移動(dòng)軌跡,給執(zhí)法部門開(kāi)展整治交通違法違規(guī)活動(dòng)帶來(lái)了諸多方便。
在移動(dòng)目標(biāo)跟蹤領(lǐng)域,劉智等提出了一種基于失真激勵(lì)式機(jī)會(huì)模糊控制的視頻跟蹤機(jī)制,在分析跟蹤目標(biāo)的差異性和目標(biāo)移動(dòng)速度的隨機(jī)性的基礎(chǔ)上,以激勵(lì)模糊集群用戶的機(jī)會(huì)邏輯控制為目標(biāo),提出了基于失真激勵(lì)的視頻跟蹤機(jī)制及其系統(tǒng)架構(gòu)[6]。易詩(shī)等提出一種基于改進(jìn)TLD的自動(dòng)目標(biāo)跟蹤方法,該算法是一種高效的視覺(jué)跟蹤算法,將所跟蹤物體形心作為圖像定位參考點(diǎn),提取物體定位信息,通過(guò)定位信息運(yùn)用比例-積分-微分控制算法控制攝像頭舵機(jī)云臺(tái)轉(zhuǎn)向,使攝像頭快速、靈活、精確地自動(dòng)跟蹤指定物體[7]。蔡宗平等提出一種基于模糊自適應(yīng)CKF的目標(biāo)跟蹤算法,利用模糊推理系統(tǒng)實(shí)時(shí)調(diào)整容積卡爾曼濾波的量測(cè)噪聲協(xié)方差陣權(quán)值,從而修正量測(cè)噪聲協(xié)方差陣,使其逐步接近真實(shí)噪聲值,進(jìn)而提高目標(biāo)跟蹤算法的自適應(yīng)能力[8]。楊紅紅等提出一種基于稀疏約束深度學(xué)習(xí)的交通目標(biāo)跟蹤算法,該算法采用去噪自編碼神經(jīng)網(wǎng)絡(luò)對(duì)包含正負(fù)樣本的訓(xùn)練集進(jìn)行特征提取,將網(wǎng)絡(luò)的輸出作為L(zhǎng)ogistics分類器的輸入,學(xué)習(xí)獲得車輛分類器,并采用粒子濾波在線跟蹤目標(biāo)[9]。
上述移動(dòng)目標(biāo)跟蹤算法可以準(zhǔn)確地對(duì)監(jiān)控錄像上的移動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)跟蹤,但僅有文獻(xiàn)[9]可以針對(duì)移動(dòng)車輛進(jìn)行跟蹤,即具有移動(dòng)車輛和移動(dòng)行人的區(qū)別能力,而其他算法會(huì)對(duì)所有移動(dòng)目標(biāo)進(jìn)行同時(shí)檢測(cè)和跟蹤,無(wú)法應(yīng)用于專用的移動(dòng)車輛檢測(cè)跟蹤系統(tǒng)。目前的移動(dòng)車輛檢測(cè)跟蹤算法較少,盡管文獻(xiàn)[9]能夠檢測(cè)并跟蹤移動(dòng)車輛目標(biāo),但無(wú)法對(duì)多個(gè)移動(dòng)車輛進(jìn)行標(biāo)識(shí),這樣在追蹤特定的肇事車輛時(shí),會(huì)在監(jiān)控圖像的查找上帶來(lái)一定的難度。因此,文中設(shè)計(jì)了一種基于改進(jìn)差分閾值和位移匹配模型的車輛跟蹤系統(tǒng),該系統(tǒng)可以檢測(cè)并跟蹤移動(dòng)目標(biāo),并且通過(guò)閾值的調(diào)整,還可以只針對(duì)移動(dòng)車輛目標(biāo)進(jìn)行跟蹤。在多目標(biāo)標(biāo)識(shí)跟蹤的問(wèn)題上,該算法可以實(shí)現(xiàn)對(duì)多個(gè)目標(biāo)進(jìn)行數(shù)字標(biāo)識(shí),對(duì)于在監(jiān)控圖像上查找特定的移動(dòng)車輛帶來(lái)了方便。
傳統(tǒng)的差分和閾值方法在檢測(cè)移動(dòng)目標(biāo)時(shí),是通過(guò)監(jiān)控圖像當(dāng)前幀與前一幀進(jìn)行匹配,這兩幀圖像不同的地方會(huì)在當(dāng)前幀圖像產(chǎn)生白色像素,并且預(yù)先指定了一個(gè)閾值,當(dāng)白色像素的數(shù)量大于閾值時(shí),會(huì)把它指示為一個(gè)移動(dòng)事件,為了突出顯示運(yùn)動(dòng)區(qū)域,往往會(huì)給這些白色像素添加顏色[10-11]。然而大多數(shù)的監(jiān)控?cái)z像頭都會(huì)產(chǎn)生噪聲圖像,噪聲在每一幀上分布的區(qū)域不同,當(dāng)采用差分和閾值檢測(cè)法時(shí),會(huì)將一些噪聲較集中的區(qū)域誤檢為移動(dòng)目標(biāo),導(dǎo)致檢測(cè)精度降低[12-13]。因此需要對(duì)現(xiàn)有的差分閾值檢測(cè)法進(jìn)行改進(jìn),使其在存在噪聲的條件下仍然能夠準(zhǔn)確地檢測(cè)出移動(dòng)目標(biāo)。
在視頻監(jiān)控系統(tǒng)中,每一幀上的圖像噪聲都具有隨機(jī)分布性,即前后幀的噪聲像素點(diǎn)的分布基本無(wú)規(guī)律可尋。而目標(biāo)車輛在移動(dòng)過(guò)程中形狀不會(huì)發(fā)生變化,即前后幀的目標(biāo)車輛上的像素點(diǎn)與中心像素點(diǎn)的距離均值相同。以前一幀為匹配模板,在后一幀中得到了白色像素,假設(shè)這些白色像素組成了N個(gè)簇,假設(shè)簇j(j∈N)有m個(gè)像素點(diǎn),像素點(diǎn)xi(i=1,2,…,m)的重量為g(xi),建立有關(guān)xi的函數(shù)w(cj|xi),w(cj|xi)表示xi以cj作為簇中心所構(gòu)成的集合。接著計(jì)算該簇中心點(diǎn)cj的位置:
(1)
計(jì)算簇j的像素點(diǎn)與中心像素點(diǎn)cj的距離均值,得到:
(2)
由于移動(dòng)車輛在前后幀圖像上的位置不相同,因此在進(jìn)行匹配時(shí)該車輛區(qū)域所形成的白色像素點(diǎn)會(huì)得到兩個(gè)簇,這兩個(gè)簇的距離均值非常相近。為了盡可能地排除圖像噪聲,不采用統(tǒng)計(jì)圖像上總的白色像素是否超過(guò)閾值來(lái)判定移動(dòng)事件的方法,而是統(tǒng)計(jì)各簇的白色像素點(diǎn),并設(shè)定一個(gè)閾值T,當(dāng)簇的白色像素點(diǎn)少于閾值T,則忽略這些簇和它的像素點(diǎn),通過(guò)對(duì)閾值T的合理設(shè)定,還可以過(guò)濾掉行人目標(biāo),因?yàn)樾腥四繕?biāo)移速較低,前后幀匹配后產(chǎn)生的白色像素點(diǎn)也較少。當(dāng)簇的白色像素點(diǎn)高于T時(shí),指示它為一個(gè)移動(dòng)事件,并統(tǒng)計(jì)所有剩下的簇的距離均值[14-15]。
接著是對(duì)不同移動(dòng)車輛的區(qū)別和標(biāo)識(shí),通過(guò)對(duì)不同車輛進(jìn)行標(biāo)識(shí),可以在監(jiān)控畫(huà)面很好地區(qū)分不同的跟蹤目標(biāo),實(shí)現(xiàn)多目標(biāo)車輛的實(shí)時(shí)跟蹤,這里對(duì)移動(dòng)車輛的標(biāo)識(shí)需要用到各簇的距離均值。根據(jù)統(tǒng)計(jì)到的各簇的距離均值,選擇出距離均值相等的簇,不是絕對(duì)相等,有個(gè)容許誤差[-σ,σ]。把這些距離均值相等的簇放到同一組中。假設(shè)共得到k個(gè)組,用qi表示第i(i≤k)組,qi組里可能有兩個(gè)或多個(gè)簇,多個(gè)簇是由于監(jiān)控畫(huà)面存在著多個(gè)形狀相似的移動(dòng)車輛。為了準(zhǔn)確地對(duì)前后幀同個(gè)移動(dòng)車輛進(jìn)行標(biāo)識(shí),采用了一種移速匹配模型。
由于監(jiān)控錄像的幀率一般會(huì)達(dá)到20 FPS到25 FPS(低于20 FPS會(huì)影響錄像視頻的流暢度)。以時(shí)速為100 km/h的車速計(jì)算,前后幀的相同移動(dòng)車輛在實(shí)際背景的位移只有(1.08 m,1.39 m),可以看出前后幀相同車輛在幀間的實(shí)際位移會(huì)非常小。即使同一組中多個(gè)簇的距離均值相等,但簇間在實(shí)際背景的位移較大,則可以判定為不同車輛。因此,以監(jiān)控道路所允許的最高時(shí)速,假設(shè)為Rkm/h,配合監(jiān)控錄像幀率,假設(shè)為hFPS,則實(shí)際位移的最大值為:
(3)
當(dāng)qi組里距離均值相等的兩個(gè)簇,其實(shí)際位移低于位移閾值LT時(shí),則可以判定前后幀這兩個(gè)移動(dòng)車輛為同一個(gè)目標(biāo),并對(duì)其進(jìn)行標(biāo)識(shí)。在文中系統(tǒng)中采用不同數(shù)字對(duì)不同的跟蹤目標(biāo)進(jìn)行標(biāo)識(shí)。
算法流程如圖1所示。
圖1 算法流程
實(shí)驗(yàn)仿真部分采用C#對(duì)算法進(jìn)行編程,通過(guò)程序?qū)⑺惴ň帉?xiě)為系統(tǒng)軟件,并且在仿真硬件平臺(tái)配置為:Intel酷睿i5 6200u處理器,主頻2.4 GHz,內(nèi)存8 G,顯存2 G,操作系統(tǒng)為Windows7的PC平臺(tái)上運(yùn)行。對(duì)于監(jiān)控圖像的采集,采用的仿真圖像來(lái)源于國(guó)外開(kāi)源的攝像頭地址:http://129.186.47.239/axis-cgi/mjpg/video.cgi?resolution=352x240。
圖2和圖3為該算法在白天的條件下對(duì)移動(dòng)車輛的跟蹤效果。圖3為閾值取T=10(T為數(shù)值,無(wú)單位)時(shí)算法的跟蹤效果,從圖2中可以看出,該算法能夠正確地檢測(cè)到移動(dòng)車輛,并且忽略掉了對(duì)移動(dòng)行人的跟蹤,對(duì)多個(gè)車輛目標(biāo)還采用了數(shù)字進(jìn)行標(biāo)識(shí)。圖3為閾值取T=4時(shí)算法的跟蹤效果。從圖3可以看出,該算法能夠同時(shí)檢查出移動(dòng)的車輛,還有一個(gè)移動(dòng)至公交車的行人,但只對(duì)移動(dòng)車輛進(jìn)行標(biāo)識(shí)。圖3相比圖2能夠檢測(cè)出移動(dòng)的行人,是因?yàn)殚撝礣的取值較小,只限制了對(duì)噪聲像素點(diǎn)的過(guò)濾。從圖2和圖3的跟蹤效果來(lái)看,該系統(tǒng)在白天的條件下能夠很好地對(duì)多移動(dòng)目標(biāo)進(jìn)行檢測(cè)跟蹤,并且可以通過(guò)設(shè)置閾值來(lái)使系統(tǒng)只針對(duì)移動(dòng)車輛進(jìn)行檢測(cè)跟蹤。
圖2 白天條件下檢測(cè)并跟蹤多移動(dòng)車輛
圖3 白天條件下檢測(cè)并跟蹤多移動(dòng)目標(biāo)
圖4和圖5為該算法在夜晚的條件下對(duì)移動(dòng)車輛的跟蹤效果。對(duì)夜晚的移動(dòng)車輛進(jìn)行跟蹤,主要是考驗(yàn)該算法的魯棒性,檢測(cè)該算法是否能完成全天候的多目標(biāo)跟蹤任務(wù),以適應(yīng)于實(shí)際應(yīng)用的需求。圖4為閾值T=10時(shí)算法的跟蹤效果。從圖中可以看出,由于設(shè)置了較高的閾值,該算法只檢測(cè)并標(biāo)識(shí)了移動(dòng)的公交車,但是對(duì)移動(dòng)至公交車的行人并沒(méi)有進(jìn)行檢測(cè)。而圖5為閾值取T=4時(shí)算法的跟蹤效果。在圖5中,該算法檢測(cè)并跟蹤了多個(gè)移動(dòng)車輛目標(biāo),并且同時(shí)檢測(cè)出了行人,但不進(jìn)行標(biāo)識(shí)。結(jié)合圖2~5的效果來(lái)看,該算法不僅能在白天的條件下對(duì)多個(gè)移動(dòng)車輛目標(biāo)進(jìn)行檢測(cè)跟蹤,在夜晚也能夠準(zhǔn)確地檢測(cè)移動(dòng)車輛并跟蹤。因此該算法具有較好的實(shí)踐應(yīng)用性,在智能交通監(jiān)控領(lǐng)域具有一定的應(yīng)用前景。
圖4 夜晚?xiàng)l件下檢測(cè)并跟蹤移動(dòng)車輛
圖5 夜晚?xiàng)l件下檢測(cè)并跟蹤多移動(dòng)目標(biāo)
為了有效檢測(cè)多個(gè)移動(dòng)目標(biāo)車輛并進(jìn)行標(biāo)識(shí)跟蹤,提出一種基于改進(jìn)差分閾值和位移匹配模型的移動(dòng)車輛跟蹤算法?;趯?duì)差分和閾值檢測(cè)法的改進(jìn),可以有效過(guò)濾掉圖像噪聲對(duì)移動(dòng)目標(biāo)檢測(cè)的影響,并且還可以通過(guò)進(jìn)一步調(diào)整閾值來(lái)過(guò)濾移動(dòng)的行人,只檢測(cè)并跟蹤移動(dòng)車輛。為了對(duì)多個(gè)移動(dòng)車輛進(jìn)行標(biāo)識(shí),采用了位移匹配模型來(lái)確定不同幀圖像上的同一目標(biāo),實(shí)現(xiàn)系統(tǒng)可以準(zhǔn)確實(shí)時(shí)地跟蹤多個(gè)移動(dòng)車輛目標(biāo)。在仿真實(shí)驗(yàn)部分,對(duì)白天和夜晚的監(jiān)控圖像都采用算法進(jìn)行處理,得到的移動(dòng)車輛目標(biāo)檢測(cè)及跟蹤效果良好,在智能交通監(jiān)控領(lǐng)域具有較好的應(yīng)用前景。