范泳文,官洪運,蔣靜學,劉 杰
(東華大學信息學院,上海 201620)
隨著數(shù)字技術的迅猛發(fā)展,網(wǎng)絡技術,特別是物聯(lián)網(wǎng)技術的大力推廣,第三代移動通信技術(3G)不斷演進優(yōu)化,在傳輸?shù)姆€(wěn)定性和網(wǎng)絡的覆蓋率方面都具有很大的優(yōu)勢,視頻監(jiān)控系統(tǒng)也越來越趨向網(wǎng)絡化和無線化發(fā)展[1]?;?G網(wǎng)絡進行移動視頻監(jiān)控,不受時間和地域的限制,輕巧便捷,安裝簡易,運營成本低,特別適合運用在交通運輸行業(yè)。
目前3G技術于交通方面的應用,大多停留在視頻監(jiān)控播放上,沒有對其進行分析處理,無法實現(xiàn)智能監(jiān)控和違規(guī)報警功能。而市面上的圖像監(jiān)控軟件大多是針對本地音視頻數(shù)據(jù)或是通過電纜傳遞的流媒體文件進行分析處理,對網(wǎng)絡音視頻文件進行實時處理的軟件較少,而集成圖像采集、傳輸、處理、分析的網(wǎng)絡視頻監(jiān)控系統(tǒng)更是少之又少?;谶@種情況,筆者設計了一款基于3G網(wǎng)絡的智能交通視頻監(jiān)控系統(tǒng)。
基于3G網(wǎng)絡的智能交通視頻監(jiān)控系統(tǒng)的整體結(jié)構(gòu)可分為3個部分:前端視頻采集模塊、3G無線網(wǎng)絡傳輸部分和后端監(jiān)控管理服務平臺[2]??傮w設計框圖如圖1所示。
圖1 系統(tǒng)總體設計框圖
前端視頻采集模塊選用安徽創(chuàng)世紀科技有限公司研發(fā)生產(chǎn)的3G模塊,可連接攝像機,模塊內(nèi)的嵌入式設備采用最新的、壓縮比極高的H.264[3]視頻壓縮算法和AMR音頻壓縮方式,對攝像頭采集到的視頻音頻進行壓縮編碼后傳輸。
交通視頻圖像的傳輸數(shù)據(jù)量大、實時性要求高,視頻圖像的傳輸質(zhì)量直接影響系統(tǒng)的監(jiān)控質(zhì)量;而在后端監(jiān)控中,還需要收發(fā)各種控制指令,對視頻監(jiān)控進行設置和調(diào)整,這就對傳輸?shù)目煽啃蕴岢隽艘欢ǖ囊?。故本系統(tǒng)綜合采用TCP協(xié)議和UDP協(xié)議,用HTTP/TCP來傳輸控制協(xié)議,而用RTP/UDP來傳輸實時數(shù)據(jù),最高可以實現(xiàn)25~30幀/秒(f/s)的流暢圖像效果,為圖像視頻的實時采集及后續(xù)的處理分析奠定了基礎。
后端監(jiān)控管理平臺是運行在監(jiān)控PC機上的應用程序,是本監(jiān)控系統(tǒng)的人機交互的界面,應用了3G網(wǎng)絡與互聯(lián)網(wǎng)互聯(lián)的特點,直接通過互聯(lián)網(wǎng)絡獲取傳輸來的前端采集的數(shù)據(jù),然后經(jīng)過音視頻解碼,再將其封裝成能被OpenCV識別的IplImage格式[4]。系統(tǒng)使用Visual C++集成開發(fā)環(huán)境,和OpenCV函數(shù)庫對視頻的分析處理,實現(xiàn)實時播放、錄像、系統(tǒng)參數(shù)設置、違規(guī)判定及本地存儲等功能。后臺監(jiān)控管理系統(tǒng)框圖如圖2所示。
圖2 后臺監(jiān)控管理系統(tǒng)框圖
網(wǎng)絡視頻監(jiān)控系統(tǒng)首先要獲取網(wǎng)絡視頻,并對其進行轉(zhuǎn)換解碼,將視頻轉(zhuǎn)變成本地可識別處理的形式。具體流程如圖3所示,初始化程序后選擇一個遠程站點進行連接,連接上站點后獲取站點及站點下資源的全球唯一標識符(Globally Unique Identifier,GUID),根據(jù)資源描述判斷資源類型,操作各個資源,獲取或設置各資源的屬性。將截取的音視頻數(shù)據(jù)加入媒體解碼庫中,經(jīng)解碼后的視頻數(shù)據(jù)可進行圖像處理,從而實現(xiàn)音視頻播放、監(jiān)控、報警等功能。系統(tǒng)不斷檢測遠程站點接受的數(shù)據(jù)是否已經(jīng)接收完畢,若沒有完畢,則繼續(xù)截取;若截取完畢,則停止接受,斷開與遠程站點的鏈接。
圖3 音視頻獲取及解碼流程圖
本系統(tǒng)使用VS.net中的Visual C++集成開發(fā)環(huán)境,和OpenCV函數(shù)庫對采集到的視頻進行運動車輛檢測和運動車輛違規(guī)判定。首先對圖像進行預處理。圖像在采集、傳輸?shù)倪^程中會受到外部環(huán)境及內(nèi)部器械的影響而產(chǎn)生噪聲,可通過圖像二值化、圖像平滑化、圖像灰度化、圖像邊緣檢測等預處理操作減小噪聲,提高圖像質(zhì)量。隨后運用運動目標檢測和運動目標跟蹤算法對監(jiān)控區(qū)域的車輛進行跟蹤檢測,并根據(jù)具體的交通細則設置違規(guī)行為參數(shù),一旦判定車輛有違規(guī)行為,即執(zhí)行報警響應。系統(tǒng)軟件流程圖如圖4所示。
圖4 圖像處理軟件流程圖
運動目標檢測是計算機視覺技術的重要研究課題之一。目前比較常用的運動目標檢測算法有幀差分法、光流法和背景差分法[5]。本系統(tǒng)采用背景差分法[6]。背景差分法是運動目標檢測中應用最為廣泛的方法,特別適用于固定場景的視覺系統(tǒng)中。背景差分法的基本思想是以圖像序列中的當前幀與背景模型做差,從而分割出運動目標,因此其關鍵技術即是背景圖像的選取和更新。簡單的背景建模方法有中值濾波、均值濾波等,而成熟的背景建模方法,如基于卡爾曼濾波的自適應背景模型、隱馬爾科夫背景模型、混合高斯自適應背景模型等已大幅減小了噪聲、光照等因素對背景的影響,算法簡單,運算速度快,易于實時實現(xiàn)。
運動目標跟蹤技術可以分為基于分割的跟蹤(Segmentation Based Tracking)和基于視窗的跟蹤(Blob Tracking)兩大類[7]。本系統(tǒng)采用基于視窗的可視跟蹤法。
基于視窗的可視跟蹤方法[8]根據(jù)運動目標的特征,檢測出最匹配的中心位置,以橢圓或者矩形窗體鎖定跟蹤目標,是否需要進一步細致分割出跟蹤目標的具體形狀則取決于系統(tǒng)的功能需求,不在這里處理。這也就大大減少了系統(tǒng)的計算量,更適用于智能交通這類實時系統(tǒng)。具體方法有模版匹配法、粒子濾波法、Mean Shift方法等。
基于上述原理,經(jīng)過硬件平臺搭建,軟件系統(tǒng)編程,本系統(tǒng)已基本實現(xiàn)對3G網(wǎng)絡交通視頻的分析和處理,通過交通違規(guī)操作的設置,可進行車輛違規(guī)判定和報警,并可實現(xiàn)多種違規(guī)操作的同時判定。
首先登陸遠程3G模塊掛靠的中心管理服務器,選擇要分析處理的視頻對象,經(jīng)過解壓解碼,即可進行播放。部分主程序如下:
系統(tǒng)截圖如圖5所示。
圖5 系統(tǒng)界面截圖
點擊紅燈線設置、禁行區(qū)域設置、正向行駛方向設置和限速設置四個按鈕,可分別進行車輛違規(guī)設置,勾選要進行車輛違規(guī)判定的種類,圖5中同時選擇了闖紅燈車輛監(jiān)控和禁行區(qū)行駛車輛監(jiān)控,即會在視頻中出現(xiàn)紅燈線和禁行區(qū)域。當有違規(guī)車輛出現(xiàn)時,該車輛上的圓圈會標紅,規(guī)則設置圖形也會變紅加粗,系統(tǒng)會記錄有違規(guī)行為的車輛進行記錄報警。
車輛違規(guī)判定的部分主程序如下:
系統(tǒng)實際運行結(jié)果如圖6所示。
圖6 系統(tǒng)實際運行結(jié)果圖
經(jīng)測試實驗表明,該系統(tǒng)通過3G網(wǎng)絡可實現(xiàn)視頻的實時傳輸,解碼與播放,播放清晰流暢,結(jié)合OpenCV圖像處理軟件進行編程,可對接收到的實時視頻進行運動目標檢測和跟蹤,通過設定交通違規(guī)參數(shù),即可判定車輛是否違規(guī),并可根據(jù)實際情況增加或修改違規(guī)判定種類,從而實現(xiàn)基于3G網(wǎng)絡的智能交通視頻監(jiān)控。
:
[1]吳寧,羅安,雷震.基于流媒體技術的智能視頻監(jiān)視系統(tǒng)[J].自動化儀表,2007,28(7):35-38.
[2]張偉男,唐倫,陳前斌,等.基于3G傳輸?shù)囊曨l監(jiān)控系統(tǒng)的后臺設計[J].電視技術,2008,32(11):85-88.
[3]史惠,孟放,姜秀華.基于H.264碼流的高清視頻質(zhì)量評價算法[J].電視技術,2009,33(11):113-116.
[4]岑銀.基于OpenCV的智能視頻監(jiān)控設計[J].電子元器件應用,2010,12(7):47-48.
[5]鄭國榮,熊昌鎮(zhèn),張彥.一種基于OpenCV的嵌入式視頻監(jiān)控方法[J].冶金自動化,2010(S2):683-685.
[6]COLLINS R,LIPTON A,KANADE T,et al.A system for video surveillance and monitoring[EB/OL].[2011-06-20].http://www.google.com.hk/url?sa=t&rct=j&q=%5B7%5D%09COLLINS+R%EF%BC%8CLIPTON+A%EF%BC%8CKANADE+T%EF%BC%8Cet+al.+A+system+for+video+surveillance+and+monitoring&source=web&cd=2&ved=0CD0QFjAB&url=http%3A%2F%2Fciteseerx.ist.psu.edu%2Fviewdoc%2Fdownload%3Fdoi%3D10.1.1.73.2930%26rep%3Drep1%26type%3Dpdf&ei=k3E4T9zIHuuNiAe48t2bAg&usg=AFQjCNGcZhD-bL5jDQS_PMV7pr90wpP1OA&cad=rjt.
[7]白文江.基于圖像處理的智能交通監(jiān)控系統(tǒng)的研究與實現(xiàn)[D].上海:東華大學,2009.
[8]STAUFFER C,GRIMSON W E L.Learning patterns of activity using real-time tracking[J].IEEE Trans.PAM,2000,22(8):747-757.