劉可可

（南京農(nóng)業(yè)大學(xué)工學(xué)院，江蘇南京 210031）

虛擬果園視頻跟蹤系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

劉可可

（南京農(nóng)業(yè)大學(xué)工學(xué)院，江蘇南京 210031）

為提高果園設(shè)施的安全性，避免浪費(fèi)不必要的人力和財力，設(shè)計(jì)開發(fā)了一套可對果園進(jìn)行實(shí)時監(jiān)控的視頻跟蹤系統(tǒng)。該系統(tǒng)通過將金字塔Lucas-Kannade算法與背景差分法融合，實(shí)現(xiàn)了對運(yùn)動目標(biāo)位置、速度和大小的提取。然后利用電子郵件將運(yùn)動目標(biāo)的信息發(fā)送給客戶端，并將運(yùn)動目標(biāo)的圖像實(shí)時同步至云空間，是一套具有較高實(shí)時性與魯棒性的虛擬果園視頻跟蹤系統(tǒng)。

視頻跟蹤；虛擬果園；運(yùn)動檢測

作為機(jī)器視覺的重要組成部分，視頻跟蹤系統(tǒng)就是通過各種傳感器（光、電、磁、聲等）獲得的圖像序列，對目標(biāo)進(jìn)行自動提取和跟蹤的系統(tǒng)，目前已在軍事和民用上得到了廣泛應(yīng)用。在軍事中，視頻跟蹤系統(tǒng)在導(dǎo)彈飛機(jī)等目標(biāo)的預(yù)警、精確制導(dǎo)武器、火控系統(tǒng)、無人機(jī)系統(tǒng)中起著至關(guān)重要的作用。在民用方面，它可用于社區(qū)、大型公共場所及重要設(shè)施的安全監(jiān)控；智能交通系統(tǒng)中，它可用于無人駕駛系統(tǒng)設(shè)計(jì)，監(jiān)控車流量、車速等。此外，視頻跟蹤技術(shù)在視頻會議、視頻分析、視頻檢索、基于視頻的運(yùn)動分析和合成、基于運(yùn)動信息的身份識別、機(jī)器人、圖像檢索、水文觀測、港口管理、醫(yī)學(xué)圖像分析，以及遠(yuǎn)距離測量、零部件質(zhì)量檢測等許多領(lǐng)域也都大有作為。

隨著農(nóng)業(yè)人口的減少和果園等農(nóng)業(yè)用地的集成化和規(guī)?；?，國內(nèi)農(nóng)業(yè)的智能化水平得到了巨大的發(fā)展和提高。由于農(nóng)業(yè)人口減少，果園的安全問題變得日益突出，比如果園里時常發(fā)生偷盜行為和火災(zāi)。如果通過人為地看守果園，將浪費(fèi)大量的人力物力，而且人為看守也不適用于大規(guī)模的果園。本文利用OpenCV軟件技術(shù)、圖像預(yù)處理技術(shù)（包括高斯濾波和二值形態(tài)學(xué)濾波）、HS光流算法、金字塔LK光流算法、背景差分法等，開發(fā)了一種基于光流法和背景差分法的虛擬果園視頻跟蹤系統(tǒng)，以期解決這一問題。

1 系統(tǒng)的總體設(shè)計(jì)與實(shí)現(xiàn)

該系統(tǒng)的硬件平臺包括：裝有Windows 7系統(tǒng)的計(jì)算機(jī)一臺，USB攝像頭一個。軟件平臺為帶有OpenCV2.4.4庫的Visual Studio 2010及百度云同步軟件。

該系統(tǒng)可實(shí)現(xiàn)光流法和背景減法的融合，并最終實(shí)現(xiàn)3個功能：運(yùn)動目標(biāo)屬性顯示功能（包括運(yùn)動目標(biāo)的位置、速度和大小的顯示）；郵件發(fā)送功能，即將運(yùn)動目標(biāo)的屬性通過郵件進(jìn)行實(shí)時傳輸；圖像共享功能，即將帶有運(yùn)動目標(biāo)的圖片存儲在計(jì)算機(jī)上，并在云端實(shí)時共享（圖1）。

圖1 金字塔LK法與背景差分法的融合結(jié)構(gòu)

2 系統(tǒng)詳細(xì)設(shè)計(jì)

虛擬果園視頻跟蹤系統(tǒng)的詳細(xì)設(shè)計(jì)結(jié)構(gòu)如圖2所示。

2.1 視頻預(yù)處理模塊

主要用于初始化變量，捕捉視頻的當(dāng)前幀和歷史幀，為捕捉到的圖像幀分配內(nèi)存然后將其轉(zhuǎn)化為灰度圖，并且為背景減法模塊中的歷史幀進(jìn)行高斯濾波。

利用cvCaptureFromFile函數(shù)打開視頻，并將前幀復(fù)制存儲下來，變量名改為pFrameA，作為后面運(yùn)算的歷史幀；同時為圖像和矩陣分配內(nèi)存空間，將歷史幀轉(zhuǎn)為灰度圖pBk Img與pFrImg，并將當(dāng)前幀和歷史幀轉(zhuǎn)化為灰度圖imgA與imgB，其中pBk Img與pFrImg用于背景差分法的計(jì)算，imgA與imgB用于光流法的計(jì)算。

圖2 虛擬果園視頻跟蹤系統(tǒng)的詳細(xì)設(shè)計(jì)結(jié)構(gòu)

2.2 角點(diǎn)檢測模塊

用于檢測歷史幀中感興趣的點(diǎn)，即強(qiáng)角點(diǎn)。然后根據(jù)強(qiáng)角點(diǎn)檢測亞像素級角點(diǎn)。

2.3 光流法模塊

在該模塊中，我們比較了兩種典型的光流算法：HS光流法和金字塔LK光流法。前者代表了稠密光流法，后者則是稀疏光流算法的代表。其性能對比結(jié)果如表1所示。

表1 HS光流法與金字塔LK光流法的比較

從表1可以看出，HS光流法計(jì)算的光流點(diǎn)數(shù)為76 800，即320×240圖像中所有的點(diǎn)；而金字塔LK光流法只需要計(jì)算500個角點(diǎn)即可，所以金字塔LK光流法的運(yùn)算量小，實(shí)時性更高。HS光流法顯示的光流為40，而金字塔LK光流法顯示的光流為112，說明LK算法能提取更多的運(yùn)動點(diǎn)，這樣最后算出的平均光流（約等于目標(biāo)速度）誤差也會更小。HS光流法的光流數(shù)值標(biāo)準(zhǔn)差為10.70，而金字塔LK光流法光流數(shù)值的標(biāo)準(zhǔn)差為2.27，說明金字塔LK光流法的光流數(shù)值浮動較小，更穩(wěn)定。綜上，金字塔LK光流法比HS光流法具有更高的實(shí)時性和魯棒性。

通過程序演示發(fā)現(xiàn)，HS光流法的速度太慢，容易引起計(jì)算機(jī)死機(jī)，且無法實(shí)時處理視頻，該算法只能應(yīng)用于圖像研究，而且該算法生成的光流噪點(diǎn)較多，無法代表物體運(yùn)動的真實(shí)速度。圖3為HS光流法與金字塔LK光流法的效果圖。從圖3中可以看出，HS光流法中的光流大小的離散程度較大，而金字塔LK光流法中光流的大小離散程度較小，基本上穩(wěn)定在10左右，由此可見金字塔LK光流法能更加真實(shí)地反映運(yùn)動目標(biāo)的速度。因此，在虛擬果園視頻跟蹤系統(tǒng)中，選擇使用金字塔LK光流法來實(shí)現(xiàn)光流法模塊。

圖3 HS光流法與金字塔LK光流法的效果

2.4 光流顯示模塊

通過查找發(fā)生運(yùn)動的光流點(diǎn)，對光流進(jìn)行顯示。

2.5 背景差分模塊

利用背景幀和當(dāng)前幀的差分圖分離出前景，并且閾值化得到二值圖，然后對二值圖進(jìn)行形態(tài)學(xué)濾波。

2.6 運(yùn)動屬性顯示模塊

首先利用光流值的平均數(shù)計(jì)算出運(yùn)動目標(biāo)的速度，利用前景圖計(jì)算出運(yùn)動物體面積；然后將速度小于某個值或面積小于某個值的點(diǎn)的速度和面積置為0，以消除攝像機(jī)或者背景抖動帶來的影響；最后顯示運(yùn)動目標(biāo)的速度和大小。

2.7 郵件發(fā)送模塊

利用SMTP協(xié)議和郵箱建立連接。當(dāng)檢測到有目標(biāo)運(yùn)動時，每隔一定的時間將采集到的運(yùn)動目標(biāo)的信息實(shí)時發(fā)送給目標(biāo)郵箱。

2.8 圖像共享模塊

先將運(yùn)動目標(biāo)圖像存儲在本地文件夾中，存儲頻率可以自行設(shè)置，本研究中使用的存儲頻率為10幀，即當(dāng)有目標(biāo)運(yùn)動時，每隔10幀保存一次圖片。然后將存儲在本地的圖片通過同步軟件在云端實(shí)時同步。

3 小結(jié)

果園經(jīng)常會出現(xiàn)偷盜行為和火災(zāi)等情況，如果人為看守將浪費(fèi)不必要的財力，而且人眼的可靠性并不高。如果用視頻跟蹤系統(tǒng)對果園進(jìn)行實(shí)時監(jiān)控，則有利于提高果園設(shè)施的安全性，而且可以避免不必要的人力和財力浪費(fèi)。傳統(tǒng)的視頻跟蹤系統(tǒng)只能判斷視頻中有無運(yùn)動目標(biāo)出現(xiàn)。本研究利用金字塔光流法和背景減法進(jìn)行融合，成功提取了目標(biāo)的位置、大小和速度，并加入了郵件發(fā)送和云同步功能，使果園主人能隨時隨地掌握果園的信息。此外，該系統(tǒng)也解決了視頻跟蹤系統(tǒng)魯棒性和實(shí)時性不高的問題。

［1］ 劉雅坤，王艷紅.科技啟迪未來［J］.世界汽車，2013（5）：42-43.

［2］ 張秀麗.四足機(jī)器人節(jié)律運(yùn)動及環(huán)境適應(yīng)性的生物控制研究［D］.北京：清華大學(xué)，2004.

［3］ 盧曉鵬.視頻序列中目標(biāo)跟蹤技術(shù)研究［D］.北京：中國科學(xué)院研究生院，2007.

［4］ 侯杰.基于視頻圖像的高大空間建筑火災(zāi)探測研究［D］.北京：清華大學(xué)，2010.

［5］ 黃琛，丁曉青，方馳.一種魯棒高效的人臉特征點(diǎn)跟蹤方法［J］.自動化學(xué)報，2012，38（5）：788-796.

［6］ 張建倉，楊哲輝，孫啟富.基于二自由度云臺的目標(biāo)跟蹤系統(tǒng)設(shè)計(jì)［J］.計(jì)算機(jī)測量與控制，2013，21（9）：2579-2581.

（責(zé)任編輯：高 峻）

TP 391

A

0528-9017（2014）11-1774-03

文獻(xiàn)著錄格式：劉可可.虛擬果園視頻跟蹤系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［J］.浙江農(nóng)業(yè)科學(xué)，2014（11）：1774-1776.

2014-06-18

劉可可（1991-），女，山東棗莊人，本科在讀，所修專業(yè)為電子信息科學(xué)與技術(shù)。E-mail：849495892@qq.com。