宋懷波 陰旭強(qiáng) 吳頔華 姜 波 何東健
(1.西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院, 陜西楊凌 712100; 2.農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)物聯(lián)網(wǎng)重點(diǎn)實(shí)驗(yàn)室, 陜西楊凌 712100)
利用視頻分析技術(shù)感知?jiǎng)游镄袨橐殉蔀榫珳?zhǔn)畜牧領(lǐng)域的研究熱點(diǎn),奶牛目標(biāo)的準(zhǔn)確、實(shí)時(shí)檢測(cè)可為奶牛個(gè)體識(shí)別[1-2]、目標(biāo)跟蹤[3-6]、呼吸檢測(cè)[7-8]、跛行檢測(cè)[9-10]等后續(xù)研究奠定基礎(chǔ)。實(shí)現(xiàn)復(fù)雜養(yǎng)殖環(huán)境下奶牛目標(biāo)的準(zhǔn)確檢測(cè),對(duì)于提升奶牛養(yǎng)殖業(yè)的智能化水平具有重要意義。
近年來(lái)研究者在動(dòng)物行為感知領(lǐng)域取得了一定的成果,但是由于奶牛的非結(jié)構(gòu)化養(yǎng)殖環(huán)境,常用的目標(biāo)檢測(cè)算法,如背景減去法[11-12]、幀間差分法[13-14]和光流法[15-16]并不能取得良好的檢測(cè)效果。ZHAO等[11]提出了一種基于幀差法并調(diào)整RGB通道系數(shù)的運(yùn)動(dòng)奶牛目標(biāo)檢測(cè)算法,目標(biāo)的檢測(cè)精度為88.34%,但該算法對(duì)環(huán)境變化敏感。王紅君等[17]利用高斯金字塔 Lucas-Kanade光流法實(shí)現(xiàn)了奶牛的目標(biāo)定位,但光流法計(jì)算量大,導(dǎo)致算法復(fù)雜度較高,不適于在線檢測(cè)。劉冬等[18]在GMM的基礎(chǔ)上,引入局部更新策略來(lái)降低算法復(fù)雜度,實(shí)現(xiàn)了奶牛目標(biāo)的實(shí)時(shí)提取,前景誤檢率、背景誤檢率分別降低了19.50%和13.37%,單幀時(shí)耗降低了29.25%。GMM模型具有較強(qiáng)的魯棒性,該方法通過(guò)假設(shè)樣本集符合高斯概率分布,根據(jù)樣本集擬合該分布中的參數(shù)[19-20]。利用GMM模型可以建立動(dòng)態(tài)背景模型實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的提取,但是對(duì)于奶牛等生活在復(fù)雜開放環(huán)境下的大型動(dòng)物,GMM模型復(fù)雜度高、計(jì)算量大,且該方法對(duì)于光照變化比較敏感,易受圖像噪聲的干擾,對(duì)于室外目標(biāo)的檢測(cè)精度有待提高。
在實(shí)際場(chǎng)景中,大量樣本的分布形式是未知的或并不服從典型分布,因此難以用已知參數(shù)的模型對(duì)背景進(jìn)行建模。由于GMM模型需要加入主觀的先驗(yàn)知識(shí),往往難以擬合出符合其真實(shí)分布的模型。因此,ELGAMMAL等[21]提出了一種無(wú)參數(shù)化模型,利用非參數(shù)核密度估計(jì)法進(jìn)行背景建模。與參數(shù)估計(jì)不同,非參數(shù)估計(jì)并不加入任何先驗(yàn)知識(shí),而是根據(jù)數(shù)據(jù)本身的特點(diǎn)、性質(zhì)來(lái)擬合分布[22-23]。非參數(shù)核密度利用標(biāo)準(zhǔn)核函數(shù)和像素表現(xiàn)出來(lái)的高斯特性,根據(jù)訓(xùn)練圖像樣本信息準(zhǔn)確估計(jì)核函數(shù),因而核密度估計(jì)能夠獲得更符合真實(shí)背景像素概率的分布,適合處理多樣性的動(dòng)態(tài)背景場(chǎng)景。ZIVKOVIC等[24]提出了一種基于聚類思想的自適應(yīng)核密度估計(jì)方法,提高了核密度估計(jì)的效率。喬俊鋒等[25]提出了一種基于直方圖的快速核密度估計(jì)背景建模方法,由于離散直方圖不能完整地代表奶牛圖像信息,且易受噪聲的干擾,在目標(biāo)檢測(cè)時(shí)易出現(xiàn)誤檢測(cè)。劉娣等[26]提出了一種基于背景差分圖像核密度估計(jì)的前景檢測(cè)方法,利用單高斯模型初始背景建模濾除非動(dòng)態(tài)背景區(qū)域,對(duì)動(dòng)態(tài)區(qū)域采用核密度估計(jì)進(jìn)行分類。該方法在小物體且背景可分的情況下具有較高的準(zhǔn)確性和實(shí)時(shí)性。
鑒于上述分析,本研究將非參數(shù)化自適應(yīng)核密度估計(jì)理論應(yīng)用于運(yùn)動(dòng)奶牛的目標(biāo)檢測(cè)之中,提出一種基于關(guān)鍵幀的自適應(yīng)無(wú)參核密度估計(jì)算法,通過(guò)與三幀差法進(jìn)行邏輯或運(yùn)算實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的精確提取。
運(yùn)動(dòng)奶牛試驗(yàn)視頻于2018年10—11月在陜西省楊凌科元克隆股份有限公司的奶牛養(yǎng)殖場(chǎng)采集,拍攝對(duì)象為處于運(yùn)動(dòng)狀態(tài)的美國(guó)荷斯坦奶牛。在奶牛運(yùn)動(dòng)期間將1臺(tái)SONY HDR-CX290E型DV固定在三腳架上,保持鏡頭與目標(biāo)奶牛平行且距離目標(biāo)奶牛約2.5 m。試驗(yàn)總共采集了8段奶牛行走視頻,視頻信息如表1所示。為了驗(yàn)證算法的適應(yīng)性,8段視頻包含了晴天、陰天、雨天和夜間等典型奶牛養(yǎng)殖環(huán)境。8段視頻中包含了奶牛非結(jié)構(gòu)生存環(huán)境中典型的干擾因素,如欄桿遮擋會(huì)導(dǎo)致前景檢測(cè)率下降,光照變化會(huì)導(dǎo)致背景像素誤檢測(cè),灰暗光線和污漬干擾會(huì)使得目標(biāo)與背景難以分割,導(dǎo)致前景目標(biāo)缺失等問(wèn)題。這些在奶牛養(yǎng)殖中普遍存在的干擾使得非結(jié)構(gòu)化環(huán)境下運(yùn)動(dòng)奶牛目標(biāo)準(zhǔn)確檢測(cè)受到影響。
表1 運(yùn)動(dòng)奶牛視頻信息Tab.1 Video information of moving cows
試驗(yàn)平臺(tái)為一臺(tái)Win 8.1系統(tǒng)的便攜式計(jì)算機(jī),處理器配置為AMD A10-7300,主頻為1.90 GHz,8 GB內(nèi)存。算法開發(fā)平臺(tái)Python 3.7,為了客觀地對(duì)目標(biāo)檢測(cè)結(jié)果進(jìn)行評(píng)價(jià),本研究使用Adobe Photoshop獲取真實(shí)奶牛目標(biāo)區(qū)域,以便與本研究所檢測(cè)出的奶牛目標(biāo)區(qū)域進(jìn)行比較,并用圖像標(biāo)注工具Labeling軟件標(biāo)出運(yùn)動(dòng)奶牛的位置,與本研究算法檢測(cè)的前景目標(biāo)最小外界矩形框?qū)Ρ纫员泸?yàn)證本研究方法在目標(biāo)追蹤上的可行性。
1.2.1總體技術(shù)路線
本研究擬采用的技術(shù)路線如圖1所示,首先通過(guò)核密度估計(jì)算法對(duì)奶牛圖像序列進(jìn)行動(dòng)態(tài)背景建模,然后引入關(guān)鍵幀提取以降低算法運(yùn)算量并加強(qiáng)核密度估計(jì)對(duì)遙遠(yuǎn)歷史幀信息的儲(chǔ)存能力,接著利用三幀差法對(duì)奶牛邊緣的提取優(yōu)勢(shì),將其與核密度估計(jì)算法進(jìn)行邏輯或運(yùn)算,最后進(jìn)行形態(tài)學(xué)操作和孔洞填充實(shí)現(xiàn)奶牛目標(biāo)的精確提取。
圖2 不同γ值下的試驗(yàn)結(jié)果Fig.2 Test results using different γ values
圖1 核密度估計(jì)的運(yùn)動(dòng)奶牛目標(biāo)檢測(cè)技術(shù)路線圖Fig.1 Nuclear density estimation map of moving cows
1.2.2視頻關(guān)鍵幀的提取
利用關(guān)鍵幀技術(shù)可以充分減少原始視頻中的冗余信息,目前研究者們?cè)谝曨l關(guān)鍵幀檢測(cè)領(lǐng)域做了大量工作[27-29],考慮到實(shí)時(shí)性的要求,本研究利用具有平均幀間差分法強(qiáng)度的局部最大值幀作為關(guān)鍵幀,與基于差分強(qiáng)度閾值方法相比,該方法無(wú)需手動(dòng)設(shè)置閾值,即可使提取結(jié)果均勻地分散在視頻中。為了有效移除噪聲以避免將相似場(chǎng)景下的數(shù)據(jù)幀提取為關(guān)鍵幀,本研究對(duì)平均幀間差分強(qiáng)度時(shí)間序列進(jìn)行了平滑處理。
1.2.3視頻預(yù)處理
預(yù)處理是視頻分析的首要環(huán)節(jié),它可以去除圖像中的無(wú)關(guān)信息進(jìn)而提高有效信息的占比[30]。噪聲的影響和光照的變化會(huì)降低目標(biāo)和背景間的對(duì)比度,為了減弱光照影響以增加圖像對(duì)比度,常利用圖像增強(qiáng)的方式來(lái)實(shí)現(xiàn)。本研究選用Gamma變換對(duì)圖像進(jìn)行校正。當(dāng)圖像的亮度范圍小于其數(shù)據(jù)類型允許范圍的0.50時(shí),圖像被認(rèn)為是低對(duì)比度,此時(shí)應(yīng)用Gamma變換
Gx,y=(Ix,y+Vesp)γ
(1)
式中Ix,y、Gx,y——Gamma變換前、后的像素值
Vesp——補(bǔ)償系數(shù)γ——系數(shù)
由于本研究希望圖像中較亮區(qū)域灰度被壓縮,較暗區(qū)域灰度被拉伸從而圖像整體變亮,因此γ取值應(yīng)小于1。圖2為γ取不同值時(shí)的結(jié)果,圖2a為原始圖像,奶牛目標(biāo)與黑夜背景區(qū)分度較低,圖2c中γ取值為0.50時(shí),圖像過(guò)亮并且引入了噪聲點(diǎn)。本研究選取圖2b中γ取值為0.80的Gamma變換,此時(shí)不僅可以適當(dāng)?shù)奶岣邎D像整體亮度,而且提高了目標(biāo)與背景的對(duì)比度。圖3為不同窗口下的中值濾波結(jié)果。圖3a中2×2窗口不能完全去除噪聲,圖3c中5×5窗口模糊了奶牛目標(biāo)邊緣,本研究選取圖3b中3×3窗口的中值濾波,研究發(fā)現(xiàn)其具有較好的去噪效果,并且能保持奶牛邊緣特征。
圖3 不同窗口下的試驗(yàn)結(jié)果Fig.3 Test results using different window sizes
1.2.4核密度估計(jì)法
(1)無(wú)參核密度估計(jì)原理
非參數(shù)背景模型通過(guò)對(duì)相鄰視頻幀進(jìn)行統(tǒng)計(jì)學(xué)習(xí)來(lái)建立背景,并通過(guò)持續(xù)更新樣本集來(lái)建立動(dòng)態(tài)背景。核密度估計(jì)采用核函數(shù)對(duì)訓(xùn)練集中每個(gè)像素點(diǎn)的概率密度分布規(guī)律進(jìn)行分析,從而構(gòu)造整個(gè)訓(xùn)練集在特定空間的樣本分布規(guī)律。核密度估計(jì)是近年來(lái)受到廣泛應(yīng)用的非參數(shù)密度估計(jì)方法,通過(guò)利用采樣點(diǎn)以及鄰域密度函數(shù)值信息的整合來(lái)改善概率密度的不連續(xù)問(wèn)題。根據(jù)視頻序列中每個(gè)像素的N個(gè)樣本,基于核密度估計(jì)進(jìn)行背景建模,統(tǒng)計(jì)分析每一個(gè)像素點(diǎn)的概率密度分布。設(shè)x1,x2,…,xN為一個(gè)像素特征空間內(nèi)的N個(gè)樣本,則t時(shí)刻像素為xt的概率p(xt)為
(2)
式中xt——當(dāng)前采樣的像素值
N——每個(gè)像素采樣的背景像素個(gè)數(shù)
xi——第i個(gè)樣本的像素值
kσ——核函數(shù)(非負(fù)、積分為1)
p(xt)——t時(shí)刻像素為xt的概率
高斯函數(shù)在很大程度上可以充分反映隨機(jī)變量的概率分布情況,可以生成光滑且連續(xù)可微的密度函數(shù),因而本研究選用高斯函數(shù)作為核函數(shù)。
(3)
式中xtj——當(dāng)前采樣的像素值xt在j維度上的取值
xij——第i個(gè)采樣點(diǎn)的像素值xi在j維度上的取值
d——像素的維度,一般取3
σj——像素在j維度上的方差
Pr(xt)——t時(shí)刻高斯核函數(shù)估計(jì)像素為xt的概率
核函數(shù)的窗寬反映了訓(xùn)練集中每個(gè)樣本對(duì)采樣點(diǎn)概率密度分布的貢獻(xiàn)度,表征了概率密度曲線的平坦程度,帶寬越大密度曲線越光滑,從而降低了估計(jì)的分辨力。帶寬越小概率密度曲線越陡峭且有毛刺,從而概率密度越趨于樣本中心的函數(shù)。非參數(shù)核密度估計(jì)一般根據(jù)設(shè)置像素點(diǎn)的閾值來(lái)提取運(yùn)動(dòng)目標(biāo),在視頻中背景序列的像素一般不會(huì)發(fā)生較大變化,通過(guò)比較當(dāng)前圖像像素與背景像素的差異,利用預(yù)設(shè)的閾值判斷屬于前景還是背景。其數(shù)學(xué)表達(dá)式為
(4)
式中T——閾值
其中,Mt(x,y)為0代表背景像素,Mt(x,y)為1代表運(yùn)動(dòng)目標(biāo)像素。
非結(jié)構(gòu)化奶牛養(yǎng)殖環(huán)境中的背景總是不斷變化的,需要不斷更新背景模型以保證運(yùn)動(dòng)目標(biāo)的完整提取。本研究選用先進(jìn)先出的背景更新模式,隨著視頻幀的更新,不斷地將當(dāng)前幀加入樣本集并丟棄最遙遠(yuǎn)的幀。該更新模式不會(huì)產(chǎn)生死鎖現(xiàn)象且算法復(fù)雜度低。
(2) 基于自適應(yīng)核密度估計(jì)的運(yùn)動(dòng)奶牛目標(biāo)檢測(cè)結(jié)果
在核密度估計(jì)時(shí),若采用固定的內(nèi)核來(lái)表示整個(gè)密度函數(shù)則可能導(dǎo)致在低密度區(qū)域所有樣本以極低的權(quán)重落入內(nèi)核尾部,而高密度區(qū)域?qū)⒃谥行膮^(qū)域聚集過(guò)多的樣本,加權(quán)已經(jīng)接近于1。為了解決這一問(wèn)題,ZIVKOVIC等[24]提出在每個(gè)估計(jì)點(diǎn)調(diào)整核尺寸,為每個(gè)新點(diǎn)增加內(nèi)核的寬度,而不是試圖尋求全局最優(yōu)核寬度,直到真實(shí)核尺寸覆蓋固定數(shù)量的數(shù)據(jù)k。并提出使用k=[0.1N]([·]表示取整運(yùn)算符)的默認(rèn)計(jì)算方式提升異常值的處理效率[24]。
本研究將ZIVKOVIC等[24]提出的自適應(yīng)核密度估計(jì)背景建模方法應(yīng)用于運(yùn)動(dòng)奶牛目標(biāo)檢測(cè)之中。其中歷史幀數(shù)的設(shè)定對(duì)運(yùn)動(dòng)奶牛目標(biāo)檢測(cè)精度的影響如圖4所示。研究發(fā)現(xiàn)將歷史幀數(shù)設(shè)置為150即學(xué)習(xí)率為1/150時(shí),既可有效減少算法復(fù)雜度,又可以提升前景檢測(cè)率。本研究中N設(shè)定為20,即每個(gè)像素采樣的背景像素個(gè)數(shù),N太小則學(xué)習(xí)不充分從而導(dǎo)致較低的前景檢測(cè)率,N太大將增加算法的復(fù)雜度[24]。本研究中T設(shè)定為110,該值用于確定像素是否接近數(shù)據(jù)樣本,取值太小會(huì)有大量的噪聲殘留,取值過(guò)大會(huì)使得前景圖像過(guò)分割,本研究在研究樣本視頻的基礎(chǔ)上,設(shè)定閾值為110時(shí),可以較好地實(shí)現(xiàn)前景目標(biāo)分割。
圖4 歷史幀數(shù)對(duì)前景正檢率的影響Fig.4 Influence of historical frame number on foreground detection rate
利用上述方法進(jìn)行前景目標(biāo)檢測(cè)的結(jié)果如圖5所示。在圖5a中,受到欄桿遮擋的影響,奶牛目標(biāo)被欄桿分割,無(wú)法完整提取奶牛目標(biāo)。為了解決這一問(wèn)題,本研究先采用半徑為5的“disk”形結(jié)構(gòu)元素進(jìn)行開運(yùn)算濾除噪聲,再利用半徑為5的“disk”形結(jié)構(gòu)元素進(jìn)行閉運(yùn)算以實(shí)現(xiàn)對(duì)欄桿遮擋區(qū)域的填充,其檢測(cè)結(jié)果如圖5b所示,可以發(fā)現(xiàn)形態(tài)學(xué)操作可以更準(zhǔn)確地提取奶牛目標(biāo)。
圖5 檢測(cè)結(jié)果Fig.5 Pictures of test results
1.2.5結(jié)合三幀差法與形態(tài)學(xué)處理的運(yùn)動(dòng)奶牛目標(biāo)檢測(cè)
幀差法利用相鄰幀間灰度上的差異實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的檢測(cè),其優(yōu)點(diǎn)是運(yùn)算速度快,對(duì)運(yùn)動(dòng)目標(biāo)邊緣的提取效果好,缺點(diǎn)是易產(chǎn)生鬼影、圖像內(nèi)部一般具有空洞且無(wú)法應(yīng)對(duì)光照突變。如圖6a所示,幀差法提取的奶牛目標(biāo)存在鬼影,尤其是在后腿部區(qū)域,鬼影的產(chǎn)生使得模型將背景誤判斷為前景,不利于目標(biāo)的準(zhǔn)確檢測(cè)。
圖6 幀差法檢測(cè)結(jié)果對(duì)比Fig.6 Comparison of frame difference methods results
針對(duì)幀差法的不足,三幀差法可以有效地消除鬼影,進(jìn)而精確提取運(yùn)動(dòng)目標(biāo)的輪廓[29-30]。為了更好地實(shí)現(xiàn)目標(biāo)輪廓的提取,本文在邏輯與操作前對(duì)差分結(jié)果進(jìn)行了半徑為3的“disk”形結(jié)構(gòu)元素閉運(yùn)算,其檢測(cè)結(jié)果如圖6b所示。對(duì)比圖6a,三幀差法有效地消除了鬼影,并提高了奶牛目標(biāo)輪廓提取的性能。
采用前景正檢率(Target positive rate,VTRP)、前景誤檢率(Target false positive rate,VTFRP)、實(shí)時(shí)性指標(biāo)(Real-time indicator,VRI)3個(gè)指標(biāo)對(duì)本文算法進(jìn)行評(píng)價(jià)。VTRP和VTFRP分別表示目標(biāo)檢測(cè)正確和錯(cuò)誤的比例,VRI表示算法運(yùn)行時(shí)間與檢測(cè)視頻時(shí)長(zhǎng)的比值,用來(lái)評(píng)價(jià)算法的實(shí)時(shí)性,其結(jié)果越靠近1代表算法的實(shí)時(shí)性越好。3個(gè)指標(biāo)的計(jì)算公式為
VTRP=A1/A×100%
(5)
VTFRP=|A-A1|/A×100%
(6)
VRI=T1/T2
(7)
式中A1——檢測(cè)到的奶牛目標(biāo)面積,像素
A——手工標(biāo)記的奶牛目標(biāo)面積,像素
T1——算法耗時(shí),s
T2——視頻時(shí)長(zhǎng),s
利用GMM、KDE及本文算法對(duì)晴天、雨天以及夜晚3種典型生存環(huán)境下的奶牛樣本進(jìn)行檢測(cè),運(yùn)動(dòng)目標(biāo)提取結(jié)果如圖7所示,其中視頻1、視頻6、視頻7分別為晴天、雨天、夜晚環(huán)境下采集的奶牛圖像。
由圖7b可以看出,GMM提取結(jié)果存在大部分缺失,部分前景被誤判為背景且存在拖影現(xiàn)象。由圖7c可以看出,KDE模型可以適應(yīng)復(fù)雜的非結(jié)構(gòu)化環(huán)境,對(duì)目標(biāo)的提取效果較好,但仍存在部分區(qū)域像素誤判。本文算法在結(jié)合關(guān)鍵幀檢測(cè)技術(shù)的基礎(chǔ)上采用三幀差法對(duì)運(yùn)動(dòng)目標(biāo)邊緣具有良好提取效果,與核密度估計(jì)背景建模結(jié)果結(jié)合后再進(jìn)行形態(tài)學(xué)填充即可實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)區(qū)域的完整提取??梢姡疚乃惴ㄔ诙喾N環(huán)境下檢測(cè)目標(biāo)均較為完整,表明本文算法對(duì)環(huán)境變化具有良好的魯棒性,且對(duì)運(yùn)動(dòng)目標(biāo)的提取更加完整。
圖7 不同算法運(yùn)動(dòng)奶牛提取結(jié)果Fig.7 Results of moving cows segmentation by different methods
目標(biāo)檢測(cè)算法的性能主要體現(xiàn)在準(zhǔn)確性、魯棒性、快速性方面[14],利用本文算法對(duì)試驗(yàn)樣本進(jìn)行運(yùn)動(dòng)奶牛目標(biāo)檢測(cè),并與GMM、KDE算法進(jìn)行對(duì)比,結(jié)果如表2所示,GMM算法的平均前景正檢率為80.09%,KDE算法的平均前景正檢率為85.09%,本文算法的平均前景正檢率為95.65%,表明將無(wú)參數(shù)化核密度模型應(yīng)用于運(yùn)動(dòng)奶牛目標(biāo)的準(zhǔn)確提取是可行的。由表2可看出,該算法受視頻中其他干擾因素(光照、遮擋)的影響較小。上述結(jié)果表明,與經(jīng)典的GMM算法相比,本文算法對(duì)于奶牛非結(jié)構(gòu)化養(yǎng)殖環(huán)境具有更好的魯棒性。
表2 運(yùn)動(dòng)奶牛目標(biāo)檢測(cè)結(jié)果Tab.2 Cows target motion detection result %
本文在核密度估計(jì)算法的基礎(chǔ)上,針對(duì)核密度估計(jì)背景建模時(shí)需要對(duì)采樣點(diǎn)周圍多幀圖像像素進(jìn)行統(tǒng)計(jì)分析導(dǎo)致運(yùn)算量大的缺點(diǎn),引入視頻關(guān)鍵幀的檢測(cè)來(lái)減少模型的復(fù)雜度以滿足算法實(shí)時(shí)性的要求。表3為GMM、KDE、本文算法實(shí)時(shí)性指標(biāo)對(duì)比結(jié)果。由表3可知,GMM算法復(fù)雜度高,實(shí)時(shí)性較差,平均實(shí)時(shí)性指標(biāo)為1.36,在第3、4組試驗(yàn)中,受到光照突變的影響,復(fù)雜度突然增大。KDE算法平均實(shí)時(shí)性指標(biāo)為1.18,而本文算法的平均實(shí)時(shí)性指標(biāo)為1.11,且試驗(yàn)中的干擾因素基本對(duì)模型實(shí)時(shí)性沒(méi)有影響,這表明應(yīng)用本文算法實(shí)現(xiàn)奶牛運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)提取基本可行。
為了驗(yàn)證本文算法在目標(biāo)跟蹤上的有效性,本文以視頻6為例進(jìn)行了目標(biāo)跟蹤有效性分析。采用交并比(Intersection over union,VIOU)和距離VDIST指標(biāo)對(duì)其跟蹤效果進(jìn)行評(píng)價(jià)。
表3 算法實(shí)時(shí)性指標(biāo)對(duì)比Tab.3 Algorithm real-time indicator comparison
VIOU表示本研究檢測(cè)出的最大連通域最小外接矩形與人工標(biāo)記矩形框的重疊比例,其值越大則表明跟蹤效果越好。VDIST指標(biāo)代表了檢測(cè)到的奶牛目標(biāo)最小矩形質(zhì)心與所標(biāo)記矩形框質(zhì)心的歐氏距離,其值越小則表明跟蹤效果越好。
圖8 運(yùn)動(dòng)奶牛跟蹤結(jié)果Fig.8 Tracking result of moving cows
如圖8所示,為目標(biāo)跟蹤有效性分析的結(jié)果,VDIST平均值為51像素,VIOU平均值為0.95。利用奶牛視頻中完整的70幀圖像進(jìn)行分析,可以發(fā)現(xiàn)在第10幀以及第62幀附近有較大的波動(dòng)。研究原始圖像發(fā)現(xiàn),奶牛的運(yùn)動(dòng)場(chǎng)景有2個(gè)窗,奶牛在運(yùn)動(dòng)過(guò)程中,鏡面反射以及窗內(nèi)奶牛的運(yùn)動(dòng)被檢測(cè)為前景,因與奶牛組成連通域而被檢測(cè)出來(lái),導(dǎo)致最小外接矩形框變大,因而在這2個(gè)窗口附近的追蹤準(zhǔn)確率下降。但總體上本文算法對(duì)奶牛目標(biāo)的跟蹤可行。
本文8組試驗(yàn)中,第3組和第8組的運(yùn)動(dòng)目標(biāo)前景正檢率比平均前景正檢率低約4.00個(gè)百分點(diǎn),對(duì)這2段視頻進(jìn)行分析發(fā)現(xiàn),由于近景色干擾導(dǎo)致前景圖像缺失。因?yàn)楸疚乃玫腉MM、KDE算法都是建立動(dòng)態(tài)背景后利用背景減除法提取運(yùn)動(dòng)前景目標(biāo),而且2種方法都是對(duì)圖像像素灰度特性進(jìn)行分析的基礎(chǔ)上建立的,因此對(duì)于近景色目標(biāo),算法不能達(dá)到良好的檢測(cè)效果,示例結(jié)果如圖9所示。在圖9a中,視頻3奶牛身體后半部附著泥土,尤其在蹄部幾乎和背景混為一體,因而圖9b的奶牛目標(biāo)提取結(jié)果在對(duì)應(yīng)位置存在缺失。如圖9c所示,視頻8奶牛由于體色大幅度為暗黑色與夜晚下欄桿和背景形成了近景色,因而在圖9d中存在前景缺失現(xiàn)象。本文算法依據(jù)像素灰度信息估計(jì)得概率分布函數(shù),而該奶牛目標(biāo)的前景像素點(diǎn)灰度和背景像素點(diǎn)灰度區(qū)分度不大,因而導(dǎo)致模型將部分前景誤判為背景,從而造成目標(biāo)提取結(jié)果在近景色區(qū)域存在圖像塊缺失的現(xiàn)象,這也揭示了上述奶牛目標(biāo)前景檢測(cè)率較低的原因。
圖9 近景色干擾示例圖Fig.9 Similar-background color interference example diagrams
為了解決奶牛因?yàn)檫\(yùn)動(dòng)過(guò)程中受到欄桿遮擋導(dǎo)致的目標(biāo)不完整問(wèn)題,本文對(duì)奶牛身體部位的欄桿采用形態(tài)學(xué)操作和孔洞填充方法進(jìn)行了填補(bǔ),但是奶牛的腿部會(huì)受到如圖10a中水泥樁的遮擋,無(wú)法構(gòu)成連通域而導(dǎo)致在圖10b中前景圖像中奶牛腿部缺失。并且在奶牛非結(jié)構(gòu)化生存環(huán)境中,會(huì)有各種外來(lái)因素的干擾,如圖10c、10e所示,鳥的飛入、室內(nèi)奶牛的運(yùn)動(dòng)均會(huì)導(dǎo)致圖10d、10f中奶牛前景目標(biāo)連通域變大,造成前景檢測(cè)面積的突然變大,導(dǎo)致運(yùn)動(dòng)奶牛前景檢測(cè)率增加。這也會(huì)使得目標(biāo)追蹤時(shí)外接矩形框變大,從而造成背景被誤判斷為目標(biāo),使得目標(biāo)跟蹤準(zhǔn)確率下降。
圖10 遮擋干擾示意圖Fig.10 Blocking interference diagrams
本文所采用的關(guān)鍵幀提取方法不能完全代表奶牛目標(biāo)的全部特征,會(huì)導(dǎo)致目標(biāo)特征的丟失,下一步應(yīng)結(jié)合奶牛的個(gè)體特征(顏色特征、紋理特征等)來(lái)實(shí)現(xiàn)更能代表整段視頻的關(guān)鍵幀提取算法。另外,本研究所采用的核密度估計(jì)算法中的閾值需要根據(jù)所用的視頻序列進(jìn)行設(shè)定,在不同的視頻上并非有最佳的分割效果,下一步將研究自適應(yīng)閾值的核密度估計(jì)模型。
(1)本文算法基于對(duì)歷史幀信息的統(tǒng)計(jì)分析,估計(jì)采樣點(diǎn)的概率密度分布,當(dāng)目標(biāo)不存在大幅度區(qū)域的近景色時(shí),其他的干擾一般不會(huì)對(duì)檢測(cè)結(jié)果產(chǎn)生較大影響,說(shuō)明將無(wú)參數(shù)核密度背景建模用于運(yùn)動(dòng)奶牛目標(biāo)檢測(cè)是可行的。
(2)通過(guò)在核密度背景建?;A(chǔ)上引入關(guān)鍵幀檢測(cè)技術(shù),不僅實(shí)現(xiàn)了核函數(shù)對(duì)遙遠(yuǎn)幀圖像信息的獲取能力,而且提高了檢測(cè)精度,也提高了算法的實(shí)時(shí)性,結(jié)合三幀差法進(jìn)一步實(shí)現(xiàn)了運(yùn)動(dòng)目標(biāo)的完整提取。本文算法平均前景正檢率達(dá)95.65%,平均實(shí)時(shí)性指標(biāo)為1.11,可以實(shí)現(xiàn)運(yùn)動(dòng)奶牛目標(biāo)的準(zhǔn)確、實(shí)時(shí)檢測(cè)。
(3)在運(yùn)動(dòng)目標(biāo)檢測(cè)的基礎(chǔ)上運(yùn)用VIOU和VDIST指標(biāo)實(shí)現(xiàn)了目標(biāo)跟蹤效果的評(píng)價(jià),VIOU平均值為0.95,VDIST平均值為51像素。