張 可, 楊燦坤*, 周春平, 李 想
(1.首都師范大學(xué) 北京成像技術(shù)高精尖創(chuàng)新中心,北京 100048;2.首都師范大學(xué) 資源環(huán)境與旅游學(xué)院,北京 100048)
無人機(Unmanned Arial Vehicle,UAV)是一種無人駕駛飛行器,隨著科技的發(fā)展,無人機憑借其不受時間地域限制,可獲得大范圍、多角度、高分辨率數(shù)據(jù)等優(yōu)勢,在軍事偵查、空間遙感、智慧城市、災(zāi)害監(jiān)測等方面發(fā)揮著愈加重要的作用[1]。
運動目標(biāo)檢測是近年來非常熱門的話題,它是計算機視覺重要的組成部分,廣泛應(yīng)用于軍事、民用領(lǐng)域。應(yīng)用主要包括:武器裝備,安防,交通管制,圖像壓縮,三維重構(gòu)等;同時運動目標(biāo)檢測與跟蹤也是圖像檢索、人機感知接口和虛擬現(xiàn)實的核心技術(shù)之[2]。
目前,國內(nèi)外學(xué)者利用無人機視頻圖像開展運動目標(biāo)檢測大多將研究重點放在典型運動目標(biāo)——車輛上,例如美國[3]、德國[4]等,我國也開展了利用無人機檢測運動車輛的研究[5]。本文也參考了上述與本研究內(nèi)容相關(guān)的文獻,以豐富研究進展。
1997年,美國設(shè)立VSAM視覺監(jiān)控項目,將攝像機固定在高處或搭載在飛行器上對地面實施視頻監(jiān)控,并利用機載攝像機獲得的數(shù)據(jù)進行車輛檢測[6];2005年,中央佛羅里達大學(xué)設(shè)計了COCOA 系統(tǒng),該系統(tǒng)對無人機拍攝的視頻進行處理,進行運動目標(biāo)檢測,并復(fù)現(xiàn)目標(biāo)的運動軌跡[7];Shastry A.C.等[8]為消除直升機自身運動造成的視頻圖像不穩(wěn)定,運用特征跟蹤自動確定控制點對應(yīng)關(guān)系的配準(zhǔn)方法,提高了配準(zhǔn)精度,并在此基礎(chǔ)上運用幀差法進行運動目標(biāo)檢測,但只有65%的檢測精度;Abdelwahab等[9]提出一種適用于機載和固定攝像機的視頻圖像運動車輛檢測技術(shù),該技術(shù)提取特征點并進行跟蹤,通過測量每個特征點周圍像素的直方圖變化以除去背景,從而獲得屬于前景的特征點,再根據(jù)運動特性將特征點分為不同車輛目標(biāo);董晶等[10]提出一種無人機視頻圖像運動目標(biāo)實時檢測算法,利用配準(zhǔn)結(jié)合幀差法獲取運動區(qū)域,實現(xiàn)了低復(fù)雜度場景下的運動目標(biāo)快速提取,但對所占像素較少、運動速度較慢的目標(biāo)在檢測上存在局限性;彭博、蔡曉禹等[11-12]針對無人機視頻圖像的運動車輛檢測,提出對稱幀差結(jié)合分塊背景建模法,將檢測出的車輛用矩形框出,并建立了算法評價體系,算法正確檢測率較高,基本不會將同一輛車重復(fù)檢測,但不能完整檢測出部分車體顏色與路面灰度較為接近的車輛如黑、灰色車輛。
由于無人機不可避免的抖動問題以及在拍攝過程中受風(fēng)力干擾、自身運動導(dǎo)致的圖像背景變化,目標(biāo)尺度變化、目標(biāo)旋轉(zhuǎn)、光照變化等,使得運動目標(biāo)的檢測變得尤為困難[13]。本文將根據(jù)無人機視頻數(shù)據(jù)的特點,從無人機視頻圖像運動目標(biāo)檢測的處理過程出發(fā),對現(xiàn)有運動目標(biāo)檢測方法進行分類討論,并對優(yōu)缺點和適用范圍加以總結(jié),最后對利用無人機視頻數(shù)據(jù)進行運動目標(biāo)檢測的難點和發(fā)展趨勢加以探討。
利用無人機進行運動目標(biāo)檢測的方法主要可分為兩類,第一類是沒有任何先驗知識,利用算法對數(shù)據(jù)直接展開處理,尋找?guī)c幀之間變化的區(qū)域,再經(jīng)由后續(xù)圖像處理技術(shù)獲得全部的運動目標(biāo);第二類可以稱為基于模型的檢測方法,此類方法首先歸納特定運動目標(biāo)如行人、車輛、船只等的相關(guān)特征,搜索待檢測數(shù)據(jù)以得到候選樣本,將特定目標(biāo)的相關(guān)特征作為先驗知識對樣本進行匹配度計算及分類,實現(xiàn)目標(biāo)檢測。第一類方法由于沒有先驗知識的限制,可應(yīng)用范圍更廣,可檢測出的運動目標(biāo)更全面,理想條件下,第一類方法可以檢測出場景內(nèi)全部的位置發(fā)生變化的目標(biāo),而不僅限于通常所說典型運動目標(biāo)如車輛、行人等;第二類方法加入先驗知識,可以很好的在場景中檢測特定運動目標(biāo)或?qū)z測出的運動目標(biāo)進行分類,此方法適合具有針對性的場景,如檢測道路上運動車輛,商場中運動的行人等,相比第一類方法,檢測更具針對性但不夠全面。結(jié)合第一類方法檢測全面及無人機獲取數(shù)據(jù)靈活的優(yōu)點,本文僅對第一類方法展開討論。
表1無人機運動目標(biāo)檢測方法對比
Tab.1 Comparison of UAV moving target detection methods
檢測對象檢測原理適用場景使用要求第一類方法范圍內(nèi)全部運動目標(biāo)尋找變化區(qū)域大范圍多類目標(biāo)檢測無需先驗知識第二類方法特定目標(biāo)基于模型的檢測特定場景檢測需要特定目標(biāo)的相關(guān)特征
相比其他較為穩(wěn)定的設(shè)備如道路、商場里的監(jiān)控攝像頭,高空中的飛艇搭載的航空相機、衛(wèi)星等獲取的數(shù)據(jù),利用無人機進行運動目標(biāo)檢測顯然更具挑戰(zhàn)性。視頻數(shù)據(jù)相比影像數(shù)據(jù),內(nèi)容更加豐富,時間序列上更加完整,但包含的干擾信息也急劇增加,檢測出全部的運動目標(biāo)更加復(fù)雜。下表列出了無人機視頻數(shù)據(jù)與其他類型數(shù)據(jù)的特點對比。
表2 不同類型數(shù)據(jù)的特點Tab.2 Characteristics of different types of data
無人機在飛行過程中獲取的視頻數(shù)據(jù),由于無人機自身的運動,以及不可避免的抖動和外界光照等因素的變化,若將數(shù)據(jù)直接進行運動目標(biāo)檢測,將導(dǎo)致檢測結(jié)果噪聲大,虛警率高,嚴(yán)重影響檢測精度,因此首先需要對數(shù)據(jù)進行運動補償。
運動補償?shù)脑硎牵豪脽o人機拍攝的視頻數(shù)據(jù)進行運動目標(biāo)檢測的時候,圖像中實際存在兩種運動:運動目標(biāo)的運動和由于無人機自身位置姿態(tài)改變引起的圖像背景運動,假設(shè)將圖像中除去運動目標(biāo)的其余所有部分均視為背景[14]。常用的運動估計方法可分為空域和頻域兩大類,空間運動估計方法中含有光流法和像素遞歸法,頻域運動估計方法又可分為傅里葉變換,小波變換,WHT變換,DCT變換4種[15]。針對無人機視頻數(shù)據(jù)的特點,以特征點匹配為基礎(chǔ)的運動估計和運動補償算法以及眾多改進算法被大量采用。顧名思義,特征法首先需要在圖像中選定某種特征結(jié)構(gòu),并在后續(xù)圖像中尋找該特征,通過特征結(jié)構(gòu)間的運動關(guān)系確定圖像背景的運動參數(shù)[16],完成運動估計與補償。
鐘平等[17]提出了一種利用特征點匹配進行運動矢量估計的算法。算法首先將點特征與邊緣特征相結(jié)合,提取出的明顯且穩(wěn)定性好的特征;然后利用均值濾波確定運動參數(shù),實現(xiàn)對圖像平移和旋轉(zhuǎn)的運動補償,實驗表明,算法對于提高動態(tài)圖像的穩(wěn)定性有較好的效果;武艷美等[18]改進塊匹配算法,利用圓形塊進行匹配以解決圖像發(fā)生大角度旋轉(zhuǎn)時運動估計不精確的問題。實驗表明,算法能在大角度旋轉(zhuǎn)或平移下得到準(zhǔn)確的運動參數(shù),但無法處理圖像尺度變化;宋宇等[19]根據(jù)航拍視頻的成像特點,計算相鄰幀之間全局運動的六參數(shù)近似變換模型,并采用角點特征提取出有效的匹配點,實現(xiàn)圖像的運動補償。
運動補償依賴于圖像配準(zhǔn)精度,對于無人機視頻圖像,高精度圖像配準(zhǔn)存有很大難度。首先,無人機本身存在無規(guī)律的抖動,這使得視頻中光照,形狀等發(fā)生改變,選擇基于特征點的匹配如灰度,紋理等,均會受到干擾,難以準(zhǔn)確匹配;同時由于畫面中存在運動目標(biāo),而運動目標(biāo)不可以當(dāng)做配準(zhǔn)的特征點,故當(dāng)視頻中運動目標(biāo)較多時也會造成較大匹配誤差。對于圖像配準(zhǔn)的研究結(jié)果表明,現(xiàn)有配準(zhǔn)模型眾多,但大都具有局限性,對使用場景和數(shù)據(jù)類型要求很高,無法實現(xiàn)普遍適用,目前對圖像進行配準(zhǔn)通常需要具體問題具體分析,結(jié)合場景特點進行特定處理,這會使得算法運算量巨大,同時增加運動目標(biāo)的檢測時間。
目標(biāo)檢測是視頻處理工作的基礎(chǔ),一般可分為靜態(tài)目標(biāo)檢測和動態(tài)目標(biāo)檢測兩種。動態(tài)目標(biāo)檢測多為視頻中的目標(biāo),如運動跟蹤,交通分析等內(nèi)容。在傳統(tǒng)算法中,運動檢測由運動分割和運動聚類兩部分組成[20]。近年來提出的檢測算法不再將數(shù)據(jù)分成兩部分處理,而是直接進行運動目標(biāo)檢測。
基于無人機視頻圖像的運動目標(biāo)檢測,從根本上來說與常見運動目標(biāo)檢測并無區(qū)別,所用的算法也較為一致。現(xiàn)今的主流運動目標(biāo)檢測算法主要有幀間差法,背景建模法和光流法3種[21]。在近幾年的發(fā)展過程中,很多學(xué)者針對無人機視頻圖像存有抖動,噪聲較大等特點,對算法進行了有針對性的改進。因此,本節(jié)內(nèi)容將從上述3類算法出發(fā),分別介紹算法原理以及改進,并對近幾年出現(xiàn)的新的適用于無人機視頻圖像運動目標(biāo)檢測的算法加以總結(jié)。
該算法比較圖像序列中連續(xù)兩幀所有對應(yīng)位置的像素點,按照一定的規(guī)則計算對應(yīng)點之間的差值,若其大于某設(shè)定的閾值,則認為該位置有運動目標(biāo),并加以提取。
記圖像序列中的某一幀為K,相鄰的下一幀為K+1,則可用如下表達式表示第K幀圖像:
I(x,y,k)=Fk(x,y)+Bk(x,y)+nk(x,y),(1)
其中Fk(x,y)為前景部分即運動目標(biāo),Bk(x,y)為背景部分,nk(x,y)為圖像噪聲。將相鄰兩幀第K+1幀和第K幀相減,可得到差值Dk+1(x,y)為:
Dk+1(x,y)=I(x,y,k+1)-I(x,y,k)=
[Fk+1(x+Δx,y+Δy)-Fk(x,y)]+
[Bk+1(x,y)-Bk(x,y)]+
[nk+1(x,y)-nk(x,y)]
(2)
將差分結(jié)果二值化并以預(yù)設(shè)的閾值進行劃分可得:
(3)
其中:T為預(yù)先設(shè)定的區(qū)分運動目標(biāo)與背景的閾值,某位置像素差dk+1(x,y)小于閾值時值為0,表示該像素點為背景;大于閾值時值為1,表示該點像素為運動目標(biāo)。因此,當(dāng)背景與運動目標(biāo)間灰度信息差別不大時,幀差法會產(chǎn)生檢測目標(biāo)不完整甚至漏檢的情況,且當(dāng)目標(biāo)運動速度較快時,幀差法易將背景檢測為運動目標(biāo),造成誤檢[22]。為了進一步消除噪聲和誤差的影響,近年來,又陸續(xù)提出了基于連續(xù)三幀圖像的三幀差法,公式如下:
dk(x,y)=|I(x,y,k+1)-I(x,y,k)|+
|I(x,y,k)-I(x,y,k-1)|
(4)
公式中前一幀和當(dāng)前幀做差的結(jié)果和后一幀與當(dāng)前幀做差的結(jié)果相加意為進行邏輯與運算。
從幀間差法的提出開始,大量學(xué)者對其進行了改進,同時無人機的逐漸興起,也產(chǎn)生了針對無人機的幀間差法的改進。
Gang等[23]將canny邊緣檢測引入三幀差法,使檢測出的目標(biāo)更加完整。該方法可以抑制幀差法產(chǎn)生的重影、目標(biāo)內(nèi)部及邊緣缺失等現(xiàn)象,但無法改善強光和明顯陰影造成的影響,對動態(tài)場景的適應(yīng)性也較差;謝紅等[24]提出一種結(jié)合邊緣檢測的改進三幀差算法,該算法在提取完整運動目標(biāo)的同時不會增添冗余的邊緣信息;然后將算法與Vibe算法相結(jié)合,消除了Vibe算法可能導(dǎo)致的“拖影”現(xiàn)象,算法對光照突變具有一定的適應(yīng)性;陳寶遠等[25]提出一種改進的三幀差分運動目標(biāo)檢測算法。該算法改進之處在于,用自適應(yīng)閾值代替?zhèn)鹘y(tǒng)三幀差分法的固定閾值對圖像進行二值化,減少噪聲;算法抗干擾性較好,但當(dāng)運動目標(biāo)顏色與背景較為接近時會出現(xiàn)漏檢、運動目標(biāo)提取不完整的現(xiàn)象。
該算法通過對當(dāng)前圖像與背景圖像做差來檢測運動區(qū)域。具體來說,算法先得到場景的靜態(tài)背景初始化模型,然后與當(dāng)前幀進行對比,剔除其中的背景,得到運動目標(biāo)。實際情況中,背景經(jīng)常發(fā)生變化,這便需要對靜態(tài)背景模型不斷更新,以得到更準(zhǔn)確的結(jié)果。原理如下:
(5)
設(shè)被檢測幀圖像為I,建立的背景模型為B,It(x,y)表示被檢測幀中位置為(x,y)的像素點在t時刻對應(yīng)的像素值,Bt(x,y)表示背景模型中位置為(x,y)的像素點在t時刻對應(yīng)的像素值,T為設(shè)定閾值,Dt(x,y)表示檢測結(jié)果,即運動目標(biāo)。
在視頻數(shù)據(jù)中,圖像背景不斷變化,僅利用檢測初始使用的背景模型是不夠的,這就要求背景模型是自適應(yīng)的,可以根據(jù)圖像變化不斷進行更新,否則可能無法檢測出運動目標(biāo)?,F(xiàn)有成熟的背景建模法按照背景更新模式分為非回歸遞推和回歸遞推兩類。非回歸遞推的算法根據(jù)一定量的數(shù)據(jù)樣本來建立背景模型,回歸遞推的算法不需要預(yù)先輸入數(shù)據(jù)樣本,檢測過程中每輸入一幀新的圖像,就對模型進行一次更新[26]。
4.2.1 均值法
均值法屬于非回歸遞推算法。該算法建立背景模型的原理是對前T幀圖像取均值,要求用做建模的前T幀圖像內(nèi)要盡可能少的存在目標(biāo),才能獲得更準(zhǔn)確的背景模型。公式如下:
(6)
4.2.2 中值法
中值法屬于非回歸遞推算法。由于該算法背景建模時選擇用于建模的圖像內(nèi)每個像素點的中值,為使背景模型更加穩(wěn)定,中值法通常選取存有運動目標(biāo)的圖像進行建模。公式如下:
Bt+1(x,y)=median-backyround
(It-T(x,y),…,It(x,y))
(7)
4.2.3 運動平均法
運動平均法屬于自適應(yīng)回歸算法,它可以根據(jù)輸入圖像不斷進行模型的自我更新。公式如下:
Bt+1(x,y)=αIt(x,y)+(1-α)Bt(x,y)
(8)
其中:學(xué)習(xí)速率α的取值范圍為[0,1],α越大,學(xué)習(xí)速率越快,背景模型的更新越快。
實際情況中,當(dāng)使用含有運動目標(biāo)的幀對背景模型進行更新時,模型會受到干擾導(dǎo)致檢測結(jié)果不準(zhǔn)確,因此產(chǎn)生了局部更新的改進運動平均法。公式如下:
(9)
4.2.4 高斯背景模型
高斯分布(Gaussian Distribution)可以用來描述視頻序列中所有圖像的某同一位置,以此為依據(jù)可以構(gòu)建背景的高斯分布概率模型。通過預(yù)設(shè)的概率閾值T判斷像素點的值是否符合模型,符合則該點為背景,不符合則為運動目標(biāo)。公式如下:
(10)
閾值T可以使用自適應(yīng)閾值,也可以人為設(shè)定以降低運算量。
當(dāng)輸入為灰度圖像時,上式可簡化為單維度公式:
(11)
其中,σt(x,y)表示位置為(x,y)的像素點的高斯分布均方差。
高斯背景模型采用下述公式實現(xiàn)背景更新:
μt+1(x,y)=(1-α)μt(x,y)+βIt(x,y)
(12)
(13)
其中,α為模型更新速率,β為方差更新速率。
高斯背景建模法對簡單背景處理效果好,對于圖像光照變化明顯、畫面里有水波等復(fù)雜背景處理效果較差。Stauffer等[27]提出了對復(fù)雜背景有一定魯棒性的混合高斯模型。
4.2.5 Vibe算法
Vibe算法是Olivier Barnich 和 Marc Van Droogenbroeck在2011年提出的一種全新的背景建模方法[28-29]。Vibe算法與其他背景建模法的區(qū)別在于,Vibe算法僅使用單幅圖像建立背景模型,并在更新時隨機選取像素及其鄰域進行更新,計算速度快,占用內(nèi)存較小。原理如下:
假設(shè)每個像素點和在其一定范圍內(nèi)像素點的值具有相似的分布特征,算法采用其領(lǐng)域內(nèi)的一些像素構(gòu)成該像素點的背景模型,注意所選范圍應(yīng)足夠大[30]。在t=0時刻輸入第一幀圖像,像素點的背景模型由如公式(14)表示:
(14)
式中,NG(x,y)表示像素點鄰域內(nèi)的所有像素,f0(xi,yi)表示該像素點的值,進行N次初始化,屬于NG(x,y)內(nèi)的某個像素點(xi,yi)在每一次初始化的過程中被使用的次數(shù)可以是1,2,3,…,N次。
(15)
式中:r隨機選取,當(dāng)fk(x,y)滿足符合背景N次時,認為像素點為背景,否則為前景。
最后,對背景模型進行更新。Vibe算法的更新在時間和空間上都具有隨機性。
B.K.P.Hom和B.G.Schunck在1981年最先提出光流算法[31]。運動目標(biāo)在圖像平面上進行二維投影,得到運動場,當(dāng)目標(biāo)運動時,其灰度的瞬時變化率反應(yīng)在運動場上,形成的變化率的集合稱為光流場。此種光流可以反應(yīng)出圖像的變化,因此可以用于運動目標(biāo)檢測[32]。依據(jù)光流約束方程,點(i,j)及其四鄰域中光流誤差的離散量計算公式如下:
e2(i,j)=Ixu(i,j)+Iyv(i,j)+It,
(16)
其中,u(i,j)和v(i,j)為點在光流空間中x與y方向的分量:Ix,Iy,It分別為圖像I(x,y,t)在x,y方向和時間t上的梯度值。該點和四鄰域的光流值進行差分得到光流平滑量如下:
(17)
則極小化函數(shù)為:
E=∑∑(e2(i,j)+αs2(i,j))
(18)
光流迭代方程為:
(19)
(20)
光流法可以在相機等設(shè)備發(fā)生移動的情況下檢測出物體的運動狀況,但是由于運算過程需要不斷迭代,導(dǎo)致算法運行時間長,實時性較差[33]。后續(xù)為克服算法運算量大的缺點,出現(xiàn)了計算稠密光流的Lucas-Kanade算法[34]。Barrir等[35]通過添加動量項使算法的收斂速加快;劉洪彬等[36]同樣為縮短光流法運行時間,提出了權(quán)重自適應(yīng)的光流算法,檢測出的運動目標(biāo)明顯,噪音少,且可以滿足光流法的最優(yōu)、次優(yōu)性能。
利用無人機視頻圖像檢測運動目標(biāo),難點在于如何提高檢測精度、降低虛警率,將運動目標(biāo)全部檢測出來。因此,本部分將介紹近年來的一些新型檢測方法,這些方法可以在一定程度上抑制無人機視頻圖像存在的背景復(fù)雜多變、畫面無規(guī)律抖動、陰影、光照等因素的干擾,得到很好的檢測效果[37]。
基于區(qū)域信息的檢測方法將圖像劃分為不重疊的多個區(qū)域,劃分依據(jù)可以是目標(biāo)區(qū)域與背景區(qū)域之間的紋理信息差異、灰度差異、顏色差異等,具體包括閾值分割法、區(qū)域生長法和聚類法等。
李俊韜等[38]為提高運動目標(biāo)檢測精度,將基于假設(shè)的檢驗?zāi)P鸵脒\動目標(biāo)檢測過程,抑制了隨機噪聲對檢測的影響;同時運用區(qū)域增長法對檢測結(jié)果進行處理,基本消除“孔徑效應(yīng)”,將運動目標(biāo)完整的提取出來。
李響等[39]針對視頻圖像中復(fù)雜多變的背景,提出基于局部運動補償?shù)亩畏指钅繕?biāo)檢測算法。通過提取點級色度特征和空間梯度特征抑制光照變化產(chǎn)生的影響;根據(jù)貝葉斯決策理論對圖像進行第一次分割,得到運動目標(biāo)像素和背景像素;僅對劃分為運動目標(biāo)的像素進行運動補償,根據(jù)補償結(jié)果對像素二次分割,從而提高算法的準(zhǔn)確度,得到運動目標(biāo)。
張旭光等[40]利用局部投影法進行運動目標(biāo)提取,解決畫面變化顯著時的運動目標(biāo)檢測問題。通過劃分投影區(qū)域,計算相鄰兩幀圖像的投影偏移量,得出全局運動矢量,補償由于攝像機運動引起的背景變化;最后利用幀差法提取運動目標(biāo)。算法在背景紋理特征明顯的圖像發(fā)生顯著變化時能夠準(zhǔn)確提取運動目標(biāo)。
為了消除陰影對運動目標(biāo)檢測的影響,Dong等[41]利用RGB顏色空間中運動目標(biāo)與陰影的不同特征,并依據(jù)當(dāng)前圖像和背景圖像像素的色度差和亮度差將二者分開;對于誤分類的運動目標(biāo)和陰影則依據(jù)區(qū)域面積比和邊緣比二次劃分??梢园l(fā)現(xiàn),算法利用色度差和亮度差區(qū)分前景與背景,會導(dǎo)致當(dāng)運動目標(biāo)顏色與背景顏色相近時,容易產(chǎn)生誤檢。
為了解決光照變化對運動目標(biāo)檢測產(chǎn)生的影響,Liao等人[42]提出一種新的背景減除框架用于運動目標(biāo)檢測。算法對復(fù)雜場景的適應(yīng)性較好,但對存在遮擋的目標(biāo)檢測效果不理想;Choi等[43]提出一種基于光照變化模型的運動目標(biāo)檢測算法。由于當(dāng)光照發(fā)生快速變化時,除運動目標(biāo)外的部分背景像素也會被檢測為前景像素,該方法通過建立色度差分模型和亮度比模型以去除這部分被錯誤檢測的前景像素。算法可以較好的區(qū)分誤檢的前景像素和真正運動目標(biāo),但對于積雪背景等場景不太適用。
Minaeian等人[44]提出一種可以高效穩(wěn)定的檢測無人機視頻圖像中多個獨立運動的目標(biāo)的算法。方法通過跟蹤背景關(guān)鍵點來估計相機運動;通過在滑動窗口上集成局部運動歷史函數(shù)及時空差分進行前景分割從而檢測多個移動目標(biāo);檢測時間間隔根據(jù)經(jīng)驗法則及相機參數(shù)進行動態(tài)調(diào)整。試驗表明該方法可以準(zhǔn)確實時的檢測出多個運動目標(biāo),同時該方法也適用于傳統(tǒng)固定攝像頭。
Teutsch等人[45]利用圖像堆疊方法去除無人機視頻圖像中對移動物體產(chǎn)生干擾的圖像結(jié)構(gòu),解決視頻中小型移動物體在運動目標(biāo)檢測過程中出現(xiàn)模糊和失真的現(xiàn)象。對用提出的圖像堆疊方法進行處理后的數(shù)據(jù)進行運動目標(biāo)檢測,從而提高檢測精度,相比直接進行運動目標(biāo)檢測得到的結(jié)果,錯檢和漏檢情況的數(shù)量可減少超過每秒3次。
Kalantar等人[46]提出了一種從無人機視頻圖像中檢測多個運動物體的新方法,即匹配區(qū)域鄰接圖的軌跡檢測運動目標(biāo)。將視頻幀分割成均勻區(qū)域,構(gòu)造區(qū)域鄰接圖以表示每個幀;使用多圖匹配算法在連續(xù)幀之間匹配相應(yīng)的區(qū)域并在幀組中處理所有匹配的區(qū)域;利用圖形著色算法最終將對象標(biāo)記為背景區(qū)域或運動目標(biāo)。算法的核心思想是,背景和前景運動物體在圖像中表現(xiàn)出不同的運動特征,因此可通過預(yù)期它們的空間距離隨時間變化有效地檢測出具有不同運動模式的多個移動物體和背景區(qū)域。
除此之外,還有基于圖像邊緣信息的方法和基于形態(tài)學(xué)的方法等可用于無人機視頻圖像的運動目標(biāo)檢測。
無人機的飛行狀態(tài)除去起飛和降落之外,大致可分為懸停狀態(tài)與巡航狀態(tài),在這兩種狀態(tài)下獲得的視頻圖像具有不同的特點[47]。無人機在懸停狀態(tài)可以基本實現(xiàn)穩(wěn)定的拍攝視頻,但機翼旋轉(zhuǎn)和外界風(fēng)力影響會使畫面出現(xiàn)抖動,導(dǎo)致視頻背景存有不規(guī)律運動;無人機巡航狀態(tài)指的是無人機進行前飛、后飛等平移飛行狀態(tài),在此時拍攝的視頻圖像中,圖像在短時間內(nèi)偏移量很大,除運動目標(biāo)外,背景也存在大幅變化和運動,適用于固定攝像機的傳統(tǒng)圖像處理方法均不能很好的解決無人機視頻圖像的運動目標(biāo)檢測問題。
運動目標(biāo)檢測算法種類繁多,學(xué)者對其的改進也層出不窮,但目前仍沒有一類算法可以良好適應(yīng)各類環(huán)境,每一種算法都有所針對。
對于幀差法而言,閾值是幀差法中的關(guān)鍵參數(shù),閾值合適與否決定了檢測結(jié)果的是否準(zhǔn)確,閾值的選取通常依據(jù)圖像各處的灰度值得出。幀差法的優(yōu)勢在于算法簡單,計算量小,運行速度快,當(dāng)圖像穩(wěn)定時檢測結(jié)果較好;劣勢在于極易受光照變化和噪聲的影響,并且當(dāng)運動目標(biāo)速度過快或過慢時都無法準(zhǔn)確檢測;因此,幀差法適用于背景較為穩(wěn)定的情況,如無人機在懸停狀態(tài)下拍攝的視頻圖像,此時的畫面較為穩(wěn)定,可以獲得較好的檢測結(jié)果。
背景建模法相比幀差法,算法原理復(fù)雜,計算量大,在實時處理中不占優(yōu)勢,但適用場景更為廣泛,它可以較好的適應(yīng)視頻中背景不斷變化的場景,無論是無人機懸停狀態(tài)拍攝的視頻中不斷晃動的樹葉或水面,還是巡航狀態(tài)中拍攝的背景不斷出入的視頻;同時對畫面本身的微小抖動也有一定的適應(yīng)性;但背景建模法普遍存在當(dāng)實際背景與背景模型差較大或者光照變化較大時,算法的檢測精度會大幅下降。Vibe算法是背景建模法的特例,算法簡化了模型建立、更新的過程,不僅提高了檢測速度,還可以較好的應(yīng)對背景突變的情況;缺點是由于可能采用了運動物體的像素初始化樣本集,容易產(chǎn)生拖影區(qū)域。隨著模型的不斷更新,拖影區(qū)域會不斷消失,檢測效果愈加穩(wěn)定,這說明算法在背景模型更新上具有一定的優(yōu)勢。
光流法在理想狀態(tài)下檢測效果較好,而在實際中,算法對噪聲、陰影、遮擋、光照等干擾因素的抵抗性較差,不借助其他手段,光流法檢測出的目標(biāo)會出現(xiàn)內(nèi)容缺失的情況[48]。最重要的是,光流法是傳統(tǒng)運動目標(biāo)檢測算法中的復(fù)雜度最高的一種,處理大量數(shù)據(jù)如視頻圖像或進行實時運動目標(biāo)檢測需要設(shè)備支持。
后續(xù)出現(xiàn)的新型算法,只對無人機視頻圖像存在的某方面干擾因素有一定的魯棒性。而在真實場景中,干擾因素通常是復(fù)雜和多方面的。如何能將這些手段融合,以便可以同時應(yīng)對場景中多個干擾因素,將是進一步研究的重要關(guān)注點[49]。
綜上所述,各算法分析結(jié)果可總結(jié)為表3。
表3 無人機視頻圖像運動目標(biāo)檢測算法對比Tab.3 Comparison of moving target detection algorithms for UAV video images
續(xù) 表
本文主要探討了基于無人機視頻圖像的運動目標(biāo)檢測中存在的問題以及近年來提出的一些算法。對于利用傳統(tǒng)數(shù)據(jù)如監(jiān)控視頻等開展運動目標(biāo)檢測工作的算法已經(jīng)成熟,但面對新的數(shù)據(jù)采集設(shè)備(無人機)姿態(tài)多變、獲取的視頻數(shù)據(jù)特點各異干擾眾多的情況,現(xiàn)有運動目標(biāo)檢測算法在實際中顯得有些“力不從心”。盡管逐漸有學(xué)者提出改進方案,目前仍沒有可以廣泛用于無人機不同狀態(tài)下獲取的視頻圖像的運動目標(biāo)檢測,特別是當(dāng)檢測結(jié)果常出現(xiàn)錯檢、漏檢、多檢、運動目標(biāo)等情況,這表明沒有一種方法可以將畫面中所有的運動目標(biāo)完整的檢測出來。當(dāng)處理無人機拍攝的數(shù)據(jù)時,需要根據(jù)無人機的運動信息和圖像特點仔細選取合適的算法,才能獲得較好的檢測結(jié)果。
無人機技術(shù)相比傳統(tǒng)衛(wèi)星手段,彌補了衛(wèi)星數(shù)據(jù)受天氣、時間等限制造成的區(qū)域部分信息缺失,同時相比固定攝像頭拍攝,無人機的高機動性可以使數(shù)據(jù)采集不受地域限制,變得更為“靈活”。同時,視頻數(shù)據(jù)無論從內(nèi)容上或是時間上,比單獨幾幅影像含有更加豐富的信息,特別是衛(wèi)星逐漸開始發(fā)展視頻功能[50],將會極大擴展視頻數(shù)據(jù)來源,未來可以與衛(wèi)星視頻圖像相結(jié)合,研究適用性更好的運動目標(biāo)檢測算法。