秦曉燕,袁廣林
(解放軍陸軍軍官學(xué)院 管理工程系,安徽 合肥230031)
炮彈炸點定位是射擊校射、毀傷評估和反火力打擊中敵方火力位置估計的基礎(chǔ)。目前炮彈炸點定位方法通常采用激光儀進行測量,該方法存在人為目視誤差,且實時性較差,利用圖像信息快速、精確地檢測并定位炮彈炸點對于信息化戰(zhàn)爭具有重要的意義。本文研究的是基于圖像的炮彈炸點檢測方法,它是基于圖像的目標檢測問題。
基于圖像的炮彈炸點檢測是特殊的運動目標檢測問題,基于圖像的運動目標檢測方法主要有2 種思路:1)不依賴于先驗知識,直接從圖像序列中檢測出運動目標;2)利用目標的先驗知識對運動目標建模,然后基于模型匹配檢測目標。圍繞這2 種思路,已經(jīng)提出了一些運動目標檢測方法[1],其中,有代表性的目標檢測方法是背景減法和基于機器學(xué)習(xí)的檢測方法。根據(jù)背景圖像的建模方法不同,背景減法可分為高斯模型(包括混合高斯模型)、碼書、本征背景等方法[2-6]。背景減法在靜態(tài)背景和噪聲較少的情況下檢測效果較好,并且在實時性方面具有較優(yōu)的性能,但是背景減法對動態(tài)背景下的目標檢測性能較差?;跈C器學(xué)習(xí)的目標檢測方法[7-10]把目標檢測問題看作二分類問題,該方法通過樣本學(xué)習(xí)建立分類器實現(xiàn)目標檢測,該類方法對靜態(tài)和動態(tài)背景下的目標檢測均適用。受到基于Adaboost 的目標檢測方法[7-8]的啟發(fā),文獻[10]提出了基于Adaboost 的炮彈炸點檢測方法。該方法根據(jù)炮彈炸點的特點,對Haar特征進行了擴展,增加了一種中心環(huán)繞的Haar 特征,利用Adaboost 算法訓(xùn)練炮彈炸點分類器,利用訓(xùn)練的炮彈炸點分類器實現(xiàn)炸點檢測。文獻[10]的方法對簡單背景下的炮彈炸點檢測效果較好,但是它在2 個方面存在不足:1)對復(fù)雜背景下的炸點檢測誤檢率較高;2)利用Adaboost 算法訓(xùn)練的單類炸點分類器檢測炸點,無法滿足炮彈炸點形態(tài)具有多樣性的實際情況,盡管可以訓(xùn)練出多類炸點分類器實現(xiàn)檢測,但是建立一個完備的炸點樣本庫較難。
根據(jù)視頻圖像連續(xù)幀之間具有的灰度相關(guān)性,文獻[11]提出利用魯棒的主分量分析(PCA)可以將視頻圖像數(shù)據(jù)矩陣分解成低秩和稀疏2 部分,其中,低秩部分對應(yīng)背景信息,稀疏部分包含目標信息??紤]到實際應(yīng)用中測量噪聲的存在,文獻[12]對文獻[11]提出的魯棒PCA 進行了改進,提出了主分量尋蹤(PCP)方法,實現(xiàn)對存在測量噪聲的視頻圖像數(shù)據(jù)矩陣的低秩與稀疏恢復(fù)。另外由于目標的運動連續(xù)性,序列圖像中運動目標的位置向量會形成近似線性的運動軌跡,利用PCA 可以提取目標的運動特征。本文提出一種基于PCP 與PCA 的炮彈炸點檢測方法,該方法首先利用PCP 從序列圖像中恢復(fù)出前景圖像序列,然后利用PCA 提取前景序列中候選目標的運動特征實現(xiàn)炮彈炸點檢測。與文獻[10]提出的炮彈炸點檢測方法不同,本文方法根據(jù)序列圖像之間的灰度相關(guān)性和炸點在序列圖像中的運動連續(xù)性,利用PCP 和PCA 進行炸點檢測,較好地解決了文獻[10]提出的炸點檢測方法的不足。
本文提出基于PCP 和PCA 的炮彈炸點檢測方法是將PCP 和PCA 相結(jié)合實現(xiàn)炮彈炸點檢測,基本思路是將炮彈炸點檢測分成前景恢復(fù)和炸點檢測兩個階段,該方法的流程如圖1 所示。
圖1 基于PCP 與PCA 的炮彈炸點檢測流程框圖Fig.1 Flow chart of blast point detection based on principal component pursuit and analysis
前景恢復(fù)階段任務(wù)是檢測出候選目標,即所有的運動目標。首先利用PCP 對炸點圖像序列構(gòu)建的矩陣D 進行低秩與稀疏恢復(fù),由于運動目標(包括炸點和由于攝像機抖動而導(dǎo)致背景變化的區(qū)域)在D 中具有稀疏性,因此恢復(fù)的稀疏矩陣就是包含運動目標的前景圖像序列,然后對前景圖像序列分別進行自適應(yīng)閾值分割和膨脹處理即可得到運動目標檢測結(jié)果,也稱為候選目標檢測結(jié)果。
候選目標可能是炸點目標也可能是變化的背景區(qū)域,因此還需要從候選目標中將炸點檢測出來,這也正是炸點檢測階段的任務(wù)。由于炮彈炸點在圖像序列中的運動具有連續(xù)性,而變化的背景區(qū)域則沒有這一特點,所以可以利用目標的運動特征來判定炸點,具體流程是首先建立候選目標的運動軌跡,然后對每一個候選目標的運動軌跡分別進行PCA,計算它們的運動特征值,最后根據(jù)運動特征值的大小判定候選目標是否為炸點。
定義觀測矩陣D =[I1,…,Ik,Ik+1,…,In]∈Rm×n,其中,Ii∈Rm(i=1,…,n)為一幀圖像按列存儲形成的向量,I1,…,Ik為炸點爆炸前的背景圖像,Ik+1,…,In為被檢測的連續(xù)幀圖像,則D 可以分解成以下3 部分[12]:
式中:A 為低秩矩陣,對應(yīng)背景圖像,由于背景圖像之間具有較強的灰度相關(guān)性,因此A 具有低秩性;E 為稀疏矩陣,對應(yīng)前景圖像,即序列圖像中變化的區(qū)域,由于攝像機和炮彈爆炸位置之間有一定的距離,炮彈炸點在整個圖像中的成像只占很小的一部分像素,且炸點在相鄰幀中是變化的,因此對于D來說,炸點區(qū)域具有稀疏性;Z 為噪聲矩陣,對應(yīng)測量噪聲,由于成像機制本身的制約,測量噪聲分布在每一個像元,但其能量有限[13]。文獻[12]證明了在‖Z‖F(xiàn)小于某個值的條件下,(1)式可以看作如下優(yōu)化問題:
圖2 候選目標檢測結(jié)果Fig.2 Detection results of candidate targets
式中:‖·‖*、‖·‖1和‖·‖F(xiàn)分別為矩陣的核范數(shù)、l1范數(shù)和Frobenius 范數(shù)和平衡因子λ =max (m,n)-1/2,本文利用加速近端梯度(APG)[14]算法求解(2)式。利用(2)式對炮彈炸點圖像序列D 進行低秩與稀疏恢復(fù),得到的稀疏矩陣E 就是前景序列圖像,其中包含著炸點目標,對前景序列圖像進行自適應(yīng)閾值分割、膨脹處理后可得到目標檢測結(jié)果。
圖2 給出了利用上述方法進行前景恢復(fù)的實驗結(jié)果,在該實驗中觀測矩陣D 的構(gòu)造參數(shù)n 和k分別為15 和10.圖2(a)為待檢測圖像序列,圖2(b)為圖2(a)的前景恢復(fù)結(jié)果,圖2(c)為圖2(b)進行自適應(yīng)閾值分割后的候選目標檢測結(jié)果。從圖2(c)以看出,炸點目標區(qū)域不完整,存在斷裂的情況,這會影響炸點檢測的精度,因此需要利用膨脹操作將斷裂的目標區(qū)域進行連接。圖2(d)給出對圖2(c)進行膨脹處理后的候選目標圖像,可以看出膨脹操作使炸點目標連接成較完整的區(qū)域。
從圖2(d)的運動目標檢測結(jié)果可看出:通過前景恢復(fù)不但分割出了炸點目標,還分割出了其他變化區(qū)域,這是由于變化的背景區(qū)域也具有稀疏性,而被作為稀疏誤差恢復(fù)到稀疏矩陣中所導(dǎo)致的,因此,在前景恢復(fù)的基礎(chǔ)上還需要做進一步判決來檢測炸點目標。炮彈炸點在序列幀中的運動具有連續(xù)性,在視頻采集頻率足夠高的條件下,可將炸點在連續(xù)4 ~5 幀的運動近似為線性模型,所以在時空三維空間里,圖像序列中炸點的位置向量會形成近似線性的運動軌跡,如圖3(a)所示。但是由隨機噪聲或相機的抖動產(chǎn)生背景變化區(qū)域不具有這種特性?;谂趶椪c軌跡的這一性質(zhì)與其他候選目標軌跡的不同,可以將炮彈炸點與其他候選目標分開,為此,本文定義運動軌跡的線性度和運動方向2 個特征。
圖3 炸點運動軌跡Fig.3 Motion trajectory of blast point
定義1 目標的線性度:目標的線性度定義為目標運動軌跡短軸與長軸之比。設(shè)目標運動軌跡的短軸為s,長軸為l,則目標的線性度為
定義2 目標的運動方向:目標的運動方向定義為目標軌跡的長軸方向與x 軸(橫軸)方向的夾角,設(shè)長軸方向為向量v,x 軸方向為x =[1,0]T,則目標的運動方向為
利用PCA 可以求得目標軌跡的短軸、長軸以及長軸方向,進而計算出目標的線性度和運動方向兩個特征值,最后根據(jù)特征值的大小判定候選目標是否是炸點。綜上所述,可建立基于PCA 的炸點檢測方法1。
方法1:基于PCA 的炸點檢測方法
輸入:候選目標的運動軌跡
輸出:檢測結(jié)果
1)讀取第i 個候選目標的運動軌跡Pi=[x1i,
2)求解Pi的協(xié)方差矩陣Ci.
3)計算Ci的2 個特征值λmin和λmax(λmin<λmax)及特征向量emin和emax(其含義如圖3(b)所示),令s=λmin,l=λmax,v=emax.
4)利用(3)式和(4)式分別計算目標的線性度σ和目標的運動方向d.
5)如果σ≤ε 且t1<d <t2(ε =0.45,t1=π/6,t2=5π/6),則判斷第i 個候選目標為炸點。
方法1 中候選目標的運動軌跡建立過程如下:
1)順序訪問第一幀候選目標檢測圖像中的候選目標,初始化候選目標的運動軌跡P =[P1,…,Pn],其中為第i 個候選目標在第一幀圖像中的位置向量。
對第k(k=1,…,t)幀候選目標檢測圖像,執(zhí)行步驟2).
2)在軌跡Pi的空間鄰域N ={x|(x -≤r}中搜索目標,r 為區(qū)域N 的半徑。若在N 中不存在候選目標則將Pi刪除;若存在候選目標則將與最近鄰的候選目標的位置向量加入到Pi中。
表1 給出了圖2 中炸點的運動軌跡及其運動特征值,該炸點形成的運動軌跡是一條垂直于橫坐標且向上運動的直線,因此其線性度和運動方向2 個特征值均滿足炸點的判斷條件。
為了驗證本文方法的有效性,對100 組不同背景、不同形狀的真實炸點圖像序列進行測試。實驗數(shù)據(jù)為352 像素×288 像素的256 級灰度圖像序列,是利用可見光攝像機在晴好天氣下獲取,采集的幀頻為24 幀/s,水平視場角和垂直視場角分別為14.5°和10.9°,炮彈爆炸位置(檢測目標)距離觀察所(攝像機所在位置)為1.5 ~2.5 km,目標尺度變化范圍為5 像素×5 像素~15 像素×15 像素。實驗是在Intel Pentium Dual-Core 2.8 GHz/1.87 GB 內(nèi)存,MATLAB 2010 平臺進行。另外為驗證提出方法的優(yōu)越性,和基于Adaboost 算法的炸點檢測方法[10]進行了比較。
表1 炸點的運動軌跡和特征值Tab.1 Motion trajectory and feature values of blast point
圖4 和圖5 給出了2 種檢測方法的結(jié)果,對于簡單背景下的炸點利用2 種方法均能準確檢測,如圖4(a)和圖5(a)所示。對比圖4(b)和圖5(b)可以看出,雖然2 種方法都能檢測到炸點,但在炸點位置的檢測精確度方面,本文方法優(yōu)于文獻[10]方法。由于文獻[10]是利用訓(xùn)練得到的炸點分類器檢測炸點,其檢測結(jié)果取決于被檢測圖像塊的Haar 特征,對那些Haar 特征和炸點相似的區(qū)域,往往會被誤檢為炸點,因此對于復(fù)雜背景下的炸點,文獻[10]中的方法存在誤檢,如圖4(c)和圖4(d)所示;而本文方法對復(fù)雜背景下的炮彈炸點檢測沒有出現(xiàn)誤檢的情況,如圖5(c)和圖5(d)所示,這是因為本文方法充分利用了靜態(tài)背景下視頻序列的低秩性,利用PCP 將前景圖像從序列中恢復(fù)出來,并利用PCA 提取炮彈炸點的運動特征實現(xiàn)檢測,從而避免了背景的干擾。另外炸點的形態(tài)各異,不能保證訓(xùn)練的分類器能夠適用于所有類型炸點,圖4(e)炸點5 是一個跳彈炸點,由于其Haar 特征與訓(xùn)練樣本的Haar 特征有較大區(qū)別,出現(xiàn)了漏檢,而本文方法不依賴炸點的視覺特征,因此對呈現(xiàn)不同爆炸形態(tài)的炸點均能有效檢測(圖5(e)),具有較好的通用性。表2給出了本文方法對圖5 中的5 個炸點檢測得到的炸點在圖像中位置。
圖4 文獻[10]方法的檢測結(jié)果Fig.4 Detection results of method in Ref.[10]
圖5 本文方法的檢測結(jié)果Fig.5 Detection results of the present method
表2 圖5 中炸點在圖像中的位置Tab.2 Position of blast points in Fig.5
為進一步說明本文方法的有效性,利用目標檢測常用的評價方法召回率和精度曲線(RPC)[2]和平均檢測性能柱狀圖對2 種檢測方法進行比較,圖6 和圖7 中的相關(guān)指標定義分別為:
式中:Ntp為正確檢測到的目標個數(shù);Nfn為漏檢的目標個數(shù);Nfp為誤檢的目標個數(shù);R 為召回率;P 為準確率;F 為根據(jù)P 和R 給出的一個綜合評價指標。
圖6 2 種方法的RPCFig.6 RPC of two methods
為得到本文炸點檢測方法的RPC,設(shè)定不同的閾值對稀疏圖像進行分割,從而得到不同的檢測效果,同時給出文獻[10]方法的RPC,如圖6 所示。需要說明的是,由于本文提出的方法是利用圖像序列實現(xiàn)炸點檢測,而文獻[10]的方法是對單幀圖像進行檢測,本文規(guī)定對同一個炮彈爆炸后在不同幀中出現(xiàn)的炸點定義為一個炸點,因此在利用文獻[10]中的方法進行實驗時,任何一個炸點的檢測需要對包含該炸點的連續(xù)5 幀圖像分別進行檢測,在任何一幀中檢測到該炸點均認定檢測成功,如果在多幀中均檢測到這一炸點也認定檢測到的是一個炸點,另外由于文獻[10]方法不適用于復(fù)雜背景下的炸點檢測,因此文獻[10]方法的RPC 只是對簡單背景下的炸點檢測效果,而本文檢測方法的RPC 是對100 組數(shù)據(jù)進行實驗的結(jié)果。通過對2 種方法的RPC 和圖7 中給出的2 種方法的平均檢測性能可以直觀看出本文方法在誤檢率和檢測準確率方面均優(yōu)于文獻[10]的方法。
本文方法在對100 組實驗數(shù)據(jù)檢測的平均時間為1.51 s,而文獻[10]檢測一個炸點的速度要快得多,這是由于本文的檢測方法需要對多幀圖像序列進行處理,而文獻[10]的方法是對單幀圖像進行檢測,因此在檢測實時性上前者不如后者。但與傳統(tǒng)的人工定位炸點的時間相比,本文方法的檢測速度基本能滿足毀傷評估系統(tǒng)的要求。
圖7 2 種方法的平均檢測性能Fig.7 Average performance of two methods
針對文獻[10]方法對復(fù)雜背景下的炮彈炸點檢測誤檢率高以及難以建立通用分類器的問題,本文提出了基于主分量尋蹤與分析的炮彈炸點檢測方法。該方法根據(jù)靜態(tài)背景序列圖像的灰度相關(guān)性,利用PCP 方法恢復(fù)前景圖像序列,從中檢測出候選目標,候選目標除炮彈炸點外,還可能是背景的變化區(qū)域,利用經(jīng)典的PCA 方法提取目標運動軌跡線性度特征和運動方向特征,由于炸點與背景變化區(qū)域的運動特征之間存在較大差異,根據(jù)特征值的大小即可實現(xiàn)炮彈炸點檢測。實驗表明,本文方法在檢測準確率、誤檢率方面均具有較好的性能,為提高檢測速度,在運動目標檢測階段可以考慮采用更快速的低秩與稀疏恢復(fù)方法或采用并行算法。
References)
[1]Yilmaz A,Javed O,Shah M.Object tracking:a survey[J].ACM Computing Surveys,2006,38(4):1 -45.
[2]Benzeth Y,Jodin P M,Emile B,et al.Comparative study of background subtraction algorithm[J].Journal Electronic Imaging,2010,19(3):1 -12.
[3]Wang L,Wang L,Wen M,et al.Background subtraction using incremental subspace learning[C]∥International Conference on Image Processing.San Antonio:IEEE,2007,5:45 -48.
[4]Zivkovic Z.Improved adaptive Gaussian mixture model for background subtraction[C]∥International Conference on Pattern Recognition.Cambridge:IEEE,2004,2:28 -31.
[5]Tavakkoli A,Nicolescu M,Bebis G,et al.Non-parametric statistical background modeling for efficient foreground region detection[J].International Journal of Machine Vision and Applications,2009,20(6):395 -409.
[6]Kin K,Chalidabhonger T H,Harwood D,et al.Background modeling and subtraction by codebook construction[C]∥International Conference on Image Proceeding.Singapore:IEEE,2004,5:3061-3064.
[7]Viola P,Jones M.Robust real-time face detection[J].International Journal of Computer Vision,2004,57(2):37 -154.
[8]Grabner H,Nguyen T T,Grube B.On-line boosting-based car detection from aerial images[J].ISPRS Journal of Photogrammetry and Remote Sensing,2008,63(3):382 -396.
[9]胡墩,趙佳佳,曹原,等.基于顯著性及主成分分析的紅外小目標檢測[J].紅外與毫米波學(xué)報,2010,29(4):303 -306.HU Tun,ZHAO Jia-jia,CAO Yuan,et al.Infrared small target detection based on saliency and principal component analysis[J].Journal of Infrared and Millimeter Waves,2010,29(4):303 -306.(in Chinese)
[10]秦曉燕,王曉芳,陳萍,等.基于Adaboost 算法的炮彈炸點檢測[J].兵工學(xué)報,2012,33(6):682 -687.QIN Xiao-yan,WANG Xiao-fang,CHEN Ping,et al.Artillery blast point detection based on Adaboost algorithm[J].Acta Armamentarii,2012,33(6):682 -687.(in Chinese)
[11]Candês E J,Li X D,Ma Y,et al.Robust principal component analysis?[J].Journal of the ACM,2011,58(3):314 -328.
[12]Zhou Z,Li X D,Wright J,et al.Stable principal component pursuit[C]∥International Symposium on Information Theory Proceedings.Austin:IEEE,2010:1518 -1522.
[13]胡謀發(fā),董文娟,王書宏,等.奇異值分解帶通濾波背景抑制和去噪[J].電子學(xué)報,2008,36(1):111 -116.HU Mou-fa,DONG Wen-juan,WANG Shu-h(huán)ong,et al.Singular value decomposition band-pass-filter for image background suppression and denoising[J].Acta Electronica Sinica,2008,36(1):111 -116.(in Chinese)
[14]Ganesh A,Lin Z C,Wright J,et al.Fast algorithms for recovering a corrupted low-rank matrix[C]∥International Workshop on Computational Advances in Multi-Sensor Adaptive Processing.Aruba:IEEE,2009:213 -216.