基于目標檢測與跟蹤組合模式的智能槍瞄技術研究

管秀云，郭永紅，李旭光，趙登輝，史 超，崔令飛，溫 昕

(1.中國兵器工業(yè)標準化研究所，北京 100089；2.中國兵器工業(yè)計算機應用技術研究所，北京 100089)

1 概述

在武器裝備中，瞄具是不可或缺的重要裝置，瞄具能夠為武器提供準確的瞄準角，從而實現(xiàn)武器裝備對目標的準確打擊。隨著社會的進步和計算機技術的廣泛應用，特別是近幾年圖像處理以及深度學習等相關領域的深入研究，為武器裝備瞄具的發(fā)展提供了更多的方向。基于武器戰(zhàn)術性能和目標機動性能的提高，武器的瞄具逐步向全天化和高度自動化等方向發(fā)展，逐步形成完整的武器控制系統(tǒng)。本文將計算機視覺領域的運動目標檢測與跟蹤相關技術應用到槍械瞄具中，為瞄具的智能化提供一種可實現(xiàn)的手段。

1.1 槍械瞄具的發(fā)展現(xiàn)狀

瞄準具是武器裝備的重要組成部分，根據(jù)武器分類，可以分為槍械瞄具、火炮瞄具、坦克瞄具和航空瞄具[1]。其中的槍械瞄具按照結(jié)構(gòu)和作用原理可以分為機械瞄具、激光瞄具和光學瞄具。

機械瞄具是最早的瞄具裝備，其結(jié)構(gòu)簡單、堅固、耐用，因此在槍械方面具有很廣泛的應用[2]。激光瞄具是利用激光束進行瞄準的裝置，主要由激光器和高低、方向調(diào)整機構(gòu)組成，基于激光光束直線傳播的原理，只要光束對準目標，就可以射擊。激光瞄具能夠使用雙目瞄準，具有反應快、射擊準的特點。光學瞄具是由瞄準鏡、方向、表尺分劃筒和高低機等裝置組成，在槍械光學瞄具中主要分為望遠式和反射式瞄具[3]。反射式光學瞄具是最近幾年新型瞄具，主要通過精確的光學曲面反射透鏡，將瞄準器內(nèi)的光線發(fā)射出去，這種瞄具忽略了視線偏移的影響，實現(xiàn)快速瞄準，例如，SIT公司IPSC競賽手槍上裝有反射式瞄具[4]。在智能瞄具方向，俄羅斯卡拉什尼科夫集團公司已研制出由人工智能元件殺傷系統(tǒng)組成的步槍系統(tǒng)，該系統(tǒng)可以做到識別、瞄準、跟蹤、射擊一體化。

1.2 運動目標跟蹤的發(fā)展現(xiàn)狀

依據(jù)運動目標的表達和相似性度量，運動目標跟蹤算法可以分為4類：基于主動輪廓的跟蹤、基于特征的跟蹤、基于區(qū)域的跟蹤和基于模型的跟蹤。跟蹤算法的精度和速度很大程度上取決于對運動目標的表達和相似性度量的定義，跟蹤算法的實時性取決于匹配搜索策略和濾波預測算法。

基于主動輪廓的跟蹤包括Kass等提出的主動輪廓模型Snake[5]，是在圖像域內(nèi)定義的可變形曲線通過對其能量函數(shù)的最小化?；谔卣鞯母櫜豢紤]運動目標的整體特征，只通過目標圖像的一些顯著特征來進行跟蹤。除了用單一的特征來實現(xiàn)跟蹤外，還可以采用多個特征信息融合在一起作為跟蹤特征?；趨^(qū)域的跟蹤基本思想是得到包含目標的模板[6]，該模板可通過圖像分割獲得或預先人為確定，模板為略大于目標的矩形，也可為不規(guī)則形狀?；谀Ｐ偷母櫷ㄟ^一定的先驗知識對所跟蹤目標建立模型，然后通過匹配跟蹤目標進行模型的實時更新。

縱觀目前運動目標的跟蹤算法，大多是基于較單一的工學視角，還存在一些尚未很好解決的共性問題，如跟蹤過程中目標物形狀、尺寸、位置、運動方向的改變，背景環(huán)境及光照條件的改變，目標物被遮擋及部分遮擋的情況等。

本文基于目標檢測算法SSD網(wǎng)絡和目標跟蹤核相關濾波KCF，設計了一套基于視覺檢測的實時目標跟蹤方法，為了提升模型性能，采用圖像序列分組的方法，對圖像序列以組為單位分別設置檢測幀和跟蹤幀；采用一種新的組間邏輯匹配算法最大性能地提高檢測與跟蹤效率，并且設計前端展示界面，對槍械提供指定的偏移方向。本文介紹了槍瞄技術的國內(nèi)外現(xiàn)狀，給出了系統(tǒng)的整體框架；介紹了目標檢測和目標跟蹤的算法原理，并且詳細闡述了組間匹配機制的算法原理；下述進行試驗并分析試驗結(jié)果。

2 系統(tǒng)總體框架

本文設計的智能瞄具系統(tǒng)基于計算機視覺任務中目標檢測與目標跟蹤的相關算法，目標檢測算法使用SSD網(wǎng)絡，目標跟蹤算法使用KCF。

首先，通過瞄準鏡對物體進行瞄準，首次對目標進行人為點標記，移開瞄準鏡且保證目標物未出大視野區(qū)域，隨后對目標物跟蹤M幀，將上述過程記為初始組，數(shù)量記為1，人為點標記記為初始幀，則初始組共包括(M+1)幀圖像序列。

然后，提出將后續(xù)視頻圖像序列進行分組識別，每一組包括目標檢測幀和目標跟蹤幀，在目標檢測幀中，基于目標檢測算法實現(xiàn)目標物的重檢測、目標物特征重提取等過程，在目標跟蹤幀中對本組目標檢測到的目標物進行跟蹤，且設置目標跟蹤幀為M，M的設置應進行最優(yōu)選擇，將上述過程記為更新組，數(shù)量記為N，每組包含(M+1)幀圖像序列。

圖1 系統(tǒng)整體框架圖

智能瞄具系統(tǒng)瞄準鏡區(qū)分為大視野區(qū)域與小視野區(qū)域，大視野區(qū)域被定義為瞄準鏡不變焦距時所能看到的區(qū)域S，且在整體過程中目標物包含于S；小視野區(qū)域被定義為瞄準鏡擴大α倍所能看到的區(qū)域S′，α為給定整數(shù)且不改變。在智能瞄具系統(tǒng)目標檢測與目標識別過程中，瞄準鏡視野被定義為小視野區(qū)域S′，示意圖如圖2所示。

智能瞄具系統(tǒng)前端由標準瞄準鏡和智能指針兩部分組成，圖2表示目標物跟蹤過程，此時，智能指針的指向表示待跟蹤目標物所在位置，智能指針的長度表示瞄準鏡與目標物之間的相對長度；待再次識別到目標物之后，瞄準鏡狀態(tài)由圖2轉(zhuǎn)變?yōu)閳D3，此時，智能指標為一個圓點，表示瞄準鏡中心已經(jīng)與目標物再次重合，且瞄準鏡會閃爍數(shù)次，提醒射擊者可以進行射擊。

圖2 瞄準鏡瞄準過程前端設計

圖3 瞄準鏡符合射擊條件前端設計

3 主要算法

3.1 SSD網(wǎng)絡

SSD方法[7]基于前饋卷積網(wǎng)絡，產(chǎn)生固定大小的邊界框集合和框中對象類別的分數(shù)，并通過非最大化抑制步驟產(chǎn)生最終的檢測結(jié)果。通過使用AlexNet[8]、VGG16[9]等已經(jīng)成熟的網(wǎng)絡結(jié)構(gòu)，截止全連接層之前的全部卷積層和池化層作為圖像特征網(wǎng)絡。SSD的基本網(wǎng)絡結(jié)構(gòu)如圖4所示。

圖4 SSD基本結(jié)構(gòu)

通過向網(wǎng)絡添加輔助結(jié)構(gòu)，可產(chǎn)生具有如下主要特征的檢測。

1)多尺度特征圖檢測：將卷積層添加到截斷的基礎網(wǎng)絡末尾。隨著尺寸逐漸減小，得到多個尺寸檢測的預測值。檢測的卷積模型對于每個特征層是不同的，這些層預測了不同尺寸和寬高比對默認框偏移及其相關置信度。

2)檢測的卷積預測器：每個添加的特征層可以使用一組卷積濾波器產(chǎn)生固定的預測集合。對于具有p個通道的大小為m×n的特征層，使用3×3×p的卷積核進行操作，產(chǎn)生類別的分數(shù)或相對于默認框的坐標偏移。

3)默認框與寬高比：將一組默認邊界框與頂層網(wǎng)絡每個特征圖單元關聯(lián)。默認框?qū)μ卣鲌D作卷積運算，使得每個框?qū)嵗鄬τ谄鋵獑卧竦奈恢檬枪潭ǖ?，在每個特征映射單元中，預測相對于單元格中的默認框形狀的偏移，以及每個框中實例的每類分數(shù)。默認框類似于Faster-RCNN中使用的anchor boxes，但SSD將其應用于不同分辨率的特征圖中。在多個特征圖中使用不同的默認框形狀，可以有效離散可能的輸出框形狀空間。

3.2 KCF算法原理

(1)

式中，λ用于控制系統(tǒng)的結(jié)構(gòu)復雜性，即VC維以保證分類器的泛化性能，對式1進行最小二乘法求解得：

ω=(XHX+λ)-1XHy

(2)

在KCF算法中，訓練樣本和測試樣本都是由基礎樣本xi=(xi1,xi2,…,xin)產(chǎn)生的循環(huán)矩陣Xi構(gòu)成的，即：

(3)

Xi可以通過離散傅里葉矩陣F得到。

(4)

(5)

(6)

(7)

(8)

圖像序列中，對于目標發(fā)生變化或者存在部分遮擋時，會造成嚴重的漏檢現(xiàn)象，如果僅使用單一的檢測算法，將無法克服此種情況的發(fā)生。KCF是快速目標跟蹤算法，故本文目標跟蹤模型SSD進行模型更新，利用模型檢測到第1幀目標邊界框之后啟動KCF進行目標跟蹤，為了避免跟蹤的丟失，重新更新為檢測模型。因此，KCF算法起到的作用是：1)加強圖像序列中目標檢測對姿態(tài)、角度等變化；2)在DTD模型中起到鏈接和加速的作用，提高了整個系統(tǒng)的檢測速度。

4 試驗與結(jié)果分析

測試數(shù)據(jù)集由兩部分組成：1)使用目標跟蹤數(shù)據(jù)集VOT2017[10]中的長時間目標跟蹤序列；2)在自建的10段動態(tài)圖像序列上進行目標檢測與跟蹤，使用的評估指標為準確率和速率。

首先，利用訓練好的模型遷移到檢測網(wǎng)絡中進行邊界框回歸和分類回歸的微調(diào)。選擇5種寬高比的默認框，分別為1.0、2.0、3.0、0.5和0.33，并且設定默認框的最大尺度為0.95，最小尺度為0.2。6層卷積特征中每一個特征單元的默認框個數(shù)分別為4、6、6、6、6、6。訓練過程中，IOU在[0.5, 1]區(qū)間內(nèi)的為正樣本，在(0.2, 0.5)區(qū)間內(nèi)的為負樣本，在[0, 0.2]區(qū)間內(nèi)的作為難例。另外，本文的學習率是初始化為0.1的指數(shù)衰減的學習率，并且隨機初始化權值和偏置項。KCF跟蹤器中正則化系數(shù)為0.000 1，目標物體向外padding的倍數(shù)為2.5倍，高斯目標的帶寬系數(shù)為0.125，提取圖像的特征為hog特征并且采用多尺度的方式。時間閾值設定為每50幀進行一次更新。VOT2017測試結(jié)果如圖5所示。

圖5 VOT2017測試結(jié)果

利用自建的10段動態(tài)圖像序列(每段圖像序列時間均大于10 min，頻率為30 Hz，即每段序列均大于18 000張)來測試模型的性能，GPU選用GTX1070ti，顯然，SSD-KCF模型對于動態(tài)圖像中序列的角度變化、遮擋等情況下具有較好的檢測功能，同時，SSD-KCF模型具有更高的速率，速率可達到150 fps以上。10段自建動態(tài)序列的平均準確率分別為95.74%、96.38%、92.88%、88.98%、94.32%、96.45%、91.78%、90.88%、91.27%和93.88%(見表1)。

表1 SSD-KCF統(tǒng)計物體檢測與跟蹤準確率與速率

某一段對于人頭的檢測以及跟蹤動態(tài)顯示結(jié)果如圖6所示。

圖6 SSD-KCF對于人頭的檢測與跟蹤

5 結(jié)語

本文結(jié)合目標檢測算法SSD網(wǎng)絡和快速跟蹤模型KCF提出了一種新的DTD模式，即SSD-KCF目標檢測與跟蹤模型。綜合了SSD網(wǎng)絡在目標檢測任務中的高準確率和高召回率，以及KCF算法的高速率，同時提出了時間閾值處理機制和異常峰值處理機制，對跟蹤過程中的錯誤跟蹤進行及時規(guī)避，能夠?qū)崟r、快速、穩(wěn)定地檢測出動態(tài)圖像序列中變化角度較大、遮擋較為嚴重的目標。因此，對智能瞄具等嵌入式機器視覺強調(diào)實時性的應用場合具有較高的參考意義。