李向榮，陳永康,，王志剛，羅鑫，李晨曉，候湘

（1. 陸軍裝甲兵學(xué)院 兵器與控制系，北京 100072；2. 中國人民解放軍63850 部隊(duì)，吉林，白城 137000；3. 中國人民解放軍32108 部隊(duì)，內(nèi)蒙古，滿洲里 021400；4. 重慶大學(xué) 期刊社，重慶 400044；5. 重慶大學(xué) 自動(dòng)化學(xué)院，重慶 400044）

由于軍事倉庫地形的特殊性，無人平臺(tái)巡檢的圖像采集設(shè)備是對(duì)距離至少150 m 范圍以內(nèi)的目標(biāo)進(jìn)行采集，而且在目標(biāo)較多情況下，僅用人眼進(jìn)行識(shí)別，不僅工作量大，在疲勞時(shí)容易造成誤判. 在較遠(yuǎn)距離的情況下，采用人臉識(shí)別的方法進(jìn)行有效的可疑目標(biāo)識(shí)別難度太大，除非無人機(jī)平臺(tái)抵近詳查. 因此，設(shè)計(jì)一種能及時(shí)有效地自動(dòng)對(duì)目標(biāo)識(shí)別并進(jìn)行可疑類型判斷的智能算法具有重要意義. 由于軍事庫區(qū)人員和車輛裝備顏色和樣式比較特殊并且統(tǒng)一，擬通過對(duì)目標(biāo)提取顏色和樣式特征進(jìn)行較遠(yuǎn)距離可疑目標(biāo)識(shí)別，如人員目標(biāo)的服裝樣式，車輛目標(biāo)的顏色特征.

通過視覺圖像識(shí)別可疑目標(biāo)，是比較先進(jìn)的方法，而且是當(dāng)前的研究熱點(diǎn)[1]. 遠(yuǎn)距離采集的圖像中目標(biāo)信息是極少的，有的甚至只有幾個(gè)像素，圖像識(shí)別難度也很大，現(xiàn)有的經(jīng)典算法并不能直接解決這個(gè)問題.

在目前3 種典型的目標(biāo)檢測(cè)算法中，R-FCN[2]、Faster R-CNN[3]在精度上都有較好的表現(xiàn)，但他們消耗的計(jì)算資源較多，運(yùn)算速度也較慢. YOLO[4]在硬件資源上要求最小，速度也最快，而且不斷出現(xiàn)的新的版本在精度和速度上都有提高. 速度和精度似乎是一對(duì)矛盾的概念，互相之間有一定限制，到一定精度后，精度越高，速度越慢. 后續(xù)的YOLO 版本綜合性能雖有提高，但提高的幅度并不是很大. 因此，本文基于YOLOv3 版本開展庫區(qū)可疑目標(biāo)識(shí)別算法的研究.

1 算法總體框架及其特點(diǎn)

可疑目標(biāo)識(shí)別算法主要解決2 個(gè)方面的問題，一個(gè)是目標(biāo)識(shí)別，即從圖像中進(jìn)行目標(biāo)檢測(cè)；一個(gè)是可疑目標(biāo)識(shí)別，即對(duì)圖像中檢測(cè)出的目標(biāo)進(jìn)行可疑目標(biāo)判別. 目前是利用圖像采集設(shè)備采集的圖片樣本，但是由于可采集的環(huán)境范圍有限，圖片樣本不足，可以通過預(yù)訓(xùn)練網(wǎng)絡(luò)模型的方法適當(dāng)彌補(bǔ)樣本不足，增加可提取的樣本特征.

另外，較遠(yuǎn)距離采集的圖像所包含的信息通常較少，如圖1 所示. 兩幅圖中，由于目標(biāo)都是人，輪廓特征大致相同，因此，基于輪廓的特征提取方法效果將會(huì)受到限制. 然而，如果檢測(cè)的樣本圖片限制在有統(tǒng)一著裝要求的單位管理范圍內(nèi)，通過服裝的樣式、顏色和部分體態(tài)信息特征，是可以區(qū)分可疑目標(biāo)類別的. 如遇到服裝和體型相似但非本單位的人員，模型識(shí)別出的概率較小，則需要人工進(jìn)行判別.

圖1 較遠(yuǎn)目標(biāo)對(duì)比圖Fig. 1 Comparison of distant targets

為此，采用一種人工輔助算法，通過有限樣本的歷史數(shù)據(jù)建立相應(yīng)的機(jī)器學(xué)習(xí)識(shí)別模型，用識(shí)別模型和人工經(jīng)驗(yàn)一起判斷識(shí)別結(jié)果. 該算法集目標(biāo)識(shí)別和可疑目標(biāo)識(shí)別于一體，對(duì)非己方目標(biāo)概率高的直接報(bào)警，對(duì)無用目標(biāo)自動(dòng)排除，對(duì)少數(shù)無法確定可疑類型的目標(biāo)提交人工進(jìn)行進(jìn)一步識(shí)別. 而且，由于統(tǒng)一服裝的管理單位，大量的樣本圖片都是本單位的圖片，使用該算法思路能迅速自動(dòng)判別我方圖片信息，不必人工再去判別. 這樣可以大大減少人工識(shí)別的工作量，減少誤判的概率.

1.1 總體框架

圖像識(shí)別通常分為如下三個(gè)步驟：一是從樣本圖像中提取相關(guān)候選矩形區(qū)域；二是對(duì)候選區(qū)域進(jìn)行特征提?。蝗抢锰崛〉奶卣鬟M(jìn)行分類. 其中，特征提取部分采用基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型有較好的效果. 可疑目標(biāo)識(shí)別則在目標(biāo)識(shí)別的基礎(chǔ)上，過濾掉不敏感的類別目標(biāo)，如鳥、狗等動(dòng)物，對(duì)敏感目標(biāo)采用可處理非線性數(shù)據(jù)的分類器進(jìn)行可疑目標(biāo)判別，如采用核方法的支持向量機(jī)（SVM）、淺層全連接的神經(jīng)網(wǎng)絡(luò)等. 算法總體框架如圖2 所示.

圖2 算法架構(gòu)Fig. 2 Algorithm architecture

1.2 算法特點(diǎn)

①優(yōu)選目標(biāo)檢測(cè)模型提高檢測(cè)速度和精度.

算法框架中的“判斷是否敏感目標(biāo)”實(shí)際上就是從目標(biāo)檢測(cè)算法中檢測(cè)出的目標(biāo)進(jìn)行判斷. 因此這個(gè)步驟的核心動(dòng)作就是目標(biāo)檢測(cè)，選擇合適的目標(biāo)檢測(cè)算法就顯得尤其重要了. 由于使用的是旋翼無人機(jī)平臺(tái)來采集圖像，載荷有限，運(yùn)算能力也比較有限，而應(yīng)用的場(chǎng)合對(duì)實(shí)時(shí)性的要求又較高，又必須保證一定精度，防止頻繁出錯(cuò).

②采集小型數(shù)據(jù)集訓(xùn)練.

數(shù)據(jù)采集完全是由人工收集并進(jìn)行標(biāo)記，因此，數(shù)據(jù)的量不可能太大，也不可能具有廣泛的通用性.但通過人工選擇有針對(duì)性的數(shù)據(jù)和人工標(biāo)記數(shù)據(jù)的方法來適應(yīng)具體的應(yīng)用是可行的. 通過網(wǎng)絡(luò)收集和現(xiàn)地拍攝大量圖像，使用YOLOv3 目標(biāo)檢測(cè)模型進(jìn)行目標(biāo)檢測(cè)，并對(duì)敏感目標(biāo)進(jìn)行提取，為后續(xù)可疑目標(biāo)判別模型能夠進(jìn)行訓(xùn)練，將圖像中的敏感目標(biāo)裁剪下來并人工標(biāo)記了3000 多張可用的目標(biāo)圖像，做成一個(gè)小型的數(shù)據(jù)集（訓(xùn)練集2 200 張，驗(yàn)證集1 000張，測(cè)試集200 張）用于對(duì)模型進(jìn)行訓(xùn)練和測(cè)試. 實(shí)驗(yàn)以人員為敏感目標(biāo)進(jìn)行可疑目標(biāo)識(shí)別，由于采用的方法一樣，實(shí)驗(yàn)的結(jié)果可推廣到其他目標(biāo).

③多級(jí)多層進(jìn)行可疑目標(biāo)分類.

第一級(jí)目標(biāo)檢測(cè)之后，就是對(duì)可疑目標(biāo)識(shí)別，也需要提取豐富的目標(biāo)形狀特征，再根據(jù)目標(biāo)形狀特征的顏色和顏色之間的組合進(jìn)一步對(duì)特征進(jìn)行分析、計(jì)算和擬合. 因此，第二級(jí)編程部分使用簡(jiǎn)單卷積神經(jīng)網(wǎng)絡(luò)來提取特征. 卷積神經(jīng)網(wǎng)絡(luò)對(duì)提取的圖像特征之間的相對(duì)位置不敏感，并對(duì)顏色特征提取的效果也不夠好，有可能對(duì)有大致相同特征但相對(duì)位置不同的物體無法識(shí)別，最后一級(jí)擬采用淺層全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行分類.

根據(jù)以上特點(diǎn)設(shè)計(jì)如下關(guān)鍵技術(shù)，用以實(shí)現(xiàn)算法框架功能.

2 關(guān)鍵技術(shù)

2.1 預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)和模型微調(diào)提取可疑目標(biāo)特征

深度學(xué)習(xí)算法是受到生物神經(jīng)網(wǎng)絡(luò)啟發(fā)而發(fā)展的，基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法更加符合生物視覺神經(jīng)元原理，卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用使得大深度的神經(jīng)網(wǎng)絡(luò)能得以實(shí)現(xiàn)，其對(duì)圖像特征的分層處理更加符合生物視覺原理[5]. 卷積運(yùn)算對(duì)圖像的輪廓特征具有較好的提取效果，多層的卷積神經(jīng)網(wǎng)絡(luò)就可以提取多層級(jí)的輪廓特征. 如圖3 所示，對(duì)原始圖像進(jìn)行兩種隨機(jī)權(quán)重的卷積運(yùn)算

運(yùn)算后得到兩幅圖如圖3 所示，從圖中可以看出，運(yùn)算的結(jié)果近似于原始圖像的邊緣特征. 實(shí)際上，在訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)中，卷積的作用也正是體現(xiàn)在提取邊緣的效果上.

圖3 卷積提取輪廓特征Fig. 3 Contour feature extraction by convolution

由于訓(xùn)練大型深度學(xué)習(xí)網(wǎng)絡(luò)在實(shí)際應(yīng)用中需要消耗大量的計(jì)算資源，所以，更常用的做法是使用已經(jīng)訓(xùn)練好的大型網(wǎng)絡(luò)模型的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取. 為優(yōu)化算法效果，還可以對(duì)模型進(jìn)行微調(diào)，而不是訓(xùn)練整個(gè)大型網(wǎng)絡(luò). 圖像分類的特征提取算法通常使用經(jīng)典的模型，如VGG、ResNet、Inception、Inception-ResNet、Xception 等，這些模型適用場(chǎng)景不同，根據(jù)圖像樣本的特征情況選擇合適的模型顯得尤其重要. 提取可疑目標(biāo)特征的前提是從樣本圖像中提取可疑目標(biāo)樣本圖像，因?yàn)闃颖緢D像含有大量的背景信息，所以判斷敏感目標(biāo)環(huán)節(jié)即是目標(biāo)檢測(cè).

2014 年谷歌提出了GoogleNet[6]，并在當(dāng)年ImageNet 舉辦的圖像識(shí)別競(jìng)賽中的勝出，第二名是VGGNet[7]. 2014 年后，基于卷積神經(jīng)網(wǎng)絡(luò)不斷有新的網(wǎng)絡(luò)形式出現(xiàn)，有影響力的是微軟的殘差網(wǎng)絡(luò)Res-Net 和谷歌的Inception[8]. ResNet[9]具有較快的學(xué)習(xí)速度，Inception 具有較好的學(xué)習(xí)效果[10]. VGGNet 雖采用的是最簡(jiǎn)單的卷積池化方式，卻能提取很好的特征，也便于編程實(shí)現(xiàn)，所以本文采用此模型的卷積層進(jìn)行可疑目標(biāo)特征提取.

采用預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)提取的特征大部分是冗余的，而且模型底層提取的特征通常是更加通用的特征，越高層提取的特征越具體和專業(yè)[11]. 為了讓模型更加符合具體應(yīng)用訓(xùn)練數(shù)據(jù)的特征表示，有必要對(duì)模型卷積層的相關(guān)頂層也進(jìn)行訓(xùn)練，雖然這樣會(huì)增加模型訓(xùn)練的消耗，使得訓(xùn)練時(shí)間更長，但可以得到精度更高、更加范化和對(duì)具體應(yīng)用更加有針對(duì)性的模型.

2.2 采用全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行可疑目標(biāo)分類

卷積神經(jīng)網(wǎng)絡(luò)對(duì)提取的圖像特征之間的相對(duì)位置不敏感，并對(duì)顏色特征提取的效果也不夠好，有可能對(duì)有大致相同特征但相對(duì)位置不同的物體無法識(shí)別. 因此，卷積神經(jīng)網(wǎng)絡(luò)不適合作為分類器使用，在某些場(chǎng)合，使用傳統(tǒng)的機(jī)器學(xué)習(xí)方法，在具體應(yīng)用中，可能會(huì)有更強(qiáng)的針對(duì)性和更好的效果，如采用核方法的支持向量機(jī)（SVM）.

在二分類的應(yīng)用中，SVM 是通過學(xué)習(xí)樣本數(shù)據(jù)找到一個(gè)最優(yōu)的超平面，來對(duì)樣本數(shù)據(jù)分類的. 這樣的超平面在一維數(shù)據(jù)中是一個(gè)點(diǎn)，在二維數(shù)據(jù)中是一條直線，在三維數(shù)據(jù)中是一個(gè)平面，而在更高維度中就稱之為超平面[12]. 在線性分布的樣本數(shù)據(jù)中，這樣的超平面有無窮多個(gè)，訓(xùn)練的目的就是找到一個(gè)超平面，使得距離的超平面最近的樣本點(diǎn)（特征向量）的距離達(dá)到最小，這樣的樣本點(diǎn)就叫做支持向量，支持向量機(jī)的名稱就是這樣來的.

如果樣本數(shù)據(jù)是非線性分布的，如圖4 所示，2維樣本數(shù)據(jù)是非線性的(圖4(a))，就無法找到一條直線（超平面）進(jìn)行分類，但是如果將所有樣本數(shù)據(jù)增加一個(gè)維度，這個(gè)維度z的值等于原來數(shù)據(jù)特征x、y平方和的平方根

使二維數(shù)據(jù)增加為三維數(shù)據(jù)，便可以使樣本數(shù)據(jù)線性可分(圖4(b)). 核方法就是使低維線性不可分?jǐn)?shù)據(jù)映射到高維線性可分?jǐn)?shù)據(jù)的一類方法，采用了核方法的SVM 便具有了處理非線性數(shù)據(jù)的能力.

圖4 非線性數(shù)據(jù)Fig. 4 Nonlinear data

淺層全連接神經(jīng)網(wǎng)絡(luò)與采用核方法的支持向量機(jī)在數(shù)據(jù)分類方面有一定的相似之處，通常的淺層神經(jīng)網(wǎng)絡(luò)都是2 個(gè)隱藏層，隱藏層的神經(jīng)元是帶有非線性激活函數(shù)的神經(jīng)元，使神經(jīng)網(wǎng)絡(luò)也具有處理非線性數(shù)據(jù)的能力[13]，如圖5 所示. 如果某層的每個(gè)神經(jīng)元和上一層的所有神經(jīng)元都有連接，就叫全連接層. 顧名思義，全連接神經(jīng)網(wǎng)絡(luò)的所有層都是全連接層. 只要有足夠數(shù)量的神經(jīng)元，只有一個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)可以擬合任意的一元連續(xù)函數(shù)，兩個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)可以擬合任意函數(shù). 實(shí)際上，因?yàn)殡[藏層具有足夠數(shù)量的神經(jīng)元，它就相當(dāng)于將特征向量轉(zhuǎn)化為更高維的向量，經(jīng)過訓(xùn)練，在新的特征空間就可以轉(zhuǎn)化為線性可分向量了，這就是與采用核方法的支持向量機(jī)的相似之處. 由于支持向量機(jī)在多分類的情況下表現(xiàn)不如全連接神經(jīng)網(wǎng)絡(luò)，因此，本文采用淺層全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行可疑目標(biāo)分類.

圖5 全連接神經(jīng)網(wǎng)絡(luò)Fig. 5 Fully connected neural network

3 仿真試驗(yàn)

由于可疑目標(biāo)圖像特征提取需要的是更為通用的較抽象特征，因此采用基于預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型卷積層進(jìn)行模型微調(diào)，使卷積層的部分下層卷積塊參與訓(xùn)練[14]. 算法模型如圖6 所示，將卷積層的前4 個(gè)卷積塊凍結(jié)，讓第5 個(gè)卷積塊與淺層全連接層一起參與樣本訓(xùn)練，這樣可得到更加細(xì)致和符合具體應(yīng)用的特征，使得模型識(shí)別可疑目標(biāo)的精度更高，但可能會(huì)提高訓(xùn)練時(shí)間和計(jì)算消耗. 雖然圖像卷積運(yùn)算對(duì)圖像輪廓特征有較好的效果，卻對(duì)圖像的其他特征如輪廓間的相對(duì)位置、物件顏色等特征效果并不明顯[15-16]，因此使用淺層全連接網(wǎng)絡(luò)進(jìn)行可疑目標(biāo)判別，以提高除輪廓特征以外的特征提取精度.

圖6 使用模型微調(diào)的模型Fig. 6 Model tuning using model

實(shí)驗(yàn)結(jié)果如圖7 所示，模型在第8 epoch 時(shí)就已經(jīng)收斂，精度最高達(dá)98.3%，取得了很好的效果. 說明此模型基本有效，已經(jīng)超過人眼識(shí)別的識(shí)別率，曲線波動(dòng)較小，說明此模型提取的特征比較豐富，符合實(shí)際情況，通用范化能力較好. 從圖中曲線看，訓(xùn)練總時(shí)長很長，但如果在第8 epoch 時(shí)就停止訓(xùn)練，總的訓(xùn)練時(shí)間反而會(huì)減少.

圖7 模型微調(diào)實(shí)驗(yàn)效果Fig. 7 Experimental results of model fine tuning

至此，基于模型微調(diào)的預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)與淺層全連接神經(jīng)網(wǎng)絡(luò)的可疑目標(biāo)識(shí)別已達(dá)到使用要求，將整個(gè)算法框架涉及到的所有模塊連接起來進(jìn)行仿真，以驗(yàn)證整個(gè)算法的有效性. 例如，在場(chǎng)景中提取敏感目標(biāo)[17-18]，暫以人物為敏感目標(biāo)進(jìn)行可疑目標(biāo)識(shí)別，非可疑目標(biāo)用“person”標(biāo)定，可疑目標(biāo)用“？？？”標(biāo)定，如圖8 所示，使用相機(jī)在較遠(yuǎn)距離采集2 幅圖像，輸入算法模型進(jìn)行仿真驗(yàn)證，可以看到，標(biāo)定基本正確，說明算法有效.

圖8 可疑目標(biāo)識(shí)別效果Fig. 8 Suspicious target recognition effect

4 結(jié) 論

根據(jù)軍事倉庫安全管理的特殊性，實(shí)現(xiàn)較遠(yuǎn)距離可疑目標(biāo)的識(shí)別與判別，同時(shí)可以減少人工識(shí)別的工作量，提出了一種基于視覺的可疑目標(biāo)識(shí)別算法，并通過編程實(shí)現(xiàn)，仿真實(shí)驗(yàn)表明可以取得較好的識(shí)別精度. 本文提出了基于視覺的可疑目標(biāo)識(shí)別總體框架，先使用目標(biāo)檢測(cè)算法提取目標(biāo)，再將提取的目標(biāo)輸入可疑目標(biāo)分類器進(jìn)行判別；針對(duì)通用算法中使用的精度較好的簡(jiǎn)單卷積神經(jīng)網(wǎng)絡(luò)模型存在特征不夠細(xì)致導(dǎo)致驗(yàn)證波動(dòng)較大、在新的數(shù)據(jù)下表現(xiàn)不穩(wěn)定的缺陷，為了增加提取特征的層次和數(shù)量，采用預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)卷積層來提取特征，以提高模型訓(xùn)練精度；基于預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行模型微調(diào)，使預(yù)訓(xùn)練模型卷積層的最下層也參與樣本訓(xùn)練，在驗(yàn)證樣本集中驗(yàn)證精度達(dá)到了98.3%，初步具有良好的實(shí)用價(jià)值.