朱家輝，蘇維均*，于重重，黃俊卿

（1.北京工商大學(xué)，北京 100048；2.中國輕工業(yè)工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室，北京 100048；3.陸軍裝甲兵學(xué)院，北京 100072）

0 引言

隨著社會的發(fā)展和科技的進(jìn)步，目標(biāo)檢測技術(shù)在軍事領(lǐng)域有著重要的應(yīng)用價值與研究意義。軍事目標(biāo)的檢測識別對于戰(zhàn)場監(jiān)視、偵查和損傷狀態(tài)評估具有重要作用，是現(xiàn)代高科技戰(zhàn)爭中贏得戰(zhàn)爭勝利的關(guān)鍵因素。然而，在目標(biāo)檢測任務(wù)中，由于二維目標(biāo)檢測只能回歸出目標(biāo)的像素坐標(biāo)，缺乏深度、尺寸等參數(shù)信息，在實(shí)際應(yīng)用中存在著一定的局限性。近年來，利用深度學(xué)習(xí)網(wǎng)絡(luò)解決復(fù)雜戰(zhàn)場環(huán)境下的三維目標(biāo)檢測取得了較好效果。

三維目標(biāo)檢測的研究早期主要是對單目圖像的三維信息進(jìn)行粗略地快速估計(jì)，隨著深度神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，三維目標(biāo)檢測的應(yīng)用范圍和精度都得到了提高。2014 年，GUPTAS 等提出基于RGB 圖像和深度圖來檢測圖像中的輪廓，利用CNN 進(jìn)行特征提取，但網(wǎng)絡(luò)架構(gòu)無法高效利用反向傳播算法，難以進(jìn)一步優(yōu)化結(jié)構(gòu)。2017 年，WADIM K 等提出SSD-6D 算法，基于RGB 數(shù)據(jù)擴(kuò)展了流行的SSD 目標(biāo)檢測模型，使其覆蓋整個三維空間，并在synthetic model 數(shù)據(jù)集上進(jìn)行訓(xùn)練。通過實(shí)驗(yàn)證明，在多個挑戰(zhàn)性的數(shù)據(jù)集上，該方法精度超過同時期其他算法。2018 年，TRUNG P 等提出了一個端到端的深度學(xué)習(xí)框架Deep-6DPose，將Mask R-CNN 擴(kuò)展為一個新的三維目標(biāo)檢測分支，可以直接回歸出目標(biāo)的三維框，不需要進(jìn)行任何細(xì)化，簡化訓(xùn)練過程。隨后，SIMON M 等提出Complex- YOLO 算法以及用于實(shí)時三維目標(biāo)檢測的歐拉區(qū)域建議網(wǎng)絡(luò)（ERPN），其中，Complex-YOLO 采用了YOLOV2 網(wǎng)絡(luò)架構(gòu)，可直接針對RGB 圖像進(jìn)行操作，實(shí)現(xiàn)三維目標(biāo)多類邊界框的精確定位。2018 年，REDMON J 在YOLOV2 的基礎(chǔ)上提出了YOLOV3，其在小目標(biāo)檢測中準(zhǔn)確率具有顯著提升。因此，本文選擇使用YOLOV3 算法，實(shí)現(xiàn)對坦克及彈孔損傷的二維目標(biāo)檢測識別，并在此基礎(chǔ)上引入九點(diǎn)法回歸三維目標(biāo)檢測框的方法，使改進(jìn)后的算法能夠在復(fù)雜戰(zhàn)場環(huán)境下更準(zhǔn)確地檢測目標(biāo)的三維信息，進(jìn)而完成對坦克及彈孔損傷的三維目標(biāo)檢測識別，對于現(xiàn)代化軍事領(lǐng)域的自動檢測技術(shù)應(yīng)用具有現(xiàn)實(shí)意義。

1 YOLOV3 模型

YOLOV3 借鑒了殘差網(wǎng)絡(luò)的做法，在一些層之間設(shè)置了快捷鏈路構(gòu)成殘差模塊，其具體結(jié)構(gòu)如圖1 所示，在增加了快捷鏈路后，學(xué)習(xí)過程從直接學(xué)習(xí)特征變成在已學(xué)習(xí)特征的基礎(chǔ)上添加某些特征，從而獲得更好的特征。因此，對于一個復(fù)雜的特征H（x），從獨(dú)立地逐層學(xué)習(xí)變成H（x）=F（x）+x，其中，x 是快捷鏈路初始特征，F(xiàn)（x）是對x 進(jìn)行的填補(bǔ)與增加，稱為殘差。因此，學(xué)習(xí)的目標(biāo)就從學(xué)習(xí)完整的信息變成了學(xué)習(xí)殘差，進(jìn)而顯著降低了學(xué)習(xí)優(yōu)質(zhì)特征的難度。

圖1 殘差模塊結(jié)構(gòu)

YOLOV3 與Faster R-CNN 類似，也采用了先驗(yàn)框的做法，但不同點(diǎn)在于YOLOV3 采用了K-means聚類的方式提取先驗(yàn)框，聚類采用式（1）計(jì)算邊框之間的差異程度。

其中，d 表示差異度，centroid 表示聚類時被選作聚類中心的候選框，box 表示其他候選框，IOU 表示centroid 和box 兩個目標(biāo)框交集與并集的面積比值。

YOLOV3 的損失函數(shù)由預(yù)測框IOU 置信度誤差、預(yù)測框與先驗(yàn)框位置誤差、預(yù)測框位置誤差、預(yù)測框置信度誤差和對象分類誤差5 部分組成。

式（2）中的第1 項(xiàng)為預(yù)測框IOU 置信度誤差，代表預(yù)測框內(nèi)沒有檢測目標(biāo)但I(xiàn)OU 值最大情況下所出現(xiàn)的誤差。具體指在預(yù)測框中與目標(biāo)真實(shí)邊框最大但小于閾值時，此系數(shù)為1，計(jì)入誤差；否則為0，不計(jì)入誤差。式（2）中的第2 項(xiàng)為預(yù)測框與先驗(yàn)框的位置誤差，1指此項(xiàng)只計(jì)算前128 000 次迭代的誤差，如此設(shè)置能使模型在早期訓(xùn)練中更方便預(yù)測先驗(yàn)框位置。式（2）中的第3 項(xiàng)～第5 項(xiàng)指在預(yù)測框內(nèi)存在檢測目標(biāo)時，計(jì)算預(yù)測框與目標(biāo)真實(shí)邊框的位置、置信度、分類誤差。

2 九點(diǎn)法回歸三維目標(biāo)檢測框

三維目標(biāo)檢測的現(xiàn)有方法中SSD-6D、Deep-6D、BB8和PoseCNN都是基于二維目標(biāo)檢測框架實(shí)現(xiàn)的三維目標(biāo)檢測，但這些算法在進(jìn)行三維目標(biāo)檢測時，需要預(yù)先提供物體精確的CAD 模型及大小，如圖2 所示，由于坦克數(shù)據(jù)的特殊性，無法獲得精確的CAD 模型及大小，文獻(xiàn)［9］提出在測試時可直接使用標(biāo)記的數(shù)據(jù)信息，返回三維目標(biāo)檢測中所需要的9 個點(diǎn)的三維坐標(biāo)，即三維框的8 個角點(diǎn)和1 個目標(biāo)中心點(diǎn)，其要達(dá)到的效果如圖3 所示。

圖2 物體CAD 模型

圖3 三維框九點(diǎn)圖例

在進(jìn)行三維框回歸時，將坦克主體部分和彈孔損傷部分進(jìn)行區(qū)分，采用兩種不同的方式進(jìn)行三維建模。由于圖像中存在角度遮擋，無法準(zhǔn)確標(biāo)記9 個點(diǎn)的三維坐標(biāo)，故需要進(jìn)行一定的變型處理。

2.1 坦克主體

坦克主體作為圖像中的大目標(biāo)，采用的三維建模方式為先確定三維框的底面3 個可視點(diǎn)坐標(biāo)，從而形成三維框的底面再結(jié)合高度信息，最終確定坦克主體部分的三維框。如圖4（a）所示，取P1、P2、P3的中心點(diǎn)作為三維框的底面3 個可視點(diǎn)坐標(biāo)，P2 與P4 的縱坐標(biāo)插值用于取三維框的高度信息，具體數(shù)值信息如圖4（b）所示。

圖4 坦克主體三維建模

若圖像中包含多輛坦克，仍然按照該方法進(jìn)行標(biāo)定并將標(biāo)定的坐標(biāo)依次命名為P1'、P2'、P3'、P4、P1''、P2''，…，因此，會出現(xiàn)多個坦克目標(biāo)及多個坐標(biāo)值的情況，在對坐標(biāo)進(jìn)行目標(biāo)歸屬劃分時，由于P2與P4 的橫坐標(biāo)一致或極其相近，故本文采取的方法為先確定P2 與P4，再以P2 與P4 為基準(zhǔn)點(diǎn)加之標(biāo)定的坦克二維框，如圖5 所示，確定出在該坦克二維框內(nèi)的P1 與P3，最終通過4 個點(diǎn)的坐標(biāo)即可得到每個坦克的三維框。

圖5 坦克二維框標(biāo)定

2.2 彈孔損傷

彈孔損傷作為圖像中的小目標(biāo)，無法使用坦克主體部分的方法進(jìn)行三維建模，因此，彈孔損傷檢測直接通過二維框進(jìn)行三維建模，并需要在訓(xùn)練集中給定彈孔的入射深度及入射角度，采用的三維建模方式為使用標(biāo)定的二維框作為三維框的底面，再假設(shè)子彈以垂直角度入射形成彈孔，加之給定的入射深度信息，形成垂直于坦克表面的彈孔三維框。最后利用給定的入射角度信息，將之前獲得的彈孔三維框按照角度信息進(jìn)行旋轉(zhuǎn)，即可得到彈孔三維框，彈孔標(biāo)定如圖6（a）所示，具體數(shù)值信息如圖6（b）所示。

圖6 彈孔損傷三維建模

3 優(yōu)化Complex-YOLO 網(wǎng)絡(luò)結(jié)構(gòu)

Complex-YOLO 網(wǎng)絡(luò)以RGB 圖像作為輸入，使用YOLOV2 的二維檢測架構(gòu)，提出一個特定的歐拉區(qū)域建議網(wǎng)絡(luò)（E-RPN），該網(wǎng)絡(luò)在嵌入端（NVIDIA Titan X）上能實(shí)現(xiàn)50 fps 的處理速度，其網(wǎng)絡(luò)結(jié)構(gòu)如圖7 所示。

圖7 Complex-YOLO 網(wǎng)絡(luò)結(jié)構(gòu)

為了進(jìn)一步提高網(wǎng)絡(luò)的精度，將Complex-YOLO中的二維檢測網(wǎng)絡(luò)YOLOV2 替換為YOLOV3，不僅提升了性能，而且保證了較快處理速度，尤其對于小目標(biāo)具有很強(qiáng)的魯棒性，能夠提高彈孔損傷目標(biāo)的檢測準(zhǔn)確率。

三維目標(biāo)檢測分支接收二維目標(biāo)檢測得到的帶物體類別標(biāo)簽的坦克損傷圖像，通過物體類別標(biāo)簽識別圖像中坦克及彈孔的數(shù)量和類別，根據(jù)識別結(jié)果及兩類物體的特點(diǎn)，采用不同的三維建模方式分別建立三維模型，再對兩類三維目標(biāo)識別結(jié)果進(jìn)行整合。目前的三維目標(biāo)檢測算法都需要物體精確的CAD 模型，然而對敵方坦克進(jìn)行損傷檢測時，缺乏CAD 模型，所以把網(wǎng)絡(luò)中的三維目標(biāo)檢測分支替換為九點(diǎn)法回歸三維目標(biāo)檢測框，以解決缺乏CAD模型的問題。

模型在檢測RGB 圖像時，可以檢測到物體在二維平面中的坐標(biāo)，以及物體相對于x 軸和y 軸的旋轉(zhuǎn)角，同時返回與x，y 平面的夾角信息，從而得到物體的深度信息（即z 的信息），以完成物體的三維目標(biāo)檢測。但在檢測的過程中，缺失物體相對于z 軸的旋轉(zhuǎn)角度，使得物體的位置不確定，因此，將物體與z 軸夾角的標(biāo)簽信息從網(wǎng)絡(luò)中返回，返回的Loss 信息如式（3）所示：

其中，α 表示更新后的學(xué)習(xí)率，0.9 為衰減率，epoch_num 表示代數(shù)表示衰減速度，α表示更新前的學(xué)習(xí)率。在訓(xùn)練過程中，將學(xué)習(xí)率初值設(shè)為0.1，batch_size 即一次迭代使用的樣本量設(shè)為20，epoch即一個訓(xùn)練輪次設(shè)為10，可以使網(wǎng)絡(luò)最大程度地學(xué)習(xí)圖像特征，提高網(wǎng)絡(luò)檢測的準(zhǔn)確率。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

使用Python 網(wǎng)絡(luò)爬蟲，從公共圖像數(shù)據(jù)庫爬取坦克彈孔損傷圖像，對坦克損傷圖像進(jìn)行篩選，剔除沒有彈孔損傷及坦克全貌的圖像，將選好的圖像數(shù)據(jù)按照坦克型號進(jìn)行分類處理，04 步兵戰(zhàn)車、99坦克、96 坦克及59 坦克的數(shù)量如表1 所示。

表1 坦克型號及數(shù)量

由于神經(jīng)網(wǎng)絡(luò)需要大量參數(shù)，而使這些參數(shù)可以正確工作則需要大量的圖像數(shù)據(jù)進(jìn)行訓(xùn)練，但獲得的坦克損傷圖像數(shù)量難以完成訓(xùn)練任務(wù)，為了使訓(xùn)練數(shù)據(jù)更加完善，通過翻折、平移、旋轉(zhuǎn)的方法，對圖像進(jìn)行數(shù)據(jù)增強(qiáng)，如圖8 所示，該方法產(chǎn)生了更多的坦克損傷圖片，增加訓(xùn)練樣本的數(shù)量以及多樣性，提升模型魯棒性。

圖8 數(shù)據(jù)增強(qiáng)

在實(shí)際應(yīng)用中，由于圖像采集設(shè)備、自然環(huán)境因素等諸多原因，導(dǎo)致所處理的圖像和“本真”圖像存在一定差異，因此，需要在“本真”圖像上加上噪聲，才能達(dá)到類似于“實(shí)際”圖像的效果。本文對圖像進(jìn)行兩種加噪方式——椒鹽噪聲、遮擋，如下頁圖9 所示，使輸出更加光滑，從而提升整個網(wǎng)絡(luò)的推理能力及模型的泛化能力。

圖9 圖像加噪

在進(jìn)行數(shù)據(jù)增強(qiáng)及加噪后，04 步兵戰(zhàn)車、99 坦克、96 坦克及59 坦克圖像數(shù)量均為500 張左右，從每種型號中選取80 %作為訓(xùn)練集，10 %作為驗(yàn)證集，10%作為測試集。

4.2 數(shù)據(jù)處理

在進(jìn)行三維標(biāo)定時，由于彈孔損傷是小目標(biāo)，坐標(biāo)位置相對準(zhǔn)確，直接使用二維框進(jìn)行三維回歸，所以無需對彈孔損傷單獨(dú)進(jìn)行三維標(biāo)定；針對坦克車主體，使用labelImg 工具，將坦克底部3 個可視的參考點(diǎn)進(jìn)行框選，并將框選的標(biāo)簽名稱定義為P1、P2、P3，再框選坦克頂部一參考點(diǎn)，并將框選的標(biāo)簽名稱定義為P4，如圖4 所示，將框選的矩形框中心作為參考點(diǎn)坐標(biāo)Pc，將Pc 的坐標(biāo)值按照式（5）進(jìn)行歸一化處理，以消除奇異樣本數(shù)據(jù)導(dǎo)致的不良影響。

labelImg 工具的注釋格式保存為XML 文件，由于網(wǎng)絡(luò)訓(xùn)練時，無法有效讀取XML 文件中的信息，需通過腳本文件，將坦克損傷訓(xùn)練集中所有的圖像標(biāo)定文件，轉(zhuǎn)換成TXT 格式，以便后續(xù)網(wǎng)絡(luò)訓(xùn)練的使用。

4.3 實(shí)驗(yàn)結(jié)果與分析

本文在進(jìn)行三維目標(biāo)檢測時，由于缺乏CAD模型，因此，使用回歸方法進(jìn)行檢測，但受制于訓(xùn)練樣本不多的情況，在進(jìn)行檢測時，若訓(xùn)練集中存在類似的損傷坦克，則檢測效果較好，如圖10 所示；若訓(xùn)練集中存在該型號坦克但不存在該彈孔損傷，則檢測結(jié)果中可能包含檢測不到的彈孔，如圖11 所示，但坦克檢測效果較好；若訓(xùn)練集中不存在該型號坦克，則檢測效果相對較差，如圖12所示。若能增加大量訓(xùn)練集圖片，則準(zhǔn)確率將會有進(jìn)一步提升。

圖10 訓(xùn)練集存在類似坦克及彈孔識別結(jié)果

圖11 訓(xùn)練集存在類似坦克不存在類似彈孔識別結(jié)果

圖12 訓(xùn)練集不存在類似坦克

在將改進(jìn)網(wǎng)絡(luò)與原Complex-YOLO 網(wǎng)絡(luò)進(jìn)行準(zhǔn)確率比較時，由于本文使用的坦克損傷數(shù)據(jù)集中沒有CAD 三維模型，故使用三維目標(biāo)檢測公共數(shù)據(jù)集——LineMod，在Complex-YOLO 網(wǎng)絡(luò)不使用CAD 三維模型細(xì)化的情況下進(jìn)行比較，二維目標(biāo)檢測準(zhǔn)確率評價指標(biāo)為IOU 即預(yù)測邊框和真實(shí)邊框的交集和并集的比值，兩種網(wǎng)絡(luò)的準(zhǔn)確率如表2 所示；三維目標(biāo)檢測準(zhǔn)確率評價指標(biāo)為ADD 得分，兩種網(wǎng)絡(luò)的準(zhǔn)確率如表3 所示，通過實(shí)驗(yàn)可以發(fā)現(xiàn)，改進(jìn)后的網(wǎng)絡(luò)在二維檢測及三維檢測的準(zhǔn)確率上均有提升，尤其三維檢測的準(zhǔn)確率提升十分明顯。

表2 二維目標(biāo)檢測準(zhǔn)確率

表3 三維目標(biāo)檢測準(zhǔn)確率

5 結(jié)論

本文以復(fù)雜戰(zhàn)場環(huán)境下的坦克及彈孔損傷為研究對象，針對圖像目標(biāo)小、特征信息少、目標(biāo)間相互遮擋嵌入等問題，引入YOLOV3 和九點(diǎn)回歸的方法對Complex-YOLO 模型進(jìn)行改進(jìn)。實(shí)驗(yàn)結(jié)果表明，通過結(jié)合以上兩種方法，使改進(jìn)算法在坦克損傷數(shù)據(jù)集上取得了優(yōu)異的檢測效果，對于損傷目標(biāo)特征識別具有更高的靈敏性，準(zhǔn)確率也有了較大幅度的提升。在今后軍事領(lǐng)域的復(fù)雜戰(zhàn)場環(huán)境下，應(yīng)用該三維目標(biāo)檢測方法具有現(xiàn)實(shí)意義。