張汝榛，張建林，祁小平*，左顥睿，徐智勇

復(fù)雜場景下的紅外目標檢測

張汝榛1,2,3，張建林1,2，祁小平1,2*，左顥睿1,2，徐智勇1,2

1中國科學(xué)院光束控制重點實驗室，四川 成都 610209；2中國科學(xué)院光電技術(shù)研究所，四川 成都 610209；3中國科學(xué)院大學(xué)，北京 100049

主流的目標檢測網(wǎng)絡(luò)在高質(zhì)量RGB圖像上的目標檢測能力突出，但應(yīng)用于分辨率低的紅外圖像上時目標檢測性能則有比較明顯的下降。為了提高復(fù)雜場景下的紅外目標檢測識別能力，本文采用了以下措施：第一、借鑒領(lǐng)域自適應(yīng)的方法，采用合適的紅外圖像預(yù)處理手段，使紅外圖像更接近RGB圖像，從而可以應(yīng)用主流的目標檢測網(wǎng)絡(luò)進一步提高檢測精度。第二、采用單階段目標檢測網(wǎng)絡(luò)YOLOv3作為基礎(chǔ)網(wǎng)絡(luò)，并用GIOU損失函數(shù)代替原有的MSE損失函數(shù)。經(jīng)實驗驗證，該算法在公開紅外數(shù)據(jù)集FLIR上檢測的準確率提升明顯。第三、針對FLIR數(shù)據(jù)集存在的目標尺寸跨度大的問題，借鑒空間金字塔思想，加入SPP模塊，豐富特征圖的表達能力，擴大特征圖的感受野。實驗表明，所采用的方法可以進一步提高目標檢測的精度。

紅外目標檢測；深度學(xué)習；復(fù)雜場景

1 引 言

近年來，隨著計算機視覺技術(shù)的不斷進步發(fā)展，計算機視覺已廣泛應(yīng)用到眾多科研領(lǐng)域和民用應(yīng)用。目標檢測作為大量高級視覺任務(wù)的基礎(chǔ)任務(wù)之一，在計算機視覺領(lǐng)域和實際應(yīng)用中具有重要的研究意義。目前在許多學(xué)者的共同努力下，基于深度學(xué)習的目標檢測研究已經(jīng)取得了顯著性的進展。但是現(xiàn)在國內(nèi)外已發(fā)表的研究成果中絕大多數(shù)的應(yīng)用場景是基于可見光條件，關(guān)于紅外場景下的應(yīng)用研究卻很少。

可見光圖像具有成像分辨率高、目標細節(jié)信息豐富等特點，但其相比于紅外圖像很容易受到光照變化的影響，這在很大程度上增加了目標識別的難度。尤其是在一些特殊天氣，例如雨天、霧天、夜間和可見光光源缺少的情況下，可視距離和能見度很差，拍攝的圖片根本無法正常使用，從而影響目標檢測的結(jié)果。而紅外成像技術(shù)具有工作距離遠、抗干擾能力強、測量精度高、不受天氣影響、能晝夜工作，以及穿透煙霧能力強等特點，因此紅外成像技術(shù)一經(jīng)提出了便得到科研領(lǐng)域和民用的廣泛關(guān)注，市場對紅外目標的檢測需求也隨之增加。

然而紅外圖像相較于其他的可見光圖像也具有一些不利于目標檢測的特性，例如紅外圖像成像模糊、分辨率差、信噪比低、對比度低，以及圖像灰度分布與目標反射特征無線性關(guān)系。這些物理特性使得主流的目標檢測網(wǎng)絡(luò)在應(yīng)用于紅外場景時更有挑戰(zhàn)性。并且現(xiàn)有的檢測方法只局限于單一的紅外目標檢測識別，缺乏包含多類普遍目標檢測的相關(guān)研究。

傳統(tǒng)的目標檢測算法最初選擇不同尺度長寬比的滑動窗口產(chǎn)生候選區(qū)域(ROI)，采用手工提取特征之后輸入到分類器進行分類，主要的算法包括：Hog特征+SVM算法、Haar特征+Adaboost算法、DPM算法。但是由于滑動窗口產(chǎn)生冗余窗口太多，時間復(fù)雜度高，會影響之后的特征提取及分類的速度和精度。并且傳統(tǒng)算法中通過手動特征提取的方法與目標特性緊密相關(guān)，而較難具有一般性，因此對于目標形態(tài)的多樣性，以及背景的多樣性光照變化等情況的檢測效果不好。

近年來，利用卷積神經(jīng)網(wǎng)能夠提取圖像更深層、更具表示能力的語義信息，確保了目標識別時減少像素質(zhì)量的影響且實現(xiàn)了檢測結(jié)果穩(wěn)定良好。2014年RBG首次提出了R-CNN模型框架并且在目標檢測上取得了巨大成功，主要的目標檢測方法也隨之沿著基于候選框和基于回歸的目標檢測算法的方向發(fā)展。在文獻[1]中，作者發(fā)現(xiàn)將RGB和紅外圖像同時輸入Faster R-CNN檢測能夠改善對行人的檢測，因此設(shè)計了四種ConvNet fusion結(jié)構(gòu)，將可見光和紅外信息融合并尋找到了最優(yōu)的融合方法，成功地將Faster R-CNN應(yīng)用到RGB-T行人檢測任務(wù)中。朱大煒等人使用R-CNN網(wǎng)絡(luò)于紅外飛機檢測，驗證了卷積神經(jīng)網(wǎng)絡(luò)進行紅外目標檢測的可行性，后使用速度更快的SSD網(wǎng)絡(luò)并進行改進實現(xiàn)了對紅外飛機的實時檢測[2]。侯志強等人根據(jù)Faster R-CNN存在目標的漏檢和重復(fù)檢測的問題，對Faster R-CNN進行了改進，提出了基于雙閾值-非極大值抑制算法，提升了檢測的性能[3]。在文獻[4]中，作者分析了現(xiàn)有的紅外目標檢測所遇到的困難，針對數(shù)據(jù)不足問題，分別對比了圖片進行一次預(yù)處理并輸入、進行多次預(yù)處理并輸入以及多個預(yù)處理并行輸入網(wǎng)絡(luò)的目標檢測研究，實驗表明進行多次預(yù)處理并行輸入的檢測精度最高。SSD[5]、DSSD[6]、YOLOv3[7]、YOLOv4[8]等在多個網(wǎng)絡(luò)層上進行檢測，提高了網(wǎng)絡(luò)在不同尺度目標的檢測效果。在文獻[9]中針對視頻中小目標難以檢測的難點改進了YOLOv3網(wǎng)絡(luò)，并在Road-garbage Dataset數(shù)據(jù)集上成功地解決了以上問題。之后的DetNet[10]和RFBNet[11]在特征提取網(wǎng)絡(luò)中引入空洞卷積來保證空間分辨率。實驗表明，以上方法都能與主流算法媲美。

另外一個影響紅外目標識別準確率的原因是缺乏高質(zhì)量的數(shù)據(jù)集，針對此問題主要有兩個解決方案：1) 對數(shù)據(jù)進行增強，如翻轉(zhuǎn)，裁剪等。在文獻[5]中，對VOC數(shù)據(jù)集進行隨機剪裁、翻轉(zhuǎn)等預(yù)處理方法進一步提高了SSD對小目標的檢測精度。石超等人[12]針對紅外圖像的特點使用Top-Hat算法對紅外圖像進行預(yù)處理，并使用改進后的ViBe算法成功實現(xiàn)了對船艦?zāi)繕藱z測。2) 進行fine-tuning網(wǎng)絡(luò)訓(xùn)練，將在RGB圖像上進行訓(xùn)練檢測后的權(quán)重設(shè)為初始權(quán)重，將其遷移學(xué)習到紅外目標的檢測從而減少其對數(shù)據(jù)量的需求。在文獻[13]中，作者成功應(yīng)用遷移學(xué)習解決了使用少量樣本進行目標跟蹤的問題。

本文主要目的是實現(xiàn)檢測精度和速度的平衡。采用YOLOv3作為檢測的基礎(chǔ)網(wǎng)絡(luò)對紅外目標進行檢測識別，并在YOLOv3的基礎(chǔ)上根據(jù)紅外數(shù)據(jù)集的特點進行網(wǎng)絡(luò)修改以提高檢測的準確率。其次解決因紅外數(shù)據(jù)集少所帶來的訓(xùn)練容易過擬合的問題。本文的主要貢獻有：

1) 提出一種新型的紅外圖像預(yù)處理方法，并在實驗中驗證了提出的紅外圖像處理方法能提高檢測識別的精度。

2) 針對YOLOv3存在著定位不準的問題，使用GIOU損失函數(shù)代替原來的損失函數(shù)，用以改善該問題，實驗表明目標檢測準確率得以提高。

3) 借鑒空間金字塔思想方法，通過添加SPP(spatial pyramid pooling)模塊將圖像的局部特征和全局特征進行融合，增大了特征圖的感受視野，豐富了特征圖的表達能力。

2 方法原理

2.1 紅外圖像預(yù)處理方法

由于主流的目標檢測算法應(yīng)用的場景都是基于RGB圖像，不適于檢測紅外目標，因此需要將紅外圖像進行預(yù)處理，以使紅外圖像更接近RGB圖像，使得目標檢測算法精度能進一步提升。

假設(shè)有一紅外圖像，用表示圖像的像素，尋找變化函數(shù)使得變化后的圖像輸入到目標檢測算法后能提升檢測精度，進行的預(yù)處理有：

1) 倒置。一般目標檢測所用的RGB圖像都是白天所攝，通常情況下背景較亮，而目標較暗。但是紅外圖像所成像為輻射特性，故一般背景輻射較弱而目標輻射較強。因此，采用倒置操作：

其中：表示灰度范圍為[0,1]的原圖上任意一點的灰度值。

2) 直方圖均衡。與RGB圖像的像素分布不同，紅外圖像的像素分布通常都是偏暗或者偏亮。為了增強紅外圖像的對比度，采用灰度拉伸操作在一定程度上可以均衡灰度分布：

3) 去噪+圖片銳化。由于紅外圖像的信噪比比較低，因此不能直接對圖片進行銳化操作，需要先進行去噪提高信噪比，再進行圖像銳化。先采用5′5大小的中值濾波器，后用高低帽操作進行銳化，其中：

圖1為進行預(yù)處理后的圖像樣例，很容易發(fā)現(xiàn)倒置操作更接近RGB圖像的灰度圖。直方圖均衡提高了圖像的對比度，但是導(dǎo)致了圖像過曝。去噪+圖像銳化直觀上看在一定程度上增加了圖像的邊緣，但是從這些樣例中很難判斷是否會使檢測的效果更好。

2.2 紅外目標檢測網(wǎng)絡(luò)

為了對復(fù)雜環(huán)境下的紅外目標進行快速、準確地檢測，需要采用多層的特征進行融合來提高網(wǎng)絡(luò)對各種尺度目標的特征表達能力。通過對現(xiàn)有的主流目標檢測算法的分析，結(jié)合基于回歸的目標檢測算法速度快且能較好保證檢測精度的優(yōu)勢，本文采用YOLOv3算法來作為紅外目標檢測的基礎(chǔ)網(wǎng)絡(luò)，在其目標函數(shù)中通過加入檢測目標重疊率GIOU進行目標位置的回歸以提升系統(tǒng)對目標的檢測定位精度，通過特征金字塔SPP進行多層特征的融合與多尺度目標的檢測。YOLOv3是Redmon等人提出的系列YOLO算法中的第三個版本，在YOLOv2的基礎(chǔ)上借鑒了FPN思想，在3個尺度上進行預(yù)測，每個尺度對應(yīng)3個候選框，每個候選框輸出“位置偏移”、置信度以及分類結(jié)果，并且使用Darknet-53作為基礎(chǔ)網(wǎng)絡(luò)，其精度超過了大部分主流的基于候選框的算法，而且速度上有很大的優(yōu)勢，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，圖3為SPP模塊，圖4為本文算法的流程圖。

圖1 來自FLIR數(shù)據(jù)集的不同紅外圖片(每行)。(a) 原圖；(b) 倒置；(c) 直方圖均衡；(d) 去噪+圖像銳化

圖2 修改后的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)圖

圖3 SPP模塊

圖4 算法流程圖

從式(7)可知，該方法能夠有效改善YOLOv3定位不準的問題。

另外，由于紅外圖片包括的信息量少，為了進一步提高YOLOv3對特征的表達能力，借鑒了空間金字塔思想，在YOLOv3網(wǎng)絡(luò)中加入SPP模塊，使原用于目標檢測的特征圖經(jīng)過SPP后，將局部特征和全局特征進行融合，豐富了特征圖的表達能力，擴大了特征圖的感受野，有利于檢測圖片中目標尺寸跨度比較大的情況。由于用于目標檢測的公開紅外數(shù)據(jù)集比較少并且包含的數(shù)據(jù)量也很少，因此如果直接輸入YOLOv3進行訓(xùn)練很容易導(dǎo)致過擬合。但是在通過數(shù)據(jù)集的預(yù)處理減少RGB與紅外圖像之間的差別后，使用網(wǎng)絡(luò)對RGB圖像進行目標檢測后的權(quán)重作為檢測紅外目標的初始權(quán)重，可以在減少網(wǎng)絡(luò)對數(shù)據(jù)量要求的同時還能減少網(wǎng)絡(luò)訓(xùn)練的時間。工作過程為：首先，使用RGB圖像進行訓(xùn)練的網(wǎng)絡(luò)模型的權(quán)重文件作為訓(xùn)練紅外圖像的檢測網(wǎng)絡(luò)初始權(quán)重；然后用紅外數(shù)據(jù)集進行訓(xùn)練，得到訓(xùn)練模型，進行保存；最后使用紅外數(shù)據(jù)集中的測試集對訓(xùn)練好的模型進行測試，得出測試結(jié)果。

3 實驗結(jié)果

3.1 實驗細節(jié)

3.1.1 訓(xùn)練環(huán)境

算法基于pytorch框架進行網(wǎng)絡(luò)搭建、訓(xùn)練和測試，在Ubuntu中用python進行實驗。訓(xùn)練平臺采用Intel i7-7700K CPU，GPU為GTX1080Ti，內(nèi)存為12 GB。訓(xùn)練過程中使用GPU進行加速。

表1 使用ImageNet和MS COCO數(shù)據(jù)集權(quán)重訓(xùn)練FLIR紅外數(shù)據(jù)集

3.1.2 數(shù)據(jù)集

本文所使用的數(shù)據(jù)集為FLIR公司于2018年7月發(fā)行的紅外數(shù)據(jù)集，該數(shù)據(jù)集分為訓(xùn)練集和驗證集兩個部分，包含14152張圖像，其中包含待檢測目標的有9241張，包括的目標有人(28151個)，汽車(46692個)，自行車(4457個)，狗(240個)，由于狗的圖片都包含在訓(xùn)練集中，測試時會導(dǎo)致總的檢測精度降低，因此在剔除無效數(shù)據(jù)以及狗的圖像后剩余9220張圖片，并將數(shù)據(jù)集分為訓(xùn)練集(80%)和測試集(20%)進行檢測。拍攝的內(nèi)容為11月至次年的5月期間日間(60%)和夜間(40%)的加利福尼亞州圣巴巴拉市街道和公路上的車輛及行人。

3.1.3 訓(xùn)練參數(shù)

本文分別使用由ImageNet數(shù)據(jù)集和MS COCO數(shù)據(jù)集經(jīng)過YOLOv3模型進行訓(xùn)練后得到的權(quán)重作為紅外目標檢測網(wǎng)絡(luò)YOLOv3的初始權(quán)重進行檢測，檢測結(jié)果如表1所示，因此預(yù)訓(xùn)練模型的參數(shù)使用YOLOv3模型在MS COCO數(shù)據(jù)集下訓(xùn)練得到的參數(shù)權(quán)重作為初始化權(quán)重。優(yōu)化算法使用可以加速SGD并且抑制振蕩的Momentum算法，動量取值0.9；初始學(xué)習率為0.001；Batch size設(shè)置為16；周期數(shù)設(shè)置為300。

3.2 預(yù)處理手段對比

為了嚴格控制實驗條件，所采用的目標檢測網(wǎng)絡(luò)均為YOLOv3，權(quán)重文件均使用MS COCO數(shù)據(jù)集進行預(yù)訓(xùn)練和初始化，實驗結(jié)果如表2所示。

從表2可以看出只有倒置提高了檢測準確率，原因可能是由于FLIR紅外數(shù)據(jù)集中大部分圖片都是復(fù)雜場景且目標的尺度變化比較大，因此導(dǎo)致常規(guī)的預(yù)處理方法可能不合適。

3.3 對比實驗

為了將本文改進的網(wǎng)絡(luò)與目前主流的目標檢測算法網(wǎng)絡(luò)進行比較，采用雙階段目標檢測網(wǎng)絡(luò)中精度較高的Faster R-CNN來進行檢測精度的比較，所有實驗的網(wǎng)絡(luò)結(jié)構(gòu)在表3中列出。對于Faster R-CNN選擇256個候選框進行訓(xùn)練，正負樣本比例為1：3。

表2 不同的預(yù)處理方法輸入到Y(jié)OLOv3 網(wǎng)絡(luò)進行訓(xùn)練的檢測結(jié)果

從表3中Faster R-CNN(VGG16)與Faster R-CNN (Res101)的結(jié)果可以看出，擁有更深層的殘差網(wǎng)絡(luò)結(jié)構(gòu)能夠提取到更多的目標信息，檢測的準確率提升了3.18%。而相對于兩階段的Faster R-CNN來說，YOLOv3的檢測精度可能有所下降，但測試所用時間明顯縮短。用GIOU損失函數(shù)代替YOLOv3原始的損失函數(shù)，可以發(fā)現(xiàn)檢測精度提升了1.68%，提高了網(wǎng)絡(luò)定位準確性。通過Ours(YOLOv3+GIOU)與Ours(YOLOv3+GIOU+SPP)實驗結(jié)果對比可知加入SPP模塊能夠提升網(wǎng)絡(luò)的表達能力，檢測精度提升了7.1%。本文所用方法為采用YOLOv3框架下使用GIOU損失函數(shù)，并在檢測器前加入SPP模塊。經(jīng)相關(guān)實驗表明，在檢測速度下降不是很明顯的情況下，對于車、人和自行車的檢測精度都有明顯的提升。

表3 不同框架對于FLIR數(shù)據(jù)集的檢測結(jié)果。Faster R-CNN IOU閾值為0.3，YOLOv3 IOU閾值為0.6

圖5 (a) 不同網(wǎng)絡(luò)的所有類別檢測速度和精度的結(jié)果；(b) 不同網(wǎng)絡(luò)的汽車檢測速度和精度的結(jié)果； (c) 不同網(wǎng)絡(luò)的人檢測速度和精度的結(jié)果；(d) 不同網(wǎng)絡(luò)的自行車檢測速度和精度的結(jié)果

圖6為部分FLIR數(shù)據(jù)集檢測結(jié)果圖，由圖6(a)列與圖6(b)列的對比可以看出，原始的YOLOv3網(wǎng)絡(luò)對紅外目標進行檢測時，對近距離大目標或邊緣目標的檢測能力較差的情況，并且在目標較小時存在著誤檢和漏檢的問題，而YOLOv3的作者也指出過YOLOv3網(wǎng)絡(luò)對大中型目標會存在檢測精度下降的情況。通過圖6(a)列與圖6(c)列和圖6(d)列的對比圖可以看到，經(jīng)過修改后的網(wǎng)絡(luò)，對于近距離的大目標以及邊緣目標的檢測能力有了明顯的改善，并且對于定位的準確性也有了一定的提升，網(wǎng)絡(luò)預(yù)測的框更接近真實值。而對比圖6(c)列和圖6(d)列，能夠看出在網(wǎng)絡(luò)加了SPP模塊后網(wǎng)絡(luò)的誤檢和錯檢能力降低，在克服了YOLOv3原來的不足后，相比與只修改GIOU損失函數(shù)的方法能夠進一步地提升目標檢測精度。

4 結(jié) 論

針對復(fù)雜場景下紅外目標檢測的成像分辨率低、對比度低的問題，提出了以下解決方法：

圖6 (a) YOLOv3網(wǎng)絡(luò)檢測結(jié)果；(b) 真實值；(c) 使用GIOU損失函數(shù)的YOLOv3網(wǎng)絡(luò)檢測結(jié)果； (d) 使用GIOU損失函數(shù)并添加SPP模塊的YOLOv3網(wǎng)絡(luò)的檢測結(jié)果

首先采用倒置的預(yù)處理手段對紅外圖像進行預(yù)處理，使紅外圖像更加接近RGB圖像，從而能對可見光圖像目標檢測網(wǎng)絡(luò)進行遷移，并采用有限的紅外圖像fine-tuning訓(xùn)練網(wǎng)絡(luò)進一步提升其紅外目標檢測能力；考慮到Y(jié)OLOv3網(wǎng)絡(luò)對大中型目標的檢測精度存在不足，使用GIOU損失函數(shù)以及SPP模塊進一步改進了網(wǎng)絡(luò)，提升了網(wǎng)絡(luò)的檢測能力以及定位精度，在速度損失不是很大的情況下檢測精度提升了近9個點。當然，該網(wǎng)絡(luò)目前仍存在部分不足，如：由于自行車類在整個數(shù)據(jù)集中存在的數(shù)量相比人和車的數(shù)量較少，數(shù)據(jù)分布不均衡的問題，因此網(wǎng)絡(luò)對自行車類別的學(xué)習能力有限，對訓(xùn)練后的檢測網(wǎng)絡(luò)進行測試時存在著漏檢的情況，另外對于目標重疊時檢測效果也較差，接下來的工作是對這兩個方面進行改進。

[1] Hou Y L, Song Y Y, Hao X L,. Multispectral pedestrian detection based on deep convolutional neural networks[C]//, 2018.

[2] Zhu D W. Infrared image plane target detection method based on deep learning[D]. Xi’an: Xidian University, 2018.

朱大煒. 基于深度學(xué)習的紅外圖像飛機目標檢測方法[D]. 西安: 西安電子科技大學(xué), 2018.

[3] Herrmann C, Ruf M, Beyerer J. CNN-based thermal infrared person detection by domain adaptation[J]., 2018, 10643: 1064308.

[4] Hou Z Q, Liu X Y, Yu W S,. Improved algorithm of faster R-CNN based on double threshold-non-maximum suppression[J]., 2019, 46(12): 190159.

侯志強, 劉曉義, 余旺盛, 等. 基于雙閾值-非極大值抑制的Faster R-CNN改進算法[J]. 光電工程, 2019, 46(12): 190159.

[5] Liu W, Anguelov D, Erhan D,. SSD: single shot MultiBox detector[C]//2016, 9905: 21–37.

[6] Fu C Y, Liu W, Ranga A,. DSSD: deconvolutional single shot detector[Z]. arXiv:1701.06659[cs.CV], 2017.

[7] Redmon J, Farhadi A. YOLOv3: an incremental improvement[Z]. arXiv:1804.02767[cs.CV], 2018.

[8] Bochkovskiy A, Wang C Y, Liao H Y M. YOLOv4: optimal speed and accuracy of object detection[Z]. arXiv:2004.10934[cs.CV], 2020.

[9] Jin Y, Zhang R, Yin D. Object detection for small pixel in urban roads videos[J]., 2019, 46(9): 190053.

金瑤, 張銳, 尹東. 城市道路視頻中小像素目標檢測[J]. 光電工程, 2019, 46(9): 190053.

[10] Li Z M, Peng C, Yu G,. DetNet: a backbone network for object detection[Z]. arXiv:1804.06215[cs.CV], 2018.

[11] Liu S T, Huang D, Wang Y H. Receptive field block net for accurate and fast object detection[Z]. arXiv:1711.07767[cs.CV], 2017.

[12] Zhao C M, Chen Z B, Zhang J L. Application of aircraft target tracking based on deep learning[J]., 2019, 46(9): 180261.

趙春梅, 陳忠碧, 張建林. 基于深度學(xué)習的飛機目標跟蹤應(yīng)用研究[J]. 光電工程, 2019, 46(9): 180261.

[13] Shi C, Chen E Q, Qi L. Ship detection from infrared video[J]., 2018, 45(6): 170748.

石超, 陳恩慶, 齊林. 紅外視頻中的艦船檢測[J]. 光電工程, 2018, 45(6): 170748.

[14] Yu J H, Jiang Y N, Wang Z Y,. UnitBox: An advanced object detection network[C]//, 2016.

[15] Rezatofighi H, Tsoi N, Gwak J Y,. Generalized intersection over union: a metric and a loss for bounding box regression[C]//, 2020.

Infrared target detection and recognition in complex scene

Zhang Ruzhen1,2,3, Zhang Jianlin1,2, Qi Xiaoping1,2*, Zuo Haorui1,2, Xu Zhiyong1,2

1Key Laboratory of Beam Control, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;2Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;3University of Chinese Academy of Sciences, Beijing 100049, China

Improved YOLOv3 network for infrared target detection

Overview:In recent years, with the continuous development of computer vision, the ability of target detection based on deep learning has been significantly improved. However, most of the images used by mainstream target detection networks are RGB images, and there are few studies on the direction of infrared target detection. Moreover, the mainstream target detection network has a prominent target detection capability in high quality RGB images, but the target detection performance in infrared images with poor resolution is significantly reduced. Compared with infrared images, visible images have higher imaging resolution and rich target detail information. However, under certain weather conditions, the visible images cannot be obtained. Infrared imaging technology has the characteristics of long range, strong anti-interference ability, high measurement accuracy, not affected by weather, able to work day and night, and strong ability to penetrate smoke. Therefore, infrared imaging technology has been widely used once it was proposed. The demand for infrared target detection is also urgent.

In order to improve the performance of infrared target detection in complex scenes, the following measures are adopted in this paper: First, referring to the field adaptive method, appropriate infrared image preprocessing means are adopted to make the infrared image closer to the RGB image, so as to further improve the detection accuracy by applying the mainstream target detection network. Secondly, mean square error (MSE), a loss function, regards the coordinate value of each point of BBox as an independent variable, which does not consider the integrity of the target frame, andl-is sensitive to the scale of the object, so the algorithm is based on the single-stage target detection network YOLOv3 and replaces the original MSE loss function with GIOU loss function. It is verified by experiments that the detection accuracy on FLIR, an open infrared data set, is significantly improved, and the problem of inaccurate location in the original network is effectively improved. Thirdly, in view of the problem of large span of target size in the FLIR data set, the SPP module is added to enrich the expression ability of feature map and expand the receptive field of feature map by referring to the idea of space pyramid. The experimental results show that the network detection error rate decreases after the addition of SPP module, and after overcoming the original deficiency of the YOLOv3, the target accuracy of detection can be further improved compared with the modification of GIOU loss function only.

Citation: Zhang R Z, Zhang J L, Qi X P,. Infrared target detection and recognition in complex scene[J]., 2020,47(10): 200314

Infrared target detection and recognition in complex scene

Zhang Ruzhen1,2,3, Zhang Jianlin1,2, Qi Xiaoping1,2*, Zuo Haorui1,2, Xu Zhiyong1,2

1Key Laboratory of Beam Control, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;2Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;3University of Chinese Academy of Sciences, Beijing 100049, China

The mainstream target detection network has outstanding target detection capability in high quality RGB images, but for infrared images with poor resolution, the target detection performance decreases significantly. In order to improve the performance of infrared target detection in complex scene, the following measures are adopted in this paper: Firstly, by referring to the field adaption and adopting the appropriate infrared image preprocessing means, the infrared image is closer to the RGB image, so that the mainstream target detection network can further improve the detection accuracy. Secondly, based on the one-stage target detection network YOLOv3, the algorithm replaces the original MSE loss function with the GIOU loss function. It is verified by experiments that the detection accuracy on the open infrared data set the FLIR is significantly improved. Thirdly, in view of the problem of large target size span existing in FLIR dataset, the SPP module is added with reference to the idea of the spatial pyramid to enrich the expression ability of feature map, expand the receptive field of feature map, and further improve the accuracy of target detection.

infrared target detection; deep learning; complex scenario

TP391.41；TN219

A

張汝榛，張建林，祁小平，等. 復(fù)雜場景下的紅外目標檢測[J]. 光電工程，2020，47(10): 200314

10.12086/oee.2020.200314

: Zhang R Z, Zhang J L, Qi X P,Infrared target detection and recognition in complex scene[J]., 2020, 47(10): 200314

2020-08-20；

2020-09-22

國家863計劃資助項目(G158207)

張汝榛(1994-)，女，碩士，主要從事基于深度學(xué)習的紅外目標檢測的研究。E-mail：zrzhen0319@163.com

祁小平(1974-)，男，副研究員，主要從事擴展目標高精度定位技術(shù)和圖像處理算法的優(yōu)化及實時實現(xiàn)的研究。 E-mail：qixiaoping@163.com

Supported by National High Technology Research Development Program China (G158207)

* E-mail: qixiaoping@163.com