基于增強型輕量級網(wǎng)絡的車載熱成像目標檢測方法

易 詩，周思堯，沈 練，朱競銘

基于增強型輕量級網(wǎng)絡的車載熱成像目標檢測方法

易 詩，周思堯，沈 練，朱競銘

（成都理工大學信息科學與技術(shù)學院，四川 成都 610059）

車載熱成像系統(tǒng)不依賴光源，對天氣狀況不敏感，探測距離遠，對夜間行車有很大輔助作用，熱成像自動目標檢測對夜間智能駕駛具有重要意義。車載熱成像系統(tǒng)所采集的紅外圖像相比可見光圖像具有分辨率低，遠距離小目標細節(jié)模糊的特點，且熱成像目標檢測方法需考慮車輛移動速度所要求的算法實時性以及車載嵌入式平臺的計算能力。針對以上問題，本文提出了一種針對熱成像系統(tǒng)的增強型輕量級紅外目標檢測網(wǎng)絡（Infrared YOLO，I-YOLO），該網(wǎng)絡采用（Tiny you only look once，Tiny-YOLO V3）的基礎結(jié)構(gòu)，根據(jù)紅外圖像特點，提取淺層卷積層特征，提高紅外小目標檢測能力，使用單通道卷積核，降低運算量，檢測部分使用基于CenterNet結(jié)構(gòu)的檢測方式以降低誤檢測率，提高檢測速度。經(jīng)實際測試，Enhanced Tiny-YOLO目標檢測網(wǎng)絡在熱成像目標檢測方面，平均檢測率可達91%，檢測平均速度達到81Fps，訓練模型權(quán)重96MB，適宜于車載嵌入式系統(tǒng)上部署。

車載熱成像系統(tǒng)；夜間智能駕駛；I-YOLO紅外目標檢測網(wǎng)絡；CenterNet結(jié)構(gòu)；車載嵌入式平臺

0 引言

車載熱成像系統(tǒng)目前在一些高端汽車上作為夜間駕駛輔助設備有所部署。由于熱成像系統(tǒng)依據(jù)物體的溫差進行成像，不受光源影響，同時受到天氣變化的影響較小，且具備較長的探測距離[1]，因此車載熱成像對于高級駕駛輔助系統(tǒng)（advanced driving assistance system, ADAS）的夜間行車模塊具備很強的應用價值[2-3]。結(jié)合近年來高度發(fā)展的機器視覺，人工智能深度學習技術(shù)，希望提出一種針對車載熱成像系統(tǒng)的高效目標檢測方法。

目標檢測領域，得益于深度卷積神經(jīng)網(wǎng)絡[4]（convolutional neural network, CNN）的算法，目標檢測的準確率得到大幅提升。學術(shù)界涌現(xiàn)出一系列基于R-CNN的檢測算法，如SPP-Net（Spatial Pyramid Pooling Net）[5]，F(xiàn)ast-RCNN[6]，F(xiàn)aster-RCNN[7-9]等，檢測精度得到大幅度提升。同時出現(xiàn)了區(qū)別于R-CNN系列兩步檢測方法的端到端檢測算法，如SSD（Single Shot Multi Box Detector）[10]和YOLO（You Only Look Once）[11]等，檢測速度得到較大提升。其中YOLO系列目標檢測框架相對現(xiàn)行其他目標檢測框架具備檢測精度高，速度快的優(yōu)點[12]。

對于車載熱成像系統(tǒng)而言，目標檢測方法需要考慮以下3個方面的問題：

1）對紅外圖像中遠距離低分辨率，細節(jié)模糊的小目標識別檢測精度。目前車載熱成像儀在兼顧成本，視場角與探測識別距離情況下普遍采用19mm鏡頭，384×288分辨率機芯（奧迪，寶馬，奔馳等高端車型所部署的車載熱成像成像系統(tǒng)）。該配置成本較低，同時成像視場較大，可在100m距離上提供可識別人體紅外圖像，200m距離上提供可識別機動車紅外圖像，而較遠距離上成像像素較低，普遍為10×10像素級別。

2）在車載動態(tài)環(huán)境中目標檢測方法的實時性。車載熱成像機芯刷新頻率普遍為50Hz，可在行車速度低于60km/h的情況下實時提供流暢紅外圖像，紅外視頻傳輸速率為25fps，因此目標檢測算法要求平均處理速度需高于30fps。

3）網(wǎng)絡的精簡程度，是否適宜部署于車載嵌入式系統(tǒng)。目前最新可用于車載嵌入式系統(tǒng)的邊緣計算ASIC如Google Edge TPU，要求網(wǎng)絡輕量級，模型權(quán)重大小在100MB之內(nèi)，方可部署。

結(jié)合以上3個問題考慮，如使用YOLO系列中檢測精度較高，滿足紅外小目標檢測精度的YOLOV3目標檢測網(wǎng)絡，存在網(wǎng)絡結(jié)構(gòu)復雜，模型權(quán)重大（234MB），實時性低的缺點，無法部署于邊緣計算系統(tǒng)。如使用YOLO系列中針對移動端，邊緣計算領域的輕量級目標檢測網(wǎng)絡Tiny-YOLOV3[13]將提高檢測實時性，網(wǎng)絡輕量級，模型權(quán)重大?。?4MB）適宜部署車載嵌入式系統(tǒng)，但該類輕量級目標檢測網(wǎng)絡對紅外小目標檢測精度較低，難以滿足車載熱成像目標檢測率方面要求。

針對車載熱成像系統(tǒng)目標檢測的實時性與輕量化需求，本文基于目前目標檢測效果良好的輕量級目標檢測網(wǎng)絡Tiny-YOLOV3基礎框架，針對紅外圖像特點提出了一種增強型輕量級紅外目標檢測框架I-YOLO，該網(wǎng)絡構(gòu)架分為主干網(wǎng)絡與檢測網(wǎng)絡兩部分：主干網(wǎng)絡在Tiny-YOLOV3基礎結(jié)構(gòu)上進行增強設計，根據(jù)紅外小目標低像素特點，提取淺層卷積層特征，構(gòu)造淺層卷積特征輸出層，增加原網(wǎng)絡特征金字塔網(wǎng)絡尺度，提高紅外小目標檢測率，同時根據(jù)紅外圖像格式，在主干網(wǎng)絡中第一個卷積層使用單通道卷積核，降低運算量。檢測層參考文獻[14]使用CenterNet的檢測方式以降低目標的誤檢率，提高檢測實時性。

1 車載熱成像目標檢測網(wǎng)絡

1.1 Tiny-YOLOV3目標檢測模型

Tiny-YOLOV3目標檢測模型為YOLO系列中針對移動端與邊緣計算設計的輕量級目標檢測網(wǎng)絡，特點為精簡、高實時性、檢測精度較高。

Tiny-YOLOV3主干網(wǎng)絡為YOLOV3的簡化，由13個卷積層，6個最大池化層，1個維度連接層構(gòu)成，結(jié)構(gòu)如圖1所示。

Tiny-YOLOV3檢測層根據(jù)輸入的圖像數(shù)據(jù)，在2個尺度上運用回歸分析法輸出圖像數(shù)據(jù)的多個滑動窗口位置及該窗口中檢測到的目標類別，設置多個錨點框（anchor box）以檢測目標。

Tiny-YOLOV3的分類函數(shù)使用獨立的logistic分類器，分類器表達式如下：

式中：t、t、t、t表示模型的預測輸出；c和c表示網(wǎng)絡柵格的坐標；p和p表示預測前邊框的尺寸；b、b、b和b就是預測得到的邊框的中心的坐標和尺寸。

圖1 Tiny-YOLOV3網(wǎng)絡結(jié)構(gòu)

在每一個預測尺度上Tiny-YOLOV3檢測層將輸入圖像分成×個單元格，每個單元格的神經(jīng)元負責檢測落入該單元格的對象，最多可包括兩個預測對象的滑動窗口。為目標置信度，它反映當前滑動窗口是否包含檢測對象及其預測準確性的估計概率，計算如下式：

＝o×I(2)

圖2 Tiny-YOLOV3檢測原理

Fig.2 Detection principle of Tiny-YOLOV3

1.2 I-YOLO增強型輕量級紅外目標檢測網(wǎng)絡

Tiny-YOLOV3目標檢測網(wǎng)絡具備輕量級，高實時性的優(yōu)點，適宜部署移動端，嵌入式系統(tǒng)，邊緣計算單元，但針對車載熱成像遠距離小目標分辨率低（10×10像素級別），細節(jié)模糊的特點，該檢測網(wǎng)絡需進一步強化其目標檢測性能，且根據(jù)紅外圖像單通道特點，可進一步降低運算量，提高實時性。本文提出的I-YOLO增強型輕量級紅外目標檢測模型，在Tiny-YOLOV3目標檢測網(wǎng)絡基礎上進行主干網(wǎng)絡與檢測網(wǎng)絡的改進，提升其目標檢測性能，降低計算量，提升實時性。

對于遠距離低分辨率紅外小目標的特征提取，Tiny-YOLOV3目標檢測網(wǎng)絡淺層卷積Conv4層能夠較為有效地表征紅外小目標的語義信息，而Conv3層感受野太小，Conv5層則感受野太大，包含一定的背景噪聲干擾。因此，為提升紅外小目標檢測能力，I-YOLO目標檢測網(wǎng)絡將Tiny-YOLOV3中Maxpool3 層更換為Conv4層，并且為了減少無用參數(shù)，增加了Conv5層的壓縮維度；除此以外，在Tiny-YOLOV3模型的基礎上增加上采樣層Upsample2，將Conv5層和Upsample2在通道維度上進行連接操作，Conv7通過Upsample2進行升采樣操作，從而形成特征金字塔增加的一個特征圖層，特征金字塔網(wǎng)絡由Tiny-YOLOV3的13×13和26×26像素提升為13×13、26×26和52×52像素的3檢測尺度結(jié)構(gòu)。同時，由于紅外圖像的單通道特點，為了減少運算量并提高算法的實時檢測能力，可通過在第一個卷積層中采用單通道卷積核的方式來實現(xiàn)。而對于檢測網(wǎng)絡模塊，使用CenterNet結(jié)構(gòu)以替換原有YOLO層，對于檢測方法進行優(yōu)化，降低誤檢率，進一步提高實時性。I-YOLO網(wǎng)絡結(jié)構(gòu)如圖3所示。

圖3 I-YOLO網(wǎng)絡結(jié)構(gòu)

為進一步提高紅外圖像中紅外目標的檢測精度，提高算法的實時檢測能力，有效減少運算量，檢測網(wǎng)絡模塊采用了CenterNet結(jié)構(gòu)，用無錨點方式（anchor free）代替原有基于錨點（anchor box）的YOLO檢測層。使改進后的目標檢測網(wǎng)絡更適合檢測紅外小目標。

CenterNet是ICCV2019大會上提出的目標檢測最新方法[14]，其基本思想為：因為缺少對于相關裁剪區(qū)域的附加監(jiān)督，致使基于錨點（anchor box）的方法會出現(xiàn)大量有誤的邊界框，因此原Tiny-YOLOV3在檢測層中需要大量的anchor box進行目標檢測。而CenterNet是一個ont-stage的關鍵點檢測模型，在檢測時不預先生成候選框進行分類，而是直接通過三元組（中心點及上下對角點），在降低運算量提高實時性的同時提高檢測準確率及召回率。I-YOLO所使用的CenterNet通過Cascade corner pooling及Center pooling來豐富3個關鍵點處的信息提取。本文使用CenterNet檢測結(jié)構(gòu)如圖4所示。

圖4 CenterNet網(wǎng)絡結(jié)構(gòu)

CenterNet網(wǎng)絡中的Center Pooling模型由2個Conv-BN-ReLU，1個Left Pooling，1個Right Pooling，1個Top Pooling以及1個Bottom Pooling組成，可以有效地感知proposal的中心區(qū)域。Cascade corner pooling模型由2個Conv-BN-ReL，1個Left Pooling，1個Conv-BN以及1個Top Pooling構(gòu)成，其目的是增加原始的corner pooling以感知內(nèi)部信息的功能。以尺度＝13為例CenterNet檢測原理如圖5所示。

在使用CenterNet進行檢測時，邊界框的檢測情況受中心區(qū)域面積的影響較大，為了適應不同尺寸的目標物，這里采取尺度敏感區(qū)域，以生成可以適應不同大小目標的中心區(qū)域。比如，如果要對一個邊界框的保留情況做出判斷，lx，ly代表邊界框左上角的點，rx,ry代表邊界框右下角的點。這里定義一個中心區(qū)域，設左上角的點的位置坐標為(l,l)，右下角點的位置坐標為(r,r)。這些參數(shù)定義滿足如下式：

式中：代表中心區(qū)域的大?。槠鏀?shù)）。當邊界框小于150時＝3，大于150時＝5。實驗證明，此設置對于單通道紅外小目標圖像仍然適用。

I-YOLO在原Tiny-YOLOV3目標檢測網(wǎng)絡基礎上增加了一定數(shù)量卷積層以提取低層卷積特征增加檢測尺度，在檢測模塊使用了CenterNet結(jié)構(gòu)從而在一定程度上提升檢測算法的實時性并降低誤檢率。因此在原目標檢測網(wǎng)絡基礎上加深了網(wǎng)絡結(jié)構(gòu)，使得訓練模型權(quán)重由34MB增加至96MB，而相比小目標檢

圖5 CenterNet檢測原理

測性能良好的YOLO V3目標檢測網(wǎng)絡模型權(quán)重234MB，I-YOLO屬于輕量級目標檢測網(wǎng)絡，其模型權(quán)重大小可滿足在嵌入式系統(tǒng)與邊緣計算單元上的部署。除此以外，對于尺度在8×8像素級別以上的紅外小目標，I-YOLO可產(chǎn)生較好的目標檢測效果。機動車紅外圖像小目標尺度普遍在10×10像素級別，因此，I-YOLO適用于車載熱成像的目標識別。

2 實驗結(jié)果及分析

2.1 實驗平臺

實驗硬件數(shù)據(jù)采集平臺為氧化釩384×288分辨率機芯，19mm鏡頭的戶外熱成像探測儀，輸出為單通道16bit數(shù)據(jù)。車載紅外熱成像數(shù)據(jù)采集平臺如圖6所示。

圖6 車載紅外熱成像平臺

模型訓練與測試使用硬件平臺為Core i7-8750H 2.2GHz處理器＋16GB內(nèi)存＋Geforce GTX 1080 8GB顯卡。軟件平臺使用Win10＋tensorflow1.9.0＋CUDA9.2＋VS2017＋Open CV4.0。

2.2 評價標準

為評價I-YOLO在車載熱成像目標檢測應用方面性能，采用平均準確率p，平均誤檢率f，平均漏檢率m，平均運算速度o，以及模型權(quán)重大小w作為評價指標，其中p、f、m計算如下式：

式中：TP表示視紅外圖像中正確檢測出的目標數(shù)量；FN表示紅外圖像中沒有檢測出來的目標數(shù)量；FP表示紅外圖像中誤檢出來的目標數(shù)量；TN表示紅外圖像中沒有誤檢的目標數(shù)量；o與w由實際測試及訓練得到。

2.3 實驗數(shù)據(jù)集及模型訓練

實驗訓練數(shù)據(jù)集使用了2018年傳感器系統(tǒng)開發(fā)商FLIR公司發(fā)布的自動駕駛開源紅外熱成像數(shù)據(jù)集，該數(shù)據(jù)集匯集了12000個白天和夜間場景的熱圖像。該紅外熱成像數(shù)據(jù)集的應用將有助于駕駛員或未來的自動駕駛車輛適應黑暗，霧，煙等具有挑戰(zhàn)性的環(huán)境。

按5:1比例將該數(shù)據(jù)集劃分為訓練集與測試集，標注需要檢測的4類目標。FLIR部分數(shù)據(jù)集如圖7所示。

圖7 FLIR紅外數(shù)據(jù)集

在模型訓練環(huán)節(jié)，對數(shù)據(jù)集中的圖像樣本進行預處理，產(chǎn)生416×416像素的圖像，訓練時選取100幅的圖像數(shù)量作為小批量訓練的樣本數(shù)量閾值，權(quán)重在每一批圖像訓練之后得到一次更新。將衰減率設為0.0005，動量設置為0.9，學習率初始化為0.001，對I-YOLO網(wǎng)絡進行20000次迭代，保存等間隔的10次模型版本，最終選取精度最高的模型。

整個訓練的目標損失函數(shù)計算公式如下：

經(jīng)過20000次迭代，模型平均損失降至0.2以下。如圖8所示。

圖8 模型訓練平均損失

2.4 測試結(jié)果及分析

實際測試使用車載熱成像在夜間城市街道實地拍攝的紅外視頻，視頻總長400幀，包括需要檢測的4類感興趣目標，為對比I-YOLO性能指標，采用相同數(shù)據(jù)集與訓練參數(shù)進行訓練的SSD300×300，RetinaNet-50-500，Tiny-YOLOV3，YOLOV3模型進行對比測試，隨機選取測試視頻中3幀檢測結(jié)果進行對比，測試效果如圖9所示。

圖9中，(a)為SSD300×300檢測結(jié)果，(b)為RetinaNet-50-500檢測結(jié)果，(c)為Tiny-YOLOV3檢測結(jié)果，(d)為YOLOV3檢測結(jié)果，(e)為本文方法檢測結(jié)果。由實際檢測結(jié)果可見，SSD300×300在121幀檢測出轎車6輛，行人1人，在318幀，檢測出轎車6輛，卡車1輛，在326幀，檢測出轎車5輛，平均檢測速度13FPS。RetinaNet-50-500在121幀檢測出轎車7輛，行人1人，在318幀，檢測出轎車7輛，卡車1輛，在326幀，檢測出轎車5輛，平均檢測速度7FPS。Tiny-YOLOV3在121幀檢測出轎車6輛，行人1人，在318幀，檢測出轎車6輛，卡車1輛，在326幀，檢測出轎車4輛，平均檢測速度62FPS。YOLOV3在121幀檢測出轎車7輛，行人1人，在318幀，檢測出轎車7輛，卡車1輛，在326幀，檢測出轎車5輛，卡車1輛，平均檢測速度21FPS。本文方法在121幀檢測出轎車7輛，行人1人，在318幀，檢測出轎車7輛，卡車1輛，在326幀，檢測出轎車5輛，平均檢測速度81fps。根據(jù)以上結(jié)果分析得出，本文方法在檢測精度上十分接近YOLOV3，與RetinaNet-50-500相當，超過SSD300×300，Tiny-YOLOV3，檢測實時性上超過所有對比檢測方法。

檢測模型對整個測試紅外視頻中4類感興趣目標的平均準確率p，平均誤檢率f，平均漏檢率m，統(tǒng)計分析如表1所示。

表1 4類檢測目標統(tǒng)計數(shù)據(jù)分析

由表1的統(tǒng)計結(jié)果對比可見，本文提出的I-YOLO紅外目標檢測網(wǎng)絡在對車載熱成像系統(tǒng)中4類主要檢測目標的平均準確率，平均漏檢率方面相對SSD300×300，Tiny-YOLOV3表現(xiàn)更為優(yōu)良，與RetinaNet-50-500相當，非常接近YOLOV3，平均誤檢率方面相對SSD300×300，RetinaNet-50-500，Tiny-YOLOV3，YOLOV3均表現(xiàn)更為優(yōu)良。

在整個測試紅外視頻中，對檢測模型平均準確率p，平均誤檢率f，平均漏檢率m，平均運算速度o，以及模型權(quán)重大小w的綜合統(tǒng)計分析如表2所示。

表2 綜合性能測試對比分析

由表2綜合測試對比分析結(jié)果可見，I-YOLO紅外目標檢測網(wǎng)絡平均檢測率達到Y(jié)OLOV3目標檢測網(wǎng)絡95%，超出SSD300×300目標檢測網(wǎng)絡24%，RetinaNet-50-500目標檢測網(wǎng)絡1%，Tiny-YOLOV3目標檢測網(wǎng)絡25%，平均誤檢率相對SSD300×300目標檢測網(wǎng)絡降低5%，相對RetinaNet-50-500目標檢測網(wǎng)絡降低9%，相對YOLOV3目標檢測網(wǎng)絡降低10%，相對Tiny-YOLOV3目標檢測網(wǎng)絡降低6%，平均漏檢率超出YOLOV3目標檢測網(wǎng)絡6%，相對SSD300 300目標檢測網(wǎng)絡降低19%，相對RetinaNet-50-500目標檢測網(wǎng)絡降低1%，相對Tiny-YOLOV3目標檢測網(wǎng)絡降低20%，平均運算速度上高于SSD300×300網(wǎng)絡68fps，高于RetinaNet-50-500網(wǎng)絡74fps，高于YOLOV3網(wǎng)絡60fps，高于Tiny-YOLOV3網(wǎng)絡19fps，模型權(quán)重大小上為96MB，大大低于SSD300×300，RetinaNet-50-500，YOLOV3網(wǎng)絡模型權(quán)重，高于Tiny-YOLOV3網(wǎng)絡模型權(quán)重，由于Tiny-YOLOV3檢測精度不能滿足對紅外目標的檢測。因此I-YOLO在紅外目標檢測精度，檢測實時性與模型大小幾項指標上滿足車載熱成像系統(tǒng)實時目標檢測的需求，適宜于部署Edge-TPU類型的最新邊緣計算嵌入式設備上。

3 結(jié)論

文中針對車載熱成像系統(tǒng)對紅外目標檢測的需求，提出了一種增強型輕量級紅外目標檢測網(wǎng)絡模型I-YOLO，該網(wǎng)絡基于Tiny-YOLOV3的構(gòu)架，在基礎網(wǎng)絡部分，為提高紅外小目標檢測率，提取低層卷積特征增加構(gòu)建檢測尺度，根據(jù)紅外圖像單通道輸出特點在網(wǎng)絡第一個卷積層中采用單通道卷積核從而減少了網(wǎng)絡的計算量，在檢測部分搭建CenterNet檢測結(jié)構(gòu)，進一步提高算法實時性，降低誤檢率。通過紅外數(shù)據(jù)集制作，模型訓練，實際測試的結(jié)果分析，本文提出的I-YOLO目標檢測框架對于車載熱成像中的目標檢測方面在平均檢測率，平均漏檢率上優(yōu)于Tiny-YOLOV3，接近于YOLOV3，在平均誤檢率，實時性上優(yōu)于YOLOV3與Tiny-YOLOV3。權(quán)重模型精簡，適宜于在新一代車載嵌入式系統(tǒng)中部署，輔助夜間智能駕駛。

[1] 崔美玉. 論紅外熱像儀的應用領域及技術(shù)特點[J]. 中國安防, 2014(12): 90-93.

CUI Meiyu. On the Application Field and Technical Characteristics of Infrared Thermal Imager[J]., 2014(12): 90-93.

[2] 范延軍. 基于機器視覺的先進輔助駕駛系統(tǒng)關鍵技術(shù)研究[D]. 南京: 東南大學, 2016.

FAN Yanjun. Research on Key Technologies of Advanced Auxiliary Driving System Based on Machine Vision[D]. Nanjing: Southeast University, 2016.

[3] 楊陽, 楊靜宇. 基于顯著性分割的紅外行人檢測[J]. 南京理工大學學報: 自然科學版, 2013, 37(2): 251-256.

YANG Yang, YANG Jingyu. Infrared Pedestrian Detection Based on Significance Segmentation[J].: Natural Science Edition, 2013, 37(2): 251-256.

[4] LE Cun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]., 1998, 86(11): 2278- 2324.

[5] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//, 2014: 580-587.

[6] HE K M, ZHANG X Y, REN S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]., 2015, 37(9): 1904-1916.

[7] Girshick R. Fast R-CNN[C]//, 2015: 1440-1448.

[8] REN S Q, HE K M, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]., 2017, 39(6): 1137-1149.

[9] LI Y, HE K, SUN J. R-FCN: Object detection via region-based fully convolutional networks[C]//, 2016: 379-387.

[10] LIU W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//, 2016: 21-37.

[11] Redmon J, Farhadi A. YOLO9000: Better, faster, stronger[C]//, 2017: 6517- 6525.

[12] Redmon J, Farhadi A. Yolov3: An incremental improvement[EB/OL]. (2018-04-08)[2018-09-07]. https://arxiv.org/abs/1804.02767

[13] ZHANG Y, SHEN Y L, ZHANG J. An improved Tiny-YOLOv3 pedestrian detection algorithm[J]., 2019(183): 17–23.

[14] DUAN Kaiwen, BAI Song, XIE Lingxi, et al. CenterNet: Keypoint triplets for object detection[C]//2019, 2019: 6569-6578.

[15] 吳天舒, 張志佳, 劉云鵬, 等. 基于改進SSD的輕量化小目標檢測算法[J]. 紅外與激光工程, 2018, 47(7): 703005-0703005(7).

WU Tianshu, ZHANG Zhijia, LIU Yunpeng, et al. A lightweight small object detection algorithm based on improved SSD[J]., 2018, 47(7): 703005-0703011.

[16] 唐聰, 凌永順, 鄭科棟, 等. 基于深度學習的多視窗SSD目標檢測方法[J]. 紅外與激光工程, 2018, 47(1): 126003-126011.

TANG Cong, LING Yongshun, ZHENG Kedong, et al. Object detection method of multi-view SSD based on deep learning[J]., 2018, 47(1): 126003-0126011.

[17] 張祥越, 丁慶海, 羅海波, 等. 基于改進LCM的紅外小目標檢測算法[J]. 紅外與激光工程, 2017, 46(7): 726002-0726008.

ZHANG Xiangyue, DING Qinghai, LUO Haibo, et al. Infrared dim target detection algorithm based on improved LCM[J]., 2017, 46(7): 726002-0726008.

[18] 張小榮, 胡炳梁, 潘志斌, 等. 基于張量表示的高光譜圖像目標檢測算法[J]. 光學精密工程, 2019, 27(2): 488-498.

ZHANG Xiaorong, HU Bingliang, PAN Zhibin,et al. Tensor Representation Based Target Detection for Hyperspectral Imagery[J]., 2019, 27(2): 488-498.

[19] 王洪慶, 許廷發(fā), 孫興龍, 等. 目標運動軌跡匹配式的紅外-可見光視頻自動配準[J]. 光學精密工程, 2018, 26(6): 1533-1541.

WANG Hongqing, XU Tingfa, SUN Xinglong, et al. Infrared-visible video registration with matching motion trajectories of targets[J]., 2018, 26(6): 1533-1541.

Vehicle-based Thermal Imaging Target Detection Method Based on Enhanced Lightweight Network

YI Shi，ZHOU Siyao，SHEN Lian，ZHU Jinming

(College of Information Science and Technology, Chengdu University of Technology, Chengdu 610059, China)

A vehicle-based thermal imaging system does not depend on a light source, is insensitive to weather, and has a long detection distance. Automatic target detection using vehicle-based thermal imaging is of great significance for intelligent night driving. Compared with visible images, the infrared images acquired by a vehicle-based thermal imaging system based on existing algorithms have low resolution, and the details of small long-range targets are blurred. Moreover, the real-time algorithm performance required to address the vehicle speed and computing ability of the vehicle-embedded platform should be considered in the vehicle-based thermal imaging target detection method. To solve these problems, an enhanced lightweight infrared target detection network (I-YOLO) for a vehicle-based thermal imaging system is proposed in this study. The network uses a tiny you only look once(Tiny-YOLOV3) infrastructure to extract shallow convolution-layer features according to the characteristics of infrared images to improve the detection of small infrared targets. A single-channel convolutional core was used to reduce the amount of computation. A detection method based on a CenterNet structure is used to reduce the false detection rate and improve the detection speed. The actual test shows that the average detection rate of the I-YOLO target detection network in vehicle-based thermal imaging target detection reached 91%, while the average detection speed was81 fps, and the weight of the training model was96MB, which is suitable for deployment on a vehicle-based embedded system.

vehicle thermal imaging system, night intelligent driving, I-YOLO infrared target detection network, CenterNet structure, vehicle embedded platform

TN919.5

A

1001-8891(2021)03-0237-09

2018-09-11；

2018-12-21.

易詩（1983-），男，四川成都人，副教授，高級實驗師，主要從事機器視覺研究，深度學習算法研究，信號與信息處理研究。E-mail：549745481@qq.com。

國家自然科學基金項目（61771096）；國家大學生創(chuàng)新創(chuàng)業(yè)項目（S201910616142）。