• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于Focal Loss 的多特征融合地物小目標(biāo)檢測*

      2021-02-03 07:40:34宋建輝劉硯菊
      火力與指揮控制 2021年1期
      關(guān)鍵詞:尺度損失準(zhǔn)確率

      宋建輝,饒 威,于 洋,劉硯菊

      (沈陽理工大學(xué)自動(dòng)化與電氣工程學(xué)院,沈陽 110159)

      0 引言

      無人機(jī)具有機(jī)動(dòng)性強(qiáng)、制造成本低、拍攝圖像分辨率高[1]等優(yōu)勢,使無人機(jī)航拍在農(nóng)作物面積估算、遇險(xiǎn)搜救、故障設(shè)備檢測等領(lǐng)域得到廣泛應(yīng)用[2-4]。但在搜救過程中,由于無人機(jī)飛行高度高,無人機(jī)對地檢測目標(biāo)是所占整體像素比例不超過0.4%的小目標(biāo)[5],并且目標(biāo)特征不明顯、目標(biāo)成像有噪點(diǎn)、目標(biāo)有遮擋,使得一般的檢測算法不適用于無人機(jī)影像。同時(shí)無人機(jī)在飛行過程中的機(jī)械抖動(dòng),讓航拍影像中的小目標(biāo)檢測更是難上加難。

      目前,以R-CNN[6]、Fast R-CNN[7]、Faster R-CNN[8]為代表的基于分類的目標(biāo)檢測算法在識別準(zhǔn)確率上遠(yuǎn)遠(yuǎn)超過了傳統(tǒng)算法[9-12]。R-CNN 算法通過選擇性搜索[13]得到了多個(gè)候選區(qū)域框,然后對每個(gè)候選區(qū)域框進(jìn)行卷積,最后采用支持向量機(jī)(Support Vector Machine,SVM)算法得到每個(gè)區(qū)域的分類結(jié)果。但R-CNN 對每一個(gè)候選區(qū)域分別進(jìn)行一次卷積,導(dǎo)致運(yùn)行量巨大,限制了算法的性能。Fast R-CNN 直接對整個(gè)圖像進(jìn)行卷積,讓運(yùn)算速度大大提高,但Fast R-CNN 依舊采用選擇性搜索(Selective Search)算法產(chǎn)生候選區(qū)域框,這使得網(wǎng)絡(luò)產(chǎn)生大量冗余的候選框,同時(shí)也增加了網(wǎng)絡(luò)的負(fù)擔(dān)。

      Faster R-CNN 用RPN (Region Proposal Network)模塊替代Selective Search 算法,加快候選區(qū)域框產(chǎn)生速度。同時(shí)RPN 可在GPU 上運(yùn)行并與檢測模塊共享參數(shù),使網(wǎng)絡(luò)速度進(jìn)一步提升。三者在VOC2007 數(shù)據(jù)測試集上檢測速度、精度對比如表1。mAP 是多類樣本的AP 均值。

      表1 檢測速度、精度對比表

      Faster R-CNN 維持同等精度的同時(shí)速度提升了10 倍。但Faster-RCNN 對小目標(biāo)檢測效果不夠理想,其原因在于對淺層特征的利用不夠充分。對此,Lin[14]提出了FPN 模型(特征金字塔模型),F(xiàn)PN 模型提出自頂向下的路徑與橫向連接,使網(wǎng)絡(luò)實(shí)現(xiàn)多尺度預(yù)測與對淺層特征的有效利用,經(jīng)過實(shí)驗(yàn)測試,在COCO 數(shù)據(jù)集小目標(biāo)檢測APs 值上提升了5.9 %。

      目前,不少學(xué)者已利用FPN 模型與其他模型相結(jié)合的方式,實(shí)現(xiàn)了更高精度的目標(biāo)檢測。劉云[15]等通過將FPN 與Faster R-CNN 模型相結(jié)合,同時(shí)通過平衡RPN 錨點(diǎn)實(shí)現(xiàn)了對街景行人的有效檢測。劉恩佑[16]將FPN 與SSD[17]相結(jié)合,使網(wǎng)絡(luò)對行人與車輛的檢測精度提升了4%。

      針對航拍圖像中的車輛小目標(biāo),在融合FPN 思想的Faster R-CNN 模型(FFRCNN)基礎(chǔ)上,本文提出一種基于特征金字塔的地物車輛小目標(biāo)檢測方法——FM-FFRCNN 模型。該模型結(jié)合多特征融合與Focal Loss 損失函數(shù),實(shí)現(xiàn)對無人機(jī)地物車輛小目標(biāo)的有效檢測。

      1 FFRCNN 模型及改進(jìn)

      1.1 FFRCNN 模型

      FFRCNN 模型是在Faster R-CNN 的網(wǎng)絡(luò)提取特征階段融合了FPN 結(jié)構(gòu)的模型。首先將VGG-16模型替換為Resnet-50 模型;然后在Resnet-50 的基礎(chǔ)上分別提取C2、C3、C4、C5 層后,利用橫向連接構(gòu)建特征金字塔,得到P2、P3、P4、P5、P6 特征層,使底層網(wǎng)絡(luò)具有高度抽象的語義信息;再次,將特征金字塔送入RPN 網(wǎng)絡(luò)中,進(jìn)行初步篩選得到較好的候選框;最終,將篩選出的候選框在Fast R-CNN 模型中進(jìn)行進(jìn)一步分類與回歸,得到檢測模型。

      1.2 改進(jìn)的FFRCNN 網(wǎng)絡(luò)模型

      針對實(shí)際無人機(jī)對地場景中車輛目標(biāo)較小、尺度不一、分布不均勻的情況,在網(wǎng)絡(luò)結(jié)構(gòu)方面采用多特征融合的方式,構(gòu)建M-FFRCNN 模型。該模型可有效增加網(wǎng)絡(luò)對目標(biāo)的敏感度和網(wǎng)絡(luò)魯棒性。

      針對正負(fù)樣本不平衡導(dǎo)致無法有效訓(xùn)練正樣本問題,在損失函數(shù)方面采用Focal Loss 損失函數(shù),構(gòu)建F-FFRCNN 模型。該損失函數(shù)提升了模型對目標(biāo)難例樣本關(guān)注度,有效抑制背景樣本損失并提高網(wǎng)絡(luò)精度。

      最后,將原模型與多特征融合、損失函數(shù)三者結(jié)合,得到最終的改進(jìn)模型——FM-FFRCNN 模型。改進(jìn)模型對應(yīng)表如表2 所示?!啊獭北硎驹诖四P蜕蠎?yīng)用了該改進(jìn)方法。

      表2 改進(jìn)模型對應(yīng)表

      1.2.1 結(jié)構(gòu)改進(jìn)——多特征融合

      FFRCNN 模型利用頂層特征層與3×3 的卷積核進(jìn)行卷積后預(yù)測目標(biāo)位置信息。在真實(shí)場景中,目標(biāo)不僅尺寸多樣,而且還存在目標(biāo)角度多樣及目標(biāo)遮擋等情況,而單一尺度過濾器盡管通過多尺度預(yù)測方式緩解了小目標(biāo)特征像素特征少的情況,但依然不能很好地適應(yīng)所有尺寸特征。借鑒Inception[18]模型中多特征融合方式,即在RPN 模塊3×3 的卷積核處并聯(lián)一個(gè)1×1 和一個(gè)5×5 的卷積核,通過并聯(lián)不同尺度卷積核的方式對P2~P6 特征層進(jìn)行遍歷,使網(wǎng)絡(luò)擴(kuò)大感受野,得到更多的特征選取方式,最終達(dá)到提升對目標(biāo)尺度與目標(biāo)位置適應(yīng)性的目的。多尺度融合模型如圖1 所示。多尺度模型成為M-FFRCNN 模型。

      1.2.2 損失函數(shù)改進(jìn)——Focal Loss

      圖1 M-FFRCNN 模型結(jié)構(gòu)圖

      FFRCNN 采用標(biāo)準(zhǔn)交叉熵?fù)p失函數(shù)[19](Cross Entropy,CE),CE 具體公式如式(2)、式(3)。式中,pt表示樣本概率,y 為1 表示預(yù)測正確的樣本,otherwise 表示預(yù)測錯(cuò)誤的樣本。改進(jìn)了損失函數(shù)的FFRCNN 模型稱為F-FFRCNN 模型。

      FFRCNN 粗篩出正負(fù)樣本各128 個(gè),當(dāng)正樣本數(shù)量不足128 時(shí),用負(fù)樣本填充。在這些樣本中存在大量的背景樣本和少量的特征豐富正樣本,它們被正確識別的準(zhǔn)確度較高,識別概率pt接近于1,這類樣本被稱為簡單樣本(easy example)。在計(jì)算損失函數(shù)時(shí),easy example 中背景樣本占有比例較大,單個(gè)背景的交叉熵盡管不大,但背景樣本數(shù)量多,使背景樣本對loss 的累加貢獻(xiàn)超過其他概率稍小的目標(biāo)樣本,導(dǎo)致正樣本無法被有效學(xué)習(xí),降低網(wǎng)絡(luò)準(zhǔn)確度。

      針對正負(fù)樣本不均衡問題,本課題在FFRCNN模型基礎(chǔ)上采用Focal Loss[20]損失函數(shù)。Focal Loss具體公式如式(3)所示。式中,γ 為可調(diào)聚焦參數(shù),1-pt為調(diào)制因子,α 為加權(quán)因子。

      從表3 可以看出,采用Focal Loss 作為損失函數(shù)的樣本,pt值越高,損失值與損失貢獻(xiàn)度越低,即easy example 的損失值幾乎可以忽略不計(jì),而當(dāng)pt較低或者偏低時(shí),樣本往往存在錯(cuò)判且損失值較大。pt較低或偏低的這類樣本,被稱為難例樣本(hard example)。深度學(xué)習(xí)利用迭代損失函數(shù)與反向傳播進(jìn)行更新權(quán)值,并側(cè)重學(xué)習(xí)損失值較大的目標(biāo)。Focal Loss 通過加強(qiáng)hard example 的損失值,削減easy example 的損失值,使網(wǎng)絡(luò)側(cè)重對hard example的學(xué)習(xí),實(shí)現(xiàn)了對hard example 的有效訓(xùn)練。

      表3 CE/Focal Loss 對比圖

      2 實(shí)驗(yàn)結(jié)果與分析

      針對目前空對地車輛小目標(biāo)數(shù)據(jù)集不夠的情況,采用手工標(biāo)注的方式進(jìn)行擴(kuò)充數(shù)據(jù)集,數(shù)據(jù)集主要來源于2 處:1)對ISPRS_BENCHMAEX 遙感影像數(shù)據(jù)集裁剪不定大小的圖像;2)利用GTA5 游戲?qū)︿浧列畔⑦M(jìn)行逐幀篩選得到高清航拍車輛圖片。本數(shù)據(jù)共3 041 張圖像,遙感圖像每張平均15個(gè)目標(biāo),仿真圖像每張平均4 個(gè)目標(biāo),共約20 832個(gè)目標(biāo),目標(biāo)像素大小約24×24~150×150,每個(gè)目標(biāo)都是占整體像素約0.08 %~0.4 %的小目標(biāo),數(shù)據(jù)集中共1 類對象:car。

      實(shí)驗(yàn)平臺(tái):系統(tǒng)為Ubuntu16.04,運(yùn)行環(huán)境為Tensorflow1.10,GPU 為NVIDIA GeForce GTX1080,內(nèi)存16 GB。

      通過對比無人機(jī)航拍圖像檢測結(jié)果來衡量改進(jìn)后的Faster R-CNN 網(wǎng)絡(luò)的小目標(biāo)檢測性能,并給出對應(yīng)的參數(shù)指標(biāo)。

      2.1 網(wǎng)絡(luò)訓(xùn)練

      網(wǎng)絡(luò)訓(xùn)練開始時(shí)學(xué)習(xí)率為0.001,在60 000 步、80 000 步時(shí)分別降為0.000 1、0.000 01,F(xiàn)M-FFRCNN 模型準(zhǔn)確度與損失變化如圖2 所示。

      圖2 FM-FFRCNN 模型準(zhǔn)確率與損失變化圖

      圖2(a)為FM-FFRCNN 模型訓(xùn)練準(zhǔn)確率曲線圖,圖2(b)為FM-FFRCNN 模型損失曲線。網(wǎng)絡(luò)經(jīng)過9 萬次迭代后,訓(xùn)練準(zhǔn)確率、損失曲線波動(dòng)大致收斂,最終準(zhǔn)確率趨近于0.95,網(wǎng)絡(luò)損失下降至約0.63。從參數(shù)變化趨勢分析,生成的模型權(quán)重結(jié)果較為理想。

      2.2 評價(jià)指標(biāo)

      模型采用平均精度(Average Precision,AP)作為評價(jià)指標(biāo)。AP 值為P-R 曲線所圍面積,P 為準(zhǔn)確率(Precision),R 為召回率(Recall)。AP、P 和R 計(jì)算公式如式(4)~式(6)所示。其中TP 為被正確分類的正樣本個(gè)數(shù),F(xiàn)P 為被錯(cuò)誤分類的正樣本個(gè)數(shù),F(xiàn)N 為被錯(cuò)誤分類的負(fù)樣本個(gè)數(shù)。

      2.3 實(shí)驗(yàn)結(jié)果

      為測試真實(shí)場景中模型對小目標(biāo)的檢測效果,利用大疆無人機(jī)在距地100 m 的高空對地面車輛進(jìn)行隨機(jī)拍攝,采集共64 張圖像,將圖像輸入至FFRCNN 模型、F-FFRCNN 模型、M-FFRCNN 模型與FM-FFRCNN 模型中進(jìn)行檢測,計(jì)算對目標(biāo)的召回率與準(zhǔn)確率。各模型AP 曲線對比圖如圖3 所示。從圖3 看出,改進(jìn)的三模型較FFRCNN 模型AP 值提升明顯,其中FM-FFRCNN 模型最好,F(xiàn)-FFRCNN模型次之。

      圖3 各模型AP 曲線對比圖

      各模型在實(shí)際場景下檢測效果對比圖如圖4所示。圖4(a)圖像為待檢測圖像,紅色標(biāo)記框?yàn)檐囕v所在區(qū)域;圖4(b)圖像為FFRCNN 網(wǎng)絡(luò)檢測圖像的局部放大圖;圖4(c)圖像為M-FFRCNN 模型檢測圖像的局部放大圖。圖4(d)圖像為F-FFRCNN模型檢測圖像的局部放大圖。圖4(e) 圖像為FM-FFRCNN 模型檢測圖像的局部放大圖。圖中數(shù)字表示該類樣本的信心度,信心度越高,樣本正確識別概率越高。檢測過程將原圖進(jìn)行統(tǒng)一縮小為800*600,單個(gè)目標(biāo)像素約20*25。

      圖4 各模型實(shí)際場景下檢測效果圖

      從圖4 上看,F(xiàn)FRCNN 盡管采用了FPN 結(jié)構(gòu),但漏檢情況較嚴(yán)重,而改進(jìn)后的FFRCNN 則對此有很大的改善,提升了小目標(biāo)檢測性能。通過對比圖4(b)~圖4(e)的4 張圖發(fā)現(xiàn)3 個(gè)現(xiàn)象:1)F-FFRCNN能夠降低漏檢率,但同時(shí)檢測信心度會(huì)有所降低;2)FFRCNN 檢測圖像中卡車未被檢測出來,但M-FFRCNN 能效檢測出圖中的卡車,證明多尺度融合能改善網(wǎng)絡(luò)對尺度的適應(yīng)性;3)FM-FFRCNN 在Focal Loss 的基礎(chǔ)上,融入了多尺度融合,使信心度有所改善,其檢測效果最好。

      文中利用FFRCNN 與M-FFRCNN 模型、F-FFRCNN 模型、FM-FFRCNN 模型分別對無人機(jī)隨機(jī)采集的64 張圖像進(jìn)行檢測,并計(jì)算“car”類的AP 值。AP 越高則表示評價(jià)指標(biāo)越高,檢測綜合性能越好。評價(jià)指標(biāo)對比表如表4 所示。FM-FFRCNN 模型較FFRCNN 模型在召回率上由87.6 %提升為97.0 %,在準(zhǔn)確率上由15.5 % 提升為17.6 %,平均精度由73.7 % 提升為93.4 %。

      表4 評價(jià)指標(biāo)對比表

      從表中可看出,F(xiàn)M-FFRCNN 模型效果最好,與原先FFRCNN 模型相比,對小目標(biāo)的召回率提升了9.4 %,準(zhǔn)確率提升了2.1 %,對小目標(biāo)檢測的平均精度提高了19.7 %。

      3 結(jié)論

      本文提出一種基于改進(jìn)FPN 和Faster R-CNN的小目標(biāo)檢測模型,即FM-FFRCNN 模型,并針對真實(shí)情況進(jìn)行實(shí)地檢測。FM-FFRCNN 借鑒了Focal Loss 損失函數(shù)法與Inception 中多特征融合思想,針對車輛目標(biāo)較小、尺度不一、分布不均勻的問題,利用多特征融合方式有效改進(jìn)了尺度適應(yīng)性。針對原算法正負(fù)樣本不平衡的問題,將原先CE 損失函法替換為Focal Loss。FM-FFRCNN 模型與原先網(wǎng)絡(luò)相比,AP 值提升了19.7 %,效果顯著。

      猜你喜歡
      尺度損失準(zhǔn)確率
      少問一句,損失千金
      胖胖損失了多少元
      乳腺超聲檢查診斷乳腺腫瘤的特異度及準(zhǔn)確率分析
      健康之家(2021年19期)2021-05-23 11:17:39
      不同序列磁共振成像診斷脊柱損傷的臨床準(zhǔn)確率比較探討
      2015—2017 年寧夏各天氣預(yù)報(bào)參考產(chǎn)品質(zhì)量檢驗(yàn)分析
      財(cái)產(chǎn)的五大尺度和五重應(yīng)對
      玉米抽穗前倒伏怎么辦?怎么減少損失?
      高速公路車牌識別標(biāo)識站準(zhǔn)確率驗(yàn)證法
      宇宙的尺度
      太空探索(2016年5期)2016-07-12 15:17:55
      一般自由碰撞的最大動(dòng)能損失
      太原市| 合阳县| 沧源| 香格里拉县| 永胜县| 金湖县| 土默特左旗| 秦安县| 微山县| 林周县| 桑植县| 宜州市| 宁陵县| 平顶山市| 黄山市| 马尔康县| 泽库县| 突泉县| 长宁区| 民县| 新野县| 丘北县| 固安县| 隆尧县| 武强县| 新晃| 仙游县| 神农架林区| 灵璧县| 楚雄市| 都江堰市| 体育| 镇安县| 泽普县| 文水县| 铜陵市| 手机| 武鸣县| 交城县| 晋城| 阳原县|