• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看

      ?

      改進(jìn)FSSD的差速器殼體表面缺陷實(shí)時檢測算法

      2022-11-20 13:59:58王國東唐金亮陳特歡
      關(guān)鍵詞:差速器殼體卷積

      王國東,唐金亮,陳特歡,崔 杰

      1.寧波大學(xué) 機(jī)械工程與力學(xué)學(xué)院,浙江 寧波 315211

      2.浙江華朔科技股份有限公司,浙江 寧波 315800

      隨著人們生活水平的提高,汽車已逐步走進(jìn)了千家萬戶,成為人們?nèi)粘I钪衅毡榈慕煌üぞ?。差速器作為調(diào)整車輪轉(zhuǎn)速的重要零部件,主要由行星齒輪、半軸齒輪、差速器殼體、行星齒輪軸等零件組成[1]。其中,差速器殼體由于有著較高的輸出功率和啟動扭矩,需要承受來自差速器各部分的載荷,因此成為汽車底盤承載扭矩的關(guān)鍵主承力構(gòu)件。然而在殼體鑄件的生產(chǎn)過程中,由于加工環(huán)境惡劣,不可避免地產(chǎn)生氣孔、裂紋與表面劃痕等缺陷,嚴(yán)重影響殼體的表面質(zhì)量與物理機(jī)械性能。因此,差速器殼體表面的缺陷檢測成為生產(chǎn)過程中的關(guān)鍵環(huán)節(jié),但由于缺陷和圖像背景的復(fù)雜性,使得檢測難度大大增加。

      隨著目標(biāo)檢測與人工智能的發(fā)展,基于深度學(xué)習(xí)的方法能夠適應(yīng)各種復(fù)雜的真實(shí)環(huán)境,具有較好的魯棒性和準(zhǔn)確率,已經(jīng)普遍應(yīng)用于目標(biāo)檢測中[2]?;谏疃葘W(xué)習(xí)的目標(biāo)檢測算法分為兩大類:一類是基于區(qū)域建議的兩階段(two-stage)算法,最具代表的是R-CNN(region convolutional neural network)[3]、Fast R-CNN[4]和Faster R-CNN[5],這類算法的檢測精度較高,但是檢測速度較慢。另一類是基于回歸的單階段(one-stage)算法,代表是YOLO(you only look once)[6]和SSD(single shot multibox detector)[7]以及各種改進(jìn)版本。這類算法由于不需要預(yù)先提取目標(biāo)候選區(qū)域,檢測速度大大提高,能夠做到實(shí)時檢測,但檢測精度一般低于兩階段算法。其中,SSD結(jié)合了YOLO算法的回歸思想和Faster R-CNN的anchor機(jī)制,但SSD算法由于缺少深淺層信息的特征交流,對于小目標(biāo)的檢測效果還有待進(jìn)一步地提高。

      辛鵬等[8]在SSD算法的基礎(chǔ)上提出了一種多層特征融合的飛機(jī)檢測方法,將深層和淺層的特征經(jīng)過采樣后在同一尺度進(jìn)行融合,提高了遙感圖像中的目標(biāo)檢測精度,但該方法對小目標(biāo)的檢測效果較差。馬露等[9]提出一種基于FSSD(feature fusion single shot multibox detector)的跌倒檢測算法,移除了FSSD網(wǎng)絡(luò)結(jié)構(gòu)中的Conv7特征層,雖然最終的檢測精度有所提高,但檢測速度仍然較慢,不具有較好的實(shí)時性。Fu等[10]提出了DSSD(deconvolutional single shot detector)算法,將ResNet-101作為基礎(chǔ)骨干網(wǎng)絡(luò),并使用反卷積層來增加大量的上下文信息,有效提升了檢測精度,但整體的特征融合策略較為復(fù)雜,增加了大量的預(yù)測模塊和反卷積模塊,嚴(yán)重犧牲了檢測速度,也難以滿足實(shí)時應(yīng)用的需求。

      在差速器殼體等鑄件缺陷檢測方面,王永祥[11]提出一種基于機(jī)器視覺的差速器殼體識別方法,將差速器殼體彩色圖像進(jìn)行圖像濾波和邊緣檢測處理,研究兩種圖像形狀特征提取算法的同時改進(jìn)BP算法,能夠較準(zhǔn)確地識別差速器殼體。但該方法只是針對差速器殼體進(jìn)行型號識別,識別目標(biāo)的形狀體積較大,并未針對差速器殼體表面缺陷這類小目標(biāo)的物體進(jìn)行識別,且在檢測時易受到差速器形狀和不同復(fù)雜真實(shí)環(huán)境的影響而降低準(zhǔn)確率,模型魯棒性不高。陳輝等[12]提出一種針對鑄件汽缸缺陷的超聲波檢測方法,該方法對儀器、探頭等進(jìn)行選擇,確定了缺陷反射波形特征的判定方式,對于鑄件缺陷的檢測具有一定有效性。但這類傳統(tǒng)檢測方法只適用于一些精度要求不高的場合,且檢測原理有限,可檢測缺陷的種類也受到了限制。Ferguson等[13]通過將目標(biāo)檢測結(jié)構(gòu)中的特征提取層進(jìn)行分離,結(jié)合遷移學(xué)習(xí)對X射線圖像中的鑄件缺陷進(jìn)行識別定位,提高了鑄件缺陷的檢測精度。但該方法檢測精度仍然較低,且模型訓(xùn)練過程復(fù)雜,計(jì)算成本較大。目前將深度學(xué)習(xí)網(wǎng)絡(luò)應(yīng)用在差速器殼體表面缺陷檢測的研究較少,研究利用深度學(xué)習(xí)對差速器殼體表面缺陷進(jìn)行實(shí)時且準(zhǔn)確的檢測具有重要的實(shí)用價(jià)值。

      針對在加工過程中差速器殼體表面產(chǎn)生的各種缺陷,本文在FSSD算法的基礎(chǔ)上進(jìn)行改進(jìn),提出一種改進(jìn)的FSSD_MobileNet檢測模型,提升對差速器殼體表面不同位置和形狀的小目標(biāo)缺陷的檢測能力,實(shí)現(xiàn)在復(fù)雜真實(shí)環(huán)境下的高精度實(shí)時檢測。本文的主要貢獻(xiàn)如下:

      (1)將FSSD算法的基礎(chǔ)骨干網(wǎng)絡(luò)VGG16(visual geometry group-16)[14]替換成MobileNet網(wǎng)絡(luò),在確保檢測精度的同時進(jìn)一步提升檢測速度,保證算法的實(shí)時檢測性能。

      (2)將MobileNet網(wǎng)絡(luò)中的Conv3、Conv5和Conv11深度可分離卷積層進(jìn)行特征融合,提升對小目標(biāo)缺陷的檢測效果。

      (3)根據(jù)汽車差速器殼體表面缺陷尺寸的特點(diǎn),調(diào)整默認(rèn)框的尺寸,使得默認(rèn)框和真實(shí)框在訓(xùn)練過程中能更好地匹配,進(jìn)一步提升對小目標(biāo)缺陷的檢測精度。

      (4)采用RMSProp(root mean square propagate)梯度下降算法,優(yōu)化損失函數(shù)在更新中存在擺動幅度過大的問題,從而加快網(wǎng)絡(luò)的收斂。

      實(shí)驗(yàn)結(jié)果表明相比于Faster R-CNN、SSD、FSSD和YOLOv5等算法,本文所提出的FSSD_MobileNet網(wǎng)絡(luò)模型能準(zhǔn)確且更快速地自動檢測汽車差速器殼體表面的缺陷,滿足實(shí)際生產(chǎn)中的準(zhǔn)確性和實(shí)時性要求。

      1 基礎(chǔ)網(wǎng)絡(luò)模型與性能分析

      1.1 SSD與FSSD

      SSD是利用單個深度神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測的算法模型。由于淺層特征層圖適合檢測小目標(biāo),深層特征圖適合檢測大目標(biāo)[15],SSD采用特征金字塔的多尺度級聯(lián)結(jié)構(gòu)進(jìn)行預(yù)測,有效改善了單層特征圖檢測算法的檢測精度。

      但由圖1可知這些特征層之間是相互獨(dú)立的,缺少特征信息的交流,因此不同特征圖所蘊(yùn)含的信息并未融合在一起。淺層特征缺乏深層特征所具有的語義信息,使得SSD算法對小目標(biāo)物體的檢測并不理想。

      FSSD在SSD的基礎(chǔ)上進(jìn)行改進(jìn),網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2。FSSD[16]基于FPN[17]的思想建立了一種將淺層特征與深層特征相融合的特征融合模塊,但它們的特征融合方式不同。

      從圖3(a)可以看出,F(xiàn)PN網(wǎng)絡(luò)是以一種反向生成特征金字塔的方式來進(jìn)行特征融合,需要做多次通道拼接[18],并且新生成的每層特征圖僅能融合同層和高層的特征,效率不高,同時降低了檢測速度。從圖3(b)可以看出,F(xiàn)SSD網(wǎng)絡(luò)則是通過調(diào)整特征圖的大小,在SSD的基礎(chǔ)上添加了一個高效的、輕量級的特征融合模塊,一次性對多個不同尺度不同層次的特征圖進(jìn)行融合,并從融合的特征中生成特征金字塔。

      由上述可知再加入了高效的特征融合模塊之后,F(xiàn)SSD網(wǎng)絡(luò)具有了將淺層細(xì)節(jié)特征和深層語義特征結(jié)合在一起的能力,因此在復(fù)雜工作環(huán)境下,能夠進(jìn)一步提升準(zhǔn)確率,從而更好地檢測汽車差速器殼體表面的缺陷目標(biāo)。

      1.2 MobileNet網(wǎng)絡(luò)模型

      MobileNet[19]網(wǎng)絡(luò)模型是一種輕量級深度神經(jīng)網(wǎng)絡(luò)。MobileNet的基本單元是深度可分離卷積,將一個卷積操作分解成深度卷積和逐點(diǎn)卷積,深度卷積使用3×3卷積核的深層卷積層,而逐點(diǎn)卷積使用1×1卷積核的普通卷積層。深度卷積和逐點(diǎn)卷積在輸出結(jié)果的時候都加入了修正線性單元(rectified linear unit,ReLU)和BatchNorm(batch normalizaton)層,相比于傳統(tǒng)卷積提高了網(wǎng)絡(luò)的收斂速度和提取特征的穩(wěn)定性。

      2 本文FSSD_MobileNet網(wǎng)絡(luò)模型及改進(jìn)

      2.1 基礎(chǔ)骨干網(wǎng)絡(luò)優(yōu)化

      VGG16作為FSSD的基礎(chǔ)骨干網(wǎng)絡(luò),權(quán)重參數(shù)較大,適合于解決COCO(common objects in context)[20]、PASCAL VOC(pattern analysis,statistical modelling and computational learning visual object classes)[21]這類大型數(shù)據(jù)集的目標(biāo)檢測任務(wù)。但本文差速器殼體表面缺陷的種類和數(shù)量均遠(yuǎn)小于這類大型公開數(shù)據(jù)集,且只需判斷檢測目標(biāo)是否是差速器殼體表面缺陷,因此可以簡化模型,在保證檢測精度的同時可以有效縮減模型收斂的時間,進(jìn)一步加快檢測速度。本文把FSSD原有VGG16基礎(chǔ)骨干網(wǎng)絡(luò)替換成輕量級網(wǎng)絡(luò)MobileNet,替換后的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖4。

      在替換完FSSD的基礎(chǔ)骨干網(wǎng)絡(luò)之后,由圖4虛線框可以直觀地看出,MobileNet網(wǎng)絡(luò)中的深度可分離卷積已經(jīng)替代了圖2傳統(tǒng)FSSD結(jié)構(gòu)中的普通卷積層,不僅網(wǎng)絡(luò)前端的特征融合模塊由深度可分離卷積構(gòu)成,網(wǎng)絡(luò)后端的6個不同尺度特征圖所組成的特征金字塔同樣由深度可分離卷積構(gòu)成。

      傳統(tǒng)卷積核與深度可分離卷積核對比如圖5,假設(shè)用DK×DK表示卷積核長寬,用DF×DF表示輸入的特征圖尺寸,分別用M、N表示輸入和輸出的通道數(shù),卷積參數(shù)計(jì)算對比如下:

      傳統(tǒng)卷積計(jì)算量:DK×DK×M×N×DF×DF

      深度可分離卷積的計(jì)算量為深度卷積和逐點(diǎn)卷積計(jì)算量之和。

      深度卷積計(jì)算量:DK×DK×1×M×DF×DF

      逐點(diǎn)卷積計(jì)算量:1×1×M×N×DF×DF

      深度可分離卷積計(jì)算總量:DK×DK×1×M×DF×DF+1×1×M×N×DF×DF

      計(jì)算量縮?。?/p>

      一般情況下N會比較大,對于傳統(tǒng)3×3的卷積核來說,深度可分離卷積的計(jì)算力會提升9倍左右。因此FSSD_MobileNet網(wǎng)絡(luò)模型的關(guān)鍵改進(jìn)在于結(jié)合了FSSD和MobileNet這兩種網(wǎng)絡(luò)類型的優(yōu)勢,在保持原有FSSD特征融合結(jié)構(gòu)的基礎(chǔ)上顯著減少了計(jì)算量,降低了資源消耗,使模型的檢測速度大大提升。

      2.2 特征融合結(jié)構(gòu)優(yōu)化

      在替換完骨干網(wǎng)絡(luò)后,檢測速度得到了極大改善,但仍然存在小目標(biāo)缺陷檢測能力不佳的問題。原因是目標(biāo)缺陷尺寸在原圖中所占的長寬比例普遍較小。由圖6可以看出小目標(biāo)缺陷是所需檢測的主要對象,因此需要針對本數(shù)據(jù)集的尺寸特點(diǎn)進(jìn)一步改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)。

      為了進(jìn)一步提升對小目標(biāo)檢測的效果,本模型將MobileNet中Conv3、Conv5和Conv11這3個不同尺度的深度可分離卷積層的特征圖進(jìn)行Concate融合。FSSD_MobileNet算法模型結(jié)構(gòu)如圖4所示,前端的MobileNet網(wǎng)絡(luò)負(fù)責(zé)初步提取目標(biāo)特征,后端的6個深度可分離卷積特征圖則是對提取好的目標(biāo)特征進(jìn)行多尺度特征檢測。Conv3特征圖的尺寸為75×75,Conv5特征圖的尺寸為38×38,Conv11特征圖的尺寸為19×19。針對Conv3和Conv11分別通過圖4中下采樣(downsample)和上采樣(upsample)操作,將特征圖尺寸調(diào)整為與Conv5相同的38×38,再將它們與Conv5特征圖進(jìn)行Concate特征融合,融合之后的通道數(shù)為768。

      特征融合后接著進(jìn)行批量標(biāo)準(zhǔn)化(BatchNorm)操作,這時通道數(shù)由768減小到512,通過下采樣生成新的特征金字塔,并最終在新生成的特征金字塔上預(yù)測目標(biāo)。特征融合模塊的數(shù)學(xué)表示如下:

      式中,Xi表示原始特征金字塔上的各層特征圖;ζi表示在融合前,每層特征圖Xi為縮放至同一尺度需進(jìn)行的轉(zhuǎn)換函數(shù);φf表示特征融合函數(shù);Xf表示特征融合后的特征圖;φp表示基于融合后的Xf生成新的特征金字塔的函數(shù);X′p表示新生成的特征金字塔;φc,l表示通過新生成的特則金字塔來預(yù)測loss和class的函數(shù)。

      相比于傳統(tǒng)FSSD特征融合模塊中的Conv7_2卷積層,F(xiàn)SSD_MobileNet特征融合模塊中的Conv3深度可分離卷積層的特征圖的尺寸更大,感受野更小,能夠獲得更多的細(xì)節(jié)信息,因此更有利于檢測小目標(biāo),保證較快檢測速度的同時,針對實(shí)際復(fù)雜環(huán)境下的變化目標(biāo)具有更好的魯棒性。

      2.3 默認(rèn)框尺寸優(yōu)化

      為了檢測圖片中不同位置和大小的目標(biāo),提升對目標(biāo)形狀檢測的魯棒性,F(xiàn)SSD在不同尺度的特征圖中選取不同尺度和寬高比的默認(rèn)框。這些默認(rèn)框是由一系列固定大小的邊界框組成?;贔SSD默認(rèn)框的產(chǎn)生原理,F(xiàn)SSD_MobileNet的默認(rèn)框是從6層深度可分離卷積輸出的特征圖產(chǎn)生,這6個特征圖的尺寸分別為38×38、19×19、10×10、5×5、3×3和1×1。默認(rèn)框的個數(shù)分別為4、6、6、6、4、4,默認(rèn)框?qū)捀弑纫来螢閇2]、[2,3]、[2,3]、[2,3]、[2]、[2]。每張?zhí)卣鲌D上的默認(rèn)框的尺度計(jì)算如下:

      式中,Sk表示默認(rèn)框尺寸占原圖的比例,Smax表示默認(rèn)框尺寸占原圖比例的最大值,Smin表示默認(rèn)框尺寸占原圖比例的最小值,m表示特征圖的個數(shù)。

      原始SSD和FSSD將Smax和Smin的值 設(shè) 為0.9和0.2,得到各特征層的默認(rèn)框最小尺寸分別為30、60、111、162、213、264,各特征層的默認(rèn)框最大尺寸分別為60、111、162、213、264、315。然而這些原始默認(rèn)框尺寸主要是針對大型數(shù)據(jù)集中的各類物體而設(shè)計(jì)的,各類物體之間所具有的目標(biāo)特征差異較大,因此原始默認(rèn)框尺寸具有廣泛性而不具有專一性。并且從圖6可以得知,本文數(shù)據(jù)集中的汽車差速器殼體表面的缺陷普遍較小,因此原始默認(rèn)框尺寸并不適用于小尺度目標(biāo)占比較大的汽車差速器殼體表面缺陷檢測,在訓(xùn)練過程中默認(rèn)框和真實(shí)框不能較好地匹配,需要對默認(rèn)框尺寸進(jìn)行調(diào)整。

      為了使本數(shù)據(jù)集中的缺陷實(shí)現(xiàn)更好的檢測效果,本文將Smax和Smin的值設(shè)置為0.95和0.15,調(diào)整后各特征層的默認(rèn)框最小尺寸分別為22.5、45、105、165、225、285,各特征層的默認(rèn)框最大尺寸分別為45、105、165、225、385、345。實(shí)驗(yàn)結(jié)果表明,在改進(jìn)默認(rèn)框尺寸后,汽車差速器殼體表面缺陷的檢測精度得到了進(jìn)一步提高,尤其針對小目標(biāo)缺陷。

      2.4 梯度下降算法優(yōu)化

      梯度下降作為常用的計(jì)算梯度的方法,其目的是通過迭代收斂找到損失函數(shù)的最小值。隨機(jī)梯度下降(stochastic gradient descent,SGD)算法由于不同權(quán)值參數(shù)的梯度的數(shù)量級相差較大,很難找到一個全局的學(xué)習(xí)步長來進(jìn)行參數(shù)的更新,收斂速度較慢的同時也難以選擇合適的學(xué)習(xí)率來進(jìn)行訓(xùn)練。

      為了改善上述問題并修正損失函數(shù)在更新中較大的學(xué)習(xí)步長,本模型采用RMSProp(root mean square propagate)[22]梯度下降算法來進(jìn)行優(yōu)化。RMSProp算法不像傳統(tǒng)梯度下降算法孤立地更新步長,而是聯(lián)系之前每次的梯度變化情況進(jìn)行更新。算法首先計(jì)算前n次梯度平方的指數(shù)加權(quán)平均值,然后在更新權(quán)重W和偏置b時,將第n次的梯度除以對應(yīng)平均值的平方根,得到學(xué)習(xí)步長的更新比例,根據(jù)此比例去得到新的學(xué)習(xí)步長,相當(dāng)于對梯度做了歸一化操作,實(shí)現(xiàn)了梯度的均方根傳遞。具體的迭代更新過程如下:

      式中,dW和db表示損失函數(shù)反向傳播時所求得的梯度;dW2和db2是梯度的逐元素平方操作;SdW和Sdb表示梯度平方的指數(shù)加權(quán)平均值;α表示網(wǎng)絡(luò)的全局學(xué)習(xí)率;β是控制指數(shù)加權(quán)平均的一個衰減系數(shù);ε是用來防止分母為0并維持?jǐn)?shù)值穩(wěn)定性而添加的常數(shù)。

      由上述迭代過程可以看出,RMSProp算法首先通過式(10)和(11)將每輪的梯度值進(jìn)行逐元素平方操作,再使用指數(shù)加權(quán)平均值進(jìn)行累積。如此一來,在式(12)和(13)進(jìn)行權(quán)重W和偏置b的更新時,將當(dāng)前梯度除以指數(shù)加權(quán)累積值的平方根,即可有效調(diào)節(jié)某一梯度值較大或較小所造成的在更新過程中的大幅度振蕩。

      當(dāng)dW或db很大時,除以之前累積的相應(yīng)較大的平方根后,減少了W或b的變化幅度,則W或b的更新減慢;當(dāng)dW或db很小時,除以之前累積的相應(yīng)較小的平方根后,加大了W或b的變化幅度,則W或b的更新加快。因此,RMSProp算法可以修正更新過程中的異常振蕩幅度,使得損失函數(shù)的更新路徑更加精準(zhǔn),進(jìn)而可以減少算法收斂過程中的迭代次數(shù),加快網(wǎng)絡(luò)的收斂。

      RMSProp算法在設(shè)置全局學(xué)習(xí)率之后,每次通過全局學(xué)習(xí)率逐參數(shù)地除以經(jīng)過衰減系數(shù)控制的累積梯度平方和的平方根,動態(tài)調(diào)整權(quán)重和偏置的學(xué)習(xí)率。因此RMSProp梯度下降算法能夠調(diào)整不同參數(shù)方向上的步長,繼而減小參數(shù)更新過程中的振蕩幅度,同時加速或至少不減慢前往損失函數(shù)最小值的路徑上的學(xué)習(xí),即使在使用較大學(xué)習(xí)率的情況下,網(wǎng)絡(luò)也能夠較快地收斂。

      3 實(shí)驗(yàn)及結(jié)果分析

      3.1 數(shù)據(jù)集

      本文選用MV-CA060-10GM工業(yè)相機(jī)和開孔背光源進(jìn)行圖像采集工作,采集過程中考慮到實(shí)際檢測環(huán)境下的汽車差速器具有不同的擺放位置,從而進(jìn)行多角度多方位的靜態(tài)拍攝,以保持樣本的多樣性。采集后圖像的分辨率是3 072×2 048像素,圖像格式為jpg。采用樣本標(biāo)注軟件LabelImg對圖像中的缺陷進(jìn)行標(biāo)注,標(biāo)注缺陷位置的同時標(biāo)注類別為“defect”。為了防止模型由于訓(xùn)練樣本數(shù)量較少而出現(xiàn)的過擬合現(xiàn)象,原始圖像樣本為300張,采用數(shù)據(jù)增強(qiáng)中的鏡像和翻轉(zhuǎn)方式,將原始圖像的數(shù)量擴(kuò)增至5 415張,并將標(biāo)好的樣本數(shù)據(jù)按9∶1的比例分為兩部分,按照PASCAL VOC的格式構(gòu)建4 873張訓(xùn)練集以及542張測試集。

      最后將上述含有缺陷真實(shí)框位置和類別信息的xml文件,與原始圖像一起放入FSSD_MobileNet檢測程序的相應(yīng)路徑中,以完成數(shù)據(jù)集的準(zhǔn)備工作。

      3.2 評價(jià)指標(biāo)

      本文分別采用mAP(mean average precision)和FPS(frame per second)作為檢測缺陷精度和速度的評價(jià)指標(biāo)。其中,mAP和各類別AP(average precision)的具體數(shù)值與準(zhǔn)確率P(precision)和召回率R(recall)有關(guān),具體計(jì)算過程如下:

      式中,TP表示所有預(yù)測圖像中實(shí)際包含缺陷且被檢測出是缺陷的數(shù)量,即為正檢總數(shù);FP表示實(shí)際不包含缺陷但被檢測出是缺陷的數(shù)量,即為誤檢總數(shù);FN表示實(shí)際包含缺陷但被檢測出不是缺陷的數(shù)量,即為漏檢總數(shù)。

      每個檢測類別都可以根據(jù)準(zhǔn)確率P和召回率R畫一條P關(guān)于R的曲線,該曲線在0到1范圍內(nèi)與坐標(biāo)軸圍成的面積即為該類別的AP值,可以表示為:

      式中,P(R)表示準(zhǔn)確率P關(guān)于召回率R的函數(shù);AP表示為每一類別的召回率R從0到1的平均準(zhǔn)確率。

      將各個類別的AP值取平均,即為最終的mAP值,計(jì)算公式如下:

      式中,N表示待檢測目標(biāo)的類別總數(shù);表示第k個類別的AP值。此外,F(xiàn)PS表示單位時間內(nèi)能夠檢測圖像的數(shù)量,是衡量模型檢測速度快慢和是否滿足實(shí)時性的重要指標(biāo)。

      3.3 實(shí)驗(yàn)環(huán)境與模型訓(xùn)練

      本實(shí)驗(yàn)基于Ubuntu16.04系統(tǒng),CUDA 10.1、CUDNN 7.6.4和Python3.6運(yùn)行環(huán)境。CPU型號為Intel Core i9-9900K,GPU型號為GeForce RTX 2080Ti,內(nèi)存為32 GB,采用Pytorch框架完成網(wǎng)絡(luò)的訓(xùn)練與測試。

      在訓(xùn)練時采用遷移學(xué)習(xí)的方法來改善模型的性能。首先采用在ImageNet上訓(xùn)練的MobileNet模型作為本網(wǎng)絡(luò)的預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練,然后將基于該缺陷數(shù)據(jù)集訓(xùn)練好的FSSD_MobileNet檢測模型進(jìn)行遷移學(xué)習(xí),遷移訓(xùn)練權(quán)重和參數(shù)再次訓(xùn)練,進(jìn)一步提升模型的檢測性能。權(quán)重衰減設(shè)置為0.000 5,動量設(shè)置為0.9,Batch_Size設(shè)置為16,epoch設(shè)置為250。

      采用RMSProp梯度下降算法來優(yōu)化損失函數(shù),由于RMSProp算法將梯度進(jìn)行均方根傳遞,相比于SGD算法,能夠進(jìn)一步優(yōu)化損失函數(shù)在更新中擺動幅度過大的問題,并有效地提高模型的收斂速度。

      為了使RMSProp梯度下降算法有更好的性能,需要設(shè)置合理的學(xué)習(xí)率,設(shè)置過大可能會陷入局部最小值,設(shè)置過小則會降低收斂的速度。本實(shí)驗(yàn)設(shè)置初始學(xué)習(xí)率為0.000 1,在150 epoch后每隔50 epoch學(xué)習(xí)率減小為1/10,最終達(dá)到0.000 001,以確保參數(shù)能夠達(dá)到最優(yōu)值。

      3.4 實(shí)驗(yàn)結(jié)果對比

      本文通過5組對比實(shí)驗(yàn)來驗(yàn)證FSSD_MobileNet模型的檢測性能。首先,為了驗(yàn)證本文FSSD_MobileNet模型在替換基礎(chǔ)骨干網(wǎng)絡(luò)前后的檢測速度和模型大小,選取原始FSSD的基礎(chǔ)骨干網(wǎng)絡(luò)VGG16和本文選取的輕量級網(wǎng)絡(luò)MobileNet進(jìn)行對比,由表1可知,在替換為輕量級網(wǎng)絡(luò)MobileNet之后,本文模型中的提取網(wǎng)絡(luò)和檢測網(wǎng)絡(luò)均由深度可分離卷積組成,相比于普通卷積構(gòu)成的VGG16,檢測速度提高了2.1倍,而模型大小卻僅占VGG16的15.7%,極大地改善了模型的實(shí)時性和輕量性。

      表1 基礎(chǔ)骨干網(wǎng)絡(luò)替換前后的檢測性能對比Table 1 Comparison of detection performance before and after replacement of basic backbone network

      在替換完基礎(chǔ)骨干網(wǎng)絡(luò)之后,為了驗(yàn)證本文FSSD_MobileNet模型的特征融合結(jié)構(gòu)對小目標(biāo)的檢測效果,選取3組特征融合結(jié)構(gòu)進(jìn)行對比實(shí)驗(yàn),分別將MobileNet網(wǎng)絡(luò)13層深度可分離卷積中的Conv3、Conv11、Conv13,Conv5、Conv11、Conv13和Conv3、Conv5、Conv11進(jìn)行特征融合,與原始特征融合結(jié)構(gòu)(Conv3、Conv5、Conv13)比較它們對小目標(biāo)的檢測效果,檢測效果如圖7。圖中的紅色填充框是預(yù)測框位置,藍(lán)色未填充框是真實(shí)框位置。

      由于淺層特征利于檢測小目標(biāo),深層特征利于檢測大目標(biāo),從圖7(a)~(c)可以看出,在融合了層數(shù)較深的Conv13卷積層之后,部分小目標(biāo)的檢測效果并不理想。相比于前三者,圖7(d)融合了更淺的特征層,因此更有利于檢測小目標(biāo)。4組融合結(jié)構(gòu)的檢測性能對比如表2。

      由表2可知,將Conv3、Conv5、Conv11進(jìn)行特征融合的FSSD_MobileNet模型,由于融合的特征層普遍較淺,更有利于檢測本文以小目標(biāo)缺陷為主的汽車差速器殼體表面,相比原始的特征融合結(jié)構(gòu),檢測精度提升了6.3個百分點(diǎn),最大程度地保留了缺陷的細(xì)節(jié)和語義信息。同時具有更快的檢測速度和更精簡的檢測模型,能更加實(shí)時且高效地進(jìn)行小目標(biāo)缺陷檢測。

      表2 不同特征融合結(jié)構(gòu)的檢測性能對比Table 2 Comparison of detection performance of different feature fusion structures

      在確定特征融合結(jié)構(gòu)后,針對默認(rèn)框尺寸進(jìn)行對比實(shí)驗(yàn),對比的檢測效果如圖8。

      由圖8可以看出,對默認(rèn)框尺寸進(jìn)行調(diào)整后,默認(rèn)框和真實(shí)框能夠更好地匹配。這使得模型在保持原有較快速度的基礎(chǔ)上進(jìn)一步提高對小目標(biāo)缺陷的檢測能力,能夠更好地檢測出汽車差速器殼體表面不同大小、長短、粗細(xì)的小目標(biāo)缺陷。

      由于小目標(biāo)缺陷可提取到的鑒別特征較少,缺乏充足的外觀信息,并且在實(shí)際檢測過程中極易受到復(fù)雜周圍環(huán)境的影響,而難以將它們與背景或類似的其他缺陷區(qū)分開來,這對于檢測模型的定位精度有著較高的要求。因此目前許多其他的改進(jìn)模型對于小目標(biāo)缺陷的檢測效果并不理想,很難做到對小目標(biāo)缺陷檢測精度的進(jìn)一步提升。

      針對上述難題,本文模型采取的調(diào)整默認(rèn)框尺寸的方法,使得改進(jìn)后的模型檢測精度提升了10.8個百分點(diǎn),如表3所示。相比于改進(jìn)前有著較為明顯的提高,可以更好地應(yīng)用于以小目標(biāo)缺陷為主的汽車差速器殼體表面的實(shí)時檢測,具有較好的應(yīng)用價(jià)值和實(shí)際意義。

      表3 不同默認(rèn)框尺寸的檢測精度對比Table 3 Comparison of detection accuracy of different default box sizes

      在原始特征融合結(jié)構(gòu)和原始默認(rèn)框尺寸相同的條件下,將本文的RMSProp梯度下降算法與SGD算法進(jìn)行對比實(shí)驗(yàn),檢測對比效果如圖9。

      由于RMSProp算法使用了微分平方加權(quán)平均數(shù),能夠加速或至少不減慢前往損失函數(shù)最小值的路徑上的學(xué)習(xí),在相同epoch的條件下可以更快地收斂,從而明顯地提升改進(jìn)模型的檢測精度。由表4可知使用RMSProp梯度下降算法后,檢測精度提升了16個百分點(diǎn)。

      表4 不同梯度下降算法的檢測精度對比Table 4 Comparison of detection accuracy of different gradient descent algorithms

      最后,為了驗(yàn)證本文網(wǎng)絡(luò)模型的檢測精度和檢測速度,將本文FSSD_MobileNet網(wǎng)絡(luò)模型與Faster R-CNN、SSD、FSSD、YOLOv5等幾種經(jīng)典的檢測模型進(jìn)行比較。除具體的網(wǎng)絡(luò)結(jié)構(gòu)不同外,所有實(shí)驗(yàn)的實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)設(shè)置均保持相同。各模型的檢測效果如圖10。

      通過圖10和表5可以看出,經(jīng)典雙階段算法Faster R-CNN由于模型復(fù)雜度高,檢測速度只有24 FPS,很難滿足實(shí)時檢測,而模型大小卻達(dá)到了546.8 MB,效率不高的同時檢測精度也較低。傳統(tǒng)的FSSD由于在SSD的基礎(chǔ)上加入了特征融合模塊,增加了模型大小,使得檢測速度略低于SSD網(wǎng)絡(luò),但改進(jìn)前的FSSD_MobileNet由于在FSSD的基礎(chǔ)上將骨干網(wǎng)絡(luò)替換成輕量級網(wǎng)絡(luò),使得檢測速度和模型大小相比于SSD和FSSD均有極大的提升,但檢測精度卻有所下降。本文改進(jìn)后的FSSD_MobileNet網(wǎng)絡(luò)模型,檢測精度達(dá)到了96.7%,相比于改進(jìn)前提升了16.2個百分點(diǎn),檢測速度有了進(jìn)一步提升,同時檢測模型更為精簡,模型大小只有19.7 MB。

      表5 不同模型的檢測性能對比Table 5 Comparison of detection performance of different models

      對于同樣作為單階段算法典型代表的YOLO網(wǎng)絡(luò),本文選取YOLOv3和YOLOv5系列網(wǎng)絡(luò)模型作為對比,本文改進(jìn)后的FSSD_MobileNet網(wǎng)絡(luò)模型的檢測速度達(dá)到了191 FPS,高于目前YOLO系列中速度較快的YOLOv5s網(wǎng)絡(luò),雖然模型大小略低于YOLOv5s的14.4 MB,但是檢測精度卻比YOLOv5s提升了4.4個百分點(diǎn),也同樣高于深度和寬度較大的YOLOv5m、YOLOv5l以及YOLOv3網(wǎng)絡(luò),更加滿足實(shí)際生產(chǎn)中對準(zhǔn)確性和實(shí)時性的綜合要求。

      4 結(jié)束語

      在汽車差速器殼體的生產(chǎn)過程中,表面缺陷的檢測至關(guān)重要。然而在實(shí)際檢測過程中極易受到復(fù)雜周圍環(huán)境的影響而難以進(jìn)行準(zhǔn)確且快速的檢測。因此本文在FSSD網(wǎng)絡(luò)模型的基礎(chǔ)上,提出一種改進(jìn)的FSSD_MobileNet檢測方法。該方法首先將FSSD模型的基礎(chǔ)骨干網(wǎng)絡(luò)VGG16替換為MobileNet,接著將MobileNet網(wǎng)絡(luò)中的深度可分離卷積層Conv3、Conv5、Conv11進(jìn)行特征融合,最后對默認(rèn)框尺寸進(jìn)行調(diào)整,并采用RMSProp梯度下降算法來優(yōu)化損失函數(shù),加快網(wǎng)絡(luò)的收斂速度。實(shí)驗(yàn)結(jié)果表明,本文改進(jìn)的FSSD_MobileNet模型的檢測精度mAP達(dá)到96.7%,檢測速度達(dá)到了191 FPS,相較于單階段算法SSD、FSSD、YOLO和雙階段算法Faster R-CNN,本文模型在檢測精度和檢測速度上均得到了一定程度的提升。同時模型較為精簡,能夠?qū)崟r、準(zhǔn)確地檢測出汽車差速器殼體表面不同形狀和位置的小目標(biāo)缺陷,具有更強(qiáng)的穩(wěn)定性和魯棒性。

      在未來的工作中,將進(jìn)一步優(yōu)化損失函數(shù)并增加訓(xùn)練樣本的數(shù)量,同時采用更高效的特征融合策略,進(jìn)一步提升模型的檢測性能。

      猜你喜歡
      差速器殼體卷積
      減速頂殼體潤滑裝置的研制與構(gòu)想
      基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
      Z11巴哈賽車前差速器的輕量化研究
      bajaZ11越野賽車前差速器的動態(tài)虛擬仿真研究
      從濾波器理解卷積
      電子制作(2019年11期)2019-07-04 00:34:38
      汽車變速箱殼體零件自動化生產(chǎn)線
      非圓錐齒輪防滑差速器動力學(xué)分析
      北京汽車(2018年4期)2018-09-08 05:37:00
      基于傅里葉域卷積表示的目標(biāo)跟蹤算法
      油泵殼體的沖壓工藝及模具設(shè)計(jì)
      電力輸電檢修起吊差速器的研發(fā)與應(yīng)用
      廣西電力(2016年5期)2016-07-10 09:16:44
      昌邑市| 台东县| 乐亭县| 新田县| 土默特右旗| 昭苏县| 宁德市| 九江市| 从江县| 龙里县| 延寿县| 华容县| 布尔津县| 静海县| 芮城县| 永修县| 兴安盟| 临潭县| 汽车| 和田市| 兴海县| 林口县| 齐齐哈尔市| 鄄城县| 宁阳县| 滨州市| 淮阳县| 济阳县| 高清| 平安县| 万州区| 宁津县| 正蓝旗| 清新县| 阜南县| 天津市| 电白县| 芦山县| 常德市| 麻栗坡县| 左贡县|