賴(lài)武剛，李家楠，林凡強(qiáng)

基于改進(jìn)YOLOv5的輕量級(jí)芯片封裝缺陷檢測(cè)方法

賴(lài)武剛，李家楠，林凡強(qiáng)

（成都理工大學(xué) 機(jī)電工程學(xué)院，成都 610059）

針對(duì)芯片封裝缺陷檢測(cè)過(guò)程中檢測(cè)精度低與模型難部署的問(wèn)題，提出YOLOv5-SPM檢測(cè)網(wǎng)絡(luò)，旨在提高檢測(cè)精度并實(shí)現(xiàn)模型輕量化。首先，通過(guò)在特征提取模塊后增加通道注意力機(jī)制，提高缺陷通道的關(guān)注度，減少冗余特征的干擾，進(jìn)而提升目標(biāo)的檢測(cè)精度。其次，在主干網(wǎng)絡(luò)與頸部網(wǎng)絡(luò)連接處使用快速特征金字塔結(jié)構(gòu)，更好地融合了自建芯片數(shù)據(jù)集的多尺度特征信息。最后，將主干網(wǎng)絡(luò)的特征提取模塊更換為MobileNetV3，將常規(guī)卷積更換為深度卷積和點(diǎn)卷積，有效降低了模型尺寸和計(jì)算量。經(jīng)過(guò)改進(jìn)后的新網(wǎng)絡(luò)YOLOv5s-SPM在模型參數(shù)下降29.5%的情況下，平均精度較原網(wǎng)絡(luò)提高了0.6%，準(zhǔn)確率提高了3.2%。新網(wǎng)絡(luò)相較于傳統(tǒng)網(wǎng)絡(luò)在芯片缺陷檢測(cè)任務(wù)中實(shí)現(xiàn)了模型精度與速度的統(tǒng)一提高，同時(shí)由于模型參數(shù)減小了29.5%，更適合部署在資源有限的工業(yè)嵌入式設(shè)備上。

YOLOv5；芯片封裝缺陷檢測(cè)；通道注意力機(jī)制；特征金字塔池化；輕量化

芯片技術(shù)是當(dāng)今高新技術(shù)中的重要組成部分，其中封裝是芯片從制造到成品不可或缺的關(guān)鍵環(huán)節(jié)之一。然而在工廠加工生產(chǎn)中時(shí)常會(huì)出現(xiàn)劃痕或缺腳等各種封裝缺陷，對(duì)芯片的絲印識(shí)別和實(shí)際使用都會(huì)造成巨大影響，從而降低良品率。因此，對(duì)芯片封裝缺陷進(jìn)行檢測(cè)有著重要的現(xiàn)實(shí)意義。

傳統(tǒng)方法對(duì)芯片封裝缺陷的檢測(cè)一般使用數(shù)字圖像處理技術(shù)[1]，但近年來(lái)隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，逐漸引入深度學(xué)習(xí)來(lái)進(jìn)行缺陷識(shí)別，其中大致分為兩階段模型Faster R-CNN和單階段模型YOLO系列。對(duì)于兩階段模型，Zhang等[2]利用改進(jìn)后的Faster R-CNN，提出了一種全新的LED芯片表面缺陷檢測(cè)方法。該方法首先在COCO數(shù)據(jù)集上完成了預(yù)訓(xùn)練，然后再在收集的LED芯片表面數(shù)據(jù)集上完成了微調(diào)。實(shí)驗(yàn)結(jié)果表明，該方法在生產(chǎn)線上具有良好的檢測(cè)效果。

考慮到兩階段網(wǎng)絡(luò)的檢測(cè)速度相對(duì)較慢，有許多學(xué)者采用單階段模型。Liu等[3]提出了一種基于YOLOv3的小目標(biāo)檢測(cè)方法UAV-YOLO，通過(guò)對(duì)網(wǎng)絡(luò)淺層添加額外的卷積層來(lái)豐富空間信息，并優(yōu)化了網(wǎng)絡(luò)訓(xùn)練方法，能夠適應(yīng)不同環(huán)境下的小目標(biāo)檢測(cè)任務(wù)。周天宇等[4]改進(jìn)了YOLOv3的特征提取網(wǎng)絡(luò)，設(shè)計(jì)了4個(gè)檢測(cè)尺度，并優(yōu)化了網(wǎng)絡(luò)的初始檢測(cè)框，實(shí)現(xiàn)了對(duì)多種載波芯片缺陷的高精度檢測(cè)。相似地，Wang等[5]提出了一種名為YOLOv4-SA的目標(biāo)檢測(cè)網(wǎng)絡(luò)，通過(guò)將注意力機(jī)制與YOLOv4相結(jié)合，用于微小缺陷的檢測(cè)。該網(wǎng)絡(luò)由特征提取主干、空間注意模塊（SAM）和特征融合模塊組成。通過(guò)SAM的校正，使特征圖能夠突出缺陷區(qū)域，從而更有效地識(shí)別微小缺陷。實(shí)驗(yàn)證明，該網(wǎng)絡(luò)可以有效提高平均精度均值（AP）。

除此之外，羅月童等[6]提出一種無(wú)監(jiān)督學(xué)習(xí)的方法，對(duì)含有缺陷的芯片圖像利用卷積去噪自編碼器進(jìn)行重構(gòu)，再將重構(gòu)后的新圖像與輸入圖像相減，得到的結(jié)果被稱(chēng)為“殘差圖”。這種方法能夠提取出包含缺陷信息的特征圖，從而更容易地進(jìn)行缺陷檢測(cè)。

可以看出，在使用深度學(xué)習(xí)技術(shù)進(jìn)行芯片封裝缺陷檢測(cè)的任務(wù)中，監(jiān)督學(xué)習(xí)占主流趨勢(shì)，而模型的檢測(cè)速度與精度，還有模型大小一直都是學(xué)者們關(guān)注的重點(diǎn)。為進(jìn)一步解決這些問(wèn)題，本文以更先進(jìn)的YOLOv5網(wǎng)絡(luò)為基礎(chǔ)，進(jìn)一步提升模型性能指標(biāo)，實(shí)現(xiàn)模型的輕量化，進(jìn)而降低芯片封裝缺陷檢測(cè)設(shè)備的部署門(mén)檻。

1 YOLOv5原網(wǎng)絡(luò)介紹

YOLOv5是一種快速的目標(biāo)檢測(cè)算法[7]，能夠?qū)崟r(shí)地對(duì)圖像中的物體進(jìn)行分類(lèi)和定位。其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)包含4個(gè)部分：Input、Backbone、Neck和Head[8]。

Input部分：根據(jù)真實(shí)框分布使用k-means聚類(lèi)算法進(jìn)行自適應(yīng)錨框計(jì)算，并采用與YOLOv4相同的數(shù)據(jù)增強(qiáng)方式。

Backbone部分：主要由CBS、C3、SPPF等模塊組成。其中C3模塊包含3個(gè)CBS層和多個(gè)Bottleneck層，將原有特征圖分為兩部分，分別為正常卷積和殘差卷積，然后將兩者拼接，從而對(duì)殘差特征進(jìn)行學(xué)習(xí)。SPPF模塊（空間金字塔池化）對(duì)特征圖進(jìn)行卷積和串行最大池化，生成包含多尺度信息的最終特征圖。

Neck部分：主要采用了FPN（Feature Pyramid Networks）來(lái)獲取多級(jí)特征圖并接入PAN（Path Aggregation Network）模塊進(jìn)行特征聚合，以增強(qiáng)模型對(duì)不同尺度目標(biāo)特征的融合。

圖1 YOLOv5原網(wǎng)絡(luò)

Head部分：用于完成預(yù)測(cè)的任務(wù)。輸出端包含損失函數(shù)的計(jì)算和非極大值抑制（NMS），NMS用于在目標(biāo)檢測(cè)任務(wù)中解決生成多個(gè)預(yù)測(cè)框的問(wèn)題，有效解決冗余[9]。

2 本文改進(jìn)的YOLOv5網(wǎng)絡(luò)

本文改進(jìn)的YOLOv5網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2所示。網(wǎng)絡(luò)采用MobileBlock（MobilenetV3 Block）更換了網(wǎng)絡(luò)主干部分的特征提取模塊，使用深度卷積和點(diǎn)卷積的耦合取代常規(guī)卷積，實(shí)現(xiàn)了模型的輕量化。此外，在MobileBlock的輸出特征圖進(jìn)行特征融合之前，使用SE通道注意力機(jī)制強(qiáng)化目標(biāo)的特征信息，從而提高網(wǎng)絡(luò)檢測(cè)精度。同時(shí)，本網(wǎng)絡(luò)使用SimSPPF特征金字塔模塊對(duì)多尺度信息進(jìn)行融合，提高了模型的魯棒性，從而提高模型對(duì)芯片封裝缺陷的檢測(cè)精度。

2.1 SE模塊的引入

通道注意力機(jī)制可以幫助模型更好地學(xué)習(xí)目標(biāo)特征。具體來(lái)說(shuō)，在使用大量的芯片缺陷訓(xùn)練數(shù)據(jù)后，網(wǎng)絡(luò)會(huì)自適應(yīng)地決定哪些通道對(duì)檢測(cè)結(jié)果的影響更顯著，從而使模型更加專(zhuān)注于學(xué)習(xí)目標(biāo)特征，減少對(duì)冗余信息的依賴(lài)，進(jìn)而提高檢測(cè)精度[10]。

再使用excitation操作，構(gòu)建全連接網(wǎng)絡(luò)，從而獲取特征圖每個(gè)通道的重要程度：

2.2 SimSPPF空間金字塔池化

SPP（Spatial Pyramid Pooling）空間金字塔池化是一種廣泛應(yīng)用于各種深度學(xué)習(xí)模型中的特征池化模塊[11]。在該模塊的基礎(chǔ)上，本文使用了SimSPPF模塊，該模塊主要優(yōu)化了SPP模塊中的并行池化操作。由于并行池化操作需要同時(shí)處理多個(gè)池化層，因此計(jì)算量較大，處理速度較慢。SimSPPF模塊將并行池化操作變?yōu)榇胁僮?，同時(shí)將激活函數(shù)從SiLU替換為Relu，大大降低了計(jì)算量，提高了處理速度。SPP與SimSPPF結(jié)構(gòu)見(jiàn)圖4。

圖2 本文改進(jìn)的YOLOv5網(wǎng)絡(luò)

圖3 SE模塊結(jié)構(gòu)

2.3 主干網(wǎng)絡(luò)MobileBlock模塊

本文使用的MobileBlock模塊由MobilenetV3網(wǎng)絡(luò)構(gòu)成[12]。模塊如圖5所示，該模塊極大地降低了網(wǎng)絡(luò)的計(jì)算量，同時(shí)經(jīng)過(guò)后續(xù)的實(shí)驗(yàn)驗(yàn)證，使用MobileBlock模塊能保證對(duì)芯片封裝缺陷的檢測(cè)效果，同時(shí)使得模型更加輕量化。

MobileBlock使用的深度可分離卷積是一種輕量化卷積操作，它將標(biāo)準(zhǔn)卷積劃分為深度卷積和點(diǎn)卷積2個(gè)獨(dú)立的層。其中深度卷積通過(guò)對(duì)每層特征圖應(yīng)用一個(gè)單獨(dú)的卷積核來(lái)執(zhí)行過(guò)濾步驟，而點(diǎn)卷積則通過(guò)輸入通道的點(diǎn)對(duì)點(diǎn)線性計(jì)算來(lái)構(gòu)建過(guò)濾后的新特征。這種分解方式可以大大減少參數(shù)量和計(jì)算量，從而實(shí)現(xiàn)模型的輕量化。深度卷積計(jì)算式見(jiàn)式（3）。

本文使用MobileBlock替換原YOLOv5s網(wǎng)絡(luò)中的C3模塊，并且對(duì)骨干網(wǎng)絡(luò)進(jìn)行精簡(jiǎn)處理，減少了特征提取的次數(shù)，進(jìn)一步提升了芯片封裝缺陷檢測(cè)特征提取網(wǎng)絡(luò)的輕量化程度。

3 結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)集

本文的實(shí)驗(yàn)環(huán)境基于AutoDL云平臺(tái)，使用PyTorch 1.9.0框架，Python版本3.8.10，CUDA版本12.0。GPU為RTX 3080，CPU配置為12 vCPU Intel(R) Xeon(R) Platinum 8255C CPU @ 2.50 GHz。實(shí)驗(yàn)在強(qiáng)聚光效果的點(diǎn)光源照射條件下，針對(duì)SOT-89封裝的AMS1117穩(wěn)壓芯片使用圖像采集與捕捉平臺(tái)（圖6）搭載的工業(yè)智能相機(jī)采集芯片圖像，建立自建芯片封裝數(shù)據(jù)集。其中相機(jī)的處理器為Intel四核1.9 GHz，CPU為4 GB內(nèi)存，相機(jī)幀頻為30幀/s，分辨率為2 592×2 048，后續(xù)處理成640×640大小。數(shù)據(jù)集中含有劃痕（Scratch）和引腳缺損（Pin Defect）2種類(lèi)型的缺陷，共計(jì)535張圖片[13]，使用4-mosaic數(shù)據(jù)增強(qiáng)方式提高數(shù)據(jù)集豐富程度，以防止模型過(guò)擬合。

圖片為640×640的RGB三通道圖，建立數(shù)據(jù)集過(guò)程中保證待檢測(cè)芯片位于圖片正中，還原工業(yè)檢測(cè)流程，同時(shí)按照8∶2的比例將數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集2個(gè)部分。其中，圖7為拍攝的原圖；圖8為檢測(cè)結(jié)果圖，圖8結(jié)果表明可以正確檢測(cè)出所含有的缺陷。

3.2 評(píng)估指標(biāo)

通過(guò)從模型參數(shù)量、預(yù)測(cè)速度、運(yùn)算量、準(zhǔn)確率、召回率、平均精度P、平均精度均值A(chǔ)P等方面綜合評(píng)估模型性能及復(fù)雜度。其中準(zhǔn)確率表示預(yù)測(cè)正確的比例，召回率表示預(yù)測(cè)的全面性；平均精度P通過(guò)計(jì)算-曲線下的面積，得到模型在所有置信度閾值下的平均精度[14]，通過(guò)對(duì)每個(gè)類(lèi)別的P求均值就可以得到所有類(lèi)別的平均精度均值A(chǔ)P[15]。其中準(zhǔn)確率、召回率、平均精度P和平均精度均值A(chǔ)P的計(jì)算公式如下：

圖4 SPP和SimSPPF結(jié)構(gòu)

Fig.4 Structure of SPP and SimSPPF

圖5 MobileBlock模塊

圖6 圖像采集與捕捉平臺(tái)

圖7 芯片封裝缺陷檢測(cè)原圖

圖8 芯片封裝缺陷檢測(cè)結(jié)果

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1 模型復(fù)雜度與性能對(duì)比

為了驗(yàn)證單一結(jié)構(gòu)改變對(duì)模型復(fù)雜度與性能的影響，本文進(jìn)行了一系列實(shí)驗(yàn)，使用了YOLOv5s作為基準(zhǔn)網(wǎng)絡(luò)，在此基礎(chǔ)上進(jìn)行了改進(jìn)。各網(wǎng)絡(luò)模型的復(fù)雜度與性能對(duì)比如表1和表2所示，其中AP@0.5值表示oU閾值為0.5時(shí)的平均精度均值，AP@0.5:0.95值為oU閾值從0.5變化到0.95上的平均精度均值。

表1 模型復(fù)雜度對(duì)比

Tab.1 Comparison of model complexity

注：加粗字體均為表格中所有模型該項(xiàng)指標(biāo)的最優(yōu)值，其中預(yù)測(cè)速度指標(biāo)為5次實(shí)驗(yàn)結(jié)果的期望值。

表2 模型性能對(duì)比

Tab.2 Comparison of model performance

分析實(shí)驗(yàn)結(jié)果可知，YOLOv5s-S在少量提高模型復(fù)雜度的基礎(chǔ)上，AP@0.5的數(shù)值上提升了1.2%，AP@0.5:0.95的數(shù)值上提升了2.1%，說(shuō)明通過(guò)在不同維度特征圖后添加通道注意力機(jī)制能有效地對(duì)目標(biāo)特征進(jìn)行強(qiáng)化，從而使得模型更好地識(shí)別出芯片封裝缺陷。YOLOv5s-P在復(fù)雜度不變的情況下，略微提升模型預(yù)測(cè)速度，且AP數(shù)值比原網(wǎng)絡(luò)提高了0.8%，說(shuō)明串行結(jié)構(gòu)相較于并行結(jié)構(gòu)的特征金字塔能更好地融合自建芯片數(shù)據(jù)集的尺度特征，魯棒性更強(qiáng)。YOLOv5s-M在略微降低模型性能的同時(shí)，只使用原模型70%的參數(shù)，極大地降低了模型復(fù)雜度，能更快地進(jìn)行預(yù)測(cè)，滿足輕量化要求。本文提出的YOLOv5s-SPM在模型復(fù)雜度遠(yuǎn)低于YOLOv5s原模型的基礎(chǔ)上，AP@0.5的數(shù)值提升了0.6%，AP@0.5:0.95的數(shù)值提升了0.8%，進(jìn)一步提升了對(duì)劃痕與引腳損傷2種缺陷的定位與識(shí)別精確度。

3.3.2 損失函數(shù)分析

YOLOv5s的損失函數(shù)分為cls_loss、obj_loss以及box_loss共3個(gè)部分[17]。其中cls_loss和obj_loss均采用交叉熵?fù)p失，box_loss則采用CIoU計(jì)算損失[18]，相關(guān)公式如下：

本文提出的YOLOv5s-SPM網(wǎng)絡(luò)在驗(yàn)證集上的損失函數(shù)如圖9所示。

設(shè)置訓(xùn)練的迭代次數(shù)為400次，在0～100次時(shí)損失函數(shù)劇烈下降，之后訓(xùn)練速度放緩，直至400輪迭代結(jié)束各損失函數(shù)均趨于平穩(wěn)，最終并未出現(xiàn)過(guò)擬合現(xiàn)象。

3.3.3 不同模型對(duì)比

為了進(jìn)一步評(píng)估改進(jìn)的模型在自建芯片數(shù)據(jù)集上的性能，選取YOLO系列的其他模型以及經(jīng)典的輕量化模型進(jìn)行了對(duì)比實(shí)驗(yàn)，用來(lái)驗(yàn)證所提出模型的綜合性能。不同模型檢測(cè)結(jié)果的對(duì)比如表3所示，其中Ghostnet為將YOLOv5s骨干網(wǎng)絡(luò)替換對(duì)應(yīng)輕量化網(wǎng)絡(luò)的模型。

圖9 YOLOv5-SPM損失函數(shù)迭代曲線

表3 不同模型檢測(cè)結(jié)果對(duì)比

Tab.3 Comparison of detection results of different models

分析YOLOv5s、YOLOv7-tiny、GhostNet，YOLOv5s-SPM模型的各類(lèi)型缺陷檢測(cè)結(jié)果，從表3可以看出，YOLOv5-SPM的平均精度對(duì)比前3個(gè)模型分別提高了0.6%、16.3%，2.9%，且在2種類(lèi)型的缺陷檢測(cè)任務(wù)中的表現(xiàn)也更加優(yōu)異。證明本文設(shè)計(jì)的YOLOv5s-SPM模型優(yōu)于YOLOv5s、YOLOv7-tiny、GhostNet等3個(gè)模型。同時(shí)，不同模型的性能對(duì)比結(jié)果如表4所示。

表4 不同模型性能對(duì)比

Tab.4 Performance comparison of different models

通過(guò)對(duì)比可以看出，相較于擁有最快預(yù)測(cè)速度的YOLOv7-tiny，YOLOv5-SPM在模型參數(shù)量、準(zhǔn)確率、召回率以及AP@0.5等多項(xiàng)指標(biāo)表現(xiàn)更優(yōu)。盡管改進(jìn)后的網(wǎng)絡(luò)預(yù)測(cè)速度低于YOLOv7-tiny的網(wǎng)絡(luò)預(yù)測(cè)速度，但在保證幀率為60幀/s的情況下平均精度超過(guò)了17%，能滿足芯片封裝缺陷檢測(cè)的實(shí)時(shí)性要求。與經(jīng)典輕量級(jí)網(wǎng)絡(luò)GhostNet相比，YOLOv5s-SPM在模型參數(shù)量上僅相差6%，而準(zhǔn)確率和AP@0.5指標(biāo)分別高出6%和3%，說(shuō)明MobilenetV3在整體性能上的表現(xiàn)要優(yōu)于GhostNet。綜合考慮，本文提出的YOLOv5s-SPM模型與新版本的YOLO以及典型輕量化模型相比綜合性能優(yōu)秀，平均精度、檢測(cè)速度和模型復(fù)雜度均滿足工業(yè)生產(chǎn)需求，能夠處理典型的生產(chǎn)關(guān)鍵問(wèn)題（如實(shí)時(shí)性問(wèn)題和小目標(biāo)檢測(cè)問(wèn)題）[19]，并且能夠方便地在嵌入式設(shè)備中進(jìn)行部署，能良好地完成芯片封裝缺陷檢測(cè)任務(wù)。

4 結(jié)語(yǔ)

本文提出了一種基于改進(jìn)YOLOv5的芯片封裝缺陷檢測(cè)方法，通過(guò)在自建芯片數(shù)據(jù)集上進(jìn)行訓(xùn)練、對(duì)比和優(yōu)化。通過(guò)引入SE通道注意力機(jī)制，強(qiáng)化了目標(biāo)特征的重要程度進(jìn)而提高了檢測(cè)精度；在主干網(wǎng)絡(luò)和頸部網(wǎng)絡(luò)之間加入了SimSPPF特征金字塔結(jié)構(gòu)用來(lái)融合不同尺度的特征信息；將主干網(wǎng)絡(luò)替換為MobileNetV3，并使用深度可分離卷積，實(shí)現(xiàn)輕量化目標(biāo)的同時(shí)，性能優(yōu)于原YOLOv5網(wǎng)絡(luò)。后續(xù)將進(jìn)行數(shù)據(jù)集的擴(kuò)充工作，增加可識(shí)別缺陷類(lèi)別，同時(shí)進(jìn)一步提高模型的檢測(cè)精度和速度，并研究如何將模型部署在工業(yè)嵌入式設(shè)備上，以進(jìn)一步優(yōu)化和完善芯片封裝缺陷檢測(cè)平臺(tái)在實(shí)際封裝缺陷檢測(cè)應(yīng)用中的表現(xiàn)，拓展其應(yīng)用場(chǎng)景。

[1] 王新宇, 蔣三新. 芯片缺陷檢測(cè)綜述[J]. 現(xiàn)代制造技術(shù)與裝備, 2022, 58(5): 94-98.

WANG Xin-yu, JIANG San-xin. Overview of Chip Defect Detection[J]. Modern Manufacturing Technology and Equipment, 2022, 58(5): 94-98.

[2] ZHANG Zhi-wei, GONG Qian, CAO Yuan, et al. Detecting LED Chip Surface Defects with Modified Faster R-CNN[C]// 18th International SoC Design Conference, Jeju Island, 2021: 268-269.

[3] LIU Ming-jie, WANG Xian-hao, ZHOU An-jian, et al. UAV-YOLO: Small Object Detection on Unmanned Aerial Vehicle Perspective[J]. Sensors, 2020, 20(8): 2238.

[4] 周天宇, 朱啟兵, 黃敏, 等. 基于改進(jìn)YOLOV3的載波芯片缺陷檢測(cè)[J]. 激光與光電子學(xué)進(jìn)展, 2021, 58(12): 78-85.

ZHOU Tian-yu, ZHU Qi-bing, HUANG Min, et al. Defect Detection of Chip on Carrier Based on Improved YOLOV3[J]. Laser & Optoelectronics Progress, 2021, 58(12): 78-85.

[5] WANG Shuo, WANG Hong-yu, YANG Fan, et al. Attention-Based Deep Learning for Chip-Surface-Defect Detection[J]. The International Journal of Advanced Manufacturing Technology, 2022, 121(3/4): 1957.

[6] 羅月童, 卞景帥, 張蒙, 等. 基于卷積去噪自編碼器的芯片表面弱缺陷檢測(cè)方法[J]. 計(jì)算機(jī)科學(xué), 2020, 47(2): 118-125.

LUO Yue-tong, BIAN Jing-shuai, ZHANG Meng, et al. Detection Method of Chip Surface Weak Defect Based on Convolution Denoising Auto-Encoders[J]. Computer Science, 2020, 47(2): 118-125.

[7] WANG Min, YANG Wen-zhong, WANG Lie-jun, et al. FE-YOLOv5: Feature Enhancement Network Based on YOLOv5 for Small Object Detection[J]. Journal of Visual Communication and Image Representation, 2023, 90: 103752.

[8] HE Di, XU Ke, ZHOU Peng. Defect Detection of Hot Rolled Steels with a New Object Detection Framework Called Classification Priority Network[J]. Computers & Industrial Engineering, 2018, 128: 290-297.

[9] ROY A M, BOSE R, BHADURI J. A Fast Accurate Fine-Grain Object Detection Model Based on YOLOv4 Deep Neural Network[EB/OL]. 2021: arXiv: 2111.00298. https://arxiv.org/abs/2111.00298

[10] 王一, 龔肖杰, 程佳, 等. 基于改進(jìn)YOLOv5的金屬工件表面缺陷檢測(cè)[J]. 包裝工程, 2022, 43(15): 54-60.

WANG Yi, GONG Xiao-jie, CHENG Jia, et al. Surface Defect Detection of Metal Workpiece Based on Improved YOLOv5[J]. Packaging Engineering, 2022, 43(15): 54-60.

[11] HE K, ZHANG X, REN S, et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[12] JIA Liang-quan, WANG Ya-wen, ZANG Ying, et al. MobilenetV3 With CBAM for Bamboo Stick Counting[J]. IEEE Access, 2022, 10: 53963-53971.

[13] 武澤坤, 葉曉嫻, 陳夢(mèng). 基于改進(jìn)YOLOv5的藥用膠囊表面缺陷檢測(cè)方法[J]. 包裝工程, 2022, 43(23): 297-304.

WU Ze-kun, YE Xiao-xian, CHEN Meng. Surface Defect Detection Method for Pharmaceutical Capsules Based on Modified YOLOv5[J]. Packaging Engineering, 2022, 43(23): 297-304.

[14] WAN Guang, FANG Hong-bo, WANG Deng-zhun, et al. Ceramic Tile Surface Defect Detection Based on Deep Learning[J]. Ceramics International, 2022, 48(8): 11085-11093.

[15] 馬學(xué)森, 馬吉, 蔣功輝, 等. 基于注意力機(jī)制和多尺度特征融合的絕緣子缺陷檢測(cè)方法[J]. 南京大學(xué)學(xué)報(bào)(自然科學(xué)), 2022, 58(6): 1020-1029.

MA Xue-sen, MA Ji, JIANG Gong-hui, et al. Insulator Defect Detection Method Based on Attention Mechanism and Multi-Scale Feature Fusion[J]. Journal of Nanjing University (Natural Science), 2022, 58(6): 1020-1029.

[16] 李鑫, 汪誠(chéng), 李彬, 等. 改進(jìn)YOLOv5的鋼材表面缺陷檢測(cè)算法[J]. 空軍工程大學(xué)學(xué)報(bào)(自然科學(xué)版), 2022, 23(2): 26-33.

LI Xin, WANG Cheng, LI Bin, et al. Steel Surface Defect Detection Algorithm Based on Improved YOLOv5[J]. Journal of Air Force Engineering University (Natural Science Edition), 2022, 23(2): 26-33.

[17] XUE Jin-lin, CHENG Feng, LI Yu-qing, et al. Detection of Farmland Obstacles Based on an Improved YOLOv5s Algorithm by Using CIoU and Anchor Box Scale Clustering[J]. Sensors, 2022, 22: 1790.

[18] LIU Yuan-jie, LYU Zun-chao, HU Ying-yue, et al. Improved Cotton Seed Breakage Detection Based on YOLOv5s[J]. Agriculture, 2022, 12: 1630.

[19] CHEN Ya-jun, DING Yuan-yuan, FAN Zhao, et al. Surface Defect Detection Methods for Industrial Products: A Review[J]. Applied Sciences, 2021, 11(16): 7657.

Lightweight Chip Package Defect Detection Method Based on Improved YOLOv5

LAI Wu-gang, LI Jia-nan, LIN Fan-qiang

(College of Mechanical and Electrical Engineering, Chengdu University of Technology, Chengdu 610059, China)

The work aims to propose a YOLOv5-SPM detection network, solve the challenges concerning diminished detection accuracy and complex model deployment encountered in chip packaging defect detection, to enhance detection accuracy and facilitate the implementation of lightweight models. The channel attention mechanism was placed after each feature extraction module to increase the importance of defect-related channels, reduce the interference of redundant features and improve the target detection accuracy. Then, the SimSPPF pyramid pooling structure was used in the connection of the backbone network and the neck network to integrate multi-resolution features of the self-built chip data set more effectively. After that, the feature extraction module of the backbone network was replaced with MobileNetV3 and the conventional convolution was replaced with deep convolution and point convolution to significantly reduce the model size and calculation scale. The improved new network YOLOv5s-SPM achieved a 0.6% increase in mean average precision and a 3.2% increase in accuracy compared with the original network, while reducing the model parameters by 29.5%. The experimental results validate the superiority of the proposed network in achieving higher accuracy and faster detection speed in the task of chip defect detection. Since the model parameters are reduced by 29.5%, it can also be deployed on industrial embedded devices.

YOLOv5; chip package defect detection; channel attention mechanism; simplified spatial pyramid pooling-fast; lightweight

TB487

A

1001-3563(2023)17-0189-08

10.19554/j.cnki.1001-3563.2023.17.023

2023-04-18

四川省科技計(jì)劃重點(diǎn)研發(fā)項(xiàng)目（2020YFS0472）

責(zé)任編輯：曾鈺嬋