基于卷積神經(jīng)網(wǎng)絡(luò)的PCB缺陷檢測

何國忠，梁 宇

基于卷積神經(jīng)網(wǎng)絡(luò)的PCB缺陷檢測

何國忠，梁 宇

(云南大學(xué)軟件學(xué)院，云南 昆明 650504)

印刷電路板(PCB)在生產(chǎn)制造中由于生產(chǎn)工序等問題易導(dǎo)致電路板存在瑕疵缺陷，為提高對電路板缺陷的檢測效率，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的電路板缺陷檢測網(wǎng)絡(luò)。該檢測網(wǎng)絡(luò)基于YOLO v4網(wǎng)絡(luò)進(jìn)行優(yōu)化改造，針對于PCB制作精密、復(fù)雜，各類缺陷不易檢測的難點，在優(yōu)化后的網(wǎng)絡(luò)中加入了基于細(xì)粒度空間域的長距離全局注意力機(jī)制，同時在SPP模塊的基礎(chǔ)上進(jìn)行特征圖重組作為各YOLO檢測頭的輸入。通過使用長距離注意力機(jī)制通道將淺層網(wǎng)絡(luò)提取到的特征傳遞到深層網(wǎng)絡(luò)中，并采用特征圖重組的方式提升特征信息豐富度，從而提高對于PCB缺陷檢測的精度。經(jīng)實驗分析，與各類經(jīng)典CNN相比，在PCB缺陷檢測任務(wù)中，該算法有較大優(yōu)勢，整體缺陷的平均檢測精度均值(mAP)達(dá)到91.40%，適用于實際生產(chǎn)、檢測環(huán)節(jié)。

印刷電路板；深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；缺陷檢測；注意力機(jī)制

在工業(yè)制造4.0的背景下，工業(yè)水平快速進(jìn)步、生產(chǎn)力飛速提升，這一切均離不開智能工業(yè)生產(chǎn)設(shè)備，而工業(yè)化生產(chǎn)設(shè)備的核心組件則是每一塊制作精密的印刷電路板(printed circuit board，PCB)。目前PCB具有高密度、多層化的特點，即小體積、多功能，對其制造工藝有了更嚴(yán)格要求。但目前，PCB的制造工藝還不能很好地滿足集成電路的發(fā)展水平，在生產(chǎn)中易出現(xiàn)各種產(chǎn)品缺陷，若缺陷品流入市場，在日后的使用當(dāng)中則會導(dǎo)致設(shè)備故障和損壞。因此對于PCB的缺陷檢測是其生產(chǎn)制造環(huán)節(jié)中的重要一環(huán)。

目前，對于PCB缺陷檢測方法大體上可以分為3類：一是早期的人工檢測，該方法的檢測精度及效率極大地依賴于檢測人員的工作經(jīng)驗，同時檢測精度也隨工作時間的持續(xù)而降低，其不穩(wěn)定性較高；二是目前使用較廣的基于電氣特性的缺陷檢測，該方法具有精度高、檢測快的特點，如文獻(xiàn)[1]提出的一種內(nèi)置的電氣測試電路，用于檢測PCB的焊盤和IC之間的互連處的開路缺陷，采用電氣測試時需要對PCB進(jìn)行通電等接觸性操作，但存在二次損壞的可能；三是新興的基于計算機(jī)視覺的檢測方案，如文獻(xiàn)[2]采用TDD-Net卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)對PCB的缺陷進(jìn)行檢測，采用圖像識別檢測無需與PBC直接接觸避免了二次損壞的可能，同時隨著計算機(jī)硬件的發(fā)展對于圖像的檢測效率也有了大幅提升，同時，基于深度學(xué)習(xí)的目標(biāo)檢測算法與傳統(tǒng)檢測算法在檢測精度和速度均有了大幅提升，越來越多的識別檢測場景采用該方案進(jìn)行落地轉(zhuǎn)化。

CNN能夠?qū)斎霐?shù)據(jù)進(jìn)行自動學(xué)習(xí)并獲取檢測目標(biāo)的特征信息，無需人工設(shè)計特征器對目標(biāo)進(jìn)行特征提取與檢測，使得CNN在檢測性能方面擁有更強(qiáng)的魯棒性。因此，本文采用CNN作為PCB缺陷特征的提取器，搭配檢測頭進(jìn)行缺陷檢測。本文選用了常見的8類PCB缺陷，分別為missing hole，mouse bite，open circuit，short，spurious copper，spur，pad damage和scratch。PCB缺陷的檢測難點為缺陷區(qū)域面積小，且與周圍正常區(qū)域相似不易區(qū)分。在CNN進(jìn)行特征提取時，輸入的圖片由于下采樣層逐漸縮小了圖片的面積，致各類缺陷目標(biāo)再次縮小，特征不易被提取到。針對這些難點，本文設(shè)計了細(xì)粒度的空間域全局注意力機(jī)制，對淺層網(wǎng)絡(luò)特征信息進(jìn)行細(xì)粒度去冗余處理后再進(jìn)行復(fù)用；同時增加了網(wǎng)絡(luò)中空間金字塔池化(spatial pyramid pooling，SPP)模塊的數(shù)量，并對其輸出進(jìn)行融合，以豐富特征圖中的特征信息，有效地解決了PCB缺陷目標(biāo)小、特征信息少的問題。

1 相關(guān)研究

1.1 目標(biāo)檢測算法

計算機(jī)視覺的目標(biāo)檢測技術(shù)，根據(jù)時間線可以分為2大類：①以HOG[3-5]，DPM[6-7]算法為代表的傳統(tǒng)目標(biāo)檢測算法，其實現(xiàn)原理是通過人為設(shè)計目標(biāo)的特征檢測器，因人工設(shè)計其局限性較大，僅能在簡單的場景下對目標(biāo)進(jìn)行識別；②基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)檢測方法，能夠自動提取目標(biāo)特征，在擬合性、魯棒性等方面均優(yōu)于傳統(tǒng)目標(biāo)檢測方法，被廣泛應(yīng)用于圖像檢測領(lǐng)域[8-10]。CNN檢測方法，根據(jù)應(yīng)用需求的不同也延伸出了2種方法：①以獲取高精度為需求的雙階段檢測網(wǎng)絡(luò)，其檢測流程分為2個階段，第一個階段，先從輸入的圖片中提取出候選區(qū)域即可能存在有目標(biāo)的區(qū)域，第二個階段則根據(jù)目標(biāo)的特征信息對候選區(qū)域進(jìn)行預(yù)測[11]；②以檢測速度為首要考慮因素的方法，為單階段檢測網(wǎng)絡(luò)，不同于雙階段檢測網(wǎng)絡(luò)，其無需候選區(qū)域，可采用線性回歸的計算方式直接對目標(biāo)的類別及位置進(jìn)行預(yù)測。根據(jù)生產(chǎn)車間流水化作業(yè)，流程快速、準(zhǔn)確的特性，本文選用YOLO v4單階段檢測網(wǎng)絡(luò)，在保證檢測速度的同時優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，以提升檢測精度[12]。

1.2 YOLO網(wǎng)絡(luò)

YOLO網(wǎng)絡(luò)在結(jié)構(gòu)上分為負(fù)責(zé)目標(biāo)特征提取工作的主干網(wǎng)絡(luò)及負(fù)責(zé)目標(biāo)類別、位置預(yù)測的檢測網(wǎng)絡(luò)2部分。在YOLO v4網(wǎng)絡(luò)中，主干網(wǎng)絡(luò)采用的是CSPDarkNet結(jié)構(gòu)，為典型的殘差網(wǎng)絡(luò)，通過殘差恒等映射的方式避免了梯度消失問題，使得網(wǎng)絡(luò)的層數(shù)更深，可獲取更多的特征信息，且豐富的特征信息為檢測網(wǎng)絡(luò)的預(yù)測精度提供了保障。在YOLO檢測網(wǎng)絡(luò)中對于目標(biāo)的預(yù)測流程為：

(1) 輸入到檢測器的特征圖被劃分為若干個網(wǎng)格區(qū)域，并將檢測任務(wù)由全圖細(xì)分到每個網(wǎng)格區(qū)域，當(dāng)檢測目標(biāo)的中心點位于某個網(wǎng)格時，則由該網(wǎng)格負(fù)責(zé)對目標(biāo)的位置及類別信息進(jìn)行預(yù)估。

(3) 在完成所有anchors預(yù)測框的得分后，再由非極大值抑制(non-maximum suppression，NMS)算法對同一目標(biāo)的多個預(yù)測框或得分值較低的預(yù)測框進(jìn)行去冗余處理，得出最終的預(yù)測結(jié)果并輸出。

2 網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

PCB缺陷檢測難點在于缺陷區(qū)域的面積過小，缺陷特征在圖片不放大的情況下不明顯，即不易被檢測器所提取，存在較為嚴(yán)重的漏檢情況，不能滿足生產(chǎn)檢驗環(huán)節(jié)的實用要求。為解決目標(biāo)小、特征少的問題，本文基于YOLO v4網(wǎng)絡(luò)提出了2個改進(jìn)方案，以提升主干網(wǎng)絡(luò)對于小目標(biāo)的特征獲取能力。

2.1 細(xì)粒度空間域全局注意力模塊

對于深度卷積神經(jīng)網(wǎng)絡(luò)而言，整體結(jié)構(gòu)呈倒金字塔形，特征圖的大小同整個網(wǎng)絡(luò)結(jié)構(gòu)同時進(jìn)行縮放，即網(wǎng)絡(luò)越深，特征圖越小。對于圖中的小目標(biāo)，其特征信息因池化下采樣操作被區(qū)域周圍的特征信息同化而消失。為解決該問題，本文設(shè)計了細(xì)粒度空間域的全局注意力模塊，該模塊的作用有2個，一是通過全局的連接通道將主干網(wǎng)絡(luò)的首尾相連，使得淺層網(wǎng)絡(luò)的特征能夠復(fù)用于深層網(wǎng)絡(luò)之中。該設(shè)計以CNN結(jié)構(gòu)的功能劃分，對于淺層網(wǎng)絡(luò)部分，由于輸入的圖片經(jīng)過的卷積計算較少，其特征值主要反映了目標(biāo)的形態(tài)特征；而在深層部分，由于經(jīng)過充分的卷積計算，特征值主要反映了目標(biāo)的類別特征即語義特征。而通過全局域的連接通道將淺層的形態(tài)特征補(bǔ)充到深層網(wǎng)絡(luò)進(jìn)行語義特征的提取，避免了小目標(biāo)特征丟失的問題。二是在于細(xì)粒度的空間域注意力機(jī)制，其目的在于淺層的特征圖同時包含前景和背景的形態(tài)特征。對于小目標(biāo)而言，特征圖中前景信息更加稀少，因此采用基于空間域的注意力機(jī)制對存在有目標(biāo)的空間域信息進(jìn)行加權(quán)，且通過對特征圖的通道分組加權(quán)實現(xiàn)細(xì)粒度注意力功能，所提取的加權(quán)區(qū)域更有針對性。圖1為本文所設(shè)計的模塊結(jié)構(gòu)，模塊由2部分組成：①對特征圖的細(xì)粒度及空間加權(quán)進(jìn)行處理，首先將特征圖依據(jù)通道數(shù)量等分為組新的特征圖，每組特征圖的通道數(shù)為原來的1/。然后，對每張新的特征圖均執(zhí)行以下操作，即新生成的特征圖由卷積核個數(shù)為1的1×1卷積層進(jìn)行特征圖壓縮，并由Sigmoid激活函數(shù)對特征圖進(jìn)行賦值加權(quán)，之后將所有的特征圖進(jìn)行add相加操作，再由1×1卷積層對特征信息進(jìn)行整合，至此獲得完整的空間權(quán)值信息；②特征融合，將得到的空間權(quán)值特征圖與需要傳遞的特征圖進(jìn)行相乘賦值，完成后的特征圖經(jīng)由1×1卷積層與ReLU激活函數(shù)傳遞到網(wǎng)絡(luò)的深層。該模塊在網(wǎng)絡(luò)深層補(bǔ)充了小目標(biāo)的形態(tài)特征信息，使其能夠被網(wǎng)絡(luò)捕獲繼而轉(zhuǎn)換為語義特征信息，以解決小目標(biāo)在深層網(wǎng)絡(luò)中語義特征丟失的問題。

圖1 細(xì)粒度空間域全局注意力模塊

2.2 基于SPP模塊的輸出通道混合

在CSPDarkNet網(wǎng)絡(luò)的末端含有一個SPP模塊，該模塊通過采用不同大小的池化層分別獲取全局與局部的特征，之后進(jìn)行融合操作以獲取綜合特征信息。但整個網(wǎng)絡(luò)僅包含有一個SPP模塊，對于其他尺度的YOLO檢測頭而言無法直接利用該融合后的特征[13-16]。本文以網(wǎng)絡(luò)的默認(rèn)輸入608×608為例，在CSPDarkNet網(wǎng)絡(luò)中的38×38和76×76CSPRes模塊后各增加了一個SPP模塊，即每個尺度的檢測層均配備專屬的SPP模塊來獲取主干網(wǎng)絡(luò)所提取的特征。但在網(wǎng)絡(luò)結(jié)構(gòu)分布上，3個SPP模塊同樣具有不同深度層次的分布，本文對其輸出進(jìn)行通道混合，并輸入到對應(yīng)的檢測模塊中，整體實現(xiàn)結(jié)構(gòu)如圖2所示。其中彩色部分為通道混組模塊，即每個尺度的SPP模塊輸出后會將綜合信息通過上采樣或下采樣的方式傳遞到另外2個SPP模塊中。融合采用上采樣與下采樣的方式，將3個SPP模塊輸出的特征圖大小進(jìn)行適配，并在add層將不同輸出且大小一致的特征圖進(jìn)行融合。SPP模塊在輸出通道混組后，等效于每個SPP模塊的輸出具有了大、中、小3個尺度的綜合信息，相較于之前的特征信息更加豐富。最后，每個尺度的SPP輸出后經(jīng)一個卷積組加工并直接輸入到檢測器中，如圖2中的“Process”模塊所示，該模塊由一個1×1和一個3×3卷積層進(jìn)行特征提取后，由Leaky ReLU激活函數(shù)進(jìn)行激活，最終輸入到檢測器中。相較于優(yōu)化前SPP模塊的輸出特征需要通過多個卷積組加工及上、下采樣操作才可輸入到不同尺度的檢測器，本文所設(shè)計的混組方案在計算及特征應(yīng)用效率上有明顯提高。

圖2 基于SPP模塊的通道混合結(jié)構(gòu)

3 實驗與分析

3.1 超參數(shù)設(shè)置及評估指標(biāo)

PCB缺陷檢測目標(biāo)的大小具有極端性，為了最終的預(yù)測結(jié)果能夠更精準(zhǔn)地框選出缺陷區(qū)域，本文在模型訓(xùn)練前對anchors組的尺寸進(jìn)行了重新計算。采用K-means++算法對數(shù)據(jù)集中所有的Ground Truth尺寸進(jìn)行聚類分析，默認(rèn)圖片的輸入尺寸為608×608，每個YOLO檢測器配置3個anchors，聚類后得到9組尺寸：

19×19 YOLO-Head：(18,33)，(18,19)，(24,24)

38×38 YOLO-Head：(24,48)，(30,29)，(32,17)

76×76 YOLO-Head：(39,39)，(47,23)，(69,76)

本文為評估模型的檢測性能引入了以下評估指標(biāo)

3.2 實驗結(jié)果分析

本文采用的數(shù)據(jù)集在文獻(xiàn)[2]的開源數(shù)據(jù)集上進(jìn)行了數(shù)據(jù)樣本與類型的擴(kuò)充，數(shù)據(jù)由原來的10 668張擴(kuò)充至11 668張，類別在原有基礎(chǔ)上增加pad damage和scratch 2類，以使缺陷檢測范圍更廣，模型通用性更強(qiáng)。

首先本文針對第2節(jié)所述的優(yōu)化方案進(jìn)行消融實驗并分別分析細(xì)粒度空間域全局注意力模塊與SPP模塊的通道混合架構(gòu)對網(wǎng)絡(luò)的提升。從宏觀數(shù)據(jù)指標(biāo)上進(jìn)行評價。測試結(jié)果見表1。

表1中，細(xì)粒度空間域全局注意力模塊與SPP模塊的通道混合架構(gòu)均能夠提升YOLO v4網(wǎng)絡(luò)對于PCB板的缺陷檢測能力。對于細(xì)粒度空間域全局注意力模塊而言，其通過加強(qiáng)淺層特征信息的利用，提升了檢測器對于檢測目標(biāo)的感知能力，測試結(jié)果中對于召回率指標(biāo)有明顯提升；其次優(yōu)化后的SPP模塊通道連接方案，強(qiáng)化了特征豐富度，檢測器對于目標(biāo)所屬類別的判定可以依據(jù)更豐富的特征信息進(jìn)行，使得類別屬性檢測精度有所提升。綜上，通過消融實驗證明本文方案對于YOLO網(wǎng)絡(luò)在PCB缺陷檢測任務(wù)中的檢測性能有所提升。

表1 消融實驗對比結(jié)果

另外在實驗環(huán)節(jié)中增加Faster RCNN，SSD及YOLO v4網(wǎng)絡(luò)同優(yōu)化后的YOLO New進(jìn)行訓(xùn)練及測試。對于不同模型每個類別的Recall，Precision，F(xiàn)1score及AP的4個指標(biāo)測試結(jié)果分別見表2～5。

表2 Recall測試對比結(jié)果(%)

表3 Precision測試對比結(jié)果(%)

表4 F1-score測試對比結(jié)果

表5 各類目標(biāo)AP值及mAP測試對比結(jié)果(%)

表2中，F(xiàn)aster RCNN網(wǎng)絡(luò)的雙階段網(wǎng)絡(luò)結(jié)構(gòu)采用候選框機(jī)制遍歷特征圖，可較全地檢測到圖中的目標(biāo)，而對于單階段目標(biāo)SSD和YOLO v4查全能力則較弱，且召回率差距過大，是因SSD所采用的主干網(wǎng)絡(luò)為VGG，其在卷積層數(shù)上僅有YOLO v4的十分之一，說明了網(wǎng)絡(luò)層數(shù)越多對于特征的提取效果越好。基于YOLO v4優(yōu)化后的YOLO New采用全局注意力機(jī)制加強(qiáng)了對于淺層形態(tài)特征的利用，使得在網(wǎng)絡(luò)深層處還能保存小目標(biāo)的特征信息，查全率與Faster RCNN相近，“scratch”較優(yōu)化前提升了25%。

表3中，F(xiàn)aster RCNN網(wǎng)絡(luò)雖然具有優(yōu)秀的查全能力，但在PCB中有與無缺陷區(qū)域只存在微小的差別，使得滑動遍歷得到的候選框中同時包含有與無缺陷區(qū)域，致使對分類器的分類精度有較大的影響。而單階段的網(wǎng)絡(luò)則不具有背景區(qū)域的影響因素，整體分類精確率要高于Faster RCNN網(wǎng)絡(luò)。而YOLO New各類目標(biāo)的精確率均高于YOLO v4，說明新增SPP通道組合模塊對于特征信息豐富度的補(bǔ)充在一定程度上提升了檢測器對于目標(biāo)的分類能力。

表4和表5中的F1-Score及mAP指標(biāo)均反映了YOLO New在PCB缺陷檢測任務(wù)中出色的性能，對于絕大部分類型的缺陷，其檢測精度可達(dá)95%以上，保證了實際應(yīng)用的可靠性。

圖3直觀反映了各模型在實際檢測中的檢測水平。Faster RCNN網(wǎng)絡(luò)雖能檢測出所有缺陷目標(biāo)，但候選區(qū)機(jī)制使得同一目標(biāo)存在多個預(yù)測框；對于SSD特征提取本文采用的是VGG，因網(wǎng)絡(luò)結(jié)構(gòu)較為簡單無法從PCB中提取出有效的目標(biāo)特征，致使檢測器無法檢測出缺陷區(qū)域；從圖中可以看出YOLO v4存在漏檢的情況，而YOLO New則能夠?qū)⑺腥毕菽繕?biāo)檢測出來，且不存在與Faster RCNN相似的多檢情況，實際使用效果更佳。

(a)(b)(c)(d)(e)

4 結(jié)束語

本文針對于PCB制造過程中產(chǎn)生的缺陷提出了一種基于CNN的檢測模型。其解決了檢測目標(biāo)小、特征信息少、不易檢測的問題。網(wǎng)絡(luò)結(jié)構(gòu)基于CSPDarkNet網(wǎng)絡(luò)進(jìn)行優(yōu)化，在整體網(wǎng)絡(luò)中加入了細(xì)粒度空間域的全局注意力機(jī)制，將淺層的特征加權(quán)后傳遞到深層網(wǎng)絡(luò)之中，并對其語義特征進(jìn)行補(bǔ)充。另外，增加了網(wǎng)絡(luò)中SPP模塊的數(shù)量，每個檢測維度對應(yīng)的CSPRes模塊均配備了SPP模塊，并對每個SPP模塊的輸出進(jìn)行了融合操作，豐富特征的綜合度。經(jīng)實驗測試，本文設(shè)計的優(yōu)化方案使得YOLO v4網(wǎng)絡(luò)相較于優(yōu)化前精度提升了6.88%，對于檢測能力的魯棒性有了較大提高，為之后的進(jìn)一步研究奠定了扎實基礎(chǔ)。

[1] WIDIANTO W, YOTSUYANAGI H, ONO A, et al. A built-in electrical test circuit for interconnect tests in assembled PCBs[C]//2012 2nd IEEE CPMT Symposium Japan. New York: IEEE Press, 2012: 1-4.

[2] DING R W, DAI L H, LI G P, et al. TDD-net: a tiny defect detection network for printed circuit boards[J]. CAAI Transactions on Intelligence Technology, 2019, 4(2): 110-116.

[3] LEI Z. Histogram of oriented gradient detector with color-invariant gradients in Gaussian color space[J]. Optical Engineering, 2010, 49(10): 10970: 1-109701: 8.

[4] SUN L, LIU G Z, LIU Y Q. Multiple pedestrians tracking algorithm by incorporating histogram of oriented gradient detections[J]. IET Image Processing, 2013, 7(7): 653-659.

[5] MANIKONDA S K G, GAONKAR D N. Islanding detection method based on image classification technique using histogram of oriented gradient features[J]. IET Generation, Transmission & Distribution, 2020, 14(14): 2790-2799.

[6] ALYAMMAHI S, BHASKAR H, RUTA D, et al. People detection and articulated pose estimation framework for crowded scenes[J]. Knowledge-Based Systems, 2017, 131: 83-104.

[7] XU J L, RAMOS S, VáZQUEZ D, et al. Hierarchical adaptive structural SVM for domain adaptation[J]. International Journal of Computer Vision, 2016, 119(2): 159-178.

[8] SENGUPTA S, BASAK S, SAIKIA P, et al. A review of deep learning with special emphasis on architectures, applications and recent trends[J]. Knowledge-Based Systems, 2020, 194: 105596.

[9] POUYANFAR S, SADIQ S, YAN Y L, et al. A survey on deep learning[J]. ACM Computing Surveys, 2019, 51(5): 1-36.

[10] GARCIA-GARCIA A, ORTS-ESCOLANO S, OPREA S, et al. A survey on deep learning techniques for image and video semantic segmentation[J]. Applied Soft Computing, 2018, 70: 41-65.

[11] WANG X L, SHRIVASTAVA A, GUPTA A. A-fast-RCNN: hard positive generation via adversary for object detection[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 3039-3048.

[12] REDMON J, FARHADI A. YOLOv3: an incremental improvement[EB/OL]. [2021-04-22]. https://arxiv.org/abs/ 1804.02767.

[13] ZENG D, LIU H, ZHAO F, et al. Proposal pyramid networks for fast face detection[J]. Information Sciences, 2019, 495: 136-149.

[14] 易超人, 鄧燕妮. 多通道卷積神經(jīng)網(wǎng)絡(luò)圖像識別方法[J]. 河南科技大學(xué)學(xué)報: 自然科學(xué)版, 2017, 38(3): 41-44, 5-6.

YI C R, DENG Y N. Image recognition method of multi-channel convolutional neural network[J]. Journal of Henan University of Science and Technology: Natural Science, 2017, 38(3): 41-44, 5-6 (in Chinese).

[15] FENG S L, ZHAO H M, SHI F, et al. CPFNet: context pyramid fusion network for medical image segmentation[J]. IEEE Transactions on Medical Imaging, 2020, 39(10): 3008-3018.

[16] GAN C Q, WANG L, ZHANG Z F, et al. Sparse attention based separable dilated convolutional neural network for targeted sentiment analysis[J]. Knowledge-Based Systems, 2020, 188: 104827.

PCB defect detection based on convolutional neural network

HE Guo-zhong, LIANG Yu

(School of Software, Yunnan University, Kunming Yunnan 650504, China)

In the production of printed circuit boards (PCB), the production process and other problems incur flaws and defects on the circuit board. In order to enhance the detection efficiency of circuit board defects, a circuit board defect detection network based on convolutional neural network (CNN) was proposed. The whole detection network was optimized and reconstructed based on the YOLO v4 network. Aiming at the difficulty of precise and complex PCB production and difficult detection of various defects, a long-distance global attention mechanism based on fine-grained spatial domain was added to the optimized network. At the same time, on the basis of the spatial pyramid pooling (SPP) module, the feature map was reorganized as the input ofeach YOLO detection head. The long-distance attention mechanism channel was adopted to transfer the features extracted from the shallow network to the deep network, and the feature map reorganization method was utilized to boost the richness of feature information, thereby improving the accuracy of PCB defect detection. After experimental analysis, compared with various classic convolutional neural networks, the proposed algorithm is greatly superior in PCB board defect detection tasks. The mean average precision (mAP) of the overall defects reaches 91.40%, which is suitable for actual production and testing links.

printed circuit board; deep learning; convolutional neural network; defect detection; attention mechanism

10 May，2021；

TP 391

10.11996/JG.j.2095-302X.2022010021

A

2095-302X(2022)01-0021-07

2021-05-10；

2021-06-23

23 June，2021

何國忠(1995–)，男，碩士研究生。主要研究方向為圖形圖像處理、計算機(jī)視覺等。E-mail：heguozhong@mail.ynu.edu.cn

HE Guo-zhong (1995–), master student. His main research interests cover graphic image processing, computer vision, etc. E-mail：heguozhong@mail.ynu.edu.cn

梁 宇(1964–)，男，教授，碩士。主要研究方向為數(shù)字圖像處理與模式識別。E-mail：yuliang@ynu.edu.cn

LIANG Yu (1964–), professor, master. His main research interests cover digital image processing and pattern recognition. E-mail：yuliang@ynu.edu.cn