刁思勉 黃天侖 毛霆 王楠 鐘震宇 張云 周華民

特約論文

基于特征融合的小型透明注塑件缺陷檢測技術(shù)研究*

刁思勉1黃天侖2,3毛霆3王楠2鐘震宇2張云3周華民3

（1.深圳市燁嘉為技術(shù)有限公司，廣東 深圳 518000 2.廣東省科學(xué)院智能制造研究所/廣東省現(xiàn)代控制技術(shù)重點實驗室，廣東 廣州 510070 3.華中科技大學(xué)材料科學(xué)與工程學(xué)院/材料成形與模具技術(shù)國家重點實驗室，湖北 武漢 430074）

針對小型透明注塑件在成像過程中受成像質(zhì)量與產(chǎn)品尺寸的影響，導(dǎo)致透明注塑件產(chǎn)品的缺陷檢測準確率與召回率低的問題，提出一種基于特征融合的小型透明注塑件缺陷檢測技術(shù)。首先，采用高清工業(yè)相機并搭配M5028-MPW2鏡頭對小型透明注塑件局部區(qū)域進行成像，以彌補尺寸的影響從而保證成像質(zhì)量；然后，采用特征融合網(wǎng)絡(luò)將低層次的高分辨率特征圖下采樣、高層次的強語義信息特征圖上采樣變換到相同尺寸，并通過局部響應(yīng)歸一化技術(shù)進行融合，從而提高缺陷區(qū)域的定位與識別精度；最后，利用特征共享的區(qū)域生成網(wǎng)絡(luò)與分類網(wǎng)絡(luò)實現(xiàn)缺陷位置的自動定位與檢測。經(jīng)實驗驗證：該技術(shù)能準確實現(xiàn)小型透明注塑件的缺陷檢測，在300個推薦區(qū)域與交并比為0.5的情形下，缺陷區(qū)域召回率為100%；缺陷類別識別平均準確率為98.49%，具有較高的實用價值。

小型透明注塑件；缺陷定位與檢測；特征融合；特征共享

0　引言

注塑成形產(chǎn)品具有成形周期短、精度高、適應(yīng)性強等特點，廣泛應(yīng)用于汽車、航空航天、電子電氣等領(lǐng)域。注塑件缺陷檢測是實現(xiàn)注塑成形工業(yè)產(chǎn)業(yè)升級的重要技術(shù)環(huán)節(jié)。傳統(tǒng)依靠人工檢測的效率、精度與穩(wěn)定性都得不到保障，嚴重制約了注塑成形工業(yè)的自動化與智能化水平。

目前，基于機器視覺的檢測技術(shù)已逐漸應(yīng)用于注塑件的缺陷檢測。如，針對具有較強紋理特征的注塑件，LIU等采用截斷奇異值分解和小波分解技術(shù)，實現(xiàn)注塑件的紋理特征提取，并建立外觀缺陷的檢測模型[1]；GAHLEITNER等利用數(shù)字圖像處理技術(shù)和條狀光源成像技術(shù)實現(xiàn)產(chǎn)品指定位置的紋理檢測[2]。針對具有縮痕缺陷的注塑件，GRUBER等建立產(chǎn)品縮痕強度與產(chǎn)品外觀圖像的二階微分之間的定量關(guān)系與模型，實現(xiàn)注塑件縮痕缺陷的自動檢測[3]。針對透明注塑件的外觀檢測，SATORRES等結(jié)合定制的照明硬件系統(tǒng)與可配置組合的軟件模塊，實現(xiàn)前照燈透鏡的自動檢測[4]。相關(guān)學(xué)者結(jié)合改進的霍夫變換、輪廓擬合與亞像素處理等技術(shù)實現(xiàn)小型齒輪類注塑件的披鋒、缺齒與翹曲等缺陷的自動檢測[5-6]；也有學(xué)者結(jié)合模板匹配與圖像分割技術(shù)，實現(xiàn)平板類注塑件的外觀缺陷檢測[7-8]。在注塑成形工業(yè)的模具保護方面，通過模板匹配、特征匹配與輪廓檢測等技術(shù)實現(xiàn)模內(nèi)異物或產(chǎn)品殘留的自動檢測[9]。綜上所述，基于傳統(tǒng)機器視覺的檢測技術(shù)大多針對特性類型產(chǎn)品、特定外觀缺陷的檢測，模型可遷移性不強。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于深度學(xué)習(xí)的檢測技術(shù)已逐漸取代傳統(tǒng)的機器視覺檢測技術(shù)，并廣泛應(yīng)用于圖像分類[10]、檢測[11]與分割[12]等領(lǐng)域。

近年來，專家學(xué)者針對如何利用深度學(xué)習(xí)技術(shù)準確識別注塑件缺陷進行了大量研究，但針對小型透明注塑件缺陷檢測的文獻鮮有報道。為此，本文提出一種基于特征融合的小型透明注塑件缺陷檢測技術(shù)。首先，對小型透明注塑件進行局部成像從而提高局部區(qū)域的圖像分辨率；其次，利用特征融合網(wǎng)絡(luò)將不同層次特征圖變換到同一尺寸，從而提高缺陷的定位精度與識別準確率；最后，利用缺陷生成和分類網(wǎng)絡(luò)檢測頭對缺陷的位置和類型進行自動識別，提高了小型透明注塑件缺陷檢測的召回率與準確率。

1　圖像獲取與數(shù)據(jù)集準備

待檢測的小型透明注塑件來自實際生產(chǎn)中的案例，尺寸為8 mm×6 mm×2 mm。由于材料、工藝與設(shè)備狀態(tài)等參數(shù)的波動，導(dǎo)致產(chǎn)品在注塑成形過程中容易出現(xiàn)毛絲（Hair）和黑點（Spot）2種常見的缺陷，如圖1所示。本文主要檢測這2種外觀缺陷。由于待檢測小型透明注塑件對成像質(zhì)量要求較高，本文采用高清工業(yè)相機acA3800-10gc并搭配M5028-MPW2鏡頭（分辨率為2 454×2 056）對小型透明注塑件局部區(qū)域進行成像。為平衡檢測效率和檢測精度，將成像后的圖像統(tǒng)一縮放至800×640像素。

圖1 典型小型透明注塑件外觀圖像與缺陷

分別收集正常圖像100幅、含有毛絲和黑點缺陷的圖像各80幅，合計260幅。其中，毛絲和黑點缺陷出現(xiàn)次數(shù)分別為417次和384次，采用人工標(biāo)記的方式記錄每個缺陷的位置和類型；同時通過將圖像旋轉(zhuǎn)至不同角度（如30°、90°、180°等）和平移等方式對數(shù)據(jù)進行增強，從而獲得10倍于原始數(shù)據(jù)量的數(shù)據(jù)集，選取60%的數(shù)據(jù)作為訓(xùn)練集，剩余的40%作為測試集。

2 多維度特征融合

本文采用預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)作為特征提取主干網(wǎng)絡(luò)（移除網(wǎng)絡(luò)架構(gòu)最后3個全連接層），包含13個卷積層和4個池化層。傳統(tǒng)目標(biāo)檢測采用特征提取主干網(wǎng)絡(luò)最后的卷積層輸出特征作為區(qū)域生成網(wǎng)絡(luò)和檢測器的輸入，該特征圖的縮放因子為1/32，存在目標(biāo)定位精度不足的問題；而低層次的特征圖沒有經(jīng)歷卷積等非線性變換操作，其語義信息較弱，缺陷識別能力不高。因此，為利用高層次特征圖的強語義特性，對第五卷積組輸出的特征圖進行上采樣，以增強其位置信息；為利用低層次特征圖的高分辨率特性，將第一卷積組輸出的特征圖進行最大池化操作以增強其語義信息；將上述特征圖變換到與第三卷積組輸出的特征圖相同尺寸，并通過1個5×5的卷積操作增強特征的非線性表達能力，通過局部響應(yīng)歸一化技術(shù)將3組特征圖進行融合，從而提高缺陷區(qū)域的定位精度。多維度特征融合網(wǎng)絡(luò)如圖2所示。

圖2 多維度特征融合網(wǎng)絡(luò)

3 缺陷區(qū)域自動生成與檢測

首先，將小型透明注塑件外觀圖像輸入特征提取網(wǎng)絡(luò)并經(jīng)歷多維特征融合后，輸出1個××的特征圖；然后，利用具有個通道的3×3卷積模板對該特征圖進行非線性變換，并將三維特征圖的形狀變換為(×) ×的二維特征圖；最后，在該二維特征圖后接入2個全連接層，用于缺陷區(qū)域的生成和粗定位。此外，為提高缺陷定位的精度，引入錨點（anchor）機制，以錨點為中心，通過生成個不同尺度和比例的矩形框來指定不同大小和長寬比例的缺陷區(qū)域。因此，對于×大小的特征圖，最終將生成××個候選區(qū)域，缺陷區(qū)域生成網(wǎng)絡(luò)架構(gòu)如圖3所示。

圖3 缺陷區(qū)域生成網(wǎng)絡(luò)結(jié)構(gòu)示意圖

缺陷區(qū)域生成網(wǎng)絡(luò)的損失函數(shù)為

式中，(,,,)分別為預(yù)測候選區(qū)域錨點中心坐標(biāo)(,)、矩形區(qū)域的寬度()與高度()；(x, y, w, h)分別為真實候選區(qū)域錨點中心坐標(biāo)(x, y)、矩形區(qū)域的寬度(w)與高度(h)。

在訓(xùn)練階段，采用帶動量的小批量隨機梯度下降法訓(xùn)練區(qū)域生成網(wǎng)絡(luò)模型，該模型每幅圖像輸出128個候選區(qū)域，送入后續(xù)區(qū)域檢測網(wǎng)絡(luò)進行進一步的分類與定位訓(xùn)練。其中，正負樣本比例保持為1∶1，若正樣本數(shù)量不足，則由負樣本補齊。正負樣本的設(shè)置規(guī)則如下：

1）如果候選區(qū)域與真實缺陷區(qū)域的交并比大于0.5，將該區(qū)域標(biāo)記為正樣本區(qū)域的樣本，否則標(biāo)記為負樣本；

2）如果多個候選區(qū)域與同一個真實缺陷區(qū)域的交并比大于0.5，則將交并比最大的那個候選區(qū)域設(shè)置為正樣本，其他設(shè)置為負樣本；

3）如果同一個候選區(qū)域與多個真實缺陷區(qū)域的交并比大于0.5，則取交并比最大的那個真實缺陷區(qū)域作為正樣本。

在測試階段，由于區(qū)域生成網(wǎng)絡(luò)模型輸出的候選區(qū)域沒有真實標(biāo)簽，因此直接輸出300個候選區(qū)域并送入?yún)^(qū)域檢測網(wǎng)絡(luò)進行預(yù)測。

利用感興趣區(qū)域（ROI）池化操作將缺陷區(qū)域生成網(wǎng)絡(luò)生成的候選區(qū)域池化為7×7的特征圖，并送入后續(xù)檢測器進行最終缺陷區(qū)域的精確定位和識別。檢測器網(wǎng)絡(luò)結(jié)構(gòu)與缺陷區(qū)域生成網(wǎng)絡(luò)結(jié)構(gòu)類似，包含2個全連接層檢測頭，分別用于位置回歸和缺陷分類，缺陷檢測網(wǎng)絡(luò)總體結(jié)構(gòu)如圖4所示。

圖4 缺陷檢測網(wǎng)絡(luò)總體結(jié)構(gòu)示意圖

采用帶動量的小批量隨機梯度下降法訓(xùn)練檢測器，檢測器的位置回歸誤差計算方式與式(1)相同；缺陷類型識別采用SoftMax函數(shù)：

本文采用四步法訓(xùn)練缺陷檢測網(wǎng)絡(luò)：1）單獨訓(xùn)練缺陷區(qū)域生成網(wǎng)絡(luò)；2）單獨訓(xùn)練檢測器；3）凍結(jié)第2）步中的特征提取主干網(wǎng)絡(luò)的模型參數(shù)，對缺陷區(qū)域生成網(wǎng)絡(luò)的模型參數(shù)進行微調(diào)；4）凍結(jié)第3）步中的特征提取主干網(wǎng)絡(luò)的模型參數(shù)，對檢測器的模型參數(shù)進行微調(diào)。

4　實驗及結(jié)果分析

為驗證本文所提方法對小型透明注塑件缺陷檢測的有效性，網(wǎng)絡(luò)訓(xùn)練的實驗平臺硬件配置如下：10核Intel Xeon CPU E5-2630 v4 @ 2.20 GHz；64 GB內(nèi)存；2張Nvidia GeForce GTX 1080Ti顯卡。區(qū)域召回率與推薦數(shù)量、交并比之間的關(guān)系如圖5所示。圖5同時給出了傳統(tǒng)邊緣框（EB）、選擇性搜索（SS）、VGG、特征融合網(wǎng)絡(luò)（Hyper）的結(jié)果。

圖5 區(qū)域召回率與推薦數(shù)量、交并比之間的關(guān)系

由圖5(a)可知，當(dāng)推薦數(shù)量為50個且交并比為0.5時，傳統(tǒng)的EB方法或SS方法的召回率不足60%，而VGG與Hyper網(wǎng)絡(luò)的召回率均在80%以上，其中Hyper網(wǎng)絡(luò)的召回率更高；由圖5(b)可知，當(dāng)推薦數(shù)量為300個且交并比為0.5時，傳統(tǒng)的EB方法或SS方法的召回率不足80%，而VGG與特征融合網(wǎng)絡(luò)的召回率基本可達100%。此外，還發(fā)現(xiàn)特征融合網(wǎng)絡(luò)的召回率始終高于VGG網(wǎng)絡(luò)和傳統(tǒng)的EB方法、SS方法，證實了本文提出的特征融合網(wǎng)絡(luò)結(jié)構(gòu)的有效性。

在實時性方面，當(dāng)推薦區(qū)域數(shù)量為1 000個時，傳統(tǒng)EB方法、SS方法處理單幅圖像平均耗時約為 4 s，而VGG和特征融合網(wǎng)絡(luò)平均耗時分別為165 ms和190 ms。特征融合網(wǎng)絡(luò)處理單幅圖像處理速度是傳統(tǒng)EB方法、SS方法的4倍以上，這是因為特征融合網(wǎng)絡(luò)模型結(jié)構(gòu)參數(shù)略有增加，導(dǎo)致單幅圖像速度略慢于VGG網(wǎng)絡(luò)，但仍能滿足實時性檢測需求（≥5 s/幅）。VGG網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)的檢測準確率如表1所示。

表1 VGG、特征融合網(wǎng)絡(luò)的檢測準確率

由表1可知：當(dāng)推薦區(qū)域數(shù)量為1 000個、區(qū)域生成網(wǎng)絡(luò)與檢測器不共享特征提取主干網(wǎng)絡(luò)的模型參數(shù)時，相比VGG網(wǎng)絡(luò)，特征融合網(wǎng)絡(luò)對黑點、毛絲的識別準確率和平均準確率分別提高了3.34%、3.65%、3.50%；當(dāng)采用共享特征網(wǎng)絡(luò)參數(shù)時，特征融合網(wǎng)絡(luò)對黑點、毛絲的識別準確率和平均準確率分別提高了3.31%、3.59%、3.44%；當(dāng)推薦區(qū)域由1 000個降為300個時，平均準確率可以達到98.49%，能夠滿足實際檢測需求。由以上結(jié)果可以看出，本文采用的特征融合方法能提高缺陷的識別準確率與平均準確率。

圖6給出了缺陷檢測結(jié)果，其中1表示黑點缺陷、2表示毛絲缺陷，1∶0.983表示出現(xiàn)黑點缺陷的概率為0.983；2∶0.837表示出現(xiàn)毛絲缺陷的概率為0.837。由圖6可知，本文所提方法能夠較好地檢測出黑點、毛絲等缺陷。

圖6 小型透明注塑件缺陷檢測結(jié)果圖

5　結(jié)語

為了識別小型透明注塑件缺陷，本文提出一種基于特征融合的缺陷檢測技術(shù)。首先，通過高清工業(yè)相機對小型透明注塑件進行局部成像，并將圖像統(tǒng)一縮放至800×640像素，從而降低產(chǎn)品尺寸對成像質(zhì)量的影響；其次，通過將低層次的特征圖下采樣、高層次特征圖上采樣至同一尺寸大小，并通過局部響應(yīng)歸一化技術(shù)融合不同層次的特征圖，提高缺陷區(qū)域的定位和識別精度；最后，采用預(yù)訓(xùn)練的VGG模型作為特征提取主干網(wǎng)絡(luò)，通過缺陷區(qū)域生成網(wǎng)絡(luò)和檢測器實現(xiàn)缺陷區(qū)域的自動定位與檢測。在300個推薦區(qū)域與交并比為0.5時，缺陷區(qū)域召回率100%；缺陷類別識別平均準確率98.49%，具有較高的實用價值。

[1] LIU J J, MACGREGOR J F. Modeling and optimization of product appearance: application to injection-molded plastic panels[J]. Industrial & Engineering Chemistry Research, 2005, 44(13):4687-4696.

[2] GAHLEITNER R, NIEL K S, FRANK S. Optical measurement system for characterizing plastic surfaces[C].Image Processing: Machine Vision Applications. International Society for Optics and Photonics, 2008,6813:68130T.

[3] GRUBER D P, MACHER J, HABA D, et al. Measurement of the visual perceptibility of sink marks on injection molding parts by a new fast processing model[J]. Polymer Testing, 2014,33(3): 7-12.

[4] SATORRES MARTíNEZ S, GóMEZ ORTEGA J, GáMEZ GARCíA J, et al. An industrial vision system for surface quality inspection of transparent parts[J]. International Journal of Advanced Manufacturing Technology, 2013,68(5-8):1123-1136.

[5] 賀秋偉.基于計算機視覺的微小尺寸精密檢測理論與技術(shù)研究[D].長春:吉林大學(xué),2007.

[6] 陳廉清,高立國,王龍山.基于亞像素定位和虛擬圓掃描的齒輪在線檢測研究[J].光學(xué)技術(shù),2008,34(S1):123-125.

[7] 張王黎.基于機器視覺的塑料制品缺陷檢測算法研究[D]. 廣州:華南理工大學(xué), 2014.

[8] 楊威,毛霆,張云,等.注射制品表面缺陷在線檢測與自動識別[J].模具工業(yè),2013,39(7):7-12.

[9] LEE J Y, BONG W, LEE S, et al. Development of the Vision System and Inspection Algorithms for Surface Defect on the Injection Molding Case[M].Advances in Computer Science and Ubiquitous Computing. Springer, Singapore, 2016:963-970.

[10] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016:770-778.

[11] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2016,39(6):1137-1149.

[12] HE K, GKIOXARI G, DOLLáR P, et al. Mask R-CNN[C]// Proceedings of the IEEE International Conference on Compu-ter Vision, 2017:2961-2969.

Research on Defect Detection Technology of Small Transparent Injection Molding Parts Based on Feature Fusion

Diao Simian1Huang Tianlun2,3Mao Ting3Wang Nan2Zhong Zhenyu2Zhang Yun3Zhou Huamin3

(1.Yejiawei Technology Co., Ltd. Shenzhen 518172, China 2. Institute of Intelligent Manufacturing, Guangdong Academy of Science/ Guangdong Key Laboratory of Modern Control Technology, Guangzhou 510070, China 3. School of Materials Science and Engineering, Huazhong University of Science and Technology/ State Key Laboratory of Material Processing and Die & Mold Technology, Wuhan 430074, China)

Aiming at the problem that the defect detection accuracy and recall rate of transparent injection molded parts are low due to the influence of imaging quality and product size in the imaging process of small transparent injection molded parts, a defect detection technology of small transparent injection molded parts based on feature fusion is proposed. Firstly, high-definition industrial camera and M5028-MPW2 lens are used to image the local area of small transparent injection molding parts to make up for the influence of size and ensure the imaging quality; Then, the feature fusion network is used to transform the down sampling of low-level high-resolution feature map and the up sampling of high-level strong semantic information feature map to the same size, and the local response normalization technology is used for fusion, so as to improve the positioning and recognition accuracy of defect area; Finally, the feature sharing region generation network and classification network are used to realize the automatic location and detection of defect location. The experimental results show that the technology can accurately detect the defects of small transparent injection molded parts. When the ratio of 300 recommended areas to intersection and merging is 0.5, the recall rate of defective areas is 100%; The average accuracy of defect classification is 98.49%, which has high practical value.

small injection molding parts; defect localization and recognition; feature fusion; feature sharing

廣東省重點領(lǐng)域研發(fā)計劃項目（2018B01010-8006）；廣東省科學(xué)院建設(shè)國內(nèi)一流研究機構(gòu)行動專項資金項目（2021GDASYL-20210103091）。

刁思勉，男，1971年生，博士，工程師，主要研究方向：產(chǎn)品缺陷檢測技術(shù)。

黃天侖（通信作者），男，1991年生，博士，主要研究方向：機器視覺、深度學(xué)習(xí)。E-mail: tl.huang@giim.ac.cn

毛霆，男，1989年生，博士，主要研究方向：人工智能，機器視覺。

王楠，女，1989年生，碩士，主要研究方向：安全檢測技術(shù)。

鐘震宇，男，1971年生，博士，研究員，主要研究方向：深度學(xué)習(xí)。

張云，男，1981年生，博士，教授，主要研究方向：注塑成形工藝、智能制造。

周華民，男，1974年生，博士，教授，主要研究方向：智能成形工藝與裝備、聚合物加工。

S225

A

1674-2605(2021)06-0001-06

10.3969/j.issn.1674-2605.2021.06.001