基于深度學(xué)習(xí)+自學(xué)習(xí)的小盒外觀檢測系統(tǒng)

陳天麗 柳盼 汪魁 謝茜

[摘 ? ?要]針對目前傳統(tǒng)機(jī)器視覺方法配置參數(shù)繁瑣，操作復(fù)雜，存在誤剔或漏剔率偏高，及單一使用深度學(xué)習(xí)的方法檢測效率偏低等問題，文中提出了一種基于深度學(xué)習(xí)+自學(xué)習(xí)的卷包香煙外觀缺陷檢測系統(tǒng)。利用圖像增強(qiáng)、變換、濾波等方法對原始圖像進(jìn)行預(yù)處理得到處理后圖像，后對處理后的圖像進(jìn)行評估，選擇使用深度學(xué)習(xí)還是自學(xué)習(xí)的方法進(jìn)行檢測。結(jié)果表明，基于深度學(xué)習(xí)+自學(xué)習(xí)技術(shù)的卷包香煙外觀缺陷檢測方法比使用傳統(tǒng)的機(jī)器視覺檢測方法，或單一深度學(xué)習(xí)檢測方法在檢測耗時(shí)、準(zhǔn)確率、誤剔率的綜合性能上要優(yōu)越，具有較強(qiáng)的實(shí)用價(jià)值。

[關(guān)鍵詞]機(jī)器視覺;缺陷檢測;深度學(xué)習(xí);自學(xué)習(xí)

[中圖分類號]TM912 [文獻(xiàn)標(biāo)志碼]A [文章編號]2095–6487（2022）03–0–05

Design of small box appearance defect detection system

based on deep learning + self-learning

Chen Tian-li，Liu Pan，Wang Kui，Xie Qian

[Abstract]In view of the cumbersome configuration parameters of the traditional machine vision method， the complicated operation， the high false or missed rejection rate， and the low detection efficiency of the single deep learning method，a method of appearance defects detection of cigarette box based on deep learning + self-learning is proposed. Use image enhancement， spatial filtering and other methods to preprocess the original image to obtain the processed image， and then evaluate the processed image， and choose whether to use deep learning or self-learning methods for detection. The results show that the cigarette box appearance defects detection system based on deep learning + self-learning technology is superior to traditional machine vision detection methods or a single deep learning detection method in terms of detection time， accuracy， and false rejection ，and has strong practical value.

[Keywords]machine vision;defects detection;deep learning;self-learning

在當(dāng)前卷煙行業(yè)的包裝機(jī)生產(chǎn)中，小盒外觀檢測普遍采用機(jī)器視覺的方法進(jìn)行檢測，機(jī)器視覺檢測方法又分為基于傳統(tǒng)圖像處理檢測方法及深度學(xué)習(xí)檢測方法，這兩種方法各有優(yōu)缺點(diǎn)。例如使用傳統(tǒng)檢測算法，在對圖像尺寸測量和對一些特征較為明顯的固定區(qū)域進(jìn)行檢測時(shí)，其檢準(zhǔn)確率度及效率具有一定優(yōu)勢，但是對圖像復(fù)雜特征的檢測效果卻不盡人意。而使用深度學(xué)習(xí)算法對圖像的一些復(fù)雜特征的檢測則具有較高準(zhǔn)確率但其檢測耗時(shí)相對較長，效率不高?，F(xiàn)行業(yè)中普片使用的方案是基于單一的傳統(tǒng)圖像檢測算法或是深度學(xué)習(xí)檢測算法，鮮有將這兩種算法的優(yōu)勢融合在一起進(jìn)行外觀檢測的方案，其檢測的綜合效果上還存在一定的不足。

傳統(tǒng)圖像檢測算法通常的做法是采集1張樣本圖片，然后使用閾值分割及形態(tài)學(xué)算法將缺陷特征篩選出來，這種做法的缺點(diǎn)是采集的樣本單一且需要人工將閾值調(diào)節(jié)到適合的值，其穩(wěn)定性及可操作性不高。本文提出的自學(xué)習(xí)算法則是基于傳統(tǒng)的圖像檢測算的高層次封裝，通過采集多張樣本建立特征模型，可實(shí)現(xiàn)很好的檢測效果。近年來基于深度學(xué)習(xí)的方法發(fā)展迅猛，越來越多的科研人員及企業(yè)開始投入到深度神經(jīng)網(wǎng)絡(luò)的研究中。根據(jù)深度神經(jīng)網(wǎng)絡(luò)檢測框架的不同可以分為兩類：①基于候選窗口的網(wǎng)絡(luò)框架結(jié)構(gòu)。這種網(wǎng)絡(luò)結(jié)構(gòu)首先用設(shè)定的窗口在圖像上遍歷，選出概率較大的目標(biāo)區(qū)域，然后在對所選區(qū)域進(jìn)行預(yù)測。這類網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)勢是精度比較高，但檢測速度較慢，例如R-CNN、S PP-Net、Fast R-CNN、Faster R-CNN、R-FCN、Mask R-CNN等。②基于回歸的網(wǎng)絡(luò)框架結(jié)構(gòu)。這種結(jié)構(gòu)將檢測看成回歸問題，不需要計(jì)算候選區(qū)域，預(yù)測一步完成。這類框架檢測速度比較快，但在精度方面一般弱于基于候選窗口的網(wǎng)絡(luò)結(jié)構(gòu)，例如YOLO系列、SSD、DSSD、FSSD、RetinaNet等。基于機(jī)器視覺的方法在工業(yè)檢測領(lǐng)域有著良好的應(yīng)用背景。付斌設(shè)計(jì)的機(jī)器視覺技術(shù)在煙草包裝設(shè)備上的應(yīng)用，該方案對單張樣本使用閾值分割確定閾值然后對缺陷特征篩選，其檢測效果對光照環(huán)境的依賴性較高，魯棒性不強(qiáng)。張文、林建南等人設(shè)計(jì)的基于機(jī)器視覺的卷煙污點(diǎn)面積測量系統(tǒng)，該系統(tǒng)使用傳統(tǒng)的圖像算法，檢測速度快，精度高，但其檢測的缺陷特征簡單，滿足不了卷包多種缺陷類型及復(fù)雜特征的缺陷檢測。陳智斌、農(nóng)英雄、梁冬等人提出了基于深度學(xué)習(xí)的卷煙牌號識別方法，該方法使用CenterNet檢測算法，在檢測準(zhǔn)確率及模型的魯棒性取得了很好的效果，但是該方法不能兼容卷包檢測中的一些測量性質(zhì)的檢測需求。為了滿足卷包外觀多種缺陷的檢測需求，同時(shí)在檢測的準(zhǔn)確率、效率及算法的穩(wěn)定性上達(dá)到最優(yōu)的性能，本文設(shè)計(jì)1種基于深度學(xué)習(xí)+自學(xué)習(xí)技術(shù)的小盒煙包缺陷檢測系統(tǒng)。

1 系統(tǒng)組成

基于深度學(xué)習(xí)+自學(xué)習(xí)的小盒外觀缺陷檢測系統(tǒng)包含硬件設(shè)計(jì)和檢測算法設(shè)計(jì)兩個(gè)主要模塊，其中檢測算法又包含深度學(xué)習(xí)檢測算法和自學(xué)習(xí)檢測。

1.1 硬件單元設(shè)計(jì)

本系統(tǒng)是由鏡頭、光源、工控機(jī)、工業(yè)CCD、光電傳感器、圖像處理軟件及執(zhí)行機(jī)構(gòu)等部分組成，系統(tǒng)的整體架構(gòu)如下圖1所示。系統(tǒng)設(shè)計(jì)的原理是小盒煙包運(yùn)動(dòng)到光電傳感器的位置觸發(fā)相機(jī)拍照，相機(jī)將采集到的煙包圖像數(shù)據(jù)通過千兆網(wǎng)傳送給工控機(jī)，然后圖像處理軟件通過本文設(shè)計(jì)的算法對采集到的煙包圖像做缺陷檢測，當(dāng)檢測到缺陷時(shí)，檢測程序會(huì)通過工控機(jī)輸出剔除信號通知執(zhí)行機(jī)構(gòu)執(zhí)行剔除動(dòng)作。

1.2 檢測算法設(shè)計(jì)

系統(tǒng)的檢測算法是通過深度學(xué)習(xí)+自學(xué)習(xí)的方案來實(shí)現(xiàn)，根據(jù)小盒外觀的缺陷類型及背景的復(fù)雜程度來決定是使用深度學(xué)習(xí)檢測方法還是自學(xué)習(xí)檢測方法。檢測算法流程圖如圖2所示。

1.2.1 深度學(xué)習(xí)模塊

在深度學(xué)習(xí)檢測模塊中，本文采用的是1種改進(jìn)的深度可分離的YOLO v5檢測算法，相對于未改進(jìn)的YOLO v5算法在參數(shù)量和模型大小上有明顯的優(yōu)勢，在檢測的mAP（均值平均精度）也有提升。

（1）YOLO v5。YOLO v5算法使用1種殘差神經(jīng)網(wǎng)絡(luò)（Darknet-53）作為特征提取層，在花費(fèi)更少浮點(diǎn)運(yùn)算和時(shí)間的情況下達(dá)到與ResNet-152相似的效果。在預(yù)測輸出模塊，YOLO v5借鑒FPN（Feature Pyramid Network）算法思想，對多尺度的特征圖進(jìn)行預(yù)測，其結(jié)構(gòu)示意圖如圖3所示。

（2）深度可分離卷積。傳統(tǒng)的卷積算法在做計(jì)算時(shí)，每次參數(shù)的更新迭代都會(huì)對所有通道的對應(yīng)區(qū)域進(jìn)行計(jì)算，這就使得在卷積計(jì)算過程中需要涉及大量的模型參數(shù)和更多的浮點(diǎn)運(yùn)算。而深度可分離卷積則是通過分組卷積的設(shè)計(jì)（每個(gè)通道作為一組），即先對每個(gè)通道的對應(yīng)區(qū)域進(jìn)行卷積運(yùn)算，然后再在通道間進(jìn)行信息交互，從而達(dá)到了將通道內(nèi)卷積和通道間卷積分離的目的。

假設(shè)在傳統(tǒng)卷積網(wǎng)絡(luò)算法中，其輸入圖片的尺寸為H×W×N（H代表圖片的高，W代表圖片的寬，N代表圖片的通道數(shù)）與C個(gè)尺寸為k×k×N（k×k代表卷積核的高和寬，N代表卷積核的通道數(shù)）的卷積核進(jìn)行卷積運(yùn)算時(shí)，其輸出特征圖的尺寸為H×W×C（padding=floor（k/2），stride=1）。在不考慮偏置（bias）的情況下，所需參數(shù)量為N×k×k×C，計(jì)算復(fù)雜度為O（H×W×k×k×N×C），卷積過程如下圖4所示。

在深度可分離卷積中，是將卷積過程分為深度卷積（Depthwise Convolution）和逐點(diǎn)卷積（Pointwise Convolution）兩個(gè)部分。在深度卷積中，用尺寸大小為k×k卷積核對輸入的同一通道類進(jìn)行卷積運(yùn)算，提取到的是1個(gè)通道內(nèi)的特征信息，其參數(shù)量為N×k×k，計(jì)算復(fù)雜度為O（H×W×k×k×N），深度卷積不進(jìn)行通道間的信息融合。逐點(diǎn)卷積則是利用C個(gè)尺寸大小為1×1×N的卷積核對通道間的信息進(jìn)行融合，在實(shí)現(xiàn)通道間信息交互的同時(shí)可調(diào)控通道數(shù)量，其參數(shù)量為N×1×1×C，計(jì)算復(fù)雜度為O（H×W×1×1×N×C），卷積過程如下圖5所示。

以3×3的卷積核為例，經(jīng)過改進(jìn)的深度可分離卷積網(wǎng)絡(luò)所需的參數(shù)量僅約為傳統(tǒng)卷積網(wǎng)絡(luò)的1/9，并且運(yùn)算量也降到約為原來的1/9，在不犧牲算法準(zhǔn)確率的情況下降低了計(jì)算開銷，提升了算法效率。

1.2.2 自學(xué)習(xí)模塊

在自學(xué)習(xí)的缺陷檢測算法中，通過學(xué)習(xí)正樣本的特征建立起缺陷檢測模型，可精確檢測出煙包常見的缺陷。在實(shí)際使用中還可將誤剔的煙包圖像動(dòng)態(tài)地添加到正樣本圖片中，實(shí)時(shí)優(yōu)化模型。這種通過學(xué)習(xí)正樣本圖像特征的自學(xué)習(xí)算法，無論是檢測準(zhǔn)確性還是操作的方便性，相對于傳統(tǒng)的基于單張圖片的檢測算法都具有無法比擬的優(yōu)越性。自學(xué)習(xí)檢測方法通過學(xué)習(xí)若干正樣本的圖像，建立器基于像素點(diǎn)的檢測模型，在檢測模型中計(jì)算出樣本圖像像素點(diǎn)的平均值及標(biāo)準(zhǔn)偏差。

像素點(diǎn)平均灰度計(jì)算公式：

M（x，y）=[P1（x，y）+P2（x，y）+……Pn（x，y）]/n （1）

像素點(diǎn)灰度標(biāo)準(zhǔn)偏差計(jì)算公式：

V（x，y）=sqrt（（（P1（x，y）-M（x，y））2+（P2（x，y）-M（x，y））2+……（Pn（x，y）-M（x，y））2）/（n-1）） （2）

樣本檢測模型建立好之后，可以用此模型來檢測煙包的缺陷，對于新輸入的一張煙包圖片，其檢測算法流程如下。

（1）設(shè)置參數(shù)絕對閾值A(chǔ)bsThreshold和相對系數(shù)閾值VarThreshold。

（2）計(jì)算允許正?；叶戎档淖畲笾蹬c最小值。

最大值：Gmax（x，y）=M（x，y）+max {AbsThreshold，VarThreshold*V（x，y）} ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （3）

最小值：Gmin（x，y）= M（x，y）-max{AbsThreshold，VarThreshold*V（x，y）} ? （4）

（3）將當(dāng)前值C（x，y）與Gmax（x，y），Gmin（x，y）做對比，滿足如下條件的像素點(diǎn)將被檢測為缺陷點(diǎn)：

C（x，y）>Gmax（x，y） U C（x，y）<Gmin（x，y） （5）

2 實(shí)驗(yàn)與分析

2.1 試驗(yàn)設(shè)計(jì)

操作系統(tǒng)：Window10系統(tǒng)

硬件環(huán)境：CPU型號為Inter（R） Core（TM） i7-8700;主頻為3.2 GHz安裝內(nèi)存為16 GB;深度學(xué)習(xí)框架是Tensor flow1.14;顯卡配置為1塊 Nvidia GeForce RTX 2080 Ti，顯存為11 GB。具體實(shí)驗(yàn)環(huán)境見表1。

數(shù)據(jù)集選用武漢卷煙廠黃鶴樓軟藍(lán)的煙包圖像，圖像原始分辨率為640*480。該數(shù)據(jù)集中包含正常圖片及漏煙、封簽歪斜、邊口炸裂、邊角折疊4種常見的缺陷圖片（圖6所示），缺陷圖像使用Labimg進(jìn)行標(biāo)注。實(shí)驗(yàn)時(shí)共選用16933圖片進(jìn)行測試，其中正常圖片5124張，漏煙圖片2955張，封簽歪斜圖片2933張，邊口炸裂圖片2980張，邊口折疊圖片2941張。具體實(shí)驗(yàn)數(shù)據(jù)見表2所示。在實(shí)驗(yàn)中，將圖像裁剪成512*512的大小并輸入到骨干網(wǎng)絡(luò)，批量大?。╞atch size）設(shè)置為8，學(xué)習(xí)率設(shè)定為0.000125，并使用數(shù)據(jù)增強(qiáng)來提高模型的泛化能力，共訓(xùn)練100個(gè)epoch。

在自學(xué)習(xí)模塊中采集正樣本圖片200張，設(shè)置絕對閾值A(chǔ)bsThreshold=20，相對系數(shù)為VarThreshold=2。

2.2 實(shí)驗(yàn)結(jié)果與分析

單一使用深度學(xué)習(xí)網(wǎng)絡(luò)對數(shù)據(jù)集中的幾種類型圖片進(jìn)行測試，其準(zhǔn)確率、誤剔率、平均耗時(shí)如表3所示。

單一使用自學(xué)習(xí)的方法對數(shù)據(jù)集中的幾種類型圖片進(jìn)行測試，其準(zhǔn)確率、誤剔率、平均耗時(shí)如表4所示。

使用深度學(xué)習(xí)+自學(xué)習(xí)的方法對數(shù)據(jù)集中的幾種類型圖片進(jìn)行測試，其準(zhǔn)確率、誤剔率、平均耗時(shí)如表5所示。

由上表測試數(shù)據(jù)可得出：

（1）封簽歪斜這種缺陷，使用深度學(xué)習(xí)的方法檢測效果并不理想，其準(zhǔn)確率僅為96.57%，誤剔率為0.11%，而使用自學(xué)習(xí)的方法準(zhǔn)確率可達(dá)100%，誤剔率0.0%。

（2）對于邊角折疊這種缺陷，由于存在鐳射過曝與折疊的白色區(qū)域在灰度和形態(tài)上存在一定的相似性，這種使用自學(xué)習(xí)方法在準(zhǔn)確率和誤剔率指標(biāo)上沒有使用深度學(xué)習(xí)網(wǎng)絡(luò)檢測的效果好。

（3）對于封簽歪斜缺陷，使用傳統(tǒng)測量這種定量方法進(jìn)行檢測效果更好;對于邊角折疊這種缺陷，使用擅長模糊檢測的深度學(xué)習(xí)網(wǎng)絡(luò)來做檢測更合適。

結(jié)論：使用深度學(xué)習(xí)+自學(xué)習(xí)的方法可以充分結(jié)合出兩種檢測方法的優(yōu)勢，其綜合檢測效果要優(yōu)于單一使用深度學(xué)習(xí)檢測方法或單一使用自學(xué)習(xí)檢測

方法。

3 結(jié)語

本文提出了一種基于深度學(xué)習(xí)+自學(xué)習(xí)的方法來檢測小盒外觀表面缺陷。根據(jù)小盒外觀的缺陷類型及缺陷背景的復(fù)雜程度，來分配使用深度學(xué)習(xí)方法檢測或使用自學(xué)習(xí)方法檢測，可以充分結(jié)合兩種檢測方法的優(yōu)勢，使其綜合檢測效果要優(yōu)于單一使用深度學(xué)習(xí)方法或單一使用自學(xué)習(xí)的方法。在后續(xù)的研究中，研究的重點(diǎn)將集中在決策模塊的開發(fā)，使其能根據(jù)缺陷類型及背景的復(fù)雜程度自動(dòng)選擇使用深度學(xué)習(xí)的方法或自學(xué)習(xí)的方法進(jìn)行檢測。

參考文獻(xiàn)

[1] 李煒，黃心漢，王敏，等.基于機(jī)器視覺的帶鋼表面缺陷檢測系統(tǒng)[J].華中科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2003，31（2）：72-74.

[2] LECUN Y，BENGIO Y，HINTON G.Deep learning[J].Nature，2015，521（7533）：436-444.

[3] IGLOVIKOV I，SEFERBEKOV S，BUSLAEV A，et al.TernausNetV2：Fully convolutional network for instance segmentation[C].2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.2018：233-237.

[4] 姚群力，胡顯，雷宏.深度卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測中的研究進(jìn)展[J].計(jì)算機(jī)工程與應(yīng)用，2018，54（17）：1-9.

[5] GIRSHICK R，DONAHUE J，DARRELLAND T，et al.Rich feature hierarchies for accurate object detection andsemantic segmentation[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.2014：580-587.

[6] HE K M，ZHANG X Y，REN S Q，et al.Spatial pyramid pooling in deep convolutional networks for visual recognition[J].IEEE Transactions on Pattern Analysis & Ma-chine Intelligence，2015，37（9）：1904-1916.

[7] GIRSHICK R.Fast R-CNN[C].IEEE International Conference on Computer Vision.2015：1440-1448.

[8] REN S Q，HE K M，GIRSHICK R，et al.Faster R-CNN：Towards real-time object detection with region proposal networks[C].International Conference on Neural Information Processing Systems，2015：91-99.

[9] CHEN X L，GUPTA A.An implementation of faster R-CNN with study for region sampling[J].arXiv：1702.02138，2017.

[10] DAI J F，LI Y，HE K M，et al.R-FCN：Object detectionvia region-based fully convolutional networks[J].Computer Vision and Pattern Recognition，2016，20：379-387.

[11] HE K M，GKIOXARI G，DOLL R P，et al.Mask R-CNN[C].IEEE International Conference on Computer Vision，2017：2980-2988.

[12] REDMON J，DIVVALA S，GIRSHICK R，et al.You only look once：Unified，real-time object detection[C].IEEE ?Conference on Computer Vision and Pattern Recognition，2016：779-788.

[13] REDMON J，F(xiàn)ARHADI A.YOLO9000：Better，faster，stronger[C].IEEE Conference on Computer Vision and Pattern Recognition，2017：6517-6525.

[14] REDMON J，F(xiàn)ARHADI A.YOLOv3：An incremental improvement[C].IEEE Conference on Computer Vision and Pattern Recognition，2018：89-95.

[15] LIU W，ANGUELOV D，ERHAN D，et al.SSD：Single shot multibox detector[C].European Conference on Computer Vision，2016：21-37.

[16] FU C Y，LIU W，RANGA A，et al.DSSD：Deconvolutional single shot detector[J].arXiv：1707.06659，2017.

[17] LI Z，ZHOU F.FSSD：Feature fusion single shot multibox detector[J].arXiv：1712.00690，2017.

[18] LIN T Y，GOYAL P，GIRSHICK R，et al.Focal loss for dense object detection [C].Proceedings of the IEEE International Conference on Computer Vision，2017：2980-2988.

[19] 陳治杉，劉本永.基于機(jī)器視覺的晶圓表面缺陷檢測[J].貴州大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，36（4）：68-73.

[20] 姚明海，陳志浩.基于深度主動(dòng)學(xué)習(xí)的磁片表面缺陷檢測[J].計(jì)算機(jī)測量與控制，2018，26（9）：29-33.

[21] 魏若峰.基于深度學(xué)習(xí)的鋁型材表面瑕疵識別技術(shù)研究[D].杭州：浙江大學(xué)，2019.

[22] 高欽泉，黃炳城，劉文哲，等.基于改進(jìn)CenterNet的竹條表面缺陷檢測方法[J].計(jì)算機(jī)應(yīng)用：1-8[2021-03-10].

[23] LIN T Y，DOLLáR P，GIRSHICK R，et al.Feature pyramid networks for object detection[C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition.Piscataway：IEEE，2017：936-944.