基于深度學(xué)習(xí)的煙支外觀檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

張維琛，趙海挺，李 靖，李端端，張健龍，劣旺濤，張連連*

（1.張家口卷煙廠有限責(zé)任公司，河北 張家口 075000；2.河北建筑工程學(xué)院，河北 張家口 075000）

引言

中國(guó)煙草產(chǎn)業(yè)產(chǎn)量一直位居世界第一，中國(guó)煙草每年給國(guó)家所繳納的稅額達(dá)到了1.2 萬(wàn)億，煙草行業(yè)是中國(guó)的支柱產(chǎn)業(yè)之一，隨著我國(guó)經(jīng)濟(jì)水平的不斷提高和設(shè)施的不斷完善，其競(jìng)爭(zhēng)也日益激烈，持續(xù)提高煙草行業(yè)自動(dòng)化生產(chǎn)能力、提高煙支瑕疵檢測(cè)靈敏度來(lái)提高產(chǎn)品質(zhì)量，是煙支企業(yè)發(fā)展的必經(jīng)之路。煙支質(zhì)量的優(yōu)劣直接影響到消費(fèi)者對(duì)于該產(chǎn)品的選擇及使用，同時(shí)也間接地反映了一個(gè)煙草企業(yè)的技術(shù)實(shí)力。目前的自動(dòng)生產(chǎn)流水線上煙支的生產(chǎn)速度已經(jīng)達(dá)到了300 支/秒，靠人工去分辨缺陷已經(jīng)不太現(xiàn)實(shí)，迫切需要檢測(cè)出煙棒外觀缺陷并剔除，基于深度學(xué)習(xí)的圖像處理技術(shù)代替人工是一種切實(shí)可行的技術(shù)方案。

1 研究背景及意義

目前，應(yīng)用視覺(jué)檢測(cè)技術(shù)對(duì)煙支的外觀質(zhì)量進(jìn)行更完善的監(jiān)測(cè)，是保證煙支質(zhì)量合格率的有效檢測(cè)手段之一。張煙公司卷包車間現(xiàn)有煙支外觀檢測(cè)設(shè)備昂貴，多數(shù)卷煙機(jī)未安裝煙支外觀檢測(cè)系統(tǒng)，采購(gòu)安裝煙支外觀檢測(cè)系統(tǒng)很有必要。但是，采購(gòu)成本高；算法復(fù)雜、參數(shù)多、參數(shù)間具有嚴(yán)格的相關(guān)性、調(diào)整難度大；對(duì)車間電氣技術(shù)人員要求高；難以適應(yīng)不同煙支的檢測(cè)等成為困擾該問(wèn)題解決的因素。因此自主開(kāi)發(fā)煙支外觀在線檢測(cè)系統(tǒng)，應(yīng)用人工智能、機(jī)器視覺(jué)等技術(shù)手段實(shí)現(xiàn)煙支刺破、煙支夾末、煙支黃斑、煙支長(zhǎng)短、煙支污漬、水松紙泡皺、水松紙夾末、水松紙長(zhǎng)短、雙層水松紙、水松紙錯(cuò)牙等外觀缺陷煙支的檢測(cè)剔除，加強(qiáng)對(duì)煙支質(zhì)量的把控力度，提高視覺(jué)檢測(cè)應(yīng)用可靠性，減少設(shè)備改造投入，減少因外觀缺陷造成追溯而帶來(lái)的原材料浪費(fèi)，提高技術(shù)人員開(kāi)發(fā)水平。

2 煙支外觀檢測(cè)系統(tǒng)設(shè)計(jì)

通過(guò)對(duì)目前的香煙外觀檢測(cè)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析發(fā)現(xiàn)，香煙由裝煙絲的煙棒和裝過(guò)濾器濾嘴2 部分組成，常見(jiàn)的外觀缺陷包括錯(cuò)牙、局部泡皺、濾嘴暗點(diǎn)、煙棒斑點(diǎn)、煙棒刺破等。這些圖像具有缺陷面積大小不一、缺陷種類多樣、缺陷占比小、煙支圖像狹長(zhǎng)等特點(diǎn)，導(dǎo)致傳統(tǒng)的圖像處理算法分辨缺陷的準(zhǔn)確率較低及煙支的誤剔除。近年來(lái)，機(jī)器學(xué)習(xí)算法，在語(yǔ)音和圖像識(shí)別方面解決了很多復(fù)雜的模式識(shí)別難題[1-2]，人工智能相關(guān)技術(shù)取得了很大進(jìn)步，使得基于深度學(xué)習(xí)的煙支外觀檢測(cè)成為可能。

根據(jù)生產(chǎn)過(guò)程、外觀缺陷的位置和形成原因，主要研究以下4 類缺陷：錯(cuò)牙、局部泡皺、煙棒暗點(diǎn)、特殊檢測(cè)。錯(cuò)牙指煙支的包裝紙?jiān)谏a(chǎn)過(guò)程中沒(méi)有對(duì)齊，主要由生產(chǎn)機(jī)器造成；局部泡皺指煙支上有像皺紋一樣形狀的破損，主要是由生產(chǎn)機(jī)器用煙棒紙卷煙絲時(shí)造成；煙棒暗點(diǎn)指煙棒上面有大小不一的暗點(diǎn)，主要由煙棒紙印刷不合格形成；特殊檢測(cè)指煙支生產(chǎn)結(jié)束后缺少濾嘴[3]。在處理煙支圖像時(shí)首先要進(jìn)行預(yù)處理消除噪聲干擾；然后對(duì)目標(biāo)煙支分割得到的煙棒和濾嘴，最后提取煙支缺陷特征，對(duì)缺陷分類。針對(duì)煙支各類缺陷，從硬件、軟件兩個(gè)方面進(jìn)行煙支外觀檢測(cè)系統(tǒng)的設(shè)計(jì)開(kāi)發(fā)。

2.1 煙支外觀檢測(cè)系統(tǒng)的硬件實(shí)現(xiàn)

本系統(tǒng)中單片機(jī)與上位機(jī)采用TCP 網(wǎng)絡(luò)通信，與其他通信方式相比，TCP 通信方式更加穩(wěn)定，在煙機(jī)檢測(cè)系統(tǒng)通信測(cè)試中測(cè)得網(wǎng)絡(luò)通信每秒最高可以完成800 測(cè)收發(fā)，遠(yuǎn)超我們所需的150 測(cè)收發(fā)需求，在不追求高速的情況下可選擇TCP 網(wǎng)絡(luò)通信。當(dāng)單片機(jī)接收到時(shí)鐘同步信號(hào)后，根據(jù)預(yù)先設(shè)置的圖像拍攝方案進(jìn)行控制相機(jī)及補(bǔ)光電路完成圖像獲取。煙支外觀缺陷檢測(cè)系統(tǒng)框圖和流程圖見(jiàn)圖1 和圖2。當(dāng)上位機(jī)對(duì)煙支分析結(jié)果為合格時(shí)，單片機(jī)記錄合格煙支數(shù)量；若分析結(jié)果為不合格時(shí)輸出剔除信號(hào)并記錄?；赟TM32 單片機(jī)控制電路板自主開(kāi)發(fā)電控箱、光源觸發(fā)板等，完成卷煙機(jī)相位采集、拍照觸發(fā)、剔除信號(hào)輸出等功能。STM32 通過(guò)時(shí)鐘脈沖與煙機(jī)生產(chǎn)線進(jìn)行同步，同時(shí)控制頻閃亮度增益實(shí)現(xiàn)相機(jī)的補(bǔ)光電路。工控圖像處理機(jī)同步獲取相機(jī)拍照內(nèi)容應(yīng)用軟件部分進(jìn)行缺陷的識(shí)別和分類，并將處理結(jié)果反饋回STM32控制電路進(jìn)行瑕疵煙支的剔除。

圖1 煙支外觀缺陷檢測(cè)系統(tǒng)硬件框圖

圖2 煙支外觀缺陷檢測(cè)流程圖

STM32 單片機(jī)控制電路板用于煙支外觀成像的工業(yè)相機(jī)的硬件觸發(fā)功能，工業(yè)相機(jī)采用高低電平觸發(fā)，實(shí)現(xiàn)多線程圖像處理器中圖像的標(biāo)記與反饋功能、實(shí)現(xiàn)不合格煙支在卷煙機(jī)上的剔除功能、實(shí)現(xiàn)由圖像處理器軟件對(duì)相機(jī)與光源的參數(shù)設(shè)置功能。為實(shí)現(xiàn)高清高速移動(dòng)的煙支圖像，避免煙支圖像產(chǎn)生拖影，需縮短攝像機(jī)的CCD 曝光時(shí)間，導(dǎo)致攝像機(jī)的圖像變的更暗，需要增加補(bǔ)光電路的設(shè)計(jì)，使攝像機(jī)有較好的寬動(dòng)態(tài)。因此設(shè)計(jì)了一種頻閃亮度同步可調(diào)的LED 補(bǔ)光燈，包括燈殼及設(shè)于燈殼內(nèi)的電源和LED燈板，頻閃亮暗控制電路板。在單片機(jī)控制電路板外圍設(shè)計(jì)LED 光源電路板，解決工業(yè)相機(jī)對(duì)煙支實(shí)時(shí)拍照時(shí)背景中的技術(shù)問(wèn)題，實(shí)現(xiàn)拍照時(shí)的補(bǔ)光功能。

2.2 煙支外觀檢測(cè)系統(tǒng)的軟件實(shí)現(xiàn)

煙支外觀檢測(cè)系統(tǒng)的軟件部分以Pycharm 開(kāi)發(fā)環(huán)境為平臺(tái)，Python 語(yǔ)言為基礎(chǔ)，基于Resnet50 完成煙支缺陷檢測(cè)，主要包含預(yù)處理、圖像分割、缺陷檢測(cè)分類等內(nèi)容[4-5]。在進(jìn)行煙支圖像的缺陷識(shí)別及分類時(shí)首先對(duì)圖像進(jìn)行預(yù)處理及噪聲濾除；其次對(duì)煙支圖像進(jìn)行分割，將煙嘴和煙棒進(jìn)行分離并提取特征參數(shù)；最后對(duì)煙支圖像進(jìn)行識(shí)別和分類。在進(jìn)行預(yù)處理時(shí)發(fā)現(xiàn)在均值濾波與中值濾波對(duì)圖像進(jìn)行處理[6]，都會(huì)使圖像變得模糊。均值濾波還會(huì)使瑕疵變形，從而對(duì)缺陷的判別產(chǎn)生影響，故而我們選擇高斯濾波對(duì)圖像進(jìn)行去噪處理。

通過(guò)對(duì)設(shè)計(jì)需求的綜合考慮，軟件需具備處理圖像和缺陷檢測(cè)兩大功能。圖3 為系統(tǒng)功能圖，在煙支檢測(cè)種劃分為圖像檢測(cè)和視頻檢測(cè)兩種類型分別進(jìn)行缺陷檢測(cè)和分類。如圖4 所示，界面劃分為結(jié)果登錄界面、顯示區(qū)域、圖像顯示區(qū)域以及控制區(qū)域四大區(qū)域。登陸界面由賬號(hào)密碼來(lái)進(jìn)行登錄，從而確保本系統(tǒng)由煙廠的專業(yè)人士來(lái)操作。圖像顯示區(qū)域主要顯示原始灰度圖像以及預(yù)處理圖像。由4 個(gè)模塊組成4個(gè)顯示區(qū)域。在進(jìn)行圖像檢測(cè)時(shí)，預(yù)處理最為關(guān)鍵。控制區(qū)域由4 個(gè)按鍵共同組成：①選擇圖片：通過(guò)單擊打開(kāi)圖像，選擇圖片類型，并在編輯框內(nèi)對(duì)其路徑進(jìn)行顯示；②截取煙棒：對(duì)圖像進(jìn)行預(yù)處理工作，分別是二值化和去除噪聲；③缺陷分類：這一按鍵用于煙支特征的判斷，并在下面的編輯框進(jìn)行判斷顯示；④保存截取圖像：對(duì)分割后的圖像進(jìn)行保存到程序設(shè)定好的文件夾中。檢測(cè)結(jié)果顯示區(qū)域包含2 個(gè)編輯框，檢測(cè)結(jié)果在文本框內(nèi)顯示。檢測(cè)煙棒出現(xiàn)缺陷，則顯示煙缺陷類型及檢測(cè)的準(zhǔn)確率。

圖3 煙支外觀缺陷檢測(cè)系統(tǒng)功能圖

煙支圖像分割采用全局閾值分割法，在整個(gè)圖像中采用的是固定的閾值進(jìn)行圖像分割，因此在數(shù)字圖像處理中應(yīng)用比較廣泛。依據(jù)選擇閾值的方式不同，可將全局閾值法分為迭代式閾值選擇、模態(tài)等方法，同時(shí)還有最大類間方差法、最大熵分割法、共生矩陣分割法等。采用的是全局閾值分割法中的手動(dòng)閾值法，由于煙棒圖像簡(jiǎn)單，根據(jù)實(shí)驗(yàn)法合適設(shè)定分割閾值同時(shí)允許微調(diào)，這樣做的好處是計(jì)算量小速度快。獲得二值圖像后，首先對(duì)預(yù)處理后的二值化目標(biāo)煙支進(jìn)行形態(tài)學(xué)預(yù)處理，使用開(kāi)運(yùn)算突出目標(biāo)邊緣并消除多余信息，針對(duì)預(yù)處理后的圖像，使用Canny 邊緣檢測(cè)算子進(jìn)行邊緣檢測(cè)特征分析，使目標(biāo)煙支的煙棒和濾嘴連接的邊緣實(shí)現(xiàn)煙棒和濾嘴的分割。如圖4 所示，圖4 中第一幅圖為原始煙支圖像，第二及第三幅圖是對(duì)圖像進(jìn)行二值化后進(jìn)行煙棒和濾嘴的分割圖像，第四幅圖是對(duì)原始圖像的煙棒和濾嘴進(jìn)行分割。分割完成后需要根據(jù)圖像特征進(jìn)行缺陷檢測(cè)及分類，在對(duì)煙支缺陷進(jìn)行檢測(cè)分類時(shí)采用了Resnet50 網(wǎng)絡(luò)，Resnet 是一種殘差網(wǎng)絡(luò)，特點(diǎn)是容易優(yōu)化，并且能夠通過(guò)增加深度來(lái)提高準(zhǔn)確率。其內(nèi)部的殘差塊使用了跳躍連接，緩解了在深度神經(jīng)網(wǎng)絡(luò)中增加深度帶來(lái)的梯度消失問(wèn)題，因?yàn)樯疃鹊脑黾樱Y(jié)果得到了明顯提升。Resnet50 網(wǎng)絡(luò)中包含了49 個(gè)卷積層、一個(gè)全連接層。Resnet50 網(wǎng)絡(luò)結(jié)構(gòu)可以分成七個(gè)部分，第一部分不包含殘差塊，主要對(duì)輸入進(jìn)行卷積、正則化、激活函數(shù)、最大池化的計(jì)算。第二、三、四、五部分結(jié)構(gòu)都包含了殘差塊，圖中的綠色圖塊不會(huì)改變殘差塊的尺寸，只用于改變殘差塊的維度。在Resnet50 網(wǎng)絡(luò)結(jié)構(gòu)中，殘差塊都有三層卷積，那網(wǎng)絡(luò)總共有1+3*（3+4+6+3）=49 個(gè)卷積層，加上最后的全連接層總共是50 層，這也是Resnet50 名稱的由來(lái)。網(wǎng)絡(luò)的輸入為224×224×3，經(jīng)過(guò)前五部分的卷積計(jì)算，輸出為7×7×2048，池化層會(huì)將其轉(zhuǎn)化成一個(gè)特征向量，分類器對(duì)特征向量進(jìn)行計(jì)算并輸出類別概率。圖4 右側(cè)部分顯示煙支缺陷為錯(cuò)牙，準(zhǔn)確率為92.6%。圖5 是對(duì)大量煙支進(jìn)行檢測(cè)后的不同缺陷檢測(cè)的平均準(zhǔn)確率，從圖表中可以看出不同缺陷類型準(zhǔn)確率有一定差距，準(zhǔn)確率最高的為煙支破損達(dá)到了98.5%，準(zhǔn)確率最低的為錯(cuò)牙僅為93.2，這是因?yàn)槠茡p特征較為明顯更容易檢測(cè)，而錯(cuò)牙集中在煙支濾嘴接口處，錯(cuò)牙特征較難提取導(dǎo)致的。

圖4 煙支外觀缺陷檢測(cè)系統(tǒng)

圖5 煙支缺陷檢測(cè)準(zhǔn)確率

3 結(jié)論

基于煙棒外觀缺陷檢測(cè)的設(shè)計(jì)與實(shí)現(xiàn)，利用傳統(tǒng)圖像檢測(cè)算法與深度學(xué)習(xí)相結(jié)合的方式，對(duì)煙支的缺陷進(jìn)行了基礎(chǔ)分類，實(shí)現(xiàn)了煙支缺陷識(shí)別的系統(tǒng)化、規(guī)范化和自動(dòng)化，從而達(dá)到煙支缺陷識(shí)別簡(jiǎn)單化的目的。本系統(tǒng)為煙廠的質(zhì)量管理提供了便利，保障了煙支出場(chǎng)的質(zhì)量，大大提高了工作效率。