張毅，陳樂(lè)，劉文曉

基于深度學(xué)習(xí)的條煙分揀線上煙包錯(cuò)配識(shí)別系統(tǒng)的構(gòu)建

張毅，陳樂(lè)，劉文曉

湖南省長(zhǎng)株潭煙草物流有限責(zé)任公司，湖南省長(zhǎng)沙市天心區(qū)中意三路500號(hào) 410000

【背景】條煙分揀線上，條煙長(zhǎng)邊相鄰并排擺放形成一層，多層疊加形成煙包，與訂單相比，煙包可能存在少煙、多煙、品規(guī)錯(cuò)誤等問(wèn)題，目前采用的人工檢查方式效率較低，且難以完全避免錯(cuò)誤發(fā)生。本研究的目的是構(gòu)建煙包錯(cuò)配識(shí)別系統(tǒng)?！痉椒ā坎捎糜晒I(yè)相機(jī)鏡頭和光源構(gòu)成的機(jī)器視覺系統(tǒng)采集成品煙包側(cè)面與頂面圖像，以基于深度學(xué)習(xí)的物體定位和識(shí)別技術(shù)獲取煙包中條煙的數(shù)量與品規(guī)，與物流上位系統(tǒng)訂單數(shù)據(jù)比對(duì)，自動(dòng)識(shí)別與提示錯(cuò)誤煙包?！窘Y(jié)果】（1）實(shí)際使用中煙包識(shí)別成功率≥99.99%，識(shí)別耗時(shí)≤300 ms。識(shí)別過(guò)程與原有工作步驟并行，增加識(shí)別系統(tǒng)不降低分揀效率。（2）系統(tǒng)上線運(yùn)行至今有效避免了煙包連續(xù)出錯(cuò)和返工問(wèn)題。（3）識(shí)別系統(tǒng)可以減輕搬運(yùn)工人的工作負(fù)擔(dān)，進(jìn)而提高工作效率?！窘Y(jié)論】采用深度學(xué)習(xí)機(jī)器視覺系統(tǒng)自動(dòng)化識(shí)別煙包品規(guī)，可以提升煙草物流條煙分揀的質(zhì)量和效率。

煙草物流；智慧物流；煙包；機(jī)器視覺；深度學(xué)習(xí)；物體識(shí)別

目前，煙草物流中采用自動(dòng)化分揀線完成分揀。條煙經(jīng)分揀后，多條條煙并排形成一層，多層疊加形成煙包，而后塑封配送給終端零售商。自動(dòng)化分揀線在條煙流轉(zhuǎn)中會(huì)出現(xiàn)條煙錯(cuò)位、卡煙等問(wèn)題，導(dǎo)致和生產(chǎn)訂單校驗(yàn)時(shí)，出現(xiàn)多煙、少煙或品規(guī)錯(cuò)誤等問(wèn)題。目前，煙草物流中心均由人工檢查煙包，不能保證100%檢查出煙包錯(cuò)誤。錯(cuò)誤煙包配送后，排查確認(rèn)和糾正補(bǔ)送耗時(shí)耗力。當(dāng)生產(chǎn)時(shí)條煙品規(guī)錯(cuò)誤若未被及時(shí)發(fā)現(xiàn)，錯(cuò)誤會(huì)持續(xù)向下一個(gè)訂單分揀任務(wù)傳遞，導(dǎo)致連續(xù)煙包錯(cuò)誤。返工時(shí)需要將所有錯(cuò)誤訂單拆包，調(diào)整條煙，并重新人工塑封，極大降低了工作效率。目前，機(jī)器視覺[1-2]在煙草物流中已有應(yīng)用。在分揀產(chǎn)線上采用模板匹配技術(shù)進(jìn)行條煙的定位和識(shí)別。但模板匹配方法依賴穩(wěn)定一致的成像，實(shí)踐難以保證，可靠性較差。

近年來(lái)，深度學(xué)習(xí)[3-14]技術(shù)迅猛發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)新的基礎(chǔ)結(jié)構(gòu)不斷改進(jìn)，在ImageNet等數(shù)據(jù)集上分類性能已達(dá)到或接近人類水平[4]。深度學(xué)習(xí)在機(jī)器視覺和計(jì)算機(jī)視覺應(yīng)用領(lǐng)域的新算法也不斷涌現(xiàn)，如目標(biāo)檢測(cè)[7-10]、實(shí)例分割[11]、圖像分類[12]、語(yǔ)義分割[13]等。深度學(xué)習(xí)基于大量數(shù)據(jù)樣本提取物體的本質(zhì)特征，相比模板匹配方法，準(zhǔn)確率和可靠性都有顯著提升。

目前，因煙包垛型多樣、成像環(huán)境復(fù)雜，在線自動(dòng)檢測(cè)難度大，國(guó)內(nèi)外還沒(méi)有煙包識(shí)別的相關(guān)研究和應(yīng)用。本文采用雙相機(jī)機(jī)器視覺成像方案和深度學(xué)習(xí)目標(biāo)檢測(cè)技術(shù)建立了全新的在線煙包識(shí)別系統(tǒng)，以實(shí)現(xiàn)煙包識(shí)別的自動(dòng)化，提高分揀線工作效率。

1 視覺識(shí)別系統(tǒng)的布局

1.1 系統(tǒng)結(jié)構(gòu)

視覺識(shí)別系統(tǒng)首先需通過(guò)合理的工業(yè)相機(jī)和光源布局，采集煙包中所有條煙完整清晰的的圖像。條煙印刷表面及煙包外包裝的塑料薄膜光滑，光源直射易鏡面反射引起成像過(guò)曝，為此，將光源布置在視野外側(cè)，利用光源余光照射煙包表面。常規(guī)條煙碼放成煙包時(shí)，均為條煙的寬高面位于煙包側(cè)面，采集煙包側(cè)面的圖像即可識(shí)別出煙包內(nèi)條煙的數(shù)量與品規(guī)。異型條煙碼放成煙包時(shí)，長(zhǎng)度超過(guò)常規(guī)煙長(zhǎng)度規(guī)格的異型煙會(huì)橫向放置，且有時(shí)兩條煙并列橫向放置，在側(cè)面視角中橫向放置的條煙會(huì)被遮擋。為了能獲取所有條煙數(shù)據(jù)，采用頂部與側(cè)面雙工業(yè)相機(jī)布局。

包裝機(jī)的煙包到位開關(guān)傳感器會(huì)觸發(fā)工業(yè)相機(jī)拍照，經(jīng)定位和識(shí)別獲取煙包中條煙品規(guī)及數(shù)量，與倉(cāng)庫(kù)管理系統(tǒng)（WMS）中訂單數(shù)據(jù)進(jìn)行比對(duì)，煙包配錯(cuò)識(shí)別系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 煙包識(shí)別系統(tǒng)結(jié)構(gòu)示意圖

1.2 識(shí)別流程

識(shí)別流程包括離線和在線兩個(gè)階段。離線階段，通過(guò)圖像采集系統(tǒng)采集煙包圖像以訓(xùn)練深度學(xué)習(xí)目標(biāo)定位模型，訓(xùn)練條煙深度學(xué)習(xí)特征提取器，提取條煙的深度學(xué)習(xí)特征表示，將其保存至特征庫(kù)中。為了減少數(shù)據(jù)標(biāo)注量并利用大量的煙包數(shù)據(jù)，采用自監(jiān)督學(xué)習(xí)方法提升預(yù)訓(xùn)練的條煙深度學(xué)習(xí)特征提取器。在線階段，通過(guò)深度學(xué)習(xí)目標(biāo)定位模型預(yù)測(cè)待識(shí)別煙包中條煙數(shù)量和位置，根據(jù)定位結(jié)果分割出各條煙圖像，采用深度學(xué)習(xí)特征提取器提取條煙特征表示，查詢特征庫(kù)中條煙特征最相似的條煙的編碼，融合側(cè)面與頂面條煙品規(guī)及數(shù)量，與WMS系統(tǒng)中訂單數(shù)據(jù)進(jìn)行比對(duì)，判定煙包是否存在多煙、少煙或品規(guī)錯(cuò)誤等異常，煙包識(shí)別流程如圖2所示。

圖2 煙包識(shí)別流程

2 深度學(xué)習(xí)煙包識(shí)別技術(shù)

2.1 目標(biāo)檢測(cè)

通用的目標(biāo)檢測(cè)以圖像為輸入，輸出各物體在圖像上的正置邊界框，如公式（1）所示：

=() （1）

通用的目標(biāo)檢測(cè)算法[7-10]輸出物體正置的目標(biāo)邊界框，如圖3（a）所示。正置的目標(biāo)邊界框截取的條煙圖像片會(huì)包含其它條煙的背景信息，如圖3（b）所示，包含背景信息會(huì)影響后續(xù)提取的特征。

圖3 通用目標(biāo)檢測(cè)算法獲取的物體邊界框(a)及截取的物體圖像片(b)

為了更加精準(zhǔn)的獲取各個(gè)條煙的圖像片，本文采用一種改進(jìn)的深度學(xué)習(xí)目標(biāo)檢測(cè)模型，其輸出為旋轉(zhuǎn)邊界框，該模型如公式（2）所示。

選擇目標(biāo)檢測(cè)算法獲取的旋轉(zhuǎn)框及分割出的目標(biāo)圖像片如圖4所示，可獲得目標(biāo)對(duì)象自身的圖像片，避免背景干擾識(shí)別。

圖4 旋轉(zhuǎn)邊界框目標(biāo)檢測(cè)算法獲取的物體邊界框(a)及截取的物體圖像片(b)

圖5 旋轉(zhuǎn)框定義

在此定義下，采用目標(biāo)檢測(cè)算法常用的預(yù)測(cè)量歸一化方法，模型輸出預(yù)測(cè)框與錨框的偏差量，如公式（3）所示。

該旋轉(zhuǎn)框檢測(cè)損失函數(shù)及預(yù)測(cè)頭設(shè)計(jì)可以直接應(yīng)用于各通用目標(biāo)檢測(cè)骨干算法，經(jīng)測(cè)試本文選用YOLO[7-8]為基礎(chǔ)骨干網(wǎng)絡(luò)。

2.2 深度特征提取

深度特征提取器以條煙的圖像片為輸入，輸出為條煙的深度特征，如公式（5）:

深度特征提取器以標(biāo)準(zhǔn)的34層殘差網(wǎng)絡(luò)RestNet-34[6]為骨干，以RGB圖像為輸入，以256維特征表示為輸出，一個(gè)殘差模塊的構(gòu)成如圖6所示。

圖6 參差網(wǎng)絡(luò)模塊

條煙分揀中會(huì)產(chǎn)生海量的運(yùn)行時(shí)圖像數(shù)據(jù)，數(shù)據(jù)標(biāo)注耗時(shí)耗力，為了高效利用海量的無(wú)標(biāo)簽數(shù)據(jù)提升模型的判別力，本文提出了一種半監(jiān)督訓(xùn)練框架，如圖7所示。

圖7 特征提取器模型框架

該框架采用Auto-Encoder[3]的結(jié)構(gòu)，采用特征提取器提取深度特征，采用對(duì)稱的特征解碼器重構(gòu)圖像，定義L2損失函數(shù)描述重構(gòu)圖像與輸入圖像的誤差，如公式（6），最小化重構(gòu)誤差可以保證學(xué)習(xí)到的特征表示最大程度保留輸入圖像的本質(zhì)特征。重構(gòu)的分支是一個(gè)無(wú)監(jiān)督學(xué)習(xí)范式。

另一個(gè)分支以特征表示為輸入，連接兩個(gè)全連接層，而后連接Softmax層和交叉熵?fù)p失函數(shù)，如公式（7）最小化有標(biāo)簽數(shù)據(jù)的分類誤差，提升特征表示的判別力。分類的分支是一個(gè)有監(jiān)督的學(xué)習(xí)范式。

其中為類別數(shù)目，為訓(xùn)練時(shí)樣本批量中有標(biāo)簽樣本數(shù)目，另外y表示第個(gè)樣本的真實(shí)類別。

訓(xùn)練時(shí)聯(lián)合兩個(gè)損失函數(shù)，如式（8）所示，同時(shí)輸入有標(biāo)簽和無(wú)標(biāo)簽數(shù)據(jù)，進(jìn)行半監(jiān)督方式訓(xùn)練。

對(duì)提取的圖像片特征，通過(guò)計(jì)算余弦相似度計(jì)算特征間的相似性。特征庫(kù)中與輸入圖像片余弦相似度最小的特征對(duì)應(yīng)的條煙類別即為輸入圖像片的條煙類別。

3 效果驗(yàn)證

3.1 仿真試驗(yàn)設(shè)計(jì)

本文用于驗(yàn)證深度學(xué)習(xí)煙包識(shí)別系統(tǒng)的仿真試驗(yàn)平臺(tái)是Supermicro-SYS-4028GR-TR服務(wù)器，配備8塊GeForce GTX 1080Ti GPU，IDE采用的JetBrains- CLion，標(biāo)注軟件采用的是labelme。本次仿真試驗(yàn)測(cè)試的目的是用來(lái)驗(yàn)證旋轉(zhuǎn)定位的有效性及深度學(xué)習(xí)特征提取器的判別力。為了更好地保證仿真試驗(yàn)的可行性，數(shù)據(jù)集來(lái)源于工廠煙包生產(chǎn)線上實(shí)時(shí)采集的21000張煙包圖像，并統(tǒng)計(jì)對(duì)應(yīng)人工檢測(cè)的準(zhǔn)確率與效率。將采集的21000張煙包圖像分為兩類，前18000張用于訓(xùn)練測(cè)試，從中隨機(jī)挑選16000張煙包圖像作為訓(xùn)練集，2000張煙包圖像作為驗(yàn)證集，后3000張煙包圖像作為測(cè)試集，來(lái)測(cè)試模型的可靠性。

首先通過(guò)labelme標(biāo)注煙包，得到各個(gè)條煙標(biāo)注區(qū)域，如圖8所示。然后利用訓(xùn)練好的YOLO模型進(jìn)行旋轉(zhuǎn)定位檢測(cè)，將煙包中條煙定位出來(lái)。接著將YOLO旋轉(zhuǎn)定位結(jié)果傳入到本文提出的深度學(xué)習(xí)特征提取器中進(jìn)行特征提取，最后將提取到的特征與模板庫(kù)進(jìn)行比對(duì)，得到識(shí)別結(jié)果。

圖8 人工標(biāo)注區(qū)域

通過(guò)深度學(xué)習(xí)特征提取器得到的是256維空間的特征向量，為了便于計(jì)算和可視化以及提取有效信息，本文采用主成分分析（PCA）算法對(duì)其進(jìn)行線性降維，將原來(lái)的256維空間降維到3維空間，如圖9所示。

圖9 圖像降維仿真結(jié)果

根據(jù)圖像降維結(jié)果仿真圖可以得知，同一類別的物體由于類別相似度比較高，出現(xiàn)聚類的情況，類間相似度越大，物體距離越近，不同類物體由于類別相似度比較低，出現(xiàn)分散的情況，相似度越低，區(qū)域質(zhì)心歐式距離相距越大，進(jìn)而驗(yàn)證了本文提出的特征提取器的判別力，能夠根據(jù)提取到的物體的特征信息將不同類別物體區(qū)分出來(lái)。

為了進(jìn)一步驗(yàn)證深度學(xué)習(xí)特征提取器的判別力，以10000張圖像為間隔依次添加到訓(xùn)練集中進(jìn)行訓(xùn)練，同時(shí)向測(cè)試集中添加一些圖像灰暗，部分遮擋，包裝相似度很類似的圖像，提升測(cè)試集的難度，測(cè)試結(jié)果顯示不同類別物體的區(qū)域質(zhì)心距離隨著訓(xùn)練數(shù)據(jù)的增加逐漸變大，最后趨于穩(wěn)定，進(jìn)而證明本文提出的特征提取器的判別力。統(tǒng)計(jì)10種不同類別物體的區(qū)域質(zhì)心歐式距離如圖10所示。

注：上圖橫軸表示類別標(biāo)簽，縱軸表示質(zhì)心到原點(diǎn)的距離，從下到上不同顏色折線圖表示依次添加10000訓(xùn)練數(shù)據(jù)的測(cè)試結(jié)果。

3.2 測(cè)試結(jié)果分析

在條煙包裝相似，種類繁多以及斜煙等因素的干擾下，本文提出的旋轉(zhuǎn)定位算法能夠?qū)⑿D(zhuǎn)條煙分割出來(lái)，去除更多的背景信息，保留物體本身的有效特征信息，旋轉(zhuǎn)定位結(jié)果如圖11所示。

圖11 旋轉(zhuǎn)定位識(shí)別結(jié)果

為了進(jìn)一步驗(yàn)證旋轉(zhuǎn)定位的有效性以及深度學(xué)習(xí)特征提取器的判別力。本實(shí)驗(yàn)運(yùn)用統(tǒng)計(jì)學(xué)知識(shí)，從定位準(zhǔn)確率和效率以及識(shí)別準(zhǔn)確率和識(shí)別效率四個(gè)方面來(lái)分析旋轉(zhuǎn)定位的有效性以及特征提取器的判別力。首先根據(jù)測(cè)試煙包的工況復(fù)雜程度，將煙包大致分為3類，I類表示單層斜煙（850張），II類表示多層斜煙（1000張，無(wú)遮擋），III類表示多層斜煙（1150張，部分遮擋，煙包包裝相似）。

定位準(zhǔn)確率計(jì)算如式9所示，識(shí)別定位結(jié)果如表1所示：

表1 旋轉(zhuǎn)定位準(zhǔn)確率與耗時(shí)統(tǒng)計(jì)

Tab.1 Statistics of rotation positioning accuracy and time-consumption

注：正確旋轉(zhuǎn)定位統(tǒng)計(jì)標(biāo)準(zhǔn)是能將各個(gè)物體單獨(dú)框出，不框出臨近物體，同時(shí)各個(gè)旋轉(zhuǎn)框無(wú)交集，平均耗時(shí)指定位每類圖像花費(fèi)時(shí)間的平均值，不包括相機(jī)拍照時(shí)間。

Note: The statistical standard for correct rotation and positioning refers to framing each object individually, but not framing adjacent objects, and with no intersection between rotating frames. Average time consumption refers to the average time taken for each type of image, excluding the time taken by the camera.

通過(guò)表1可以看出，本文提出的旋轉(zhuǎn)定位算法定位準(zhǔn)確率能達(dá)到99.971%，平均耗時(shí)0.123 s左右，能夠精準(zhǔn)地將煙包中各個(gè)旋轉(zhuǎn)條煙定位出來(lái)，為后續(xù)深度學(xué)習(xí)特征提取器提供了很好的精度保證，進(jìn)而驗(yàn)證了本文提出的旋轉(zhuǎn)定位算法的有效性，具有很大的工業(yè)應(yīng)用價(jià)值。

識(shí)別準(zhǔn)確率計(jì)算如式10所示，識(shí)別結(jié)果如表2所示：

表2 識(shí)別準(zhǔn)確率與耗時(shí)統(tǒng)計(jì)

Tab.2 Statistics of recognition accuracy and time-consumption

注：正確識(shí)別衡量標(biāo)準(zhǔn)是能夠?qū)⑽矬w劃分到訓(xùn)練集相對(duì)應(yīng)的類別處，人工檢測(cè)與本實(shí)驗(yàn)算法平均耗時(shí)統(tǒng)計(jì)標(biāo)準(zhǔn)是檢測(cè)每類圖片花費(fèi)時(shí)間的平均值，其中，本實(shí)驗(yàn)算法平均耗時(shí)包括拍照時(shí)間，旋轉(zhuǎn)定位時(shí)間，以及識(shí)別時(shí)間。

Note: The criterion of correct recognition refers to classifying the objects into categories corresponding to the training set. The average time consumption of manual detection and the experimental algorithm refers to the average time spent on detecting each type of image. Among them, the average time consumption of the experimental algorithm includes the time of photographing, the time of rotation and positioning, and the time of recognition.

通過(guò)表2可以看出，人工檢測(cè)每張圖片耗時(shí)在7 s左右，正確率只達(dá)到90%左右，若是考慮到人工疲勞、工況差等因素，人工檢測(cè)的耗時(shí)和正確率可能會(huì)更低，而本文提出的特征提取識(shí)別算法再加上拍照、旋轉(zhuǎn)框定位算法總的處理每張圖片的時(shí)間耗時(shí)不超過(guò) 260 ms，同時(shí)識(shí)別精度能夠接近100%（本次測(cè)試的旋轉(zhuǎn)定位出的2999張圖像，全部識(shí)別出來(lái)，但是由于工況因素比較多，不能排除偶然因素造成個(gè)別圖像識(shí)別錯(cuò)誤）。

3.3 實(shí)際應(yīng)用

基于深度學(xué)習(xí)的煙包識(shí)別系統(tǒng)在煙包生產(chǎn)線現(xiàn)場(chǎng)部署的主要硬件配置有相機(jī)、鏡頭、光源，工控機(jī)。煙包識(shí)別系統(tǒng)實(shí)際場(chǎng)景如圖12所示，煙包經(jīng)傳送帶、推板等機(jī)械電氣裝置被運(yùn)送到頂部、側(cè)方相機(jī)視野范圍內(nèi)，由傳感器觸發(fā)相機(jī)拍照，將煙包圖像信息傳遞到視覺系統(tǒng)進(jìn)行處理，并反饋煙包中條煙種類，數(shù)量信息等視覺處理結(jié)果，如圖13所示。

圖12 煙包生產(chǎn)線實(shí)際場(chǎng)景

圖13 視覺處理結(jié)果

在某煙草公司煙包生產(chǎn)線上安裝了8臺(tái)混合包裝機(jī)進(jìn)行為期30 d的煙包條煙實(shí)時(shí)檢測(cè)，統(tǒng)計(jì)連續(xù)11 d的煙包實(shí)測(cè)數(shù)據(jù)如表3所示。

表3 某煙草公司8臺(tái)混合包裝機(jī)部分實(shí)測(cè)數(shù)據(jù)

Tab.3 Some measured data of 8 mixed packaging machines of a tobacco company

注：報(bào)警次數(shù)指視覺識(shí)別結(jié)果與煙包訂單數(shù)據(jù)庫(kù)的比對(duì)結(jié)果。

Note: The number of alarms refers to the comparison between the visual recognition result and the cigarette pack order database.

通過(guò)表3可以看出，8臺(tái)混合包裝機(jī)11 d共檢測(cè)煙包279371包，誤報(bào)次數(shù)共有6次，識(shí)別成功率達(dá)到了99.99%以上，在煙包生產(chǎn)線上具有很高應(yīng)用價(jià)值。

4 結(jié)論

本文根據(jù)煙草物流中條煙分揀的實(shí)際識(shí)別需求，設(shè)計(jì)了一種基于深度學(xué)習(xí)的煙包識(shí)別機(jī)器視覺系統(tǒng)。改進(jìn)了通用定位算法的輸出，可獲得物體的旋轉(zhuǎn)矩形框，以精準(zhǔn)定位物體。采用大數(shù)據(jù)量半監(jiān)督訓(xùn)練方式提升深度學(xué)習(xí)模型判別力。以特征提取器方式使用深度學(xué)習(xí)分類網(wǎng)絡(luò)，使得模型與類別數(shù)量無(wú)關(guān)，保證該方法對(duì)新品規(guī)的擴(kuò)展性。該系統(tǒng)采用大數(shù)據(jù)量為基礎(chǔ)的深度學(xué)習(xí)技術(shù)，對(duì)光照變化、垛型等適應(yīng)性和魯棒性強(qiáng)。仿真實(shí)驗(yàn)和實(shí)際應(yīng)用表明：（1）該系統(tǒng)識(shí)別成功率≥99.99%，識(shí)別耗時(shí)≤300 ms；（2）該系統(tǒng)可100%及時(shí)發(fā)現(xiàn)連續(xù)錯(cuò)煙，即追尾問(wèn)題，避免大面積返工。該系統(tǒng)已經(jīng)應(yīng)用于國(guó)內(nèi)某區(qū)域性煙草物流中心，提升了條煙分揀效率，具有較大的推廣應(yīng)用價(jià)值。

[1] 劉浩，賀福強(qiáng)，李榮隆，等. 基于機(jī)器視覺的卷煙小盒商標(biāo)紙表面缺陷在線檢測(cè)技術(shù). 中國(guó)煙草學(xué)報(bào)[J]. 2020, 5: 54-59.

LIU Hao, HE Fuqiang, LI Ronglong, et al. On-line detection technology of label paper surface defects of cigarette packet based on machine vision, Acta Tabacaria Sinica[J]. 2020, 5: 54-59.

[2] 李捷，陸海華，王翔，等. 基于機(jī)器視覺的煙支接裝質(zhì)量在線檢測(cè)系統(tǒng)，煙草科技[J]. 2019, 09:109-114.

LI Jie, LU Haihua, WANG Xiang, et al. Online cigarette appearance inspection system based on machine vision, Tobacco Science & Technology[J]. 2019, 52(9): 109-114.

[3] Hinton GE, Salakhutdinov RR.Reducing the dimensionality of data with neural networks, Science[J]. 2006, 313(5786): 504-507.

[4] Yann LeCun, Yoshua Bengio, Geoffrey Hinton. Deep learning. Nature[J]. 2015, 521: 436-444.

[5] Krizhevsky A, Sutskever I, Hinton GE.Imagenet classification with deep convolutional neural networks. advances in neural information processing 25[C]. Lake Tahoe, 2012: 1097-1105.

[6] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition. 2016 ieee conference on computer vision and pattern recognition (CVPR)[C]. Las Vagas, 2016: 770-778.

[7] Redmon J, Divvala S, Girshick R. A. Farhadi, You only look once: unified, real-time object detection,[C]. Las Vegas, NV, 2016: 779-788.

[8] Redmon J, Farhadi A. YOLO9000: better, faster, stronger,[C]. Honolulu, 2017: 6517-6525.

[9] REN Shaoqing, HE Kaiming, Ross Girshick, et al. Object detection networks on convolutional feature maps, in2017, 39(7): 1476-1481.

[10] REN Shaoqing, HE Kaiming, Ross Girshick, et al. Faster r-cnn: towards real-time object detection with region proposal networks, in2017, 39(6): 1137-1149.

[11] HE Kaiming, Gkioxari G, Dollár P. Mask r-cnn,[C]. Venice, 2017: 2980-2988.

[12] LIN TsungYi, Goyal Priya, Girshick Ross, et al. Focal loss for dense object detection, ieee transactions on pattern analysis and machine intelligence[J]. 2020, 42(2): 318-327.

[13] Olaf Ronneberger, Philipp Fischer, Thomas Brox, U-net: convolutional networks for biomedical image segmentation, medical image computing and computer-assisted intervention (MICCAI)[C]. Munich, 2015: 234-241.

[14] YANG Xue, YAN Junchi, YANG Xiaokang, et al. Scrdet++: detecting small, cluttered and rotated objects via instance-level feature denoising and rotation loss smoothing, arxiv-2004.13316, 2020.

Construction of cigarette pack mismatch recognition system based on deep learning on cigarette sorting line

ZHANG YI*, CHEN Le, LIU Wenxiao

Hunan Changzhutan Tobacco Logistics Co., Ltd., Changsha City 410000, China

In tobacco logistics, several cigarettes are placed side by side to form a layer, and and multiple layers are superimposed to form cigarette packs, which may lead to problems such as fewer cigarettes, more cigarettes, and incorrect cigarette specifications. At present, the manual inspection method is inefficient and difficult to avoid errors completely. Correcting the error after the delivery of the wrong cigarette pack is time-consuming and labor-intensive, and the failure to find the wrong cigarette pack in time during production will result in multiple consecutive errors, which need to be addressed by time-consuming rework.Machine vision system based on industrial camera lens and light was used to collect the side and top surface images of the finished cigarette pack, and the object positioning and recognition technology based on deep learning was used to obtain the quantity and product specifications of the cigarettes in the cigarette pack, and compare them with the order data of logistics upper system to automatically identify and prompt wrong cigarette pack.(1) In actual use, the recognition success rate was ≥ 99.99%, and the time cost was ≤ 300 milliseconds. The recognition process was parallel to the original work steps, and the addition of the recognition system did not reduce the sorting efficiency. (2) After the system went online, the problem of continuous errors in recognizing and sorting cigarette packs was effectively avoided, and a large number of rework were avoided. (3) The identification system can reduce the workload of the operators, thereby improving work efficiency.Deep learning machine vision system can improve the quality and efficiency of cigarette sorting in tobacco logistics..

tobacco logistics; intelligent logistics; cigarette pack; machine vision; deep learning; object recognition

. Email：30870878@qq.com

張毅，陳樂(lè)，劉文曉.基于深度學(xué)習(xí)的條煙分揀線上煙包錯(cuò)配識(shí)別系統(tǒng)的構(gòu)建[J]. 中國(guó)煙草學(xué)報(bào)，2022，28（6）. ZHANG YI，CHEN Le，LIU Wenxiao. Deep learning based cigarette pack recognition system on the cigarette sorting line[J]. Acta Tabacaria Sinica, 2022,28(6).doi:10.16472/j.chinatobacco.2021.059

支撐項(xiàng)目：中國(guó)煙草總公司湖南省公司科技項(xiàng)目“基于環(huán)保材料及機(jī)器視覺技術(shù)的卷煙包裝系統(tǒng)研究與應(yīng)用”（No. HN2020KJ08）

張毅（1985—），研究生，工程師，主要研究方向?yàn)闊煵菸锪骱腿斯ぶ悄?，Tel：18900787019，Email：30870878@qq.com

2021-03-24；

2022-02-08