陳天麗，江志凌，邵力波，毛新彥，石德倫，姜軍，劉西堯，謝茜，柳盼

煙草設(shè)備

基于深度學(xué)習(xí)的卷包設(shè)備清潔保養(yǎng)質(zhì)量判別系統(tǒng)設(shè)計

陳天麗1，江志凌1，邵力波1，毛新彥1，石德倫1，姜軍2，劉西堯1，謝茜1，柳盼1

1 湖北中煙工業(yè)有限責(zé)任公司武漢卷煙廠，武漢市東西湖區(qū)金銀湖辦事處環(huán)湖路51號 430040；2 華中科技大學(xué)人工智能與自動化學(xué)院，武漢市洪山區(qū)珞喻路1037號 430074

為解決煙草行業(yè)設(shè)備保養(yǎng)人工檢查效率低、標(biāo)準(zhǔn)不一等問題，設(shè)計了一種基于深度學(xué)習(xí)的卷包設(shè)備清潔保養(yǎng)質(zhì)量判別系統(tǒng)。系統(tǒng)主要包括三個模型，基于深度學(xué)習(xí)的保養(yǎng)部位識別模型，判別采集到的圖像是否是正確的保養(yǎng)部位；基于深度學(xué)習(xí)的臟物檢測模型，從采集到的保養(yǎng)圖像中檢測出不合格的臟物；融入工藝知識的保養(yǎng)質(zhì)量判別模塊，根據(jù)檢測到的臟物和保養(yǎng)部位信息，判別保養(yǎng)是否合格。以武漢卷煙廠卷包車間為例進(jìn)行現(xiàn)場測試，結(jié)果表明：系統(tǒng)對卷包設(shè)備的清潔保養(yǎng)質(zhì)量判別準(zhǔn)確率達(dá)到86.3%，滿足實際生產(chǎn)中對卷包設(shè)備清潔保養(yǎng)質(zhì)量的自動化判別需求，具備良好的泛化性能。

煙草；卷包設(shè)備；保養(yǎng)質(zhì)量判別；深度學(xué)習(xí)

在當(dāng)前卷煙行業(yè)生產(chǎn)過程中，設(shè)備保養(yǎng)是一個核心關(guān)鍵的環(huán)節(jié)。設(shè)備保養(yǎng)質(zhì)量判別是通過具備豐富經(jīng)驗的專業(yè)技術(shù)人員進(jìn)行檢測、判別和管理的。由人工進(jìn)行保養(yǎng)的合格判定存在很多的不足，人的主觀判斷會造成判定標(biāo)準(zhǔn)的不統(tǒng)一，設(shè)備多、檢查點多，人員有限無法做到設(shè)備全覆蓋檢查，只能以抽查的形式進(jìn)行且檢查記錄不易保存。為此，設(shè)計和研制一套自動、智能的卷包設(shè)備保養(yǎng)質(zhì)量判別系統(tǒng)就顯得很有必要。

卷包設(shè)備保養(yǎng)質(zhì)量判別系統(tǒng)的核心是對卷包車間卷煙和包裝設(shè)備的臟物目標(biāo)進(jìn)行準(zhǔn)確的檢測和分類。傳統(tǒng)的基于圖像的目標(biāo)檢測和識別技術(shù)，都嚴(yán)重依賴于人工精心設(shè)計的特征，特征必須具有平移、尺度、旋轉(zhuǎn)和光照不變性，譬如LBP[1]、HOG[2]和DPM[3]特征。但由于人對視覺機(jī)理認(rèn)識的局限性，手工設(shè)計的特征難以準(zhǔn)確地描述要識別和檢測的目標(biāo)物體。其次，在目標(biāo)檢測任務(wù)中，為檢測到一幅圖像中各種不同尺度的目標(biāo)，常常需要采用滑動窗口法，過程非常耗時。上述兩個短板，使得傳統(tǒng)的目標(biāo)識別與檢測技術(shù)在工業(yè)界應(yīng)用受到了很大的限制。近十年來，深度學(xué)習(xí)技術(shù)的引入克服了傳統(tǒng)方法的不足，通過深度模型，能夠準(zhǔn)確地對要檢測和識別的圖像目標(biāo)進(jìn)行特征描述。同時，通過并行計算技術(shù)，克服了滑動窗口法耗時的不足，使基于圖像的目標(biāo)檢測和識別技術(shù)在實際中得到越來越多的應(yīng)用[4-5]，包括煙草行業(yè)[6-8]。典型的基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)分為以YOLO[9-10]和SDD[11-13]系列為代表的單階段法和以RCNN[14-16]系列為代表的兩階段法，其中兩階段法檢測的準(zhǔn)確度更高?；诖龣z測臟物目標(biāo)的復(fù)雜性，本文設(shè)計的卷包設(shè)備保養(yǎng)質(zhì)量判別系統(tǒng)選用了性能更高的兩階段方案，采用了代表性的Faster RCNN[16]框架，融入特征金字塔網(wǎng)絡(luò)[17]、可變形卷積[18]和RoI Align[19]等元素，更好地檢測不同尺度和不同形態(tài)的臟物目標(biāo)。同時，本系統(tǒng)在檢測臟物之前要對保養(yǎng)部位進(jìn)行識別，本文采用了基于通道融合的SENet網(wǎng)絡(luò)[20]技術(shù)來實現(xiàn)此功能。

1 總體設(shè)計

1.1 系統(tǒng)結(jié)構(gòu)

本系統(tǒng)的邏輯框架主要由后臺管理端、前臺執(zhí)行端和服務(wù)端3部分組成如圖1所示。其中，后臺管理端主要用于管理人員生成每天的設(shè)備保養(yǎng)工單、并對已執(zhí)行的保養(yǎng)工單進(jìn)行管理和分析，其搭載在任意PC機(jī)或筆記本上。前臺執(zhí)行端主要負(fù)責(zé)執(zhí)行保養(yǎng)工單，包括保養(yǎng)圖像的采集及上傳，其搭載在Rokid Glass 2型智能眼鏡上，該眼鏡具備良好的語音交互能力，方便一線工人操作。

圖1 系統(tǒng)邏輯框圖

服務(wù)端主要負(fù)責(zé)整個保養(yǎng)決策模塊的計算服務(wù)、保養(yǎng)圖像的存儲管理服務(wù)和保養(yǎng)工單的存儲管理服務(wù)。本系統(tǒng)將這3個服務(wù)一并搭載在一臺配備Tesla V100 GPU顯卡的高性能服務(wù)器上，滿足深度學(xué)習(xí)所需要的計算、保養(yǎng)圖像的存儲管理和保養(yǎng)工單的存儲管理需求。系統(tǒng)需要應(yīng)對更多的工作需求時，這3個服務(wù)可分別搭載在3臺不同的服務(wù)器上。如圖2所示，這3種設(shè)備（即PC機(jī)或筆記本、智能眼鏡和服務(wù)器）是通過企業(yè)內(nèi)部的網(wǎng)絡(luò)互連，從而保證了整個系統(tǒng)的安全，其中，智能眼鏡是通過無線網(wǎng)絡(luò)連入的，這樣就不用限制一線工人的移動。

圖2 系統(tǒng)硬件框圖

系統(tǒng)的日常工作流程為：由后臺管理端生成當(dāng)日的設(shè)備保養(yǎng)工單，并發(fā)送到搭載服務(wù)端的服務(wù)器和搭載前臺執(zhí)行端的智能眼鏡上；一線操作工人領(lǐng)取智能眼鏡，到對應(yīng)的設(shè)備執(zhí)行當(dāng)日的工單，包括保養(yǎng)圖像的采集及上傳；服務(wù)端接收來自前臺執(zhí)行端的保養(yǎng)圖像，進(jìn)行保養(yǎng)質(zhì)量的判決，并將結(jié)果反饋給前臺執(zhí)行端和后臺管理端；前臺執(zhí)行端獲取來自服務(wù)端的保養(yǎng)判決結(jié)果，并將工單執(zhí)行結(jié)果上傳給服務(wù)端和后臺管理端。圖3列出了本系統(tǒng)相關(guān)軟件的部分界面。

圖3 系統(tǒng)軟件的部分操作界面

1.2 技術(shù)路線

如圖4所示，本系統(tǒng)的算法部分主要包含保養(yǎng)部位識別、臟物檢測及保養(yǎng)質(zhì)量判別三個模塊。保養(yǎng)部位識別模塊采用SENet模型，負(fù)責(zé)判別采集到的當(dāng)次保養(yǎng)圖像是否屬于對應(yīng)的保養(yǎng)部位，如果是對應(yīng)的部位，則進(jìn)行后續(xù)的臟物檢測步驟，否則重新采集圖像。臟物檢測模塊使用融入特征金字塔網(wǎng)絡(luò)、可變形卷積和RoI元素的Faster RCNN檢測模型，負(fù)責(zé)從采集到的圖像中檢測出不合格的煙灰、膠垢、煙支、薄膜、廢紙和鐵屑等六類臟物。保養(yǎng)質(zhì)量判別模塊根據(jù)檢測到的臟物的預(yù)測分?jǐn)?shù)和保養(yǎng)部位信息，并融入專業(yè)的經(jīng)驗知識，判別該次的保養(yǎng)是否合格。

圖4 系統(tǒng)軟件框圖

2 算法設(shè)計

2.1 保養(yǎng)部位識別模塊

卷包設(shè)備包括卷煙機(jī)和包裝機(jī)，卷煙機(jī)包含VE側(cè)門、VE底部防護(hù)門、平準(zhǔn)器、VE磁選、VE后部防護(hù)罩門、煙槍部分、印刷系統(tǒng)等23個保養(yǎng)部位。包裝機(jī)包含下煙通道、一號輪、商標(biāo)傳送通道、封簽部件、煙包輸出部分等13個保養(yǎng)部位，兩種機(jī)型共有36個部位。上述部位形態(tài)復(fù)雜，本系統(tǒng)的保養(yǎng)部位識別模塊為更準(zhǔn)確地識別這些部位，采用了嵌入SENet模塊的ResNet50網(wǎng)絡(luò)模型。

2.1.1 嵌入SE模塊的ResNet50

SENet的核心是SE模塊，該模塊示意如圖5所示。給定一個卷積層的輸出特征X，通過SE模塊的一系列變換操作后得到一個通道加權(quán)的與X同維度的特征Xs。SE模塊通過三個操作來變換輸入的特征X：首先是Squeeze操作Fsq(.)，在空間維度來進(jìn)行特征壓縮，將H×W×C的特征圖（H和W分別代表特征圖的高度和寬度，C為特征圖的通道數(shù)）變?yōu)?×1×C，該操作常通過全局平均池化將每個二維的特征圖變成一個實數(shù)來實現(xiàn)（圖5的右圖），該實數(shù)在某種程度上具有全局的感受野，從全局表征了該通道的特征；其次是Excitation操作Fex(.)，一般使用兩個全連接層來實現(xiàn)（圖5的右圖），第一個全連接層FC1和ReLU函數(shù)用于提取不同特征通道之間的相關(guān)關(guān)系，第二個全連接層FC2和Sigmoid函數(shù)用于提取每個特征通道的重要性；最后是一個Scale操作Fscale(.,.)，將SE模塊計算得到的通道權(quán)重和原始的特征進(jìn)行相乘，實現(xiàn)將不同通道的重要性引入了加權(quán)之后的特征圖中。

圖5 SE模塊

SE模塊可以用于改造任意卷積網(wǎng)絡(luò)得到的特征，本系統(tǒng)的保養(yǎng)部位識別模塊采用嵌入SE模塊的ResNet50網(wǎng)絡(luò)結(jié)構(gòu)，其結(jié)構(gòu)如圖6所示，左圖是常規(guī)的ResNet單元，右圖是嵌入SE模塊后的單元。

圖6 嵌入SE模塊的ResNet

2.1.2 識別模型的訓(xùn)練

為訓(xùn)練保養(yǎng)部位的識別模型，在武漢卷煙廠卷包車間采集了卷包設(shè)備的36個保養(yǎng)部位共3025張圖像，進(jìn)行圖像翻轉(zhuǎn)、圖像旋轉(zhuǎn)和固定尺寸隨機(jī)裁剪的數(shù)據(jù)增強(qiáng)操作，以得到更多的數(shù)據(jù)用于訓(xùn)練識別模型。SENet采用標(biāo)準(zhǔn)的SE模塊參數(shù)，在ResNet50的基礎(chǔ)上進(jìn)行網(wǎng)絡(luò)搭建，使用PyTorch平臺進(jìn)行開發(fā)。

2.2 臟物檢測模塊

如圖7所示，系統(tǒng)的臟物檢測模塊使用基于Faster R-CNN框架的網(wǎng)絡(luò)結(jié)構(gòu)，其主要由以下幾個子模塊組成：（1）特征提取子模塊，用于提取當(dāng)次輸入的保養(yǎng)圖像特征供其它兩個子模塊使用；（2）RPN子模塊，用于生成可能包含目標(biāo)的候選框，并將結(jié)果提交給RoI Align單元；（3）分類和回歸Head子模塊，用于對提取的候選區(qū)域進(jìn)行臟物類別的識別和位置的預(yù)測。

圖7 臟物檢測模塊方框圖

為提升對臟物的檢測效果，在原始Faster R-CNN網(wǎng)絡(luò)的基礎(chǔ)上，系統(tǒng)在特征提取子模塊使用了特征金字塔網(wǎng)絡(luò)和可變形卷積核，在Head子模塊使用了RoI Align方法替換原來的RoI Pooling方法，而RPN子模塊與原始的Faster R-CNN網(wǎng)絡(luò)一致。

2.2.1 基于ResNet50的特征金字塔網(wǎng)絡(luò)

原始的Faster R-CNN網(wǎng)絡(luò)只使用卷積網(wǎng)絡(luò)最后一層的特征圖來檢測目標(biāo)。卷煙生產(chǎn)過程中產(chǎn)生的煙灰等臟物常常會呈現(xiàn)細(xì)小而又稀疏的狀態(tài)如圖8所示，這些小的臟物經(jīng)過多次池化之后，其信息有可能丟失，導(dǎo)致其檢測效果比較差。為解決此類問題，SSD直接使用多個尺度的特征圖，根據(jù)物體的大小將其分配到不同的層進(jìn)行預(yù)測。但直接使用低層特征來檢測小物體的效果并不好，因為淺層網(wǎng)絡(luò)的卷積數(shù)量少，表示能力差，缺乏足夠的語義信息來對臟物進(jìn)行檢測。為了改善模型對稀疏煙灰、膠垢等小的臟物的檢測性能，本系統(tǒng)使用了基于ResNet50的特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks，F(xiàn)PN）。

圖8 細(xì)小稀疏分布的煙灰

FPN通過特征融合的方式將不同層的信息進(jìn)行匯集，使得低層的特征也能夠擁有豐富的語義信息，能更好地對小的臟物進(jìn)行檢測?；赗esNet50的FPN的結(jié)構(gòu)如圖9所示，包含ResNet和FPN兩個部分。輸入的當(dāng)次保養(yǎng)圖像在ResNet網(wǎng)絡(luò)的前向傳播的過程中由于池化作用，特征圖將逐步變小，不同尺度的特征圖形成了金字塔結(jié)構(gòu)，上層特征圖包含臟物的語義信息，下層特征圖則有臟物豐富的細(xì)節(jié)信息。FPN與ResNet的自下而上的路徑相反，是通過構(gòu)建自上而下的路徑，能將高層特征圖的語義信息傳給低層特征圖，使低層的特征圖同時具備細(xì)節(jié)信息和語義信息，能夠更好地檢測稀疏煙灰、膠垢等小的臟物。FPN的具體過程為：高層特征圖先通過2倍上采樣的方式使得高層特征圖的尺度和低層特征圖一致，然后低層特征圖通過1x1卷積，得到與高層特征圖相同的通道數(shù)。最后，上述兩個特征圖相加，得到新的融合了高層語義信息的低層特征圖。這些新的特征圖，將用于后面臟物的檢測。

圖9 基于ResNet50的FPN

2.2.2 可變形卷積

卷煙生產(chǎn)中產(chǎn)生的煙灰、膠垢、煙支、薄膜、廢紙和鐵屑等臟物往往形狀復(fù)雜且多變?nèi)鐖D10所示。標(biāo)準(zhǔn)的卷積核感受野是標(biāo)準(zhǔn)的矩形，不能表達(dá)臟物的復(fù)雜結(jié)構(gòu)，因此本系統(tǒng)采用了可變形卷積技術(shù)?？勺冃尉矸e對每個采樣點的位置都增加了一個偏移值，卷積核就可以在標(biāo)準(zhǔn)位置的附近自適應(yīng)地采樣，不局限于標(biāo)準(zhǔn)卷積核中的規(guī)則矩形格點位置，能更好地匹配目標(biāo)物體的形狀。如圖11所示，灰色的矩形格點為標(biāo)準(zhǔn)卷積核的采樣位置，黑色的點為加偏移之后的采樣位置。

圖10 形狀多變的膠垢和煙灰

圖11 可變形卷積

可變形卷積的實現(xiàn)是通過在標(biāo)準(zhǔn)的卷積流程中，新建一個卷積分支來專門生成卷積核采樣點的偏移位置。對于一個B×C×H×W（B代表一個batch具有的圖像數(shù)量，C代表通道數(shù)，H和W分別代表特征圖的高度和寬度）的特征圖，假設(shè)使用的是3×3的卷積核，因為有9個采樣點，每個采樣點有x、y兩個方向，即對于每個位置而言，需要預(yù)測18個值。將特征圖送入一個新增加的卷積層，將得到一個(b, 18, h, w)的輸出，作為每個位置的采樣偏移值。再根據(jù)偏移值對標(biāo)準(zhǔn)卷積核的位置進(jìn)行校準(zhǔn)，在校準(zhǔn)后的特征圖對應(yīng)位置進(jìn)行卷積運算，讓可變形卷積具有學(xué)習(xí)目標(biāo)物體空間幾何形變的能力。

2.2.3 RoI Align

圖12 RoI Align示例

2.2.4 檢測模型的訓(xùn)練

為訓(xùn)練檢測模型，從用于保養(yǎng)部位識別模型的訓(xùn)練集中選取了2751張帶臟物的圖像，圖像在36個部位均勻分布。采用labelimg工具，對圖像中的煙灰、膠垢、煙支、薄膜、廢紙和鐵屑等六類臟物進(jìn)行了矩形框標(biāo)注。對數(shù)據(jù)采取了圖像翻轉(zhuǎn)、圖像旋轉(zhuǎn)和固定尺寸隨機(jī)裁剪等增強(qiáng)手段，得到更多的數(shù)據(jù)用于訓(xùn)練臟物檢測模型。模型是在pytorch框架基礎(chǔ)上使用mmdetection深度模型平臺進(jìn)行開發(fā)。模型的訓(xùn)練參數(shù)設(shè)置如表1所示。

表1 臟物檢測模型訓(xùn)練參數(shù)

Tab.1 Training parameters of dirt detection model

2.3 保養(yǎng)質(zhì)量判別模塊

本系統(tǒng)的保養(yǎng)質(zhì)量判別模塊用于判別當(dāng)次保養(yǎng)是否合格，其關(guān)鍵是對臟物檢測模塊輸出的各個臟物的預(yù)測分?jǐn)?shù)設(shè)置合適的閾值，當(dāng)高于此閾值時，即判別當(dāng)次保養(yǎng)不合格，否則為合格。在卷煙的生產(chǎn)流程中，由于生產(chǎn)工藝的原因，有些部位只會出現(xiàn)特定的臟物。如在卷煙制作完成后負(fù)責(zé)運輸和封裝的部位處，主要的臟物是紙屑封簽等，此階段卷煙已經(jīng)成盒包裝，該部位基本不會出現(xiàn)煙灰類臟物。因此，對于紙屑臟物，可以給一個較低的閾值，而對于煙灰臟物，可以給一個較高的閾值。類似的，對于卷包設(shè)備的36個保養(yǎng)部位，可以有針對性地設(shè)計各種臟物的閾值。通過融入生產(chǎn)經(jīng)驗知識的調(diào)整不同臟物閾值的方法，能夠有效地提升本系統(tǒng)對保養(yǎng)質(zhì)量判別的準(zhǔn)確率。

3 應(yīng)用效果

3.1 材料與方法

為了檢測本系統(tǒng)的性能，在武漢卷煙廠卷包車間重新進(jìn)行圖像采集，由Rokid Glass 2智能眼鏡分別獲取卷包設(shè)備的36個不同部位的圖像數(shù)據(jù)。測試服務(wù)器配置的CPU型號為i7-8700，GPU型號為Tesla V100，深度學(xué)習(xí)的平臺為PyTorch版本為1.5.0，CUDA的版本為10.2。

按構(gòu)成本系統(tǒng)算法的3個子模塊，整個測試分為3個部分，分別為：

（1）保養(yǎng)部位識別模塊測試。測試集記為I1，總共有2856張圖像，包含機(jī)器36個不同的部位，每張圖像包含一個部位，其對應(yīng)的部位名稱在測試前要先進(jìn)行標(biāo)注。本系統(tǒng)的保養(yǎng)部位識別模塊的任務(wù)是判別輸入的圖像是否是保養(yǎng)正在進(jìn)行的部位，可采用one vs rest策略計算每一類的準(zhǔn)確率，計算36個類別的平均準(zhǔn)確率作為最后的測試指標(biāo)。比如，測試圖像為“煙槍部分”，只有識別為“煙槍部分”為正確，識別成其它部位均為錯誤。平均準(zhǔn)確率的計算公式如下：

大學(xué)生學(xué)習(xí)目標(biāo)不明確，缺乏學(xué)習(xí)動力，學(xué)習(xí)興趣不高，自控能力差 大學(xué)相對寬松自由開放的環(huán)境，使得大學(xué)生有較多的自主時間，與高中高強(qiáng)度的、目標(biāo)明確的學(xué)習(xí)形成鮮明的對比，極易產(chǎn)生放松心態(tài)。一些大學(xué)生沒能形成合理的人生規(guī)劃，沒有確定的學(xué)習(xí)目標(biāo)，學(xué)習(xí)動力不足，學(xué)習(xí)興趣不高，面對相對閑暇的時光，加之自控能力差，難免會迷失方向。而手機(jī)功能日趨豐富，誘惑力大，導(dǎo)致他們用手機(jī)打發(fā)時間，并自然而然地在課堂上使用手機(jī)。

（2）臟物檢測模塊測試。測試集記為I2，其圖像與測試集I1一致。與測試集I1不同的是，測試集I2對其中1628張包含臟物的圖像用labelimg工具進(jìn)行了矩形框標(biāo)注。本系統(tǒng)關(guān)注所檢測到的臟物類型是否正確，用平均精度均值mAP（Mean Average Precision）進(jìn)行評估，這是目標(biāo)檢測最重要的測試指標(biāo)。為計算mAP，先分別單獨計算煙灰、膠垢、煙支、薄膜、廢紙和鐵屑的平均精度AP（Average Precision），AP的理論公式如下：

其中，為精確率，為召回率，()為以為參數(shù)的函數(shù)。從公式可以看出，等于P-R曲線下面的面積。實際計算時，需要將在[0,1]區(qū)間分成N段，具體公式如下：

上述定義中，為目標(biāo)框被正確檢測出來的數(shù)目，為預(yù)測框預(yù)測錯誤的數(shù)目，目標(biāo)框沒有被預(yù)測出來的數(shù)目。從上可以看出，指正確檢測出來的目標(biāo)框數(shù)量占所有預(yù)測目標(biāo)框數(shù)量（）的比例，指正確檢測出來的目標(biāo)框數(shù)量占所有標(biāo)注為目標(biāo)框數(shù)量()的比例。

（3）保養(yǎng)質(zhì)量判別模塊測試。測試集記為I3，在測試集I1的基礎(chǔ)上擴(kuò)張成9748張圖像。整個系統(tǒng)是對保養(yǎng)質(zhì)量的合格與否進(jìn)行自動判別，每張圖像都標(biāo)注為保養(yǎng)合格或不合格。該任務(wù)是一個簡單的二分類問題，其測試指標(biāo)就是采用二分類的準(zhǔn)確率，具體計算如下：

假設(shè)只有正負(fù)兩類樣本，指正樣本圖像被識別為正，指負(fù)樣本圖像被識別為負(fù)。本系統(tǒng)假設(shè)保養(yǎng)不合格的圖像為正樣本。

3.2 測試結(jié)果分析

3.2.1 保養(yǎng)部位識別模塊測試結(jié)果

在進(jìn)行保養(yǎng)部位識別性能測試時，將測試集I1的保養(yǎng)部位分為36個部位，每個部位的檢測結(jié)果如表2所示。

表2 保養(yǎng)部位識別性能表

Tab.2 Table of the identification performance of maintenance module

由表2可以得出，該模型性能在36個部位的準(zhǔn)確率均保持在93%以上，表現(xiàn)穩(wěn)定，且平均正確率也達(dá)到了95.7%，表明本模型對保養(yǎng)部位的識別能力較好。

3.2.2 臟物檢測模塊測試結(jié)果

在測試集I2上完成臟物檢測模塊的測試，測試結(jié)果如表3所示。本系統(tǒng)在該測試集上的mAP性能為0.630，考慮到臟物本身的顏色、紋理和形態(tài)的復(fù)雜性以及臟物背景的復(fù)雜性，該結(jié)果表明本系統(tǒng)對臟物具有較好的檢測能力，圖13列舉了部分檢測實例。從表3中可以得出，模型對于不同臟物的檢測性能是不同的，其中薄膜的檢測性能遠(yuǎn)低于其它臟物的檢測性能，這是由于薄膜本身的材料是透明的，顏色和紋理的特征都不顯著，因此很難檢測出來，這也是將來系統(tǒng)要改進(jìn)的重點。

表3 臟物檢測性能表

Tab.3 Table of dirt detection performance

3.2.3 保養(yǎng)質(zhì)量判別模塊測試

保養(yǎng)質(zhì)量判別模塊的測試集I3是按卷包車間的機(jī)器編號進(jìn)行分類的，這些機(jī)器包括R101、R102、R103、R104、R105、R106、R201、R202、R203、R204、R205、R206、R207、R208、R209、R210和R211共17個編號，每臺機(jī)器的樣本都是在多個不同的時間段進(jìn)行采集的，使得測試結(jié)果更能代表實際的性能。最終的測試結(jié)果如表4所示。

表4 保養(yǎng)質(zhì)量判別性能表

Tab.4 Table of maintenance quality discrimination performance

由表4可以得出，本系統(tǒng)在17臺設(shè)備上的保養(yǎng)質(zhì)量判別準(zhǔn)確率均保持在83%以上，說明系統(tǒng)的表現(xiàn)較為穩(wěn)定，同時在I3測試集上的總體測試準(zhǔn)確率達(dá)到了86.3%。這些結(jié)果表明：本系統(tǒng)的保養(yǎng)質(zhì)量判別模塊在測試集上表現(xiàn)出比較高的判別準(zhǔn)確率，其性能已經(jīng)達(dá)到設(shè)計要求，能初步滿足實際生產(chǎn)中對卷包設(shè)備保養(yǎng)質(zhì)量的自動化判別需求，具備良好的泛化性能。

圖13 臟物檢測結(jié)果示例

4 結(jié)論

針對卷包設(shè)備保養(yǎng)狀態(tài)的自動化判別需求，本文提出了一種基于深度學(xué)習(xí)的卷包設(shè)備清潔保養(yǎng)質(zhì)量判別系統(tǒng)。系統(tǒng)首先設(shè)計了一種嵌入SENet單元的ResNet50網(wǎng)絡(luò)用于構(gòu)建保養(yǎng)部位識別模型，判別采集到的圖像是否屬于正確的保養(yǎng)部位；其次設(shè)計了一種基于Faster R-CNN框架并引入特征金字塔網(wǎng)絡(luò)、可變形卷積和RoI Align等元素的臟物檢測模型，從采集到的當(dāng)次保養(yǎng)圖像中檢測出不合格的臟物；最后設(shè)計了一種融入生產(chǎn)經(jīng)驗知識的保養(yǎng)判別決策模塊，根據(jù)當(dāng)前的保養(yǎng)部位和臟物檢測模塊輸出的信息，判別該保養(yǎng)是否合格。系統(tǒng)將武漢卷煙廠卷包車間的不同時間段采集到的近萬張圖像數(shù)據(jù)集作為檢測對象，對實際判別效果進(jìn)行測試，結(jié)果表明：系統(tǒng)對清潔保養(yǎng)質(zhì)量合格與否的綜合判別準(zhǔn)確率達(dá)到86.3%，是一種性能良好、實用性穩(wěn)定的判別系統(tǒng)，可滿足實際生產(chǎn)中對卷包設(shè)備清潔保養(yǎng)質(zhì)量的自動化判別需求。本系統(tǒng)目前是離線檢測，下一步將重點研究卷包設(shè)備清潔保養(yǎng)質(zhì)量在線監(jiān)測系統(tǒng)，設(shè)備重點部位臟污到一定程度提醒操作人員及時處理，提高清潔保養(yǎng)判別的實時性和檢測效率。

[1] ZHU C, ZHOU H, WANG R, et al. A novel hierarchical method of ship detection from spaceborne optical image based on shape and texture features[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(9): 3446-3456.

[2] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//2005 Proceedings of the IEEE Conference on Computer Vision. 2005: 886-893.

[3] Felzenszwalb PF, Girshick RB, McAllester D, et al. Object detection with discriminatively trained part-based models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1627-1645.

[4] 呂帥帥，楊宇，王彬文，等. 基于改進(jìn)Mask-RCNN的飛行器結(jié)構(gòu)裂紋自動檢測方法[J]. 振動、測試與診斷，2021，41(03): 487-494.

LV Shuaishuai, YANG Yu，WANG Binwen,et al. An automatic crack detection method for structure test based on improved mask-rcnn[J]. Journal of Vibration, Measurement & Diagnosis, 2021,41(03):487-494.

[5] 黃尚安. 基于改進(jìn)YOLO模型的交通標(biāo)志檢測[J]. 科學(xué)技術(shù)創(chuàng)新，2021, 18:194-196.

HUANG Shangan.Traffic sign detection based on im proved YOLO model[J].Scientific and Technological Innovation, 2021, 18: 194-196.

[6] 陳智斌，農(nóng)英雄，梁冬，等. 基于深度學(xué)習(xí)的卷煙牌號識別方法[J]. 煙草科技，2020,53(12):75-82.

CHEN Zhibin, NONG Yingxiong, LIANG Dong, et al. Recognition of cigarette brand based on deep learning[J]. Tobacco Science & Technology, 2020, 53(12):75-82.

[7] 肖雷雨，王澍，劉淵根，等. 基于深度學(xué)習(xí)技術(shù)的煙梗形態(tài)分類與識別[J]. 煙草科技，2021,54(06):65-74.

XIAO Leiyu, WANG Shu, LIU Yuangen, et al. Classification and identification of tobacco stem morphology based on deep learning technology[J]. Tobacco Science & Technology, 2021,54(06):65-74.

[8] 洪金華，忻惠琴，陸海華，等. 基于YOLOv3模型的卷煙廠煙蟲識別方法[J]. 煙草科技，2020,53(09):77-84.

HONG Jinhua, XIN Huiqin, LU Haihua, et al. Tobacco insect recognition in cigarette factory using YOLOv3 model[J]. Tobacco Science & Technology, 2020, 53(9):77-84.

[9] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection[C]//2016 Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016:779-788.

[10] Redmon J, Farhadi A. YOLO9000: better, faster, stronger[C]//2017 Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017:6517-6525.

[11] LIU W, Anguelov D, Erhan D, et al. SSD: single shot multibox detector[C]//2016 European Conference. Proceedings. 2016:21-37.

[12] FU CLIU W, Ranga A, et al. DSSD: deconvolutional single shot detector[EB/OL]. (2017-01-23) https://arxiv.org/pdf/1701.06659.

[13] LI Z, ZHOU F. FSSD: feature fusion single shot multibox detector[EB/OL]. (2018-05-17) https://arxiv.org/pdf/1712.00960.

[14] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]// 2014 Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014:580-587.

[15] Girshick R. Fast R-CNN[C]//2015 Proceedings of the IEEE International Conference on Computer Vision. 2015: 1440-1448.

[16] REN S, HE K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[17] LIN TY, Dollar P, Girshick RB, et al. Feature pyramid networks for object detection[C]//2017 Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017:936-944.

[18] ZHU X, HU H, LIN S, et al. Deformable convnets v2: more deformable, better results[C]//2019. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 9300-9308.

[19] He K, Park G M, Dollar P, et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(2): 386-397.

[20] HU J, SHEN L, Albanie S, et al. Squeeze-and-excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(8): 2011-2023.

Deep learning-based discriminant system design of cleaning and maintenance quality of cigarette maker and packer

CHEN Tianli1*, JIANG Zhiling1, SHAO Libo1, MAO Xinyan1, SHI Delun1, JIANG Jun2, LIU Xiyao1, XIE Qian1, LIU Pan1

1 Wuhan Cigarette Factory, China Tobacco Hubei Industrial Co., Ltd., Wuhan 430040;2 School of Artificial Intelligence and Automation, HUST,1037 Luoyu Road, Hongshan District, Wuhan 430074, Hubei Province

Aiming at low efficiency and non-identical standards of manual inspection of equipment maintenance in the tobacco industry, a deep learning-based system for judging the maintenance quality of cigarette maker and packer was designed. The system mainly consists of three models, including the maintenance part recognition model based on deep learning to determine whether the collected image is the correct maintenance part, the dirt detection model based on deep learning to detect unqualified goods from the collected maintenance images, and the maintenance quality judgment module integrated with process knowledge to judge whether the maintenance is qualified according to the detected goods and maintenance part information. On-site test was conducted by taking the Wuhan Cigarette Factory's wrap-up workshop as an example. The results show that the system's accuracy rate of judging maintenance quality of cigarette maker and packer reached 86.3%, which meets the demand for automatic identification of maintenance quality of cigarette maker and packer in actual production and has good generalization performance.

cigarettes; cigarette maker and packer; maintenance quality discrimination; deep learning

. Email：1203627427@qq.com

陳天麗，江志凌，邵力波，等. 基于深度學(xué)習(xí)的卷包設(shè)備清潔保養(yǎng)質(zhì)量判別系統(tǒng)設(shè)計[J]. 中國煙草學(xué)報，2022，28（6），CHEN Tianli, JIANG Zhiling, SHAO Libo, et al. Design of cleaning and maintenance quality discrimination system for roll packaging equipment based on deep learning[J]. Acta Tabacaria Sinica, 2022, 28(6).doi:10.16472/j.chinatobacco.2021.177

陳天麗（1990—），工學(xué)碩士，工程師，主要研究方向：卷煙在線檢測裝置和卷煙設(shè)備控制系統(tǒng)，Tel：15927264725，Email：1203627427@qq.com

2021-09-08；

2022-06-23