基于Faster RCNN深度學(xué)習(xí)的小包外觀檢測(cè)方案

鄧春寧

(龍巖煙草工業(yè)有限責(zé)任公司，福建 龍巖 364021)

1 現(xiàn)有技術(shù)分析

傳統(tǒng)包裝外觀檢測(cè)系統(tǒng)主要采用基于模板匹配和顏色對(duì)比的圖像識(shí)別算法[2]，配合工控機(jī)、電氣設(shè)備、分離機(jī)構(gòu)、剔除機(jī)構(gòu)等主要器件，可以對(duì)產(chǎn)品包裝外觀中預(yù)設(shè)區(qū)域的質(zhì)量缺陷做到較高的檢出率。但是整體來說傳統(tǒng)檢測(cè)設(shè)備存在漏檢高、誤檢多，配置復(fù)雜，設(shè)備維護(hù)困難等問題[3]。由于傳統(tǒng)的視覺識(shí)別系統(tǒng)采用模板匹配和顏色對(duì)比的原則，因此只能預(yù)先判斷缺陷會(huì)出現(xiàn)在什么地方并設(shè)置檢測(cè)區(qū)域。傳統(tǒng)機(jī)器視覺檢測(cè)設(shè)備只能對(duì)預(yù)設(shè)的區(qū)域進(jìn)行檢測(cè)，預(yù)設(shè)區(qū)域外的信息不能檢測(cè)。如果檢測(cè)區(qū)域設(shè)置過大會(huì)引起誤檢，帶來大量的產(chǎn)品損耗。由于傳統(tǒng)機(jī)器視覺設(shè)備需要在煙包圖像表面設(shè)置很多檢測(cè)區(qū)域，每個(gè)檢測(cè)區(qū)域設(shè)置參數(shù)又完全不同，因此大大增加了配置參數(shù)的復(fù)雜度。傳統(tǒng)機(jī)器視覺檢測(cè)設(shè)備局限于解決一個(gè)具體的物理場(chǎng)景問題，質(zhì)量的控制只能依賴于單點(diǎn)檢測(cè)設(shè)備的能力，設(shè)備未聯(lián)網(wǎng)，數(shù)據(jù)不共享，無法做到全廠檢測(cè)標(biāo)準(zhǔn)的統(tǒng)一和產(chǎn)品缺陷的統(tǒng)一分析判斷。煙廠的工程師在維護(hù)這些檢測(cè)設(shè)備時(shí)，無法對(duì)設(shè)備統(tǒng)一維護(hù)管理，耗費(fèi)大量精力。針對(duì)傳統(tǒng)檢測(cè)方式暴露的問題，急需轉(zhuǎn)變思路，尋求新的檢測(cè)算法和檢測(cè)方式。

2 解決方法

當(dāng)前全國(guó)各大煙廠面臨“高質(zhì)量”發(fā)展的新需求，因此對(duì)現(xiàn)有的生產(chǎn)設(shè)備提出了更高要求。近幾年，隨著計(jì)算機(jī)運(yùn)算能力的提高，人工智能技術(shù)得到快速發(fā)展。以圖形計(jì)算為代表的GPU(圖形處理器)在計(jì)算機(jī)視覺訓(xùn)練中替代原有的CPU(中央處理器)，大大提升了計(jì)算性能，讓原來幾個(gè)月才能完成的訓(xùn)練縮短到幾天甚至幾個(gè)小時(shí)，大大縮短了計(jì)算機(jī)視覺前期訓(xùn)練和推理的迭代周期，帶來了效率上的成倍提升[4]。當(dāng)硬件、算法、大數(shù)據(jù)這3個(gè)因素在各個(gè)領(lǐng)域的突破達(dá)到一定程度時(shí)，自然就帶來了人工智能的大爆發(fā)。

本文利用華為強(qiáng)大的邊緣計(jì)算、云、網(wǎng)絡(luò)通信和綜合解決方案能力推出新型人工智能煙草質(zhì)檢綜合解決方案。此方案將機(jī)器視覺與人工智能圖像識(shí)別[5]以及信息與通信技術(shù)(information and communications technology,ICT)相結(jié)合，突破了傳統(tǒng)檢測(cè)算法原理的局限性，提升了煙包外觀檢測(cè)的精度，降低了誤檢率，改善了檢測(cè)設(shè)備的維護(hù)性和管理問題。

3 小包外觀檢測(cè)裝置

本方案通過為卷煙廠建設(shè)基礎(chǔ)的網(wǎng)絡(luò)及邊緣計(jì)算能力，進(jìn)而為煙草數(shù)字化轉(zhuǎn)型提供堅(jiān)實(shí)的網(wǎng)絡(luò)和算力基礎(chǔ)，并逐步落實(shí)數(shù)字化工廠的各應(yīng)用場(chǎng)景。人工智能質(zhì)檢平臺(tái)打破原有的工控機(jī)模式，采用“端-邊-云”一體化的三層網(wǎng)絡(luò)架構(gòu)，各層級(jí)分工明確。端側(cè)負(fù)責(zé)圖像采集和動(dòng)作執(zhí)行；邊側(cè)負(fù)責(zé)圖像推理計(jì)算、綜合檢測(cè)結(jié)果的下發(fā)；云側(cè)負(fù)責(zé)訓(xùn)練、算法優(yōu)化、大數(shù)據(jù)分析和存儲(chǔ)等。整體方案以高帶寬固定網(wǎng)絡(luò)作為承載網(wǎng)。

3.1 裝置結(jié)構(gòu)

小包外觀檢測(cè)裝置主要由分離裝置、視頻柜、壞煙收集箱、電控柜、分離柜和顯示終端等結(jié)構(gòu)組成。其中，分離裝置負(fù)責(zé)將連條小包分開一定距離，視頻柜負(fù)責(zé)采集小包外觀圖像，通過人工智能算法判斷是否有外觀質(zhì)量缺陷，剔除裝置中不合格的煙包小包。系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 小包檢測(cè)裝置結(jié)構(gòu)組成

視頻柜包括：

1)7臺(tái)CCD工業(yè)相機(jī)。

翠姨從此想到了念書的問題，但是她已經(jīng)二十歲了，上哪里去念書？上小學(xué)沒有她這樣大的學(xué)生；上中學(xué)，她是一字不識(shí)，怎樣可以。所以仍舊住在我們家里。

7臺(tái)CCD工業(yè)相機(jī)分別檢測(cè)煙包的兩個(gè)端面、上表面和側(cè)面。

2)1套LED照明系統(tǒng)。

該照明系統(tǒng)由多條高亮度LED光源組成，其從煙包的不同角度打光，以有效消除陰影以及透明紙的反光。

3)1套高精度光纖位置傳感器。

該傳感器固定在煙包檢測(cè)位置上。當(dāng)煙包經(jīng)過時(shí)，傳感器發(fā)出定位信號(hào)，啟動(dòng)CCD相機(jī)進(jìn)行圖像捕捉，并將圖像發(fā)送給推理服務(wù)器。

人工智能圖像處理平臺(tái)：其硬件根據(jù)煙廠要求可選配工控機(jī)或服務(wù)器。平臺(tái)收到圖像后會(huì)調(diào)用人工智能算法模型對(duì)圖像進(jìn)行推理運(yùn)算來判斷是否有缺陷。如果判斷有缺陷則發(fā)送剔除信號(hào)給剔除系統(tǒng)。如果選配工控機(jī)，則會(huì)安裝到電控柜里面；如果選配服務(wù)器進(jìn)行網(wǎng)絡(luò)化部署，則安裝到配套的服務(wù)器機(jī)柜。

剔除機(jī)構(gòu)包括：

1)1套反射式光纖位置傳感器。該傳感器固定在煙包剔除位置上，當(dāng)有包裝缺陷的煙包經(jīng)過時(shí)，傳感器發(fā)出信號(hào)給I/O控制板，I/O控制板將啟動(dòng)高速氣閥擊打裝置，將該煙包迅速推出流水線。

2)1套高速氣閥擊打裝置。該裝置用來把有包裝缺陷的煙包從流水線上剔除。

電控柜主要由交換機(jī)、I/O控制板、供電模塊、接線端子、繼電器、工控機(jī)(選配)等組成。電控柜需要接入到車間的配電柜通電。電控柜給整個(gè)系統(tǒng)提供電源并進(jìn)行信號(hào)控制。電控柜提供12 V直流電給相機(jī)使用，提供24 V直流電給I/O控制板、工控機(jī)、燈光使用，提供220 V交流電給伺服電機(jī)、顯示一體機(jī)(可選)使用。

顯示終端：通過立式顯示一體機(jī)觸摸屏為用戶提供友好的人機(jī)界面。用戶可以通過維護(hù)終端進(jìn)行系統(tǒng)配置、實(shí)時(shí)圖像查詢、歷史圖像查詢、訓(xùn)練推理模型。

3.2 檢測(cè)流程

煙包小包從機(jī)臺(tái)傳送帶向前傳送到達(dá)分離裝置，分離裝置將連包小包分開后以一定間距進(jìn)入視頻柜。煙包小包到達(dá)視頻柜檢測(cè)位光纖傳感器時(shí)，I/O控制板會(huì)收到小包到位信號(hào)。I/O控制板一方面控制光源進(jìn)行打光，另外一方面將拍照信號(hào)發(fā)給CCD工業(yè)相機(jī)[6]，CCD工業(yè)相機(jī)接收到信號(hào)后對(duì)小包進(jìn)行拍照。推理系統(tǒng)調(diào)用人工智能圖像處理算法模型，判斷該煙包是否有外觀質(zhì)量問題。如果有缺陷，則對(duì)該煙包進(jìn)行標(biāo)記。煙包到達(dá)剔除機(jī)構(gòu)的定位光纖傳感器時(shí)，I/O控制板將收到煙包到位信號(hào)。I/O控制板查看程序是否有剔除標(biāo)記。如果需要剔除，I/O控制板發(fā)出剔除信號(hào)給剔除裝置進(jìn)行剔除；如果不需要剔除，則不做剔除動(dòng)作。顯示終端(一體機(jī))搭載客戶端軟件(可選配)，提供實(shí)時(shí)和歷史檢測(cè)圖像查詢、模型訓(xùn)練操作和系統(tǒng)配置等功能。流程圖如圖2所示。

圖2 煙包檢測(cè)裝置主要檢測(cè)流程圖

4 檢測(cè)算法

深度學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法，是人工智能算法的一個(gè)分支，深度學(xué)習(xí)取得的突破也驅(qū)動(dòng)著人工智能蓬勃發(fā)展[7]。在RCNN、Fast RCNN之后，Ross Girshick在2016年提出Faster RCNN深度學(xué)習(xí)方法，將特征網(wǎng)絡(luò)、提取、目標(biāo)定位、目標(biāo)分類整合到一個(gè)網(wǎng)絡(luò)中，性能大幅提升,與RCNN和Fast RCNN相比，具有更快的速度和更高的精準(zhǔn)度。該小包外觀檢測(cè)裝置使用Faster RCNN作為主干網(wǎng)絡(luò)進(jìn)行小包的外觀缺陷檢測(cè)。該算法模型包含以下4個(gè)部分：

1)特征提取網(wǎng)絡(luò)。本文選擇ResNet50作為特征提取網(wǎng)絡(luò)，與ZF、VGG16相比，其卷積層數(shù)較多，能提取更多的特征，比較適合于煙包小包這種小區(qū)域的圖像特征提取的目標(biāo)檢測(cè)。

2)RPN區(qū)域選取網(wǎng)絡(luò)。RPN使用滑動(dòng)窗口遍歷特征提取網(wǎng)絡(luò)中的特征圖，生成region proposals。通過softmax判斷anchors(錨點(diǎn)，9個(gè)框)是前景還是背景，再通過邊界框回歸對(duì)anchors進(jìn)行修正，獲得精確的proposals。其損失函數(shù)如下所示：

(1)

其中：

圖3 RPN網(wǎng)絡(luò)結(jié)構(gòu)

3)ROI Pooling。ROI Pooling的作用是根據(jù)預(yù)選框的位置坐標(biāo)在特征圖中將相應(yīng)區(qū)域池化為固定尺寸的特征圖，以便進(jìn)行后續(xù)的分類和包圍框回歸操作。由于預(yù)選框的位置通常是由模型回歸得到的，一般來講是浮點(diǎn)數(shù)，而池化后的特征圖要求尺寸固定,故ROI Pooling這一操作存在兩次量化過程：將候選框邊界量化為整數(shù)點(diǎn)坐標(biāo)值；將量化后的邊界區(qū)域平均分割成k×k個(gè)單元并對(duì)每一個(gè)單元的邊界進(jìn)行量化。事實(shí)上，經(jīng)過上述兩次量化，此時(shí)的候選框已經(jīng)和最開始回歸出來的位置有一定的偏差，這個(gè)偏差會(huì)影響檢測(cè)或者分割的準(zhǔn)確度[8]。為了解決上述缺點(diǎn)，本文采用ROI Align Pooling這一改進(jìn)方法對(duì)原算法進(jìn)行替換，步驟如下：遍歷每一個(gè)候選區(qū)域，保持浮點(diǎn)數(shù)邊界不做量化；將候選區(qū)域分割成k×k個(gè)單元，每個(gè)單元的邊界也不做量化；在每個(gè)單元中計(jì)算4個(gè)坐標(biāo)位置，用雙線性內(nèi)插的方法計(jì)算出這4個(gè)位置的值，然后進(jìn)行最大池化操作。

4)Classification。通過將proposal特征圖展平處理和一系列全連接層操作便可以得到目標(biāo)分類結(jié)果以及邊界框回歸的結(jié)果。

5 實(shí)用效果

準(zhǔn)確的視覺檢測(cè)來源于穩(wěn)定的成像，但實(shí)際在線檢測(cè)時(shí)又很難保證每包煙的姿態(tài)完全一致。煙包晃動(dòng)會(huì)造成大量誤檢、誤剔，影響生產(chǎn)。本裝置采用專門研發(fā)的鋼絲護(hù)欄保證煙包在檢測(cè)位置有穩(wěn)定的姿態(tài)，從而保證檢測(cè)效果的準(zhǔn)確性和穩(wěn)定性。為了驗(yàn)證Faster RCNN深度學(xué)習(xí)在煙包小包檢錯(cuò)識(shí)別上的有效性，將標(biāo)注好的數(shù)據(jù)集加入進(jìn)行訓(xùn)練。數(shù)據(jù)集總共1 680張圖片，其中80%用作訓(xùn)練集，20%用于驗(yàn)證集，訓(xùn)練100次。部分?jǐn)?shù)據(jù)集如圖4、圖5所示。

圖4 錯(cuò)誤煙包圖

圖5 正確煙包圖

本文提出的檢測(cè)算法在實(shí)際應(yīng)用中達(dá)到了很高的精度，可以對(duì)煙包以300～600包/min的速度進(jìn)行5面檢測(cè)。實(shí)驗(yàn)結(jié)果表明，一般缺陷檢出率大于99%，嚴(yán)重缺陷檢出率100%，誤檢率低于0.01%，可以有效識(shí)別2 mm×2 mm以上的污物、異物。可檢測(cè)缺陷種類見表1。

表1 檢測(cè)缺陷種類

6 結(jié)束語(yǔ)

本文將傳統(tǒng)機(jī)器視覺檢測(cè)裝置升級(jí)到人工智能視覺檢測(cè)裝置，使檢測(cè)裝置具備自我學(xué)習(xí)、持續(xù)演進(jìn)的能力，可大大提升識(shí)別的準(zhǔn)確率，顯著降低誤檢率。裝置的高精度光學(xué)CCD的引入能有效提高煙包缺陷檢測(cè)精度，人工智能圖像處理平臺(tái)的加持可有效提高系統(tǒng)的穩(wěn)定性。硬件采用標(biāo)準(zhǔn)化設(shè)計(jì)，形成視頻組件、電控組件、顯示組件、剔除組件、分離組件、告警組件等系列產(chǎn)品，可滿足卷煙廠不同應(yīng)用場(chǎng)景下的快速實(shí)施要求，避免因煙包外觀質(zhì)量缺陷帶來的損失，保障煙廠的煙支產(chǎn)品質(zhì)量。