摘 要：深度學(xué)習(xí)是目前人工智能領(lǐng)域研究的熱點(diǎn)，并有著巨大突破，在語(yǔ)音識(shí)別、自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、圖像與視頻分析、多媒體等諸多領(lǐng)域的應(yīng)用取得了巨大成功。本文首先將簡(jiǎn)要概述深度學(xué)習(xí)及所使用的卷積神經(jīng)網(wǎng)絡(luò)算法及其特點(diǎn)，其次重點(diǎn)闡述卷煙數(shù)據(jù)的收集和深度學(xué)習(xí)模型的搭建過(guò)程，最后討論深度學(xué)習(xí)應(yīng)用到卷煙種類識(shí)別的問(wèn)題和主要挑戰(zhàn)。

關(guān)鍵詞：深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);ResNet;卷煙分類

一、深度學(xué)習(xí)概念

深度學(xué)習(xí)的概念源自于人們對(duì)神經(jīng)網(wǎng)絡(luò)的研究，是機(jī)器學(xué)習(xí)的一種，它是基于對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的一種方法。神經(jīng)網(wǎng)絡(luò)由仿生學(xué)延伸而來(lái)，它借鑒了生物的大腦神經(jīng)網(wǎng)絡(luò)處理方式，因此稱之為人工神經(jīng)網(wǎng)絡(luò)。使用深度學(xué)習(xí)可以通過(guò)非監(jiān)督式或半監(jiān)督式的特征學(xué)習(xí)使用分層特征提取從而提高運(yùn)算處理速度從而替代手工獲取特征。

二、卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)的一種，因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)需要非常少的數(shù)據(jù)預(yù)處理工作，是一種多層次網(wǎng)絡(luò)結(jié)構(gòu)的深度學(xué)習(xí)算法。對(duì)局部區(qū)域的分析處理，通過(guò)層次結(jié)構(gòu)化，局部特征的提取從而達(dá)到全局訓(xùn)練的目的。目前卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用到了在圖像分類和識(shí)別的領(lǐng)域。通過(guò)卷積運(yùn)算挖掘圖像數(shù)據(jù)中的局部特征的相關(guān)性，利用反向傳播算法從而減少網(wǎng)絡(luò)中訓(xùn)練參數(shù)的數(shù)量。使用卷積神經(jīng)網(wǎng)絡(luò)中處理圖像，是將圖像中的局部區(qū)域通過(guò)卷積處理當(dāng)作層次結(jié)構(gòu)中的底層的輸入數(shù)據(jù)。圖像數(shù)據(jù)前向傳播經(jīng)過(guò)卷積運(yùn)算到達(dá)并通過(guò)網(wǎng)絡(luò)中的每一層，從而根據(jù)局部特征的提取獲得局部的相關(guān)性。根據(jù)局部區(qū)域的相關(guān)性可以獲得圖像的邊界和角落等，由于卷積神經(jīng)網(wǎng)絡(luò)依據(jù)的是局部特征的相關(guān)性所以在識(shí)別對(duì)原圖像產(chǎn)生位移或者拉伸及旋轉(zhuǎn)時(shí)依然有很高的識(shí)別度，特別適用于圖像的識(shí)別和分類。

三、卷煙分類識(shí)別的現(xiàn)狀

傳統(tǒng)的卷煙識(shí)別主要是依靠人工識(shí)別或者掃煙盒上的條形碼進(jìn)行識(shí)別分類。其中通過(guò)人工識(shí)別的受影響因素很多，容易引起錯(cuò)誤。而采用掃條形碼識(shí)別準(zhǔn)確率較高，但當(dāng)遇到條形碼損壞則無(wú)法進(jìn)行識(shí)別。雖然數(shù)字圖像處理技術(shù)和機(jī)器學(xué)習(xí)算法利用輪廓提取和特征點(diǎn)匹配等方式，也可以完成對(duì)煙盒圖像的分類識(shí)別，但是針對(duì)的場(chǎng)景單一、適用范圍窄、正確率低;不同角度、不同遠(yuǎn)近的煙盒圖像都會(huì)對(duì)圖像處理的結(jié)果產(chǎn)生很大的影響。而通過(guò)使用卷積神經(jīng)網(wǎng)絡(luò)，將卷煙圖像通過(guò)卷積得到輸出，之后再通過(guò)反向傳播算法，迭代更新參數(shù)權(quán)值，結(jié)合防止梯度下降過(guò)快和過(guò)擬合的方法，最后得到能使整個(gè)網(wǎng)絡(luò)最優(yōu)的權(quán)值達(dá)到精準(zhǔn)的訓(xùn)練模型。針對(duì)開放場(chǎng)景下的煙盒識(shí)別。在大量樣本數(shù)據(jù)支撐下，卷積神經(jīng)網(wǎng)絡(luò)具有更強(qiáng)大的適應(yīng)性，有著更高的正確率和更寬泛的場(chǎng)景支持。下面將重點(diǎn)介紹使用ResNet為代表的卷積神經(jīng)網(wǎng)絡(luò)對(duì)卷煙進(jìn)行分類識(shí)別的步驟。

使用傳統(tǒng)的卷積層進(jìn)行識(shí)別時(shí)，當(dāng)層疊網(wǎng)絡(luò)的層數(shù)越來(lái)越多，加深到一定層數(shù)時(shí)會(huì)由于感知區(qū)域的逐級(jí)遞減從而使得梯度消失的越來(lái)越嚴(yán)重。從而導(dǎo)致利用反向傳播算法時(shí)很難訓(xùn)練到淺層網(wǎng)絡(luò)。為了解決深層卷積結(jié)構(gòu)的梯度消失問(wèn)題在ImageNet比賽的分類任務(wù)中參賽隊(duì)伍使用殘差神經(jīng)網(wǎng)絡(luò)，并獲得了成功，通過(guò)擬合殘差來(lái)提升網(wǎng)絡(luò)效果。

四、使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)卷煙進(jìn)行分類

第一步：圖片收集和篩選

收集并整理煙盒圖片的應(yīng)用場(chǎng)景，收集不同種類的不同狀態(tài)的煙盒圖片。首先對(duì)煙盒圖片的種類進(jìn)行分類，總共150種，每個(gè)品種至少100張。用作基礎(chǔ)庫(kù)。其次對(duì)各個(gè)種類的煙盒圖片中所占圖片比例小于60%的煙盒圖片以及圖像嚴(yán)重失真的圖片進(jìn)行刪除。最后將篩選好的圖片進(jìn)行初步整理，作為原始數(shù)據(jù)集。本步驟應(yīng)盡量收集多的數(shù)據(jù)，避免在模型訓(xùn)練時(shí)由于數(shù)據(jù)不足導(dǎo)致的模型過(guò)擬合。

第二步：圖片庫(kù)預(yù)處理和擴(kuò)充

對(duì)第一步中的圖片進(jìn)行預(yù)處理和擴(kuò)充。擴(kuò)充手段包括但不限于對(duì)圖片進(jìn)行旋轉(zhuǎn)、平移、錯(cuò)切變換改變圖片的顏色值、改變圖片的亮度和對(duì)比度。將收集到的圖片庫(kù)擴(kuò)大10倍。將擴(kuò)充后的數(shù)據(jù)集的70%的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，20%數(shù)據(jù)作為驗(yàn)證數(shù)據(jù)，剩余的10%用于測(cè)試模型的預(yù)測(cè)情況。

第三步：卷積神經(jīng)網(wǎng)絡(luò)搭建

本研究采用的殘差神經(jīng)網(wǎng)絡(luò)ResNet卷積神經(jīng)網(wǎng)絡(luò)。該模型包括網(wǎng)絡(luò)前端的數(shù)據(jù)層、中段的隱藏層（卷積層和池化層）、末段的輸出層。由于全連接層在一定程度上會(huì)損失圖像的空間信息因此拋棄隱藏層中的全連接層。

網(wǎng)絡(luò)前端：

數(shù)據(jù)層：訓(xùn)練數(shù)據(jù)為150（種）×750張，測(cè)試數(shù)據(jù)為15000張。由于采集到的圖片的大小可能各不相同，有一些圖像的分辨率較大，有一些比較小。而且長(zhǎng)寬比也不一定會(huì)一樣。通過(guò)裁剪的方法使得輸出的圖像的分辨率固定為3×256×256（通道數(shù)×圖像高度×圖像寬度），在網(wǎng)絡(luò)訓(xùn)練的階段，裁剪的位置從原始的圖像上隨機(jī)選擇，只需要滿足裁剪的子圖完全落在圖像中即可。通過(guò)隨機(jī)的方式來(lái)增加了額外的數(shù)據(jù)，能夠緩解過(guò)擬合的問(wèn)題。裁剪之后的原圖，每一個(gè)像素都是0到255的固定的數(shù)值。進(jìn)一步的處理，包括減去均值，以及等比例縮放像素值使得像素值的分部基本在[-1，1]之間。隨后對(duì)圖像進(jìn)行歸一化增強(qiáng)圖像，隨機(jī)選擇RGB三個(gè)通道中的一個(gè)，然后在原像素值的基礎(chǔ)上，隨機(jī)添加一個(gè)從[-20，20]之間的數(shù)值。

網(wǎng)絡(luò)中段：

卷積層：使用3×3的卷積核進(jìn)行卷積運(yùn)算后再使用1×1卷積核來(lái)增加維度，得到feature_map，提取圖像的局部信息。池化層：使用最大池化對(duì)卷積層產(chǎn)生的特征圖進(jìn)行融合，一方面使特征圖變小，簡(jiǎn)化網(wǎng)絡(luò)計(jì)算復(fù)雜度;一方面進(jìn)行特征壓縮，提取主要特征對(duì)每一個(gè)特征圖單獨(dú)進(jìn)行操作并且輸出一個(gè)對(duì)應(yīng)的特征圖。

ReLu：引入修正線性單元（Rectified linear unit，ReLU）作為激活函數(shù)進(jìn)行激活，由于ReLU函數(shù)是分段線性函數(shù)，通過(guò)對(duì)每一個(gè)值進(jìn)行處理，把所有的負(fù)值都變?yōu)?，而正值不變，這種單側(cè)抑制。在每一個(gè)卷積運(yùn)算后使用ReLU函數(shù)進(jìn)行處理，可以使得本研究中神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元具有了稀疏激活性，緩解過(guò)擬合問(wèn)題發(fā)生。并且可以降低計(jì)算量;避免ReLU函數(shù)反向傳播時(shí)出現(xiàn)的梯度消失導(dǎo)致無(wú)法完成模型收斂。通過(guò)ReLU實(shí)現(xiàn)稀疏后的模型能夠更好地挖掘相關(guān)特征，擬合訓(xùn)練數(shù)據(jù)。

網(wǎng)絡(luò)末段：

輸出層：從網(wǎng)絡(luò)訓(xùn)練的角度，末端主要是損失函數(shù)。也就是將數(shù)據(jù)映射為一個(gè)標(biāo)量。通過(guò)隨機(jī)梯度下降的方式，使得損失函數(shù)逐漸降低。本研究使用神經(jīng)網(wǎng)絡(luò)將圖片分類，因此這里使用了softmax函數(shù)。

先將輸入歸一化到[0，1]之間，通過(guò)Softmax函數(shù)，然后通過(guò)交叉熵定義損失值，softmax輸出返回列表的概率求和為1，每個(gè)概率代表給定圖像屬于特定輸出類的概率。輸出分類結(jié)果到softmax層輸出種類概率向量。

第四步：訓(xùn)練模型

訓(xùn)練過(guò)程：對(duì)已有的樣本，使用最小化的求解梯度下降法（Gradient Decent）反向傳播算法（back propagation）將誤差信號(hào)傳遞到每一層的輸出。再通過(guò)每一層的函數(shù)對(duì)參數(shù)的導(dǎo)數(shù)，可求得參數(shù)的梯度，再通過(guò)基于梯度的最優(yōu)化，就能尋得最優(yōu)值，完成訓(xùn)練過(guò)程。根據(jù)前向傳播的LOSS值，來(lái)反向迭代更新每一層的權(quán)重，確定LOSS趨于收斂時(shí)，保存模型。

（1）初始化參數(shù)。

（2）求代價(jià)函數(shù)關(guān)于參數(shù)的梯度。

（3）根據(jù)梯度更新參數(shù)的值。

（4）經(jīng)過(guò)迭代以后取得最佳參數(shù)，從而完成模型的訓(xùn)練。

引入遷移學(xué)習(xí)的方法，將預(yù)先訓(xùn)練好的ResNet模型的前30層的參數(shù)固化，后面的用新數(shù)據(jù)訓(xùn)練，從而避免初始隨機(jī)的權(quán)重賦值，縮短訓(xùn)練周期。

第五步：預(yù)判模型

加載訓(xùn)練好的模型，將待識(shí)別的煙盒圖片輸入，判斷模型的有效性。使用第二步中的10%的預(yù)測(cè)圖片集，從中選擇若干圖片輸入到模型中，提取煙盒圖片的特征，輸出圖片的標(biāo)簽類別以及TOP5的置信度。

參考文獻(xiàn)：

[1]深度學(xué)習(xí)在圖像識(shí)別中的研究進(jìn)展與展望[DB].CSDN.NET.

[2]許可.卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別上的應(yīng)用的研究[D].浙江大學(xué)，2012.

[3]楊瑩.給予卷積神經(jīng)網(wǎng)絡(luò)的圖像分類研究[J].現(xiàn)代計(jì)算機(jī)，2016，3.

[4]黎哲明.基于卷積神經(jīng)網(wǎng)絡(luò)的車輛品牌和型號(hào)識(shí)別[J].東南大學(xué)學(xué)報(bào)，2017.

[5]李超波.深度學(xué)習(xí)在圖像識(shí)別中的應(yīng)用[J].南通大學(xué)學(xué)報(bào)（自然科學(xué)版）-2018.

[6]Deep Residual Learning for Image Recognition [J].Microsoft Research，2015.

作者簡(jiǎn)介：孫晶（1987- ），女，碩士，中級(jí)職稱，研究方向：卷煙營(yíng)銷和管理