邱洪濤　孫裴　侯金波　辜麗川　喬焰　焦俊

摘要：為了提高豬肉新鮮度檢測的實時性，提出了基于Caffe框架與ResNet殘差神經(jīng)網(wǎng)絡(luò)的豬肉新鮮度分級的新方法。根據(jù)理化試驗結(jié)果將豬肉的新鮮度分為7級，并在理化試驗前拍攝對應的豬肉照片作為樣本進行網(wǎng)絡(luò)訓練。在網(wǎng)絡(luò)訓練完成后分別用同源和異源樣本圖片對系統(tǒng)分級準確率進行驗證，結(jié)果顯示系統(tǒng)分級的準確率均達到95%以上，說明該系統(tǒng)能夠很好地對豬肉新鮮度進行分級。與傳統(tǒng)的理化試驗檢測新鮮度的方法相比，在保證了分級準確率較高的同時，檢測過程簡單，實時性高、無損，是一種更高效的豬肉新鮮度分級方法。

關(guān)鍵詞：Caffe 框架;新鮮度;圖像識別;殘差神經(jīng)網(wǎng)絡(luò)

中圖分類號：TS251.5+1

文獻標識碼：A

文章編號：1000-4440（2019）02-0461-08

豬肉的新鮮度對肉的安全、風味是至關(guān)重要的。常用的肉品新鮮度檢驗需要大量的專家技術(shù)人員，檢測工序復雜且不具備實時性。為此，研究者們也在嘗試改進傳統(tǒng)的檢測方法，使其操作簡單省時，節(jié)約檢測成本[1-2]。

近年來，計算機技術(shù)在圖像識別方面取得了較大成果，在食品新鮮度分級領(lǐng)域也有了較好的應用。2011年王彥闖等[3]運用改進的BP神經(jīng)網(wǎng)絡(luò)算法建立豬肉新鮮度智能檢測的數(shù)學模型，通過檢測試驗構(gòu)建樣本數(shù)據(jù)集，并對識別模型進行訓練測試，結(jié)果表明預測準確率大于90%，但試驗中主要檢測豬肉揮發(fā)的氨氣濃度等指標，實時性不高。2012年，肖珂等[4]以計算機視覺為基礎(chǔ)，通過對采集到的豬肉圖像使用聚類算法檢驗圖像特征與新鮮度的相關(guān)性，并計算出分類閾值用于新鮮度檢測，但該方法在分類閾值附近的肉品新鮮度分級不準確。2012年馬世榜等[5]利用可見紅外光譜檢測系統(tǒng)結(jié)合支持向量機分類方法，對牛肉新鮮度進行判別分類，所建支持向量機分類模型對訓練集和測試集的回判識別率和測試識別率分別為96.30%和100.00%，驗證集的識別率為88.89%，但采集過程中對操作員專業(yè)性要求高。2018年3月，蘭韜等[6]將深度學習的圖像識別方法應用于牛肉大理石紋的特征提取和分類上，將牛肉分為5個等級，評級正確率分別達到84.2%（1級）、89.4%（2級）、81.9%（3級）、84.1%（4級）、82.6%（5級），該試驗是運用深度學習的圖像識別方法對牛肉分級，由于豬肉與牛肉并不完全相同但有相似之處，對本研究有寶貴的借鑒之處。

本研究將深度學習的圖像識別方法運用在豬肉新鮮度分級上，設(shè)計了基于Caffe框架的豬肉新鮮度分級系統(tǒng)，通過修改近年來在圖像分類算法上優(yōu)秀的ResNet殘差神經(jīng)網(wǎng)絡(luò)使網(wǎng)絡(luò)更適合本次分級試驗，使得網(wǎng)絡(luò)的訓練時間短，準確率高，不用人工篩選訓練部位，網(wǎng)絡(luò)能對豬肉的新鮮度圖像進行分級，使得人們可以方便、準確地對豬肉新鮮度進行分級，便于人們在日常生活中判斷豬肉的新鮮度。

1 材料與方法

1.1 豬肉的生物學分類試驗

本次試驗作為樣本的豬肉來自肥西縣的土雜豬，采樣過程中隨機選取飼養(yǎng)環(huán)境和飼料均相同的同一批次、同一時間、現(xiàn)宰殺的土雜豬的后腿部位肉46份，每過一定時間從幾份樣本中取出一定數(shù)量的豬肉作理化試驗，測量出不同存放天數(shù)下豬肉微生物總量、大腸菌數(shù)量和pH值，通過測得的這些微生物總量和大腸菌數(shù)量以及pH值，對比國家標準，從生物學角度對這一批豬肉的新鮮度做一個分級7]。同時，在微生物計數(shù)與pH測試之前，拍攝每次做試驗前的豬肉樣本圖片，作為深度學習的訓練樣本圖片[8]。

待微生物計數(shù)試驗完成后，根據(jù)所測得結(jié)果，放置了24 h的豬肉，pH值5.6～6.2，稀釋度為1/10000條件下微生物菌群總量2.46～16.20 CFU/ml、大腸菌數(shù)量3.48～5.97 CFU/ml判斷為新鮮肉;放置了48 h的豬肉，pH值6.1～6.3，稀釋度為1/10000條件下微生物菌群總量16.20～28.40 CFU/ml大腸菌數(shù)量5.97～9.20 CFU/ml判斷為次鮮肉一級;放置了72 h的豬肉，稀釋度為1/10000條件下微生物菌群總量28.40～142.00CFU/ml、大腸菌數(shù)量9.20～28.00 CFU/ml，且pH值6.2～6.5判斷為次鮮肉二級;放置了96 h的豬肉，稀釋度為1/10000條件下微生物菌群總量142.00～370.00CFU/ml、大腸菌數(shù)量28.00～93.00 CFU/ml，且pH值6.4～6.7判斷為次鮮肉三級;放置了120 h的豬肉，pH值6.7～6.8，稀釋度為1/10000條件下微生物總量370.00～1040.00 CFU/ml、大腸菌數(shù)量93.00～240.00CFU/ ml判斷為腐敗肉一級;放置了144 h的豬肉，稀釋度為1/10000條件下微生物菌群總量1040.00～1420.00CFU/ml、大腸菌數(shù)量240.00～290.00 CFU/ml，且pH值6.8～7.0判斷為腐敗肉二：級;放置了168 h的豬肉，稀釋度為1/10000條件下微生物菌群總量1420.00～3070.00CFU/ml、大腸菌數(shù)量大于1100 CFU/ml，且pH值大于7.0判斷為腐敗肉三級。

依據(jù)國家肉品分類標準把豬肉樣本對應拍得的圖片（圖1）分為新鮮肉、次鮮肉一級、次鮮肉二級、次鮮肉三級，腐敗肉一級、腐敗肉二級、腐敗肉三級共7類，為后續(xù)劃分訓練集和測試集做準備。

1.2 樣本數(shù)據(jù)預處理

數(shù)據(jù)擴充：為保證數(shù)據(jù)相對平衡并增加數(shù)據(jù)量，采用多種圖像數(shù)據(jù)擴充方法，包括順時針旋轉(zhuǎn)、逆時針旋轉(zhuǎn)、水平鏡像翻轉(zhuǎn)垂直鏡像翻轉(zhuǎn)、隨機剪裁。

同時為了確保圖片清晰，我們選用高清攝像機，所拍照片大小為1920x1080，在試驗過程中我們發(fā)現(xiàn)雖然圖片較大，清晰，這對于人眼識別豬肉的顏色、紋理非常有利，但是過大的圖片尺寸對于計算機訓練網(wǎng)絡(luò)的運算量也較大，導致訓練速度會變慢，從而效率低下。因此我們對采集的樣本圖片進行等比例縮小從而不破壞圖片本身的尺寸比例，然后再利用傳統(tǒng)圖像算法識別出圖片中肉的位置，裁出所需要的部分，使圖片縮小。經(jīng)過處理后的樣本圖片大小為400x300，內(nèi)存為13kb左右，大大提高了訓練速率[9，12]。

2 結(jié)果與分析

2.1 Caffe框架與深度神經(jīng)網(wǎng)絡(luò)

Caffe是為了應用于計算機視覺任務而開發(fā)的，是一種開源軟件框架，對比大多數(shù)深度學習框架，開源與運行速度快是明顯的優(yōu)勢，使得本系統(tǒng)搭建系統(tǒng)方便，訓練時間較短[13]。

深度殘差網(wǎng)絡(luò)：在網(wǎng)絡(luò)中，網(wǎng)絡(luò)的深度增加隨之而來的是梯度消失、梯度彌散等問題，而淺層網(wǎng)絡(luò)的識別效果不是很好，因此我們需要解決在加深網(wǎng)絡(luò)的情況下又解決梯度的問題。深層網(wǎng)絡(luò)后面的網(wǎng)絡(luò)層如果是恒等映射，那么模型就退化為一個淺層網(wǎng)絡(luò)，但是直接讓一些層去擬合一個潛在的恒等映射函數(shù)H（x）=x比較困難，如果把網(wǎng)絡(luò)設(shè)計為H（x）=F（x）+x，就能轉(zhuǎn)換為學習一個殘差函數(shù)F（x）=H（x）-x，在一個淺層網(wǎng)絡(luò)基礎(chǔ)上疊加y=x的層，即恒等映射。

ResNet網(wǎng)絡(luò)結(jié)構(gòu)如圖2、圖3所示：

將2個3x3的卷積層替換為1x1+3x3+1x1。新結(jié)構(gòu)中的中間3x3的卷積層首先在一個降維1x1卷積層下減少了計算，然后在另一個1x1的卷積層下做還原，既保持了精度又減少了計算量，同時提供豐富的特征結(jié)合[14]。

經(jīng)典的ResNet網(wǎng)絡(luò)有151層，但是，實際運用上并不是層數(shù)越多效果就越好，過多的層數(shù)不僅會消耗大量的時間，準確率并不一定高。為了使網(wǎng)絡(luò)能提取豐富的特征，對4個殘差塊進行反卷積得到該殘差塊卷積之前的特征，然后利用加權(quán)的方式把反卷積得到的特征融合，使得訓練中能獲取更多的特征，分級更加準確，最終網(wǎng)絡(luò)總層數(shù)共30層，共有23個卷積層，4個反卷積層，2個池化層，1個全鏈接層。

原始圖片為RBG圖像，是3個通道的原始數(shù)據(jù)，大小為224x224x3，在conv1中，填充是3，通道為3的卷積核，步長是2，64個卷積核，在卷積的時候，得到的特征圖大小為（224-7+6）/2+1≈112，獲得的最終特征圖是112x112，并且由于64個卷積核獲得了64個112x112特征圖，之后通過ReLU激活函數(shù)，數(shù)據(jù)源大小不變，再經(jīng)過步長為2的池化層，卷積核大小為3x3，得到輸出特征大小為56x56x6415]。

在后面的卷積層中，圖片在每層的計算過程都與conv1一樣，不同之處在于之后的層數(shù)卷積核等參數(shù)設(shè)置不同，如在殘差塊中，res2a共有2個卷積層，卷積層的卷積核64個，res2b有3個卷積層，每個卷積層的卷積核都是128個，res3a有2個卷積層，每層卷積核128個，res3b有3個卷積層，卷積層的卷積核都是256個，rea4a有2個卷積層，每層卷積核256個，res4b有3個卷積層，每個卷積層的卷積核都是512個。1x1的卷積不改變圖片大小，經(jīng)過3x3的卷積圖片大小縮小為之前1/2，則經(jīng)過一個殘差塊圖片縮小為之前的1/4，經(jīng)過3個殘差塊后變成原來的1/64，最后輸出變成1x1x7的預測結(jié)果。通過網(wǎng)絡(luò)學習后，得到的特征是具有辨別性的特征，試驗要區(qū)分豬肉的新鮮度，主要在于顏色特征。

圖4為原始ResNet網(wǎng)絡(luò)，圖5為修改過的Res-Net網(wǎng)絡(luò)。為了將丟失的特征還原，我們把res3a、res4a、res5a、res5b 4個殘差塊的輸出特征，增加了1個反卷積，通過反卷積得到卷積之前的特征，然后利用加權(quán)的方式把各特征融合，最后把融合的特征送到分類器進行分類。

2.2 基于Caffe的豬肉新鮮度分級試驗

2.2.1 訓練集與測試集使用Python語言編程給樣本圖片生成標簽，生成標簽程序打亂所有文件的次序，再根據(jù)訓練樣本：測試樣本：驗證樣本=95：4：1的比例生成本次分級試驗用的圖片標簽，選擇7個級別豬肉新鮮度樣本圖片再加上一個標簽為error的空白對照樣本，總共8個級別，每個級別約為2000張圖片。

生成LMDB數(shù)據(jù)庫時用到Caffe框架中convert_imageset.exe文件，用于將訓練數(shù)據(jù)和驗證數(shù)據(jù)轉(zhuǎn)換成Caffe可以處理的LMDB或levelDB的數(shù)據(jù)庫。生成數(shù)據(jù)庫時用convert_imageset文件設(shè)置參數(shù)，確定彩色圖片或灰度圖片，把標簽文件和圖片結(jié)合，利用convert_imageset文件生成LMDB數(shù)據(jù)庫。

2.2.2 網(wǎng)絡(luò)訓練網(wǎng)絡(luò)開始訓練后，可以通過觀察學習率、loss（損失函數(shù)）參數(shù)等指標去了解當前網(wǎng)絡(luò)訓練的效果。為了防止過擬合，給誤差函數(shù)添加1個權(quán)重衰減的懲罰項，它的值越大，則模型損失函數(shù)的值也就越大。

訓練過程中記錄迭代次數(shù)、學習率、loss參數(shù)，在網(wǎng)絡(luò)迭代到1000次的時候，訓練的loss達到0.005735，所以在迭代1000次時停止訓練[16]。畫出loss圖像（圖6）：

圖6可看出迭代次數(shù)100次之前l(fā)oss值都在上下來回震蕩，但是總體是下降的，而且下降特別快，這要歸咎于試驗樣本在訓練之前先進行裁剪，然后利用傳統(tǒng)算法識別豬肉位置再次進行裁剪。隨后迭代100～400次，loss雖然還來回震蕩但是仍然呈下降趨勢，只是下降比較緩慢，在迭代400次以后loss基本趨于0.001～0.009。從圖6也可以看出試驗中隨機梯度下降中的batch size（批尺寸）設(shè)置比較合理，學習率的選擇也比較合理[17]。

在觀察loss曲線時會發(fā)現(xiàn)在訓練初期上下波動較大，特別不穩(wěn)定，隨機梯度下降時候設(shè)定的batchsize不同會導致loss曲線上下波動。此次最初考慮到硬件問題設(shè)置訓練batchsize為16，后期試驗把batchsize改為32。因為batchsize設(shè)置比較小時，會導致訓練處的模型學習不穩(wěn)定，如果把batchsize設(shè)定稍微大一些，訓練的loss值相對穩(wěn)定。

2.2.3 訓練效果準確率的驗證是從樣本文件中隨機抽取1%比例的圖片用來驗證，其中驗證樣本與訓練樣本不重復。在驗證準確率的試驗中，我們采集了同源數(shù)據(jù)和其他數(shù)據(jù)進行驗證，分別進行了4次試驗：用原始的ResNet網(wǎng)絡(luò)和修改后的ResNet網(wǎng)絡(luò)分別訓練得到訓練模型，再分別用同源和異源圖片去測試訓練模型。訓練數(shù)據(jù)總計19951張圖片，同源驗證數(shù)據(jù)420張圖片，異源驗證數(shù)據(jù)362張圖片。

測試識別結(jié)果如下：基于原始網(wǎng)絡(luò)的同源數(shù)據(jù)驗證識別率96.43%，基于改進網(wǎng)絡(luò)的同源數(shù)據(jù)驗證識別率96.90%，基于原始網(wǎng)絡(luò)的異源數(shù)據(jù)驗證識別率93.90%，基于改進網(wǎng)絡(luò)的異源數(shù)據(jù)驗證識別率95.30%。試驗的識別率驗證程序如圖7～圖10。

本次試驗對網(wǎng)絡(luò)訓練迭代1000次生成的模型，文件進行測試，異源樣本測試圖片362張，分別用沒有修改的原始ResNet網(wǎng)絡(luò)和增加了反卷積的修改ResNet網(wǎng)絡(luò)測試，對比可以發(fā)現(xiàn)，修改的網(wǎng)絡(luò)準確率95.30%，比原始網(wǎng)絡(luò)的93.90%高了1.40個百分點。同源測試圖片420張，修改網(wǎng)絡(luò)測試準確率96.90%，比原始網(wǎng)絡(luò)準確率96.43%高了0.47個百分點。根據(jù)測試結(jié)果我們可以發(fā)現(xiàn)修改后的網(wǎng)絡(luò)在同源測試圖片測試精度非常高，而且在異源測試圖片的準確率也達到了95%以上，說明修改后訓練的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計符合試驗的要求，試驗參數(shù)設(shè)置合理。

表1是異源樣本數(shù)據(jù)準確率驗證的結(jié)果，每一級的測試圖片在52張左右，共362張。在測試時記，錄下每一級測試失敗的圖片數(shù)量，并計算每級的準確率。表2是同源樣本數(shù)據(jù)的準確率驗證，每級測試圖片都是60張，共420張。

2.2.4 可視化分析

2.2.4 .1識別成功的圖片可視化分析用上述修改的網(wǎng)絡(luò)模型訓練樣本圖片迭代到100次，抽取模型中間3個卷積層作為可視化特征，查看在訓練網(wǎng)絡(luò)中每一層學習的特征。圖11是成功分級的一張樣本圖片。圖12～圖14是該圖片在網(wǎng)絡(luò)中部分卷積層的可視化結(jié)果：

通過可視化就可以看到提取到的特征忽視了背景，提取到了關(guān)鍵的信息。Conv1和res2a_branch2a學習到的特征基本上是顏色、邊緣等低層特征，而靠后的卷積層如res4b_branch2b開始稍微變得復雜，學習到的是紋理特征，比如上面的一些網(wǎng)格紋理，每一層學習到的內(nèi)容不一樣。層與層之間進行比較，低層次卷積層在訓練過程中學習的特征較為簡單，比較容易收斂，由于卷積核個數(shù)較少，所以可視化圖片較大。高層次的卷積層學習到的特征較多，卷積核較多，可視化圖片較小[18]。

2.2.4 .2識別失敗的圖片可視化分析在測試結(jié)果中雖然準確率較高，但還是有許多分級失敗的圖片，找到這些圖片加以分析，圖15是兩張分級失敗的圖片。

對比圖11與圖15，可以發(fā)現(xiàn)在清晰度上兩張圖有顯著差距，分級失敗的圖片明顯模糊不清，再利用可視化觀察這些圖片在網(wǎng)絡(luò)訓練時學習到的特模糊圖像是由于圖像拍攝過程中相機的移動等原因造成的原圖片模糊，由于圖片本身是模糊的，在網(wǎng)絡(luò)中無法學習到好的特征來分級。由可視化過程可以看出這些分級失敗的圖片在卷積層沒有提取到明顯的特征，不能表征原圖的任何特征導致無法根據(jù)學習特征進行分類，最終導致不能成功分出是哪一個等級的肉品[19]。

3 討論

本研究提出了基于深度學習的豬肉新鮮度分級試驗，通過在網(wǎng)絡(luò)中增加對殘差塊的反卷積，獲取更多的學習特征。通過對比發(fā)現(xiàn)改進的網(wǎng)絡(luò)相較于原始網(wǎng)絡(luò)識別率有所提升且整個網(wǎng)絡(luò)對同源樣本和異源樣本都有較高的準確率，可以用來對豬肉新鮮度進行分級。在本試驗中也對分級失敗的圖片進行分析，為今后的改進提供了思路。同時，利用深度學習來識別豬肉新鮮度，比依靠肉眼識別更加準確、可靠，速度更快，節(jié)省了人力物力，具有較高的應用價值。

參考文獻：

[1]TOMOSHIGE S，0OST E，SHIMIZU A，et al.A conditional statistical shape model with integrated error estimation of the conditions：application to liver segmentation in non-contrast CT images[J].Medical Image Analysis，2014，18（1）：130-143.

[2]RAJWADE A，RANGARAJAN A，BANERJEE A.Image denoising using the higher order singular value decomposition[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2012，35（4）：849-862.

[3]王彥闖，劉敬彪，蔡強，等.基于BP神經(jīng)網(wǎng)絡(luò)的豬肉新鮮度檢測方法[J].計算機應用與軟件，2011，28（9）：82-84.

[4]肖珂，段曉霞，高冠東.基于圖像特征的豬肉新鮮度無損檢測方法[J].河北農(nóng)業(yè)大學學報，2012，35（4）：111-113.

[5]馬世榜，徐楊，彭彥昆，等.基于光譜技術(shù)的支持向量機判別牛肉新鮮度[J].食品安全質(zhì)量檢測學報，2012，3（6）：603-607.

[6]蘭韜，初僑，劉文，等.基于深度學習的牛肉大理石紋智能分級研究[J].食品安全質(zhì)量檢測學報，2018，9（5）：1059-1064.

[7]JIAOJ，MA H，QIAO Y，et al.Design of farm environmental monitoring system based on the internet of things[J].Advance Journal of Food Science & Technology，2014，6（3）：368-373.

[8]高雅，焦俊，孟珠李，等.基于HE和MSR的玉米病蟲害圖像預處理[J].合肥學院學報（綜合版），2016，33（4）：47-53.

[9]孫永海，趙錫維，鮮于建川.基于計算機視覺的冷卻牛肉新鮮度評價方法[J].農(nóng)業(yè)機械學報，2004，35（1）：104-107.

[10]郭培源.曲世海.豬肉新鮮度的智能檢測方法[J].農(nóng)業(yè)機械學報，2006，37（8）：78-81.

[11]龔丁喜，曹長榮.基于卷積神經(jīng)網(wǎng)絡(luò)的植物葉片分類[J].計算機與現(xiàn)代化，2014（4）：12-15

[12]潘婧，錢建平，劉壽春，等.計算機視覺用于豬肉新鮮度檢測的顏色特征優(yōu)化選取[J].食品與發(fā)酵工業(yè)，2016，42（6）：153-158.

[13]魏正.基于Caffe平臺深度學習的人臉識別研究與實現(xiàn)[D].西安：西安電子科技大學，2015.

[14]歐先鋒，向燦群，郭龍源，等.基于Caffe深度學習框架的車牌數(shù)字字符識別算法研究[J].四川大學學報（自然科學版），2017，54（5）：971-977.

[15]楊曉旭，高巍，顧題.基于卷積神經(jīng)網(wǎng)絡(luò)Caffe框架的圖像分類[J].電子技術(shù)與軟件工程，2017（24）：73-73.

[16]焦俊，張水明，杜玉林，等.物聯(lián)網(wǎng)技術(shù)在農(nóng)田環(huán)境監(jiān)測中的應用[J].中國農(nóng)學通報，2014，30（20）：290-295.

[17]倪力，張政云，焦俊，等.基于可穿戴設(shè)備的山羊行為分類[J].山東農(nóng)業(yè)大學學報（自然科學版），2018，49（2）：235-239.

[18]秦豐，劉東霞，孫炳達，等.基于深度學習和支持向量機的4種苜蓿葉部病害圖像識別[J].中國農(nóng)業(yè)大學學報，2017，22（7）：123-133.

[19]朱啟兵，肖盼，黃敏，等.基于特征融合的豬肉新鮮度高光譜圖像檢測[J].食品與生物技術(shù)學報，2015，34（3）：246-252.