張垚鑫，朱榮光，孟令峰，馬 蓉，王世昌，白宗秀，崔曉敏

改進(jìn)ResNet18網(wǎng)絡(luò)模型的羊肉部位分類與移動(dòng)端應(yīng)用

張垚鑫1,2，朱榮光1,2※，孟令峰1，馬 蓉1，王世昌1，白宗秀1，崔曉敏1

（1. 石河子大學(xué)機(jī)械電氣工程學(xué)院，石河子 832003；2. 農(nóng)業(yè)農(nóng)村部西北農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室，石河子 832003）

針對(duì)傳統(tǒng)圖像分類模型泛化性不強(qiáng)、準(zhǔn)確率不高以及耗時(shí)等問(wèn)題，該研究構(gòu)建了一種用于識(shí)別不同部位羊肉的改進(jìn)ResNet18網(wǎng)絡(luò)模型，并基于智能手機(jī)開(kāi)發(fā)了一款可快速識(shí)別不同部位羊肉的應(yīng)用軟件。首先，使用數(shù)據(jù)增強(qiáng)方式對(duì)采集到的羊背脊、羊前腿和羊后腿肉的原始手機(jī)圖像進(jìn)行數(shù)據(jù)擴(kuò)充；其次，在ResNet18網(wǎng)絡(luò)結(jié)構(gòu)中引入附加角裕度損失函數(shù)（ArcFace）作為特征優(yōu)化層參與訓(xùn)練，通過(guò)優(yōu)化類別的特征以增強(qiáng)不同部位羊肉之間的類內(nèi)緊度和類間差異，同時(shí)將ResNet18網(wǎng)絡(luò)殘差結(jié)構(gòu)中的傳統(tǒng)卷積用深度可分離卷積替換以減少網(wǎng)絡(luò)參數(shù)量，提高網(wǎng)絡(luò)運(yùn)行速度；再次，探究了不同優(yōu)化器、學(xué)習(xí)率和權(quán)重衰減系數(shù)對(duì)網(wǎng)絡(luò)收斂速度和準(zhǔn)確率的影響并確定模型參數(shù)；最后，將該網(wǎng)絡(luò)模型移植到安卓（Android）手機(jī)以實(shí)現(xiàn)不同部位羊肉的移動(dòng)端檢測(cè)。研究結(jié)果表明，改進(jìn)ResNet18網(wǎng)絡(luò)模型測(cè)試集的準(zhǔn)確率高達(dá)97.92%，相比ResNet18網(wǎng)絡(luò)模型提高了5.92個(gè)百分點(diǎn)；把改進(jìn)ResNet18網(wǎng)絡(luò)模型部署到移動(dòng)端后，每張圖片的檢測(cè)時(shí)間約為0.3 s。該研究利用改進(jìn)ResNet18網(wǎng)絡(luò)模型結(jié)合智能手機(jī)圖像實(shí)現(xiàn)了不同部位羊肉的移動(dòng)端快速準(zhǔn)確分類，為促進(jìn)羊肉的智能化檢測(cè)及羊肉市場(chǎng)按質(zhì)論價(jià)提供了技術(shù)支持。

圖像處理；圖像識(shí)別；模型；羊肉；ResNet18；移動(dòng)端；羊肉部位分類

0 引 言

羊肉的肉質(zhì)鮮嫩，營(yíng)養(yǎng)價(jià)值高，且其中含有豐富的維生素、鈣、磷、鐵等，深受人們喜愛(ài)[1]。不同部位羊肉的品質(zhì)[2-3]以及脂肪酸、蛋白質(zhì)等營(yíng)養(yǎng)成分含量[4-5]各不相同，且不同部位羊肉的顏色、失水率、風(fēng)味、嫩度和加工適宜性等也會(huì)隨儲(chǔ)藏時(shí)間改變[6]。隨著人們生活水平的不斷提高，對(duì)肉制品真實(shí)性的要求也越來(lái)越高，然而不同部位的羊肉經(jīng)常被混淆出售，該行為破壞了市場(chǎng)“按質(zhì)論價(jià)”的原則。因此，尋求一種快速、準(zhǔn)確鑒別不同部位羊肉的方法對(duì)維護(hù)肉制品行業(yè)的市場(chǎng)秩序具有重要意義。

目前，用于肉制品檢測(cè)的技術(shù)主要有近紅外光譜、高光譜成像以及傳感器（電子鼻、電子舌）檢測(cè)等[7]。Sanz等[8]將高光譜成像技術(shù)與機(jī)器學(xué)習(xí)算法相結(jié)合，對(duì)羔羊的背長(zhǎng)肌、腰大肌、半膜肌進(jìn)行分類，準(zhǔn)確率為96.67%。Kamruzzaman等[9]采用高光譜成像技術(shù)結(jié)合主成分分析算法對(duì)夏洛萊羊的半腱肌、背闊肌和腰大肌進(jìn)行了分類，準(zhǔn)確率高達(dá)100%。但上述方法因成本高和操作復(fù)雜等缺點(diǎn)難以應(yīng)用推廣。隨著手機(jī)運(yùn)算速度的提高，基于移動(dòng)端的肉制品檢測(cè)研究逐漸增多[10-12]。趙鑫龍等[10]基于智能手機(jī)開(kāi)發(fā)了一種用于牛肉大理石花紋檢測(cè)的軟件，檢測(cè)準(zhǔn)確率為95.56%，且單張檢測(cè)時(shí)間低于0.5 s。然而，有關(guān)不同部位羊肉分類判別應(yīng)用軟件的研究仍然較少，孟令峰等[11]利用反向傳播神經(jīng)網(wǎng)絡(luò)對(duì)基于手機(jī)圖片的不同部位羊肉進(jìn)行分類，并開(kāi)發(fā)了相應(yīng)的手機(jī)應(yīng)用軟件，但其準(zhǔn)確率為90.94%，方法精度有限。

近年來(lái)，各種卷積神經(jīng)網(wǎng)絡(luò)模型不斷涌現(xiàn)，其網(wǎng)絡(luò)層次越來(lái)越深，結(jié)構(gòu)越來(lái)越復(fù)雜，精度越來(lái)越高[13-16]。目前，深度學(xué)習(xí)已逐步應(yīng)用于農(nóng)畜產(chǎn)品新鮮度[17]、成熟度[18]、品質(zhì)檢測(cè)[19-20]和摻假檢測(cè)[21-23]等相關(guān)研究。當(dāng)深度學(xué)習(xí)的網(wǎng)絡(luò)深度達(dá)到一定界限時(shí)，在其訓(xùn)練過(guò)程中會(huì)出現(xiàn)梯度消失的現(xiàn)象，導(dǎo)致網(wǎng)絡(luò)難以收斂。ResNet網(wǎng)絡(luò)[24]通過(guò)引入殘差結(jié)構(gòu)解決該問(wèn)題，現(xiàn)已應(yīng)用于茶葉[25]、柑橘[26]等其他食品分類中，但仍存在參數(shù)過(guò)多、運(yùn)算成本高等問(wèn)題。因此，一些網(wǎng)絡(luò)為了提高運(yùn)行速度，將訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行壓縮或?qū)⒕W(wǎng)絡(luò)結(jié)構(gòu)輕量化[27]。有研究表明，MobileNet網(wǎng)絡(luò)[28]中的深度可分離卷積能在不影響準(zhǔn)確率的前提下降低計(jì)算量，提高運(yùn)行速度。由于羊背脊、羊后腿、羊前腿等不同部位的羊肉顏色和紋理特征較為相似，導(dǎo)致不同部位羊肉類別之間的區(qū)分精度不高，且不同的貯藏時(shí)間會(huì)影響不同羊肉部位的外觀形態(tài)進(jìn)而對(duì)部位的區(qū)分產(chǎn)生影響。因此，為增強(qiáng)不同部位羊肉之間差異的判別效果，提高網(wǎng)絡(luò)模型的分類精度，本研究借鑒人臉識(shí)別中的附加角裕度損失函數(shù)（ArcFace）[29]，并將其作為不同部位羊肉分類網(wǎng)絡(luò)模型的特征優(yōu)化層參與訓(xùn)練，通過(guò)最大化分類界限區(qū)分不同部位羊肉之間的細(xì)微特征。

本研究為實(shí)現(xiàn)基于手機(jī)圖像的不同部位羊肉分類判別，引入附加角裕度損失函數(shù)（ArcFace）作為ResNet18網(wǎng)絡(luò)的特征優(yōu)化層以增強(qiáng)不同部位羊肉特征之間的可分性，并借鑒MobileNet輕量化網(wǎng)絡(luò)，將ResNet18網(wǎng)絡(luò)殘差結(jié)構(gòu)中的傳統(tǒng)卷積替換為深度可分離卷積以減少網(wǎng)絡(luò)參數(shù)量，進(jìn)而比較不同優(yōu)化器、學(xué)習(xí)率和權(quán)重衰減系數(shù)對(duì)網(wǎng)絡(luò)收斂速度和準(zhǔn)確率的影響，然后建立基于改進(jìn)ResNet18網(wǎng)絡(luò)的不同部位羊肉識(shí)別模型，最后將改進(jìn)ResNet18網(wǎng)絡(luò)模型移植到Android終端。本研究提出在深度學(xué)習(xí)模型中引入Arcface以及深度可分離卷積的方法可為其他深度網(wǎng)絡(luò)改進(jìn)提供參考。另外，本研究開(kāi)發(fā)的不同部位羊肉分類手機(jī)應(yīng)用軟件（APP）將深度學(xué)習(xí)方法應(yīng)用于手機(jī)終端，具有很好的實(shí)用性和便攜性。

1 材料與方法

1.1 圖像采集與預(yù)處理

1.1.1 羊肉樣本圖像采集

本研究試驗(yàn)樣本采購(gòu)于石河子市中心農(nóng)貿(mào)市場(chǎng)，樣本分別取自6只小尾寒羊（6～8月齡），在進(jìn)行約30 h的排酸后送至石河子大學(xué)農(nóng)畜產(chǎn)品實(shí)驗(yàn)室進(jìn)行樣本制備。試驗(yàn)制備的羊背脊、羊前腿和羊后腿肉樣本的長(zhǎng)、寬、高約為40 mm、30 mm、10 mm，將其真空包裝后置于4 ℃冰箱內(nèi)冷藏。為避免外界自然光照對(duì)試驗(yàn)產(chǎn)生影響，使采集環(huán)境更加穩(wěn)定，整個(gè)試驗(yàn)過(guò)程均在封閉環(huán)境下進(jìn)行，并對(duì)光源進(jìn)行補(bǔ)償。圖像采集前，將試驗(yàn)樣本從冰箱中取出，待其恢復(fù)至室溫后使用手機(jī)（華為P10，華為技術(shù)有限公司，中國(guó)）進(jìn)行圖像采集，分別于每天的10:00和22:00進(jìn)行2次圖像采集，連續(xù)采集12 d。拍攝過(guò)程中，手機(jī)攝像頭位于羊肉樣本正上方12 cm的位置。試驗(yàn)剔除提前腐敗的異常樣本后，得到羊背脊、羊前腿和羊后腿樣本各14 個(gè)，共計(jì)1 008張圖像，圖像格式為.jpg，圖像分辨率為2 976×3 968像素。

1.1.2 圖像數(shù)據(jù)預(yù)處理

本研究為提高網(wǎng)絡(luò)模型的適應(yīng)性與泛化性，對(duì)獲得的羊肉圖片采用隨機(jī)旋轉(zhuǎn)、水平和垂直翻轉(zhuǎn)、調(diào)節(jié)亮度飽和度對(duì)比度、添加高斯模糊和椒鹽噪聲等方式進(jìn)行數(shù)據(jù)集擴(kuò)充[30]。擴(kuò)充后的數(shù)據(jù)集數(shù)量為原來(lái)的9倍，共10 080張圖片，不同擴(kuò)充方式下的羊肉圖片示例如圖1所示。本試驗(yàn)所采用的數(shù)據(jù)集包括羊前腿、羊后腿和羊背脊3類不同部位羊肉，為保證樣本量均衡，從每類樣本中隨機(jī)選取2 000張共計(jì)6 000張不同部位羊肉的手機(jī)圖片，按照4∶1的比例劃分為訓(xùn)練集（4 800張）和測(cè)試集（1 200張）。

1.2 基于改進(jìn)ResNet18網(wǎng)絡(luò)的不同部位羊肉分類模型構(gòu)建

1.2.1 ResNet18網(wǎng)絡(luò)

激活函數(shù)隨卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的不斷加深而逐漸增多，從而將輸入數(shù)據(jù)映射到更加離散的高維空間，造成網(wǎng)絡(luò)較難收斂。針對(duì)上述問(wèn)題，He等[24]提出ResNet網(wǎng)絡(luò)，其由卷積層、池化層、歸一化層、殘差結(jié)構(gòu)和全連接層等結(jié)構(gòu)組成。ResNet18網(wǎng)絡(luò)通過(guò)引入殘差結(jié)構(gòu)可解決由于網(wǎng)絡(luò)層數(shù)較多而出現(xiàn)的退化問(wèn)題，以免在提取特征過(guò)程中丟失信息。然而，ResNet18網(wǎng)絡(luò)在進(jìn)行多分類時(shí)仍存在類別邊界不清晰、網(wǎng)絡(luò)參數(shù)量過(guò)多和不便移植到手機(jī)端等問(wèn)題。

1.2.2 附加角裕度損失函數(shù)（ArcFace）

ResNet18網(wǎng)絡(luò)采用Softmaxloss損失函數(shù)實(shí)現(xiàn)多分類時(shí)，先將神經(jīng)網(wǎng)絡(luò)的輸出數(shù)值轉(zhuǎn)化為每個(gè)類的相對(duì)概率，然后再映射到（0,1）區(qū)間內(nèi)，最終選取概率值最大的類別作為預(yù)測(cè)結(jié)果。傳統(tǒng)的Softmaxloss損失函數(shù)（1）如式（1）所示

1.2.3 深度可分離卷積

隨著網(wǎng)絡(luò)層數(shù)的增加，網(wǎng)絡(luò)的參數(shù)量也隨之增加，使得網(wǎng)絡(luò)訓(xùn)練效率逐漸降低。針對(duì)此問(wèn)題，本研究借鑒MobileNet網(wǎng)絡(luò)中的深度可分離卷積，將其代替ResNet18網(wǎng)絡(luò)中的傳統(tǒng)卷積以獲得更高效的輕量化網(wǎng)絡(luò)，使網(wǎng)絡(luò)在幾乎不影響準(zhǔn)確率的前提下大大降低計(jì)算量，以便將改進(jìn)ResNet18網(wǎng)絡(luò)模型部署到移動(dòng)端。

1.2.4 改進(jìn)ResNet18網(wǎng)絡(luò)模型構(gòu)建

本研究提出的改進(jìn)ResNet18網(wǎng)絡(luò)是通過(guò)對(duì)ResNet18網(wǎng)絡(luò)進(jìn)行以下2個(gè)方面改進(jìn)而獲得。一方面，對(duì)ResNet18網(wǎng)絡(luò)的殘差結(jié)構(gòu)進(jìn)行改進(jìn)，將其中的傳統(tǒng)卷積替換為深度可分離卷積。深層卷積對(duì)輸入層的每個(gè)通道分別進(jìn)行卷積操作，然后利用逐點(diǎn)卷積提取不同通道在相同空間位置上的特征信息。相比傳統(tǒng)卷積，深度可分離卷積可在不影響分類精度的前提下降低網(wǎng)絡(luò)參數(shù)量，提高網(wǎng)絡(luò)效率。另一方面，為區(qū)分不同部位羊肉特征之間的細(xì)微差異，引入附加角裕度損失函數(shù)（ArcFace）[29]作為改進(jìn)ResNet18網(wǎng)絡(luò)的特征優(yōu)化層參與訓(xùn)練，在角度空間增加角度間隔以加強(qiáng)類內(nèi)緊度和類間差異，最大化不同部位羊肉的分類界限。本研究提出的改進(jìn)ResNet18網(wǎng)絡(luò)主要由以下7部分組成：卷積層、池化層、歸一化層、殘差結(jié)構(gòu)（3個(gè)）、全連接層、Softmax分類層和特征優(yōu)化層，其結(jié)構(gòu)示意圖如圖2所示，其中，殘差結(jié)構(gòu)由卷積核大小為3×3步長(zhǎng)為2的卷積、卷積核大小為3×3步長(zhǎng)為1的深度卷積和卷積核大小為1×1步長(zhǎng)為1的逐點(diǎn)卷積構(gòu)成。整個(gè)改進(jìn)ResNet18網(wǎng)絡(luò)的損失函數(shù)由Softmax分類層的Softmaxloss損失函數(shù)1與特征優(yōu)化層的附加角裕度損失函數(shù)（ArcFace）3兩部分之和組成，進(jìn)行網(wǎng)絡(luò)訓(xùn)練時(shí)，通過(guò)最小化損失函數(shù)以實(shí)現(xiàn)羊背脊、羊前腿和羊后腿之間的精準(zhǔn)分類與識(shí)別。

1.2.5 試驗(yàn)環(huán)境

羊肉部位分類模型訓(xùn)練的試驗(yàn)環(huán)境：硬件包括Intel? CoreTMi7-6700KCPU @ 3.40 GHz處理器，40 GB內(nèi)存和NVIDIA GeForce RTX 2080 Ti 顯卡（11 GB 顯存）等，軟件包括操作系統(tǒng)Windows 10（64位）、編程語(yǔ)言Python 3.6.5、深度學(xué)習(xí)框架Pytorch1.1.0、通用計(jì)算架構(gòu)CUDA 10.0和GPU加速庫(kù)CUDNN 7.4.1。手機(jī)APP開(kāi)發(fā)及軟件測(cè)試的環(huán)境：硬件為內(nèi)存64 GB的華為手機(jī)（P10，華為技術(shù)有限公司，中國(guó)），軟件包括Android8.0操作系統(tǒng)和Android Studio安卓應(yīng)用軟件開(kāi)發(fā)環(huán)境。

1.2.6 評(píng)價(jià)指標(biāo)

本研究采用準(zhǔn)確率（Accuracy，%）來(lái)評(píng)價(jià)所有不同部位羊肉分類模型的性能，并通過(guò)混淆矩陣分析三種部位羊肉的錯(cuò)分情況。準(zhǔn)確率為分類正確的樣本數(shù)占樣本總數(shù)的比例，其計(jì)算如式（5）所示

式中TP、FP、FN、TN分別為混淆矩陣中分類模型對(duì)不同部位羊肉的分類情況統(tǒng)計(jì)。其中TP為正類判定為正類的樣本個(gè)數(shù)，F(xiàn)P為負(fù)類判定為正類的樣本個(gè)數(shù)，F(xiàn)N為正類判定為負(fù)類的樣本個(gè)數(shù)，TN為負(fù)類判定為負(fù)類的樣本個(gè)數(shù)。進(jìn)行分類任務(wù)時(shí)，把要預(yù)測(cè)樣本的實(shí)際類別數(shù)視為正樣本數(shù)，其他所有類別之和為負(fù)樣本數(shù)。

圖2 改進(jìn)ResNet18網(wǎng)絡(luò)模型的結(jié)構(gòu)示意圖

Fig.2 Structure diagram of improved ResNet18 network model

2 結(jié)果與分析

2.1 附加角裕度損失函數(shù)（ArcFace）對(duì)特征分布的影響分析

為探究附加角裕度損失函數(shù)（ArcFace）對(duì)不同部位羊肉特征分布的影響，本研究將ResNet18網(wǎng)絡(luò)和ResNet18_ArcFace網(wǎng)絡(luò)提取的兩個(gè)特征進(jìn)行可視化，其特征分布圖如圖3所示。相比ResNet18網(wǎng)絡(luò)，ResNet_ArcFace網(wǎng)絡(luò)在增強(qiáng)類內(nèi)緊度的同時(shí)還增加了類間差異，使得同一部位羊肉特征的相似度增強(qiáng)，不同部位羊肉之間特征差異性增大，進(jìn)而提高了網(wǎng)絡(luò)模型的魯棒性。

為進(jìn)一步量化不同網(wǎng)絡(luò)所提取的特征對(duì)羊肉部位的類內(nèi)緊度和類間差異的影響，本研究從不同部位特征總的方差和中心距（中心之間的距離之和）兩個(gè)指標(biāo)對(duì)其進(jìn)行對(duì)比分析。ResNet18網(wǎng)絡(luò)和ResNet18_ArcFace網(wǎng)絡(luò)訓(xùn)練集和測(cè)試集的方差和中心距如表1所示。其中，ResNet18_ArcFace網(wǎng)絡(luò)訓(xùn)練集和測(cè)試集的方差分別為7.27和12.49，比ResNet18網(wǎng)絡(luò)分別減少了7.30和2.47。ResNet18_ArcFace網(wǎng)絡(luò)訓(xùn)練集和測(cè)試集的中心距分別為49.53和42.57，比ResNet18網(wǎng)絡(luò)分別增大了24.02和15.63。結(jié)果表明，ResNet18網(wǎng)絡(luò)引入ArcFace可提高不同部位羊肉之間的可區(qū)分性。

表1 ResNet18網(wǎng)絡(luò)、ResNet18_ArcFace網(wǎng)絡(luò)特征分布的對(duì)比分析

2.2 深度可分離卷積對(duì)網(wǎng)絡(luò)模型參數(shù)量的影響分析

利用深度可分離卷積替換ResNet18網(wǎng)絡(luò)殘差結(jié)構(gòu)中的傳統(tǒng)卷積后，卷積分為深度卷積和逐點(diǎn)卷積2個(gè)部分。因此，網(wǎng)絡(luò)中殘差結(jié)構(gòu)的參數(shù)量由原來(lái)3.13×106降至0.36×106，整體網(wǎng)絡(luò)的參數(shù)量由原來(lái)的11.69×106降至7.68×106。結(jié)果表明，與ResNet18網(wǎng)絡(luò)相比，引入深度可分離卷積的改進(jìn)ResNet18網(wǎng)絡(luò)可減少參數(shù)量。

2.3 模型參數(shù)對(duì)改進(jìn)ResNet18網(wǎng)絡(luò)模型的影響分析

為研究訓(xùn)練過(guò)程中的模型參數(shù)對(duì)改進(jìn)ResNet18網(wǎng)絡(luò)模型的影響，本研究分別選用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）優(yōu)化器和自適應(yīng)矩估計(jì)優(yōu)化器（Adaptive moment estimation，Adam）兩種優(yōu)化器，并分別設(shè)置學(xué)習(xí)率為0.01和0.001，權(quán)重衰減系數(shù)為0和0.000 5對(duì)模型進(jìn)行訓(xùn)練，并對(duì)比分析不同參數(shù)對(duì)模型準(zhǔn)確率的影響。測(cè)試集的準(zhǔn)確率隨參數(shù)的變化趨勢(shì)如圖4所示。由圖4可知，Adam比SGD優(yōu)化器收斂速度更快，但網(wǎng)絡(luò)模型準(zhǔn)確率波動(dòng)較大。模型參數(shù)對(duì)改進(jìn)ResNet18網(wǎng)絡(luò)模型影響的具體情況如表2所示，當(dāng)采用學(xué)習(xí)率為0.01，權(quán)重衰減系數(shù)為0.000 5的SGD優(yōu)化器時(shí)，測(cè)試集的準(zhǔn)確率為97.92%，且準(zhǔn)確率曲線趨勢(shì)更加平穩(wěn)。

表2 改進(jìn)ResNet18網(wǎng)絡(luò)模型在不同參數(shù)下準(zhǔn)確率的對(duì)比分析

注：Adam優(yōu)化算法中加入權(quán)重衰減系數(shù)無(wú)效。

Note: It is invalid for adding weight decay coefficient in Adam optimization algorithm.

2.4 改進(jìn)ResNet18網(wǎng)絡(luò)模型與其他網(wǎng)絡(luò)模型的對(duì)比分析

本研究中所有網(wǎng)絡(luò)模型均使用遷移學(xué)習(xí)的方式進(jìn)行訓(xùn)練，凍結(jié)網(wǎng)絡(luò)中除全連接層之外的所有網(wǎng)絡(luò)層，只對(duì)最后一層進(jìn)行訓(xùn)練。訓(xùn)練模型時(shí)采用SGD優(yōu)化器，學(xué)習(xí)率設(shè)置為0.01，權(quán)重衰減系數(shù)設(shè)置為0.000 5。試驗(yàn)過(guò)程中的批次樣本數(shù)為32，最大輪數(shù)為100輪。

ResNet18、改進(jìn)ResNet18和MobileNet網(wǎng)絡(luò)模型的準(zhǔn)確率隨訓(xùn)練輪數(shù)的變化如圖5所示。由圖5可知，ResNet18網(wǎng)絡(luò)模型經(jīng)過(guò)21輪訓(xùn)練準(zhǔn)確率達(dá)到90.25%，最終穩(wěn)定在92.00%；改進(jìn)ResNet18網(wǎng)絡(luò)模型經(jīng)過(guò)6輪訓(xùn)練準(zhǔn)確率達(dá)到95.25%，最終穩(wěn)定在97.92%；MobileNet網(wǎng)絡(luò)模型經(jīng)過(guò)17輪訓(xùn)練準(zhǔn)確率達(dá)到78.34%，最終穩(wěn)定在84.58%。與ResNet18網(wǎng)絡(luò)模型和MobileNet網(wǎng)絡(luò)模型相比，改進(jìn)ResNet18網(wǎng)絡(luò)模型收斂速度更快，且準(zhǔn)確率分別提升了5.92和13.34個(gè)百分點(diǎn)。

ResNet18、改進(jìn)ResNet18和MobileNet網(wǎng)絡(luò)模型對(duì)不同部位羊肉的分類結(jié)果對(duì)比情況如表3所示。由表3可知，使用改進(jìn)ResNet18網(wǎng)絡(luò)模型對(duì)羊背脊、羊后腿和羊前腿的分類準(zhǔn)確率分別為97.00%、98.00%和98.75%。與ResNet18網(wǎng)絡(luò)模型相比，改進(jìn)ResNet18網(wǎng)絡(luò)模型對(duì)羊背脊、羊后腿和羊前腿的分類準(zhǔn)確率分別提高了5.75、5.50和6.50個(gè)百分點(diǎn)；與MobileNet網(wǎng)絡(luò)模型相比，改進(jìn)ResNet18網(wǎng)絡(luò)模型對(duì)羊背脊、羊后腿和羊前腿的分類準(zhǔn)確率分別提高了13.50、10.75和15.75個(gè)百分點(diǎn)。結(jié)果表明，與ResNet18網(wǎng)絡(luò)模型和MobileNet網(wǎng)絡(luò)模型相比，改進(jìn)ResNet18網(wǎng)絡(luò)模型對(duì)不同部位羊肉的分類準(zhǔn)確率均有較大提升。

表3 ResNet18、改進(jìn)ResNet18和MobileNet網(wǎng)絡(luò)模型分類結(jié)果對(duì)比

改進(jìn)ResNet18網(wǎng)絡(luò)模型的混淆矩陣如表4所示。由表4可知，使用改進(jìn)ResNet18網(wǎng)絡(luò)模型對(duì)1 200個(gè)不同部位羊肉數(shù)據(jù)集進(jìn)行測(cè)試，僅25個(gè)不同部位的羊肉圖像分類錯(cuò)誤，分類效果良好。另外，本研究通過(guò)進(jìn)一步分析不同部位羊肉數(shù)據(jù)集的錯(cuò)分情況可知，不同部位羊肉的顏色和紋理特征是其分類過(guò)程中的重要依據(jù)，當(dāng)樣本與背景顏色區(qū)分度不大和樣本紋理不清晰（模糊或有噪聲）時(shí)，則容易發(fā)生誤分。誤分樣本大多為亮度較大、飽和度較低、添加了椒鹽噪聲和模糊的圖片，其較為復(fù)雜的背景影響了樣本的準(zhǔn)確識(shí)別。

表4 改進(jìn)ResNet18網(wǎng)絡(luò)模型的混淆矩陣

2.5 不同部位羊肉分類手機(jī)APP實(shí)現(xiàn)

為了實(shí)現(xiàn)不同部位羊肉精準(zhǔn)分類在移動(dòng)端的快速檢測(cè)，本研究采用Pytorch Mobile框架將訓(xùn)練好的改進(jìn)ResNet18網(wǎng)絡(luò)模型部署到Android設(shè)備中。首先，將訓(xùn)練好的改進(jìn)ResNet18網(wǎng)絡(luò)模型轉(zhuǎn)換成TorchScript模型，并保存為相應(yīng)的.pt格式。然后，在Android Studio軟件環(huán)境中開(kāi)發(fā)羊肉部位分類手機(jī)應(yīng)用APP，APP主要包括前端界面和后端處理。前端界面主要由.xml文件進(jìn)行布局，通過(guò)添加文本和按鈕組件實(shí)現(xiàn)羊肉圖片和檢測(cè)結(jié)果的顯示。后端處理通過(guò)編寫Java語(yǔ)言實(shí)現(xiàn)，包括圖像獲取、圖像處理和模型判別功能。在運(yùn)用APP對(duì)不同部位羊肉進(jìn)行識(shí)別時(shí)，首先，使用圖像獲取功能采集圖像，然后，利用圖像處理功能將獲取圖像的大小壓縮至224×224像素并存儲(chǔ)，最后，調(diào)用.pt格式的TorchScript模型對(duì)壓縮后的圖片進(jìn)行識(shí)別。利用測(cè)試集1 200張圖片對(duì)羊肉部位分類手機(jī)APP進(jìn)行測(cè)試，得出每張圖片的檢測(cè)時(shí)間約為0.3 s。

3 結(jié) 論

1）本研究在ResNet18網(wǎng)絡(luò)的基礎(chǔ)上引入附加角裕度損失函數(shù)（ArcFace），并將殘差結(jié)構(gòu)中的傳統(tǒng)卷積替換為深度可分離卷積，構(gòu)建了改進(jìn)ResNet18網(wǎng)絡(luò)模型用于不同部位羊肉的分類。該網(wǎng)絡(luò)模型不僅提高了不同部位羊肉之間的可區(qū)分性，而且減少了網(wǎng)絡(luò)的參數(shù)量。

2）改進(jìn)ResNet18網(wǎng)絡(luò)模型對(duì)不同部位羊肉分類的準(zhǔn)確率高達(dá)97.92%。與ResNet18網(wǎng)絡(luò)模型和MobileNet網(wǎng)絡(luò)模型相比，改進(jìn)ResNet18網(wǎng)絡(luò)模型的分類準(zhǔn)確率分別提升了5.92個(gè)百分點(diǎn)和13.34個(gè)百分點(diǎn)。

3）將本研究提出的改進(jìn)ResNet18模型轉(zhuǎn)化為TorchScript模型移植到移動(dòng)端后，所開(kāi)發(fā)的羊肉檢測(cè)應(yīng)用軟件能夠?qū)崿F(xiàn)對(duì)不同部位羊肉快速準(zhǔn)確分類，每張圖像的檢測(cè)時(shí)間約為0.3 s。

總體而言，本研究提出的改進(jìn)ResNet18網(wǎng)絡(luò)模型采用了大量背景較為復(fù)雜的數(shù)據(jù)進(jìn)行訓(xùn)練，可以實(shí)現(xiàn)不同部位羊肉的快速準(zhǔn)確分類，但所開(kāi)發(fā)的手機(jī)APP較為簡(jiǎn)單。后續(xù)研究中，將會(huì)考慮羊肉品種、產(chǎn)地以及儲(chǔ)藏時(shí)間對(duì)模型的影響。另外，本研究提出的改進(jìn)ResNet18網(wǎng)絡(luò)模型可為實(shí)現(xiàn)其他類別差異細(xì)微的樣本快速準(zhǔn)確分類提供參考。

[1] 王彩霞，王松磊，賀曉光，等. 高光譜圖譜融合檢測(cè)羊肉中飽和脂肪酸含量[J]. 光譜學(xué)與光譜分析，2020，40(2)：595-601.

Wang Caixia, Wang Songlei, He Xiaoguang, et al. Detection of saturated fatty acid content in mutton by using the fusion of hyperspectral spectrum and image information[J]. Spectroscopy and Spectral Analysis, 2020, 40(2): 595-601. (in Chinese with English abstract)

[2] Junkuszew A, Nazar P, Milerski M, et al. Chemical composition and fatty acid content in lamb and adult sheep meat[J]. Archives Animal Breeding, 2020, 63(2): 261-268.

[3] 李貞子，楊具田，宋巧，等. 不同性別及部位的蘭州大尾羊肉食用品質(zhì)[J]. 食品工業(yè)科技，2014，35(17)：354-357，361.

Li Zhenzi, Yang Jutian, Song Qiao, et al. Edible quality of Lanzhou fat-tailed sheep in different gender and anatomical regions[J]. Science and Technology of Food Industry, 2014, 35(17): 354-357, 361. (in Chinese with English abstract)

[4] 陳學(xué)敏，朱國(guó)茵，羅海玲，等. 基于指紋圖譜的歐拉羊肉揮發(fā)性風(fēng)味物質(zhì)定量分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(5)：349-355.

Chen Xuemin, Zhu Guoyin, Luo Hailing, et al. Quantitative analysis of Oula lamb meat volatile compounds based on fingerprint[J]. Journal of Agricultural Machinery, 2020, 51(5): 349-355. (in Chinese with English abstract)

[5] 王亞娜，王曉香，王振華，等. 大足黑山羊宰后成熟過(guò)程中揮發(fā)性風(fēng)味物質(zhì)的變化[J]. 食品科學(xué)，2015，36(22)：107-112.

Wang Yana, Wang Xiaoxiang, Wang Zhenhua, et al. Changes in volatile flavor components in Dazu black goat meat during postmortem aging[J]. Food Science, 2015, 36(22): 107-112. (in Chinese with English abstract)

[6] 劉文營(yíng)，王守偉. 羊肉生產(chǎn)及加工工藝對(duì)肉及肉制品品質(zhì)的影響研究進(jìn)展[J]. 食品科學(xué)，2020，41(1)：304-311.

Liu Wenying, Wang Shouwei. Recent progress in understanding the effect of mutton production and processing technologies on the quality of meat and meat products[J]. Food Science, 2020, 41(1): 304-311. (in Chinese with English abstract)

[7] Dumalisile P, Manley M, Hoffman L, et al. Discriminating muscle type of selected game species using Near Infrared (NIR) spectroscopy[J/OL]. Food Control, 2020, 110, [2019-11-01], https: //doi. org/10. 1016/j. foodcont. 2019. 106981.

[8] Sanz J A, Fernandes A M, Barrenechea E, et al. Lamb muscle discrimination using hyperspectral imaging: Comparison of various machine learning algorithms[J]. Journal of Food Engineering, 2016, 63(2): 92-100.

[9] Kamruzzaman M, Elmasry G, Sun D, et al. Application of NIR hyperspectral imaging for discrimination of lamb muscles[J]. Journal of Food Engineering, 2011, 104(3): 332-340.

[10] 趙鑫龍，彭彥昆，李永玉，等. 基于深度學(xué)習(xí)的牛肉大理石花紋等級(jí)手機(jī)評(píng)價(jià)系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(13)：250-256.

Zhao Xinlong, Peng Yankun, Li Yongyu, et al. Mobile phone evaluation system for grading beef marbling based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 250-256. (in Chinese with English abstract)

[11] 孟令峰，朱榮光，白宗秀，等. 基于手機(jī)圖像的不同貯藏時(shí)間下冷卻羊肉的部位判別研究[J]. 食品科學(xué)，2020，41(23)：21-26.

Meng Lingfeng, Zhu Rongguang, Bai Zongxiu, et al. Discrimination of chilled lamb in different parts under different storage time based on mobile phone images[J]. Food Science, 2020, 41(23): 21-26. (in Chinese with English abstract)

[12] Adi K, Pujiyanto S, Nurhayati O D, et al. Beef quality identification using thresholding method and decision tree classification based on android smartphone[J/OL]. Journal of Food Quality, 2017, 2017, [2017-09-05], https: //doi. org/10. 1155/2017/1674718.

[13] Zhao A, Balakrishnan G, Durand F, et al. Data augmentation using learned transformations for one-shot medical image segmentation[C]// 2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach: IEEE, 2019.

[14] Brossard M, Bonnabel S. Learning wheel odometry and IMU Errors for localization[C]// 2019 International Conference on Robotics and Automation (ICRA), Montreal: IEEE, 2019.

[15] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems, 2017, 60(6): 84-90.

[16] 陳娟，陳良勇，王生生，等. 基于改進(jìn)殘差網(wǎng)絡(luò)的園林害蟲圖像識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(5)：194-202.

Chen Juan, Chen Liangyong, Wang Shengsheng, et al. Pest recognition based on improved residual network[J]. Transactions of the Chinese Society for Agriculture Machinery, 2019, 50(5): 194-202. (in Chinese with English abstract)

[17] 焦俊，王文周，侯金波，等. 基于改進(jìn)殘差網(wǎng)絡(luò)的黑毛豬肉新鮮度識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(8)：364-371.

Jiao Jun, Wang Wenzhou, Hou Jinbo, et al. Freshness identification of Iberico pork based on improved residual network[J]. Transactions of the Chinese Society for Agriculture Machinery, 2019, 50(8): 364-371. (in Chinese with English abstract)

[18] 向陽(yáng)，林潔雯，李亞軍，等. 芒果雙面成熟度在線檢測(cè)分級(jí)系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(10)：259-266.

Xiang Yang, Lin Jiewen, Li Yajun, et al. Mango double-sided maturity online detection and classification system[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(10): 259-266. (in Chinese with English abstract)

[19] 趙志衡，宋歡，朱江波，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的花生籽粒完整性識(shí)別算法及應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(21)：195-201.

Zhao Zhiheng, Song Huan, Zhu Jiangbo, et al. Identification algorithm and application of peanut kernel integrity based on convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 195-201. (in Chinese with English abstract)

[20] 張思雨，張秋菊，李可. 采用機(jī)器視覺(jué)與自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)花生仁品質(zhì)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(4)：269-277.

Zhang Siyu, Zhang Qiuju, Li Ke. Detection of peanut kernel quality based on machine vision and adaptive convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(4): 269-277. (in Chinese with English abstract)

[21] Han F K, Huang X Y, Aheto J H, et al. Detection of beef adulterated with pork using a low-cost electronic nose based on colorimetric sensors[J/OL]. Foods, 2020, 9(2), [2020-02-10], https: //www. researchgate. net/publication/339311410_Detection_of_Beef_Adulterated_with_Pork_Using_a_Low-CostElectronic_Nose_Based_on_Colorimetric_Sensors.

[22] Zhou L, Zhang C, Liu F, et al. Application of deep learning in food: A review[J]. Comprehensive Reviews in Food Science and Food Safety, 2019, 18(6): 1793-1811.

[23] Yang J, Xu J F, Wu X L, et al. Deep learning for vibrational spectral analysis: Recent progress and a practical guide[J]. Analytica Chimica Acta, 2019, 1081: 6-17.

[24] He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CPVR), Las Vegas: IEEE, 2016.

[25] 林麗惠，羅志明，王軍政，等. 融合整體與局部信息的武夷巖茶葉片分類方法[J]. 智能系統(tǒng)學(xué)報(bào)，2020，15(5)：919-924.

Lin Lihui, Luo Zhiming, Wang Junzheng, et al. Classification of Wuyi rock tealeaves by integrating global and local information[J]. CAAI Transactions on Intelligent Systems, 2020, 15(5): 919-924. (in Chinese with English abstract)

[26] 李善軍，胡定一，高淑敏，等. 基于改進(jìn)SSD的柑橘實(shí)時(shí)分類檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(24)：307-313.

Li Shanjun, Hu Dingyi, Gao Shumin, et al. Real-time classification and detection of citrus based on improved single short multibox detecter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(24): 307-313. (in Chinese with English abstract)

[27] Cheng Y, Wang D, Zhou P, et al. A survey of model compression and acceleration for deep neural networks[J/OL]. Signal Processing, [2020-04-14], https: //arxiv. org/abs/1710. 09282.

[28] Howard A G, Zhu M L, Chen B, et al. MobileNets: Efficient convolutional neural networks for mobile vision applications[J/OL]. Computer Vision and Pattern Recognition, [2017-04-17], https: //arxiv. org/abs/1704. 04861.

[29] Deng J K, Guo J, Xue N N, et al. ArcFace: Additive angular margin loss for deep face recognition[C]// 2019 IEEE Conference on Computer Vision and Pattern Recognition (CPVR), Long Beach: IEEE, 2019.

[30] 趙立新，侯發(fā)東，呂正超，等. 基于遷移學(xué)習(xí)的棉花葉部病蟲害圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(7)：184-191.

Zhao Lixin, Hou Fadong, Lyu Zhengchao, et al. Image recognition of cotton leaf diseases and pests based on transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(7): 184-191. (in Chinese with English abstract)

Classification of mutton location on the animal using improved ResNet18 network model and mobile application

Zhang Yaoxin1,2, Zhu Rongguang1,2※, Meng Lingfeng1, Ma Rong1, Wang Shichang1, Bai Zongxiu1, Cui Xiaomin1

(1.,,832003,;2,,832003,)

Accurate and timely detection of meat parts has gradually been highly demanding in meat consumption. However, the traditional image classification cannot clearly distinguish the similar color and texture characteristics for different mutton parts under different storage time, particularly with the low generalization and time-consuming. In this study, an improved ResNet18 network model was proposed to classify the different mutton parts, while, the corresponding mobile application software was developed using the optimal model. Firstly, 1 008 mutton images of loin, hind shank, and fore shank under different storage times (0-12 d) were collected, and then 9 types of data-augmentation were used to expand the dataset. After that, 6 000 images were randomly selected from the augmented dataset for modeling, where 80% of the images were used as the training dataset, and the remainder was used as the test dataset. Secondly, Additive Angular Margin Loss (ArcFace) and the depthwise separable convolution were introduced into the ResNet18 network for the improved one. Thirdly, the improved ResNet18 network wastrained with the augmented images of different mutton parts. Meanwhile, an evaluation was made to determine the effect of different parameters on the convergence speed and accuracy of improved ResNet18. Optimizers of stochastic gradient descent (SGD) and adaptive moment estimation (Adam), the learning rate of 0.01 and 0.001, weight decay coefficient of 0 and 0.000 5 were adopted for experimental comparison. The optimal classification model was then determined for different mutton parts. Finally, a mobile application software was developed to transplant the TorchScript model that transformed from the improved ResNet18. The results showed that the ArcFace greatly improved the distinguishability of different mutton parts, while the depthwise separable convolution significantly reduced the parameters of the network. Furthermore, the improved ResNet18 network using SGD optimizer presented a higher accuracy and more stable performance than that using the Adam in the test phase. When the learning rate was set to 0.01, the weight decay coefficient was set to 0.000 5, and the SGD optimizer was used to train the improved ResNet18 network, only 25 images of different parts of lamb were classified incorrectly in the 1 200 test sets, where the classification accuracy of the model was 97.92%, while the average classification accuracies of the loin, hind shank, and fore shank were 97.00%, 98.00%, and 98.75%, respectively. Compared with the original, the classification accuracy of the improved ResNet18 was improved by 5.92 percentage points, while the classification accuracies of loin, hind shank, and fore shank were improved by 5.75, 5.50, and 6.50 percentage points, respectively. Compared with the MobileNet model, the classification accuracy of improved ResNet18 was improved by 13.34 percentage points, while the classification accuracies of loin, hind shank, and fore shank were improved by 13.50, 10.75, and 15.75 percentage points, respectively. Moreover, the software using the improved ResNet18 quickly and accurately classified different mutton parts, where the average detection time of each image was about 0.3 s. The finding can provide the technical and theoretical support to improve the level of intelligent detection of meat products for the fair competition of the meat market.

image processing; image recognition; models; mutton; ResNet18; mobile terminal; classification of mutton parts

張垚鑫，朱榮光，孟令峰，等. 改進(jìn)ResNet18網(wǎng)絡(luò)模型的羊肉部位分類與移動(dòng)端應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(18)：331-338.doi：10.11975/j.issn.1002-6819.2021.18.038 http://www.tcsae.org

Zhang Yaoxin, Zhu Rongguang, Meng Lingfeng, et al. Classification of mutton location on the animal using improved ResNet18 network model and mobile application[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 331-338. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.18.038 http://www.tcsae.org

2020-10-03

2021-07-22

國(guó)家自然科學(xué)基金地區(qū)科學(xué)基金項(xiàng)目（31860465）；兵團(tuán)中青年科技創(chuàng)新領(lǐng)軍人才計(jì)劃項(xiàng)目（2020CB016）；石河子大學(xué)青年創(chuàng)新人才培育計(jì)劃項(xiàng)目（CXRC201707）

張垚鑫，博士生，研究方向?yàn)閳D像處理，機(jī)器學(xué)習(xí)。Email：yxzl_ysh@163.com

朱榮光，博士，教授，博士生導(dǎo)師，研究方向?yàn)檗r(nóng)畜產(chǎn)品無(wú)損檢測(cè)與裝備研發(fā)。Email：rgzh_jd@163.com

10.11975/j.issn.1002-6819.2021.18.038

TS251.7

A

1002-6819(2021)-18-0331-08