深度學習在水果品質(zhì)檢測與分級分類中的應用

田有文，吳 偉，盧時鉛，鄧寒冰

（1.沈陽農(nóng)業(yè)大學信息與電氣工程學院，遼寧 沈陽 110866；2.遼寧省農(nóng)業(yè)信息化工程技術研究中心，遼寧 沈陽 110866）

隨著社會進步與發(fā)展，人們對生活品質(zhì)的要求也逐漸提高，尤其飲食中水果品質(zhì)是消費者十分關注的問題。水果在生產(chǎn)、銷售、運輸過程中其品質(zhì)可能都會受到影響。為此，將水果交付市場和消費者之前，銷售者需要對水果的品質(zhì)進行檢測[1]。在生產(chǎn)時，需要對遭受病害等方面的水果進行分類分揀；在運輸方面，水果易造成的機械損傷，需要對損傷水果進行分類分揀；在銷售時，需要根據(jù)水果糖度、成熟度、大小、外觀缺陷等指標進行分級銷售等。按照以上指標，對采摘后的水果品質(zhì)進行快速精確的檢測，分揀出質(zhì)量不合格的果實，并將質(zhì)量合格的果實進行分級銷售，可以提高在售水果的品質(zhì)，減少水果的安全質(zhì)量問題。因此水果的品質(zhì)檢測與分級分類對保障人們健康生活起到重要的作用，同時也可提升食品工業(yè)的經(jīng)濟效益，目前其已成為食品科學領域的熱點研究問題。

以往的水果品質(zhì)檢測與分類大多依靠人工操作，浪費人力資源且效率低下。由于大多數(shù)水果品質(zhì)都可以通過RGB圖像、高光譜圖像等直觀反映出其大部分特征，從而被檢測與識別。因此現(xiàn)代光學成像技術（如計算機視覺、光譜成像等）廣泛應用于水果品質(zhì)自動無損檢測與分級分類。這些技術可以獲取大量與水果特性相關的數(shù)字信息。如何處理如此大量的數(shù)據(jù)并從中提取有用的特征并建立有效的模型是一個迫切而重要的問題。為此研究者們開發(fā)了許多特征提取方法（如主成分分析（principal component analysis，PCA）算法[2]、連續(xù)投影（successive projections algorithm，SPA）算法[3]、競爭性自適應重加權（competitive adaptive reweighting sampling，CARS）算法[4]、小波變換（wavelet transform，WT）[5]、獨立成分分析[6]等）和數(shù)據(jù)分析方法（如偏最小二乘法[7]、人工神經(jīng)網(wǎng)絡（artificial neural network，ANN）[8]、支持向量機（support vector machine，SVM）[9]、隨機森林[10]，k-最近鄰（k-nearest neighbor，KNN）[11]等）來解決數(shù)據(jù)處理問題，但是這些傳統(tǒng)方法在處理大量的水果數(shù)據(jù)時存在計算耗時較長、準確率較低等問題。

近些年來深度學習作為機器學習的重要分支，因在數(shù)據(jù)處理方面呈現(xiàn)出了顯著的優(yōu)勢而飛速發(fā)展。它通過對模型進行預訓練，自動提取并不斷優(yōu)化特征，可快速處理大量數(shù)據(jù)，擁有更好的性能和更高的精度。因此，深度學習越來越受到遙感監(jiān)測[12]、農(nóng)作物病害識別[13]、農(nóng)產(chǎn)品在線識別[14]、農(nóng)產(chǎn)品品質(zhì)分級[15]等農(nóng)業(yè)各個領域的研究學者關注，尤其一些研究者通過深度學習技術分析水果的RGB圖像和光譜圖像等而實現(xiàn)水果品質(zhì)檢測與分級分類，并取得了一系列的重要研究進展。本文旨在梳理水果外部品質(zhì)檢測、內(nèi)部品質(zhì)檢測、安全品質(zhì)檢測和分級分類等方面深度學習技術的最新研究進展，以期為此領域的研究者和工作者提供一些參考。

1 深度學習簡介

深度學習是基于多層神經(jīng)網(wǎng)絡的規(guī)則自學習方法，可以對海量數(shù)據(jù)進行訓練。深度學習通過對大量數(shù)據(jù)的特征學習總結(jié)出數(shù)據(jù)特征中的高級抽象規(guī)律，以服務不同領域的應用需求[16]。其模型具有高度分層結(jié)構(gòu)和較強的自動學習能力，因此能夠特別好地執(zhí)行檢測、分級和識別分類操作，靈活且適用于各種各樣的復雜數(shù)據(jù)分析問題的挑戰(zhàn)。目前在處理基于圖像與數(shù)據(jù)的眾多應用中，深度學習已經(jīng)十分流行。

1.1 深度學習發(fā)展歷程及特點

20世紀80年代的神經(jīng)網(wǎng)絡第二次發(fā)展熱潮時期，卷積神經(jīng)網(wǎng)絡（convolutional neural network，CNN）[17]、長短期記憶網(wǎng)絡（long and short-term memory，LSTM）模型[18]獲得了快速發(fā)展。2006年，杰弗里·辛頓以及他的學生魯斯蘭·薩拉赫丁諾夫正式提出了深度學習的概念[19]。2012年，在ImageNet圖像識別大賽中，杰弗里·辛頓團隊的深度學習模型AlexNet一舉奪冠，將錯誤率降低至16%[20]，至此開啟了基于深度學習的人工智能繁榮新時代。隨后研究者們對其深度學習模型不斷改進，以降低分類錯誤率。2015年，LeCun等[21]明確了深度學習的定義，指出深度學習是一種更復雜的特征表示學習，具有多個級別的表示，它通過組合簡單但非線性的模塊獲得，每個模塊將一個級別的表示（從原始輸入開始）轉(zhuǎn)換為更高、更抽象的表示；有了足夠多的這種變換的組合，就可以學習非常復雜的模式。

深度學習的遷移學習能力極高，因此預訓練好的深度學習模型可以對較小的數(shù)據(jù)集實現(xiàn)精確的遷移學習。深度學習在處理圖像問題時的優(yōu)點是減少了對特征工程（feature engineering，F(xiàn)E）的需求。深度學習出現(xiàn)之前，傳統(tǒng)的圖像分類方法都是基于人工設計的特征，性能嚴重影響整體結(jié)果。FE是一個十分復雜且耗時的過程，每當目標問題或使用的數(shù)據(jù)集發(fā)生更改時，F(xiàn)E都需要重新做出調(diào)整。另外相對于機器學習來說，深度學習的測試速度比基于機器學習的方法快很多[22]。但深度學習對計算機硬件、數(shù)據(jù)集的要求較高。當計算機硬件水平較差時，計算速度會大幅下降。

1.2 深度學習的主流方法

目前典型的深度學習算法主要有深度玻爾茲曼機[23]、自動編碼器[24]、CNN[25]等。各種算法的組成結(jié)構(gòu)與特點如表1所示，這些典型算法經(jīng)過不斷的優(yōu)化與發(fā)展，衍生出了更多的算法。

表1 深度學習主流算法Table1 Mainstream deep learning algorithms

深度玻爾茲曼機是一個隨機神經(jīng)網(wǎng)絡（即當網(wǎng)絡的神經(jīng)元節(jié)點被激活時會有隨機行為，隨機取值），包含一層可視層和一層隱藏層，同層中的神經(jīng)元相互獨立，不同層神經(jīng)元相互連接（雙向）。深度玻爾茲曼機是以受限玻爾茲曼機為原型進行層數(shù)加深的一種深度學習模型。深度玻爾茲曼機由多層受限玻爾茲曼機疊加而成，不同于DBN，深度玻爾茲曼機的中間層與相鄰層是雙向連接的。受限玻爾茲曼機借鑒了模擬退火的思想，定義一個網(wǎng)絡溫度以模仿退火溫度，將網(wǎng)絡能量作為欲優(yōu)化的函數(shù)，網(wǎng)絡中的神經(jīng)元只有0與1兩種輸出狀態(tài)，輸出概率的取值以概率統(tǒng)計的規(guī)則決定。但是此類網(wǎng)絡的算法復雜性太高，在大規(guī)模學習的問題上應用起來比較困難，所以在水果檢測領域的應用明顯少于CNN。

自動編碼器是一種自監(jiān)督的神經(jīng)網(wǎng)絡模型，它可以學習到輸入數(shù)據(jù)的隱含特征，稱為編碼，同時用學習到的新特征重構(gòu)出原始輸入數(shù)據(jù)，稱之為解碼。自動編碼器可以用于特征降維，類似PCA，但是其相比PCA性能更強。除了進行特征降維，自動編碼器學習到的新特征可以送入有監(jiān)督學習模型中，所以自動編碼器可以起到特征提取器的作用。自動編碼器是從訓練樣本中進行自動學習的，但是遷移學習能力較弱。因此自動編碼器只能處理與訓練與樣本類似的數(shù)據(jù)，所以自動編碼器在水果品質(zhì)檢測與分級分類領域更多的是作為一種特征提取方法使用。

CNN是一類深度、前饋的神經(jīng)網(wǎng)絡，主要結(jié)構(gòu)為輸入層、卷積層、池化層、全連接層和Softmax輸出層，具體如圖1所示。圖像從輸入層輸入之后，神經(jīng)元經(jīng)過多層卷積層和池化層對圖像進行特征的提取，每層的單個神經(jīng)元與前一層中的神經(jīng)元進行卷積或者采樣操作，最后由輸出層進行結(jié)果的輸出。每個卷積層和池化層中都有若干個特征平面，每個特征平面都用來表示提取到的圖像特定區(qū)域中的特定特征，如方向特征、邊緣特征等。CNN適用于圖像處理，十分適合對水果RGB圖像和高光譜圖像進行識別，完成水果檢測與分類的目標。大多數(shù)水果檢測與分類論文中的方法都是以CNN為基礎進行優(yōu)化和改進的。可見，CNN是目前深度學習在水果識別與分類中比較常用的方法。

圖1 卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)Fig. 1 Structure of convolutional neural network

AlexNet是CNN最經(jīng)典的模型，近年來，研究者們在此模型基礎上，通過各自的研究，提出了VGG-16、VGG-19、GoogleNet、Fast-RCNN、ResNet等優(yōu)秀的深度學習模型，并不斷進行優(yōu)化。AlexNet模型設計了含有5 個卷積層和3 個全連接層的8 層網(wǎng)絡結(jié)構(gòu)，并引入了更簡單的ReLu激活函數(shù)，首次證明了CNN在復雜情況下的有效性，并通過大量的圖像增強方法緩解了過擬合問題。以AlexNet模型為基礎，VGGNet更進一步地提高了網(wǎng)絡的深度，VGG16模型與VGG19模型分別達到了16 層與19 層的網(wǎng)絡層數(shù)，通過深度的擴展提升了模型的精度。隨后GoogleNet繼續(xù)從模型深度進行探索，并引入Inception模型，提高了模型的寬度。但是隨著網(wǎng)絡層數(shù)的大幅加深，梯度消失問題逐漸嚴重，有些模型出現(xiàn)了錯誤率上升的問題，ResNet通過引入殘差模塊，使得模型在1 200 層的深度下仍能將錯誤率控制在較低的水平。隨著近年來計算機視覺技術的快速發(fā)展，在目標檢測領域又出現(xiàn)了Faster-RCNN、SSD、Mask-RCNN和Yolo等更優(yōu)秀的模型，已在水果檢測與分級分類問題上有廣泛的應用。

同時，各大互聯(lián)網(wǎng)公司也陸續(xù)推出了自己的開源深度學習平臺，如Google公司推出的TensorFlow平臺以及Caffe、Keras、CNTK、MXNet、Leaf和Pytorch等眾多平臺。這些平臺各有特色，支持C＋＋、R、Python等多種語言進行編程，大大拓寬了深度學習的應用領域。目前TensorFlow平臺是最受歡迎的開源平臺，因為Google公司在深度學習方面一直是世界頂尖水平，所以各界對TensorFlow平臺的認同度很高。在科研領域，Caffe框架和Keras框架也深受研究者們的喜愛。眾多深度學習應用平臺的陸續(xù)推出，以及云計算的快速發(fā)展，使得深度學習技術應用門檻降低，越來越多的研究領域引入了深度學習技術，在水果品質(zhì)檢測與分類識別方面，短短幾年就涌現(xiàn)出了大量的科研成果，也側(cè)面證實了深度學習技術的普適性。

2 深度學習在水果品質(zhì)檢測與分類領域的研究現(xiàn)狀

2.1 水果外部品質(zhì)檢測

水果在生產(chǎn)、銷售、運輸、貯存期間容易受到環(huán)境影響，發(fā)生機械損傷等，而導致水果的外觀品質(zhì)受到影響。水果的外部品質(zhì)主要依據(jù)它們的顏色、形狀、尺寸等物理特征和機械損傷、外部缺陷等進行評估。外部品質(zhì)是水果最直觀的品質(zhì)特征，直接影響它們的市場銷售價格和消費者的購買欲望。對水果外部品質(zhì)進行快速及時的無損檢測，可以最大限度地減少損失，滿足消費者的需求。

藍莓是日常生活中常見的一種水果，個體較小且表皮顏色較深，RGB圖像難以反映出其損傷程度，而光譜圖像能反映出藍莓的損傷情況。Zhang Mengyun等[32]結(jié)合光譜透射圖像采用全卷積網(wǎng)絡，完成了對藍莓內(nèi)部損傷的無損檢測。作者將基礎VGG16模型改進成全卷積模型進行訓練與檢測。對VGG16模型的改進如圖2所示，將池化層的結(jié)果與預測結(jié)果結(jié)合后加入兩個轉(zhuǎn)置卷積層進行卷積得到最終預測結(jié)果。使得最后的輸出結(jié)果與輸入圖像的大小、分辨率相同，成為全卷積模型。實驗結(jié)果表明，采用深度學習方法，可以將機械損傷后30 min的藍莓分割出藍莓損傷區(qū)域和花萼區(qū)域，測試集的準確度達到81.2%。Wang Zhaodi等[33]同樣將高光譜圖像和深度學習方法相結(jié)合，采用AlexNet和ResNet兩種模型，將ResNet模型卷積層中的濾波器數(shù)量進行了調(diào)整，然后通過高光譜透射率數(shù)據(jù)檢測藍莓的內(nèi)部機械損傷。同時使用順序最小優(yōu)化、線性回歸、隨機森林、多層感知器等機器學習方法做了對比實驗。結(jié)果兩種深度學習模型在大幅縮短計算時間的情況下提高了檢測準確率，表明深度學習在分析水果內(nèi)部機械損傷方面的潛力。

圖2 基于VGG16的全CNN模型[31]Fig. 2 Fully convolutional neural network (CNN) model based on VGG16[31]

外部缺陷是水果外部品質(zhì)檢測的重要研究內(nèi)容之一。番茄水果在各國需求量都很大，而以往番茄都是由人工根據(jù)果實大小、外部缺陷等進行分類，效率低下且容易出錯。Costa等[34]建立了一個包含外部缺陷番茄的43 843 幅圖像的數(shù)據(jù)集，提出了一種用于番茄外部缺陷檢測的深層神經(jīng)網(wǎng)絡模型。該模型以ResNet模型為基礎，對ResNet50模型的所有層都進行了微調(diào)，使其能夠利用特征提取和微調(diào)來檢測外部缺陷。該模型在測試集上的平均精度達到94.6%。Luna等[35]也研究了番茄的外觀缺陷問題，他們基于深度學習，利用Python中的OpenCV庫進行編程，對外部品質(zhì)有問題的番茄進行了識別。作者利用簡單的圖像采集箱采集了1 200 幅番茄圖像，將采集的番茄圖像集80%作為訓練集和20%作為驗證集。然后使用了VGG-16、InceptionV3和ResNet50 3 種模型進行了對比實驗。相比之下，VGG-16模型的準確率接近100%，而InceptionV3模型的準確率僅有60%左右。通過對比3 個模型的訓練與測試準確率可以看出，對番茄缺陷進行識別的最佳模型是VGG-16模型。

Azizah等[36]采用深度學習CNN模型檢測了山竹的表面缺陷，采用CNN結(jié)合4 次交叉驗證的方法解決了二值分類問題。該方法對山竹缺陷表面檢測的分類準確率可達97.5%。但選取的數(shù)據(jù)集是用120 幅手工標注RGB圖像組成的，數(shù)據(jù)集偏小。進行數(shù)據(jù)增強或者對數(shù)據(jù)集進行擴充之后，準確率會有所提高。Fan Shuxiang等[37]自主設計了一個含有卷積層、匯集層和分類層的CNN網(wǎng)絡，大幅減少了傳統(tǒng)CNN模型中的參數(shù)與連接數(shù)。使用該CNN模型對水果分揀機上的蘋果進行了實時的缺陷檢測，在分揀機上可以獲取單個蘋果6 個角度的圖像。經(jīng)實驗，CNN模型的檢測準確率達到了92%。

由已發(fā)表的文獻可知，水果的外部缺陷檢測主要集中在機械損傷和外觀缺陷參數(shù)兩方面。對于水果外觀缺陷檢測一般通過RGB圖像反映，而機械損傷早期水果外觀變化不明顯，其檢測常利用光譜圖像。對于各種流行的深度學習模型，包括AlexNet、VGG、GoogLeNet，ResNet等都在水果檢測與分類領域有所應用。此外，這些提到的網(wǎng)絡架構(gòu)在TensorFlow、Caffe等平臺都有預訓練模型，這些模型已經(jīng)被一些像ImageNet這樣的公開圖像數(shù)據(jù)集訓練過。有些研究通過這些平臺提供的模型，或者對這些模型進行調(diào)整之后，完成了對水果外觀品質(zhì)問題的檢測[38-39]。這些被預訓練過的模型，已經(jīng)能夠在測試集中自動提取基礎的圖像特征。研究者們直接使用預訓練模型，可以省去大量的預訓練工作所需的時間，還能提高識別的準確率。使用預訓練好的模型，只需根據(jù)自己的研究內(nèi)容對模型網(wǎng)絡權值進行微調(diào)即可直接使用。

2.2 水果內(nèi)部品質(zhì)檢測

水果的內(nèi)部品質(zhì)主要包括可溶性固形物含量（soluble solid content，SSC）、硬度、糖度、成熟度等，是人們十分關注的問題，因此水果內(nèi)部品質(zhì)檢測一直是研究熱點之一。近年來，深度學習與圖像處理和光譜傳感技術相結(jié)合作為一種高效、無損的水果內(nèi)品質(zhì)檢測手段，展現(xiàn)出了令人驚喜的研究成果。

Yu Xinjie等[40]結(jié)合深度學習與可見/近紅外高光譜反射成像技術，預測了庫爾勒香梨采后硬度和SSC。將堆疊自動編碼器（stack auto encoder，SAE）和全連接神經(jīng)網(wǎng)絡（fully connected neural network，F(xiàn)NN）相結(jié)合，構(gòu)建出一個SAE-FNN模型，具體如圖3所示。在此模型中，將采集到的光譜圖像使用SAE進行提取，獲得深度光譜特征作為模型的輸入，隨后對模型進行訓練，并將提出的SAE-FNN模型與SVM方法進行對比實驗，結(jié)果顯示SAE-FNN模型準確度更高，表現(xiàn)更優(yōu)越。

圖3 SAE-FNN模型[39]Fig. 3 Stack auto encoder-fully connected neural network (SAE-FNN) model[39]

Bai Yuhao等[41]建立了多產(chǎn)地蘋果中SSC的預測模型。該模型將深度學習、光譜指紋特征、多元回歸分析等方法相結(jié)合，能夠消除不同產(chǎn)地的蘋果造成的預測偏差。模型將多產(chǎn)地蘋果的光譜指紋特征提取出來，使用CARS算法選擇最佳波長，輸入深度學習模型中進行訓練，然后使用訓練完成的模型進行未知蘋果SSC預測。經(jīng)實驗，預測蘋果樣品的預測平方根和預測平方根誤差值分別為0.990和0.274，SSC預測模型表現(xiàn)十分優(yōu)秀。溫馨[42]以臍橙、香梨為研究對象，糖度為研究內(nèi)容，自主設計了基于深度學習的水果糖度回歸模型。與偏最小二乘、PCA等傳統(tǒng)方法進行對比實驗后，結(jié)果表明新模型識別與預測能力性能更佳。吳爽等[43]將高光譜成像技術與機器學習和深度學習相結(jié)合，對西瓜的SSC進行了定量判別。在相同數(shù)據(jù)集下，分別使用兩種機器學習算法（KNN、隨機森林）和兩種深度學習算法（CNN、Res-CNN）進行了實驗，將ResNet模型中的殘差塊（Resblock）引入CNN模型進行改進得到Res-CNN模型。結(jié)果表明深度學習算法的預測集相關系數(shù)遠高于機器學習算法，且Res-CNN模型的預測集相關系數(shù)達到了89%，效果更好。

黑枸杞具有很大的商業(yè)和營養(yǎng)價值。Zhang Chu等[44]采用近紅外高光譜成像技術測定了干燥黑枸杞中的總酚、總黃酮和總花色苷含量。然后使用CNN模型預測其化學成分。CNN模型和深度自動編碼器分別用作有監(jiān)督和無監(jiān)督的特征提取方法。結(jié)合偏最小二乘和最小二乘支持向量機作為建模方法，SPA算法和CARS采樣作為波長選擇方法，PCA和WT作為特征提取方法作為常規(guī)方法進行比較研究。作為建模方法和特征提取方法的深度學習方法獲得了與傳統(tǒng)方法相當?shù)牧己眯阅堋＝Y(jié)果表明，深度學習作為近紅外光譜化學成分分析的建模和特征提取方法具有很大的潛力。

水果成熟度也是反映水果內(nèi)部品質(zhì)的重要指標。番木瓜是一種營養(yǎng)價值很高的常見熱帶水果，不同成熟度的番木瓜有不同的經(jīng)濟價值。Behera等[45]在探究番木瓜成熟度分級問題時將常規(guī)機器學習方法（KNN、SVM和樸素貝葉斯）和深度學習方法（ResNet101、ResNet50、ResNet18、VGG19、VGG16、GoogleNet和AlexNet）進行了比較。作者采用智能手機拍攝番木瓜未成熟、半成熟和成熟狀態(tài)的3 種圖像作為數(shù)據(jù)集進行實驗。因為深度學習模型有強大的遷移學習能力，因此使用的深度學習模型都是在ImageNet圖像集上預訓練過的。經(jīng)過實驗得出，眾多的機器學習與深度學習模型中，VGG19、ResNet50、ResNet18、VGG16、GoogleNet等都達到了100%準確率，但VGG19模型所需的時間最少，所以認為VGG19模型表現(xiàn)最好。李穩(wěn)穩(wěn)[46]將光譜信息與深度學習結(jié)合，成功檢測了砂梨的成熟度。作者建立了3 種深度學習模型，即標準DBN、自編碼網(wǎng)絡與隨機隱匿DBN模型，經(jīng)實驗測試，3 種模型的檢測準確率都在90%以上，隨機隱匿DBN模型準確率達到了95.8%，表明了深度學習強大的學習與表達能力。

光譜圖像數(shù)據(jù)集獲取相對較難，有些研究者放棄利用直接圖像進行研究，而選擇使用聲音傳感作為中轉(zhuǎn)進行水果內(nèi)部品質(zhì)探究。Lashgari等[47]同樣以蘋果為研究目標，將深度學習技術與聲音傳感技術相結(jié)合，將蘋果反饋的聲音轉(zhuǎn)換為圖像，然后使用AlexNet和VGGNet進行訓練，通過探究果實內(nèi)部粉狀物的含量，預測出了蘋果的成熟度與品質(zhì)。

水果內(nèi)部品質(zhì)如糖度、成熟度等，這些信息無法通過RGB圖像顯示出來，只有通過高光譜圖像才可以反映，而高光譜圖像所含數(shù)據(jù)過大，光譜圖像大數(shù)據(jù)集的建立相對困難、處理復雜，深度學習模型無法進行足夠次數(shù)的訓練，且受硬件條件的制約，所以采用高光譜圖像進行實驗難度較大，深度學習與光譜圖像相結(jié)合的實驗也較少，希望隨著硬件水平的不斷發(fā)展，能夠早日出現(xiàn)高質(zhì)量的水果光譜圖像數(shù)據(jù)集供研究使用，推動水果內(nèi)部品質(zhì)檢測取得更好的研究進展。

2.3 水果安全品質(zhì)檢測

水果的安全品質(zhì)關系到消費者的飲食安全和健康，是水果最為重要的品質(zhì)特征之一，主要通過對各種病蟲害、農(nóng)藥殘留、外來污染物等進行檢測評估。

水果病害是水果安全品質(zhì)研究的核心問題之一，盡早發(fā)現(xiàn)病害便能最大程度上降低影響、減少經(jīng)濟損失。水心病是蘋果的一種病害，會使蘋果的保質(zhì)期比普通蘋果低，所以在采摘后要盡快識別分揀水心蘋果。徐亞琴[48]在探究如何無損檢測水心蘋果時，將近紅外光譜與深度學習技術相結(jié)合，利用Keras平臺建立了一個CNN模型，將預處理后的光譜圖像作為輸入，將150 個圖像作為樣本，劃分訓練集與測試集進行實驗，結(jié)果表明CNN模型的識別準確率達到了98%。蘋果霉心病也是危害蘋果安全品質(zhì)的主要病害之一。周兆永等[49-50]提出了基于DBN的蘋果霉心病病害程度判別模型，該模型由多層受限玻爾茲曼機（restricted boltzmann machine，RBM）網(wǎng)絡和1 層反向傳播（back progagation，BP）神經(jīng)網(wǎng)絡組成。RBM網(wǎng)絡實現(xiàn)最優(yōu)特征向量映射，BP神經(jīng)網(wǎng)絡實現(xiàn)對霉心病病害程度分類。實驗采集了225 個蘋果在200～1 025 nm波長處的透射光光譜，采用DBN方法對健康蘋果、輕度霉心病、中度霉心病和重度霉心病蘋果進行分類，并與偏最小二乘判別分析、SVM和反向傳播神經(jīng)網(wǎng)絡等傳統(tǒng)機器學習方法進行了比較。DBN模型對訓練集和測試集中霉心病病害等級的判別正確率（99.33%）高于傳統(tǒng)機器學習方法（88.00%）。實驗結(jié)果表明，DBN模型具有更強的學習能力和預測能力，可用于蘋果霉心病病害程度的快速無損識別。Akagi等[51]用VGG16、InceptionsV3、ResNet50和InceptionResnetV25種CNN模型預測了柿果內(nèi)部疾病并可視化了疾病指數(shù)。訓練集與測試集使用了從果實頂端獲得的3 173 幅RGB圖像，測試準確率高達90%；此外，還使用InnResearch庫實現(xiàn)了特征可視化。崔燦[52]將圖像處理技術中的注意力機制和中心損失函數(shù)引入ResNet34模型，完成了對草莓病害的識別分類。將包含204 幅圖像的數(shù)據(jù)集進行了圖像預處理與數(shù)據(jù)增強，分為訓練集與測試集進行實驗，并基于此模型成功編寫了一個草莓病害系統(tǒng)，用戶只需上傳草莓圖像即可獲得草莓患病種類的識別結(jié)果。劉杰[53]通過改進傳統(tǒng)AlexNet模型，結(jié)合圖像質(zhì)量評價（image quality assessment，IQA）技術完成了對柑橘潰瘍病的識別。通過減少模型參數(shù)、權值均一化和自動剪枝3 種方法對AlexNet模型進行優(yōu)化，使用含有7 250 幅圖像的自建數(shù)據(jù)集進行了實驗，最后結(jié)合IQA技術降低了模糊圖像造成的影響。

為防止病蟲害的發(fā)生，水果生長各階段中需要噴灑農(nóng)藥，所以在果實上難免會有農(nóng)藥殘留。農(nóng)藥殘留是影響水果安全性的重要因素之一[54]。Jiang Bo等[55]采用AlexNet CNN進行了蘋果采后農(nóng)藥殘留檢測。在實驗時采集了噴灑4 種農(nóng)藥的蘋果高光譜圖像。通過理論分析和實驗驗證，確定了CNN的結(jié)構(gòu)和參數(shù)（圖4）。將提取的蘋果高光譜圖像歸一化為227×227×3像素，作為農(nóng)藥殘留的CNN網(wǎng)絡輸入檢測。結(jié)果表明，當訓練周期數(shù)為10 個時，測試集的檢測準確率為99.09%，且測試集的檢測精度為99.09%，單波段平均圖像的檢測準確率為95.35%。與傳統(tǒng)的KNN和支持向量機分類算法的比較表明，CNN方法表現(xiàn)更好，且無損、快速、低成本，可有效檢測蘋果采后農(nóng)藥殘留。

圖4 CNNs網(wǎng)絡結(jié)構(gòu)[54]Fig. 4 CNNs network structure[54]

目前水果安全品質(zhì)檢測問題的主要研究是針對水果病害和農(nóng)藥殘留。因為RGB圖像不能明顯反映水果內(nèi)部病害、農(nóng)藥殘留，所以需結(jié)合光譜數(shù)據(jù)進行實驗研究。但此類實驗對數(shù)據(jù)集的要求很高。只有數(shù)據(jù)集足夠大、質(zhì)量夠高，能夠完全滿足模型訓練的要求，才能在實際預測時獲得較高的準確率。但是目前公開的高質(zhì)量高光譜數(shù)據(jù)集較少，所以有些研究者使用了自建的數(shù)據(jù)集，通過數(shù)據(jù)增強操作提高了模型特征提取準確度，但普適性較差。

2.4 水果分級分類

水果的形狀、糖度和表面缺陷等指標不同，其經(jīng)濟價值也會有所不同，所以在采摘與銷售過程中要對水果進行分級分類，而這個過程目前仍是以人工主觀分類為主，智能化、機械化分級分類尚處于研究階段。如果能夠?qū)崿F(xiàn)快速高效的自動分級，可以有效減少水果銷售過程中時間的浪費，從而保證水果新鮮度，延長水果保質(zhì)期。

櫻桃果實通常以雙櫻桃或多櫻桃的形式發(fā)育，櫻桃果實的不規(guī)則形狀導致其不良的市場銷售失敗，使其在市場上長期未售出并腐爛。Momeny等[56]根據(jù)果實外形是否規(guī)則對櫻桃進行識別與分級。他們改良了傳統(tǒng)的CNN模型，利用最大值池化和平均值池化相結(jié)合的方法，提高了CNN的泛化能力。使用兩個自建的719 個櫻桃樣品數(shù)據(jù)集（307 個形狀規(guī)則和412 個形狀不規(guī)則）進行實驗，通過梯度直方圖和局部二值圖提取圖像特征，并采用KNN算法、神經(jīng)網(wǎng)絡算法、模糊算法和邊緣檢測算法進行分類，與改良的CNN模型進行比較?；谂繗w一化，提出的CNN改良模型能夠在所有圖像尺寸下以99.4%的準確率對櫻桃進行分類。

Jahanbakhshi等[57]選取341 個酸檸檬樣品（185 個健康樣品和156 個損傷樣品）獲取RGB圖像構(gòu)成數(shù)據(jù)集，使用MATLAB軟件對圖像進行預處理，將30%圖像作為測試集，提出改進的CNN模型，根據(jù)酸檸檬的表面缺陷進行了分級檢測，檢測流程如圖5所示。同時設立對比實驗，與KNN、ANN、模糊綜合評價法、SVM和決策樹算法的結(jié)果進行對比。結(jié)果表明改進后的CNN模型準確率更高，可作為加強酸檸檬分級的現(xiàn)代方法。

圖5 檢測酸檸檬的改進CNN模型[56]Fig. 5 Improved CNN model for detecting lime[56]

青梅是一種深受人們喜愛的水果，有很多的保健功能，國內(nèi)的青梅分級方式大多是人工分揀，這種傳統(tǒng)方式受主觀影響較大，導致分級不夠明確，對青梅后期加工和銷售造成了很多困難。傳統(tǒng)的有監(jiān)督學習青梅分級分類器樣本標定困難，泛化能力較弱，陶海[58]提出了一種基于深度學習的青梅品級分類方法。首先將果實根據(jù)完好程度、果實大小、果實顏色等幾個方面進行綜合分析，將青梅分為3 個等級。然后將深度學習優(yōu)秀的特征提取能力和識別能力引入青梅的品級分類中來，并根據(jù)廣義熵理論建立了一種認知誤差熵，可以反映出分類結(jié)果的可信度；這種半監(jiān)督機制引入后可以增強整個模型的魯棒性。最后采用包含5 400 幅圖像（3 400 幅無標簽，2 000 幅有標簽，有標簽圖像包括630 幅優(yōu)質(zhì)果實圖像、790 幅次品果實圖像和580 幅腐爛果實圖像）進行實驗，證實了青梅品級半監(jiān)督智能認知算法的有效性。曹仲達[59]在研究青梅分級時基于自適應CNN，引入青梅不同品級的圖像決策信息，建立了具有完備評價指標的青梅品級智能決策信息模型。作者將青梅分為優(yōu)品、帶疤良品、次品、帶疤次品和腐爛品5 個等級，采用1 008 幅圖像進行驗證，分級正確率達到了98.15%。

目前水果的分級分類大多是通過RGB圖像對水果顏色、果實形狀、表面缺陷等方面進行識別從而進行分級的，僅適用于不同品級外觀差距較大的水果；而對于外觀表現(xiàn)不明顯的水果來說，光譜信息更能反映出不同品級水果的某些內(nèi)部信息，相對于RGB圖像更加全面。希望在以后的研究中，有更多的研究者可以將光譜圖像信息引入深度學習中，全面采集各種品質(zhì)指標，進一步提高水果分級精確度。

2.5 水果分類識別

自動化的水果分類識別可以給生活帶來很多的便利，比如識別與自動計數(shù)、超市中的分類入庫和識別付款等，可應用領域十分廣泛。深度學習技術能夠在極短時間內(nèi)完成對水果的識別與分類，為水果快速分類提供了新的可能性。

Saranya等[60]以蘋果、香蕉、石榴和柑橘為研究對象，在公開數(shù)據(jù)集fruit-360上對傳統(tǒng)的機器學習方法和深度學習方法進行了比較，結(jié)果表明CNN模型有更好的學習效果，而共享最近鄰法和SVM模型在特征提取方面表現(xiàn)很優(yōu)秀，但在分類時表現(xiàn)不如CNN模型。Hossain等[61]基于深度學習提出了一個水果分類系統(tǒng)，該系統(tǒng)建立了兩種模型，第一種是一個6 層CNNs輕模型（圖6）。在這個模型中，分為預處理、特征轉(zhuǎn)換和分類3 個步驟。首先將原始圖像進行等高寬裁剪，然后固定圖像大?。蝗缓笸ㄟ^CNN模型等的重復卷積和池化操作來實現(xiàn)圖像的特征轉(zhuǎn)換；最后學習到的一維特征向量被饋送到輸出層。輸出層使用Softmax激活。在每個池化層之后和輸出層之前添加脫落層，以使網(wǎng)絡規(guī)則化，并防止過度擬合。第二種模型是經(jīng)過預訓練的VGG-16模型（圖7），此模型通過最大池化層對5 個卷積運算塊進行連接，每個運算塊中包含著一系列的3×3卷積層，卷積核的數(shù)量由第一層的64 個逐步增加到最后一層的512 個，共有16 層可學習層數(shù)。

圖6 6 層CNNs輕模型[54]Fig. 6 Six-layer CNNs light model[54]

圖7 VGG-16模型[54]Fig. 7 VGG-16 model[54]

Hossain等[61]采用兩個不同數(shù)據(jù)集對兩個模型進行了實驗，兩個數(shù)據(jù)集內(nèi)包含蘋果、梨、桃、橙子、西瓜等數(shù)十種水果圖像。數(shù)據(jù)集1包括2 633 幅圖像，是比較容易識別的圖像。數(shù)據(jù)集2中的5 946 幅圖像較為復雜，圖像中含有多種水果且含有冗余背景信息。在實驗過程中進行數(shù)據(jù)增強后，通過兩個圖像集對兩種模型進行訓練與測試，數(shù)據(jù)集1的分類準確度分別為99.49%和99.75%，數(shù)據(jù)集2的準確度分別為85.43%和96.75%。實驗結(jié)果表明，VGG-16模型在兩個數(shù)據(jù)集上表現(xiàn)都十分優(yōu)秀，輕量級CNN模型在數(shù)據(jù)集1上識別準確率也較高，都具有較好的研究前景與實際應用價值。

Rojas-Aranda等[62]在研究零售店的自動化識別與付款時，也使用了輕量級的CNN模型。由于研究的目標是收銀臺結(jié)算，因此建立了一個創(chuàng)新的數(shù)據(jù)集，即數(shù)據(jù)集中的圖像分為無塑料袋包裝和有塑料袋包裝兩種情況，經(jīng)測試，總體分類準確率為95%，而對塑料袋內(nèi)水果的分類準確率也達到了93%。Duong等[63]使用目前最前沿的EfficientNet和MixNet構(gòu)建出了一個水果分類專家系統(tǒng)，在基礎深度學習模型中加入了一個權值計算器，可以調(diào)整不同特征所占比重，而且可以通過遷移學習，將其他實驗的權值比重導入權值計算器中。最后專家系統(tǒng)在一個包含48 905 個訓練圖像和16 421 個測試圖像的真實水果數(shù)據(jù)集上進行了實驗。實驗結(jié)果表明，在所考慮的數(shù)據(jù)集上應用此專家系統(tǒng)，顯著提高了整體預測精度。

水果分類不僅僅是不同水果之間的分類，也包括了同種水果間的分類。Rong Dian等[64]建立了包含5 種桃的可見-近紅外光譜數(shù)據(jù)庫，通過構(gòu)造一維CNN模型，實現(xiàn)了桃品種的多重鑒別。首先采集不同品種的桃光譜圖像，然后采用CNN模型對光譜信息進行訓練，訓練完成的模型可完成對未知品種桃的分類。深度學習模型在驗證數(shù)據(jù)集上的準確率達到100%，在測試數(shù)據(jù)集上的準確率達到94.4%。Osako等[65]利用深度學習技術對臺灣4 個常見的荔枝栽培品種（‘桂味’‘黑葉’‘無麥仔’‘玉荷包’）分類進行了研究。通過對預先訓練的VGG-16模型進行微調(diào)，構(gòu)建了合適的識別模型，對模型進行訓練之后對4 個品種混合圖像進行分類，準確率達到98.33%。Rodríguez等[66]采用AlexNet模型，研究了3 個不同品種李子早熟期品種的鑒別。由于使用的是自建數(shù)據(jù)集，所以首先要進行降噪、腐蝕、膨脹等預處理，去除不需要的背景。測試集的最終分類精度最高達到了97%。

隨著深度學習框架的不斷優(yōu)化，越來越多的科研實驗依托TensorFlow、Caffe、Keras等開源平臺進行操作，采用AlexNet、VGGNet、ResNet和GoogleNet等經(jīng)典模型，大大提高了科研效率。呂偉[67]使用Caffe平臺中的經(jīng)典CNN模型，對自建訓練集（攝像機在不同光照、角度變換以及局部遮擋環(huán)境下蘋果、百香果、火龍果和橘子等14 類39 種96 815 幅不同類型水果圖像）進行學習分類，水果種類分類正確率達99.53%。廉小親等[68]使用Google公司TensorFlow框架中預訓練完成的Inception-V3模型，對含有梨、蘋果、香蕉、柑橘、芒果、獼猴桃6 類水果的測試集進行了分類，結(jié)果較傳統(tǒng)水果分類算法的準確率有明顯提升。研究者們基于基礎的深度學習模型，通過修改各種模型中各個部分，例如改進預處理方法、修改圖像分割方法、修改神經(jīng)網(wǎng)絡隱藏層之間的結(jié)構(gòu)、改進特征提取的方法等，不同程度地提高了水果分類的準確率[69-73]。

智能家居的快速發(fā)展使冰箱果蔬識別與分類的應用研究受到了越來越多的關注。曾維亮[74]探究了冰箱中的水果分類問題，提出一種基于感興趣區(qū)域（region of interest，ROI）的區(qū)域卷積神經(jīng)網(wǎng)絡（region proposals cnvolutional neural network，RCNN）水果圖像識別模型。先從樣本確定目標水果ROI，再基于ROI進行大量訓練，得到特征明顯的圖像塊后，再進行識別。實驗結(jié)果表明，基于ROI訓練的卷積核能提取區(qū)分度較強的特征，在融合多通道水果特征信息時可有效地提高識別率。Zhang Weishan等[75]在設計智能冰箱時，希望冰箱能夠自動識別水果。他們的研究重點包括兩部分，即識別水果種類與實現(xiàn)水果個體計數(shù)。他們的測試集包括智能冰箱內(nèi)部拍攝的水果圖像和來自互聯(lián)網(wǎng)的冰箱儲藏水果圖像，使用ResNet、VGG-16和VGG-19多種模型進行訓練，這些模型的輸出作為輸入數(shù)據(jù)導入到BP神經(jīng)網(wǎng)絡中繼續(xù)進行運算。這種多結(jié)構(gòu)融合的深度學習模型比3 種模型單獨使用的方法具有更好的識別精度。

近年來深度學習技術在水果識別與分類方面最新的一些研究成果，AlexNet與VGGNet等各種不同的算法在不同研究中都有所使用。多數(shù)實驗以RGB圖像作為載體進行相應的研究，也有部分實驗使用了高光譜圖像進行研究。通過深度學習模型對RGB圖像和高光譜圖像進行學習和權值訓練，可以成功提取與水果的各種特征，完成對水果的識別與分類。與傳統(tǒng)的水果分類方法相比，深度學習方法具有更好的性能，值得進一步研究。水果分類識別仍舊是一個水果研究領域的難點問題。有幾個難點尚未發(fā)現(xiàn)比較好的解決方案，一是有些水果種間外觀差距較小，例如李子和杏外觀特點就十分相似；二是光照陰影導致的明暗變化使得同物種間圖像出現(xiàn)較大差異；三是圖像背景干擾大，對識別造成較大影響。從上述幾點中可以看出某些水果識別難度較高，如何提高這些水果圖像的識別精度將是未來的重點研究目標。

3 結(jié) 語

水果品質(zhì)檢測與分類識別領域引入深度學習僅僅短短幾年就涌現(xiàn)出大批的優(yōu)秀科研成果，與過去的模式識別、機器學習和人工分類等傳統(tǒng)方法相比有很多的優(yōu)勢：1）在眾多的水果研究中，深度學習技術都顯示出了良好的適應性與較高的準確率，說明機器學習技術的通用性很高；2）深度學習的另一個優(yōu)點是兼容性高，可以從多維數(shù)據(jù)中提取有用信息，在對水果進行檢測時，有很多作者在研究中將深度學習和高光譜成像技術等其他技術結(jié)合起來，也取得了可喜的成果；3）各種深度學習模型可以單獨或者自由組合使用，針對不同的實驗目標可以對模型進行針對性調(diào)整改造，模型可塑性極高。

深度學習技術在水果品質(zhì)檢測與分類識別領域中的研究才剛剛興起，還有許多工作需要進一步完善和發(fā)展。1）在水果品質(zhì)檢測與分級分類領域的研究中，大多應用的是CNN模型，或是在經(jīng)典網(wǎng)絡模型基礎上進行改進。在將來的研究中其他深度學習模型例如循環(huán)神經(jīng)網(wǎng)絡、LSTM等的強大功能或多種模型交叉融合，會給未來的科研提供了無數(shù)可能，在水果品質(zhì)檢測與分級分類領域的應用潛力值得研究者關注。2）深度學習訓練模型所需的數(shù)據(jù)量很大，對數(shù)據(jù)集要求較高。目前公開的水果數(shù)據(jù)集較少，且圖像質(zhì)量參差不齊，而研究者自建數(shù)據(jù)集的圖像數(shù)量一般不足以支撐訓練與預測。希望在將來的研究中，科研人員可以廣泛采集水果各種品質(zhì)圖像，互相分享，建立出更好的水果數(shù)據(jù)集。3）以RGB圖像為載體的研究比較多，但其無法反映出水果的硬度、糖度和成熟度等內(nèi)部品質(zhì)，高光譜圖像可以反映出這些內(nèi)部性質(zhì)，但以高光譜圖像為載體進行的研究較少。在深度學習中如何融合高光譜圖像，如何充分利用高光譜圖像的空間和光譜信息，使其應用具有較強的魯棒性和網(wǎng)絡泛化能力，將是未來的研究熱點。4）應進一步擴充研究對象。雖然深度學習已經(jīng)滲透到水果品質(zhì)檢測中，但檢測的品質(zhì)指標還不完善，如硬度、蟲害等還未涉及。另外如果將時間維度引入水果品質(zhì)檢測與分類的研究中，可能會得到更加精準的結(jié)果，如預測水果的成熟趨向、SSC、水果遭受病害的趨向等，值得進一步使用深度學習的方法進行分析和研究。5）多數(shù)實驗仍舊在實驗研究階段，尚未實現(xiàn)工業(yè)化、商業(yè)化使用，在線檢測、智能手機應用等方面的實驗較少，還有廣闊的發(fā)展空間。期望隨著計算機硬件水平的發(fā)展，水果的在線智能化檢測與識別可以廣泛應用到水果生產(chǎn)、運輸和銷售等環(huán)節(jié)中，減少人力資源浪費。

本文為水果品質(zhì)檢測與分類識別領域的研究者們總結(jié)了近期應用深度學習的研究成果，期望深度學習技術未來能夠在本領域取得更多優(yōu)秀的研究成果，并將研究結(jié)果付諸實踐。