基于機器視覺的水果品質檢測綜述

何文斌，魏愛云，明五一，2，賈豪杰

1.鄭州輕工業(yè)大學 機電工程學院，鄭州450002

2.廣東華中科技大學工業(yè)技術研究院 廣東省制造裝備數(shù)字化重點實驗室，廣東 東莞523808

1 引言

隨著水果種植規(guī)模的不斷擴大，水果的產量越來越大，實現(xiàn)大規(guī)模水果分級是急需解決的問題。早期的水果主要通過人工進行分級，分級結果缺少客觀性和準確性，且人力物力消耗很大[1]。隨著水果分級技術的引入，部分水果采用機械分選，但由于分選速度較快，容易損傷水果外觀。機器視覺技術因具有效率高、精度高、非接觸檢測的優(yōu)勢，越來越受學者的關注，逐漸被應用到各個領域。因此，利用機器視覺技術實現(xiàn)水果的無損檢測是行業(yè)發(fā)展的趨勢。

機器視覺技術是通過攝像機來獲取物體圖像代替人類視覺，然后利用處理器對圖像進行處理，最終實現(xiàn)物體的識別和檢測[2]。機器視覺系統(tǒng)主要由光源、工業(yè)攝像機、圖像采集卡、圖像處理器和顯示器等組成[3]，如圖1所示。其中，圖像采集卡是圖像采集和圖像處理的接口，它可以將采集到的圖像轉化為數(shù)字信號存儲起來，也可以提供I/O 功能，實現(xiàn)數(shù)字化圖像的后期處理；顯示器主要顯示圖像處理的結果。

圖1 機器視覺系統(tǒng)圖

20 世紀70 年代，國外學者將機器視覺技術應用于水果的無損檢測，并獲取一定的成果。隨著神經網絡、向量機、深度學習等相關算法的不斷發(fā)展和優(yōu)化，大大提高了水果的分類準確率。目前，利用機器視覺技術實現(xiàn)水果的無損檢測仍有許多問題有待解決，例如水果存在各種不同缺陷而增加檢測難度；針對不同種類水果如何設計合適的檢測系統(tǒng)實現(xiàn)實時檢測；此外如何改進相關算法，進一步提高分揀準確率仍需研究。為此，國內外學者對水果檢測系統(tǒng)的結構、圖像處理方法以及分類器相關算法做了大量研究，極力推動了機器視覺技術在水果無損檢測方面的應用，為相關產業(yè)做出了一定的貢獻。

2 基于機器視覺的水果檢測分級系統(tǒng)

國外學者對機器視覺分級系統(tǒng)的研究相對較早，Tao等[4]研究了一種可以對蘋果和馬鈴薯的外皮顏色檢測的機器視覺系統(tǒng)，通過采用多變量識別技術對外皮顏色進行識別，達到90%的準確率，然而其檢測效率卻不高。Blanc[5]設計了一種可以對葡萄等串狀水果的重量和顏色均勻度進行分級的分級系統(tǒng)，大大提升了分級效率。Baigvand 等[6]在對無花果干進行品質分級時，設計了包括送料裝置、傳動裝置、圖像采集裝置及分級裝置的一套完整的機器視覺分級系統(tǒng)，實現(xiàn)了對無花果品質的實時檢測，并將無花果干成功地分為5個等級。隨著視覺技術的不斷發(fā)展，國內學者在機器視覺方面的研究也取得了一定的成果。魏新華等[7]研制了一套蘋果智能化檢測與同步控制分級系統(tǒng)，通過傳送鏈傳送蘋果到圖像采集區(qū)域，實現(xiàn)圖像的采集，根據等級分級結果，控制部件做出相應的動作，實現(xiàn)了蘋果的在線自動檢測，但是該系統(tǒng)在檢測過程中為控制相機的工作溫度而增大了系統(tǒng)設計的復雜性。王干等[8]對臍橙進行檢測分級時，研制了一套針對臍橙外觀缺陷和尺寸大小的機器視覺檢測系統(tǒng)，通過采用三個攝像機實現(xiàn)對傳輸中的臍橙多面拍照，通過圖像處理技術，獲得相應的缺陷和尺寸參數(shù)，最終實現(xiàn)了臍橙的品質分級，然而采用三攝像機進行圖像采集增加了后續(xù)圖像處理及缺陷檢測的難度。

基于機器視覺的水果品質檢測系統(tǒng)的圖像采集部分通常采用單個相機進行，很難實現(xiàn)對水果的全表面信息采集，對分級準確率有很大的影響。在水果品質檢測之前，合理地設計檢測系統(tǒng)的定向裝置，有利于獲取更全面的表面信息，以下以蘋果為例來探究定向裝置的研究現(xiàn)狀。最初國外學者Bennedsen等[9]在對蘋果進行分級時，設計了帶有雙錐滾子結構的分選機定向機構，該分選機在輸送帶帶著蘋果前進的同時位于輸送帶上方的定向機構帶動蘋果轉動，這樣可以采集到較完整的蘋果表面圖像，但該裝置易造成表面信息的重采，影響分級的準確率和效率。于是Whitelock等[10]針對蘋果圖像信息重采的不足，通過改進蘋果的輸送機構，該裝置讓蘋果滾動通過水平通道，在蘋果滾動的同時對蘋果的圖像信息進行采集，結果表明，該裝置適用于高度與直徑比值較大的蘋果。Throop 等[11]設計的定向裝置將在傳送帶上移動的蘋果保持與莖花萼垂直，在蘋果通過成像區(qū)域時稍微傾斜，使其在滾輪上旋轉，這樣就可以采集到完整的蘋果表面信息。但整個過程比較復雜，一定程度上影響分級效率。蔣維棟[12]改進了Throop 的定向輸送機的設計，利用輸送帶與蘋果的摩擦力帶動其轉動來替代蘋果的傾斜，但由于摩擦力較小所需定向時間較長。馬垚[13]先讓蘋果通過帶有小滑輪組成的輸送帶，然后利用定向組件實現(xiàn)蘋果的自動定向，最后采用多個相機對蘋果表面信息進行采集。結果表明，合理的定向機構結合多個相機采集能夠獲取蘋果的完整表面信息，保證了所采集圖像的質量。

綜上所述，基于機器視覺的水果品質檢測雖然較傳統(tǒng)的檢測有一定的優(yōu)勢，但在圖像采集方面還存在一定的不足，合理的檢測系統(tǒng)設計，既能得到全面的表面信息，又能提高檢測效率。

3 圖像預處理

3.1 常見的顏色模型應用現(xiàn)狀

顏色模型主要有RGB、HSV、HSI 和L*a*b 等幾種[14]，其中RGB和HSI模型在機器視覺水果檢測方面應用普遍。陳艷軍等[15]設計的機器視覺蘋果分選系統(tǒng)，利用RGB模型中的R-B雙通道對蘋果圖像進行圖像處理和輪廓特征提取，通過建立兩種分類模型，實現(xiàn)了87%以上的分類準確率，卻由于設備昂貴，未能得到廣泛應用。李順琴等[16]在對橙子品質分級時，通過圖像處理發(fā)現(xiàn)RGB 模型中的B 分量具有明顯的峰值特點，利用基于B分量的閾值分割法實現(xiàn)橙子圖像的灰度化處理，最終通過建立三種分類理論模型實現(xiàn)橙子高達90%的分類準確率，卻因為缺乏對多品種水果的實驗驗證，未能應用于實際生產。馮斌等[17]在研究以不同的色度對水果進行分級時，通過比較RGB和HSI兩種顏色模型，發(fā)現(xiàn)HSI模型更符合人的感知方式，經建立人工神經網絡識別模型，實現(xiàn)了對水果的分級準確率達95%，與實際情況很接近。

總之，對不同顏色的水果選用合適的顏色模型是很重要的，它對后面的圖像處理以及特征提取起到關鍵作用。

3.2 圖像去噪研究現(xiàn)狀

采集到的水果圖像因受到環(huán)境等因素的影響存在各種噪聲，為了提高圖像的質量，有必要對噪聲進行抑制或消除。常用的濾波方法有中值濾波、均值濾波、Gauss濾波等[18]。表1歸納了幾種濾波方法的應用情況。

由現(xiàn)有文獻，與均值、Gauss 兩種濾波方法比較，中值濾波因具有運算簡單、去噪效果好的特點，而被廣泛應用于水果圖像的去噪處理中。Momin 等[21]研究了基于圖像處理技術的芒果自動分選技術，提出了基于區(qū)域全局閾值處理算法，結合中值濾波和形態(tài)學分析獲取芒果周長和圓度特征量，實現(xiàn)了對投影面積、周長等的識別。Arakeri等[22]通過中值濾波、Otsu分割法獲取番茄特征向量，并建立基于神經網絡的分類模型，實現(xiàn)了對番茄成熟、不成熟、品質評價，準確率最佳為100%。中值濾波雖具有良好的去噪效果，但在處理一幅多像素點的圖像時，所需時間較長?；谏鲜霾蛔悖瑢W者侯文軍[14]通過改進中值濾波算法，采用快速中值濾波方法對蘋果圖像去噪，該方法縮短了濾波時間，且濾波效果顯著，但受濾波窗口大小的影響。鄭州大學的孫斐[26]在對蘋果分級時，首先采用自適應中值濾波對圖像進行去噪處理，但由于去噪后的圖像邊緣特征不明顯，提出了一種基于中值濾波的小波變換去噪方法，這種濾波法很好地保留了圖像的邊緣信息，然而小波閾值的選取過程復雜。

在對多品種混合水果圖像濾波中，于悅洋等[29]首先采用中值濾波方法對橙子、蘋果和香蕉三種混合水果圖像去噪，結合圖像增強得到效果更好的水果圖像，通過圖像二值處理、特征提取后，最終利用BP神經網絡實現(xiàn)對橙子、蘋果和香蕉三種水果分類。陳源等[30]研究利用MATLAB軟件處理蘋果、桔子、香蕉三種混合水果圖像時，首先通過MATLAB軟件讀取圖像，然后采用中值濾波方法對混合水果圖像去噪處理，然而得到的水果圖像不太理想，隨后采用反銳化掩模法對濾波后的混合水果圖像進行圖像增強，得到清晰的水果圖像，最終利用BP神經網絡實現(xiàn)了對三種水果的分類。

綜上所述，中值濾波具有良好的濾波效果，在水果圖像去噪處理方面應用廣泛，但該方法在處理像素點較多的圖像及某些特定圖像時，存在運算時間長、處理效果不佳的不足?？焖僦兄禐V波雖彌補了上述不足，但對圖像去噪處理中的濾波窗口有一定要求。自適應中值濾波有較好的濾波效果，但不能保留理想的邊緣特征。改進的濾波方法有很多種，但沒有一種方法兼具運算簡單、魯棒性高、去噪效果好、處理速度快的特點，這也正是學者仍需研究的方向。

3.3 圖像分割技術研究現(xiàn)狀

圖像分割技術[31]是利用圖像區(qū)域相似或相同的特征（如紋理、顏色等）將圖像劃分開，來達到提取關鍵信息的目的。常見的背景分割方法有閾值劃分、區(qū)域劃分、邊緣檢測、深度學習等[32-33]，表2 是幾種分割方法在水果圖像中的應用情況。

表1 濾波方法在水果圖像去噪中的應用情況

常用的閾值分割方法有OTSU、迭代閾值和灰度直方圖法等[26]。李慶中[34]通過研究圖像灰度直方圖的熵測量，確定最佳閾值法，得到了較好的蘋果背景分割圖像。寧夏大學的吳杰[35]通過對圣女果的灰度直方圖分析，發(fā)現(xiàn)感興趣區(qū)域的直方圖并不連續(xù)，采用多閾值分割方法并設定對應閾值，實現(xiàn)了對圣女果圖像背景的分割，但該方法對噪聲敏感，且閾值的選擇對圖像分割效果有直接影響。邊緣特征是水果典型的特征之一，保留水果的邊緣、去除無關信息，也是圖像分割中廣泛應用的一種。常用的邊緣檢測算子有Roberts、Sobel、Laplace、Canny、LOG 等算子[25]。華中農業(yè)大學的肖壯[36]研究對紅提果粒大小進行分級時，采用Sobel 算子對紅提串邊緣進行檢測，得到了較好的邊緣信息，但由于果梗過多干涉了果粒邊緣，結合果梗OTSU 閾值分割，得到了理想的紅提果粒輪廓圖像。劉宏文[37]對蘋果圖像去噪后分別采用Roberts、Sobel、Laplace、Canny 算子進行邊緣提取邊緣，結果發(fā)現(xiàn)Canny算子的檢測效果最佳。邊緣檢測分割方法可以很好地保留圖像的邊緣信息，但大部分水果都存在果梗，在對圖像分割時，果梗極易被當作疑似缺陷區(qū)域，出現(xiàn)誤判的情況。南京林業(yè)大學的蔣林權[38]對碭山梨缺陷表面進行分類時，通過對缺陷區(qū)域和疑似缺陷區(qū)域的單獨劃分，然后根據顏色、紋理等特征對這些區(qū)域進行分類識別，最終實現(xiàn)了碭山梨品質的分類且具有很高的分級精度，但該方法局限于各區(qū)域對比強烈的情況。聚類分割方法也常用于水果圖像分割中，陳科尹等[39]針對傳統(tǒng)模糊聚類分割方法運行速度慢的不足，提出了一種灰度圖像代替彩色圖像的改進方法，以荔枝和柑橘為對象進行圖像分割實驗，結果表明該方法分割率在93%以上且能滿足實時性要求，但該方法并未用于實際作業(yè)中。

綜上所述，閾值分割方法的圖像分割效果好且較常用，但閾值的選擇對圖像的分割效果影響較大；邊緣檢測中的相關算子能保留清晰的邊緣特征，但分割的果梗等區(qū)域易被誤判為缺陷，故該方法需與其他分割方法結合使用；區(qū)域分割方法可以將缺陷區(qū)域和果梗等疑似缺陷區(qū)域單獨劃分，然后根據顏色等特征進行分類識別，保證分級精度；傳統(tǒng)的聚類方法不能滿足實時性的需求，改進的聚類分割方法克服了上述不足，但目前僅停留在實驗階段。

4 特征提取研究現(xiàn)狀

特征提取是水果品質識別與檢測的基礎，特征參數(shù)的準確性和實時性對蘋果品質的識別精度影響較大。水果的特征有幾何、紋理和顏色等幾種。孫斐[26]在對蘋果分級時，通過研究幾何特征實現(xiàn)蘋果的特征提取，通過采用外接矩形法和內切圓法的比較，發(fā)現(xiàn)外接圓法的實時性與準確性更高，最終實現(xiàn)蘋果大小的分級準確率達92.5%。蔣林權[38]研究對碭山梨的缺陷區(qū)域與果梗區(qū)域特征時，采用灰度共生矩陣提取碭山梨缺陷區(qū)域和果梗區(qū)域的紋理特征，通過比較相關特征值，發(fā)現(xiàn)慣性矩和能量最具代表性，融合Gabor 提取紋理特征的方法，最終提高了對碭山梨表面缺陷的識別準確率，該方法適用于各缺陷部分紋理特征區(qū)別較大的場合。肖壯[36]研究提取紅提果肉和果粉區(qū)域特征提取時，通過Matlab軟件處理紅提串的彩色圖像，獲得了果肉和果粉區(qū)域的像素點坐標值和RGB 值，最終實現(xiàn)了顏色特征的提取。于悅洋等[29]研究對一幅圖像中不同種類（香蕉、蘋果、橙子）的水果進行識別時，首先利用幾何特征（周長、弧度）的較大差異，將香蕉分離出來；然后根據蘋果和橙子外觀顏色差異，利用RGB 通道的R 分量實現(xiàn)對蘋果的分離，最后通過訓練BP神經網絡，實現(xiàn)香蕉和橙子的識別準確率為97%，蘋果的識別準確率接近100%。

綜上所述，特征提取是水果品質檢測的基礎，也是重要環(huán)節(jié)。針對不同種類的水果可以采用不同的特征提取方法。以蘋果[26，29]為例，在對蘋果進行特征提取時，可以根據幾何特征（如大小等）對其進行特征提取，結合相關分類算法進行蘋果大小的分類；同一批次的水果，成熟度可能不盡相同，這時可以通過對蘋果顏色進行特征提取，利用分類器實現(xiàn)對蘋果成熟度的識別。因此，在對水果進行特征提取時，要結合水果的自身特點靈活應用相應的特征提取方法。由于水果種類繁多，目前沒有固定的特征提取方法對所有的水果適用。

表2 幾種分割方法在水果圖像中的應用情況

5 分類器研究進展

分類器是實現(xiàn)水果品質分級的最后一個環(huán)節(jié)，相關算法設計的好壞直接影響分級精度。隨著水果種植業(yè)的不斷發(fā)展，水果的年產量越來越大。為了滿足當前大規(guī)模、多種類的分類需求，學者們對不同的水果分類算法進行了大量研究。表3 歸納了分類算法在水果品質分級中的應用情況。

表3 分類算法在水果品質分級中的應用情況

肖壯[36]研究對紅提表皮的果粉進行識別時，分別建立了BP神經網絡分類器和SVM分類器，分別以R、G、B顏色特征作為輸入參數(shù)，在BP神經網絡分類器中，通過訓練tansig 函數(shù)，對果粉的識別準確率達96.88%，但該方法的識別速度較慢且局限于傳遞函數(shù)的選擇；而經過訓練的SVM 分類器，識別準確率高達97.5%，且識別時間僅需6.36 ms；經對比，SVM分類器滿足在生產線上的檢測需求。同樣，蔣林權[38]將碭山梨的褐斑、擦傷和腐爛缺陷以及果梗作為輸入參數(shù)，通過建立BP 神經網絡識別模型和SVM分類器進行對比，最終發(fā)現(xiàn)在SVM分類器下的缺陷識別準確率高于BP 神經網絡，卻由于訓練的樣本數(shù)有限，最終的平均識別準確率為91.5%。Unay 等[43]為解決蘋果的果梗和花萼等疑似缺陷區(qū)域的誤識別問題，提出了一種基于向量機的分類方法，該方法首先對蘋果圖形進行背景去除和區(qū)域分割（如圖2所示），然后將提取到的紋理和形狀特征作為輸入參數(shù)，輸入到支持向量機分類器和K-NN等分類器進行比較，經對比SVM 分類器的效果最好，實現(xiàn)對蘋果梗的識別準確率為99%、對花萼的識別準確率為100%。

圖2 Unay等對蘋果的分割圖像

針對BP 神經網絡分類器的不足，朱玲[44]在對石榴的等級分類中，將K-means 算法應用到BP 神經網絡進行測試試驗，首先以石榴圖像為輸入參數(shù)，經過訓練將石榴大小分為4 個等級，然后將50 張圖像分別采用Kmeans 算法、BP 神經網絡、K-means 算法+BP 神經網絡進行測試試驗，最終的識別準確率分別為91.52%、89.36%、96.28%。

隨著深度學習的不斷發(fā)展，相繼出現(xiàn)了CNN[49]、RCNN[50-51]、Faster-RCNN[52-53]、SSD[54]等一系列經典框架。南華大學的曾平平[45]在研究對樹上蘋果進行檢測時，提出了一種基于Faster-RCNN的檢測模型，該模型分別以改進的LeNet-5、VGG16和ResNet101為訓練輸入模型，經過試驗對比發(fā)現(xiàn)以ResNet101 為模型的檢測效果最佳，實現(xiàn)了對蘋果的檢測精度為90.91%，但局限于訓練樣本數(shù)，此結果與理想差距較大。彭紅星等[48]為解決未采摘水果的識別問題，提出了一種改進的SSD 算法，該算法引進了ResNet101 模型，經過對臍橙、蘋果、荔枝、柑橘四種水果的樣本進行訓練、試驗，實現(xiàn)了對環(huán)境中的水果檢測精度平均為88.4%，此結果高于未經改進的SSD算法，然而該模型卻降低了檢測速度。

綜上所述，BP 神經網絡分類器雖在水果檢測方面應用廣泛，卻在檢測速度和精度方面有一定的局限；SVM 可以滿足生產線檢測需求，但訓練樣本數(shù)直接影響識別精度；深度學習及相關改進分類器為樹上水果檢測提供了新思路，但是相關模型的檢測精度和魯棒性仍有待進一步研究。

6 總結與展望

綜上所述，基于機器視覺的水果檢測方法較傳統(tǒng)的檢測方法存在一定的優(yōu)勢，且取得了一定的成果。但由于機器視覺涉及的學科較多，檢測系統(tǒng)復雜，相關算法的不成熟，導致檢測結果有一定的偏差。基于機器視覺的水果檢測的未來發(fā)展趨勢和研究方向主要包括以下幾點：

（1）水果的品質檢測一般是在線的實時檢測，實現(xiàn)全表面信息的采集以及對圖像信息的及時處理尤為重要。圖像信息的獲取與處理受光源、輸送裝置和相機個數(shù)等外部因素的影響較大，因此建立穩(wěn)定、可靠的檢測系統(tǒng)是未來的研究方向之一。

（2）在單一水果圖像濾波中，中值濾波方法去噪效果良好且應用廣泛，然而該方法在處理多像素點圖像時，存在效率低、處理效果不佳的不足。相關改進的濾波方法有很多種，但單一的濾波方法在某些方面存在一定的不足，因此考慮多種濾波方法結合來實現(xiàn)單一水果圖像的濾波是未來的研究方向。

（3）在多種混合水果的圖像去噪中，中值濾波方法應用較廣，卻存在濾波后的混合水果圖像不夠清晰的不足；濾波后的混合水果圖像通過圖像增強的方法得到了較理想的效果，然而圖像增強方法在對一幅圖像中各水果顏色對比不明顯的圖像進行處理時也會增大難度，因此研究一種針對多品種混合水果圖像的具備魯棒性高、去噪效果好、效率高的濾波方法是未來的研究方向。

（4）常用圖像分割方法有明顯的優(yōu)缺點，但在對復雜水果圖像的分割時存在一定的不足，因此多種分割方法融合和合理使用深度學習技術是未來研究的方向。

（5）深度學習分類器較BP 神經網絡、SVM 等分類器有一定的優(yōu)勢，可以滿足水果采摘的分類需求，但該分類器的分類精度受限于訓練模型樣本數(shù)，因此突破監(jiān)督訓練模型的局限性是未來的研究方向之一。