基于MobileNet V2的田間葡萄果穗成熟度判別

張 立，周文靜

（新疆科技學院，新疆庫爾勒 841000）

0 引言

紅提葡萄，又名“紅地球”，新疆晝夜溫差較大，產出的紅提葡萄果粒飽滿甘甜[1]，葡萄的種植采收主要依靠人工，尤其在判別紅提葡萄成熟度的過程中，采用的方法一是果農感官評定，該方法主觀性強，缺乏客觀評價標準；二是化學成分分析，盡管依據化學成分指標進行鑒別，準確率較高，但步驟繁瑣，難以推廣[2]。這使得在實現農業(yè)自動化的道路上，快速、準確的判別紅提葡萄成熟度并推進紅提葡萄商品化成為重要研究點。因此需要尋求一種能夠快速、準確的辨別紅提葡萄成熟度的方法。

2016年，Pothen和Nuske采用了根據紋理特征描述并綜合隨機森林算法完成了對葡萄果穗的判別任務[3]；2018年，Luo等采用K均值算法實現對田間成熟葡萄果穗的判別任務[4]。上述研究采用的都是淺層機器學習算法進行葡萄果穗的判別，需要人為提取分類特征，其準確率很大程度上受所提取特征的制約。隨著深度學習技術的發(fā)展，基于深度學習技術解決現實中的分類判別問題成為計算機視覺領域的研究熱點[5]，特別是卷積神經網絡（CNN）通過建立層級特征自動提取模型得到更準確且接近圖像高級語義的特征[6]。

然而在一些嵌入式平臺上，例如自動采摘機器人[7]，對硬件資源的要求十分苛刻，需要一種輕量級、低延遲（精度尚可接受）的網絡模型[7]。此時，具有這些優(yōu)點的MobileNet V2將更適用于自動化識別。MobileNet V2是一個用于移動和嵌入式視覺應用的高效模型與CNN的其他模型相比表現出很強的性能，對硬件要求較低，可廣泛用于各種嵌入式設備中[8]。

綜上所述，本研究將采用適合紅提葡萄成熟度判別問題的深層MobileNet V2神經網絡模型實現紅提葡萄成熟度的判別。

1 MobileNet V2概述

MobileNet V2的基本單元是深度可分離卷積[10]?？煞蛛x卷積主要有兩種類型：簡單空間可分離卷積和深度可分離卷積，簡單空間可分離卷積的基本過程如圖1，空間可分離卷積將卷積核劃分為兩個較小的卷積核，本文即將3×3的卷積核劃分為3×1和1×3的卷積核。

圖1 簡單空間可分離卷積

深度可分離卷積可以分解為深度卷積和逐點卷積[11]。深度卷積針對每個輸入通道采用不同的卷積核，即一個卷積核對應一個輸入通道。逐點則采用1×1的卷積核，本文使用的MobileNet V2的基本單元如圖2。

圖2 MobileNetV2基本單元

2 材料與方法

2.1 試驗設備

試驗電腦采用64位Windows 11操作系統。處理器為Intel(R)Core(TM)i5-1155G7@2.50GHz，內存為16GB，顯示適配器為NVIDIA GeForce GTX 1060；軟件環(huán)境：使用Anaconda搭建了基于Python 3.7的虛擬環(huán)境。試驗使用手持色差計為上海精密便捷式專業(yè)精密色差計CM-205系列。

試驗所需圖像樣本均采樣自新疆巴音郭楞蒙古自治州庫爾勒阿瓦提鄉(xiāng)的葡萄園，2021年8月23日至8月27日，在采收期采集田間自然生長條件下紅提葡萄圖像。圖像采集設備采用2種不同圖像處理策略的智能手機，即vivo IQOO Z5和Redmi Note8 Pro分別拍攝紅提葡萄果穗的高清圖像以保證樣本的多樣性，分辨率均固定為4 624×2 601（16：9）。圖像采集時，采用隨機方式在不同角度位置拍攝不同成熟度的紅提葡萄，圖像以采集日期命名，共得到380張紅提葡萄圖像[12]，采集過程中隨機選取其中20串果穗保存并帶回。

2.2 成熟度指標

使用手持色差計測定帶回的葡萄果穗果實赤道部位的光澤明亮度L*、取值范圍為[1，100]，L*越大，表示果面亮度越高，反之越低；a*和b*表示顏色組分取值范圍[-60，+60]，+a*為紅色，-a*為綠色；+b*為黃色，-b*為藍色，其絕對值越大，顏色越深[13]。利用a*和b*計算果皮的色澤飽和度C*，果皮色調角h°用于表示色彩，通過它可以得到色彩的分區(qū)，色彩分區(qū)與色調角h°的對應關系見表1。

表1 顏色分區(qū)與色調角對應關系圖

根據上述公式計算葡萄果實顏色指數CIRG，并依據CIRG構建數據集中果皮著色度的分類標準[14]。數據集中按葡萄果皮整體的著色度不同進行等級分類，不同成熟度等級的紅提葡萄果穗圖像數分別為：L級38穗、XL級40穗、2XL級105穗、3XL級114穗、4XL級55穗、5XL級28穗。經過分類處理的不同成熟度等級的紅提葡萄果穗表皮的CIRG范圍值見下表。

2.3 數據集構建及預處理

實地拍攝的380張不同著色度的紅提葡萄圖像依據表2指標劃分葡萄成熟度的不同等級，用于構建試驗所需數據集。

表2 不同成熟度等級紅提葡萄指數

為提高神經網絡的訓練效率、模型的泛化能力及抗干擾性。首先對數據集中380張紅提葡萄圖像進行預處理：為兼顧計算速度與圖像質量，將原始圖像中的葡萄果實區(qū)域裁剪為224 px×224 px大小，并將數據集中的圖像隨機進行水平、垂直、壓縮、扭曲圖像操作，以消除特征之間量綱不同造成的影響。數據集進行預處理后得到1 520張圖像，未經處理與進行預處理后的紅提葡萄圖像如圖3。

圖3 紅提葡萄圖像的預處理

通過運行data_split.py程序進行葡萄圖像數據集的劃分，試驗將數據集中的紅提葡萄圖像按7:2:1分為訓練集（1 064張）、驗證集（304張）、測試集（152張）[15]，之后采用訓練集和驗證集對MobileNet V2模型進行訓練。

3 試驗結果與分析

采用本文數據集訓練模型后，模型訓練的準確率及交叉熵如圖4。

圖4 模型訓練的準確率及交叉熵損失量

從圖4a可以明顯的觀察到，隨著訓練迭代次數的增加，模型訓練的準確率快速提高，驗證準確率也在逐漸升高，在第30次訓練時正確率達到100%，此時，驗證準確率也最終穩(wěn)定在83%左右，表明模型訓練效果較好。圖4b可以明顯的觀察到隨著訓練迭代次數的增加，模型訓練的交叉熵損失量在減小，表示真實概率分布與預測概率分布之間的差異在不斷減小，即模型訓練過程中預測分類結果和真實分類情況越接近，表明模型預測效果就越好。

在此過程中，驗證損失量隨著迭代次數的增加，其交叉熵損失量首先呈現下降趨勢，隨后驗證損失量略有增加。該曲線表明模型經過不斷優(yōu)化后，產生了輕微的過擬合，但增加時仍然能保持比較平穩(wěn)的狀態(tài)。表明模型的預測結果較為穩(wěn)定。

分析以上兩圖可得，本文的實驗對MobileNet V2模型訓練過程較好，根據驗證曲線可知該模型能夠較為準確地完成葡萄果穗不同等級的分類任務。

本研究訓練得到的模型判別的平均時間為2.5 s。從測試集中隨機選取100張圖像上傳進行測試，測試數據集結果的混淆矩陣已做歸一化的處理，其預測結果均以概率展示，通過圖5可以直觀的觀察到對于葡萄成熟度判別任務的5個分類，經計算訓練出來的MobileNet V2模型的平均正確率為87%。該模型的最高正確率可達97%，其中模型判別XL等級的正確率最低，為72%，分析其誤判的原因主要為訓練所用的圖像劃分不夠精確，非模型自身因素。由此可見，該模型能夠較準確地判別葡萄果穗的成熟度等級。

圖5 MobileNetV2的混淆矩陣

圖6 系統界面與判別結果

最后，本文采用QT語言[16]制作了可視化的頁面，如圖6 ，系統正常運行后，點擊“上傳”選擇要上傳的樣本，從測試集中隨機選取圖像上傳系統，點擊“開始判別”即可實現葡萄果穗成熟度等級的判別。圖中所示葡萄果皮整體呈現為綠色葡萄，成熟度級別被判別為L，與表1中劃分的范圍一致。

4 結論

為提高采摘機器人對采摘對象的精準分類和定位結合自然環(huán)境下葡萄成熟度檢測面臨的實際問題[17]，利用深度學習與圖像處理相關技術進行葡萄成熟度實時檢測研究并設計了葡萄成熟度判別系統。進行了葡萄數據集的采集、圖像預處理以及數據集的制作。通過對MobileNet V2模型的訓練，實現了葡萄成熟度的實時檢測，得出以下結論：

（1）葡萄成熟度辨別系統在測試集的預測中模型的平均準確率達到了87%。

（2）采用QT語言制作的可視化的軟件界面，能夠通過簡單的點擊操作實現葡萄果穗成熟度等級的判斷。

（3）試驗結果表明，基于輕量級的卷積神經網絡MobileNet V2判別葡萄成熟度的方法具有較高的穩(wěn)定性、操作簡單且使用便捷，具有實際應用價值，可為進一步研究葡萄自動采摘機器人提供參考。