婁甜田，楊華，胡志偉

（1.山西農(nóng)業(yè)大學(xué)農(nóng)業(yè)經(jīng)濟(jì)管理學(xué)院，山西 太谷030801；2.山西農(nóng)業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，山西 太谷030801）

葡萄（Vitis vinifera）作為常見果樹樹種之一，在我國栽培范圍較為廣泛［1］。傳統(tǒng)的葡萄種植、采摘等一系列環(huán)節(jié)，均需耗費(fèi)大量人力、物力等資源。而在葡萄精準(zhǔn)種植過程中，要對其盡早進(jìn)行產(chǎn)量估計(jì)及勞動力需求預(yù)測，其關(guān)鍵步驟與有效前提是能對棚架環(huán)境下葡萄部位進(jìn)行精確監(jiān)測。計(jì)算機(jī)視覺可為葡萄自動檢測提供一種有效手段，但真實(shí)果園種植場景下漿果粘連、雜物遮擋等問題給高精度檢測帶來較大挑戰(zhàn)。

傳統(tǒng)基于機(jī)器視覺的葡萄簇分割常采用顏色、形狀、紋理等形態(tài)學(xué)特征。Badeka 等［2］基于LBP 紋理與顏色特征的組合進(jìn)行特征提取，并采用KNN 算法對紅白葡萄品種進(jìn)行分割；Behroozi等［3］基于顏色特征采用人工神經(jīng)網(wǎng)絡(luò)與遺傳算法分割葡萄簇；Reis 等［4］使用顏色映射與形態(tài)學(xué)擴(kuò)張技術(shù)對單束白紅葡萄品種進(jìn)行分割，并未考慮多束場景分割問題。上述方法均過度依賴采集圖像自身質(zhì)量，在真實(shí)種植場景下，光照條件、藤蔓遮擋、葡萄簇粘連等復(fù)雜因素均給高質(zhì)量圖像獲取帶來極大難題。因此迫切需要高魯棒性算法以對不同環(huán)境葡萄簇進(jìn)行高精度分割，而基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)CNN（Convolutional neural net?work）對圖像特征具有強(qiáng)大的表征能力［5，6］，并已在蘋果［7］、芒果［8］、柑橘［9］等水果檢測方面得到成功應(yīng)用，探討將其用于葡萄個(gè)體研究成為可能。目前基于CNN 的葡萄領(lǐng)域研究集中于種類識別［10］、產(chǎn)量估計(jì)［11］、葉片分割［12］等方面，其中針對葡萄簇的檢測與分割對產(chǎn)量估計(jì)、自動化采摘尤為重要。Santos 等［13］采 用YOLOV2/YOLOV3 與Mask-RCNN 對葡萄簇分別進(jìn)行目標(biāo)檢測與實(shí)例分割。Marani 等［14］利 用 預(yù) 訓(xùn) 練 的CNN 模 型 對 葡 萄 簇 進(jìn)行逐像素分割，準(zhǔn)確度可實(shí)現(xiàn)87.5%。但上述針對葡萄個(gè)體的研究所采用的CNN 結(jié)構(gòu)較為單一，未探討不同模型結(jié)構(gòu)下相應(yīng)數(shù)據(jù)集的分割效果，且在衡量分割準(zhǔn)確率高低上所采用的指標(biāo)較為單一，在真實(shí)種植場景下，不同葡萄簇距離拍攝鏡頭遠(yuǎn)近不一，針對不同大小的簇，勢必需要分別給予不同指標(biāo)以全方位衡量分割效果。

本文提出一種基于深度卷積網(wǎng)絡(luò)的非接觸、低成本的葡萄簇檢測與分割新方法，該方法結(jié)合不同骨干網(wǎng)絡(luò)特征提取結(jié)果與Mask R-CNN、Cascade Mask R-CNN 任務(wù)分割網(wǎng)絡(luò)進(jìn)行端到端訓(xùn)練，并研究不同學(xué)習(xí)率對模型效果影響，多條件計(jì)算各自模型AP 指標(biāo)值，在真實(shí)種植場景下，能實(shí)現(xiàn)對深度分離、漿果粘連、雜物遮擋等不同條件葡萄簇高精度檢測與分割，以期為產(chǎn)量估計(jì)與自動化采摘等提供模型支撐。

1 試驗(yàn)數(shù)據(jù)

1.1 試驗(yàn)數(shù)據(jù)說明

本文試驗(yàn)數(shù)據(jù)來源于Santos 等［13］，該數(shù)據(jù)集包括137 張共2 020 個(gè)實(shí)例標(biāo)注葡萄簇，共包含5個(gè)葡萄品種，分別為霞多麗（24 張）、品麗珠（33張）、赤霞珠（28 張）、長相思（29 張）以及西拉（23張）。前4 個(gè)品種圖像于2017 年4 月采用Canon EOS Rebel T3i 佳能1800 萬像素單反相機(jī)拍攝，其分辨率大小為2 048×1 365，西拉品種葡萄于2018 年4 月采用摩托羅拉Z2 Play 智能手機(jī)拍攝，其分辨率大小為2 048×1 536，拍攝過程中相機(jī)位于葡萄藤線間，距離藤線1～2 m。采用基于Noma等［15］提出的基于圖匹配的交互式圖像分割方法，使用多邊形形狀對葡萄對象進(jìn)行實(shí)例級精確標(biāo)注。不同品種部分圖像標(biāo)注結(jié)果如圖1.a 所示，該數(shù)據(jù)集能反映真實(shí)場景，并未對果園葡萄植株進(jìn)行修剪、脫葉及其他任何干預(yù)型處理。

圖1 數(shù)據(jù)集展示及預(yù)處理Fig.1 Dataset display and preprocessing

1.2 試驗(yàn)數(shù)據(jù)預(yù)處理

為獲得模型有效輸入，對Santos 等原始數(shù)據(jù)集經(jīng)過如圖1.b 所示2 步預(yù)處理操作以得到適用于本文模型的真實(shí)果園種植環(huán)境下的葡萄檢測與分割數(shù)據(jù)集：

（1）為降低模型顯存占用率，減少運(yùn)算量，加速模型訓(xùn)練速度，對原始數(shù)據(jù)集及其標(biāo)注結(jié)果進(jìn)行恒等放縮變換，變換后霞多麗、品麗珠、赤霞珠、長相思品種圖像分辨率大小變?yōu)? 024×682，西拉品種圖像變?yōu)? 024×768，其過程如圖1. b 中①所示。

（2）為豐富數(shù)據(jù)集，提升模型泛化能力，考慮到初始數(shù)據(jù)集訓(xùn)練樣本較少不足，對（1）處理圖片進(jìn)行數(shù)據(jù)增強(qiáng)操作，每張圖片僅以50%概率隨機(jī)執(zhí)行加入高斯噪聲、翻轉(zhuǎn)180°以及改變亮度值中的1～3 種變換生成4 張?jiān)鰪?qiáng)圖片，其中亮度值的閾值修改范圍為0.5～1.5，大于1 表示調(diào)暗，小于1表示調(diào)亮，其過程如圖1.b 中②所示。

經(jīng)上述2 步處理后，共獲得標(biāo)注圖片685 張，按照通用數(shù)據(jù)集劃分策略［16］，將其以14∶3∶3 的比例劃分為訓(xùn)練集、驗(yàn)證集與測試集，其中訓(xùn)練集大小為481 張，驗(yàn)證集與測試集均包括102 張圖片。

2 葡萄檢測與分割模型

2.1 Mask R?CNN 模型

Mask R-CNN 是 在Faster R-CNN［17］基 礎(chǔ) 上發(fā)展而來，其由4 部分組成，分別為特征提?。ㄈ鏡esNet［6］系列網(wǎng)絡(luò)）與組合網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）、區(qū)域提交網(wǎng)絡(luò)（Region Proposal Network，RPN）、ROIAlign 以及功能性網(wǎng)絡(luò)，其模型結(jié)構(gòu)如圖2 所示，圖中編號①～④分別對應(yīng)上述4 個(gè)組成模塊。

ResNet 網(wǎng)絡(luò)常被用于骨干網(wǎng)絡(luò)以對輸入圖像進(jìn)行特征提取，為解決深度網(wǎng)絡(luò)訓(xùn)練過程中的退化問題，其將殘差思想引入網(wǎng)絡(luò)結(jié)構(gòu)中，在深層網(wǎng)絡(luò)與淺層網(wǎng)絡(luò)間引入跳躍連接以在增加網(wǎng)絡(luò)層數(shù)的同時(shí)避免出現(xiàn)準(zhǔn)確率飽和甚至下降現(xiàn)象，此外，ResNet 系列網(wǎng)絡(luò)在訓(xùn)練中將不同特征圖大小通過stage 階段方式組織，其可作為后續(xù)FPN 特征組合網(wǎng)絡(luò)的有效輸入；FPN 用于對骨干網(wǎng)絡(luò)不同階段不同大小特征提取結(jié)果進(jìn)行有效融合，與常規(guī)網(wǎng)絡(luò)結(jié)構(gòu)僅采用最后一層輸出作為最終特征提取結(jié)果不同，F(xiàn)PN 充分融合骨干網(wǎng)絡(luò)提取的底層到高層間的特征圖，不同層級特征圖對不同大小物體敏感度不同，使得Mask R-CNN 對于小目標(biāo)個(gè)體的檢測與分割同樣有效；區(qū)域提交網(wǎng)絡(luò)RPN［17］主要用于提取候選區(qū)域，RPN 作為一個(gè)輕量的神經(jīng)網(wǎng)絡(luò)，其通過滑動窗口掃描特征圖的方式進(jìn)行卷積操作，并結(jié)合不同尺寸與長寬比以生成稱為an?chor 的互相重疊區(qū)域，并為每個(gè)anchor 預(yù)置位置信息，對于每個(gè)anchor 輸出兩類信息，第1 類為對an?chor 前景或背景類別的預(yù)測，前景類別代表在該anchor 中以一定概率存在某類或者多類目標(biāo)，背景類別指待檢測目標(biāo)以外的其余物體，在后續(xù)目標(biāo)與特征圖指派過程中，該部分信息將會濾除；第2類信息是對預(yù)置邊框位置的精調(diào)，在目標(biāo)中心與前景anchor 的中心間存在偏移時(shí)，輸出位置變化百分比以精確調(diào)整anchor，以對目標(biāo)位置的擬合更為準(zhǔn)確，在前景中出現(xiàn)多個(gè)anchor 互相重疊時(shí)，通過非極大值抑制方法（non maximum suppression，NMS）［18］濾除低分的anchor，保留高分anchor 以最終生成感興趣區(qū)域；Mask R-CNN 通過引入ROIAlign 以解決特征圖與原始圖像不對準(zhǔn)問題，其 是 在ROIPooling［17］基 礎(chǔ) 上 改 進(jìn) 得 到，在ROIPooling 在將候選框處理為相同大小特征圖過程中，通過兩次量化取整操作使得候選區(qū)域中目標(biāo)位置出現(xiàn)較為明顯的偏差，ROIAlign 取消量化操作，使用雙線性插值的方法獲得坐標(biāo)為浮點(diǎn)數(shù)的像素點(diǎn)上的圖像數(shù)值，從而將整個(gè)特征聚集過程轉(zhuǎn)換為一個(gè)連續(xù)操作，使帶有候選區(qū)信息的特征圖內(nèi)目標(biāo)位置更為準(zhǔn)確；功能性網(wǎng)絡(luò)主要包括兩部分，如圖2 中④所示，對于輸入特征圖E1～E3，分別經(jīng)過兩路分支以實(shí)現(xiàn)不同的任務(wù)，上行分支主要經(jīng)過全連接層以進(jìn)行目標(biāo)類別劃分以及目標(biāo)框位置定位操作，下行分支經(jīng)過全連接網(wǎng)絡(luò)以對目標(biāo)進(jìn)行分割。綜合上下行分支，可以對目標(biāo)個(gè)體類別、個(gè)體位置以及個(gè)體像素區(qū)域進(jìn)行多種任務(wù)實(shí)現(xiàn)。

Mask R-CNN 對輸入圖像經(jīng)過ResNet 等骨干網(wǎng)絡(luò)進(jìn)行特征提取并引入FPN 對ResNet 不同階段特征進(jìn)行融合以生成卷積特征圖C1～C4，并將其作為RPN 區(qū)域提交網(wǎng)絡(luò)輸入以生成建議窗口，將建議窗口映射到C1～C4 特征圖上以生成可能包含目標(biāo)個(gè)體的卷積特征子圖D1～D3，后將其作為ROIAlign 層輸入轉(zhuǎn)換為固定尺寸大小特征圖E1～E3，并利用全連接層進(jìn)行目標(biāo)分類與目標(biāo)框定位，利用全卷積層進(jìn)行目標(biāo)分割以得到最終輸出。

2.2 Cascade Mask R?CNN 模型

Cascade Mask R-CNN 網(wǎng) 絡(luò) 是 由Cai 等［19］提出，其核心模型結(jié)構(gòu)如圖3（b）所示。與3（a）中Mask R-CNN 不同的是，Cascade Mask R-CNN 通過串行級聯(lián)幾個(gè)檢測網(wǎng)絡(luò)以達(dá)到不斷優(yōu)化預(yù)測的目的，與普通級聯(lián)不同，Cascade Mask R-CNN 的幾個(gè)檢測網(wǎng)絡(luò)是基于不同IOU［20］閾值確定的正負(fù)樣本上訓(xùn)練得到，前一個(gè)檢測模型的輸出作為后一個(gè)檢測模型的輸入，位置越靠后的檢測模型，其界定正負(fù)樣本的IOU 閾值越大，如圖3（b）中①～③分別對應(yīng)的IOU 閾值為0.5、0.6、0.7。

與Mask R-CNN 類似，Cascade Mask R-CNN對輸入圖像經(jīng)過骨干網(wǎng)絡(luò)特征提取、FPN 進(jìn)行特征融合，由RPN 通過映射關(guān)系生成一系列可能存在目標(biāo)的候選窗口，首先將其輸入閾值為0.5 的檢測網(wǎng)絡(luò)H1 中（包括分類器、目標(biāo)框回歸器及其目標(biāo)分割器），對識別過程中存在目標(biāo)的特征圖，將其目標(biāo)回歸器與目標(biāo)分割器修正后的新區(qū)域送入閾值為0.6 的檢測網(wǎng)絡(luò)H2，將H2 子網(wǎng)絡(luò)輸出的新區(qū)域位置及分割結(jié)果送入閾值為0.7 的檢測子網(wǎng)絡(luò)H3，最終將H3 子網(wǎng)絡(luò)輸出的分類、目標(biāo)框位置及其分割結(jié)果作為Cascade Mask R-CNN 的輸出。由于采用多閾值檢測子網(wǎng)絡(luò)的級聯(lián)結(jié)構(gòu)，級聯(lián)順序按照閾值由小到大排列，不斷修正目標(biāo)位置及其像素點(diǎn)區(qū)域，解決了傳統(tǒng)單個(gè)網(wǎng)絡(luò)設(shè)置閾值時(shí)對高閾值正樣本數(shù)量不足及低閾值對高IOU 區(qū)域修正效果降低間的矛盾。

3 訓(xùn)練參數(shù)設(shè)置及模型評價(jià)指標(biāo)

3.1 訓(xùn)練參數(shù)設(shè)置

試驗(yàn)運(yùn)行平臺配置為16GB Tesla V100 GPU，系統(tǒng)為Ubuntu16.04，采用PyTorch 框架進(jìn)行模型代碼編寫。一個(gè)批次訓(xùn)練8 張圖片，遍歷全部訓(xùn)練集數(shù)據(jù)稱為1 輪迭代，試驗(yàn)中設(shè)置迭代輪數(shù)為32。圖像尺寸大小為1 024×682 與1 024×768，數(shù)據(jù)集增強(qiáng)前的大小為137，數(shù)據(jù)增強(qiáng)后總數(shù)據(jù)集大小為685，將其劃分為訓(xùn)練集、驗(yàn)證集與測試集，其中訓(xùn)練集大小為481，測試集與驗(yàn)證集大小均為102。采用SGD 作為優(yōu)化器，優(yōu)化器學(xué)習(xí)率設(shè)置為0.02（4.2 節(jié)會針對不同學(xué)習(xí)率大小進(jìn)行對比實(shí)驗(yàn)），為加速模型收斂避免陷入局部最優(yōu)解或者跳過最優(yōu)解，設(shè)置權(quán)值衰減weight_decay 參數(shù)為0.0001，設(shè)置動量momentum 為0.9。將圖像輸入骨干網(wǎng)絡(luò)前，對三通道值進(jìn)行均值為（123.675，116.28，103.53）方差為（58.395，57.12，57.375）的歸一化處理，計(jì)算AP 指標(biāo)時(shí)，采用與COCO［21］一致的指標(biāo)定義方式。對于Mask R-CNN 任務(wù)網(wǎng)絡(luò)，模型訓(xùn)練過程中采用0.5 大小閾值進(jìn)行目標(biāo)框位置篩選，對于Cascade Mask R-CNN 任務(wù)網(wǎng)絡(luò)，模型訓(xùn)練過程中其3 個(gè)級聯(lián)網(wǎng)絡(luò)分別采用0.5、0.6與0.7 大小的IOU 閾值進(jìn)行目標(biāo)框位置篩選。

3.2 模型評價(jià)指標(biāo)

模型指標(biāo)采用檢測與實(shí)例分割領(lǐng)域公認(rèn)的檢測精度AP 作為評價(jià)標(biāo)準(zhǔn)以衡量模型對果園種植場景下葡萄簇的檢測與分割能力。AP 表示精確率-召回率（Precision-Recall）曲線下方面積，其公式化表示如式（1），（2），（3）所示?？紤]到選用不同的IOU 直接影響TP 與FP 值進(jìn)而造成AP 指標(biāo)值波動，選用0.5、0.75、0.5∶0.05∶0.95（其中0.05表示增長步長）3 種IOU 閾值分別記為AP0.5、AP0.75、AP0.5：0.95以衡量不同條件下模型檢測與分割預(yù)測情況。同時(shí)考慮到葡萄簇?cái)z像頭間距離以及葡萄簇大小差異帶來的簇個(gè)體占圖像比重問題，將葡萄簇大小分為中等目標(biāo)（322<簇大小所占區(qū)域面積<962）與大目標(biāo)（簇大小所占區(qū)域面積>962），并在IOU 值為0.5～0.95 間單獨(dú)計(jì)算不同大小目標(biāo)下的AP 指標(biāo)值，分別記為AP0.5：0.95-medium與AP0.5：0.95-large。

其中TP 表示模型預(yù)測為葡萄個(gè)體框（像素）且實(shí)際為葡萄部位（像素）的樣本數(shù)量，F(xiàn)P 表示模型預(yù)測為葡萄個(gè)體框（像素）但實(shí)際不為葡萄個(gè)體（像素）的樣本數(shù)，F(xiàn)N 表示預(yù)測為背景但實(shí)際為葡萄個(gè)體框（像素）的樣本數(shù)量。

4 結(jié)果與分析

4.1 不同骨干網(wǎng)絡(luò)對預(yù)測性能影響

骨干網(wǎng)絡(luò)作為各種CNN 模型的共享結(jié)構(gòu)，常被用于特征預(yù)提取操作。為探究不同骨干網(wǎng)絡(luò)對模型檢測與分割的影響狀況，選取2 種常見ResNet 衍生版本（ResNet50 與ResNet101）對輸入圖像分別進(jìn)行特征提取，并將提取結(jié)果分別作為Mask-RCNN 與Cascade-Mask-RCNN 任 務(wù) 網(wǎng) 絡(luò)的輸入，最終計(jì)算其在測試集上的檢測與分割A(yù)P指標(biāo)值。

4.1.1 對葡萄檢測性能影響

表1 為ResNet50（R50）與ResNet101（R101）兩種骨干網(wǎng)絡(luò)特征提取結(jié)果在測試集上Mask RCNN 與Cascade Mask R-CNN 兩種任務(wù)網(wǎng)絡(luò)對葡萄簇檢測框預(yù)測的AP 指標(biāo)值狀況。

表1 不同任務(wù)網(wǎng)絡(luò)在不同骨干網(wǎng)絡(luò)下不同IOU 閾值檢測AP 指標(biāo)值狀況Table 1 AP index value status of different IOU thresholds for different task networks under different backbone networks

試驗(yàn)結(jié)果表明：

（1）不同骨干網(wǎng)絡(luò)對Mask R-CNN 與Cascade Mask R-CNN 任務(wù)網(wǎng)絡(luò)葡萄檢測框預(yù)測效果不一。對于Mask R-CNN 任務(wù)網(wǎng)絡(luò)，以R50 作為骨干網(wǎng)絡(luò)的效果優(yōu)于R101，在AP0.75指標(biāo)上提升22.3%，而對于Cascade Mask R-CNN 模型，R50骨 干 網(wǎng) 絡(luò) 遜 于R101，在AP0.5：0.95-large指 標(biāo) 上，R101超過R50 骨干網(wǎng)絡(luò)1.6%，說明對于不同任務(wù)網(wǎng)絡(luò)，骨干網(wǎng)絡(luò)的選取對預(yù)測效果有一定影響，與R50 相比，雖然R101 網(wǎng)絡(luò)更深，理論上可提取更為復(fù)雜的局部信息，但對于特定任務(wù)相關(guān)網(wǎng)絡(luò)，并非骨干網(wǎng)絡(luò)越深，對任務(wù)更有利。

（2）同一骨干網(wǎng)絡(luò)，采用不同任務(wù)網(wǎng)絡(luò)，葡萄位置檢測精度不一。采用Cascade Mask R-CNN作為檢測任務(wù)網(wǎng)絡(luò)，其檢測精度明顯優(yōu)于Mask RCNN 網(wǎng)絡(luò)，在AP0.75指標(biāo)上，以R50 作為骨干網(wǎng)絡(luò)條件下，前者先較于后者提升8.8%。說明即使以相同的特征提取結(jié)果作為輸入，選用不同的任務(wù)相關(guān)網(wǎng)絡(luò)仍會帶來不同的性能，且以級聯(lián)方式充分融合多種IOU 閾值檢測結(jié)果的模型Cascade Mask R-CNN 顯然具有更優(yōu)的檢測效果。

4.1.2 對葡萄分割性能影響

表2 為ResNet50（R50）與ResNet101（R101）兩種骨干網(wǎng)絡(luò)特征提取結(jié)果在測試集上采用Mask R-CNN 與Cascade Mask R-CNN 任 務(wù) 網(wǎng) 絡(luò)對葡萄簇分割預(yù)測的AP 指標(biāo)值狀況。

表2 不同任務(wù)網(wǎng)絡(luò)在不同骨干網(wǎng)絡(luò)下不同IOU 閾值分割A(yù)P 指標(biāo)值狀況Table 2 AP index values of different IOU thresholds for different task networks under different backbone networks

試驗(yàn)結(jié)果表明：

（1）不同骨干網(wǎng)絡(luò)的選取對模型分割結(jié)果有一定影響。在采用不同任務(wù)網(wǎng)絡(luò)條件下，選用R50骨干網(wǎng)絡(luò)的各個(gè)分割A(yù)P 指標(biāo)值優(yōu)于選用R101 的網(wǎng)絡(luò)，以Cascade Mask R-CNN 作為任務(wù)網(wǎng)絡(luò)為例，在AP 指標(biāo)上，選用R50 骨干網(wǎng)絡(luò)比R101 提升2%～13.5%，說明，即使對于較為復(fù)雜的骨干網(wǎng)絡(luò)理論上可以抽取更為豐富的特征，但對于下游任務(wù)網(wǎng)絡(luò)而言可能并非骨干網(wǎng)絡(luò)越深，其任務(wù)效果越佳，實(shí)際中需根據(jù)數(shù)據(jù)及任務(wù)特點(diǎn)選用合適深度的骨干網(wǎng)絡(luò)。

（2）對于同一骨干網(wǎng)絡(luò)，選用不同的任務(wù)網(wǎng)絡(luò)分割結(jié)果存在較大差異，且采用Cascade Mask RCNN 作為任務(wù)網(wǎng)絡(luò)在各個(gè)AP 指標(biāo)上性能均優(yōu)于Mask R-CNN。以R50 作為骨干網(wǎng)絡(luò)，選用Cas?cade Mask R-CNN 作為任務(wù)網(wǎng)絡(luò)比Mask R-CNN在AP0.75指標(biāo)上提升4.4%，即使在提升幅度不明顯的AP0.5指標(biāo)上仍能帶來0.7%的性能提升，說明即使選用相同的骨干網(wǎng)絡(luò)，任務(wù)網(wǎng)絡(luò)的選取對分割性能的進(jìn)一步提升仍具有重要意義，且其帶來的提升幅度弱于骨干網(wǎng)絡(luò)。

4.2 不同大小學(xué)習(xí)率對預(yù)測性能影響

學(xué)習(xí)率（Learning Rate，LR）是指導(dǎo)模型通過損失函數(shù)的梯度調(diào)整網(wǎng)絡(luò)權(quán)重的超參數(shù)，學(xué)習(xí)率越低，損失函數(shù)變化速度越慢，模型收斂需要的時(shí)間越長，且降低的學(xué)習(xí)率大小容易使模型陷入局部最優(yōu)解。而學(xué)習(xí)率較高，損失函數(shù)變化震蕩幅度較大，不利于模型的穩(wěn)定性，為探討不同學(xué)習(xí)率對Mask R-CNN-R50 與Cascade Mask R-CNNR50 任務(wù)網(wǎng)絡(luò)的影響程度以選用合適的學(xué)習(xí)率大小，本文以R50 為骨干網(wǎng)絡(luò)，以0.005 大小步長在0.005～0.03 間選用6 個(gè)不同學(xué)習(xí)率在2 大任務(wù)網(wǎng)絡(luò)上進(jìn)行試驗(yàn)。

4.2.1 對葡萄檢測性能影響

表3 為Mask R-CNN 與Cascade Mask RCNN 在以R50 作為骨干網(wǎng)絡(luò)在不同學(xué)習(xí)率條件下的檢測AP 指標(biāo)值狀況。試驗(yàn)結(jié)果表明，隨著學(xué)習(xí)率大小的增加，不同IOU 閾值的檢測AP 指標(biāo)值出現(xiàn)先增加后減小的現(xiàn)象。Mask R-CNN-R50 與Cascade Mask R-CNN-R50 分別在LR 等于0.02與0.025 下各個(gè)IOU 閾值A(chǔ)P 指標(biāo)值效果最佳。以Mask R-CNN-R50 為 例，在LR 選 取 為0.02 與LR 為0.005 相比在AP0.75指標(biāo)上提升15.8%，即使在提升幅度不為明顯的AP0.5指標(biāo)上仍然能獲得4%的性能提升。說明選用不用的學(xué)習(xí)率對于模型檢測位置準(zhǔn)確率具有一定影響，且學(xué)習(xí)率大小與檢測精度間不存在正比關(guān)系，這是因?yàn)閷W(xué)習(xí)率主要用于訓(xùn)練過程中最優(yōu)參數(shù)的迭代更新，選用較大的學(xué)習(xí)率可能會因?yàn)楦逻^大跳過模型的最優(yōu)解，而選用較小的學(xué)習(xí)率可能使模型參數(shù)始終處于較小更新中，導(dǎo)致模型只獲得局部最優(yōu)解。

表3 模型在不同學(xué)習(xí)率條件下的不同IOU 閾值檢測AP 指標(biāo)值狀況Table 3 The status of AP indicators under different IOU thresholds under different learning rate conditions

4.2.2 對葡萄分割性能影響

表4 為Mask R-CNN 與Cascade Mask RCNN 在以R50 作為骨干網(wǎng)絡(luò)在不同學(xué)習(xí)率條件下的分割A(yù)P 指標(biāo)值狀況。試驗(yàn)結(jié)果表明，Mask RCNN-R50 與Cascade Mask R-CNN-R50 均 在LR等于0.02 條件下各個(gè)IOU 閾值分割A(yù)P 指標(biāo)值最佳，且在選用相同學(xué)習(xí)率時(shí)，Cascade Mask RCNN-R50 模型優(yōu)于Mask R-CNN-R50。兩大模型在學(xué)習(xí)率遞增過程中同樣出現(xiàn)先增加后減小現(xiàn)象。以Cascade Mask R-CNN-R50 為 例，LR 選 用為0.02 比LR 等 于0.005 與0.03 在AP0.75指 標(biāo) 上分別提升28.4%、14.5%，在AP0.5：0.95指標(biāo)上提升18.7%與11.6%，即使在提升幅度不是很明顯的AP0.5指標(biāo)上，LR 為0.02 條件下比其他學(xué)習(xí)率大小提升0.5%～4.6%。說明學(xué)習(xí)率大小的選用會影響分割結(jié)果的好壞，且并非在檢測效果較好的學(xué)習(xí)率上分割效果也相應(yīng)最佳（如Cascade Mask R-CNN-R50 在LR 為0.025 時(shí)檢測效果最佳但在LR 為0.02 時(shí)分割效果最佳），這是因?yàn)闄z測與分割分屬于2 種不同任務(wù)，Mask R-CNN-R50 與Cascade Mask R-CNN-R50 兩大任務(wù)網(wǎng)絡(luò)將2 種任務(wù)整合于同一框架，但2 種任務(wù)采用的損失函數(shù)以及優(yōu)化策略存在一定差異，因而并非選用相同學(xué)習(xí)率能夠?qū)烧咄瑫r(shí)起到性能提升作用，實(shí)際中可綜合考量對檢測與分割任務(wù)的傾向度以選擇合適的學(xué)習(xí)率大小。

表4 任務(wù)網(wǎng)絡(luò)在不同學(xué)習(xí)率條件下不同IOU 閾值分割A(yù)P 指標(biāo)值狀況Table 4 AP index values of different IOU thresholds under different learning rate conditions

4.3 不同大小學(xué)習(xí)率下預(yù)測精確率與損失函數(shù)值變化曲線分析

為更加直觀觀察不同學(xué)習(xí)率條件下訓(xùn)練過程中訓(xùn)練精度與損失函數(shù)變化情況，對以R50 為骨干網(wǎng)絡(luò)的Mask R-CNN-R50 與Cascade Mask RCNN-R50 兩大任務(wù)網(wǎng)絡(luò)訓(xùn)練過程精度與損失函數(shù)值繪制折線圖如圖4 所示，其中準(zhǔn)確率為分類精度、檢測精度以及分割精度3 者的平均值，其值越大，效果越佳，損失函數(shù)值為分類損失、檢測損失以及分割損失3者的平均值，其值越小，效果越好。

圖4 不同大小學(xué)習(xí)率下模型預(yù)測精度與損失函數(shù)變化曲線Fig.4 Model prediction accuracy and change curve of loss function under different learning rates

試驗(yàn)結(jié)果表明，以Mask R-CNN-R50 為模型條件下，LR 選取0.03 時(shí)效果最差，而將LR 選取為0.02 時(shí)，從第8 輪迭代開始均能取得較高的精度值與較低的損失值。而對于Cascade Mask R-CNNR50 模型，在選用不同LR 大小的初期，各個(gè)子模型能取得相近的精度，但隨著迭代的深入，從第6輪迭代開始，LR 等于0.025 的模型優(yōu)勢更為明顯，說明選用不同的LR 在模型訓(xùn)練初期，其均能很好的更新模型權(quán)重以使得模型趨向于最優(yōu)值，但隨著迭代次數(shù)的增加，選用不合適大小的LR 可能會導(dǎo)致跳過全局最優(yōu)值或限于局部最優(yōu)值，在實(shí)際的訓(xùn)練過程中需嘗試多個(gè)不同的LR 以在不改變模型結(jié)構(gòu)的基礎(chǔ)上進(jìn)一步提升模型精度。

4.4 不同場景下模型預(yù)測結(jié)果可視化

為進(jìn)一步研究模型在不同場景下的魯棒性，將測試集分為深度分離、漿果粘連、雜物遮擋3 種情形對其進(jìn)行分割與檢測可視化，其部分可視化結(jié)果如圖5 所示。

圖5 不同場景檢測與分割可視化Fig.5 Different scene detection and segmentation visualization

從中得知，Cascade Mask R-CNN-R50 模型在3 種場景下的分割與檢測效果最佳，Mask RCNN-R101 效果最差。對于雜物遮擋（如葡萄莖稈與葡萄葉片等）情形，即使有葉片遮擋葡萄簇個(gè)體（圖5 中雜物遮擋列圖像內(nèi)編號為①與④的葡萄簇），Cascade Mask R-CNN-R50 仍然能夠?qū)⑵溆行Х指畛鰜?，且分割邊緣更為圓潤，但對于Mask R-CNN-R50，其將葉片也作為葡萄簇個(gè)體進(jìn)行了分割，這不利于實(shí)際中產(chǎn)量估計(jì)。對于漿果粘連情況，Mask R-CNN-R50 分割結(jié)果較為粗糙，分割粘連度較高，其將本不屬于葡萄簇個(gè)體的部分錯(cuò)誤的歸為葡萄個(gè)體，而Cascade Mask R-CNN-R50分割更為精細(xì)，即使在葡萄簇中出現(xiàn)莖稈等信息（圖5 中漿果粘連列圖像內(nèi)編號為①的葡萄簇），其仍能剔除莖稈影響，考慮到上述不同場景中Cas?cade Mask R-CNN-R50 能夠取得最好的分割性能，實(shí)際中可將其作為產(chǎn)量估計(jì)的參考模型。

5 討論與結(jié)論

本文基于深度卷積網(wǎng)絡(luò)理論，構(gòu)建不同骨干網(wǎng)絡(luò)與Mask R-CNN、Cascade Mask R-CNN 分割任務(wù)網(wǎng)絡(luò)結(jié)合模型進(jìn)行端到端訓(xùn)練，研究不同學(xué)習(xí)率對模型效果影響，且分析不同學(xué)習(xí)率條件下Mask R-CNN-R50、Cascade Mask R-CNN-R50模型在訓(xùn)練過程中的精度與損失函數(shù)變化情況，并對不同果園場景下的檢測結(jié)果進(jìn)行可視化展示，主要結(jié)論如下：

（1）不同骨干網(wǎng)絡(luò)對Mask R-CNN 與Cascade Mask R-CNN 等任務(wù)網(wǎng)絡(luò)葡萄簇檢測與分割效果具有一定影響。選用R50 作為骨干網(wǎng)絡(luò)的效果一般情況優(yōu)于R101，在分割結(jié)果上，以Cascade Mask R-CNN 為任務(wù)網(wǎng)絡(luò)，選用R50 骨干網(wǎng)絡(luò)比R101 提升2%～13.5%，表明并非骨干網(wǎng)絡(luò)越深，效果越佳。

（2）相同骨干網(wǎng)絡(luò)條件下，不同任務(wù)網(wǎng)絡(luò)預(yù)測AP 指標(biāo)值存在差異。以Cascade Mask R-CNN 為任務(wù)網(wǎng)絡(luò)獲得的葡萄簇分割與檢測各個(gè)AP 值更優(yōu)，且能在骨干網(wǎng)絡(luò)帶來性能提升的基礎(chǔ)上進(jìn)一步加大提升幅度，說明結(jié)構(gòu)較好的任務(wù)網(wǎng)絡(luò)對于任務(wù)精度具有積極作用。

（3）以R50 作為骨干網(wǎng)絡(luò)不同大小學(xué)習(xí)率對分割與檢測AP 指標(biāo)值帶來較大程度變化。兩大任務(wù)網(wǎng)絡(luò)在學(xué)習(xí)率遞增過程中各AP 值先增加后減小，綜合考慮各AP 指標(biāo)值狀況，在學(xué)習(xí)率為0.02 條件下，2 大任務(wù)網(wǎng)絡(luò)效果較好。

（4）對比分析深度分離、漿果粘連、雜物遮擋等果園場景下預(yù)測可視化結(jié)果，Cascade Mask RCNN-R50 模型的葡萄簇分割與檢測效果最佳，Mask R-CNN-R101 效果最差。

本文為真實(shí)種植場景下非接觸、低成本的葡萄簇檢測與分割提供新方法，能實(shí)現(xiàn)對深度分離、漿果粘連、雜物遮擋等不同條件葡萄簇高精度檢測與分割，其可為為產(chǎn)量估計(jì)與自動化采摘等實(shí)際生產(chǎn)提供模型支撐。