龍潔花 郭文忠 林森 文朝武 張宇 趙春江
摘要:針對(duì)目前設(shè)施農(nóng)業(yè)數(shù)字化栽培調(diào)控技術(shù)中對(duì)作物的生育期實(shí)時(shí)檢測(cè)與分類問題,提出一種改進(jìn)YO? LOv4的溫室環(huán)境下草莓生育期識(shí)別方法。該方法將注意力機(jī)制引入到Y(jié)OLOv4主干網(wǎng)絡(luò)的跨階段局部殘差模塊(Cross Stage Partial Residual ,CSPRes)中,融合草莓不同生長(zhǎng)時(shí)期的目標(biāo)特征信息,同時(shí)降低復(fù)雜背景的干擾,提高模型檢測(cè)精度的同時(shí)保證實(shí)時(shí)檢測(cè)效率。以云南地區(qū)的智能設(shè)施草莓為試驗(yàn)對(duì)象,結(jié)果表明,本研究提出的YOLOv4-CBAM (YOLOv4-Convolutional Block Attention Module)模型對(duì)開花期、果實(shí)膨大期、綠果期和成熟期草莓的檢測(cè)平均精度(Average Precision ,AP)分別為92.38%、82.45%、68.01%和 92.31%,平均精度均值(Mean Average Precision ,mAP)為83.79%,平均交并比(Mean Inetersection over Union ,mIoU)為77.88%,檢測(cè)單張圖像時(shí)間為26.13 ms。YOLOv4-CBAM 模型檢測(cè)草莓生育期的mAP相比 YOLOv4、YOLOv4-SE 、YOLOv4-SC 模型分別提高8.7%、4.82%和 1.63%。該方法可對(duì)草莓各生育期目標(biāo)進(jìn)行精準(zhǔn)識(shí)別和分類,并為設(shè)施草莓栽培的信息化、規(guī)?;{(diào)控提供有效的理論依據(jù)。
關(guān)鍵詞:目標(biāo)檢測(cè);草莓;生育期識(shí)別; YOLOv4;殘差模塊;注意力機(jī)制;損失函數(shù)
中圖分類號(hào): S126文獻(xiàn)標(biāo)志碼: A文章編號(hào):202109-SA006
引用格式:龍潔花, 郭文忠, 林森, 文朝武, 張宇, 趙春江. 改進(jìn)YOLOv4的溫室環(huán)境下草莓生育期識(shí)別方法[J].智慧農(nóng)業(yè)(中英文), 2021, 3(4):99-110.?????????????????????????????????????????????? ????????????????????????????????????LONG Jiehua, GUO Wenzhong, LIN Sen, WEN Chaowu, ZHANG Yu, ZHAO Chunjiang. Strawberry growth period recognition method under greenhouse environment based on improved YOLOv4[J]. Smart Agriculture, 2021, 3(4):99-110.(in Chinese with English abstract)
1? 引言
中國(guó)是世界上草莓生產(chǎn)和消費(fèi)的第一大國(guó),草莓生產(chǎn)是促進(jìn)中國(guó)農(nóng)民增收致富的重要經(jīng)濟(jì)作物[1]。草莓生育期可以作為灌溉、施肥、環(huán)境控制等智能管理的決策依據(jù)[2]。目前,草莓生育期的識(shí)別主要依靠人工觀測(cè),工作效率低,無法滿足實(shí)時(shí)、快速的監(jiān)測(cè)需求。近年,深度學(xué)習(xí)在作物特征識(shí)別方面開始應(yīng)用,由于溫室環(huán)境復(fù)雜,草莓各個(gè)生長(zhǎng)時(shí)期之間存在密集分布、葉片遮擋、果實(shí)重疊等因素,給草莓生育期識(shí)別帶來了困難。因此,研究一種溫室環(huán)境下草莓生育期識(shí)別方法對(duì)提高水肥一體化、溫室環(huán)控系統(tǒng)、機(jī)器人等智能裝備作業(yè)精度具有重要意義。
近年來,隨著深度學(xué)習(xí)技術(shù)在場(chǎng)景識(shí)別、物體分類等方面的研究越來越成熟[3],其對(duì)果蔬的識(shí)別也逐漸成為國(guó)內(nèi)外研究的熱點(diǎn)[4,5]。深度學(xué)習(xí)中目標(biāo)檢測(cè)模型主要分為兩類。一類是以 R- CNN (Region-Convolutional? Neural? Network)、 Faster R-CNN 和Mask R-CNN 為代表的基于候選區(qū)域的兩階段目標(biāo)檢測(cè)方法,該類方法首先產(chǎn)生目標(biāo)的候選區(qū)域,然后利用卷積網(wǎng)絡(luò)提取區(qū)域特征,對(duì)候選區(qū)域中的目標(biāo)進(jìn)行分類和回歸,識(shí)別精度高但速度較慢,難以滿足實(shí)時(shí)檢測(cè)要求[6]。 Lin和Chen[7]提出了一種基于區(qū)域的目標(biāo)檢測(cè)方法Faster R-CNN對(duì)室外草莓花朵進(jìn)行檢測(cè),檢測(cè)精度為86.1%,但檢測(cè)時(shí)間達(dá)0.118 s 。Yu 等[8]提出一種改進(jìn)的Mask R-CNN對(duì)成熟和未成熟草莓進(jìn)行分割,平均檢測(cè)精度為95.78%,但檢測(cè)速度僅為8 f/s ??梢娀趦呻A段目標(biāo)檢測(cè)方法檢測(cè)速度有待進(jìn)一步提高。另一類是以 SSD (Single Shot MultiBox Detector)、YOLO (You Only? Look Once)系列為代表的基于無侯選區(qū)域的單階段目標(biāo)檢測(cè)方法,可直接通過網(wǎng)絡(luò)產(chǎn)生目標(biāo)類別和邊界框而無需選擇候選區(qū)域,此類方法檢測(cè)速度快且識(shí)別準(zhǔn)確率較高,可滿足實(shí)時(shí)檢測(cè)要求[9]。劉小剛等[10]提出一種改進(jìn)的YOLOv3算法對(duì)復(fù)雜環(huán)境下成熟和未成熟草莓靜態(tài)圖像和動(dòng)態(tài)視頻進(jìn)行識(shí)別,對(duì)成熟和未成熟草莓的識(shí)別準(zhǔn)確率分別為97.14%和 96.51%,且每張圖片平均檢測(cè)時(shí)間為35.99 ms。趙春江等[11]提出一種級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)對(duì)溫室環(huán)境下番茄不同花期進(jìn)行檢測(cè),該方法首先采用特征金字塔網(wǎng)絡(luò)(Fea????? ture Pyramid Network ,F(xiàn)PN)分割出番茄花束區(qū)域,隨后將分割后的花束傳入YOLOv3網(wǎng)絡(luò)提取番茄不同花期的小目標(biāo)特征,以實(shí)現(xiàn)花期識(shí)別,檢測(cè)時(shí)間為12.54 ms。劉天真等[12]提出一種融入 SE (Squeeze-and-Excitation)注意力機(jī)制(Attention Mechanism)的 YOLOv3網(wǎng)絡(luò)對(duì)復(fù)雜環(huán)境下冬棗果實(shí)進(jìn)行識(shí)別,通過在YOLOv3主干網(wǎng)絡(luò)的最后兩個(gè)殘差塊后嵌入 SE 模塊,增強(qiáng)特征表達(dá)能力,試驗(yàn)表明融入 SE 的YOLOv3模型平均檢測(cè)精度為82.01%,檢測(cè)耗時(shí)0.0723 s 。可見基于單階段目標(biāo)檢測(cè)的YOLO算法在復(fù)雜環(huán)境下具有較好的識(shí)別性能和實(shí)時(shí)性。
目前研究大多只對(duì)作物成熟度或者花朵進(jìn)行識(shí)別,對(duì)作物的花期和果實(shí)生長(zhǎng)期同時(shí)識(shí)別的研究較少。本研究以不同時(shí)期的草莓圖像為研究對(duì)象,提出一種改進(jìn)YOLOv4的溫室環(huán)境下草莓生育期識(shí)別方法,將注意力機(jī)制引入YOLOv4主干網(wǎng)絡(luò)的跨階段局部殘差模塊中,增加識(shí)別草莓不同生長(zhǎng)時(shí)期目標(biāo)的特征,同時(shí)降低背景信息的干擾,以提高溫室環(huán)境下草莓生育期檢測(cè)精度,為草莓智能化生產(chǎn)管控等提供決策依據(jù)。
2? 材料與方法
2.1 樣本采集及預(yù)處理
2.1.1?? 樣本采集
草莓?dāng)?shù)據(jù)采集于云南省昆明市富民縣種植基地,品種為章姬,采用手機(jī)螢石云軟件手動(dòng)遠(yuǎn)程采集草莓圖片,鏡頭分辨率為1920×1080 px,如圖1 所示。樣本在2020年 8月 13日到2020年11月13日期間采集,歷經(jīng)3個(gè)月,分別在每天的早上、中午、下午采集一次樣本數(shù)據(jù),每次采集2張圖片,分別采集不同生長(zhǎng)階段、不同遮擋程度的草莓樣本圖片,經(jīng)篩選后共300張。為考慮模型訓(xùn)練圖片大小對(duì)計(jì)算機(jī)的性能要求,將圖片大小統(tǒng)一壓縮為960×540 px,提高網(wǎng)絡(luò)處理效率和小目標(biāo)檢測(cè)的實(shí)時(shí)性[13]。根據(jù)圖片采集情況將草莓樣本分為4個(gè)時(shí)期:開花期、果實(shí)膨大期、綠果期和成熟期,如圖2所示。其中開花期84張,果實(shí)膨大期58張,綠果期33張,成熟期87張,包含多種時(shí)期的圖片38張。
2.1.2? 樣本增強(qiáng)
為提高網(wǎng)絡(luò)模型泛化能力和魯棒性,采用數(shù)據(jù)增強(qiáng)方法增加草莓生育期樣本數(shù)量[14],防止網(wǎng)絡(luò)因訓(xùn)練樣本不足導(dǎo)致過擬合。采用左右翻轉(zhuǎn)、調(diào)整圖像的亮度、對(duì)比度,以及增加噪聲等方法對(duì)草莓生育期樣本圖片進(jìn)行數(shù)據(jù)增強(qiáng),每張圖片增強(qiáng)5次,增強(qiáng)后的草莓樣本圖片集為1500張,并按照12:2:1的比例將數(shù)據(jù)集劃分為訓(xùn)練集(1200張)、測(cè)試集(200張)和驗(yàn)證集(100張)。采用LabelImg標(biāo)注工具對(duì)每個(gè)樣本進(jìn)行人工標(biāo)注,生成一個(gè)目標(biāo)對(duì)象二維像素坐標(biāo)信息的 XML文件。
2.2 草莓生育期識(shí)別模型構(gòu)建
2.2.1?? 注意力機(jī)制
近年來,注意力機(jī)制在圖像處理、語音識(shí)別和情感分析等領(lǐng)域具有廣泛應(yīng)用[15],注意力機(jī)制通過對(duì)神經(jīng)網(wǎng)絡(luò)傳播過程中的特征通道加以不同的權(quán)重,使得網(wǎng)絡(luò)更加重視權(quán)重較大的通道以進(jìn)行參數(shù)更新[16],其核心思想在于讓神經(jīng)網(wǎng)絡(luò)能夠忽略無關(guān)特征信息而關(guān)注重要信息,從而減少任務(wù)復(fù)雜度,提高檢測(cè)效率。圖像領(lǐng)域的注意力一般集中于提取特征的通道域和實(shí)現(xiàn)像素之間的空間域,注意力圖與通道維度和空間維度中的特征圖相乘提取更加細(xì)化的信息特征。
SE (Squeeze-and-Excitation)[17]是一種從通道維度提取特征的卷積神經(jīng)網(wǎng)絡(luò)注意力機(jī)制,采用特征重標(biāo)定策略,讓網(wǎng)絡(luò)通過學(xué)習(xí)的方式自動(dòng)獲取每個(gè)特征通道的重要信息[18],主要包括壓縮和激發(fā)兩個(gè)過程,網(wǎng)絡(luò)結(jié)構(gòu)如圖3 (a)所示。壓縮階段通過全局平均池化將空間大小為 H× W×C 的特征圖壓縮成1×1×C 的一維特征向量,隨后傳入激發(fā)階段。激發(fā)階段主要由2個(gè)全連接層(Fully Connected ,F(xiàn)C)組成,第1個(gè)全連接層有 C/r 個(gè)神經(jīng)元,輸入為1×1×C ,輸出為1×1×C/r ,其中r為降維縮放參數(shù),用于壓縮全連接層參數(shù);第 2個(gè)全連接層有 C個(gè)神經(jīng)元,輸入為1×1×C/r ,輸出為1×1×C ,相比直接使用1個(gè)全連接層可更好地?cái)M合通道間復(fù)雜的非線性關(guān)系,減少模型復(fù)雜度。經(jīng) Sigmoid激活函數(shù)得到大小為1×1×C的一維向量,最后經(jīng)特征重標(biāo)定步驟,將激發(fā)階段輸出的一維向量與原輸入特征圖 S按通道權(quán)重相乘得到大小為H×W×C的輸出特征圖 S'。
CBAM ( Convolutional Block Attention Mod‐ule)[19]是一種從通道和空間兩個(gè)維度提取特征的卷積神經(jīng)網(wǎng)絡(luò)注意力機(jī)制,網(wǎng)絡(luò)結(jié)構(gòu)如圖3 (b)所示,包含 CAM (Channel AttentionModule)通道注意力機(jī)制和 SAM (Spartial At‐tention Module)空間注意力機(jī)制。CAM相比 SE多了一個(gè)并行的最大池化層,首先通過執(zhí)行平均池化和最大池化將空間大小為H×W×C 的特征圖壓縮為1×1×C的一維向量,得到當(dāng)前特征圖的全局壓縮特征量。池化后的一維向量傳入多層感知器區(qū)域(Muti-Layer? Perception , MLP), MLP 主要由2個(gè)全連接層構(gòu)成,第1個(gè)全連接層將通道維數(shù)從 C維降至 C/r 維,第2個(gè)全連接層將通道數(shù)從 C/r維增加至 C 維。經(jīng)全連接層后的特征按元素相加,再進(jìn)行 Sigmoid運(yùn)算生成大小為 1×1×C 的一維向量 Mc 。Mc 與輸入大小為 H×W×C的特征圖F按元素相乘得到大小為H× W×C 的特征圖 F'作為 SAM 模塊的輸入。SAM 輸入特征圖F'先分別在通道維度上進(jìn)行最大池化和平均池化操作得到2 個(gè)大小為 H×W×1的特征圖,將這2 個(gè)特征圖按通道維度拼接成 H×W×2的特征圖,再采用卷積核大小為3×3的卷積層對(duì)拼接后的特征圖降維至H×W×1的特征圖,通過 Sigmoid激活函數(shù)得到大小為H×W×1的空間注意力特征圖,最后將其與SAM 模塊的輸入特征圖 F'按元素相乘得到大小為 H×W×C的輸出特征圖F"。
2.2.2? 改進(jìn)的YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)
YOLOv4[20]在 YOLOv3[21]基礎(chǔ)上采用了近些年神經(jīng)網(wǎng)絡(luò)領(lǐng)域中優(yōu)秀的算法模型和訓(xùn)練技巧[22],不僅提高了物體檢測(cè)精度和速度,且對(duì)于遮擋的物體檢測(cè)性能相比YOLOv3更加優(yōu)越,能滿足實(shí)時(shí)性檢測(cè)。由于草莓各個(gè)生育期為小目標(biāo),且所處為非結(jié)構(gòu)化環(huán)境,花朵、果實(shí)之間存在密集分布、遮擋等因素,網(wǎng)絡(luò)在前向傳播過程中隨著網(wǎng)絡(luò)層數(shù)的加深,受遮擋和葉子背景干擾的小目標(biāo)特征表示愈發(fā)減弱,導(dǎo)致這些目標(biāo)的細(xì)節(jié)特征在整個(gè)深層網(wǎng)絡(luò)傳播過程中消失[23],造成漏檢測(cè)或誤檢測(cè),因此加強(qiáng)小目標(biāo)特征學(xué)習(xí)和降低背景干擾極為重要。針對(duì)此問題,本研究將注意力機(jī)制融入到Y(jié)OLOv4特征提取網(wǎng)絡(luò)中的跨階段局部殘差模塊(Cross Stage Partial Residual,CSPRes)[24]結(jié)構(gòu)中,通過增加待識(shí)別目標(biāo)區(qū)域的特征權(quán)值以降低背景信息對(duì)識(shí)別任務(wù)的干擾[25],從而提高檢測(cè)精度。改進(jìn)的YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示,主要由融入注意力機(jī)制的特征提取網(wǎng)絡(luò)、特征融合模塊,以及YOLOv3 head這3部分組成。
融入注意力機(jī)制的特征提取網(wǎng)絡(luò)主要由CBM、CSP1-SE/CBAM、CSP2-SE/CBAM、CSP8-SE/CBAM 、 CSP8-SE/CBAM 、 CSP4-SE/CBAM組成。CBM 主要由卷積(Conv)、批量歸一化(Batch Normalization ,BN)和 Mish 激活函數(shù)構(gòu)成,主要用于對(duì)特征圖進(jìn)行降維。CSPX(CrossStage Partial X)主要由CBM 卷積操作和X個(gè)殘差模塊(ResUnit)[26]級(jí)聯(lián)構(gòu)成,卷積操作對(duì)特征進(jìn)行降維,殘差模塊在淺層網(wǎng)絡(luò)和深層網(wǎng)絡(luò)間以跳躍連接的方式將輸入直接與輸出相加,用于解決深度神經(jīng)網(wǎng)絡(luò)中的梯度爆炸問題。CSPX-SE/CBAM 表示分別將 SE 通道注意力機(jī)制、CBAM 空間注意力機(jī)制融入到CSPRes結(jié)構(gòu)中用于加強(qiáng)草莓生育期目標(biāo)特征學(xué)習(xí)。特征融合模塊主要由空間金字塔池化(Spatial Pyramid Pool‐ing,SPP)[27]和路徑聚合網(wǎng)絡(luò)(Path AggregationNetwork,PANet)[28]組成。SPP使用不同尺度的最大池化核對(duì)特征圖像進(jìn)行池化操作,用于增加主干網(wǎng)絡(luò)提取特征的接收范圍;PANet將不同檢測(cè)層參數(shù)特征進(jìn)行聚合,進(jìn)一步提高特征表達(dá)能力。輸入圖像的大小首先經(jīng)網(wǎng)絡(luò)調(diào)整為416×? 416 px,通過融入注意力機(jī)制的特征提取網(wǎng)絡(luò)和特征融合模塊得到大小為52×52 px、26×26 px、13×13 px的目標(biāo)特征圖,YOLOv3 head 對(duì)這3 種不同尺度大小的特征圖進(jìn)行分類和回歸預(yù)測(cè),輸出類別和邊界框位置。
2.2.3? 融入注意力機(jī)制的特征提取網(wǎng)絡(luò)
由于注意力機(jī)制模塊可以插入到網(wǎng)絡(luò)任意位
置,考慮到不更改 CSPDarknet53的網(wǎng)絡(luò)結(jié)構(gòu)而加載預(yù)訓(xùn)練權(quán)重,本研究分別將 SE 通道注意力機(jī)制、CBAM 空間注意力機(jī)制嵌/插入到主干網(wǎng)絡(luò) CSPDarknet53的CSPRes結(jié)構(gòu)的第一層卷積前和最后一層卷積后,不會(huì)改變網(wǎng)絡(luò)結(jié)構(gòu)。融入SE? 的主干網(wǎng)絡(luò)將其稱為CSP-SE(Cross Stage Partial- Squeeze and Excitation),融入CBAM的主干網(wǎng)絡(luò)將其稱為CSP-CBAM (Cross Stage Partial-Convolutional Block Attention Module),網(wǎng)絡(luò)結(jié)構(gòu)分別如圖 5(a)和 5(b)所示。圖5 中 CSPX-SE、 CSPX-CBAM 中的X都表示跨階段局部殘差模塊個(gè)數(shù),分別為1 、2、8、8和4。同時(shí)融合注意力機(jī)制的主干網(wǎng)絡(luò)的降維縮放參數(shù) r參照SENet網(wǎng)絡(luò),設(shè)置 r =16對(duì)全連接層參數(shù)進(jìn)行壓縮,用于平衡速度和檢測(cè)性能。
如圖 5所示,CSP-SE 網(wǎng)絡(luò)結(jié)構(gòu)由 CBM、 CSP1-SE 、CSP2-SE 、2個(gè) CSP8-SE 和 CSP4-SE? 組成,CSP-CBAM 網(wǎng)絡(luò)結(jié)構(gòu)由 CBM 、 CSP1-CBAM 、 CSP2-CBAM 、2 個(gè) CSP8-CBAM 和 CSP4-CBAM 組成。CSPX-SE 和 CSPX-CBAM 結(jié)構(gòu)分別將 SE和CBAM注意力機(jī)制插入到CSPRes的第一層卷積前和最后一層卷積后,網(wǎng)絡(luò)在訓(xùn)練過程中對(duì)經(jīng)過使用注意力機(jī)制的通道維度和空間維度加以更高的特征權(quán)重,使得網(wǎng)絡(luò)更加重視權(quán)值較大的特征以進(jìn)行學(xué)習(xí),忽視無關(guān)特征信息,以提取更多目標(biāo)特征傳遞給后續(xù)特征融合模塊。
2.2.4? 草莓生育期檢測(cè)模型架構(gòu)
本研究將融入注意力機(jī)制的特征提取網(wǎng)絡(luò)作為改進(jìn)YOLOv4的主干網(wǎng)絡(luò),對(duì)草莓各個(gè)生育期進(jìn)行識(shí)別,草莓生育期檢測(cè)模型架構(gòu)如圖6所示。主要分為2 部分:第一部分為數(shù)據(jù)預(yù)處理,第二部分為草莓生育期檢測(cè)網(wǎng)絡(luò)。數(shù)據(jù)預(yù)處理在數(shù)據(jù)采集基礎(chǔ)上采用數(shù)據(jù)增強(qiáng)方法對(duì)樣本進(jìn)行擴(kuò)增,用于提高模型泛化能力。草莓生育期檢測(cè)網(wǎng)絡(luò)主要由融入注意力機(jī)制的特征提取網(wǎng)絡(luò)和特征融合模塊組成。融入注意力機(jī)制的特征提取網(wǎng)絡(luò)在訓(xùn)練時(shí)通過學(xué)習(xí)忽略無關(guān)目標(biāo)特征的信息而關(guān)注重點(diǎn)信息,提取不同時(shí)期更準(zhǔn)確的草莓特征傳入特征融合網(wǎng)絡(luò)中,特征融合模塊對(duì)不同尺度的特征進(jìn)行聚合,得到預(yù)測(cè)框和草莓類別,分別為開花期、果實(shí)膨脹期、綠果期和成熟期。網(wǎng)絡(luò)在訓(xùn)練過程中學(xué)習(xí)各個(gè)階段草莓的最重要特征并進(jìn)行區(qū)分,同時(shí)根據(jù)邊界框、類別和置信度損失函數(shù)不斷地調(diào)整模型參數(shù)使網(wǎng)絡(luò)最終達(dá)到收斂狀態(tài),得到更加準(zhǔn)確的類別預(yù)測(cè)和邊界框位置,實(shí)現(xiàn)草莓各個(gè)生育期的精準(zhǔn)檢測(cè)。
2.2.5? 損失函數(shù)
YOLO損失包含類別損失、邊界框位置損失和置信度損失。類別損失和置信度損失都采用二元交叉熵?fù)p失函數(shù),而目標(biāo)檢測(cè)中的一項(xiàng)重要任務(wù)就是確定目標(biāo)邊界框位置。改進(jìn)的YOLOv4網(wǎng)絡(luò)采用CIoU Loss (Complete IoU Loss)計(jì)算邊界框位置損失,同時(shí)考慮到了邊界框重合度、中心距離和寬高比的信息,進(jìn)一步提高模型精度。CIoU Loss計(jì)算如公式(1)所示。
LCIoU? =1 - IoU +?????????? +αν???????? (1)
其中,IoU為預(yù)測(cè)框與目標(biāo)框的交并比; b 為先驗(yàn)框的中心點(diǎn);bgt為目標(biāo)框的中心點(diǎn);ρ 為兩個(gè)中心點(diǎn)的歐式距離; c為先驗(yàn)框和目標(biāo)框之間的最小矩形的對(duì)角線距離;α 為權(quán)衡參數(shù); v 為長(zhǎng)寬比一致性衡量參數(shù)。α和 v 計(jì)算方法如公式(2)和公式(3)所示。
其中,w為預(yù)測(cè)框的寬; h為預(yù)測(cè)框的高。
3? 試驗(yàn)與結(jié)果分析
3.1 試驗(yàn)環(huán)境及參數(shù)設(shè)置
草莓檢測(cè)網(wǎng)絡(luò)均在Pytorch深度學(xué)習(xí)框架中訓(xùn)練。硬件環(huán)境為 Intel? CoreTM i7-9800X CPU@3.8 GHz×16中央處理器,16 GB 運(yùn)行內(nèi)存,12 GB 的 GeForce GTX 1080ti 顯卡。軟件環(huán)境為Ubuntu16.04系統(tǒng),網(wǎng)絡(luò)在 Anaconda3虛擬環(huán)境下運(yùn)行,配置安裝 python3.7、 Cuda10.0 和Cudnn7.4。圖片輸入大小為416×416 px。訓(xùn)練采用凍結(jié)訓(xùn)練策略。首先凍結(jié)主干網(wǎng)絡(luò)參數(shù)訓(xùn)練1000步,學(xué)習(xí)率設(shè)置為0.01,隨后解凍網(wǎng)絡(luò)訓(xùn)練2000步,學(xué)習(xí)率設(shè)置為0.001,總迭代步數(shù)為3000,采用凍結(jié)訓(xùn)練可以加快網(wǎng)絡(luò)訓(xùn)練速度,也可防止訓(xùn)練初期權(quán)重被破壞。IoU閾值設(shè)置為0.5。
3.2 試驗(yàn)評(píng)價(jià)指標(biāo)
本研究采用準(zhǔn)確率(Precision ,P)、召回率(Recall , R)、平均精度(Average? Precision, AP)、平均精度均值(Mean Average Precision,mAP)、平均交并比(Mean? Intersection? over? Union ,mIoU)作為網(wǎng)絡(luò)性能的主要評(píng)價(jià)指標(biāo)。其中mAP是衡量多類別目標(biāo)檢測(cè)模型性能的重要指標(biāo),交并比是預(yù)測(cè)框與真實(shí)框的重合程度,用來表示目標(biāo)定位精度。各評(píng)價(jià)指標(biāo)計(jì)算如公式(4)~公式(7)所示:
P =???????????????????????????????????????? (4)
R =????;???????????????????????????????????? (5)
AP =∫ P (R)dR(6)
mAP = n? AP??????????????????????????? (7)
其中,TP表示模型預(yù)測(cè)為正的正樣本個(gè)數(shù),個(gè); FP 表示模型預(yù)測(cè)為正的負(fù)樣本個(gè)數(shù),個(gè); FN表示模型預(yù)測(cè)為負(fù)的正樣本個(gè)數(shù),個(gè); TN表示模型預(yù)測(cè)為負(fù)的負(fù)樣本個(gè)數(shù),個(gè); AP 為準(zhǔn)確率在召回率上的積分,只計(jì)算單一類別精度值;mAP為每一個(gè)類別AP 的平均值,其中i為類別編號(hào),n為類別個(gè)數(shù),個(gè)。本研究中草莓生育期類別分別為開花期、果實(shí)膨大期、綠果期和成熟期,故n=4。
使用模型增量參數(shù)和平均檢測(cè)時(shí)間作為檢測(cè)速度的評(píng)估指標(biāo)。
3.3 草莓生育期檢測(cè)性能結(jié)果分析
為有效對(duì)比 YOLOv4網(wǎng)絡(luò)中融入 SE 和CBAM注意力機(jī)制的性能,將 SAM與 SE注意力機(jī)制級(jí)聯(lián)組合成先SAM空間后 SE通道的混合注意力機(jī)制,稱其為 SC (Spatial and Channel)注意力機(jī)制模塊。同時(shí)將 SC 注意力機(jī)制融入到Y(jié)OLOv4主干網(wǎng)絡(luò)的跨階段局部殘差模塊的第一層卷積前和最后一層卷積后,融入 SC 的主干網(wǎng)絡(luò)稱其為 CSP-SC (Cross Stage Partial-Spatial andChannel)。分別將 CSP-SE 、CSP-CBAM 、CSP-SC 作為改進(jìn) YOLOv4的主干網(wǎng)絡(luò),記為 YO‐LOv4-SE 、 YOLOv4-CBAM 、 YOLOv4-SC 。為驗(yàn)證融入注意力機(jī)制的改進(jìn)YOLOv4模型在溫室環(huán)境下檢測(cè)草莓生育期的性能,與YOLOv4網(wǎng)絡(luò)在測(cè)試集上對(duì)草莓開花期、果實(shí)膨大期、綠熟期和成熟期這4個(gè)生長(zhǎng)時(shí)期檢測(cè)的性能進(jìn)行對(duì)比分析,結(jié)果如表1所示。
由表1可知,YOLOv4-CBAM對(duì)不同生長(zhǎng)時(shí)期草莓檢測(cè)的mAP和mIoU相比YOLOv4分別提高 8.7%和5.53%,平均檢測(cè)時(shí)間相比YOLOv4增加 1.13 ms;YOLOv4-SC對(duì)不同生長(zhǎng)時(shí)期草莓檢測(cè)的mAP和mIoU相比 YOLOv4分別提高7.07%和2.8%,平均檢測(cè)相比 YOLOv4增加0.87 ms;YOLOv4-SE 對(duì)不同生長(zhǎng)時(shí)期草莓檢測(cè)的mAP和mIoU相比YOLOv4分別提高3.88%和2.07%,平均檢測(cè)時(shí)間相比 YOLOv4增加0.45 ms。可知在YOLOv4主干網(wǎng)絡(luò)中加入注意力機(jī)制雖然增加了模型參數(shù)數(shù)量,但模型檢測(cè)時(shí)間只是略有增加,而YOLOv4-CBAM 、YOLOv4-SC和YOLOv4-SE 檢測(cè)性能相比 YOLOv4卻有顯著提升。其次, YOLOv4-CBAM 的mAP和mIoU相比 YOLOv4- SE模型分別提高4.82%和3.46%,平均檢測(cè)時(shí)間相比YOLOv4-SE增加0.68 ms,是因?yàn)镃BAM在網(wǎng)絡(luò)結(jié)構(gòu)上比 SE 多了一個(gè)空間注意力模塊,是從通道和空間兩個(gè)維度提取草莓各個(gè)生長(zhǎng)時(shí)期的特征,使得YOLOv4-CBAM 模型相比 YOLOv4- SE更加關(guān)注于識(shí)別物體,從而提高了檢測(cè)精度和定位精度。YOLOv4-CBAM的mAP和mIoU相比YOLOv4-SC模型分別提高1.63%和2.73%,平均檢測(cè)時(shí)間相比YOLOv4-SC增加0.26 ms,是因?yàn)?SC 模塊中的 SE 結(jié)構(gòu)相比 CBAM 中的 CAM 結(jié)構(gòu)少了一個(gè)并行的最大池化層,采用并行的最大池化和平均池化組合相比,使用一個(gè)平均池化丟失的特征信息更少,得到的目標(biāo)特征更豐富,定位準(zhǔn)確度更高。綜合權(quán)衡檢測(cè)精度和網(wǎng)絡(luò)運(yùn)行時(shí)間,YOLOv4-CBAM 模型檢測(cè)不同生長(zhǎng)時(shí)期草莓更具魯棒性,滿足實(shí)時(shí)性檢測(cè)要求。
3.4 草莓生育期識(shí)別效果對(duì)比分析
本研究分別采用 YOLOv4-CBAM 、 YOLOv4-SE 、YOLOv4-SC 和 YOLOv4基于草莓圖片(隨機(jī)選取樣例1 和樣例2)對(duì)草莓生育期行預(yù)測(cè),結(jié)果如圖7所示。從圖7 中可以看到,融入注意力機(jī)制的改進(jìn)YOLOv4模型對(duì)復(fù)雜環(huán)境下不同時(shí)期的草莓均具有很好的識(shí)別效果,且能準(zhǔn)確定位不同時(shí)期的草莓目標(biāo)。
為有效對(duì)比不同模型的識(shí)別效果,對(duì)草莓各個(gè)時(shí)期進(jìn)行計(jì)數(shù),并統(tǒng)計(jì)其置信度大小,結(jié)果如表2所示,包括不同模型識(shí)別樣例1 和樣例2 中不同生長(zhǎng)時(shí)期草莓的置信度和個(gè)數(shù)結(jié)果。
從表2 (108頁)可知,YOLOv4-CBAM 對(duì)開花期、果實(shí)膨大期、綠果期和成熟期草莓識(shí)別的置信度均高于其他模型,表明 YOLOv4- CBAM 預(yù)測(cè)目標(biāo)正確概率更大。樣例1 中 YOLOv4-CBAM 、YOLOv4-SC 和 YOLOv4-SE 識(shí)別開花期和果實(shí)膨大期數(shù)量明顯多于YOLOv4,說明增加注意力機(jī)制能增加小目標(biāo)特征提取的能力。樣例2中YOLOv4識(shí)別綠果期時(shí)存在誤識(shí)別現(xiàn)象,將果實(shí)膨大期和成熟期誤識(shí)別為綠果期,綠果期和果實(shí)膨大期之間特征較為相似,被葉子遮擋的成熟期特征不明顯,導(dǎo)致YOLOv4出現(xiàn)誤識(shí)別為綠果期現(xiàn)象,且YOLOv4識(shí)別果實(shí)膨大期數(shù)量少于YOLOv4-SE 、YOLOv4-SC和YOLOv4-CBAM模型,是因?yàn)楣麑?shí)膨大期顏色特征與葉子背景特征相似,導(dǎo)致YOLOv4識(shí)別果實(shí)膨大期特征時(shí)易受葉子背景干擾,而加入注意力機(jī)制可以降低背景信息和其他特征信息的干擾。YOLOv4-SE 、YOLOv4-SC和YOLOv4-CBAM模型均無誤識(shí)別現(xiàn)象,但 YOLOv4-CBAM 模型相比 YO‐LOv4-SE 和 YOLOv4-SC 模型識(shí)別不同生長(zhǎng)時(shí)期草莓的置信度更高,且 YOLOv4-CBAM 識(shí)別果實(shí)膨大期和成熟期個(gè)數(shù)高于 YOLOv4-SE ,說明YOLOv4-CBAM 模型能提取更加全面豐富的特征,更加關(guān)注于識(shí)別目標(biāo),從而提高檢測(cè)準(zhǔn)確率。
4? 結(jié)論
本研究提出了一種融合注意力機(jī)制的改進(jìn)YOLOv4模型對(duì)不同生育期的草莓進(jìn)行識(shí)別,將注意力機(jī)制融入到 YOLOv4主干網(wǎng)絡(luò)的CSPRes的第一層卷積前和最后一層卷積后,網(wǎng)絡(luò)通過注意力機(jī)制對(duì)重要的目標(biāo)特征加以更高的特征權(quán)重,以融合草莓不同生育期的特征信息同時(shí)降低復(fù)雜背景信息的干擾,提高檢測(cè)精度。
(1)在草莓生育期測(cè)試集上試驗(yàn)結(jié)果表明,提出的 YOLOv4-CBAM 模型對(duì)草莓開花期、果實(shí)膨大期、綠果期和成熟期的檢測(cè)平均精度分別為92.38%、82.45%、68.01%和 92.31%,平均精度均值為83.79%,平均交并比為77.88%,平均檢測(cè)時(shí)間為26.13 ms。與其他融入注意力機(jī)制的模型相比,YOLOv4-CBAM 模型綜合權(quán)衡了檢測(cè)精度與網(wǎng)絡(luò)運(yùn)行速度,且定位精度最高,可滿足實(shí)時(shí)檢測(cè)草莓生育期狀態(tài)需求。
(2)融入注意力機(jī)制的改進(jìn)YOLOv4模型對(duì)不同生育期草莓的檢測(cè)精度、平均交并比均高于 YOLOv4模型,可知融入注意力機(jī)制有助于網(wǎng)絡(luò)學(xué)習(xí)更加重要的目標(biāo)特征,忽略無關(guān)特征,從而降低背景信息干擾。YOLOv4-CBAM 模型的平均檢測(cè)時(shí)間相比 YOLOv4、YOLOv4-SE 和 YOLOv4-SC模型略有增加,但對(duì)實(shí)時(shí)性檢測(cè)影響不大。針對(duì)此問題,下一步研究可構(gòu)建更加輕量級(jí)的 CBAM 模型嵌入到 YOLOv4網(wǎng)絡(luò)中,有效提高模型運(yùn)行速度的同時(shí)提高檢測(cè)精度。
參考文獻(xiàn):
[1]張更, 顏志明, 王全智, 等. 我國(guó)設(shè)施草莓無土栽培技術(shù)的研究進(jìn)展與發(fā)展建議[J].江蘇農(nóng)業(yè)科學(xué), 2019, 47(18):58-61.
ZHANG G, YAN Z, WANG Q, et al. Research prog‐ress? and? development? suggestions? of soilless? culturetechniques of China's facility strawberry[J]. Jiangsu Ag‐ricultural Sciences, 2019, 47(18):58-61.
[2]林森, 郭文忠, 鄭建鋒, 等. 基于知識(shí)圖譜和機(jī)器視覺的智慧草莓生產(chǎn)托管服務(wù)系統(tǒng)實(shí)踐[J].農(nóng)業(yè)工程技術(shù), 2021, 41(4):17-20.
LIN? S,? GUO W, ZHENG? J,? et? al. Practice? of smartstrawberry production hosting service system based onknowledge? graph? and machine vision[J]. AgriculturalEngineering Technology, 2021, 41(4):17-20.
[3]徐建鵬, 王杰, 徐祥, 等. 基于RAdam卷積神經(jīng)網(wǎng)絡(luò)的水稻生育期圖像識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào), 2021, 37(8):143-150.
XU J, WANG J, XU X, et al. Image recognition for dif‐ferent? developmental? stages? of rice by? RAdam? deepconvolutional neural networks[J]. Transactions? of theCSAE, 2021, 37(8):143-150.
[4] CHEN W, LU S, LIU B, et al. Detecting citrus in or‐chard? environment? by? using? improved? YOLOv4[J]. Scientific Programming, 2020(1):1-13.
[5] PéREZ-BORRERO???? I,??? MARíN-SANTOS???? D,GEGúNDE-ARIAS? M? E,? et? al. A fast? and? accurate deep learning method for strawberry instance segmentation[J]. Computers? and? Electronics? in? Agriculture, 2020, 178(6):105736-105748.
[6]劉芳, 劉玉坤, 林森, 等. 基于改進(jìn)型YOLO的復(fù)雜環(huán)境下番茄果實(shí)快速識(shí)別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào) , 2020, 51(6):229-237.
LIU F, LIU Y, LIN S, et al. Fast recognition method for tomatoes? under? complex? environments based? on? improved YOLO[J]. Transactions of the CSAM, 2020, 51(6):229-237.
[7] LIN P,? CHEN Y. Detection? of strawberry? flowers? inoutdoor field by deep neural network[C]//2018 IEEE 3rd? International? Conference? on? Image,? Vision? and Computing (ICIVC). Piscataway,? New? York,? USA:IEEE 2018:482-486.
[8] YU Y, ZHANG K, YANG L, et al. Fruit detection forstrawberry harvesting robot in non-structural environment based on Mask-RCNN[J]. Computers and Electronics in Agriculture, 2019(163):104846-104855.
[9]李志軍, 楊圣慧, 史德帥, 等. 基于輕量化改進(jìn) YO‐LOv5的蘋果樹產(chǎn)量測(cè)定方法[J].智慧農(nóng)業(yè), 2021, 3(2):100-114.
LI Z, YANG S, SHI D, et al. Yield estimation method of apple tree based on improved lightweight YOLOv5[J]. Smart Agriculture, 2021, 3(2):100-114.
[10] 劉小剛, 范誠(chéng), 李加念, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的草莓識(shí)別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào), 2020, 51(2):237-244.???? LIU X, FANG C, LI J, et al. Identification method of strawberry based on convolutional neural network[J]. Transactions of the CSAM, 2020, 51(2):237-244.
[11] 趙春江, 文朝武, 林森, 等. 基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的番茄花期識(shí)別檢測(cè)方法[J].農(nóng)業(yè)工程學(xué)報(bào), 2020, 36(24):143-152.
ZHAO C, WEN C, LIN S, et al. Tomato florescence recognition ?and? detection method based? on? cascaded neural network[J]. Transactions of the CSAE, 2020, 36(24):143-152.
[12] 劉天真, 滕桂法, 苑迎春, 等. 基于改進(jìn)YOLOv3的自然場(chǎng)景下冬棗果實(shí)識(shí)別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào) , 2021, 52(5):17-25.
LIU T, TENG G, YUAN Y, et al. Winter jujube fruit recognition method based on improved YOLOv3 under natural scene[J]. Transactions of the CSAM, 2021, 52(5):17-25.
[13] 劉立波, 程曉龍, 賴軍臣. 基于改進(jìn)全卷積網(wǎng)絡(luò)的棉田冠層圖像分割方法[J].農(nóng)業(yè)工程學(xué)報(bào), 2018, 34(12):193-201.
LIU L, CHENG X, LAI J, et al. Segmentation methodfor cotton canopy image based on improved fully con‐volutional? network? model[J].? Transactions? of? theCSAE, 2018, 34(12):193-201.
[14] 朱逢樂, 鄭增威. 基于圖像和卷積神經(jīng)網(wǎng)絡(luò)的蝴蝶蘭種苗生長(zhǎng)勢(shì)評(píng)估[J].農(nóng)業(yè)工程學(xué)報(bào) , 2020, 36(9):185-194.
ZHU F, ZHENG Z. Image-based assessment of growthvigor for Phalaenopsis aphrodite seedlings using con‐volutional? neural? network[J].? Transactions? of? theCSAE, 2020, 36(9):185-194.
[15] CHAUDHARI S, MITHAL V, POLATKAN G, et al.An attentive survey of attention models[J/OL]. arXiv:1904.02874v3[cs.Lg].2021.
[16] 徐誠(chéng)極, 王曉峰, 楊亞東. Attention-YOLO:引入注意力機(jī)制的 YOLO檢測(cè)算法[J].計(jì)算機(jī)工程與應(yīng)用,2019, 55(6):13-23.
XU C, WANG X, YANG Y. Attention-YOLO: YOLOdetection? algorithm? that? introduces? attention? mecha‐nism[J].? Computer? Engineering? and? Applications,2019, 55(6):13-23.
[17] HU J, SHEN L, SUN G, et al. Squeeze-and-excitationnetworks[C]// The? IEEE? conference? on? computer vi‐sion? and pattern? recognition. Piscataway, New York,USA: IEEE, 2018:2011-2023.
[18] 汶茂寧. 基于輪廓波CNN 和選擇性注意機(jī)制的高分辨 SAR 目標(biāo)檢測(cè)和分類[D].西安:西安電子科技大學(xué), 2018.
WEN M. Target detection and classification for high-resolution? SAR image based on contourlet CNN andselective attention mechanism[D]. Xi'an: Xidian Uni‐versity, 2018.
[19] WOO S, PARK J, LEE J-Y, et al. CBAM: Convolution‐al block attention module[C]// The European Confer‐ence? on? Computer? Vision(ECCV). Berlin,? German:Springer, 2018:3-19.
[20] BOCHKOVSKIY A, WANG C, LIAO H M. YOLOv4:Optimal speed and accuracy of object detection[J/OL].arXiv:2004.10934[cs.CV].2020.
[21] REDMON J, FARHAD A. YOLOv3: An incrementalimprovement[J/OL]. arXiv:1804.02767[cs.CV].2018.
[22] 蔣镕圻, 彭月平, 謝文宣, 等. 嵌入scSE模塊的改進(jìn)YOLOv4小目標(biāo)檢測(cè)算法[J].圖學(xué)學(xué)報(bào), 2021, 42(4):546-555.
JIANG R, PENG Y, XIE W, et al. Improved YOLOv4small target detection algorithm with embedded scSEmodule[J]. Journal of Graphics, 2021, 42(4):546-555.
[23] 李文濤, 張巖, 莫錦秋, 等. 基于改進(jìn)YOLOv3-tiny的田間行人與農(nóng)機(jī)障礙物檢測(cè)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào) ,2020, 51(S1):8-15, 40.
LI W, ZHANG Y, MO J, et al. Detection of pedestrian and? agricultural vehicles? in? field based? on? improved YOLOv3 tiny[J]. Transactions of the CSAM, 2020, 51(S1):8-15, 40.
[24] WANG C, LIAO H M, WU Y, et al. CSPNet: A newbackbone? that? can? enhance? learning? capability? of CNN[C]// 2020 IEEE/CVF? Conference? on? Computer Vision? and? Pattern? Recognition? Workshops. Piscataway, New York, USA: IEEE, 2020:1571-1580.
[25] 溫長(zhǎng)吉, 婁月, 張笑然, 等. 基于改進(jìn)稠密膠囊網(wǎng)絡(luò)模型的植物識(shí)別方法[J].農(nóng)業(yè)工程學(xué)報(bào), 2020, 36(8):143-155.
WEN C, LOU Y, ZHANG X, et al. Plant recognition method based on an improved dense CapsNet[J]. Trans‐actions of the CSAE, 2020, 36(8):143-155.
[26] HE K, ZHANG X, REN S, et al. Deep residual Learn‐ing? for image recognition[C]// The IEEE? Conferenceon Computer Vision and Pattern Recognition. Piscat‐away, New York, USA: IEEE, 2016:770-778.
[27] HE K, ZHANG X, REN S, et al. Spatial pyramid pool‐ing in deep convolutional networks for visual recogni‐tion[J]. IEEE Transactions on Pattern Analysis and Ma‐chine Intelligence, 2014, 37(9):1904-1916.
[28] LIU S, QI L, QIN H, et al. Path aggregation networkfor instance? segmentation[C]//2018 IEEE/CVF? Con‐zerence on Computer Vision and Pattern Recognition(CVPR). Piscataway,? New? York,? USA: IEEE, 2018:8759-8768.
Strawberry Growth Period Recognition Method Under? Greenhouse Environment Based on Improved YOLOv4
LONG Jiehua1,2, GUO Wenzhong1, LIN Sen1*, WEN Chaowu1, ZHANG Yu1, ZHAO Chunjiang1
(1. Beijing Academy of Agriculture and Forestry Sciences Intelligent Equipment Technology Research Center, Beijing 100097, China;2. College of Information Science, Shanghai Ocean University, Shanghai 201306, China)
Abstract: Aiming at the real-time detection and classification of the growth period of crops in the current digital cultivation and regulation technology of facility agriculture, an improved YOLOv4 method for identifying the growth period of strawberries in a greenhouse environment was proposed. The attention mechanism into the Cross Stage Partial Residual (CSPRes) module of the YOLOv4 backbone network was introduced, and the target feature information of different growth periods of strawberries while reducing the interference of complex backgrounds was integrated, the detection accuracy while ensured real-time detection efficiency was improved. Took the smart facility strawberry in Yunnan province as the test object, the results showed that the detection accuracy (AP) of the YOLOv4-CBAM model during flowering, fruit expansion, green and mature period were 92.38%, 82.45%, 68.01% and 92.31%, respectively, the mean average precision (mAP) was 83.78%, the mean inetersection over union (mIoU) was 77.88%, and the detection time for a single image was 26.13 ms. Compared with the YOLOv4-SC model, mAP and mIoU were increased by 1.62% and 2.73%, respectively. Compared with the YOLOv4-SE model, mAP and mIOU increased by 4.81% and 3.46%, respectively. Compared with the YOLOv4 model, mAP and mIOU increased by 8.69% and 5.53%, respectively. As the attention mechanism was added to the improved YOLOv4 model, the amount of parameters increased, but the detection time of improved YOLOv4 models only slightly increased. At the same time, the number of fruit expansion period recognized by YOLOv4 was less than that of YOLOv4-CBAM, YOLOv4-SC and YOLOv4-SE, because the color characteristics of fruit expansion period were similar to those of leaf background, which made YOLOv4 recognition susceptible to leaf background interference, and added attention mechanism could reduce background information interference. YOLOv4-CBAM had higher confidence and number of identifications in identifying strawberry growth stages than YOLOv4-SC, YOLOv4-SE and YOLOv4 models, indicated that YOLOv4-CBAM model can extract more comprehensive and rich features and focus more on identifying targets, thereby improved detection accuracy. YOLOv4-CBAM model can meet the demand for real-time detection of strawberry growth period status.