路喬寬,張驚雷

基于無錨框YOLO檢測網(wǎng)絡(luò)的麥穗檢測方法

路喬寬,張驚雷*

天津理工大學(xué)電氣工程與自動化學(xué)院, 天津 300384

小麥產(chǎn)量可由單位面積的小麥麥穗總數(shù)估算得出。基于采集小麥圖像序列特征并進(jìn)行檢測的方法受光照等因素影響大，檢測精度不高。為準(zhǔn)確定位麥穗位置，估計麥穗數(shù)量，引入深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行麥穗檢測工作。針對麥穗比例多樣，先驗錨框設(shè)定無法完美契合的弊端，舍棄了目標(biāo)檢測網(wǎng)絡(luò)中常用的矩形先驗錨定框（anchor），提出了一種基于YOLO框架的無錨框（anchor-free）麥穗目標(biāo)檢測方法。采用CSPDarkNet53作為特征提取網(wǎng)絡(luò)，中間層采用特征圖金字塔網(wǎng)絡(luò)結(jié)構(gòu)FPN（Feature Pyramid Networks）設(shè)計特征處理模塊，增大感受野并提取圖像的多尺度信息，獲得融合高低層語義信息的特征圖，后端采用FoveaBox式無錨框檢測器完成目標(biāo)檢測。在WEDD與GWHD兩個不同分辨率的公開麥穗數(shù)據(jù)集上測試表明，該網(wǎng)絡(luò)的檢測平均精度AP值相較于YOLOv4網(wǎng)絡(luò)分別提升了8.81%和1.69%，并在GWHD數(shù)據(jù)集上幀率達(dá)到36FPS。本算法能夠?qū)崟r有效地進(jìn)行麥穗精確檢測，為后續(xù)小麥估產(chǎn)、育種等創(chuàng)造了條件。

無錨框; 麥穗檢測方法; 圖像識別

小麥?zhǔn)鞘澜缟戏N植最多的谷物之一，也是我國主要的糧食作物。小麥產(chǎn)量對糧食安全、社會穩(wěn)定至關(guān)重要，同時其產(chǎn)量的預(yù)估對育種、植物表型分析等農(nóng)業(yè)科學(xué)研究有重要意義。單位面積麥穗總數(shù)是估計小麥產(chǎn)量的重要參數(shù)[1]，如何高效準(zhǔn)確地檢測出大田環(huán)境下的麥穗就成為了重中之重。目前對麥穗圖像信息的提取多依賴于人工方法，費時費力、成本高等缺點尤為突出[2]。根據(jù)Madec S等[3]的研究結(jié)果，人工檢測的誤差約為10%。因此，近年來基于圖像處理技術(shù)的小麥麥穗自動檢測方法得到了廣泛的研究。

傳統(tǒng)的圖像處理算法已在農(nóng)業(yè)研究領(lǐng)域廣泛使用。如Dammer KH等[4]通過設(shè)置二值化閾值對麥穗和圖像背景進(jìn)行分類，Cointault F等[5]使用顏色特征和紋理特征分析圖像并檢測麥穗。這類算法多依賴于大量人工特征描述，且在光照、土壤、小麥品種等因素的變化下，使得以傳統(tǒng)統(tǒng)計模式識別方法得到特征的難度增加。近年來，隨著硬件技術(shù)的提升和深度學(xué)習(xí)算法的發(fā)展，基于可以自動提取圖像特征的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)算法得到了廣泛應(yīng)用。

Pound PP等[6]應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)模型檢測溫室條件下的小麥穗，Lu等提出了一種名為TasselNet[7]的深度卷積神經(jīng)網(wǎng)絡(luò)來建立麥穗計數(shù)回歸模型，之后又陸續(xù)提出了TasslNetv2[8]與TasselNetv3[9]模型用于高粱、玉米穗等目標(biāo)的計數(shù)回歸。為了研究不同生長階段的小麥對檢測結(jié)果的影響，Hasan MM等[10]訓(xùn)練Faster R-CNN結(jié)構(gòu)在4個不同生長階段捕獲的不同數(shù)據(jù)集上生成4個不同的模型，從而實現(xiàn)小麥籽粒檢測。張領(lǐng)先等[11]基于圖像處理和深度學(xué)習(xí)技術(shù)，設(shè)計并實現(xiàn)了基于卷積神經(jīng)網(wǎng)絡(luò)的冬小麥麥穗檢測計數(shù)系統(tǒng)。陳佳瑋等[12]構(gòu)建了MobileNetv2-YOLOv4深度學(xué)習(xí)模型用于灌漿期小麥麥穗檢測。鮑烈等[13]建立了WheatNet模型用于麥穗檢測并進(jìn)行產(chǎn)量評估。然而，上述算法大多都只能在同種類或相似種類麥穗目標(biāo)中才能取得較好的檢測結(jié)果，因此如何在不同類麥穗目標(biāo)及麥穗相互遮擋的情況下提高網(wǎng)絡(luò)的檢測性能成為關(guān)鍵性問題。

1 本文算法

為研究適合高低分辨率大田小麥圖像的麥穗檢測網(wǎng)絡(luò)，針對經(jīng)典目標(biāo)檢測網(wǎng)絡(luò)小目標(biāo)漏檢及遮擋誤檢測等問題，本文設(shè)計了基于YOLO框架的無錨框麥穗檢測網(wǎng)絡(luò)，網(wǎng)絡(luò)整體框架如圖1所示。

圖1 麥穗目標(biāo)檢測網(wǎng)絡(luò)模型結(jié)構(gòu)

算法分為三個階段：前端網(wǎng)絡(luò)由CSPDarkNet-53[14]組成，提取麥穗的多尺度特征，本文保留了CSPDarknet-53中的Resblock_3，Resblock_4，Resblock_5的最后一層特征；將提取到的特征輸入特征圖金字塔網(wǎng)絡(luò)結(jié)構(gòu)FPN（Feature Pyramid Networks）[15]中，利用1×1卷積跨通道整合淺層的尺度特征和深層的深度特征，充分融合高低層語義信息，增強(qiáng)特征的魯棒性，獲得多尺度信息融合的麥穗特征圖，同時保留了捕捉較小麥穗目標(biāo)的尺度特征與較大目標(biāo)的深度語義特征，本文將獲取到的三層特征圖在多尺度特征融合模塊中進(jìn)行高低層語義信息融合，獲得P3、P4、P5、P6四個融合層，再將高層語義特征上采樣后與低層尺度特征進(jìn)行二次融合，獲得最終的融合特征層P7；檢測頭部分網(wǎng)絡(luò)結(jié)構(gòu)舍棄了傳統(tǒng)深度目標(biāo)檢測網(wǎng)絡(luò)常用的錨框設(shè)計，采用FoveaBox[16]網(wǎng)絡(luò)結(jié)構(gòu)，標(biāo)定目標(biāo)框中的相應(yīng)像素點，并在特征圖上確定目標(biāo)位置，輸出分類、中心點及回歸分支，產(chǎn)生高質(zhì)量的檢測框。避免了因先驗錨框設(shè)計不足導(dǎo)致的麥穗漏檢誤檢問題，更好地適應(yīng)麥穗目標(biāo)的大小及尺度變化，同時減少了模型運行時間，為麥穗實時檢測創(chuàng)造條件。

1.1 骨干網(wǎng)絡(luò)

CSPDarkNet-53是由DarkNet-53[17]改進(jìn)而來，YOLOv4將之作為骨干網(wǎng)絡(luò)用于目標(biāo)特征提取。DarkNet-53引入直連（shortcut）思想改進(jìn)ResNet-50[18]，直接將淺層的信息傳遞到深層，解決模型特征退化問題并同時做到特征重用。

CSPDarkNet-53則在原始網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上增加了跨階段局部（CSP）結(jié)構(gòu)[19]，將原始輸入分成兩個分支，從而分別進(jìn)行不同的卷積操作使得通道數(shù)減半，對其中一個分支進(jìn)行多次BottleNeck操作，然后將兩個分支級聯(lián)，保持CSP結(jié)構(gòu)的輸出與輸入是同樣大小，使模型學(xué)習(xí)到更多特征。

CSPDarkNet-53保留了部分CSP結(jié)構(gòu)，刪除了BottleNeck操作，從而在保證模型精確度的同時降低計算量，減輕模型的重量。

本文將網(wǎng)絡(luò)中的Mish激活函數(shù)更換回LeakyReLU激活函數(shù)，在犧牲很小的性能代價的同時大大加快模型訓(xùn)練。

1.2 多尺度特征融合模塊

深度卷積網(wǎng)絡(luò)常常被用于圖像的特征提取階段，其低層特征保留了圖像的空間信息、尺度信息、細(xì)節(jié)紋理信息，卻無法獲得圖像的語義信息，因此會造成目標(biāo)漏檢現(xiàn)象；而高層特征獲得圖像的語義信息，但隨著下采樣的進(jìn)行，低層特征所包含的信息大量丟失，導(dǎo)致小目標(biāo)丟失現(xiàn)象。因此FPN基于特征融合思想，將高低層語義信息融合，從而最大限度地保留各種信息，提高檢測精度。

有鑒于特征圖金字塔網(wǎng)絡(luò)結(jié)構(gòu)（FPN），本文設(shè)計了多尺度特征融合模塊，選用五層不同尺度的特征圖進(jìn)行特征融合，采用從低層到高層的方式，從已融合完成的P3層開始，對相應(yīng)各層采用最大值池化（Max Pooling）進(jìn)行降采樣，使得各個融合層降采樣后產(chǎn)生的新特征圖通道數(shù)保持一致，最后進(jìn)行級聯(lián)操作獲得包含了多層特征的P7層，將之輸入檢測部分用以指導(dǎo)檢測框的分類與回歸。

1.3 無錨框目標(biāo)檢測器

檢測器部分采用了2019年清華大學(xué)發(fā)布的FoveaBox結(jié)構(gòu)（圖2），其動機(jī)來源于人眼對視覺域的中心擁有最強(qiáng)烈的敏感度。

圖2 FoveaBox目標(biāo)檢測器結(jié)構(gòu)

Fig.2Structure of FoveaBox object detector

FoveaBox通過逐像素直接預(yù)測的方式計算目標(biāo)可能出現(xiàn)的位置及其相應(yīng)的邊界，從而將真實的邊界框（1，1，2，2）映射到不同尺度的特征金字塔上。

其中，2為第層特征金字塔的步長。即中心點的位置和映射的真實邊界的寬、高為：

為了劃分正負(fù)樣本，引入收縮因子，使得正樣本小于當(dāng)前映射出的邊界框：

本文FPN網(wǎng)絡(luò)結(jié)構(gòu)輸出P3、P4、P5、P6、P7五層特征圖，因此本文針對各層特征圖大小，分別令=32、64、128、256、512作為每層的基本尺度，在檢測時充分利用融合信息，利用多層金字塔檢測同一目標(biāo)，從而生成高質(zhì)量檢測框。

1.4 損失函數(shù)

由于本文為單類型目標(biāo)檢測任務(wù)，因此對目標(biāo)檢測網(wǎng)絡(luò)中常用的多類型檢測任務(wù)損失模型中的分類損失進(jìn)行簡化，采用Focal Loss作為分類損失函數(shù)，其公式為：

中心點損失函數(shù)采用交叉熵?fù)p失函數(shù)進(jìn)行，通過計算檢測框與真值框之間的IoU數(shù)值，來判斷檢測框與真值框的差異，保留高質(zhì)量檢測框，其公式為：

回歸損失函數(shù)使用L1損失，該函數(shù)能夠讓損失對于離群點、異常值等不敏感、梯度變化更小、魯棒性更強(qiáng)，其公式為：

因此，本文算法在訓(xùn)練階段使用的損失函數(shù)為上述三者之和，即定義為：

其中，表示數(shù)據(jù)集中正樣本的數(shù)量。

2 實驗準(zhǔn)備

2.1 數(shù)據(jù)集

本文選用的數(shù)據(jù)集來自于David E等[20]發(fā)布的全球小麥穗檢測數(shù)據(jù)集GWHD（Global_Wheat_Head_Detection Dataset）與全球小麥公共數(shù)據(jù)庫WEDD（Wheat_Ear_Detection Dataset）。圖3為從兩個數(shù)據(jù)集中隨機(jī)挑選的圖片，其中GWHD數(shù)據(jù)集為7個不同國家的研究機(jī)構(gòu)從全球十個不同地點拍攝獲得，共3422張，由于生長環(huán)境和相機(jī)設(shè)置的不同，圖像間的特征差別明顯；而WEDD數(shù)據(jù)集提供了236張高分辨率麥穗圖像，圖像清晰，麥穗種類相同，但存在大量遮擋與顏色信息不明確等問題，影響檢測精度。

圖3 GWHD數(shù)據(jù)集（左列與中列）和WEDD數(shù)據(jù)集（右列）示意圖

2.2 硬件與環(huán)境搭建

3 結(jié)果分析

3.1 WEDD數(shù)據(jù)集中的檢測結(jié)果對比及分析

為驗證算法的有效性，將本算法與經(jīng)典目標(biāo)檢測網(wǎng)絡(luò)及其改進(jìn)網(wǎng)絡(luò)進(jìn)行對比實驗。對比的方法分為兩類：以YOLO算法為代表的的單階段目標(biāo)檢測算法和以R-CNN算法為代表的兩階段目標(biāo)檢測算法。單階段算法基于整張圖片信息進(jìn)行推理，因此速度較快；兩階段算法使用滑窗進(jìn)行目標(biāo)檢測，基于局部圖片信息進(jìn)行檢測，速度較單階段檢測算法慢，但定位準(zhǔn)確率高。由于二者都采用了錨框anchor的設(shè)計思想，其設(shè)置好的先驗錨框會由于長寬比篩選過濾掉大小和長寬比與先驗錨框差異較大的真實目標(biāo)框，就長寬比完全不確定的麥穗目標(biāo)來說，會造成大量的未成功檢測，影響檢測性能。不同方法在WEDD數(shù)據(jù)集上的對比檢測結(jié)果如表1所示。

表1 本文方法與5種經(jīng)典目標(biāo)檢測算法在WEDD數(shù)據(jù)集中的實驗結(jié)果對比

WEDD數(shù)據(jù)集為高精度、高復(fù)雜度的麥穗檢測數(shù)據(jù)集，每張圖片中都含有大量待檢測目標(biāo)，而且圖像整體以綠色為主，麥穗與周圍莖葉、雜草區(qū)分度低，難以形成準(zhǔn)確的邊界檢測效果。從表中數(shù)據(jù)可以看出，本文算法在對于麥穗檢測的結(jié)果有所提高。相較于幾種單階段目標(biāo)檢測算法效果提升明顯，與YOLOv3、YOLOv4相比，AP值分別提升了9.96%和8.81%；相較于兩階段目標(biāo)檢測算法，本算法在無需提前設(shè)計anchor先驗信息的前提下，在檢測AP值上也取得了1.53%的效果提升。為了直觀展示目標(biāo)檢測結(jié)果，本文將4種方法的檢測結(jié)果進(jìn)行了可視化處理，每個檢測框上方的數(shù)字代表該預(yù)測框的置信度。本文將各算法檢測出置信度大于0.5的預(yù)測框可視化并呈現(xiàn)出來（圖4）。

a、b、c為在WEDD數(shù)據(jù)集中隨機(jī)挑選的三張麥穗圖像。(1)原圖；(2)YOLOv3；(3)YOLOv4；(4)Faster R-CNN；(5)本文方法

在圖像a中，本文算法檢測出了94個目標(biāo)，略超過Faster R-CNN的91個，遠(yuǎn)超過YOLOv3、YOLOv4檢測出的63個和67個，查全率有著明顯的優(yōu)勢。在圖像b中，左上角有一簇集聚的麥穗目標(biāo)，因其相互遮擋導(dǎo)致紋理特征減弱，YOLOv3/v4算法均未能檢測出該部分麥穗目標(biāo)，F(xiàn)aster R-CNN雖然檢測出其中的部分目標(biāo)，但是漏檢現(xiàn)象依舊嚴(yán)重，本文算法成功檢測到了目標(biāo)。圖像3中存在大量豎直麥穗目標(biāo)，特征極不明顯的同時帶來了小目標(biāo)檢測的挑戰(zhàn)，相較于前述幾種算法，本文算法成功的檢測出了幾乎所有麥穗目標(biāo)，避免了漏檢的現(xiàn)象。

3.2 GWHD數(shù)據(jù)集中的檢測結(jié)果對比及分析

相較于WEDD數(shù)據(jù)集，GWHD數(shù)據(jù)集單張圖片復(fù)雜度較低，且單張圖片包含的麥穗數(shù)量也較少。但因其為從全球十個不同地點獲取，麥穗種類、種植方式以及麥穗成熟度均不盡相同，且拍攝角度和相機(jī)高度也有所差異，因此其數(shù)據(jù)集包含的特征信息更為繁雜，對目標(biāo)檢測算法的泛化性提出了更高的要求。不同方法在GWHD數(shù)據(jù)集上的對比檢測結(jié)果如表2所示。從表中數(shù)據(jù)可以看出，本文算法在對于麥穗檢測的效果有所提高，同時本文算法在檢測速度上也取得了最優(yōu)的結(jié)果，達(dá)到了36FPS，滿足麥穗實時檢測的需求。

表2 本文方法與5種經(jīng)典目標(biāo)檢測算法在GWHD數(shù)據(jù)集中的檢測實驗結(jié)果對比

由于WEDD數(shù)據(jù)集單張圖片包含目標(biāo)多，其主要面臨的挑戰(zhàn)為遮擋問題和能否查全的問題，因此對其進(jìn)行的實驗結(jié)果評估分析中主要在查全方面進(jìn)行考量。而GWHD數(shù)據(jù)集單張圖片包含目標(biāo)少，其主要挑戰(zhàn)為因地質(zhì)地貌、小麥種類及其成熟度、種植習(xí)慣等不同導(dǎo)致的麥穗特征的大幅改變，以及由于光照、視角、拍攝角度等因素導(dǎo)致的圖像質(zhì)量高低不一，進(jìn)而增大了準(zhǔn)確檢測麥穗目標(biāo)的難度，因此本部分主要在不同種類的麥穗圖像中對其檢測結(jié)果進(jìn)行分析。檢測結(jié)果如圖5所示，從檢測結(jié)果中可以看出，本算法能夠在麥穗種類和成熟度各不相同的情況下準(zhǔn)確檢測出所有麥穗目標(biāo)；對于莖葉干擾度較大，麥穗目標(biāo)出現(xiàn)重疊的情況下，前述幾種算法都出現(xiàn)了不同程度的漏檢和誤檢情況，識別準(zhǔn)確率出現(xiàn)下降，而Faster R-CNN網(wǎng)絡(luò)雖能夠準(zhǔn)確識別目標(biāo)，但識別速度下降明顯，本文算法能夠高速準(zhǔn)確地檢測到麥穗目標(biāo)。

d、e、f為在GWHD數(shù)據(jù)集中隨機(jī)挑選的三張麥穗圖像。(1)原圖；(2)YOLOv3；(3)YOLOv4；(4)Faster R-CNN；(5)本文方法

4 結(jié)論

針對麥穗長寬比例多樣，無法設(shè)置合適的錨框的問題，提出了一種基于YOLO框架的無錨框麥穗檢測網(wǎng)絡(luò)。舍棄了復(fù)雜的錨框設(shè)置步驟，提高了麥穗目標(biāo)檢測的平均精度和召回率。本文算法在多種類、多精度、復(fù)雜場景麥穗檢測數(shù)據(jù)集上均取得良好的檢測效果，證明其有較強(qiáng)的泛化性，低精度圖像中檢測幀率達(dá)到了36FPS，檢測速度符合實時檢測的需求。

[1] Ferrante A, Cartelle J, Savin R,. Yield determination, interplay between major components and yield stability in a traditional and a contemporary wheat across a wide range of environments [J]. Field Crops Research, 2017,203:114-127

[2] Fernandez-gallego JA, Kefauver SC, Gutierrez N,. Wheat ear counting in-field conditions: high throughput and low-cost approach using RGB images [J]. Plant Methods, 2018,14(1):1-22

[3] Madec S, Jin X, Lu H,. Ear density estimation from high resolution RGB imagery using deep learning technique [J]. Agricultural and Forest Meteorology, 2019,264:225-234

[4] Dammer KH, Mller B, Rodemann B,. Detection of head blight (Fusarium ssp.) in winter wheat by color and multispectral image analyses [J]. Crop Protection, 2011,30(4):420-428

[5] Cointault F, Guerin D, Guillemin JP,. In-field Triticum aestivum ear counting using colour-texture image analysis [J]. New Zealand Journal of Crop & Horticultural Science, 2008,36(2):117-130

[6] Micheal PP, Jonathan AA, Darren MW,Deep learning for multi-task plant phenotyping [C]//IEEE International Conference on Computer Vision. IEEE Computer Society. Seattle, WA, USA: IEEE, 2017:2055-2063

[7] Lu H , Cao ZG , Xiao Y,. TasselNet: counting maize tassels in the wild via local counts regression network [J]. Plant Methods, 2017,13(1):1-17

[8] Xiong H, Cao ZG, Lu H,. TasselNetv2: in-field counting of wheat spikes with context-augmented local regression networks [J]. Plant Methods, 2019,15:150

[9] Lu H, Liu L, Li YN,. Tasselnetv3: Explainable plant counting with guided upsampling and background suppression [J]. IEEE Transactions on Geoscience and Remote Sensing, 2021,60:1-15

[10] Hasan MM, Chopin JP, Laga H,. Detection and analysis of wheat spikes using Convolutional Neural Networks [J]. Plant Methods, 2018,14:1-13

[11] 張領(lǐng)先,陳運強(qiáng),李云霞,等.基于卷積神經(jīng)網(wǎng)絡(luò)的冬小麥麥穗檢測計數(shù)系統(tǒng)[J].農(nóng)業(yè)機(jī)械學(xué)報,2019,50(3):144-150

[12] 陳佳瑋,李慶,譚巧行,等.結(jié)合輕量級麥穗檢測模型和離線Android軟件開發(fā)的田間小麥測產(chǎn)[J].農(nóng)業(yè)工程學(xué) 報,2021,37(19):156-164

[13] 鮑烈,王曼韜,劉江川,等.基于卷積神經(jīng)網(wǎng)絡(luò)的小麥產(chǎn)量預(yù)估方法[J].浙江農(nóng)業(yè)學(xué)報,2020,32(12):2244-2252

[14] Bochkovskiy A, Wang CY, Liao HYM. Yolov4: Optimal speed and accuracy of object detection [J]. arXiv preprint arXiv. 2004, 2020:10934

[15] Lin TY, Dollar P, Girshrck R,. Feature pyramid networks for object detection [C]//IEEE Conference on Computer Vision and Pattern Recognition. Seattle, WA, USA: IEEE, 2017:2117-2125

[16] Kong T, Sun F, Liu H,. Foveabox: Beyound anchor-based object detection [J]. IEEE Transactions on Image Processing, 2020,29:7389-7398

[17] Redmon J, Farhadi A. Yolov3: An incremental improvement [J]. arXiv preprint arXiv:1804, 2018:02767

[18] He K, Zhang X, Ren S,. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Seattle, WA, USA: IEEE, 2016:770-778

[19] Wang CY, Liao HYM, Wu YH,. CSPNet: A new backbone that can enhance learning capability of CNN[C].//IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Seattle, WA, USA: IEEE, 2020:390-391

[20] David E, Madec S, Sadeghi-tehran P,. Global Wheat Head Detection (GWHD) dataset: a large and diverse dataset of high resolution RGB labelled images to develop and benchmark wheat head detection methods [J]. Plant Phenomics, 2020:1-12

[21] Liu W, Anguelov D, Erhan D,. Ssd: Single shot multibox detector [C]//European Conference on Computer Vision. Springer, 2016:21-37

[22] Tan M, Pang R, Le QV. Efficientdet: Scalable and efficient object detection [C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, WA, USA: IEEE, 2020:10781-10790

[23] Ren S, He K, Ross G,. Faster r-cnn: Towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017,39(6):1137-1149

The Wheat Ear Detection Method Based on Anchor Free YOLO Detection Network

LU Qiao-kuan, ZHANG Jing-lei*

300384,

Wheat yield can be estimated from the total number of wheat ears per unit area. The detection method based on the sequence characteristics of wheat image is highly effected by factors such as light, resulting in inaccuracy. In order to accurately locate wheat ears and estimate the number the deep convolution neural network was introduced. In order to overcame the disadvantages of inappropriate anchors with various proportions of wheat ears, this paper used an anchor-free wheat ear target detection method based on YOLO framework instead of the common rectangular priori anchor frame in target detection network. CSPDarknet53 network was applied as feature extraction network. And a feature processing module was designed according to the FPN (Feature Pyramid Networks) structure in middle layer, which could increase the receptive field, extract the multi-scale information of the image, and obtain feature maps that include the semantic information from both high and low levels. In back-end network, an anchor-free FoveaBox detector was applied to achieve object detection. The test results from two public wheat ear data sets with different resolutions WEDD and GWHD showed that compared with Yolov4 network, the average detection precision values increased by 8.81% and 1.69%, respectively. The proposed method could reach 36FPS of frame rate on GWHD dataset. This algorithm could accurately and effectively detect wheat ears in real time, and is of help with subsequent work such as wheat yield estimation and breeding.

Anchor free; wheat ear detection method; image identification

TP751

A

1000-2324(2022)05-0796-07

2022-05-25

2022-05-30

路喬寬(1997-),男,碩士,研究方向:深度學(xué)習(xí),農(nóng)業(yè)信息工程. E-mail:1065219917@qq.com

通訊作者:Author for correspondence. E-mail:zhangjinglei@tjut.edu.cn