郭希岳，李勁松，鄭立華，張 漫,2，王敏娟,2

利用Re-YOLOv5和檢測(cè)區(qū)域搜索算法獲取大豆植株表型參數(shù)

郭希岳1，李勁松1，鄭立華1，張 漫1,2，王敏娟1,2※

（1. 中國(guó)農(nóng)業(yè)大學(xué)智慧農(nóng)業(yè)系統(tǒng)集成研究教育部重點(diǎn)實(shí)驗(yàn)室，北京 100083；2. 中國(guó)農(nóng)業(yè)大學(xué)煙臺(tái)研究院，煙臺(tái) 264670）

為了解決目標(biāo)檢測(cè)區(qū)域中冗余信息過(guò)多導(dǎo)致無(wú)法準(zhǔn)確檢測(cè)大豆分枝的缺陷，同時(shí)快速獲取大豆植株表型參數(shù)，該研究提出了一種基于Re-YOLOv5和檢測(cè)區(qū)域搜索算法的大豆植株表型參數(shù)獲取方法。Re-YOLOv5引入圓形平滑標(biāo)簽技術(shù)（Circular Smooth Label，CSL）實(shí)現(xiàn)旋轉(zhuǎn)目標(biāo)檢測(cè)，解決了傳統(tǒng)目標(biāo)檢測(cè)中檢測(cè)區(qū)域冗余信息過(guò)多導(dǎo)致無(wú)法準(zhǔn)確檢測(cè)大豆分枝的缺陷，并加入?yún)f(xié)調(diào)注意力機(jī)制（Coordinate Attention，CA）獲取目標(biāo)位置信息以提升檢測(cè)精度，此外，將原始骨干網(wǎng)絡(luò)中的3×3卷積結(jié)構(gòu)替換為RepVGG結(jié)構(gòu)進(jìn)一步增強(qiáng)模型的特征提取能力。基于Re-YOLOv5提出一種檢測(cè)區(qū)域搜索算法（Detection Area Search，DAS），該算法將檢測(cè)到的大豆分枝區(qū)域作為待搜索區(qū)域，通過(guò)該區(qū)域中的莖節(jié)點(diǎn)坐標(biāo)信息判斷各分枝的莖節(jié)點(diǎn)，然后將其進(jìn)行順序連接，重構(gòu)大豆植株骨架，最終獲取相關(guān)的表型參數(shù)。試驗(yàn)結(jié)果表明，Re-YOLOv5可以實(shí)現(xiàn)檢測(cè)旋轉(zhuǎn)目標(biāo)的能力，而且在各項(xiàng)性能指標(biāo)上都優(yōu)于YOLOv5，其mAP提升了1.70個(gè)百分點(diǎn)，參數(shù)量下降0.17 M，針對(duì)莖節(jié)點(diǎn)的檢測(cè)精確率提升了9.90個(gè)百分點(diǎn)，檢測(cè)小目標(biāo)的能力明顯增強(qiáng)。檢測(cè)區(qū)域搜索算法也能夠準(zhǔn)確地定位每個(gè)分枝上的莖節(jié)點(diǎn)從而重構(gòu)大豆植株骨架，并得到比較準(zhǔn)確的大豆植株表型參數(shù)，其中，株高、莖節(jié)點(diǎn)數(shù)、大豆分枝數(shù)的平均絕對(duì)誤差分別為2.06 cm、1.37個(gè)和0.03個(gè)，在能夠滿(mǎn)足實(shí)際采集的精度要求的同時(shí)，也為獲取大豆植株表型信息提供參考。

模型；算法；大豆植株；目標(biāo)檢測(cè)；YOLOv5；區(qū)域搜索

0 引 言

中國(guó)大豆主要依賴(lài)進(jìn)口[1]，究其原因，是國(guó)產(chǎn)大豆在產(chǎn)量、出油率等方面都不及進(jìn)口大豆，因此，選育國(guó)產(chǎn)優(yōu)質(zhì)高產(chǎn)大豆品種就成了提升中國(guó)大豆質(zhì)量的關(guān)鍵任務(wù)。目前，選育大豆品種最主要也是最重要的參考依據(jù)是大豆的各類(lèi)表型信息。使用傳統(tǒng)方法獲取大豆表型信息時(shí)，育種學(xué)家只能實(shí)際測(cè)量大豆植株來(lái)獲得大豆表型參數(shù)，并繪制記錄大豆的性狀，其具有費(fèi)時(shí)、成本過(guò)高、所得數(shù)據(jù)量小及數(shù)據(jù)丟失的缺點(diǎn)，不利于推廣應(yīng)用。

隨著計(jì)算機(jī)技術(shù)和圖像處理技術(shù)的不斷發(fā)展，將其應(yīng)用于農(nóng)業(yè)領(lǐng)域，以實(shí)現(xiàn)農(nóng)業(yè)領(lǐng)域中的自動(dòng)化提取表型信息成為了當(dāng)前的研究熱點(diǎn)，具有巨大的發(fā)展?jié)摿2-3]，目標(biāo)檢測(cè)作為計(jì)算機(jī)技術(shù)中的一個(gè)熱門(mén)領(lǐng)域，已經(jīng)在農(nóng)業(yè)中獲得了廣泛的應(yīng)用，例如，精準(zhǔn)農(nóng)業(yè)中的作物檢測(cè)[4]、植物病蟲(chóng)害檢測(cè)[5-6]、大豆豆莢檢測(cè)[7]等。目前，目標(biāo)檢測(cè)主要有傳統(tǒng)目標(biāo)檢測(cè)方法和基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法。其中，傳統(tǒng)目標(biāo)檢測(cè)方法主要有尺度不變特征變換（Scale Invariant Feature Transform，SIFT）[8]特征檢測(cè)器、提取目標(biāo)對(duì)象的方向梯度直方圖（Histogram of Oriented Gradient，HOG）[9]特征、支持向量機(jī)（Support Vector Machine，SVM）[10]等進(jìn)行特征識(shí)別。但是，傳統(tǒng)目標(biāo)檢測(cè)算法檢測(cè)流程較為復(fù)雜，需多個(gè)步驟共同完成，耗時(shí)較長(zhǎng)，且其通常采用滑動(dòng)窗口方式進(jìn)行特征提取。不同檢測(cè)對(duì)象的大小不同，在使用固定尺寸的窗口進(jìn)行特征提取時(shí)會(huì)導(dǎo)致選取的特征提取區(qū)域相較于檢測(cè)對(duì)象過(guò)大或過(guò)小。特征提取區(qū)域過(guò)大會(huì)造成所包含的冗余信息過(guò)多，過(guò)小則只能提取檢測(cè)對(duì)象的部分特征，導(dǎo)致出現(xiàn)誤檢或漏檢，造成檢測(cè)精度下降，識(shí)別效果降低。

為了避免此種情況則需針對(duì)不同檢測(cè)對(duì)象設(shè)計(jì)不同尺寸的滑動(dòng)窗口，這不僅增加計(jì)算量，運(yùn)行速度也會(huì)下降。因此，傳統(tǒng)目標(biāo)檢測(cè)算法具有檢測(cè)精度低、計(jì)算量大、運(yùn)行速度慢等缺點(diǎn)，已不能很好地滿(mǎn)足目前目標(biāo)檢測(cè)所要求的高精度、速度快的要求。深度學(xué)習(xí)所擁有的強(qiáng)大特征提取能力以及快速的數(shù)據(jù)處理能力能夠有效彌補(bǔ)傳統(tǒng)方法的不足，隨著深度學(xué)習(xí)在圖像領(lǐng)域中的迅速發(fā)展，越來(lái)越多的研究人員將其應(yīng)用于農(nóng)業(yè)領(lǐng)域的目標(biāo)檢測(cè)中。Liu等[11]基于雙目立體視覺(jué)和改進(jìn)YOLOv3網(wǎng)絡(luò)用于檢測(cè)與定位自然環(huán)境中的菠蘿，改進(jìn)后YOLOv3在所有測(cè)試模型中表現(xiàn)最好，其平均精度達(dá)到了0.91。文獻(xiàn)[12]將YOLOv4與卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNN）結(jié)合，用于檢測(cè)大豆上的成年粉虱，以此確定粉虱的生長(zhǎng)階段，該方法的精確度達(dá)到了0.96，比原始YOLOv4高出0.15。彭紅星等[13]開(kāi)發(fā)出基于多重特征增強(qiáng)和特征融合的SSD（Single Shot MultiBox Detector）用于荔枝檢測(cè)，精確、有效地實(shí)現(xiàn)了對(duì)無(wú)人機(jī)拍攝的荔枝圖像檢測(cè)，也為小目標(biāo)農(nóng)作物的檢測(cè)開(kāi)拓了思路。目前，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法主要分為兩類(lèi)，一類(lèi)是基于區(qū)域候選的目標(biāo)檢測(cè)算法，也稱(chēng)為二階段目標(biāo)檢測(cè)方法，其通過(guò)形成一系列候選區(qū)域作為樣本，再利用CNN[14]進(jìn)行分類(lèi)，如R-CNN[15]（Convolutional Neural Network）、Faster R-CNN[16]（FasterConvolutional Neural Network）、R-FCN[17]（Region-based Fully Convolutional Network）等。另一類(lèi)是基于一體化卷積網(wǎng)絡(luò)的算法，也稱(chēng)為單階段目標(biāo)檢測(cè)方法，該算法將物體邊界框的定位問(wèn)題轉(zhuǎn)化為分類(lèi)問(wèn)題，不需要生成候選區(qū)域，其標(biāo)志性算法包括SSD[18]和YOLO[19]系列。相比于二階段目標(biāo)檢測(cè)方法，由于單階段目標(biāo)檢測(cè)方法直接作用于整張圖片上，不需要候選區(qū)域，因此具有較快的檢測(cè)速度，使得本研究更傾向于使用單階段目標(biāo)檢測(cè)算法。YOLOv5作為典型的單階段目標(biāo)檢測(cè)算法，具有檢測(cè)精度高、推理速度快的特點(diǎn)，其檢測(cè)速度最快可達(dá)到140幀/s[20]，并且可以針對(duì)全局信息進(jìn)行編碼，減少背景對(duì)檢測(cè)精度所造成的誤差，因此具有很強(qiáng)的泛化性，而且相比于SSD等單階段目標(biāo)檢測(cè)算法，其在小目標(biāo)的檢測(cè)上更有優(yōu)勢(shì)[21]。本研究要獲取的大豆表型信息包括大豆莖節(jié)點(diǎn)數(shù)，是典型的小目標(biāo)。

但是，使用YOLOv5進(jìn)行大豆分枝和莖節(jié)點(diǎn)檢測(cè)，會(huì)造成分枝候選框內(nèi)冗余信息過(guò)多，進(jìn)而影響檢測(cè)精度，無(wú)法準(zhǔn)確檢測(cè)大豆分枝。此外，在同一分枝檢測(cè)框中可能會(huì)包含其他分枝的莖節(jié)點(diǎn)信息，也會(huì)對(duì)后續(xù)判斷莖節(jié)點(diǎn)所屬分枝造成影響。為了解決上述問(wèn)題同時(shí)能夠快速、準(zhǔn)確地獲取大豆植株的表型信息，本研究提出一種Re-YOLOv5，在YOLOv5的Neck部分引入圓形平滑標(biāo)簽技術(shù)（Circular Smooth Label，CSL）使其能夠檢測(cè)旋轉(zhuǎn)目標(biāo)的模型，使檢測(cè)框中所包含的冗余信息大大減少，使其能夠最大程度地減少分枝檢測(cè)區(qū)域中的冗余信息，使后續(xù)獲取表型信息更加方便快捷。為了彌補(bǔ)引入CSL所帶來(lái)的精度不足問(wèn)題，本研究添加了協(xié)調(diào)注意力機(jī)制（Coordinate Attention，CA）用于嵌入目標(biāo)的位置信息并擴(kuò)展了特征提取的范圍，然后利用RepVGG結(jié)構(gòu)替換骨干網(wǎng)絡(luò)（backbone）中的卷積操作，利用其多分枝卷積結(jié)構(gòu)進(jìn)行特征提取，并將不同卷積層所提取的特征進(jìn)行融合，進(jìn)一步增強(qiáng)了模型的特征提取能力。在后續(xù)的大豆植株表型獲取中，本研究將已經(jīng)得到的大豆分枝檢測(cè)區(qū)域作為搜索區(qū)域，利用檢測(cè)區(qū)域搜索算法對(duì)其進(jìn)行搜索，從而得到每個(gè)分枝區(qū)域中的莖節(jié)點(diǎn)信息，對(duì)每個(gè)區(qū)域中的莖節(jié)點(diǎn)進(jìn)行重新分類(lèi)，依據(jù)這些坐標(biāo)與類(lèi)別信息重構(gòu)大豆植株的骨架，進(jìn)而得到株高、分枝數(shù)、莖節(jié)點(diǎn)數(shù)等表型參數(shù)，也為進(jìn)一步獲取分枝夾角、大豆株型等表型信息提供了基礎(chǔ)。

1 材料與方法

1.1 數(shù)據(jù)采集

本研究的研究對(duì)象為成熟期大豆植株，由中國(guó)農(nóng)業(yè)科學(xué)院順義大豆研究基地提供，從大田人工采摘多個(gè)品種的完整大豆植株以增強(qiáng)本研究所提方法的魯棒性，采摘得到包括中黃系列、吳疆系列、東農(nóng)系列、東慶系列等30個(gè)品種共306株大豆，所采集大豆植株包括單分枝大豆植株、雙分枝大豆植株、復(fù)雜分枝大豆植株，采摘后開(kāi)始進(jìn)行圖像采集，共采集1 653張成熟期大豆植株圖像。拍攝設(shè)備為SONY/ILCE-6400L相機(jī)，為了避免相機(jī)受自然光線(xiàn)的影響造成圖片曝光、背景復(fù)雜造成大豆植株與背景對(duì)比度較低等問(wèn)題，數(shù)據(jù)采集時(shí)間持續(xù)4 d，選擇每天07:00－09:00和20:00－22:00兩個(gè)時(shí)間段對(duì)大豆進(jìn)行拍攝，拍攝過(guò)程中使用LED光源進(jìn)行補(bǔ)光，并且將大豆植株平鋪放置在專(zhuān)門(mén)試驗(yàn)臺(tái)上，以白色圓紙作為標(biāo)定物，黑色吸光布作為背景，減少背景復(fù)雜度對(duì)試驗(yàn)帶來(lái)的干擾。同時(shí)，為了減少?gòu)?fù)雜根系對(duì)試驗(yàn)帶來(lái)的影響，對(duì)大豆從第一個(gè)莖節(jié)點(diǎn)以下進(jìn)行裁剪，去除大豆根系。此外，為了擴(kuò)充大豆植株的基本數(shù)據(jù)量以及增強(qiáng)模型的魯棒性，在拍攝過(guò)程中保持相機(jī)垂直拍攝植株的同時(shí)，對(duì)每個(gè)大豆植株進(jìn)行人工的隨機(jī)放置、旋轉(zhuǎn)變換，每株大豆旋轉(zhuǎn)或隨機(jī)放置2～3次，這樣每株大豆就有了不同的擺放姿態(tài)，同時(shí)，隨機(jī)調(diào)整相機(jī)的拍攝高度，針對(duì)植株較小的大豆拍攝高度調(diào)整為81 cm，植株較大的大豆拍攝高度調(diào)整為86 cm，使所有大豆植株所占背景空間相似，在增強(qiáng)數(shù)據(jù)集多樣性的同時(shí)，將每株大豆圖像增加了3～4張，有效地?cái)U(kuò)充了原始數(shù)據(jù)集的數(shù)量，原始圖像大小為2 736像素×1 824像素，通道數(shù)為3（RGB），為了減少圖中無(wú)關(guān)背景，本研究利用Python工具將圖像統(tǒng)一裁剪為813像素×357像素，處理后的圖像如圖1所示。

圖1 處理后的大豆植株圖像

在拍攝的同時(shí)，本研究針對(duì)每株大豆的表型信息進(jìn)行了人工計(jì)數(shù)和測(cè)量，包括人工記錄大豆主莖節(jié)點(diǎn)的數(shù)量、分枝數(shù)、株高等。其中，大豆株高測(cè)量方法為測(cè)量平鋪大豆植株頂端莖節(jié)點(diǎn)到子葉節(jié)點(diǎn)的直線(xiàn)距離。本研究使用直尺對(duì)其進(jìn)行測(cè)量，結(jié)果保留一位小數(shù)。

本研究中，莖節(jié)點(diǎn)連接大豆豆莢與大豆莖稈。雖然不同品種的大豆果實(shí)大小、性狀不完全相同，但是這種差異對(duì)莖節(jié)點(diǎn)特征并無(wú)太大影響，因此，不同大豆的莖節(jié)點(diǎn)具有近似相同的特征，可以采用同一方法對(duì)不同品種的大豆莖節(jié)點(diǎn)進(jìn)行檢測(cè)。同時(shí)，為了增強(qiáng)人工測(cè)量株高的準(zhǔn)確性，降低誤差，對(duì)每株大豆植株株高進(jìn)行3次測(cè)量，取平均值作為最終結(jié)果。

本研究獲取的大豆植株表型參數(shù)有株高、莖節(jié)點(diǎn)數(shù)、分枝數(shù)。大豆株高的定義為從子葉節(jié)點(diǎn)到頂端莖節(jié)點(diǎn)的直線(xiàn)距離，在本研究中，針對(duì)每張圖片中的莖節(jié)點(diǎn)坐標(biāo)進(jìn)行排序并得出橫坐標(biāo)值最大與最小的兩個(gè)點(diǎn)，將兩點(diǎn)作為該株大豆最頂端莖節(jié)點(diǎn)與子葉節(jié)點(diǎn)，兩點(diǎn)的直線(xiàn)距離即為該圖片對(duì)應(yīng)大豆植株樣本的株高。

1.2 數(shù)據(jù)標(biāo)注與增強(qiáng)

本研究使用rolabelimg軟件進(jìn)行數(shù)據(jù)標(biāo)注，該工具專(zhuān)門(mén)用于標(biāo)注進(jìn)行旋轉(zhuǎn)目標(biāo)檢測(cè)任務(wù)的數(shù)據(jù)集，每個(gè)標(biāo)注完成的矩形框會(huì)生成對(duì)應(yīng)的xml文件，該文件包含矩形框的中心坐標(biāo)以及該框的長(zhǎng)、寬和旋轉(zhuǎn)角度信息。本研究所用大豆植株數(shù)據(jù)集中包括莖節(jié)點(diǎn)和大豆植株分枝兩種類(lèi)型，將莖節(jié)點(diǎn)記為“point”類(lèi)，大豆植株分枝記為“branch”類(lèi)，莖節(jié)點(diǎn)數(shù)為檢測(cè)到的point類(lèi)個(gè)數(shù)，分枝數(shù)為檢測(cè)到的branch類(lèi)個(gè)數(shù)，標(biāo)注莖節(jié)點(diǎn)時(shí)，僅標(biāo)注大豆豆莢與大豆植株的相連部分，在進(jìn)行分枝標(biāo)注時(shí)，必須使標(biāo)注框盡可能貼合大豆分枝，減少冗余信息且不能包含其他分枝的部分區(qū)域，大豆植株樣本如圖2所示。

圖2 大豆植株樣本標(biāo)注

目前，雖然基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法性能比傳統(tǒng)的機(jī)器學(xué)習(xí)算法有了顯著提升，但是其優(yōu)異的性能依賴(lài)于大量的數(shù)據(jù)訓(xùn)練[18]。數(shù)據(jù)增強(qiáng)可以有效解決數(shù)據(jù)量不足的問(wèn)題。受采集的大豆植株數(shù)量限制，本研究目前共采集了1 653張圖像，雖然在拍攝過(guò)程中人為擴(kuò)充了數(shù)據(jù)集，依然無(wú)法滿(mǎn)足目標(biāo)檢測(cè)所需數(shù)據(jù)量，因此，為了解決數(shù)據(jù)量不足的問(wèn)題，本研究對(duì)大豆植株數(shù)據(jù)集進(jìn)行了隨機(jī)翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)、隨機(jī)光照等方法增強(qiáng)數(shù)據(jù)多樣性，從而降低了光強(qiáng)不一、拍攝角度不同、圖像模糊等對(duì)模型造成的影響，并提升模型的魯棒性，數(shù)據(jù)增強(qiáng)后共獲得3 719張大豆植株圖像，并按照7∶2∶1的比例隨機(jī)劃分訓(xùn)練集、測(cè)試集與驗(yàn)證集，最終訓(xùn)練集、測(cè)試集與驗(yàn)證集的圖像數(shù)量分別為2 603、744、372張。

1.3 改進(jìn)的YOLOv5模型

本研究選用了YOLOv5-5.0版本的YOLOv5s作為基礎(chǔ)模型，YOLOv5s 結(jié)構(gòu)簡(jiǎn)單，在保證了模型推理速度的同時(shí)又降低了參數(shù)量[22]，其推理速度可以滿(mǎn)足快速獲取表型參數(shù)的目的，因此，本研究選用YOLOv5s作為基礎(chǔ)模型，并針對(duì)其精度低的特點(diǎn)進(jìn)行進(jìn)一步優(yōu)化以提升其檢測(cè)精度，使模型能夠更加快速準(zhǔn)確地檢測(cè)對(duì)應(yīng)目標(biāo)。

1.3.1 引入CSL處理角度信息

大豆植株具有彎曲性，使用YOLOv5網(wǎng)絡(luò)在進(jìn)行大豆分枝檢測(cè)時(shí)得到的分枝區(qū)域中會(huì)包含大量不屬于該分枝的冗余信息，這使得進(jìn)行檢測(cè)區(qū)域搜索時(shí)無(wú)法準(zhǔn)確判斷每個(gè)分枝中的主莖節(jié)點(diǎn)信息，導(dǎo)致重構(gòu)的大豆植株與原始植株偏差較大，無(wú)法精確地獲取大豆植株的表型參數(shù)，因此，本研究提出使用旋轉(zhuǎn)目標(biāo)檢測(cè)方法，使檢測(cè)區(qū)域中盡可能只包含大豆分枝信息，減少過(guò)多冗余信息造成的影響。YOLOv5使用矩形檢測(cè)框，其損失函數(shù)僅包括回歸損失、置信度損失以及分類(lèi)損失，為了能夠?qū)崿F(xiàn)針對(duì)旋轉(zhuǎn)目標(biāo)的檢測(cè)，加入用于處理角度信息的角度損失函數(shù)。在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中，針對(duì)旋轉(zhuǎn)目標(biāo)進(jìn)行檢測(cè)時(shí)會(huì)出現(xiàn)檢測(cè)框的邊界不連續(xù)問(wèn)題，在邊界處產(chǎn)生損失值，影響檢測(cè)效果[23]，因此，針對(duì)目前旋轉(zhuǎn)目標(biāo)檢測(cè)中存在的缺陷，本研究提出在YOLOv5網(wǎng)絡(luò)中引入CSL[23]來(lái)解決這個(gè)問(wèn)題并實(shí)現(xiàn)對(duì)旋轉(zhuǎn)目標(biāo)的檢測(cè)。本研究在YOLOv5網(wǎng)絡(luò)中引入了CSL[23]分類(lèi)損失，使角度回歸問(wèn)題轉(zhuǎn)化為分類(lèi)問(wèn)題，CSL可以解決當(dāng)前分類(lèi)損失無(wú)法衡量檢測(cè)結(jié)果和標(biāo)簽真值的角度損失值問(wèn)題，并通過(guò)分類(lèi)使角度預(yù)測(cè)更加精確，避免了邊界不連續(xù)問(wèn)題帶來(lái)的影響，CSL表達(dá)式如下：

式中()為窗口函數(shù)；為()的半徑，像素；為檢測(cè)框的傾斜角度，（°）。

CSL中的窗口函數(shù)滿(mǎn)足周期性、單調(diào)性、對(duì)稱(chēng)性、和最大值為1的四個(gè)屬性，利用其四個(gè)屬性解決因角度的周期性而造成損失的問(wèn)題，并且由于角度回歸任務(wù)已經(jīng)轉(zhuǎn)化為分類(lèi)任務(wù)，角度信息經(jīng)過(guò)CSL處理后，利用二元交叉熵?fù)p失函數(shù)（Binary Cross Entropy With Logits Loss，BCEWithLogits）進(jìn)行損失計(jì)算，其式為

式中為模型訓(xùn)練的批次大小（batch_size）；l為第個(gè)樣本對(duì)應(yīng)的損失值；x為經(jīng)過(guò)sigmod激活函數(shù)處理后的第個(gè)樣本的輸出；y為第個(gè)樣本對(duì)應(yīng)的類(lèi)別；ω為超參數(shù)。

1.3.2 引入?yún)f(xié)調(diào)注意力機(jī)制

引入CSL模塊后，角度回歸任務(wù)轉(zhuǎn)化為簡(jiǎn)單的分類(lèi)任務(wù)，使其能夠更精確地進(jìn)行旋轉(zhuǎn)目標(biāo)檢測(cè)。但是，在能夠檢測(cè)旋轉(zhuǎn)目標(biāo)的同時(shí)，相當(dāng)于為模型新增加了一個(gè)分類(lèi)任務(wù)和一個(gè)分類(lèi)損失，因此，其對(duì)該模型的整體檢測(cè)精度必然會(huì)造成一定影響，因此，本研究將協(xié)調(diào)注意力機(jī)制[24]（Coordinate Attention，CA）引入YOLOv5網(wǎng)絡(luò)的Neck[25]部分，結(jié)構(gòu)如圖3所示。本研究在C3模塊后添加協(xié)調(diào)注意力機(jī)制，網(wǎng)絡(luò)不僅可以獲取跨通道信息，還可以捕獲位置以及方向信息，有助于網(wǎng)絡(luò)更準(zhǔn)確地定位和識(shí)別目標(biāo)對(duì)象，同時(shí)，經(jīng)過(guò)注意力機(jī)制模塊處理后，原有的特征相關(guān)部分的區(qū)域被賦予了較高的權(quán)重，而與特征無(wú)關(guān)的背景區(qū)域被賦予了較低的權(quán)重，使得網(wǎng)絡(luò)能夠?qū)Ｗ⒂谔卣飨嚓P(guān)部分的處理，減輕了背景等無(wú)關(guān)信息對(duì)檢測(cè)結(jié)果造成的影響，提升檢測(cè)準(zhǔn)確性。

注：Concat為特征融合操作；Upsample為上采樣操作；Conv表示卷積，括號(hào)內(nèi)數(shù)值分別為步長(zhǎng)和卷積核大??；C3表示使用m個(gè)殘差結(jié)構(gòu)（ResUnit）組成的卷積模塊，CA為協(xié)調(diào)注意力機(jī)制。

1.3.3 引入RepVGG 結(jié)構(gòu)

在模型Neck部分添加注意力機(jī)制來(lái)提升網(wǎng)絡(luò)的檢測(cè)性能的基礎(chǔ)上，還提出了Re-YOLOv5，其通過(guò)改進(jìn)YOLOv5的backbone以進(jìn)一步增強(qiáng)網(wǎng)絡(luò)的特征提取能力。RepVGG[26]由卷積（Convolution，Conv）、歸一化操作（Batch Normalization，BN）和激活函數(shù)（Rectified Linear Units，ReLU）組成，其具有結(jié)構(gòu)簡(jiǎn)單、性能良好的特點(diǎn)，在訓(xùn)練中，它是一個(gè)多分枝結(jié)構(gòu)，除了一個(gè)3′3的卷積層外，還有一個(gè)1′1的卷積分支。因此，為了加強(qiáng)其特征提取能力，本研究將backbone中原有的3′3卷積替換為RepVGG，使兩個(gè)卷積層同時(shí)用于特征提取，并將得到的結(jié)果進(jìn)行歸一化處理，這種結(jié)構(gòu)融合了不同卷積模塊提取的特征信息，利用其多個(gè)卷積層并行融合的特點(diǎn)，提升了整體結(jié)構(gòu)的信息提取能力的同時(shí)降低了模型參數(shù)量。

1.4 檢測(cè)區(qū)域搜索算法

首先利用Re-YOLOv5對(duì)大豆圖像進(jìn)行檢測(cè)，得到大豆分枝檢測(cè)區(qū)域的四點(diǎn)坐標(biāo)和莖節(jié)點(diǎn)的中心坐標(biāo)。其次通過(guò)檢測(cè)區(qū)域搜索算法對(duì)每個(gè)大豆分枝檢測(cè)區(qū)域進(jìn)行編號(hào)，并在該區(qū)域中搜索所有莖節(jié)點(diǎn)的中心坐標(biāo)，從而判斷該區(qū)域中莖節(jié)點(diǎn)的個(gè)數(shù)，并根據(jù)上述信息得出每張圖片中單個(gè)大豆植株分枝的莖節(jié)點(diǎn)個(gè)數(shù)，然后進(jìn)行順序連接重構(gòu)出大豆植株骨架。首先，利用Re-YOLOv5獲取“point”類(lèi)的中心坐標(biāo)并將坐標(biāo)保存于p中，獲取“branch”類(lèi)的四點(diǎn)坐標(biāo)，并將坐標(biāo)保存于與分枝檢測(cè)區(qū)域編號(hào)相對(duì)應(yīng)的h中。

式中p為所有“point”類(lèi)的中心坐標(biāo)數(shù)組；為第個(gè)分枝檢測(cè)區(qū)域所包含的“point”的中心坐標(biāo)；h為第個(gè)分枝檢測(cè)區(qū)域的四點(diǎn)坐標(biāo)；（x,y）為分枝檢測(cè)框的四個(gè)頂點(diǎn)；通過(guò)計(jì)算“point”的中心坐標(biāo)到分枝檢測(cè)區(qū)域四邊距離判斷該莖節(jié)點(diǎn)是否處于該區(qū)域中，其距離公式如下：

式中（x,y）為莖節(jié)點(diǎn)的中心坐標(biāo)；1為莖節(jié)點(diǎn)的中心坐標(biāo)到檢測(cè)框上邊的像素距離；1為莖節(jié)點(diǎn)的中心坐標(biāo)到檢測(cè)框左邊的像素距離；3為莖節(jié)點(diǎn)的中心坐標(biāo)到檢測(cè)框底邊的像素距離；4為莖節(jié)點(diǎn)的中心坐標(biāo)到檢測(cè)框右邊的像素距離；為分枝檢測(cè)框的像素長(zhǎng)度；為分枝檢測(cè)框的像素寬度；若(1+3)=且(2+4)=，則該莖節(jié)點(diǎn)屬于此分枝，保存到對(duì)應(yīng)的p數(shù)組中，完成所有點(diǎn)的判斷后，將所有點(diǎn)的坐標(biāo)按照的大小順序鏈接從而重構(gòu)大豆植株的骨架，其整個(gè)骨架檢測(cè)過(guò)程如圖4所示。

注：branch1、branch2為大豆分枝類(lèi)，圖S3中1、2、3為莖節(jié)點(diǎn)編號(hào)。

如圖4所示，將原始圖像輸入至Re-YOLOv5中，得到檢測(cè)后的如圖S1所示圖像，獲取“branch”類(lèi)的四點(diǎn)坐標(biāo)及“point”類(lèi)的中心坐標(biāo)（圖S2），然后將得到的“point”類(lèi)矩形檢測(cè)框用其中心坐標(biāo)代替，作為該“point”類(lèi)的坐標(biāo)（圖S3），將所得到的分枝檢測(cè)框作為待搜索區(qū)域分別進(jìn)行搜索，通過(guò)距離判定該區(qū)域內(nèi)的主莖節(jié)點(diǎn)數(shù)以及坐標(biāo)信息并將不同分枝的主莖節(jié)點(diǎn)重新賦予不同的類(lèi)并用不同顏色區(qū)分（圖S4），由圖S3可知，點(diǎn)3同時(shí)屬于兩個(gè)分枝，因此將其作為連接點(diǎn)從而連接兩個(gè)分枝的骨架，將屬于同一“branch”類(lèi)的“point”類(lèi)進(jìn)行連接（圖S5），最終重構(gòu)出完整的大豆植株骨架（圖S6）。

2 試驗(yàn)與結(jié)果分析

2.1 試驗(yàn)環(huán)境與參數(shù)

本試驗(yàn)使用硬件環(huán)境包括12G顯存的NVIDIA RTX-3060GPU顯卡，1TB機(jī)械硬盤(pán)，AMD Ryzen 5 3600 6-Core CPU，操作系統(tǒng)為Ubuntu18.04版本、torch1.6.0以及torchvision0.7.0。訓(xùn)練時(shí)初始學(xué)習(xí)率為0.01，batch-size設(shè)置為64，使用馬賽克數(shù)據(jù)增強(qiáng)的概率為0.2，共迭代300次。

2.2 評(píng)價(jià)指標(biāo)

在目標(biāo)檢測(cè)算法中，常用的評(píng)價(jià)指標(biāo)有平均精度（Average Precision，AP），平均精度均值（mean Average Precision，mAP）、精確度（Precision）、召回率（Recall）、浮點(diǎn)運(yùn)算量、交并比（Intersection-over-Union，IoU）[27]等。其中，IoU用來(lái)衡量真實(shí)框與檢測(cè)框之間的匹配程度，因此，在本研究中，IoU設(shè)置為0.4，即重合度高于0.4即可視為檢測(cè)的正樣本，選用精確度、召回率以及 AP和mAP來(lái)衡量模型的檢測(cè)性能。針對(duì)使用Re-YOLOv5模型獲取到的大豆植株表型參數(shù)，本研究使用4個(gè)評(píng)價(jià)指標(biāo)來(lái)評(píng)估其準(zhǔn)確性，分別為平均絕對(duì)誤差（Mean Absolute Error，MAE）、最大絕對(duì)誤差（Highest Absolute Error，MAE）、平均相對(duì)誤差（Mean Relative Error，MRE）、最大相對(duì)誤差[28-29]（Highest Relative Error，HRE）。

2.3 對(duì)比試驗(yàn)與分析

為了驗(yàn)證本研究所選用的YOLOv5模型及其改進(jìn)網(wǎng)絡(luò)相比于其他目標(biāo)檢測(cè)模型性能有所提升且能夠滿(mǎn)足獲取表型參數(shù)的需要，本研究訓(xùn)練了兩類(lèi)的目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行了對(duì)比試驗(yàn)，分別為二階段目標(biāo)檢測(cè)模型的典型代表Faster R-CNN，單階段目標(biāo)檢測(cè)模型中的SSD以及原始YOLOv5模型，所有模型均經(jīng)過(guò)300次迭代，YOLOv5(CSL)、Re-YOLOv5、YOLOv5這3種模型的總損失曲線(xiàn)進(jìn)行對(duì)比，結(jié)果如圖5所示。

注：CSL代表引入圓形平滑標(biāo)簽技術(shù)

由圖5可知，在相同的網(wǎng)絡(luò)參數(shù)下，Re-YOLOv5的總損失值最小，但收斂速度與YOLOv5差異較小，YOLOv5(CSL)的損失值最大，其原因是由于YOLOv5中新增加了一個(gè)分類(lèi)任務(wù)和分類(lèi)損失，最終必定會(huì)對(duì)YOLOv5的總損失造成影響，因此對(duì)其進(jìn)行進(jìn)一步改進(jìn)，最終得到Re-YOLOv5，使其總損失比YOLOv5進(jìn)一步降低，解決了YOLOv5(CSL)總損失較高的缺點(diǎn)。

本研究對(duì)Re-YOLOv5、YOLOv5的精確率和召回率曲線(xiàn)進(jìn)行比較，結(jié)果如圖6所示。通過(guò)對(duì)比Re-YOLOv5與YOLOv5的精確率曲線(xiàn)和召回率曲線(xiàn)可知，Re-YOLOv5的最終精確率比YOLOv5略高，且在迭代100次后其精確率曲線(xiàn)均位于YOLOv5精確率曲線(xiàn)的上方，但兩者的收斂速度相似。Re-YOLOv5與YOLOv5的召回率曲線(xiàn)差異略小，兩者的最終召回率也接近相同，因此，改進(jìn)后的Re-YOLOv5在保持了與原始網(wǎng)絡(luò)召回率相似的同時(shí)，精確率有所提升。

圖6 YOLOv5與Re-YOLOv5的精確率與召回率曲線(xiàn)

本研究利用精確率、召回率、AP、mAP以及參數(shù)量對(duì)各個(gè)對(duì)比模型進(jìn)行評(píng)價(jià)，結(jié)果如表1所示。由表1可知，二階段目標(biāo)檢測(cè)模型具有最高的參數(shù)量，因此具有最慢的計(jì)算速度，所需要占用的GPU資源也最多，且其精度相比于單階段檢測(cè)模型中的YOLO系列并沒(méi)有提升，此外，F(xiàn)aster R-CNN針對(duì)莖節(jié)點(diǎn)的檢測(cè)能力不足，平均精度僅為0.01%，在所有模型中精度最低，幾乎無(wú)法檢測(cè)，這是由于Faster R-CNN中的錨框需要人工設(shè)置，莖節(jié)點(diǎn)目標(biāo)過(guò)小造成人工設(shè)置錨框無(wú)法滿(mǎn)足該小目標(biāo)檢測(cè)的需要，造成最小的錨框都要比莖節(jié)點(diǎn)目標(biāo)大得多，因此造成針對(duì)小目標(biāo)的檢測(cè)效果太差，無(wú)法滿(mǎn)足檢測(cè)需求。SSD相比于YOLO系列網(wǎng)絡(luò)，針對(duì)大豆分枝的召回率不相上下，但其精確率、AP以及mAP與YOLO系列相差較大，針對(duì)莖節(jié)點(diǎn)的平均精度僅為4.87%，無(wú)法滿(mǎn)足正常的檢測(cè)需求，而YOLO系列的YOLOv3以及YOLOv5的mAP均為80%以上，YOLOv3雖然在大豆分枝上的準(zhǔn)確率、召回率及AP和YOLOv5接近，但是其針對(duì)莖節(jié)點(diǎn)的檢測(cè)能力不足，該類(lèi)別的平均精度與YOLOv5相差6個(gè)百分點(diǎn)，mAP值相差3.85個(gè)百分點(diǎn)，其參數(shù)量達(dá)到了61.50 M，約為YOLOv5的9倍。綜合考慮Faster R-CNN、SSD、YOLOv3、YOLOv5的檢測(cè)效果以及參數(shù)量，本研究選用了小目標(biāo)檢測(cè)能力較強(qiáng)且mAP值最高的YOLOv5作為基礎(chǔ)網(wǎng)絡(luò)并在此基礎(chǔ)上進(jìn)行改進(jìn)得到最終使用的Re-YOLOv5。

表1 各種模型檢測(cè)結(jié)果的比較

注：AP表示精度均值；mAP表示平均精度均值。

Note: AP is average precision; mAP is mean average precision.

但是，使用YOLOv5進(jìn)行檢測(cè)會(huì)造成有些大豆分枝檢測(cè)區(qū)域中包含許冗余信息，對(duì)檢測(cè)結(jié)果造成影響，如圖7所示。對(duì)于多分枝大豆植株樣本，使用原始YOLOv5檢測(cè)時(shí)，其檢測(cè)區(qū)域并不能完全包含該分枝的所有信息，例如圖8a、8b中的分枝檢測(cè)區(qū)域并沒(méi)有包含最頂端莖節(jié)點(diǎn)的信息，此外，大豆分枝的矩形框檢測(cè)區(qū)域中雖然能夠包含該分枝的部分信息，但是同樣包含許多其他分枝以及其他分枝的主莖節(jié)點(diǎn)信息，在進(jìn)行檢測(cè)區(qū)域搜索時(shí)這些信息會(huì)造成信息誤判，使得本應(yīng)屬于其他分枝的主莖節(jié)點(diǎn)被錯(cuò)誤判定為該分枝的主莖節(jié)點(diǎn)，從而對(duì)重構(gòu)大豆植株骨架以及獲取后續(xù)表型信息造成較大影響，因此，本研究在其基礎(chǔ)上改進(jìn)得到Re-YOLOv5，使其不僅能夠檢測(cè)旋轉(zhuǎn)目標(biāo)，盡可能去除多余信息，且檢測(cè)精度能夠進(jìn)一步提升。

注：圖中框線(xiàn)為檢測(cè)框，數(shù)值為檢測(cè)精度。

圖8 基于Re-YOLOv5的大豆植株樣本檢測(cè)效果圖

由圖8可知，Re-YOLOv5具有檢測(cè)旋轉(zhuǎn)目標(biāo)的能力，且每個(gè)大豆分枝旋轉(zhuǎn)檢測(cè)框中都盡可能地僅包含該分枝的所有信息，最大程度地減少了其他分枝信息的干擾，避免了在進(jìn)行檢測(cè)區(qū)域搜索時(shí)其他分枝信息對(duì)結(jié)果造成的干擾，使其能夠得到精確的大豆植株骨架，為后期進(jìn)行大豆分枝夾角的計(jì)算、大豆株型的判斷提供了精確的參考依據(jù)。

由表1可知，YOLOv5（CSL）的mAP比YOLOv5有所下降，參數(shù)量則上升了大約0.5 M，為了提升模型的檢測(cè)效果，在其基礎(chǔ)上加入了協(xié)調(diào)注意力機(jī)制以及RepVGG提升其檢測(cè)精度。由表1可知，YOLOv5（CSL+CA）針對(duì)莖節(jié)點(diǎn)的準(zhǔn)確率、召回率、AP相比于YOLOv5（CSL）和YOLOv5均有提升，其mAP值比YOLOv5（CSL）提升了4.44個(gè)百分點(diǎn)，比YOLOv5提升了0.62個(gè)百分點(diǎn)。Re-YOLOv5針對(duì)兩類(lèi)目標(biāo)的準(zhǔn)確率、召回率、AP以及mAP相比YOLOv5（CSL+CA）又有了進(jìn)一步提升，其中，mAP比YOLOv5（CSL+CA）提升了約1.08個(gè)百分點(diǎn)，比.YOLOv5提升了1.70個(gè)百分點(diǎn)，檢測(cè)小目標(biāo)的能力有所上升，針對(duì)莖節(jié)點(diǎn)的檢測(cè)精確率比YOLOv5（CSL+CA）提升了1.90個(gè)百分點(diǎn)，比YOLOv5提升了9.90個(gè)百分點(diǎn)，參數(shù)量則下降到了6.85 M，比YOLOv5（CSL）下降了0.65 M，比YOLOv5參數(shù)量下降了0.17 M，但是比YOLOv5（CSL+CA）有所上升?？紤]到整體的檢測(cè)精度以及參數(shù)量的大小，本研究改進(jìn)的Re-YOLOv5，不僅可以檢測(cè)旋轉(zhuǎn)目標(biāo)，實(shí)現(xiàn)最優(yōu)檢測(cè)效果的同時(shí)，參數(shù)量也比YOLOv5有所下降。

2.4 大豆植株表型數(shù)據(jù)結(jié)果分析

本研究通過(guò)對(duì)驗(yàn)證集進(jìn)行測(cè)試，最終得到了驗(yàn)證集中每張圖像所對(duì)應(yīng)的大豆植株樣本的3種表型參數(shù)，將其與人工測(cè)量真值進(jìn)行比較，評(píng)估結(jié)果如表2所示?？梢钥闯?，在驗(yàn)證集中，對(duì)分枝的判斷準(zhǔn)確率最高，其平均絕對(duì)誤差僅為0.03個(gè)，幾乎可以準(zhǔn)確識(shí)別出大豆植株的分枝，這是由于分枝在大豆植株中相較于其他表型具有最明顯的特征，因此，獲取分枝參數(shù)的準(zhǔn)確率最高。

針對(duì)大豆莖節(jié)點(diǎn)，大豆莖節(jié)點(diǎn)數(shù)的平均絕對(duì)誤差為1.37個(gè)，最大絕對(duì)誤差僅為5.00個(gè)。大豆植株中會(huì)存在大豆豆莢遮擋植株主莖和分枝的情況，這種情況在復(fù)雜分枝樣本中比較常見(jiàn)，單分枝和雙分枝大豆植株樣本由于分枝少，豆莢分布較為稀疏，因此遮擋情況并不普遍。

表2 大豆植株表型參數(shù)分析結(jié)果

注：MAE為平均絕對(duì)誤差；HAE為最大絕對(duì)誤差；MRE為平均相對(duì)誤差；HRE為最大相對(duì)誤差。

Note: MAE is mean absolute error; HAE is highest absolute error; MRE is mean relative error; HRE is highest relative error.

為了探究遮擋情況對(duì)檢測(cè)大豆莖節(jié)點(diǎn)檢測(cè)是否造成較大影響，本研究對(duì)復(fù)雜分枝大豆植株進(jìn)行檢測(cè)，圖9為圖8c的部分截取圖，由圖9可知，大豆豆莢的顏色特征與大豆莖稈有明顯區(qū)別，且遮擋特征與莖節(jié)點(diǎn)特征并不相似，所有遮擋部分并未被誤檢為莖節(jié)點(diǎn)，因此不會(huì)對(duì)莖節(jié)點(diǎn)的檢測(cè)造成較大影響。大豆植株株高的平均誤差為2.06 cm，最大誤差為14.52 cm。最大誤差較高的主要原因是由于大豆子葉節(jié)點(diǎn)的特征并不明顯，一些植株中的子葉節(jié)點(diǎn)甚至肉眼也難以分辨，造成模型在進(jìn)行檢測(cè)時(shí)針對(duì)子葉節(jié)點(diǎn)會(huì)有漏檢的情況，導(dǎo)致計(jì)算株高時(shí)會(huì)缺少子葉節(jié)點(diǎn)到第一個(gè)莖節(jié)點(diǎn)的距離。

注：圖中框1和3為豆莢遮擋分枝情況；框2為豆莢遮擋主莖情況。

雖然本研究?jī)H獲得了3種表型參數(shù)，但是可以根據(jù)這3種表型參數(shù)獲取更多的表型參數(shù)，例如利用莖節(jié)點(diǎn)數(shù)計(jì)算莖節(jié)數(shù)、主莖長(zhǎng)、莖節(jié)長(zhǎng)等，通過(guò)得重構(gòu)的植株骨架利用霍夫變換來(lái)計(jì)算每個(gè)分枝與主莖之間的夾角，進(jìn)而判斷株型等參數(shù)，因此，該方法也為后續(xù)繼續(xù)進(jìn)行表型參數(shù)獲取提供了良好基礎(chǔ)。整體來(lái)看，該方法檢測(cè)精度高，能夠滿(mǎn)足自動(dòng)采集大豆植株表型參數(shù)的要求。

3 結(jié) 論

1）本研究提出了一種基于Re-YOLOv5的大豆植株莖節(jié)點(diǎn)與大豆分枝的檢測(cè)方法。試驗(yàn)證明，該方法具有較高的檢測(cè)精度，其平均精度均值（mean Average Precision，mAP）達(dá)到了93.40%，達(dá)到了能夠檢測(cè)旋轉(zhuǎn)目標(biāo)的能力，且能夠最大限度地減少大豆分枝檢測(cè)區(qū)域中的冗余信息。

2）Re-YOLOv5網(wǎng)絡(luò)，相比于YOLOv5, 其mAP提升了1.70個(gè)百分點(diǎn)，莖節(jié)點(diǎn)類(lèi)的平均精度（Average Precision，AP）提升了9.90個(gè)百分點(diǎn)，具有較強(qiáng)的小目標(biāo)檢測(cè)能力，且其參數(shù)量相比于只引入圓形平滑標(biāo)簽技術(shù)（Circular Smooth Label，CSL）的YOLOv5下降了0.65 M，比YOLOv5降低了0.17 M。

3）采用檢測(cè)區(qū)域定位算法重構(gòu)大豆植株骨架，可以準(zhǔn)確得到大豆植株的株高、莖結(jié)點(diǎn)數(shù)、分枝數(shù)等表型信息。驗(yàn)證集測(cè)試結(jié)果表明，株高的平均絕對(duì)誤差為2.06 cm，莖節(jié)點(diǎn)數(shù)的平均絕對(duì)誤差為1.37個(gè)，分枝數(shù)的平均絕對(duì)誤差最低，為0.03個(gè)，上述表型參數(shù)的誤差均在可接受的范圍內(nèi)，因此，可以證明該方法能夠較為準(zhǔn)確地獲取大豆植株的部分表型參數(shù)以及大豆植株骨架圖，并為獲取大豆分枝夾角、大豆株型等表型信息提供了基礎(chǔ)。

[1] 劉梅芳，樊琦. 中國(guó)大豆消費(fèi)、生產(chǎn)和進(jìn)口現(xiàn)狀及存在的問(wèn)題[J]. 糧食科技與經(jīng)濟(jì)，2021，46(6)：28-35.

Liu Meifang, Fan Qi. Study on the current situation and problems of soybean consumption, production and import in China[J]. Food Science and Technology and Economy, 2021, 46(6): 28-35. (in Chinese with English abstract)

[2] Kamilaris A, Prenafeta-Boldú F X. Deep learning in agriculture: A survey[J]. Computers and Electronics in Agriculture, 2018, 147: 70-90.

[3] Santos L, Santos F N, Oliveira P M, et al. Deep learning applications in agriculture: A short review[C]//Iberian Robotics Conference. Porto: Springer, 2019: 139-151.

[4] Zhao W, Yamada W, Li T, et al. Augmenting crop detection for precision agriculture with deep visual transfer learning: A case study of bale detection[J]. Remote Sensing, 2020, 13(1): 23.

[5] Mohanty S P, Hughes D P, Salathé M. Using deep learning for image-based plant disease detection[J]. Frontiers in Plant Science, 2016, 7: 1419.

[6] Lippi M, Bonucci N, Carpio R F, et al. A yolo-based pest detection system for precision agriculture[C]//2021 29th Mediterranean Conference on Control and Automation (MED).Puglia: IEEE, 2021: 342-347.

[7] 閆壯壯，閆學(xué)慧，石嘉，等. 基于深度學(xué)習(xí)的大豆豆莢類(lèi)別識(shí)別研究[J]. 作物學(xué)報(bào)，2020，46(11)：1771-1779.

Yan Zhuangzhaung, Yan Xuehui, Shi Jia, et al, Classification of soybean pods using deep learning[J]. Acta Agronomica Sinica , 2020, 46(11): 1771-1779. (in Chinese with English abstract)

[8] Lowe D G. Object recognition from local scale-invariant features[C]//Proceedings of the Seventh IEEE International Conference on Computer Vision. IEEE, 1999: 1150-1157.

[9] Ma X, Najjar W A, Roy-Chowdhury A K. Evaluation and acceleration of high-throughput fixed-point object detection on FPGAs[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 25(6): 1051-1062.

[10] Said Y, Atri M, Tourki R. Human detection based on integral Histograms of Oriented Gradients and SVM[C]//2011 International Conference on Communications, Computing and Control Applications (CCCA). Hong Kong: IEEE, 2011: 1-5.

[11] Liu T H, Nie X N, Wu J M, et al. Pineapple () fruit detection and localization in natural environment based on binocular stereo vision and improved YOLOv3 model[J/OL]. Precision Agriculture, 2022, 1(22). (2022-04-20) https://doi.org/10.1007/s11119-022-09935-x

[12] de Castro Pereira R, Hirose E, de Carvalho O L F, et al. Detection and classification of whiteflies and development stages on soybean leaves images using an improved deep learning strategy[J]. Computers and Electronics in Agriculture, 2022, 199: 107132.

[13] 彭紅星，李荊，徐慧明，等. 基于多重特征增強(qiáng)與特征融合SSD的荔枝檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(4)：169-177.

Peng Hongxing, Li Jing, Xu Huiming, et al. Litchi detection based on multiple feature enhancement and feature fusion SSD[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2022,38(4):169-177. (in Chinese with English abstract)

[14] Albawi S, Mohammed T A, Al-Zawi S. Understanding of a convolutional neural network[C]//2017 International Conference on Engineering and Technology (ICET). Antalya: IEEE, 2017: 1-6.

[15] Xie X, Cheng G, Wang J, et al. Oriented R-CNN for object detection[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Montreal: IEEE, 2021: 3520-3529.

[16] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. Advances in Neural Information Processing Systems, 2015, 28.

[17] Dai J, Li Y, He K, et al. R-FCN: Object detection via region-based fully convolutional networks[EB/OL]. (2016-06-21)[2022-04-20). https://arxiv.org/abs/1605.06409.

[18] Liu W, Anguelov D, Erhan D, et al. Ssd: Single shot multibox detector[C]//European Conference on Computer Vision. Amsterdam: Springer, Cham, 2016: 21-37

[19] Xiao Y, Tian Z, Yu J, et al. A review of object detection based on deep learning[J]. Multimedia Tools and Applications, 2020, 79(33): 23729-23791.

[20] 王嘉琳. 基于YOLOv5和DeepSORT的多目標(biāo)跟蹤算法研究與應(yīng)用[D]. 濟(jì)南：山東大學(xué)，2021.

Wang Jialin. Research and Application of Multi-Target TrackingAlgorithm Based on YOLOV5 and DEEPSORT[D]. Jinan: Shandong University, 2021. (in Chinese with English abstract)

[21] Liu Y, Sun P, Wergeles N, et al. A survey and performance evaluation of deep learning methods for small object detection[J]. Expert Systems with Applications, 2021, 172: 114602.

[22] Wang D, He D. Channel pruned YOLO V5s-based deep learning approach for rapid and accurate apple fruitlet detection before fruit thinning[J]. Biosystems Engineering, 2021, 210: 271-281.

[23] Yang X, Yan J. On the arbitrary-oriented object detection: Classification based approaches revisited[J]. International Journal of Computer Vision, 2022, 130(5): 1340-1365

[24] Hou Q, Zhou D, Feng J. Coordinate attention for efficient mobile network design[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Virtual: IEEE, 2021: 13713-13722.

[25] 白強(qiáng)，高榮華，趙春江，等. 基于改進(jìn)YOLOV5s網(wǎng)絡(luò)的奶牛多尺度行為識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(12)：163-172.

Bai Qiang, Gao Ronghua, Zhao Chunjiang, et al. Multi-scale behavior recognition method for dairy cows based on improved YOLOV5s network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(12): 163-172. (in Chinese with English abstract)

[26] Ding X, Zhang X, Ma N, et al. Repvgg: Making vgg-style convnets great again[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Virtual: IEEE, 2021: 13733-13742.

[27] 孫豐剛，王云露，蘭鵬，等. 基于改進(jìn)YOLOv5s和遷移學(xué)習(xí)的蘋(píng)果果實(shí)病害識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(11)：171-179.

Sun Fenggang, Wang Yunlu, Lan Peng, et al. Identification of apple fruit diseases using improved YOLOv5s and transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(11): 171-179. (in Chinese with English abstract)

[28] 李彬，杜丁香，王興國(guó)，等. 基于平均絕對(duì)誤差的海上風(fēng)電經(jīng)柔直送出系統(tǒng)交流海纜縱聯(lián)保護(hù)[J]. 電測(cè)與儀表，2022，59(6)：122-129.

Li Bin, Du Dingxiang, Wang Xingguo, et al. AC submarine cable pilot protection for offshore wind power through MMC-HVDC system based on mean absolute error[J]. Electrical Measurement and Instrumentation, 2022, 59(6): 122-129. (in Chinese with English abstract)

[29] 薛帥，王光霞，郭建忠，等. 顧及最大絕對(duì)誤差的頻率域矢量數(shù)據(jù)壓縮算法[J]. 武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2018，43(9)：1438-1444.

Xue Shuai,Wang Guangxia, Guo Jianzhong, et al. Vector map data compression of frequency domain with consideration of maximum absolute error[J]. Geomatics and Information Science of Wuhan University, 2018, 43(9): 1438-1444. (in Chinese with English abstract)

Acquiring soybean phenotypic parameters using Re-YOLOv5 and area search algorithm

Guo Xiyue1, Li Jinsong1, Zheng Lihua1, Zhang Man1,2, Wang Minjuan1,2※

(1.,,,100083,; 2.,264670,)

The phenotypic information of soybean has been one of the most important indicators for the variety selection of soybean. Most research has been focused on soybean pods for phenotypic traits at present. However, the phenotypic information of soybean plants can also be a very important indicator for soybean seed breeding. Furthermore, the current manual measurement cannot fully meet the large-scale production in recent years, due to the time and labor-consuming. More recently, computer technologies have been started to automatically acquire the soybean phenotypic parameters. For instance, some shallow machine learning and image description were used for the image feature extraction and target detection, such as the Scale-Invariant Feature Transform (SIFT), Histogram of Oriented Gradient (HOG), and Support Vector Machine (SVM). Although the automatic acquisition of phenotypic data was realized to a certain extent, the high generalization ability can be a high demand suitable for practical application scenarios. In this study, an improved model was proposed to rapidly and accurately acquire the soybean plant phenotype using Re-YOLOv5 and area search algorithm. The circular smooth labels were also introduced in the Re-YOLOv5 to process the angle information for the detection of the rotating objects. The angle regression was then converted into a simple classification. As such, the rotating objects were accurately detected to reduce the redundant information in the detection area during object detection. In addition, the Coordinate attention mechanism was added to the Neck part of YOLOv5 (CSL). The cross-channel information was then obtained to capture the position and orientation information. As such, the improved network was used to more accurately locate and recognize the soybean branching than before. The weights greatly contributed to the YOLOv5 on the processing of feature-related parts. More importantly, the original 3×3 convolution kernels were placed in the backbone with a RepVGG block structure. The feature information was then fused to extract using different convolution modules. The information extraction of the overall structure was enhanced for the parallel fusion of the multiple convolution layers while reducing the number of model parameters. Taking the detected branch as the search area, an area search algorithm was also proposed to input into the algorithm, in order to extract the relevant information of the stem nodes in the area, and then connect the nodes in sequence. Thus, the soybean skeleton was reconstructed to obtain phenotypic information about soybean. The experimental results showed that the improved Re-YOLOv5 performed better to detect the rotating objects in various phenotypic indicators, compared with the YOLOv5. Specifically, the mAP of the improved Re-YOLOv5 increased by 1.70 percentage points, the number of parameters decreased by 0.17 M, and the detection accuracy of stem nodes was improved by 9.90 percentage points. An excellent ability was also achieved to detect the small targets suitable for the acquisition of the soybean plant phenotype information. Among them, the average absolute errors of plant height, and the number of stem nodes and branches were 2.06 cm, 1.37, and 0.03, respectively, fully meeting the accuracy requirements of actual collection. At the same time, the detection area search algorithm can also be expected to accurately locate the stem nodes on each branch for the single-, double-, and complex-branched soybean plants, and then reconstruct an accurate soybean skeleton. Anyway, the improved model can also be used to accurately and efficiently acquire the phenotypic information of soybean branch angle, and soybean plant type. The finding can provide a strong reference for the subsequent acquisition of phenotypic information during soybean production.

models; algorithms; soybean; object detection; YOLOv5; area search

10.11975/j.issn.1002-6819.2022.15.020

S643.7; TP391.4

A

1002-6819(2022)-15-0186-09

郭希岳，李勁松，鄭立華，等. 利用Re-YOLOv5和檢測(cè)區(qū)域搜索算法獲取大豆植株表型參數(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(15)：186-194.doi：10.11975/j.issn.1002-6819.2022.15.020 http://www.tcsae.org

Guo Xiyue, Li Jinsong, Zheng Lihua, et al. Acquiring soybean phenotypic parameters using Re-YOLOv5 and area search algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(15): 186-194. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.15.020 http://www.tcsae.org

2022-06-03

2022-07-22

國(guó)家自然科學(xué)基金項(xiàng)目（31971786）；山東省自然科學(xué)基金面上項(xiàng)目（ZR2021MC021）

郭希岳，研究方向?yàn)橛?jì)算機(jī)視覺(jué)技術(shù)。Email：gxy529708425@163.com

王敏娟，副教授，博士生導(dǎo)師，研究方向?yàn)橛?jì)算機(jī)視覺(jué)技術(shù)。Email：minjuan@cau.edu.cn