摘要:為在稻田中準(zhǔn)確高效識(shí)別雜草,從而支持選擇性噴藥或機(jī)器人除草,基于農(nóng)業(yè)大數(shù)據(jù)技術(shù)和深度學(xué)習(xí)技術(shù)提出改進(jìn)的YOLO v8雜草檢測模型,即采用CBAM(convolution block attention module)注意力機(jī)制來增強(qiáng)YOLO v8網(wǎng)絡(luò)對(duì)復(fù)雜環(huán)境中雜草特征的提取能力,同時(shí)使用EIOU(expected intersection over union)+DFL(distribution focal loss)提高YOLO v8檢測框的回歸效率,并通過模型對(duì)比試驗(yàn)驗(yàn)證了改進(jìn)YOLO v8模型的有效性。結(jié)果表明,改進(jìn)YOLO v8模型在測試集上的均值平均精度(mean average precision,mAP)達(dá)到98.2%,相比YOLO v8提高了4.4百分點(diǎn),且在參數(shù)量和計(jì)算量方面僅有微小增加。相比YOLO v3、YOLO v4、YOLO v5、YOLOX、YOLO v7,其mAP分別提高24.8、21.9、14.8、21.3、8百分點(diǎn)。在模擬不同光照條件的測試中,改進(jìn)YOLO v8模型表現(xiàn)出較強(qiáng)的泛化能力,精度(precision,P)、召回率(recall,R)和mAP保持在88.1%以上。此外,在測試環(huán)境復(fù)雜的條件下,改進(jìn)YOLO v8模型對(duì)6種雜草的識(shí)別顯示出卓越的魯棒性和泛化能力,P達(dá)到94.2%以上,R達(dá)到95.7%以上,AP均達(dá)到95.2%以上。綜上,本研究提出的改進(jìn)YOLO v8具有更少的參數(shù)和計(jì)算量,同時(shí)克服了現(xiàn)有稻田中雜草識(shí)別方法的局限性,可為稻田中的雜草控制工作提供技術(shù)支持。
關(guān)鍵詞:稻田;雜草識(shí)別;農(nóng)業(yè)大數(shù)據(jù);深度學(xué)習(xí);YOLO v8模型;魯棒性;泛化能力
中圖分類號(hào):TP391.41;S126 文獻(xiàn)標(biāo)志碼:A
文章編號(hào):1002-1302(2024)18-0215-07
收稿日期:2024-05-28
基金項(xiàng)目:山東省水稻產(chǎn)業(yè)技術(shù)體系濟(jì)寧綜合試驗(yàn)站建設(shè)項(xiàng)目(編號(hào):SDAIT-17-11);山東省科技特派員創(chuàng)新創(chuàng)業(yè)及科技服務(wù)鄉(xiāng)村振興典型案例項(xiàng)目(編號(hào):2022DXAL0117);國家重點(diǎn)研發(fā)計(jì)劃(編號(hào):2022YFD2001501)。
作者簡介:高發(fā)瑞(1982—),男,山東濟(jì)寧人,碩士,高級(jí)農(nóng)藝師,主要從事水稻栽培育種、農(nóng)業(yè)大數(shù)據(jù)研究。E-mail:gaofarui@163.com。
通信作者:管憲魯,博士研究生,主要從事農(nóng)業(yè)信息化及智能化研究,E-mail:guanxl@stu.scau.edu.cn;高國良,碩士,高級(jí)農(nóng)藝師,主要從事水稻栽培育種研究,E-mail:haishuig@163.com。
水稻生產(chǎn)受雜草競爭生長的嚴(yán)重影響,其產(chǎn)量和品質(zhì)大幅下降[1-2]。傳統(tǒng)的除草方法采用人工大面積噴施除草劑,然而這種方式勞動(dòng)強(qiáng)度大、危險(xiǎn)性高[3]。為了提高效率,農(nóng)業(yè)領(lǐng)域逐漸引入了無人機(jī)和農(nóng)機(jī)進(jìn)行噴施農(nóng)藥,但同時(shí)也帶來了環(huán)境污染和食品安全的問題[4]。隨著精準(zhǔn)農(nóng)業(yè)和綠色農(nóng)業(yè)理念的興起,研究者們積極探索準(zhǔn)確高效的雜草識(shí)別方法,以應(yīng)對(duì)環(huán)境污染和食品安全問題[5-8]。
傳統(tǒng)的基于圖像處理的識(shí)別方法雖然在一定程度上有效,但在復(fù)雜多變的自然環(huán)境下存在著諸多問題,如光照條件影響、計(jì)算量大和檢測速度慢等[9-13]。近年來,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)等模型在雜草識(shí)別領(lǐng)域有很多應(yīng)用。這些模型能夠自動(dòng)提取圖像高級(jí)特征,對(duì)光照、角度等變化具有強(qiáng)魯棒性,從而提高了識(shí)別的準(zhǔn)確性和穩(wěn)定性。已有多種基于深度學(xué)習(xí)的雜草識(shí)別模型被提出,例如Yu等的CNN模型[14]、Babu等改進(jìn)的深度殘差網(wǎng)絡(luò)[15]、張樂等提出的Faster R-CNN模型等[16-17]。在稻田雜草識(shí)別方面,鄧向武等采用多特征融合和深度置信網(wǎng)絡(luò)[18],李彧等使用U-Net模型實(shí)現(xiàn)了高準(zhǔn)確度識(shí)別[19],Peng等通過改進(jìn)RetinaNet,提高了模型的魯棒性和檢測速度[20]。
基于圖像自動(dòng)識(shí)別水稻田中雜草種類的方法非常有必要,而且圖像作為農(nóng)業(yè)大數(shù)據(jù)的重要部分[21]可以用來進(jìn)行數(shù)據(jù)挖掘與分析,從而用于指導(dǎo)農(nóng)業(yè)生產(chǎn)。在大量田間雜草圖像數(shù)據(jù)的支撐下,基于深度學(xué)習(xí)技術(shù)對(duì)稻田雜草數(shù)據(jù)進(jìn)行特征提取和模型訓(xùn)練對(duì)于精準(zhǔn)除草具有重要意義。然而,水面反射、土壤背景、不同的生長和光照變化使得這種方法的開發(fā)具有挑戰(zhàn)性[22]。此外,為了實(shí)際應(yīng)用,還需要考慮模型的計(jì)算成本和識(shí)別速率。因此,本研究的目的是開發(fā)一種輕量級(jí)的稻田雜草種類識(shí)別模型。為此,本試驗(yàn)的具體目標(biāo)為收集水稻田中6種主要雜草的數(shù)據(jù),建立雜草數(shù)據(jù)集;通過改進(jìn)YOLO v8模型,提出一種輕量級(jí)的雜草識(shí)別模型,并測試該模型的魯棒性。
1 材料與方法
1.1 數(shù)據(jù)集構(gòu)建與預(yù)處理
雜草圖像是于2022年6—10月在山東省濟(jì)寧市農(nóng)業(yè)科學(xué)研究院水稻試驗(yàn)田中,使用蘋果iPhone 11智能手機(jī)拍攝的。選取水稻田中的鱧腸(Eclipta prostrata)、千金子(Leptochloa chinensis)、異型莎草(Cyperus difformis)、水莧菜(Ammannia baccifera)、稗(Echinochloa crusgalli)和野慈姑(Sagittaria trifolia)作為研究對(duì)象,采集圖像并構(gòu)建了包括3 210張雜草圖像的數(shù)據(jù)集。隨后本研究在農(nóng)藝專家的指導(dǎo)下將數(shù)據(jù)中的圖像劃分為相應(yīng)的雜草類別。圖像被裁剪為640像素×640像素(圖1),訓(xùn)練集、驗(yàn)證集和測試集的劃分如表1所示。
1.2 改進(jìn)的YOLO v8模型
本研究提出了一種改進(jìn)的YOLO v8檢測模型,用于復(fù)雜環(huán)境中識(shí)別水稻田中的雜草。YOLO v8是目前主流的目標(biāo)檢測模型之一,采用基于無錨的檢測方法,這意味著它直接預(yù)測目標(biāo)的中心點(diǎn)和寬高比,而不是預(yù)測框的位置和大小。這種方法可以減少預(yù)測框的數(shù)量,并提高檢測速度和準(zhǔn)確性。其原理可分為兩部分:特征提取和目標(biāo)檢測。然而,在實(shí)際檢測中,在處理圖像對(duì)象密集、目標(biāo)之間相互遮擋、對(duì)象多尺度檢測等問題方面仍存在一些不足[23]。為了解決這些問題,本研究基于YOLO v8進(jìn)行了一系列改進(jìn),如引入CBAM(convolution block attention module)注意力機(jī)制、改進(jìn)損失函數(shù)等方法。改進(jìn)YOLO v8模型的基本架構(gòu)如圖2所示。
1.3 CBAM注意力機(jī)制
在計(jì)算機(jī)視覺中,增加的注意力機(jī)制使圖像或特征圖的不同部分能夠以不同的方式加權(quán)。這允許網(wǎng)絡(luò)在另一個(gè)程度上關(guān)注特征圖的不同區(qū)域,從而使網(wǎng)絡(luò)能夠更好地關(guān)注感興趣的目標(biāo)區(qū)域。注意力機(jī)制可以增強(qiáng)圖像信息提取,提高對(duì)檢測目標(biāo)的聚焦。CBAM注意力機(jī)制由通道和空間注意力機(jī)制組成,其結(jié)構(gòu)如圖3所示。給定1個(gè)輸入特征圖,該模塊首先沿通道和空間2個(gè)維度依次推斷注意力權(quán)重。接著,將它們與輸入特征圖相乘,以進(jìn)行自適應(yīng)特征修改[24]。在本研究中,CBAM注意力機(jī)制被嵌入到SPPF(spatial pyramid pooling fast)模塊,進(jìn)一步增強(qiáng)YOLO v8主干的特征提取能力。
1.4 改進(jìn)的預(yù)測框回歸損失函數(shù)
YOLO v8原始的預(yù)測框回歸損失為CIoU(complete intersection over union)+DFL(distribution focal loss)[25]。如圖4所示,CIoU和EIoU(expected intersection over union)在不同的迭代時(shí)期所展現(xiàn)出的效果存在明顯差異。CIoU預(yù)測框的尺度無法快速跟隨目標(biāo)自適應(yīng)變化,而EIoU的預(yù)測框可以快速向真實(shí)框擬合。因此,本研究將YOLO v8的損失函數(shù)由CIoU改進(jìn)為EIoU。EIoU的計(jì)算過程由3部分組成:IoU損失(LIoU)、中心距離損失(Ldis)和縱橫比損失(Lasp)。EIoU損失(LEIoU)可由公式(1)表示:
LEIoU=LIoU+Ldis+Lasp=1-IoU+ρ2(b,bgt)c2+ρ2(w,wgt)c2w+ρ2(h,hgt)c2h。(1)
式中:IoU表示交并比,表示預(yù)測框和真實(shí)框的交集和并集的比值;ρ為預(yù)測框與真實(shí)框之間的歐氏距離;b、w、h分別為預(yù)測框的中心點(diǎn)、寬度、高度;bgt、wgt、hgt分別為真實(shí)框的中心點(diǎn)、寬度、高度;c、cw、ch分別為包含預(yù)測框與真實(shí)框的最小邊界矩形框的對(duì)角線長度、寬度、高度。
分布焦點(diǎn)損失(distribution focal loss,DFL)的原理在于它同時(shí)考慮了分類難度和圖像中對(duì)象實(shí)例的空間分布,建立在焦點(diǎn)損失的基礎(chǔ)上,可以通過降低分類良好的例子的損失貢獻(xiàn)來解決類別失衡問題。如圖5所示,分布焦點(diǎn)損失通過將空間信息(如對(duì)象密度圖或區(qū)域建議)納入損失計(jì)算中。這樣,分布焦點(diǎn)損失引導(dǎo)模型能夠讓網(wǎng)絡(luò)更快地聚焦于目標(biāo)y附近的值,以交叉熵的形式去優(yōu)化目標(biāo)y最接近的左右2個(gè)位置的概率??偟膩碚f,分布焦點(diǎn)損失能夠有效地利用空間上下文,增強(qiáng)對(duì)象檢測模型的穩(wěn)健性和性能。
1.5 試驗(yàn)環(huán)境及模型評(píng)估
試驗(yàn)所用計(jì)算機(jī)的GPU型號(hào)為NVIDIA RTX3060,并利用CUDA 10.2加快模型收斂速度。模型訓(xùn)練參數(shù)設(shè)置如下:初始學(xué)習(xí)率為0.01,批量大小設(shè)置為6,訓(xùn)練周期為50個(gè)迭代。使用保留的測試集評(píng)估改進(jìn)的YOLO v8模型的雜草識(shí)別準(zhǔn)確率,同時(shí)考慮模型的計(jì)算復(fù)雜性來評(píng)估其性能。模型的評(píng)價(jià)指標(biāo)主要如下:精度(precision,P)、召回率(recall,R)、平均精度(average precision,AP)、平均精度均值(mean average precision,mAP)、參數(shù)量以及每秒浮點(diǎn)操作數(shù)(FLOPs)。這些指標(biāo)的定義如公式(2)、公式(3)、公式(4)和公式(5)所示。
P=TPTP+FP×100%;(2)
R=TPTP+FN×100%;(3)
AP=(∫20PRdR)×100%;(4)
mAP=∑6n=1APn6×100%。(5)
式中:TP、FP和FN分別表示真正例、假正例和假負(fù)例;n表示第n種雜草。
2 結(jié)果與分析
2.1 模型訓(xùn)練過程
如圖6-a所示,改進(jìn)YOLO v8模型的平均精度值均值在大約3次迭代后開始迅速提高,約在50次迭代時(shí),模型的平均精度均值提高至98%左右。如圖6-b所示,改進(jìn)YOLO v8模型的損失值在訓(xùn)練開始即快速降低,在模型訓(xùn)練至50次時(shí)降低至1.25以下。訓(xùn)練結(jié)果表明,改進(jìn)的YOLO v8模型在訓(xùn)練過程中表現(xiàn)穩(wěn)定,模型在訓(xùn)練過程中沒有過擬合或欠擬合,并具有較強(qiáng)的泛化能力。
2.2 模型對(duì)比試驗(yàn)
模型對(duì)比試驗(yàn)可證明改進(jìn)模型的有效性,因此本研究將提出的改進(jìn)YOLO v8模型與目前流行的模型進(jìn)行對(duì)比,結(jié)果見表2,本研究提出的改進(jìn)YOLO v8模型的mAP可以達(dá)到98.2%,其mAP相比于YOLO v8模型提高了4.4百分點(diǎn),而參數(shù)量和計(jì)算量相比YOLO v8僅有微小的增加。此外,本研究提出的改進(jìn)YOLO v8模型的mAP相比YOLO v3、YOLO v4、YOLO v5、YOLOX、YOLO v7分別提高24.8、21.9、14.8、21.3、8.0百分點(diǎn),在參數(shù)量和FLOPs方面總體來看也具有明顯的優(yōu)勢。
2.3 對(duì)不同光照條件下的雜草識(shí)別
在多云和晴天的不同光照條件下,雜草的顏色、紋理和形狀可能會(huì)發(fā)生顯著變化,導(dǎo)致識(shí)別準(zhǔn)確度降低。為了驗(yàn)證改進(jìn)YOLO v8模型對(duì)不同光照條件下雜草的識(shí)別效果,本研究通過調(diào)節(jié)測試圖像的亮度以模擬不同光照條件測試模型。如圖7所示,本研究分別將圖像的亮度降低和提高40%來模擬不同光照度。由圖8可以看出,在不同光照條件下的雜草所展現(xiàn)的顏色有明顯差異,這給模型的識(shí)別帶來了極大的挑戰(zhàn)。圖8顯示了使用亮度調(diào)節(jié)后的測試集測試改進(jìn)YOLO v8模型的結(jié)果??梢杂^察到,當(dāng)光線變強(qiáng)或變?nèi)鯐r(shí),模型的檢測精度有所下降。盡管光照度的變化會(huì)影響雜草識(shí)別的準(zhǔn)確性,但P、R和mAP仍在88.1%以上,這表明改進(jìn)YOLO v8模型在不同光照條件下具有較強(qiáng)的泛化能力。
2.4 改進(jìn)YOLO v8模型的魯棒性測試
不同雜草在其生長過程中顏色和形態(tài)會(huì)有顯著的變化,而且雜草也經(jīng)常被水稻葉片所遮擋,這十分考驗(yàn)?zāi)P偷姆夯芰汪敯粜?。如圖9所示,本研究使用鱧腸、千金子、異型莎草、水莧菜、稗和野慈姑的圖像來測試改進(jìn)YOLO v8模型的魯棒性。觀察識(shí)別結(jié)果發(fā)現(xiàn),圖像中被水稻葉片遮擋的鱧腸、千金子、稗和野慈姑可以被準(zhǔn)確地檢測,而且模糊圖像中的異型莎草也被準(zhǔn)確檢測出。當(dāng)水莧菜、千金子和異型莎草等多種雜草同時(shí)存在于同一圖像中時(shí),改進(jìn)YOLO v8模型仍然具有良好的識(shí)別能力。而且從表3的識(shí)別結(jié)果可以看出,改進(jìn)的YOLO v8對(duì)復(fù)雜環(huán)境中的6種雜草實(shí)現(xiàn)了令人滿意的識(shí)別性能,P達(dá)到94.2%以上,R達(dá)到95.7%以上,AP均達(dá)到95.2%以上,這表明本研究提出的改進(jìn)YOLO v8模型具有較強(qiáng)的魯棒性和泛化能力。
3 結(jié)論
本研究旨在開發(fā)一種輕量級(jí)的雜草識(shí)別模型。為實(shí)現(xiàn)這一目標(biāo),本研究基于農(nóng)h674N6z4XnZB7X0mlLNnSUzIVUwvC1AFh6V0N8TR96Q=業(yè)大數(shù)據(jù)技術(shù)和深度學(xué)習(xí)技術(shù),收集了稻田中的雜草樣本,構(gòu)建了1個(gè)雜草數(shù)據(jù)集,并提出改進(jìn)YOLO v8模型用于檢測稻田雜草。結(jié)果表明,改進(jìn)YOLO v8模型能夠準(zhǔn)確識(shí)別稻田中的雜草種類,對(duì)測試集的mAP達(dá)到98.2%。改進(jìn)YOLO v8模型對(duì)復(fù)雜環(huán)境中的雜草具有良好的識(shí)別準(zhǔn)確率,P均高于94.2%,R均高于95.7%。本研究提出的改進(jìn)YOLO v8模型在輕量級(jí)屬性和模型大小等方面優(yōu)于其他深度學(xué)習(xí)模型,同時(shí)獲得了高準(zhǔn)確性,因此在精確噴藥和智能除草方面具有極高的潛力。
參考文獻(xiàn):
[1]高 婷,王紅春,石旭旭,等. 水稻機(jī)械化插秧栽培及其草害防除[J]. 江蘇農(nóng)業(yè)科學(xué),2013,41(9):60-62.
[2]劉延剛,馬宗國,張明紅,等. 除草藥肥對(duì)稻田雜草的防效及水稻生長發(fā)育的影響[J]. 山東農(nóng)業(yè)科學(xué),2013,45(3):104-106.
[3]李璐存. 植保技術(shù)在小麥高產(chǎn)栽培中的有效應(yīng)用[J]. 種子科技,2023,41(13):111-113.
[4]安小康,李富根,閆曉靜,等. 植保無人飛機(jī)施用農(nóng)藥應(yīng)用研究進(jìn)展及管理現(xiàn)狀[J]. 農(nóng)藥學(xué)學(xué)報(bào),2023,25(2):282-294.
[5]申繼忠,余武秀. 作物保護(hù)面臨的挑戰(zhàn)和新技術(shù)進(jìn)展[J]. 世界農(nóng)藥,2023,45(7):1-18.
[6]張宇泉,曹正偉,錫林圖雅. 美國精準(zhǔn)農(nóng)業(yè)技術(shù)推廣經(jīng)驗(yàn)及對(duì)我國啟示[J]. 上海農(nóng)業(yè)學(xué)報(bào),2020,36(3):119-125.
[7]劉 翔,何人可,季 鐵. 基于精準(zhǔn)農(nóng)業(yè)的農(nóng)產(chǎn)品綠色可持續(xù)設(shè)計(jì)研究[J]. 包裝工程,2021,42(8):328-333.
[8]方向明,李姣媛. 精準(zhǔn)農(nóng)業(yè):發(fā)展效益、國際經(jīng)驗(yàn)與中國實(shí)踐[J]. 農(nóng)業(yè)經(jīng)濟(jì)問題,2018,39(11):28-37.
[9]Pasqual G M. Development of an expert system for the identification and control of weeds in wheat,triticale,barley and oat crops[J]. Computers and Electronics in Agriculture,1994,10(2):117-134.
[10]AhmadU,Kondo N,Arima S,et al. Weed detection in lawn field using machine vision[J]. Journal of the Japanese Society of Agricultural Machinery,1999,61(2):61-69.
[11]毛文華,王一鳴,張小超,等. 實(shí)時(shí)識(shí)別行間雜草的機(jī)器視覺系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào),2003,19(5):114-117.
[12]沈維政,張長利,劉振恒. 基于計(jì)算機(jī)視覺的田間雜草識(shí)別方法研究[J]. 農(nóng)機(jī)化研究,2006,28(7):163-165.
[13]胡迎思,于 躍,朱鳳武. 基于圖像處理的田間雜草識(shí)別定位技術(shù)的研究[J]. 農(nóng)業(yè)與技術(shù),2018,38(3):17-20.
[14]Yu J L,Sharpe S M,Schumann A W,et al. Detection of broadleaf weeds growing in turfgrass with convolutional neural networks[J]. Pest Management Science,2019,75(8):2211-2218.
[15]Babu V S,Ram N V. Deep residual CNN with contrast limited adaptive histogram equalization for weed detection in soybean crops[J]. Traitement du Signal,2022,39(2):717-722.
[16]張 樂,金 秀,傅雷揚(yáng),等. 基于Faster R-CNN深度網(wǎng)絡(luò)的油菜田間雜草識(shí)別方法[J]. 激光與光電子學(xué)進(jìn)展,2020,57(2):304-312.
[17]李開敬,許 燕,周建平,等. 基于Faster R-CNN和數(shù)據(jù)增強(qiáng)的棉田苗期雜草識(shí)別方法[J]. 新疆大學(xué)學(xué)報(bào)(自然科學(xué)版)(中英文),2021,38(4):450-456.
[18]鄧向武,齊 龍,馬 旭,等. 基于多特征融合和深度置信網(wǎng)絡(luò)的稻田苗期雜草識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào),2018,34(14):165-172.
[19]李 彧,余心杰,郭俊先. 基于全卷積神經(jīng)網(wǎng)絡(luò)方法的玉米田間雜草識(shí)別[J]. 江蘇農(nóng)業(yè)科學(xué),2022,50(6):93-100.
[20]Peng H X,Li Z H,Zhou Z Y,et al. Weed detection in paddy field using an improved RetinaNet network[J]. Computers and Electronics in Agriculture,2022,199:107179.
[21]顏廷國. 農(nóng)業(yè)大數(shù)據(jù)環(huán)境下的農(nóng)作物病蟲害智能化監(jiān)測預(yù)警[J]. 農(nóng)業(yè)工程技術(shù),2023,43(20):51-52.
[22]Rakhmatulin I,Kamilaris A,Andreasen C. Deep neural networks to detect weeds from crops in agricultural environments in real-time:A review[J]. Remote Sensing,2021,13(21):4486.
[23]Yang,S X,Yao J F,Teng G F. Corn leaf spot disease recognition based on improved YOLO v8[J]. Agriculture,2024,14(5):666.
[24]Li J W,Qiao Y L,Liu S,et al. An improved YOLO v5-based vegetable disease detection method[J]. Computers and Electronics in Agriculture,2022,202:107345.
[25]周 濤,王 驥,麥仁貴. 基于改進(jìn)YOLO v8的實(shí)時(shí)菠蘿成熟度目標(biāo)檢測方法[J/OL]. 華中農(nóng)業(yè)大學(xué)學(xué)報(bào),2024:1-11(2024-04-24)[2024-05-10]. https://link.cnki.net/urlid/42.1181.S.20240422.1423.006.