基于改進(jìn)YOLOv5 模型的農(nóng)作物病斑圖像自動(dòng)標(biāo)注

馬文寶，田芳明，譚峰

（黑龍江八一農(nóng)墾大學(xué)信息與電氣工程學(xué)院，大慶 163319）

人工智能正在改變著人類的生活，深度學(xué)習(xí)作為人工智能的一個(gè)應(yīng)用方向，成為過(guò)去十年該研究領(lǐng)域取得的關(guān)鍵性成就之一，其在計(jì)算機(jī)視覺(jué)、圖像處理、語(yǔ)音分析識(shí)別和自然語(yǔ)言處理等場(chǎng)景下都取得了極大的突破[1-2]。例如，馬曉丹[3]采用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了大豆葉片病斑區(qū)域的識(shí)別，識(shí)別準(zhǔn)確率達(dá)到100%，證明了神經(jīng)網(wǎng)絡(luò)對(duì)農(nóng)作物病斑識(shí)別的可行性，同時(shí)為水稻、玉米等農(nóng)作物的葉片病斑識(shí)別提供理論依據(jù)。劉凱旋[4]設(shè)計(jì)了一種基于級(jí)聯(lián)R-CNN 的水稻害蟲(chóng)檢測(cè)算法，算法使用了2 855 張照片，使用labelImg 標(biāo)注水稻害蟲(chóng)類別和位置后形成訓(xùn)練集，然后進(jìn)行模型訓(xùn)練，最終多種害蟲(chóng)檢測(cè)準(zhǔn)確率平均值mAP 達(dá)到94.15%，檢測(cè)效果取得了較大提升。上述監(jiān)督學(xué)習(xí)模型需要利用幾萬(wàn)、甚至幾十萬(wàn)張標(biāo)注數(shù)據(jù)訓(xùn)練模型，如ImageNet 用于物體分類的數(shù)據(jù)集，分為2 萬(wàn)個(gè)類別，共1 400 萬(wàn)張圖像[5]，Microsoft COCO用于物體分類的數(shù)據(jù)集共250 萬(wàn)張圖像。這些數(shù)據(jù)集數(shù)量十分龐大，并且大多數(shù)都是靠手工標(biāo)注的，如亞馬遜的眾包平臺(tái)亞馬遜土耳其機(jī)器人（AMT，Amazon mechanical turk）數(shù)據(jù)標(biāo)注[6]。這種方式雖然為社會(huì)提供了就業(yè)機(jī)會(huì)，但是其標(biāo)注成本高且效率低，存在費(fèi)時(shí)耗力的問(wèn)題。因此，如何提升標(biāo)注效率，降低標(biāo)注成本，成為研究人員進(jìn)行深度學(xué)習(xí)研究所面臨的一個(gè)重要問(wèn)題。針對(duì)上述問(wèn)題，以農(nóng)業(yè)圖像研究方向中水稻莖葉病斑標(biāo)注為目標(biāo)，提出基于YOLOv5 改進(jìn)的圖像自動(dòng)標(biāo)注方法。

1 實(shí)驗(yàn)材料與設(shè)計(jì)

1.1 實(shí)驗(yàn)材料

在Kaggle 上下載600 張水稻莖葉病斑圖片組成了實(shí)驗(yàn)使用的數(shù)據(jù)集，圖片中包含許多小目標(biāo)病斑和數(shù)量密集的病斑，可以用來(lái)訓(xùn)練模型對(duì)小目標(biāo)和密集目標(biāo)的感知。圖片挑選后用LabelImg 軟件手工標(biāo)注，采用txt 格式的標(biāo)注文件進(jìn)行訓(xùn)練，標(biāo)注后的圖像如圖1 所示。研究將數(shù)據(jù)集中的600 張圖片以3∶1 的比例進(jìn)行劃分，其中450 張圖片作為訓(xùn)練集，150 張圖片作為驗(yàn)證集。

圖1 標(biāo)注后的水稻莖葉病斑圖像Fig.1 Marked image of disease spots on rice stems and leaves

1.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)的操作系統(tǒng)為Windows11，CPU 型號(hào)為Intel（R）Core（TM）i5-12400F CPU @ 2.5 GHz，運(yùn)行內(nèi)存為16 GB。GPU 型號(hào)為NVIDIA GeForce RTX 3060，顯存為12 GB，硬盤(pán)為500 GB。代碼測(cè)試環(huán)境使用的Pytorch 的版本為1.11，Python 的版本為3.7.11，使用CUDA11.3.1 和CUDNN8.2.1 對(duì)GPU 進(jìn)行加速。

1.3 實(shí)驗(yàn)設(shè)計(jì)

為了驗(yàn)證改進(jìn)模型的有效性，并且能夠?qū)崿F(xiàn)植物病斑圖像的快速標(biāo)注，搭建了Python 和Pytorch 的實(shí)驗(yàn)環(huán)境，通過(guò)Kaggle 平臺(tái)下載的水稻病斑圖像進(jìn)行手動(dòng)標(biāo)注，對(duì)YOLOv5 模型結(jié)構(gòu)進(jìn)行改進(jìn)，為了驗(yàn)證改進(jìn)的有效性，在水稻莖葉病斑圖像上實(shí)驗(yàn)，然后驗(yàn)證結(jié)論的有效性[7]。實(shí)驗(yàn)流程如圖2 所示。

圖2 實(shí)驗(yàn)流程Fig.2 Experimental flow

2 YOLOv5 結(jié)構(gòu)的改進(jìn)

2.1 改進(jìn)YOLOv5 模型結(jié)構(gòu)

YOLOv5 的網(wǎng)絡(luò)結(jié)構(gòu)由Input、Backbone、Neck 和Prediction 四部分構(gòu)成[8]，對(duì)YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，其中，將FPN（Feature Pyramid Networks）改進(jìn)為加權(quán)雙向特征金字塔網(wǎng)絡(luò)BiFPN（Bidirectional Feature Pyramid Network），相比FPN 來(lái)說(shuō)BiFPN 增加了雙向交叉尺度連接和加權(quán)特征融合，可以更加方便、快速的進(jìn)行多尺度特征融合。由于Backbone 部分是由多層卷積層堆疊，導(dǎo)致特征提取并不充分和模型泛化能力差，將ViT（Vision Transformer）模型引入Backbone 部分，將C3 與ViT 結(jié)合形成C3TR 模塊，用來(lái)提升Backbone 部分的特征提取能力。同時(shí)將YOLOv5 中的IoU（Intersection of Union）函數(shù)替換為CIoU 損失函數(shù)，使預(yù)測(cè)框更加符合真實(shí)框。嘗試將C3TR 模塊替換YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)中不同位置的C3模塊，主要分為兩種替換方式。其中第一種替換方式是將SPPF 之前的C3 模塊進(jìn)行替換，為了方便區(qū)分并命名為YOLOv5-TR-BiFPN。另外一種替換方式是除了替換SPPF 前的C3 模塊為C3TR 模塊，并將Neck 部分中的3 個(gè)用于特征提取的C3 模塊替換為C3TR 模塊，并命名為YOLOv5-TR-BiFPN-1。以上兩種結(jié)構(gòu)如圖3 所示。

圖3 改進(jìn)的YOLOv5-TR-BiFPN 結(jié)構(gòu)Fig.3 Improved YOLOv5-TR-BiFPN structure

2.2 Vision Transformer 模塊

Transformer 是由谷歌在2017 年針對(duì)自然語(yǔ)言處理領(lǐng)域提出的模型。由于更早的RNN（Recurrent Neural Network）模型記憶長(zhǎng)度有限且無(wú)法并行化，Transformer 克服了RNN 的問(wèn)題，在自然語(yǔ)言處理領(lǐng)域引來(lái)極大的震動(dòng)。最近一些文章創(chuàng)新性地將Transformer 技術(shù)跨領(lǐng)域地引入到計(jì)算機(jī)視覺(jué)任務(wù)中，開(kāi)創(chuàng)了視覺(jué)領(lǐng)域的新時(shí)代。2020 年10 月谷歌的Dosovitskiy 等人提出了ViT（Vision Transformer）模型，主要由Embedding、Transformer Encoder、MLP Head三層構(gòu)成，是基于自注意力機(jī)制的圖像分類方案。

ViT 模型為了將圖像轉(zhuǎn)化成Transformer 結(jié)構(gòu)可以處理的序列數(shù)據(jù)，引入了圖像塊（patch）的概念。首先將二維圖像做分塊處理，每個(gè)圖像塊展平成一維向量，接著對(duì)每個(gè)向量進(jìn)行線性投影變換（Linear Projection of Flattened Patches），同時(shí)引入位置編碼[9]（Position Embedding），加入序列的位置信息，在輸入的序列數(shù)據(jù)之前添加了一個(gè)分類標(biāo)志位（class），更好地表示全局信息[10]，然后將這些信息輸入到Transformer Encoder 模塊中進(jìn)行編碼，在Transformer Encoder 模塊中引入了多頭注意力機(jī)制[11]（Multi-Head Attention），多頭注意力機(jī)制能夠聯(lián)合來(lái)自不同head部分學(xué)習(xí)到的信息，因此可以學(xué)習(xí)到多種目標(biāo)的特征。通過(guò)Transformer Encoder 后輸出和輸入的形狀是保持不變的，由于ViT 模型是分類模型，所以要提取出分類標(biāo)志位（class）中生成的對(duì)應(yīng)的分類結(jié)果，將其傳遞給MLP Head，MLP Head 模塊由全連接層組成，通過(guò)MLP Head 可以得到最終的分類結(jié)果，ViT模型結(jié)構(gòu)如圖4 所示。

圖4 ViT 和Transformer Encoder 結(jié)構(gòu)圖Fig.4 Structure diagram of ViT and transformer encoder

將ViT 模型進(jìn)行修改與YOLOv5 中的C3 卷積模塊融合形成C3TR 卷積模塊，并嵌入到Y(jié)OLOv5 模型的Backbone 中，增強(qiáng)Backbone 的特征提取能力。曾嘗試將YOLOv5 中所有卷積模塊替換為C3TR 卷積模塊[12]，但是運(yùn)算量太大，GPU 內(nèi)存被占滿，導(dǎo)致訓(xùn)練不能繼續(xù)。將YOLOv5 的Backbone 部分C3 模塊和Neck 部分C3 模塊分別替換為C3TR 卷積模塊時(shí)雖然能夠訓(xùn)練，但是模型運(yùn)算量依然很大，GPU 內(nèi)存最多只能運(yùn)行一個(gè)batch_size，訓(xùn)練結(jié)果也不夠理想。經(jīng)過(guò)測(cè)試與對(duì)比發(fā)現(xiàn)只將SPPF 模塊前的一個(gè)卷積模塊替換為C3TR 卷積模塊，可以達(dá)到一個(gè)良好的訓(xùn)練結(jié)果，所以，將改進(jìn)后的ViT 模型融合到Y(jié)OLOv5的Backbone 部分。

2.3 加權(quán)雙向特征金字塔

多尺度特征融合就是融合不同分辨率的特征圖，方法存在各個(gè)尺度的特征信息不一致的問(wèn)題，所以，Tan 等[13]提出了加權(quán)雙向特征金字塔（Bidirectional Feature Pyramid Network，BiFPN），BiFPN 采 用高效的雙向交叉尺度連接的方案，其結(jié)構(gòu)圖如圖5所示，因?yàn)橹挥幸粋€(gè)輸入邊界且沒(méi)有特征融合的節(jié)點(diǎn)信息量有限，對(duì)融合不同特征的特征網(wǎng)絡(luò)沒(méi)有太大貢獻(xiàn)，所以，BiFPN 通過(guò)移除這些節(jié)點(diǎn)來(lái)簡(jiǎn)化雙向網(wǎng)絡(luò)，同時(shí)也能減少計(jì)算量。另外就是加權(quán)特征圖融合，為了在不增加成本的情況下融合更多的特征，并增強(qiáng)特征的表示能力，在原始輸入到輸出節(jié)點(diǎn)處于同一水平的時(shí)候增加一條殘差邊，BiFPN 將每個(gè)雙向路徑當(dāng)作一個(gè)特征網(wǎng)絡(luò)層同時(shí)重復(fù)多次，從而實(shí)現(xiàn)更高層次的特征融合，由于不同輸入特征的不同分辨率對(duì)輸出特征的貢獻(xiàn)不同[14]，所以針對(duì)融合的各個(gè)尺度特征增加一個(gè)權(quán)重，調(diào)節(jié)每個(gè)尺度特征的貢獻(xiàn)度，并讓模型學(xué)習(xí)每個(gè)不同權(quán)重的輸入特征[15]。BiFPN 采用Fast normalized fusion 加權(quán)融合方法，每個(gè)標(biāo)準(zhǔn)化權(quán)重的取值范圍為（0，1），但是由于沒(méi)有softmax 操作，因此效率更高，從而提高檢測(cè)速度。為了更好地平衡不同尺度的特征信息，更高效的進(jìn)行多尺度特征融合，將YOLOv5 結(jié)構(gòu)中的FPN 改進(jìn)為BiFPN。

圖5 BiFPN 結(jié)構(gòu)圖Fig.5 Structure diagram of BiFPN

2.4 CIoU 損失函數(shù)

YOLOv5 模型的Bounding Box 損失則采用了GIoU 損失函數(shù)計(jì)算損失，GIoU（Generalized Intersection over Union）解決了IoU（Intersection over Union）檢測(cè)框和真實(shí)框沒(méi)有重疊時(shí)Loss 等于0 問(wèn)題。但是當(dāng)檢測(cè)框和真實(shí)框出現(xiàn)包含的時(shí)候GIoU 退化成IoU，當(dāng)兩個(gè)框相交時(shí)，在水平和垂直方向上收斂變慢[16]。DIoU 要比GIou 更加符合目標(biāo)框回歸的機(jī)制，將目標(biāo)與anchor 之間的距離，重疊率以及尺度都考慮進(jìn)去，使得目標(biāo)框回歸變得更加穩(wěn)定，不會(huì)像IoU和GIoU 一樣在訓(xùn)練過(guò)程中出現(xiàn)發(fā)散的問(wèn)題。CIoU（Complete-Intersection over Union）相比DIoU 充分考慮了預(yù)測(cè)框的長(zhǎng)寬比和目標(biāo)框之間的長(zhǎng)寬比的一致性[17]，從而提升預(yù)測(cè)框接近真實(shí)框的概率，所以，將YOLOv5 中計(jì)算Bounding box 的損失函數(shù)由GIoU 改進(jìn)為CIoU，在使用預(yù)測(cè)框標(biāo)注圖像時(shí)可以使預(yù)測(cè)框更加接近真實(shí)框的位置。CIoU Loss的計(jì)算公式如式（1）所示。

其中ρ2（b，bgt）分別代表了預(yù)測(cè)框和目標(biāo)框的中心點(diǎn)的歐氏距離，c 代表的是最小包圍兩個(gè)邊界框的閉包區(qū)域的對(duì)角線距離，v 代表目標(biāo)框和anchor 框之間的長(zhǎng)寬比相似度，α 是權(quán)重函數(shù)[18]，α 和v 的公式如式（2）所示，其中分別代表目標(biāo)框和預(yù)測(cè)框的寬高比。

2.5 CIOU-NMS

非極大值抑制（Non Maximum Suppression，NMS），在計(jì)算機(jī)視覺(jué)任務(wù)中都有廣泛應(yīng)用，例如邊緣檢測(cè)、目標(biāo)檢測(cè)等，NMS 中需要計(jì)算當(dāng)前得分最高的檢測(cè)框和其他檢測(cè)框之間對(duì)應(yīng)的IoU 值，并將超過(guò)閾值的預(yù)測(cè)框全部過(guò)濾。由此可以知道在傳統(tǒng)的NMS 中IoU 值的作用是控制預(yù)測(cè)框是否被濾除。但是在IoU 值比較大時(shí)，NMS 會(huì)出現(xiàn)濾除過(guò)多的現(xiàn)象，導(dǎo)致很多對(duì)象沒(méi)有目標(biāo)框產(chǎn)生漏檢，所以NMS 的IoU 設(shè)置要同時(shí)考慮到預(yù)測(cè)框與真實(shí)框的重疊面積、中心點(diǎn)距離、長(zhǎng)寬比等方面因素，這樣才能剩下位置更加準(zhǔn)確的目標(biāo)框[19]。但是IoU 只考慮到了預(yù)測(cè)框與真實(shí)框重疊區(qū)域，并沒(méi)有考慮到中心點(diǎn)距離、長(zhǎng)寬比。CIoU 克服了IoU 的缺點(diǎn)，CIoU 同時(shí)兼顧了預(yù)測(cè)框與真實(shí)框的重疊面積、長(zhǎng)寬比、中心點(diǎn)距離[20]，這樣過(guò)濾后剩下的預(yù)測(cè)框就會(huì)更加的符合現(xiàn)實(shí)場(chǎng)景的使用，因此，將YOLOv5 中的IoU-NMS 改進(jìn)為CIoUNMS，這樣就可以保證濾除掉多余預(yù)測(cè)框之后剩下的預(yù)測(cè)框與真實(shí)框位置最接近，保證圖像中的每一個(gè)目標(biāo)都被預(yù)測(cè)框選中。CIoU 的公式如式（3）所示，傳統(tǒng)NMS 計(jì)算公式（4）。

其中si代表每個(gè)邊框的得分，M 為當(dāng)前得分最高的框，bi為剩余框的某一個(gè)，Ni為設(shè)定的閾值，可以看到，當(dāng)IoU 大于Ni時(shí)，邊框的得分直接置0，相當(dāng)于被舍棄掉了，這就會(huì)造成邊框被過(guò)濾導(dǎo)致目標(biāo)漏檢，而CIoU-NMS 考慮了中心點(diǎn)距離、長(zhǎng)寬比，認(rèn)為兩個(gè)中心點(diǎn)較遠(yuǎn)同時(shí)IoU 比較大的Box 可能位于不同的對(duì)象上，不會(huì)將其刪除，這樣就會(huì)降低目標(biāo)漏檢的概率。CIoU-NMS 的計(jì)算公式如式（5）所示：

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)參數(shù)設(shè)置

為了測(cè)試相同條件下不同模型的性能，在模型訓(xùn)練過(guò)程中均使用相同的數(shù)據(jù)集和參數(shù)設(shè)置，并對(duì)訓(xùn)練結(jié)果進(jìn)行對(duì)比，部分訓(xùn)練參數(shù)設(shè)置如表1 所示。

表1 參數(shù)設(shè)置Table 1 Parameter settings

3.2 模型訓(xùn)練算法

模型輸入為水稻病斑圖像及標(biāo)注文件，模型的輸入初始化參數(shù)包括學(xué)習(xí)率、批量大小、動(dòng)量、IoU 閾值、yaml 配置文件、數(shù)據(jù)增強(qiáng)系數(shù)和訓(xùn)練輪數(shù)，在準(zhǔn)備的數(shù)據(jù)集基礎(chǔ)上，分別加載訓(xùn)練集和測(cè)試集，對(duì)輸入圖像進(jìn)行預(yù)處理，包括調(diào)整圖像大小和數(shù)據(jù)增強(qiáng)，其中，數(shù)據(jù)增強(qiáng)包括Mosaic、Mixup、Copy_paste 等，預(yù)處理后加載初始化參數(shù)、配置和數(shù)據(jù)集，然后，加載網(wǎng)絡(luò)模型并對(duì)輸入圖像進(jìn)行處理，隨著epoch 增加不斷更新學(xué)習(xí)率篩選出最佳模型，保存權(quán)重文件和AP、mAP 等指標(biāo)數(shù)據(jù)。

3.3 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)使用平均精度均值mAP（mean Average Precision）、準(zhǔn)確率P（Precision）、平均準(zhǔn)確率AP（Average Precision）、召回率R（Recall）、F1 值（F1-score）等評(píng)價(jià)指標(biāo)對(duì)模型進(jìn)行評(píng)價(jià)，計(jì)算公式如式（6）所示，其中TP 為正類樣本被模型預(yù)測(cè)為正類的比例；TN 為負(fù)類樣本被模型預(yù)測(cè)為負(fù)類的比例；FP為負(fù)類樣本被模型預(yù)測(cè)為正類的比例；FN 為正類樣本被模型預(yù)測(cè)為負(fù)類的比例[21]。

3.4 實(shí)驗(yàn)結(jié)果與分析

基于YOLOv5s 改進(jìn)了模型結(jié)構(gòu)，在訓(xùn)練時(shí)將改進(jìn)后的YOLOv5-TR-BiFPN 模型先在coco128 上進(jìn)行300 輪預(yù)訓(xùn)練獲得訓(xùn)練權(quán)重，然后使用預(yù)訓(xùn)練權(quán)重在手動(dòng)標(biāo)注的水稻莖葉病斑圖像數(shù)據(jù)集上進(jìn)行200輪訓(xùn)練，訓(xùn)練獲得mAP_0.5 達(dá)到73%，mAP_0.5∶0.95達(dá)到35%，準(zhǔn)確率Precision 達(dá)到86.3%，召回率Recall 達(dá)到86%，如圖6 所示。

圖6 改進(jìn)后的YOLOv5-TR-BiFPN 模型訓(xùn)練結(jié)果Fig.6 Improved YOLOv5-TR-BiFPN model training results

研究對(duì)YOLOv5 模型結(jié)構(gòu)進(jìn)行了改進(jìn)。由于ViT基于自注意力機(jī)制的圖像分類方案具有優(yōu)秀的分類表現(xiàn)，因此，研究將ViT 和YOLOv5 結(jié)構(gòu)中的C3 模塊結(jié)合形成C3TR，并用C3TR 替換YOLOv5 結(jié)構(gòu)中原有的C3 模塊，用于提升YOLOv5 的模型準(zhǔn)確率。由于YOLOv5 中采用了很多C3 模塊，因此替換不同位置的C3 會(huì)得到不同的效果，研究只采用兩種替換方案分別命名為YOLOv5-TR-BiFPN 和YOLOv5-TR-BiFPN-1。另外，研究將BiFPN 融入到Y(jié)OLOv5結(jié)構(gòu)中，用于增強(qiáng)YOLOv5 的特征提取能力。為了能夠分析出每一項(xiàng)改進(jìn)對(duì)YOLOv5 的影響，分別訓(xùn)練YOLOv5s、YOLOv5-TR、YOLOv5-BiFPN、YOLOv5-TR-BiFPN 和YOLOv5-TR-BiFPN-1 五種結(jié)構(gòu)的模型，最終對(duì)比改進(jìn)模型獲得的效果。五種模型訓(xùn)練的準(zhǔn)確率對(duì)比如圖9 所示，mAP 值如圖7 所示。

圖7 五種模型訓(xùn)練平均準(zhǔn)確率對(duì)比Fig.7 Comparison of mAP_0.5 of five models

將五種模型訓(xùn)練后，通過(guò)準(zhǔn)確率對(duì)比圖、平均準(zhǔn)確率對(duì)比圖，可以看到Y(jié)OLOv5-TR-BiFPN 和YOLOv5-TR-BiFPN-1 兩個(gè)模型的收斂速度相對(duì)于另外三個(gè)模型來(lái)說(shuō)較快，并且YOLOv5-TR-BiFPN的平均準(zhǔn)確率最高。改進(jìn)后的YOLOv5-TR-BiFPN相比YOLOv5s 模型的平均準(zhǔn)確率（mAP）提升了3.8%，召回率（Recall）提升了3%，F(xiàn)1 值提升了3%，權(quán)重大小相差0.1 M，訓(xùn)練結(jié)果詳細(xì)對(duì)比如表2 所示。

表2 模型訓(xùn)練結(jié)果對(duì)比Table 2 Comparison of model training results

從表2 中可以看到Y(jié)OLOv5-TR-BiFPN 結(jié)構(gòu)模型的訓(xùn)練效果最好，所以，將改進(jìn)結(jié)構(gòu)訓(xùn)練獲得效果最好的權(quán)重文件進(jìn)行模型驗(yàn)證，采用訓(xùn)練過(guò)程所使用的一部分圖像對(duì)模型進(jìn)行驗(yàn)證。同一幅手動(dòng)標(biāo)注的圖像和驗(yàn)證模型標(biāo)注的圖像見(jiàn)圖8 和圖9。經(jīng)過(guò)對(duì)比可知，圖8 中一塊未標(biāo)注的病斑在圖9 模型驗(yàn)證過(guò)程中被成功標(biāo)注。因此，該模型可準(zhǔn)確標(biāo)注病斑，達(dá)到了預(yù)期效果。

圖8 數(shù)據(jù)集中手動(dòng)標(biāo)注的圖像Fig.8 Manually labeled images in data set

圖9 驗(yàn)證模型自動(dòng)標(biāo)注的圖像Fig.9 Image of automatic annotation of verification model

3.5 小樣本條件下結(jié)果驗(yàn)證

為了驗(yàn)證上述綜合表現(xiàn)較好的YOLOv5-TRBiFPN 模型在少量訓(xùn)練樣本情況下的適用性和不同種類植物病斑的適用性，研究將60 張標(biāo)注后的水稻莖葉病斑圖像劃分出30 張圖像做訓(xùn)練集，30 張圖像做驗(yàn)證集。并且將上述YOLOv5-TR-BiFPN 模型訓(xùn)練后的權(quán)重文件作為初始訓(xùn)練權(quán)重。對(duì)從Kaggle 網(wǎng)站下載的60 張水稻莖葉病斑圖像進(jìn)行手動(dòng)標(biāo)注，標(biāo)注后的水稻莖葉病斑圖像如圖10 所示。為了方便衡量模型的可用性，驗(yàn)證模型的訓(xùn)練初始化參數(shù)與表1中參數(shù)保持一致。

圖10 手動(dòng)標(biāo)注的水稻莖葉病斑圖像Fig.10 Manually labeled image of rice stem and leaf disease spot

在水稻莖葉病斑圖像數(shù)據(jù)集下，經(jīng)過(guò)200 輪訓(xùn)練之后獲得的訓(xùn)練平均準(zhǔn)確率mAP 達(dá)到了89.3%，準(zhǔn)確率Precision 達(dá)到84.1%，召回率Recall 到達(dá)88.5%，F(xiàn)1 值達(dá)到86%，模型測(cè)試結(jié)果匯總?cè)绫? 所示，整體上該模型表現(xiàn)優(yōu)秀，表明YOLOv5-TRBiFPN 在小樣本條件下可以準(zhǔn)確標(biāo)注病斑圖像。由于訓(xùn)練采用了之前水稻數(shù)據(jù)集訓(xùn)練后的權(quán)重文件作為初始權(quán)重，所以在訓(xùn)練開(kāi)始階段具有了比較優(yōu)秀的表現(xiàn)，訓(xùn)練曲線在經(jīng)歷一定起伏之后不斷上升，最終模型快速達(dá)到收斂狀態(tài)，mAP 訓(xùn)練曲線在200 輪時(shí)整體趨于穩(wěn)定，并最終穩(wěn)定在89.3%，mAP 曲線如圖11 所示。

表3 水稻莖葉病斑數(shù)據(jù)集下YOLOv5-TR-BiFPN 模型測(cè)試結(jié)果Table 3 Test Results of YOOv5-TR-BiFPN model under rice stem and leaf disease spot data set

圖11 模型在水稻莖葉病斑圖像數(shù)據(jù)集中訓(xùn)練過(guò)程的mAP 曲線Fig.11 mAP curve of the training process of the model in rice stem and leaf disease spot image data set

使用上述訓(xùn)練過(guò)程中產(chǎn)生的權(quán)重文件進(jìn)行水稻莖葉病斑圖像自動(dòng)標(biāo)注的驗(yàn)證，驗(yàn)證結(jié)果如圖12 所示，從圖中可以看到模型將水稻莖葉上所有病斑都進(jìn)行標(biāo)注，并且預(yù)測(cè)概率大部分都在0.9 左右，由此可以得知經(jīng)過(guò)改進(jìn)的YOLOv5-TR-BiFPN 模型能夠在少量訓(xùn)練樣本的情況下快速收斂，可以準(zhǔn)確的定位圖像中病斑位置且進(jìn)行標(biāo)注，同時(shí)對(duì)圖像中較小的病斑也能夠準(zhǔn)確標(biāo)注。

圖12 驗(yàn)證模型的標(biāo)注結(jié)果圖像Fig.12 Annotation result image of verification model

4 結(jié)論

將YOLOv5 模型結(jié)構(gòu)改進(jìn)為YOLOv5-TRBiFPN 模型結(jié)構(gòu)，把BiFPN 和ViT 融入到Y(jié)OLOv5-TR-BiFPN 結(jié)構(gòu)中，增強(qiáng)了YOLOv5-TR-BiFPN 模型的感受野和對(duì)目標(biāo)的精確定位能力，從而提高了模型的標(biāo)注精度，并且采用CIoU 計(jì)算Loss 和NMS 提高目標(biāo)框的準(zhǔn)確度。實(shí)驗(yàn)結(jié)果表明，YOLOv5-TRBiFPN 模型平均準(zhǔn)確率達(dá)到了73%，相比YOLOv5s提高了3%，能夠?qū)λ厩o葉上的小病斑和密集病斑獲得良好的標(biāo)注效果。在少量水稻莖葉病斑圖像數(shù)據(jù)下測(cè)試，YOLOv5-TR-BiFPN 模型的mAP_0.5 達(dá)到89.3%，且快速收斂，證明YOLOv5-TR-BiFPN 模型可以在少量樣本的情況下能夠?qū)Σ“邎D像進(jìn)行快速標(biāo)注。這為農(nóng)作物病斑圖像自動(dòng)標(biāo)注提供了可能，同時(shí)為各專業(yè)研究領(lǐng)域標(biāo)注專用圖像數(shù)據(jù)集提供了一種快速標(biāo)注方法，具有較高的應(yīng)用價(jià)值。