陳 滿 金誠謙 莫恭武 劉士坤 徐金山

(1.農(nóng)業(yè)農(nóng)村部南京農(nóng)業(yè)機(jī)械化研究所，南京 210014；2.江蘇省農(nóng)業(yè)機(jī)械試驗(yàn)鑒定站，南京 210017)

0 引言

小麥?zhǔn)俏覈匾募Z食作物，我國小麥種植面積為全國耕種總面積的22%～30%，糧食作物總面積的22%～27%[1]。適收期小麥普遍采用機(jī)械化收獲，機(jī)收水平達(dá)到97%[2]。含雜率是評(píng)價(jià)小麥機(jī)械化收獲效果的重要指標(biāo)。但是，目前的小麥聯(lián)合收獲機(jī)無法實(shí)現(xiàn)含雜率的在線檢測(cè)。機(jī)械化收獲過程，駕駛員無法實(shí)時(shí)掌握收獲質(zhì)量信息，不能及時(shí)發(fā)現(xiàn)收獲過程存在的問題，易造成收獲質(zhì)量參差不齊，影響經(jīng)濟(jì)效益[3]；此外，含雜率實(shí)時(shí)數(shù)據(jù)難以檢測(cè)也制約著收獲智能調(diào)控技術(shù)的發(fā)展，無法實(shí)現(xiàn)基于收獲質(zhì)量的聯(lián)合收獲機(jī)參數(shù)自主調(diào)控，從而影響作業(yè)效率[4]。

國內(nèi)外學(xué)者基于機(jī)器視覺開展了谷物收獲品質(zhì)在線檢測(cè)研究。克拉斯公司推出了“谷物質(zhì)量相機(jī)”，拍攝的圖像根據(jù)非谷物成分和碎粒含量進(jìn)行分析，并可在駕駛室操作面板上顯示檢測(cè)結(jié)果與預(yù)警信息。SINDHU等[5]開發(fā)了一種基于多種谷物特征的圖像處理技術(shù)，該方法實(shí)現(xiàn)了4種大米品種分類，并能夠檢測(cè)出大米的純度。SINGH等[6]利用形態(tài)、顏色、質(zhì)地和紋理等4組谷物特征研究了4種不同稻米品種的分類，結(jié)果表明形態(tài)特征比其他3個(gè)特征更適合米粒的分類。MAHIRAH等[7-8]提出了雙燈源照明谷物破碎率與含雜率檢測(cè)系統(tǒng)，系統(tǒng)檢測(cè)結(jié)果決定系數(shù)大于0.7。MD等[9]研究出基于機(jī)器視覺的大豆破碎籽粒、含雜識(shí)別的試驗(yàn)室檢測(cè)裝置和在線識(shí)別算法，識(shí)別準(zhǔn)確度上裂豆為96%，污染豆為75%，缺陷豆和莖/莢為98%。國內(nèi)學(xué)者也利用機(jī)器視覺、光譜探測(cè)技術(shù)開展了谷物破碎率和含雜率在線檢測(cè)方法研究，初步構(gòu)建了大豆和水稻破碎率及含雜率檢測(cè)模型[13-15]。上述采用聚類、分水嶺分割等算法，基于顏色閾值、紋理、形狀等特征提取的傳統(tǒng)分類識(shí)別方法需要人工提取淺層特征信息特征，算法效率低且通用性差。

近年來，語義分割是機(jī)器視覺領(lǐng)域的研究熱點(diǎn)，它對(duì)圖像的每一個(gè)像素點(diǎn)分配語義標(biāo)簽，在像素級(jí)對(duì)圖像分類識(shí)別，實(shí)現(xiàn)端到端的像素級(jí)分割，能夠獲得更高的分割精度和更好的效率，為圖像快速精準(zhǔn)分割識(shí)別提供了新思路[16]。國內(nèi)外學(xué)者基于語義分割技術(shù)開發(fā)了谷物表型[17-19]、品質(zhì)[20-21]、病害[22]和品種[23-24]特征識(shí)別分割方法和系統(tǒng)，實(shí)現(xiàn)了小麥、高粱、玉米、油菜和花生等谷物目標(biāo)特征在線檢測(cè)。但缺乏小麥含雜率特征信息的圖像數(shù)據(jù)庫，同時(shí)現(xiàn)有的模型與算法無法直接應(yīng)用于小麥含雜率在線檢測(cè)。因此，有必要針對(duì)小麥含雜率在線檢測(cè)需求，構(gòu)建圖像數(shù)據(jù)集與特征識(shí)別模型和算法。

為了實(shí)現(xiàn)小麥機(jī)械化收獲含雜率的在線檢測(cè)，本文提出一種結(jié)合注意力的改進(jìn)U-Net模型的小麥含雜率在線檢測(cè)方法，通過構(gòu)建機(jī)械化收獲小麥的圖像數(shù)據(jù)集，研究結(jié)合注意力的改進(jìn)U-Net模型的小麥籽粒和雜質(zhì)分割識(shí)別算法，設(shè)計(jì)基于圖像像素信息的小麥含雜率量化模型，建立基于圖像信息的小麥含雜率在線檢測(cè)體系，以期實(shí)現(xiàn)小麥機(jī)械化收獲作業(yè)過程含雜率在線檢測(cè)，為收獲機(jī)參數(shù)智能化調(diào)控提供數(shù)據(jù)支撐。

1 小麥含雜率在線檢測(cè)系統(tǒng)

1.1 系統(tǒng)組成

小麥含雜率在線檢測(cè)系統(tǒng)主要由Nvidia jetson tx2開發(fā)套件、谷物采集裝置、舵機(jī)驅(qū)動(dòng)板、工業(yè)相機(jī)、LED光源、電動(dòng)機(jī)等部分組成，如圖1所示。采樣槽為長方體形狀，尺寸為長205 mm、寬25 mm、高107 mm，靠近工業(yè)相機(jī)的一側(cè)開有100 mm×100 mm的孔，采用透明有機(jī)玻璃密封，用于拍攝小麥樣本圖像。工業(yè)相機(jī)采用華銳視通科技LRCP10230型USB2.0彩色工業(yè)攝像頭，搭配焦距12 mm鏡頭，讀取速度30 f/s，信噪比39 dB，鏡頭距透明有機(jī)玻璃105 mm。

圖1 小麥含雜率在線檢測(cè)裝置構(gòu)成圖

1.2 工作流程

系統(tǒng)工作流程如圖2所示。小麥含雜率在線檢測(cè)系統(tǒng)上電后進(jìn)行自檢，并對(duì)系統(tǒng)進(jìn)行初始化處理，完成通信檢測(cè)及預(yù)測(cè)模型加載等功能。各工作組件檢查完畢，控制直流舵機(jī)帶動(dòng)伸縮板縮回/伸出，控制采樣槽內(nèi)小麥樣本的動(dòng)態(tài)更新，拍攝靜止?fàn)顟B(tài)的小麥樣本圖像。由內(nèi)置圖像識(shí)別程序判斷圖像是否滿足識(shí)別要求，將滿足要求的小麥圖像下采樣并加載到結(jié)合注意力的改進(jìn)U-Net預(yù)測(cè)模型，對(duì)圖像中的小麥籽粒和雜質(zhì)進(jìn)行在線分割識(shí)別，統(tǒng)計(jì)籽粒和雜質(zhì)的像素。之后，結(jié)合含雜率量化模型，實(shí)時(shí)計(jì)算所拍攝的小麥樣本的含雜率，檢測(cè)結(jié)果顯示并儲(chǔ)存在本地，從而實(shí)現(xiàn)機(jī)械化收獲過程含雜率在線檢測(cè)。

圖2 系統(tǒng)工作流程圖

2 改進(jìn)的U-Net模型設(shè)計(jì)

2.1 數(shù)據(jù)集制作

小麥樣本圖像于2020年5月15日在四川省廣漢市連山鎮(zhèn)惠民農(nóng)機(jī)作業(yè)專業(yè)合作社小麥試驗(yàn)田采集，試驗(yàn)過程采用久保田4LZ-5B8型全喂入谷物聯(lián)合收獲機(jī)進(jìn)行小麥機(jī)械化收獲，小麥樣本圖像采集裝置安裝在收獲機(jī)輸糧裝置的出口下方，采集裝置動(dòng)態(tài)自動(dòng)采集小麥樣本圖像，程序設(shè)定保存圖像為.jpg格式，圖像分辨率為1 280像素×1 024像素。試驗(yàn)田種植小麥品種為川麥104，收獲時(shí)含水率為12.1%，百粒質(zhì)量為29.16 g。共采集圖像200幅，小麥樣本圖像包含小麥籽粒和雜質(zhì)(主要包括秸稈和麥殼)，如圖3所示。

圖3 樣本圖像及識(shí)別對(duì)象

使用開源標(biāo)注軟件Labelme 3.16.7手工標(biāo)記籽粒和雜質(zhì)邊界，并對(duì)包括背景在內(nèi)3種分類進(jìn)行著色，為了增強(qiáng)圖像的可視化，綠色代表小麥籽粒，黃色代表雜質(zhì)，黑色代表背景，如圖4a所示。模型訓(xùn)練時(shí)將采用灰度圖，每個(gè)像素點(diǎn)的內(nèi)容是一個(gè)數(shù)字，代表這個(gè)像素點(diǎn)所屬的類別，如圖4b所示。隨機(jī)選取圖像集中的170幅作為訓(xùn)練數(shù)據(jù)集，30幅作為測(cè)試集。為了進(jìn)一步增強(qiáng)訓(xùn)練數(shù)據(jù)，通過將每個(gè)訓(xùn)練數(shù)據(jù)集圖像隨機(jī)旋轉(zhuǎn)(30°～150°，210°～330°)、隨機(jī)縮放(0.5～0.8倍，1.5～2.0倍)、隨機(jī)剪切(-30°～30°)、水平鏡像來進(jìn)行圖像增強(qiáng)，為每個(gè)訓(xùn)練樣本創(chuàng)建6個(gè)增強(qiáng)樣本。將數(shù)據(jù)增強(qiáng)后1 190幅圖像以比例9∶1隨機(jī)分為訓(xùn)練集和驗(yàn)證集，其中1 071幅作為訓(xùn)練集，119幅作為驗(yàn)證集。本文將以數(shù)據(jù)集為基礎(chǔ)，開展不同模型的小麥含雜在線識(shí)別測(cè)試與驗(yàn)證試驗(yàn)。

圖4 樣本圖像手工標(biāo)記圖

2.2 U-Net模型改進(jìn)

U-Net模型是一種特殊類型的全卷積網(wǎng)絡(luò)(Fully convolutional network, FCN)，它繼承了全卷積網(wǎng)絡(luò)的基本結(jié)構(gòu)，不使用密集連接層構(gòu)建網(wǎng)絡(luò)，而是采用包括卷積、池化和上采樣層局部連接層構(gòu)建，這種做法大大減少了模型調(diào)優(yōu)的參數(shù)數(shù)量，與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks, CNN)相比減少了冗余計(jì)算。在此基礎(chǔ)上，U-Net 模型進(jìn)一步充分利用在收縮路徑中不同分辨率提取的特征信息，應(yīng)用特征連接來恢復(fù)擴(kuò)展路徑中的相應(yīng)位置的圖像，從而保證模型具備高精度圖像分割能力。

U-Net模型中的卷積層通過內(nèi)核過濾器進(jìn)行圖像過濾，將強(qiáng)信號(hào)的圖像特征提取出來，實(shí)現(xiàn)圖像重要特征的提取。池化層對(duì)激活圖進(jìn)行下采樣，通過降低圖像的分辨率來降低特征的維度，最大池化層則過濾掉冗余信息，保留圖像最強(qiáng)的特征信號(hào)。ReLU 層(Rectified linear unit layer, ReLU)是 CNN 中最常用的激活函數(shù)之一，它將所有負(fù)元素更改為零，同時(shí)保留正元素的值，截?cái)嗑矸e層生成的不重要的特征，從而保留重要的特征。轉(zhuǎn)置卷積層通過使用上采樣或空間插值，將提取的密集特征從粗分辨率投影到其在原始圖像中的精確位置。

注意力模塊是一種最初為序列依賴建模而設(shè)計(jì)的技術(shù)，最近被應(yīng)用到圖像分析中對(duì)特征依賴進(jìn)行建模[25]。它可以逐步抑制不相關(guān)背景區(qū)域中的特征響應(yīng)，并使模型專注于重要特征。本文將5個(gè)注意力門(Attention gate, AG)集成到 U-Net 模型中，從而創(chuàng)建一個(gè)注意力 U-Net 模型來實(shí)現(xiàn)小麥樣本成分高精度分割識(shí)別。該注意力模塊架構(gòu)如圖5所示，將特征圖和門控信號(hào)的卷積結(jié)果結(jié)合到 ReLU 層以去除負(fù)值，并利用瓶頸卷積層減少通道維度以節(jié)省內(nèi)存，并使用 Sigmoid 函數(shù)來計(jì)算最終的注意力權(quán)重矩陣，加權(quán)輸入乘以縮放超參數(shù)α(初始化為1)并添加到原始輸入以產(chǎn)生最終輸出特征圖像信息[26]。

圖5 U-Net 模型中的注意力模塊

注意力改進(jìn)U-Net模型的架構(gòu)如圖6所示。在收縮路徑中應(yīng)用了3個(gè)三重卷積層和3個(gè)二重卷積層，在擴(kuò)展路徑中應(yīng)用了5個(gè)二重卷積層。在每個(gè)卷積層之間使用5個(gè)池化層進(jìn)行下采樣。在擴(kuò)展路徑中，為了方便網(wǎng)絡(luò)的構(gòu)建與更好的通用性，在上采樣時(shí)直接進(jìn)行兩倍上采樣再進(jìn)行特征融合，最終獲得的特征層和輸入圖像的高寬相同。在兩條路徑的每個(gè)水平層次上，網(wǎng)絡(luò)使用注意力門，根據(jù)來自較粗尺度的上下文信息的門控信號(hào)，對(duì)通過跳躍連接傳播的特征進(jìn)行過濾，實(shí)現(xiàn)圖像的高精度分割。同時(shí)，本文使用Adam優(yōu)化器來計(jì)算損失的變化方向并調(diào)整反向傳播過程中的權(quán)重[27]。

圖6 改進(jìn)的U-Net網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3 網(wǎng)絡(luò)訓(xùn)練

Ubuntu 20.04主機(jī)配置Intel(R)Core(TM)i7-6700 CPU 3.40 GHz 3.41 GHz的處理器，16 GB內(nèi)存和NVIDIA GeForce GTX 1050 Ti 獨(dú)立顯卡?；赑ython 3.6，torch 1.2.0，torchvision 0.4.0，scipy 1.2.1，numpy 1.17.0，matplotlib 3.1.2，opencv_python 4.1.2.30，tqdm 4.60.0，Pillow 8.2.0，h5py 2.10.0部署模型訓(xùn)練環(huán)境，使用GPU和CPU雙設(shè)備開展注意力改進(jìn)U-Net模型的訓(xùn)練和測(cè)試。使用網(wǎng)格搜索來調(diào)整包括學(xué)習(xí)率、過濾器尺寸、丟失率和衰減因子在內(nèi)的超參數(shù)，在模型訓(xùn)練過程中使用Adam優(yōu)化器來計(jì)算和調(diào)整權(quán)重[28]。訓(xùn)練了注意力改進(jìn)U-Net模型5次獲取最優(yōu)的訓(xùn)練模型，將最優(yōu)的訓(xùn)練模型移植到Nvidia jetson tx2開發(fā)套件，用于小麥機(jī)械化收獲過程含雜率的在線檢測(cè)。

注意力改進(jìn)U-Net模型訓(xùn)練集損失函數(shù)使用基于多分類交叉熵?fù)p失，計(jì)算公式為

(1)

式中Tloss——多分類交叉熵?fù)p失

n——樣本數(shù)量

x——預(yù)測(cè)向量維度

y——像素點(diǎn)真實(shí)值

β——像素點(diǎn)預(yù)測(cè)概率，取0～1

驗(yàn)證集采用Dice loss作為損失函數(shù)。其中，Dice系數(shù)是一種集合相似度度量函數(shù)，通常用于計(jì)算兩個(gè)樣本的相似度，取值范圍為[0,1]，Dice系數(shù)越大表示預(yù)測(cè)結(jié)果和真實(shí)結(jié)果重合度越高，其計(jì)算公式為

(2)

式中fdice——Dice系數(shù)

X——預(yù)測(cè)結(jié)果

Y——真實(shí)結(jié)果

最終，驗(yàn)證集損失函數(shù)Vloss計(jì)算公式為

Vloss=1-fdice

(3)

2.4 模型預(yù)測(cè)效果評(píng)價(jià)方法

采用精確率P、召回率R作為圖像分割結(jié)果的評(píng)價(jià)指標(biāo)，并以F1值作為準(zhǔn)確率和召回率的評(píng)估值。召回率R表示模型在輸入數(shù)據(jù)中找到所有小麥成分像素的能力，而精確率P表示模型正確分類小麥成分的像素部分。F1值是精確率和召回率的調(diào)和平均值，較高的F1值表明該模型在召回率和準(zhǔn)確率之間取得了最佳平衡。因此，本文將F1值作為評(píng)價(jià)各模型性能的重要指標(biāo)。

3 試驗(yàn)設(shè)計(jì)

3.1 模型性能評(píng)價(jià)試驗(yàn)

為了評(píng)估本文算法的性能，將其與人工標(biāo)注結(jié)果以及其他機(jī)器學(xué)習(xí)方法預(yù)測(cè)的效果進(jìn)行比較。本文設(shè)置4個(gè)對(duì)照模型，包括人工標(biāo)注、標(biāo)準(zhǔn)U-Net模型、PSPNet模型(Pyramid scene parsing network)和DeepLabV3模型(Deep convolutional nets v3)。利用2.3節(jié)描述的主機(jī)，基于2.1節(jié)的數(shù)據(jù)集，分別訓(xùn)練各模型5次，選取各模型的最優(yōu)訓(xùn)練模型對(duì)測(cè)試集圖像進(jìn)行預(yù)測(cè)分析。統(tǒng)計(jì)預(yù)測(cè)圖像的精確率、召回率、F1值，分析評(píng)價(jià)模型對(duì)小麥籽粒和雜質(zhì)的分割識(shí)別性能。

3.2 臺(tái)架測(cè)試試驗(yàn)

試驗(yàn)地點(diǎn)為農(nóng)業(yè)農(nóng)村部南京農(nóng)業(yè)機(jī)械化研究所東區(qū)，試驗(yàn)時(shí)間為2020年7月3日。試驗(yàn)小麥樣本來源于四川省廣漢市連山鎮(zhèn)惠民農(nóng)機(jī)作業(yè)專業(yè)合作社小麥試驗(yàn)田，共3個(gè)批次樣本，每批次樣本質(zhì)量25 kg，小麥品種川麥104，收獲時(shí)含水率為11.8%，百粒質(zhì)量為29.16 g。

試驗(yàn)臺(tái)架由機(jī)架、糧箱、刮板升運(yùn)器、電機(jī)和小麥含雜率檢測(cè)裝置組成，如圖7所示，采用試驗(yàn)臺(tái)架進(jìn)行3組試驗(yàn)。臺(tái)架工作時(shí)，電機(jī)帶動(dòng)螺旋輸送器轉(zhuǎn)動(dòng)，糧箱內(nèi)的小麥被傳送到刮板升運(yùn)器上，升運(yùn)器最上端連接1個(gè)出料斗，小麥從出料斗落入糧箱中，部分小麥從出料斗落入小麥含雜率檢測(cè)裝置中，小麥樣本檢測(cè)完成后，裝置中小麥回落到糧箱內(nèi)。試驗(yàn)時(shí)，首先準(zhǔn)備好試驗(yàn)臺(tái)架，小麥含雜率檢測(cè)裝置安裝于試驗(yàn)臺(tái)出料斗下方，連接好設(shè)備電源；準(zhǔn)備3批次小麥樣品；每批小麥隨機(jī)均勻取3個(gè)樣本點(diǎn)，參照DG-T 014—2019《谷物聯(lián)合收割機(jī)》人工檢測(cè)樣本的含雜率；將樣品分批次倒入試驗(yàn)臺(tái)，小麥含雜率檢測(cè)裝置對(duì)樣本動(dòng)態(tài)采樣檢測(cè)30次，單次試驗(yàn)結(jié)束后將糧倉內(nèi)的小麥清除干凈，重復(fù)2次試驗(yàn)；記錄試驗(yàn)數(shù)據(jù)，與人工檢測(cè)結(jié)果進(jìn)行比較，驗(yàn)證基于注意力U-Net模型小麥含雜率在線檢測(cè)效果。

圖7 試驗(yàn)臺(tái)架結(jié)構(gòu)示意圖

3.3 田間測(cè)試試驗(yàn)

試驗(yàn)地點(diǎn)為四川省廣漢市連山鎮(zhèn)惠民農(nóng)機(jī)作業(yè)專業(yè)合作社小麥試驗(yàn)田，試驗(yàn)時(shí)間為2021年5月16日。試驗(yàn)田種植小麥品種為川麥104，收獲時(shí)含水率為12.3%，百粒質(zhì)量為31.46 g。本次田間試驗(yàn)設(shè)置了3個(gè)行程的重復(fù)試驗(yàn)，單行程長度100 m，作業(yè)速度為4 km/h，試驗(yàn)現(xiàn)場(chǎng)如圖8 所示。試驗(yàn)過程采用久保田4LZ-5B8型全喂入谷物聯(lián)合收獲機(jī)進(jìn)行小麥機(jī)械化收獲，將小麥含雜率檢測(cè)裝置安裝在收獲機(jī)輸糧裝置的出口下方，并連接聯(lián)合收獲機(jī)車載蓄電池，調(diào)試設(shè)備；啟動(dòng)聯(lián)合收獲機(jī)開始收獲，小麥含雜率檢測(cè)裝置自動(dòng)動(dòng)態(tài)在線檢測(cè)作業(yè)效果；完成1個(gè)行程的田間試驗(yàn)，停機(jī)，在糧箱中隨機(jī)均勻取3個(gè)樣本，參照DG-T 014—2019《谷物聯(lián)合收割機(jī)》人工檢測(cè)含雜率，用于檢驗(yàn)該組數(shù)據(jù)的準(zhǔn)確性；取樣完成后清空糧倉內(nèi)余糧，開機(jī)繼續(xù)進(jìn)行收獲試驗(yàn)，重復(fù)2個(gè)行程的田間試驗(yàn)，統(tǒng)計(jì)試驗(yàn)數(shù)據(jù)，驗(yàn)證基于注意力U-Net模型小麥含雜率在線檢測(cè)性能。

圖8 田間試驗(yàn)現(xiàn)場(chǎng)

3.4 小麥含雜率計(jì)算模型與檢測(cè)評(píng)價(jià)方法

現(xiàn)有的小麥聯(lián)合收獲機(jī)作業(yè)質(zhì)量檢測(cè)方法中，含雜率為樣品中雜質(zhì)質(zhì)量占樣本總質(zhì)量的百分比。根據(jù)現(xiàn)有的測(cè)定方法，制定了基于像素點(diǎn)的破碎率、含雜率量化模型，計(jì)算公式為

(3)

式中Pz——含雜率，%

Tw——預(yù)測(cè)圖像中籽粒像素點(diǎn)數(shù)

Tz——預(yù)測(cè)圖像中雜質(zhì)像素點(diǎn)數(shù)

W——圖像每1 000像素點(diǎn)的雜質(zhì)平均質(zhì)量與籽粒平均質(zhì)量比值，取0.084 1

系統(tǒng)檢測(cè)與人工檢測(cè)結(jié)果平均值取絕對(duì)誤差和相對(duì)誤差來評(píng)估基于注意力U-Net模型小麥含雜率在線檢測(cè)效果，計(jì)算公式為

(4)

(5)

Raz——含雜率檢測(cè)絕對(duì)誤差，%

Rrz——含雜率檢測(cè)相對(duì)誤差，%

4 試驗(yàn)結(jié)果分析

4.1 模型分割識(shí)別效果

標(biāo)準(zhǔn)U-Net、PSPNet、DeepLabV3和注意力改進(jìn)U-Net模型對(duì)測(cè)試集圖像的分割識(shí)別效果如圖9所示。標(biāo)準(zhǔn)U-Net和注意力改進(jìn)U-Net 模型都生成了更好的樣本成分輪廓，具有更好的連接性和更平滑的通道形狀。DeepLabV3模型雜質(zhì)的識(shí)別效果較好，籽粒輪廓上存在粘連的現(xiàn)象，并且存在部分雜質(zhì)被誤識(shí)別為籽粒的現(xiàn)象。PSPNet模型識(shí)別效果最差，存在大面積籽粒未被識(shí)別出，且識(shí)別的籽粒輪廓不清，粘連現(xiàn)象嚴(yán)重。

圖9 不同模型預(yù)測(cè)識(shí)別效果

標(biāo)準(zhǔn)U-Net和注意力改進(jìn)U-Net 模型在提取大多數(shù)與小麥樣本成分相關(guān)的特征方面表現(xiàn)更好，包括粘連的籽粒和與雜質(zhì)相接觸的籽粒，而PSPNet和DeepLabV3模型在這一方面的識(shí)別分割效果較差。注意力改進(jìn)U-Net 模型與標(biāo)準(zhǔn)U-Net相比，消除了由于籽粒堆積粘連造成局部特征信號(hào)突變，更好地提取了籽粒。相比于人工標(biāo)注，各模型都存在漏識(shí)別現(xiàn)象，PSPNet模型漏識(shí)別最嚴(yán)重，標(biāo)準(zhǔn)U-Net模型次之，PSPNet模型和注意力改進(jìn)U-Net 模型類似。總體而言，注意力改進(jìn)U-Net模型對(duì)小麥樣本成分割識(shí)別效果是最好的。

標(biāo)準(zhǔn)U-Net、PSPNet、DeepLabV3和注意力改進(jìn)U-Net模型對(duì)測(cè)試集圖像預(yù)測(cè)效果的精確率P、召回率R、F1值和圖像預(yù)測(cè)處理時(shí)間如表1所示。在籽粒和雜質(zhì)分割識(shí)別的精確率方面，注意力改進(jìn)U-Net模型分別為98.96%和92.12%，比標(biāo)準(zhǔn)U-Net高0.61個(gè)百分點(diǎn)和2.15個(gè)百分點(diǎn)，比DeepLabV3提高2.95個(gè)百分點(diǎn)和0.78個(gè)百分點(diǎn)，比PSPNet提高11.02個(gè)百分點(diǎn)和14.43個(gè)百分點(diǎn)。在籽粒和雜質(zhì)分割識(shí)別的召回率方面，注意力改進(jìn)U-Net模型分別為62.56%和80.18%，比標(biāo)準(zhǔn)U-Net高12.45個(gè)百分點(diǎn)和3.12個(gè)百分點(diǎn)，比DeepLabV3提高11.49個(gè)百分點(diǎn)和16.77個(gè)百分點(diǎn)，比PSPNet提高18.80個(gè)百分點(diǎn)和14.61個(gè)百分點(diǎn)。在模型的F1值方面，注意力改進(jìn)U-Net模型分別為76.64%和85.70%，比標(biāo)準(zhǔn)U-Net高10.33個(gè)百分點(diǎn)和2.86個(gè)百分點(diǎn)，比DeepLabV3提高10.22個(gè)百分點(diǎn)和11.62個(gè)百分點(diǎn)，比PSPNet提高18.40個(gè)百分點(diǎn)和14.67個(gè)百分點(diǎn)。在圖像解析時(shí)間上，PSPNet模型用時(shí)最少，注意力改進(jìn)U-Net和標(biāo)準(zhǔn)U-Net模型的時(shí)間類似，注意力改進(jìn)U-Net模型單幅圖像的解析時(shí)間為0.464 9 s，比PSPNet模型多耗時(shí)0.258 5 s。總體而言，注意力改進(jìn)U-Net模型優(yōu)于其他模型。

表1 不同模型的分割效果

4.2 臺(tái)架試驗(yàn)結(jié)果分析

如圖10所示，隨機(jī)從臺(tái)架試驗(yàn)采集的圖像中選取一幅圖像，使用Labelme對(duì)圖像進(jìn)行人工標(biāo)注，分析基于注意力U-Net模型小麥含雜率在線檢測(cè)系統(tǒng)在臺(tái)架試驗(yàn)中的圖像分割識(shí)別效果。預(yù)測(cè)結(jié)果表明：籽粒的精確率為99.30%、召回率為60.74%、F1值為75.37%；雜質(zhì)的精確率為93.26%、召回率為82.80%、F1值為87.72%。由此可見，基于注意力U-Net模型預(yù)測(cè)分割效果良好，能夠?qū)崿F(xiàn)小麥樣本各成分的有效分割，為樣本含雜率的準(zhǔn)確預(yù)測(cè)奠定了基礎(chǔ)。

圖10 臺(tái)架試驗(yàn)圖像分割識(shí)別效果

試驗(yàn)過程中，試驗(yàn)臺(tái)和基于注意力U-Net模型小麥含雜率在線檢測(cè)裝置工作正常，實(shí)現(xiàn)小麥樣本動(dòng)態(tài)在線檢測(cè)，試驗(yàn)檢測(cè)結(jié)果如圖11和表2所示。對(duì)于3個(gè)批次的小麥樣本含雜率，裝置檢測(cè)含雜率最大檢測(cè)值出現(xiàn)在批次3樣本檢測(cè)中，為5.64%；最小檢測(cè)值出現(xiàn)在批次3樣本檢測(cè)中，為0.36%。裝置離散點(diǎn)的檢測(cè)結(jié)果存在較大的波動(dòng)性，這主要是由于檢測(cè)裝置是通過動(dòng)態(tài)拍攝樣本圖像，分析單層圖像信息計(jì)算出實(shí)時(shí)含雜率，當(dāng)檢測(cè)裝置拍攝的圖像中雜質(zhì)占據(jù)較大面積時(shí)(如圖9中的中間圖)，此次檢測(cè)結(jié)果含雜率的數(shù)值會(huì)很大；檢測(cè)裝置拍攝的圖像中雜質(zhì)占據(jù)較小面積時(shí)(如圖9中的上圖)，此次檢測(cè)結(jié)果含雜率的數(shù)值會(huì)相對(duì)較小。樣本中的雜質(zhì)含量具有隨機(jī)性，針對(duì)不同的雜質(zhì)樣本檢測(cè)裝置能夠?qū)崿F(xiàn)有效識(shí)別，因此檢測(cè)結(jié)果的變異系數(shù)較高，分別為68.31%、55.12%和70.33%。但是，從含雜率檢測(cè)均值來看，裝置的檢測(cè)結(jié)果相對(duì)穩(wěn)定，3個(gè)批次小麥樣本含雜率平均值為1.69%，與人工檢測(cè)結(jié)果相比，裝置檢測(cè)結(jié)果提高0.26個(gè)百分點(diǎn)。

圖11 臺(tái)架試驗(yàn)結(jié)果

表2 臺(tái)架試驗(yàn)含雜率統(tǒng)計(jì)結(jié)果

4.3 田間試驗(yàn)結(jié)果分析

如圖12所示，隨機(jī)從田間試驗(yàn)采集的圖像中選取1幅圖像，使用Labelme對(duì)圖像進(jìn)行人工標(biāo)注，分析結(jié)合注意力U-Net模型小麥含雜率在線檢測(cè)系統(tǒng)分割識(shí)別效果。預(yù)測(cè)結(jié)果表明：籽粒精確率為99.34%、召回率為60.31%、F1值為75.05%；雜質(zhì)精確率為90.56%、召回率為81.34%、F1值為85.70%。由此可見，本文設(shè)計(jì)的改進(jìn)U-Net模型田間試驗(yàn)效果良好，能夠?qū)崿F(xiàn)田間收獲過程小麥樣本成分的有效分割與識(shí)別。

圖12 田間試驗(yàn)圖像分割識(shí)別效果

試驗(yàn)過程中，基于注意力U-Net模型小麥含雜率在線檢測(cè)裝置工作正常，實(shí)現(xiàn)小麥樣本動(dòng)態(tài)在線檢測(cè)，試驗(yàn)檢測(cè)結(jié)果如圖13和表3所示。對(duì)于3個(gè)行程小麥樣本含雜率，裝置檢測(cè)結(jié)果含雜率最大檢測(cè)值出現(xiàn)在行程1樣本檢測(cè)中，為4.53%；含雜率最小檢測(cè)值出現(xiàn)在行程1樣本檢測(cè)中，為0.22%。由于采樣圖像中雜質(zhì)分布的隨機(jī)性，檢測(cè)結(jié)果的變異系數(shù)較高，分別為72.06%、59.48%和41.95%。但是，從檢測(cè)均值來看，裝置檢測(cè)結(jié)果相對(duì)穩(wěn)定，3個(gè)行程的小麥樣本含雜率平均值為1.48%。與人工檢測(cè)結(jié)果相比，裝置檢測(cè)結(jié)果高0.13個(gè)百分點(diǎn)。雖然裝置與人工檢測(cè)結(jié)果的數(shù)值上存在一定的差異性，但是兩種檢測(cè)方法的檢測(cè)結(jié)果均表明實(shí)際作業(yè)過程中聯(lián)合收獲機(jī)含雜率小于2%，聯(lián)合收獲機(jī)的作業(yè)性能符合國家標(biāo)準(zhǔn)。因此，兩種檢測(cè)方式對(duì)于聯(lián)合收獲機(jī)作業(yè)含雜率是否符合國家標(biāo)準(zhǔn)的定性鑒定結(jié)果具有一致性。

圖13 田間試驗(yàn)結(jié)果

表3 田間試驗(yàn)含雜率統(tǒng)計(jì)結(jié)果

4.4 討論

小麥含雜率在線檢測(cè)系統(tǒng)對(duì)小麥樣本圖像成分的識(shí)別分割效果穩(wěn)定，籽粒分割識(shí)別精確率大于等于98%，召回率大于等于60%，F(xiàn)1值大于等于75%；雜質(zhì)分割識(shí)別的精確率大于等于90%，召回率大于等于80%，F(xiàn)1值大于等于85%。不同試驗(yàn)條件下，系統(tǒng)對(duì)各成分的識(shí)別效果相對(duì)穩(wěn)定，沒有出現(xiàn)較大的波動(dòng)。

小麥含雜率在線檢測(cè)系統(tǒng)離散點(diǎn)抽樣檢測(cè)結(jié)果具有較大的波動(dòng)性，這主要是由于系統(tǒng)動(dòng)態(tài)采樣過程中樣本雜質(zhì)是隨機(jī)出現(xiàn)的，當(dāng)系統(tǒng)采集的樣本圖像中雜質(zhì)含量較高時(shí)，計(jì)算得到的含雜率就會(huì)較高；當(dāng)樣本圖像中雜質(zhì)含量較低時(shí)，計(jì)算得到的含雜率就會(huì)較低。因此，系統(tǒng)單個(gè)離散點(diǎn)的檢測(cè)結(jié)果不能代表聯(lián)合收獲機(jī)實(shí)際收獲情況。但是，裝置的檢測(cè)均值較為穩(wěn)定，各試驗(yàn)過程，檢測(cè)均值的結(jié)果差異性較小，檢測(cè)均值能夠客觀地反映收獲實(shí)際，為駕駛員提供實(shí)時(shí)的收獲數(shù)據(jù)。

小麥含雜率在線檢測(cè)系統(tǒng)與人工檢測(cè)結(jié)果存在一定的差異性，主要原因是：人工檢測(cè)結(jié)果依賴于檢測(cè)人員的實(shí)際操作，檢驗(yàn)人員操作不規(guī)范，會(huì)造成雜質(zhì)漏揀、谷物籽粒拋撒，從而影響檢測(cè)結(jié)果的準(zhǔn)確性，而在線檢測(cè)系統(tǒng)能夠有效避免人為因素的干擾；人工檢測(cè)是通過有限的離線樣本進(jìn)行含雜率檢測(cè)，而在線檢測(cè)系統(tǒng)能夠?qū)崿F(xiàn)大樣本數(shù)據(jù)實(shí)時(shí)抽樣檢測(cè)，彌補(bǔ)了樣本中雜質(zhì)隨機(jī)性所帶來的檢測(cè)誤差。因此，雖然與人工檢測(cè)結(jié)果具有一定的差異性，但小麥含雜率在線檢測(cè)系統(tǒng)能夠?qū)崿F(xiàn)聯(lián)合收獲機(jī)作業(yè)過程大樣本數(shù)據(jù)實(shí)時(shí)抽樣檢測(cè)，能夠有效地提升檢測(cè)效率，具有明顯的先進(jìn)性。

現(xiàn)階段，我國谷物聯(lián)合收獲機(jī)智能化程度低，收獲質(zhì)量嚴(yán)重依賴于駕駛員的經(jīng)驗(yàn)，聯(lián)合收獲機(jī)駕駛員在作業(yè)前自行調(diào)整清選部件上/下篩開度、風(fēng)機(jī)轉(zhuǎn)速、風(fēng)門開度和振動(dòng)篩頻率等參數(shù)，但由于這些參數(shù)之間的關(guān)系比較復(fù)雜，并不是每個(gè)駕駛員都能熟練掌握，難以保證聯(lián)合收獲機(jī)處于最優(yōu)的作業(yè)狀態(tài)，易造成收獲質(zhì)量參差不齊。作業(yè)過程中含雜率過高時(shí)，本文研究的小麥含雜率在線檢測(cè)方法能夠?yàn)槭斋@機(jī)駕駛員和整機(jī)智能控制系統(tǒng)提供實(shí)時(shí)預(yù)警信息，如果是清選部件上篩前段開度設(shè)置偏大，智能控制系統(tǒng)將調(diào)小上篩前段開度；如果是上篩后段開度和下篩片開度設(shè)置偏大，智能控制系統(tǒng)將調(diào)小相關(guān)篩片開度；如果是風(fēng)量過小，智能控制系統(tǒng)將調(diào)大風(fēng)板或調(diào)高風(fēng)扇轉(zhuǎn)速；如果是尾篩設(shè)置偏大，造成有些莖稈雜物被拋扔筒重復(fù)拋扔，部分雜物通過上篩和下篩進(jìn)入糧倉，智能控制系統(tǒng)將適當(dāng)關(guān)小尾篩，從而保證機(jī)具處于最優(yōu)作業(yè)參數(shù)，適時(shí)地降低機(jī)械化收獲過程的含雜率，進(jìn)而提升小麥機(jī)械化收獲質(zhì)量。因此，本文研究的小麥含雜率在線檢測(cè)系統(tǒng)對(duì)提升機(jī)械化收獲質(zhì)量有實(shí)際應(yīng)用意義。

5 結(jié)論

(1)提出一種結(jié)合注意力的改進(jìn)U-Net模型的小麥含雜率檢測(cè)方法，將模型移植到小麥含雜率檢測(cè)裝置上，通過小麥機(jī)械化收獲過程動(dòng)態(tài)拍照采樣，識(shí)別小麥樣本含雜信息，實(shí)現(xiàn)了聯(lián)合收獲機(jī)作業(yè)時(shí)小麥含雜率的實(shí)時(shí)檢測(cè)。

(2)結(jié)合注意力的改進(jìn)U-Net模型籽粒和雜質(zhì)分割識(shí)別F1值分別為76.64%和85.70%，比標(biāo)準(zhǔn)U-Net高10.33個(gè)百分點(diǎn)和2.86個(gè)百分點(diǎn)，比DeepLabV3提高10.22個(gè)百分點(diǎn)和11.62個(gè)百分點(diǎn)，比PSPNet提高18.40個(gè)百分點(diǎn)和14.67個(gè)百分點(diǎn)，結(jié)合注意力的改進(jìn)U-Net模型對(duì)小麥籽粒和雜質(zhì)的識(shí)別效果最好。

(3)在臺(tái)架試驗(yàn)和田間試驗(yàn)中，裝置在線檢測(cè)含雜率均值分別為1.69%和1.48%，比人工檢測(cè)高0.26個(gè)百分點(diǎn)和0.13個(gè)百分點(diǎn)。相比于人工檢測(cè)方法，結(jié)合注意力的改進(jìn)U-Net模型的小麥含雜率檢測(cè)方法能夠?qū)崿F(xiàn)聯(lián)合收獲機(jī)田間作業(yè)過程大樣本數(shù)據(jù)的實(shí)時(shí)檢測(cè)，克服了檢測(cè)樣本雜質(zhì)隨機(jī)性，并通過大樣本數(shù)據(jù)有效提升了檢測(cè)準(zhǔn)確性。