關(guān)鍵詞：濰縣蘿卜；圖像處理；目標(biāo)檢測(cè)；蘿卜分級(jí)；YOLOv5s

0 引言

濰縣蘿卜又稱濰坊蘿卜，是山東省著名蘿卜優(yōu)良品種，近年來(lái)，濰縣蘿卜種植面積不斷擴(kuò)大，2019年首次突破3333.33hm2[1-2]。外表的缺陷檢測(cè)是濰縣蘿卜上市銷售前的重要環(huán)節(jié)，目前主要依靠人工分揀。人工成本投入大、篩選效率低等問(wèn)題阻礙了濰縣蘿卜加工自動(dòng)化產(chǎn)業(yè)發(fā)展。

近年來(lái)，機(jī)器視覺(jué)技術(shù)越來(lái)越多地應(yīng)用于表面缺陷檢測(cè)領(lǐng)域，與農(nóng)業(yè)生產(chǎn)之間的聯(lián)系變得更加緊密，農(nóng)業(yè)的數(shù)字化進(jìn)程已提上日程[3-4]。目前研究主要集中于馬鈴薯、西紅柿、蘋果等類似球狀的水果蔬菜上，對(duì)于蘿卜等非類似球狀的水果蔬菜的研究處于起步階段，而且主要面向胡蘿卜[5-14]。謝為俊等[15-16]利用機(jī)器視覺(jué)技術(shù)對(duì)胡蘿卜的不同缺陷實(shí)現(xiàn)自動(dòng)識(shí)別，有效識(shí)別出胡蘿卜青頭、彎曲、斷裂和分叉等缺陷。韓仲志等[17]利用提取骨架檢測(cè)端點(diǎn)數(shù)的根須算法，在此基礎(chǔ)上實(shí)現(xiàn)了對(duì)胡蘿卜青頭、須根與開裂的檢測(cè)。倪建功等[18]對(duì)胡蘿卜傳統(tǒng)外部缺陷檢測(cè)進(jìn)行了改進(jìn)，提出一種知識(shí)蒸餾模型，減少了網(wǎng)絡(luò)模型及運(yùn)行時(shí)間。

綜上所述，當(dāng)前依靠機(jī)器視覺(jué)進(jìn)行分揀作業(yè)的研究已經(jīng)逐漸成熟，本研究依托機(jī)器視覺(jué)技術(shù)，使用YOLOv5s對(duì)濰縣蘿卜缺陷識(shí)別模型進(jìn)行訓(xùn)練，采用雙攝像頭進(jìn)行濰縣蘿卜外表缺陷檢測(cè)，通過(guò)下位機(jī)控制分揀動(dòng)作的執(zhí)行，篩選出外表缺陷的濰縣蘿卜。

1 數(shù)據(jù)集構(gòu)建

1.1 圖像采集

在山東省濰坊市的濰坊青泉農(nóng)業(yè)科技有限公司，使用尼康相機(jī)（D7200型）在單一背景下采集濰縣蘿卜圖像400張。通過(guò)與當(dāng)?shù)氐膹臉I(yè)者交流，將濰縣蘿卜的表面缺陷分為根部多頭、彎曲、損傷和蟲眼4種，如圖1所示。具體缺陷種類的圖像數(shù)量如表1所示。

1.2 數(shù)據(jù)增強(qiáng)

為增加樣本多樣性，避免數(shù)據(jù)集不足造成訓(xùn)練過(guò)程中產(chǎn)生過(guò)擬合問(wèn)題，通過(guò)調(diào)節(jié)亮度與對(duì)比度、旋轉(zhuǎn)、翻轉(zhuǎn)、縮放、高斯模糊及添加椒鹽噪聲等諸多方法，對(duì)采集的濰縣蘿卜表面缺陷數(shù)據(jù)集進(jìn)行增廣，得到3200張濰縣蘿卜圖像數(shù)據(jù)集，并按照（訓(xùn)練集+驗(yàn)證集）∶測(cè)試集=9∶1，訓(xùn)練集∶驗(yàn)證集=9∶1的比例，隨機(jī)將2592張圖片作為訓(xùn)練集、320張圖片作為測(cè)試集及288張圖片作為驗(yàn)證集。數(shù)據(jù)增強(qiáng)結(jié)果如圖2所示。

1.3 數(shù)據(jù)標(biāo)注

本研究使用LabelImg軟件對(duì)濰縣蘿卜表面缺陷數(shù)據(jù)集進(jìn)行人工標(biāo)注，標(biāo)注的類別包括duotou（多頭）、wanqu（彎曲）、sunshang（損傷）和chongyan（蟲眼）4類，標(biāo)注完成后存儲(chǔ)為XML后綴的文件。

2 識(shí)別檢測(cè)樣機(jī)搭建

2.1 結(jié)構(gòu)設(shè)計(jì)

基于外形特征的濰縣蘿卜篩選系統(tǒng)由換向系統(tǒng)、圖像采集與處理系統(tǒng)、篩選系統(tǒng)及控制系統(tǒng)等組成，整體結(jié)構(gòu)如圖3所示。

工作流程：將濰縣蘿卜置于輸送機(jī)入口端，輸送機(jī)帶動(dòng)蘿卜前進(jìn)，當(dāng)蘿卜經(jīng)過(guò)換向裝置時(shí)，若蘿卜的方位與篩選系統(tǒng)中推板的夾角過(guò)大，則撥桿發(fā)揮作用調(diào)整蘿卜方向，從而減小蘿卜與推板的夾角。當(dāng)蘿卜被輸送至工業(yè)相機(jī)對(duì)應(yīng)位置時(shí)，工業(yè)相機(jī)獲取畫面，上位機(jī)識(shí)別模塊通過(guò)YOLOv5s網(wǎng)絡(luò)對(duì)蘿卜實(shí)時(shí)畫面進(jìn)行檢測(cè)，并將符合訓(xùn)練模型中表面缺陷的蘿卜且置信度達(dá)標(biāo)的檢測(cè)結(jié)果用矩形框標(biāo)出，并通過(guò)串口向單片機(jī)發(fā)送信號(hào)；當(dāng)單片機(jī)接收到上位機(jī)信號(hào)后，在光電紅外開關(guān)檢測(cè)到蘿卜進(jìn)入推板范圍時(shí)，單片機(jī)向步進(jìn)電機(jī)驅(qū)動(dòng)器發(fā)送信號(hào)使步進(jìn)電機(jī)帶動(dòng)固定在滑臺(tái)上的推板運(yùn)動(dòng)，將蘿卜推出傳送帶，當(dāng)滑塊運(yùn)動(dòng)到另一端的限位開關(guān)處時(shí)，步進(jìn)電機(jī)停止，完成一次分揀操作。下一次分揀時(shí)推板將從另一端開始運(yùn)動(dòng)，直到滑臺(tái)運(yùn)動(dòng)到限位開關(guān)時(shí)停止，兩側(cè)交替分揀，提高了推板分揀效率。

2.1.1 換向裝置

換向裝置由撥桿和復(fù)位彈簧組成。整個(gè)換向裝置可繞中心軸旋轉(zhuǎn)，其三維結(jié)構(gòu)如圖4所示。兩個(gè)換向裝置錯(cuò)落固定在帶式輸送機(jī)兩側(cè)，左右兩側(cè)的撥桿沿左右方向的間距大于蘿卜寬度，其作用是當(dāng)蘿卜經(jīng)過(guò)換向裝置時(shí)，若蘿卜與推板水平線夾角過(guò)大，利用撥桿的作用使蘿卜換向，從而減小蘿卜與推板的夾角，在完成一次換向操作后，通過(guò)復(fù)位彈簧使撥桿恢復(fù)原位。

2.1.2 圖像采集處理裝置

圖像采集與處理系統(tǒng)由上位機(jī)（筆記本電腦）與工業(yè)相機(jī)（S50PT1080型）組成。兩臺(tái)工業(yè)相機(jī)分別設(shè)置在擴(kuò)展支架的左右兩側(cè)，通過(guò)可調(diào)節(jié)支架與擴(kuò)展支架連接，借助可調(diào)節(jié)支架手動(dòng)調(diào)節(jié)其采集角度。兩臺(tái)工業(yè)相機(jī)的設(shè)置大大減少了視野盲區(qū)，可以采集到蘿卜更多的外表信息，增加了識(shí)別的準(zhǔn)確性。

2.1.3 篩選系統(tǒng)

篩選系統(tǒng)由導(dǎo)軌、滑臺(tái)、推板、限位開關(guān)和光電紅外開關(guān)組成，三維結(jié)構(gòu)如圖5所示。其中，限位開關(guān)用于檢測(cè)滑臺(tái)的運(yùn)動(dòng)邊界；光電傳感器位于推板后方傳送帶邊緣的橫桿上，用于感知蘿卜位置；推板安裝在滑臺(tái)上，由步進(jìn)電機(jī)驅(qū)動(dòng)滑臺(tái)進(jìn)行往復(fù)運(yùn)動(dòng)；推板上包裹泡沫墊，減少對(duì)蘿卜的損傷。

2.2 控制系統(tǒng)設(shè)計(jì)

選用51單片機(jī)作為控制器，用于對(duì)上位機(jī)串口信息的接收、各傳感器信號(hào)的采集及步進(jìn)電機(jī)的控制等。控制系統(tǒng)的電路板通過(guò)AltiumDesigner軟件設(shè)計(jì)，原理如圖6所示。

上位機(jī)通過(guò)USB轉(zhuǎn)TTL模塊經(jīng)串口向單片機(jī)發(fā)送控制指令，其python環(huán)境中需導(dǎo)入串口通信庫(kù)pyserial進(jìn)行相應(yīng)編程。

3 樣機(jī)試驗(yàn)

3.1 試驗(yàn)內(nèi)容與方法

參考根莖類凈菜加工流水線中人工分揀臺(tái)的傳送帶速度，暫定樣機(jī)傳送帶速度0.16m/s。當(dāng)蘿卜經(jīng)過(guò)推板區(qū)域時(shí)，推板需要及時(shí)將缺陷蘿卜推出傳送帶。推板最長(zhǎng)允許動(dòng)作時(shí)間為

經(jīng)計(jì)算，在步進(jìn)電機(jī)最高安全轉(zhuǎn)速下，所選同步帶滑臺(tái)中滑塊帶動(dòng)推板掃過(guò)傳送帶所需時(shí)間t2≈0.77s，遠(yuǎn)小于推板最長(zhǎng)允許動(dòng)作時(shí)間1.875s的設(shè)計(jì)要求，可以順利完成分揀動(dòng)作。若增加傳送帶速度，以滑臺(tái)帶動(dòng)推板掃過(guò)傳送帶所需時(shí)間t2為參考，則可由式（1）反推出傳送帶可與推板匹配的最快速度約0.39m/s。

為了測(cè)試篩選系統(tǒng)是否能達(dá)到實(shí)際生產(chǎn)所需要的篩選效果，選取包含根部多頭、彎曲、損傷和蟲眼的濰縣蘿卜各50個(gè)，分別調(diào)整傳送帶速度為0.16、0.30和0.38m/s進(jìn)行篩選試驗(yàn)，試驗(yàn)場(chǎng)景如圖7所示。實(shí)時(shí)檢測(cè)畫面如圖8所示。

3.2 試驗(yàn)結(jié)果與分析

篩選準(zhǔn)確率試驗(yàn)結(jié)果如表2所示。在輸送平臺(tái)傳送帶速度0.16m/s時(shí)，篩選的總體準(zhǔn)確率97.5%；速度提升至0.30m/s時(shí)也有92%的總體準(zhǔn)確率；當(dāng)傳送帶速度0.38m/s時(shí)，即提升到設(shè)計(jì)極限速度附近時(shí)，識(shí)別準(zhǔn)確率下降明顯。試驗(yàn)中，蟲眼類缺陷識(shí)別率略低的原因是部分蟲眼位于蘿卜與傳送帶接觸的底部，攝像頭無(wú)法捕捉其缺陷。

4 結(jié)束語(yǔ)

（1）本研究針對(duì)濰縣蘿卜的篩選需求，設(shè)計(jì)了一種基于機(jī)器視覺(jué)的分揀系統(tǒng)。采用傳送帶進(jìn)行蘿卜輸送，經(jīng)換向裝置調(diào)整蘿卜姿態(tài)；雙攝像頭采集實(shí)時(shí)圖像，處理后控制同步帶滑臺(tái)驅(qū)動(dòng)推板進(jìn)行分揀動(dòng)作。

（2）在輸送平臺(tái)的速度分別為0.16、0.30和0.38m/s時(shí)，對(duì)樣機(jī)進(jìn)行了篩選準(zhǔn)確率試驗(yàn)。結(jié)果表明，篩選的總體準(zhǔn)確率分別為97.5%、92.0%和82.5%，篩選裝置可高于流水線人工分揀臺(tái)傳送帶的速度進(jìn)行篩選作業(yè)，為濰縣蘿卜實(shí)際篩選系統(tǒng)研發(fā)提供設(shè)計(jì)參考。

（3）本篩選裝置還存在以下待研究問(wèn)題：一是對(duì)于濰縣蘿卜蟲眼缺陷的識(shí)別問(wèn)題，可增加翻轉(zhuǎn)裝置，進(jìn)一步減少視覺(jué)檢測(cè)的盲區(qū)，提高識(shí)別準(zhǔn)確率；二是本篩選系統(tǒng)缺少對(duì)濰縣蘿卜內(nèi)部品質(zhì)的檢測(cè)，后續(xù)可增加高光譜系統(tǒng)，進(jìn)一步完善篩選功能。