摘要：針對黃蜀葵花朵特定采收的時(shí)間和人工采摘效率過低的問題，為實(shí)現(xiàn)各類花朵采摘機(jī)械化和智能化的需求，以黃蜀葵花朵為例并結(jié)合其生長特性，設(shè)計(jì)一種輪式采花機(jī)器人。采用工控機(jī)和嵌入式微控制器作為采花機(jī)器人的主控系統(tǒng)，執(zhí)行機(jī)構(gòu)采用電力驅(qū)動(dòng)，以蓄電池供電，通過多個(gè)推桿電機(jī)、舵機(jī)和動(dòng)態(tài)基座（基于航姿參考系統(tǒng)，可自動(dòng)調(diào)節(jié)工作平臺(tái)傾角的機(jī)構(gòu)）構(gòu)成輪式行走機(jī)構(gòu)，采用兩個(gè)攝像頭分別同時(shí)獲取黃蜀葵花朵圖像，通過深度識別算法以篩選識別可采摘的目標(biāo)，采用多個(gè)舵機(jī)配合帶輪結(jié)構(gòu)構(gòu)成機(jī)械臂和夾爪的控制機(jī)構(gòu)，以完成花朵的采摘與收集。試驗(yàn)結(jié)果表明，機(jī)器人對花朵定位的準(zhǔn)確率可達(dá)75%，識別率高達(dá)100%。采花機(jī)器人通過主控制系統(tǒng)在試驗(yàn)田里能成功完成采摘作業(yè)，由機(jī)械臂配合其夾爪成功抓取花朵，上位機(jī)軟件可以完成圖像采集識別、機(jī)械臂控制和機(jī)器人工作路線的行駛等操作。該機(jī)器人適用于各地黃蜀葵和其他部分植物花朵的采集。

關(guān)鍵詞：黃秋葵；機(jī)器視覺；深度學(xué)習(xí)；農(nóng)業(yè)自動(dòng)化；花朵采摘；慣性導(dǎo)航系統(tǒng)

中圖分類號：S225.99" " " 文獻(xiàn)標(biāo)識碼：A" " " 文章編號：2095?5553 （2024） 09?0202?07

Design of a wheeled flower picking robot： Taking Abelmoschus manihot （Linn.） Medicus

as an example

Sang Yinan Xu Zenglai Wang Qiong Ge Haitao Wang Dianguang

（1. SYD Dynamics ApS， Odense M， 5230， Denmark; 2. Jiangsu Key Laboratory for the Research

and Utilization of Plant Resources， Institute of Botany， Jiangsu Province and Chinese Academy of Sciences

（Nanjing Botanical Garden Mem. Sun Yat?Sen）， Nanjing， 210014， China;

3. Jiangsu Suzhong Pharmaceutical Research Institute Co.， Ltd.， Nanjing， 210018， China）

Abstract： In order to solve the problem that the specific harvesting time and the manual picking efficiency of Abelmoschus manihot are too low， and to meet the needs of mechanization and intelligence in picking all kinds of flowers， a wheeled flower picking robot is designed by taking Abelmoschus manihot （Linn.） Medicus as an example and combining their growth characteristics. The system adopts industrial computer and embedded microcontroller as the main control system of the machine. The actuator of the machine is powered by electric drive in the form of battery. The wheel type walking mechanism is composed of multiple pusher motor actuators and dynamic bases （a mechanism that can automatically adjust the inclination of the working platform based on the attitude reference system）. Two cameras are used to obtain the flower images of hollyhock respectively， and the depth recognition algorithm is used to screen and identify the picking targets. Multiple steering gears and pulley structure are used to form the control structure of mechanical arm and gripper to complete the picking and collection of flowers. The experimental results show that the robot can locate flowers with 75% accuracy and 100% recognition rate. The picking robot can successfully complete the picking operation in the test field through the main control system. The robot arm cooperates with its gripper to successfully grasp the flowers. The upper computer software can complete the operations such as image acquisition and recognition， robot arm control and robot working route driving. It is suitable for the collection of yellow marshmallow and other plant flowers.

Keywords： Abelmoschus manihot; machine vision; deep learning; agricultural automation; flower picking; inertial navigation system

0 引言

黃蜀葵（Abelmoschus manihot （Linn.） Medic.）是一種具備較高效益的經(jīng)濟(jì)作物。其各個(gè)部位可用作蔬菜、飼料、油料[1]。而最受關(guān)注的，則是其花的應(yīng)用。黃蜀葵花含有黃酮類化合物，具有清利濕熱，消腫解毒等功效?？捎糜跐駸巅斩?，淋濁水腫；外治癰疽腫毒，水火燙傷，臨床上對水腫、腎炎等癥狀的治療具有良好效果[2]，是《中國藥典》收載的品種[3]。農(nóng)作物的收成依賴于較為龐大的采摘作業(yè)體系，無論是黃蜀葵花朵的采摘還是在果蔬的采摘生產(chǎn)中都是需要較高的人力成本。對黃蜀葵的栽種培養(yǎng)技術(shù)的研究指出因其開放時(shí)間僅有一天，所有開放的花均需要當(dāng)天采摘[4]，所需的勞動(dòng)強(qiáng)度很大。根據(jù)相關(guān)數(shù)據(jù)統(tǒng)計(jì)表明，我國在果蔬及其他生產(chǎn)過程中的采摘工作所需勞動(dòng)力占整個(gè)生產(chǎn)過程40%，而人工采摘成本占整個(gè)生產(chǎn)成本的60%[5?8]。其次是黃蜀葵花朵自身生長的特性，目前制約黃蜀葵花藥材生產(chǎn)的主要因素是其采摘時(shí)間的問題。每朵黃蜀葵花盛開時(shí)間僅有一天，為保證黃蜀葵花朵的新鮮程度采摘的時(shí)間點(diǎn)就顯得極為重要。此外，隨著城市化不斷推進(jìn)和社會(huì)老齡化的不斷加劇，我國從事農(nóng)業(yè)生產(chǎn)的人口出現(xiàn)嚴(yán)重的高齡化現(xiàn)象[5， 8]，勞動(dòng)力不足成為黃蜀葵花生產(chǎn)的主要制約因素，因此對于農(nóng)業(yè)中黃蜀葵花朵及其他特殊藥材花朵采摘的需求日益增加并逐漸迫切。

近年來，隨著機(jī)器視覺和深度學(xué)習(xí)技術(shù)的發(fā)展，國內(nèi)外各研發(fā)人員對自動(dòng)采摘機(jī)器人的研究及其相關(guān)技術(shù)都廣泛應(yīng)用于果蔬類[9， 10]或果梗類[11， 12]等作物的識別和采摘，Avigad等[13]以可伸縮三指式末端執(zhí)行器，采用深度相機(jī)識別配合其三指式末端執(zhí)行器可抓取蘋果；徐麗明等[14]設(shè)計(jì)了一種雙V型手指臍橙采摘機(jī)器人末端執(zhí)行器，通過視覺系統(tǒng)獲取果實(shí)和果梗的位姿進(jìn)行定位，而后末端執(zhí)行器通過吸附，夾持和旋切三部分機(jī)構(gòu)對果實(shí)進(jìn)行抓取；陳燕等[15]研發(fā)了基于雙目立體視覺預(yù)定位的方式提前對果實(shí)的分布進(jìn)行識別定位，采摘時(shí)再對果實(shí)的采摘點(diǎn)進(jìn)行精準(zhǔn)定位；根據(jù)上述所提的研究案例無論國內(nèi)外，對于果蔬的識別定位和采摘的研發(fā)技術(shù)逐漸趨向于成熟并且不斷的取得進(jìn)展和成果，而對于黃蜀葵花朵的采摘其實(shí)是異曲同工[16]，即宏觀來說都是采用圖像識別定位技術(shù)和末端執(zhí)行器的執(zhí)行采摘，縱觀國內(nèi)對于花朵采摘的研究情況屈指可數(shù)，且現(xiàn)有的采摘機(jī)器人普遍都存在如下缺點(diǎn)：設(shè)計(jì)和制造成本過高；花朵識別以及采摘成功率不高；市場的推廣性不高。

基于此，本文對黃蜀葵試驗(yàn)田實(shí)地調(diào)研后，結(jié)合其花朵的生長特性和采摘的具體要求，對機(jī)器人手臂和底座結(jié)構(gòu)進(jìn)行設(shè)計(jì)，對花朵識別算法進(jìn)行測試，最后全機(jī)實(shí)地驗(yàn)證。

1 黃蜀葵采收要求

傳統(tǒng)的采花機(jī)器開發(fā)主要集中在金銀花、川紅花等少數(shù)作物上。通常使用打擊式采摘，將大量花朵和葉片打下，在之后再進(jìn)行后處理。較新式的機(jī)器使用的采摘原理大致可分為3種：吸入式，篩選式和拉斷式。2013年，劉啟超等[17]提出的金銀花采花機(jī)使用軟滾輪對花朵進(jìn)行篩選。2016年，姬長英等[18]提出的手推式杭白菊梳齒摘花機(jī)則利用梳齒控制力度保證將花剪下。2021年，徐虹等[19]提出的川紅花采摘裝置則使用風(fēng)機(jī)將花吸入。以上幾種采花機(jī)器有兩個(gè)共同的缺點(diǎn)：一方面，對花朵的識別仍然有賴于操作人員，機(jī)器只實(shí)現(xiàn)了半自動(dòng)化，不利于進(jìn)一步提升采收效率；另一方面，無論是碎花、吸入、篩選還是拉斷，都對花的力學(xué)性能提出了要求：對于更為脆弱的花朵，這些方法均無法實(shí)現(xiàn)有效的采摘，因而也難以適用于黃蜀葵上。此外，黃蜀葵為無限花序植物，其開花方式為花序下部的花先開，每日開1～3朵，逐次向上開放，這種開花方式也決定了不能使用滾筒、梳齒等任何對花序后續(xù)生長有破壞性的采收方式。

2 機(jī)械結(jié)構(gòu)設(shè)計(jì)

2.1 總體結(jié)構(gòu)

輪式采花機(jī)器人主要由底盤、機(jī)械臂平臺(tái)和機(jī)械臂三部分組成，采用立柱式設(shè)計(jì)，如圖1所示。其外形尺寸為長91 cm，寬65 cm，高212 cm；該機(jī)器人是以電力驅(qū)動(dòng)為主，通過電池供電，考慮到機(jī)器在使用周期內(nèi)應(yīng)無需更換電池，且機(jī)器或者電池達(dá)到使用壽命時(shí)，確保其能有效進(jìn)行資源回收和環(huán)保處理，其供電方式采用磷酸鐵鋰電池供電。根據(jù)設(shè)計(jì)電壓范圍，以及考慮機(jī)器在作業(yè)時(shí)的續(xù)航能力，其選用電壓為12 V，容量為80 Ah，平均功率約2 kW的磷酸鐵鋰電池。使用該電池即可以為機(jī)器人提供長達(dá)約4 h的工作時(shí)長，又能節(jié)省機(jī)器電源設(shè)備的成本。

機(jī)器人整體都以電池提供電源，由電動(dòng)機(jī)直接驅(qū)動(dòng)動(dòng)力輪前進(jìn)，通過動(dòng)力輪差速控制方向?qū)崿F(xiàn)行走功能。萬向輪為從動(dòng)，僅起到支撐作用。電池同時(shí)還向機(jī)械臂以及工控機(jī)供電。機(jī)器人頂部含有可以旋轉(zhuǎn)的攝像頭和兩個(gè)機(jī)械臂同時(shí)進(jìn)行作業(yè)。一臺(tái)機(jī)器一般可以安裝2個(gè)采摘機(jī)械臂（或者等同效果機(jī)械裝置，本文以1個(gè)機(jī)械臂為例進(jìn)行研究），每個(gè)機(jī)械臂水平作業(yè)半徑為1 m，垂直作業(yè)半徑約1 m，完成作業(yè)操作范圍覆蓋。作業(yè)時(shí)，將采花機(jī)器人置于田地中，采花機(jī)器人通過攝像頭識別花朵并判斷花的位置，然后控制動(dòng)力輪移動(dòng)自身位置，控制推桿電機(jī)平衡機(jī)器人的重心以保持穩(wěn)定，最后通過伺服電機(jī)控制機(jī)械臂完成對花朵的摘取，并置于收集桶中，完成采集。

2.2 底盤

機(jī)器人的底盤包含動(dòng)力輪、萬向輪、電池包和硬件控制電路等部分，如圖2所示。因考慮到該機(jī)器人輪子是在田間旱地行駛，為防止其在運(yùn)作時(shí)打滑及保證其對地面有較強(qiáng)的適應(yīng)性和耐磨性，故該機(jī)器人采用具有高齒且有高花紋的農(nóng)用人字輪胎動(dòng)力輪。該機(jī)器人底盤的輪子選擇高齒高花紋的動(dòng)力輪為兩個(gè)獨(dú)立控制的固定軸輪組，通過兩個(gè)伺服電機(jī)來驅(qū)動(dòng)輪子轉(zhuǎn)動(dòng)行駛，利用主控機(jī)調(diào)控伺服電機(jī)轉(zhuǎn)速的差動(dòng)來實(shí)現(xiàn)轉(zhuǎn)向。萬向輪為從動(dòng)，僅起到支持作用，與兩個(gè)動(dòng)力輪共同構(gòu)成底盤支承的三個(gè)點(diǎn)。田間地勢崎嶇，對采花機(jī)器人的平衡性以及機(jī)械臂平臺(tái)的水平性提出了較高的要求。為了盡可能降低重心、提高采花機(jī)器人的平衡性，將較重的電池包以及控制驅(qū)動(dòng)硬件電路固定于底盤上。底盤上的兩個(gè)推桿電機(jī)以及一個(gè)連桿通過球關(guān)節(jié)軸承與機(jī)械臂平臺(tái)連接。

2.3 機(jī)械臂平臺(tái)

為使機(jī)器人獲得足夠的平衡性并讓機(jī)械臂平臺(tái)具有足夠的水平性，除了結(jié)構(gòu)上盡可能降低重心外，為此還使用機(jī)械臂平臺(tái)對機(jī)器人的傾斜進(jìn)行主動(dòng)的平衡和補(bǔ)償。機(jī)械臂平臺(tái)材料選用玻璃纖維層壓板，板厚4 mm。此外，為了解決機(jī)器人在采摘黃蜀葵花朵時(shí)，因凹凸不平的地面會(huì)使得機(jī)體發(fā)生些許的傾斜或因硬件架構(gòu)本身的活動(dòng)范圍受限等因素，導(dǎo)致機(jī)械臂與花朵之間產(chǎn)生過大的間距而無法順利抓取花朵等問題，為此該機(jī)器人的機(jī)械臂平臺(tái)是利用兩個(gè)額定電壓為12 V，行程400 mm的推桿電機(jī)（平衡推桿）配合1個(gè)阻尼支點(diǎn)，使用鋁型材并安裝集成的慣性測量單元（IMU）所搭建的一個(gè)航姿參考系統(tǒng)自動(dòng)調(diào)節(jié)工作平臺(tái)傾角的機(jī)構(gòu)。該慣性測量單元選用了SYD Dynamics的TransducerM系列航向姿態(tài)儀，型號為TM200。如圖3所示，機(jī)械臂平臺(tái)便可通過集成的慣性測量單元實(shí)時(shí)測量平臺(tái)傾角，將與水平面的角度差導(dǎo)入PID控制算法計(jì)算補(bǔ)償量并驅(qū)動(dòng)推桿電機(jī)維持平臺(tái)水平。機(jī)械臂平臺(tái)頂端集成攝像頭云臺(tái)，通過旋轉(zhuǎn)攝像頭實(shí)時(shí)采集周圍花朵的信息。機(jī)械臂平臺(tái)外掛收集桶，用于收集采摘到的花朵。

2.4 機(jī)械臂

機(jī)械臂由肩關(guān)節(jié)電機(jī)、大臂電機(jī)、小臂電機(jī)、大臂、小臂、夾爪6個(gè)部分組成，如圖4所示。肩關(guān)節(jié)電機(jī)固連在機(jī)械臂平臺(tái)上，為機(jī)械臂提供在水平面旋轉(zhuǎn)的自由度。機(jī)械臂選用肩關(guān)節(jié)電機(jī)，型號為普蘭特傳動(dòng)35STH28。大臂電機(jī)直接驅(qū)動(dòng)大臂，大臂電機(jī)選用普蘭特傳動(dòng)42STH61，材料為鋁6061合金。而小臂電機(jī)則通過同步帶與肘關(guān)節(jié)的同步帶輪相連，從而驅(qū)動(dòng)小臂。小臂電機(jī)選用普蘭特傳動(dòng)20STH30，材料為鋁6061合金。大臂電機(jī)和小臂電機(jī)均固定于肩關(guān)節(jié)處，以降低驅(qū)動(dòng)負(fù)載。夾爪由伺服電機(jī)驅(qū)動(dòng)，通過伺服電機(jī)旋轉(zhuǎn)角度控制夾爪張合角度大小，夾爪材料為UHMW。

3 控制系統(tǒng)

3.1 硬件連接

采花機(jī)器人的硬件部分的連接如圖5所示。其硬件部分主要由兩個(gè)控制單元組成：工控機(jī)以及總控Arduino平臺(tái)。其中工控機(jī)主要負(fù)責(zé)處理采花機(jī)器人的感知系統(tǒng)，總控Arduino平臺(tái)則根據(jù)工控機(jī)處理后的決定來控制采花機(jī)器人具體的動(dòng)作執(zhí)行。工控機(jī)控制攝像頭云臺(tái)按照一定的角度間隔掃描機(jī)器人前方的扇面，然后再通過USB接口讀取兩個(gè)攝像頭的數(shù)據(jù)。工控機(jī)通過UART串口給總控Arduino發(fā)送指令，并獲得航向角數(shù)據(jù)。

總控Arduino平臺(tái)通過UART串口接收由慣性傳感器提供的俯仰、滾轉(zhuǎn)、偏航角度等信息，通過生成方波向大臂伺服電機(jī)、小臂伺服電機(jī)以及夾爪伺服電機(jī)發(fā)送轉(zhuǎn)動(dòng)指令?？偪谹rduino平臺(tái)也會(huì)通過UART串口向下游輪組Arduino平臺(tái)發(fā)送指令，以控制動(dòng)力輪的驅(qū)動(dòng)?？偪谹rduino平臺(tái)還通過輸入輸出口向推桿Arduino平臺(tái)發(fā)送啟動(dòng)停止指令，以控制推桿電機(jī)，來使采花機(jī)器人保持自身的平衡以及機(jī)械臂平臺(tái)的水平。

3.2 反饋流程

采花機(jī)器人的控制系統(tǒng)由路徑控制、平臺(tái)平衡穩(wěn)定、花朵定位采摘3個(gè)獨(dú)立的反饋回路組成。

3.2.1 路徑控制反饋回路

路徑控制反饋回路如圖6所示。該回路通過全球衛(wèi)星定位系統(tǒng)實(shí)時(shí)獲取采花機(jī)器人的位置，并結(jié)合航向角，與預(yù)設(shè)的路徑采摘停靠點(diǎn)位置朝向計(jì)算差值，將偏差量導(dǎo)入PID控制算法，計(jì)算出需要補(bǔ)償?shù)妮喗M轉(zhuǎn)動(dòng)角度，再驅(qū)動(dòng)輪組將機(jī)器人移動(dòng)到合適的位置朝向。

3.2.2 機(jī)械臂平臺(tái)平衡穩(wěn)定反饋回路

機(jī)械臂平臺(tái)平衡穩(wěn)定反饋回路如圖7所示。該回路通過慣性傳感器讀取機(jī)械臂平臺(tái)的俯仰、滾轉(zhuǎn)角度，與預(yù)設(shè)的平臺(tái)傾角（完全水平，即0°）計(jì)算差值，然后將偏差量導(dǎo)入PID控制算法，計(jì)算出需要補(bǔ)償?shù)耐茥U高度，再驅(qū)動(dòng)兩個(gè)推桿電機(jī)將機(jī)械臂平臺(tái)支撐調(diào)節(jié)到水平面。

3.2.3 花朵采摘定位反饋回路

花朵采摘定位反饋回路如圖8所示。該回路通過云臺(tái)攝像頭掃描植物，并通過深度學(xué)習(xí)算法識別花朵。之后，肩關(guān)節(jié)電機(jī)將機(jī)械臂旋轉(zhuǎn)至攝像頭方向，通過小臂攝像頭選定目標(biāo)花朵并持續(xù)跟蹤。小臂攝像頭還通過雙目視覺對花朵進(jìn)行持續(xù)測距，并以此計(jì)算花朵與夾爪間的偏移量。最后將該偏移量導(dǎo)入PID算法，驅(qū)動(dòng)機(jī)械臂靠近目標(biāo)花朵，啟動(dòng)夾爪并完成采集和收集工作。

4 花朵識別算法

4.1 花朵識別算法簡介

花朵識別算法被用于云臺(tái)攝像頭掃描花朵和小臂攝像頭跟蹤花朵兩處。采花機(jī)器人使用的花朵識別算法被置于工控機(jī)中，使用TensorFlow 2實(shí)現(xiàn)。將預(yù)訓(xùn)練的模型置于工控機(jī)中，調(diào)用TensorFlow 2 Object Detection API，即可對攝像頭所攝圖像中的花朵進(jìn)行識別。再利用Block Matching算法，即可完成對花朵的測距。

TensorFlow 2是計(jì)算機(jī)領(lǐng)域一種相對標(biāo)準(zhǔn)化的用于實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)技術(shù)的軟件計(jì)算框架，其中包括的子框架名為TensorFlow 2 Object Detection API，該子框架提供了一套相對完整的基于計(jì)算機(jī)學(xué)習(xí)算法的視覺處理軟件體系，包括識別和訓(xùn)練。對于常見的物體的識別，如人體、動(dòng)物和植物的簡單辨別，在該子框架下可以借助已有的訓(xùn)練模型實(shí)現(xiàn)運(yùn)算和識別，典型的訓(xùn)練模型包括SSD MobileNet卷積神經(jīng)網(wǎng)絡(luò)模型。在本文中，因黃蜀葵花的特殊性，常規(guī)的訓(xùn)練模型不具備識別該目標(biāo)的能力，故需要結(jié)合現(xiàn)場采集的照片素材，經(jīng)過人工分類標(biāo)記作為輸入數(shù)據(jù)，對模型進(jìn)行進(jìn)一步改進(jìn)，這個(gè)過程稱為“學(xué)習(xí)”或者“訓(xùn)練”，如圖9所示。

4.2 識別訓(xùn)練素材

通過實(shí)地拍攝照片實(shí)現(xiàn)訓(xùn)練素材的收集，采集的設(shè)備為機(jī)載攝像頭和便攜式照相機(jī)。本文針對黃蜀葵花朵訓(xùn)練識別模型所用的部分素材如圖10所示。通過人工框選圖片中的黃蜀葵實(shí)例完成相關(guān)素材的標(biāo)記，并通過TensorFlow 2提供的軟件工具，轉(zhuǎn)換成可以由TensorFlow 2 Object Detection API進(jìn)行訓(xùn)練的數(shù)據(jù)集。在測試試驗(yàn)中，選取了76張照片，每張照片中含有一個(gè)或者多個(gè)黃蜀葵花朵，對于靠近攝像頭區(qū)域的約5 m內(nèi)盛開花朵，進(jìn)行上述人工標(biāo)記，標(biāo)記總數(shù)超過700件。

4.3 模型訓(xùn)練

在建立好圖片素材和標(biāo)記數(shù)據(jù)倉庫后，便可借助TensorFlow 2提供的運(yùn)算庫，按照SSD MobileNet模型構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練。為了取得較佳的訓(xùn)練效果，提升識別模型的可靠度和精確度，可采取增加訓(xùn)練圖片素材的方式，或者通過增加訓(xùn)練算法的迭代次數(shù)。試驗(yàn)中，采用了11 000 MOps/Sec浮點(diǎn)運(yùn)算能力的桌面架構(gòu)CPU，訓(xùn)練時(shí)長為5 h，該浮點(diǎn)運(yùn)算能力近似于一臺(tái)普通電腦的運(yùn)算性能；嘗試并挑選合適的卷積神經(jīng)網(wǎng)絡(luò)模型，本文采用了SSD MobileNet模型；根據(jù)被識別物體的大小選取合適的圖像分辨率，本文圖像的分辨率為320像素×320像素。

5 全機(jī)實(shí)地測試驗(yàn)證

5.1 花朵識別算法測試驗(yàn)證

本項(xiàng)測試通過黃蜀葵花試驗(yàn)田中的實(shí)地驗(yàn)證來測試并改進(jìn)花朵拍攝的相關(guān)參數(shù)以及識別算法。試驗(yàn)現(xiàn)場如圖11所示。在進(jìn)行大量的花朵圖像采集篩選后，在試驗(yàn)中發(fā)現(xiàn)采摘機(jī)器人機(jī)頂安裝的攝像頭拍攝和截取的圖片，在不同分辨率和不同色調(diào)參數(shù)下的拍攝，都會(huì)使得花朵的識別率存在一些差異。因此為作對比試驗(yàn)，一組黃蜀葵花朵由采花機(jī)器人機(jī)頂安裝的默認(rèn)參數(shù)的攝像頭拍攝，另一組黃蜀葵花朵由調(diào)整過色調(diào)（曝光、白平衡、飽和度等）參數(shù)的攝像頭進(jìn)行人工移動(dòng)拍攝。

5.1.1 算法評價(jià)方法

驗(yàn)證一個(gè)基于計(jì)算機(jī)圖像識別的算法準(zhǔn)確性能，通?？刹捎玫姆椒ㄈ缦拢浩渲笜?biāo)包含True Positive指標(biāo)（簡稱TP），即被識別圖像中，目標(biāo)真實(shí)存在且被算法正確識別的目標(biāo)數(shù)量；False Positive指標(biāo)（簡稱FP），即被識別圖像中目標(biāo)不存在，但是算法誤將非目標(biāo)區(qū)域判斷為目標(biāo)的數(shù)量；True Negative指標(biāo)（簡稱TN），即被識別圖像中目標(biāo)不存在，且算法判斷出該目標(biāo)不存在；False Negative指標(biāo)（簡稱FN），即被識別圖像中目標(biāo)真實(shí)存在，但是算法誤認(rèn)為目標(biāo)不存在的目標(biāo)數(shù)量。

準(zhǔn)確率表示圖像算法從干擾信息中辨別正確目標(biāo)的能力；識別率表示圖像算法識別過程中，真實(shí)世界的被識別目標(biāo)往往存在多種形態(tài)光照條件，而識別率是一種考察算法在識別目標(biāo)形態(tài)多樣化的環(huán)境下的發(fā)現(xiàn)能力。

準(zhǔn)確率

Accuracy=TP+TN/TP+TN+FP+FN×100% （1）

識別率

Precision=TP/TP+FP×100% （2）

上述準(zhǔn)確率和識別率的計(jì)算可以針對某一幀圖片進(jìn)行，也可以針對具有一段時(shí)間長度的視頻流進(jìn)行統(tǒng)計(jì)。在本文中采用第一種方法，即以幀為單位對圖片上的目標(biāo)識別情況進(jìn)行統(tǒng)計(jì)。

5.1.2 性能優(yōu)化試驗(yàn)

通常情況下，用于訓(xùn)練和識別的原始圖像素材質(zhì)量將直接影響訓(xùn)練效果和識別率。確定同一套攝像頭在不同的軟件配置下的性能優(yōu)劣，成為優(yōu)化設(shè)備識別性能的關(guān)鍵之一。將拍攝的兩組圖片通過深度學(xué)習(xí)識別算法程序?qū)C(jī)器人的識別系統(tǒng)進(jìn)行不斷的框選和訓(xùn)練，而后將這些框選和訓(xùn)練的數(shù)據(jù)加載到采花機(jī)器人里，讓機(jī)器人在試驗(yàn)田中行走，使用機(jī)頂安裝的攝像頭實(shí)時(shí)拍攝的場景來對比花朵的識別率。其結(jié)果也證實(shí)，調(diào)整過色調(diào)（曝光、白平衡、飽和度等）參數(shù)的該組黃蜀葵花朵的圖片識別率較高。同等分辨率下不同色調(diào)參數(shù)的圖片所得到的識別效果如圖12所示。在機(jī)器人約1.2 m范圍內(nèi)，基于前述指標(biāo)對圖12中的識別效果進(jìn)行參數(shù)化對比如表1所示。

由圖13可知，使用手機(jī)等其他拍攝工具拍攝的高清晰度高分辨率的黃蜀葵花朵圖片，相比這兩組使用攝像頭拍攝的花朵具有更高的識別準(zhǔn)確率。這就意味著，高清晰度高分辨率的圖片更能讓識別系統(tǒng)精準(zhǔn)識別到黃蜀葵花朵，但其所占用的內(nèi)存就會(huì)更大，深度學(xué)習(xí)算法運(yùn)行時(shí)也將更耗費(fèi)時(shí)間；而低分辨率低清晰度的圖片雖然內(nèi)存占用不大，但其識別準(zhǔn)確率將會(huì)有所降低。經(jīng)過對黃蜀葵花姿態(tài)大量圖像的篩選和訓(xùn)練，采摘機(jī)器人的識別算法對其周邊近處的黃蜀葵花朵定位的準(zhǔn)確率達(dá)到75%，識別率高達(dá)100%。

5.2 機(jī)器人實(shí)地測試驗(yàn)證

采花機(jī)器人的實(shí)地測驗(yàn)證如圖14所示。在黃蜀葵種植基地中，測試區(qū)域占地0.066 7 hm²，分為8列，每列寬度2.6 m，其中包含行駛區(qū)域?qū)?.3～1.4 m，將測試機(jī)器人設(shè)備置于行駛區(qū)域中完成自動(dòng)化識別后，進(jìn)行采摘作業(yè)并記錄識別率以及采摘成功率。

該機(jī)器人通過各種傳感器感知和計(jì)算機(jī)處理，對試驗(yàn)現(xiàn)場作業(yè)環(huán)境下盛開的黃蜀葵花自動(dòng)化完成識別和標(biāo)注，而后計(jì)算機(jī)通過自動(dòng)化引導(dǎo)機(jī)械臂完成采摘操作。該機(jī)器人主體可以完成按照事先規(guī)劃路徑在測試種植場地內(nèi)行駛，完成采摘場地的遍歷。

通過測試發(fā)現(xiàn)，在作業(yè)半徑1.2～1.5 m內(nèi)，機(jī)器人具有一定應(yīng)對環(huán)境變化的能力，例如避障和越障能力。該機(jī)器人可以準(zhǔn)確完成包括識別、抓、摘、放等采花步驟，按照設(shè)計(jì)要求完成花朵的采摘工作，其中識別率超過75%，抓取成功率不低于80%。

6 結(jié)論

1） 設(shè)計(jì)一款黃蜀葵輪式采花機(jī)器人。以電動(dòng)機(jī)為動(dòng)力行進(jìn)，通過攝像頭雙目視覺識別花朵并測定方位距離后，由處理器控制機(jī)械臂及其上的夾爪完成采摘并置于收集桶中。

2） 采用單目視覺的測量方法，在遮擋不嚴(yán)重的情況下能夠有效識別可采摘的黃蜀葵花朵，并較為準(zhǔn)確地獲取黃蜀葵的位置。試驗(yàn)結(jié)果表明，機(jī)器人對花朵定位的準(zhǔn)確率可達(dá)75%，識別率高達(dá)100%。單目視覺的識別準(zhǔn)確度和成功率會(huì)受到光照環(huán)境的影響，其魯棒性需進(jìn)一步提高。

3） 此機(jī)器人仍有一些地方有待后續(xù)改進(jìn)，如機(jī)器穩(wěn)定性尚不足、在摘取花瓣的時(shí)候不能自動(dòng)分離花萼與花瓣、對于花梗韌性較大的花采收有一定困難等。

參 考 文 獻(xiàn)

[ 1 ] 金玉松. 值得開發(fā)的經(jīng)濟(jì)作物：黃蜀葵[J]. 農(nóng)村新技術(shù)， 2003（1）： 66.

[ 2 ] 溫銳， 謝國勇， 李旭森， 等. 黃蜀葵化學(xué)成分與藥理活性研究進(jìn)展[J]. 中國野生植物資源， 2015， 34（2）： 37-44.

Wen Rui， Xie Guoyong， Li Xusen， et al. Advance research on chemical constituents and pharmacological activities of Abelmoschus manihot （L.） Medic [J]. Chinese Wild Plant Resources， 2015， 34（2）： 37-44.

[ 3 ] 國家藥典委員會(huì)編. 中華人民共和國藥典（2020年版）一部[M]. 北京： 中國醫(yī)藥科技出版社， 2020.

[ 4 ] 郭淑英， 馬金貴， 馬書燕. 黃蜀葵標(biāo)準(zhǔn)化生產(chǎn)優(yōu)質(zhì)高效栽培技術(shù)規(guī)程[J]. 現(xiàn)代農(nóng)村科技， 2016（11）： 14-15.

[ 5 ] 宋健， 張鐵中， 徐麗明， 等. 果蔬采摘機(jī)器人研究進(jìn)展與展望[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2006， 37（5）： 158-162.

Song Jian， Zhang Tiezhong， Xu Liming， et al. Research actuality and prospect of picking robot for fruits and vegetables [J]. Transactions of the Chinese Society for Agricultural Machinery， 2006， 37（5）： 158-162.

[ 6 ] 劉繼展. 溫室采摘機(jī)器人技術(shù)研究進(jìn)展分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2017， 48（12）： 1-18.

Liu Jizhan. Research progress analysis of robotic harvesting technologies in greenhouse [J]. Transactions of the Chinese Society for Agricultural Machinery， 2017， 48（12）： 1-18.

[ 7 ] 耿端陽， 張鐵中， 羅輝， 等. 我國農(nóng)業(yè)機(jī)械發(fā)展趨勢分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2004， 35（4）： 208-210.

Geng Duanyang， Zhang Tiezhong， Luo Hui， et al. Analysis on the development trend of agricultural machinery in China [J]. Transactions of the Chinese Society for Agricultural Machinery， 2004， 35（4）： 208-210.

[ 8 ] 陳威， 郭書普. 中國農(nóng)業(yè)信息化技術(shù)發(fā)展現(xiàn)狀及存在的問題[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2013， 29（22）： 196-205.

Chen Wei， Guo Shupu. Current situation and existing problems of agricultural informatization in China [J]. Transactions of the Chinese Society of Agricultural Engineering， 2013， 29（22）： 196-205.

[ 9 ] 周增產(chǎn)， Bontsema J， VanKollenburg?Crisan L. 荷蘭黃瓜收獲機(jī)器人的研究開發(fā)[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2001（6）： 77-80.

Zhou Zengchan， Bontsema J， Vankollenburg?Crisan L. Development of cucumber harvesting robot in Netherlands [J]. Transactions of the Chinese Society of Agricultural Engineering， 2001（6）： 77-80.

[10] 陳軍， 王虎， 蔣浩然， 等. 獼猴桃采摘機(jī)器人末端執(zhí)行器設(shè)計(jì)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2012， 43（10）： 151-154， 199.

Chen Jun， Wang Hu， Jiang Haoran， et al. Design of end?effector for kiwifruit harvesting robot [J]. Transactions of the Chinese Society for Agricultural Machinery， 2012， 43（10）： 151-154， 199.

[11] 蔣志林， 王佳盛， 李嘉威， 等. 機(jī)器人采摘荔枝的跌落碰撞損傷試驗(yàn)[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報(bào)， 2017， 38（6）： 112-117.

Jiang Zhilin， Wang Jiasheng， Li Jiawei， et al. Experiment on drop collision damages during litchi picking by robot [J]. Journal of South China Agricultural University， 2017， 38（6）： 112-117.

[12] 彭紅星， 黃博， 邵園園， 等. 自然環(huán)境下多類水果采摘目標(biāo)識別的通用改進(jìn)SSD模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2018， 34（16）： 155-162.

Peng Hongxing， Huang Bo， Shao Yuanyuan， et al. General improved SSD model for picking object recognition of multiple fruits in natural environment [J]. Transactions of the Chinese Society of Agricultural Engineering， 2018， 34（16）： 155-162.

[13] Avigad G， Salomon S， Kahani A， et al. Robotic fruit harvesting machine with fruit?pair picking and hybrid motorized?pneumatic robot arms [P]. US Patent： US2020/0128744A1， 2020-04-30.

[14] 徐麗明， 劉旭東， 張凱良， 等. 臍橙采摘機(jī)器人末端執(zhí)行器設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2018， 34（12）： 53-61.

Xu Liming， Liu Xudong， Zhang Kailiang， et al. Design and test of end effector of navel orange picking robot [J]. Transactions of the Chinese Society of Agricultural Engineering， 2018， 34（12）： 53-61.

[15] 陳燕， 王佳盛， 曾澤欽， 等. 大視場下荔枝采摘機(jī)器人的視覺預(yù)定位方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2019， 35（23）： 48-54.

Chen Yan， Wang Jiasheng， Zeng Zeqin， et al. Research on vision pre?positioning for litchi picking robot under large field of view [J]. Transactions of the Chinese Society of Agricultural Engineering， 2019， 35（23）： 48-54.

[16] 陳飛， 葛云， 張立新， 等. 紅花采摘機(jī)器人集條預(yù)定位機(jī)構(gòu)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2021， 37（15）： 10-19.

Chen Fei， Ge Yun， Zhang Lixin， et al. Design and experiment of the strip?collected pre?positioning mechanism for safflower picking robots [J]. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（15）： 10-19.

[17] 劉啟超， 龍福東. 輕便式金銀花采花機(jī)[P]. 中國專利： CN203289907U， 2013-11-20.

[18] 姬長英， 王春香， 顧寶興， 等. 手推式杭白菊梳齒摘花機(jī)結(jié)構(gòu)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2016， 47（7）： 143-150， 142.

Ji Changying， Wang Chunxiang， Gu Baoxing， et al. Structure design and experiment of hand?push Chrysanthemum morifolium comb?teeth picking machine [J]. Transactions of the Chinese Society for Agricultural Machinery， 2016， 47（7）： 143-150， 142.

[19] 徐虹， 凌準(zhǔn). 一種具有可調(diào)節(jié)結(jié)構(gòu)的川紅花采摘裝置[P]. 中國專利： CN215530054U， 2022-01-18.