李會(huì)賓，史 云※，劉懷洋，王文昊，劉萬福，楊 鵬，3

（1. 中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)資源與農(nóng)業(yè)區(qū)劃研究所，北京 100081；2. 蘇州大學(xué)機(jī)電工程學(xué)院，江蘇蘇州 215100；3. 河海大學(xué)地球科學(xué)與工程學(xué)院，江蘇南京 211100）

0 引言

采摘姿態(tài)的確定是水果采摘機(jī)器人采摘過程中的一個(gè)重要環(huán)節(jié)。通常情況下，人在抓取某一物體時(shí)，首先通過視覺感知物體的形狀、位置和放置的姿態(tài)等信息，再依據(jù)自身位置和抓取習(xí)慣選擇較為方便和可靠的抓取方式。與之類似，為實(shí)現(xiàn)無損采摘作業(yè)，需要視覺系統(tǒng)快速從復(fù)雜的果園環(huán)境中定位出水果抓取點(diǎn)和該果實(shí)的生長方向，這樣有助于實(shí)現(xiàn)仿生式果實(shí)采摘，降低采摘過程中對果實(shí)和樹枝的損傷。

目前，由于生長姿態(tài)通常難以通過視覺識別系統(tǒng)輕易獲取。因此，在大部分采摘機(jī)器人和視覺識別的現(xiàn)有研究中，一般只考慮了果實(shí)目標(biāo)的位置信息，而對于果柄姿態(tài)信息考慮較少。張高陽根據(jù)蘋果尾部花萼區(qū)域是否可見分析了基于機(jī)器視覺的果實(shí)姿態(tài)信息測量方法，詳細(xì)研究了果實(shí)姿態(tài)信息的粒子濾波估計(jì)［1］。宋怡煥等使用灰度共生矩陣和小波變換對蘋果的果梗和果萼進(jìn)行紋理分析，確定果軸方向［2］。Bac 等開發(fā)的甜椒采摘機(jī)器人，通過雙目相機(jī)確定果實(shí)位置，在甜椒預(yù)采摘點(diǎn)通過單目相機(jī)獲取果柄方位信息，從而確定甜椒生長方向［3］。云雙等對位于傳送帶上的柚子姿態(tài)進(jìn)行了研究，通過搭建雙目視覺測量系統(tǒng)拍攝水果圖像，通過提取位置點(diǎn)與花萼點(diǎn)作為姿態(tài)定位特征點(diǎn)，然后求解水果空間幾何參數(shù)［4］。趙文旻等對蘋果形狀特征進(jìn)行了細(xì)致的分析與分類，提出了判定蘋果姿態(tài)的方法，通過邊緣點(diǎn)與形心點(diǎn)的距離判斷花萼點(diǎn)，從而確定果軸方向［5］。以上4種方法必須保證花萼點(diǎn)或者果梗點(diǎn)的可見性，否則會(huì)導(dǎo)致果實(shí)姿態(tài)檢測失敗。新西蘭工業(yè)研究所的Penman等采用藍(lán)色條形光源的方法，通過對蘋果表面紋路分析，確定果軸方向［6］。Zhang等同樣從光源入手采用紅外光照射的方法，獲取蘋果表面紋理信息，識別蘋果果萼與果梗位置［7］。但是Penman和Zhang的方法需要特定輔助光源設(shè)備，會(huì)增加了系統(tǒng)的復(fù)雜度。Zhang等利用蘋果輪廓中果梗以及花萼處存在凹陷的輪廓特征，運(yùn)用近紅外線陣結(jié)構(gòu)光來實(shí)現(xiàn)蘋果輪廓的3D重建技術(shù)，通過比對重建輪廓與標(biāo)準(zhǔn)球體的差異確定出果梗/花萼的位置［8］，但是這種方法在受到葉子和樹枝遮擋的情況下，會(huì)造成定向失敗。Yu等對YOLO網(wǎng)絡(luò)進(jìn)行了改進(jìn)［9］，通過在錨點(diǎn)上增加一個(gè)旋轉(zhuǎn)角實(shí)現(xiàn)檢測框的旋轉(zhuǎn)角度，從而提高草莓采摘點(diǎn)的定位精度，但是該方法不太適用于圓形水果。

綜上所述，目前基于視覺對水果姿態(tài)估計(jì)雖然取得了一定成果，但是還依然存在一定的局限性，如必須保證果萼點(diǎn)和果梗點(diǎn)的可見性，需要特殊光源，或者果實(shí)表面不能被遮擋，只有在這些條件下才能實(shí)現(xiàn)果實(shí)生長姿態(tài)的檢測。文章基于上述問題，提出一種基于改進(jìn)Openpose 模型的果實(shí)姿態(tài)估計(jì)方法［10］，在Openpose 模型的基礎(chǔ)上，基于ShuffleNet V2［11］和坐標(biāo)注意力機(jī)制［12］實(shí)現(xiàn)主干網(wǎng)絡(luò)的替換，并且基于果實(shí)的關(guān)鍵點(diǎn)數(shù)量重新設(shè)計(jì)了局部親和域的連接方法。最終改進(jìn)后的模型僅使用RGB果實(shí)圖像，就能準(zhǔn)確地獲取果園場景下目標(biāo)果實(shí)的生長方向，也不會(huì)受到果實(shí)表面遮擋的影響。

1 研究數(shù)據(jù)

1.1 蘋果生長方向數(shù)據(jù)標(biāo)注

蘋果數(shù)據(jù)采集時(shí)間為2022年9月，采集地位于陜西省楊陵，拍攝傳感器為RealSense D455，獲取的圖像分辨率為1 280×720，本次采集了順光、逆光、側(cè)光和暗光4種光照情況下的圖像，避免光照強(qiáng)度不同對圖像識別的魯棒性造成影響，一共采集圖像2 000張。該文將無遮擋類果實(shí)（N類）和僅有葉子遮擋果實(shí)（L類）作為采摘目標(biāo)，所以僅標(biāo)注這兩類圖像。標(biāo)注結(jié)果如圖1 所示，標(biāo)注原則如下：①L 類蘋果可見度要大于等于50%；②標(biāo)注好蘋果的生長方向，即通過連線蘋果的果柄點(diǎn)和果萼點(diǎn)實(shí)現(xiàn)標(biāo)注，無法觀察到蘋果的果柄點(diǎn)和果萼點(diǎn)時(shí)，通過人為經(jīng)驗(yàn)判斷出果萼點(diǎn)的位置進(jìn)行連線標(biāo)注，且順序不可顛倒，標(biāo)注完成后會(huì)生成結(jié)果為pose的兩點(diǎn)數(shù)據(jù)。③由于果園里有大量的果樹，為了重點(diǎn)標(biāo)注出近距離能夠采摘到的蘋果位置，該文中只標(biāo)注出了當(dāng)前果樹上的蘋果，圖像背景會(huì)存在一些像素占比較少的小蘋果，文中不再進(jìn)行標(biāo)注［13］。

圖1 使用Labelme對圖像進(jìn)行標(biāo)注Fig.1 Use Labelme to label images

1.2 數(shù)據(jù)格式轉(zhuǎn)換及統(tǒng)計(jì)

由于Labelme軟件標(biāo)注圖像得到的是json文件。Openpose在做訓(xùn)練實(shí)驗(yàn)的時(shí)候，需要用到的是果實(shí)方向關(guān)鍵點(diǎn)在切片圖中的坐標(biāo)和原果實(shí)切片圖，如圖2所示，最左側(cè)為原圖像，第二列為N和L類蘋果的切片圖，第三列為一列數(shù)字包含了3類內(nèi)容，前兩位數(shù)字代表了蘋果的果柄點(diǎn)在切片圖中的坐標(biāo)，后兩位數(shù)字代表了蘋果的果萼點(diǎn)在切片圖中的坐標(biāo)，關(guān)鍵點(diǎn)的坐標(biāo)類型通過文本格式保存。圖像標(biāo)注后，其中N類總計(jì)8 671幅圖像，L類11 813幅圖像，按照7∶3來切分為訓(xùn)練集和測試集，將N類中2 601幅圖像作為測試集，6 070幅圖像作為訓(xùn)練集，L類中3 544幅圖像作為測試集，8 269幅圖像作為訓(xùn)練集。所有測試、訓(xùn)練集的詳細(xì)信息如表1所示。

圖2 N和L類的數(shù)據(jù)格式轉(zhuǎn)換Fig.2 Data format conversion of N and L classes

表1 測試集與訓(xùn)練集信息Table 1 Information of test dataset and training dataset

為了增加圖像訓(xùn)練集，更好地提取各種光照狀態(tài)下圖像的特征，避免模型在訓(xùn)練過程中的過擬合現(xiàn)象［14］。該文對訓(xùn)練圖像進(jìn)行了數(shù)據(jù)擴(kuò)增處理。由于圖像采集時(shí)光照條件較為復(fù)雜，為了提高訓(xùn)練模型的泛化能力，對原切片圖像進(jìn)行了亮度增強(qiáng)及減弱、對比增強(qiáng)及減弱和模糊化5種圖像增強(qiáng)處理。同時(shí)在數(shù)據(jù)采集過程中，會(huì)存在相機(jī)抖動(dòng)造成圖像模糊的情況，所以增加了模糊化的增強(qiáng)處理。為了使得圖像擴(kuò)增后，原標(biāo)注仍然有效，該文中，將圖像的亮度、對比度在原圖的50%以內(nèi)進(jìn)行隨機(jī)變化。圖像模糊化采用中值濾波的方式。圖像增廣后的結(jié)果如圖3所示，其中圖3a是原圖像，其它5 種圖像增強(qiáng)的結(jié)果如圖3b～f 所示。圖像增強(qiáng)后共獲得71 695 幅圖像作為訓(xùn)練集，其中N 類為30 350幅圖像，L類為41 345幅圖像。

圖3 數(shù)據(jù)集增廣結(jié)果。a.N類圖。b.亮度增強(qiáng)的N類。c.亮度減弱的N類。d.模糊的N類。e.對比度增強(qiáng)的N類。f.對比度減弱N類。h.L類原圖。i.亮度增強(qiáng)的L類。j.亮度減弱的L類。k.模糊的L類。l.對比度增強(qiáng)的L類。m.對比度減弱的N類。Fig.3 Dataset augmentation results

2 研究方法

2.1 Openpose框架結(jié)構(gòu)及改進(jìn)

Openpose 框架由CMU 實(shí)驗(yàn)室研究學(xué)者開發(fā)，該模型的提出有效對人體的面部、手部、足部的關(guān)節(jié)點(diǎn)進(jìn)行檢測，同時(shí)即使在部分遮擋的情況下，也能實(shí)現(xiàn)對人體姿態(tài)的估計(jì)［15］。該方法總體流程如圖4所示。圖4表現(xiàn)了該模型首先使用了VGG19［16］特征提取器作為骨干網(wǎng)絡(luò)獲取輸入圖像的特征，接著將特征圖作為多階段輸入，每個(gè)階段主要實(shí)現(xiàn)對上階段特征的修正和逐漸優(yōu)化。每一個(gè)階段分為兩部分，分支1Branch1）是關(guān)鍵點(diǎn)熱力圖計(jì)算模塊，用于關(guān)鍵點(diǎn)定位；分支2Branch2）是局部親和域檢測模塊，用于尋找關(guān)鍵點(diǎn)之間的聯(lián)系，輔助連接所有檢測到的關(guān)鍵點(diǎn)。Openpose 架構(gòu)大體結(jié)構(gòu)共分為6 個(gè)階段，但是，針對單個(gè)蘋果類的目標(biāo)，過多階段數(shù)會(huì)耗費(fèi)更多計(jì)算資源，造成計(jì)算冗余，對模型最終精度提升的幫助將逐漸減小。

圖4 Openpose網(wǎng)絡(luò)模型Fig.4 Openpose network model

在Openpose 中包含了兩個(gè)分支，其中上方區(qū)域用來預(yù)測目標(biāo)部位置信圖S，ρ 代表用來檢測置信度S 的網(wǎng)絡(luò)模型，F(xiàn) 代表VGG-19 提取的特征，t 代表網(wǎng)絡(luò)所處的階段。圖中下方區(qū)域用來預(yù)測目標(biāo)各個(gè)局部的部分親和力字段（Part Affinity Fields，PAF）L，φ 是用來檢測目標(biāo)部分親和力字段L 的網(wǎng)絡(luò)模型。每對S 和L 回歸一次系統(tǒng)完成一次迭代，迭代之后將新特征S、L 和原輸入連接一起，按照迭代機(jī)制作為下階段的預(yù)測輸入。該機(jī)制能夠在不增加計(jì)算量的基礎(chǔ)上，對預(yù)測結(jié)果多次進(jìn)行優(yōu)化修正，可以讓模型學(xué)習(xí)更多的特征信息，提高檢測精度。連續(xù)迭代t∈（1，...，n）次，形成Openpose推理結(jié)構(gòu)。在獲得預(yù)測結(jié)果后，需要計(jì)算每個(gè)階段的損失函數(shù)，第t 階段時(shí)候的損失函數(shù)為：

式（1）（2）中，代表真實(shí)標(biāo)注關(guān)鍵點(diǎn)置信度圖；L*c代表真實(shí)標(biāo)注親和力大??；W(P)是二值掩碼函數(shù)，取值為0或1，該掩碼用于避免在訓(xùn)練期間懲罰真正的正向預(yù)測。整體的損失函數(shù)為：

為了使得Openpose 模型能夠在單個(gè)蘋果關(guān)鍵點(diǎn)檢測上更好的發(fā)揮自身性能，該文結(jié)合單個(gè)蘋果的自身特點(diǎn)對模型進(jìn)行了進(jìn)一步改進(jìn)。多張單個(gè)蘋果的標(biāo)注結(jié)果如圖5所示，可以看出每個(gè)蘋果的二維生長方向通過果柄點(diǎn)和果萼點(diǎn)表示，且果柄點(diǎn)均在果萼點(diǎn)之上?；谠撓闰?yàn)知識，由此可推段出模型的局部親和力檢測模塊的作用會(huì)發(fā)生下降，可以規(guī)定蘋果生長方向是從果柄點(diǎn)指向果萼點(diǎn)，亮點(diǎn)具有默認(rèn)的親和力?；诖耍瑢penpose 模型去除了部分親和力計(jì)算分支，這樣可以大大減少模型的計(jì)算量。

圖5 多張單個(gè)蘋果生長方向標(biāo)注情況Fig.5 Growth direction labels of multiple individual apple

另外針對Openpose主干層采用VGG19作為主干網(wǎng)絡(luò)。VGG19網(wǎng)絡(luò)雖然成熟且訓(xùn)練效果較好，但網(wǎng)絡(luò)結(jié)構(gòu)較為冗余，復(fù)雜的層級使用的是普通的直筒式相連，這會(huì)隨著網(wǎng)絡(luò)層數(shù)的不斷加深帶來負(fù)面影響。由于采集的各類蘋果數(shù)據(jù)均處于多種光照條件下，所以需要升級模型主干的架構(gòu)，進(jìn)一步提升主干特征提取的性能。因此該文提出使用改進(jìn)的ShuffleNet V2-CA 作為VGG19 的替代，使得Openpose 架構(gòu)更加靈活高效。改進(jìn)的Openpose 結(jié)構(gòu)如圖6 所示，接下來將對Openpose 框架中重要組成部分VGG19 的改進(jìn)、PAF的階段修改部分進(jìn)行原理闡述。

圖6 改進(jìn)后的Openpose網(wǎng)絡(luò)模型Fig.6 Improved Openpose network model

2.2 ShuffleNet V2和CA的原理和結(jié)構(gòu)

該文首先采用ShuffleNet V2和CA注意力機(jī)制的融合作為Openpose的主干網(wǎng)絡(luò)，進(jìn)而替代VGG19的特征提取方式，兩者相結(jié)合實(shí)現(xiàn)多尺度的特征提取。兩種ShuffleNet V2的基本模塊設(shè)計(jì)情況如圖7所示。如圖7a所示，在ShuffleNet V2單元1中，首先對輸入的特征進(jìn)行通道劃分，分成了左右分支，左右分支的通道數(shù)相同。左邊分支的特征不進(jìn)行計(jì)算；右邊分支會(huì)經(jīng)過兩個(gè)1×1 卷積和一個(gè)3×3 深度可分離卷積，3 個(gè)卷積的步長均為1，并且使用相同的輸入通道數(shù)和輸出通道數(shù)。當(dāng)右側(cè)的卷積完成后，左右分支會(huì)進(jìn)行連接操作進(jìn)行特征融合，主要體現(xiàn)為通道數(shù)相加，最后通過通道混合，實(shí)現(xiàn)了不同組間的信息交流，使得通道充分融合。如圖7b所示，在ShuffleNet V2單元2中，首先不會(huì)對特征的通道進(jìn)行劃分，而是直接將特征圖輸入到兩個(gè)分支中。兩個(gè)分支使用的步長不同于單元1，主要是使用步長為2的3×3深度卷積，實(shí)現(xiàn)對上一層級的特征圖進(jìn)行尺寸降維，從而起到減少網(wǎng)絡(luò)計(jì)算量的作用。接著，兩個(gè)分支經(jīng)過BN層和ReLU層進(jìn)行計(jì)算后，輸出特征后進(jìn)行特征連接操作，通道數(shù)相加后變?yōu)樵斎氲?倍，該操作增加了網(wǎng)絡(luò)通道的寬度，并且起到了在不顯著增加FLOPs的情況下，增加了通道的數(shù)量，使網(wǎng)絡(luò)提取特征能力更強(qiáng)。最后，通過通道混合實(shí)現(xiàn)了不同組間的信息交流。ShuffleNet V2 模型目前發(fā)揮了較好的性能，超越了同級別的MobileNet V2、Xception和ShuffleNet V1等模型。主要由于以下原因：①計(jì)算過程中，相同的輸入輸出通道可以使得內(nèi)存訪問成本最?。虎诜纸M卷積有助于降低?？斓挠?jì)算復(fù)雜度，但分組數(shù)不宜太多。

圖7 ShuffleNet V2單元。a.ShuffleNet V2單元1，b.ShuffleNet V2單元2Fig.7 ShuffleNet V2 unit

ShuffleNet V2 通過輕量化的手段對深層語義特征進(jìn)行了提取，但是容易丟失圖像中蘋果的細(xì)節(jié)，從而不利于進(jìn)行關(guān)鍵點(diǎn)檢測。為了增加模型對細(xì)節(jié)特征的捕獲能力，解決 ShuffleNet V2 的對蘋果細(xì)節(jié)特征提取能力弱的問題，于是將坐標(biāo)注意力機(jī)制Coordinate Attention，CA）引入到ShuffleNet V2中。CA注意力模塊結(jié)構(gòu)如圖8所示，其中X Avg Pool和Y Avg Pool是沿著x軸和y軸做池化操作，分別提取寬度和高度上的特征信息，連接操作是聚合x 軸和y 軸上的特征信息，接著做卷積能夠獲得遠(yuǎn)程依賴關(guān)系，然后進(jìn)行歸一化，使用ReLU激活函數(shù)，此時(shí)能夠得到每個(gè)維度的全局信息，之后做沿著寬度和高度進(jìn)行分割操作，分別進(jìn)行Conv和ReLU激活，最后進(jìn)行重新加權(quán)Re-weight）操作，從而完成了一個(gè)基于空間維度的注意力機(jī)制。該文提出的ShuffleNetV2-CA 兩個(gè)基本單元以ShuffleNet V2單元結(jié)構(gòu)為基礎(chǔ)進(jìn)行改進(jìn)，加入高效通道CA注意力模塊，如圖9所示。該模塊只涉及少量參數(shù)，適當(dāng)?shù)目缤ǖ肋M(jìn)行信息交互，可以在保持網(wǎng)絡(luò)輕量化的同時(shí)也能帶來明顯的性能增益，并顯著降低模型的復(fù)雜度。

圖8 CA注意力模塊Fig.8 CA attention module

圖9 ShuffleNet V2-CA 模塊單元Fig.9 ShuffleNet V2-CA model unit

ShuffleNet V2主干網(wǎng)絡(luò)結(jié)構(gòu)如圖10所示，輸入切圖大小為3×224×224，然后連續(xù)使用2個(gè)由 ShuffleNet V2-CA單元2和ShuffleNetV2-CA單元1組成的模塊層，兩個(gè)模塊層中單元2與單元1的數(shù)量分別為1：3和1：7。為更好融合通道注意力不使用最大池化層，而使用計(jì)算量小的通道數(shù)為24，卷積核大小為3×3，步長為2的深度分離卷積，提出特征更豐富。

圖10 ShuffleNet V2-CA主干網(wǎng)絡(luò)Fig.10 ShuffleNet V2-CA backbone network

2.3 全PAF修剪

局部親和域是由一組流場組成的表示，這些流場能夠?qū)勺償?shù)量的目標(biāo)關(guān)鍵點(diǎn)之間的非結(jié)構(gòu)化成對關(guān)系進(jìn)行編碼，用來描述關(guān)鍵點(diǎn)在骨架結(jié)構(gòu)中的走向。Openpose可以有效地從PAF中獲得成對分?jǐn)?shù)，而無需額外的增加訓(xùn)練步驟。PAF就是對有聯(lián)系的關(guān)鍵點(diǎn)進(jìn)行標(biāo)注，是身體每對關(guān)鍵點(diǎn)的2D向量，同時(shí)保留了關(guān)鍵點(diǎn)區(qū)域之間的位置信息和方向信息。在Openpose 模型中，存在6 組熱力圖關(guān)鍵點(diǎn)定位模塊和6 組PAF 模塊，這種模式主要針對多目標(biāo)下的多個(gè)關(guān)鍵點(diǎn)情況而設(shè)計(jì)，并不完全適用于單蘋果下的兩個(gè)關(guān)鍵點(diǎn)的模式，主要是因?yàn)樵?組PAF 模塊內(nèi)逐步提取兩個(gè)關(guān)鍵點(diǎn)之間的關(guān)系時(shí)，會(huì)出現(xiàn)冗余計(jì)算。于是為了減少不必要的計(jì)算消耗，該文中對全部PAF模塊進(jìn)行了修改工作。該文中去除了前5個(gè)PAF模塊，保留了1個(gè)PAF模塊，這個(gè)過程中大大的降低了原PAF模塊的計(jì)算消耗，但也能夠維持了蘋果兩個(gè)關(guān)鍵點(diǎn)之間的關(guān)聯(lián)，全PAF修剪后如圖11所示。

圖11 全部PAF模塊修剪后的結(jié)果Fig.11 All PAF module trimmed results

2.4 模型評價(jià)指標(biāo)

該文采用模型評價(jià)指標(biāo)分別是關(guān)鍵點(diǎn)相似度OKS，Object Keypoint Similarity）［17］，計(jì)算得到的平均精度AP，Average Precision）、平均精度均值mAP，mean Average Precision）。mAP 為時(shí)獲取的T 個(gè)AP 的均值，T 取值為100.50，0.55，…，0.90，0.95），AP50 為T 是0.5 時(shí)的平均精度，AP75 是T 為0.75 時(shí)的平均精度，mAP-S 為小尺寸蘋果的平均精度均值，mAP-B為大尺寸蘋果平均精度均值，OKS、AP、mAP的計(jì)算公式為：

式（4）（5）（6）中，p表示在圖像中某個(gè)蘋果，pi表示某個(gè)蘋果的第i個(gè)關(guān)鍵點(diǎn)，d2(pi)表示當(dāng)前檢測的一組關(guān)鍵點(diǎn)中序號為i的關(guān)鍵點(diǎn)與標(biāo)簽關(guān)鍵點(diǎn)坐標(biāo)的歐式距離，表示這個(gè)關(guān)鍵點(diǎn)的可見性，該文中關(guān)鍵點(diǎn)均可見，則表示標(biāo)簽的尺度因子，w和h為圖像的寬和高，σi表示關(guān)鍵點(diǎn)pi的歸一化因子，δ（*）表示如果條件*成立，P為測試集中圖像的個(gè)數(shù)。

3 結(jié)果分析

3.1 改進(jìn)的Openpose訓(xùn)練

在完成Openpose改進(jìn)框架搭建后，需要訓(xùn)練出合適的模型用于實(shí)現(xiàn)對蘋果生長方向的檢測。該文將改進(jìn)后的Openpose框架在Pytorch平臺上進(jìn)行訓(xùn)練，訓(xùn)練平臺的硬件配置包括英特爾至強(qiáng)CPU E5-2678，8GB 內(nèi)存和1 塊英偉達(dá)型號為3050 的GPU。在網(wǎng)絡(luò)模型參數(shù)初始化設(shè)置中，設(shè)置動(dòng)態(tài)衰減參數(shù)取值0.89，權(quán)重系數(shù)decay取值0.000 5，初始學(xué)習(xí)率設(shè)置為0.001，另外學(xué)習(xí)率會(huì)根據(jù)迭代的次數(shù)而逐漸下降，批次大小設(shè)置為8，最大迭代次數(shù)設(shè)置為200，當(dāng)訓(xùn)練過程中，當(dāng)?shù)^程中損失逐步下降到穩(wěn)定的階段就停止訓(xùn)練。這200次的訓(xùn)練誤差圖如圖12所示，訓(xùn)練損失率變化如圖13所示。從圖12中可以看出，在迭代到175次時(shí)，訓(xùn)練誤差總體上在逐步減小并趨于平緩，這說明模型在逐步收斂。如圖13所示，在模型訓(xùn)練過程中，學(xué)習(xí)率一直在不斷的減小，促使模型收斂到全局最優(yōu)處。

圖12 改進(jìn)的Openpose訓(xùn)練誤差Fig.12 Improved Openpose training error

圖13 改進(jìn)的Openpose在訓(xùn)練過程中學(xué)習(xí)率變化Fig.13 Learning rate changes in the training process of improved Openpose

3.2 改進(jìn)后的Openpose對蘋果生長方向檢測的影響

改進(jìn)后的Openpose模型對蘋果生長方向的檢測結(jié)果如圖14所示，我們發(fā)現(xiàn)改進(jìn)后的Openpose模型對蘋果生長方向的檢測效果較好。圖14a～e中屬于N類，圖14f~j中屬于L類。兩類蘋果的表面存在光照不均、完整度不一、亮塊、陰影等情況。同時(shí)在L類切片圖像中，蘋果存在枝葉遮擋和背景復(fù)雜等情況。圖14k~o屬于N類和L類在低光照情況下的情況。首先對于N 類，我們發(fā)現(xiàn)圖14a～e中屬于方向不一的蘋果，圖14b存在果萼點(diǎn)和果柄關(guān)鍵點(diǎn)都無法直接可見的情況，圖14a～e存在果柄點(diǎn)無法被直接可見的情況，但不可見的關(guān)鍵點(diǎn)的位置均被改進(jìn)的Openpose模型所識別，說明了改進(jìn)后的Openpose算法對不可見的關(guān)鍵點(diǎn)具有較好的預(yù)測評估效果。圖14f~j中的蘋果表面上會(huì)有不同程度不同位置樹葉的遮擋，主要表現(xiàn)為在多種光照條件下，這些蘋果的果柄位置、側(cè)邊等位置會(huì)存在樹葉遮擋的情況，會(huì)改變蘋果的表面形態(tài)特征，如圖14f和圖14i所示。但是基于改進(jìn)版的Openpose 模型針對無規(guī)律樹葉遮擋類蘋果的情況，也實(shí)現(xiàn)了生長方向的精準(zhǔn)檢測，說明改進(jìn)后的模型對存在樹葉類遮擋情況下的檢測效果有較強(qiáng)的魯棒性。如圖14k~o所示，這5張切圖中的蘋果均是在光照強(qiáng)度較弱的情況下進(jìn)行采集的，表現(xiàn)是蘋果表面亮度低，對比度差，色彩失真，但是蘋果的完整度較高，從檢測結(jié)果中發(fā)現(xiàn)，這5張切圖中蘋果生長方向檢測效果較好，可見改進(jìn)版的Openpose模型針對場景中存在的低光照的情況下，也能夠完成蘋果生長方向的檢測。

圖14 改進(jìn)的Openpose網(wǎng)絡(luò)模型對蘋果方向檢測結(jié)果。圖a到e是強(qiáng)光照下的N類檢測結(jié)果，圖f到j(luò)是強(qiáng)光照下的L類檢測結(jié)果，圖k到o是低光照下L和N類的檢測結(jié)果Fig.14 Apple direction results with improved Openpose network model

梯度加權(quán)類激活映射Grad-CAM）［18］利用網(wǎng)絡(luò)反向傳播的梯度計(jì)算出特征圖的每一個(gè)通道權(quán)重從而得到熱力圖。在該文使用Grad-CAM 對Openpose 模型進(jìn)行可視化，主要是驗(yàn)證模型是否實(shí)現(xiàn)了對圖像中的重要特征區(qū)域的定位情況，實(shí)現(xiàn)對模型檢測關(guān)鍵點(diǎn)檢測過程的可視化解釋。在Grad-CAM 可視化圖中深黃色區(qū)域代表該處的圖像特征是模型進(jìn)行正確分類的重要依據(jù)，這些重要信息主要位于蘋果的果柄、果萼位置以及兩部分的中間連接處，這些區(qū)域顏色較亮，證明該位置處的特征對蘋果關(guān)鍵點(diǎn)的檢測作用大。圖14中包含了2組熱力圖檢測結(jié)果，分別是圖15a～e和f～j每一組包含了5張圖像，分別是蘋果切片原圖、果柄處熱力圖、果萼處熱力圖可視化、關(guān)鍵點(diǎn)連接向量場可視化以及最后的檢測結(jié)果。其中圖15a~e 屬于L 類熱力圖檢測結(jié)果，圖15f~j 屬于N 類熱力圖檢測結(jié)果。以圖15a~e所代表的L類為例，蘋果在圖15b和圖15c中的激活區(qū)域位于靠近果柄部分和果萼部分的關(guān)鍵點(diǎn)周邊區(qū)域，圖15d展示了兩個(gè)熱力圖區(qū)域之間的連接向量場，在圖14e中實(shí)現(xiàn)了兩個(gè)關(guān)鍵點(diǎn)的關(guān)聯(lián)。綜上所述，從Grad-CAM 可視化圖可以清楚地看出，改進(jìn)后的Openpose模型能夠準(zhǔn)確實(shí)現(xiàn)蘋果果萼和果柄處兩個(gè)關(guān)鍵點(diǎn)的定位以及關(guān)鍵點(diǎn)連接向量場的檢測，證明了改進(jìn)模型在單個(gè)蘋果目標(biāo)關(guān)鍵點(diǎn)檢測的有效性。

圖15 蘋果生長方向檢測可視化解釋。圖a和f是原圖，圖b和g為果柄處關(guān)鍵點(diǎn)熱力圖，圖c和h為果萼處關(guān)鍵點(diǎn)熱力圖，圖d和i是蘋果關(guān)鍵點(diǎn)連接向量場熱力圖，圖e和j為原圖蘋果生長方向檢測結(jié)果Fig.15 Visual interpretation of apple growth irection detection

為了定性觀察到Openpose 模型改進(jìn)前后的性能提升情況，該文對部分N類和L類圖像開展了關(guān)鍵點(diǎn)檢測結(jié)果的對比工作，如圖16所示。其中圖16a～c和g～i屬于N類關(guān)鍵點(diǎn)檢測結(jié)果對比圖，圖16d～f和j～l屬于L類圖像關(guān)鍵點(diǎn)檢測結(jié)果對比圖。在每組3張圖像中，第一列圖像為Openpose模型檢測的結(jié)果，第二列圖像為人工標(biāo)定的真值，第三列圖像是改進(jìn)后Openpose模型檢測的結(jié)果。在圖16a～c和g～i這組對比圖中，可以觀察到Openpose模型對這類模糊的蘋果檢測時(shí)，關(guān)鍵點(diǎn)的特征位置定位會(huì)出現(xiàn)隨機(jī)性偏差，但是改進(jìn)后的模型對蘋果方向的檢測效果較好。在圖16d～f 這組對比圖中，可以觀察到Openpose模型對這類葉遮擋的蘋果檢測時(shí)，果萼部分的檢測由于受到了樹葉的影響，造成果萼部的關(guān)鍵點(diǎn)檢測結(jié)果落到了錯(cuò)誤位置，但是改進(jìn)后的模型能夠避開這一影響，實(shí)現(xiàn)對受遮擋蘋果方向的較好檢測。在圖16j～l這組圖像中，可以觀察到Openpose 模型對這組圖像的關(guān)鍵點(diǎn)檢測時(shí)，蘋果的關(guān)鍵點(diǎn)均被檢測出來，但是其準(zhǔn)確性較低，明顯和真值存在差異，而改進(jìn)后的模型的對這個(gè)蘋果的關(guān)鍵點(diǎn)檢測結(jié)果較好。綜上所述，該文改進(jìn)版的Openpose蘋果生長方向檢測模型，對存在光線干擾、樹葉干擾等自然情況下，仍能夠有效地對蘋果生長方向進(jìn)行檢測，且性能更優(yōu)。

圖16 Openpose改進(jìn)前后模型對蘋果方向檢測效果圖。圖a和g是基于Openpose的N類的生長方向檢測，b和h為人工標(biāo)注圖a和g的真值，c和i為基于改進(jìn)版Openpose的N類蘋果的生長方向檢測，圖d和j是基于Openpose的L類的生長方向檢測，圖e和k為d和j的真值，圖f和l為基于改進(jìn)版Openpose的N類蘋果的生長方向檢測。Fig.16 Comparison of apple direction detection performance between improved Openpose and original Openpose

為了驗(yàn)證改進(jìn)前后Openpose模型的性能變化和不同框架對蘋果方向的檢測性能，本次試驗(yàn)將改進(jìn)的Openpose 框架與Openpose 框架、AlphaPose［19］框架和級聯(lián)金字塔網(wǎng)絡(luò)Cascaded Pyramid Network，CFN）［20］框架相比較。為了保證對比試驗(yàn)的公平性，所有模型都使用同一套數(shù)據(jù)集進(jìn)行訓(xùn)練，參數(shù)保持模型原有的默認(rèn)參數(shù)，最后采用相同測試集對各個(gè)模型進(jìn)行測試，測試結(jié)果如表2所示。

表2 不同模型對蘋果生長方向檢測的測試結(jié)果Table 2 Test results of apple growth direction detection by different models

從表中可以看出，改進(jìn)后的Openpose框架在對測試集的關(guān)鍵點(diǎn)檢測方面，在各指標(biāo)上，全面超過Openpose 框架，表中的Ts）代表處理所有測試集合中每個(gè)圖的平均速度，單位為秒。改進(jìn)后的Openpose的運(yùn)行速度是改進(jìn)前的6.56倍，從mAP、mAP-s、mAP-b、AP50、AP75 這些參數(shù)中，分別增長9.18%，8.50%，11.56%，1.67%，6.35%，證明了改進(jìn)方法中取出多余的PAF 模塊，引入輕量化的主干模型對Openpose 的性能提升顯著。AlphaPose和CFA的性能上也明顯優(yōu)于Openpose模型，但是對于改進(jìn)后的Openpose來說，以上兩種算法的各項(xiàng)指標(biāo)均被超越，由此證明了該文算法的優(yōu)越性。綜上所述，改進(jìn)的Openpose算法根據(jù)蘋果的特點(diǎn)在Openpose框架進(jìn)行了針對性的模型修改，使得模型的關(guān)鍵點(diǎn)計(jì)算和關(guān)聯(lián)方式與單個(gè)蘋果的關(guān)鍵點(diǎn)數(shù)量的檢測相適應(yīng)，并大幅加快了模型運(yùn)行的時(shí)間，也進(jìn)一步提高了蘋果關(guān)鍵點(diǎn)檢測的精度。

4 結(jié)論與討論

該文針對蘋果智能化采摘中蘋果生長方向檢測精度不高、易受遮擋影響的問題，提出了基于Openpose的改進(jìn)版蘋果生長方向檢測算法。該文對Openpose框架進(jìn)行了2項(xiàng)主要改進(jìn)：①提出通過ShuffleNet V2 和CA 注意力機(jī)制相融合的方式替換原VGG19 結(jié)構(gòu)，降低主干的參數(shù)量，并提升模型主干在多種光照條件下對蘋果特征的檢測能力；②結(jié)合單個(gè)蘋果的自身關(guān)鍵點(diǎn)的特征對該模型去除部分PAF分支的改進(jìn)，這樣可以大大減少模型的計(jì)算量，提高模型的計(jì)算效率。改進(jìn)后的Openpose模型在各個(gè)指標(biāo)上，全面超過了原模型，其運(yùn)行速度是改進(jìn)前的6.56 倍，對于mAP、mAP-s、mAP-b、AP50 和AP75 這些參數(shù)，分別增長9.18%、8.50%、11.56%、1.67% 和6.35%，證明了改進(jìn)方法對Openpose 的性能提升顯著。與AlphaPose 和CFA 算法相比，改進(jìn)后Openpose 的性能也達(dá)到了最優(yōu)，由此證明了該文算法的優(yōu)越性。