白金華，張 乾，范 玉，張宇航，何 興

(1. 貴州民族大學(xué) 數(shù)據(jù)科學(xué)與信息工程學(xué)院，貴陽 550025；2. 貴州民族大學(xué) 教務(wù)處，貴陽 550025；3. 貴州省模式識別與智能系統(tǒng)重點實驗室，貴陽 550025)

果實采摘是農(nóng)業(yè)生產(chǎn)的一個重要環(huán)節(jié).水果采摘機器人作為農(nóng)業(yè)自動化采摘的重要工具，可以避免人工采摘的風(fēng)險，及時有效地完成采摘周期的任務(wù).針對機器視覺這一采摘機器人的重要技術(shù)組成部分，尋求一種簡單有效的目標(biāo)檢測方法在自然環(huán)境下實現(xiàn)低耗、有效的樹上水果定位檢測，可以提高機器人在實際生產(chǎn)中的工作效率，有效促進(jìn)農(nóng)業(yè)自動化采摘技術(shù)的發(fā)展.

近年來，眾多學(xué)者對機器視覺技術(shù)用于果園水果檢測的研究取得了一定的進(jìn)展.傳統(tǒng)的水果檢測算法主要通過背景建模及特征融合的方法來實現(xiàn).Tabb 等[1]針對采摘機器人需要進(jìn)行實時視頻圖像檢測的問題，利用RGB 背景顏色分布建模的思想，構(gòu)建了一個全局混合高斯(global mixture of Gaussians, GMOG)模型用于紅色和黃色蘋果的檢測，提高了系統(tǒng)的動態(tài)重復(fù)檢測性能.詹文田等[2]認(rèn)為使用單一特征進(jìn)行檢測不能完整表達(dá)田間場景下的特征變化，將RGB、HSI 和L*a*b 3個顏色空間相結(jié)合，通過樣本訓(xùn)練組合強分類器，使其適用于自然環(huán)境下的田間獼猴桃檢測.馮娟等[3]考慮樹上蘋果的識別會受到光照和環(huán)境的影響，使用激光視覺系統(tǒng)獲取果樹三維圖像，通過目標(biāo)輪廓獲取邊緣信息并采用隨機圓環(huán)法實現(xiàn)了樹上蘋果識別，具有較好的識別率.麥春艷等[4]為避免果蔬定位三維重建的重復(fù)工作以及便于為機器人提供采摘基礎(chǔ)數(shù)據(jù)，通過隨機采樣獲取所有果實質(zhì)心坐標(biāo)和果實半徑，運用三維空間重構(gòu)技術(shù)構(gòu)建識別模型進(jìn)行檢測，對在順、逆光環(huán)境下的果實識別都具有較好的穩(wěn)定性.

自然環(huán)境下的果園水果傳統(tǒng)檢測方法主要針對特征選擇和融合方面進(jìn)行改進(jìn)，其在特定場景下的水果檢測效果較好，但特征提取方式較為繁瑣，同時對自然環(huán)境下多種水果檢測的泛化性不強.因此，人們迫切需要一種簡單的特征選擇和泛化性較強的檢測方法.隨機蕨算法是一種簡單的隨機二進(jìn)制特征選擇算法，對于尺度變化、光照和遮擋等具有不變性，可以避免大量的特征計算，較適用于小樣本訓(xùn)練模型且具有較好的泛化能力.隨機蕨算法是基于隨機森林的思想演化而來.2001 年，Statistics 等[5]提出了由相同分布的二值決策樹分類器組成的隨機森林算法，采用樸素貝葉斯理論作為算法決策輔助，將特征識別問題轉(zhuǎn)化為分類問題，保證了算法實時性.隨機蕨算法是Lepetit 等[6]于2004 年基于隨機森林理論提出的一種更加簡單的二值決策器，它將隨機樹決策器中各層節(jié)點的不同判斷準(zhǔn)則改為相同準(zhǔn)則，從而構(gòu)造出一種簡單且有別于層次結(jié)構(gòu)隨機森林的非層次結(jié)構(gòu)隨機蕨.Villamizar 等[7-9]基于隨機蕨算法提出了面向方向梯度局部直方圖的不同方向目標(biāo)的估計和分類，引入監(jiān)督學(xué)習(xí)和梯度空間提高了算法的實時性和魯棒性.此后，人們在其基礎(chǔ)上通過適當(dāng)?shù)匾龑?dǎo)訓(xùn)練步驟顯著提高了分類器性能，使之更適合于只有小樣本可用于訓(xùn)練的情況.2018 年，有學(xué)者在以往的研究基礎(chǔ)上，通過共享特征降低計算成本、引入Real Adaboost增強算法和選擇更具判別性的分類器，組合出強分類器用于檢測定位，并利用對人臉、汽車、摩托車和馬等目標(biāo)的驗證實驗，顯著提高了檢測率和計算效率[10].

針對果園水果的傳統(tǒng)檢測方法需要手工設(shè)計特征和多種場景檢測泛化性不強等問題，本文基于在目標(biāo)檢測領(lǐng)域具有顯著效果的增強隨機蕨算法[9]，對其進(jìn)行改進(jìn)并用于果園蘋果檢測.由于增強隨機蕨算法在梯度域上選擇特征時并未考慮特征之間的差異性問題，所以本文在面向梯度域選擇特征時加入了限制條件，以避免所選擇特征代表性不強而誤導(dǎo)檢測識別結(jié)果.

1 HOG 域的增強隨機蕨分類器

1.1 隨機蕨算法

隨機蕨算法利用半樸素貝葉斯分類器實現(xiàn)樣本特征到樣本類別的反饋，如圖1 所示.該算法使用蕨類植物的非層次結(jié)構(gòu)代替決策樹中樹的層次結(jié)構(gòu)，從而替換決策樹模型獲取更易訓(xùn)練的方式，其訓(xùn)練時間呈線性增長，分類速度更快.

圖1 決策樹與隨機蕨

1.2 基于HOG 特征域的隨機蕨叢

方向梯度直方圖(HOG)是一種具有尺度和光照不變性的特征提取方法，能較好地捕捉目標(biāo)的邊緣輪廓信息，近年來被廣泛應(yīng)用于目標(biāo)檢測領(lǐng)域并展示出顯著效果.HOG 結(jié)合了滑動窗口的優(yōu)勢，使用大小為l×l的窗口I去掃描圖像窗口S，獲取I的局部方向梯度直方圖作為I的特征表達(dá)，其二值特征計算式為

通過選擇N組局部特征α來表示窗口I的特征，即一個蕨類植物被一個N維二值特征向量W表示：

1.3 增強隨機蕨分類器

通過每次迭代獲取到的參數(shù)計算判別能力最強的分類器，保留此時的概率分布P(W|)?和P(W|φ)，并對參數(shù)uc*和?q*進(jìn)行指標(biāo)評價，將評價后的結(jié)果用于測試環(huán)節(jié).最后，更新分類器與樣本間的關(guān)聯(lián)權(quán)重，即

其中M代表訓(xùn)練樣本集的個數(shù).

2 條件增強隨機蕨

為了保持類內(nèi)變化特征的穩(wěn)定性，增強隨機蕨算法在HOG 特征域中采用了隨機蕨分類器隨機選取特征的理念[11].在滑動窗口中，隨機選取方向梯度直方圖上2 個箱子的值進(jìn)行比較并轉(zhuǎn)化為二進(jìn)制串，而該特征隨機選擇方式使得在梯度域平坦區(qū)域上選取的特征欠缺代表性，從而導(dǎo)致分類器特征誤分類的幾率增大.

為了避免選擇的特征代表性不強而導(dǎo)致誤分類情況的發(fā)生，本文參考文獻(xiàn)[12]中面向像素域使用整個圖像窗口的平均梯度值作為閾值控制二進(jìn)制產(chǎn)生的方法，針對所提取的HOG 特征具有梯度方向差異的特點，控制隨機迭代選取的2 個點，使其處在不同的方向區(qū)間，并用遍歷窗口所在方向區(qū)域的梯度均值差作為閾值，對面向HOG特征域的增強隨機蕨分類器的二進(jìn)制特征產(chǎn)生方式進(jìn)行改進(jìn).使用以uc為中心的子窗口I遍歷圖像窗口S，提取子窗口所在位置的局部梯度直方圖特征.當(dāng)窗口I所在的圖像區(qū)域很平坦且隨機選擇2 個箱子的值G(S;uc,a)和G(S;uc,a′) 很接近時，若直接比較其大小會增大誤分類的概率.因此，在窗口I的局部方向梯度直方圖上控制2 個箱子(a和a′)在不同的方向區(qū)間內(nèi)隨機選擇，同時為了增強隨機選取箱子的代表性，對直接比較2 個箱子值大小的方式進(jìn)行改進(jìn)，即

其中，r=A/k，k表示區(qū)間方向數(shù).通過計算出來的均值獲取局部區(qū)間均值差，即

子窗口的局部區(qū)間均值差可以表達(dá)所選區(qū)域不同方向區(qū)間的梯度累積值的差異，這是由圖像區(qū)域的紋理變化情況決定的.

3 實驗及結(jié)果分析

3.1 實驗環(huán)境及數(shù)據(jù)集

本實驗在Windows 10 操作系統(tǒng)下進(jìn)行，處理器為Intel(R) Core(TM) i5-9300H CPU＠2.40 GHz，使用Matlab 語言編程.

針對果實重疊、光照不均和枝葉遮擋等復(fù)雜場景下蘋果種類多樣性的實驗需求，筆者通過網(wǎng)絡(luò)爬蟲技術(shù)下載了相關(guān)圖片并制作數(shù)據(jù)集.其中訓(xùn)練集1 150 張，測試集108 張，部分圖像如圖2所示.

圖2 部分?jǐn)?shù)據(jù)集示例

3.2 實驗參數(shù)及評價指標(biāo)

根據(jù)特征選擇及數(shù)據(jù)集的特點，為了訓(xùn)練過程更好地適應(yīng)復(fù)雜環(huán)境下的果園蘋果檢測，在實驗中對條件隨機蕨算法構(gòu)建的分類器進(jìn)行參數(shù)設(shè)置，如表1 所示.

表1 實驗參數(shù)

為了評估所提方法的有效性，采用精確度(precision)、召回率(recall)和F1 值來衡量所提方法在復(fù)雜環(huán)境下對果園蘋果檢測的有效性.各評價指標(biāo)計算公式分別為

其中，TP為正樣本被預(yù)測為正樣本的數(shù)量；FP為負(fù)樣本被預(yù)測為正樣本的數(shù)量；FN為正樣本被預(yù)測為負(fù)樣本的數(shù)量.

3.3 結(jié)果分析

選用相同的訓(xùn)練集與測試集對改進(jìn)前后的增強隨機蕨分類器模型進(jìn)行對比實驗.在相同實驗條件及參數(shù)下，為驗證模型適應(yīng)性，對不同環(huán)境下的多種水果進(jìn)行了綜合測試，實驗結(jié)果如表2所示.

表2 2 種模型的檢測結(jié)果 %

由表2 可知，改進(jìn)后的條件增強隨機蕨分類器相對于增強隨機蕨分類器來說，其檢測召回率提升了7.4%，精確度提升了3.18%.為了綜合評價模型的檢測效果，使用F1 值衡量模型改進(jìn)前后的有效性.由表2 亦可知，改進(jìn)后的模型相較于原模型其F1 值提升了5.44%，這說明改進(jìn)后的模型在復(fù)雜環(huán)境下對果園多樣性蘋果的檢測效果相較于原模型有一定的提升.

圖3 為2 種算法檢測模型在相同實驗環(huán)境下的精確度回歸(PR)曲線對比.由圖3 可知，在果園蘋果檢測中，條件增強隨機蕨分類模型的檢測效果明顯優(yōu)于增強隨機蕨分類模型.

圖3 2 種算法模型的PR 曲線

圖4 表示在不同種類、多種角度和光照不均情況下的蘋果檢測效果圖.其中，藍(lán)色框代表標(biāo)注的蘋果；綠色框代表檢測出的蘋果；紅色框表示誤檢的目標(biāo).由圖4 可知，在復(fù)雜環(huán)境下果園蘋果檢測任務(wù)中，本文提出的CBRFs 算法對于多類蘋果的檢測效果較為理想，能夠在不同角度和光照不均等情況下實現(xiàn)有效檢測，模型總體泛化能力較好.

圖4 總體檢測效果

4 結(jié)語

本文在增強隨機蕨分類器的基礎(chǔ)上，給出了基于條件增強隨機蕨分類器的果園蘋果檢測模型并予以效果檢驗.首先，面向梯度域提取目標(biāo)圖像的方向梯度直方圖特征，形成圖像的特征空間；其次，在特征空間上采用條件隨機二值化方式選取特征，通過改進(jìn)后的特征產(chǎn)生方式產(chǎn)生二進(jìn)制特征，構(gòu)建隨機蕨并組建弱分類器；最后，采用Real Adaboost 增強策略選擇最具判別性的弱分類器并構(gòu)建強分類器.在自制數(shù)據(jù)集上的實驗結(jié)果表明：在復(fù)雜環(huán)境下的果園蘋果檢測中，條件增強隨機蕨分類器的F1 值達(dá)77.53%，比增強隨機蕨分類器提升了5.44%，有效地提高了果園蘋果檢測效果.然而，由于場景的復(fù)雜性和果實的多樣性，在實際檢測過程中仍存在部分漏檢和誤檢等問題，后續(xù)的研究重點將進(jìn)一步考慮如何解決這些問題.