化春鍵，張愛榕，蔣 毅，俞建峰，陳 瑩

(1 江南大學 機械工程學院,江蘇 無錫 214122； 2 江蘇省食品先進制造裝備技術重點實驗室,江蘇 無錫 214122；3 江南大學 物聯(lián)網(wǎng)工程學院,江蘇 無錫 214122)

草坪作為綠地組成的一種基本要素，對城市景觀與生態(tài)文明有著重大影響[1]。雜草與草坪爭搶生長空間，滋生病蟲害，是造成草坪退化的重要因素之一[2]。除草劑以經(jīng)濟、高效、省力的優(yōu)勢成為目前草坪雜草管理的主要方式[3]。然而除草劑的大范圍使用不僅會加劇雜草的抗藥性問題，同時也會對公園、運動場等公共區(qū)域的人群健康帶來威脅[4]。基于機器視覺的草坪雜草識別技術可以實現(xiàn)植保機器人的定點精準施藥，降低除草劑的使用成本和環(huán)境危害，促進了農(nóng)業(yè)智能化和精細化作業(yè)。近年來，專家學者圍繞雜草檢測進行了許多相關方面的研究。Jin等[5]使用經(jīng)過訓練的CenterNet模型檢測蔬菜作物并繪制邊界框，將邊界框外的對象視為背景，利用遺傳算法評估提出背景綠色區(qū)域檢測算子，完成對雜草的分割。針對草坪雜草的檢測，Yu等[6]利用卷積神經(jīng)網(wǎng)絡模型對草坪闊葉雜草展開研究，通過對比AlexNet、GoogLeNet和VGGNet發(fā)現(xiàn)，VGGNet網(wǎng)絡在高雜草密度和低雜草密度情況下的檢測結(jié)果均優(yōu)于AlexNet和GoogLeNet。上述方法均需要借助專家手工標記信息訓練分類器，完成圖像的分割任務。無監(jiān)督方法避免了訓練時分類器的參數(shù)調(diào)節(jié)過程，有利于降低算法整體復雜度。Watchareeruetai等[7]通過提取草坪圖像的邊緣信息，統(tǒng)計雜草邊緣與草坪草葉片邊緣的紋理特征識別雜草，對闊葉雜草的識別準確率達到了89%。Parra等[8]對檢測圖像進行分塊，通過融合不同大小圖像塊的銳化濾波和拉普拉斯濾波結(jié)果擴大草坪與雜草的特征差異，對融合后的圖像進行閾值分割提取雜草區(qū)域，分割結(jié)果的F1值最高達到83%。上述無監(jiān)督方法多從圖像的邊緣特征與紋理特征進行研究，且研究對象主要為草坪闊葉草，目標識別準確率較低。

模糊 C 均值 (Fuzzy C-means,FCM)聚類是一種經(jīng)典的無監(jiān)督分類方法，被廣泛應用于圖像分割問題[9]。但傳統(tǒng)的FCM算法沒有考慮到圖像中的空間信息，對圖像中的噪聲較為敏感，難以在含噪圖像中取得較好的分割結(jié)果。對FCM算法的抗噪聲性能改進通常考慮圖像的局部和非局部空間信息?；诜蔷植靠臻g信息的FCM算法[10]需要計算搜索窗內(nèi)的每一個像素與當前像素的相似度，計算復雜度較高。基于圖像局部空間信息的改進通常只考慮區(qū)域的灰度和隸屬度的大小[11]，而忽略了區(qū)域內(nèi)的灰度分布特征。目前，草坪雜草的無監(jiān)督識別主要集中于闊葉雜草，對細葉雜草的識別研究較少；對于圖像的空間信息利用研究主要集中于像素相似性算法的研究，或僅利用鄰域內(nèi)的數(shù)值信息，忽略了鄰域內(nèi)部的分布特征。本文利用FCM算法開展能同時適用于闊葉雜草和細葉雜草識別的算法研究，提出一種基于局部灰度分布特征的改進FCM算法，以解決雜草與草坪顏色相近導致雜草難以分割的問題；在預處理過程中利用超綠算子提取感興趣區(qū)域，去除枯葉土壤等無關信息，融合HSV空間的多通道信息以擴大雜草與草坪的特征差異。使用區(qū)域面積約束濾波范圍，減少融合圖像中的草坪背景噪聲并保證了雜草目標分割的連續(xù)性；提出一種各向灰度分布差異檢測算子，將局部灰度分布特征引入FCM聚類，完成草坪雜草分割目標。

1 材料與方法

1.1 供試材料

試驗環(huán)境為MATLAB 2016b、i5-9300H處理器、16 G內(nèi)存。采用索尼DSC-W830數(shù)碼相機作為圖像采集設備，分別于2020年10、11月在江南大學校園采集雜草樣本。拍攝天氣為晴天、多云或陰天，拍攝方式為手持垂直離地約30 cm。根據(jù)草坪和雜草的不同生長狀態(tài)，選擇如圖1所示的8種草坪雜草圖像樣本進行試驗，雜草狀態(tài)特征描述如表1所示。

圖1 不同生長狀態(tài)的草坪雜草Fig. 1 Lawn weeds in different growth states

表1 草坪和雜草樣本表型Table 1 Phenotypes of lawn and weed samples

1.2 HSV空間多通道融合預處理

超綠分割 (Extra-green segmentation，ExG)算子[12]可以有效抑制原始輸入圖像中的枯葉、土壤等非相關信息。設輸入圖像為f(x,y),利用ExG算子得到的圖像為fExG(x,y)，則圖像的超綠分割如式(1)所示：

式中，R,G,B分別為f(x,y)的RGB三通道分量，OTSU(x)表示采用最大類間方差法[13]二值化。

由于雜草顏色與草坪草葉片顏色相近，目標與背景的差異性不明顯，因此還需要進一步處理以擴大雜草與草坪的灰度差異。sigmoid函數(shù)[14]是一種常用的非線性歸一化函數(shù)，利用sigmoid函數(shù)代替線性歸一化函數(shù)能有效抑制小灰度區(qū)域噪聲，同時有利于增強目標區(qū)域的灰度信息，本文采用的sigmoid函數(shù)如式(2)所示。

將fExG(x,g)轉(zhuǎn)換到HSV顏色空間， 由于圖像經(jīng)過超綠分割，枯葉、土壤等相關像素已被抑制，因此在h分量上草坪與雜草響應幾乎相同，但由于雜草和草坪并非完全相同，因此兩者在s分量和v分量上仍具有差異性。本文采用如式(3)所示的融合策略完成圖像預處理，所得預處理圖像如圖2所示。

圖2 圖像預處理結(jié)果Fig. 2 The results of preprocessed images

式中，s,h,v分別為圖像fExg(x,g)的HSV通道分量，g(x,y)為預處理后的圖像。

1.3 傳統(tǒng)FCM算法

傳統(tǒng)FCM算法將樣本對于類別的不確定度引入聚類分析過程中，能有效避免硬聚類算法易陷于局部極小值的缺陷，已成為圖像分割領域最常用的方法之一。FCM算法的一般目標函數(shù)如式(4)所示：

式中，m為模糊因子，vi為聚類中心，uij表示樣本xj對聚類中心vi的隸屬度。

對于具有2個變量的目標函數(shù)J(uij)，通過迭代交替求解聚類中心和隸屬度矩陣求解函數(shù)極小值，具體算法流程為：

步驟1：初始化隸屬度矩陣uij，選擇算法的最大迭代次數(shù)T以及迭代閾值ε，令當前迭代次數(shù)t=1;

步驟2：由隸屬度矩陣計算聚類中心如式(5)所示：

步驟3：由聚類中心更新隸屬度矩陣如式(6)所示：

步驟4：將vi和uij代入式(4)計算第t次迭代時的目標函數(shù)值J(t)。若||J(t+1)-J(t)||＜ε或t＞T則算法結(jié)束；否則，t=t+1，轉(zhuǎn)到步驟2。

1.4 基于各向灰度分布差異約束的FCM算法

1.4.1 面積約束下的中值濾波 經(jīng)預處理后的草坪雜草圖像雜草前景相對突出，但是由于草坪草葉片數(shù)量較多，且存在葉片邊緣、光照等偶然因素的干擾，預處理圖像中仍存在較多的噪聲干擾。因此需要對小面積噪聲區(qū)域進行中值濾波去噪。為了盡可能保證圖像信息的完整性，引入面積特征篩選中值濾波區(qū)域。對經(jīng)OTSU算法處理的預處理圖像進行閉運算，以8連通域準則提取圖像的區(qū)域面積，設每個像素點對應的區(qū)域面積信息矩陣為A(x,y) ，則基于面積信息的中值濾波表示如式(7)所示，濾波結(jié)果如圖3所示。由圖3可以看出，引入面積約束進行中值濾波，可以較好地保持雜草葉片的細節(jié)信息，降低中值濾波對雜草分割連續(xù)性的影響。

圖3 不同處理下的中值濾波Fig. 3 Median filter under different treatment

式中，Amean為連通域的平均面積，medfilt(x)為中值濾波函數(shù)，本文選定的中值濾波窗口為矩形3×3窗口。

1.4.2 各向灰度分布差異信息提取 常見的圖像鄰域局部信息獲取方式如局部線性加權(quán)[15]、非線性灰度擬合[16]等，有效利用了像素的鄰域灰度值信息，但是仍忽略了局部區(qū)域的不同方向灰度分布的差異性。因此本文提出一種各向灰度分布差異(Difference of gray distribution in different directions,DGD)檢測算子如圖4所示。

圖4 各向灰度分布差異檢測算子Fig. 4 The detection operator of gray distribution difference in different direction

該檢測算子大小為 9×9，在方向 1、3、5、7 上分別有9個鄰域像素點，在方向2、4、6、8上有5個像素，檢測時將待測像素置于檢測算子中心位置，則該像素點的DGD特征可以由各方向灰度和方差表示如式(8)所示。

式中，sn為檢測算子在各方向上的鄰域像素灰度和，為8個方向的灰度和均值。d(x,y)為像素點(x,y) 對應的DGD特征。

無論是草坪葉片還是雜草葉片，在自然環(huán)境下，葉片表面灰度存在波動變化。當不同像素的組內(nèi)各方向灰度和具有相同的離散系數(shù)時，采用本文預處理方法的圖像雜草區(qū)域的平均灰度級會高于背景區(qū)域，因此DGD特征可以有效地區(qū)分雜草與草坪，如圖5所示。從圖5a中可以看出，經(jīng)預處理融合策略與中值濾波處理后，草坪背景仍有部分區(qū)域具有與目標相當?shù)幕叶?，而該類區(qū)域提取的DGD特征相對雜草目標則相對較小。但是由于DGD特征通過窗口滑動提取，因此對目標的邊緣響應不夠靈敏，直接應用于圖像分割會造成圖像邊緣區(qū)域的過分割。因此需要結(jié)合圖像灰度特征完成圖像的準確分割。

圖5 圖像的DGD特征Fig. 5 The DGD feature of image

1.4.3 融合DGD特征的改進FCM算法 傳統(tǒng)的FCM算法在應用于圖像分割問題時僅考慮圖像的灰度信息。由于草坪雜草圖像中草坪和雜草顏色相近，直接進行聚類難以有效分割出草坪雜草。因此，本文在傳統(tǒng)FCM算法的基礎上引入DGD特征，構(gòu)建FCM_DGD的目標函數(shù)如式(9)所示：

利用拉格朗日乘子將限制式引入式(9)，結(jié)果如式(10)所示：

在式(10)中，分別對u、v求偏導，令偏導數(shù)等于0，得到隸屬度uij和聚類中心vj的迭代式如式(11)、(12)所示：

融合DGD特征的改進FCM算法流程為：

步驟1：計算圖像的DGD特征信息；

步驟2：初始化隸屬度矩陣uij，選擇算法的最大迭代次數(shù)T以及迭代閾值ε，令當前迭代次數(shù)t=1;

步驟3：分別由式(11)和式(12)更新計算隸屬度矩陣和聚類中心；

本文算法的整體流程如圖6所示。首先，利用超綠分割算子提取圖像的檢測主體與背景，在HSV顏色空間利用不同顏色通道中雜草與草坪的差異性突出雜草目標，完成預處理；然后，根據(jù)預處理圖像提取圖像的面積特征約束中值濾波范圍，計算基于像素點的各向灰度分布差異性，得到基于圖像局部信息的雜草與草坪差異化特征；最后，將所得局部特征與灰度特征相結(jié)合進行模糊聚類，完成草坪雜草圖像的分割。

圖6 本文方法流程圖Fig. 6 Flow chart of method in this paper

1.5 草坪雜草分割結(jié)果的定量評價方法

為了定量評價本文算法的分割效果，通過Photoshop手工標記草坪雜草分割真值圖像，計算分割準確率 (Segmentation accuracy,SA)、欠分割率(Under segmentation rate,UR)和過分割率 (Over segmentation rate,OR)，形成算法的客觀評價參數(shù)，其計算方法如式(13)～(15)所示：

式中，RS表示分割目標的真值圖像像素個數(shù)，TS表示算法分割出的像素個數(shù)，US表示包含在RS中但不在TS中的像素個數(shù)，OS表示在TS中但不在RS的像素個數(shù)。SA值越大，表示算法分割結(jié)果與真值圖像越相近，分割效果越好。同理，UR和OR值越小，分別表示被誤判為背景和被誤判為前景的像素越少，算法的分割效果越好。

2 結(jié)果與分析

2.1 草坪雜草分割結(jié)果的主觀評價

為了更好地檢驗算法的魯棒性，選擇如圖1所示的多種草坪生長狀態(tài)的不同種雜草進行試驗。將本文算法(DGDFCM)與傳統(tǒng)FCM、FCM-S2、FCMNLS算法以及文獻[17]的RSFCM算法進行對比，結(jié)果見圖7。從圖7中可以看出，經(jīng)本文預處理后，上述5種方法都能有效地分割出雜草。FCM算法由于僅考慮圖像灰度，對圖像的空間信息利用不足，存在對草坪雜草的過分割。FCM-S2算法利用局部灰度中值將局部空間信息引入聚類目標函數(shù)中，一定程度上優(yōu)化了傳統(tǒng)FCM算法的不足，但對灰度分布相對均勻的噪聲區(qū)域分割效果欠佳。FCMNLS算法基于像素的非局部空間信息對灰度相近的像素點進行區(qū)分，對噪聲區(qū)域產(chǎn)生了較好的分割效果；然而，當目標邊緣灰度相對整體較暗時，目標邊緣易被誤判為噪聲區(qū)域，造成目標的欠分割。RSFCM算法利用圖像的空間上下文信息建立了一種新的可靠性模糊度量指標，達到了抑制噪聲和保持邊緣的目的；但是，因為RSFCM具有良好的邊緣保持性，當出現(xiàn)強噪聲的區(qū)域面積較大的情況時，此區(qū)域易被判別為細小目標區(qū)域，導致對草坪的過分割。本文算法對大多數(shù)噪聲區(qū)域抑制效果較好，實現(xiàn)了較為理想的雜草分割效果。

圖7 不同算法的分割結(jié)果 (DGDFCM為本文算法)Fig. 7 Segmentation results of different algorithms (DGDFCM is the algorithm in this paper)

2.2 草坪雜草分割結(jié)果的客觀評價

將圖7中各算法與真值圖像相比較，計算分割準確率(SA)、欠分割率(UR)和過分割率(OR)，結(jié)果如表2所示。對比不同樣本間的分割準確率(表2)可以發(fā)現(xiàn)，隨著雜草的形態(tài)表型復雜度提高，樣本的分割準確率會有一定的下降。這是由于高復雜度表型的雜草在樣本采集時易受到光照條件的影響，使得樣本在不同區(qū)域灰度特征放大，從而導致在近色圖像分割中的誤差。對于樣本3而言，由于雜草目標整體偏小，較少的分割誤差像素導致樣本整體的分割準確率下降。從表2還可以看出，本文算法(DGDFCM)的分割準確率平均為91.45%，比FCM、FCM-S2、FCMNLS和RSFCM算法分別提高16.35%、4.12%、6.80%和8.06%。由于RSFCM算法采用上下文相關性判斷像素空間信息，因此對分割結(jié)果的邊緣保持性較好，欠分割率較低。但圖中局部連續(xù)的強噪聲干擾易被誤判斷為目標區(qū)域，導致算法的整體分割準確率不高。本文算法在保持欠分割率與RSFCM算法相當?shù)耐瑫r，降低了算法的過分割率。從過分率角度看，本文算法與FCMNLS算法的過分割率相對較低，但由于FCMNLS算法對噪聲像素的抑制過強，導致圖像的平均分割準確率不高。因此，本文算法的整體表現(xiàn)優(yōu)于其他聚類算法，提高了圖像的分割準確率。

表2 不同算法的圖像分割質(zhì)量評價Table 2 Quality evaluation for image segmentation of different algorithm %

3 結(jié)論

本文提出一種基于各向灰度分布差異的改進模糊C均值聚類草坪雜草檢測算法，解決了雜草與草坪顏色相近而分割不完整的問題。利用超綠算子提取感興趣區(qū)域，結(jié)合HSV顏色空間多通道特征融合，擴大圖像中目標與背景的灰度差異。引入面積約束下的中值濾波代替全局中值濾波，在去噪的同時避免目標區(qū)域灰度級的降低。提出一種各向灰度分布差異檢測算子，將像素的各向灰度分布差異引入模糊聚類過程，提高圖像分割的準確率。試驗結(jié)果表明，本文算法可有效分割自然環(huán)境中的草坪雜草，分割準確率平均為91.45%，比FCM、FCM-S2、FCMNLS和RSFCM算法分別提高16.35%、4.12%、6.80%和8.06%。研究結(jié)果可以為草坪雜草精準化施藥提供條件，具有實際應用價值。但是在雜草具有較為復雜的空間結(jié)構(gòu)導致局部區(qū)域亮度不均時，該區(qū)域易被錯分。因此，在下一階段，我們將進一步研究如何提高雜草復雜空間結(jié)構(gòu)區(qū)域的分割性能。