基于形態(tài)學(xué)圖像檢測的機(jī)械手移栽穴苗識別技術(shù)

張悅旺

(天津職業(yè)大學(xué)，天津 300410)

0 引言

目前，機(jī)械手進(jìn)行移栽的過程通常為順序移栽，即機(jī)械手臂按既定坐標(biāo)和預(yù)定順序依次移栽，使得機(jī)械手移栽穴苗會經(jīng)常導(dǎo)致移栽后幼苗緩苗時間不同。其主要原因是在機(jī)械手移栽穴苗的過程中，取缽體導(dǎo)致的苗體根系存在不同程度的殘缺及外漏等問題。由于幼苗的根系極易遭到外界環(huán)境的影響及在機(jī)械手移栽過程中夾持力的損傷，使得農(nóng)作物的生長期延遲，從一定程度上造成資金、人力及資源的浪費(fèi)，從而影響農(nóng)作物進(jìn)行機(jī)械手移栽的效果[1]。

目前，基于圖像處理的穴苗識別技術(shù)的研究方法主要有：分水嶺算法[2]、根部特征方法[3]，以及求取幼苗葉片的面積方法[4]。與此同時，文獻(xiàn)[5]和文獻(xiàn)[6]中數(shù)學(xué)算法在圖像處理中的應(yīng)用越來越廣泛；文獻(xiàn)[7]和文獻(xiàn)[8]中鄒北驥和韓延祥等人采用基于形態(tài)學(xué)圖像處理方法進(jìn)行取缽體效果的判別；文獻(xiàn)[9]采用形態(tài)學(xué)進(jìn)行機(jī)械手移栽[9]研究，文獻(xiàn)[10]和文獻(xiàn)[11]采用圖像邊緣檢測方法等進(jìn)行研制。

在形態(tài)學(xué)圖像處理方法的基礎(chǔ)之上，提出一種基于形態(tài)學(xué)圖像檢測的機(jī)械手移栽穴苗識別技術(shù)，采用形態(tài)學(xué)圖像處理方法及時發(fā)現(xiàn)并補(bǔ)救殘缺、外漏的根系，可以節(jié)約資源，有效地提高農(nóng)作物移栽效果。

1 形態(tài)學(xué)圖像處理原理

形態(tài)學(xué)在生物學(xué)中是指對動植物的特征進(jìn)行處理的學(xué)科，而在圖像處理領(lǐng)域中是指數(shù)學(xué)形態(tài)學(xué)[12]。數(shù)學(xué)形態(tài)學(xué)的目的是采用提取圖像中對應(yīng)形狀及一定形態(tài)的結(jié)構(gòu)元素進(jìn)行度量，從而進(jìn)行圖像識別[13]。

形態(tài)學(xué)圖像處理形式表現(xiàn)為鄰域運(yùn)算，且將鄰域稱之為結(jié)構(gòu)元素[14],將結(jié)構(gòu)元素與相對應(yīng)的灰度圖像運(yùn)算后的結(jié)果作為圖像像素[15]，其運(yùn)算包括腐蝕、膨脹、開運(yùn)算和閉運(yùn)算。

1.1 腐蝕

進(jìn)行腐蝕運(yùn)算的目的是為了讓圖像縮小，如A圖像被B腐蝕的表達(dá)式為

AΘB={x|(B)x∩Ac≠φ}={x|(B)x?A}

其中，AΘB表示B移動后完全包含在A中時的原點(diǎn)位置集合。每當(dāng)找到一個與B元素相同的子圖像時，就將B元素的原點(diǎn)位置對應(yīng)的像素置“1”，腐蝕運(yùn)算的結(jié)果是A上標(biāo)注“1”的像素組成的集合。

形態(tài)學(xué)圖像處理中典型的腐蝕運(yùn)算應(yīng)用是為了能夠識別物體并且能夠消除物體間的連接[16]。腐蝕與膨脹運(yùn)算的對偶性表達(dá)式為

因此，對目標(biāo)圖像的膨脹運(yùn)算相當(dāng)于對圖像背景的腐蝕運(yùn)算操作，反之亦然。

1.2 膨脹

進(jìn)行膨脹運(yùn)算的目的是為了讓圖像擴(kuò)大，如A圖像被B膨脹的表達(dá)式為

1.3 開運(yùn)算與閉運(yùn)算

通過腐蝕運(yùn)算與膨脹運(yùn)算的組合運(yùn)算可以分別得到開運(yùn)算與閉運(yùn)算，且開運(yùn)算和閉運(yùn)算的定義分別為[17]

A°B=(AΘB)⊕B=∪{(B)Z|(B)Z?A}

A·B=(A⊕B)ΘB=∪{(B)Z|(B)Z?A}

開運(yùn)算主要目的是為了能夠去掉細(xì)小的突出部分、平滑處理對象的輪廓，以及能夠斷開狹窄的連接，而閉運(yùn)算的目的是為了能夠填充小于結(jié)構(gòu)元素的空白區(qū)域[18]。

2 形態(tài)學(xué)圖像處理技術(shù)

根據(jù)上述形態(tài)學(xué)圖像處理原理來處理實(shí)際中移栽穴苗過程中的圖像，使所得的結(jié)果能真實(shí)反映苗體根系殘缺、外漏的程度。本文基于形態(tài)學(xué)圖像處理的機(jī)械手移栽穴苗識別技術(shù)中主要公式為

{[(N⊕M1⊕M2)°O·P]ΘQ}°R

根據(jù)上式，形態(tài)學(xué)圖像處理的具體步驟為：

1)將相機(jī)采集的圖像N灰度化處理后進(jìn)行膨脹操作M1，解決圖像中截斷的邊緣問題，使之連續(xù)不再截斷；

2)進(jìn)行第2次膨脹操作M2，解決灰度化圖像中產(chǎn)生的“空洞”的問題；

3)進(jìn)行閉運(yùn)算操作P，使得缺口能夠連接起來且能夠進(jìn)行平滑處理，從而得到平滑圖像；

4)進(jìn)行開運(yùn)算操作O，將機(jī)械手以及穴苗的突出部分去除，從而降低了圖像處理誤差，提高了圖像檢測的準(zhǔn)確率；

5)進(jìn)行腐蝕操作Q，將膨脹縮小所帶來的邊緣區(qū)域進(jìn)行放大操作，從而還原了圖像處理面積；

6)進(jìn)行第2次開運(yùn)算操作R，目的是再一次消除細(xì)微的部分，使得處理的對象更加的平滑。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)軟硬件平臺及仿真實(shí)驗(yàn)材料

本文仿真實(shí)驗(yàn)在采用Windows7 64-bit操作系統(tǒng)的惠普PC機(jī)上(內(nèi)存為7.89GB，CPU為Intel(R) Core(TM) i3-2120@3.30GHz，)，通過VisualStudio 2013和OpenCV2.4.10包進(jìn)行實(shí)驗(yàn)[19]，且采用CMOS相機(jī)在正前方、左側(cè)45°和右側(cè)45°3個方向順序拍攝樣本圖像進(jìn)行仿真。實(shí)驗(yàn)中，將取苗執(zhí)行機(jī)構(gòu)安裝在KR5arc型機(jī)械臂(工作行程1 400mm)，通過控制臺操縱來進(jìn)行仿真實(shí)驗(yàn)。具體的實(shí)驗(yàn)軟硬件平臺如表1所示。

表1 實(shí)驗(yàn)軟硬件平臺

將采集后的圖像傳輸至計(jì)算機(jī)內(nèi)的取缽識別系統(tǒng)，系統(tǒng)首先對采集的圖像進(jìn)行形態(tài)學(xué)的處理，然后求出基準(zhǔn)圖像與缽體圖像對應(yīng)的像素比，進(jìn)而判定是否合格。

在此應(yīng)說明，在判別系統(tǒng)軟件中有兩個參數(shù)n和m，且n

其中，ηF為樣本不合格率；NFP為檢測不合格樣本數(shù)；NT為根系裸漏樣本數(shù)；ηT為樣本合格率；NN為根系沒有不合格的樣本數(shù)；NTP為檢測合格樣本數(shù)。

3.2 形態(tài)學(xué)圖像處理仿真實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證機(jī)械移栽取缽效果，本文在實(shí)驗(yàn)室條件下采用CMOS相機(jī)拍攝來進(jìn)行移栽穴苗圖像仿真實(shí)驗(yàn)。仿真實(shí)驗(yàn)所采用的幼苗為西瓜，仿真實(shí)驗(yàn)所用的苗缽,上口直徑50mm，下底直徑35mm，高40mm,壁厚3mm,缽體重6～8g，產(chǎn)品用粉碎的作物秸稈,加入一定比例的膠粘劑冷壓模塑合成，如圖1所示。取苗時間為幼苗出第一對真葉后及如圖2所示出現(xiàn)綠葉之后的缽體內(nèi)植物。

采用本文圖像處理方法進(jìn)行實(shí)驗(yàn)，圖3和圖4為西瓜幼苗進(jìn)行仿真實(shí)驗(yàn)的結(jié)果。其中，圖3中樣本一是對采集的幼苗長出第一對真葉后做出利用形態(tài)學(xué)圖像檢測方法進(jìn)行實(shí)時處理的結(jié)果；圖4所示樣本二幼苗是缽體內(nèi)植物做實(shí)時處理的圖像。兩組樣本實(shí)驗(yàn)的結(jié)果如圖3和圖4所示。圖3、圖4中：原始圖像如圖(a)所示；對圖(a)灰度化處理得到圖(b)；采用Canny算子邊緣檢測得到圖(c)所示的結(jié)果；對圖(c)的邊緣和內(nèi)部分別進(jìn)行形態(tài)學(xué)膨脹處理得到圖(d)與圖(e)的結(jié)果，然后進(jìn)行開運(yùn)算和閉運(yùn)算處理結(jié)果如圖(f)和圖(g)所示。因?yàn)閷τ趫D(d)的處理帶來了邊緣的加粗使得對于圖(g)檢測出有效區(qū)域的輪廓，圖(h)為進(jìn)行腐蝕處理的結(jié)果；對腐蝕處理后的圖(h)再次利用開運(yùn)算處理所得結(jié)果，如圖(i)所示。

圖1 缽體Fig.1 Bowl

圖2 缽體內(nèi)植物Fig.2 The plant in bowl

(a) 原始圖像1 (b) 灰度化結(jié)果 (c) 邊緣檢測結(jié)果

(d) 膨脹填補(bǔ)結(jié)果 (e) 膨脹填充結(jié)果 (f) 開運(yùn)算結(jié)果

(g) 閉運(yùn)算結(jié)果 (h) 腐蝕結(jié)果 (i) 再次開運(yùn)算結(jié)果圖3 樣本1實(shí)驗(yàn)結(jié)果Fig.3 Seedling sample1

(a) 原始圖像2 (b) 灰度化結(jié)果 (c) 邊緣檢測結(jié)果

(d) 膨脹填補(bǔ)結(jié)果 (e) 膨脹填充結(jié)果 (f) 開運(yùn)算結(jié)果

(g) 閉運(yùn)算結(jié)果 (h) 腐蝕結(jié)果 (i) 再次開運(yùn)算結(jié)果圖4 樣本2實(shí)驗(yàn)結(jié)果Fig.4 Seedling sample2

仿真結(jié)果表明：本文方法對于去除一些復(fù)雜情況的干擾具有一定的有效性和準(zhǔn)確性。

3.3 取缽效果判別仿真實(shí)驗(yàn)結(jié)果及分析

在實(shí)驗(yàn)穴盤中隨機(jī)抽取8個樣本的正視圖進(jìn)行仿真實(shí)驗(yàn)，實(shí)際測量與仿真實(shí)驗(yàn)測得的結(jié)果比較如表2所示。

表2 實(shí)驗(yàn)測量與實(shí)際結(jié)果比較

由表2可知：8個樣本有1個達(dá)到8.1%，而7個誤差在5.2%以內(nèi)，可以看出測量誤差較低，且出現(xiàn)誤差主要是因?yàn)槟承┤藶橐蛩亍?/p>

3.4 圖像處理方法仿真實(shí)驗(yàn)結(jié)果及分析

分別采用普通圖像邊緣檢測方法和基于形態(tài)學(xué)圖像處理方法處理并比較檢測結(jié)果。普通圖像邊緣檢測方法是將灰度化處理的圖像進(jìn)行邊緣檢測后求出圖像輪廓內(nèi)的面積。取一個30苗盤進(jìn)行移栽苗體的實(shí)驗(yàn)(取m=85%,n=65%)，采用形態(tài)學(xué)圖像處理方法測得合格樣本28個，相比之下普通圖像合格樣本只有24個。具體仿真結(jié)果如表3所示。

表3 形態(tài)學(xué)圖像處理方法與普通圖像處理方法比較

結(jié)果表明：使用形態(tài)學(xué)圖像處理方法得出的不合格率ηF為1，提高了57.8%；合格率ηT為94.2%，提高4.6%。在進(jìn)行處理全過程中，形態(tài)學(xué)處理方法的時耗大約是普通方法的1.425倍，形態(tài)學(xué)處理方法1.91s的耗時完全可以達(dá)到實(shí)時處理的要求。因此，實(shí)驗(yàn)結(jié)果表明采用形態(tài)學(xué)圖像處理方法具有明顯優(yōu)勢。

4 結(jié)論

在對形態(tài)學(xué)圖像處理方法研究學(xué)習(xí)的基礎(chǔ)之上，提出了一種基于形態(tài)學(xué)圖像檢測的機(jī)械手移栽穴苗識別方法。采用形態(tài)學(xué)圖像處理方法來處理實(shí)際中機(jī)械手臂移栽穴苗過程中的圖像，使所得的結(jié)果能真實(shí)反映苗體根系殘缺、外漏的程度。采用西瓜幼苗的仿真實(shí)驗(yàn)結(jié)果表明：本文提出的穴苗識別技術(shù)具有較好的實(shí)時性、穩(wěn)定性和魯棒性。

參考文獻(xiàn)：

[1] 王躍勇,于海業(yè).穴盤幼苗機(jī)械手取苗基質(zhì)完整率影響因素仿真實(shí)驗(yàn)與分析[J].農(nóng)業(yè)工程學(xué)報，2015,31(14):65-71.

[2] 童俊華.蔬菜缽苗穴盤間移栽執(zhí)行器設(shè)計(jì)、移栽信息監(jiān)測與路徑規(guī)劃[D].杭州：浙江大學(xué)，2014.

[3] 董微，周增產(chǎn)，卜云龍,等，穴盤苗自動移栽機(jī)研發(fā)與應(yīng)用[J].農(nóng)業(yè)工程，2014,4(7):120-124.

[4] 胡飛,尹文慶,陳彩蓉,等.基于機(jī)器視覺的穴盤幼苗識別與定位研究[J].西北農(nóng)林科技大學(xué)學(xué)報：自然科學(xué)版,2013,41(5):183-188.

[5] Stroppa R G, Leonardi F, Frigato.R, et al.Cartographic update through image digital processing by Mathematical Morphology techniques [C]//International Center for Remote Sensing of Environment,2009:1113-1115.

[6] K Mostafa, J Y Chiang,I Her. Edge-detection method using binary morphology on hexagonal images [J].The Imaging Science Journal，2015，63(3):168-173.

[7] 鄒北驥，張思劍，朱承璋.彩色眼底圖像視盤自動定位與分割[J].光學(xué)精密工程，2013,23(4):1187-1195.

[8] 韓延祥，張志勝，郝飛，等.灰度序列圖像中基于紋理特征的移動陰影檢測[J].光學(xué)精密工程，2013，21(11):2931-2942.

[9] 劉明峰，胡先朋，廖宜濤,等.不同油菜品種適栽期機(jī)械化移栽植株形態(tài)特征研究[J].農(nóng)業(yè)工程學(xué)報，2015，31(S1):79-88.

[10] 余金棟，張憲民.用于線紋顯微圖像的邊緣檢測算法[J].光學(xué)精密工程，2015，23(1):271-281.

[11] 張雄美，易昭湘，田淞，等.結(jié)合形態(tài)學(xué)屬性斷面與支持向量機(jī)的合成孔徑雷達(dá)圖像變化檢測[J].光學(xué)精密工程，2014，22(10):2832-2839.

[12] 戴青云, 余英林.數(shù)學(xué)形態(tài)學(xué)在圖像處理中的應(yīng)用進(jìn)展[J].控制理論與應(yīng)用,2001, 18(4):478-482.

[13] 王躍勇, 于海業(yè), 劉媛媛. 基于形態(tài)學(xué)圖像處理的機(jī)械手移栽穴苗識別技術(shù)[J].光學(xué)精密工程, 2016, 24(3):651-658.

[14] 沈陽. 基于形態(tài)學(xué)的圖像邊緣檢測技術(shù)研究[D]. 成都：電子科技大學(xué), 2008.

[15] 閆薇, 全紅艷, 孫紅敏. BMP圖像檢索中的顏色特征提取與匹配[J]. 農(nóng)機(jī)化研究, 2002(4):193-194.

[16] 王躍勇. 基于機(jī)器視覺和仿真試驗(yàn)的蔬菜穴盤幼苗移栽關(guān)鍵技術(shù)研究[D].長春：吉林大學(xué),2016.

[17] Rafael C Gonzalez, Richard E Woods, Steven L Eddins. Digital Image Processing Using MATLAB [M].Beijing：Electronics Industry Press,2009.

[18] 李朝鋒, 潘婷婷. 基于形態(tài)學(xué)開閉運(yùn)算和梯度優(yōu)化的分水嶺算法的目標(biāo)檢測方法[J]. 計(jì)算機(jī)應(yīng)用研究, 2009, 26(4):1593-1594.

[19] 陳麗君, 任文濤, 趙萍. 基于VB和Matlab的苗田圖像實(shí)時處理軟件設(shè)計(jì)[J]. 農(nóng)機(jī)化研究, 2009, 31(11):145-147.