李大華， 趙相飛， 許 亮， 于 波

(天津理工大學(xué)天津市復(fù)雜系統(tǒng)控制理論及應(yīng)用重點(diǎn)實(shí)驗(yàn)室，天津 300384)

基于紋理特征與HSI空間的蘋(píng)果識(shí)別與標(biāo)定

李大華， 趙相飛， 許 亮， 于 波

(天津理工大學(xué)天津市復(fù)雜系統(tǒng)控制理論及應(yīng)用重點(diǎn)實(shí)驗(yàn)室，天津 300384)

在分析了不同圖像分割方法的基礎(chǔ)上提出了一種基于顏色特征和紋理特征的圖像分割算法，以解決復(fù)雜背景下蘋(píng)果采摘機(jī)器人分割目標(biāo)與背景的問(wèn)題。通過(guò)分析灰度圖像的紋理特征，求取灰度共生矩陣提取特征，以支持向量機(jī)分割圖像，并結(jié)合HSI顏色空間的色差特征達(dá)到目標(biāo)和背景分離的效果。通過(guò)與單純的顏色特征分析和紋理特征分析相比較，該方法在識(shí)別率上高于其他分割算法，同時(shí)對(duì)于顏色與背景相近的果實(shí)也能有很好的分割效果。

灰度共生矩陣；HSI空間；支持向量機(jī)；分割

蘋(píng)果采摘機(jī)器人首要的任務(wù)是準(zhǔn)確地獲取采摘目標(biāo)的信息，在復(fù)雜的背景條件下，由于果實(shí)的品種、成熟度、光照、遮擋、陰天等一系列因素的差異造成了機(jī)器視覺(jué)識(shí)別上的困難。國(guó)內(nèi)外在這一方面做了很多研究：司永勝等[1]提出了利用歸一化的紅綠色差(R–G)/(R+G)分割蘋(píng)果；張潤(rùn)浩等[2]在YUV顏色空間中利用色差分量V建立果實(shí)與背景分割的高斯分布擬合模型，根據(jù)擬合結(jié)果自動(dòng)獲取分割閾值，達(dá)到分割的目的；王津京等[3]通過(guò) HLS模型用支持向量機(jī)(support vector machine, SVM)的模式識(shí)別方法識(shí)別果實(shí)；Meyer 等[4]使用超綠特征閾值算法辨別雜草；熊俊濤等[5]選取了YCbCr顏色模型，利用探索性分析法對(duì)荔枝不同部位、不同光照、不同生長(zhǎng)期圖像的Cr分量進(jìn)行了數(shù)據(jù)分析與統(tǒng)計(jì)，實(shí)現(xiàn)了未成熟、成熟以及腐爛變質(zhì)的荔枝果實(shí)的視覺(jué)智能判斷；Yin

等[6]在 Lab顏色空間利用均值聚類(lèi)算法進(jìn)行番茄分割，通過(guò)形態(tài)學(xué)算法去除噪聲，處理重疊遮擋果實(shí)，實(shí)現(xiàn)單一果實(shí)的提取。

當(dāng)前機(jī)器視覺(jué)的果實(shí)識(shí)別大多數(shù)方式是利用顏色空間作為提取目標(biāo)的特征或者是結(jié)合形態(tài)學(xué)方法對(duì)果實(shí)進(jìn)行識(shí)別，而對(duì)于那些顏色與背景相近的果實(shí)則不能得出很好的分割結(jié)果。本文在分析圖像紋理特征之后提出了一種基于灰度共生矩陣融合色調(diào)(hue)、飽和度(saturation)、亮度(intensity)的 HSI顏色空間色差特征的果實(shí)識(shí)別方法，可以達(dá)到識(shí)別不同顏色蘋(píng)果的目標(biāo)。

1 圖像分割算法

計(jì)算機(jī)視覺(jué)應(yīng)用于農(nóng)業(yè)對(duì)促進(jìn)農(nóng)業(yè)自動(dòng)化發(fā)展有至關(guān)重要的意義，將圖像分割算法應(yīng)用在果蔬目標(biāo)的識(shí)別上也取得了很好的效果。圖像分割是計(jì)算機(jī)視覺(jué)一個(gè)基礎(chǔ)并且重要的步驟，為進(jìn)一步的圖像分析提供了有效的信息。分割算法的演化有著豐富的歷史，但理想的分割算法仍然是計(jì)算機(jī)視覺(jué)領(lǐng)域的挑戰(zhàn)。

圖像分割一直是機(jī)器視覺(jué)的難點(diǎn)、重點(diǎn)，有大量的算法被提出，圖像分割的方式主要有 3大類(lèi)：基于閾值分割、基于邊緣分割、基于區(qū)域分割等方式。

(1) 閾值分割。是一種常見(jiàn)的直接對(duì)圖像灰度信息閾值化處理的分割算法，即簡(jiǎn)單的用一個(gè)或幾個(gè)閾值將圖像灰度直方圖進(jìn)行分類(lèi)，將灰度值在同一個(gè)灰度類(lèi)內(nèi)的像素歸為同一個(gè)物體[7]；直接利用圖像的灰度特性進(jìn)行分割，具有實(shí)現(xiàn)簡(jiǎn)單、成本低廉、實(shí)用性強(qiáng)等優(yōu)點(diǎn)；當(dāng)然也有弊端：當(dāng)圖像中灰度差異不明顯、或者各物體的灰度范圍值有大部分重疊現(xiàn)象時(shí)，往往難以得到準(zhǔn)確的分割結(jié)果，產(chǎn)生很多分割錯(cuò)誤[8]。

(2) 邊緣分割。是基于邊緣的圖像分割技術(shù)，使用邊緣檢測(cè)算子計(jì)算灰度級(jí)、顏色、紋理等不連續(xù)性，并結(jié)合到這些邊緣輪廓確定區(qū)域邊界。在邊緣分割中，會(huì)利用到多種邊緣算子，如Sobel算子、Canny算子、Prewitt算子等，在精度、抗噪性、用時(shí)上各有利弊，小波變換是一種多尺度多通道分析工具，圖像經(jīng)過(guò)小波變換后，對(duì)應(yīng)于突變點(diǎn)處(邊緣點(diǎn))的小波系數(shù)絕對(duì)值往往都是比較大的，所以小波比較適合檢測(cè)模極大值點(diǎn)來(lái)確定圖像的邊緣[9]。

(3) 基于區(qū)域分割。是將圖像各個(gè)代表性區(qū)域內(nèi)的相似像素組合到一起，提取圖像的灰度級(jí)、顏色和紋理等各個(gè)特征構(gòu)成特征向量，通過(guò)聚類(lèi)算法將不同區(qū)域代表的特征向量進(jìn)行分類(lèi)，達(dá)到分割圖像的目的。聚類(lèi)就是對(duì)圖像中相似特征的合并過(guò)程，其實(shí)質(zhì)是將圖像分割問(wèn)題轉(zhuǎn)化為模式識(shí)別的聚類(lèi)分析問(wèn)題[10]。本文采用了圖像的顏色特征和紋理特征通過(guò) SVM分類(lèi)器對(duì)果實(shí)圖像進(jìn)行了分割。目前常用的還有基于FCM聚類(lèi)、基于K均值聚類(lèi)、基于遺傳算法聚類(lèi)等以及與其他算法相結(jié)合的聚類(lèi)方法。

2 圖像識(shí)別算法流程

如圖1所示，經(jīng)過(guò)攝像頭采集到的RGB圖像需要轉(zhuǎn)換成兩種模式：①是HSI模式圖像；②是灰度圖。HSI圖像用于提取顏色特征進(jìn)行分割，單純用HSI空間分割是不能將圖像中的果實(shí)全部檢測(cè)出來(lái)，在此之外生成灰度圖來(lái)求灰度共生矩陣，提取灰度共生矩陣(gray level co-occurrence matrix, GLCM)中的參量構(gòu)成特征向量，通過(guò)SVM分類(lèi)器對(duì)圖像進(jìn)行分類(lèi)，將兩種分割方法的結(jié)果相疊加，進(jìn)行邏輯與運(yùn)算，以去除圖像上的噪聲干擾點(diǎn)，再用疊加出來(lái)的結(jié)果和之前的兩個(gè)分割結(jié)果相匹配，進(jìn)行區(qū)域生長(zhǎng)，得到最終的圖像分割結(jié)果。最后根據(jù)果實(shí)的輪廓確定適合的長(zhǎng)寬比對(duì)分割結(jié)果進(jìn)行取舍達(dá)到最終識(shí)別果實(shí)的目的。

圖1 算法流程

3 圖像分割

3.1 灰度共生矩陣

實(shí)際應(yīng)用中，作為圖像紋理分析的特征量是由灰度共生矩陣計(jì)算出的一些參量?；叶戎狈綀D是對(duì)圖像上單個(gè)像素具有某個(gè)灰度進(jìn)行統(tǒng)計(jì)的結(jié)果，而灰度共生矩陣是對(duì)圖像上保持某距離的兩像素分別具有某灰度的狀況進(jìn)行統(tǒng)計(jì)得到的。經(jīng)過(guò)測(cè)試發(fā)現(xiàn)，蘋(píng)果與背景的灰度共生矩陣的角二階矩、熵、逆差距這 3個(gè)特征有很大差異，再此將角二階矩、熵、逆差距作為特征向量用于紋理特征圖像分割。

(1) 角二階矩(angular second moment, ASM)

角二階矩是灰度共生矩陣元素值的平方和，也稱(chēng)能量，反映了圖像灰度分布均勻程度和紋理粗細(xì)度。如果共生矩陣的所有值均相等，則ASM值??；相反，如果其中一些值大而其它值小，則ASM值大。當(dāng)共生矩陣中元素集中分布時(shí)，ASM值大，ASM值大表明一種較均一和規(guī)則變化的紋理模式。

(2) 熵(entropy)

熵是圖像所具有的信息量的度量，紋理信息也屬于圖像的信息。若圖像沒(méi)有任何紋理，則灰度共生矩陣幾乎為零，則熵值接近為零；若圖像充滿著細(xì)紋理，P(i, j)的數(shù)值近似相等，則該圖像的熵值最大；若圖像中分布著較少的紋理，P(i, j)的數(shù)值差別較大，則該圖像的熵值較小。

(3) 逆差矩(inverse difference moment, IDM)

逆差矩反映圖像紋理的同質(zhì)性，度量圖像紋理局部變化的多少。其值大則說(shuō)明圖像紋理的不同區(qū)域間缺少變化，局部非常均勻。如果灰度共生矩陣對(duì)角元素有較大值，IDM就會(huì)取較大的值。因此連續(xù)灰度的圖像會(huì)有較大IDM值。

3.2 紋理特征分割

將RGB圖像轉(zhuǎn)成灰度圖，提取圖像的灰度共生矩陣特征，利用支持向量機(jī)對(duì)圖像的紋理特征進(jìn)行訓(xùn)練分類(lèi)。SVM是由Vapnik等[11]提出的一類(lèi)基于統(tǒng)計(jì)學(xué)習(xí)理論的模式識(shí)別方法。這一新的通用學(xué)習(xí)方法，是基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化(structural risk minimization, SRM)原理，而不是傳統(tǒng)統(tǒng)計(jì)學(xué)的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化(empirical risk minimization, ERM)，表現(xiàn)出很多優(yōu)于已有方法的性能[12]。截取圖像的方形區(qū)域作為訓(xùn)練樣本，正樣本為蘋(píng)果表面區(qū)域，負(fù)樣本為背景區(qū)域。對(duì)樣本計(jì)算四個(gè)方向的灰度共生矩陣，求取每個(gè)灰度共生矩陣計(jì)算角二階矩、熵、和逆差距這3個(gè)參量，分別得到其平均值構(gòu)成的特征向量，選用徑向基核函數(shù)訓(xùn)練出分類(lèi)器。

在測(cè)試圖像(圖2)的灰度圖上滑動(dòng)窗口，計(jì)算窗口內(nèi)的灰度共生矩陣的 3個(gè)特征向量，用訓(xùn)練好分類(lèi)器對(duì)子窗口的特征向量進(jìn)行分類(lèi)，如果分類(lèi)成正樣本，在二值圖上相應(yīng)的滑動(dòng)窗口位置上置1，如果分類(lèi)成負(fù)樣本，在二值圖上相應(yīng)的滑動(dòng)窗口位置上置0。得到分割結(jié)果如圖3所示。

圖2 原圖像

圖3 紋理分割結(jié)果

3.3 利用顏色分割

在原圖像中存在多個(gè)果實(shí)，與背景在顏色上十分相近，不能以單純的RGB空間的某個(gè)分量進(jìn)行分割。同時(shí)，原圖像上存在多種景物：果實(shí)，樹(shù)葉，枝干、天空，需將獲取的RGB格式圖像轉(zhuǎn)換成HSI空間選取有效的圖像特征提取果實(shí)區(qū)域。

RGB色彩模式是工業(yè)界的一種顏色標(biāo)準(zhǔn)，是通過(guò)對(duì)紅(R)、綠(G)、藍(lán)(B) 3個(gè)顏色通道的變化及其相互之間的疊加來(lái)得到各式各樣的顏色，RGB即是代表紅、綠、藍(lán) 3個(gè)通道的顏色(圖4)，這個(gè)標(biāo)準(zhǔn)幾乎包括了人類(lèi)視力所能感知的所有顏色，是目前運(yùn)用最廣的顏色系統(tǒng)之一。HSI色彩空間是從人的視覺(jué)系統(tǒng)出發(fā)，用色調(diào)(hue)、色飽和度(saturation或chroma)和亮度intensity或brightness)來(lái)描述色彩，如圖5所示，RGB空間到HSI，按下式實(shí)現(xiàn)轉(zhuǎn)換

如圖6所示，在RGB圖像上提取含有果實(shí)的一行像素，將這行像素轉(zhuǎn)換到 HSI顏色空間上，可以得到H、S、I 3個(gè)顏色通道的分布情況圖。通過(guò)觀察得到：I分量反映圖像的亮度，在果實(shí)區(qū)域穩(wěn)定維持在較高的區(qū)域，而周?chē)臉?shù)葉枝干相對(duì)于果實(shí)則沒(méi)有較高的亮度；H反映圖像的色調(diào)，在果實(shí)區(qū)域H維持在一個(gè)較低的水平。本文將I通道與H通道的差值作為區(qū)分果實(shí)與背景的特征，在果實(shí)以外的背景區(qū)域則沒(méi)有如此明顯的分布特征。利用I分量與H分量的差值作為閾值分割圖像，分割后的二值圖結(jié)果如圖7所示。

圖4 RGB顏色空間

圖5 HSI顏色空間

圖6 HSI空間特征提取

圖7 I-H分割結(jié)果

3.4 區(qū)域生長(zhǎng)濾除噪點(diǎn)

將 HSI的分割結(jié)果二值圖與紋理分割結(jié)果的二值圖相融合，進(jìn)行邏輯“與”運(yùn)算，得到兩個(gè)結(jié)果的公共區(qū)域，以此區(qū)域的外圍輪廓為中心區(qū)域向外擴(kuò)展，如果外圍輪廓的鄰域是以上兩個(gè)分割結(jié)果其中一個(gè)的點(diǎn)，那么就將這個(gè)鄰域點(diǎn)作為分隔區(qū)域保留，否則將該點(diǎn)舍棄，這種方式既去除了孤立的小的噪聲點(diǎn)，填補(bǔ)了空洞，又最大范圍的合并了兩種方式的分割結(jié)果。從效果圖(圖6)中可以看出，相比于圖3和圖7，圖8上的小區(qū)域輪廓被大量清除，果實(shí)的輪廓更加清晰完整。

圖8 區(qū)域生長(zhǎng)去噪

4 實(shí)驗(yàn)分析

選取最大類(lèi)間方差法、HSI顏色空間的I-H色差分割、GCLM紋理特征訓(xùn)練SVM分類(lèi)器滑動(dòng)窗口測(cè)試 3種方法與本文算法的結(jié)果做出比較，在這里定義了果實(shí)正確識(shí)別率和錯(cuò)誤識(shí)別率作為評(píng)價(jià)不同分割方法分割效果的標(biāo)準(zhǔn)：

經(jīng)過(guò)實(shí)驗(yàn)測(cè)試不同分割算法得到的數(shù)據(jù)如表 1所示，選取最大類(lèi)間方差法、HSI顏色閾值分割、GCLM紋理特征SVM分類(lèi)3種方法與本文算法的結(jié)果做出比較，可以看出，最大類(lèi)間方差法的使用需要將圖像轉(zhuǎn)換成灰度，這就使很多圖像上的顏色信息被忽略，最大類(lèi)間方差法對(duì)噪音和目標(biāo)大小十分敏感，僅對(duì)類(lèi)間方差為單峰的圖像產(chǎn)生較好的分割效果。當(dāng)目標(biāo)與背景的大小比例懸殊時(shí)，最大類(lèi)間方差準(zhǔn)則函數(shù)可能呈現(xiàn)雙峰或多峰，此時(shí)效果不好，但是類(lèi)間方差法是用時(shí)最少的。利用HSI顏色空間分割圖像，先將RGB圖像轉(zhuǎn)換到HSI空間，選取I與H的差值作為顏色分割特征，識(shí)別效果比最大類(lèi)間方差法要好，作為閾值分割，其提取了更多的圖像信息，導(dǎo)致用時(shí)稍長(zhǎng)；由于圖像上蘋(píng)果目標(biāo)的背景過(guò)于復(fù)雜，包括枝干、樹(shù)葉、天空等景物，在很大程度上影響分割結(jié)果，錯(cuò)誤的分割出了許多小的區(qū)域,必須要經(jīng)過(guò)形態(tài)學(xué)處理才能有令人滿意的分割結(jié)果。GCLM紋理特征SVM分類(lèi)，采用從GCLM中提取的特征向量進(jìn)入SVM分類(lèi)器進(jìn)行分類(lèi)，識(shí)別效果好于前兩種方法，仍然錯(cuò)誤的分割出了許多小的區(qū)域，同樣需要形態(tài)學(xué)處理，但GLCM計(jì)算量比較大，用時(shí)較長(zhǎng)。本文的方法結(jié)合了前兩種方法的優(yōu)點(diǎn)，在前兩中方法的二值圖結(jié)果，相疊加再進(jìn)行區(qū)域生長(zhǎng)，去除孤立的小的噪聲點(diǎn)，填補(bǔ)了空洞，又最大范圍的合并了兩種方式的分割結(jié)果，分割出的效果也是最好的，用時(shí)比GCLM紋理特征SVM分類(lèi)也更長(zhǎng)。本文算法的分割結(jié)果如圖9所示。

表1 不同分割算法比較

圖9 本文算法分割結(jié)果

5 選擇性識(shí)別目標(biāo)

分割之后的圖像上會(huì)在二值圖上存在多個(gè)輪廓區(qū)域，這些區(qū)域有的是果實(shí)的目標(biāo)，也有其他的不相關(guān)區(qū)域，將這些區(qū)域都單獨(dú)提取出來(lái)，并找到包含該目標(biāo)的最小外接矩形。根據(jù)蘋(píng)果的形狀確定外接矩形的長(zhǎng)寬比，將長(zhǎng)寬比過(guò)大或者過(guò)小的外接矩形排除得到最終的識(shí)別結(jié)果如圖10所示。

圖10 果實(shí)分割標(biāo)定結(jié)果

6 結(jié)論與展望

針對(duì)果蔬采摘機(jī)器人的視覺(jué)系統(tǒng)簡(jiǎn)單快速的要求，采用紋理分割和HSI顏色空間和方法對(duì)生長(zhǎng)環(huán)境中的蘋(píng)果進(jìn)行圖像分割，進(jìn)而做視覺(jué)上的標(biāo)定，為接下來(lái)的采摘?jiǎng)幼鞯膱?zhí)行做準(zhǔn)備。對(duì)采集到的圖像在HSI空間中通過(guò)H-I的特征進(jìn)行分割，同時(shí)利用灰度共生矩陣提取紋理特征進(jìn)行SVM聚類(lèi)分割。將二者的分割結(jié)果相疊加獲取分割結(jié)果，對(duì)果實(shí)進(jìn)行標(biāo)定之前還需要通過(guò)攝像頭的成像模型計(jì)算出滿足采摘距離尺寸的目標(biāo)進(jìn)行最后的標(biāo)定。運(yùn)行實(shí)驗(yàn)表明，該方法具有分割效率高、速度快的特點(diǎn)。該方法既可以用于果實(shí)和背景顏色差異大的圖像分割，還可以用于果實(shí)和背景顏色相近的綠色果實(shí)分割。在果實(shí)有粘連和其他物體遮擋的情況下該方法在分割完成后不能得到令人滿意的標(biāo)定效果如圖11所示，這將是今后要解決的問(wèn)題。

圖11 果實(shí)粘連分割標(biāo)定結(jié)果

[1] 司永勝, 喬 軍, 劉 剛, 等. 蘋(píng)果采摘機(jī)器人果實(shí)識(shí)別與定位方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2010, 41(9): 148-153.

[2] 張潤(rùn)浩, 李 軍, 任 靜, 等. 基于高斯自適應(yīng)擬合的蘋(píng)果目標(biāo)分割方法研究[J]. 農(nóng)機(jī)化研究, 2015, (6): 13-17.

[3] 王津京, 趙德安, 姬 偉, 等. 采摘機(jī)器人基于支持向量機(jī)蘋(píng)果識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2009, 40(1): 148-151, 147.

[4] Meyer G E, Mehta T, Kocher M F, et al. Textural imaging and discriminant analysis for distinguishing weeds for spot spraying [J]. Transactions of the ASAE, 1998, 41(4): 1189-1197.

[5] 熊俊濤, 鄒湘軍, 劉 念, 等. 基于機(jī)器視覺(jué)的荔枝果實(shí)采摘時(shí)品質(zhì)檢測(cè)技術(shù)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2014, 45(7): 54-60.

[6] Yin H, Chai Y, Yang S X, et al. Ripe tomato recognition and localization for a tomato harvesting robotic system [C]//International Conference of Soft Computing and Pattern Recognition. New York: IEEE Press, 2009: 557-562.

[7] 羅希平, 田 捷. 圖像分割方法綜述[J]. 模式識(shí)別與人工智能, 1999, 12(3): 300-312.

[8] Brink A D. Tresholding of digital images using two dimensional entropies [J]. Pattern Recognition, 1992, 25(8): 803-808.

[9] 朱曉臨, 李雪艷, 邢 燕, 等. 基于小波和奇異值分解的圖像邊緣檢測(cè)[J]. 圖學(xué)學(xué)報(bào), 2014, 35(4): 563-570.

[10] 肖 飛, 綦星光. 圖像分割方法綜述[J]. 世界科技研究與發(fā)展, 2009, 31(6): 77-79.

[11] Vapnik V, Levin E, Le C Y. Measuring the VC dimension of a learning machine [J]. Neural Computation, 1994, (6): 851-876.

[12] 祁亨年. 支持向量機(jī)及其應(yīng)用研究綜述[J]. 計(jì)算機(jī)工程, 2004, 30(10): 6-9.

Apple Identification and Calibration Based on the Texture Characteristics and HSI Space

Li Dahua, Zhao Xiangfei, Xu Liang, Yu Bo

(Tianjin Complex System Control Theory and Application of Key Laboratory, Tianjin University of Technology, Tianjin 300384, China)

This paper, after analyzing different image segmentation methods, presents an image segmentation algorithm based on color and texture features in order to enable an apple picking robot to separate targets from complex backgrounds. Texture features of grayscale images are analyzed to obtain ground launched cruise missile for feature extraction and to segment images by support vector machine. Besides, in combination with chromatic aberration in HSI color space, targets are effectively separated from their backgrounds. By comparison with the methods of color analysis and texture analysis, this algorithm provides higher rate of recognition and ever better result in separating fruits with similar colors to backgrounds.

gray level co-occurrence matrix; HSI space; support vector machine; segmentation

TP 274

10.11996/JG.j.2095-302X.2016050688

A

2095-302X(2016)05-0688-06

2016-01-22；定稿日期：2016-05-11

國(guó)家自然科學(xué)基金項(xiàng)目(61308120)

李大華(1978–)，男，天津人，副教授，碩士。主要研究方向?yàn)閳D形圖像處理。E-mail：lidah2005@163.com