李 頎 胡家坤 -
(陜西科技大學(xué)電氣與控制工程學(xué)院,陜西 西安 710021)
目前,蘋果的分級主要靠人工完成,該方法存在主觀誤差大、效率低和蘋果易造成二次損傷等問題。隨著機器視覺技術(shù)的快速發(fā)展,圖像處理在水果質(zhì)量檢測方面也取得了深入進展[1]。Yang等[2]提出了基于多圖像特征和加權(quán)k均值聚類算法的蘋果自動分級方法,該方法能快速有效地將蘋果按質(zhì)量進行分級,但并不能實現(xiàn)蘋果缺陷類型的具體區(qū)分。Li等[3]提出了基于蘋果大小、顏色和果形特征的決策信息融合方法,利用BP神經(jīng)網(wǎng)絡(luò)分類器進行分類,然后將分類器的輸出進行組合構(gòu)造基本概率分類器,根據(jù)D-S融合規(guī)則進行決策,但其分級準(zhǔn)確率較低。王陽陽等[4]采用同態(tài)濾波和改進的K-means算法對蘋果圖像進行了背景分割和特征提取,但只能處理蘋果的一個面,因此準(zhǔn)確率較低。石瑞瑤等[5]利用鏡面反射的原理采集蘋果側(cè)面,再結(jié)合正面圖像進行處理,對鏡子中的圖像進行分割,增加了識別時間和分級效率。于蒙等[6]將彩色圖片HSI模型中S通量分離出來,采用神經(jīng)網(wǎng)絡(luò)對是否存在缺陷進行判斷,但該方法樣本大,訓(xùn)練速度慢,增加了系統(tǒng)運行時間,降低了分級效率。
試驗擬通過采集視野內(nèi)蘋果的正面和側(cè)面圖,綜合兩個面的特征對蘋果進行分級,通過粒子群優(yōu)化的SVM決策樹算法將蘋果分為特級果、一級果、二級果和等外果,以增加蘋果在線分級的準(zhǔn)確度并提高分級效率。
紅富士蘋果[7]:綜合GB/T 10651—2008以及NY/T 1075—2006,根據(jù)蘋果果徑、果形、著色度、疤痕和果銹特征將紅富士蘋果劃分為特級果、一級果、二級果和等外果,如表1所示。試驗樣本為經(jīng)人工嚴(yán)格揀選的各等級紅富士各100個,試驗地點為西安品誠電子科技有限公司。
表1 紅富士外觀等級分級標(biāo)準(zhǔn)
圖像采集裝置(圖1)包括傳送帶、黑色暗箱、LED燈、CCD彩色工業(yè)相機、PC、翻滾裝置以及光電傳感器。傳送帶尺寸為150 cm×40 cm;暗箱尺寸為40 cm×40 cm×40 cm;兩個長度為35 cm的LED補光燈置于暗箱頂部側(cè)面;CCD工業(yè)相機垂直懸掛于暗箱頂部中央位置,像素為300 W,最大分辨率為2 048×1 536,相機視場大小為40 cm×40 cm;光電傳感器位于暗箱入口處;翻滾裝置大小為40 cm×10 cm,最多可同時翻轉(zhuǎn)5個蘋果。
1. 傳送帶 2. 光電傳感器 3. 翻滾裝置 4. LED燈 5. CCD相機 6. PC 7. 暗箱
通過對蘋果果徑、果形、著色度、疤痕和果銹特征特點進行分析可知,根據(jù)蘋果上表面圖像可得出果徑特征,根據(jù)蘋果側(cè)面圖像可得到果形特征,根據(jù)果銹形成原因與分布特點可知其多分布于蘋果的上表面和側(cè)面。故為了提高分級準(zhǔn)確性,綜合蘋果上表面和一個側(cè)面圖像特征對蘋果進行在線分級。
當(dāng)光電傳感器檢測到有蘋果完全進入后,相機開始采集圖像。首先,將蘋果果梗擺放在與傳送帶運動方向垂直的方向上,此時攝像頭采集一幅蘋果上表面圖像,經(jīng)翻滾裝置后攝像頭采集一幅蘋果側(cè)面朝上的圖像。為了保證采集到的圖像清晰且光線均勻,在暗箱內(nèi)部兩側(cè)靠近頂部的位置安裝兩個相互對稱的LED補光燈。
1.3.1 圖像預(yù)處理 系統(tǒng)通過攝像頭采集蘋果圖像,由于蘋果表面光滑,光線容易發(fā)生反射,所拍攝到的果面可能會因為角度和光照影響出現(xiàn)光照不均現(xiàn)象,故采用同態(tài)濾波方式對圖像進行增強,采用中值濾波方式消除噪聲。同時,為了提高蘋果在線分級的效率,僅對感興趣區(qū)域進行背景分割與特征提?。蛔詈缶C合兩幅不同位姿的蘋果圖像信息對蘋果進行分級。
1.3.2 背景分割 為了從蘋果圖像中提取出蘋果輪廓,一般采用邊緣檢測、閾值分割、區(qū)域提取3種方法。由于光照、拍攝角度等問題,單一的閾值又不利于多峰圖像的分割,在復(fù)雜背景下容易出現(xiàn)欠分割、過分割等問題,所以采用全局閾值分割效果并不理想。自適應(yīng)Ostu閾值分割算法可以通過自動計算最佳閾值對圖像中的蘋果進行提取。泛洪填充算法是從一個點開始,將其附近像素點依次填充成新的顏色,直到封閉區(qū)域內(nèi)的所有像素點均被填充成新顏色為止,采用泛洪填充算法將圖像中與背景顏色相近的部分填充成黑色,可以突出背景與前景的差距。故采用泛洪填充+自適應(yīng)Ostu的算法進行背景分割,使Ostu自適應(yīng)分割效果更加顯著,具體步驟如下。
(1) 將輸入的原圖[圖2(a)]進行圖像預(yù)處理。
(2) 對預(yù)處理后的圖像進行泛洪填充,計算得到圖像高度h和寬度w,種子點(w-1,h-1),填充的顏色RGB新值為(0,0,0),相對于種子點向下的像素值為(10,10,10),向上的像素值為(9,9,9),采用8領(lǐng)域填充法進行填充,結(jié)果如圖2(d)所示。
(3) 假設(shè)圖2(d)前景與背景分割閾值為t,前景點占圖像的比例為W0,均值為U0,背景點占圖像的比例為W1,均值為U1。那么,整個圖像的均值為:
U=W0×U0+W1×U1。
(1)
目標(biāo)函數(shù)為:
g(t)=W0×(U0-U)2+W1×(U1-U)2。
(2)
其中g(shù)(t)是分割閾值為t時的類間方差表達式。Ostu算法可以使g(t)取得全局最大值,當(dāng)g(t)達到最大時,所對應(yīng)的t被稱為最佳閾值,處理結(jié)果如圖2(f)所示。
由圖2可知,未進行泛洪填充處理的圖像灰度直方圖存在兩個尖峰,對原圖進行Ostu分割后的邊緣較差,存在欠分割問題;經(jīng)泛洪填充后的圖像直方圖尖峰明顯,進行Ostu分割處理效果很好,證明了試驗方法是可行的。
圖2 圖像分割過程與比較
1.4.1 果徑 根據(jù)鮮蘋果分級標(biāo)準(zhǔn)可知,蘋果果徑等于蘋果的最大橫截面直徑。故采用最小外接圓法對蘋果上表面的二值化圖像進行計算,得到蘋果果徑,結(jié)果如圖3所示。
圖3 最小外接圓
首先按式(3)計算出最小外接圓的質(zhì)心(Cx,Cy)。
(3)
式中:
Cx——質(zhì)心的橫坐標(biāo);
Cy——質(zhì)心的縱坐標(biāo);
M10——二值圖中水平向右的像素個數(shù);
M00——總像素個數(shù);
M01——垂直向下的像素個數(shù)。
將圖像的質(zhì)心作為蘋果輪廓的圓心,遍歷輪廓上所有像素點,計算出目標(biāo)像素點離質(zhì)心的最大距離d,即最小外接圓的半徑。
(4)
式中:
xi——目標(biāo)像素點的橫坐標(biāo);
yi——目標(biāo)像素點的縱坐標(biāo);
d——兩點之間的距離。
R=f(2d),
(5)
式中:
R——果徑,mm;
f(x)——實際尺寸大小R與最小外接圓d之間對應(yīng)的關(guān)系。
通過游標(biāo)卡尺測量30個蘋果的真實半徑,使用CurveExpert軟件對f(x)進行擬合可得:
f(x)=0.843 6x-6.941 3。
(6)
1.4.2 果形 根據(jù)GB/T 22444—2008,按式(7)計算果形。
(7)
式中:
K——果形指數(shù);
L——果實最大縱徑,mm;
D——果實最大橫徑,mm。
為了獲取果實的最大縱徑,對蘋果側(cè)表面圖像進行處理。利用最小外接矩形法提取蘋果的最大橫徑與最大縱徑,結(jié)果如圖4所示。
圖4 果形提取
1.4.3 著色度 目前,常用的彩色模型包括RGB模型和HSV模型。其中HSV模型更符合人眼對顏色的認(rèn)知,是面向彩色處理最常用的模型,其中H為色度、S為飽和度、V為明度[8]。故選擇在HSV顏色空間上對蘋果的著色度、疤痕和果銹特征進行提取。
根據(jù)紅富士蘋果分級標(biāo)準(zhǔn)可知,蘋果著色度為統(tǒng)計集中著色面,條紅或者片紅的程度。通過統(tǒng)計兩幀圖像中紅色所占的比例,得出紅富士蘋果的著色度。
首先將RGB圖轉(zhuǎn)換成HSV圖,然后選取紅色的提取范圍H(156~180)、S(43~256)、V(46~255)。經(jīng)閾值處理后統(tǒng)計圖像中白色像素點個數(shù),按式(8)計算蘋果的著色度。
(8)
式中:
C——著色度;
C1——第一幀蘋果的著色度;
C2——第二幀蘋果的著色度;
r1——第一幀圖像閾值處理后白色像素點個數(shù);
r2——第二幀圖像閾值處理后白色像素點個數(shù);
s1——第一幀整個蘋果像素點個數(shù);
s2——第二幀整個蘋果像素點個數(shù)。
蘋果著色的提取結(jié)果如圖5所示。
圖5 著色度提取
1.4.4 蘋果缺陷 蘋果在生長、采摘和運輸過程中受天氣、病害、蟲害和碰傷等傷害產(chǎn)生疤痕。蘋果果銹是一種比較常見的蘋果病害,特別是在中小果園種植的紅富士蘋果中最為常見,故將疤痕和果銹特征參數(shù)作為蘋果缺陷的判定依據(jù)。由于果梗處的顏色較深,比較容易被判定為疤痕,為了消除此影響,將除果梗處的蘋果區(qū)域視為感興趣區(qū)域。
為了提取蘋果疤痕和果銹特征,首先將采集到的蘋果圖像由RGB空間轉(zhuǎn)換到HSV空間,并且分離出圖像的H(色相)、S(飽和度)和V(亮度)通道圖像,如圖6、7所示。
圖6 蘋果疤痕圖像及HSV各通道圖像
圖7 蘋果果銹圖像及HSV各通道圖像
由圖6、7可知,蘋果的疤痕和果銹的亮度較暗,故根據(jù)蘋果HSV圖像的亮度值對蘋果的疤痕和果銹進行特征提取。通過分析疤痕和果銹圖像特點,將感興趣區(qū)域中像素點在V∈(120~140)的區(qū)域視為疤痕區(qū)域,V∈(150~180)的區(qū)域視為果銹區(qū)域。按式(9)計算蘋果疤痕和果銹。
(9)
式中:
S——疤痕面積,cm2;
G——果銹面積,cm2;
n1——V∈(120~140)像素點個數(shù);
n2——V∈(150~180)像素點個數(shù)。
由于SVM算法在小樣本訓(xùn)練集上的分類效果相比于其他分類算法有較好的表現(xiàn),可以提高模型的泛化能力,能夠處理高維空間的數(shù)據(jù),故選擇SVM算法對蘋果進行分類。但SVM算法最初是針對二分類問題提出的[9],并不能直接應(yīng)用于多分類問題,由于試驗將蘋果分為多個等級,因此選擇多分類SVM分類器對蘋果進行分級。
SVM分類器的懲罰參數(shù)C與核參數(shù)σ對最后的分類結(jié)果影響非常大,所以需對其進行優(yōu)化選取。而粒子群算法有著很好的全局尋優(yōu)能力,可以有效解決非線性問題,收斂速度快,但容易陷入局部最優(yōu)[10],故采用基于改進粒子群算法的SVM決策樹的分類方法進行蘋果分級工作,可以克服決策樹本身對門限敏感和錯誤傳遞的缺陷[11]。
對蘋果樣本進行果徑、果形、著色度、疤痕和果銹特征的提取,然后將特征參數(shù)送入SVM決策樹分級模型,通過分級模型將蘋果分為特級果、一級果、二級果和三級果。
1.5.1 SVM分類器的設(shè)計 假設(shè)訓(xùn)練樣本為(xi,yi),i=1,2,…,l,xi∈Rn,yi∈{-1,1},l為樣本個數(shù),n為輸入維數(shù)。當(dāng)兩類樣本為線性可分時,選擇線性分類器的目標(biāo)函數(shù)為:
(10)
當(dāng)訓(xùn)練集樣本為線性不可分時,需引入松弛變量與懲罰參數(shù),經(jīng)優(yōu)化的目標(biāo)函數(shù)為:
(11)
式中:
w、b——待求系數(shù);
ζ——松弛變量(可由經(jīng)驗值得到);
C——懲罰參數(shù)(控制松弛變量造成的影響)。
由于采集到的特征值所對應(yīng)的特征向量為高維特征向量,在低維空間線性不可分,故采用徑向基核函數(shù)對上述目標(biāo)函數(shù)進行求解,其數(shù)學(xué)表達式為:
(12)
式中:
‖x1-x2‖——向量間的距離;
σ——給常數(shù)(可由改進的粒子群優(yōu)化算法進行選取)。
(1) 首先將{C、σ}映射成一個粒子,然后對種群的大小、最大迭代次數(shù)、C與σ的取值范圍、粒子的初始位置以及速度進行初始化。
(2) 根據(jù)適應(yīng)度函數(shù)計算適應(yīng)度值,然后通過排序確定粒子群的全局歷史最優(yōu)值。
(3) 更新迭代新粒子的位置及速度。采用動態(tài)的慣性權(quán)重,其上限為0.9,下限為0.4,可以使得粒子群前期注重全局尋優(yōu),后期注重局部尋優(yōu),慣性權(quán)重隨迭代次數(shù)增加而降低。
(4) 迭代終止,輸出最優(yōu)懲罰參數(shù)C和核參數(shù)σ。
通過改進的粒子群優(yōu)化算法得到SVM參數(shù),建立SVM二分類器,為建立SVM決策樹模型作好準(zhǔn)備。
1.5.2 SVM決策樹模型的建立 根據(jù)紅富士蘋果分級標(biāo)準(zhǔn),將紅富士蘋果分成特等果、一級果、二級果和等外果4個類別。若采用SVM算法進行4分類需要構(gòu)造一個三級SVM分類模型,模型比較復(fù)雜,訓(xùn)練耗時,會降低蘋果在線分級的效率。故為了降低模型的復(fù)雜度,提高蘋果在線分級效率,采用決策樹+SVM多分類模型結(jié)合的方法進行蘋果分級。
由于等外果的果徑、果形、著色度、疤痕以及果銹特征參數(shù)與其他幾個級別蘋果的特征參數(shù)差別較大,故首先進行等外果等級的判定。假設(shè)蘋果圖像提取到的五維特征為η=[R,K,C,S,G],將果徑、果形和著色度特征參數(shù)設(shè)為一組η1=[R,K,C],將疤痕與果銹特征參數(shù)設(shè)為一組η2=[S,G],將等外果設(shè)定閾值設(shè)為η01=[0.6,0.5,0.55]和η02=[0.5,0.1]。模型首先對輸入樣本進行等外果等級判斷,當(dāng)η1<η01或η2>η02時,系統(tǒng)將其判定為等外果,不再進行后續(xù)處理并直接輸出結(jié)果。當(dāng)η1≥η01且η2≤η02時系統(tǒng)將其判定為等內(nèi)果并進行后續(xù)的分級處理。SVM決策樹模型如圖8所示。
圖8 SVM決策樹模型
試驗采用SVM分類器級連+決策樹的方式建立分級模型,樣本在經(jīng)決策判斷后被送入SVM1分類器中,被分成特級果以及次級果,然后次級果被送入SVM2分類器中,被分成一級果以及等外果。
試驗是在Intel 酷睿i7處理器,運行內(nèi)存16G的電腦上進行。編程環(huán)境是python 3.5.4以及opencv 4.1.1。采用200萬像素?zé)o畸變工業(yè)CCD相機進行蘋果圖像采集,分辨率為1 280×760,幀率為60。
對采集到的第一幀蘋果圖像進行輪廓的提取,采用最小外接圓法得到蘋果的像素直徑,然后將其與通過游標(biāo)卡尺測量的蘋果真實果徑進行擬合處理,部分樣本數(shù)據(jù)如表2所示。
表2 部分樣本數(shù)據(jù)
經(jīng)曲線擬合可以獲得像素點個數(shù)與實際尺寸之間的關(guān)系,其平均誤差為1 mm,可以滿足實際需求。
試驗前,挑選出經(jīng)人工嚴(yán)格分揀的各級紅富士蘋果100個,隨機選取其中各50個作為SVM決策樹模型的訓(xùn)練樣本,其余樣本作為測試樣本。將200個訓(xùn)練樣本嚴(yán)格按照等級依次擺放在傳送帶上。將樣本的果徑、果形、著色度、疤痕和果銹5個特征作為模型的輸入,通過粒子群優(yōu)化算法對SVM1分類器和SVM2進行參數(shù)的選擇,最終完成整個SVM決策樹模型的訓(xùn)練。將粒子群優(yōu)化算法的種群數(shù)量設(shè)置為20,最大迭代次數(shù)設(shè)置為100,得到SVM1的懲罰參數(shù)C1=15.6,核參數(shù)σ1=3.4,SVM2的懲罰參數(shù)C2=17.2,核參數(shù)σ2=7.8,其粒子群的適應(yīng)度變化曲線如圖9所示。
圖9 適應(yīng)度變化曲線
然后用剩下的200個蘋果對試驗中的方法進行驗證,將各等級的50個樣本排序放置于傳送帶上,基于機器視覺技術(shù),提取蘋果的多個特征,利用SVM決策樹模型對蘋果進行在線分級,結(jié)果如表3所示。以人工分級為標(biāo)準(zhǔn),特級果、一級果、二級果和等外果的分級準(zhǔn)確率分別為96%,94%,98%,98%,總體準(zhǔn)確率為96.5%,由此驗證了文章提出的方法的準(zhǔn)確性和可行性。同時,在試驗環(huán)境下,當(dāng)傳送帶運行速率為0.3 m/s時,平均分級速度為4個/s,高于人工分級,可以滿足蘋果在線分級的需求。
表3 分級檢測結(jié)果
采用試驗方法對紅富士蘋果進行在線分級,分級準(zhǔn)確率較高,但仍對個別樣本做出了誤判,分析其原因主要有:
(1) 人工原因:當(dāng)人工對蘋果樣本進行標(biāo)注時,可能會出現(xiàn)個別蘋果標(biāo)注不準(zhǔn)確,造成了分級結(jié)果與人工對比時出現(xiàn)了差別,造成了誤判。為了消除此影響,后續(xù)將采用多重人工標(biāo)注法,確保人工標(biāo)注的準(zhǔn)確性。
(2) 外部原因:系統(tǒng)可能受到傳送帶速度不穩(wěn),及光源不穩(wěn)定等問題的影響,造成蘋果等級的誤判,后續(xù)將對裝置進行改進,采用獨立穩(wěn)壓電源進行供電。
(3) 視覺原因:由于視覺成像限制,無法采集到整個蘋果的所有圖像,存在誤判的可能,后續(xù)將針對這一問題,在傳送帶兩側(cè)放置機械臂與攝像頭,攝像頭采集機械臂抓舉后蘋果的側(cè)面與底面圖像,提升系統(tǒng)的分級準(zhǔn)確性。
文章提出了基于機器視覺的蘋果在線分級方法,通過對預(yù)處理圖像采取泛洪填充+自適應(yīng)Ostu閾值分割算法提取蘋果輪廓,采用改進的粒子群優(yōu)化的SVM決策樹模型對采集的蘋果進行分級。結(jié)果表明,蘋果分級的平均準(zhǔn)確率和效率分別達到了96.5%和4個/s,證明了試驗方法的可行性。但分級過程中仍存在個別誤判現(xiàn)象,為后續(xù)研究的改進之處。