林海波，盧元棟，丁榮誠，修玉峰

(青島理工大學(xué)機(jī)械與汽車工程學(xué)院，山東 青島 266520)

中國是世界上最大的蘋果生產(chǎn)國，蘋果產(chǎn)量有逐年升高趨勢，但因蘋果質(zhì)量參差不齊，出口量占全球蘋果出口量的比重較低［1］。 目前我國蘋果外部品質(zhì)分級還主要依靠人工，主觀性較強(qiáng)；也有部分依靠基于大小或顏色的機(jī)械分級機(jī)，但難以滿足綜合分級要求且易對蘋果造成機(jī)械傷害［2］。 實(shí)現(xiàn)果實(shí)質(zhì)量在線監(jiān)測分級［3－5］對于提高我國蘋果產(chǎn)值具有重要意義。

近年來機(jī)器視覺逐漸滲透到農(nóng)業(yè)領(lǐng)域，主要應(yīng)用于農(nóng)產(chǎn)品檢測［6］。 諸多學(xué)者也將其應(yīng)用于蘋果分級，通過提取蘋果的大小［7－10］、形狀［11，12］、顏色［13－17］、缺陷［18－22］、紋理［23－25］等特征進(jìn)行識別與分級，取得了一定成果。 然而，僅根據(jù)蘋果的單一特征進(jìn)行分級仍難免存在偏差。 為此，一些學(xué)者對融合多個特征實(shí)現(xiàn)蘋果分級進(jìn)行了研究，如Jana 等［26］從分割后的圖像中提取灰度共生矩陣的紋理特征和統(tǒng)計(jì)顏色特征，并基于支持向量機(jī)(SVM)進(jìn)行訓(xùn)練預(yù)測；雷歡等［27］通過直方圖變換提取蘋果的顏色特征，并將其與局部和全局紋理特征融合，利用SVM 識別蘋果品種；宋榮杰等［28］利用灰度共生矩陣、分形和空間自相關(guān)三種紋理特征分別與光譜特征組合，最后利用SVM 進(jìn)行蘋果園提??；樊澤澤等［29］融合顏色與果徑大小進(jìn)行蘋果分級與檢測，準(zhǔn)確率達(dá)91.6%；包曉安等［30］利用改進(jìn)的人工神經(jīng)網(wǎng)絡(luò)算法根據(jù)蘋果的顏色、形狀和質(zhì)量進(jìn)行等級判別，準(zhǔn)確率為88.9%；張婧婧等［31］根據(jù)蘋果的紅色著色比、缺陷、果徑進(jìn)行分級；任龍龍等［32］利用蘋果的大小、顏色、缺陷度以及圓形度進(jìn)行分級；王陽陽等［33］根據(jù)大小、果形、質(zhì)量、顏色、缺陷5 個方面對秦冠蘋果進(jìn)行分級，準(zhǔn)確率達(dá)到97%；李學(xué)軍等［34］利用判別樹和改進(jìn)支持向量機(jī)決策融合來分級；李先鋒等［35］利用D－S 證據(jù)理論對蘋果的大小、形狀、顏色和缺陷4 個特征進(jìn)行決策級融合處理，實(shí)現(xiàn)蘋果綜合分級，準(zhǔn)確率達(dá)92.5%。 Bhargava 等［36］利用主成分分析從特征空間中選取統(tǒng)計(jì)特征、紋理特征、幾何特征、離散小波變換特征、梯度直方圖特征和紋理能量，并利用SVM 進(jìn)行分級，得到較高的準(zhǔn)確率；Yu 等［37］提取蘋果的最大橫截面平均直徑、圓度、紅色面積的比例和缺陷區(qū)域，通過加權(quán)Kmeans 聚類算法實(shí)現(xiàn)蘋果分級，準(zhǔn)確率高于96%。綜上所述，利用多個特征進(jìn)行蘋果分級比單個特征分級更準(zhǔn)確、更可靠。

為較充分地描述蘋果的外部特征，本研究選用每個蘋果1 幅頂部及3 幅側(cè)面圖像，利用圖像處理方法提取其大小、形狀、顏色、缺陷、紋理5 個特征的8 個指標(biāo)，建立多特征融合分級模型，并用改進(jìn)的SVM，實(shí)現(xiàn)了蘋果準(zhǔn)確分級，其流程如圖1所示。 該方法可為進(jìn)一步提高蘋果自動化分級準(zhǔn)確率提供參考。

圖1 方法流程圖

1 圖像獲取及預(yù)處理

隨機(jī)選擇嘎啦蘋果果實(shí)，在實(shí)驗(yàn)室燈光環(huán)境下由Manta G046C 相機(jī)拍攝。 拍攝背景選為黑色，便于圖像處理；相機(jī)鏡頭與放置蘋果的桌面垂直，且與桌面距離25 cm；采集圖像的分辨率為4 624×3 472，格式為.JPEG。 為了準(zhǔn)確提取蘋果特征，每個蘋果采集不同方位的4 幅圖像，包括1幅頂部圖像、3 幅側(cè)面圖像。

由于拍攝過程中環(huán)境的光線不均及背景存在略微反光現(xiàn)象，首先采用同態(tài)濾波算法，通過壓縮亮度范圍和增強(qiáng)對比度改善圖像質(zhì)量。

2 背景分割

將圖像轉(zhuǎn)換到一個合適的顏色空間對于背景分割尤為重要。 由于色度受光照條件影響小，因此，首先將蘋果圖像從RGB 顏色空間轉(zhuǎn)換到HLS顏色空間。 兩個顏色空間之間的轉(zhuǎn)換關(guān)系如式(1)～(3)所示:

然后將彩色圖像轉(zhuǎn)換為灰度圖像(圖2)。 通過比較HLS 顏色空間中不同分量獲得的灰度圖，可以發(fā)現(xiàn)S 分量獲得的灰度圖中蘋果最清晰，且與背景的對比度也更高。 因此，選用S 分量來獲取灰度圖。

圖2 HLS 顏色空間不同分量得到的灰度圖

之后使用Qtsu 方法分割背景得到二值化圖(圖3a)。 為了消除果梗及可能的缺陷對特征提取的影響，對圖像進(jìn)行形態(tài)學(xué)處理:采用11×11 的矩形結(jié)構(gòu)元對圖像進(jìn)行腐蝕操作，再對其進(jìn)行膨脹操作，去掉果梗(圖3b)；采用孔洞填充去除因蘋果表面缺陷而形成的黑色孔洞(圖3c)。 最后通過Canny 算法檢測到比較清晰的蘋果邊緣輪廓(圖3d)。

圖3 圖像的形態(tài)學(xué)處理和蘋果輪廓檢測

3 特征提取

3.1 蘋果大小提取

果實(shí)大小是蘋果的重要外部特征之一，一般采用最大橫切面直徑來表示。 本研究利用蘋果的3幅側(cè)面圖來提取蘋果的大小特征。 以每幅圖像中蘋果輪廓的最大橫坐標(biāo)值與最小橫坐標(biāo)值之差作為蘋果最大橫切面的直徑，取3 幅圖像的平均值作為蘋果最大橫切面直徑的最終值。 每幅圖像中蘋果最大橫切面直徑的計(jì)算方法如式(4)所示:

式中D 表示每幅圖像提取的蘋果最大橫切面直徑，xi表示每幅圖像中蘋果輪廓點(diǎn)的橫坐標(biāo)。

上述提取的蘋果大小單位為像素，需要將其轉(zhuǎn)換為實(shí)際使用的毫米單位。 首先，人工測量蘋果的最大橫切面直徑，每個蘋果測量3 次并取平均值；然后將實(shí)際測量值(Dactrual)與圖像提取值(D)制作散點(diǎn)圖(圖4)，發(fā)現(xiàn)二者成近似線性關(guān)系，擬合后得到線性方程Dactrual＝0.03D＋9.31。

圖4 蘋果最大橫切面直徑的實(shí)測值與圖像提取值的關(guān)系

3.2 蘋果形狀提取

形狀是蘋果分級的一個重要參考指標(biāo)。 本研究用圓度表示蘋果形狀，取蘋果頂部圖和3 幅側(cè)面圖的輪廓圓度平均值作為該蘋果的圓度，圓度的取值范圍為0～1，越接近于1，蘋果輪廓越近似圓形，看起來也越飽滿。 每幅圖像蘋果輪廓圓度的計(jì)算方法如式(5)所示:

式中，E、S、P 分別表示一幅圖像中蘋果輪廓的圓度、面積及周長。

3.3 蘋果顏色提取

顏色是人們通過視覺直接獲取的蘋果外部特征之一，可在一定程度上反映蘋果內(nèi)部品質(zhì)。 本研究采用紅色著色率R 來描述蘋果的顏色特征，反映了蘋果的平均成熟程度。 在HLS 顏色空間中，H 分量表示所處光譜顏色的位置，取值范圍為0°～360°，蘋果表面顏色越紅，H 分量的值越接近0°。 經(jīng)過研究與比較，將蘋果表面H 值小于12°的區(qū)域與蘋果區(qū)域面積的比值作為紅色著色率。取3 幅蘋果側(cè)面圖分別計(jì)算紅色著色率，取三者平均值作為蘋果最終的紅色著色率。

3.4 蘋果缺陷提取

果實(shí)表面存在的撞傷、蟲傷、腐爛等缺陷皆會影響蘋果質(zhì)量，因此，果實(shí)表面缺陷也是蘋果分級的一個重要指標(biāo)。 在獲取的蘋果圖像中，缺陷區(qū)域通常較暗，因此，將彩色圖像轉(zhuǎn)換至L 通道分量的灰度圖像后經(jīng)閾值分割即可提取出蘋果的缺陷區(qū)域。 本研究用缺陷面積占比(缺陷區(qū)域面積與蘋果區(qū)域面積的比值，F(xiàn))衡量蘋果的缺陷特征，以3 幅側(cè)面圖的平均值作為蘋果最終缺陷面積占比。

3.5 蘋果紋理提取

果實(shí)表面的紋理特征也是衡量蘋果品質(zhì)的重要指標(biāo)，其可以在一定程度上反映出蘋果的內(nèi)部品質(zhì)。 一般來說，同一品種的蘋果在大小及顏色特征相似的情況下，紋理清晰的蘋果質(zhì)量會更高。本研究首先計(jì)算蘋果圖像的灰度共生矩陣，然后計(jì)算矩陣的對比度、能量、熵、相關(guān)性來描述蘋果的紋理特征。

對比度(CON)表示矩陣中值的局部變化情況，可以反映出蘋果紋理的清晰程度，計(jì)算方法如式(6)所示:

式中，k ＝16，G(i，j)為灰度共生矩陣。

能量(ASM)表示矩陣中值的分布均勻程度，可以反映出蘋果紋理的粗細(xì)度，計(jì)算方法如式(7)所示:

熵(ENT)表示圖像中灰度分布的復(fù)雜程度，可以反映出蘋果紋理的復(fù)雜程度，計(jì)算方法如式(8)所示:

相關(guān)性(COR)表示圖像中局部灰度值的相關(guān)程度，可以反映出蘋果紋理的一致性，計(jì)算方法如式(9)所示:

4 蘋果多特征融合分級

4.1 SVM 算法

SVM 是一種有監(jiān)督學(xué)習(xí)方法，是在已知訓(xùn)練樣本類別的情況下，求訓(xùn)練樣本與類別之間的對應(yīng)關(guān)系，以便預(yù)測新樣本所對應(yīng)的類別。 假設(shè)訓(xùn)練樣本為(xi，yi)，xi為輸入向量，yi為輸出向量(類別)，通過SVM 構(gòu)造目標(biāo)函數(shù)，引入非線性映射φ(x)，尋找最優(yōu)分割平面。 目標(biāo)函數(shù)如式(10)所示:

其中，W 為權(quán)重系數(shù)，b 為偏差量。

假設(shè)訓(xùn)練樣本在一定的精度下無誤差地進(jìn)行線性擬合，求解最優(yōu)方程，如式(11)所示:

其中，Q 為優(yōu)化目標(biāo)，C 為懲罰因子，β1、β2為松弛系數(shù)，γ 為精度參數(shù)。

拉格朗日函數(shù)被用于目標(biāo)函數(shù)，如式(12)所示:

其中，αi、α?i 為拉格朗日因子，K(xi，xj)為核函數(shù)。SVM 算法利用核函數(shù)將樣本數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換到高維空間，在高維空間中求最優(yōu)分類面。

4.2 改進(jìn)的SVM 算法

針對懲罰因子過學(xué)習(xí)或者欠學(xué)習(xí)問題，利用交叉驗(yàn)證法優(yōu)化懲罰因子。 將樣本均分成T 個子集，在每次迭代過程中，將其中一個子集作為測試集，其余所有子集作為訓(xùn)練集，這樣會得到T個正確率，取其平均值作為正確率的一個樣本劃分估計(jì)，由此計(jì)算懲罰因子，如式(13)所示:

式中θi為第i 個子集的正確率。

4.3 多特征融合分級模型

由于蘋果外部特征的多樣性，僅根據(jù)蘋果的單一特征進(jìn)行分級，容易造成誤判。 因此本研究采用特征融合的方法對蘋果進(jìn)行分級。 特征融合分級函數(shù)如式(14)所示:

其中，fj為第j 個蘋果的融合特征，U 為特征個數(shù)，ηi為融合前特征分量，ai為特征分量權(quán)值。

本研究利用蘋果的5 個特征共計(jì)8 個指標(biāo)進(jìn)行分級，各指標(biāo)由于取值范圍不同，對應(yīng)的權(quán)重值也不同，需將這8 個指標(biāo)融合后再利用Fisher 計(jì)算各自的權(quán)重值，具體步驟如下:

5 實(shí)證分析

5.1 樣本選取

隨機(jī)選用200 個嘎啦蘋果作為初始訓(xùn)練樣本、100 個嗄啦蘋果作為初始測試樣本，邀請5 名熟練的分級人員對全部蘋果樣本進(jìn)行嚴(yán)格分級。根據(jù)中國?鮮蘋果?與?出口鮮蘋果專業(yè)標(biāo)準(zhǔn)?將蘋果劃分為一、二、三、四等4 個等級。 當(dāng)分級人員中至少有4 名人員將某蘋果劃分到同一個等級時，認(rèn)為該蘋果屬于該等級，否則認(rèn)為是分級爭議果并從樣本中剔除掉。 最終，初始訓(xùn)練樣本、初始測試樣本中分別有146、61 個蘋果被明確劃分等級，用這些被明確分級的蘋果樣本進(jìn)行本研究建立方法的分級效果驗(yàn)證。

5.2 圖像背景分割精度評價(jià)

分別采用Qtsu 分割算法與固定閾值分割算法對圖像背景進(jìn)行分割，通過比較兩種方法的分割效果來評估Qtsu 法的分割精度。 圖像分割精度SA 及其標(biāo)準(zhǔn)差δ 計(jì)算方法如式(15)(16)所示:

式中，Aq、Af分別代表利用Qtsu 算法和固定閾值算法分割得到的蘋果區(qū)域；δ 為標(biāo)準(zhǔn)差，反映Qtsu分割算法的分割效果，δ 值越小，代表分割的效果越好；Y 為蘋果圖像的總數(shù)；SAi為第i 幅圖像計(jì)算得到的分割精度；MSA 為所有圖像的分割精度平均值。 為保證利用固定閾值算法得到的蘋果區(qū)域精確，在對每幅圖像進(jìn)行背景分割過程中不斷調(diào)整用于分割的閾值參數(shù)，直到分割得到的蘋果區(qū)域與圖像中蘋果的實(shí)際區(qū)域基本一致。

經(jīng)過計(jì)算，本研究采用的Qtsu 分割算法的分割精度為98.8%，標(biāo)準(zhǔn)差為0.042，能夠很好地將蘋果圖像從背景中分割出來。

5.3 蘋果特征提取結(jié)果分析

5.3.1 果實(shí)大小特征 由圖5 可以看出，利用3幅側(cè)面圖提取的蘋果輪廓較清晰，但不同方位圖像獲得的最大橫切面直徑存在差異。 其中，圖5(a)、圖5(b)兩方位提取的最大橫切面直徑非常接近，而圖5(c)方位提取的最大橫切面直徑比之大約3 mm。

圖5 蘋果樣本大小特征的提取結(jié)果

為了較準(zhǔn)確地評估蘋果大小特征提取精度，利用游標(biāo)卡尺測量蘋果3 個方位的最大橫徑，測量位置如圖6 所示，每個方位均測量3 次，取9 次測量結(jié)果的平均值作為該蘋果最大橫徑的實(shí)際值。 將測量實(shí)際值與本研究方法的提取值進(jìn)行對比，以二者間的差值作為果實(shí)大小特征提取的誤差，誤差越小，提取精度越高。 經(jīng)統(tǒng)計(jì)，200 個樣本的平均提取誤差為0.62 mm，提取精度較高。

圖6 利用游標(biāo)卡尺測量蘋果橫徑的位置

5.3.2 果實(shí)形狀特征 圖7 為利用蘋果的4 幅不同方位圖像提取的形狀特征，其中以蘋果頂部圖像提取的圓度值最大，為0.837，以蘋果側(cè)面圖像提取的圓度值略小(0.790～0.816)，求均值可得到該蘋果的圓度為0.811。

圖7 蘋果樣本形狀特征的提取結(jié)果

5.3.3 果實(shí)顏色特征 圖8 為利用蘋果的3 幅側(cè)面圖提取的顏色特征，圖中白色區(qū)域代表蘋果成熟度較高的區(qū)域。 經(jīng)計(jì)算，得到紅色著色率為0.114～0.414，取均值可得該蘋果的整體紅色著色率為0.228。

圖8 蘋果樣本顏色特征的提取結(jié)果

5.3.4 果實(shí)缺陷特征 圖9 為利用蘋果的3 幅側(cè)面圖提取的缺陷特征，其中，(a)圖為水銹引起的缺陷區(qū)域，(b)圖為劃傷引起的缺陷區(qū)域，(c)圖為蟲害引起的缺陷區(qū)域。 經(jīng)計(jì)算，缺陷面積占比為0.007～0.068，可見較小的缺陷區(qū)域也能被提取出來。

圖9 蘋果樣本缺陷特征的提取結(jié)果

5.3.5 果實(shí)紋理特征 圖10 為利用本研究方法提取的蘋果樣本紋理特征，結(jié)合觀察到的蘋果表面紋理分布發(fā)現(xiàn)，對比度值越大，蘋果的紋理越清晰；能量值越大，蘋果的紋理越粗；熵值越大，蘋果的紋理越復(fù)雜；相關(guān)性值越大，蘋果紋理的一致性越強(qiáng)。

圖10 蘋果樣本紋理特征的提取

5.4 多特征融合分級效果評估

5.4.1 核函數(shù)選擇 圖11 為分別利用線性函數(shù)、多項(xiàng)式函數(shù)、徑向基函數(shù)及Sigmoid 函數(shù)作為核函數(shù)進(jìn)行分級訓(xùn)練與測試得到的準(zhǔn)確率。 可見，Sigmoid 函數(shù)在分級訓(xùn)練與測試中得到的結(jié)果均不理想；多項(xiàng)式函數(shù)與徑向基函數(shù)在分級訓(xùn)練中準(zhǔn)確率均為100%，但是徑向基函數(shù)在測試中的準(zhǔn)確率比多項(xiàng)式函數(shù)高1.64 個百分點(diǎn)，因此，本研究最終選用徑向基函數(shù)作為核函數(shù)。 但在分級過程中仍存在一定誤判，主要原因?yàn)椴糠痔O果處于相鄰兩等級邊緣處，被劃分至任意一個等級的可能性都很大。

圖11 不同核函數(shù)訓(xùn)練與測試的準(zhǔn)確率

5.4.2 改進(jìn)SVM 分級效果 在不斷調(diào)整懲罰因子后，針對146 個訓(xùn)練樣本，改進(jìn)后的分級準(zhǔn)確率達(dá)到93.44%，比改進(jìn)前提升2.28 個百分點(diǎn)。 雖然改進(jìn)前后的準(zhǔn)確率很接近，但改進(jìn)SVM 操作更方便，不用手動調(diào)整參數(shù)。

5.4.3 融合特征數(shù)量對分級效果的影響 為驗(yàn)證本研究提出的多特征融合分級的效果，對不同數(shù)量特征融合的分級效果進(jìn)行比較，由圖12 可以看出，選取單特征分級的準(zhǔn)確率普遍較低，表明利用單特征進(jìn)行蘋果分級存在片面性；隨著融合特征數(shù)量的增多，分級準(zhǔn)確率整體呈升高趨勢，當(dāng)融合特征數(shù)量為5 時，分級的準(zhǔn)確率最高。

圖12 不同融合特征數(shù)量的蘋果分級效果比較

5.5 實(shí)測驗(yàn)證結(jié)果

用61 個蘋果測試樣本對本研究建立方法進(jìn)行實(shí)測驗(yàn)證，分級準(zhǔn)確率達(dá)到96.72%，表明利用本方法可以實(shí)現(xiàn)較高精確度的蘋果分級。

6 結(jié)論

(1)為實(shí)現(xiàn)蘋果準(zhǔn)確分級，本研究獲取每個蘋果1 幅頂部及3 幅側(cè)面圖像，利用同態(tài)濾波算法改善圖像質(zhì)量后將其轉(zhuǎn)換至HLS 顏色空間，用Qtus 分割算法進(jìn)行背景分割，用形態(tài)學(xué)處理去掉果柄和缺陷區(qū)域，用Canny 算法提取蘋果輪廓，最終提取了蘋果的大小、形狀、顏色、缺陷、紋理5 個特征的8 個指標(biāo)(最大橫截面直徑、圓度、紅色著色率、缺陷面積占比、對比度、能量、熵、相關(guān)性)用于多特征融合分級。 提取的特征指標(biāo)較豐富，可以較充分地描述蘋果的外部特征。

(2)為避免SVM 中懲罰因子過學(xué)習(xí)或欠學(xué)習(xí)，采用交叉驗(yàn)證方法優(yōu)化懲罰因子，并建立多特征融合分級模型，通過Fisher 計(jì)算各指標(biāo)的權(quán)重，選用徑向基函數(shù)作為核函數(shù)，從而改善了分級效果。

(3)分別選取146、61 個經(jīng)人工明確劃分等級的蘋果作為訓(xùn)練樣本、測試樣本，對本研究建立方法的分級效果進(jìn)行驗(yàn)證，結(jié)果表明蘋果分級準(zhǔn)確率達(dá)96.72%，精確度較高。 本研究可為提升蘋果自動化分級準(zhǔn)確率提供參考。