張 琛，房 勝，王風(fēng)云，李 哲，鄭紀(jì)業(yè)，沈 宇

(1.山東省農(nóng)業(yè)科學(xué)院 科技信息研究所，山東 濟(jì)南 250100； 2.山東科技大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，山東 青島 266000)

蘋果受眾多，市場大，是目前我國種植面積最大的水果。近年來，隨著生活水平的提高，消費(fèi)者對蘋果的外觀、口味有了更高的要求，不同的消費(fèi)者對蘋果的大小、色澤、糖度、硬度、表面完好度有不同的需求，蘋果分級勢在必行。

隨著農(nóng)業(yè)現(xiàn)代化以及生產(chǎn)的集中，大批量蘋果手工分級的方法已逐步被淘汰，取而代之的是機(jī)械分級。最初的機(jī)械分級是根據(jù)蘋果的大小、質(zhì)量進(jìn)行的，但這種分級無法將有缺陷的蘋果區(qū)分出來[1]。為區(qū)分出有缺陷的蘋果，國內(nèi)外基于計(jì)算機(jī)視覺的蘋果分級研究逐漸增多[2-7]。另外，果梗與花萼在顏色和灰度上與缺陷接近，易被判別為缺陷，影響缺陷檢測的精度，為避免果梗、花萼對缺陷的影響，對果梗、花萼與缺陷進(jìn)行區(qū)分的研究也日漸增多。劉禾等[8]采用基于知識的壞損點(diǎn)檢測，利用特定圖像中果梗、花萼與形心的距離關(guān)系區(qū)分出果梗、花萼。徐娟等[9]利用圖像在形態(tài)學(xué)操作前后的差異進(jìn)行果梗判別。趙娟等[10]利用蘋果全方位圖像中必然存在果梗、花萼的常識，通過判斷缺陷數(shù)量是否>2，以及檢測可疑區(qū)域形狀的方法，消減果梗、花萼對缺陷統(tǒng)計(jì)的影響。李聰?shù)萚11]通過對蘋果圖像逐行掃描，累加缺陷像素的方法計(jì)算缺陷面積，再用缺陷面積與總面積的比值計(jì)算缺陷程度。黃辰等[12]在利用多個(gè)特征對蘋果進(jìn)行分級的過程中，根據(jù)灰度值判斷缺陷區(qū)域，再利用像素當(dāng)量與圖像壓縮率比值的平方與像素的乘積，計(jì)算出缺陷面積。除了上述比較常見的圖像處理方法，高光譜技術(shù)與深度學(xué)習(xí)也被應(yīng)用到缺陷檢測中。田有文等[13]利用感興趣區(qū)域的紋理特征與高光譜技術(shù)結(jié)合，對蟲傷與果梗、花萼進(jìn)行區(qū)分。劉云等[14]通過卷積神經(jīng)網(wǎng)絡(luò)[15-16]對果梗、花萼、邊界及腐爛、疤痕、蟲傷等缺陷進(jìn)行分類。根據(jù)缺陷程度進(jìn)行的分級有直接計(jì)算缺陷面積的，也有計(jì)算缺陷與蘋果面積比值的，卻鮮有根據(jù)缺陷數(shù)量進(jìn)行的分級，不能滿足對缺陷數(shù)量有要求的分級需求。并且在分級的過程中，對果梗、花萼的區(qū)分度普遍不高，難以保證分級準(zhǔn)確性，本研究將果梗、花萼、缺陷分類結(jié)果與缺陷數(shù)目、面積結(jié)合進(jìn)行缺陷分級。

當(dāng)前對蘋果進(jìn)行的分級研究大多是針對套袋蘋果[17-18]。雖然套袋蘋果是目前蘋果種植業(yè)發(fā)展的主流，但是免套袋蘋果因日照充足而具有較高的甜度，始終在市場中占有一席之地。免套袋蘋果相對于套袋蘋果而言分級難度大，因?yàn)榍罢咴谕庑魏腿毕萆细哂卸嘧冃?。本研究利用固定閾值分割及形態(tài)學(xué)方法[19]提取完整蘋果圖像，并計(jì)算其像素。利用HSV(Hue saturation value，色調(diào)、飽和度、明度)顏色空間[20]將疑似缺陷區(qū)域從蘋果圖像中提取出來并生成二值圖像，利用種子填充法在二值圖像中標(biāo)記連通區(qū)域，計(jì)算連通區(qū)域的數(shù)量和面積。記錄每個(gè)區(qū)域的坐標(biāo)，根據(jù)記錄的坐標(biāo)確定灰度圖上疑似缺陷區(qū)域的位置，并計(jì)算該區(qū)域的灰度共生矩陣特征值。將特征值輸入訓(xùn)練后的SVM(Support vector machine，支持向量機(jī))[21-22]進(jìn)行果梗、花萼與缺陷的區(qū)分，確定真正缺陷的數(shù)量與面積，最終對免套袋蘋果進(jìn)行正確分級。

1 材料和方法

1.1 試驗(yàn)材料與設(shè)備

試驗(yàn)蘋果樣品為山東通達(dá)現(xiàn)代農(nóng)業(yè)集團(tuán)有限公司提供的直徑80～85 mm的免套袋紅富士(包括表面完好的蘋果、表面帶有不同程度人為損傷或病蟲害造成缺陷的蘋果)，共180個(gè)。其中，120個(gè)為訓(xùn)練集，用于建立機(jī)器學(xué)習(xí)模型；60個(gè)為測試集，用于測試模型準(zhǔn)確度。

試驗(yàn)裝置如圖1所示。以傳送帶上的槽位固定蘋果。傳送帶為黑色，可以避免反光造成影響，且便于圖像處理過程中蘋果圖像的提取。相機(jī)分別位于傳送帶的上、左、右3個(gè)方位。為保證所獲取圖像不受其他光源的干擾，3個(gè)相機(jī)位于傳送帶前進(jìn)方向的不同位置，且拍照背景均為黑色。每個(gè)相機(jī)均配備環(huán)形光源，保證光照均勻。

試驗(yàn)所用軟件為語言開發(fā)工具VS2013，處理圖像的函數(shù)庫為Opencv。

1.傳送帶上方相機(jī)；2.傳送帶右側(cè)相機(jī)；3.傳送帶

1.2 檢測流程

將蘋果放置在傳送帶上，傳送帶勻速前進(jìn)，相機(jī)拍照范圍為當(dāng)前槽位，即每次可以拍1個(gè)蘋果，拍照頻率根據(jù)傳送帶速度進(jìn)行調(diào)節(jié)。每次拍照獲得的圖像傳送到計(jì)算機(jī)進(jìn)行缺陷識別，計(jì)算缺陷數(shù)量及缺陷部分像素。每個(gè)蘋果根據(jù)3個(gè)相機(jī)獲取的不同側(cè)面圖像，計(jì)算3個(gè)側(cè)面圖像中缺陷總像素與蘋果總像素的比值，結(jié)合缺陷數(shù)量，對當(dāng)前蘋果進(jìn)行分級。

2 結(jié)果與分析

2.1 免套袋蘋果圖像獲取

利用3個(gè)位置的相機(jī)獲取被檢測蘋果3個(gè)不同側(cè)面的RGB(紅綠藍(lán))顏色空間圖像，導(dǎo)入計(jì)算機(jī)并作為一組連續(xù)的數(shù)據(jù)，方便后續(xù)將3個(gè)側(cè)面圖像處理結(jié)果進(jìn)行綜合分析，以便對蘋果進(jìn)行分級。采集到的其中1個(gè)蘋果的3個(gè)側(cè)面圖像如圖2所示。

圖2 免套袋單個(gè)蘋果3個(gè)側(cè)面Fig.2 Three side images of one non-bagged apple

2.2 免套袋蘋果圖像分割與面積計(jì)算

對目標(biāo)圖像處理之前，先將其從原始圖像中提取出來[23-24]。閾值分割法[2]是用1個(gè)或多個(gè)閾值將圖像分為幾部分的常用方法。該方法優(yōu)點(diǎn)是較為直觀、易實(shí)現(xiàn)，且計(jì)算速度快；缺點(diǎn)是僅考慮圖像的灰度信息，忽略了其他有價(jià)值的信息。本研究圖像分割是為了提取圖像中的蘋果區(qū)域，不需考慮圖像的其他灰度信息，因此，可采用閾值分割法。閾值分割法包括固定閾值分割、自適應(yīng)閾值分割，在對多幅圖像做分割時(shí)，固定閾值分割、自適應(yīng)閾值分割分別適用于圖像間場景變化較小、較大的情形。本研究中，被分割的蘋果圖像均是在同一場景中采集的，不同圖像間場景變化不大，因此，采用固定閾值分割的

方法從灰度圖像中提取蘋果二值圖像[2]。

獲得蘋果二值圖像后，計(jì)算蘋果區(qū)域像素，將其作為蘋果面積。但獲得的二值圖像受低于閾值的深色缺陷干擾，致使蘋果部分深色缺陷區(qū)域的像素提取不到。排除蘋果圖像中深色缺陷部分影響可通過形態(tài)學(xué)閉運(yùn)算實(shí)現(xiàn)，即通過試驗(yàn)確定邊長大于缺陷直徑的矩形結(jié)構(gòu)元，對目標(biāo)圖像實(shí)施膨脹操作，填充較小的深色缺陷區(qū)域。隨后，腐蝕操作可以恢復(fù)因膨脹操作而增長的邊界。

經(jīng)過以上操作，得到如圖3所示的蘋果圖像掩膜[25]，再通過計(jì)算整幅二值圖像值為1的像素，求出當(dāng)前蘋果圖像的面積。

圖3 免套袋蘋果3個(gè)側(cè)面圖像掩膜Fig.3 Three side image masks of the non-bagged apple

2.3 免套袋蘋果感興趣區(qū)域提取

免套袋蘋果在光照不均勻的環(huán)境下生長，因此，表面顏色不均勻，局部顏色相差較大，在轉(zhuǎn)換為灰度圖后深色正常區(qū)域與缺陷區(qū)域灰度值接近甚至一致，進(jìn)行固定閾值分割時(shí)，容易將這類深色區(qū)域判別為疑似缺陷區(qū)域。圖4為蘋果局部圖像，其中，圖4a為蘋果表面的深色區(qū)域，圖4b、4c為帶有缺陷的蘋果表面。圖4a中深色區(qū)域像素灰度值大多在70～90，部分可低至65。圖4b缺陷部分灰度值普遍在55～70，相對圖4a的深色區(qū)域具有一定的區(qū)分度。圖4c缺陷部分灰度值相差較大，部分缺陷區(qū)域灰度值<40，同時(shí)，又有不少區(qū)域灰度值>90。因此，對灰度圖像采用固定閾值提取疑似缺陷區(qū)域的方法不適用于免套袋蘋果分級。

a.蘋果表面的深色區(qū)域;b、c.蘋果表面的缺陷

自適應(yīng)閾值分割是對固定閾值分割的擴(kuò)展[26]，但在蘋果灰度圖像中采用自適應(yīng)閾值分割方法提取疑似缺陷區(qū)域也有不足之處，這是因?yàn)槊馓状O果表面顏色極不均勻，易對正常區(qū)域判斷產(chǎn)生干擾，導(dǎo)致產(chǎn)生邊緣效應(yīng)，致使錯(cuò)誤提取出大量輪廓，對后面分析結(jié)果造成干擾。

灰度圖像在免套袋蘋果分級中的短板可在彩色圖像中得到彌補(bǔ)。彩色圖像可用多個(gè)顏色空間分別表示，其中，最常用的是RGB和HSV。RGB顏色空間由紅、綠、藍(lán)3個(gè)通道構(gòu)成。相機(jī)獲取的初始圖像信息即為RGB 3個(gè)通道的數(shù)據(jù)，但是RGB顏色空間并不能很好地反映物體具體的顏色信息。相對于RGB顏色空間，HSV顏色空間能夠非常直觀地表達(dá)色彩的色調(diào)、鮮艷程度以及明暗，方便顏色之間進(jìn)行對比，因此，本研究將圖像由RGB顏色空間轉(zhuǎn)到HSV顏色空間，進(jìn)行疑似缺陷區(qū)域提取。轉(zhuǎn)化如下：

V=max(R,G,B)

(1)

(2)

(3)

其中，R、G、B分別為顏色空間轉(zhuǎn)換前像素在紅、綠、藍(lán)3個(gè)通道的值，V、S、i分別為顏色空間轉(zhuǎn)換后像素在明度、鮮艷度、色調(diào)3個(gè)通道的值。

利用前面得到的掩膜，從彩色原圖(圖5a)中提取出蘋果圖像，再根據(jù)其在HSV顏色空間試驗(yàn)確定的閾值分割疑似缺陷區(qū)域，經(jīng)過濾波操作后得到圖5b所示疑似缺陷區(qū)域的二值圖像。圖5b中白色部分為提取疑似缺陷區(qū)域得到的果梗和缺陷區(qū)域，但也包含了部分被錯(cuò)誤提取的正常區(qū)域。正常區(qū)域被提取主要由果梗區(qū)域提取遺漏以及類似缺陷的斑點(diǎn)造成，可通過后續(xù)處理消除或降低其對結(jié)果的影響。

a.蘋果原圖；b、c.蘋果疑似缺陷區(qū)域的二值圖像

2.4 計(jì)算免套袋蘋果缺陷數(shù)目及面積

用種子填充法在二值圖像中按序標(biāo)記出所有的連通區(qū)域，計(jì)算每個(gè)連通區(qū)域像素，記錄其四周最外側(cè)坐標(biāo)。連通區(qū)域在灰度圖像中對應(yīng)的位置有可能為果梗、花萼或者誤判的正常區(qū)域，因此，需要根據(jù)記錄的每個(gè)連通區(qū)域最外側(cè)坐標(biāo)在原圖對應(yīng)位置取出最小矩形區(qū)域，做進(jìn)一步判別。圖6為根據(jù)記錄的坐標(biāo)提取的疑似缺陷區(qū)域。其中，圖6a為果梗，圖6b、6c為較小缺陷放大后的圖像。

a.果梗；b、c.蘋果表面的缺陷

果梗、花萼以及病蟲害造成的缺陷各自具有比較固定的靜態(tài)特征[27]，本研究采用紋理特征對缺陷與非缺陷進(jìn)行分類。蘋果擺放是隨機(jī)的，沒有固定方向，因此，在區(qū)分過程中還要考慮到其方向的變化。灰度共生矩陣法具有旋轉(zhuǎn)不變性[28]，能適應(yīng)蘋果方向的變化，因此，本研究采用灰度共生矩陣特征值對連通區(qū)域作進(jìn)一步判別。

利用灰度共生矩陣的能量(ASM)、熵(Ent)、對比度(Con)和逆差矩(IDM)等特征值對缺陷與非缺陷進(jìn)行區(qū)分。其中，能量值表征紋理均一和規(guī)則化程度，熵值表征紋理復(fù)雜程度，對比度值表征紋理灰度差程度，逆差矩值表征紋理間變化程度。計(jì)算公式如下：

(4)

(5)

(6)

(7)

其中，i和j表示灰度分別為i和j的像素按確定的間距和角度出現(xiàn)的次數(shù)，P(i,j)則為(i,j)像素的聯(lián)合分布概率。以上4種特征足以完成分類任務(wù)，采用更多的特征雖然會提升準(zhǔn)確率，但是會造成各特征提升不明顯且冗余，因此，本研究采用以上4種特征作為分類依據(jù)。

分類可以用求出的特征值分別直接與其經(jīng)驗(yàn)閾值比較，但是該方法分類效率較低。為提升分類效率，本研究采用SVM進(jìn)行分類。一般情況下，被誤判為缺陷區(qū)域的正常區(qū)域面積都較小，因此，為簡化分類過程，設(shè)定閾值T，對面積T的區(qū)域進(jìn)行果梗、花萼與缺陷的多分類。針對上述2種情況，分別訓(xùn)練其對應(yīng)的SVM。2個(gè)SVM都是根據(jù)4類特征值訓(xùn)練。對果梗、花萼與缺陷進(jìn)行區(qū)分時(shí)用果梗、花萼、缺陷的特征值及其對應(yīng)標(biāo)簽值進(jìn)行訓(xùn)練；對正常區(qū)域與缺陷區(qū)域進(jìn)行區(qū)分時(shí)則用正常區(qū)域與缺陷的特征值及其對應(yīng)標(biāo)簽值進(jìn)行訓(xùn)練。SVM的訓(xùn)練采用了高斯徑向基核函數(shù)，如下：

(8)

其中，xc為核函數(shù)中心，σ為函數(shù)寬度參數(shù)，σ越大，顯著影響核函數(shù)的樣本范圍越大，學(xué)習(xí)能力越強(qiáng)。表1為訓(xùn)練集樣本數(shù)∶測試集樣本數(shù)為2∶1時(shí)將正常區(qū)域、果梗區(qū)域、花萼區(qū)域分別作為正樣本，與負(fù)樣本缺陷區(qū)域進(jìn)行區(qū)分的分類正確率?？梢钥闯觯^(qū)域、果梗區(qū)域與缺陷區(qū)域的區(qū)分度較高，花萼則因?yàn)椴糠謧€(gè)體外觀與缺陷過于接近而導(dǎo)致分類正確率較低。

表1 免套袋蘋果不同區(qū)域分類正確率Tab.1 Classification accuracy of different parts of non-bagged apples

完成分類后，用疑似缺陷區(qū)域的數(shù)量、面積減去誤判區(qū)域的數(shù)量、面積，得到缺陷的數(shù)量、面積，并將該結(jié)果與蘋果另外2個(gè)側(cè)面圖像的處理結(jié)果相結(jié)合，求總?cè)毕輸?shù)量(C)、總?cè)毕菝娣e比(R)。計(jì)算公式如下：

C=C1+C2+C3

(9)

(10)

2.5 免套袋蘋果缺陷分級結(jié)果

無論是國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)還是地方標(biāo)準(zhǔn)，蘋果分級標(biāo)準(zhǔn)均涉及到缺陷面積與缺陷數(shù)量。在本研究的分級標(biāo)準(zhǔn)中，用缺陷區(qū)域像素與蘋果區(qū)域像素比值表示缺陷面積，綜合缺陷像素比值及缺陷數(shù)量進(jìn)行分級。確定缺陷像素比值的閾值時(shí)，根據(jù)《中華人民共和國國家標(biāo)準(zhǔn)鮮蘋果(GB/T 10651—2008)》對缺陷面積、缺陷數(shù)量以及果徑大小的要求，給出基于蘋果3個(gè)側(cè)面圖像的蘋果缺陷分級標(biāo)準(zhǔn)，見表2。

表2 免套袋蘋果缺陷分級標(biāo)準(zhǔn)Tab.2 Standard for defect classification of non-bagged apples

計(jì)算機(jī)對圖像進(jìn)行處理分析時(shí)，將缺陷數(shù)量與缺陷像素比值都作為必要條件，蘋果同時(shí)滿足某一等級的上述2個(gè)條件才能分類到該等級，不能同時(shí)滿足上述2個(gè)條件的，以其滿足的較低標(biāo)準(zhǔn)為最終分級結(jié)果。

對60個(gè)測試集樣品進(jìn)行分級后，與提前進(jìn)行的人工分級結(jié)果作比較，得到表3所示分級結(jié)果。

表3 免套袋蘋果分級正確率Tab.3 Overall classification accuracy rate of non-bagged apples

對測試集60個(gè)免套袋蘋果進(jìn)行分級，結(jié)果顯示，優(yōu)等品、一等品、二等品分級正確率分別為89.5%、91.9%、75.0%。將測試集60個(gè)免套袋蘋果作為整體考慮，其分級正確率為90.0%。從上述結(jié)果可以看出，一等品分級效果最好，優(yōu)等品較一等品分級效果差，原因是總有部分正常區(qū)域被錯(cuò)誤歸類為缺陷，而優(yōu)等品不具備容錯(cuò)性。二等品的分級效果較差，但因?yàn)槎绕窐颖据^少，所以不能排除其偶然性，后續(xù)試驗(yàn)將增加二等品的數(shù)量繼續(xù)對模型進(jìn)行測試。測試樣本是隨機(jī)選出的，測試樣本與總體樣本中樣本的等級分布基本一致，因此，認(rèn)為測試結(jié)果具有代表性，即本研究的缺陷分級準(zhǔn)確率為90.0%。

3 結(jié)論與討論

前人研究缺陷分級中常用顏色或紋理等圖像處理的方法對果梗、花萼進(jìn)行簡單判別，以統(tǒng)計(jì)二值像素的方法計(jì)算缺陷面積，具有一定分級能力，但準(zhǔn)確率較低。本研究將圖像處理方法與機(jī)器學(xué)習(xí)方法相結(jié)合，從缺陷判別、缺陷程度計(jì)算方面提升了缺陷分級的準(zhǔn)確率。在缺陷判別方面，利用顏色判斷結(jié)果提取疑似缺陷區(qū)域，再將紋理特征與SVM結(jié)合做最終判別，提升了缺陷判別的準(zhǔn)確率；在缺陷程度計(jì)算方面，采用種子填充法標(biāo)記連通區(qū)域，計(jì)算缺陷的數(shù)量與每個(gè)缺陷的面積，與以往只判斷缺陷的有無或只籠統(tǒng)計(jì)算缺陷總面積相比，更為精準(zhǔn)。

對測試集60個(gè)免套袋蘋果進(jìn)行分級，得到了90.0%的分級正確率。通過分析發(fā)現(xiàn)，影響正確率的主要因素一是對疑似缺陷區(qū)域的提取準(zhǔn)確率不夠高，有部分果梗、花萼區(qū)域因顏色變化不規(guī)律導(dǎo)致圖像提取不完整；二是受果梗、花萼識別正確率的限制，其中，又以花萼與缺陷的識別難度較大。除此之外，部分蘋果果形異常，致使蘋果側(cè)面圖像果梗、花萼不完整，因免套袋造成的其他種類斑點(diǎn)及特殊紋理，缺陷區(qū)域與果梗、花萼區(qū)域重疊，破損傷不易識別等，均會對分級結(jié)果造成影響。

蘋果表面為曲面，無法完全避免光照不均勻的現(xiàn)象，降低了疑似缺陷區(qū)域提取的準(zhǔn)確度，增大了后續(xù)缺陷判別的計(jì)算量。因此，下一步繼續(xù)從圖像處理與機(jī)器學(xué)習(xí)相結(jié)合的角度出發(fā)，提升果梗、花萼與缺陷判別的準(zhǔn)確率。另外，研究蘋果表面的光強(qiáng)度校正方法，降低光照不均勻?qū)Ψ旨壗Y(jié)果的影響。