基于背景分離與亮度校正的蘋果表面缺陷提取

王銀敏 費(fèi)樹岷 真昕欣

摘 要：蘋果是我國年產(chǎn)量最高的水果，但出口量不足總產(chǎn)量的2%，采用基于圖像處理的水果表面缺陷檢測技術(shù)可促進(jìn)水果的分級與銷售。以紅富士蘋果為研究對象，首先采集蘋果的RGB圖像，并根據(jù)轉(zhuǎn)換公式得到圖像的HSV彩色模型，對飽和度S分量進(jìn)行閾值分割與孔洞填充，獲得蘋果背景分離模板;然后根據(jù)背景分離模板得到R分量的背景分離圖，并對分離背景后的R分量進(jìn)行亮度校正;最后采用單閾值分割法提取缺陷。實(shí)驗(yàn)共采集300個蘋果樣本，包括缺陷果200個，正常果100個，其中對缺陷果的識別率達(dá)到96.5%，對正常果的識別率達(dá)到100%。實(shí)驗(yàn)結(jié)果表明，采用S分量獲取背景分離模板，并結(jié)合亮度校正算法，可在不增加額外拍攝裝置的情況下獲得較好的缺陷提取效果。

關(guān)鍵詞：缺陷提取;背景分離;亮度校正;閾值分割

DOI：10. 11907/rjdk. 192663 開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

中圖分類號：TP317.4 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2020）008-0234-05

Abstract： Apple has the highest yield of fruits in our country， but the export volume is less than 2% of the total output. Fruit surface defect detection technology based on image processing can promote the classification and sale of fruits. This article takes Red Fuji Apple as the research object. Firstly， the RGB image of Apple is obtained， and the HSV model of the image is obtained based on the conversion formula. The threshold segmentation and hole filling of the saturation S component are used to obtain the apple background separation template. Then the background separation map of the R component is obtained according to the background separation template， and the R component after the separation of the background is subjected to luminance correction. Finally， the single threshold segmentation method is used to extract the defects. A total of 300 apple samples were collected during the experiment， of which 200 were defective and 100 were normal. The defect recognition rate of the defective fruit reached 96.5%， and the discrimination rate of the normal fruit was 100%. The experimental results show that the S-component acquisition background separation template combined with the brightness correction algorithm can obtain better defect extraction results without adding additional cameras.

Key Words： defect extraction; background separation; brightness correction; threshold segmentation

0 引言

截至2018年，我國水果總產(chǎn)量已達(dá)到29 000萬噸，然而總出口量只有490萬噸，不足總產(chǎn)量的2%，經(jīng)濟(jì)效益不夠明顯。與其它水果出口量占比較大的國家相比，主要差距表現(xiàn)在果品的采后處理環(huán)節(jié)。果品采后處理是果品增值的關(guān)鍵，采后處理一般包括催熟、分級、打蠟及儲存保鮮等步驟[1]。其中水果分級技術(shù)是果品采后處理的核心技術(shù)，也是目前亟待解決的技術(shù)難題[2]。水果分級的依據(jù)主要是顏色、尺寸、形狀以及有無缺陷，與其它指標(biāo)相比，表面缺陷檢測一直是果品分級中的重點(diǎn)及難點(diǎn)[3]。蘋果是一種四季暢銷的大眾水果，含有礦物質(zhì)、糖酸、維生素等多種營養(yǎng)物質(zhì)[4]，深受廣大消費(fèi)者喜愛，是我國十分具有代表性且年產(chǎn)量最高的水果[5]，也是我國出口量最大的水果之一，因此對于蘋果表面缺陷檢測技術(shù)的研究意義重大。

傳統(tǒng)圖像處理方法和深度學(xué)習(xí)方法在水果表面缺陷檢測中都有應(yīng)用。如Heinemann等[6]利用RGB圖像信息計算出H分量，并依此識別出蘋果表面的果銹;Leemans等[7-8]基于蘋果的彩色圖像信息，分別采用高斯分類器及貝葉斯分類方法對蘋果圖像的每個像素進(jìn)行分割，從而識別出缺陷部分;朱偉華等[9]通過RGB彩色模型獲得HSL彩色模型，并基于此提出模糊顏色聚類方法用于缺陷分割;李錦衛(wèi)等[10]將馬鈴薯的RGB圖像轉(zhuǎn)換為亮度指標(biāo)，并利用灰度截留分割法快速找出可能的缺陷區(qū)域，再采用十色模型識別缺陷。

蘋果的類球體特性導(dǎo)致蘋果圖像中間亮、邊緣暗，這是造成缺陷誤分割的主要原因。因此，很多學(xué)者針對該問題進(jìn)行了研究，如Tao等[11]采用自適應(yīng)球形變換法補(bǔ)償水果彎曲部分的反射強(qiáng)度梯度，實(shí)現(xiàn)水果表面的缺陷分割;馮斌等[12]利用標(biāo)準(zhǔn)球體灰度值與水果表面灰度值差的變化進(jìn)行缺陷識別，規(guī)避了亮度不均的問題;李江波等[13-14]采用掩模法分割背景，并采用快速灰度補(bǔ)償法對邊緣灰度進(jìn)行補(bǔ)償，根據(jù)照度—反射模型，利用低通濾波后的R分量對去除背景的圖像進(jìn)行亮度校正，最后通過單閾值分割法識別缺陷。

除采集水果的RGB圖像進(jìn)行缺陷檢測外，還有大量學(xué)者針對水果的多光譜與高光譜圖像進(jìn)行研究。如Aleixos等[15]提出設(shè)計多光譜照相機(jī)應(yīng)用于生產(chǎn)線，以捕捉柑橘類水果可見光及近紅外光區(qū)4個波段的多光譜成像系統(tǒng)，并利用貝葉斯定理，根據(jù)蘋果有無缺陷進(jìn)行分類;Ariana等[16-17]將多光譜反射及熒光成像技術(shù)應(yīng)用于蘋果缺陷檢測中;Xing等[18]建立400～1 000nm波長范圍內(nèi)的高光譜成像系統(tǒng)，利用主成分分析法檢測蘋果瘀傷;Blasco等[19]提出一種結(jié)合近紅外、紫外及熒光光譜進(jìn)行水果缺陷識別的方法;趙杰文等[20]利用500～900nm范圍內(nèi)的高光譜數(shù)據(jù)，采用主成分分析法以及二次不均勻差分法獲取蘋果表面的輕微損傷。

以上關(guān)于水果表面缺陷檢測的研究方法主要包括3個方面：基于圖像處理方法進(jìn)行缺陷檢測、基于深度學(xué)習(xí)等智能算法進(jìn)行缺陷檢測、基于高光譜與多光譜成像技術(shù)進(jìn)行缺陷檢測。基本的圖像處理方法多用于缺陷提取工作;智能算法多用于提取缺陷特征并對其進(jìn)行分類;高光譜與多光譜成像方法通常需要特殊的圖像采集設(shè)備，成本較高，且數(shù)據(jù)處理過程非常復(fù)雜，多用于水果內(nèi)部探傷。因此，根據(jù)缺陷提取目標(biāo)，本文主要采用圖像處理算法進(jìn)行缺陷提取，主要涉及到圖像預(yù)處理、背景分離模板獲取、亮度校正以及單閾值分割等方法。

1 圖像采集及處理

1.1 圖像采集

本文選擇最常見的紅富士蘋果為研究對象，在超市選購了具有腐爛、劃傷、磨損等常見缺陷的蘋果。具體圖像采集裝置如圖1所示，包括封閉不透光的箱子、自帶閃光特效的相機(jī)、白色背景板等。拍攝時為盡可能避免陰影對后期處理造成的影響，應(yīng)當(dāng)將攝像頭置于蘋果正上方。

1.2 圖像預(yù)處理

圖像預(yù)處理過程包括顏色空間轉(zhuǎn)換與圖像濾波。

HSV是一種面向視覺的顏色空間，更符合人眼觀察事物顏色的過程，在本研究中可利用S分量獲取背景分離模板。但圖像采集裝置只能得到蘋果的RGB圖像，因此需要利用式（1）-（3）將RGB彩色模型轉(zhuǎn)換成HSV彩色模型[21]。

在HSV顏色空間中，H代表色調(diào)，S代表顏色飽和度，V代表亮度。已知白色物體的飽和度S是0。

常見的濾波操作主要有均值濾波和中值濾波，為了在濾除噪聲的同時保留盡可能多的圖片細(xì)節(jié)，本文采用中值濾波對蘋果圖像的R分量及S分量進(jìn)行降噪處理。

2 缺陷提取

缺陷提取過程主要涉及背景分離模板獲取、亮度校正與單閾值分割。

2.1 背景分離模板獲取

文獻(xiàn)[3]和文獻(xiàn)[22]采用NIR圖像獲取背景分離模板，該方法雖然比較直接，但在圖像采集裝置中需要增加近紅外照相機(jī)，增加了圖像采集成本。本文在不增加額外采集裝置的情況下，僅利用圖像的S分量即可獲得效果頗佳的背景分離模板。

因?yàn)樘O果圖像的背景色為白色，其飽和度接近0，而蘋果部分飽和度遠(yuǎn)大于0，故濾波處理后的S分量圖中，蘋果部分與背景部分的灰度值存在較大差異，可以采用單閾值分割方式獲取初步的背景分離模板。選定閾值后，將高于閾值部分的灰度值置為255，低于閾值部分的灰度值置為0，從而使蘋果所在部分大多呈現(xiàn)白色，背景則為黑色。

但由于蘋果部分存在反光或缺陷，這些都會對其飽和度產(chǎn)生影響，使其低于選定閾值。因此，初步的背景分離模板并不完美，蘋果部分可能存在黑色孔洞。為解決這一問題，實(shí)驗(yàn)中采用孔洞填充技術(shù)對初步的背景分離模板進(jìn)行填充，最終得到可用于背景分離的正式模板。

2.2 亮度校正

因?yàn)樘O果本身顏色以紅色為主，其R分量圖中可以清晰反映所有缺陷。為提高計算機(jī)處理效率，在蘋果缺陷提取過程中主要考慮對其R分量圖進(jìn)行處理。獲得背景分離模板后，將其與R分量圖進(jìn)行點(diǎn)乘操作，則可得到背景分離后的R分量。

由于蘋果的類球體特性，在圖像采集過程中，由于朗伯現(xiàn)象會出現(xiàn)中間亮、邊緣暗的問題，朗伯現(xiàn)象如圖2所示。球形物體上某點(diǎn)的亮度可根據(jù)式（6）進(jìn)行計算，其中[θ]為該點(diǎn)法線方向與入射光線之間的夾角，[IL]為入射光線強(qiáng)度，[ID]為反射光線強(qiáng)度。由于光源與蘋果之間的距離遠(yuǎn)大于蘋果本身的尺寸，因此[IL]可認(rèn)為是相同的。因?yàn)檫吘壊糠值腫θ]角大，故其反射光強(qiáng)度更小，表現(xiàn)在圖像中就是灰度值更低，看起來比中間部分暗。

在進(jìn)行缺陷提取時，通常會根據(jù)缺陷灰度值低于正常果皮灰度值這一特征選取經(jīng)典的閾值分割法。但由于朗伯現(xiàn)象的存在，若缺陷位于蘋果中部位置，則邊緣部分正常果皮的灰度值可能與中間部分缺陷果皮的灰度值相近，甚至低于缺陷果皮灰度值，從而導(dǎo)致誤分割。為解決該問題，文獻(xiàn)[3]給出了亮度校正思路。

由于光源位于蘋果正上方，就蘋果而言，光源是對稱的，且蘋果屬于類球體，在圖像中可認(rèn)為蘋果類似一個圓。如圖3所示，以該圓心向外輻射，相同半徑所在像素點(diǎn)接收到的光源強(qiáng)度是均勻的，因此可對這一圈果皮進(jìn)行亮度校正。

具體亮度校正公式如式（7）所示，其中[Mi，j]為該圓上某點(diǎn)的灰度值，[Mavg]表示該圓上所有像素點(diǎn)的平均灰度值，[Ii，j]則是亮度校正后該點(diǎn)的灰度值。

根據(jù)以上分析可知，在實(shí)驗(yàn)過程中，關(guān)鍵是要找到蘋果的最小外接圓。假設(shè)最小外接圓的圓心為O，半徑為[r1]。亮度校正步驟如下：①以點(diǎn)O為圓心，選取半徑[r2=1]作圓，校正該圓所在像素點(diǎn)的亮度;②令[r2=r2+1]，不斷增大校正圓的半徑，逐圈進(jìn)行亮度校正，直至[r1=r2]。需要注意的是，采集到的數(shù)字圖像由規(guī)則的像素點(diǎn)組成，作校正圓時會遺漏一些像素點(diǎn)。因此，采用該方法進(jìn)行亮度校正后，還應(yīng)再進(jìn)行一次中值濾波，以排除遺漏像素點(diǎn)對整個圖像亮度校正效果的影響[22]。

[13] 李江波，饒秀勤，應(yīng)義斌，等. ?基于掩模及邊緣灰度補(bǔ)償算法的臍橙背景及表面缺陷分割[J]. 農(nóng)業(yè)工程學(xué)報，2009（12）：133-137.

[14] 李江波， 饒秀勤， 應(yīng)義斌. ?基于照度-反射模型的臍橙表面缺陷檢測[J]. ?農(nóng)業(yè)工程學(xué)報， 2011，27（7）：338-342.

[15] KLEYNEN O，LEEMANS V，DESTAIN M F. Development of a multi-spectral vision system for the detection of defects on apples[J]. ?Journal of food engineering， 2005， 69（1）： 41-49.

[16] ARIANA D P，SHRESTHA B P， GUYER D E. Integrating reflectance and fluorescence imaging for apple disorder classification[C]. ?2003 ASAE Annual Meeting. American Society of Agricultural and Biological Engineers， 2003， 12（10）： 301-312.

[17] ARIANA D， GUYER D E， SHRESTHA B. Integrating multispectral reflectance and fluorescence imaging for defect detection on apples[J]. Computers and electronics in agriculture，2006，50（2）： 148-161.

[18] XING J， DE B J. Bruise detection on ‘Jonagold apples using hyperspectral imaging[J]. ?Postharvest Biology and Technology， 2005， 37（2）： 152-162.

[19] BLASCO J， ALEIXOS N， GóMEZ J， et al. Citrus sorting by identification of the most common defects using multispectral computer vision[J]. ?Journal of Food Engineering， 2007， 83（3）： 384-393.

[20] 趙杰文， 劉劍華， 陳全勝. ?利用高光譜圖像技術(shù)檢測水果輕微損傷[J]. ?農(nóng)業(yè)機(jī)械學(xué)報， 2008， 39（1）： 106-109.

[21] 唐光艷. VB中RGB顏色模型與HSV顏色模型轉(zhuǎn)換的實(shí)現(xiàn)[J]. 科技信息， 2009（2）：466-467.

[22] 張保華. 基于機(jī)器視覺和光譜成像技術(shù)的蘋果外部品質(zhì)檢測方法研究[D]. 上海：上海交通大學(xué)，2016.

[23] GONZALEZ R C， WOODS R E， EDDINS S L，et al. 數(shù)字圖像處理（MATLAB 版）[M]. 北京：電子工業(yè)出版社，2013.

（責(zé)任編輯：黃 ?。?/p>