張明，李鵬，鄧烈，何紹蘭，易時來，鄭永強，謝讓金，馬巖巖，呂強

?

基于掩模及亮度校正算法的臍橙表面缺陷分割

張明1,2，李鵬2，鄧烈2，何紹蘭2，易時來2，鄭永強2，謝讓金2，馬巖巖2，呂強2

（1西南大學工程技術(shù)學院，重慶 400716；2西南大學柑桔研究所/中國農(nóng)業(yè)科學院柑桔研究所，重慶 400712）

【目的】本研究旨在有效解決果皮有缺陷的水果圖像在去除背景時部分缺陷被誤分割為背景，以及水果表面缺陷難以有效分割提取的問題。【方法】以分量圖來構(gòu)建掩模模板，根據(jù)其灰度直方圖信息，通過雙峰法選擇單一閾值（=75）分以紐荷爾臍橙為研究對象，提出基于顏色空間模型法去除背景割背景并填充孔洞得到掩模模板I，然后掩模模板I與分量圖通過點乘運算得到去除背景的分量圖；提出基于多尺度高斯函數(shù)圖像亮度校正算法對去除背景后的分量圖像進行亮度校正，通過構(gòu)建多尺度高斯函數(shù)濾波器，將去除背景后的分量圖與構(gòu)建的多尺度高斯函數(shù)進行卷積運算即得到去除背景后的分量圖像表面光照分量圖，最后將去除背景后的分量圖與得到的光照分量圖進行點除運算即得到去除背景后的分量圖像亮度校正圖；然后采用單一全局閾值法對臍橙表面缺陷進行提取?！窘Y(jié)果】基于顏色空間模型法去除背景，可在有效去除背景的同時完好保留臍橙的表面信息，有利于后續(xù)操作；基于多尺度高斯函數(shù)的圖像亮度校正算法分別對6種常見臍橙缺陷進行圖像亮度校正后采用單閾值法提取缺陷，使不同灰度等級的臍橙表面缺陷一次性分割成功，其中分割率最高為100%，最低為88.5%，整體達92.7%。通過試驗分析后發(fā)現(xiàn)造成部分誤分割或漏分割的原因主要在于部分缺陷果缺陷處顏色較輕，與正常區(qū)域灰度差較小，從而造成漏分割；還有部分缺陷果由于缺陷面積小，在圖像形態(tài)學處理過程被誤認為是噪聲而被去除；同時發(fā)現(xiàn)正常果的誤判率也達到了10.8%，經(jīng)分析發(fā)現(xiàn)誤判的正常果表皮組織區(qū)域的褶皺位于圖像的邊緣區(qū)域，從而被誤認為是邊緣區(qū)域的缺陷，導致誤判。【結(jié)論】基于HSI顏色空間模型法去除背景及基于多尺度高斯函數(shù)的圖像亮度不均校正算法對紐荷爾臍橙圖像背景分割和去除背景后的分量圖像表面亮度校正均取得了較好的效果，能有效識別臍橙缺陷區(qū)域，為臍橙精確分級提供了技術(shù)支持，也為其他果品表面缺陷快速檢測提供了一種新思路。

臍橙；表面缺陷；分割；去除背景；亮度校正；單閾值

0 引言

【研究意義】水果表面缺陷是決定水果價格最有力的因素之一，表面缺陷檢測也一直是水果所有外在品質(zhì)[1-7]檢測、分級過程中的一個難點，因此，研究水果表面缺陷快速檢測技術(shù)具有十分重要的意義?！厩叭搜芯窟M展】當前對水果表面缺陷檢測的手段主要有3類：基于標準球體模型的處理方法[8-12]、基于表面紋理特征的處理方法[13]以及基于多光譜成像技術(shù)的處理方法[14-16]，這些方法對水果表面缺陷檢測都取得了一定的效果，但存在著檢測水果表面缺陷類型有限、算法較復雜、耗時長、適用性低、成本高等問題，導致難以推廣?；诨叶葓D像的水果表面缺陷檢測，使對水果表面缺陷的檢測變得相對容易，李江波等[17-18]通過對去除背景后的分量圖像進行邊緣補償后，利用單閾值法對水果表面缺陷進行提取，結(jié)果出現(xiàn)了漏分割現(xiàn)象，分析后發(fā)現(xiàn)，漏分割的區(qū)域大都位于圖像中部高亮區(qū)域。由于水果表面是曲面，因此其表面光照后的亮度是不均勻的，表現(xiàn)為邊緣灰度值較低，而中部灰度值較高，難以用單閾值法對水果表面缺陷進行分割。為了解決這個難題，李江波等[19]通過構(gòu)建巴特沃斯低通濾波器來獲得去除背景后分量圖像光照分量，對此光照分量進行亮度均一化校正后，再采用單閾值法分割缺陷，試驗表明其整體正確分割率超過99%。圖像表面亮度不均導致圖像中的一些重要細節(jié)信息無法表現(xiàn)出來甚至被掩蓋，這不僅影響了圖像的視覺效果，而且其應(yīng)用價值也被削減，因此，消除物體表面亮度不均[20-23]問題日益成為研究的一個熱點。【本研究切入點】水果表面缺陷檢測的主要難點之一在于水果一般呈球體或類球體，導致光照反射不均勻，造成水果表面亮度不均，表現(xiàn)為水果邊緣區(qū)域灰度值低，中部區(qū)域灰度值高，而水果表面的缺陷區(qū)域通常也是以灰度值較低的方式存在，缺陷區(qū)域灰度與正常區(qū)域灰度存在交叉，這就為水果表面缺陷快速檢測帶來了困難，也導致了在對水果表面缺陷進行提取時易造成誤分割甚至是無法分割。因此，開展去除圖像中的背景及對亮度不均的圖像校正研究尤為重要。【擬解決的關(guān)鍵問題】擬采用基于顏色空間模型法去除背景，可在有效去除圖像背景的同時完好保留臍橙的表面信息；擬采用基于多尺度高斯函數(shù)圖像亮度不均校正算法，有效解決臍橙表面亮度不均問題，快速提取臍橙表面缺陷，為臍橙精確分級提供技術(shù)支持。

1 材料與方法

1.1 試驗設(shè)計

1.1.1 試驗樣本 試驗研究對象為紐荷爾臍橙，產(chǎn)地為江西贛州。于2017年12月全部購于當?shù)?，?00個，其中正常果65個，缺陷果335個，包括潰瘍果49個，薊馬果48個，油斑病果35個，黑斑病果76個，風傷果61個，炭疽病果66個。

1.1.2 圖像采集系統(tǒng) 紐荷爾臍橙圖像采集系統(tǒng)中硬件包括Lumenera公司生產(chǎn)的LU075C型彩色CCD相機、照明系統(tǒng)以及主控計算機。其中主機為映泰臺式機（Intel(R) Core(TM) i3-4150 CPU @ 3.50GHz，8Gb RAM，Hi-Fi B85S3 (5.0)主板）；照明系統(tǒng)主要由光照箱（長×寬×高分別為65 cm×60 cm×65 cm）、4支燈管（T5-60-10 wms/8 W），以及遮光板等構(gòu)成，光照箱內(nèi)表面為白色，4支燈管分布于四周并在其正上方用遮光板擋住，避免直射相機鏡頭造成曝光對度使拍攝的圖像失真；打開照明系統(tǒng)10 min待光強趨于穩(wěn)定后開始采集紐荷爾臍橙原始RGB圖像信息。為了增強背景與臍橙的顏色反差，采用黑色背景。CCD相機鏡頭到放置臍橙的載物臺垂直距離為300 mm，圖像分辨率為640×480，CCD相機芯片尺寸為5.8 mm×4.9 mm，利用公式[24]計算出該CCD相機的物理空間分辨率為0.25 mm/pixel。

1.2 試驗方法

1.2.1 背景分割 相機獲取的圖像包含臍橙本身和背景，須先將臍橙區(qū)域從背景中分離出來。顏色空間模型的三通道分量相互影響且值隨光強的變化而發(fā)生明顯的改變[25]，顏色空間模型比顏色空間模型更符合人眼的視覺特性，且顏色空間模型的3個分量相互獨立、互不干擾。因此，本研究采用基于顏色空間模型法去除背景。

提取顏色空間模型的三通道分量圖，尋找分量圖中臍橙與背景灰度差異明顯，臍橙表面缺陷區(qū)域與正常區(qū)域灰度差最大，最有利于缺陷分割的分量圖，利用此分量圖構(gòu)建掩模模板。隨后對此分量圖進行閾值分割，由于采集的圖像背景基本一致，因此根據(jù)分量圖灰度直方圖信息，采用雙峰法[26]選擇單一閾值分割圖像，分割效率較高。再對分割后的圖像進行填孔洞操作，得到一個完整的掩模模板，最后將得到的掩模模板與原來的分量圖進行點乘運算得到去除背景的分量圖像。

1.2.2 圖像亮度校正 從馮斌[11]、李江波等[18]試驗中發(fā)現(xiàn)由于水果呈球形或類球型導致水果表面亮度不均，表現(xiàn)為圖像中部區(qū)域呈現(xiàn)高亮區(qū)，而靠近果實邊緣區(qū)域灰度值則較低，很難用單閾值分割法來提取缺陷區(qū)域。因此，為了有效檢測臍橙表面不同程度、不同類型的缺陷，對臍橙整個表面的亮度校正非常有必要。

目前對水果圖像亮度不均處理的方法主要有Retinex增強方法[27]、直方圖均衡化法（HE）[28]以及基于照度-反射模型[19]的圖像亮度不均變換等方法。這些算法的出現(xiàn)都是為了盡可能地改善圖像亮度不均問題，其難點在于盡量縮小圖像邊緣區(qū)域與正常區(qū)域灰度差的同時，還要拉伸缺陷區(qū)域與正常區(qū)域間的對比度。本研究在對比幾種方法的效果后提出基于多尺度高斯函數(shù)圖像亮度不均校正算法[22-23]，主要表現(xiàn)在使臍橙較暗的正常表面灰度值增大，而缺陷區(qū)域依舊保持較低的灰度值，有利于后續(xù)缺陷分割。該算法的具體實現(xiàn)如下：

根據(jù)光照-反射成像原理[29]可知，一幅數(shù)字圖像可以被認為是一個二維函數(shù)()，()的值表示當前坐標()的亮度，二維圖像()是由入射分量()與反射分量()的乘積表示，入射分量表征圖像的低頻特性，其在空間域上變化比較緩慢，反射分量表征圖像的高頻特性，其在空間域上變化較快。因此，如果把一幅圖像的低頻分量從原始圖像中分離出來，則此低頻分量就是這幅圖像的表面亮度信息，對此分量進行亮度校正即可達到改善圖像亮度不均的目的。為此，首先構(gòu)建多尺度高斯函數(shù)濾波器，該低通濾波器可以在有效壓縮圖像動態(tài)范圍的同時準確預估出場景的照射分量[30]；此照射分量與去除背景后的分量圖像I做卷積運算得到去除背景后的分量光照分量圖像；再對此光照分量圖做亮度均一化處理，即將去除背景后的分量圖像I與得到的光照分量圖做點除運算，即為去除背景后的分量亮度校正后的圖像。其數(shù)學模型如下：

()：亮度校正后的圖像，()：去除背景后的分量圖，()：光照分量圖，()：多尺度高斯函數(shù)，：尺度因子，：歸一化常數(shù)。

1.2.3 缺陷提取 在對臍橙灰度圖像進行亮度不均處理過后，分別對紐荷爾臍橙中的潰瘍果、薊馬果、油斑病果、黑斑病果、風傷果、炭疽病果等常見的6種缺陷果進行缺陷檢測，此時并不需要復雜的缺陷分割算法對缺陷進行提取，采用單一的全局閾值分割法即可將缺陷區(qū)域提取出來，分割效率高。

2 結(jié)果

2.1 去除背景

分別提取顏色空間模型圖像的3個分量，如圖1所示。其中分量圖中臍橙與背景灰度差異明顯，且臍橙表面缺陷區(qū)域與正常區(qū)域灰度差最大，最有利于缺陷的分割，故選擇分量圖來構(gòu)建掩模模板，根據(jù)分量灰度直方圖信息，采用雙峰法[26]選擇單一閾值（=75）對分量進行閾值分割，如圖2所示，并進行填充孔洞操作，結(jié)果如圖3所示，得到一個完整的掩模模板圖像I，最后將得到的掩模模板與分量圖做點乘運算，得到去除背景的圖像I，如圖4所示（本研究中的實施案例均為缺陷果中的黑斑病果）。

2.2 圖像亮度不均處理

基于顏色空間模型掩模法去除背景可以完好無損地保留臍橙正常表皮及缺陷區(qū)域信息，但同時也發(fā)現(xiàn)去除背景后的臍橙圖像本身存在亮度不均等問題，即圖像中部區(qū)域較亮，邊緣區(qū)域較暗。為了能有效地檢測臍橙表面不同程度、不同種類的缺陷，利用經(jīng)典Retinex增強算法、HE算法、基于照度-反射模型的圖像亮度不均變換以及本文提出的基于多尺度高斯函數(shù)圖像亮度不均校正算法分別對去除背景后的分量圖進行亮度不均校正處理。

圖1 原始RGB及分量圖像

圖2 I分量灰度直方圖

圖3 掩模模板

經(jīng)典Retinex算法的處理結(jié)果如圖5所示。Retinex算法雖然改變了案例圖像的亮度，但是并沒有達到使圖像正常表面提亮，缺陷區(qū)域保持較低灰度值的目的，反而使圖像亮的區(qū)域變得更亮而暗的區(qū)域變得更暗，在亮度突變區(qū)域還會產(chǎn)生光暈現(xiàn)象[31]，使邊緣區(qū)域變得模糊，這顯然不利于后續(xù)的缺陷提取。

HE算法的處理結(jié)果如圖6所示。從亮度校正圖像中可以看出圖像整體亮度明顯提升，但圖像中部區(qū)域亮度明顯比邊緣區(qū)域要亮很多，校正后的圖像亮度并不均勻，且圖像存在過增強現(xiàn)象[32]，改變了圖像的原始面貌并丟失圖像中的細節(jié)。

圖4 去除背景的I分量

基于照度-反射模型的圖像亮度不均變換的處理結(jié)果如圖7所示（截止頻率D0=6）。校正后的圖像亮度比較均勻且圖像邊緣的灰度值也被提高，而圖像缺陷區(qū)域仍保持較低的灰度值，與李江波等[17]對臍橙圖像亮度不均處理的結(jié)論一致。但該算法在首次運行時截止頻率D0不確定，導致亮度校正圖像的不確定，需選出最優(yōu)截止頻率；其次，該算法需經(jīng)過時域和頻域之間的轉(zhuǎn)換，因此該算法較耗時，在對該算法進行測試時也證實了這一點。

提出的基于多尺度高斯函數(shù)圖像亮度不均校正算法的處理結(jié)果如圖8所示（尺度因子取65、300、570，對應(yīng)權(quán)重分別取0.2、0.1、0.6）。從圖中可以看出圖像亮度與邊緣區(qū)域的灰度均顯著提升，且缺陷區(qū)域依舊保持較低的灰度值，有利于后續(xù)對缺陷的提取。

在對圖像亮度校正前，臍橙圖像亮度呈現(xiàn)出不均勻狀，即中間亮、邊緣暗。在應(yīng)用亮度校正理論后，整個臍橙表面亮度呈均勻分布且缺陷區(qū)域依舊保持較低的灰度值，這一點在圖9中表現(xiàn)的更加明顯。利用強度曲線圖穿過缺陷區(qū)域來對以上算法進行驗證，可以發(fā)現(xiàn)，基于多尺度高斯函數(shù)的圖像亮度校正算法不論是圖像中部區(qū)域還是邊緣區(qū)域，均被校正為高亮區(qū)域，而缺陷區(qū)域依舊保持較低的灰度值，且高亮區(qū)域與缺陷區(qū)域的灰度差較明顯，有利于對缺陷的提取。

圖5 Retinex算法圖像亮度校正

圖6 直方圖均衡化算法圖像亮度校正

本研究提出的亮度校正算法在圖像亮度校正上取得較為理想的結(jié)果，且該算法運算耗時最少，平均每幅圖像用時0.49 s（表1），僅為照度-反射理論算法耗時的22.17%。

由以上綜合數(shù)據(jù)可以得出本研究提出的基于多尺度高斯函數(shù)的圖像亮度校正算法不僅在圖像亮度校正中有較好的效果，在運算速度上較其他幾種算法也具有優(yōu)勢，盡管校正后的圖像可能還存在少數(shù)的噪點，但并不影響校正后圖像的整體效果。

圖7 照度-反射理論圖像亮度校正

圖8 多尺度高斯函數(shù)圖像亮度校正

圖9 穿過圖像缺陷處的灰度剖面線

表1 各類算法的耗時時間

2.3 缺陷提取

通過對去除背景后的分量圖像I進行基于多尺度高斯函數(shù)圖像亮度校正，臍橙圖像表面缺陷區(qū)域灰度值與正常區(qū)域灰度值有較明顯的差異，可采用全局單閾值法將缺陷區(qū)域快速分割。為了驗證算法的有效性和適應(yīng)性，利用該算法分別對樣本中的潰瘍果、薊馬果、油斑病果、黑斑病果、風傷果、炭疽病果等6種常見缺陷果進行缺陷提取，結(jié)果如圖10。

對400幅臍橙圖像進行缺陷提取，缺陷分割結(jié)果見表2。結(jié)果表明，炭疽病果的缺陷分割率為100%，薊馬果和風傷果分割率最低，分別為89.6%、88.5%。分析發(fā)現(xiàn)，黑斑病果與炭疽病果缺陷面積大且顏色深，與正常果皮的灰度差大，易分割；而部分風傷果、薊馬果和黑斑病果由于其缺陷顏色淺，與正常果皮的灰度差較小，造成缺陷的漏分割；部分潰瘍果的誤分割主要是其缺陷處于圖像中部區(qū)域即圖像中的高亮區(qū)域且病害程度較輕，與正常果皮灰度差較小，從而導致不易被檢測到，而部分潰瘍果由于缺陷面積太小，在進行圖像形態(tài)學去噪過程中被誤認為是噪聲而去除；正常果的誤判率達10.8%，由于部分正常果表面組織區(qū)域的褶皺位于圖像的邊緣區(qū)域，從而被誤認是邊緣區(qū)域的缺陷，導致誤判。

表2 基于多尺度高斯函數(shù)圖像亮度校正算法的單閾值缺陷分割結(jié)果

3 討論

水果表面缺陷是水果的重要品質(zhì)指標之一，國家標準GB/T12947-2008鮮柑橘[33]對水果表面缺陷信息的完整性，即水果表面缺陷數(shù)量和面積大小有嚴格的規(guī)定，因此，對于水果表面缺陷的準確識別尤為重要。

大多數(shù)臍橙表面缺陷顏色呈灰黑色，運用單閾值法直接提取缺陷時容易將缺陷誤判為背景，不能保證其表面缺陷信息的完整性，從而對后續(xù)缺陷的識別造成影響。因此，多位學者在對水果表面缺陷識別前都進行了背景分割，背景分割后的圖像不僅可以將缺陷誤判為背景的可能性降到最低，而且由于去除了背景等無用信息后，缺陷識別的速率也將得到提升。早期研究報道中，學者直接對拍攝的圖像采用單閾值分割，結(jié)果發(fā)現(xiàn)水果圖像邊緣與背景存在毛邊現(xiàn)象，針對這一問題，龐江偉[34]首先根據(jù)水果圖像背景及表面顏色動態(tài)生成閾值進行背景分割，最后通過開發(fā)相應(yīng)算法對誤判的點進行恢復，取得了較好的效果，但該算法較為耗時；李江波等[17-18]基于顏色空間模型去除背景，可將臍橙表面缺陷信息保留下來。但由于圖像三分量相互影響，本研究采用更加符合人眼視覺特性的顏色空間模型來去除背景，更重要的是其三分量相互獨立，不受彼此影響，可在不破壞水果缺陷部位的前提下準確地將臍橙從背景中分割出來。

近年來，利用機器視覺技術(shù)對臍橙表面缺陷進行檢測日趨成熟。但其難點之一在于臍橙通常呈球體或橢球體，其邊緣光線的反射方向與拍攝相機的夾角較大。根據(jù)朗伯光線反射定律，臍橙邊緣亮度低，中間亮，表現(xiàn)為臍橙邊緣的灰度低，中部區(qū)域灰度值大，而臍橙表面缺陷通常也是較低灰度的形式存在，缺陷區(qū)域灰度與正常灰度存在交叉，這就導致了對缺陷提取的困難甚至是無法提取，很難采用單一閾值法對臍橙表面缺陷一次性分割成功。因此，本文提出了一種基于多尺度高斯函數(shù)亮度校正算法對臍橙表面亮度進行校正，該算法通過對臍橙灰度圖像亮度校正，使圖像邊緣區(qū)域與中部區(qū)域灰度差縮小，同時拉大缺陷區(qū)域與正常區(qū)域間的灰度差，使得原本需要復雜算法才能對缺陷進行分割變?yōu)椴捎脝伍撝捣纯蓪崿F(xiàn)對臍橙表面缺陷的一次性分割。運用該算法對臍橙常見6種缺陷進行檢測后發(fā)現(xiàn)，當臍橙表面缺陷區(qū)域與正常區(qū)域顏色差異明顯時，缺陷檢測效果顯著；但對于某些如碰傷等缺陷較輕或缺陷與正常區(qū)域色差較小，檢測效果不是很理想；其中風傷果和薊馬果由于其缺陷處顏色較輕、與正常區(qū)域表面的灰度差很小，其缺陷不易被提??；部分潰瘍果由于表面缺陷面積太小，在圖像形態(tài)學去噪過程中被誤認為是噪聲而去除；有文獻表明[35]類似于碰傷類等輕微損傷的缺陷采用高光譜成像技術(shù)對其檢測效果較好，但由于其獲取的數(shù)據(jù)量較大導致耗時較長，下一步將對這些問題進行研究。

此外，盡管有很多算法用來解決水果表面缺陷難以識別問題，但這些算法大都假設(shè)水果為標準球體或橢球體，然而實際上水果是非標農(nóng)產(chǎn)品，其大小、形狀等信息很難預測，因此這些算法的適應(yīng)性較弱，而本研究提出的基于顏色空間模型掩模法去除背景、基于多尺度高斯函數(shù)的亮度校正算法不需要建立參考模型，因此也就無需考慮實際水果的大小和形狀信息，其算法適應(yīng)性較好。

4 結(jié)論

提出了一種在不破壞臍橙果皮表面的前提下，臍橙與背景的快速分割方法，這種方法比直接利用單閾值分割背景再對缺陷部位實施補償?shù)奶幚硭惴ǜ旖荨⒂行?，并且在對圖像進行背景分割后可以有效保留臍橙表面信息。提出了基于多尺度高斯函數(shù)圖像亮度不均校正算法，利用簡單的全局閾值分割法即可對紐荷爾臍橙表面缺陷一次性分割成功，方便了對水果表面缺陷的檢測，同時提高了分割效率。對潰瘍果、薊馬果、油斑病果、黑斑病果、風傷果、炭疽病果等6種常見的臍橙表面缺陷樣本進行缺陷區(qū)域提取，其整體識別率達到92.7%。

[1] VIJAYAREKHA K. Segmentation techniques applied to citrus fruit images for external defect identification., 2012, 4(24): 5313-5319.

[2] ZHANG B H, HUANG W Q, LIANG G, LI J B, ZHAO C J, LIU C L, HUANG D F. Computer vision detection of defective apples using automatic lightness correction and weighted RVM classifier., 2015, 146: 143-151.

[3] IQBAL S M, GOPAL A, SANKARANARAYANAN P E, NAIR A B. Classification of selected citrus fruits based on color using machine vision system., 2016, 19(2): 272-288.

[4] 容典. 臍橙表面缺陷的機器視覺快速檢測研究及嵌入式系統(tǒng)應(yīng)用[D]. 杭州: 浙江大學, 2017.

RONG D. Study on rapid detection of navel orange surface defect based on machine vision and embedded system application [D]. Hangzhou: Zhejiang University, 2017. (in Chinese)

[5] 白雪冰, 宋恩來, 李潤佳, 許景濤. 柑橘表面缺陷圖像快速準確分割方法. 沈陽農(nóng)業(yè)大學學報, 2018, 49(2): 242-249.

BAI X B, SONG E L, LI R J, XU J T. Fast and accurate segmentation method for surface defects of citrus., 2018, 49(2): 242-249. (in Chinese)

[6] 周水琴, 應(yīng)義斌. 顏色模型在農(nóng)產(chǎn)品顏色檢測與分級中的應(yīng)用. 浙江大學學報, 2003, 29(6): 684-688.

ZHOU S Q, YING Y B. Color models and their applications in color inspection and farm produce grading., 2003, 29(6): 684-688. (in Chinese)

[7] THROOP J A, ANESHANSLEY D J, UPCHURCH B L, ANGER B. Apple orientation on two conveyors: performance and predictability based on fruit shape characteristics., 2001, 44(1): 99-109.

[8] LI J, RAO X, WANG F, WU W, YING Y. Automatic detection of common surface defects on oranges using combined lighting transform and image ratio methods., 2013, 82(4): 59-69.

[9] 李江波, 饒秀勤, 應(yīng)義斌. 水果表面亮度不均校正及單閾值缺陷提取研究. 農(nóng)業(yè)機械學報, 2011, 42(8): 159-163.

LI J B, RAO X Q, YING Y B. Correction algorithm of illumination nonuniformity on fruit surface and defects extraction using single threshold value., 2011, 42(8): 159-163. (in Chinese)

[10] TAO Y, WEN Z. An adaptive spherical image transform for high-speed fruit defect detection., 1999, 42(1): 241-246.

[11] 馮斌, 汪懋華. 計算機視覺技術(shù)識別水果缺陷的一種新方法. 中國農(nóng)業(yè)大學學報, 2002, 7(4): 73-76.

FENG B, WANG M H. Study on identifying measurement about default of fruit in computer vision.,2002, 7(4): 73-76. (in Chinese)

[12] 付峰, 應(yīng)義斌. 球體圖像灰度變換模型及其在柑桔圖像校正中的應(yīng)用. 農(nóng)業(yè)工程學報, 2004, 20(4): 117-120.

FU F, YING Y B. Gray level transform model of ball image and its application in citrus image correction.,2004, 20(4): 117-120. (in Chinese)

[13] LóPEZ-GARCíA F, ANDREU-GARCíA G, BLASCO J, ALEIXOS N, VALIENTE J M. Automatic detection of skin defects in citrus fruits using a multivariate image analysis approach., 2010, 71(2): 189-197.

[14] BLASCO J, ALEIXOS N, GóMEZ J, MOLTó. Citrus sorting by identification of the most common defects using multispectral computer vision., 2007, 83(3): 384-393.

[15] 章海亮, 高俊峰, 何勇. 基于高光譜成像技術(shù)的柑橘缺陷無損檢測. 農(nóng)業(yè)機械學報, 2013, 44(9): 177-181.

ZHANG H L, GAO J F, HE Y. Nondestructive detection of citrus defection using hyper-spectra imaging technology., 2013, 44(9): 177-181. (in Chinese)

[16] 張保華, 李江波, 樊書祥, 黃文倩, 張馳, 王慶艷, 肖廣東. 高光譜成像技術(shù)在果蔬品質(zhì)與安全無損檢測中的原理及應(yīng)用. 光譜學與光譜分析, 2014, 34(10): 2743-2751.

ZHANG B H, LI J B, FAN S X, HUANG W Q, ZHANG C, WANG Q Y, XIAO G D. Principles and application of hyperspectral imaging technique in quality and safety inspection of fruits and vegetables., 2014, 34(10): 2743-2751. (in Chinese)

[17] 李江波. 臍橙表面缺陷的快速檢測方法研究[D]. 杭州: 浙江大學, 2012.

LI J B. Study on rapid detection methods of defects on navel orange surface [D]. Hangzhou: Zhejiang University, 2012. (in Chinese)

[18] 李江波, 饒秀勤, 應(yīng)義斌, 馬本學, 郭俊先. 基于掩模及邊緣灰度補償算法的臍橙背景及表面缺陷分割. 農(nóng)業(yè)工程學報, 2009, 25(12): 133-137.

LI J B, RAO X Q, YING Y B, MA B X, GUO J X. Background and external defects segmentation of navel orange based on mask and edge gray value compensation algorithm.,2009, 25(12): 133-137. (in Chinese)

[19] 李江波, 饒秀勤, 應(yīng)義斌. 基于照度-反射模型的臍橙表面缺陷檢測. 農(nóng)業(yè)工程學報, 2011, 27(7):338-342.

LI J B, RAO X Q, YING Y B. Detection of navel surface defects based on illumination-reflectance model., 2011, 27(7): 338-342. (in Chinese)

[20] LAND E H, MCCANN J J. Lightness and retinex theory., 1971, 61(1): 1-11.

[21] WANG S H, ZHENG J, HU H M, LI B. Naturalness preserved enhancement algorithm for non-uniform illumination images., 2013, 22(9): 3538-3548.

[22] 劉志成, 王殿偉, 劉穎, 劉學杰. 基于二維伽馬函數(shù)的光照不均勻圖像自適應(yīng)校正算法. 北京理工大學學報, 2016, 36(2): 191-196.

LIU Z C, WANG D W, LIU Y, LIU X J. Adaptive adjustment algorithm for non-uniform illumination images based on 2D gamma function., 2016, 36(2): 191-196. (in Chinese)

[23] 王殿偉, 王晶, 許志杰, 劉穎. 一種光照不均勻圖像的自適應(yīng)校正算法. 系統(tǒng)工程與電子技術(shù), 2017, 39(6): 1383-1390.

WANG D W, WANG J, XU Z J, LIU Y. Adaptive correction algorithm for non-uniform illumination images., 2017, 39(6): 1383-1390. (in Chinese)

[24] 饒秀勤. 基于機器視覺的水果品質(zhì)實時檢測與分級生產(chǎn)線的關(guān)鍵技術(shù)研究[D]. 杭州: 浙江大學, 2007.

RAO X Q. Real-time inspection technology of fruit quality using machine vision [D]. Hangzhou: Zhejiang University, 2007. (in Chinese)

[25] 白菲. 基于機器視覺的柑橘水果外形識別方法研究[D]. 北京: 中國農(nóng)業(yè)大學, 2005.

BAI F. Research on the shape identification of orange based on computer vision technology [D]. Beijing: China Agricultural University, 2005. (in Chinese)

[26] 應(yīng)義斌. 水果圖像的背景分割和邊緣檢測技術(shù)研究. 浙江大學學報, 2000, 26(1): 35-38.

YING Y B. Study on background segment and edge detection of fruit image using machine vision., 2000, 26(1): 35-38. (in Chinese)

[27] XIAO J S, PENG H, ZHANG Y Q, TU C P, LI Q Q. Fast image enhancement based on color space fusion., 2016, 41(1): 22-31.

[28] 姜柏軍, 鐘明霞. 改進的直方圖均衡化算法在圖像增強中的應(yīng)用. 激光與紅外, 2014, 44(6): 702-706.

JIANG B J, ZHONG M X. Improved histogram equalization algorithm in the image enhancement., 2014, 44(6): 702-706. (in Chinese)

[29] LAND E H. An alternative technique for the computation of the designator in the Retinex theory of color vision., 1986, 83(10): 3078-3080.

[30] 李福文, 金偉其, 陳偉力, 曹揚, 王霞, 王嶺雪. 基于Retinex模型的彩色圖像全局增強算法. 北京理工大學學報, 2010, 30(8): 947-951.

LI F W, JIN W Q, CHEN W L, CAO Y, WANG X, WANG L X. Global color image enhancement algorithm based on Retinex model.,2010, 30(8): 947-951. (in Chinese)

[31] LI J. Application of image enhancement method for digital images based on retinex theory., 2013, 124(23): 5986-5988.

[32] 趙源萌, 王嶺雪, 金偉其, 駱媛, Saritporn Vittayapadung. 基于區(qū)域直方圖統(tǒng)計的灰度圖像色彩傳遞方法. 北京理工大學學報, 2012, 32(3): 322-326.

ZHAO Y M, WANG L X, JIN W Q, LUO Y, SARITPORN V. A color transfer method for colorization of grayscale image based on region histogram statistics., 2012, 32(3): 322-326. (in Chinese)

[33] 解維域, 丁辰, 宋燁. GB/T 12947-2008, 鮮柑橘[S]. 北京: 中華人民共和國國家標準化管理委員會, 2008.

XIE W Y, DING C, SONG Y. GB/T 12947-2008, Fresh citrus [S]. Beijing: Standardization Administration of the People’s Republic of China, 2008. (in Chinese)

[34] 龐江偉. 基于計算機視覺的臍橙表面常見缺陷種類識別的研究[D]. 浙江: 浙江大學, 2006.

PANG J W. Study on external defects classification of navel orange based on machine vision [D]. Hangzhou: Zhejiang University, 2006. (in Chinese)

[35] 趙杰文, 劉劍華, 陳全勝, Saritporn Vittayapadung. 利用高光譜圖像技術(shù)檢測水果輕微損傷. 農(nóng)業(yè)機械學報, 2008, 39(1): 106-109.

ZHAO J W, LIU J H, CHEN Q S, Saritporn V. Detecting subtle bruises on fruits with hyperspectral imaging., 2008, 39(1): 106-109. (in Chinese)

Segmentation of Navel Orange Surface Defects Based on Mask and Brightness Correction Algorithm

ZHANG Ming1,2, LI Peng2, DENG Lie2, HE ShaoLan2, YI ShiLai2, ZHENG YongQiang2, XIE RangJin2, MA YanYan2, Lü Qiang2

(1College of Engineering and Technology, Southwest University, Chongqing 400716;2Citrus Research Institute, Southwest University/Chinese Academy of Agricultural Sciences, Chongqing 400712)

【Objective】The purpose of this study was to effectively solve the problem that some defects of fruit images with defective peels were mistakenly divided into backgrounds when removing background, and it was difficult to effectively segment and extract fruit surface defects.【Method】Taking Newhall navel orange as the research object, this paper proposed to remove the background based oncolor space model method to construct the mask template withcomponent image, and to select a single threshold (=75) by bimodal method according to its gray histogram information and filled the holes to obtain a mask template. At last, the mask template andcomponent image were obtained by dot multiplication to obtaincomponent image from which the background was removed. A multi-scale Gaussian function image brightness correction algorithm was proposed to correct the brightness ofcomponent image after removing the background. By constructing a multi-scale Gaussian function filter,component image with the background removed and the constructed multi-scale Gaussian function filter were convoluted to obtain the surface illumination component image ofcomponent image after the background was removed. Finally, thecomponent image after removing the background and the obtained illumination component image were subjected to dot division operation to obtain a luminance correction image of thecomponent image after the background was removed. At last, the surface defects of navel orange were extracted by a single global threshold method.【Result】The background was removed based on thecolor space model method, and the surface information of the navel orange could be preserved while the background was effectively removed, which was beneficial to subsequent operations. The image brightness correction algorithm based on multi-scale Gaussian function was used to extract the defects of the six common navel orange defects, and then the single-threshold method was used to extract the defects. Therefore the surface defects of navel oranges with different gray levels were successfully segmented at one time, and the segmentation rate was up to 100%, the lowest was 88.5%, and the total was 92.7%. Through experimental analysis, it was found that the cause of partial mis-segmentation or leakage segmentation was mainly due to the fact that some defects were lighter in color, and the difference in gray level from normal region was smaller, resulting in leakage segmentation. There were still some defects due to the small defect area, which was mistaken for noise removal during image morphology processing. At the same time, the false positive rate of normal fruit was also found to be 10.8%. It was found that the fold of a part of the normal fruit epidermal tissue area was located in the edge area of the image, which was mistaken for the defect of the edge area, resulting in misjudgment.【Conclusion】The experimental results showed that image removal based on HSI color space model and image brightness unevenness correction algorithm based on multi-scale Gaussian function had achieved good results for background image segmentation of Newhall navel orange image andcomponent image surface brightness correction after background removal. It provided technical support for the precise grading of navel oranges and also provided a new idea for the rapid detection of other fruit surface defects.

navel orange; surface defect; segmentation; remove background; brightness correction; single threshold

10.3864/j.issn.0578-1752.2019.02.011

2018-08-06；

2018-11-06

重慶市重點產(chǎn)業(yè)共性關(guān)鍵技術(shù)創(chuàng)新專項（cstc2015zdcy-ztzx80001）、海南省重點研發(fā)計劃（ZDYF2017028）、中央高?；究蒲袠I(yè)務(wù)費（XDJK2017C017）

張明，E-mail：pine_torch@126.com。通信作者呂強，E-mail：qlu@swu.edu.cn

（責任編輯 趙伶俐）