蔡家旭，王 飛，奚冬冬，劉 路，2，王玉偉，2，*

(1.安徽農(nóng)業(yè)大學 工學院，安徽 合肥 230036； 2.安徽省智能農(nóng)機裝備工程實驗室，安徽 合肥 230036)

我國是蘋果生產(chǎn)和出口大國，總體產(chǎn)量位居世界第一[1]。隨著經(jīng)濟的飛速發(fā)展和社會消費水平的逐步提高，人們對安全、優(yōu)質(zhì)蘋果的需求越來越大。目前，蘋果分級多采用人工或機械的檢測方式，其精度和效率均較低，而且容易造成蘋果的機械損傷。近年來，機器視覺在水果品質(zhì)檢測中發(fā)揮出巨大的優(yōu)勢，逐漸取代了傳統(tǒng)人工或機械檢測的分級方式[2-4]。現(xiàn)有的機器視覺檢測技術通常根據(jù)顏色、大小和外觀缺陷來對蘋果進行分級[5]，其中，針對蘋果顏色和大小的檢測已經(jīng)取得比較成熟的應用[6-8]。然而，蘋果缺陷檢測過程中，其外部缺陷具有與果梗/花萼相似的光學特性，二維圖像檢測技術難以對兩者進行有效區(qū)分[9-10]。因此，準確地識別出果梗/花萼區(qū)域是確保蘋果缺陷檢測效果的重要前提。針對蘋果果梗/花萼的識別和外觀缺陷的檢測，國內(nèi)外學者開展了大量的研究。Throop等[11]設計了一種特殊的機械傳輸裝置，在傳輸過程中可避免蘋果的果梗/花萼出現(xiàn)在相機視場之內(nèi)，但該裝置的定向結構復雜、成本較高，并且無法保證果梗/花萼均在相機視場之外。Leemans等[12]基于k-均值聚類算法開發(fā)出一套商業(yè)化的蘋果分級系統(tǒng)，但該系統(tǒng)并不能有效區(qū)分蘋果的果梗/花萼與外觀缺陷，分級率僅為73%。Zhang等[13]利用進化構造(evolutionary constructed，ECO)特征區(qū)分蘋果的果梗/花萼與表面缺陷，識別率達到94%，但該技術依賴于所提取的特征，針對不同品種的蘋果需要重新訓練模型。

結構光投影技術具有非接觸、精度高、速度快等優(yōu)點，近年來不少學者將該技術應用于水果品質(zhì)檢測中。Lu等[14-15]構建了結構光照明成像系統(tǒng)，對蘋果的外觀品質(zhì)進行檢測與評估；Yang[16]構建了線結構光陣列成像系統(tǒng)，通過曲率分析算法識別條紋圖像，進而區(qū)分缺陷與果梗/花萼；Zhang等[17]利用近紅外線結構光重建蘋果的三維面型，通過與標準球模型進行對比，實現(xiàn)了對果梗/花萼的檢測，但其識別率受到蘋果球形度的影響，且線結構光掃描速度慢，檢測效率偏低。

針對目前蘋果果梗/花萼檢測識別困難的問題，本文結合條紋投影技術提出了一種蘋果果梗/花萼識別方法。首先，利用相移條紋投影法重建蘋果的相位高度圖；然后，采用灰度形態(tài)學算法對相位高度圖進行填充，得到相位填充圖，并將相位填充圖與相位高度圖相減得到相位差值圖；最后，通過對相位差值圖進行閾值分割，準確地識別出果梗/花萼區(qū)域，以有效避免果梗/花萼區(qū)域?qū)μO果缺陷檢測的干擾。

1 材料與方法

1.1 條紋投影系統(tǒng)

搭建如圖1所示的條紋投影系統(tǒng)，主要設備包括投影儀(DLP Light-Crafter 4500，Texas Instruments，美國)、相機(Basler a2A1920-160ucBAS，Basler AG，德國)、電動旋轉(zhuǎn)臺(HT03RA100，北京江云聚力科技有限公司)、絲杠滑臺(LYX150-1605，東臺路易馬丁科技有限公司)和計算機(MECHREVO S1 Pro，Inter Core i5-8265U CPU@60 GHz，RAM 8.0 GB)。投影儀的分辨率為912 pixel×1 140 pixel，相機的分辨率為1 920 pixel×1 200 pixel，鏡頭的焦距為8 mm，滑軌的有效行程為300 mm。投影儀與相機的夾角約為30°，兩者光心連線平行于參考平面，檢測場景置于視場前0.4～0.5 m。電動旋轉(zhuǎn)臺固定在絲杠滑臺上，工作時在xoy平面內(nèi)旋轉(zhuǎn)，絲杠滑臺沿滑軌在y軸方向上做往復運動。

圖1 條紋投影系統(tǒng)實物圖Fig.1 Photograph of fringe projection system

條紋投影系統(tǒng)的測量原理如圖2所示，其大致工作流程如下[18]：首先，通過投影儀投射相移條紋至物體表面，條紋經(jīng)物體的高度調(diào)制會發(fā)生變形，同時相機采集到包含物體高度信息的條紋圖像；然后，將采集的圖像數(shù)據(jù)傳輸至計算機，通過條紋分析重建出被測物體的相位高度。圖2中C點表示投影儀的光心，D點表示相機的光心，兩者光心的連線CD平行于參考平面，相機光軸垂直于參考平面，且相機光心到參考平面的距離等于l。設點H為被測物體的表面上任意一點，該點至參考平面的距離等于h，其與投影儀光心和相機光心的連線分別與參考平面相交于點A和B，則相機所采集的條紋圖的數(shù)學表達式為

圖2 系統(tǒng)測量原理圖Fig.2 Principle of measurement system

I(x，y)=a(x，y)+b(x，y)cos[2πfxx+φ]。

(1)

式(1)中：(x，y)表示圖像像素坐標；a表示條紋背景強度；b表示條紋調(diào)制度；fx為x軸方向上的空間頻率；φ表示初始相位。

假設B點和H點的相位分別為

ΦB=2πfxxB+φ；

(2)

ΦH=2πfxxA+φ。

(3)

式(2)、(3)中：xA=OA，xB=OB。

H點與B點的相位差(ΔΦ)為

(4)

由近似三角形△HCD、△HAB可知：

(5)

進而，可推導出被測物體的相位-高度映射關系：

(6)

1.2 解相位

相移算法具有精度高、穩(wěn)健性強等優(yōu)勢，常用于三維形貌測量。本文采用五步相移法求解條紋的相位分布[19]。一般地，相移條紋上各點光強分布的數(shù)學表達式為

Ii(x，y)=a(x，y)+b(x，y)cos[φ(x，y)+δi]。

(7)

式中：下標i=1，2，3，4，5表示相移步數(shù)；δi=2πi/5表示相移量(式中i的取值同下標i)；φ表示待求相位，其計算公式為

(8)

通過式(8)計算得到的φ，其取值被截斷在(-π，+π]，因此Φ也被稱為截斷相位，需要對其進行相位展開，計算絕對相位Φ：

Φ(x，y)=φ(x，y)+2πk(x，y)。

(9)

式(9)中：k表示截斷相位φ所對應的條紋級次。

本文采用三頻法，即分別使用高頻、中頻、低頻3種頻率的條紋展開截斷相位。其中，低頻條紋只有1個周期，所以低頻截斷相位φl不需要進行相位展開就可以得到低頻絕對相位Φl，即Φl=φl。根據(jù)低頻絕對相位Φl、中頻絕對相位Φm、高頻絕對相位Φh的數(shù)學比例關系，可計算得到中頻截斷相位φm和高頻截斷相位φh所對應的條紋級次(km和kh)[20]：

(10)

(11)

式(10)、(11)中：fh、fm和fl分別表示高頻條紋、中頻條紋和低頻條紋的頻率。進而，可以計算得到：

Φm(x，y)=φm(x，y)+2πkm(x，y)；

(12)

Φh(x，y)=φh(x，y)+2πkh(x，y)。

(13)

1.3 灰度形態(tài)學算法

根據(jù)蘋果果梗/花萼的凹形特征，本文利用灰度形態(tài)學算法對果梗/花萼區(qū)域進行填充?；叶刃螒B(tài)學[21]是數(shù)學形態(tài)學的重要內(nèi)容之一。假設有輸入模板圖像M和標記圖像L，其中L≤M，以一維曲線Mc為例，圖3展示了灰度形態(tài)學的填充原理。在模板圖像M=255-Mc的約束下，利用結構元素E對標記圖像L=M-0.5進行重構，直至達到穩(wěn)定狀態(tài)ρM(L)。其詳細計算公式如下：

圖3 灰度形態(tài)學填充原理圖Fig.3 Schematic of filling operation of grayscale morphology

(14)

(15)

圖4展示了果梗/花萼區(qū)域的填充示意圖，可以看出，利用灰度形態(tài)學算法能夠填充果梗/花

a、c分別為蘋果的相位高度圖，及對應的中心線輪廓；b、d分別為蘋果的相位填充圖，及對應的中心線輪廓；e、f分別為蘋果的相位差值圖，及對應的中心線輪廓。a， c indicated the phase height image of apples， and the corresponding centerline profile， respectively; b， d indicated the phase filled image of apples， and the corresponding centerline profile， respectively; e， f indicated the phase difference image of apples， and the corresponding centerline profile， respectively.圖4 果梗/花萼區(qū)域填充示意圖Fig.4 Schematic of stem/calyx area filling

萼區(qū)域，為相位高度圖提供作差對象。根據(jù)填充前后相位高度的不同，將相位填充圖與相位高度圖相減，得到相位差值圖，即可合理地剔除非果梗/花萼區(qū)域，只保留被填充的果梗/花萼區(qū)域，然后通過閾值分割便可以有效地識別出果梗/花萼區(qū)域。

1.4 偏轉(zhuǎn)相位

(16)

式(16)中：n=1，2，3，…，N，N表示偏轉(zhuǎn)相位的數(shù)量；α、β分別表示x軸和y軸的偏轉(zhuǎn)角度，通過調(diào)整α、β能夠模擬多角度下參考平面相位的偏轉(zhuǎn)相位；A、B取值為0或1。

(17)

圖5 多角度下相位填充示意圖Fig.5 Schematic of phase filling under multiple angles

(18)

相位填充圖與相位高度圖相減能夠有效剔除非果梗/花萼區(qū)域，只保留被填充的果梗/花萼區(qū)域，所以閾值T可在0～0.1中選取。經(jīng)過多組實驗的總結，本文將閾值T設置為0.05。

最后，通過求或運算得到果梗/花萼的識別結果R：

R=S∪X1∪X2…∪Xn。

(19)

式(19)中S表示蘋果圖像區(qū)域的外輪廓邊緣曲線。

2 結果與分析

2.1 實驗統(tǒng)計結果

為了驗證本文提出的果梗/花萼識別方法的有效性，選擇40個無缺陷的蘋果和20個帶缺陷的蘋果為實驗樣本，采用圖1所示的條紋投影系統(tǒng)進行檢測實驗。為了避免人為因素影響樣本的隨機性，將蘋果放置于電動旋轉(zhuǎn)臺上，隨著電動旋轉(zhuǎn)臺和絲杠滑臺運動，電動旋轉(zhuǎn)臺每次旋轉(zhuǎn)60°，絲杠滑臺沿滑軌做往復運動，且每次移動的位移大小隨機分布。絲杠滑臺與電動旋轉(zhuǎn)臺的配合運作，不僅有效地增加了實驗樣本，而且能夠確保果梗/花萼位置的隨機性，因此果梗/花萼區(qū)域可能位于蘋果圖像中的任意位置。

實驗中每個蘋果樣本采集5組不同位置的圖像，共采集300組蘋果圖像，具體包括如下4個類別：(1)162組無缺陷蘋果圖像，出現(xiàn)果梗/花萼；(2)38組無缺陷蘋果圖像，未出現(xiàn)果梗/花萼；(3)65組帶缺陷蘋果圖像，出現(xiàn)果梗/花萼；(4)35組帶缺陷蘋果圖像，未出現(xiàn)果梗/花萼。

文中選定4個偏轉(zhuǎn)角度α=β∈{π/30，π/60，π/90，π/120}，對所采集的300組蘋果圖像進行處理，圖6展示了部分蘋果果梗/花萼的識別結果。可以看出，本文方法能夠有效地識別出果梗/花萼區(qū)域，且在蘋果表面存在缺陷的情況下仍具有很好的識別效果。

為統(tǒng)計上述300組蘋果圖像的識別率，對識別結果做如下規(guī)定：若圖像中的連通區(qū)域大于1 000 pixel，判別為果梗/花萼區(qū)域，認為蘋果圖像中出現(xiàn)果梗/花萼，否則判別為非果梗/花萼區(qū)域，認為蘋果圖像中未出現(xiàn)果梗/花萼；若果梗/花萼區(qū)域中心點與邊緣輪廓最近點的歐氏距離小于100，認為果梗/花萼位于蘋果圖像的邊緣區(qū)域，否則認為果梗/花萼位于蘋果圖像的中心區(qū)域。

將采集得到的300組蘋果圖像導入Matlab R2019a軟件平臺，采用本文提出的方法識別蘋果的果梗/花萼區(qū)域，平均處理時間為0.207 3 s，即每秒能夠檢測4～5個蘋果。經(jīng)統(tǒng)計，果梗/花萼識別率如下：類別(1)的平均識別正確率為96.91%，類別(2)的平均識別正確率為100%，類別(3)的平均識別正確率為98.46%，類別(4)的平均識別正確率為94.29%，總體識別正確率為97.33%。由此可見，本文方法在保證工作效率的前提下，又具有識別率高、結構簡單、適用性好、穩(wěn)健性強等優(yōu)點，能夠滿足實際生產(chǎn)的需求。

a，蘋果原始圖像；b，相位高度圖；c，帶輪廓邊緣的相位差值圖；d，識別結果圖。a， Original apple images; b， Phase height images; c， Phase difference images with edge; d， Recognition results.圖6 果梗/花萼識別結果Fig.6 Stem and calyx recognition results

表1 果梗/花萼識別率統(tǒng)計結果Table 1 Statistical results of stem/calyx recognition accuracy

2.2 分析與討論

結果顯示：200組無缺陷蘋果圖像中有5組被誤識別，100組帶缺陷蘋果圖像中有3組被誤識別。對產(chǎn)生誤識別的原因進行分析：第一種情況，被測蘋果的果梗/花萼位于投影儀的投影死角，附近區(qū)域被陰影遮擋，導致重建出的果梗/花萼不完整，從而無法識別出果梗/花萼區(qū)域。后期，可通過優(yōu)化投影方向、利用機械裝置調(diào)整被測蘋果的放置角度加以解決。第二種情況，由于缺陷果腐爛嚴重，在被測蘋果表面形成凹陷，以致將表面正常區(qū)域誤識別為果梗/花萼。蘋果的腐爛不僅會形成凹陷，還會由于果肉嚴重失水導致腐爛區(qū)域發(fā)黑，從而與無損傷果皮產(chǎn)生明顯對比。針對這種情況，可利用相關算法辨識腐爛果，直接將其歸為下等果，不予檢測。此外，當表面缺陷位于果梗/花萼區(qū)域時，本文方法仍可根據(jù)果梗/花萼的凹形特征成功識別出果梗/花萼區(qū)域，但由于果梗/花萼與表面缺陷位置重疊，因此很難將果梗/花萼與表面缺陷有效地區(qū)分開來。

綜上所述，本文提出的識別方法具有以下優(yōu)勢：(1)識別結構簡單且成本較低；(2)檢測前無須挑選樣本進行訓練，具有良好的適用性和穩(wěn)健性；(3)不易受蘋果形狀大小、外部缺陷等因素的影響，具有較高的識別正確率。

3 結論

本文提出了一種基于條紋投影的蘋果果梗/花萼識別方法。該方法根據(jù)蘋果果梗/花萼的凹形特征，利用相移條紋投影技術，通過數(shù)學變換和灰度形態(tài)學算法，對蘋果相位高度圖中的凹形區(qū)域進行填充，再通過分析處理填充前后的相位差值圖，識別蘋果的果梗/花萼。選定4個偏轉(zhuǎn)角度，對采集的300組蘋果圖像進行處理。結果表明，本文方法能夠有效識別蘋果的果梗/花萼區(qū)域，減小果梗/花萼區(qū)域?qū)μO果缺陷檢測的影響，果梗/花萼的總體識別正確率可達97.33%。當果梗/花萼位于蘋果圖像的邊緣區(qū)域時，果梗/花萼仍能被檢測出來。與現(xiàn)有的果梗/花萼識別方法相比，本文的識別方法具有實施成本低、適應性好、識別率高等優(yōu)勢，對于蘋果外觀品質(zhì)的檢測具有重要的現(xiàn)實意義，同時在梨子、桃子等水果檢測領域亦具有潛在的應用價值。