基于多目視覺的馬鈴薯分級檢測并行處理技術(shù)

劉馨陽

（寧夏大學(xué)新華學(xué)院信息與計(jì)算機(jī)科學(xué)系,寧夏 銀川 750001）

1 研究背景

機(jī)器視覺就是利用機(jī)器代替人眼實(shí)現(xiàn)各種測量和判斷，將其應(yīng)用到馬鈴薯重量檢測中，通過多角度的拍攝，能采集到馬鈴薯的完整表面信息，進(jìn)而檢測到馬鈴薯的基本幾何信息。目前，國內(nèi)外利用機(jī)器視覺技術(shù)對馬鈴薯進(jìn)行重量檢測研究已取得了一定成果。

1.1 重量檢測

Wang等[1]（2016）研究發(fā)現(xiàn)馬鈴薯的實(shí)際重量與其外部尺寸呈線性關(guān)系，通過“V”形面鏡獲得馬鈴薯兩個視角的圖像，最終試驗(yàn)結(jié)果顯示，相關(guān)系數(shù)為0.991，馬鈴薯樣品試驗(yàn)組的大、中、小尺寸的鑒別精度分別為90%、100%、90%。高新浩等[2]（2016）利用立體視覺技術(shù)對玉米重量進(jìn)行檢測分級，實(shí)現(xiàn)分級準(zhǔn)確率99%以上。

1.2 幾何形狀檢測

Junrong等[3]（2014）設(shè)計(jì)制造板坯尺寸檢測分選系統(tǒng)，包括機(jī)器視覺長度和寬度測量，檢測系統(tǒng)可滿足非接觸、高效率、高準(zhǔn)確度等需求，并且測量精度小于1 mm。袁亮等[4]（2017）利用單目視覺進(jìn)行番茄分級檢測，通過邊界追蹤算法、傅里葉變換處理等手段，檢測番茄的畸形度，建立了穩(wěn)定的分級系統(tǒng)，系統(tǒng)識別率達(dá)到92%。

1.3 表面檢測

Xu等[5]（2017）提出了一種基于高通濾波器的機(jī)器視覺檢測新方法。構(gòu)建高斯高通濾波器，通過利用馬鈴薯灰度圖像的快速傅里葉變換進(jìn)行卷積，獲得高頻區(qū)域，最后使用Blob分析獲得目標(biāo)區(qū)域。該方法可以有效地檢測由于機(jī)械加工對馬鈴薯造成的損傷，識別準(zhǔn)確率達(dá)到95%以上。楊倩等[6]（2013）研究了一種基于采集圖像的顏色一階與二階矩和紋理LBP算子改進(jìn)模式綜合特征參數(shù)的大麥病害識別方法，并且利用SVM分類模型對采集到的樣本進(jìn)行分析研究，設(shè)計(jì)了一種大麥病害識別系統(tǒng)，系統(tǒng)總體識別率達(dá)到84.745 8%。

通過上述分析可知，利用多目視覺技術(shù)檢測馬鈴薯的研究尚處在試驗(yàn)起步階段，馬鈴薯檢測多集中于單目視覺和雙目視覺檢測，拍攝角度相對固定，僅從一兩個角度是不可能獲取物體完整的表面信息[7]，存在測量范圍有限的問題。而多目視覺技術(shù)是通過多個相機(jī)從不同的角度拍攝同一物體得到物體表面信息，可以獲得物體的完整表面信息，降低誤判的概率。此外，基于機(jī)器視覺的馬鈴薯分級檢測研究，大部分僅僅是在理論層面通過改進(jìn)算法或增加約束從而提高檢測的準(zhǔn)確率，多是停留在提高百分點(diǎn)的理論研究[8]，并沒有考慮到檢測速度的提高，而若想應(yīng)用于實(shí)際生產(chǎn)加工過程中，提高檢測準(zhǔn)確度的前提是保證時間最短，只有提高檢測速度，人工智能取代人工檢測才會變得有意義[9]。

2 材料與方法

2.1 樣本材料選擇

試驗(yàn)樣品采集于寧夏回族自治區(qū)銀川市同心路農(nóng)貿(mào)市場，馬鈴薯品種為棵新10號，共采集100個樣本。采集后運(yùn)往寧夏大學(xué)物電學(xué)院電工實(shí)驗(yàn)室進(jìn)行試驗(yàn)。

2.2 圖像采集方法

基于多目視覺的動態(tài)馬鈴薯重量檢測采集系統(tǒng)：（1）為了拍到馬鈴薯完整的表面信息，四目相機(jī)在空間中立體分部；（2）考慮到鏈條傳輸會遮擋掉馬鈴薯的部分表面信息，所以利用2個具有高度差的傳送帶傳遞馬鈴薯，從上一傳送帶以一定速度拋出后，經(jīng)過類平拋運(yùn)動落到下一級傳送帶上；（3）在上一級傳送帶出口安裝有光電傳感器，當(dāng)馬鈴薯從上一級傳送帶拋出時，觸發(fā)光電傳感器給相機(jī)發(fā)送信號，之后當(dāng)馬鈴薯進(jìn)入相機(jī)拍攝視角，四目相機(jī)進(jìn)行同時拍照，同步獲得馬鈴薯4個角度的圖像信息。圖像采集系統(tǒng)如圖1所示。

圖1 圖像采集系統(tǒng)

2.3 并行處理方法

2.3.1 讀取圖像

馬鈴薯無損檢測分級系統(tǒng)在實(shí)際應(yīng)用過程中，關(guān)于圖像的存取需要滿足以下要求：

（1）在實(shí)際應(yīng)用過程中，所處理的圖像數(shù)量龐大，且相機(jī)的拍照速度快，存儲時采用編號（1,2,3,…,n）的形式進(jìn)行圖像的命名處理，這樣避免了圖像的重名現(xiàn)象。

（2）考慮到存儲空間的占用，圖像數(shù)量達(dá)到3 000個進(jìn)行清除（按照平均每個馬鈴薯350 g計(jì)算，相當(dāng)于處理了1 t的馬鈴薯），從1開始重新編號存儲。

（3）由于是四目相機(jī)同時拍照，并且采用parfor并行處理圖像，所以4個相機(jī)所拍攝的照片分為4個文件夾進(jìn)行存儲。

（4）提取圖像過程中，采用遍歷的形式讀取圖像，每個文件夾中相對應(yīng)編號相同的圖像就是同一個馬鈴薯的圖像。

按照圖像編號讀取圖像，MATLAB程序代碼為：

其中，strcat(num2str(x),'.bmp')實(shí)現(xiàn)了按照圖像編號進(jìn)行遍歷提取圖像，每30幅圖像分為一組進(jìn)行批量處理，這樣減少了打開關(guān)閉并行池的次數(shù)[10]，節(jié)約了處理的時間。

2.3.2 并行處理編程方法

馬鈴薯無損檢測分級系統(tǒng)中，四目相機(jī)同步采集馬鈴薯不同角度的圖像進(jìn)行處理，每個馬鈴薯的檢測都要結(jié)合4個不同角度拍攝的圖像進(jìn)行綜合分析，這種多視角的檢測可以獲取每個樣本的完整表面信息，提高馬鈴薯檢測的精確度。

考慮到4幅圖像雖然是從不同角度拍攝的，但是處理的過程是相同的，而串行運(yùn)算會占用很多時間，所以研究并行處理方法，每個樣本的分級結(jié)果將匯總4幅圖像的結(jié)果進(jìn)行綜合分析。馬鈴薯無損檢測分級系統(tǒng)的并行處理流程如圖2所示，其中，4幅圖像都要進(jìn)行圖像預(yù)處理操作，即對圖像進(jìn)行基本的圖像處理，包括去背景、二值化等操作，并提取出后續(xù)步驟所需的參數(shù)，主要有圖像的不變矩參數(shù)、圖像面積參數(shù)[11]，具體預(yù)處理過程如圖3所示。

圖2 并行處理流程圖

圖3 圖像預(yù)處理過程圖

3 模塊并行程序檢測

3.1 馬鈴薯缺陷程序檢測

馬鈴薯缺陷程序檢測，選取4個角度拍攝馬鈴薯，從4個角度觀察同一個馬鈴薯，得到馬鈴薯各個角度的圖像信息，從而減少馬鈴薯分類的誤判。在檢測過程中，每一個馬鈴薯的4幅圖像都要經(jīng)過相同的程序進(jìn)行處理，如果有缺陷，則輸出“1”，無缺陷則輸出“0”，最后每個馬鈴薯的4幅圖像進(jìn)行“與”運(yùn)算，只要有一張圖像檢測為“1”，即有缺陷，那么判定該馬鈴薯為有缺陷的馬鈴薯。

每一張圖像的處理過程：通過灰度閾值提取，先預(yù)估出缺陷部分，并且提取缺陷部分，為了進(jìn)一步區(qū)分蟲眼馬鈴薯與斑點(diǎn)馬鈴薯，引入面積閾值[12]，即通過設(shè)置面積閾值，閾值為200，去除面積小于200的小面積缺陷，再通過bwlabel函數(shù)，如果還留有缺陷，則該馬鈴薯被判定為缺陷馬鈴薯，若沒有缺陷保留，則判定為無缺陷馬鈴薯。

在實(shí)際操作過程中，選取了10個馬鈴薯的圖像，也就是40幅馬鈴薯圖像進(jìn)行缺陷判定。在提取圖像時，就涉及for循環(huán)的使用，每次提取一張照片，進(jìn)行相同的判定程序運(yùn)算。for循環(huán)是最消耗計(jì)算量的代碼，且圖像在循環(huán)過程中都是相互獨(dú)立的，不存在數(shù)據(jù)傳輸，所以考慮使用并行運(yùn)算parfor代替串行運(yùn)算for循環(huán)。并對比了串行運(yùn)算for循環(huán)、并行運(yùn)算parfor（三核）、并行運(yùn)算parfor（四核）3種形式所使用的時間和相對應(yīng)的加速比，以及并行運(yùn)算的效率，其中每次測試使用時間均不相同，所以所取數(shù)據(jù)為10次試驗(yàn)的平均數(shù)，具體試驗(yàn)結(jié)果如表1所示。

由表1可知，從運(yùn)行時間來看，parfor比for循環(huán)短，且加速比為1.671，以及運(yùn)算效率為0.478，可以看出parfor將任務(wù)分配到多個MATLAB worker上并行執(zhí)行程序的方法，可以提高程序的整體運(yùn)行速度。

表1 串行、并行程序測試

3.2 馬鈴薯薯形判定程序檢測

馬鈴薯薯形檢測，試驗(yàn)選取的是每個馬鈴薯一個角度的圖像。馬鈴薯薯形檢測是通過提取馬鈴薯圖像的7個不變矩參數(shù)，把這7個不變矩參數(shù)作為BP神經(jīng)網(wǎng)絡(luò)的輸入?yún)?shù)，最終得到輸出的結(jié)果，即“0.01”或“0.99”，分別表示薯形優(yōu)良和畸形[13]。

對每一幅馬鈴薯圖像所進(jìn)行的圖像處理操作是相同的，通常使用for循環(huán)提取每一張圖像，然后每幅圖像在循環(huán)體內(nèi)都會進(jìn)行相同的操作，而這種串行的for循環(huán)運(yùn)算，是最消耗時間的運(yùn)算，會大大降低整個薯形檢測的檢測效率，考慮使用MATLAB中的parfor循環(huán)代替for循環(huán)，可以得到相同的檢測結(jié)果，由于parfor循環(huán)是并行運(yùn)算的方式，會減少時間的消耗，充分利用現(xiàn)有的資源，達(dá)到更理想的檢測效率。

在實(shí)際操作過程中，選取了100個馬鈴薯的圖像，即100幅馬鈴薯圖像進(jìn)行檢測，并對比了串行運(yùn)算for循環(huán)、并行運(yùn)算parfor（三核）、并行運(yùn)算parfor（四核）3種形式所使用的時間以及相對應(yīng)的加速比，以及并行運(yùn)算的效率，其中每次測試使用時間均不相同，所以所取數(shù)據(jù)為10次試驗(yàn)的平均數(shù)，具體試驗(yàn)結(jié)果如表2所示。

表2 串行、并行程序測試

由表2可知，從運(yùn)行時間來看，parfor比for循環(huán)短，且加速比為1.682，以及運(yùn)算效率為0.421，可以看出parfor將任務(wù)分配到多個MATLAB worker上并行執(zhí)行程序的方法，可以提高程序的整體運(yùn)行速度。

3.3 馬鈴薯重量選取程序檢測

馬鈴薯大小選取程序檢測，試驗(yàn)選取的是每個馬鈴薯3個角度的圖像，并通過使用canny算子提取邊緣，填充目標(biāo)物（馬鈴薯），計(jì)算圖像中馬鈴薯的面積（像素和），提取3個面積數(shù)據(jù)得到馬鈴薯預(yù)測重量[14]。

其中，在提取圖像時，就涉及for循環(huán)的使用，每次提取一張照片，進(jìn)行面積運(yùn)算，然后再提取一張進(jìn)行同樣的操作，如此反復(fù)。但是，在程序設(shè)計(jì)中，最消耗計(jì)算量的代碼就是循環(huán)，在MATLAB程序中提高循環(huán)的計(jì)算效率是提高程序設(shè)計(jì)效率的關(guān)鍵，每張圖像的馬鈴薯面積計(jì)算都是獨(dú)立的，也就是for循環(huán)的每次迭代都是獨(dú)立的，利用parfor可以實(shí)現(xiàn)迭代的并行執(zhí)行，因?yàn)閣orkers可以同時執(zhí)行迭代。

在實(shí)際操作過程中，選取了10個馬鈴薯的圖像，也就是30幅馬鈴薯圖像進(jìn)行面積計(jì)算，并對比了串行運(yùn)算for循環(huán)、并行運(yùn)算parfor（三核）、并行運(yùn)算parfor（四核）3種形式所使用的時間以及相對應(yīng)的加速比，以及并行運(yùn)算的效率，其中每次測試使用時間均不相同，所以所取數(shù)據(jù)為10次試驗(yàn)的平均數(shù)，具體試驗(yàn)結(jié)果如表3所示。

表3 串行、并行程序測試

由表3可知，從運(yùn)行時間來看，僅僅10個馬鈴薯的程序運(yùn)行時間，parfor比for循環(huán)短很多，少用了0.39 s和0.5 s，可以看出parfor將任務(wù)分配到多個MATLAB worker上并行執(zhí)行程序，可以提高程序運(yùn)行速度。在并行運(yùn)算中，三核與四核進(jìn)行比較，從加速比以及效率兩個性能指標(biāo)的試驗(yàn)參數(shù)可以看出，四核更能提高整體程序的運(yùn)行速度[15]。

4 討論與總結(jié)

本文基于國內(nèi)外馬鈴薯分級機(jī)系統(tǒng)的研究現(xiàn)狀，為了提高馬鈴薯分級檢測速度，使其真正應(yīng)用于實(shí)際生產(chǎn)加工過程中，提出了馬鈴薯分選機(jī)的并行處理方法。結(jié)果表明：（1）前人基于機(jī)器視覺的馬鈴薯分級系統(tǒng)研究，多是基于單目視覺或雙目視覺，而僅僅一兩個角度無法獲得馬鈴薯的完整表面信息[16]，所以提出了基于四目視覺的馬鈴薯分級系統(tǒng)，通過增加相機(jī)數(shù)目，增加了觀測角度，4個相機(jī)從不同角度保證得到馬鈴薯完整表面信息，從而提高馬鈴薯的分選精度；（2）增加相機(jī)的數(shù)目意味著要處理更多的圖像，為滿足實(shí)際生產(chǎn)加工中對檢測速度的要求，使用對循環(huán)進(jìn)行同步運(yùn)算，解決程序運(yùn)行速度會因循環(huán)的使用而大大下降的問題。使用函數(shù)實(shí)現(xiàn)并行提取預(yù)處理馬鈴薯圖像，試驗(yàn)結(jié)果顯示：馬鈴薯缺陷檢測模塊加速比為1.671，每個馬鈴薯平均用時0.038 6 s；薯形檢測模塊加速比為1.682，每個馬鈴薯平均用時0.081 2 s；馬鈴薯重量檢測模塊加速比為1.558，每個馬鈴薯平均用時0.089 8 s。并行處理有效地提高了馬鈴薯的檢測速度，滿足實(shí)際生產(chǎn)加工要求。