肖哲非,馬田田,張軍文,李彥龍,沈 建,4

(1 中國水產(chǎn)科學(xué)研究院漁業(yè)機械儀器研究所,上海 200092;2 農(nóng)業(yè)農(nóng)村部遠洋漁船與裝備重點實驗室,上海 200092;3 國家水產(chǎn)品加工裝備研發(fā)分中心,上海 200092;4 大連工業(yè)大學(xué)海洋食品精深加工關(guān)鍵技術(shù)省部共建協(xié)同創(chuàng)新中心,遼寧 大連,116034)

中國水產(chǎn)品加工行業(yè)在過去的幾十年中取得了顯著發(fā)展,目前已經(jīng)成為世界上首屈一指的水產(chǎn)品加工大國,2021年水產(chǎn)品加工總量達到了2 522.68萬t[1]。然而隨著市場的發(fā)展,中國水產(chǎn)品加工線逐漸暴露出其機械化、自動化程度低的問題[2-5],大部分的切魚作業(yè)依舊由人工完成;而與此同時,2021年中國漁業(yè)從業(yè)人口比2020年下降了54.96萬人[1]。由此可見,研發(fā)出符合產(chǎn)業(yè)需求的高效自動魚片切段加工設(shè)備已經(jīng)迫在眉睫。

水刀切割由于其清潔節(jié)能且不會改變加工物體物理化學(xué)特性的優(yōu)點,現(xiàn)已在各行業(yè)中廣泛應(yīng)用[6-7]。由于消費者對食品安全和健康日益關(guān)注,學(xué)者們逐漸開始研究水刀在水產(chǎn)品加工中的應(yīng)用方向。Kasperowiczm等[8]研究了水刀切割虹鱒魚的基本參數(shù)數(shù)值,在恒定的進料速度、噴嘴角度和噴嘴距離下,得到了切斷不同位置的魚體所需的最小水壓。李仁杰等[9]研究了射流角度、距離以及進料速度對鯽魚去鱗率和損傷率之間的關(guān)系。Azarmdel等[10]通過提取RGB通道的特征,識別圖像中鱒魚的方向和胸鰭、肛門、腹鰭和尾鰭的位置,以胸鰭的起點和肛門鰭的終點將被應(yīng)用于鱒魚加工系統(tǒng)作為頭部和腹部切割點。自動化切割要求設(shè)備精準對魚片的位置、輪廓都能夠進行較為精準的識別。近年來,深度學(xué)習(xí)由于其準確可靠的特性,現(xiàn)已在農(nóng)業(yè)中有越來越多的應(yīng)用[11-13]。翟永杰等[14]設(shè)計的基于視覺檢測的蝴蝶蘭自動切割系統(tǒng),將上機位識別結(jié)果轉(zhuǎn)化為切割坐標傳輸?shù)綀?zhí)行機構(gòu),在試驗中可達到86%的切割合格率。楊柯等[15]提出了非接觸式的大蒜定位切割方法,采用深度學(xué)習(xí)對大蒜圖像進行目標檢測,電機控制系統(tǒng)調(diào)整刀具完成切根處理,在實驗中切割合格率達到96.7%。李艷君等[16]通過實例分割網(wǎng)絡(luò)對魚體進行檢測,配合雙目攝像機的三維點云數(shù)據(jù),實現(xiàn)了測量自由活動下的魚體尺寸。

提出了一種基于深度學(xué)習(xí)的魚片切段控制系統(tǒng),該系統(tǒng)使用深度學(xué)習(xí)識別魚片輪廓并根據(jù)用戶需求計算切割路徑,控制切割執(zhí)行裝置以完成切割作業(yè),并在樣機上進行了實際試驗。

1 材料與方法

1.1 數(shù)據(jù)集制作

試驗采用鮐魚魚片,來源于浙江興業(yè)集團。為了獲取鮐魚片的數(shù)據(jù)集,選取完整、表面無明顯缺陷和破損的20條鮐魚片,對其進行拍攝采樣。將鮐魚片隨意得擺放在輸送帶上向前傳送,使用工業(yè)相機Basler acA1920-155ucMED不間斷采樣,拍攝圖像大小為1 920×1 200。從拍攝的圖像中選取400張作為數(shù)據(jù)集,使用Labelme進行標注,標注方法是人工使用多點折線描畫出圖像中的魚片,標注示例如圖1所示。

圖1 標注圖片示例

為了簡化模型,無論是圖像中是魚肉還是魚皮朝上,都視為同一類別。除了Mosaic數(shù)據(jù)增強外,還使用了增加噪聲、高斯模糊、動態(tài)模糊、增加亮度、水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)的方式擴充數(shù)據(jù)集,將400張圖像最終擴充到2 500張,并按照4∶1的比例劃分訓(xùn)練集和測試集。共有2 000張圖像參與訓(xùn)練和驗證,500張圖片用于測試模型的泛化能力。

1.2 魚片切段機整體設(shè)計

魚片切割機構(gòu)主要由視覺識別模塊、輸送裝置、切割執(zhí)行機構(gòu)、高壓水裝置以及控制系統(tǒng)組成,如圖2所示。視覺識別模塊包括工業(yè)相機和條形光源?？刂葡到y(tǒng)中的工控機根據(jù)視覺識別模塊拍攝的圖像識別魚片并計算切割路徑,當傳感器被魚片觸發(fā)后,切割執(zhí)行機構(gòu)根據(jù)運動控制器輸入的指令,完成切割作業(yè)。切割作業(yè)流程如圖3所示。

圖2 魚片切段機結(jié)構(gòu)圖

圖3 控制流程圖

程序啟動后,首先設(shè)置記錄拍照數(shù)量和切割數(shù)量,分別用參數(shù)fish和cut表示。啟動輸送帶,當光電傳感器1號檢測到信號后,工控機將相機拍攝的圖像送入深度學(xué)習(xí)模型。如果輸出的結(jié)果置信度閾值大于設(shè)定值,則認為圖像中包含可被切割的魚片,參數(shù)fish在原有基礎(chǔ)上加1。接著,工控機將規(guī)劃好的切割路徑存入控制器的緩存區(qū)域。緩存區(qū)實行先進先出,即每一次新存入的路徑數(shù)據(jù)都放在緩存區(qū)的隊末。當光電傳感器2號檢測到信號并且參數(shù)fish的值大于參數(shù)cut的值時,控制器從緩存區(qū)取出排在最前列的路徑數(shù)據(jù)并執(zhí)行。否則,控制器一直處于等待狀態(tài)。在執(zhí)行切割的過程中,輸送帶會停止,直到切割完成后再繼續(xù)啟動。

1.3 硬件控制系統(tǒng)設(shè)計

1.3.1 硬件控制系統(tǒng)結(jié)構(gòu)設(shè)計

硬件控制系統(tǒng)由位置控制系統(tǒng)、電機控制系統(tǒng)、高壓水控制系統(tǒng)、工業(yè)相機以及工控機組成,如圖4所示。光電傳感器1號和2號用于確定魚片在輸送帶上的位置,X軸、Y軸和Z軸的原點開關(guān)用于確定每次切割的起始位置,X軸和Y軸的限位開關(guān)用于防止機構(gòu)的行程超出極限而發(fā)生碰撞,導(dǎo)致機構(gòu)損壞;Z軸限位開關(guān)的信號由與高壓水裝置中的PLC讀取。當限位開關(guān)被觸發(fā)后,高壓水裝置開始出水,當信號消失后,則停水。電機控制系統(tǒng)中,運動控制器將運動指令分配給對應(yīng)軸的伺服驅(qū)動器,使其按照上層軟件計算好的路徑和運動參數(shù)完成運動。工控機與工業(yè)相機和運動控制器相連,一方面,從工業(yè)相機獲取拍攝的圖像,經(jīng)過深度學(xué)習(xí)后計算切割路徑;一方面,將切割路徑拆解為運動指令,輸出到運動控制器中。

圖4 控制系統(tǒng)硬件圖

1.3.2 硬件系統(tǒng)選型

切割執(zhí)行機構(gòu)由成都福譽科技生產(chǎn)的FSL80三軸絲桿直線模組構(gòu)成,由于涉及水刀切割,絲桿為全封閉結(jié)構(gòu)。絲桿寬度為80 mm,其中X軸的行程為800 mm,Y軸為350 mm,Z軸為100 mm,精度均為0.05 mm。水刀噴嘴安裝在Z軸的滑塊上,可在三軸的行程范圍內(nèi)達到空間中的任意一點。

三軸的伺服電機采用臺達ECMA-C20604RS,伺服驅(qū)動器采用臺達ASD-B2-1521-F。運動控制器采用正運動技術(shù)開發(fā)的ECI1408網(wǎng)絡(luò)運動控制卡,支持4軸運動控制并內(nèi)置直線插補、圓弧插補等運動指令,每軸最大輸出脈沖頻率5 MHz,內(nèi)部包括36路輸入口以及12路輸出口,支持以太網(wǎng)和RS232通訊方式。光電傳感器為NPN常開型。

1.4 軟件系統(tǒng)設(shè)計

1.4.1 深度學(xué)習(xí)算法

本研究旨在根據(jù)圖像中識別的魚片輪廓規(guī)劃切割路徑。盡管魚片形狀具有一定規(guī)律性,但在實際生產(chǎn)中,上料時很難保證魚片的位置和姿態(tài)始終保持不變。此外,輸送帶鏈條、復(fù)雜的背景和殘留的魚肉都會對視覺檢測造成干擾。因此,為了準確檢測出魚片的輪廓,采用了Mask R-CNN作為實例分割魚片的基準模型,并在此基礎(chǔ)上進行了一定的改進。

整體網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示,分為輸入、骨架網(wǎng)絡(luò)、區(qū)域建議網(wǎng)絡(luò)、ROI Align以及最終的三分支輸出。

圖5 改進Mask R-CNN模型

Mask R-CNN是2017年出現(xiàn)的實例分割算法[17],由于其靈活性以及出色的檢測效果,一經(jīng)提出,就在各個領(lǐng)域取得了廣泛的應(yīng)用[18-19]。

Mask R-CNN使用ResNet和特征金字塔網(wǎng)絡(luò)(FPN)結(jié)合作為骨架網(wǎng)絡(luò),提取輸入圖像的特征圖(feature map);在區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network)中特征圖上的每一點生成多個感興趣區(qū)域(ROI),對這些候選的感興趣區(qū)域進行二值分類以及回歸,淘汰不包含目標物體的以及偏移量過大的感興趣區(qū)域;剩余的感興趣區(qū)域和原始特征圖通過ROI Align進行像素級對齊,通過后續(xù)的全連接層以及全卷積層得到最終的輸出結(jié)果,即類別、邊界框以及掩膜。

為了更好適應(yīng)實際生產(chǎn)環(huán)境中各種變化,本研究對Mask R-CNN進行了改進,首先,引入了Mosaic數(shù)據(jù)增強[20],將多個魚片圖像經(jīng)過旋轉(zhuǎn)、裁剪等操作后拼接在一起,提高了模型的魯棒性以及泛化能力。其次,使用ResNeXt50作為骨架網(wǎng)絡(luò),并在其中插入注意力機制SKNet,在減少網(wǎng)絡(luò)層數(shù)的同時使模型更加關(guān)注魚片的關(guān)鍵部位,忽略背景等干擾因素,提高了魚片輪廓的識別精度[21-22]。

1.4.2 切割路徑規(guī)劃

在實際生產(chǎn)過程中,切割需求千差萬別?？紤]到僅僅通過單目攝像頭無法獲取魚片的三維體積,本研究中的切割方案僅考慮二維圖像設(shè)定。切割路徑規(guī)劃的參考依據(jù)主要為深度學(xué)習(xí)模型輸出的掩膜。以掩膜中最左端點作為切割起始點,并連接起始點和魚片的平面質(zhì)心,切割長度為掩膜最小外接矩形的長。為了消除深度學(xué)習(xí)分割誤差等因素對切割的影響,在切割路徑上增加了一定的切割余量。

質(zhì)心的計算方法為:

(1)

式中:xC,yC為質(zhì)心的橫坐標和縱坐標;M,N表示圖像的行數(shù)和列數(shù);f(i.j)表示掩膜,即深度學(xué)習(xí)輸出結(jié)果,在圖像中屬于魚片的像素點合集。

在規(guī)劃切割路徑同時要考慮到中相機所處的相機坐標系、獲取圖像的像素坐標系、魚片所處的世界坐標系以及三軸的坐標系之間的轉(zhuǎn)化。坐標系之間的轉(zhuǎn)化公式如下:

(2)

式中:s為比例因子;u,v為圖像坐標系中橫坐標和縱坐標的坐標值;Cx,Cy為基準坐標;Fx,Fy是單位為像素的相機焦距;R是相機旋轉(zhuǎn)矩陣;T偏移向量矩陣;(xw,yw,zw)某點在世界坐標系下的坐標值;Δxm,Δym,Δzm三軸的原點和世界坐標系的原點的距離差。

切割路徑規(guī)劃方案如圖6所示。

圖6 切割路徑規(guī)劃方案

在實際生產(chǎn)中切割的需求多種多樣,并考慮到僅通過單目攝像頭無法獲得魚片的三維體積,本研究中的切割方案僅根據(jù)二維圖像設(shè)定。切割路徑規(guī)劃的參考依據(jù)主要為深度學(xué)習(xí)模型輸出的掩膜。將掩膜中最左端點設(shè)為切割起始點,第一刀連接起始點和魚片的平面質(zhì)心,長度為掩膜最小外接矩形的長,將魚片一分為二;再沿著魚片的短邊方向,根據(jù)最小外接矩形的長度,將魚片平均等距切為3份,最終經(jīng)過三刀,魚片被切為6份。為了消除深度學(xué)習(xí)分割誤差等因素,在每一次切割路徑上增加切割余量,即延長切割路徑。

1.4.3 控制系統(tǒng)界面

采用Python+Tkinter開發(fā)了基于深度學(xué)習(xí)的高壓水魚片切割控制系統(tǒng)的操作界面,如圖7所示。

圖7 控制系統(tǒng)界面

界面包括視覺檢測、系統(tǒng)控制、信息提示和設(shè)備參數(shù)監(jiān)控4個功能區(qū)。光電傳感器收到信號后,視覺檢測界面顯示識別結(jié)果和切割路徑。系統(tǒng)控制界面提供設(shè)備啟動、緊急停止和參數(shù)設(shè)定功能。信息提示界面顯示系統(tǒng)反饋信息。設(shè)備參數(shù)監(jiān)控界面顯示切割坐標、三軸直線模組運行參數(shù)以及切割數(shù)據(jù)。

2 結(jié)果與分析

2.1 深度學(xué)習(xí)模型訓(xùn)練與結(jié)果分析

深度學(xué)習(xí)的訓(xùn)練在框架Pytorch 1.10.0以及Torchvision 0.11.0下進行,使用Ubuntu 18.04 系統(tǒng),處理器和圖像處理器分別為Intel酷睿i 7和NVIDIA RTX 2080 Ti。采用動量為0.9的隨機梯度下降,設(shè)置100個訓(xùn)練周期,前50個周期學(xué)習(xí)率為0.001,后50個周期學(xué)習(xí)率為0.000 1。為了縮小訓(xùn)練時間,將訓(xùn)練集的圖像大小縮小為原先的1/2,即960×600。

采用準確率(p,Precision)、召回率(r, Recall)、mAP@0.5和mAP@0.5-0.95作為指標評價深度學(xué)習(xí)模型的目標檢測能力。計算公式如下:

(3)

(4)

(5)

(6)

式中:tp表示真正類(True Positive),即被正確分類的正樣本的數(shù)量;Fp為假正類(False Positive),即原本為負樣本卻被錯誤識別為正樣本的數(shù)量;Fn為假負類(False Negative),原本為正樣本卻被錯誤分類為負樣本數(shù)量。tp+Fp為所有被識別為正樣本的數(shù)量;tp+Fn為數(shù)據(jù)集中正樣本的數(shù)量。Ap(average precision)表示平均精度,為召回率從0到1所有值對應(yīng)的準確率的平均值。mAP@0.5表示當IoU(Intersection over Union)設(shè)為0.5時,在所有分類上的平均精度;mAP@0.5-0.95表示IoU取值范圍從0.50到0.95,步長為0.05,計算得到所有mAP的平均值。圖8展示了訓(xùn)練過程中模型3個分支輸出的函數(shù)值變化曲線。

圖8 訓(xùn)練過程中損失值變化曲線

其中分類損失值最低,并且很快收斂,原因是模型中僅有一種目標物體需要識別。矩形框損失值一開始高于分割損失值,但收斂迅速,最終穩(wěn)定在0.011左右。分割損失值較高的,原因在于使用二進制交叉熵計算每一個像素值的損失,其最小值出現(xiàn)在第97次迭代,為0.019 11。在訓(xùn)練過程中,掩膜的準確率、召回率和mAP@0.5以及mAP@0.5-0.95的最大值分別出現(xiàn)在第96、98、91以98 迭代。綜合考慮選擇第98次迭代的權(quán)重文件作為最終結(jié)果。

2.2 模型有效性驗證

為驗證本研究提出改進算法對原深度學(xué)習(xí)模型準確率提高的有效性,在相同的數(shù)據(jù)集上訓(xùn)練和測驗,并以矩形框的各項指標為評價標準進行消融實驗,表1展示了試驗結(jié)果。

表1 消融試驗結(jié)果

SKNet注意力機制和Mosaic數(shù)據(jù)增強對模型的各項指標均有明顯提升,特別是回歸率,在原模型的基礎(chǔ)上提高了9.92%。這是因為SKNet加強了網(wǎng)絡(luò)中有價值通道的權(quán)重,并增大了感受野,從而提高了模型對特征的學(xué)習(xí)能力。同時,Mosaic數(shù)據(jù)增強通過豐富現(xiàn)有數(shù)據(jù)集的樣本,提高了模型的泛化能力。

為了驗證模型的有效性,使用ResNet50、ResNet101、ResNeXt50、ResNeXt101以及改進的算法作為主干網(wǎng)絡(luò),在相同的數(shù)據(jù)集上進行了試驗。計算了矩形框和掩膜的準確率、回歸率以及mAP@0.5、mAP@0.5-0.95和平均單張所需的檢測時間,并將結(jié)果展示在表2中。

表2 不同算法對比

試驗結(jié)果顯示,5種主干網(wǎng)絡(luò)均可有效識別并分割魚片。具體而言,以ResNet50作為主干網(wǎng)絡(luò)時,各項結(jié)果均為最低,但平均單張檢測時間最短。而ResNet101的準確率和mAP明顯高于ResNet50,但平均單張檢測時間也多耗時0.016 s。改進的算法的準確率、mAP等均高于ResNet101,并且檢測時間更短。以ResNeXt101作為主干網(wǎng)絡(luò)時,魚片識別的矩形框以及分割的掩膜準確率均為最高,其中掩膜的準確率較ResNet50提高了0.146。此外,改進算法掩膜的準確率略高于ResNeXt101,并且平均單張檢測時間僅為ResNetXt101的77%。

綜合考慮各項指標,改進算法在保證檢測速度的前提下達到了掩膜分割的最高準確率,更適合魚片的檢測和分割任務(wù)。因此,認為改進算法具有實用價值和應(yīng)用前景。

圖9展示了以ResNet50作為主干網(wǎng)絡(luò)和本研究改進后算法在同一張圖片上的分割結(jié)果。ResNet50為主干網(wǎng)絡(luò)時,魚片左側(cè)尖端并未有效分割。改進算法完全將魚片從背景中分割出來,而且分割曲線也更加平順。

圖9 ResNet50與本研究算法識別結(jié)果對比圖

2.3 魚片切段試驗

為了驗證鮐魚片切割系統(tǒng)的實際效果,選取50片鮐魚片,分為5組,每組10片進行切割實驗。在試驗中,設(shè)置輸送帶的速度為120 mm/s,三軸中x軸的運動速度為120 mm/s,y軸和z軸運動速度為100 mm/s,高壓水壓為50 MPa,使用的噴頭為紅寶石噴頭,直徑為0.25 mm。

由于魚片薄厚分布不均勻,難以以質(zhì)量評價魚片切割效果,因此本研究約定,如被切割的魚片達到以下條件,本研究將視其為切割合格:切割的第一刀貫穿魚片的重心,大致位置正確且切割路徑足夠長,可使魚片一切為二無明顯粘連;切割的第二刀以及第三刀可將魚片等距分為3份,距離誤差在5%以內(nèi)。試驗現(xiàn)場的相關(guān)圖像如圖10所示。

圖10 切割現(xiàn)場圖

切割統(tǒng)計結(jié)果如表3所示。在5組試驗中,魚片切割合格率最高為100%,平均合格率為90%。第一刀的最高合格率為100%,平均合格率為98%,第二刀和第三刀的最高合格率為100%,平均合格率為92%。

表3 魚片切割試驗結(jié)果

在不合格的樣本中,因第一刀失誤判定不合格的有1個,因魚片尖端未被有效識別,導(dǎo)致切割起始點和重心計算失誤,切割路徑明顯偏移。第二、三刀判定不合格的有4個,原因在于光電傳感器未感應(yīng)到魚片過薄的前端,導(dǎo)致魚片定位不準,從而使魚片分割不均勻。后續(xù)研究中,將針對上述幾種情況進行提高和改善。

3 討論

3.1 改進算法對比

相比于人工,計算機視覺具有高通量、高精度的特點[23-24],并且無侵入式的檢測識別減少了樣品被污染的可能性。相較于傳統(tǒng)的圖像處理方法,深度學(xué)習(xí)在復(fù)雜環(huán)境中有更強的魯棒性[25-27],因此在養(yǎng)殖、加工等領(lǐng)域中應(yīng)用案例越來越多。李琦等[28]為解決傳統(tǒng)方法測量牛體耗時耗力的問題,使用Mask R-CNN識別牛體,最終平均準確率為0.87。張凱中等[29]使用改進的Mask R-CNN模型識別群豬圖像,在驗證集上達到了0.851的召回率,為智能化管理大量豬只提供了新的思路和方法。鐘偉鎮(zhèn)等[30]使用Mask R-CNN對4中植物進行識別和分割,分割準確率達到97.51%。本研究在ResNet50作為骨架網(wǎng)絡(luò)的基礎(chǔ)上對Mask R-CNN進行改進,在掩膜分割的準確率和召回率上分別達到0.98和0.932,證明本研究改進方法的可靠性。

3.2 影響切割精度和成功率的因素

除了識別算法,伺服電機、傳感器、控制系統(tǒng)邏輯等都對切割精度和成功率有一定的影響。本研究在試驗過程中發(fā)現(xiàn),部分魚片因厚度較薄,無法被光電傳感器有效識別,導(dǎo)致切割失敗。另外,水刀在連續(xù)切割作業(yè)過程中產(chǎn)生的水霧,會使光在光電傳感器發(fā)射端發(fā)生折射,接收端無法準確接收,從而導(dǎo)致控制系統(tǒng)誤判。由此可見,使用水刀的切割裝置不能僅僅依靠光電傳感器作為定位的依據(jù)。開發(fā)基于多傳感器信息融合的定位方法是本研究未來的研究方向之一。使用超聲波、紅外線、視覺和其他類型傳感器的組合,可以精確定位魚片位置,提供更準確的信息和更高的精度,提高設(shè)備的準確性和可靠性。此外,也可加入壓力傳感器,用于檢測和調(diào)整水射流的壓力,使設(shè)備能夠相應(yīng)調(diào)整其切割參數(shù)。

本研究所試驗的切割路徑只是眾多可能性中的一種,在實際生產(chǎn)中,切割需求多種多樣,例如等重切段[31]、定制切段[32]等。本研究僅使用了單目攝像機,因此,局限于獲取的信息僅為二維平面圖像,無法進行等重或者定重切段。加入線激光相機,獲取魚片的外輪廓,實現(xiàn)等重切段,也是本研究的未來研究方向之一。

4 結(jié)論

設(shè)計了一種基于深度學(xué)習(xí)的高壓水魚片切割控制系統(tǒng),該系統(tǒng)采用了改進的實例分割模型Mask R-CNN作為魚片輪廓的檢測器,并基于識別的結(jié)果規(guī)劃切割路徑,使用手眼標定完成視覺識別系統(tǒng)和切割執(zhí)行機構(gòu)之間的坐標轉(zhuǎn)換,通過運動控制器對三軸直線模組進行控制,以完成對魚片的精準切割。改進算法的準確率達到98%,相比于原模型提高0.99%,平均單張檢測時間為0.058 s。在樣機上進行切割試驗,最終魚片切割成功率為90%。