基于深度學(xué)習(xí)的貝類海產(chǎn)品分割算法*

孫小龍 潘 豐

（江南大學(xué)輕工過程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室 無錫 214122）

1 引言

中國不僅是一個(gè)海洋大國，更是一個(gè)海產(chǎn)養(yǎng)殖大國，2020 年，全國海產(chǎn)品總產(chǎn)量為3082.72 萬噸，其中貝類海產(chǎn)品總產(chǎn)量為1516.27 萬噸，占比49.19%［1］。豐富的海產(chǎn)品為人們的餐桌提供更多選擇之余，也為漁民帶來了致富之路?，F(xiàn)在，每天都有數(shù)量龐大的海產(chǎn)品送往國內(nèi)外各地的市場。貝類海產(chǎn)品的等級(jí)分選能夠直接影響著貝類海產(chǎn)品的銷售價(jià)格，按照規(guī)格大小分級(jí)進(jìn)行出售能夠明顯提高售價(jià)，帶來更高利潤，因此高效、高精度的對(duì)貝類海產(chǎn)品進(jìn)行等級(jí)分選顯得尤為重要。

傳統(tǒng)的貝類海產(chǎn)品等級(jí)分選方法為人工分選，即依賴人的眼睛看，手工稱重的方法進(jìn)行分級(jí)，這種分級(jí)方式的缺點(diǎn)明顯，分級(jí)速度慢、精度低，同時(shí)耗費(fèi)大量的人力，不利于生產(chǎn)的自動(dòng)化。稱重分級(jí)設(shè)備出現(xiàn)，很大程度上提升了貝類海產(chǎn)品等級(jí)分選的精度和效率，但是這種分級(jí)方法的決定要素只有重量，當(dāng)水產(chǎn)表面附著冰水混合物時(shí)會(huì)對(duì)分級(jí)的精度造成一定的影響。同時(shí)具有稱重和視覺檢測(cè)功能的新一代分級(jí)設(shè)備具有更好的精度，然而在視覺檢測(cè)部分，仍然存在著許多不足，如精度低，速度慢，泛化性差等缺點(diǎn)［2］，而良好的圖像分割算法有利于對(duì)產(chǎn)品的外觀和尺寸等進(jìn)行檢測(cè)。

近些年來，深度學(xué)習(xí)在圖像處理領(lǐng)域迅速發(fā)展，Berkeley 團(tuán)隊(duì)提出圖像分割算法FCN（Fully Convolutional Networks）［3］，使用卷積層替代全連接層，可以使用任意大小的圖像作為網(wǎng)絡(luò)的輸入，取得了不錯(cuò)的效果。Ronneberger 等提出的U-Net 網(wǎng)絡(luò)［4］，給出了一個(gè)具體的編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu)，編碼器用于特征提取，解碼器恢復(fù)目標(biāo)的細(xì)節(jié)和相應(yīng)的空間維度。王井東等提出的HRNet［5］，與其它網(wǎng)絡(luò)不同的是，特征提取部分使用了不同分辨率的特征圖并聯(lián)，同時(shí)保留著高分辨率和低分辨率的特征，在并聯(lián)的基礎(chǔ)上，添加不同分辨率特征圖之間的信息交互，得到了非常好的效果。

本文提出了一種編/解碼模式的貝類海產(chǎn)品分割算法，受到HRNet 網(wǎng)絡(luò)和ShuffleNet 網(wǎng)絡(luò)［6］的啟發(fā)，編碼模塊采用并聯(lián)雙分支網(wǎng)絡(luò)結(jié)構(gòu)，來減少空間細(xì)節(jié)的損失，獲得多尺度特征，使用帶有深度卷積的殘差模塊作為基礎(chǔ)層，提升網(wǎng)絡(luò)的運(yùn)行速度，同時(shí)添加注意力機(jī)制，產(chǎn)生更具分辨性的特征表示，提高分割的精度；使用多任務(wù)分割分類解碼器代替多分類分割解碼器，避免一個(gè)目標(biāo)中出現(xiàn)多個(gè)類別的分割結(jié)果；在分割解碼器部分，融合多尺度的特征，提高對(duì)不同大小目標(biāo)的表示能力，同時(shí)保留圖像的空間細(xì)節(jié)和深層語義特征；添加一個(gè)分類解碼器，獲得目標(biāo)的具體類別。

本文提出的編碼-解碼模式的貝類海產(chǎn)品分割算法如圖1所示，輸入的是工業(yè)相機(jī)采集的RGB圖像，輸出的是一個(gè)二值化圖像和當(dāng)前圖像的類別。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖

2 本文算法原理

2.1 網(wǎng)絡(luò)模型

本文提出一種編/解碼模式的貝類海產(chǎn)品分割算法，主要包含三個(gè)部分：編碼模塊，分割解碼模塊和分類解碼模塊。網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

編碼模塊：在貝類海產(chǎn)品圖像中，需要分割的目標(biāo)尺寸差異大，具有不同的尺度，并且目標(biāo)邊緣不規(guī)則。在傳統(tǒng)的圖像分割領(lǐng)域，為了解決多尺度下的目標(biāo)分割問題，獲得圖像的多尺度信息，通常會(huì)進(jìn)行一系列的下采樣操作，如UNet，但是隨著網(wǎng)絡(luò)深度的增加，圖像的空間細(xì)節(jié)會(huì)逐漸損失，常見的方法，如VNet 網(wǎng)絡(luò)［7］，采用跳級(jí)連接來恢復(fù)解碼器模塊中的圖像細(xì)節(jié)，進(jìn)一步加強(qiáng)不同深度語義信息的融合。然而，由于較深的編碼器模塊缺乏低層語義特征和空間信息，因此無法很好地對(duì)貝類海產(chǎn)品的邊緣結(jié)構(gòu)進(jìn)行判斷。為了改善這個(gè)問題，本文采用并聯(lián)雙分支網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)使用兩種不同分辨率的特征圖分支，同時(shí)保留高層和低層語義特征，為了更進(jìn)一步進(jìn)行不同尺度信息之間的交互，并聯(lián)分支之間通過上采樣和下采樣操作進(jìn)行了兩次特征交互融合。由于高分辨率特征（低層特征）會(huì)給網(wǎng)絡(luò)的實(shí)時(shí)性帶來不利影響，本文設(shè)計(jì)了一種帶有通道分離和混洗的殘差模塊，主要由深度卷積、普通卷積和注意力模塊組成，可以顯著提升網(wǎng)絡(luò)運(yùn)行速度，如圖2所示。

圖2 殘差模塊

殘差模塊：由三條分支構(gòu)成，第一條分支為SE（Sequeeze-Excitation）模塊［8］，解決卷積過程中特征層的不同通道所占的重要性不同帶來的損失問題，這里使用的是SE 模塊的一種變體，首先對(duì)輸入的每個(gè)通道進(jìn)行全局平均池化操作，然后使用一個(gè)具有非線性的全連接層，最后使用一個(gè)Sigmoid 激活函數(shù)生成通道權(quán)值，相比于原始的SE 模塊，具有更少的參數(shù)量和更優(yōu)的效果。

第二條分支為主分支，模塊的輸入首先經(jīng)過一個(gè)通道分離操作，將原始輸入按照通道數(shù)分為兩組，這樣將卷積運(yùn)算限制在每個(gè)組內(nèi)，能夠顯著地降低模型的計(jì)算量，同時(shí)，因?yàn)榛A(chǔ)模塊的輸出通道數(shù)是輸入通道數(shù)的兩倍，當(dāng)輸入通道數(shù)和輸出通道數(shù)的值接近1∶1 時(shí)，能減少內(nèi)存訪問成本，所以這里的通道分離操作既能夠減少計(jì)算量，又能夠降低內(nèi)存訪問成本。當(dāng)輸入經(jīng)過通道分離操作分成兩組后，其中一組輸入到一個(gè)3×3 的深度卷積，另一組輸入到一個(gè)3×3 的普通卷積，同時(shí)在每一個(gè)卷積后面都加上批歸一化層（Batch Normalization，BN）和ReLU 激活函數(shù)，深度卷積能夠降低參數(shù)量，但缺少通道間的信息交互，普通卷積參數(shù)量較大，通道間有著信息交流，兩者組合在一起，在參數(shù)量和信息交互中做了平衡，然后將兩組輸出按照通道順序上連接在一起。第三條分支為跳躍連接［9］，在這里可以解決網(wǎng)絡(luò)層數(shù)較深的情況下梯度消失的問題，同時(shí)有助于梯度的反向傳播，加快訓(xùn)練過程。最后，將三個(gè)分支的輸出疊加起來。由于通道分離操作使得模型的信息交互限制在了各個(gè)組內(nèi)，組與組之間缺少有效的信息交互，這會(huì)影響模型的表示能力，因此在最后添加一個(gè)通道混洗操作，進(jìn)行組間信息的交換。

下采樣模塊：當(dāng)特征圖的大小變?yōu)樵瓉淼?/2時(shí)，都會(huì)串聯(lián)一個(gè)下采樣模塊，下采樣模塊由兩個(gè)部分組成，分別是最大池化層和步長為2 的3×3 卷積層，并將它們的輸出疊加后串聯(lián)批歸一化層和Relu激活函數(shù)。其結(jié)構(gòu)如圖3所示。

圖3 下采樣模塊

由于從分選現(xiàn)場采集的貝類海產(chǎn)品圖像中，每張圖像中只包含一個(gè)貝類海產(chǎn)品，為了提高分割的準(zhǔn)確率，使用多任務(wù)分割分類解碼器代替了傳統(tǒng)的多分類分割解碼器，這樣可以保證同一圖像中只得到同一類貝類海產(chǎn)品的分割結(jié)果；解碼模塊分成兩個(gè)部分，一個(gè)部分為分割解碼模塊，其輸出為一個(gè)二值化圖像，通過識(shí)別每個(gè)像素點(diǎn)是前景還是背景來預(yù)測(cè)出目標(biāo)的位置和尺寸；另一個(gè)部分為分類解碼模塊，其輸出值為當(dāng)前圖像中貝類海產(chǎn)品的類別。

分割解碼模塊：下采樣倍數(shù)小的特征層感受野較小，特征圖較大，保存的貝類海產(chǎn)品的空間細(xì)節(jié)較多，對(duì)貝類海產(chǎn)品的邊緣細(xì)節(jié)的還原較好，同時(shí)對(duì)于尺寸較小的貝類海產(chǎn)品更加友好。下采樣倍數(shù)較大的特征層感受野大，語義信息表征能力強(qiáng)，能夠使網(wǎng)絡(luò)更準(zhǔn)確的分割出貝類海產(chǎn)品。所以為了獲得更好的表征能力，進(jìn)行了多尺度融合的操作，具體而言，對(duì)32 倍下采樣的特征圖進(jìn)行上采樣操作，變換為尺度與8 倍下采樣的特征圖相同的尺度，并添加3×3卷積、批歸一化和Relu激活函數(shù)，與8 倍下采樣的特征圖進(jìn)行通道方向的連接，進(jìn)行同樣的操作變換到4 倍下采樣的特征圖，就完成了多尺度融合的操作。最后再添加3×3 卷積和上采樣的分割頭部，就得到了與原圖大小一致的特征圖。

分類解碼模塊：用于分類任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)末端通常是幾層的全連接層，這是因?yàn)槠胀ň矸e層的特性是局部連接和權(quán)值共享，它的特征提取過程是局部的，對(duì)位置不敏感的，對(duì)于分類任務(wù)，不僅需要考慮輸入圖像中的各個(gè)元素，還需要考慮它們之間的關(guān)聯(lián)關(guān)系。而全連接層的每個(gè)輸出分量都與所有的輸入分量相連，并且連接權(quán)重都是不相同的，但是全連接層存在著參數(shù)量大，計(jì)算速度慢的缺點(diǎn)。全局平均池化［10］同樣可以提取全局信息，并且有著參數(shù)量和計(jì)算量低的優(yōu)點(diǎn)，同時(shí)可以知道特征圖上哪個(gè)部分對(duì)最后的分類貢獻(xiàn)最大。所以分類解碼模塊由全局平均池化層構(gòu)成，在編碼層的并聯(lián)結(jié)構(gòu)的低分辨率分支后，連接一個(gè)1×1 卷積層、批歸一化層和Relu 激活函數(shù)，再連接一個(gè)最大池化層，得到最后的分類輸出，得到當(dāng)前圖像中的貝類海產(chǎn)品的類別。

2.2 損失函數(shù)

本文提出的算法是多任務(wù)模型，共有分割和分類兩個(gè)任務(wù)輸出，故算法訓(xùn)練的損失函數(shù)需要同時(shí)考慮分割和分類，總的損失函數(shù)定義如下：

其中Lclas為分類輸出的損失函數(shù)，Lseg為分割部分的損失函數(shù)，β為分類損失和分割損失在總損失函數(shù)中的權(quán)重參數(shù)，這里取0.7。

分類部分的損失函數(shù)使用的是交叉熵?fù)p失，其公式定義如下：

其中，pi為樣本標(biāo)簽，qi為預(yù)測(cè)輸出。

分割部分的輸出是基于像素點(diǎn)的二分類，由于最終需要的結(jié)果是需要分割出目標(biāo)的區(qū)域，而Dice損失函數(shù)正是基于區(qū)域的損失函數(shù)，這與我們的真實(shí)目標(biāo)最大化IoU 度量相近，而且Dice 能夠優(yōu)化樣本不均衡問題，所以選擇Dice損失函數(shù)作為分割部分的損失函數(shù)，其定義如下：

其中，q代表真實(shí)值，p代表網(wǎng)絡(luò)的預(yù)測(cè)值，v代表每個(gè)圖像塊的體素點(diǎn)的個(gè)數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文的數(shù)據(jù)集來自分選現(xiàn)場采集的真實(shí)數(shù)據(jù)，共有900 張由工業(yè)相機(jī)采集的現(xiàn)場圖像，尺寸為640×480，包含三類貝類海產(chǎn)品：生蠔、鮑魚和海螺，每類有300張圖像。訓(xùn)練集、測(cè)試集隨機(jī)劃分為8：2，即訓(xùn)練集含有720張圖像，測(cè)試集有180張圖像。

為了提高分割和分類的精度，同時(shí)提高模型的泛化性能，本文對(duì)數(shù)據(jù)進(jìn)行了數(shù)據(jù)增廣操作：第一，考慮到圖像的多尺度變化，采用了隨機(jī)縮放裁剪的操作，具體來說，先利用隨機(jī)數(shù)生成函數(shù)隨機(jī)生成一個(gè)0.5～1.5 之間實(shí)數(shù)f，再將圖像縮放到原來的f倍，最后再隨機(jī)裁剪出一個(gè)640×480 的圖像用于訓(xùn)練。第二，為了增強(qiáng)數(shù)據(jù)的多樣性，對(duì)圖像采用了隨機(jī)左右翻轉(zhuǎn)、隨機(jī)亮度對(duì)比度變化和隨機(jī)旋轉(zhuǎn)一定角度的方法。第三，為了加速網(wǎng)絡(luò)的收斂，對(duì)輸入圖像進(jìn)行歸一化和標(biāo)準(zhǔn)化，歸一化將圖像歸一化到［0，1］區(qū)間內(nèi)，標(biāo)準(zhǔn)化通過計(jì)算數(shù)據(jù)集的均值和方差，對(duì)所有像素點(diǎn)進(jìn)行標(biāo)準(zhǔn)化。

3.2 參數(shù)設(shè)置

實(shí)驗(yàn)中，所有網(wǎng)絡(luò)均使用Kaiming 初始化［11］的方法對(duì)網(wǎng)絡(luò)的權(quán)重進(jìn)行初始化，使用SGD 優(yōu)化器，其參數(shù)為momentum=0.9，decay=1e-5，學(xué)習(xí)率使用的warm up和指數(shù)衰減策略，其基礎(chǔ)學(xué)習(xí)率為0.01，warm up 階段的epoch 設(shè)置為5，訓(xùn)練的batch size 取16，epoch取72。

3.3 評(píng)價(jià)指標(biāo)

為了定量地評(píng)估本文算法的性能，本文選用平均交并比（mean Intersection over Union，mIoU）作為分割精度評(píng)價(jià)指標(biāo)，其定義如下。

其中，pii表示真實(shí)值為i、預(yù)測(cè)值為i的像素點(diǎn)數(shù)量，pij表示真實(shí)值為i、被預(yù)測(cè)為j的像素點(diǎn)數(shù)量，pji表示真實(shí)值為j、預(yù)測(cè)值為i的像素點(diǎn)數(shù)量，k+1 是類別個(gè)數(shù)，包含背景類。當(dāng)mIoU接近1時(shí)候，預(yù)測(cè)值越逼近真實(shí)值。

分類效果評(píng)價(jià)指標(biāo)為F1 score，其定義如下：

其中，TP（true positive）為真陽性，F(xiàn)P（false positive）表示假陽性，F(xiàn)N（false negative）表示假陰性。

推理速度評(píng)價(jià)指標(biāo)為FPS，定義如下：

其中Time為單張圖片的推理時(shí)間。

3.4 實(shí)驗(yàn)結(jié)果

3.4.1 數(shù)據(jù)增廣對(duì)實(shí)驗(yàn)結(jié)果的影響

本文對(duì)未進(jìn)行數(shù)據(jù)增廣的數(shù)據(jù)集和進(jìn)行過數(shù)據(jù)增廣的數(shù)據(jù)集分別采用本文提出的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，進(jìn)行相同的訓(xùn)練批次后，結(jié)果如表1所示。

表1 不同數(shù)據(jù)增廣實(shí)驗(yàn)結(jié)果對(duì)比

從實(shí)驗(yàn)的結(jié)果來看，經(jīng)過數(shù)據(jù)增廣的分割精度明顯高于未經(jīng)過數(shù)據(jù)增廣的分割精度。本文的數(shù)據(jù)增廣操作，由于添加的隨機(jī)縮放裁剪的操作，在一定程度上可以增強(qiáng)對(duì)小樣本的分割能力，同時(shí)增加樣本多樣性，增強(qiáng)泛化性，提高實(shí)驗(yàn)精度。海產(chǎn)品圖像測(cè)試集部分分割結(jié)果如圖4所示。

圖4 分割結(jié)果對(duì)比

3.4.2 分割部分不同loss對(duì)實(shí)驗(yàn)結(jié)果的影響

由于實(shí)驗(yàn)數(shù)據(jù)集的目標(biāo)尺寸差異較大，前景背景的占比不平衡，會(huì)使得模型的訓(xùn)練困難。常用的交叉熵?fù)p失函數(shù)有著一個(gè)明顯的缺陷，對(duì)于只分割前景和背景時(shí)，當(dāng)前景像素的數(shù)量遠(yuǎn)遠(yuǎn)小于背景像素的數(shù)量時(shí)，損失函數(shù)中的背景像素值占據(jù)主導(dǎo)作用，導(dǎo)致模型嚴(yán)重偏向于背景，導(dǎo)致效果不好。為了證明本文選擇的Dice損失函數(shù)在當(dāng)前數(shù)據(jù)集中能夠有效提升分割效果，本文分別使用交叉熵?fù)p失函數(shù)和Dice損失函數(shù)進(jìn)行模型訓(xùn)練，結(jié)果如表2所示。

表2 不同損失函數(shù)實(shí)驗(yàn)結(jié)果對(duì)比

由實(shí)驗(yàn)結(jié)果來看，使用Dice損失函數(shù)可以有效地提升分割精度，主要原因是因?yàn)镈ice損失函數(shù)是基于區(qū)域的損失函數(shù)，這與最大化IoU 度量的目標(biāo)相近，而且Dice能夠優(yōu)化樣本不均衡問題。

3.4.3 分割部分不同算法對(duì)比結(jié)果

為了驗(yàn)證本文所提出算法的性能，使用已有的實(shí)時(shí)分割算法與本文的分割輸出部分進(jìn)行比較，算法對(duì)比結(jié)果如表3所示。

表3 不同分割算法的比較

對(duì)比發(fā)現(xiàn)，在當(dāng)前場景中，本文提出的方法在mIoU 和FPS 指標(biāo)上都不同程度的優(yōu)于其它算法，分別達(dá)到96.693%，108FPS。這說明本文提出的算法適用于貝類海產(chǎn)品分割，模型的運(yùn)行速度快，適用于算法的工業(yè)落地。

4 結(jié)語

本文建立了貝類海產(chǎn)品分割的數(shù)據(jù)集，提出了一種編/解碼模式的輕量型貝類海產(chǎn)品分割算法。一方面在編碼模塊采用并聯(lián)雙分支結(jié)構(gòu)，增強(qiáng)網(wǎng)絡(luò)的深層語義特征表示能力和空間細(xì)節(jié)特征表示能力；另一方面，使用通道分離混洗模塊和深度分離卷積減少模型的參數(shù)量和計(jì)算量，提升網(wǎng)絡(luò)的推理速度；最后通過多尺度融合，充分提取上下文多尺度信息。實(shí)驗(yàn)結(jié)果表明，本文方法能夠有效地提取貝類海產(chǎn)品的目標(biāo)區(qū)域，分割效果好，推理速度快。