基于深度學(xué)習(xí)的SEM纖維圖像分割方法研究

文/王雯 張芳

1 引言

為了能生產(chǎn)出滿足服裝、裝飾及產(chǎn)業(yè)需求的紡織品，獲取紡織材料纖維的直徑、取向度等參數(shù)信息至關(guān)重要，而纖維參數(shù)測量，首先需要對纖維圖像進行準確分割，該工作對評價纖維性能、改進纖維材料生產(chǎn)工藝等具有重要意義。

傳統(tǒng)的圖像分割方法主要在像素集上對目標進行區(qū)分，不僅過程復(fù)雜，效率和精度較低，只局限于實驗室，通用性和抗干擾等能力方面也還有很多工作要做。[1]直到20世紀80年代末出現(xiàn)了基于人工神經(jīng)網(wǎng)絡(luò)的圖像分割方法，它具有互聯(lián)結(jié)構(gòu)和分布式處理單元，系統(tǒng)擁有良好的并行性和魯棒性。

隨著圖像處理以及機器學(xué)習(xí)等技術(shù)在各個領(lǐng)域的不斷深入研究與應(yīng)用，在纖維圖像識別領(lǐng)域也逐漸開始采用計算機數(shù)字圖像處理及機器學(xué)習(xí)等技術(shù)。[2]傳統(tǒng)的圖像分割方法主要分為閾值分割法、邊緣檢測法、區(qū)域提取法，分割過程受參數(shù)影響大，方法局限性太大，且這些邊緣檢測都是像素級檢測，精度不高。為找到目標識別率較高、更加穩(wěn)定的圖像分割方法，本文基于深度學(xué)習(xí)技術(shù)對掃描電子顯微鏡(Scanning Electron Microscope，SEM)纖維圖像的分割問題進行研究。

2 基于Mask R-CNN的SEM纖維圖像分割方法

深度學(xué)習(xí)的結(jié)構(gòu)是仿照人類大腦的分層結(jié)構(gòu)，相較于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)更加強調(diào)模型結(jié)構(gòu)的深度，其中特征學(xué)習(xí)的重要性能被進一步突出。為實現(xiàn)龐大的函數(shù)逼近，深度學(xué)習(xí)采用一種深層的非線性網(wǎng)絡(luò)結(jié)構(gòu)。深度學(xué)習(xí)的系統(tǒng)主要由輸入層、隱含層、輸出層而組成，只有相鄰的節(jié)點之間有連接，同一層和跨層節(jié)點之間相互無連接。

深度學(xué)習(xí)技術(shù)在被深入研究的同時，越來越多的成果被運用到生活實際中來，如CNN[3]、Fast-R-CNN[4]、Mask R-CNN[5]等都被廣泛使用，本文的試驗使用了Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)。

本文基于Mask R-CNN網(wǎng)絡(luò)進行纖維圖像分割研究，主要過程為：準備標注出纖維的訓(xùn)練樣本和測試樣本數(shù)據(jù)；將訓(xùn)練數(shù)據(jù)輸入網(wǎng)絡(luò)，對Mask R-CNN進行訓(xùn)練；訓(xùn)練完畢后，對測試圖進行檢測。本文將詳細展示訓(xùn)練及測試過程。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

Kaiming He[5]等于2017年提出 Mask-RCNN網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)主要用于目標檢測和實體分割，Mask R-CNN的主干網(wǎng)絡(luò)采用了Resnet50/101+FPN 的網(wǎng)絡(luò)結(jié)構(gòu)，在ResNet50/101的主干網(wǎng)絡(luò)中，使用了ResNet中Stage2、Stage3、Stage4、Stage5的特征圖，由于其自頂向下的網(wǎng)絡(luò)結(jié)構(gòu)，可把上采樣結(jié)果和上層階段的特征圖進行元素間疊加操作，從而生成新的特征圖，這樣底層的特征圖用于去檢測較小的目標，高層的特征圖用于去檢測較大的目標。本文在并未修改Mask R-CNN網(wǎng)絡(luò)層數(shù)的基礎(chǔ)上進行研究，網(wǎng)絡(luò)結(jié)構(gòu)如圖1。

Mask R-CNN具有幾個突出特點：1）在邊緣識別的基礎(chǔ)上添加一個分支網(wǎng)絡(luò)，用于Mask識別；2）訓(xùn)練過程簡單，相對于Faster網(wǎng)絡(luò)而言僅多出了一個小的OVERhead結(jié)構(gòu)，可以跑到5FPS；3）擴展到其他任務(wù)非常方便，比如對纖維的邊緣識別等；4）不借助Trick，在每個任務(wù)上，效果優(yōu)于目前所有單模型輸入網(wǎng)絡(luò)，因此本文選擇Mask R-CNN網(wǎng)絡(luò)來進行SEM圖像分割。

圖1 Mask R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)

2.2 樣本準備

先標注訓(xùn)練樣本及待測樣本中的纖維輪廓，制作成相應(yīng)的二值圖。二值圖像是指每一個像素均為0或1，其灰度值沒有中心過渡的圖像，二值圖像大多數(shù)用來描述文字或者圖形。對圖像二值化處理的作用是為了方便提取圖像中的信息，二值圖像在進行計算機識別時，可以提高目標識別率。在本試驗中是為了將感興趣目標和背景分離，讓網(wǎng)絡(luò)只對感興趣的部分再進行處理，提高識別效率。

圖2 訓(xùn)練樣本及對其標注的真值圖

2.3 訓(xùn)練纖維圖像試驗

下載Mask R-CNN模型，因網(wǎng)絡(luò)程序中各項數(shù)值都是原始的，所以要修改程序中的對應(yīng)內(nèi)容，將默認文件夾地址改為存放訓(xùn)練樣本的文件夾地址，鏈接好訓(xùn)練樣本，修改訓(xùn)練次數(shù)即可開始訓(xùn)練。

由于訓(xùn)練圖片比較大，因此采用交叉分割（重疊分割）方法，將訓(xùn)練樣本分割為1296張尺寸為256×256圖，并標注出對應(yīng)的真值圖，再將1296張訓(xùn)練樣本全部輸入網(wǎng)絡(luò)進行訓(xùn)練，為提高識別效率，分別訓(xùn)練80次與100次，訓(xùn)練樣本如圖3所示。

圖3 訓(xùn)練樣本及其訓(xùn)練結(jié)果

由訓(xùn)練結(jié)果可分析，隨著訓(xùn)練次數(shù)的增加，對于纖維輪廓完整的目標識別率也在增高，具體試驗結(jié)果將在下章討論。

2.4 測試圖像纖維分割試驗

修改程序中的對應(yīng)內(nèi)容，將默認文件夾地址改為待檢測樣本的文件夾地址，修改訓(xùn)練次數(shù)即可開始訓(xùn)練。

取未輸入網(wǎng)絡(luò)進行訓(xùn)練的部分圖片作為檢測樣本集，抽取其中24張進行檢測，為提高識別效率，分別訓(xùn)練50次、80次與100次，結(jié)果如圖4所示。

圖4 一幅待檢測樣本及對其訓(xùn)練結(jié)果

可以看出，訓(xùn)練50次與80次的結(jié)果中，纖維目標識別率并不高，而訓(xùn)練到100次所得結(jié)果中，圖中纖維像素能夠被較好地識別分割，由此可推測訓(xùn)練次數(shù)與目標識別率成正比關(guān)系。

經(jīng)對比可以看出，訓(xùn)練至100次所得結(jié)果目標識別率較高。但將訓(xùn)練100次得出的結(jié)果與標準真值圖相對比，有識別率很高的結(jié)果，但其中也有誤差較大的結(jié)果。

而當(dāng)訓(xùn)練至100次時觀察LOSS曲線(如圖5)已經(jīng)接近于平穩(wěn)，說明已經(jīng)達到了最佳訓(xùn)練次數(shù)，再增加迭代次數(shù)會造成過擬合，故最多只訓(xùn)練到了100次。

圖5 網(wǎng)絡(luò)的LOSS曲線

3 試驗結(jié)果分析

3.1 試驗準確度分析

為評價本文所研究的纖維圖像分割方法是否可行，選取了四類方法作為評價指標，即正確率（A）、精確率（P）、召回率（R）和評價分類模型的統(tǒng)計量F1-measure（F1），計算公式如下：

其中，TP表示纖維像素中被正確分于維像素類的樣本個數(shù)；TN表示背景像素中被正確分于背景像素類的樣本個數(shù)；FP表示背景像素類中被分于纖維像素類的樣本個數(shù)；FN則表示纖維像素被分為背景像素類的樣本個數(shù)。

正確率衡量的是試驗誤差大小，如果正確率較高，則說明試驗的偶然誤差較小，但它的結(jié)果也可能是不準確的。精確率指樣本中被正確預(yù)測的個數(shù)，數(shù)值越高，精確率越高。召回率亦是如此。而F1是則衡量準確率和召回率的整體性能，其數(shù)值越大就說明方法性能越好。

計算出測試圖片分別訓(xùn)練50次、80次、100次的評價結(jié)果對比如表1所示。

表1 測試結(jié)果精確度對比

從表中可以看出，本文提出的纖維圖像分割方法在A、P、R、F1四個評價指標上的表現(xiàn)優(yōu)異，隨著訓(xùn)練次數(shù)的增加，F(xiàn)1指標接近于1，而F1值是將P值與R值二者融合后用于綜合反映整體的指標。因此，從總體上看，本文提出的纖維圖像分割方法可行，且目標識別率較高。

3.2 試驗誤差分析

分析試驗結(jié)果，可發(fā)現(xiàn)仍存在較大誤差，如纖維圖像的漏檢、誤檢、重復(fù)檢測等問題，如圖6所示。

圖6 幾種檢測錯誤對比

分析誤差原因，一是由試驗環(huán)境、網(wǎng)絡(luò)程序、硬件設(shè)備等客觀因素造成的試驗誤差。

二是由于人為因素而造成的誤差。在進行樣本處理時，將殘缺的纖維結(jié)構(gòu)也歸為了待檢測纖維像素，所制作的二值圖像經(jīng)后續(xù)分割后出現(xiàn)許多干擾，從而增加了試驗誤差。

4 總結(jié)

本文利用深度學(xué)習(xí)方法進行纖維圖像分割，并選擇了卷積神經(jīng)網(wǎng)絡(luò)中的Mask R-CNN網(wǎng)絡(luò)進行圖像分割與研究。但其中仍存在很多不足，在很多方面仍需要更深入的研究，探討與改進，可以概括為以下兩點：

1）纖維圖像分割的準確率尚待提高，仍存在漏檢、誤檢與重復(fù)等問題。推測與訓(xùn)練次數(shù)較少有關(guān)，后續(xù)試驗可加大訓(xùn)練樣本；或與二值圖人工處理有關(guān)，嘗試重新制作待檢測圖片的二值圖，將纖維輪廓殘缺部分歸為背景像素再進行試驗，目標識別率或有提升。

2）該方法通過理論確定了Mask R-CNN網(wǎng)絡(luò)，未與其他優(yōu)秀網(wǎng)絡(luò)進行試驗對比。還應(yīng)在其他深度學(xué)習(xí)網(wǎng)絡(luò)中進行試驗，判定該網(wǎng)絡(luò)是否為最優(yōu)分割方法。

OEKO-TEX? 2019年新規(guī)

OEKO-TEX?產(chǎn)品組合的現(xiàn)有標準已于2019年年初再次修改更新。新規(guī)定將在三個月的過渡期后，于2019年4月1日起生效。以下是一些重要更新的概述：

OEKO-TEX?已符合新“REACH附錄XVII CMR法規(guī)”的要求。

苯和四種胺鹽已被列入STANDARD 100 by OEKOTEX?和LEATHER STANDARD by OEKO-TEX?，并定義了限量值。OEKO-TEX?自2018年以來在監(jiān)測喹啉，目前也已規(guī)定了限量值。

在限量值要求的“標準化”過程中，“＜”要求目前幾乎適用于所有限量值。

在上述更新實施后，STANDARD 100和LEATHER STANDARD已符合新“REACH附錄XVII CMR法規(guī)”[歐盟委員會法規(guī)(EU) 2018/1513] 的要求。該法規(guī)自2020年11月1日起將只對其中列出的33種CMR(致癌、致突變、致生殖毒性) 物質(zhì)的產(chǎn)品強制執(zhí)行。

限量值目錄新增

新增測試項目包括多種備受關(guān)注的物質(zhì)：硅氧烷D4、D5和D6以及偶氮二甲酰胺(ADCA)。此外，對可萃取重金屬鋇和硒提出了要求。

在STANDARD 100 by OEKO-TEX?附錄6中，對多種參數(shù)規(guī)定了更嚴格的限量值。包括鄰苯二甲酸酯（增塑劑）、烷基酚和烷基酚聚氧乙烯醚以及全氟和多氟化合物的參數(shù)。對紡織材料中殘留物的要求越嚴格，它們對環(huán)境、工人和消費者的整體影響就越小。

新增受監(jiān)測物質(zhì)

2019年將兩種新產(chǎn)品納入監(jiān)測范圍：草甘膦及其鹽類以及致癌性亞硝胺和亞硝基物質(zhì)。特別是草甘膦產(chǎn)品，是目前除草劑的主要成分，在2017年和2018年期間受到了媒體的大量關(guān)注，并在世界各地引發(fā)了激烈的爭議性辯論。2017年底，在不同的消費群體和環(huán)保人士的抗議下，歐盟暫時將草甘膦及其他用途的批準延長至5年。采取“受監(jiān)測”行動，OEKO-TEX?協(xié)會更加關(guān)注相關(guān)紡織材料中的物質(zhì)群，并將更詳細地分析其情況。

擴大產(chǎn)品組合以實現(xiàn)可持續(xù)生產(chǎn)條件

2019年，STeP評估將擴展到皮革生產(chǎn)工廠。在這個整合過程中，名稱也會發(fā)生變化：“可持續(xù)紡織生產(chǎn)”將變更為“可持續(xù)紡織和皮革生產(chǎn)”，縮寫STeP保持不變。