馬創(chuàng)佳, 齊立哲, 高曉飛, 王子恒, 孫云權(quán)

(復(fù)旦大學(xué) 工程與應(yīng)用技術(shù)研究院, 上海 200433)

在服裝生產(chǎn)中,質(zhì)量低下會(huì)導(dǎo)致產(chǎn)品返工,造成對(duì)原材料和人力成本的浪費(fèi)[1]。當(dāng)前,生產(chǎn)線上對(duì)產(chǎn)品縫紉線跡質(zhì)量的評(píng)估主要由人工目視檢查完成,但這種方法主觀性強(qiáng)、效率低下,且隨著勞動(dòng)力成本的上升加重了服裝產(chǎn)業(yè)的成本負(fù)擔(dān),通過(guò)人工智能技術(shù)實(shí)現(xiàn)服裝紡織產(chǎn)業(yè)轉(zhuǎn)型升級(jí)是大勢(shì)所趨[2-3]。

隨著人工智能的發(fā)展,計(jì)算機(jī)視覺(jué)技術(shù)已應(yīng)用于多個(gè)工業(yè)領(lǐng)域中。當(dāng)前,計(jì)算機(jī)視覺(jué)在服裝生產(chǎn)方面的應(yīng)用仍集中于對(duì)織物表面的缺陷檢測(cè),國(guó)內(nèi)外對(duì)縫紉線跡的檢測(cè)研究仍較少?；趥鹘y(tǒng)圖像處理方法的研究中,核心在于提取線跡或針腳點(diǎn)的特征,從而獲取目標(biāo)特征的數(shù)量和位置信息,計(jì)算均勻度和密度實(shí)現(xiàn)縫紉質(zhì)量評(píng)估。傳統(tǒng)的邊緣提取算法如Sobel[4]、Canny[5]等通過(guò)劃分線跡與非線跡區(qū)域?qū)崿F(xiàn)線跡特征提取,但面對(duì)縫紉線與面料顏色相似的情況效果不佳,易受面料褶皺引起的折痕干擾,影響檢測(cè)效果。面向多種線跡類(lèi)型的場(chǎng)景,李彩林等[6]首先識(shí)別線跡類(lèi)型和定位線跡針腳點(diǎn),并為不同線跡類(lèi)型設(shè)計(jì)特征提取方法提取線跡特征用于質(zhì)量檢測(cè)。以上工作在實(shí)際應(yīng)用中雖能代替人工檢測(cè),有效提升檢測(cè)速度和準(zhǔn)確率,但提出的方法僅能用于線跡種類(lèi)單一、面料需嚴(yán)格平整的場(chǎng)景,且存在算法魯棒性差、需人工調(diào)整參數(shù)等問(wèn)題,面對(duì)不同的線跡類(lèi)型時(shí)需重新設(shè)計(jì)檢測(cè)方案,難以廣泛應(yīng)用。

近年來(lái),以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)模型被廣泛應(yīng)用于多項(xiàng)工業(yè)任務(wù)中。以VGG-16[7]、ResNet[8]為代表的卷積神經(jīng)網(wǎng)絡(luò)通過(guò)強(qiáng)大的自學(xué)習(xí)能力,在有限的數(shù)據(jù)集合中準(zhǔn)確提取目標(biāo)特征,有效避免外界干擾的影響。Kim等[9]利用預(yù)訓(xùn)練的VGG-16模型提取直線形縫紉線跡特征,用于線跡密度、斷線等質(zhì)量問(wèn)題的判斷。此外,基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法也被應(yīng)用于縫紉線跡質(zhì)量檢測(cè)。畢月[10]采用了SSD(single shot multibox detector)目標(biāo)檢測(cè)方法實(shí)現(xiàn)護(hù)照上縫紉線跡段的檢測(cè)識(shí)別,并以識(shí)別到的線跡段數(shù)量來(lái)進(jìn)行質(zhì)量判斷;但上述方法并不適用于線跡特征相似、縫紉線與面料顏色差異較大的縫紉場(chǎng)景,因?yàn)榇蠖鄶?shù)卷積神經(jīng)網(wǎng)絡(luò)模型是面向通用場(chǎng)景設(shè)計(jì)的,直接應(yīng)用于縫紉線跡檢測(cè)無(wú)法達(dá)到良好的檢測(cè)效果。

針對(duì)以上分析,為兼顧算法實(shí)時(shí)性和檢測(cè)精度,本文以YOLOv4-Tiny[11]算法為基礎(chǔ)進(jìn)行改進(jìn),實(shí)現(xiàn)縫紉線跡針腳點(diǎn)的有效識(shí)別和定位。為解決縫紉線跡與面料顏色相近、面料褶皺等因素導(dǎo)致YOLOv4-Tiny無(wú)法有效識(shí)別線跡目標(biāo)特征的問(wèn)題,在原網(wǎng)絡(luò)結(jié)構(gòu)中嵌入一種改進(jìn)的卷積注意力模塊(convolutional block attention module, CBAM)[12],提高對(duì)線跡特征的學(xué)習(xí)能力,并引入快速空間金字塔池化(spatial pyramid pooling-fast, SPPF)解決檢測(cè)過(guò)程中因線跡局部特征相似而出現(xiàn)的誤檢問(wèn)題。后續(xù)利用模型獲取縫紉線跡針腳點(diǎn)的數(shù)量和位置信息計(jì)算線跡針腳點(diǎn)密度和均勻度,實(shí)現(xiàn)了5種線跡類(lèi)型的質(zhì)量評(píng)估。

1 縫紉線跡質(zhì)量檢測(cè)方法設(shè)計(jì)

基于改進(jìn)YOLOv4-Tiny的縫紉線跡質(zhì)量檢測(cè)主要包含3個(gè)步驟:1)采集縫紉線跡圖像,并對(duì)圖像中的線跡針腳點(diǎn)進(jìn)行標(biāo)注,構(gòu)建用于模型訓(xùn)練的數(shù)據(jù)集;2)對(duì)改進(jìn)后的YOLOv4-Tiny神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練,通過(guò)目標(biāo)檢測(cè)實(shí)現(xiàn)縫紉線跡針腳點(diǎn)的定位;3)通過(guò)針腳點(diǎn)數(shù)量和位置信息計(jì)算線跡密度和均勻度,實(shí)現(xiàn)縫紉線跡質(zhì)量的評(píng)估。檢測(cè)流程如圖1 所示。

圖1 縫紉線跡質(zhì)量檢測(cè)流程圖Fig. 1 Flow chart of sewing stitch quality test

1.1 數(shù)據(jù)集構(gòu)建

本文在實(shí)驗(yàn)室環(huán)境中采集數(shù)據(jù)集圖像,圖像拍攝時(shí)工業(yè)相機(jī)置于縫紉機(jī)側(cè)面,且相機(jī)視野僅包含面料及縫紉線區(qū)域。在4種純色的純棉面料上各縫制5種類(lèi)型線跡,使用工業(yè)相機(jī)拍攝縫紉線跡圖像并保存為jpg格式文件,數(shù)據(jù)分布如表1所示,線跡類(lèi)型示例如圖2所示。使用labelimg對(duì)圖像進(jìn)行標(biāo)注,標(biāo)注信息主要包含目標(biāo)線跡類(lèi)型、標(biāo)注框左上角坐標(biāo)和右下角坐標(biāo),保存為xml格式用于模型訓(xùn)練。數(shù)據(jù)集圖像共200張,包含直線形(straight)、鋸齒形(serrated)、 虛線鋸齒形(dash serrated)、裝飾縫(ornament) 和拼接縫(splicing)共5種類(lèi)型線跡。實(shí)驗(yàn)中,將灰色和粉色面料縫制的線跡圖像70張?jiān)O(shè)為測(cè)試集,其余130張以7∶3的比例劃分為訓(xùn)練集和驗(yàn)證集用于模型訓(xùn)練。

表1 縫紉線跡數(shù)據(jù)集分布統(tǒng)計(jì)Tab. 1 Sewing stitch data set distribution statistics

圖2 縫紉線跡樣例圖Fig. 2 Sample drawing of sewing stitch type. (a) Straight; (b) Serrated; (c) Dash serrated; (d) Ornament; (e) Splicing

1.2 基于改進(jìn)YOLOv4-Tiny針腳點(diǎn)定位

本文的縫紉線跡質(zhì)量檢測(cè)任務(wù),關(guān)鍵在于獲取線跡針腳點(diǎn)的數(shù)量和位置信息。為此,采用改進(jìn)的YOLOv4-Tiny算法對(duì)線跡針腳點(diǎn)進(jìn)行檢測(cè)。由于縫紉線與面料的顏色相近、面料褶皺等因素的干擾,易造成誤檢以及檢測(cè)目標(biāo)與實(shí)際位置偏差較大的現(xiàn)象。且虛線鋸齒形和裝飾縫的局部特征與鋸齒形的線跡特征高度相似,檢測(cè)中易因感受野過(guò)小而出現(xiàn)線跡類(lèi)型相互誤識(shí)別的現(xiàn)象。

YOLOv4-Tiny是輕量級(jí)的目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò),其主干網(wǎng)絡(luò)CSPDarkNet53-Tiny由3個(gè)CBL和3個(gè)CSP模塊組成,相比YOLOv4算法深度明顯下降,且提高了檢測(cè)速度,但犧牲了網(wǎng)絡(luò)的特征提取能力,模型檢測(cè)精度有所下降。且由于YOLOv4-Tiny算法是面向通用數(shù)據(jù)集設(shè)計(jì)的,在縫紉線跡識(shí)別這一場(chǎng)景下需針對(duì)前面所提的問(wèn)題進(jìn)行調(diào)整改進(jìn),以適應(yīng)本文的檢測(cè)任務(wù)。為此,本文引入改進(jìn)的CBAM模塊和SPPF模塊對(duì)YOLOv4-Tiny網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn),提高模型對(duì)線跡的特征提取能力以及檢測(cè)過(guò)程中結(jié)合上下文信息的能力。本文改進(jìn)的YOLOv4-Tiny網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,其中改進(jìn)的Soft-CBAM和Soft-SPPF的具體結(jié)構(gòu)如圖4所示。

圖3 改進(jìn)后的YOLOv4-Tiny網(wǎng)絡(luò)結(jié)構(gòu)Fig. 3 Improved YOLOv4-Tiny network structure

1.2.1 改進(jìn)CBAM注意力機(jī)制

本文引入CBAM注意力機(jī)制,將輸入特征圖先后通過(guò)通道注意力機(jī)制(channel attention, CA)和空間注意力機(jī)制(spatial attention, SA)設(shè)置不同通道和區(qū)域間的權(quán)重,從而調(diào)整網(wǎng)絡(luò)對(duì)包含線跡信息的重要通道和區(qū)域的關(guān)注度,提高YOLOv4-Tiny對(duì)縫紉線跡的特征提取能力。

CA和SA都采用最大池化(max pooling)對(duì)輸入特征圖進(jìn)行池化操作,該操作會(huì)在選定區(qū)域內(nèi)選取特征最明顯的像素點(diǎn)作為輸出。SA的池化操作是通道維度的,目的是使網(wǎng)絡(luò)關(guān)注有特征存在的區(qū)域,因此采用最大池化可有效突出特征圖每個(gè)位置的特征信息。CA的作用是使網(wǎng)絡(luò)關(guān)注有價(jià)值的特征通道,池化操作是在每個(gè)通道的特征圖上進(jìn)行的,采用最大池化易使當(dāng)前通道忽視其有效的特征信息。在縫紉線跡檢測(cè)中,縫紉線跡的特征與面料往往非常相似,使用最大池化操作易使網(wǎng)絡(luò)偏向關(guān)注與目標(biāo)無(wú)關(guān)的特征區(qū)域,從而忽略線跡特征區(qū)域,無(wú)法有效提高對(duì)線跡針腳點(diǎn)特征的關(guān)注。

基于以上分析,本文對(duì)CA中的池化模塊進(jìn)行改進(jìn),用SoftPool[13]替換最大池化操作。SoftPool對(duì)目標(biāo)點(diǎn)通過(guò)指數(shù)加權(quán)方式獲取相應(yīng)權(quán)重,然后將權(quán)重與池化區(qū)域像素點(diǎn)相乘再相加得到最終輸出。該池化方法可在下采樣的同時(shí)充分保留池化區(qū)域內(nèi)的有效線跡特征信息,減少信息損失。此外,為減少參數(shù)量,用1×1卷積替換CA中的全連接層。改進(jìn)后的CBAM注意力機(jī)制稱(chēng)為Soft-CBAM,如圖4(a)所示,圖中的Mc和Ms分別表示CA和SA運(yùn)算。將其嵌入到主干特征提取網(wǎng)絡(luò)的輸出之后以及頸部網(wǎng)絡(luò)的上采樣操作之后。

圖4 Soft-CBAM模塊結(jié)構(gòu)和Soft-SPPF網(wǎng)絡(luò)結(jié)構(gòu)Fig. 4 Soft-CBAM module structure and Soft-SPPF network architecture

添加Soft-CBAM后,圖5展示了圖2(a)在經(jīng)過(guò)主干特征提取網(wǎng)絡(luò)兩個(gè)輸出路徑后,特征圖的可視化結(jié)果,圖中顏色越明亮的區(qū)域表明線跡特征越突出。對(duì)比圖5(a)、(b)可知,改進(jìn)后的網(wǎng)絡(luò)模型對(duì)特征圖關(guān)注的區(qū)域明顯改變,更注重和突出圖像中線跡特征所在的中間區(qū)域,弱化了與線跡無(wú)關(guān)的特征信息。

1.2.2 改進(jìn)快速空間金字塔池化SPPF

在縫紉線跡針腳點(diǎn)的檢測(cè)中,存在如虛線鋸齒形線跡的局部特征與鋸齒形線跡特征相似的情況,網(wǎng)絡(luò)模型若無(wú)法有效結(jié)合目標(biāo)特征區(qū)域的上下文信息,易出現(xiàn)誤檢的問(wèn)題。

本文引入SPP[14]的快速版本——SPPF模塊,通過(guò)多層池化操作實(shí)現(xiàn)特征圖局部特征和全局特征的提取與合并,提高模型的感受野。SPPF通過(guò)堆疊多個(gè)小尺寸池化層的方式達(dá)到大尺寸池化層的池化效果,并將每個(gè)池化層的輸出進(jìn)行拼接實(shí)現(xiàn)多尺度特征融合,提升網(wǎng)絡(luò)表達(dá)能力。傳統(tǒng)SPPF模塊的池化操作通常采用最大池化,本文將其替換為SoftPool,保證該輸入特征圖在經(jīng)過(guò)該模塊后充分保留線跡特征的細(xì)節(jié)信息并用于檢測(cè)。此外,為減少模塊計(jì)算量,將SPPF中第1個(gè)卷積層的輸出通道數(shù)修改為輸入特征圖的1/4,使經(jīng)過(guò)池化后拼接的特征圖通道數(shù)與原通道數(shù)保持一致。改進(jìn)后的Soft-SPPF網(wǎng)絡(luò)結(jié)構(gòu)如圖4(b)所示,其中H、W和C分別為輸入特征圖的高度、寬度和通道數(shù)。

本文在YOLO Head之前加入Soft-SPPF模塊,提高線跡特征的感受野范圍,使得YOLO Head進(jìn)行檢測(cè)時(shí)充分利用目標(biāo)針腳點(diǎn)區(qū)域的周邊特征信息,有效減少因線跡局部特征相似造成誤檢的情況。

1.3 縫紉線跡質(zhì)量檢測(cè)方法

縫紉線跡質(zhì)量指標(biāo)包含線跡密度和均勻度,本文同一圖像中僅有一種線跡類(lèi)型,將待測(cè)圖像傳入改進(jìn)的YOLOv4-Tiny算法進(jìn)行縫紉線跡的針腳點(diǎn)目標(biāo)檢測(cè)后,輸出得到針腳點(diǎn)的針腳數(shù)量和每個(gè)針腳點(diǎn)的中心坐標(biāo),通過(guò)本節(jié)介紹方法計(jì)算密度和均勻度。

1.3.1 物像空間標(biāo)定

為矯正圖像中由相機(jī)鏡頭帶來(lái)的畸變,本文采用“張氏標(biāo)定法”[15]對(duì)相機(jī)進(jìn)行標(biāo)定。完成相機(jī)標(biāo)定并對(duì)圖像進(jìn)行矯正后,將一規(guī)則物體放置在面料檢測(cè)平臺(tái)上,然后利用相機(jī)拍攝規(guī)則物體后獲取圖像中物體邊長(zhǎng)的像素距離dp,再通過(guò)人工尺量的方式讀取物體的實(shí)際長(zhǎng)度dm,從而計(jì)算像素實(shí)際長(zhǎng)度與像素距離之間的比值K,單位為pixel/cm,公式為

K=dp/dm

(1)

1.3.2 密度檢測(cè)

本文以縫紉線跡在10 cm內(nèi)包含的線跡針腳點(diǎn)數(shù)量為標(biāo)準(zhǔn)計(jì)算線跡密度D。選取圖像中線跡兩端的針腳點(diǎn)中心坐標(biāo)并由式(2)計(jì)算它們間的像素距離L,從而獲取線跡長(zhǎng)度。后續(xù)由式(3)可得線跡密度。

(2)

(3)

式中:(xl,yl)與(xr,yr)為線跡左右兩端針腳點(diǎn)的中心坐標(biāo);N為針腳點(diǎn)數(shù)量。

1.3.3 均勻度檢測(cè)

本文通過(guò)計(jì)算相鄰針腳點(diǎn)的距離與平均像素距離的相對(duì)誤差來(lái)衡量均勻度。首先獲得圖像中線跡長(zhǎng)度的像素距離L,并通過(guò)式(4)計(jì)算得到相鄰針腳點(diǎn)間的平均像素距離(M)。

M=L/(N-1)

(4)

通過(guò)目標(biāo)檢測(cè)算法輸出的定位信息可獲取每個(gè)針腳點(diǎn)錨框的中心坐標(biāo)。計(jì)算相鄰針腳點(diǎn)中心坐標(biāo)的像素距離與M的絕對(duì)誤差,再計(jì)算與M的比值,得到相鄰針腳點(diǎn)相對(duì)誤差(RRE)。

(5)

式中,(xi,yi)與(xi+1,yi+1)為相鄰2個(gè)針腳點(diǎn)的中心坐標(biāo)。由公式可知,相對(duì)誤差越小,相鄰針腳點(diǎn)的距離與M的差值越小,說(shuō)明2個(gè)針腳點(diǎn)的距離越標(biāo)準(zhǔn)。

本文計(jì)算所有相鄰針腳點(diǎn)的平均相對(duì)誤差(RMRE), 并以此衡量整條線跡的均勻程度,計(jì)算結(jié)果越小,縫紉線跡越均勻。

(6)

式中,RREi為第i個(gè)針腳點(diǎn)處的相對(duì)誤差。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)環(huán)境與模型訓(xùn)練策略

本文對(duì)改進(jìn)的YOLOv4-Tiny模型進(jìn)行訓(xùn)練,操作系統(tǒng)為Ubuntu18.04,編程語(yǔ)言為Python3.8,采用Pytorch1.7.0深度學(xué)習(xí)框架訓(xùn)練。顯卡為GeForce RTX 2080Ti,顯存大小為11 GB,CPU為Intel Xeon E5-2678 v3,后續(xù)測(cè)試實(shí)驗(yàn)皆在此環(huán)境配置下完成。

圖7 改進(jìn)的YOLOv4-Tiny檢測(cè)效果Fig. 7 Detection effect of improved YOLOv4-Tiny algorithm. (a) Original image; (b) Detection results

本文以在VOC2007數(shù)據(jù)集上的預(yù)訓(xùn)練模型初始化網(wǎng)絡(luò)權(quán)重參數(shù),并在自建的縫紉線跡數(shù)據(jù)集上進(jìn)行訓(xùn)練。訓(xùn)練過(guò)程中,使用Adam算法優(yōu)化模型參數(shù),初始學(xué)習(xí)率設(shè)為0.001,并采用余弦退火方法調(diào)整學(xué)習(xí)率。迭代次數(shù)epoch設(shè)為200,批樣本大小batch size設(shè)為8。

結(jié)合實(shí)際應(yīng)用場(chǎng)景需求,在訓(xùn)練過(guò)程中對(duì)線跡圖像采用如旋轉(zhuǎn)、水平翻轉(zhuǎn)、色彩抖動(dòng)、添加噪聲和光照調(diào)節(jié)等方式進(jìn)行在線數(shù)據(jù)增強(qiáng),使訓(xùn)練所得的網(wǎng)絡(luò)模型具備較好的抗干擾能力,且能適用于與數(shù)據(jù)集顏色相近面料的線跡識(shí)別。

圖6示出訓(xùn)練過(guò)程中的模型損失值變化曲線。可看出在前50次迭代訓(xùn)練中,模型損失值快速下降,擬合本文數(shù)據(jù)集,并在150次迭代后模型基本收斂,損失值保持在一個(gè)平穩(wěn)范圍內(nèi)。

圖6 模型訓(xùn)練損失曲線Fig. 6 Model training loss curve

2.2 縫紉線跡質(zhì)量檢測(cè)

本文用訓(xùn)練得到的改進(jìn)YOLOv4-Tiny模型對(duì)測(cè)試集中5種類(lèi)型縫紉線跡、且縫紉線與面料顏色相同的圖像進(jìn)行針腳點(diǎn)識(shí)別和定位,并用于自動(dòng)質(zhì)量檢測(cè),檢測(cè)結(jié)果如圖7所示。從圖7看出,改進(jìn)的模型在亮度較高(直線形)和較低(虛線鋸齒形)的情況下均能準(zhǔn)確識(shí)別,且在線跡周?chē)忻黠@褶皺時(shí)也能準(zhǔn)確識(shí)別針腳點(diǎn)。

將人工通過(guò)尺量的各線跡點(diǎn)間距經(jīng)計(jì)算所得結(jié)果與縫紉質(zhì)量自動(dòng)檢測(cè)結(jié)果比較,結(jié)果如表2所示。質(zhì)量指標(biāo)包括縫紉線跡密度和均勻度,均勻度以所有相鄰針腳點(diǎn)間距與平均間距的平均相對(duì)誤差衡量。由于針腳數(shù)量和線跡長(zhǎng)度的統(tǒng)計(jì)是計(jì)算密度和均勻度的前提,因此在實(shí)驗(yàn)中也對(duì)其結(jié)果進(jìn)行對(duì)比。

由表2可知,自動(dòng)檢測(cè)與人工檢測(cè)對(duì)針腳數(shù)量的統(tǒng)計(jì)完全相同,線跡長(zhǎng)度的差值在1.1 mm內(nèi)。在密度和均勻度的統(tǒng)計(jì)中,直線形線跡的差值均高于其他類(lèi)型的線跡,其中自動(dòng)檢測(cè)的密度值比人工檢測(cè)高出0.6,保持在±1 針/(10 cm)內(nèi)。而均勻度計(jì)算結(jié)果差值最大為1.21%,這是由于直線形線跡的針腳點(diǎn)相比其他類(lèi)型線跡更加細(xì)小、密集,人工統(tǒng)計(jì)難度大,尺量讀數(shù)時(shí)的細(xì)小誤差會(huì)導(dǎo)致均勻度的計(jì)算結(jié)果與自動(dòng)檢測(cè)偏差較大。

表2 自動(dòng)質(zhì)量檢測(cè)與人工檢測(cè)方法效果對(duì)比Tab. 2 Comparison between automatic quality assessment and manual testing methods

考慮人工尺量讀數(shù)誤差的影響以及實(shí)際生產(chǎn)要求,縫紉線跡質(zhì)量自動(dòng)檢測(cè)結(jié)果與人工檢測(cè)的差值在可接受范圍內(nèi),驗(yàn)證了本文所提方法的可行性,表明改進(jìn)的YOLOv4-Tiny算法面對(duì)不同類(lèi)型線跡均可準(zhǔn)確識(shí)別和定位線跡針腳點(diǎn)的位置,且相比人工檢測(cè)穩(wěn)定性更高,可有效代替人工用于實(shí)際檢測(cè)。

2.3 改進(jìn)YOLOv4-Tiny算法有效性驗(yàn)證

本文采用目標(biāo)檢測(cè)算法中常用的均值平均精度(PMAP)、F1值和檢測(cè)時(shí)間對(duì)改進(jìn)的YOLOv4-Tiny算法的檢測(cè)性能進(jìn)行評(píng)估。

2.3.1 不同目標(biāo)檢測(cè)模型對(duì)比驗(yàn)證

為客觀評(píng)估改進(jìn)的YOLOv4-Tiny算法在縫紉線跡檢測(cè)任務(wù)上的有效性,將之與輕量級(jí)目標(biāo)檢測(cè)算法MobileNet-SSD、YOLOv5s和YOLOv4-Tiny在實(shí)驗(yàn)測(cè)試集上的PMAP、F1值和檢測(cè)時(shí)間進(jìn)行比較,結(jié)果如表3所示?？梢?jiàn),YOLOv4-Tiny各項(xiàng)性能指標(biāo)均優(yōu)于MobileNet-SSD和YOLOv5s,且檢測(cè)時(shí)間最短,對(duì)其進(jìn)行改進(jìn)更合適。而改進(jìn)的YOLOv4-Tiny算法與原算法相比,PMAP和F1值都有明顯提升,PMAP值為85.50%,F1值為0.892。檢測(cè)速度方面,本文提出的算法需15.9 ms實(shí)現(xiàn)縫紉線跡檢測(cè),與YOLOv4-Tiny算法的檢測(cè)時(shí)間基本持平。

表3 不同目標(biāo)檢測(cè)算法性能對(duì)比Tab. 3 Performance comparison of different object detection algorithms

此外,本文基于YOLOv4-Tiny算法對(duì)圖7(a)中線跡圖像進(jìn)行質(zhì)量檢測(cè)實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果與人工檢測(cè)的差值如表4所示。與表2中的數(shù)據(jù)對(duì)比發(fā)現(xiàn),基于YOLOv4-Tiny算法檢測(cè)得到的線跡長(zhǎng)度和均勻度與人工檢測(cè)結(jié)果的差值范圍更大,均勻度差值普遍更高。表明改進(jìn)后的算法對(duì)線跡針腳點(diǎn)的識(shí)別效果更好,定位更準(zhǔn)確,適用于縫紉線跡檢測(cè)場(chǎng)景。

表4 YOLOv4-Tiny算法質(zhì)量檢測(cè)結(jié)果與人工檢測(cè)的差值Tab. 4 Difference between quality detection results and manual detection based on YOLOv4-Tiny algorithm

2.3.2 消融實(shí)驗(yàn)

為驗(yàn)證本文引入的Soft-CBAM和Soft-SPPF模塊對(duì)檢測(cè)算法性能提升的貢獻(xiàn),進(jìn)行了消融實(shí)驗(yàn)。將改進(jìn)前后的模塊依次加入YOLOv4-Tiny算法中,對(duì)比檢測(cè)精度PMAP、F1值和檢測(cè)時(shí)間變化,結(jié)果如表5所示。

表5 各模塊對(duì)檢測(cè)算法的貢獻(xiàn)Tab. 5 Contribution of each module to detection algorithm

對(duì)比a組和其它組實(shí)驗(yàn)結(jié)果發(fā)現(xiàn),本文引入的各個(gè)模塊對(duì)模型檢測(cè)性能均有提升,且檢測(cè)速度沒(méi)有明顯下降。b、c組的實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的Soft-CBAM模塊效果更優(yōu),PMAP和F1值提升更多的同時(shí)速度更快,更適用于線跡檢測(cè)場(chǎng)景,驗(yàn)證了SoftPool替換最大池化以及用1×1卷積代替全連接層的有效性。對(duì)比d、e組可發(fā)現(xiàn),引入Soft-SPPF相比SPPF僅多了0.4 ms的檢測(cè)時(shí)間,但PMAP和F1值提升明顯,檢測(cè)效果更好,驗(yàn)證了Soft-SPPF的性能提升。

3 結(jié) 論

針對(duì)縫紉質(zhì)量檢測(cè)場(chǎng)景,研究了基于改進(jìn)YOLOv4-Tiny的縫紉線跡質(zhì)量檢測(cè)方法,首先將改進(jìn)后的YOLOv4-Tiny在自建數(shù)據(jù)集上訓(xùn)練與測(cè)試,檢測(cè)時(shí)間為15.9 ms,檢測(cè)精度為85.50%,可有效識(shí)別線跡針腳點(diǎn)數(shù)量和位置信息。然后利用本文方法計(jì)算線跡長(zhǎng)度、密度和均勻度,實(shí)現(xiàn)質(zhì)量檢測(cè)。并將本文質(zhì)量檢測(cè)方法與人工方法進(jìn)行對(duì)比,驗(yàn)證所提方法的可行性,通過(guò)對(duì)比和消融實(shí)驗(yàn)驗(yàn)證了改進(jìn)YOLOv4-Tiny的性能提升。

此次研究中,實(shí)驗(yàn)所用面料為純棉,且均為無(wú)圖案面料,本文方法在其它材質(zhì)以及有圖案面料上的效果仍有不足,后續(xù)工作可從這2個(gè)方向深入探究。