張旭 黃定江
摘要:隨著信息技術(shù)在工業(yè)制造領(lǐng)域的深入應(yīng)用,工業(yè)制造大數(shù)據(jù)研究正成為實(shí)現(xiàn)智能制造、幫助政府指導(dǎo)制造企業(yè)轉(zhuǎn)型升級(jí)的重要參考依據(jù).在傳統(tǒng)的鋼鐵、鋁材等金屬制造行業(yè),更是存在生產(chǎn)方式粗放、生產(chǎn)工藝簡單等問題.因此,迫切需要利用人工智能等新一代信息技術(shù)來改善生產(chǎn)流程,提高生產(chǎn)效率.在使用鋁材時(shí),必須檢查鋁材表面.現(xiàn)有的鋁材表面缺陷檢測(cè)受限于傳統(tǒng)人工肉眼檢查,十分費(fèi)力,或基于傳統(tǒng)的機(jī)器視覺算法,識(shí)別率不高,通常不能及時(shí)準(zhǔn)確地判斷出表面瑕疵.為解決這些問題,利用深度學(xué)習(xí)來進(jìn)行鋁材表面缺陷檢測(cè):首先運(yùn)用兩大目標(biāo)檢測(cè)算法Faster R-CNN(Region-CNN(Convolutional Neural Networks))和YOLOv3對(duì)制作的鋁材缺陷數(shù)據(jù)集進(jìn)行檢測(cè);然后基于YOLOv3算法進(jìn)行改進(jìn),提升鋁材表面很小缺陷的檢測(cè)效果.在廣東工業(yè)智造大數(shù)據(jù)創(chuàng)新大賽提供的“鋁型材瑕疵識(shí)別”數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證,實(shí)驗(yàn)結(jié)果顯示,改進(jìn)算法的平均精度均值(mean Average Precision.mAP)比YOLOv3算法高3.4%,比Faster R-CNN算法高1.8%。
關(guān)鍵詞:鋁材缺陷;檢測(cè);機(jī)器視覺;深度學(xué)習(xí)
中圖分類號(hào):TP391
文獻(xiàn)標(biāo)志碼:A
文章編號(hào):1000-5641(2020)06-0105-10
0引言
工業(yè)制造大數(shù)據(jù)是政府治理大數(shù)據(jù)最重要的類型之一,對(duì)其進(jìn)行研究將為制造業(yè)企業(yè)向智能制造轉(zhuǎn)型升級(jí),并為地方政府在產(chǎn)業(yè)、人才引進(jìn)和招商引資等方面提供重要決策參考.比如在傳統(tǒng)的鋼鐵、鋁材等金屬制造行業(yè),存在生產(chǎn)方式粗放、生產(chǎn)工藝簡單等問題,因此迫切需要通過利用人工智能等新一代信息技術(shù)改善生產(chǎn)流程、提高生產(chǎn)效率.在鋁型材的實(shí)際生產(chǎn)過程中,由于各方面因素的影響,鋁型材表面會(huì)產(chǎn)生裂紋、擦花、起皮、起坑、劃傷、雜色、臟點(diǎn)等瑕疵,這些瑕疵會(huì)嚴(yán)重影響鋁型材的質(zhì)量.為保證產(chǎn)品質(zhì)量,對(duì)鋁材表面進(jìn)行機(jī)器自動(dòng)化的缺陷檢測(cè)變得十分重要.事實(shí)上,早在20世紀(jì)70年代,日本的新日鐵、千葉、歌山等企業(yè)已在冷軋鍍層板和電工鋼板生產(chǎn)線上采用了“激光掃描表面缺陷檢測(cè)系統(tǒng)”;20世紀(jì)80年代中期,德國尤格爾(Ungerer)公司開發(fā)出冷軋帶鋼表面缺陷自動(dòng)識(shí)別系統(tǒng)“Fire”,它可以在線自動(dòng)識(shí)別冷軋帶鋼表面缺陷.進(jìn)入20世紀(jì)90年代以來,表面自動(dòng)檢測(cè)技術(shù)從早期的逐點(diǎn)激光掃描發(fā)展到逐行掃描的線陣CCD(Charge Coupled Device)技術(shù),如德國的NANO Systems測(cè)量技術(shù)有限公司開發(fā)的NANO系統(tǒng)采用的是線陣CCD攝像頭,該系統(tǒng)可以在帶寬為1200mm、軋制速度為90m/min的情況下,檢測(cè)最小尺寸為0.5mm的帶鋼表面缺陷;20世紀(jì)90年代初,華中理工大學(xué)羅志勇等采用激光掃描方法測(cè)量冷軋鋼板寬度和檢測(cè)孔洞缺陷,并開發(fā)了相應(yīng)的信號(hào)處理電路,此后又開展了線陣CCD和面陣CCD檢測(cè)技術(shù)的研究工作.
目前國際上常用的缺陷檢測(cè)方法有:①渦流檢測(cè)的方法;②紅外檢測(cè)的方法;③漏磁檢測(cè)的方法;④機(jī)器視覺檢測(cè)的方法.前3種方法由于其檢測(cè)原理的局限性,導(dǎo)致其應(yīng)用不夠廣泛,對(duì)于種類繁多的缺陷,其檢測(cè)的效果無法達(dá)到令人滿意的程度;第四種基于機(jī)器視覺的檢測(cè)方法已經(jīng)逐步取代前3種方法,在工業(yè)無損檢測(cè)領(lǐng)域得到廣泛運(yùn)用,這得益于當(dāng)今CCD技術(shù)、激光技術(shù)、計(jì)算機(jī)技術(shù)的快速發(fā)展.
機(jī)器視覺大多數(shù)基于普通的圖像處理技術(shù)來對(duì)缺陷進(jìn)行特征提取和檢測(cè).從不同的角度也可以對(duì)缺陷進(jìn)行新的描述:①被邊緣所包圍的區(qū)域;②紋理不均勻的區(qū)域;③高低不平,有凹凸的區(qū)域.根據(jù)這幾個(gè)特點(diǎn),其對(duì)應(yīng)的檢測(cè)方法分別是基于邊緣的缺陷檢測(cè)方法、基于紋理的缺陷檢測(cè)方法、基于凹凸不平整特點(diǎn)的缺陷檢測(cè)方法.
近年來,深度學(xué)習(xí)在圖像檢測(cè)識(shí)別領(lǐng)域得到大量的應(yīng)用,如文獻(xiàn)[9-10]用卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行表面缺陷檢測(cè).目前,目標(biāo)檢測(cè)任務(wù)在深度學(xué)習(xí)上有兩個(gè)主流方法:第一個(gè)主流方法分為兩步,即先得到一些錨點(diǎn)框,再對(duì)其進(jìn)行分類和回歸,如Fast R-CNN、Faster R-CNN等;第二個(gè)主流方法只有一步,即端到端的檢測(cè)方法,如YOLO、SSD等.第一個(gè)主流方法精確度高,但是檢測(cè)速度慢;而第二個(gè)主流方法的精確度不如第一個(gè),但是檢測(cè)速度比較快.這些目標(biāo)檢測(cè)的方法都是基于深度卷積網(wǎng)絡(luò).
本文主要針對(duì)目前鋁材表面缺陷檢測(cè)的實(shí)際問題,利用和擴(kuò)展兩大目標(biāo)檢測(cè)算法Faster R-CNN和YOLOv3來進(jìn)行鋁材表面缺陷檢測(cè),獲得了較好的結(jié)果.首先運(yùn)用Faster R-CNN和YOLOv3對(duì)制作的鋁材缺陷數(shù)據(jù)集進(jìn)行檢測(cè);然后基于YOLOv3算法進(jìn)行改進(jìn),提升鋁材表面很小缺陷的檢測(cè)效果.本文在廣東工業(yè)智造大數(shù)據(jù)創(chuàng)新大賽提供的“鋁型材瑕疵識(shí)別”數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證,實(shí)驗(yàn)結(jié)果顯示,改進(jìn)算法的平均精度均值比YOLOv3的mAP高3.4%,比Faster R-CNN的高1.8%.4%,比Faster R-CNN的高1.8%.
1相關(guān)工作
在過去的十幾年中,計(jì)算機(jī)視覺的目標(biāo)檢測(cè)研究大致分為傳統(tǒng)的檢測(cè)算法和基于深度學(xué)習(xí)的檢測(cè)算法.在2013年之前,大部分目標(biāo)檢測(cè)都是基于手工的特征選擇,HOG行人檢測(cè)和SIFT特征點(diǎn)檢測(cè)最為有名.但是對(duì)于提高檢測(cè)精度的方法,人們大多數(shù)都只是在一些低層次的特征上進(jìn)行算法改進(jìn),所以效果不佳.然而在1994年,LeNet卷積神經(jīng)網(wǎng)絡(luò)對(duì)手寫字符識(shí)別與分類,準(zhǔn)確率達(dá)到了98%;盡管受限于當(dāng)時(shí)的計(jì)算機(jī)發(fā)展水平,這種卷積神經(jīng)網(wǎng)絡(luò)算法沒有引起足夠的關(guān)注,但是這一方法卻奠定了現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ).LeNet的體系結(jié)構(gòu)見圖1.
到了2012年,名為AlexNet的分類算法在當(dāng)年的ImageNet比賽中獲得了冠軍.此后,卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺中蓬勃發(fā)展,后續(xù)也出現(xiàn)了幾個(gè)比較優(yōu)秀的卷積網(wǎng)絡(luò),如VGG、ResNet等,這些卷積網(wǎng)絡(luò)為后面的基于深度學(xué)習(xí)的計(jì)算機(jī)視覺研究打下了良好的基礎(chǔ).在目標(biāo)檢測(cè)中,Ross Girshick等人抓住這一機(jī)會(huì),利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)進(jìn)行特征提取并檢測(cè),提出了區(qū)域卷積網(wǎng)絡(luò)目標(biāo)檢測(cè)框架(R-CNN),精度上取得了比傳統(tǒng)算法更好的結(jié)果,從這一篇文章開始,基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法大量出現(xiàn),并且精度越來越高.這些算法從不同的角度出發(fā),有不同的分類方法:①從步驟上來說,可分為兩步(two-stage)方法,如Fast R-CNN、Faster R-CNN等,一步(one-stage)方法,如YOLO等;②從有無錨點(diǎn)框上來說,可分為anchor-based方法,如Faster R-CNN和anchor-free方法、Densebox和FSAF等.這些算法有著各自的特點(diǎn),既有優(yōu)點(diǎn),也有缺點(diǎn):two-stage方法,檢測(cè)精度比較高,但是速度相對(duì)較慢;one-stage則速度占優(yōu);anchor-based方法具有啟發(fā)式特征選擇,所以其結(jié)果可能不是最優(yōu)的,最近的anchor-free的方法則克服了這一缺點(diǎn),兩者都為目標(biāo)檢測(cè)精度的提升做出了很大的貢獻(xiàn).本文將利用深度學(xué)習(xí)算法來對(duì)鋁材缺陷檢測(cè)進(jìn)行研究.
3.3基礎(chǔ)網(wǎng)絡(luò)參數(shù)設(shè)置
實(shí)驗(yàn)中本文采用VGG-16和Darknet-53作為各算法的基礎(chǔ)網(wǎng)絡(luò).雖然VGG-16結(jié)構(gòu)最早用于圖像分類,但是它在其他方面有著很大的成就,比如目標(biāo)檢測(cè)、語義分割等.這個(gè)網(wǎng)絡(luò)模型有16層,包括13個(gè)卷積層與3個(gè)全連接層,并且有5個(gè)最大池化層.Darknet-53由一系列的1×1和3×3卷積層組成,總共有53個(gè)卷積層,但是這些卷積層中間也添加了一些與殘差網(wǎng)絡(luò)中shotcut類似的連接方式,使得網(wǎng)絡(luò)結(jié)構(gòu)更強(qiáng)大,本文只提供了Daknet-53的卷積網(wǎng)絡(luò)結(jié)構(gòu),見圖10.此網(wǎng)絡(luò)結(jié)構(gòu)比殘差網(wǎng)絡(luò)ResNet-101更好,速度提升了5倍.Darknet-53與ResNet-152具有相似的性能,但速度提高了2倍.
3.4實(shí)驗(yàn)分析
實(shí)驗(yàn)中,由于數(shù)據(jù)相對(duì)較少,為了有好的檢測(cè)效果并且盡量全方位檢測(cè)到缺陷,后面采用了數(shù)據(jù)增強(qiáng)的方法,對(duì)原有的數(shù)據(jù)進(jìn)行旋轉(zhuǎn),旋轉(zhuǎn)角度為90°,接著對(duì)數(shù)據(jù)加噪聲和做鏡像處理.這樣訓(xùn)練數(shù)據(jù)就有10000張圖片.訓(xùn)練過程中,進(jìn)行了20000次迭代,隨機(jī)梯度下降法可能下降緩慢,并且可能陷入局部最小值,所以引入momentum優(yōu)化方法,并且其值設(shè)置為0.9,初始學(xué)習(xí)率設(shè)置為0.001,然后隨著迭代次數(shù)增加來動(dòng)態(tài)減小學(xué)習(xí)率.
下面討論這幾個(gè)算法所用到的損失函數(shù).因?yàn)闄z測(cè)的是單瑕疵缺陷,所以分類損失函數(shù)一致采用的是二分類的交叉熵?fù)p失函數(shù),即
3.5實(shí)驗(yàn)結(jié)果
使用文章中提到的3種檢測(cè)算法對(duì)已有的數(shù)據(jù)進(jìn)行實(shí)驗(yàn),且3種算法采用了2種不同的基礎(chǔ)網(wǎng)絡(luò),得出各算法的平均精度(mAP),結(jié)果見表2.從表2可以看出Faster R-CNN比YOLOv3的mAP的確高一點(diǎn),從而驗(yàn)證了two-stage方法的準(zhǔn)確率高于one-stage,改進(jìn)的算法的mAP相對(duì)于前兩個(gè)是有所提升的.但是3個(gè)算法的mAP都沒有達(dá)到90%以上,對(duì)于工業(yè)生產(chǎn)來說,這種結(jié)果還是不能夠滿足必要的需求.
其中擦花和臟點(diǎn)兩種缺陷的檢測(cè)結(jié)果展示見圖11和圖12,圖中較小的臟點(diǎn)也被準(zhǔn)確地檢測(cè)出來.
4總結(jié)與展望
本文主要針對(duì)目前鋁材表面缺陷檢測(cè)的實(shí)際問題,通過利用Faster R-CNN和YOLOv3以及基于YOLOv3改進(jìn)的算法對(duì)基于廣東工業(yè)智造大數(shù)據(jù)創(chuàng)新大賽提供的“鋁型材瑕疵識(shí)別”數(shù)據(jù)集進(jìn)行檢測(cè)實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果顯示,鋁材表面上很小的缺陷檢測(cè)效果得到了提升,改進(jìn)算法的mAP比YOLOv3的mAP高3.4%,比Faster R-CNN高1.8%.但是由于正負(fù)樣本偏差和實(shí)驗(yàn)數(shù)據(jù)集相對(duì)較小,因此實(shí)際的缺陷檢測(cè)準(zhǔn)確率在未來還有待進(jìn)一步提升.在未來的研究中,將通過采集更多的數(shù)據(jù),或通過混合鋼材表面缺陷數(shù)據(jù)來進(jìn)一步提升檢測(cè)準(zhǔn)確率.另外,本次實(shí)驗(yàn)主要是考慮了檢測(cè)目標(biāo)的大小問題,而通過對(duì)數(shù)據(jù)的研究發(fā)現(xiàn),鋁材表面的缺陷型狀非常不規(guī)則,普通的卷積神經(jīng)網(wǎng)絡(luò)可能對(duì)不規(guī)則的物體檢測(cè)效果不是很好,接下來的工作是對(duì)上述算法中所用的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn),不必改變卷積網(wǎng)絡(luò)層數(shù)或者網(wǎng)絡(luò)結(jié)構(gòu),可以嘗試改進(jìn)卷積和池化的方式.