王超 劉樂(lè)祥 肖拾花 滿月娥 陳勇 丁梓康
DOI:10.16660/j.cnki.1674-098x.2104-5640-7499
摘? 要:本文針對(duì)航空發(fā)動(dòng)機(jī)鼓風(fēng)機(jī)機(jī)匣表面缺陷,設(shè)計(jì)了一種新型深度卷積神經(jīng)網(wǎng)絡(luò)及優(yōu)化算法缺陷檢測(cè)。新型深度卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network, CNN)由三部分組成:骨干卷積神經(jīng)網(wǎng)絡(luò)生成不同尺度的特征圖;多尺度特征融合網(wǎng)絡(luò)(multilevel-feature fusion network, MFN)將多個(gè)尺度特征進(jìn)行融合,以便包含更多的定位細(xì)節(jié);區(qū)域建議網(wǎng)絡(luò)(region proposal network, RPN)生成感興趣區(qū)域,每個(gè)感興趣區(qū)域由一個(gè)分類器和一個(gè)錨框回歸器組成的檢測(cè)器產(chǎn)生最終的檢測(cè)結(jié)果。然后分析了鼓風(fēng)機(jī)機(jī)匣表面缺陷的特點(diǎn),設(shè)計(jì)了新的檢測(cè)損失函數(shù)。最后利用公司采集的包含兩種典型缺陷(劃痕和污穢)的數(shù)據(jù)集,利用單張GTX 1080ti顯卡對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試,測(cè)試結(jié)果表明兩種典型缺陷檢測(cè)平均可達(dá)到68.9%mAP、87.6%的精準(zhǔn)率和35FPS的檢測(cè)速度。
關(guān)鍵詞:航空發(fā)動(dòng)機(jī)? 鼓風(fēng)機(jī)機(jī)匣? 缺陷檢測(cè)? 深度學(xué)習(xí)? 特征融合? 損失函數(shù)
中圖分類號(hào):V263.6? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1674-098X(2021)05(a)-0001-07
Surface Defect Detection of Aero Engine Blower Casing
WANG Chao1? LIU Lexiang2? XIAO Shihua1? MAN Yue'e1? CHEN Yong2? DING Zikang2*
(1.AECC South Industry Co., Ltd., Zhuzhou, Hunan Province, 412002? China;
2.Hunan Qinhai Digital Co., Ltd.,Changsha, Hunan Province, 410000? China)
Abstract: A new deep convolutional neural network and its optimization algorithm are designed to detect the surface defects of the aero-engine blower casing. A new deep convolutional neural network consists of three parts: the backbone convolution neural network generates feature graphs of different scales; Multi-scale feature fusion network (MFN) fuses multiple scale features to include more localization details. Region Proposal Network (RPN) generates regions of interest (ROI), and each ROI is composed of a detector including a classifier and an anchor box regression to generate the final detection results. Then, the characteristics of the surface defected of the blower casing are analyzed, and a new detection loss function is designed. Finally, the data set collected by the company is used to train and test the network on a single GTX 1080TI graphics card, the deep learning model can detect the two typical surface defects (scratches and filth) of the blower casing with an average of 68.9% mAP, 87.6% Precision and 35 FPS detection speed.
Key Words: Aero-engine; Blower casing; Defect detection; Deep learning; Feature fusions; Loss function
航空發(fā)動(dòng)機(jī)可以體現(xiàn)一個(gè)國(guó)家航空領(lǐng)域的技術(shù)水平,而鼓風(fēng)機(jī)作為航空發(fā)動(dòng)機(jī)的重要組成部分,機(jī)匣是整個(gè)鼓風(fēng)機(jī)的基座,起到連接、包容和承力作用。機(jī)匣在生產(chǎn)、安裝或使用的過(guò)程中會(huì)受到多種因素影響導(dǎo)致機(jī)匣表面缺陷的發(fā)生,最典型的如劃傷、污穢等,這不僅會(huì)影響航空發(fā)動(dòng)機(jī)外觀,而且會(huì)降低其使用壽命,嚴(yán)重的甚至?xí)绊懓l(fā)動(dòng)機(jī)外場(chǎng)的正常使用。目前,在航空發(fā)動(dòng)機(jī)生產(chǎn)或維修過(guò)程中,類似的航空發(fā)動(dòng)機(jī)外觀表面缺陷往往依靠人工目測(cè)方法進(jìn)行檢查,不僅檢查手段粗放,而且評(píng)判標(biāo)準(zhǔn)難以統(tǒng)一,既降低了生產(chǎn)效率,還可能影響產(chǎn)品出廠合格率,亟需一種能夠自動(dòng)、快速、準(zhǔn)確地檢測(cè)出航空發(fā)動(dòng)機(jī)外觀缺陷的方法?,F(xiàn)有的航空發(fā)動(dòng)機(jī)鼓風(fēng)機(jī)機(jī)匣的材料主要有復(fù)合材料、合金以及高強(qiáng)度不銹鋼,本文以高強(qiáng)度不銹鋼材質(zhì)的航空發(fā)動(dòng)機(jī)鼓風(fēng)機(jī)機(jī)匣為研究對(duì)象,對(duì)采用了計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)對(duì)鼓風(fēng)機(jī)機(jī)匣表面缺陷檢測(cè)進(jìn)行闡釋。
1? 目標(biāo)檢測(cè)算法
目前,利用計(jì)算機(jī)視覺(jué)檢測(cè)航空發(fā)動(dòng)機(jī)內(nèi)部零部件缺陷的研究取得了一定的研究成果,漆晨光[1]對(duì)航空發(fā)動(dòng)機(jī)葉片截面點(diǎn)云灰度圖像進(jìn)行分割,再由缺陷點(diǎn)云數(shù)據(jù)中的每個(gè)點(diǎn)云數(shù)據(jù)坐標(biāo)值,定位缺陷位置,最后依據(jù)非缺陷點(diǎn)云數(shù)據(jù)擬合平面,由缺陷點(diǎn)到該平面的距離,確定該葉片截面中缺陷的厚度;李龍浦[2]提出結(jié)合八鏈碼與偽邊緣去除等方法掃描出受損葉片的輪廓曲線,再用Hermite二階插值方法擬合輪廓曲線,最后通過(guò)改進(jìn)的YOLOv3和Faster-RCNN對(duì)收集到的發(fā)動(dòng)機(jī)葉片孔探圖像進(jìn)行損傷識(shí)別定位;陳為、梁晨紅[3]提出應(yīng)首先通過(guò)聚類算法修改原始算法的默認(rèn)框尺寸,再對(duì)原圖進(jìn)行濾波處理后用SSD目標(biāo)檢測(cè)算法對(duì)航空發(fā)動(dòng)機(jī)內(nèi)部凸臺(tái)的缺陷進(jìn)行檢測(cè)。但對(duì)于發(fā)動(dòng)機(jī)裝配使用過(guò)程中外觀缺陷檢測(cè)的研究很少。近年來(lái),深度學(xué)習(xí)在目標(biāo)檢測(cè)領(lǐng)域取得了很大進(jìn)展,基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法分為兩類:兩階段檢測(cè)和一階段檢測(cè)。
二階段檢測(cè)器的檢測(cè)流程是先將一張圖片輸入到骨干網(wǎng)絡(luò)提取特征,典型的骨干網(wǎng)絡(luò)有VGGNet[4]、ResNet[5]等一些經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),然后通過(guò)RPN[6]產(chǎn)生候選區(qū)域并完成區(qū)域的分類,即將圖片分為背景和目標(biāo)這樣兩種的不同的類別,而且也會(huì)對(duì)目標(biāo)的位置進(jìn)行初步的預(yù)測(cè);接下來(lái)對(duì)候選區(qū)域中的位置進(jìn)行精確定位和修正,使用ROI池化層,可以將此層理解為“摳圖”的操作,接著將摳圖所得到的候選目標(biāo)對(duì)應(yīng)到特征圖上相應(yīng)的特征區(qū)域,然后經(jīng)過(guò)一個(gè)全連接層,并得到相應(yīng)的特征向量,最后通過(guò)分類和回歸這樣兩個(gè)分支,來(lái)實(shí)現(xiàn)對(duì)這個(gè)候選目標(biāo)類別的判定和目標(biāo)位置的確定,該流程簡(jiǎn)單、有效,已經(jīng)成為了二階段檢測(cè)器的基本框架。二階段檢測(cè)器的主要代表有R-CNN[7]、Faster-RCNN[6]。向?qū)抂8]等人在Faster-RCNN的基礎(chǔ)上,在主干網(wǎng)絡(luò)中加入特征金字塔結(jié)構(gòu)以加強(qiáng)對(duì)小缺陷的特征提取能力,用感興趣區(qū)域校準(zhǔn)算法替代粗糙的感興趣區(qū)域池化算法,并使用K-means算法對(duì)缺陷數(shù)據(jù)聚類以獲得更合適的錨框,實(shí)現(xiàn)了對(duì)鋁材料表面缺陷的檢測(cè)。
一階段檢測(cè)器直接將圖片放入網(wǎng)絡(luò)進(jìn)行分類和回歸,完全取消了候選區(qū)域建議,顯著加快了檢測(cè)過(guò)程,主要代表有SSD[9]、YOLO等[10]。張磊等人[11]提出基于圖像融合與YOLOv3的鋁材表面缺陷檢測(cè)算法,借鑒SLAM中特征提取與匹配的思想對(duì)原始圖像進(jìn)行特征提取和匹配,得到特征融合后的圖像,最后利用YOLOv3進(jìn)行缺陷檢測(cè)。一階段檢測(cè)雖然加快了檢測(cè)速度,但對(duì)小目標(biāo)檢測(cè)具有局限性,精度也稍遜于二階段檢測(cè)。另外,深度學(xué)習(xí)需要大量的數(shù)據(jù)集來(lái)訓(xùn)練模型,以便全面學(xué)習(xí)待檢測(cè)目標(biāo)的多層特征,本文所研究的鼓風(fēng)機(jī)機(jī)匣表面缺陷存在沒(méi)有現(xiàn)成的數(shù)據(jù)集,公司采集的樣本較少,使用復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)反而會(huì)使網(wǎng)絡(luò)過(guò)擬合,降低算法的精度的問(wèn)題。
針對(duì)上述問(wèn)題,本文設(shè)計(jì)了一個(gè)新型深度卷積神經(jīng)網(wǎng)絡(luò)及優(yōu)化算法對(duì)航空發(fā)動(dòng)機(jī)鼓風(fēng)機(jī)機(jī)匣表面缺陷進(jìn)行檢測(cè),對(duì)大目標(biāo)檢測(cè)和小目標(biāo)檢測(cè)均能達(dá)到較好的檢測(cè)效果。該新型深度卷積神經(jīng)網(wǎng)絡(luò)由生成不同尺度特征圖的骨干網(wǎng)絡(luò)、多尺度特征融合網(wǎng)絡(luò)及區(qū)域建議網(wǎng)絡(luò)組成。同時(shí),考慮航空發(fā)動(dòng)機(jī)鼓風(fēng)機(jī)機(jī)匣高強(qiáng)度不銹鋼表面兩種典型缺陷的特點(diǎn),設(shè)計(jì)了新的檢測(cè)損失函數(shù),以調(diào)整網(wǎng)絡(luò)對(duì)小缺陷的敏感性。實(shí)驗(yàn)結(jié)果表明,本文設(shè)計(jì)的新型深度學(xué)習(xí)模型能夠?qū)崿F(xiàn)鼓風(fēng)機(jī)機(jī)匣表面缺陷的準(zhǔn)確檢測(cè)。
2? 缺陷檢測(cè)網(wǎng)絡(luò)設(shè)計(jì)
常用的二階段檢測(cè)器的檢測(cè)流程如圖1所示。
本文基于二階段檢測(cè)器設(shè)計(jì)的新型深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。CNN對(duì)任意尺寸的單尺度圖像進(jìn)行卷積操作,生成多尺度的卷積特征圖,提取多個(gè)特征映射;然后使用輕量級(jí)MFN將其聚合到相同的維度,進(jìn)行特征融合;接著,使用RPN[6]在MFN特征上生成區(qū)域建議[感興趣的區(qū)域(ROI)],通過(guò)ROI池化[7]和全局平均池化(GAP)層,將每個(gè)ROI對(duì)應(yīng)的MFN特征轉(zhuǎn)換為固定長(zhǎng)度的特征,該特性被送入兩個(gè)完全連接(Fully Connected,F(xiàn)C)層,輸出檢測(cè)結(jié)果。
2.1 骨干卷積網(wǎng)絡(luò)
隨著網(wǎng)絡(luò)深度的不斷增加,往往會(huì)出現(xiàn)即使長(zhǎng)時(shí)間訓(xùn)練,網(wǎng)絡(luò)也會(huì)存在收斂困難的現(xiàn)象,而且網(wǎng)絡(luò)的性能還有可能下降。針對(duì)這個(gè)問(wèn)題,何凱明等人[5]提出了ResNet。ResNet讓堆疊的層擬合殘差映射而不是擬合期望的底層映射,這樣設(shè)置的好處在于殘差學(xué)習(xí)比底層學(xué)習(xí)更加容易。傳統(tǒng)的卷積層和全連接層在信息傳遞時(shí)會(huì)有信息丟失的問(wèn)題,而ResNet直接將輸入信息繞道傳送到輸出,提高了信息的完整性,可以改善信息丟失的問(wèn)題。除此之外,ResNet還有以下優(yōu)點(diǎn):使用GAP來(lái)處理最終的卷積特征圖,而不是疊加的全連接層,可在一定程度上保留圖像中更全面的缺陷位置信息;具有模塊化的卷積網(wǎng)絡(luò)結(jié)構(gòu)更容易集成。圖3展示了一個(gè)基本的殘差塊結(jié)構(gòu)。圖3中右側(cè)曲線即為“跳遠(yuǎn)連接”,指的是跳過(guò)一層或者多層的連接,將信息送往神經(jīng)網(wǎng)絡(luò)的更深層,通過(guò)“跳遠(yuǎn)連接”的方式使得殘差塊可以訓(xùn)練到更深層次的神經(jīng)網(wǎng)絡(luò)。
在本文中,選擇較深層的ResNet101作為基線網(wǎng)絡(luò),可以以一定量的參數(shù)達(dá)到最好的精度,具有較小過(guò)擬合概率。網(wǎng)絡(luò)的詳細(xì)結(jié)構(gòu)如表1所示,殘差塊記為Net1、Net2、Net3、Net4。
2.2 多特征融合網(wǎng)絡(luò)(MFN)
以前的優(yōu)秀網(wǎng)絡(luò)(如R-CNN)只利用高級(jí)特征來(lái)提取區(qū)域建議。為了獲得高質(zhì)量區(qū)域建議,應(yīng)該將單層特征擴(kuò)展到多層特征,最簡(jiǎn)單的方法是從多層特征中組裝特征圖,隨之產(chǎn)生的問(wèn)題是哪些層應(yīng)該合并。應(yīng)遵從特征合并有兩個(gè)基本條件:一是不相鄰,因?yàn)橄噜弻佑懈叨鹊木植肯嚓P(guān)性[12];二是覆蓋,包括從低到高的特征。對(duì)ResNet來(lái)說(shuō)最直觀的方法是合并每個(gè)殘差塊的最后一層。
為了融合不同層次的特征,本文提出在預(yù)先訓(xùn)練的模型上應(yīng)附加了所提出的網(wǎng)絡(luò)MFN。MFN有4個(gè)分支,分別為Net1、Net2、Net3、Net4,每個(gè)分支都是一個(gè)小網(wǎng)絡(luò)。B1、B2、B3和B4依次連接到Net1、Net2、Net3和Net4的最后一層。當(dāng)一幅圖像通過(guò)骨干網(wǎng)絡(luò)時(shí),Neti(i= 1,…,4)特征是有序產(chǎn)生的。Neti特征表示殘差塊Neti的最后一層輸出的特征映射。同樣,Bi(i=1,…,4)特征是分支Bi最后一層生成的特征圖。然后,每個(gè)Neti特征被引導(dǎo)到MFN中相應(yīng)的分支產(chǎn)生Bi特征。最后,將來(lái)自CNN不同階段的B1、B2、B3和B4特征連接起來(lái),得到多層特征。
本文設(shè)計(jì)的MFN算法計(jì)算效率高,泛化能力強(qiáng),且可以通過(guò)修改1×1卷積核的數(shù)量來(lái)減少所需參數(shù),在訓(xùn)練數(shù)據(jù)不足的情況下可防止過(guò)擬合。
2.3 提取區(qū)域建議
本文利用RPN將任意大小的圖像作為輸入和輸出的錨框,每個(gè)錨框都帶有一個(gè)分?jǐn)?shù),表示它是否是一個(gè)缺陷。RPN的創(chuàng)新在于“錨”設(shè)計(jì),它使錨框具有多種尺度和寬高比,然后錨框分層映射到輸入圖像,產(chǎn)生多個(gè)尺度和高寬比的區(qū)域建議??紤]到缺陷的多種尺寸,本文設(shè)置3個(gè)長(zhǎng)寬比為1∶1、1∶2、2∶1,4個(gè)尺度為642、1282、2562、5122,故RPN在每個(gè)滑動(dòng)位置產(chǎn)生12個(gè)錨框。
區(qū)域建議網(wǎng)絡(luò)總是以ROI池化層結(jié)束。本文采用max-pooling操作將每個(gè)ROI轉(zhuǎn)換成一個(gè)有固定寬高(7×7)的特征向量。最后,基于這些小立方體,計(jì)算每個(gè)區(qū)域建議與鄰近真實(shí)錨框(groundtruth)的偏差及是否存在缺陷的概率。
對(duì)于一張圖片,RPN可以提取數(shù)千個(gè)區(qū)域建議。為了處理冗余信息,本文采用貪婪的非極大值抑制(Non-Maximum Suppression,NMS)來(lái)消除高重疊區(qū)域建議,并將NMS的交并比(intersection over union,IOU)閾值設(shè)置為0.7,這樣可拋棄大部分區(qū)域建議。非極大值抑制的方法如下。先假設(shè)有6個(gè)矩形框,根據(jù)分類器的類別分類概率做排序,假設(shè)從小到大的概率分別為A、B、C、D、E、F。從最大概率矩形框F開始,分別判斷A至E與F的IOU值是否大于設(shè)定的IOU閾值;假設(shè)B、D與F的重疊度超過(guò)閾值,那么就扔掉B、D;并標(biāo)記第一個(gè)保留的矩形框F;從剩下的矩形框A、C、E中,選擇概率最大的E,然后判斷E與A、C的IOU值是否大于一定的閾值,如果都大于就扔掉;并標(biāo)記E為第二個(gè)保留的矩形框。就這樣一直重復(fù),找到所有被保留下來(lái)的矩形框。圖4展示了使用NMS前后的檢測(cè)結(jié)果圖像。
執(zhí)行NMS之后,從剩余的區(qū)域建議中提取排名前k的區(qū)域建議,然后使用top-K(本文k=300)區(qū)域建議對(duì)設(shè)計(jì)的網(wǎng)絡(luò)進(jìn)行微調(diào),減少k值可加快檢測(cè)速度但可能會(huì)影響測(cè)試的準(zhǔn)確性。
3? 網(wǎng)絡(luò)訓(xùn)練
3.1 損失函數(shù)
為了提高正樣本的重要性并及弱化背景的影響,設(shè)計(jì)了一種基于Focal loss的置信度損失函數(shù):
式中,代表網(wǎng)格的個(gè)數(shù),B是每個(gè)網(wǎng)格產(chǎn)生的候選框數(shù)目,表示第i個(gè)網(wǎng)格的第j個(gè)候選框是否保留,將該候選框與對(duì)象真實(shí)框做IOU計(jì)算,然后與第i個(gè)網(wǎng)格中的其他候選框和真實(shí)框的IOU值比較,如果該IOU值最大,則保留該候選框,此時(shí),否則舍棄該候選框,,表示第i個(gè)網(wǎng)格的第j個(gè)預(yù)測(cè)框?qū)儆陬悇ec的概率,表示第i個(gè)網(wǎng)格中第j個(gè)真實(shí)框所屬類別的真實(shí)值,如果屬于第c類,則其大小等于1,否則為0。r是Focal loss中的集中參數(shù),在此選擇r=2。
網(wǎng)絡(luò)的總損失函數(shù)表示為:
(2)
式中,、、分別為定位損失函數(shù)和分類損失函數(shù)以及置信度損失函數(shù)的權(quán)重系數(shù)。其中定位損失函數(shù)為:
式中,是標(biāo)記框?qū)捀咭约爸行狞c(diǎn)坐標(biāo),則是預(yù)測(cè)框的相對(duì)網(wǎng)格中心點(diǎn)的寬高和坐標(biāo)。
分類損失函數(shù)為:
式中,表示參數(shù)置信度,表示第i個(gè)網(wǎng)格的第j個(gè)預(yù)測(cè)框是否保留,將該預(yù)測(cè)框與對(duì)象真實(shí)框做IOU計(jì)算,然后與第i個(gè)網(wǎng)格中的其他預(yù)測(cè)框和真實(shí)框的IOU值比較,如果該IOU值最大,則保留該預(yù)測(cè)框,此時(shí),否則舍棄該預(yù)測(cè)框,。為第i個(gè)網(wǎng)格中第j個(gè)預(yù)測(cè)框內(nèi)含有目標(biāo)物體的概率。
3.2 模型訓(xùn)練算法
對(duì)于預(yù)先訓(xùn)練的骨干網(wǎng)絡(luò),MFN和RPN是新的層。因此,需要通過(guò)訓(xùn)練讓骨干網(wǎng)絡(luò)、MFN及RPN共享卷積特征。預(yù)先訓(xùn)練好的骨干網(wǎng)絡(luò)本質(zhì)上是一個(gè)分類網(wǎng)絡(luò),MFN生成的多層特征可以直接反饋到分類層。因此,可以將預(yù)先訓(xùn)練好的網(wǎng)絡(luò)與MFN合并成一個(gè)網(wǎng)絡(luò),然后進(jìn)行端到端訓(xùn)練。如果沒(méi)有RPN, 設(shè)計(jì)網(wǎng)絡(luò)的其余部分就是一個(gè)端對(duì)端的檢測(cè)器網(wǎng)絡(luò)。為了與RPN共享特征,采用了文獻(xiàn)[6]中的四步交替訓(xùn)練策略,即訓(xùn)練RPN和訓(xùn)練該檢測(cè)器網(wǎng)絡(luò)交替進(jìn)行。結(jié)合上面的訓(xùn)練策略,本文開發(fā)了一個(gè)可行的五步聯(lián)合訓(xùn)練算法,如圖5所示。
4? 實(shí)驗(yàn)與分析
4.1 實(shí)驗(yàn)環(huán)境以及數(shù)據(jù)集
本文實(shí)驗(yàn)的硬件平臺(tái)為聯(lián)想工作站,RAM62.8GB,CPU為i7-6700,顯卡為NVIDIA Geforce GTX 1080Ti,操作系統(tǒng)為Ubuntu 16.04 LTS,深度學(xué)習(xí)框架為Pytorch。
本文使用的鼓風(fēng)機(jī)機(jī)匣表面缺陷圖像是由公司采集得到,尺寸大小為200×200,共有缺陷數(shù)據(jù)175張,其中包含100張劃痕缺陷和75張夾雜缺陷。
4.2 數(shù)據(jù)增擴(kuò)與訓(xùn)練
深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要大量的數(shù)據(jù),本文數(shù)據(jù)樣本較少,為解決數(shù)據(jù)不足的問(wèn)題采用數(shù)據(jù)增強(qiáng)方法,數(shù)據(jù)增強(qiáng)不改變目標(biāo)的基本特征,如紋理特征、形狀特征和空間關(guān)系特征,因此不會(huì)影響檢測(cè)結(jié)果。
本文使用旋轉(zhuǎn)、平移、隨機(jī)去點(diǎn)、亮度調(diào)整這4種方式對(duì)原始圖像樣本進(jìn)行數(shù)據(jù)增強(qiáng),由原始175張?jiān)鰯U(kuò)到4900張樣本。選擇使用的庫(kù)函數(shù)是專門用于數(shù)據(jù)增強(qiáng)的python庫(kù)imgaug,圖像的旋轉(zhuǎn)平移變換只是改變了圖像的空間位置,不改變圖像的特征分布;隨機(jī)去點(diǎn)相當(dāng)于對(duì)原圖添加噪聲,可以提升算法的抗干擾能力;亮度調(diào)整可以提升算法對(duì)光照不均勻的魯棒性。圖6是一張樣本圖像進(jìn)行數(shù)據(jù)增強(qiáng)后的圖像展示。
對(duì)增強(qiáng)后的數(shù)據(jù)集進(jìn)行標(biāo)注并保存為xml文件格式,并將數(shù)據(jù)集以9∶1的比例分為訓(xùn)練集和測(cè)試集,訓(xùn)練選擇的輸入圖像尺寸416×416;優(yōu)化器使用Adam,初始學(xué)習(xí)率的設(shè)定為0.01,學(xué)習(xí)率會(huì)隨著訓(xùn)練過(guò)程自動(dòng)衰減。圖7為從原始樣本集中取出的4張樣本圖。
4.3 實(shí)驗(yàn)結(jié)果分析
訓(xùn)練過(guò)程中Batch size設(shè)定為64,通過(guò)2800次訓(xùn)練得到了性能最優(yōu)的檢測(cè)模型,圖8為檢測(cè)結(jié)果展示圖。對(duì)于圖8(a)這類典型的劃痕,檢測(cè)的置信度極高且能完整的框住缺陷,而對(duì)于圖8(b)中的傾斜劃痕,檢測(cè)的置信度較低且邊框不能完全框住缺陷,圖8(c)中對(duì)于在邊界上露出一部分的污穢缺陷,檢測(cè)的效果也比較優(yōu)秀,圖8(d)中所包含的不規(guī)則污穢也能完全識(shí)別出來(lái),可以看出檢測(cè)模型的泛化能力較好,盡管具體的面積提取有一定的誤差,但是對(duì)檢測(cè)機(jī)匣表面的缺陷依然十分有效。
表2展示了對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析得到的檢測(cè)算法性能指標(biāo)。本文使用的性能評(píng)價(jià)指標(biāo)是深度學(xué)習(xí)中常用的精準(zhǔn)率Precision、召回率Recall、mAP和F1。這些指標(biāo)的定義如下:
(5)
(6)
(7)
式中,TP、FN、FP分別表示真陽(yáng)性(ture positive)、假陰性(false negtive)和假陽(yáng)性(false positive)樣本。
5? 結(jié)語(yǔ)
本文設(shè)計(jì)了一種新型深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行鼓風(fēng)機(jī)機(jī)匣表面缺陷檢測(cè)。該卷積神經(jīng)網(wǎng)絡(luò)由三部分組成:骨干網(wǎng)絡(luò)、多尺度特征融合網(wǎng)絡(luò)、區(qū)域建議網(wǎng)絡(luò),并設(shè)計(jì)了新的損失函數(shù)采用5步訓(xùn)練算法進(jìn)行訓(xùn)練。用訓(xùn)練得到的最優(yōu)模型對(duì)鼓風(fēng)機(jī)機(jī)匣的兩種典型表面缺陷(劃痕和污穢)進(jìn)行檢測(cè),平均檢測(cè)精準(zhǔn)率為87.6%,檢測(cè)速度為35FPS,mAP可達(dá)到68.9%。本文為航空發(fā)動(dòng)機(jī)鼓風(fēng)機(jī)機(jī)匣表面缺陷檢測(cè)提供了一種新的檢測(cè)方法,在接下來(lái)的研究中,將重點(diǎn)進(jìn)行以下兩個(gè)方向的研究:(1)數(shù)據(jù)增強(qiáng)技術(shù);(2)提高缺陷信息的精準(zhǔn)度。
參考文獻(xiàn)
[1] 漆晨光.航空發(fā)動(dòng)機(jī)葉片點(diǎn)云數(shù)據(jù)缺陷檢測(cè)方法研究[D].蘭州:蘭州理工大學(xué),2017.
[2] 李龍浦.基于孔探數(shù)據(jù)的航空發(fā)動(dòng)機(jī)葉片損傷識(shí)別研究[D].天津:中國(guó)民航大學(xué),2020.
[3] 陳為,梁晨紅,基于SSD算法的航空發(fā)動(dòng)機(jī)內(nèi)部凸臺(tái)缺陷檢測(cè)[J].電子測(cè)量技術(shù),2020,43(9):29-34.
[4] SIMONYAN K,ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[EB/OL].2014:arXiv:1409.1556[cs.CV].https://arxiv.org/abs/14091556(VGG).
[5] He Kaiming,Zhang Xiangyu,Ren Shaoqing,et al.Deep residual learning for image recognition[C].Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE,2016:770-77.
[6] S. Ren,K.He,R.B.Girshick,et al.Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015,39(6):1137-1149.
[7] Girshick R,Donahue J,Darrel T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C].Proc of the IEEE conference on computer vision and pattern recognition,2014:580-587.
[8] 向?qū)挘钏伤?,欒明慧,?基于改進(jìn)Faster RCNN的鋁材表面缺陷檢測(cè)方法[J].儀器儀表學(xué)報(bào),2021,42(1):191-198.
[9] Liu W,Anguelov D,Erhan D,et al.Ssd:Single shot multibox detector[C].Proc of European conference on computer vision.2016:21-37.
[10] J. Redmon,S. Divvala,R. B. Girshick,et al. Farhadi.You Only Look Once: Unified, Real-Time Object Detection[C].Proc of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, Jun,2016:779-788.
[11] 張磊,郎賢禮,王樂(lè).基于圖像融合與YOLOv3的鋁型材表面缺陷檢測(cè)[J].計(jì)算機(jī)與現(xiàn)代化,2020(11):8-15.
[12] Y. LeCun,L. Bottou,Y. Bengio,et al. Gradient-based learning applied to document recognition[C].Proc of IEEE,1998,86(11):2278–2324.