孫江浩 張勇 周偉 韋子輝 劉霜 方立德

摘 ?要： 焊接技術(shù)在游樂設(shè)施生產(chǎn)制造中具有不可替代的作用，焊接的質(zhì)量直接決定著產(chǎn)品運行的安全性和可靠性，因此建立合理的游樂設(shè)施焊接缺陷檢測系統(tǒng)，檢測焊接外表面是否具有缺陷，對提高游樂設(shè)施的焊接生產(chǎn)質(zhì)量具有重要意義。使用Matlab圖像處理軟件和Python語言開發(fā)焊接缺陷識別系統(tǒng)，對焊縫中的氣孔、裂紋、咬邊三種缺陷進行圖像處理，提取焊接缺陷特征，并用神經(jīng)網(wǎng)絡(luò)建立焊接缺陷識別模型。實驗結(jié)果表明，該系統(tǒng)對焊接過程中存在的氣孔、裂紋、咬邊三種缺陷的整體識別率可達92.86%，具有較好的識別率，有助于確保游樂設(shè)施焊接生產(chǎn)的質(zhì)量。

關(guān)鍵詞： 焊接缺陷檢測; 游樂設(shè)施; 圖像處理; 特征提取; 缺陷識別模型; 識別率

中圖分類號： TN911.73?34 ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）23?0039?05

Abstract： The welding technology has an irreplaceable function in the manufacture of amusement facilities. The welding quality determines the operation safety and reliability of the product directly. Therefore， a reasonable detection system for the welding defects on the amusement facilities is established to detect whether the outer surface of the welding has defects， which has great significance for the welding quality of amusement facilities. In this paper， the image processing software Matlab and Python are used to develop a welding defect recognition system. The image processing is adopted to deal with three defects of stomata， crack and undercut in weld， and extract the weld defect features. The welding defect recognition model is established by means of neural network. The experimental results show that the system′s overall recognition rate of the three defects of the pores， cracks and undercuts in the welding process can reach 92.86%. That′s good enough to ensure the quality of the welding production of the amusement facilities.

Keywords： welding defect detection; recreational facility; image processing; feature extraction; defect recognition model; ?recognition rate

0 ?引 ?言

在游樂設(shè)施焊接生產(chǎn)過程中，零件表面或近表面可能存在焊接缺陷的隱患。這些缺陷的出現(xiàn)會導(dǎo)致產(chǎn)品質(zhì)量下降，使游樂設(shè)施運行過程具有潛在的風險，輕則導(dǎo)致項目運行故障，重則導(dǎo)致項目在運行中發(fā)生斷裂，出現(xiàn)人員傷亡，因此在焊接完成后，對零件表面或近表面進行焊接缺陷檢測具有重要意義。

隨著圖像處理技術(shù)以及人工智能的發(fā)展，除了原有的磁粉探傷法、超聲波探傷法、射線檢測法以及聲發(fā)射檢測法，人們開始對圖像處理檢測法進行研究，其目的就是利用機器人模仿人類思維，對焊接缺陷進行檢測或者對缺陷種類進行判別。

目前，國內(nèi)外對圖像處理檢測研究最多的領(lǐng)域在射線檢測上，比如文獻[1]采用B樣條曲線擬合出焊縫的灰度曲線，同時利用數(shù)學(xué)形態(tài)方法對缺陷進行形狀和大小的研究，解決了X射線數(shù)字圖像對比度、背景起伏大以及紋理復(fù)雜的問題。文獻[2]對焊縫X射線進行圖像處理時，采用缺陷追蹤技術(shù)的同時用霍夫變換的方法，減少了由于噪聲產(chǎn)生的偽缺陷，從而增強了缺陷的識別效果。文獻[3]對X射線檢測焊縫圖像的缺陷表征方法進行了研究，通過幾何特征和紋理特征表征不同種類的缺陷，并用支持向量機對缺陷進行區(qū)分。文獻[4]篩選出常用于圖像缺陷表征的幾何特征參數(shù)，并利用多層感知機神經(jīng)網(wǎng)絡(luò)對焊縫進行分類。文獻[5]利用主成分分析法對焊縫圓形和線性缺陷類型分類，利用支持向量機分類器實現(xiàn)了線形和圓形缺陷識別。

但是由于射線探傷檢測費用高，對人身體有害，大部分企業(yè)將其用在檢測焊接內(nèi)部是否有缺陷，而焊接表面缺陷更多的是用人眼去識別，這樣極容易產(chǎn)生視覺疲勞，造成缺陷漏檢。

為了實現(xiàn)焊接外表面缺陷的自動識別，文獻[6]利用Matlab與VB語言建立了焊接缺陷圖像預(yù)處理系統(tǒng)，實現(xiàn)了視覺效果較好、圖像對比度高的焊接缺陷圖像;文獻[7]在采集焊接圖像后，運用圖像預(yù)處理、圖像增強、背景分割、二值化處理和輪廓提取等圖像處理技術(shù)，有效地提取出焊接缺陷特征。文獻[8]用OpenCV圖像設(shè)計語言，設(shè)計一種計算機的船舶焊縫缺陷識別系統(tǒng)，實現(xiàn)了船舶焊縫缺陷的識別與評級，極大地提高了船舶焊縫檢測的工作效率和船舶焊接質(zhì)量。文獻[9]通過分析焊縫圖像的問題特征，從焊接圖像的灰度共生矩陣中提取出15種特征參數(shù)，并利用BP神經(jīng)網(wǎng)絡(luò)對這些特征參數(shù)進行訓(xùn)練，最終整體識別率達到91%。文獻[10]利用離散小波變換從焊縫圖像中提取出其表面紋理特征，并用支持向量機對焊縫表面缺陷進行分類。

在游樂設(shè)施生產(chǎn)過程中，常用磁粉探傷檢測近表面是否有焊接缺陷，然后用人眼判斷表面及近表面焊接缺陷的種類。這樣工作效率低，長期工作容易產(chǎn)生漏檢、錯檢的現(xiàn)象。因此，本文對焊接外表面缺陷自動識別進行研究分析，運用Matlab軟件對缺陷照片進行灰度處理、濾波處理、Canny提取邊緣以及形態(tài)學(xué)處理，從而達到對焊接缺陷特征參數(shù)提取效果，利用神經(jīng)網(wǎng)絡(luò)建立識別模型，在實際生產(chǎn)過程中，采用工人現(xiàn)場手機拍照的方式，將照片上傳至系統(tǒng)內(nèi)，從而識別焊縫缺陷的種類，給維修人員提供參考價值，提高游樂設(shè)施焊接生產(chǎn)的質(zhì)量。

1 ?焊接圖像預(yù)處理與缺陷特征提取

由于工廠現(xiàn)場光線較暗，工人在焊接時產(chǎn)生的孤光對拍照效果影響較大，在拍照的過程中不僅需要調(diào)整手機的光照強度還要遠離焊接作業(yè)區(qū)域，從而保證成像的效果;其次，在焊接完成后，焊接表面會產(chǎn)生反光不均勻或者藥片未清理干凈的情況，這樣的照片在處理過程中會產(chǎn)生非缺陷性干擾，因此在對焊接表面進行拍照時，應(yīng)該用鐵刷對焊縫表面進行打磨，使得焊縫表面無藥片殘留，無明顯的亮暗不均現(xiàn)象;最后，在對焊縫表面進行拍照時，需要將手機拍照倍數(shù)放大，這樣不僅可以放大缺陷的圖像，還可以使焊縫在照片中所占的比例較大，減少了周圍環(huán)境的影響。

本研究的原始圖片均為彩色照片，轉(zhuǎn)換為灰度圖像后，由于對焊接缺陷進行拍照時會產(chǎn)生光照不均的現(xiàn)象，對灰度圖像進行濾波處理，將濾波后圖像進行二值化后，用Canny邊緣檢測使缺陷邊界更加清晰，通過膨脹、消除小面積區(qū)域等方法，將焊接圖像中的缺陷信息表達出來。

本文照片來自于保定市某游樂設(shè)施生產(chǎn)廠家的焊接車間，通過Matlab圖像處理后，得到含氣孔缺陷130張、含裂紋缺陷120張、含咬邊缺陷120張，總計370張照片，示例圖如圖1所示。

1.1 ?焊接圖像預(yù)處理

灰度處理作為圖像處理中最簡單的技術(shù)，其主要作用就是增強圖像對比度，凸顯圖像的細節(jié)。本研究的灰度處理為加權(quán)平均法，將RGB圖像轉(zhuǎn)化為灰度圖。

在焊接圖片采集過程中，由于焊接金屬表面光滑，圖片呈現(xiàn)高反光現(xiàn)象或因拍攝環(huán)境光線不足使圖片整體較暗，出現(xiàn)圖像光照不均的現(xiàn)象。目前處理光照不均的方法有直方圖均衡化、基于照明反射模型的同態(tài)濾波、基于光照補償Retinex方法等，但是直方圖均衡化對處理灰度反差大的圖像有較好的效果，基于照明反射模型的同態(tài)濾波法與基于光照補償?shù)腞etinex方法對反光或光照不均具有較好的效果[11]。文獻[12]通過實驗對比高斯高通濾波、巴特沃斯高通濾波、指數(shù)濾波3種方法，實驗表明高斯高通濾波具有較好的處理效果。

1.2 ?焊接圖像缺陷特征提取

二值化處理在圖片處理中具有非常重要的地位，可以使圖像變得簡單，同時能夠凸顯出目標的輪廓，其圖像處理效果如圖5所示。

邊緣檢測的目的是檢測圖像中有意義、不連續(xù)的點位，常見的邊緣檢測算子有Roberts，log等算子，但是這些算子抗干擾能力差，適用于噪聲少且較為簡單的圖像[13]，從圖5中可以看到，二值化后的圖片邊緣模糊且有些地方邊緣出現(xiàn)不連續(xù)現(xiàn)象，文獻[14]中對Canny邊緣算子、Roberts算子、log算子處理后的圖像進行了比較。因此本文采用Canny邊緣檢測算子，其圖像處理效果如圖6所示。

形態(tài)學(xué)圖像處理可以通過腐蝕、膨脹等方法將邊緣檢測后的目標圖像中目標區(qū)域變小或變大，目的是為了消除小且無意義的目標物或填補目標中某些空洞以及小顆粒噪聲。文獻[15]利用閉運算即先膨脹后腐蝕的方法將目標中狹窄的間斷連接起來，同時也不會影響裂紋形狀的大小。圖6中咬邊圖像的間距過大，閉運算無法使其連接起來，所以僅采用膨脹算法。

1.3 ?特征入庫

運用函數(shù)regionprops在Matlab中提出缺陷的特征值，并與缺陷類別一同放入數(shù)據(jù)庫當中，提取出的特征參數(shù)有以下9種，分別為：MajorAxisLength為與區(qū)域具有相同標準二階中心矩的橢圓的長軸長度;MinorAxisLength為與區(qū)域具有相同標準二階中心矩的橢圓的短軸長度;Eccentricity為與區(qū)域具有相同標準二階中心矩的橢圓的離心率;EquivDiameter為與區(qū)域具有相同面積的圓的直徑;Solidity為同時在區(qū)域和其最小凸多邊形中的像素比例;Extent為同時在區(qū)域和其最小邊界矩形中的像素比例;Perimeter為圖像的周長;Thinnessratio為圖像各個區(qū)域的細度比例;Aspectratio為圖像各個區(qū)域的寬高比。

2 ?基于全連接神經(jīng)網(wǎng)絡(luò)的焊接缺陷分類識別方法

從采集的370張存在焊接缺陷的照片中，首先選取其中的300張作為訓(xùn)練用的樣本圖片，同時標記1～100的訓(xùn)練集為裂紋缺陷，101～200的訓(xùn)練集為氣孔，201～300的訓(xùn)練集為咬邊，剩余70張作為測試樣本圖片，分成4組進行識別訓(xùn)練，第一組為20張裂紋圖，第二組為30張氣孔圖，第三組為20張咬邊圖，第四組對70張樣本圖片打亂順序后進行識別。訓(xùn)練樣本和測試樣本數(shù)量見表1。

2.1 ?全連接神經(jīng)網(wǎng)絡(luò)基本原理

神經(jīng)網(wǎng)絡(luò)對圖片進行分類識別是目前最為常見的方法，具有運算速度快、容錯能力強以及豐富的聯(lián)想能力等，這些優(yōu)勢能夠使神經(jīng)網(wǎng)絡(luò)很好的進行分類識別。本文以全連接神經(jīng)網(wǎng)絡(luò)為模型，以焊接缺陷特征信息作為輸入，焊接缺陷種類為輸出，構(gòu)建如圖9所示的1個輸入層，2個隱含層以及1個輸出層的模型。其中，輸入層神經(jīng)元個數(shù)為9，即圖像預(yù)處理后得到的9維焊接表面缺陷信息數(shù)據(jù)集，經(jīng)過神經(jīng)網(wǎng)絡(luò)隱層節(jié)點數(shù)目公式可得到隱層中節(jié)點數(shù)為35，最后輸出層神經(jīng)元個數(shù)為3，對焊接表面缺陷種類進行判斷。

前一層的每個節(jié)點均與后一層的每個節(jié)點連接，假設(shè)輸入層到隱層1的權(quán)重為[wji]，隱層1到隱層2的權(quán)重為[wkj]，隱層2到輸出層的權(quán)重為[wlk]，輸入層到隱層1的偏置值為[aj]，隱層1到隱層2的偏置值為[bk]，隱層2到輸出層的偏置值為[cl]，激勵函數(shù)為常見的ReLU函數(shù)，其表達式為：[fz=max （z，0）]，[n]為樣本數(shù)量。

焊接圖像全連接神經(jīng)網(wǎng)絡(luò)識別流程如圖10所示。具體步驟如下：

1） 提取出的氣孔、裂紋、咬邊三種焊接缺陷特征參數(shù)先通過前向傳播獲得預(yù)測值。

2） 計算神經(jīng)網(wǎng)絡(luò)的預(yù)測值與正確值的差距。

3） 通過反向傳播相應(yīng)的更新神經(jīng)網(wǎng)絡(luò)的參數(shù)。

4） 迭代一定次數(shù)后，得到神經(jīng)網(wǎng)絡(luò)最終的參數(shù)。

5） 利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型對待測樣本數(shù)據(jù)進行識別，從而實現(xiàn)焊接外表面缺陷的自動識別。

2.2 ?識別結(jié)果

本研究分別對氣孔、咬邊、裂紋以及混合后整體進行了識別研究，識別結(jié)果如表2所示。

本研究對氣孔的識別率為93.33%，對咬邊的識別率為85%，對裂紋的識別率為100%，整體識別率為92.86%，具有較好的整體識別率。

3 ?圖像處理系統(tǒng)實現(xiàn)

本研究所用的相機為蘋果手機，通過對有缺陷的焊縫進行拍照，將照片上傳至系統(tǒng)內(nèi)，從而達到識別缺陷的效果。系統(tǒng)只能由專門的管理人員登錄，系統(tǒng)登錄界面如圖11所示。

系統(tǒng)界面主要由三部分組成，其中最左側(cè)為焊接縫表面缺陷識別依據(jù)，該識別依據(jù)來源于樣本數(shù)據(jù)的實時范圍，中間為圖像識別按鈕，最右邊為識別出的圖片，最下方為識別的結(jié)果，具體界面如圖12所示。

4 ?結(jié) ?論

根據(jù)游樂設(shè)施焊接表面質(zhì)量評價的需要，本文對焊接表面缺陷自動識別進行研究，得到以下結(jié)論：

1） 通過Matlab軟件處理圖片，解決了因為反光導(dǎo)致的焊接照片光照不均的問題，得到了處理效果較好的圖片，確定了咬邊、裂紋、氣孔三種缺陷的9種特征參數(shù)即：MajorAxisLength， MinorAxisLength， Eccentricity， EquivDiameter，Solidity，Extent，Perimeter，Thinnessratio，Aspectratio。

2） 對三種缺陷的特征參數(shù)進行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，建立全連接神經(jīng)網(wǎng)絡(luò)模型，同時對待測樣本進行識別，實驗表明氣孔、裂紋、咬邊的識別率分別為93.33%，100%，85%，整體的識別率為92.86%，識別效果較好。

3） 利用Python可以調(diào)用Matlab中函數(shù)的優(yōu)點，建立焊接缺陷自動識別系統(tǒng)。

參考文獻

[1] 梁硼，魏艷紅，占小紅.基于B樣條曲線的X射線圖像焊縫缺陷分割與提取[J].焊接學(xué)報，2012，33（7）：109?112.

[2] CHANG Baohua， SHAO Jiaxin， DU Dong， et al. Automatic weld defect detection based on potential defect tracking in real?time radiographic image sequence [J]. NDT&E international， 2012， 46（1）： 14?21.

[3] VALAVANIS I， KOTSIOPOULOS D. Multiclass defect detection and classification in weld radiographic images using geometric and texture features [J]. Expert systems with applications， 2010， 37（12）： 7606?7614.

[4] LIM T Y， RATNAM M， KHALID M. Automatic classification of weld defects using simulated data and an MLP neural network [J]. NewsLink： newsletter of the international association of quality practitioners， 2007， 49（3）： 154?159.

[5] 高煒欣，胡玉衡，武曉朦，等.埋弧焊X射線焊縫缺陷圖像分類算法研究[J].儀器儀表學(xué)報，2016，37（3）：518?524.

[6] 周春成，張愛梅.焊接缺陷圖像預(yù)處理初探[J].礦山機械，2011，39（4）：109?112.

[7] 葛志霞，魏海坤，張侃健.基于圖像處理的自動化焊接缺陷特征提取與焊接質(zhì)量分析[J].工業(yè)控制計算機，2018，31（5）：64?65.

[8] 王磊.計算機視覺在船舶焊縫缺陷識別的應(yīng)用[J].艦船科學(xué)技術(shù)，2018，40（8）：196?198.

[9] 焦敬品，李思源，常予，等.集箱管接頭內(nèi)焊縫表面缺陷識別方法研究[J].儀器儀表學(xué)報，2017，38（12）：3044?3052.

[10] BHAT N N， KUMARI K， DUTTA S. Friction stir weld classification by applying wavelet analysis and support vector machine on weld surface images [J]. Journal of manufacturing processes， 2015， 20（7）： 274?281.

[11] 劉毅，賈旭芬，田子建.一種基于同態(tài)濾波原理的井下光照不均圖像處理方法[J].工礦自動化，2013，39（1）：9?12.

[12] 杜培明，邱現(xiàn)林.同態(tài)濾波下光照不均QR圖像校正研究[J].軟件導(dǎo)刊，2013，12（11）：159?161.

[13] 王弘毅，趙歡.基于數(shù)學(xué)形態(tài)學(xué)預(yù)處理的Canny算子邊緣檢測算法[J].菏澤學(xué)院學(xué)報，2019，41（2）：25?29.

[14] 何學(xué)明.一種基于Canny檢測算子的聲吶圖像邊緣檢測技術(shù)[J].公安海警學(xué)院學(xué)報，2019（2）：63?67.

[15] 邵闖，王生懷，徐風華，等.基于圖像處理的混凝土表面裂縫檢測研究[J].湖北汽車工業(yè)學(xué)院學(xué)報，2019，33（2）：47?50.