一種基于PPCNN的金屬激光熔化沉積熔池狀態(tài)識(shí)別方法

馬琳杰

摘要：金屬激光熔化沉積質(zhì)量與熔池狀態(tài)具有密切的關(guān)聯(lián)，根據(jù)熔池視覺(jué)特征對(duì)加工中的熔池狀態(tài)進(jìn)行識(shí)別，進(jìn)而實(shí)現(xiàn)沉積質(zhì)量的在線預(yù)測(cè)對(duì)金屬激光熔化沉積技術(shù)具有重要意義。為構(gòu)建上述映射關(guān)系，本文提出了一種基于金字塔池化卷積神經(jīng)網(wǎng)絡(luò)的金屬激光熔化沉積熔池狀態(tài)識(shí)別方法。針對(duì)所采集的熔池同軸圖像，建立用于訓(xùn)練和測(cè)試的數(shù)據(jù)集;構(gòu)建了金字塔池化卷積神經(jīng)網(wǎng)絡(luò)（Pyramid pooling convolutional neural networks，PPCNN），并進(jìn)行網(wǎng)絡(luò)關(guān)鍵參數(shù)的研究。結(jié)果表明：第一層卷積核尺寸為5×5，卷積層和金字塔池化模塊含有64+8×3個(gè)卷積核使網(wǎng)絡(luò)在識(shí)別準(zhǔn)確率上達(dá)到最佳。所提方法取得了最高96.80%的識(shí)別準(zhǔn)確率。

Abstract： The quality of metal laser melting deposition is closely related to the state of the molten pool. Recognizing the state of the molten pool in processing according to the visual characteristics of the molten pool， and thus realizing the online prediction of the deposition quality is of great significance to the metal laser melting deposition technology. In order to construct the above mapping relationship， this paper proposes a method for identifying the molten pool state of metal laser melting deposition based on pyramid pooling convolutional neural network. Based on the collected coaxial images of the molten pool， a data set for training and testing was established; a pyramid pooling convolutional neural network（PPCNN） was constructed， and key network parameters were studied. The results show that the size of the first layer of convolution kernels is 5×5， and the convolutional layer and pyramid pooling module contain 64+8×3 convolution kernels to make the network achieve the best recognition accuracy. The proposed method achieved a maximum recognition accuracy of 96.80%.

關(guān)鍵詞：增材制造;定向能量沉積;激光熔化沉積;熔池;卷積神經(jīng)網(wǎng)絡(luò);金字塔池化模塊

Key words： additive manufacturing;directed energy deposition;laser melting deposition;molten pool;convolutional neural network; pyramid pooling module

0 ?引言

定向能量沉積（Directed Energy Deposition，DED）是利用聚焦熱能將材料同步熔化沉積的增材制造工藝[1]。該技術(shù)可以在零件的成形過(guò)程中實(shí)現(xiàn)不同材料的融合，使得制備的零件具有任意方向上的材料和功能梯度。其中金屬激光熔化沉積是采用激光束作為聚焦熱能的定向能量沉積技術(shù)。目前，由于金屬激光熔化沉積存在復(fù)雜的多物理場(chǎng)耦合作用，使得加工零件的質(zhì)量可靠性和效果重復(fù)性提升困難，這限制了其規(guī)?；こ袒瘧?yīng)用。

在線診斷識(shí)別及反饋控制是提高激光熔化沉積技術(shù)質(zhì)量可靠性與效果重復(fù)性的關(guān)鍵手段之一。熔池作為激光熔化沉積加工中的重要物理現(xiàn)象及多場(chǎng)耦合的重要載體，其包含著豐富的物理冶金狀態(tài)信息，可為工藝穩(wěn)定性與零件質(zhì)量的在線診斷識(shí)別及反饋控制提供重要的理論與數(shù)據(jù)支持。因此，針對(duì)熔池形態(tài)監(jiān)測(cè)的研究引起了學(xué)者的廣泛關(guān)注。唐梓玨等[2]采用同軸監(jiān)測(cè)方法，對(duì)四種不同工藝條件下的熔池動(dòng)態(tài)特征進(jìn)行監(jiān)測(cè)，揭示熔池關(guān)鍵形狀精度的演化行為，并建立新的熔池形狀精度模型。HOFMAN等[3]同樣采用同軸監(jiān)測(cè)方法對(duì)熔池寬度進(jìn)行監(jiān)測(cè)，結(jié)果表明熔池寬度影響沉積層的稀釋率和硬度的穩(wěn)定性。劉新鋒等[4]利用CCD相機(jī)拍攝完整的熔池圖像，通過(guò)提取熔池的長(zhǎng)度、寬度、面積等特征作為神經(jīng)網(wǎng)絡(luò)的輸入，建立預(yù)測(cè)熔池背面熔寬變化的網(wǎng)絡(luò)模型。上述研究雖然已對(duì)熔池特征與最終加工質(zhì)量間的關(guān)聯(lián)關(guān)系展開(kāi)了研究，并實(shí)現(xiàn)了基于特定熔池特征的在線診斷識(shí)別，但對(duì)于可反映激光熔化沉積熔化—熔融—凝固全過(guò)程的熔池而言，依然有大量的過(guò)程特征信息沒(méi)能很好的進(jìn)行利用，這阻礙了基于熔池的激光熔化沉積質(zhì)量在線診斷識(shí)別與反饋控制技術(shù)的應(yīng)用。

深度學(xué)習(xí)（Deep Learning，DL）算法能夠自動(dòng)創(chuàng)建特征提取器與分類器，其識(shí)別分類能力隨著提供新的訓(xùn)練數(shù)據(jù)而改進(jìn)和發(fā)展。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural networks，CNN）可以直接對(duì)圖像進(jìn)行處理，使直接對(duì)熔池圖像進(jìn)行特征提取成為可能。與傳統(tǒng)方法相比，CNN的顯著優(yōu)點(diǎn)是利用深層次的網(wǎng)絡(luò)結(jié)構(gòu)從圖像中自動(dòng)提取出更加抽象的特征，而不是依賴于專家知識(shí)手動(dòng)提取。同時(shí)，CNN具有局部感知和權(quán)值共享的特點(diǎn)[5]，減少了網(wǎng)絡(luò)參數(shù)的數(shù)量，從而減少了訓(xùn)練的時(shí)間。上述優(yōu)點(diǎn)使其應(yīng)用范圍也更加廣泛[6-8]。但Zhang等[9]將原始圖像輸入到CNN取得的平均準(zhǔn)確率只有92.8%，原因是原始圖像含有噪聲或CNN在傳遞過(guò)程中信息丟失，導(dǎo)致沒(méi)有取得更高的準(zhǔn)確率。因?yàn)樵诮饘偌す馊刍练e中，受多物理場(chǎng)耦合、監(jiān)測(cè)光路污染與加工環(huán)境變化等因素的影響，熔池特征往往復(fù)雜多變，這對(duì)CNN性能提出了更高的要求。

為了充分利用金屬激光熔化沉過(guò)程熔池圖像的在線信息并抑制熔池信息在深度神經(jīng)網(wǎng)絡(luò)傳遞過(guò)程中的損失，本文提出了一種基于金字塔池化模塊的卷積神經(jīng)網(wǎng)絡(luò)熔池狀態(tài)識(shí)別方法，并結(jié)合在懲罰函數(shù)中添加L2范數(shù)正則項(xiàng)來(lái)提高模型的泛化能力，實(shí)現(xiàn)了熔池狀態(tài)的精確識(shí)別。通過(guò)本研究為激光熔化沉積質(zhì)量的反饋控制提供了重要的數(shù)據(jù)支持。

1 ?試驗(yàn)材料、設(shè)備及方案設(shè)計(jì)

試驗(yàn)采用了由六軸機(jī)器人（KR30HA，Germany）、半導(dǎo)體激光器（LDF 4000-100 VGP，Germany）、激光頭（YC52，Precitec KG，Gaggenau，Germany）和送粉器（RC-PF-01B-2，Raycham Ltd，Nanjing，China）組成的激光熔化沉積系統(tǒng)，實(shí)驗(yàn)設(shè)備如圖1所示。熔池圖像采集系統(tǒng)由同軸工業(yè)相機(jī)、計(jì)算機(jī)組成。其中，同軸工業(yè)相機(jī)可采集632×508像素的圖像，采集幀率最高可達(dá)500fps，所采集的熔池圖像為單通道灰度圖像，采集后傳輸?shù)接?jì)算機(jī)中進(jìn)行保存。試驗(yàn)過(guò)程中的保護(hù)氣和載粉氣均為純度 99.999%的氬氣，送粉量為9.15g/min，載氣流量為600L/h，保護(hù)氣流量為900L/h。試驗(yàn)所用材料為316L基體和316L粉末，粉末的粒徑為45～150μm。

本文所采用的316L基板尺寸為60mm×40mm×8mm。通過(guò)改變激光功率（500W、600W、700W、800W、900W、1000W、1100W、1200W）和掃描速度（1mm/s、3mm/s、5mm/s、7mm/s、9mm/s、11mm/s、13mm/s、15mm/s、17mm/s、19mm/s），在80組參數(shù)的組合下，利用單道掃描，獲取熔池的灰度圖像。由于在沉積起始處熔池不穩(wěn)定，此時(shí)拍攝的熔池圖像不具有代表性，因此需選擇1s后處于激光熔化沉積穩(wěn)定狀態(tài)時(shí)的熔池圖像作為最終的數(shù)據(jù)集。

2 ?數(shù)據(jù)集生成

參照前期研究成果[2]的單道單層沉積試驗(yàn)，本文將沉積狀態(tài)分為4類，其對(duì)應(yīng)圖像特征分別如下：①熔池的幾何輪廓為倒梯形，此時(shí)沉積層潤(rùn)濕角過(guò)高（接近或大于90°），冶金結(jié)合不良，沉積狀態(tài)為過(guò)度熔融;②熔池的幾何輪廓為近圓形，此時(shí)沉積層潤(rùn)濕角遠(yuǎn)小于90°，冶金結(jié)合正常，沉積狀態(tài)為正常熔融;③熔池的幾何輪廓為不規(guī)則形狀，此時(shí)沉積層潤(rùn)濕角正常，但冶金結(jié)合不良，沉積狀態(tài)為不完全熔融;④當(dāng)無(wú)法形成穩(wěn)定的熔池和沉積層，沉積狀態(tài)為不連續(xù)熔融。之后以閾值分割和邊緣檢測(cè)算法獲得熔池初步輪廓，并根據(jù)熔池初步輪廓的外接矩形a*b，截?。╝+10）*（b+10）矩形范圍作為ROI（Region of Interest）區(qū)域。圖2顯示了4類單道的表面質(zhì)量及對(duì)應(yīng)的熔池ROI圖像。每個(gè)沉積狀態(tài)下數(shù)據(jù)的詳細(xì)介紹如表1所示。最后將熔池圖像統(tǒng)一壓縮為32×32像素作為模型的輸入。因?yàn)镃NN是一種有監(jiān)督的訓(xùn)練方式，需要對(duì)每張圖像建立標(biāo)簽，該標(biāo)簽代表熔池圖像對(duì)應(yīng)的沉積狀態(tài)。

3 ?PPCNN模型

PPCNN（Pyramid pooling convolutional neural networks，PPCNN）即金字塔池化卷積神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)的高層特征有助于類別識(shí)別，但連接全連接層的池化層會(huì)丟失大部分提取的高層特征，從而影響識(shí)別準(zhǔn)確率。而金字塔池化模塊[10]融合了不同尺度的特征，提高了獲取全局信息的能力，有效的減少了高層特征的信息丟失問(wèn)題。因此，本文將金字塔池化模塊與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，構(gòu)建了PPCNN模型，模型結(jié)構(gòu)及參數(shù)如圖3所示。

本文的金字塔池化模塊融合了三種不同尺度的金字塔池化特征，分別為1×1，2×2，4×4，如圖3中的金字塔池化模塊。其中紅色表示全局池，對(duì)整個(gè)特征圖進(jìn)行池化操作。以下金字塔等級(jí)將特征圖分割為不同的子區(qū)域，對(duì)特征圖進(jìn)行不同位置的池化操作，不同金字塔等級(jí)池化操作會(huì)產(chǎn)生不同大小的特征圖。金字塔池化操作后采用1×1卷積確定每種尺度所生成的特征圖數(shù)量，之后采用雙線性差值擴(kuò)展到與C5相同的尺寸，最終將金字塔池化模塊生成的三種不同尺度的特征圖與C5特征圖進(jìn)行融合，從而聚合高層特征，減少信息的丟失，提升整體的識(shí)別準(zhǔn)確率。

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程分為前向傳播和反向傳播，在前向傳播過(guò)程中，輸入數(shù)據(jù)經(jīng)過(guò)多層卷積層和池化層進(jìn)行特征提取，經(jīng)全連接層，輸入分類器進(jìn)行數(shù)據(jù)的分類識(shí)別。在反向傳播過(guò)程中，依據(jù)損失函數(shù)，通過(guò)反向傳播從后往前更新網(wǎng)絡(luò)的權(quán)重和偏置參數(shù)，以達(dá)到最優(yōu)的網(wǎng)絡(luò)參數(shù)，最終實(shí)現(xiàn)最優(yōu)的網(wǎng)絡(luò)模型[11]。為了防止模型的過(guò)擬合，提高網(wǎng)絡(luò)模型的泛化能力，本文采用添加L2范數(shù)作為懲罰項(xiàng)的交叉熵?fù)p失函數(shù)，則改進(jìn)后的懲罰函數(shù)為：

4 ?PPCCN熔池狀態(tài)識(shí)別

4.1 PPCNN關(guān)鍵參數(shù)影響分析

CNN的網(wǎng)絡(luò)參數(shù)對(duì)整體的識(shí)別結(jié)果有較大的影響。例如，卷積核尺寸、全連接層數(shù)量等。通過(guò)對(duì)上述兩個(gè)參數(shù)進(jìn)行研究，確定最適合識(shí)別四種沉積狀態(tài)的網(wǎng)絡(luò)參數(shù)。第一層卷積核作用于輸入圖像，其卷積核的尺寸直接決定首次感受野的大小，對(duì)初次特征提取至關(guān)重要。因此，研究第一層卷積核尺寸從3×3-11×11的變化過(guò)程中，識(shí)別準(zhǔn)確率的變化趨勢(shì)如圖4所示。從曲線中可以看出，當(dāng)卷積核尺寸為5×5時(shí)，網(wǎng)絡(luò)對(duì)熔池狀態(tài)的識(shí)別率最高。這是由于3×3的尺寸較小，不能有效的提取熔池圖像的特征，而由于輸入圖像只有32×32，過(guò)大的卷積核尺寸不能合適的提取熔池圖像的特征，反而會(huì)增加網(wǎng)絡(luò)訓(xùn)練的時(shí)間。

由于最后一層卷積層卷積核和金字塔池化模塊卷積核數(shù)量即融合后卷積核總數(shù)共同決定了全連接層輸入的大小，而全連接層中的特征直接決定識(shí)別準(zhǔn)確率，因此研究融合后卷積核總數(shù)對(duì)識(shí)別效果的影響。由于金字塔池化模塊融合了三種不同金字塔尺度下的特征，再與前一層卷積層進(jìn)行最終融合，故要確定四層卷積核數(shù)量，以使網(wǎng)絡(luò)達(dá)到最優(yōu)的識(shí)別率。本文采取了6組不同數(shù)量的卷積核進(jìn)行訓(xùn)練，分別為32+8×3，32+16×3，32+32×3，64+8×3，64+16×3，64+32×3，其中32+8×3表示金字塔池化模塊的前一層卷積層有32個(gè)卷積核，金字塔池化模塊每種尺度下有8個(gè)卷積核，故四層卷積核總數(shù)為56，其他參數(shù)的含義與之相同。訓(xùn)練得到融合后卷積核總數(shù)與識(shí)別準(zhǔn)確率的變化趨勢(shì)如圖5所示。從圖5中可以看出，當(dāng)卷積核總數(shù)為88時(shí)，準(zhǔn)確率最高為96.80%。當(dāng)前一層卷積層卷積核數(shù)量為32時(shí)，整體準(zhǔn)確率低于前一層卷積層卷積核數(shù)量為64的準(zhǔn)確率。說(shuō)明當(dāng)最后一層卷積層中卷積核數(shù)量較少時(shí)，不能充分對(duì)熔池圖像特征進(jìn)行提取，導(dǎo)致融合后效果不佳。當(dāng)最后一層卷積層卷積核數(shù)量為64時(shí)，隨著卷積核數(shù)量的增加，識(shí)別準(zhǔn)確率下降。說(shuō)明全連接層參數(shù)過(guò)多，可能導(dǎo)致過(guò)擬合現(xiàn)象，從而影響對(duì)測(cè)試數(shù)據(jù)的識(shí)別。

因此，通過(guò)對(duì)第一層卷積核尺寸和融合后卷積核總數(shù)的研究，最終確定第一層卷積核尺寸為5×5，融合后卷積核總數(shù)為88（64+8×3）時(shí)，網(wǎng)絡(luò)的識(shí)別精度最高。

4.2 準(zhǔn)確率對(duì)比分析

為了對(duì)比論證所提方法的優(yōu)勢(shì)，選擇不添加L2懲罰項(xiàng)的PPCNN、標(biāo)準(zhǔn)CNN進(jìn)行對(duì)比。不添加L2懲罰項(xiàng)的PPCNN也采用圖3的網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)，標(biāo)準(zhǔn)CNN的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)與圖3相比，將金字塔池化模塊替換為步幅為2，濾波器為2×2的最大池化層，且只有兩層全連接層，第一層全連接層具有1024個(gè)節(jié)點(diǎn)，第二層全連接層的節(jié)點(diǎn)數(shù)為200，其他網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)與圖3保持一致。同時(shí)為了突出所提方法相對(duì)于SAE和傳統(tǒng)方法的優(yōu)勢(shì)，將熔池ROI像素灰度值范圍從0到255分為25個(gè)區(qū)間，將不同區(qū)間中的像素?cái)?shù)提取為熔池特征分別輸入SAE、SVM和傳統(tǒng)淺層神經(jīng)網(wǎng)絡(luò)BPNN進(jìn)行對(duì)比。具體實(shí)驗(yàn)方法介紹如表2所示。

本文每種方法共進(jìn)行4組相同條件的試驗(yàn)，選擇梯度下降算法對(duì)網(wǎng)絡(luò)執(zhí)行350次優(yōu)化迭代后，每種方法的4組實(shí)驗(yàn)的準(zhǔn)確性如表3所示。

從表3可以得到，采用CNN的方法的準(zhǔn)確識(shí)別率明顯高于SAE和傳統(tǒng)分類方法。采用所提方法（L2-PPCNN）四次識(shí)別準(zhǔn)確率分別為：96.25%，95.90%，96.40%以及96.10%，平均準(zhǔn)確率為96.16%，高于不添加L2懲罰項(xiàng)的PPCNN的95.41%。說(shuō)明懲罰函數(shù)中添加L2范數(shù)正則項(xiàng)，提高了模型的泛化能力和識(shí)別準(zhǔn)確率。而標(biāo)準(zhǔn)CNN由于沒(méi)有采用金字塔池化模塊，其平均準(zhǔn)確率為93.41%，相比于所提方法，其識(shí)別準(zhǔn)確率下降了2%。說(shuō)明金字塔池化模塊融合的不同尺度的特征提高獲取全局信息的能力，從而有效減少高層特征的信息丟失，提升了識(shí)別準(zhǔn)確率。熔池特征+SAE的平均準(zhǔn)確率只有75.40%，這表明CNN提取熔池特征的能力比手動(dòng)+SAE提取特征的效果更好。熔池特征+SVM和熔池特征+BPNN的平均準(zhǔn)確率都低于55%，說(shuō)明傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在信息豐富的熔池圖像中已經(jīng)無(wú)法獲得較高的識(shí)別率。以上結(jié)果可以得出，所提方法識(shí)別準(zhǔn)確率最高，表明從熔池圖像中提取的特征信息更全面。說(shuō)明所提方法提高了獲取全局信息的能力，有效減少高層特征的信息丟失，同時(shí)還提升了模型的泛化能力。即本文提出的方法更適用于金屬激光熔化沉積中熔池狀態(tài)的識(shí)別。

5 ?結(jié)論

本文研究了一種金字塔池化卷積神經(jīng)網(wǎng)絡(luò)的金屬激光熔化沉積熔池狀態(tài)識(shí)別方法。構(gòu)建了金字塔池化卷積神經(jīng)網(wǎng)絡(luò)，從而融合了不同尺度的特征，提高了獲取全局信息的能力，提升了識(shí)別準(zhǔn)確率，從而有效的減少高層特征的信息丟失問(wèn)題。同時(shí)在懲罰函數(shù)中添加L2懲罰項(xiàng)用于正則化處理，提高了模型的泛化能力。分析了網(wǎng)絡(luò)中兩個(gè)重要參數(shù)對(duì)于識(shí)別準(zhǔn)確率的影響。研究表明：第一層卷積核尺寸為5×5，卷積層和金字塔池化模塊含有64+8×3個(gè)卷積核使網(wǎng)絡(luò)在識(shí)別準(zhǔn)確率上達(dá)到最佳。相比于其他方法，在4組平行實(shí)驗(yàn)中，所提方法最高識(shí)別準(zhǔn)確性達(dá)到96.80%。同時(shí)該方法也為激光熔化沉積質(zhì)量的反饋控制提供了重要支持。

參考文獻(xiàn)：

[1]全國(guó)增材制造標(biāo)準(zhǔn)化技術(shù)委員會(huì).GB/T 35351-2017，增材制造術(shù)語(yǔ)[S].北京：中國(guó)標(biāo)準(zhǔn)出版社，2017.

[2]唐梓玨，劉偉嵬，顏昭睿，等.基于熔池動(dòng)態(tài)特征的金屬激光熔化沉積形狀精度演化行為研究[J].機(jī)械工程學(xué)報(bào)，2019，55（15）：39-47.

[3]Hofman J T， Pathiraj B， DIJK V J， et al. A camera based feedback control strategy for the laser cladding process[J]. Journal of Materials Processing Technology. 2012， 212（11）： 2455-2462.

[4]劉新鋒，高進(jìn)強(qiáng)，姜錫瑞，等.連續(xù)電流TIG焊熔池圖像的低成本自動(dòng)化檢測(cè)[J].焊接學(xué)報(bào)，2001（06）：25-28.

[5]李彥冬，郝宗波，雷航.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)應(yīng)用，2016，36（09）：2508-2515.

[6]Wang F T， Deng G， Ma L J， et al. Convolutional Neural Network Based on Spiral Arrangement of Features and Its Application in Bearing Fault Diagnosis[J]. IEEE Access. 2019， 7： 64092-64100.

[7]Jiao J， Zhao M， Lin J， et al. A multivariate encoder information based convolutional neural network for intelligent fault diagnosis of planetary gearboxes[J]. Knowledge-Based Systems. 2018， 160： 237-250.

[8]李海超，劉景風(fēng)，謝吉兵，等.基于卷積神經(jīng)網(wǎng)絡(luò)的GTAW熔透預(yù)測(cè)[J].機(jī)械工程學(xué)報(bào)，2019，55（17）：22-28.

[9]Zhang Y， Hong G S， Ye D， et al. Extraction and evaluation of melt pool， plume and spatter information for powder-bed fusion AM process monitoring[J]. Materials & Design. 2018， 156： 458-469.

[10]Zhao H S， Shi J P， Qi X J， et al. Pyramid Scene Parsing Network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， July 21-26， 2017， Honolulu， HI， USA：IEEE， 17355193.

[11]李恒，張氫，秦仙蓉，等.基于短時(shí)傅里葉變換和卷積神經(jīng)網(wǎng)絡(luò)的軸承故障診斷方法[J].振動(dòng)與沖擊，2018，37（19）：124-131.