基于DE-Xgboost的U71Mn鋼粗糙度預(yù)測(cè)模型

(河海大學(xué) 機(jī)電工程學(xué)院，江蘇 常州 213022)

0 引言

錳元素質(zhì)量分?jǐn)?shù)介于11%和18%之間的合金鋼被稱為高錳鋼，其耐磨性很好。由于其所具備的耐沖擊、高耐磨及抗疲勞特性，U71Mn高錳鋼被大規(guī)模的應(yīng)用到鐵路事業(yè)上[1-2]。但當(dāng)銑削參數(shù)配置不合理時(shí)易導(dǎo)致加工硬化與應(yīng)力集中，零件加工后表面粗糙度發(fā)散，難以滿足鐵軌的裝配精度[3-4]以及使用壽命[5]?；诖嗽騏71Mn材料特性一直為國內(nèi)學(xué)者的重點(diǎn)研究方向: 暨南大學(xué)范宇[6]研究了不同時(shí)效溫度對(duì)水韌后高錳鋼(Mn13、Mn18)組織結(jié)構(gòu)、力學(xué)性能、磨損特性及磨損硬化的影響；北京理工大學(xué)于啟勛[7]從切削過程特性、切削力、刀具磨損耐用度諸方面闡明了高錳鋼的切削加工性，并建立了多元線性回歸預(yù)測(cè)模型。

此外表面粗糙度作為加工中須被約束的重要參數(shù)，傳統(tǒng)試切法、經(jīng)驗(yàn)切法[8]效率較低，加工者資歷要求較高，易導(dǎo)致資源浪費(fèi)。在工業(yè)4.0[9]的趨勢(shì)下更是成為國內(nèi)外諸多學(xué)者的重點(diǎn)研究方向。

表面粗糙度預(yù)測(cè)模型大致可以分類如下類別:統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)及深度學(xué)習(xí)回歸模型。Li et al[10]在2018從切削液壓力出發(fā)，基于 Weierstrass-Mandelbrot函數(shù)建立了精確的粗糙度預(yù)測(cè)模型。Kong et al[11]在2020年提出一種結(jié)合貝葉斯矩陣分解的線性回歸模型;馬堯[12]在2020年基于線性回歸與主成分分析算法在預(yù)測(cè)粗糙度的同時(shí)可對(duì)粗糙度影響因子進(jìn)行有效分析。上述回歸模型大多依賴于最小二乘與凸優(yōu)化[13]原則進(jìn)行求解，算法復(fù)雜度低可讀性強(qiáng)，但U71Mn等難加工金屬所對(duì)應(yīng)的強(qiáng)多元非線性關(guān)系，線性回歸預(yù)測(cè)精度通常難以滿足要求。機(jī)器學(xué)習(xí)與深度學(xué)習(xí)算法，因其強(qiáng)大的非線性擬合能力在各類工程系統(tǒng)中有著廣泛的使用。學(xué)者魯娟[14]2020年使用PSO-SVM算法精確預(yù)測(cè)蠕墨鑄鐵加工過程中的表面質(zhì)量。深度學(xué)習(xí)模型，雖尚存一些諸如可解釋性與原理的”黑盒”問題,但通過多層神經(jīng)網(wǎng)絡(luò)可對(duì)高維數(shù)據(jù)進(jìn)行有效解析，在圖片識(shí)別[15]、文本翻譯等任務(wù)相對(duì)機(jī)器學(xué)習(xí)模型均有更優(yōu)的表現(xiàn)。其中卷積神經(jīng)網(wǎng)絡(luò)在表面粗糙度檢測(cè)[16-17]中也有所使用,但當(dāng)前主流ResNet150(he et all),VGG16網(wǎng)絡(luò)其訓(xùn)練參數(shù)均屬于千萬級(jí)別，綜合考慮其參數(shù)修正與前向傳播，普通計(jì)算機(jī)難以求解，此外因參數(shù)較多當(dāng)模型樣本數(shù)目較少時(shí)易產(chǎn)生稀疏學(xué)習(xí)導(dǎo)致過擬合現(xiàn)象。

本模型為降低模型誤差上界，使其具有良好的泛化性。提出一種使用混合編碼DE[18]優(yōu)化的Xgboost模型，Xgboost由chen et all[19]提出，近年來在Kaggle與天池等數(shù)據(jù)挖掘賽事中有著十分優(yōu)秀的性能表現(xiàn)，但模型誤差對(duì)諸如:最大數(shù)深度(整數(shù))、集成內(nèi)核(選擇項(xiàng))、最大縱向采樣深度(浮點(diǎn)數(shù))等參數(shù)初始值設(shè)置極為敏感，故使用混合編碼的差分進(jìn)化算法進(jìn)行模型參數(shù)調(diào)優(yōu)。

1 材料特性與數(shù)據(jù)處理

1.1 加工環(huán)境與數(shù)據(jù)處理

U71Mn高錳鋼材料作為一種難加工金屬本身的硬度并不高僅有180 HB左右，其抗拉強(qiáng)度和韌性較高，其化學(xué)與物理成分如表1所示。

表1 U71Mn鋼材料性質(zhì)

U71Mn高錳鋼的切削加工性能主要由其硬度所決定，此外，銑削參數(shù)、工件安裝方式、銑削方式、熱處理狀態(tài)等都會(huì)對(duì)銑削過程產(chǎn)生影響，主要表現(xiàn)為以下幾點(diǎn)：(1)加工硬化：在銑削過程中，高錳鋼的面心立方晶格結(jié)構(gòu)受到外力沖擊，晶格產(chǎn)生滑移從而導(dǎo)致單相奧氏體組織向著硬度較高的馬氏體轉(zhuǎn)變，硬度急劇升高，產(chǎn)生強(qiáng)烈的冷作硬化現(xiàn)象。(2)切削力大和應(yīng)力集中：由于高錳鋼工件在銑削過程中切削溫度高，其加工表面會(huì)發(fā)生化學(xué)反應(yīng)生成厚度約為0.1～0.3mm的三氧化二錳層，導(dǎo)致切削力增大。(3)切削溫度高：前面也已經(jīng)多次提到，高錳鋼切削時(shí)會(huì)產(chǎn)生大量的熱，而且高錳鋼的導(dǎo)熱性很差，大約是碳鋼的1/4左右，熱量散發(fā)不出去，最終就會(huì)導(dǎo)致切削區(qū)溫度不斷的升高，降低刀具壽命，提高生產(chǎn)成本。基于上述特性選擇進(jìn)給量f(mm/z)、銑削深度ap(mm)、銑削寬度ae(mm)、主軸轉(zhuǎn)速n(r/min)作為輸入變量，使用M-V5CN組合機(jī)床與4齒硬質(zhì)合金平底立銑刀進(jìn)行銑削加工。最終獲取了1 000組數(shù)據(jù)樣本,表2為部分?jǐn)?shù)據(jù)。

表2 部分銑削樣本

表面粗糙度由于光電輪廓儀任選零件加工后表面三處均勻表面取均值獲得。

1.2 加工環(huán)境與數(shù)據(jù)處理

從表2易知n相對(duì)f、ap、ae數(shù)據(jù)量波動(dòng)較大，為消除數(shù)值量偏差干擾使用式(1)進(jìn)行標(biāo)準(zhǔn)化處理。

(1)

式中,nor為標(biāo)準(zhǔn)化數(shù)據(jù);i為樣本索引，j為特征索引。μj為第j個(gè)特征均值，sj為其標(biāo)準(zhǔn)差；最終樣本80%基于作為訓(xùn)練與驗(yàn)證集4折交叉驗(yàn)證圖1原則進(jìn)行模型訓(xùn)練，余下20%為測(cè)試集樣本。選用最大誤差errmax、平均絕對(duì)誤差mae、方差std與決定系數(shù)作為模型性能評(píng)價(jià)指標(biāo)。

2 Xgboost回歸原理

Xgboost是一種通過梯度提升樹進(jìn)行的監(jiān)督學(xué)習(xí)算法，設(shè)訓(xùn)練集樣本(xi,yi),其中xi∈Rm，yi∈R,xi為維度為m的一個(gè)樣本。若Xgboost包含K顆樹，可得模型定義表達(dá)式(2):

FK=FK-1(xi)+fK(xi)

(2)

式中,fK為第K顆集成回歸樹。FK-1為先前K-1顆回歸樹所組成的函數(shù)項(xiàng)；為使模型有效訓(xùn)練，選用 MSE均方損失項(xiàng)l作為評(píng)價(jià)指標(biāo)，將其轉(zhuǎn)化為有監(jiān)督的優(yōu)化目標(biāo)式(3):

(3)

式中，x=[n,f,ap,ae];θ為Xgboost模型超參數(shù)；n為訓(xùn)練集樣本數(shù)目;Ω為正則化函數(shù),其中K為回歸樹的數(shù)目；T為葉子節(jié)點(diǎn)數(shù)，γ為l1正則化系數(shù)；w為節(jié)點(diǎn)權(quán)重即為l2正則化項(xiàng)用以約束回歸樹分裂次數(shù)；Xgboost算法在當(dāng)次迭代t中各回歸樹直接優(yōu)化上輪t-1輪殘差，結(jié)合泰勒公式可將第t輪目標(biāo)函數(shù)Obj二階展開為式(4):

(4)

式中，yis-1為第t-1輪樣本i的輸出預(yù)測(cè)值；g,h分別為模型的一階與二階損失梯度函數(shù)。ft(xi)為第t輪的樹模型，最終樣本會(huì)被分配到各葉子節(jié)點(diǎn)進(jìn)行加權(quán)輸出聯(lián)立式(2)可得第t輪殘差優(yōu)化目標(biāo)式(5):

(5)

式中,Ij為葉子節(jié)點(diǎn)j所劃分的樣本集,將所有樣本特征進(jìn)行了劃分。對(duì)于固定的樹結(jié)構(gòu)基于凸優(yōu)化原則可求解出葉子節(jié)點(diǎn)j的w最優(yōu)解式(6):

式中，g,h為基于式(5)求得樣本i的特征的梯度與偏置；結(jié)合式(3)減去引入該葉子節(jié)點(diǎn)的代價(jià)γ即可得各特征對(duì)應(yīng)葉子節(jié)點(diǎn)所占輸出權(quán)重。得到葉子節(jié)點(diǎn)的最優(yōu)分布權(quán)重wj*后，對(duì)于固定的樹狀結(jié)構(gòu)引入正則化系數(shù)，可以求得最優(yōu)的目標(biāo)函數(shù)值式(7):

(7)

在式(7)中,令Gj=∑i∈Ijgi,Hj=∑i∈Ijhi，則有式(8)：

(8)

式中，可直接作為樹模型評(píng)價(jià)指標(biāo)，基于式(8)可以得到其一般算法迭代流程:

(1)每輪增加一個(gè)新的模型優(yōu)化式(2)；

(2)基于MSE均方誤差得到其優(yōu)化目標(biāo)式(3)；

(3)計(jì)算誤差梯度式(4)得到其一階gi與二階hi梯度誤差表達(dá)；

(4)根據(jù)貪心算法及梯度生成樹ft；

(5)基于式(8)選擇最優(yōu)切分點(diǎn)；

(6)計(jì)算葉子節(jié)點(diǎn)權(quán)重式(6)；

(7)將新新生成樹加入模型得到FK，返回(1)。

此外Xgboost支持隨機(jī)行列采樣。即對(duì)特征數(shù)量(m)及樣本數(shù)目(n)進(jìn)行有放回的隨機(jī)采樣。通過引入隨機(jī)性有效避免直接優(yōu)化殘差可能帶來的過擬合現(xiàn)象，此外還可減小迭代運(yùn)算復(fù)雜度。該算法已封裝在Python的Xgboost工具箱通過命令(pip install XGBoost)可直接安裝。圖1為使用該工具箱自適應(yīng)參數(shù)配置下模型訓(xùn)練與驗(yàn)證集方差波動(dòng)。

(學(xué)習(xí)率lr=0.3,列采樣比例
cc=0.6,行采樣比例lc=0.5,最大樹深度mp=7,回歸樹
數(shù)量T=100，內(nèi)核kernel=tree’，正則化系數(shù)γ=0.31)
圖1 Xgboost誤差波動(dòng)

x

(

)

y

:r(

),MAE(

),

err

max

(

),std(

)

(n)

(m

3 DE-Xgboost模型的建立

式(9)即為Xgboost算法的迭代流程，下使用群體智能算法對(duì)下列超參數(shù):學(xué)習(xí)率lr,列采樣比例cc,行采樣比例lc,最大樹深度mp,回歸樹數(shù)量T，內(nèi)核kernel，正則化系數(shù)γ進(jìn)行全局尋優(yōu)。其中超參數(shù)lr、cc、lc、γ均為浮點(diǎn)數(shù)可以直接基于浮點(diǎn)數(shù)編碼的遺傳算法(Gentic Algorithm,GA)、粒子群優(yōu)化(Particle swarm optimization,PSO)等算法進(jìn)行非線性尋優(yōu)。但超參數(shù)T、mp為整數(shù),kernel為選擇項(xiàng),無法基于浮點(diǎn)數(shù)編碼尋優(yōu)，為降低運(yùn)算復(fù)雜度并對(duì)超參數(shù)之間非線性關(guān)系進(jìn)行有效解耦，不考慮使用二階段優(yōu)化求解算法。

差分進(jìn)化算法其基本思想源于遺傳算法，同其他進(jìn)化類算法思想一致對(duì)候選種群進(jìn)行操作，通過把一定比例的多個(gè)個(gè)體的差分信息作為個(gè)體擾動(dòng)量，使算法在跳躍搜索距離與方向上具有自適應(yīng)性。并且相對(duì)于GA算法DE無需對(duì)種群算子進(jìn)行二進(jìn)制編碼以及解碼過程?；谏鲜鎏匦裕珼E算法具有極強(qiáng)的局部開采能力。本DE優(yōu)化Xgboost算法大致可分為如下步驟:

(1)確定個(gè)體編碼方式。本模型待優(yōu)化參數(shù)為: 學(xué)習(xí)率lr(浮點(diǎn)數(shù)),列采樣比例cc(浮點(diǎn)數(shù)),行采樣比例lc(浮點(diǎn)數(shù)),最大樹深度mp(整數(shù)),回歸樹數(shù)量T(整數(shù))，內(nèi)核ker(0、1規(guī)劃)，正則系數(shù)γ(浮點(diǎn)數(shù));對(duì)于種群個(gè)體x可以寫成如式(9):

x=[lr,cc,lc,mp,T,kernel,γ]

(9)

(2)確定種群數(shù)目NP為50,基于rand函數(shù)將其初始化寫入矩陣pop,計(jì)算適應(yīng)度fit。

(3)基于種群適應(yīng)度fit，對(duì)種群pop所有特征進(jìn)行變異式(10)與交叉式(11)操作；

Vi,g+1=xr1,g+F(xr2,g-xr3,g)

(10)

(11)

式中，g為當(dāng)前迭代次數(shù);r1,r2,r3∈{1,2,……,NP}且互不相等；F為變異因子，為區(qū)間[0.3,0.7]之間的線性衰減函數(shù),可有效保證迭代初期最大化搜索范圍，與終止時(shí)程序收斂;確定變異因子后通過式(11)即可進(jìn)行交叉操作，式中,CR為交叉因子決定該特征取代個(gè)體分量值得概率，此處取常數(shù)0.5。

(4)選擇操作,基于式(12)決定是否在下輪迭代中替換該個(gè)體，即保留最優(yōu)參數(shù)。

x(i,g+1)=

(12)

(5)邊界處理對(duì)越界的特征重新初始化。

(6)根據(jù)Xgboost迭代流程更新種群適應(yīng)度fit，并且判斷是否達(dá)到迭代終止條件，否則返回(3)。

設(shè)置進(jìn)化次數(shù)G為100，適應(yīng)度函數(shù)與XGBoost一致使用MSE均方誤差。按照上述參數(shù)配置進(jìn)行迭代，圖2為DE進(jìn)行尋優(yōu)尋優(yōu)誤差波動(dòng)。

圖2 DE參數(shù)尋優(yōu)

圖中，在第20次迭代時(shí)模型已經(jīng)收斂。經(jīng)DE算法全局搜索模型最優(yōu)超參數(shù)為: 學(xué)習(xí)率lr=0.415,列采樣比例cc=0.75,行采樣比例lc=0.641,最大樹深度mp=5,回歸樹數(shù)量T=200，內(nèi)核kernel=tree’，正則化系數(shù)γ=0.41。

與DNN、SVM等機(jī)器學(xué)習(xí)算法模型一致，Xgboost模型其初始超參數(shù)直接決定模型的性能上限以及收斂區(qū)間。雖然使用算法優(yōu)化器可以在一定程度內(nèi)緩解對(duì)于初值的依賴性，但在Xgboost模型中為保證模型的收斂以及泛化性，訓(xùn)練迭代流程中已引入貪心與隨機(jī)采樣思想，根據(jù)”沒有免費(fèi)的午餐[20]”原則隨之帶來的代價(jià)便是初值敏感性。

4 實(shí)驗(yàn)結(jié)果與分析

為直觀評(píng)估本DE-Xgboost模型的性能，除未經(jīng)DE優(yōu)化的Xgboost算法外。依次建立了DNN、GA-SVM模型進(jìn)行性能對(duì)比；DNN為包含兩個(gè)全連層的神經(jīng)網(wǎng)絡(luò)模型其神經(jīng)元數(shù)目依次為64，16，基于誤差反向傳播原則使用BP進(jìn)行訓(xùn)練，算法優(yōu)化器為隨機(jī)梯度下降(Stochastic Gradient Descent,SGD)。GA-SVM,即為與DE-Xgboost思想一致使用遺傳算法尋優(yōu)SVM超參數(shù),最終參數(shù)為:kernel=rbf’(高斯內(nèi)核),正則化系數(shù)γ=0.7；平滑系數(shù)gamma=1.1；軟間隔系數(shù)C=0.14;對(duì)樣本集基于五折交叉驗(yàn)證原則進(jìn)行處理，表3為上述各模型在驗(yàn)證集樣本中的泛化性能。

表3中，因模型訓(xùn)練樣本數(shù)目較少，神經(jīng)網(wǎng)絡(luò)模型在測(cè)試集上各項(xiàng)指標(biāo)均不理想。相比之下在機(jī)器學(xué)習(xí)中的典型SVM、Xgboost模型在小樣本條件下性能表現(xiàn)較為優(yōu)秀。

表3 模型性能對(duì)比

其中經(jīng)DE算法進(jìn)行優(yōu)化的Xgboost模型，有著最小的測(cè)試集平均絕對(duì)誤差、方差、最大誤差，模型泛化性誤差穩(wěn)定，性能可靠，且絕對(duì)系數(shù)高達(dá)88.4%，對(duì)測(cè)試集樣本解釋性最高，有理由相信，該DE-Xgboost模型可有效擔(dān)任U71Mn高錳鋼粗糙度預(yù)測(cè)任務(wù)。

5 結(jié)束語

基于U71Mn高錳鋼材料性質(zhì)分析了其加工過程中加工硬化、應(yīng)力集中現(xiàn)象的產(chǎn)生原因。作為典型的難加工金屬，銑削參數(shù)與加工后表面粗糙度具有較強(qiáng)的非線性關(guān)系，提出了一種使用DE算法優(yōu)化的Xgboost模型，證明其相對(duì)主流DNN、SVM類算法有著更優(yōu)的精度與性能。且作為一種樹型模型其運(yùn)算復(fù)雜度較低，通過Xgboost求解模塊，可以直接求解該模型表達(dá)式并具有直接部署于單片機(jī)等嵌入式開發(fā)設(shè)備的潛質(zhì)。