崔慶安, 崔 楠

(1. 上海海事大學經(jīng)濟管理學院, 上海 201306; 2. 武漢大學經(jīng)濟與管理學院, 武漢 430072)

0 引 言

高質(zhì)量產(chǎn)品是企業(yè)贏得競爭優(yōu)勢的關鍵.在工業(yè)4.0時代,隨著制造過程復雜化以及顧客需求日益苛刻,對質(zhì)量優(yōu)化的要求也日漸提高.傳統(tǒng)方法基于經(jīng)典線性模型,難以描述復雜的質(zhì)量形成規(guī)律,優(yōu)化結(jié)果仍有較大提升空間.因此,形式靈活的機器學習模型被引入到質(zhì)量優(yōu)化.然而此類模型具有“黑箱”特性,雖然可以實現(xiàn)全局建模,但內(nèi)部結(jié)構(gòu)解析程度低,難以對質(zhì)量形成規(guī)律給出有說服力解釋,顯著影響了使用者信心.如何增強該類模型應用于質(zhì)量優(yōu)化的可解釋性,是亟待解決的科學問題.事實上,即使在機器學習范疇,“可解釋性(interpretability)”也是當前研究難點[1, 2].對于制造過程,質(zhì)量優(yōu)化主要途徑之一是參數(shù)優(yōu)化,即通過選擇合適的加工工藝參數(shù)值,使產(chǎn)品質(zhì)量特性達到最優(yōu).而機器學習模型應用于參數(shù)優(yōu)化的瓶頸,是如何根據(jù)模型解釋各工藝參數(shù)對質(zhì)量特性影響的顯著程度,進而識別關鍵工藝參數(shù),降低質(zhì)量優(yōu)化難度與成本.

制造業(yè)實際中,由于過程噪聲影響,工藝參數(shù)與質(zhì)量特性之間呈統(tǒng)計相關而非確定性函數(shù)關系,因此很難建立精確數(shù)學模型.目前多是通過試驗設計(design of experiments,DOE)[3]獲取樣本集,擬合工藝參數(shù)與質(zhì)量特性之間的經(jīng)驗回歸模型,而后尋優(yōu)得到質(zhì)量特性優(yōu)化值及對應參數(shù)值.在試驗設計建模及參數(shù)優(yōu)化中,工藝參數(shù)被稱為“因子”,質(zhì)量特性被稱為“響應”,首先需確定“因子—響應”回歸模型的基本形式.因子試驗,響應曲面分析(response surface methodology,RSM)[4]等等,采用一階、二階多項式模型,這是一種局部模型,對于較為復雜的作用關系(例如響應存在多個極值,因子與響應高度非線性相關)效果有限[5, 6].為此,研究者采用非參數(shù)模型[7],試圖在可行域全局范圍內(nèi)近似“因子—響應”的作用關系.此類模型形式靈活,其前提假設弱化為響應的光滑變化,而不要求與因子線性相關.Vining和Bohn[8]最早將核函數(shù)回歸(kernel function regression,KFR)應用于印刷過程質(zhì)量優(yōu)化;此后采用非參數(shù)模型進行實驗設計建模的研究逐漸豐富[9, 10].除KFR外,高斯過程回歸(Gaussian process regression,GPR)或Kriging模型也被引入試驗設計建模,用于無重復誤差的計算機試驗[11].也有研究者將上述模型應用于實際過程的質(zhì)量預測與參數(shù)優(yōu)化[12].近年來,研究者還將機器學習中的人工神經(jīng)網(wǎng)絡(artificial neural networks,ANN)與試驗設計結(jié)合[13],利用樣本數(shù)據(jù)訓練權(quán)值并擬合作用關系模型[14].KFR,GPR,ANN優(yōu)勢在于其較強的非線性擬合能力,但此類模型均是基于“經(jīng)驗風險最小化”,即認為擬合性能好則預測性能也好.這是一種大樣本漸進性理論,只有樣本量足夠大,預測性能才與擬合性能一致[15],較典型的是ANN的“過擬合”現(xiàn)象.由于試驗設計樣本量較為有限,上述模型效果也受到限制.雖然可以通過改善訓練過程來降低“過擬合”,但是目前并沒有非經(jīng)驗性方法來確保得到預測性能好的模型.

作為改進,支持向量回歸機(support vector regression,SVR)[16]被引入到試驗設計建模及參數(shù)優(yōu)化.SVR是目前最佳的小樣本機器學習工具,基于“結(jié)構(gòu)風險最小化”,能夠平衡擬合誤差與模型復雜度,在有限樣本下取得較好預測性能,更適合于試驗設計建模:崔慶安和何楨[17]給出了SVR應用于試驗設計建模及參數(shù)優(yōu)化的基本框架,驗證了SVR相對于KFR,ANN的優(yōu)勢.孫林和楊世元[18]利用正交設計建立銑削表面粗糙度的SVR模型,得到穩(wěn)健優(yōu)化結(jié)果.向國齊和殷國富[19]針對兩桿結(jié)構(gòu),提出基于SVR和粒子群算法的穩(wěn)健優(yōu)化方法,與經(jīng)典RSM,ANN和Kriging對比說明了SVR優(yōu)勢.曲興田等[20]提出基于SVR和粒子群的焊點布置優(yōu)化方法.Zhou等[21]分析了SVR,徑向基函數(shù),GPR在穩(wěn)健性優(yōu)化中的應用,驗證了此類模型對于多項式的優(yōu)勢.

上述研究表明,非參數(shù)和機器學習模型形式靈活,應用于復雜作用關系過程的試驗設計建模及參數(shù)優(yōu)化優(yōu)勢明顯;然而這種靈活性也帶來了“可解釋性”差的弊端[8],較難提供類似于經(jīng)典線性模型的推斷性統(tǒng)計解釋,很大程度上降低了使用者對模型的信任,主要表現(xiàn)之一就是難以實現(xiàn)顯著性因子篩選(factors screening).顯著性因子是指在統(tǒng)計意義上對響應有影響的因子,而非顯著性因子引起的響應變化則較小,與隨機波動區(qū)別不明顯,將非顯著性因子剔除可以簡化作用關系模型.在實際制造中,只需控制顯著性因子(對應為關鍵工藝參數(shù)),而允許其他工藝參數(shù)在較寬范圍波動,從而降低制造難度和成本.

線性回歸模型是“因子—響應”結(jié)構(gòu)形式,表現(xiàn)為因子及其系數(shù)加權(quán)和,各因子(或交互作用)以分立形式存在,可以借助系數(shù)的顯著性檢驗來判斷因子顯著性.此類研究較為成熟,包括部分因子設計與超飽和設計[5],貝葉斯方法[22],序貫分支方法[23]等等.然而對于非參數(shù)和機器學習模型而言,其結(jié)構(gòu)的“可解釋性”差是本質(zhì)問題;表現(xiàn)為所有因子在模型中以整體樣本點而非分立形式存在.這是一種“樣本點—響應”結(jié)構(gòu),難以直接考察因子影響.例如KFR,GPR,SVR模型結(jié)構(gòu)為核函數(shù)及其系數(shù)加權(quán)和,所有因子作為樣本點,整體由核函數(shù)進行映射變換,很難轉(zhuǎn)化成“因子—響應”結(jié)構(gòu).而對于ANN,其復雜的網(wǎng)絡聯(lián)結(jié)以及非線性激勵函數(shù)映射,使因子與響應之間的影響變得更加難以探查和解釋.

目前基于非參數(shù)和機器學習模型進行顯著性因子篩選的成果還很少.而與之相關的,對于復雜作用關系過程的顯著性因子篩選研究可分三類:其一是直接應用線性模型.劉麗君和馬義中等[24]將序貫分支方法應用于供應鏈仿真,考慮位置與散度效應篩選顯著性因子;施文等[25]研究了基于動態(tài)效應的序貫分支方法.但是序貫分支方法以多項式模型為基礎,且假設各因子對于響應的影響方向已知,并不完全適用于非參數(shù)或機器學習模型.此外,Xue和Wang等[26]利用偏相關分析識別艦載機陸下沉速度的關鍵影響參數(shù),并利用Kriging建模,但識別依據(jù)是線性顯著性,而且需在模型擬合之前進行.其二是根據(jù)非參數(shù)和機器學習模型特點,直接從樣本點角度考察顯著性.崔慶安[27]采用SVR擬合過程作用關系模型,利用因子可行域內(nèi)的支持向量比率,來識別顯著性樣本點.該研究者[28]進一步基于最小二乘SVR進行序貫設計及建模,構(gòu)造了樣本點顯著性檢驗的正態(tài)分布統(tǒng)計量.此類方法雖然可以識別出顯著性樣本點,但是并未單獨識別出各因子顯著性.其三,在計算機試驗中,可采用靈敏度分析識別關鍵因子.即改變各因子水平,根據(jù)響應協(xié)方差計算Sobol指數(shù),較大者即對應關鍵因子.該方法只能給出各因子的相對重要度,難以判斷其統(tǒng)計顯著性.Kleijnen[29]采用序貫分支方法對Kriging模型進行變量篩選.Denimal等[30]將GPR或Kriging模型拓展到隨機誤差情形,對于此類過程,Sobol指數(shù)較難區(qū)分因子或噪聲影響.如何利用非參數(shù)和機器學習模型,從統(tǒng)計顯著角度檢驗因子顯著性,仍然值得深入研究.

本研究將開展試驗設計條件下的機器學習模型的顯著性因子篩選研究.考慮到SVR模型在樣本量有限時的優(yōu)良性能,將其選作基礎回歸模型,利用推斷性統(tǒng)計檢驗,從該模型的“樣本點—響應”結(jié)構(gòu)中直接篩選顯著性因子.進一步地,采用最小二乘SVR(least squares support vector regression,LS-SVR)代替標準SVR進行研究.與標準SVR相比,LS-SVR的擬合值是觀測值線性組合,更有利于構(gòu)造推斷性統(tǒng)計量[31].本研究首先介紹LS-SVR基本原理;而后提出基于重復觀測樣本集的LS-SVR模型擬合不足的近似F-檢驗方法;進而提出兩階段的顯著性因子篩選方法;最后通過仿真與實證說明方法的有效性.

1 理論簡介

LS-SVR是一種回歸估計方法.設p維變量x=[x1,…,xp]T∈X與一維隨機變量y∈Y之間存在未知依賴關系y=f(x)+ε,其中ε～N(0,σ2)為隨機誤差.回歸估計就是利用來自于總體(X,Y)的訓練樣本集={(xi,yi),i=1,…,n}去擬合f(x).根據(jù)f(x)形式及擬合方法不同,形成各類回歸模型.例如多項式形式的線性模型

(1)

LS-SVR將f(x)的形式設定為

f(x)=wTφ(x)+b

(2)

其中φ(x):Rp→H是非線性映射函數(shù),w是權(quán)值向量,改變φ(x)可得不同f(x)形式.利用樣本集進行估計,建立LS-SVR模型的優(yōu)化函數(shù)為

s.t.yi=wTφ(xi)+b+ξii=1,2,…,n

(3)

(4)

(5)

由于Ω、Z-1、c僅與xi有關,于是L與y無關,則Ly是y的線性組合或稱線性光滑(linear smoother),有利于推斷性統(tǒng)計:設E(y)=μ,Var(y)=σ2I,則E(Ly)=Lμ,Var(Ly)=σ2LLT,E(yTLy)=σ2trace(L)+μTLμ.

2 方法研究

2.1 LS-SVR模型擬合不足的近似F-檢驗方法

1)重復觀測的樣本集與LS-SVR擬合模型.設x共有m個不同水平,有xi=[xi,1,…,xi,p]T,i=1,…,m.在每個xi處各有ni次重復試驗,其觀測值為yi,j,j=1,…,ni;假設ni個yi,j獨立同分布即yi,j～N(f(xi),σ2),則建模樣本集可表示為

(6)

(7)

(8)

定義SSPe為“純誤差平方和”,表示重復觀測值與其平均值之差的平方和

=(Y-MY)T(Y-MY)=YT(I-M)Y

SSRes=SSPe+SSLof

上式即為殘差平方和的分解等式,在此基礎上,可以發(fā)展出相應的顯著性檢驗方法.

3)擬合不足均方與純誤差均方比值的近似F-分布.由定義,SSRes、SSPe和SSLof均為半正定二次型,其對應矩陣為ARes=I-2L+L2、APe=I-M和ALof=M-2L+L2.根據(jù)二次型理論,SSPe和SSLof的自由度分別為dfPe= tr(APe)=n-m和dfLof=tr(ALof)=m-tr(2L-L2).將平方和除以自由度,即可得純誤差均方MSPe、擬合不足均方MSLof

MSPe=SSPe/dfPe;MSLof=SSLof/dfLof

(9)

F0=MSLof/MSPe～FdfLof,dfPe,λLof,λPe

(10)

E(MSPe)=σ2+ET(Y)APeE(Y)/tr(APe)

(11)

E(MSLof)=σ2+ET(Y)ALofE(Y)/tr(ALof)

(12)

可以證明ME(Y)=E(Y)②,則易證ET(Y)APeE(Y)=0及λPe=0、E(MSPe)=σ2,于是MSPe可以作為σ2的無偏估計.

4)LS-SVR擬合不足的顯著性檢驗及方差分析表.該檢驗的原假設H0和備擇假設H1可設為

F0=MSLof/MSPe～FdfLof,dfPe

(13)

而當模型擬合不足時,根據(jù)半正定二次型性質(zhì),有ET(Y)ALofE(Y)>0因而E(MSLof)>σ2,E(MSLof)>E(MSPe).式(14)中,將有可能出現(xiàn)較大的F0,其顯著性P-value為

P-value=Prob.{F0>Fα,dfLof,dfPe}

(14)

其中α是某個顯著性水平值(例如0.05).由此可得擬合不足檢驗的方差分析表:

式(13)中,當ni增大時,n將增大,dfPe=n-m也將增大;但是dfLof=m-tr(2L-L2) 的變化與ni的相關性不高:因為m與ni無關,而tr(2L-L2)與2L和L2的接近程度有關,受不同樣本點數(shù)目m影響較大,與單個樣本點重復次數(shù)ni無關.對于F-分布而言,當?shù)诙杂啥?即dfPe)增大時,反映其不對稱性的指標“偏斜”將減少,顯著性檢驗的穩(wěn)健性將增加,因此增加重復試驗次數(shù)將有利于顯著性檢驗.但是ni也不能無限制增加,還需受到實驗成本與時間約束.

2.2 基于擬合不足檢驗的LS-SVR模型顯著性因子篩選

1)利用兩階段的LS-SVR模型考察因子的顯著性.其一是對初始LS-SVR模型的擬合不足檢驗,此時所有因子x1,…,xp均參與建模.根據(jù)樣本集0擬合出初始的LS-SVR模型M(0),其中xi=[xi1,…,xip]T,i=1,…,m.如果由式(13)和式(14)來計算出的P(0)-value<0.05,則有較強理由認為M(0)存在擬合不足.此時應該重新選擇和優(yōu)化模型的超參數(shù),或者增加新的建模樣本點,重新擬合模型,直至擬合不足不顯著為止.

其二是改變參數(shù)建模的因子組合,擬合新的LS-SVR擬合模型,再進行擬合不足檢驗考察各因子(組合)的顯著性.對于x=[x1,…,xp]T若需考察其中某個因子xk的顯著性,一個比較直觀的思路,是將xk從x中移除,形成新的因子組合x(-k)=[x1,…,xk-1,xk+1,…,xp]T及建模樣本集

(15)

而后擬合新的LS-SVR模型M(-k).如果M(-k)擬合不足,則說明不能將xk移除,其對y有顯著影響.而這種顯著性的大小,可以用P(-k)-value來表示.該值越小,說明因子xk的移除對模型影響越大,因而xk也就越顯著.若需考察因子組合xc=[xc1,…,xck]T,{c1,…,ck}?{1,…,p}的顯著性,可將xc從x中移除,而后擬合新的LS-SVR模型進行擬合不足檢驗.還可根據(jù)各因子(組合)P-value值的相對大小進一步比較其顯著性.

(16)

其二,關于M(-k)超參數(shù)的選擇.LS-SVR模型結(jié)構(gòu)主要由h2、γ以及樣本集來確定,可以依樣本集分布而光滑變化.僅僅根據(jù)樣本集(-k),改變h2、γ也可得到某個擬合模型M′(-k).但是與M(0)相比,M′(-k)的h2、γ和xi均發(fā)生了變化,不論其擬合不足的顯著性如何,均不能看作是僅僅由于將xk移除而導致的.為反映xk移除對于M(0)的影響,恰當做法是將M(0)的h2、γ直接應用于M(-k).由于樣本觀測值yi,j在(-k)與M(0)中保持一致,此時變化的只有因子組合,由含有xk的xi變?yōu)橐瞥齲k的如果M(-k)出現(xiàn)擬合不足,則說明不能移除xk,其對于LS-SVR擬合模型而言是顯著的.

2.3 顯著性因子篩選的實現(xiàn)步驟

根據(jù)上述分析,形成試驗設計條件下基于LS-SVR擬合不足檢驗的顯著性因子篩選步驟.總體上可以分為初始模型擬合,顯著性因子篩選兩個階段.基于研究的聚焦性,假設已經(jīng)確定了合適的試驗設計方式.

階段I初始模型擬合檢驗.

步驟3利用表1和式(13)、式(14)對M(0)進行擬合不足檢驗,如果P(0)-value<0.05,則說明M(0)存在擬合不足,此時需返回步驟3,重新選擇h2和γ,直至擬合不足不顯著.

表1 LS-SVR模型擬合不足檢驗的方差分析表

階段II顯著性因子篩選階段.

步驟4令k=1,…,p,依次將xk從x中移出,得到x(-k)=[x1,…,xk-1,xk+1,…,xp]T,以及如式(15)所示的新建模樣本集(-k),采用和M(0)相同的h2和γ,形成簡化后的擬合模型M(-k).

步驟5對M(-k)進行擬合不足檢驗,計算P(-k)-value,其值越小,說明xk越重要.

步驟6k=1,…,p,重復步驟4、步驟5,將得到的各P(-k)-value由小到大排序P(-1′)-value≤P(-2′)-value≤…≤P(-p′)-value,該序列即是各因子顯著性程度由高至低排序.在0.05的顯著性水平下,P(-k)-value<0.05對應的xk均可看作顯著性因子,其余因子均不顯著.

步驟8對比分析步驟6與步驟7的結(jié)果,確定可以從LS-SVR模型中移除的不顯著因子,得到顯著性因子組合以及對應的簡化模型M(Red.).

需要說明的是,表1的計算與核函數(shù)形式無關,可以適用于各種形式的核函數(shù)(例如多項式核,B-樣條核等等);但是需要根據(jù)其不同的超參數(shù)類型,參照式(16)進行約束最優(yōu)化求解,以使ALof滿足近似冪等的條件.

3 仿真研究

利用兩個典型仿真函數(shù),考察MSLof與MSPe比值的近似F-分布的經(jīng)驗概率密度曲線與理論概率密度曲線的符合性;對基于擬合不足檢驗的因子顯著性篩選方法進行仿真驗證.

3.1 仿真函數(shù)

仿真函數(shù)I是帶有白噪聲的Camel函數(shù)

(17)

其中ε～N(0,σ2);x1,…,x6∈[-2,2].上式中僅含有x1或x2的部分是Camel函數(shù),已被應用于各類算法仿真[34].fCamel在x1,x2維度上較為顯著,如圖1所示,而對于因子xt,t=3,4,5,6,其對應系數(shù)均為0,本質(zhì)上不顯著性.對于fCamel,一階、二階多項式難以實現(xiàn)全局性建模.但若采用高階多項式,將會導致“維數(shù)災難”.例如6因子六階多項式,需估計529個系數(shù);若只考慮不超過三階的交互作用,則需估計101個系數(shù).因此采用LS-SVR進行全局性建模.

圖1 Camel函數(shù)的3維和2維投影圖

仿真函數(shù)II是有工程背景的Piston函數(shù),由一系列非線性函數(shù)組成鏈式結(jié)構(gòu),用于對活塞在氣缸內(nèi)的圓周運動建模[35],其形式為

(18)

3.2 仿真過程

根據(jù)仿真函數(shù)范圍fCamel∈[0, 9.866 7]+ε,fPiston∈[0.164 2, 1.199 1]+ε,各選取兩個噪聲水平σ以及因子水平組合數(shù)m.fCamel仿真:σ=0.5,1.0;m=50,100;fPiston仿真:σ=0.05,0.1;m=50,100.而后在每一(σ,m)組合處各進行10次仿真.每次仿真的因子水平組合由LHS設計生成,表示為x1,…,xm,且規(guī)范化至[0, 1]內(nèi).對于每個xi,隨機生成重復試驗次數(shù)ni≤3.根據(jù)利用式(17)、式(18)生成初始樣本集,利用3.3節(jié)步驟識別出顯著性因子(或因子組合).作為對比,利用LHS設計生成大小為1 000的預測樣本集,分別計算初始和簡化LS-SVR模型的預測均方誤差MSPE.對于相同的xi,ni和σ,固定LS-SVR超參數(shù)不變,重復5 000次試驗,得到含有隨機噪聲的響應觀測值.根據(jù)式(9),計算出5 000個F0=MSLof/MSPe值,由此估計出對應的經(jīng)驗概率密度曲線(采用核估計方法);再根據(jù)式(10)計算理論概率密度曲線.

3.3 仿真結(jié)果

1)關于近似F-分布的經(jīng)驗與理論概率密度曲線.由上述過程得到fCamel和fPiston各40組經(jīng)驗與理論概率密度曲線,如圖2(a)、圖2(b)所示.

(a) fCamel (b) fPiston

2)關于顯著性因子的篩選.表2和表3為fCamel和fPiston仿真的顯著性因子篩選,給出了移除某個因子后的LS-SVR模型擬合不足P-value.該值越小,被移除因子對模型影響越為顯著.表中還給出了能夠被移除的最大因子組合.

表3 fPiston仿真的擬合不足P-value

以表2的(σ,m)=(0.5,50)為例,設定顯著性水平為0.05,第1次仿真,單獨移除x1或x2,模型均出現(xiàn)擬合不足,P-value分別為4e-11和9e-17(科學計數(shù)法);而單獨移除x3、x4、x5、x6中任一個,P-value均大于0.05,不會導致擬合不足.如果將因子組合[x3,x4,x5,x6]移除,擬合不足也不顯著(P-value=0.294 9).包含x1或x2的因子組合共45組,將其分別移除后所得P-value最大值為1e-12,擬合不足均為高度顯著;而對于所有不包含x1或x2的因子組合(共11組),分別將其移除后P-value均大于0.05,擬合不足均不顯著.此時,最大因子組合是[x3,x4,x5,x6],而[x1,x2]即為顯著性因子.

為進一步說明,表4給出了fPiston,(σ,m)=(0.05,50)第1次仿真確定可移除的最大因子組合的過程:首先發(fā)現(xiàn)因子x1,x5,x6,x7對應的P-value均大于0.05,于是考慮將該因子組合移除;但發(fā)現(xiàn)移除后P-value=0.032 6<0.05,因而不能整體移除;而后考慮移除其中3個因子,計算得知,因子組合[x5,x6,x7]對應P-value= 0.414 6,而其他3因子組合P-value均小于0.05,不能被移除.由此可移除的最大因子組合為[x5,x6,x7],對應的顯著性因子為[x1,x2,x3,x4].

表4 LS-SVR模型的不顯著因子移除過程示意

3)關于簡化后的LS-SVR模型的預測性能.為考察移除不顯著因子對LS-SVR模型影響,利用表2和表3的樣本集,采用擬合均方誤差MSE和預測均方誤差MSPE來對比初始模型M(0)和簡化模型M(Red.)性能,每次仿真均由LHS設計生成一個大小為1 000的測試樣本集.而后相同(σ,m)的10次仿真形成一組Box圖,fCamel和fPiston各形成4組對比Box圖,如圖3和圖4所示.

“I”,“II”,“III”,“IV”對應(σ,m)為 (0.5, 50),(0.5, 100),(1.0, 50),(1.0, 100);“A”初始模型,“B”簡化模型

“I”,“II”,“III”,“IV”對應(σ,m)為 (0.5, 50),(0.5, 100),(1.0, 50),(1.0, 100);“A”初始模型,“B”簡化模型

4)關于與逐步回歸方法的對比.在經(jīng)典理論中,與顯著性因子篩選相關的交叉驗證法主要有逐步回歸法(step wise regression,SWR)[36],序貫分支法等等.后者無法包含二階主效應,有可能會引起殘差的異方差.因此采用含一階、二階主效應以及二階交互作用效應的線性回歸模型,運行SWR方法.其模型為

表5 各類方法識別出的顯著性因子及漏判率、 誤判率對比(fCamel)

4 實證研究

4.1 案例背景

3D打印可以應用于汽車,航空航天,醫(yī)用材料等領域,是智能制造的代表技術(shù)之一[37].熔融沉積成型是使用最為廣泛的3D打印技術(shù),其基本原理是將高分子等熱熔性材料從噴嘴處擠出,分層堆積凝固形成實體.此過程的工藝參數(shù)主要包括層厚、打印速度、噴嘴溫度、熱床溫度、填充率、最短冷卻時間等等;質(zhì)量特性則包括零件的尺寸精度及形狀符合度等等.成型過程需經(jīng)歷從固態(tài)到熔融,再到冷卻成型的復雜變化,使得工藝參數(shù)與制成品質(zhì)量特性之間呈高度非線性相關.對于大多數(shù)3D打印制成品而言,翹曲(warping)和飛邊(flash)是主要質(zhì)量缺陷,而通過基于試驗設計建模的工藝參數(shù)優(yōu)化,可以較為顯著性地降低翹曲程度和飛邊長度.然而上述工藝參數(shù)的影響大小不一致,在質(zhì)量優(yōu)化之前,需要先識別出顯著性因子,以降低優(yōu)化控制的難度.考慮到3D打印過程的強非線性,這里采用所提出的LS-SVR建模和顯著性因子篩選方法,再通過遺傳算法尋優(yōu),得到優(yōu)化的工藝參數(shù)值及質(zhì)量特性值,并通過試驗驗證有效性.

試驗設備為“Z-603S”型“極光爾沃”牌3D打印機.采用直徑1.75 mm的聚乳酸材料進行打印.試驗零件為15 mm×15 mm×3 mm的立方體.工藝參數(shù)分別為層厚/(mm):x1∈[0.06,0.20],打印速度/(mm/s):x2∈[20,70],噴嘴溫度/(℃):x3∈[190,220],熱床溫度/(℃):x4∈[50,70],填充率/(%):x5∈[20,50],最短冷卻時間/(s):x6∈[3,6].質(zhì)量特性為翹曲/(mm):ywarp和飛邊/(mm):yflash,均為望小型.采用游標卡尺進行測量,以制成品水平放置時,其表面距離水平面的最大高度為ywarp,以各條邊的最大飛邊長度為yflash.

4.2 試驗設計樣本集獲取及顯著性因子篩選

圖5 3D打印過程因子(或因子組合)移除后的擬合不足顯著性

圖6 3D打印的簡化LS-SVR模型曲面及等高線

表6 3D 打印試驗LHS設計的因子組合及響應值

4.3 質(zhì)量特性尋優(yōu)

表7 3D打印的簡化LS-SVR模型尋優(yōu)結(jié)果驗證試驗

5 結(jié)果討論

5.1 所提方法的有效性

1)非中心F-分布的符合性.從圖7(a)和圖7(b)可以看出,非中心F-分布的經(jīng)驗與理論概率密度曲線的符合程度較好.

(a)fCamel (b)fPiston

其二,經(jīng)驗與理論概率密度曲線的尾部符合性更高,對于較為顯著的擬合不足判斷影響較小.擬合不足意味著存在一個較大MSLof/MSPe,對應在曲線右偏尾部位置.圖7表明,兩類曲線的差異主要集中在最高點附近,而尾部差異不大.作為歸一化,采用各概率密度相對于近似F-分布(理論分布)分位數(shù)Fα的曲線作為參照,定義

其中g(shù)e(Fα)和gt(Fα)表示Fα處的經(jīng)驗和理論概率密度,D2(Fα)表示累積到Fα處的兩類概率密度曲線的偏差均方.圖7(a)和圖7(b)給出了fCamel與fPiston仿真的D2(Fα)曲線.可以看出,當Fα較大(例如>0.5)時,D2(Fα)呈快速減小趨勢.

2)顯著性因子識別及簡化模型結(jié)構(gòu)的一致性.表2和表3說明,所提方法能夠有效識別顯著性因子,給出可移除的不顯著因子最大組合.

其一,所提方法在識別顯著性因子方面的一致性較高.fCamel的40次仿真,x1、x2均被識別為顯著,其對應的擬合不足P-value均較小;與作為白噪聲添加進模型的不顯著因子x3、x4、x5、x6對應的P-value有明顯差異;40次仿真中,37次(比例為92.5%)識別出了所有不顯著因子.fPiston的40次仿真,x2有39次(比例為97.5%)被識別為顯著,x3有35次(比例為87.5%)被識別為顯著;40次仿真中,能夠被移除的最大因子組合均包含[x5,x6,x7].

其二,簡化模型的基本結(jié)構(gòu)具有一致性.表2和表3說明,σ和m不同,被移除最大因子組合不同,對應的簡化模型也不同.fCamel的(σ,m)=(0.5,50)第1次仿真,得到了含有x1、x2的簡化模型;而(σ,m)=(0.5,50)第10次仿真,得到了含有x1、x2、x4的簡化模型,但是所有40次仿真,真實的顯著性因子x1、x2均被無差別識別并包含于簡化模型.也就是說,簡化模型基本一致,且描述了初始模型主要特征.對于fPiston,其仿真函數(shù)沒有特別加入權(quán)重系數(shù)為0的白噪聲因子,但是40次仿真中,x2、x3均包含于簡化模型,說明了簡化模型結(jié)構(gòu)的基本一致性.

3)簡化模型復雜度降低和預測性能改善.直觀理解,如果將某些因子移除,模型表現(xiàn)能力將降低.但圖3和圖4說明,與初始模型相比,簡化模型擬合誤差增加,但預測誤差卻明顯降低.

其一,簡化模型的預測均方誤差MSPE降低且波動減小.對于fCamel和fPiston,簡化模型的擬合性能降低,表現(xiàn)為擬合均方誤差MSE的均值和波動性均有所增加,但是預測均方誤差MSPE卻優(yōu)于初始模型,并且其IQR(四分位距)也有明顯減小,說明方法預測性能也較為穩(wěn)定.

5.2 與經(jīng)典線性模型顯著性因子篩選方法的比較

1)均是以F-分布和方差分析為基礎.所提方法基于式(10)的近似F-分布和方差分析,與經(jīng)典線性模型相比,這也是一種統(tǒng)計檢驗方法.因此在單次檢驗中,會由于過程噪聲σ影響,得到不同的顯著性結(jié)果,表2和表3也說明,最終被移除的最大因子組合不完全相同.但在多次重復檢驗下,某個因子組合將會以較大概率出現(xiàn),例如表2中的[x3,x4,x5,x6]和表3的[x5,x6,x7],這也是統(tǒng)計檢驗方法的特點.類似地,經(jīng)典線性模型中,對于同一個“因子—響應”過程,不同觀測值也可能導致不同的顯著性因子篩選結(jié)果.

3)對于樣本量大小的要求不同.經(jīng)典線性模型的F-分布要求樣本量n→+∞.然而試驗設計建模樣本量一般有限且較小.而所提方法的近似F-分布不以n→+∞為基礎,試圖在有限樣本條件下通過調(diào)整LS-SVR超參數(shù)h2與γ來獲得,具有較強的工程實踐現(xiàn)實意義.再者,近似F-分布對于樣本量的要求與LS-SVR模型本身的小樣本特性是一致的,更有利于體現(xiàn)模型性能,圖3和圖4也說明,通過近似F-分布剔除不顯著因子得到的簡化模型,其預測性能得到了較好改善.

4)關于因子效應的“稀疏性”、“交互作用”與“因子組合”的顯著性.因子效應的“稀疏性”指試驗設計中的重要因子(即顯著性因子)是少數(shù)的[38].例如析因試驗中,只有一部分因子效應呈現(xiàn)為統(tǒng)計學意義上的顯著,而其他(尤其是高階交互作用的效應)不顯著.本研究也體現(xiàn)了這一原則,對于3D打印試驗,總計6個工藝參數(shù),能夠被同時移除的有3個,其余為顯著性因子.由于LS-SVR模型的特點,所提方法未涉及各因子間的交互作用.“交互作用”項指線性模型的因子乘積項(例如x1x2).LS-SVR模型中不存在因子乘積項,而實際制造過程也不存在能夠單獨控制的“交互作用”項.所提方法可以從因子組合整體(而非多個因子簡單加和)角度判斷顯著性,可以較好地適應實際過程參數(shù)優(yōu)化和控制的需要,3D試驗也說明了這一點.

5)與逐步回歸方法的“漏判率”與“誤判率”對比.從表5可以看出,所提方法的MAR與FAR均優(yōu)于SWR方法.所提方法的MAR在不同m與σ組合下均為0,而SWR方法最高達0.15,意味著在10次仿真中有3個(次)顯著性因子未被有效識別出.所提方法的FAR最高為0.075,而SWR方法最高達0.275,是本文方法的3.67倍.此外,當σ增大時,所提方法的FAR均變?yōu)?,更適合于工程實踐噪聲較大的情形.

6 結(jié)束語

本研究根據(jù)LS-SVR特點,提出了基于擬合不足檢驗的顯著性因子篩選方法,用以在試驗設計建模及參數(shù)優(yōu)化中識別關鍵工藝參數(shù)、降低質(zhì)量改進成本.利用LS-SVR線性光滑估計的特點,將擬合模型殘差平方和分解為擬合不足與純誤差的平方和;利用重復性試驗,給出了擬合不足與純誤差均方比值的近似F-分布,構(gòu)造了擬合不足檢驗的方差分析表;利用移除某個因子(組合)導致的擬合不足顯著性P-value的變化,提出了顯著性因子的篩選方法;還通過增加滿足近似F-分布的約束,給出了LS-SVR模型的超參數(shù)選擇方法.仿真與實證研究表明,本研究較好地實現(xiàn)了具有“樣本點—響應”及核函數(shù)結(jié)構(gòu)的機器學習模型的顯著性因子篩選,簡化了模型形式,改善了預測性能.本研究有助于增強在試驗設計建模及參數(shù)優(yōu)化中應用LS-SVR模型的“可解釋性”,有利于從因子(而非樣本點)角度探究其影響,拓展機器學習模型在質(zhì)量改進的應用.所提方法也適用于大數(shù)據(jù)集的因子顯著性篩選.一般而言,大數(shù)據(jù)集缺乏嚴格的重復性樣本集,可以考慮將某一樣本點附近較小鄰域內(nèi)的樣本點近似作為重復測量.而鄰域半徑的確定、近似重復性對于顯著性檢驗的影響等等,是需要進一步研究的問題.