宋建 ， 王宇峰， 梁家睿 ， 李東*

(1.華南理工大學(xué), 廣東省高分子先進(jìn)制造技術(shù)及裝備重點(diǎn)實(shí)驗(yàn)室, 廣州 510640； 2.華南理工大學(xué), 聚合物加工工程教育部重點(diǎn)實(shí)驗(yàn)室, 廣州 510640； 3.金發(fā)科技股份有限公司企業(yè)技術(shù)中心, 廣州 510663)

由于塑料具有可塑性好、沖擊強(qiáng)度較高、化學(xué)穩(wěn)定性良好等特點(diǎn)，其制品已被廣泛應(yīng)用于各個(gè)行業(yè)。數(shù)據(jù)統(tǒng)計(jì)顯示，經(jīng)過(guò)“十二五”的快速發(fā)展，中國(guó)已經(jīng)成為世界塑料制品生產(chǎn)、出口和消費(fèi)大國(guó)。塑料的成型方法多種多樣，主要成型方法包括擠出、注射、吹塑、膜壓、層壓、澆鑄等，其中通過(guò)注塑成型工藝制造的塑料產(chǎn)品占了60%以上，注塑成型制品的質(zhì)量越來(lái)越受到大家的關(guān)注，但現(xiàn)階段注塑制品的質(zhì)量檢測(cè)主要是人工完成。人工檢測(cè)不僅速度慢、人力和物力投入大，而且容易造成漏判和誤判，因此研究新的解決方法成為亟待解決的問(wèn)題。

為了解決以上問(wèn)題，國(guó)內(nèi)外研究者開(kāi)展了大量的研究。Sadeghi[1]以工藝變量和材料等級(jí)變化為輸入數(shù)據(jù)建立了4-2-3結(jié)構(gòu)的BP(back propagation)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，對(duì)注塑制品的質(zhì)量進(jìn)行預(yù)測(cè)。Min[2]采用響應(yīng)表面分析的方法推導(dǎo)回歸方程和優(yōu)化工藝條件，對(duì)制件質(zhì)量進(jìn)行預(yù)測(cè)并間接實(shí)現(xiàn)了對(duì)注塑過(guò)程的在線監(jiān)控。Zhu等[3]建立了以熔體溫度、注塑速率、保壓壓力為輸入數(shù)據(jù)，制件飛邊為標(biāo)簽的模糊神經(jīng)網(wǎng)絡(luò)，對(duì)制件飛邊進(jìn)行了預(yù)測(cè)。Dumitrescu等[4]證明使用近紅外線光譜監(jiān)控注塑制品質(zhì)量是可行的。利用光導(dǎo)纖維探頭可以識(shí)別材料中的顏色變化和水分，進(jìn)而實(shí)現(xiàn)對(duì)制件質(zhì)量的預(yù)測(cè)。Chen等[5]以模具溫度、保壓壓力等6個(gè)參數(shù)作為輸入建立了一種反向傳播神經(jīng)網(wǎng)絡(luò)模型來(lái)對(duì)注塑制品的質(zhì)量進(jìn)行預(yù)測(cè)。

上述研究均聚焦注塑制品的質(zhì)量指標(biāo)或者缺陷的回歸預(yù)測(cè)，但實(shí)際生產(chǎn)過(guò)程中更關(guān)心的是注塑制品的質(zhì)量指標(biāo)是否合格。尺寸是注塑制品的重要質(zhì)量指標(biāo)之一，合格的注塑制品尺寸必須在公差范圍內(nèi)，否則產(chǎn)品將會(huì)判定為廢品。鑒于此，現(xiàn)提出一種基于注塑加工過(guò)程數(shù)據(jù)對(duì)產(chǎn)品尺寸是否合格進(jìn)行預(yù)測(cè)判定的方法，利用注塑成型過(guò)程中的成型機(jī)狀態(tài)數(shù)據(jù)和高頻采樣數(shù)據(jù)，直接對(duì)注塑制品的尺寸是否合格進(jìn)行智能判定，期望以此替代現(xiàn)有的人工品檢，實(shí)現(xiàn)注塑制品質(zhì)量檢測(cè)的自動(dòng)化與智能化，為企業(yè)增效降本。

1 數(shù)據(jù)集與預(yù)處理

1.1 數(shù)據(jù)集來(lái)源

本文中所使用的數(shù)據(jù)主要來(lái)源于富士康工業(yè)互聯(lián)網(wǎng)有限公司提供的第四屆工業(yè)大數(shù)據(jù)創(chuàng)新競(jìng)賽數(shù)據(jù)集，數(shù)據(jù)集包括注塑加工過(guò)程的SPC(statistical process control)數(shù)據(jù)和充模過(guò)程狀態(tài)監(jiān)測(cè)傳感器的高頻采樣數(shù)據(jù)(簡(jiǎn)稱“高頻采樣數(shù)據(jù)”)以及作為標(biāo)簽的尺寸數(shù)據(jù)。

注塑加工過(guò)程的SPC數(shù)據(jù)主要是注塑加工過(guò)程中每個(gè)模次的成型機(jī)臺(tái)狀態(tài)數(shù)據(jù)，通過(guò)SPC數(shù)據(jù)可以觀察注塑過(guò)程的工藝穩(wěn)定性，從整個(gè)注塑工藝對(duì)注塑過(guò)程進(jìn)行分析，例如，溫度均值、注射最大壓力、填充時(shí)間、模具溫度等可以通過(guò)系統(tǒng)日志進(jìn)行獲取，每個(gè)模次采集一次，總共有86維，16 600條數(shù)據(jù)；高頻采樣數(shù)據(jù)主要來(lái)源于注塑機(jī)的模腔內(nèi)，冷卻系統(tǒng)等通過(guò)高頻傳感器所獲得的實(shí)時(shí)數(shù)據(jù)，通過(guò)高頻采樣數(shù)據(jù)可以對(duì)注塑過(guò)程的具體模塊進(jìn)行實(shí)時(shí)監(jiān)測(cè)，針對(duì)具體的模塊對(duì)注塑過(guò)程進(jìn)行分析，例如，模腔壓力、模腔溫度、模溫機(jī)循環(huán)水流量等，傳感器的采樣頻率為50 Hz，總共有16 600個(gè)模次，每一個(gè)模次采集的傳感器數(shù)據(jù)約為1 500條，總共有24維特征；其中數(shù)據(jù)集的標(biāo)簽為注塑制品的尺寸數(shù)據(jù)。

1.2 數(shù)據(jù)預(yù)處理

在注塑加工的過(guò)程中，由于設(shè)備故障、零件失靈等種種原因會(huì)造成數(shù)據(jù)的不完整。不完整的數(shù)據(jù)是無(wú)法用于數(shù)據(jù)挖掘的，將其納入分析會(huì)使結(jié)論偏離實(shí)際情況。因此，對(duì)數(shù)據(jù)進(jìn)行清洗是非常必要的。數(shù)據(jù)清洗規(guī)則是：對(duì)數(shù)據(jù)集中每個(gè)特征的缺失值進(jìn)行統(tǒng)計(jì)，當(dāng)缺失值達(dá)到總量的50%以上時(shí)，刪除這個(gè)特征，而對(duì)于缺失值少于50%的特征使用均值進(jìn)行填充。

在對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析的過(guò)程中，發(fā)現(xiàn)一些特征本身的價(jià)值并不大，但是對(duì)這些特征(如溫度特征)進(jìn)行處理后，比如進(jìn)行均值處理，可以提煉出更加有價(jià)值的信息，所以對(duì)高頻采樣數(shù)據(jù)集進(jìn)行了特征的構(gòu)建。高頻傳感器所采集的模內(nèi)溫度、壓力等數(shù)據(jù)每個(gè)模次會(huì)進(jìn)行多次采集，由于頻率較高，每個(gè)模次采集數(shù)量高達(dá)1 500多條，其中包含有大量冗余的數(shù)據(jù)，不僅對(duì)模型分類性能的影響較小，而且會(huì)增加模型訓(xùn)練時(shí)間，因此構(gòu)建了傳感器的均值特征，即將每個(gè)模次采集的傳感器數(shù)據(jù)取各個(gè)特征的均值。最后合并所有的數(shù)據(jù)集。

數(shù)據(jù)集中的標(biāo)簽是某一重要部位的尺寸數(shù)值，為了實(shí)現(xiàn)分類效果，對(duì)標(biāo)簽數(shù)據(jù)進(jìn)行重構(gòu)，將尺寸在[199.96,200.04]mm范圍內(nèi)的合格數(shù)據(jù)標(biāo)記為1，不在該范圍內(nèi)的尺寸標(biāo)記為0。

經(jīng)過(guò)上述處理后，最后得到了58維的新數(shù)據(jù)集，對(duì)此數(shù)據(jù)集按80%作為模型的訓(xùn)練集、20%作為模型的測(cè)試集進(jìn)行隨機(jī)分割。

2 特征選取

一個(gè)數(shù)據(jù)集中，與分類目標(biāo)相關(guān)性高的特征有利于提高模型分類的準(zhǔn)確性，因此構(gòu)建模型時(shí)，數(shù)據(jù)集的特征質(zhì)量對(duì)于分類的正確率會(huì)有很大的影響。注塑機(jī)的采集數(shù)據(jù)中部分特征與尺寸的相關(guān)性較小，這樣的特征不僅對(duì)分類工作沒(méi)有太大的幫助，還會(huì)增加學(xué)習(xí)過(guò)程的負(fù)擔(dān)，降低模型的運(yùn)行速率。本文主要使用卡方檢測(cè)和基于樹(shù)模型的特征選擇方法對(duì)數(shù)據(jù)集進(jìn)行特征選取。

2.1 特征選取方法

2.1.1 卡方檢驗(yàn)(Chi-squared test)

卡方檢驗(yàn)的基本思想是通過(guò)觀察實(shí)際值與理論值的偏差來(lái)確定兩個(gè)變量之間的獨(dú)立性，對(duì)于x1，x2，…，xn等多個(gè)觀察值通過(guò)卡方公式得到卡方值，即

(1)

式(1)中:xi表示觀察值;E表示期望值;χ2表示卡方值。

卡方值越大說(shuō)明對(duì)應(yīng)特征與標(biāo)簽的相關(guān)性越大，這個(gè)特征就越重要；反之，重要程度就越低。每個(gè)特征計(jì)算出對(duì)應(yīng)的卡方值，通過(guò)計(jì)算出的卡方值進(jìn)行特征重要程度排序,確定閾值，如果大于閾值，則選擇該特征，否則，去除該特征。

2.1.2 基于樹(shù)模型的特征選擇法

基于樹(shù)模型的特征選擇法，主要以基尼不純度的變化量作為特征選擇依據(jù)?；嶂笖?shù)是一種對(duì)數(shù)據(jù)不純度度量的方法，即

(2)

式(2)中：D為數(shù)據(jù)集；t為特征總數(shù)；pi表示類別為i的樣本占總數(shù)的概率?；岵患兌鹊脑隽抗綖?/p>

ΔGini(A)=Gini(D)-Gini(D-A)

(3)

式(3)中：Gini(D-A)為數(shù)據(jù)集D確定特征A以后的基尼不純度；ΔGini(A)為加入特征A以后的基尼不純度的減少量，該值越大表明特征A與標(biāo)簽的相關(guān)性越大，可以通過(guò)ΔGini(A)對(duì)特征的重要性進(jìn)行排序，設(shè)定閾值。當(dāng)ΔGini(A)大于閾值時(shí)選擇該特征；否則，刪除該特征。

2.2 特征選取維度的確定

使用卡方檢測(cè)特征選取計(jì)算出58維特征的卡方值，以此對(duì)特征重要程度排序，計(jì)算出58維特征卡方值的平均值為475.6，以475.6作為閾值，當(dāng)卡方值大于475.6時(shí)，選擇該特征，否則，刪除該特征，共篩選出19維的特征，繪制卡方值的折線圖如圖1所示。

同樣，使用基于樹(shù)模型的特征選取方法計(jì)算出58維特征的ΔGini，以此對(duì)特征的重要程度進(jìn)行排序，計(jì)算出ΔGini的平均值為0.016 5，以0.016 5作為閾值，選擇ΔGini>0.016 5的特征，共篩選出了19維特征，繪制ΔGini的折線圖如圖2所示。

不難發(fā)現(xiàn)，兩種特征選取方法以平均值為閾值選擇出的特征維度都是19，最后確定了從58維的數(shù)據(jù)集中選擇出較最重要的19維特征。

圖1 卡方檢測(cè)卡方值折線圖Fig.1 Chi square detection chi square value line char

圖2 基于樹(shù)模型的特征選擇平均不純度減少折線圖Fig.2 Feature selection based on tree model average impure reduction line graph

3 模型的選擇

不同的模型具有一定的適用性，選擇一個(gè)適合分類模型對(duì)注塑成型加工制品尺寸合格性的判定非常重要。通過(guò)查閱文獻(xiàn)，初步篩選以下7種常用于工業(yè)數(shù)據(jù)分類的模型。

(1)K近鄰(Kneighbors classifier，KNN)分類模型[6]:KNN能夠直接利用待分類數(shù)據(jù)與訓(xùn)練樣本之間的關(guān)系，最大限度減少由于數(shù)據(jù)特征的不恰當(dāng)而造成的誤差,實(shí)現(xiàn)簡(jiǎn)單，但是精度較低。

(2)邏輯回歸(logistic regression，LR)分類模型[7]:LR是利用sigmoid函數(shù)進(jìn)行二分類的分類模型，LR模型高效，但是當(dāng)有缺失值時(shí)表現(xiàn)較差。

(3)貝葉斯(Naive Bayes，NB)分類模型[8]:NB以貝葉斯理論為依據(jù)，將事件的先驗(yàn)概率和后驗(yàn)概率聯(lián)系了起來(lái)，通過(guò)貝葉斯公式進(jìn)行分類，在分布獨(dú)立假設(shè)成立的條件下，NB模型的分類效果較好。

(4)決策樹(shù)(classification and regression tree，CART)分類模型[9]:CART是一種類似流程圖的樹(shù)結(jié)構(gòu)，其中每個(gè)內(nèi)部節(jié)點(diǎn)表示一個(gè)屬性上的判斷，每個(gè)分支代表一個(gè)判斷結(jié)果的輸出，而每一個(gè)葉節(jié)點(diǎn)代表一種分類結(jié)果，CART樹(shù)模型速度快、準(zhǔn)確度高，但是容易發(fā)生過(guò)擬合。

(5)隨機(jī)森林(random forest，RF)分類模型[10]:RF是一種集成學(xué)習(xí)模型，通過(guò)對(duì)多棵決策樹(shù)模型的累加實(shí)現(xiàn)，統(tǒng)計(jì)每個(gè)基學(xué)習(xí)器分類結(jié)果，通過(guò)投票來(lái)決定終分類結(jié)果，集成模型的精度要比單個(gè)模型的精度高，但是容易受噪聲影響。

(6)支持向量機(jī)(support vector machine，SVM)分類模型[11]:SVM通過(guò)尋找一個(gè)最優(yōu)超平面對(duì)樣本進(jìn)行分割，使得超平面兩邊的類別間隔最大,SVM不適合海量數(shù)據(jù)的處理。

(7)神經(jīng)網(wǎng)絡(luò)MLP(multi-layer perceptron)分類模型[12]：MLP是最簡(jiǎn)單最原始的神經(jīng)網(wǎng)絡(luò)，主要包括輸入層、隱藏層、輸出層，而且MLP神經(jīng)網(wǎng)絡(luò)不同層之間是全連接的，MLP具有良好的容錯(cuò)性，但是學(xué)習(xí)速度慢。

以上7種分類模型各有優(yōu)劣，基于訓(xùn)練集數(shù)據(jù)采用5折交叉驗(yàn)證的方法對(duì)分類模型進(jìn)行初步的篩選。5折交叉驗(yàn)證主要是將初始的訓(xùn)練集分割成5個(gè)子樣本，一個(gè)子樣本作為驗(yàn)證模型的數(shù)據(jù)，其他4個(gè)樣本用來(lái)訓(xùn)練模型。交叉驗(yàn)證重復(fù)5次，平均5次的結(jié)果，得到不同模型的驗(yàn)證分?jǐn)?shù)來(lái)對(duì)模型進(jìn)行初步的篩選，得到的分?jǐn)?shù)越高，說(shuō)明模型的分類性能越好。得到的7個(gè)分類模型的分?jǐn)?shù)如表1所示。計(jì)算7個(gè)分?jǐn)?shù)的平均值為0.951，選擇0.951以上KNN、SVM、LR、NB、RF等5種分類模型。

表1 5折交叉驗(yàn)證分?jǐn)?shù)表

4 結(jié)果與分析

4.1 結(jié)果對(duì)比分析

為了評(píng)估不同分類模型的表現(xiàn)，采用混淆矩陣的相關(guān)統(tǒng)計(jì)指標(biāo)和性能曲線來(lái)比較不同模型的分類性能，其中使用到的指標(biāo)[13-14]如下所示。

(1)TP(true positive)：合格品被分類為合格品為真正類。

(2)FP(false positive)：不合格品被分類為合格品，為假正類，即為漏判。

(3)FN(false negative)：合格品被分類為不合格品，為假負(fù)類，即為誤判。

(4)TN(true negative)：不合格品被分類為不合格品，為真負(fù)類。

相比而言，比率指標(biāo)更容易直觀地觀察出結(jié)果的差異，基于以上4個(gè)指標(biāo)，可以進(jìn)一步得到如下2個(gè)比率指標(biāo)。

(1)TPR(true positive rate):合格品被分類為合格品的樣本占所有合格品的比率，即

(4)

(2)FPR(false negative rate)：不合格品被分類為合格品的樣本占所有不合格品的比率，即

(5)

基于測(cè)試集數(shù)據(jù)使用ROC(receiver operating characteristic)曲線和AUC(area under curve)對(duì)各個(gè)分類器的性能進(jìn)行評(píng)估[15]，其中ROC曲線以FPR為橫坐標(biāo)，以TPR為縱坐標(biāo)，當(dāng)曲線越接近(0,1)點(diǎn)時(shí)錯(cuò)判的概率就越小，分類模型的準(zhǔn)確性越高。AUC表示ROC曲線下的面積，AUC越接近1分類器泛化性能越好。

使用卡方檢測(cè)特征選擇法、基于樹(shù)模型的特征選擇法，可以得到不同的特征組合方式。對(duì)比5個(gè)分類模型與這兩個(gè)特征選取方法結(jié)合后的ROC曲線和AUC，與卡方檢測(cè)特征選取結(jié)合的分類模型的ROC曲線如圖3所示，與基于樹(shù)模型的特征選取法結(jié)合的分類模型的ROC曲線如圖4所示，兩個(gè)特征選取方法下各個(gè)分類模型的AUC如表2所示。

對(duì)比圖3、圖4中的ROC曲線可以發(fā)現(xiàn)，兩個(gè)特征選取方法下，LR算法的ROC曲線非常明顯得更加靠近(0,1)點(diǎn)，再對(duì)比卡方檢測(cè)特征選取和基于樹(shù)模型的特征選取下各個(gè)模型的AUC的值，LR算法的AUC都是最高的，卡方檢測(cè)下AUC=0.93,基于樹(shù)模型的特征選擇方法下AUC=0.94，因此LR算法更加適合注塑加工制品尺寸合格性的分類。

圖3 與卡方檢測(cè)特征選取法結(jié)合的分類模型ROC曲線Fig.3 ROC curve of classification model combined with Chi square detection feature selection method

圖4 與基于樹(shù)模型的特征選取法結(jié)合的分類模型ROC曲線Fig.4 ROC curve of classification model combined with feature selection method based on tree model

表2 AUC值

通過(guò)對(duì)表2中兩個(gè)特征選擇方法下5個(gè)分類模型的AUC進(jìn)行對(duì)比可以發(fā)現(xiàn)，基于樹(shù)模型的特征選取方法普遍要比卡方檢測(cè)特征選擇方法要高一些，說(shuō)明基于樹(shù)模型的特征選擇方法更加適合注塑加工制品尺寸合格性的分類。

綜合以上分析，最終確定以基于樹(shù)模型的特征選擇方法和LR算法組合的分類模型對(duì)注塑成型加工制品尺寸的合格性進(jìn)行分類，得到測(cè)試集的分類結(jié)果數(shù)據(jù)如表3所示。

表3 分類結(jié)果數(shù)據(jù)

4.2 影響尺寸的變量重要性對(duì)比

使用基于樹(shù)模型的特征選擇方法對(duì)清洗后的數(shù)據(jù)進(jìn)行特征變量篩選，保留了特征變量的原有屬性。對(duì)選擇出的特征進(jìn)行重要性排序，便可看出哪些注塑成型過(guò)程變量對(duì)制品尺寸合格/不合格分類準(zhǔn)確性的影響更大。圖5為19個(gè)特征變量及其重要度排序。

從圖5中可以看出，噴嘴頭的射出壓力、模溫機(jī)的溫度等對(duì)注塑制品尺寸穩(wěn)定性的影響比較顯著，因此當(dāng)注塑制品的尺寸出現(xiàn)不合格的情況時(shí)，可根據(jù)本文給出的排序依次對(duì)影響較大的特征參數(shù)進(jìn)行檢查和調(diào)整。

圖5 基于樹(shù)模型的特征選取選出的19個(gè)重要特征Fig.5 19 important features selected by feature selection based on tree model

5 結(jié)論

基于富士康工業(yè)互聯(lián)網(wǎng)有限公司提供的第四屆工業(yè)大數(shù)據(jù)競(jìng)賽注塑成型數(shù)據(jù)集進(jìn)行了數(shù)據(jù)清洗、特征選取和標(biāo)簽重構(gòu)，將數(shù)據(jù)集切分為訓(xùn)練集和測(cè)試集?；谟?xùn)練集使用5折交叉驗(yàn)證對(duì)常用于工業(yè)的7種分類模型進(jìn)行了篩選，選出了KNN、SVM、LR、NB、RF等5種分類模型，分別結(jié)合卡方檢驗(yàn)和基于樹(shù)模型的特征選擇方法，對(duì)比分析了5個(gè)分類模型在測(cè)試集下與兩個(gè)特征選擇方法結(jié)合的ROC曲線和AUC，最后選擇了ROC曲線最接近(0,1)、AUC最高的基于樹(shù)模型特征選擇方法與LR分類算法組合的分類模型，分類的準(zhǔn)確率可達(dá)96.42%。同時(shí)，對(duì)特征變量重要性進(jìn)行分析，識(shí)別出了對(duì)注塑制品尺寸影響較大的特征變量，對(duì)生產(chǎn)過(guò)程中產(chǎn)品質(zhì)量的調(diào)控具有一定的指導(dǎo)意義。由于本文使用的數(shù)據(jù)集來(lái)源于競(jìng)賽網(wǎng)站，研究成果無(wú)法反饋服務(wù)生產(chǎn)制造環(huán)節(jié)，略有遺憾，接下來(lái)的研究工作將努力改進(jìn)與提高。