基于NARX動態(tài)神經網絡直拉硅單晶直徑預測模型

徐圣哲,高德東,王 珊,吳昊昊，張西亞，韓永龍，李麗榮

(1.青海大學機械工程學院，西寧 810016；2.陽光能源(青海)有限公司，西寧 810007)

0 引 言

發(fā)展太陽能光伏發(fā)電是實現國家“雙碳”目標、優(yōu)化能源結構和提高能源占有量的強有力措施。硅由于具有儲量大、化學性質不活潑、電化學和熱穩(wěn)定性好等優(yōu)點被廣泛應用于光伏發(fā)電領域[1]。在直拉法硅單晶直徑控制中，比例積分微分(proportion integration differentiation, PID)控制對于非線性、大滯后和不確定性等問題的控制效果不佳[2-3]。因此，許多學者提出在直拉硅單晶生長過程控制中應用基于模型的控制方法[4]。

在機理建模方面，Winkler等[5]采用集總參數法，建立了適合于控制的晶體直徑和晶體生長速度模型、固體-液體界面熱關系模型和彎月面質量計算模型。Rahmanpour等[6]建立了非線性的狀態(tài)空間模型并對晶體的實際直徑和彎月面高度進行了分析。Derby等[7]提出了一種在時變空間域上進行偏導的晶體傳熱模型。張妮等[8]建立了一種二維軸對稱浸入邊界熱格子Boltzmann模型來研究晶體生長中的相變問題。Chen等[9]在橫向磁場下建立了硅熔體流動、熱場分布、氧含量濃度三維模型。張晶等[10]基于拋物型偏微分方程對時變空間域的對流擴散過程建立了溫度模型來研究等徑階段晶體直徑波動。在數據驅動建模中，等徑階段晶體直徑控制分為單特征參數和多特征參數兩方面。在單特征參數方面，王春陽[11]在粒子群優(yōu)化算法的基礎上建立了加熱器功率-晶體直徑支持向量回歸模型，并根據預測模型設計無模型自適應預測控制算法。王可[12]運用多模型策略和分段線性法，建立“加熱-升溫”模型，并設計模型控制器對單晶爐晶體生長過程中的各主要過程進行了分段和模擬。李欣鴿[13]基于帶外源輸入的非線性自回歸(nonlinear autoregressive with exogeneous inputs, NARX)神經網絡建立等徑階段加熱器溫度-晶體直徑非線性模型并設計預測控制算法。上述基于數據驅動的模型控制方法的研究中均采用單一的特征參數即加熱器-晶體直徑，未考慮其他特征參數的影響。在多特征參數方面，劉聰聰等[14]建立了基于混合變量加權堆棧自編碼隨機森林的軟測量模型并利用灰狼優(yōu)化算法對其進行優(yōu)化，實現了晶體直徑控制及V/G值的實時在線監(jiān)控，其研究主要目的為控制硅單晶缺陷。高德東等[15]建立了基于數據驅動的BP神經網絡晶體直徑預測模型，并采用遺傳算法對其進行優(yōu)化。上述研究未從機理方面考慮，未探究特征參數對等徑階段晶體直徑的時延影響。

由于直拉法硅單晶生長過程中存在多種機理假設，多場耦合下邊界條件不明確和化學變化交錯且相互影響等問題，導致機理建模困難[16]?；跀祿寗拥哪Ｐ涂刂品椒ú捎脝我坏奶卣鲄祷蛭纯紤]特征參數對等徑階段晶體直徑的時延影響。NARX動態(tài)神經網絡是一種具有記憶功能、結構簡單和使用范圍廣的神經網絡，在處理時間序列的建模和預測等各種非線性問題上效果良好[17-20]。因此，本文提出一種多輸入單輸出的NARX動態(tài)神經網絡的等徑階段晶體直徑預測模型，為晶體直徑的控制提供了一種更準確的辨識模型，同時為實現晶體高質量、大尺寸生長控制提供了一種有效的手段。

1 晶體直徑預測模型的工作流程

基于神經元的晶體直徑預測模型如圖1所示，具體分為數據準備、神經網絡訓練和神經網絡計算三部分。在數據準備部分，對單晶爐拉晶車間晶體直徑生長數據中的關鍵特征參數通過最大信息系數(maximal information coefficient, MIC)算法進行分析，確定對等徑階段影響最大的特征參數，并將選取的數據分為訓練數據和驗證數據兩部分，分別用于神經網絡訓練和神經網絡的可靠性驗證。在神經網絡訓練部分，首先構建合適的神經網絡拓撲結構，并對其進行初始化。然后，導入訓練數據進行神經網絡訓練，通過訓練調整神經網絡各層間的權值，得到精度滿足要求的神經網絡，并通過驗證數據對神經網絡進行驗證。最后將得到的神經網絡用于后續(xù)計算。

圖1 基于神經元的晶體直徑預測模型Fig.1 Crystal diameter prediction model based on neuron

2 特征參數識別與處理

2.1 基于 MIC 的參數相關性分析

直拉硅單晶等徑階段特征參數與晶體直徑的相關性分析屬于特征降維，應采用過濾式特征選擇的方法。該方法中的MIC是基于互信息理論提出的一種特征選擇算法，具有普適性和均衡性的特點，能夠有效度量兩變量的線性或非線性關系，以及不同類型數據間的相關性[21-22]。因此，本文通過MIC分析特征參數與晶體直徑的相關性。兩隨機變量的 MIC 表達式為：

(1)

式中：Ω(nx,ny)表示大小為nx×ny的二維網格集合；B(n)=nα為最大網格數，n為數據樣本個數，α為常數，α∈(0,1)，其具體取值可根據經驗或數據規(guī)格設置。

MIC算法的核心思想是在兩個變量散點圖的基礎上，將散點圖上的觀測點利用劃分網格柵G的方法分割成nx×ny

加熱功耗和主泵功耗二者散點圖如圖2所示，圖2(a)為加熱功耗-晶體直徑散點圖，圖2(b)為主泵功耗-晶體直徑散點圖，二者散點圖基本相同，計算加熱功耗和主泵功耗的MIC為0.998 8，二者具有極強的線性關系，可認為加熱功耗和主泵功耗相互冗余。去除冗余參數主泵功耗和拉晶過程數值恒定的特征參數晶轉速度和紅外液溫，對剩余16個特征參數按照MIC值從高到低排列，按照順序逐漸增加模型輸入特征參數數量并試算，結果如圖3所示。隨著模型輸入特征參數數量的增加，模型運算速度降低。當模型輸入特征參數數量小于7時，隨著數量的增加預測值與測試值之間的均方根誤差(root-mean-square error, RMSE) 逐漸減小；當模型輸入特征參數數量大于7時，隨著數量的增加預測值與測試值之間的RMSE逐漸增大；當模型輸入特征參數數量為7時，預測值與測試值之間的RMSE最小?？紤]模型訓練速度和精度，選取與晶體直徑相關性較高的7個特征參數(加熱功耗、球閥開度、主室爐壓、副室爐壓、主加熱功率、整棒拉速、爐壁測溫)作為模型輸入。優(yōu)化調節(jié)這7個特征參數將最大程度調節(jié)直拉硅單晶等徑階段晶體直徑。

圖2 MIC散點圖。(a)加熱功耗-晶體直徑散點圖；(b)主泵功耗-晶體直徑散點圖Fig.2 MIC scatter plots. (a) Heating power consumption-crystal diameter scatter plot; (b) main pump power consumption-crystal diameter scatter plot

圖3 不同數量模型輸入和均方根誤差的關系Fig.3 Relationship between different number of model inputs and root mean square error

2.2 數據標準化

在多指標評價體系中，由于各種評價指標的尺度和尺度單位都不盡相同，在不同指標之間存在巨大差異，若不對數據進行標準化(歸一化)處理，指標的數值高低將會影響分析結果，導致后續(xù)訓練精度不佳。因此，為了消除指標之間的量綱影響，提高數據可靠性和訓練精度，在使用數據前對其進行標準化處理。將所選用7個模型輸入特征參數和1個模型輸出特征參數進行min-max標準化(min-max normalization)處理，對原始數據的線性變換使結果值映射到[0，1]。轉換函數如下：

(2)

式中：xmax為樣本數據的最大值；xmin為樣本數據的最小值；x*為數據標準化后參數。本文采用標準化之后的特征參數組成的7元組Xi(i=1，2，3，…，6，7)作為模型輸入，晶體直徑Y作為模型輸出，如表2所示。

表2 模型輸入輸出特征參數Table 2 Inputs and outputs characteristic parameters of model

3 晶體直徑預測模型建立

NARX模型是基于線性ARX模型發(fā)展而來，常用于時間序列建模。NARX 動態(tài)神經網絡由輸入層、隱含層和輸出層三部分組成，其結構如圖4所示。

圖4 NARX動態(tài)神經網絡結構模型Fig.4 Structure model of NARX dynamic neural network

NARX動態(tài)神經網絡的輸入分為外部輸入和反饋輸入兩部分，兩部分均含有時間延遲結構。這表明NARX動態(tài)神經網絡的輸出不僅由當前的外部輸入所決定，還受外部輸入時間延遲和反饋輸出時間延遲的影響。該結構能夠提高神經網絡的學習性能和對歷史數據的敏感度，可以更好地捕捉到系統(tǒng)的動態(tài)特性。NARX模型的定義方程是：

y(t)=f[u(t-1),u(t-2),…,u(t-nu),y(t-1),
y(t-2),…,y(t-ny)]+e(t)

(3)

(4)

(5)

式中：u(t)表示為在t時刻的輸入時序數據；y(t)表示為在t時刻的輸出時序數據；nu表示輸入的時延階數；ny表示輸出的時延階數；e(t)表示模型誤差；Hk(t)表示第k個隱含層神經元輸出層的輸出；ωik表示連接第i個外生輸入和第k個隱含層的神經元；ωjk表示第j個反饋輸入和第k個隱含層神經元；ωok表示隱含層和輸出層的權值；bk、bo表示偏置；f(·)表示非線性激活函數；g(·)為線性激活函數。

神經網絡中的隱含層不直接同輸入輸出連接，它通過處理輸入數據的特征來更好地進行數據處理和劃分，因此隱含層數很大程度影響神經網絡對數據的處理能力。隱含層數為1層時，神經網絡可以逼近任意連續(xù)函數。綜合考慮模型精度及復雜程度，選取隱含層數為1。隱含層中神經元數也稱為節(jié)點數，通常由經驗法或反復實驗法選取，如神經元數目過少會無法匹配數據全部特征，出現欠擬合的情況，影響訓練精度。如神經元數目過多，訓練過程將會增加，甚至會出現過擬合的情況，同樣影響訓練精度。通過試算，當隱含層中神經元數為10時，預測值與測試值之間的RSME最小。因此，隱含層神經元數為10。加熱功耗與晶體直徑的MIC為0.529 4，對直拉硅單晶等徑階段直徑影響最大。由硅晶體生長理論可知，實際拉晶生產中加熱功耗對晶體直徑影響很慢，經驗滯后時間約為8 min[13]。根據模型時延參數計算：

(6)

在晶體直徑測量數據中采樣時間Δt=60 s，經驗滯后時間t=8 min，計算晶體直徑時延參數d=8。因此，輸入時延階數和輸出時延階數均取8。

NARX動態(tài)神經網絡的訓練方法會極大地影響到它的預測性能，常見的訓練算法指標對比如表3所示。Bayesian Regularization算法需要更大的內存和更多的收斂時間，但對于困難或嘈雜等特殊的數據集，具有良好的泛化效果。Scaled Conjugate Gradient算法需要較少的內存，適用于求解線性方程組和無約束優(yōu)化問題。LM(Levenberg-Marquardt)算法需要內存較多，收斂時間較短，該算法將最速下降法與高斯-牛頓法相結合，根據離最優(yōu)解的距離選用不同的算法，既可以克服最速下降法離最優(yōu)解的距離較近時收斂速度慢的問題，又可以克服 Hessian矩陣無法迭代不滿秩的問題?？紤]收斂速度和訓練精度，本文選取LM算法作為訓練算法。綜上所述，NARX動態(tài)神經網絡的模型參數為隱含層數為1，隱含層神經元數為10，輸入時延階數和輸出時延階數為8，訓練算法為LM算法。

表3 常見的訓練算法指標Table 3 Common training algorithm indicators

4 晶體直徑預測

4.1 NARX動態(tài)神經網絡晶體直徑預測

采用來源于拉晶車間提供的三臺單晶爐等徑階段8輪生產數據，將預處理后的完整數據80%劃分為訓練集(train set)、10%劃分為驗證集(validation set)、10%劃為測試集(test set)，用于模型的訓練、篩選和評估。訓練后NARX動態(tài)神經網絡測試集的誤差直方圖如圖5所示，圖5中橫坐標誤差為標準化后晶體直徑相對誤差，其誤差值為標準化后晶體直徑真實值與預測值差值 (Post-standardization error=Post-standardization target-Post-standardization prediction)，縱坐標為測試集的數量。圖5(a)所示的No.1單晶爐測試集誤差分布集中在0誤差線附近，處于-0.03～-0.01之間的誤差的數量最多。隨著距離0誤差線距離增大，存在誤差的數量逐漸減小，所有誤差處于-0.10～0.07之間。圖5(b)所示的No.2單晶爐測試集誤差分布集中在0誤差線附近，處于0～0.01之間的誤差的數量最多，較其他區(qū)間誤差數量比較突出。隨著距離0誤差線距離增大，存在誤差的數量逐漸減小，所有誤差處于-0.05～0.06之間。圖5(c)所示的No.3單晶爐測試集誤差大部分集中于-0.03～0.04之間。隨著距離0誤差線距離增大，存在誤差的數量逐漸減小，所有誤差處于-0.08～0.07之間。由圖5所知，三臺單晶爐誤差數值和誤差分布均較為理想，滿足預測要求。

圖5 NARX動態(tài)神經網絡誤差直方圖。(a)No.1單晶爐；(b)No.2單晶爐；(c)No.3單晶爐Fig.5 Error histogram of NARX dynamic neural network. (a) No.1 single crystal furnace; (b) No.2 single crystal furnace; (c) No.3 single crystal furnace

通過縮小訓練數據可驗證NARX動態(tài)神經網絡的有效性[23]。針對No.3單晶爐，縮小訓練數據，采用5輪單晶爐等徑階段生產數據，其余NARX動態(tài)神經網絡模型設定不變，訓練結果如圖6所示。5輪數據的No.3單晶爐測試集誤差大部分集中于-0.04～0.04，有相當一部分數據誤差處于-0.14～-0.05，其所有誤差處于-0.14～0.07，同圖5(c)相比預測誤差明顯增大。在縮小訓練數據的情況下，可以獲得較好的直徑預測結果，驗證了NARX動態(tài)神經網絡的有效性。然而，隨著訓練數據的減少，預測誤差逐漸增大。

圖6 No.3單晶爐誤差直方圖(5輪)Fig.6 Error histogram of No.3 single crystal furnace (5 rounds)

4.2 NARX動態(tài)神經網絡優(yōu)越性驗證

BP神經網絡，也稱為反向傳播神經網絡，是一種靜態(tài)前饋神經網絡，具有結構簡單，應用廣泛，非線性映射能力強與泛化能力強等優(yōu)點[24]。在實際生產中，每臺單晶爐因組裝和生產工藝優(yōu)化調整等原因存在差異，在生產前需對每臺單晶爐參數進行調整，導致加熱特性不同。因此，采用上述相同數據集，基于BP神經網絡建立等徑階段晶體直徑預測模型，并對No.1、No.2、No.3單晶爐分別進行訓練。將NARX動態(tài)神經網絡和BP神經網絡預測結果進行對比分析，兩種神經網絡預測值與真實值對比圖如圖7所示，預測結果如表4所示。

圖7 預測值與真實值對比圖。(a)No.1單晶爐；(b)No.2單晶爐；(c)No.3單晶爐Fig.7 Comparison of predicted and real values. (a) No.1 single crystal furnace; (b) No.2 single crystal furnace; (c) No.3 single crystal furnace

表4 兩種神經網絡預測模型性能Table 4 Performance of two neural network prediction models

圖7(a)所示的No.1單晶爐中NARX動態(tài)神經網絡可以較精確地預測等徑階段晶體直徑，其預測均方誤差MSE 為0.000 797 72，相關系數R為96.744%。BP神經網絡預測直徑波動范圍小，不能實時反映晶體直徑的無規(guī)則變化，只能大致反映晶體直徑變化趨勢，其預測均方誤差MSE為0.006 498，相關系數R為75.428%，可見在No.1單晶爐中，NARX動態(tài)神經網絡的預測精度明顯優(yōu)于BP神經網絡。圖7(b)所示的No.2單晶爐中，NARX動態(tài)神經網絡可以較精確地預測等徑階段晶體直徑，其預測均方誤差MSE為0.000 948 81，相關系數R為98.907%。BP神經網絡預測直徑波動范圍小，同直徑真實值差距較大，預測值變化趨勢明顯滯后于真實值，其預測均方誤差MSE 為0.004 389，相關系數R為89.129%，可見在No.2單晶爐中，NARX動態(tài)神經網絡的預測精度明顯優(yōu)于BP神經網絡。圖7(c)所示的No.3單晶爐中NARX動態(tài)神經網絡可以精確地預測等徑階段晶體直徑，其預測均方誤差MSE 為0.000 575 47，相關系數R為99.594%。BP神經網絡在前期直徑波動較小時預測誤差較小，當晶體直徑波動較大時，預測值明顯偏離于真實值，誤差較大，其預測均方誤差MSE 為0.006 487 9，相關系數R為96.254%，可見在No.3單晶爐中，NARX動態(tài)神經網絡的預測精度明顯優(yōu)于BP神經網絡。

在3臺單晶爐中，BP神經網絡的均方誤差MSE平均值為0.005 792，相關系數R平均值為86.937%， NARX動態(tài)神經網絡均方誤差MSE平均值為0.000 774，相關系數R平均值為98.415%。以平均均方誤差MSE作為評估標準，NARX動態(tài)神經網絡較BP神經網絡預測精度提高了86.64%。以平均相關系數R作為評估標準，NARX動態(tài)神經網絡較BP神經網絡預測精度提高了13.20%。

根據No.1、2、3三臺單晶爐的拉晶車間生產數據，基于NARX動態(tài)神經網絡建立等徑階段晶體直徑預測模型，其預測晶體直徑誤差數值和誤差分布均較為理想。當縮小訓練數據的情況下，該模型仍獲得較好的直徑預測結果。將建立的NARX動態(tài)神經網絡同BP神經網絡進行對比，三臺單晶爐的NARX動態(tài)神經網絡預測精度均明顯優(yōu)于BP神經網絡。上述結果表明， NARX動態(tài)神經網絡為晶體直徑的控制提供了一種更準確的辨識模型。

5 結 論

本文針對直拉法在制備硅單晶的過程中存在多種機理假設、多場耦合下邊界條件不明確和化學變化交錯且相互影響等問題，探究了與晶體直徑的相關的特征參數，建立了一種多輸入單輸出的NARX動態(tài)神經網絡等徑階段晶體直徑預測模型，并分析驗證了該模型預測效果，結論如下：

(1)通過MIC算法分析特征參數與晶體直徑的相關性，得到加熱功耗、球閥開度、主室爐壓、副室爐壓、主加熱功率、整棒拉速以及爐壁測溫7個與晶體直徑的相關性最高的特征參數。

(2)所建立NARX 動態(tài)神經網絡等徑階段晶體直徑預測模型對晶體直徑預測的均方誤差MSE平均值為0. 000 774。

(3)通過NARX動態(tài)神經網絡和BP神經網絡進行對比分析，在以平均均方誤差MSE作為評估標準下，所用神經網絡較BP神經網絡預測精度提高了86.64%，驗證了NARX動態(tài)神經網絡的優(yōu)越性。