特征融合的卷積神經(jīng)網(wǎng)絡(luò)材料性質(zhì)預(yù)測模型

摘 要：針對目前大多數(shù)機(jī)器學(xué)習(xí)模型預(yù)測材料性質(zhì)時需要大量的先驗(yàn)知識以及特征向量篩選困難的問題，基于電子軌道矩陣和元素周期表法兩種描述符，通過特征融合的方式，設(shè)計了一種卷積神經(jīng)網(wǎng)絡(luò)模型OPCNN（Orbital of electron and Periodic table CNN）。實(shí)驗(yàn)數(shù)據(jù)表明，OPCNN與其他預(yù)測模型相比，在帶隙、生成熱以及形成能數(shù)據(jù)集上都有著更好的性能，平均絕對誤差分別為0.26eV、0.037KJ/mol和0.073eV/atom，且R2都達(dá)到了91%以上。OPCNN在保證了預(yù)測準(zhǔn)確性的同時對先驗(yàn)知識的要求更低，只需要元素周期表中的信息即可預(yù)測材料性質(zhì)，特征融合的思想可以讓特征設(shè)計更加靈活，有利于新材料體系快速和準(zhǔn)確的預(yù)測。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；描述符；預(yù)測；元素周期表；電子軌道

DOI：10.15938/j.jhust.2024.03.014

中圖分類號： TP399

文獻(xiàn)標(biāo)志碼： A

文章編號： 1007-2683（2024）03-0116-09

Prediction Model of Material Properties Based on

Feature Fusion and Convolutional Neural Network

SHI Jingchen， LIU Feining， WANG Wenjie， ZHAO Rui

（College of Mathematics and Computer， Jilin Normal University， Siping 136000， China）

Abstract：Aiming at the problem that most machine learning models need a lot of prior knowledge and manual selection of feature vectors in the prediction of material properties， a convolutional neural network model OPCNN （Orbital of Electron and Periodic table CNN） is established by feature fusion based on two descriptors， electronic orbit matrix and periodic table method. The experimental data show that compared with other prediction models， OPCNN has better performance on the bandgap， heat of formation and formation energy datasets， with the mean absolute error of 0.26eV， 0.037KJ/mol and 0.073eV/atom， respectively， and the R2 is more than 91%. OPCNN has lower requirements for prior knowledge while ensuring the accuracy of prediction. It only needs the information in the periodic table to predict the material properties. The idea of feature fusion can make feature design more flexible， which is conducive to the rapid and accurate prediction of new material systems.

Keywords：neural networks; descriptor; prediction; periodic table of elements; electron orbital

0 引 言

隨著人工智能的發(fā)展，機(jī)器學(xué)習(xí)（ML）成為實(shí)驗(yàn)、理論和建模的重要工具［1-4］，并在材料科學(xué)領(lǐng)域內(nèi)得到了廣泛的應(yīng)用，如帶隙預(yù)測［5-6］、形成能預(yù)測［7-8］、材料表面性質(zhì)預(yù)測［9-10］、微觀結(jié)構(gòu)識別［11-12］等。其中，描述符的設(shè)計是ML模型設(shè)計和訓(xùn)練的關(guān)鍵問題，針對不同的需求，會有著不同的描述符設(shè)計。通常情況下，將材料的結(jié)構(gòu)和屬性映射到特定長度的向量上，在有了一組合適的描述符后，傳統(tǒng)的ML算法即使在很小的數(shù)據(jù)集上也能表現(xiàn)的很好。然而，在材料研究的特定工作中，最佳描述符是不容易獲取的，需要通過實(shí)驗(yàn)和試錯來選擇。構(gòu)建合適的描述符需要深入了解內(nèi)在機(jī)理以及大量的先驗(yàn)知識，具有很大的挑戰(zhàn)性。Hwang等［13］提出了“陽離子指紋”（包括元素屬性和電子能帶結(jié)構(gòu)信息的一維描述符）作為全連接神經(jīng)網(wǎng)絡(luò)的輸入，預(yù)測了氧化玻璃材料具有特定粘度所需的溫度。Saidi等［14］以分子的尺寸、鹵化物帶、第一電離能和電子親和能、帶隙、生成能和AX前驅(qū)體的體積，以及ABX3的晶格常數(shù)和八面體角作為卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型的輸入，來預(yù)測ABX3型的金屬鹵化物鈣鈦礦的帶隙。Li等［15］以Magpie描述符作為輸入，預(yù)測ABX3型鈣鈦礦的形成能。最近還有研究將材料處理為具有原子性質(zhì)編碼的晶體圖［16-18］。盡管方法不同，但它們在預(yù)測晶體或分子的性質(zhì)（如形成能和彈性模量）方面都表現(xiàn)出良好的性能。

然而，手工構(gòu)建的描述符通常難以解釋選擇特征的原因，只是因?yàn)檫@些特征構(gòu)建的數(shù)據(jù)集在參與ML模型訓(xùn)練后能夠獲得比較好的性能。元素周期表中包含了豐富的物理化學(xué)知識，原子半徑、化合價、價電子密度等性質(zhì)在元素周期表中呈周期性變化。為了簡化特征工程的工作，并使它更容易讓人理解，原子表法（atom table represent）［19］、元素周期表法（periodic table represent， PTR）［20-21］被提出。但原子表法僅用到了元素周期表中的原子序數(shù)信息，對周期表中元素性質(zhì)成周期性變化的規(guī)律以及電子軌道信息等特征難以學(xué)習(xí)到。本文提出了一種材料性質(zhì)預(yù)測模型，以應(yīng)用原子表法的ATCNN［19］作為基線模型，基于元素周期表法以及簡化的軌道場矩陣［22］（電子軌道矩陣）構(gòu)建了卷積神經(jīng)網(wǎng)絡(luò)模型（OPCNN），用來預(yù)測材料的帶隙、生成熱、形成能等性質(zhì)。在OPCNN中，不需要其他的先驗(yàn)知識，如原子和物理屬性，可以直接通過CNN強(qiáng)大的特征提取能力來讀取并融合元素周期表和軌道矩陣的信息，然后由模型來分析提取描述符。作為幾乎不需要特征工程的模型，使用元素周期表法的神經(jīng)網(wǎng)絡(luò)模型（簡稱PTR）與ATCNN設(shè)計思想相似，都表現(xiàn)出不錯的材料性質(zhì)預(yù)測能力，并且元素周期表法也是OPCNN模型的一種特征輸入方法，所以這二者被選為了基準(zhǔn)模型進(jìn)行對照研究。測試表明，OPCNN模型融合兩種輸入特征為神經(jīng)網(wǎng)絡(luò)提供了更多的有效信息，并且比基準(zhǔn)模型有著更高的準(zhǔn)確度。

1 描述符與卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

1.1 數(shù)據(jù)來源

帶隙、生成熱和形成能都是材料的基礎(chǔ)性質(zhì)，其中帶隙和形成能的預(yù)測結(jié)果在ATCNN模型上已存在具體數(shù)據(jù)，在此基礎(chǔ)上又增加了生成熱數(shù)據(jù)進(jìn)行驗(yàn)證。

帶隙的樣本集來自于Zeng等［19］提供的實(shí)驗(yàn)數(shù)據(jù)，包含了3896個絕緣體化合物，但其使用的原子表法包含的特征信息較為單一，在準(zhǔn)確度方面仍有提升空間；生成熱的數(shù)據(jù)集源自于OQMD（open quantum materials database）［23］，其中包括一元、二元、三元化合物共9590種樣本；形成能的數(shù)據(jù)來自于文［19］，源數(shù)據(jù)同樣取自O(shè)QMD，包含5886種化合物樣本。本文中所涉及的數(shù)據(jù)集都會隨機(jī)從中取出80%作為訓(xùn)練數(shù)據(jù)，并將剩余的20%作為測試數(shù)據(jù)，其中訓(xùn)練集用來學(xué)習(xí)，給神經(jīng)網(wǎng)絡(luò)模型提供先驗(yàn)知識，而測試集不參與任何的訓(xùn)練。所有數(shù)據(jù)在經(jīng)過歸一化處理后，構(gòu)建以元素周期表和電子軌道矩陣同時作為描述符的數(shù)據(jù)集。

1.2 基于特征融合的描述符設(shè)計

OPCNN模型的描述符采用了特征融合的方法，把電子軌道矩陣描述符和元素周期表描述符同時作為神經(jīng)網(wǎng)絡(luò)模型的輸入。

由于軌道場矩陣［22］需要一定的元素性質(zhì)，而這些性質(zhì)從元素周期表中無法獲取。所以構(gòu)建了基于電子軌道的矩陣，利用化學(xué)元素的外層電子軌道排布表示原子，并以向量的形式進(jìn)行編碼，例如向量D={s1， s2， p1， p2，…， p6， d1， d2，…d10， f1， f2，…， f14}長度為32，對應(yīng)表示原子的每一個軌道。向量中的值初始化為0，然后根據(jù)元素在化合物中所占比例和其對應(yīng)電子排布為向量進(jìn)行賦值。如圖1（a）所示，以PbI2為例，Pb原子和I原子的外層電子層排布分別為6s26p2和5s25p5，Pb原子所對應(yīng)向量的s2， p2的位置（下標(biāo)從0開始），即向量的DPb（1）和DPb（3）被賦值為0.33，I原子所對應(yīng)向量的s2，p5的位置，即向量的DI（1）和DI（6） 被賦值為0.67，在得到化合物中每種元素所對應(yīng)的向量Dk后，電子軌道矩陣的計算如公式（1）所示：

Ok=∑nk-1i=1DTkDi×10（1）

其中：k為所研究的某一化合物；nk為化合物中的元素數(shù)；

DTk為該化合物的化學(xué)式首元素的向量轉(zhuǎn)置；Di為化合物中除首元素外的其他元素向量。同樣以PbI2為例，使用Pb的向量轉(zhuǎn)置與I元素的向量進(jìn)行矩陣相乘后再乘以10（10只是一個數(shù)值放大系數(shù)），得到圖1（b）中的軌道矩陣（圖中空白部分的值為0）。當(dāng)化學(xué)式中含有3個或以上的元素數(shù)（n≥3）時，首元素向量的轉(zhuǎn)置將分別乘以其余元素向量，然后相加。由于我們只專注于從元素周期表中獲得的信息，所以并未考慮其他因素。

元素周期表具有豐富的物理化學(xué)知識，許多物理化學(xué)性質(zhì)在周期表中呈現(xiàn)出周期性變化。根據(jù)元素周期表的排列形式，可以將它映射為9行18列的二維矩陣M，如圖2所示。黃色部分為元素周期表中已存在元素的對應(yīng)位置，白色部分表示此位置在元素周期表中為空白，綠色部分表示待研究的化合物中所有化學(xué)元素對應(yīng)的位置及其賦值。元素周期表特征的建立首先會初始化矩陣M中所有單元為0，然后根據(jù)目標(biāo)化合物中包含的元素來決定矩陣M中填充數(shù)據(jù)的坐標(biāo)（與元素周期表的位置一致），該坐標(biāo)位置依據(jù)元素在化合物中所占的比例來賦值。Feng等［21］將元素周期表法與隨機(jī)打亂的周期表分別作為模型的輸入進(jìn)行了對比實(shí)驗(yàn)，證明了PTR設(shè)計的有效性。本文在此基礎(chǔ)上，又對所有輸入數(shù)據(jù)進(jìn)行了歸一化處理，經(jīng)過對比發(fā)現(xiàn)二者并無明顯差別。以PbI2為例，首先以0初始化矩陣M中所有儲存單元，Pb和I的坐標(biāo)位置分別為M（6，14）和M（5，17），按照化學(xué)式中Pb和I的元素占比，M（6，14）和M（5，17）中分別賦值0.33和0.67，如圖2中的綠色方塊。我們只需要有化學(xué)式以及所要預(yù)測的目標(biāo)性質(zhì)即可建立數(shù)據(jù)集。

1.3 卷積神經(jīng)網(wǎng)絡(luò)OPCNN結(jié)構(gòu)設(shè)計

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)決定了最終的預(yù)測結(jié)果和執(zhí)行效率，本文設(shè)計的模型采用卷積神經(jīng)網(wǎng)絡(luò)，基本結(jié)構(gòu)如圖3所示。由于輸入數(shù)據(jù)包含兩個特征類別，所以網(wǎng)絡(luò)前半部分的卷積由兩個分支組成，分別對應(yīng)元素周期表法和軌道矩陣。元素周期表法的輸入是9×18×1的特征圖，首先對其進(jìn)行0填充操作，得到11×18×1的特征圖，然后進(jìn)行卷積核大小為3×3，步長為1×1的卷積（此次卷積并不進(jìn)行填充操作），池化大小為2×2，步長為1×2，從而保證輸出8×8大小的特征圖。軌道矩陣輸入特征圖為32×32×1，所以在兩次3×3的卷積和步長為2×2的池化后就可以得到大小8×8的特征圖。當(dāng)兩個分支的特征圖大小一致時，在第3個維度進(jìn)行合并操作。之后再進(jìn)行卷積和下采樣后將提取到的特征圖打平，經(jīng)過兩個全連接層得到預(yù)測結(jié)果的輸出。

帶隙和形成能的預(yù)測模型與上述的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)一致，但在生成熱的預(yù)測任務(wù)中，我們有著充分的數(shù)據(jù)，所以在神經(jīng)網(wǎng)絡(luò)中添加了一種新的嵌入模塊SE（squeeze and excitation）［24］（如圖3中虛線紅色部分）來提高網(wǎng)絡(luò)的性能。SE模塊是一種注意力機(jī)制，它會將特征圖池化為與其通道數(shù)一致的一維向量，并在通過簡單的全連接操作后為每一個特征圖的通道增加權(quán)重，并且SE模塊參與神經(jīng)網(wǎng)絡(luò)的梯度下降過程，會隨著網(wǎng)絡(luò)參數(shù)的更新而更新。在數(shù)據(jù)充分且網(wǎng)絡(luò)中某一部分特征圖的通道數(shù)較多時，可以加入SE模塊來為通道附加權(quán)重并以此來提高網(wǎng)絡(luò)性能。

2 OPCNN材料性質(zhì)預(yù)測的結(jié)果分析

2.1 帶隙預(yù)測

帶隙預(yù)測在材料信息學(xué)中是機(jī)器學(xué)習(xí)較為常見的任務(wù)，但過去的方法往往涉及較為復(fù)雜的特征工程，還沒有形成統(tǒng)一且性能較好的特征設(shè)計規(guī)范。本文設(shè)計的預(yù)測模型不涉及任何復(fù)雜的特征工程，只基于元素周期表中的信息即可構(gòu)建數(shù)據(jù)集。我們選擇了包含3896個絕緣體化合物帶隙的數(shù)據(jù)集，但由于數(shù)據(jù)集的樣本數(shù)較少，不同的訓(xùn)練集和測試集的劃分會對結(jié)果產(chǎn)生一定影響。所以進(jìn)行了10次隨機(jī)劃分，同時建立了10個相同的OPCNN模型分別訓(xùn)練，然后對測試集評估并取平均值。首先，如表1所示，采用原子表法的ATCNN由于只有化合物的元素序列信息，對絕緣體的帶隙預(yù)測效果相對來說最差，MAE、RMSE、R2的值分別為0.30eV、0.51eV、0.88，而PTR方法中除了元素序列信息，還有元素的周期性規(guī)律以及完整的元素周期表結(jié)構(gòu)，其表現(xiàn)比ATCNN更好，MAE減小到了0.27eV，RMSE為0.47eV，R2為0.90。OPCNN方法在PTR方法的基礎(chǔ)上又添加了電子軌道信息，其性能得到了進(jìn)一步的提升，其MAE、RMSE、R2分別為0.26eV、0.44eV、0.91。

絕緣體的帶隙預(yù)測在測試集上的預(yù)測結(jié)果和真實(shí)值的誤差如圖4所示。橫軸為實(shí)驗(yàn)得到的真實(shí)帶隙值，縱軸為神經(jīng)網(wǎng)絡(luò)模型的預(yù)測值，數(shù)據(jù)點(diǎn)的分布越接近紅線說明預(yù)測的結(jié)果越為精準(zhǔn)?？梢钥吹紸TCNN與PTR相比，PTR中的散點(diǎn)值更加收斂于紅線，這表明，PTR比ATCNN的預(yù)測值更加接近實(shí)驗(yàn)值。而OPCNN模型不僅收斂的更好，同時在較大帶隙的預(yù)測上也更接近實(shí)驗(yàn)值，這是因?yàn)镺PCNN模型的特征輸入不僅包括了元素周期表中的原子排布信息，更提供了與帶隙直接相關(guān)的價電子軌道信息。帶隙預(yù)測的實(shí)驗(yàn)結(jié)果表明，ATCNN的方法僅以原子序數(shù)信息建立描述符，簡化了神經(jīng)網(wǎng)絡(luò)的輸入，雖然模型復(fù)雜度更小，但帶來了更多的誤差。使用電子軌道矩陣和元素周期表作為輸入的方式只為神經(jīng)網(wǎng)絡(luò)模型增加了較小的計算量，卻帶來了更加準(zhǔn)確的帶隙值預(yù)測。

為了進(jìn)一步證明特征融合的有效性，在絕緣體數(shù)據(jù)集中添加了2458種金屬化合物，構(gòu)建了一個同時擁有絕緣體和金屬化合物的數(shù)據(jù)集，其中絕緣體是有帶隙值的，而金屬帶隙值為0。我們的目標(biāo)是讓OPCNN對其進(jìn)行二分類，即識別出絕緣體和金屬。模型結(jié)構(gòu)只需要將圖3中OPCNN的最后一層輸出改為兩個神經(jīng)元作為最后的輸出，分別對應(yīng)著絕緣體和金屬。利用修改后的OPCNN模型對混合數(shù)據(jù)進(jìn)行學(xué)習(xí)，并與ATCNN的預(yù)測結(jié)果做了對比，分類器將正樣本識別為正樣本的概率為p1，將負(fù)樣本識別為正樣本的概率為p2，AUC就表示了p1>p2的概率。圖5（a）、圖5（b）分別為ATCNN和OPCNN的ROC曲線圖，OPCNN的ROC曲線下的面積（AUC）為0.98，而ATCNN的AUC為0.96，說明OPCNN的分類能力也優(yōu)于ATCNN。圖5（c）、圖5（d）分別為分類結(jié)果的混淆矩陣，深色部分為正確分類的結(jié)果，淺色部分為錯誤分類的結(jié)果?？梢钥闯觯琌PCNN無論是在識別半導(dǎo)體還是金屬方面都比ATCNN更加準(zhǔn)確，且OPCNN將準(zhǔn)確率從ATCNN的90.58%提升到了94.39%。

2.2 生成熱預(yù)測

作為材料性質(zhì)預(yù)測模型，OPCNN也可以應(yīng)用到其他實(shí)驗(yàn)數(shù)據(jù)，如生成熱和形成能，由于生成熱數(shù)據(jù)量比較大，所以我們在OPCNN中添加了基于注意力機(jī)制的SE模塊。在兩種輸入特征經(jīng)過卷積達(dá)到相同尺度后進(jìn)行了在通道維度上的合并，由于融合后的特征在第三維度上有著較大的值，即有很多的通道數(shù)，這正適合使用SE模塊為每一個通道進(jìn)行權(quán)重賦值，使得對最終結(jié)果影響較大的通道有著更大的權(quán)重。測試集的測試結(jié)果如表2所示，OPCNN模型在測試集上的MAE和RMSE分別為0.037kJ/mol和0.057kJ/mol，且R2評分為0.994。從表2可以看出，在MAE和RMSE的評估標(biāo)準(zhǔn)上OPCNN優(yōu)于使用原子表法的ATCNN （MAE和RSMSE分別為0.048kJ/mol和0.074kJ/mol）以及僅使用PTR作為輸入的網(wǎng)絡(luò)模型（MAE和RMSE分別為0.039kJ/mol和0.060kJ/mol）。這三種性能較優(yōu)的模型在R2上差別不大，但MAE能夠更加真實(shí)的反應(yīng)真實(shí)值和預(yù)測值之間的誤差。由于MAE在更新梯度時，無論誤差大小，都是一樣的，所以并不能僅僅依據(jù)MAE來評判模型的好壞。RMSE則可以反應(yīng)真實(shí)值與預(yù)測值之間的差的平方根期望值。這兩種評估標(biāo)準(zhǔn)從另一方面展現(xiàn)出了OPCNN的性能。

OPCNN顯然優(yōu)于其他兩種方法，并且從MAE的減小比例上，OPCNN比ATCNN優(yōu)化了23%。而且可以從測試集的預(yù)測結(jié)果圖中看出三者的明顯差異如圖6所示。使用原子表法的ATCNN有著相對較差的擬合度，而使用PTR的CNN與ATCNN相比，在接近于零的數(shù)據(jù)上擬合度更好。OPCNN則在繼承了元素周期表法的優(yōu)點(diǎn)的同時，元素電子軌道信息的輸入使得所有測試數(shù)據(jù)更加收斂。這表明元素周期表加上電子軌道矩陣的特征融合方法使得OPCNN得到了更多的特征信息，從而產(chǎn)生了更好的學(xué)習(xí)結(jié)果。

2.3 形成能預(yù)測

對于形成能的預(yù)測，OPCNN在測試集中的預(yù)測結(jié)果與實(shí)驗(yàn)值有著很好的一致性。MAE和R2分別為0.073eV/atom和0.99，而DFT計算相對于實(shí)驗(yàn)測量的MAE為0.81～0.136eV/atom［23］，這說明OPCNN已經(jīng)超越了DFT計算的精度。形成能數(shù)據(jù)集的預(yù)測結(jié)果上，OPCNN模型與原子表法的ATCNN（MAE為0.078eV/atom）有著相似的效果，但其性能要遠(yuǎn)遠(yuǎn)優(yōu)于使用相同數(shù)據(jù)集的其他形成能預(yù)測模型ElemNet［25］（MAE約為0.15eV/atom），

這是由于不同的網(wǎng)絡(luò)結(jié)構(gòu)而導(dǎo)致的結(jié)果。ElemNet是全連接網(wǎng)絡(luò)，它將元素之間的關(guān)系看作是等價的，需要大量的數(shù)據(jù)來學(xué)習(xí)元素間的唯一關(guān)系。而ATCNN在加入了卷積層后，產(chǎn)生了更復(fù)雜的映射，在簡化了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的同時，得到了令人滿意的性能上的提升。OPCNN在ATCNN的基礎(chǔ)上改變了網(wǎng)絡(luò)的輸入，提供了更多的信息被網(wǎng)絡(luò)模型學(xué)習(xí)。另外，雖然OPCNN的網(wǎng)絡(luò)參數(shù)比ATCNN要略多一些，但并未產(chǎn)生過擬合現(xiàn)象，這表明盡管在此形成能的數(shù)據(jù)集上OPCNN只帶來了微量的提升，在數(shù)據(jù)集較大的情況下，相信會有著更強(qiáng)的適應(yīng)性和學(xué)習(xí)能力。

3 機(jī)理研究

為進(jìn)一步研究OPCNN模型優(yōu)于ATCNN模型的原因，從測試集中尋找了不同帶隙值區(qū)間（0～5eV）的化合物進(jìn)行對比，如表3所示。兩種模型的預(yù)測值與真實(shí)值都比較接近，但在對具有較大帶隙值化合物進(jìn)行預(yù)測時，OPCNN仍保持了較好的準(zhǔn)確度，這與圖4散點(diǎn)圖對比中得到的信息一致。接下來，基于這5種化合物，對于神經(jīng)網(wǎng)絡(luò)的可解釋性進(jìn)行了研究。

對比ATCNN和OPCNN模型的結(jié)構(gòu)，發(fā)現(xiàn)兩種模型都存在若干卷積層，并且經(jīng)過最后一次卷積層后產(chǎn)生的特征圖在大小和通道數(shù)上較為相似。另外，該特征圖是卷積得到的結(jié)果，并在池化和打平后用于全連接層，其中包含的信息從很大程度上決定了模型預(yù)測的誤差。所以，基于表3中的化合物，對該特征圖進(jìn)行了可視化研究。

如圖7所示，圖中方格代表了特征圖的一個通道（共32個通道），方塊顏色越深其在特征圖中的值越大。總體上看，不同的化合物在ATCNN和OPCNN的特征圖中都得到了體現(xiàn)，并且隨著化合物帶隙值的增大，ATCNN和OPCNN特征圖的表達(dá)在可視化結(jié)果中都存在著更靠近底部的趨勢。但是，相較于ATCNN，在OPCNN的可視化結(jié)果中，藍(lán)色方塊更多，且顏色更深，包含了更多信息，表達(dá)也更加充分。以Ba3In2P4O16 和Na3ClMoO4兩種具有較大帶隙的化合物為例，ATCNN雖然預(yù)測的結(jié)果相差較大，但對于二者的可視化結(jié)果較為相似，甚至深色方塊的位置都近乎一致，而OPCNN對于二者的預(yù)測盡管只相差了0.28eV，但其從可視化結(jié)果中可以看出二者還是存在著很多的不同之處。這里可視化的特征圖可以視為全連接層的描述符，當(dāng)描述符包含的信息越多，對于后續(xù)的預(yù)測工作也會更加有利，這也是設(shè)計OPCNN結(jié)構(gòu)，使其能同時接收兩種輸入特征的原因。

4 結(jié) 論

本文提出了一種適用于材料性質(zhì)預(yù)測的基于神經(jīng)網(wǎng)絡(luò)模型的特征融合方法，并利用此方法構(gòu)建了神經(jīng)網(wǎng)絡(luò)模型OPCNN，在帶隙、生成熱和形成能的預(yù)測上MAE分別為0.26eV、0.037kJ/mol和0.073eV/atom，R2分別為0.91、0.99和0.99。

OPCNN以元素周期表和電子軌道矩陣同時作為輸入特征，在之后的特征融合過程中不僅統(tǒng)一了特征圖的大小，還完成了相應(yīng)的特征提取和數(shù)據(jù)分析任務(wù)。不同數(shù)據(jù)集的實(shí)驗(yàn)對比結(jié)果以及CNN卷積層的可視化研究表明，相較于單一使用原子表或元素周期表作為神經(jīng)網(wǎng)絡(luò)輸入的方式，OPCNN在未提高特征工程復(fù)雜度（僅需要樣本化學(xué)式和標(biāo)簽）的情況下得到了更加具體的元素電子軌道信息，其輸入的特征信息更加豐富，通用性更強(qiáng)，可以進(jìn)行多種屬性和性質(zhì)的預(yù)測，并不只局限于本文中測試的帶隙能、生成熱以及形成能。這意味著在做具體的材料研究時，面對廣闊的材料空間，OPCNN可以作為一個高效的材料篩選工具，為進(jìn)一步的材料計算提供有意義指導(dǎo)，從而縮短新材料的開發(fā)周期。

此外，本文提出的特征融合思想以及神經(jīng)網(wǎng)絡(luò)模型的搭建方式還可以應(yīng)用在其他方面，在未來數(shù)據(jù)充足的工作中，可以利用此思想設(shè)計更多的融合方式，比如前文中提到的一維描述符陽離子指紋或Magpie描述符等，通過設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)來和PTR進(jìn)行融合；或者在微觀圖像識別的任務(wù)中，加入一些元素自身的特性共同作為輸入可能會帶來令人更加滿意的結(jié)果。

參 考 文 獻(xiàn)：

［1］ 孟良， 許同樂， 馬金英， 等. 基于 LMD 形態(tài)濾波的 LS-SVM 方法研究［J］. 哈爾濱理工大學(xué)學(xué)報， 2022， 27（1）： 92.

MENG Liang， XU Tongle， MA Jinying， et al.There Search of LS-SVM Based on LMD Morphology Filter［J］.Journal of Harbin University of Science and Technology， 2022， 27（1）： 92.

［2］ 池明赫， 夏若淳， 羅青林， 等.油紙絕緣典型缺陷局放特性及缺陷類型識別［J］. 電機(jī)與控制學(xué)報， 2022， 26（2）：121.

CHI Minghe， XIA Ruochun， LUO Qinglin， et al. Partial Discharge Characteristics and Defect Type Identification of Typical Defects in Oil-pressboard insulation［J］. Electric Machines and Control， 2022， 26（2）：121.

［3］ 宋昊昕， 尤號田， 劉遙， 等.基于深度學(xué)習(xí)的無人機(jī)多光譜圖像柑橘樹冠分割［J］. 森林工程， 2023， 39（3）：140.

SONG Haoxin， YOU Haotian， LIU Yao， et al. Deep Learning-based Segmentation of Citrus Tree Canopy from UAV Multispectral Images［J］. Forest Engineering， 2023， 39（3）：140.

［4］ 趙京鶴， 修大元， 王金龍， 等. 絕緣紙板典型缺陷局放特征的CNN識別［J］.哈爾濱理工大學(xué)學(xué)報， 2022， 27（5）： 79.

ZHAO Jinghe，XIU Dayuan，WANG Jinlong， et al. PD Recognition for Typical Cardboard Insulation Defect with CNN［J］. Journal of Harbin University of Science and Technology， 2022， 27（5）： 79.

［5］ ZHANG Y， XU W， LIU G， et al. Bandgap Prediction of Two-Dimensional Materials using Machine Learning［J］. Plos One， 2021， 16（8）： e0255637.

［6］ GOK E C， YILDIRIM M O， HARIS M P U， et al. Predicting Perovskite Bandgap and Solar Cell Performance with Machine Learning［J］. Solar RRL， 2022， 6（2）： 2100927.

［7］ FAN Z， SUN Z， WANG A， et al. Machine Learning Regression Model for Predicting the Formation Energy of Nonlinear Optical Crystals［J］. Advanced Theory and Simulations， 2023， 6（3）： 2200883.

［8］ ZHANG J， LIU X， BI S， et al. Robust Data-Driven Approach for Predicting the Configurational Energy of High Entropy Alloys［J］. Materials & Design， 2020， 185： 108247.

［9］ 張家有， 宋萬萬， 白玉珍， 等.基于逐步回歸分析法的表面粗糙度預(yù)測［J］. 金剛石與磨料磨程， 2021， 41（6）：63.

ZHANG Jiayou，SONG Wanwan， BAI Yvzhen， et al. Surface Roughness Prediction Based on Stepwise Regression Analysis［J］. Diamond & Abrasives Engineering， 2021， 41（6）：63.

［10］張昆， 田業(yè)冰， 叢建臣， 等.基于動態(tài)慣性權(quán)重粒子群算法的磨削低能耗加工方法［J］. 金剛石與磨料磨具工程， 2021， 41（1）：71.

ZHANG Kun， Tian Yebing， Cong Jianchen， et al. Reduce Grinding Energy Consumption by Modified Particle Swarm Optimization Base on Dynamic Inertia Weigh［J］. Diamond & Abrasives Engineering， 2021， 41（1）：71.

［11］GUDA A A， GUDA S A， MARTINI A， et al. Understanding X-ray Absorption Spectra by Means of Descriptors and Machine Learning Algorithms［J］. NPJ Computational Materials， 2021， 7（1）： 1.

［12］HORWATH J P， ZAKHAROV D N， MGRET R， et al. Understanding Important Features of Deep Learning Models for Segmentation of High-Resolution Transmission Electron Microscopy Images［J］. NPJ Computational Materials， 2020， 6（1）： 1.

［13］HWANG J， TANAKA Y， ISHINO S， et al. Prediction of Viscosity Behavior in Oxide Glass Materials using Cation Fingerprints with Artificial Neural Networks［J］. Science and Technology of Advanced Materials， 2020， 21（1）： 492.

［14］SAIDI W A， SHADID W， CASTELLI I E. Machine-Learning Structural and Electronic Properties of Metal Halide Perovskites using a Hierarchical Convolutional Neural Network［J］. NPJ Computational Materials， 2020， 6（1）： 1.

［15］LI X， DAN Y， DONG R， et al. Computational Screening of New Perovskite Materials using Transfer Learning and Deep Learning［J］. Applied Sciences， 2019， 9（24）： 5510.

［16］SUN Y， HU W. Novel Machine Learning Framework for Thermal Conductivity Prediction by Crystal Graph Convolution Embedded Ensemble［J］. SmartMat， 2022， 3（3）： 474.

［17］WANG B， FAN Q， YUE Y. Study of Crystal Properties Based on Attention Mechanism and Crystal Graph Convolutional Neural Network［J］. Journal of Physics： Condensed Matter， 2022， 34（19）： 195901.

［18］KARAMAD M， MAGAR R， SHI Y， et al. Orbital Graph Convolutional Neural Network for Material Property Prediction［J］. Physical Review Materials， 2020， 4（9）： 093801.

［19］ZENG S， ZHAO Y， LI G， et al. Atom Table Convolutional Neural Networks for an Accurate Prediction of Compounds Properties［J］. NPJ Computational Materials， 2019， 5（1）： 1.

［20］ZHENG X， ZHENG P， ZHANG R Z. Machine Learning Material Properties from the Periodic Table using Convolutional Neural Networks［J］. Chemical science， 2018， 9（44）： 8426.

［21］FENG S， FU H， ZHOU H， et al. A General and Transferable Deep Learning Framework for Predicting Phase Formation in Materials［J］. NPJ Computational Materials， 2021， 7（1）： 1.

［22］PHAM T L， KINO H， TERAKURA K， et al. Machine Learning Reveals Orbital Interaction in Materials［J］. Science and Technology of Advanced Materials， 2017， 18（1）： 756.

［23］KIRKLIN S， SAAL J E， MEREDIG B， et al. The Open Quantum Materials Database （OQMD）： Assessing the Accuracy of DFT Formation Energies［J］. NPJ Computational Materials， 2015， 1（1）： 1.

［24］HU J， SHEN L， SUN G. Squeeze-And-Excitation Networks［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018： 7132.

［25］JHA D， WARD L， PAUL A， et al. Elemnet： Deep Learning the Chemistry of Materials from only Elemental Composition［J］. Scientific Reports， 2018， 8（1）： 1.

（編輯：溫澤宇）