淺淡數(shù)學(xué)對(duì)神經(jīng)網(wǎng)絡(luò)的影響

詹悅 陳志峰

◆摘? 要：最初的簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)模型處理序列化數(shù)據(jù)，對(duì)于矩陣形式的數(shù)據(jù)，不能有效處理，因此，學(xué)者們提出卷積神經(jīng)網(wǎng)絡(luò)處理規(guī)則的矩陣數(shù)據(jù)。近年來(lái)，不規(guī)則的圖數(shù)據(jù)受到極大關(guān)注，圖神經(jīng)網(wǎng)絡(luò)取代了傳統(tǒng)的圖數(shù)據(jù)預(yù)處理階段，是一種精度更高的圖表示學(xué)習(xí)框架。雖然神經(jīng)網(wǎng)絡(luò)是一種不易解釋的黑匣模型，但仍需要一定的數(shù)學(xué)支撐。本文以數(shù)學(xué)在機(jī)器學(xué)習(xí)中的應(yīng)用為出發(fā)點(diǎn)，淺談數(shù)學(xué)在機(jī)器學(xué)習(xí)中發(fā)揮的重要作用，并通過(guò)實(shí)驗(yàn)驗(yàn)證激活函數(shù)對(duì)圖神經(jīng)網(wǎng)絡(luò)模型的影響。

◆關(guān)鍵詞：數(shù)學(xué);機(jī)器學(xué)習(xí);圖神經(jīng)網(wǎng)絡(luò)

機(jī)器學(xué)習(xí)是一門(mén)交叉學(xué)科，本文以其中的圖神經(jīng)網(wǎng)絡(luò)（GNN）為主，簡(jiǎn)要介紹數(shù)學(xué)在機(jī)器學(xué)習(xí)中的作用。本文結(jié)構(gòu)如下，第一部分簡(jiǎn)要介紹數(shù)學(xué)與機(jī)器學(xué)習(xí)的基礎(chǔ)知識(shí)，并說(shuō)明數(shù)學(xué)在機(jī)器學(xué)習(xí)中起到的重要作用，第二部分是實(shí)驗(yàn)，第三部分是結(jié)論，最后是參考文獻(xiàn)。

1基礎(chǔ)知識(shí)

1.1相關(guān)定義

激活函數(shù)是為了讓神經(jīng)網(wǎng)絡(luò)模型可以理解和學(xué)習(xí)復(fù)雜的非線性的關(guān)系，不同的激活函數(shù)對(duì)模型有著不同的影響，但激活函數(shù)對(duì)神經(jīng)網(wǎng)絡(luò)模型是重要的，不可缺少的。

1.2數(shù)學(xué)與機(jī)器學(xué)習(xí)

本節(jié)以數(shù)學(xué)在機(jī)器學(xué)習(xí)中的應(yīng)用為出發(fā)點(diǎn)，探討數(shù)學(xué)在機(jī)器學(xué)習(xí)中發(fā)揮的作用，主要以激活函數(shù)在圖神經(jīng)網(wǎng)絡(luò)模型中發(fā)揮的作用為例進(jìn)行說(shuō)明。GNN是目前處理圖數(shù)據(jù)最有效的模型，實(shí)現(xiàn)了端對(duì)端的架構(gòu)，跳過(guò)一定會(huì)損失信息的圖預(yù)處理階段，利用神經(jīng)網(wǎng)絡(luò)強(qiáng)大的擬合能力學(xué)習(xí)圖數(shù)據(jù)的豐富結(jié)構(gòu)信息。GNN目前誕生了諸多變體，本文旨在探討激活函數(shù)對(duì)GNN的重要性，說(shuō)明即使是一些簡(jiǎn)單的數(shù)學(xué)函數(shù)在機(jī)器學(xué)習(xí)中也發(fā)揮著作用。

2實(shí)驗(yàn)

本節(jié)主要通過(guò)實(shí)驗(yàn)驗(yàn)證激活函數(shù)對(duì)圖神經(jīng)網(wǎng)絡(luò)模型的重要性，驗(yàn)證說(shuō)明激活函數(shù)是圖神經(jīng)網(wǎng)絡(luò)必不可少的一部分。實(shí)驗(yàn)數(shù)據(jù)集為論文引用圖Cora和Citeseer，均是公開(kāi)的機(jī)器學(xué)習(xí)基準(zhǔn)數(shù)據(jù)集，主要用于節(jié)點(diǎn)分類(lèi)任務(wù)，Cora數(shù)據(jù)集包含2708個(gè)節(jié)點(diǎn)，10556條邊，節(jié)點(diǎn)共有7類(lèi)，訓(xùn)練集、驗(yàn)證集和測(cè)試集大小分別為140、500和1000，批大小為70。Citeseer數(shù)據(jù)集包含3327個(gè)節(jié)點(diǎn)，9228條邊，節(jié)點(diǎn)共有6類(lèi)，訓(xùn)練集、驗(yàn)證集和測(cè)試集大小分別為120、500和1000，批大小為60。模型訓(xùn)練學(xué)習(xí)率為0.005，為了防止過(guò)擬合采用的dropout值為0.6，保證以上參數(shù)一致，分別驗(yàn)證帶有和不帶有激活函數(shù)的模型。

3結(jié)論

本文簡(jiǎn)要介紹了機(jī)器學(xué)習(xí)的發(fā)展，尤其是圖神經(jīng)網(wǎng)絡(luò)的發(fā)展，通過(guò)對(duì)圖神經(jīng)網(wǎng)絡(luò)模型激活函數(shù)的理解，說(shuō)明了激活函數(shù)對(duì)圖神經(jīng)網(wǎng)絡(luò)的重要性，并通過(guò)簡(jiǎn)單的實(shí)驗(yàn)驗(yàn)證了這一結(jié)果。未來(lái)我們希望研究更復(fù)雜的損失函數(shù)，損失函數(shù)用到了均方誤差、交叉熵等數(shù)學(xué)知識(shí)，通過(guò)研究損失函數(shù)對(duì)模型的重要性說(shuō)明數(shù)學(xué)在機(jī)器學(xué)習(xí)中起著重要作用，進(jìn)而說(shuō)明數(shù)學(xué)與機(jī)器學(xué)習(xí)的關(guān)系。

參考文獻(xiàn)

[1]周志華.機(jī)器學(xué)習(xí)：=Machine learning[M].清華大學(xué)出版社，2016.

[2]林艷.人王智能的符號(hào)主義綱領(lǐng)及其困境[J].求索，2019（06）：186-193.

[3]李道義.統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)[J].數(shù)碼世界，2018（11）.

[4]Goodfellow I ，Bengio Y ， Courville A . Deep Learning[M]. The MIT Press， 2016.

[5]The Graph Neural Network Model[J]. IEEE Transactions on Neural Networks， 2009，20（01）：61.

[6]Bruna J， Zaremba W， Szlam A， et al.Spectral networks and locally connected networks on graphs[J].arXiv preprint arXiv：1312.6203， 2013.

[7]Semi-Supervised Classification with Graph Convolutional Networks，ICLR，2017.

[8]Representation Learning on Graphs with Jumping Knowledge Networks，Proceedings of the 35 th International Conference on Machine Learning.

[9]How Powerful are Graph Neural Networks？ In Proceedings of the 7th International Conference on Learning Representations，ICLR 2019， New Orleans， LA， USA， May 6–9， 2019.

[10]Graph Attention Network.In Proceedings of the 6th International Conference on Learning Representations，ICLR，2018.

[11]Heterogeneous Graph Neural Network[C]// the 25th ACM SIGKDD International Conference. ACM， 2019.