韓建芳

關(guān)鍵詞：深度學(xué)習(xí);論文影響力;知識(shí)圖譜;文獻(xiàn)計(jì)量

摘?要：文章從深度學(xué)習(xí)的研究現(xiàn)狀及其內(nèi)涵入手，利用文獻(xiàn)計(jì)量法對(duì)有關(guān)深度學(xué)習(xí)的426篇文獻(xiàn)進(jìn)行論文影響力分析，并對(duì)排名前20%的文獻(xiàn)進(jìn)行文獻(xiàn)年代、期刊發(fā)布、作者分析，得出深度學(xué)習(xí)的初步知識(shí)圖譜，以期促進(jìn)深度學(xué)習(xí)技術(shù)的應(yīng)用和發(fā)展。

中圖分類號(hào)：G250文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1003-1588（2020）05-0117-03

1?背景

2016年，作為人工智能（Artificial Intelligence，AI）一個(gè)重要分支的深度學(xué)習(xí)（Deep Learning，DL）無疑得到了廣泛的關(guān)注。谷歌、微軟、亞馬遜、臉書、百度、阿里巴巴等公司紛紛加強(qiáng)對(duì)深度學(xué)習(xí)的研發(fā)工作，成立專門的研究中心，邀請(qǐng)領(lǐng)域?qū)＜壹用搜芯浚ㄈ鏏ndrew Ng—百度、Yann LeCun—臉書、斯坦福大學(xué)教授Feifei Li—谷歌、卡內(nèi)基梅隆大學(xué)教授Alex Smolna—亞馬遜[]，在語音圖像識(shí)別、手勢(shì)控制、語音翻譯等方面取得了長(zhǎng)足的進(jìn)步。

2016年3月，谷歌開發(fā)的智能圍棋系統(tǒng)AlphaGo戰(zhàn)勝了韓國(guó)職業(yè)棋手李世石;5月，谷歌開源了基于深度學(xué)習(xí)的自然語言理解算法框架SyntaxNet;6月，基于深度學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)技術(shù)的圖像編輯軟件Prisma上線;9月，谷歌發(fā)布了基于深度學(xué)習(xí)技術(shù)的神經(jīng)機(jī)器翻譯系統(tǒng)，該翻譯系統(tǒng)可將翻譯質(zhì)量提高55%～85%，與基于短語翻譯的傳統(tǒng)機(jī)器翻譯相比，該系統(tǒng)可以直接翻譯一整句話[2]。可以說，經(jīng)過2016年的發(fā)展，深度學(xué)習(xí)徹底從理論知識(shí)走向應(yīng)用實(shí)踐，從高高在上的學(xué)術(shù)領(lǐng)域走進(jìn)了大眾視野。

2?深度學(xué)習(xí)的研究現(xiàn)狀及其內(nèi)涵

2.1研究現(xiàn)狀

深度學(xué)習(xí)的研究最早起源于多倫多大學(xué)教授Hinton[3]，他提出了基于深度置信網(wǎng)絡(luò)（Deep Belief Net，DBN）的高效學(xué)習(xí)算法，這個(gè)算法成為今后深度學(xué)習(xí)算法的主要框架。此外，Hinton教授和Salakhutdinov[4]還提出了一種更為有效的依靠深度自動(dòng)編碼網(wǎng)絡(luò)學(xué)習(xí)低維度代碼的初始化權(quán)重方法，該方法比以往利用主成分分析法減少數(shù)據(jù)維數(shù)更加有效。

自2006年以來，各國(guó)學(xué)者對(duì)深度學(xué)習(xí)開啟了更廣泛的研究，如：Jason Weston等人提出了一個(gè)新的學(xué)習(xí)模型框架即記憶網(wǎng)絡(luò)，能實(shí)現(xiàn)長(zhǎng)期記憶，并能對(duì)長(zhǎng)期記憶進(jìn)行讀取和寫入。DeepMind技術(shù)團(tuán)隊(duì)的V Mnih等人首次將深度學(xué)習(xí)與增強(qiáng)學(xué)習(xí)結(jié)合起來，用增強(qiáng)學(xué)習(xí)的算法構(gòu)建了一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的深度學(xué)習(xí)模型，其研發(fā)的機(jī)器人在Atari2600游戲中成功戰(zhàn)勝了其他機(jī)器人，甚至在3個(gè)游戲中超越了人類游戲?qū)＜摇?/p>

眾多國(guó)際會(huì)議也對(duì)深度學(xué)習(xí)進(jìn)行了多次專題探討，如神經(jīng)信息處理系統(tǒng)大會(huì)（NIPS） 2016年邀請(qǐng)斯坦福大學(xué)教授Andrew Y Ng[5];國(guó)際機(jī)器學(xué)習(xí)大會(huì)（ICML）2016年邀請(qǐng)Google DeepMind的David Silver和Facebook的Kaiming He[6]。國(guó)際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議（CVPR）2016年的報(bào)告主題有《Computer Vision and Applied Deep Learning with Mathematica》《Mathematics of Deep Learning》等，從多角度對(duì)深度學(xué)習(xí)進(jìn)行探討和學(xué)習(xí)[7]。

2.2深度學(xué)習(xí)的內(nèi)涵及理論依據(jù)

深度學(xué)習(xí)的概念由Geoffrey Hinton等人[8]于2006年提出，在本質(zhì)上是一種神經(jīng)網(wǎng)絡(luò)算法，其原理是通過模擬人腦進(jìn)行分析學(xué)習(xí)，在進(jìn)行算法訓(xùn)練時(shí)可以不用人工干預(yù)，因此也屬于一種無監(jiān)督式機(jī)器學(xué)習(xí)算法。

維基百科對(duì)深度學(xué)習(xí)的定義是一種具有以下四個(gè)特征的機(jī)器學(xué)習(xí)算法[9]：一是使用多個(gè)非線性處理層進(jìn)行特征提取和轉(zhuǎn)化，每一層使用上層的輸出作為本層的輸入，算法可以是監(jiān)督（模式分析）或無監(jiān)督（分類）的。二是基于對(duì)數(shù)據(jù)多層特征的（無監(jiān)督）學(xué)習(xí)。較高層的特征取決于較低層的特征，從而形成深層這一概念。三是機(jī)器學(xué)習(xí)中的子領(lǐng)域，是基于數(shù)據(jù)表示的學(xué)習(xí)。四是對(duì)多層表示和抽象的學(xué)習(xí)。

2.3人工智能、機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的關(guān)系

人工智能是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)[10]，其概念是在1956年達(dá)特茅斯會(huì)議上被首次提出。機(jī)器學(xué)習(xí)（Machine Learning， ML）是一門人工智能的科學(xué)，主要研究通過數(shù)據(jù)訓(xùn)練的學(xué)習(xí)算法[1]。

人工智能是一個(gè)大概念，機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支，也可以說機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的一種方法。深度學(xué)習(xí)是一種具有特殊特征的機(jī)器學(xué)習(xí)算法，是一種實(shí)現(xiàn)機(jī)器學(xué)習(xí)的技術(shù)。

3?基于文獻(xiàn)計(jì)量的深度學(xué)習(xí)論文影響力分析

3.1研究數(shù)據(jù)來源分析

本研究數(shù)據(jù)來源于2015版《Journal Citation Reports》下的《COMPUTER SCIENCE， ARTIFICIAL INTELLIGENCE》類別，共收錄有130種期刊。深度學(xué)習(xí)屬于人工智能領(lǐng)域的一個(gè)分支，由于核心期刊的影響力較大，關(guān)于深度學(xué)習(xí)的核心文獻(xiàn)大部分均會(huì)發(fā)表于此，因此選取這些期刊作為研究數(shù)據(jù)來源。

筆者檢索Web of Science數(shù)據(jù)庫(kù)，用Deep Learning做檢索詞在COMPUTER SCIENCE類別下進(jìn)行主題檢索，檢索時(shí)間為2006—2016年，共檢索得到2，696篇文獻(xiàn)，選取ARTIFICIAL INTELLIGENCE下的130種期刊發(fā)表的文獻(xiàn)，共得到609篇文獻(xiàn)。因被引次數(shù)為0的論文的影響力肯定不大，因此剔除這部分論文后得到426篇文獻(xiàn)，本研究以這426篇文獻(xiàn)為基礎(chǔ)。

3.2研究方法

評(píng)價(jià)論文影響力的方法有很多，如谷歌的I10指數(shù)、H指數(shù)、G指數(shù)、H5指數(shù)、H5中位數(shù)、Altmetric、RG Score等。這些評(píng)價(jià)方法主要從三個(gè)角度進(jìn)行評(píng)價(jià)，I10指數(shù)、H指數(shù)、G指數(shù)、H5中位數(shù)都是從論文被引用的次數(shù)進(jìn)行評(píng)價(jià)，H5指數(shù)在論文引用數(shù)的基礎(chǔ)上增設(shè)了期刊的論文數(shù)指標(biāo)，而Altmetric、RG Score是從社交網(wǎng)絡(luò)、分享的角度提出的評(píng)價(jià)指標(biāo)。

本研究基于數(shù)據(jù)庫(kù)文獻(xiàn)，首先排除從社交網(wǎng)絡(luò)分享角度進(jìn)行評(píng)價(jià)的論文，主要考慮從論文和期刊本身、期刊發(fā)表相關(guān)文獻(xiàn)數(shù)、期刊影響因子指標(biāo)進(jìn)行評(píng)價(jià)。

期刊發(fā)表相關(guān)文獻(xiàn)數(shù)是指426篇文獻(xiàn)里每種期刊登載的相關(guān)文獻(xiàn)數(shù)量，一般來說文獻(xiàn)數(shù)越多，說明在該領(lǐng)域影響力越大，因此這一指標(biāo)可作為其中的一個(gè)評(píng)價(jià)指標(biāo)。發(fā)表在高影響因子期刊上的論文的影響力肯定較高，因此將期刊影響因子作為其中一個(gè)指標(biāo)。

3.3期刊分析

筆者引進(jìn)了一個(gè)新的評(píng)價(jià)指標(biāo)——期刊發(fā)表相關(guān)文獻(xiàn)數(shù)，是指426篇文獻(xiàn)里每種期刊登載的相關(guān)文獻(xiàn)數(shù)量，一般來說文獻(xiàn)數(shù)越多，說明在該領(lǐng)域影響力越大，期刊發(fā)表相關(guān)文獻(xiàn)數(shù)與論文影響力是正相關(guān)關(guān)系。

426篇文獻(xiàn)分別發(fā)表在71種期刊上，其中《NEUROCOMPUTING》期刊上發(fā)表的有關(guān)深度學(xué)習(xí)的文獻(xiàn)數(shù)最多，共計(jì)69篇，占總文獻(xiàn)數(shù)的16%。《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》和《EXPERT SYSTEMS WITH APPLICATIONS》期刊分別發(fā)表32篇和31篇文獻(xiàn)，近1/3的文獻(xiàn)發(fā)表在這三種刊物上。

4?深度學(xué)習(xí)知識(shí)圖譜

二八法則被廣泛應(yīng)用于現(xiàn)實(shí)生活中，在文獻(xiàn)分布規(guī)律里也同樣試用，也就是說20%的文獻(xiàn)里集中了80%的知識(shí)內(nèi)容，前20%的文獻(xiàn)是核心文獻(xiàn)。筆者以426篇文獻(xiàn)為基數(shù)，研究排名前20%的文獻(xiàn)信息（即前85篇文獻(xiàn)），以揭示深度學(xué)習(xí)的知識(shí)圖譜。

4.1發(fā)表年限研究

圖1是85篇高影響力文獻(xiàn)中論文的每年發(fā)文量，從圖1可以看出深度學(xué)習(xí)的研究最早起源于2006年，是Geoffrey E. Hinton發(fā)表的A fast learning algorithm for deep belief nets一文，2009至2012年每年都發(fā)表2～3篇高影響力文獻(xiàn);2013至2015年文獻(xiàn)增多至12～13篇;2016年文獻(xiàn)最多，達(dá)39篇。

4.2發(fā)表期刊研究

圖2是85篇高影響力文獻(xiàn)中每種期刊的發(fā)文量，NEUROCOMPUTING發(fā)文量最大，其次是IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE，其余期刊發(fā)文量銳減，說明前兩種期刊屬于深度學(xué)習(xí)領(lǐng)域的核心期刊。NEUROCOMPUTING的影響因子為2.392，主要發(fā)表關(guān)于神經(jīng)網(wǎng)絡(luò)、神經(jīng)計(jì)算科學(xué)、學(xué)習(xí)系統(tǒng)、跨學(xué)科人工智能等方面的文章[12]。IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE的影響因子為6.077，主要發(fā)表關(guān)于計(jì)算機(jī)視覺和圖像理解的文章，特別是用于模式分析的機(jī)器學(xué)習(xí)領(lǐng)域，還涵蓋圖像和視頻檢索、手寫分析、面部識(shí)別等領(lǐng)域。

4.3作者研究

圖3是85篇高影響力文獻(xiàn)中每個(gè)作者的發(fā)文量，從圖3可以看出Yoshua Bengio發(fā)文量最大，達(dá)5篇;其次是Mohammed Bennamoun、Gao Xinbo等人發(fā)文3篇;Geoffrey E. Hinton等人發(fā)文2篇;其余有281個(gè)作者發(fā)文1篇。每篇文章的作者數(shù)最少有2個(gè)，最多的有8個(gè)。

在這些作者中，較有影響力的有Geoffrey E. Hinton，Yoshua Bengio，Ruslan Salakhutdinov等人。Geoffrey E. Hinton是多倫多大學(xué)計(jì)算機(jī)科學(xué)領(lǐng)域的榮譽(yù)教授，是谷歌的工程師。Yoshua Bengio是計(jì)算機(jī)科學(xué)教授，蒙特利爾學(xué)習(xí)算法研究所（MILA）主任，是多本機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)雜志的副主編。Ruslan Salakhutdinov是卡內(nèi)基梅隆大學(xué)（CMU）的副教授，也是蘋果首任AI總監(jiān)。

5?結(jié)語

本研究的思路主要包括以下幾個(gè)方面：①選取若干核心期刊作為文獻(xiàn)數(shù)據(jù)來源，獲取刊登關(guān)于深度學(xué)習(xí)的所有論文和論文相關(guān)信息。②對(duì)所有論文進(jìn)行論文影響力分析，進(jìn)而揭示出若干深度學(xué)習(xí)的高影響力論文。③對(duì)高影響力論文進(jìn)行分析，揭示出深度學(xué)習(xí)的文獻(xiàn)年代分布和期刊分布、主要研究專家和主要研究領(lǐng)域，得出深度學(xué)習(xí)領(lǐng)域初步的知識(shí)圖譜。囿于篇幅，筆者對(duì)相關(guān)數(shù)據(jù)僅做了粗淺統(tǒng)計(jì)，研究范圍也略顯薄弱，希望后期研究能夠更加深入。

參考文獻(xiàn)：

[1]boxi.2016：深度學(xué)習(xí)統(tǒng)治互聯(lián)網(wǎng)之年[EB/OL].[2017-01-20].http：//36kr.com/p/5060853.html.

[2]鄭澤宇.深度學(xué)習(xí)：2016年大事記回放[EB/OL].[2017-01-20].http：//www.infoq.com/cn/articles/deeplearning-2016-review？from=timeline.

[3]Hinton G E， Osindero S， Teh Y W. A fast learning algorithm for deep belief nets[J].Neural computation，2006（7）：1527-1554.

[4]Hinton G E， Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J].Science，2006（5786）：504-507.

[5]Andrew Y Ng. Nuts and Bolts of Building Applications using Deep Learning[EB/OL].[2017-01-20].https：//nips.cc/Conferences/2016/Schedule？type=Tutorial.

[6]Kaiming He. Deep Residual Networks： Deep Learning Gets Way Deeper[EB/OL].[2017-01-20].http：//icml.cc/2016/？page_id=97.

[7]CVPR 2016.Tutorials[EB/OL].[2017-01-20].http：//cvpr2016.thecvf.com/program/tutorials.

[8]維基百科.深度學(xué)習(xí)[EB/OL].[2017-01-20].https：//en.wikipedia.org/wiki/Deep_learning#Definitions.

[9]百度百科.人工智能[EB/OL].[2017-01-20].http：//baike.baidu.com/link？url=2pDgfw34X-d7LeyF 7X0rLsNKtA2E0CBzVk4Jab0M2_AANqVN1Hi0XOWS_gUsZPi7hiHPV6kbENVo_Vi0ZQ_M4CC9DN7Y1Y3yw ZrbK-Y8CzoJ6EYP5_na5H4_U6tWn107.

[10]Langley P. Elements of machine learning[M].Morgan Kaufmann，1996：1.

[11]Elsevier.Neurocomputing[EB/OL].[2017-01-20].https：//www.journals.elsevier.com/neurocomputing/#tab-page-3.

[12]IEEE.org.IEEE Transactions on Pattern Analysis and Machine Intelligence[EB/OL].[2017-01-20].http：//ieeexplore.ieee.org/xpl/aboutJournal.jsp？punu mber=34.

（編校：崔?萌）