結(jié)合全文本分析的論文影響力評價(jià)模型研究

楊思洛 聶穎

關(guān)鍵詞：全文本分析;Altmetrics;論文影響力;評價(jià)模型

2020年2月，教育部、科技部陸續(xù)下發(fā)《關(guān)于規(guī)范高等學(xué)校SCI論文相關(guān)指標(biāo)使用 樹立正確評價(jià)導(dǎo)向的若干意見》[1]《關(guān)于破除科技評價(jià)中“唯論文”不良導(dǎo)向的若干措施（試行）》[2]等文件，要求落實(shí)“除四唯，破五唯”，體現(xiàn)了國家對科學(xué)研究和科技評價(jià)的重視。學(xué)術(shù)論文是科研成果的重要形式，也是科學(xué)研究的重要產(chǎn)物;而學(xué)術(shù)論文評價(jià)是學(xué)科、期刊、學(xué)者等其他層面評價(jià)的基礎(chǔ)，科學(xué)合理的論文評價(jià)能促進(jìn)科學(xué)研究良性循環(huán)與正向發(fā)展[3]。

影響力是論文評價(jià)的重要內(nèi)容，因?yàn)檎撐氖且环N科學(xué)交流的載體和工具，其產(chǎn)生目的是傳播文化與知識并對他人產(chǎn)生作用和影響[4-5]。衡量論文影響力的傳統(tǒng)方法是統(tǒng)計(jì)論文被引量，這種方法簡單客觀，但遲滯性強(qiáng)、評價(jià)片面且不能排除過度自引等不良情況[6]。為此，學(xué)者嘗試修正被引頻次指標(biāo)，提出了論文h指數(shù)[7]、學(xué)術(shù)跡[8]、影響矩[9]等評價(jià)指標(biāo)。然而這些評價(jià)指標(biāo)的立足點(diǎn)仍為被引頻次，側(cè)重于評價(jià)論文產(chǎn)生的學(xué)術(shù)影響。隨著互聯(lián)網(wǎng)的蓬勃發(fā)展，在線學(xué)術(shù)交流已成為大勢所趨。多種社交平臺成為學(xué)者或普通用戶進(jìn)行學(xué)術(shù)交流的重要陣地，Altmetrics[10]（替代計(jì)量學(xué)）由此被提出，其重點(diǎn)在于計(jì)量分析論文在社交平臺上的傳播活動(dòng)，包括轉(zhuǎn)發(fā)、評論、使用等，有別于傳統(tǒng)的引用與被引。這種方法測度主要是論文在社會層面的影響力，不僅豐富了論文影響力評價(jià)的內(nèi)涵，還為全面評價(jià)論文影響力提供了新指標(biāo)和新途徑[11]。

開放存取運(yùn)動(dòng)以及人工智能時(shí)代為挖掘、獲取和分析全文本數(shù)據(jù)提供了極大便利。一方面，學(xué)界開始重視不同引文存在的實(shí)質(zhì)差異，如不同引文在同一施引文獻(xiàn)中出現(xiàn)的頻次、位置及施引作者表達(dá)的情感會有所不同。這種差異反映的是引文對施引文獻(xiàn)的重要程度，體現(xiàn)的是引文的實(shí)際學(xué)術(shù)影響力[12]。另一方面，大眾在社交網(wǎng)絡(luò)上討論論文時(shí)可能會產(chǎn)生相應(yīng)的文本內(nèi)容，如提及論文的評論性文本等。與引文內(nèi)容相似，分析論文在此類型文本中被提及的具體情況，如發(fā)布者表達(dá)的情感、提及論文的動(dòng)機(jī)和位置等，也可以真實(shí)反映論文在社會層面產(chǎn)生的影響?？偠灾谋痉治龇ù蚱屏送瓤创煌牡膫鹘y(tǒng)，超越了傳統(tǒng)的被引頻次和新興的Altmetrics頻次指標(biāo)等所在的計(jì)量分析層面，從內(nèi)容分析和語義理解入手，深入剖析引文、評論文本等全文本內(nèi)容，實(shí)現(xiàn)了定量與定性的結(jié)合，提高了論文評價(jià)的深入性、準(zhǔn)確性和全面性。

由此可見，論文影響力評價(jià)方法已從單一統(tǒng)計(jì)被引量發(fā)展成多維度、多數(shù)據(jù)的評價(jià)模式。本文擬結(jié)合全文本分析，基于引文和Altmetrics構(gòu)建論文影響力評價(jià)模型，并以PLoSMedicine期刊論文為樣本進(jìn)行實(shí)證分析，驗(yàn)證該評價(jià)模型的可用性和有效性，為更加全面、深入和精準(zhǔn)評價(jià)論文影響力提供新思路。

1相關(guān)研究綜述

1.1基于被引頻次的論文影響力評價(jià)

GarfieldE[13]在1955年就提出以論文被引頻次來衡量論文的影響力，自此被引頻次成為評價(jià)論文影響力的主要指標(biāo)和客觀方式。然而隨著時(shí)代發(fā)展，被引頻次的不足也逐步凸顯。許多學(xué)者指出被引頻次存在以下幾個(gè)問題：①遲滯性：論文從發(fā)表到實(shí)際被引經(jīng)歷的時(shí)間長，不利于新文獻(xiàn)評價(jià)[6，14];②片面性：只基于參考文獻(xiàn)列表，未考察參考文獻(xiàn)在施引文獻(xiàn)中的引用強(qiáng)度、位置和情感，不夠深入具體[15];③無法區(qū)分作者的引用動(dòng)機(jī)，如過度自引[5]。

了改善被引頻次指標(biāo)存在的不足，許多學(xué)者開始以引用和被引為基本點(diǎn)提出新評價(jià)指標(biāo)。Hir?schJE提出了綜合考慮發(fā)文量和被引量的h指數(shù)[16]。SchubertA參考h指數(shù)提出了定量評價(jià)單篇論文影響力SchubertAh指數(shù)，涉及指標(biāo)有文獻(xiàn)被引量及其施引文獻(xiàn)被引量[7]。王術(shù)等和唐繼瑞等先后提出了基于被引頻次的學(xué)術(shù)跡和影響矩指標(biāo)，并將其運(yùn)用至論文影響力評價(jià)，有效避免了遲滯性、過度自引等問題[9，17]。諸如此類的修正指標(biāo)還有基于引文網(wǎng)絡(luò)的論文權(quán)力指數(shù)[18]、Hi指標(biāo)[19]等。這些由被引頻次演變而來的評價(jià)指標(biāo)在一定程度上克服了被引頻次的缺點(diǎn)，但實(shí)際上這些指標(biāo)及方法仍未離開計(jì)量層面。換而言之，這些研究還未考慮引文內(nèi)容的差異性及其對評價(jià)論文影響力的重要性。

1.2基于Altmetrics的論文影響力評價(jià)

在社交網(wǎng)絡(luò)時(shí)代，Altmetrics指標(biāo)全面多樣、時(shí)效性強(qiáng)、評價(jià)覆蓋面廣等優(yōu)勢滿足了論文評價(jià)的需求[14]。有關(guān)將Altmetrics應(yīng)用于論文影響力評價(jià)的研究主要有以下兩個(gè)方面。

1）與傳統(tǒng)評價(jià)方法的比較研究。此類實(shí)證研究旨在探索Altmetrics指標(biāo)與被引頻次之間的相關(guān)性。大部分結(jié)果表明，以Twitter為代表的社交媒體數(shù)據(jù)與被引頻次指標(biāo)的相關(guān)程度普遍不高[20-22];Mendeley讀者數(shù)[23]、論文使用數(shù)則與其為中度相關(guān)[24]。但這種相關(guān)性也會受樣本數(shù)據(jù)的影響，如MohammadiE等調(diào)查發(fā)現(xiàn)，人文社會學(xué)科論文的Mendeley指標(biāo)與被引次數(shù)的相關(guān)程度并不高[25]，而一項(xiàng)以Altmetrics主題論文為樣本的研究則得出兩者為中度相關(guān)[26]。因此，在應(yīng)用過程中需要根據(jù)具體數(shù)據(jù)來分析和選擇可用性強(qiáng)、代表性高的數(shù)據(jù)。

2）與傳統(tǒng)評價(jià)方法的融合應(yīng)用研究。Altmet?rics指標(biāo)與論文被引量間的弱相關(guān)性表明兩者側(cè)重維度不同，可相互補(bǔ)充[27]。學(xué)者們開始將Altmet?rics融入傳統(tǒng)評價(jià)方法以構(gòu)建新論文影響力評價(jià)模型。參與構(gòu)建的Altmetrics指標(biāo)和傳統(tǒng)引文指標(biāo)呈現(xiàn)多樣化，Altmetrics指標(biāo)有社交媒體數(shù)據(jù)、學(xué)術(shù)網(wǎng)站論文使用數(shù)據(jù)等;傳統(tǒng)評價(jià)指標(biāo)有被引頻次、h指數(shù)、影響矩等。研究方法主要是通過主成分分析法、模糊層級法等劃分維度或分配指標(biāo)權(quán)重，以不同論文樣本驗(yàn)證模型適用性[20，28-29]。

基于Altmetrics的論文影響力評價(jià)研究考慮了論文在學(xué)術(shù)界和社會層面的認(rèn)可和關(guān)注，全面反映了論文影響力。然而此種評價(jià)模型仍屬于定量評價(jià)，未深入分析引文內(nèi)容或Altmetrics文本內(nèi)容的性質(zhì)，有待進(jìn)一步改進(jìn)。

1.3基于全文本引文分析的論文影響力評價(jià)

全文本引文分析是全文本分析的一部分，其出發(fā)點(diǎn)是引文并非等價(jià)[30]。趙蓉英等將全文本引文分析的研究內(nèi)容分為引用強(qiáng)度、引用位置和引用內(nèi)容，引用內(nèi)容包括引用情感和動(dòng)機(jī)兩方面[31]。引用強(qiáng)度、位置和情感的不同，代表引文對施引文獻(xiàn)的作用不同，產(chǎn)生的影響力不同[30，32]，對優(yōu)化論文評價(jià)方法具有重要意義。筆者將應(yīng)用全文本引文分析進(jìn)行論文評價(jià)的研究分為3個(gè)方面。

一是將被引頻次優(yōu)化為引用強(qiáng)度。DingY等將引用強(qiáng)度定義為CountX，并利用CountX和被引頻次統(tǒng)計(jì)出高被引論文，結(jié)果存在35%的差異[33]。胡志剛等認(rèn)為，這種差異在于引用強(qiáng)度能夠有效預(yù)測和挖掘潛在高被引論文[34]。劉盛博等提出一種實(shí)為引用強(qiáng)度的引文質(zhì)量評價(jià)指標(biāo)（Q），Q值越大說明引文質(zhì)量越高[35]。ZhuXD等根據(jù)引用強(qiáng)度對引用進(jìn)行加權(quán)，將h指數(shù)優(yōu)化為評價(jià)效果更好的hip指數(shù)[36]。

二是結(jié)合引用強(qiáng)度和引用位置。Maricˇic'S等將論文分為引言、方法、結(jié)果和總結(jié)4個(gè)部分并賦予不同權(quán)重，將引用位置應(yīng)用于論文評價(jià)[37]。Som?batsompopN等認(rèn)識到分析引用位置的重要作用，提出引用位置影響因子，即引文在施引文獻(xiàn)的不同位置的引用強(qiáng)度與施引文獻(xiàn)總數(shù)的比值，并將其用于泰國論文質(zhì)量評價(jià)[38]。彭秋茹等統(tǒng)計(jì)了57篇被引文獻(xiàn)的引用位置和強(qiáng)度，與F1000評分進(jìn)行相關(guān)性分析，結(jié)果表明，在結(jié)果部分被引比例越多的論文，越受領(lǐng)域?qū)＜覛g迎[15]。

三是融合引用情感分析。魏楊燁等從引用強(qiáng)度和引用情感兩個(gè)角度對論文進(jìn)行了新評價(jià)，并認(rèn)為該方法有利于挖掘新興重要文獻(xiàn)[39]。耿樹青等利用層次分析法確定不同引用情感的權(quán)重，提出了一種能全面深入評價(jià)單篇論文學(xué)術(shù)影響力的CS指標(biāo)[3]。姜霖等對引用語句中包含的情感詞進(jìn)行極性量化，構(gòu)造了一種細(xì)粒度的學(xué)術(shù)評價(jià)指標(biāo)[40]。

總而言之，基于全文本引文分析的論文影響力評價(jià)研究極大改善了傳統(tǒng)指標(biāo)片面單一的缺陷，實(shí)現(xiàn)了更加深入準(zhǔn)確的論文學(xué)術(shù)影響力測度。然而如前文所述，產(chǎn)生于社交網(wǎng)絡(luò)時(shí)代的Altmetrics也提供了評論或提及論文的文本內(nèi)容，對其進(jìn)行分析同屬于全文本分析的范疇，也能提高評價(jià)論文社會影響力的深入性和準(zhǔn)確性。已有部分學(xué)者通過對不同領(lǐng)域論文的有關(guān)推文進(jìn)行文本內(nèi)容分析并提出以下觀點(diǎn)：①對論文表現(xiàn)出贊同、推薦等正面情感的推文應(yīng)當(dāng)獲得更高權(quán)重[41];②應(yīng)忽略無論文實(shí)質(zhì)內(nèi)容的推文[41];③Altmetrics指標(biāo)應(yīng)根據(jù)不同文本內(nèi)容類型進(jìn)行權(quán)重區(qū)分，如發(fā)布對論文的評價(jià)比發(fā)布題錄信息更有價(jià)值[42];④發(fā)布者有不同的動(dòng)機(jī)，包括參與討論、實(shí)際應(yīng)用、自我提升、隨意轉(zhuǎn)發(fā)等[43]。這些觀點(diǎn)表明Altmetrics指標(biāo)同被引頻次一樣，存在片面性，需要結(jié)合內(nèi)容分析進(jìn)行深入理解。

目前，結(jié)合全文本分析的論文影響力評價(jià)研究還較少，大多還停留在改善以被引頻次為基礎(chǔ)的系列指標(biāo)、結(jié)合被引頻次指標(biāo)和Altmetrics頻次指標(biāo)，少部分嘗試基于引文內(nèi)容分析對論文進(jìn)行評價(jià)。因此，本文嘗試結(jié)合全文本分析，在被引頻次和Alt?metrics的基礎(chǔ)上，融入由內(nèi)容分析產(chǎn)生的各種指標(biāo)，構(gòu)建出論文影響力評價(jià)模型，以期能夠提高論文影響力評價(jià)結(jié)果的深入性、準(zhǔn)確性和全面性。

2論文影響力評價(jià)模型構(gòu)建

本研究提出一種結(jié)合全文本分析的論文影響力評價(jià)模型，如圖1所示。被引頻次系列指標(biāo)評價(jià)的是論文學(xué)術(shù)影響力;以Twitter為代表的Altmetrics頻次指標(biāo)評價(jià)的是論文社會影響力。與此對應(yīng)的論文影響力評價(jià)模型，從被引頻次指標(biāo)延伸至以被引頻次為基礎(chǔ)的系列指標(biāo)，再擴(kuò)展到融合Altmetrics指標(biāo)的綜合評價(jià);評價(jià)維度從一維的學(xué)術(shù)影響力評價(jià)遞進(jìn)到二維的學(xué)術(shù)影響力和社會影響力綜合評價(jià)。而全文本分析作為一種新興的評價(jià)方法，既可結(jié)合引文內(nèi)容深入準(zhǔn)確反映論文學(xué)術(shù)影響力，又可結(jié)合論文在社交平臺獲得的評論文本，進(jìn)一步深化論文社會影響力的評價(jià)。

因此，本研究的論文影響力評價(jià)模型具體以評價(jià)論文的學(xué)術(shù)影響力和社會影響力為目標(biāo)，在以往的二維評價(jià)模型基礎(chǔ)上，繼續(xù)將其拓展為結(jié)合全文本分析的論文影響力評價(jià)模型：將全文本類指標(biāo)，包括次數(shù)類、位置類和情感類融入其中，新增對引文內(nèi)容和Altmetrics文本內(nèi)容的語法及語義分析，是計(jì)量分析與內(nèi)容分析的結(jié)合。其中有關(guān)引文計(jì)量和內(nèi)容分析指標(biāo)可融合論文學(xué)術(shù)影響力指標(biāo)，包括引用強(qiáng)度、引用位置和引用情感;有關(guān)Altmetrics計(jì)量與內(nèi)容分析的指標(biāo)可作為論文社會影響力指標(biāo)，包括提及強(qiáng)度、提及情感，以此實(shí)現(xiàn)對論文影響力全面、深入、準(zhǔn)確的評價(jià)。

2.1論文學(xué)術(shù)影響力指標(biāo)

基于全文本分析的學(xué)術(shù)影響力指標(biāo)主要融入了次數(shù)類指標(biāo)、位置類指標(biāo)和情感類指標(biāo)，對應(yīng)引用強(qiáng)度、引用位置和引用情感，從語法和語義兩個(gè)層面對引文內(nèi)容進(jìn)行分析。

1）引用強(qiáng)度（Nc）：筆者以施引文獻(xiàn)為基礎(chǔ)，通過參考文獻(xiàn)列表在正文中定位被引文獻(xiàn)，計(jì)算出現(xiàn)總次數(shù)。當(dāng)被引文獻(xiàn)出現(xiàn)在圖表中，而圖表名稱被多次提及時(shí)，引用強(qiáng)度均計(jì)為1次。

2）引用位置（Np）：Introduction，Data&Meth?ods，Results，Discussion&Conclusion是學(xué)術(shù)論文的經(jīng)典結(jié)構(gòu)[15]。筆者基于前期抽取部分文獻(xiàn)試標(biāo)注的情況，將引用位置劃分為4部分，劃分標(biāo)準(zhǔn)如表1所示。

3）引用情感（Ns）：利用機(jī)器學(xué)習(xí)進(jìn)行情感分類效率高，但學(xué)術(shù)論文所包含的情感較為隱晦，普通陳述句較多，明確表達(dá)情感的語句較少[15]，因此該方式的準(zhǔn)確性有待提高。在本研究中，筆者通過設(shè)定情感判別標(biāo)準(zhǔn)，人工判斷引用語句包含的情感，在一定程度上保證引用情感判別的準(zhǔn)確性。判別標(biāo)準(zhǔn)如表2所示。

4）權(quán)重分配：本研究直接應(yīng)用學(xué)者彭秋茹等[15]利用層次分析法得到的引用位置和引用情感權(quán)重分配結(jié)果。學(xué)術(shù)影響力計(jì)算公式如式（1）所示，Wp代表引用位置權(quán)重，Ws代表引用情感權(quán)重，Nc代表特定引用位置和引用情感對應(yīng)下的引用強(qiáng)度。

2.2論文社會影響力指標(biāo)

論文在社交媒體平臺傳播時(shí)，會獲得大眾的評論、轉(zhuǎn)發(fā)和分享，以及媒體或政策文件提及和報(bào)道等，其中產(chǎn)生的文本內(nèi)容可能包含發(fā)布者對論文的評價(jià)，可進(jìn)行情感分析，但這種文本較難劃分統(tǒng)一結(jié)構(gòu)。因此，在本研究中，筆者主要考慮將次數(shù)類指標(biāo)和情感類指標(biāo)融入論文社會影響力指標(biāo)中，對應(yīng)論文在Altmetrics中的提及強(qiáng)度和提及情感。

1）可用指標(biāo)篩選：由于部分社交網(wǎng)絡(luò)平臺普及性不高，許多指標(biāo)數(shù)據(jù)較為稀少，不宜參與到評價(jià)中[20]。因此，筆者需要利用指標(biāo)覆蓋率來篩選可用指標(biāo)，以25%為基準(zhǔn)[44]，篩選出m個(gè)指標(biāo)A1，…，Am，并計(jì)算論文在各指標(biāo)對應(yīng)平臺中的總提及強(qiáng)度R。

2）指標(biāo)權(quán)重計(jì)算：通過SPSS軟件提供的主成分分析法為m個(gè)指標(biāo)分配權(quán)重，進(jìn)行主成分分析的前提是大部分指標(biāo)的提及強(qiáng)度相關(guān)系數(shù)大于0.3[45]。在此基礎(chǔ)上，利用主成分分析提取出累計(jì)貢獻(xiàn)率大于80%的n個(gè)主成分：F1，…，F(xiàn)n，對應(yīng)特征根為λ1，…，λn，總和為λ;以各個(gè)指標(biāo)在各主成分中的載荷Pmn為基礎(chǔ)，通過式（2）和式（3）計(jì)算綜合得分系數(shù)和各指標(biāo)權(quán)重[46]。

同時(shí)筆者還需要為提及情感分配權(quán)重，本研究暫時(shí)應(yīng)用前文的引用情感權(quán)重Ws，如表4所示。最后得出基于全文本分析的社會影響力計(jì)算公式（4）。Rs代表論文在第m個(gè)Altmetrics指標(biāo)中獲得特定提及情感時(shí)對應(yīng)的提及強(qiáng)度。

3論文影響力評價(jià)的應(yīng)用與結(jié)果分析

3.1數(shù)據(jù)獲取及處理

本文選擇的目標(biāo)論文來源于PLoS平臺的《PLoSMedicine》，是國際上水平較高的生命科學(xué)與醫(yī)學(xué)領(lǐng)域的期刊。同時(shí)，PLoS平臺不僅提供免費(fèi)全文和論文使用數(shù)據(jù)，還鏈接了Altmetrics.com平臺，為筆者獲取數(shù)據(jù)提供了便利。在檢索時(shí)，選擇期刊“PLoSMedicine”，發(fā)表時(shí)間限定為2019年，檢索時(shí)間是2021年1月11日。為保證引文數(shù)據(jù)量，筆者選擇了被引頻次排名前50的文獻(xiàn)，共導(dǎo)出施引文獻(xiàn)信息1042條。同時(shí)，筆者還從PLoS平臺獲取了文獻(xiàn)對應(yīng)的Altmetrics數(shù)據(jù)。楊思洛等人認(rèn)為，論文社會影響力主要包括科研工作者或大眾通過社交網(wǎng)絡(luò)工具對論文的評論與分享、維基百科對論文的使用、新聞媒體對論文的報(bào)道以及相關(guān)政策文件對論文的提及等[14]。因此，本研究獲取的Altmetrics指標(biāo)有Twitter、Facebook、Wikipedia、Reddit、NewsOutlets、Blog、PolicySource、VideoUpload、Comment和Google+User，暫未獲取Alt?metrics指標(biāo)涉及的文本內(nèi)容。

1）對于全文本引文數(shù)據(jù)，筆者通過WOS、GoogleScholar等進(jìn)行檢索，最終獲取施引文獻(xiàn)全文共1003篇，另有36篇無法獲取全文，1篇注而未引，2篇為更正信息。首先，人工抽取施引文獻(xiàn)中包含被引文獻(xiàn)的語句，共獲得1583條;其次，部分施引文獻(xiàn)類型為非實(shí)證類論文，包括綜述、評論型論文，其內(nèi)部無明確結(jié)構(gòu)，對此，筆者將其引用位置標(biāo)注為“Others”，權(quán)重以均值0.25為計(jì);最后，筆者結(jié)合施引文獻(xiàn)全文和引用句中的情感詞，對引用情感進(jìn)行判斷。在判斷過程中，需要注意情感詞的來源。部分包含明確情感詞的語句是被引文獻(xiàn)中的原句，并不能代表施引作者對被引文獻(xiàn)的情感，筆者將這種情況下的引用語句標(biāo)注為中性引用。具體實(shí)例如表5所示。

2）對于論文Altmetrics指標(biāo)，通過覆蓋率篩選的指標(biāo)僅有Twitter、Facebook、NewsOutlets和Blog，其他指標(biāo)大部分在10%以下，不宜參與評價(jià)。Spearman相關(guān)性分析的結(jié)果表明，4種指標(biāo)均可參與主成分分析。其中，KMO檢驗(yàn)系數(shù)為0.615，顯著性概率P值小于0.05，說明4個(gè)指標(biāo)適合做進(jìn)一步分析。旋轉(zhuǎn)得出的兩個(gè)因子方差總貢獻(xiàn)率為86.24%，符合主成分分析的要求。根據(jù)式（2）～（4）可計(jì)算出各指標(biāo)的綜合得分系數(shù)和權(quán)重并構(gòu)造出論文社會影響力計(jì)算公式（5），如下所示：

社會影響力=0.2337Twitter+0.2495Facebook+0.2462NewsOutlets+0.2706Blog（5）

3.2論文評價(jià)指標(biāo)結(jié)果分析

1）引用強(qiáng)度分布

從表9可知，被引頻次和引用強(qiáng)度之間存在一定差異。50篇文獻(xiàn)共被引1003次，篇均被引20.06次;引用強(qiáng)度總和為1583次，篇均引用強(qiáng)度為31.66。每篇被引文獻(xiàn)在單篇施引文獻(xiàn)中平均被提及約1.6次，與李錚等的研究結(jié)果相似[12]。這說明施引文獻(xiàn)在正文中多次提及同篇參考文獻(xiàn)的現(xiàn)象較為普遍。因此，相比于單純根據(jù)文后參考文獻(xiàn)統(tǒng)計(jì)文獻(xiàn)被引頻次，深入文章內(nèi)部統(tǒng)計(jì)文獻(xiàn)出現(xiàn)次數(shù)更能真實(shí)反映文獻(xiàn)被引情況，優(yōu)化傳統(tǒng)計(jì)量指標(biāo)[15]。

2）引用位置分布

處在不同位置的引文對施引文獻(xiàn)有不同的作用和貢獻(xiàn)，獲得的學(xué)術(shù)影響力理應(yīng)不同。大部分引用語句可根據(jù)實(shí)際情況標(biāo)注為引言、數(shù)據(jù)與方法、結(jié)果、結(jié)論與討論。這些引用中，在結(jié)論與討論部分出現(xiàn)的最多，占比40%;其次是引言部分;占比最少的為結(jié)果部分，只有8.96%。作者撰寫學(xué)術(shù)論文時(shí)需要在引言中引用若干文獻(xiàn)以引出問題并對研究現(xiàn)狀進(jìn)行概述;在數(shù)據(jù)與方法部分，作者通常會使用特定文獻(xiàn)的數(shù)據(jù)、方法;在結(jié)果部分，作者主要是對實(shí)驗(yàn)結(jié)果進(jìn)行分析和對比;在結(jié)論與討論部分，作者會引用他人研究做進(jìn)一步論述和展望[12，47]。

3）引用情感分布

引用情感的分布差異代表著不同引文對施引文獻(xiàn)的不同參考價(jià)值，可反映引文的不同學(xué)術(shù)影響力。根據(jù)表11可知，87%的引用為中性引用，只有少部分為正面引用和負(fù)面引用。方法部分的正面引用比例最高，論文作者在這部分有時(shí)會應(yīng)用被引文獻(xiàn)中提供的數(shù)據(jù)和方法。其次是引言和結(jié)論與討論兩部分，作者通常會在引言中表達(dá)對被引文獻(xiàn)的肯定，在結(jié)論與討論部分通過比較研究結(jié)果，用以支持研究結(jié)論。整體來看，施引文獻(xiàn)作者在撰寫論文時(shí)措辭較為嚴(yán)謹(jǐn)，不會輕易表現(xiàn)出明顯的情感傾向，多是客觀描述被引文獻(xiàn)的研究結(jié)果和結(jié)論。

4）論文Altmetrics數(shù)據(jù)情況

由指標(biāo)覆蓋率和均值可看出，所有論文都在Twitter平臺獲得了轉(zhuǎn)發(fā)或討論;有68%的論文獲得了相關(guān)新聞報(bào)道;54%的論文在Facebook上得到了關(guān)注;42%的論文被博客文章提及或引用。指標(biāo)覆蓋率初步說明，Twitter平臺上的學(xué)術(shù)交流活動(dòng)更為活躍，是一個(gè)利于擴(kuò)大學(xué)術(shù)論文社會影響的平臺。但從各指標(biāo)均值和離散程度看，不同論文得到的Twitter用戶關(guān)注存在較大差異，獲得的社會影響力也有很大不同。

3.3論文影響力評價(jià)結(jié)果分析

根據(jù)式（1）和式（5）計(jì)算50篇被引文獻(xiàn)的學(xué)術(shù)影響力和社會影響力得分及排名，結(jié)果如表13所示。論文2的學(xué)術(shù)影響力最大，得分為6.58，其引用強(qiáng)度高達(dá)105，篇均被提及約1.9次。社會影響力最大的是論文17，得分為73.06，其中Twitter和Facebook指標(biāo)值為255和14，是指標(biāo)最大值，NewsOutlets和Blog指標(biāo)值為35和5，遠(yuǎn)超指標(biāo)均值，說明該論文在各平臺上都受到了較多關(guān)注，社會影響廣泛。

為綜合評價(jià)論文影響力，檢驗(yàn)本評價(jià)模型的評價(jià)效果，筆者以學(xué)術(shù)影響力為X軸，社會影響力為Y軸，繪制散點(diǎn)圖。同時(shí)以兩個(gè)指標(biāo)均值為劃分標(biāo)準(zhǔn)，將散點(diǎn)圖分為4個(gè)區(qū)域，分別代表普通型、明星型、專業(yè)型和名作型的論文類別。從圖2可看出論文分布呈發(fā)散狀，多數(shù)論文集中在兩軸交點(diǎn)區(qū)域，即學(xué)術(shù)和社會影響力均較低的普通型論文，剩余論文則向周圍擴(kuò)散分布。明星型、專業(yè)型、名作型和普通型論文的學(xué)術(shù)影響力平均值為1.28、4.21、3.29和1.23;社會影響力均值為41.99、31.04、10.62和8.77，各類型論文分別占論文總數(shù)的22%、18%、14%和46%。

綜合來看，普通型論文的學(xué)術(shù)影響力和社會影響力水平均低于其他類型論文的水平，不太受學(xué)者和大眾關(guān)注。明星型論文的社會影響力要優(yōu)于普通型論文，學(xué)術(shù)影響力卻較低，原因是能引起大眾廣泛關(guān)注和討論的論文一般科普性或應(yīng)用性較強(qiáng)，能激發(fā)傳播交流的興趣，但相應(yīng)的學(xué)術(shù)參考和引用價(jià)值就會偏弱[48]。例如代表論文17，篇名為CosteffectivenessofFinancialIncentivesforImprovingDietandHealthThroughMedicareandMedicaid，是關(guān)于飲食健康、醫(yī)療保險(xiǎn)和補(bǔ)助等一些與大眾生活緊密相關(guān)的話題[49]。

對于專業(yè)型論文，其兩個(gè)維度的影響力與明星型論文相反。較高的學(xué)術(shù)影響力在一定程度上代表著較強(qiáng)的專業(yè)性，研究重點(diǎn)很可能是領(lǐng)域的基礎(chǔ)理論或創(chuàng)新成果。對于普通讀者來說，此類論文易讀性較低，導(dǎo)致討論欲望減小，社會影響力也就偏低。例如論文4，篇名為COSMOS-E：GuidanceonConductingSystematicReviewsandMeta-analysesofObservationalStudiesofEtiology，該研究旨在為科研工作者撰寫病原學(xué)領(lǐng)域系統(tǒng)性綜述提供步驟指導(dǎo)[50]。論文內(nèi)容專業(yè)性強(qiáng)且具有高參考價(jià)值，但普通讀者很難對此類論文發(fā)表評論和意見。

名作型論文有著高學(xué)術(shù)影響力和高社會影響力。此類論文不僅是領(lǐng)域研究者關(guān)注的焦點(diǎn)，更是大眾討論的熱點(diǎn)。例如論文7，篇名為WomensandGirlsExperiencesofMenstruationinLow-andMiddleincomeCountries：ASystematicReviewandQualita?tiveMeta-synthesis，是一篇關(guān)于中低收入國家女性月經(jīng)情況的定量與定性綜述[51]。一方面，該論文可為學(xué)者提供有關(guān)問題研究現(xiàn)狀和發(fā)展趨勢;另一方面，女性健康也是大眾關(guān)注并可參與討論的話題。

由此來看，本研究提出的論文影響力評價(jià)模型在一定程度上可以區(qū)分出不同特點(diǎn)的論文，可以實(shí)現(xiàn)對論文的評價(jià)，達(dá)到與其他評價(jià)模型[14]類似的效果，具備可用性和有效性。

3.4與其他評價(jià)方法的比較分析

為進(jìn)一步體現(xiàn)本評價(jià)模型的優(yōu)勢，證明其評價(jià)論文影響力的全面性、深入性和準(zhǔn)確性，筆者將其與被引頻次和引用強(qiáng)度進(jìn)行了對比研究。從表15可看出，學(xué)術(shù)影響力與被引頻次和引用強(qiáng)度均為顯著相關(guān)，相關(guān)系數(shù)分別為0.755和0.951，表明本評價(jià)模型中的學(xué)術(shù)影響力指標(biāo)在很大程度上能代替被引頻次指標(biāo)。從數(shù)據(jù)重復(fù)率看，被引頻次的重復(fù)率為60%，引用強(qiáng)度重復(fù)率降為32%，而學(xué)術(shù)影響力指標(biāo)僅有18%，說明絕大部分文獻(xiàn)的學(xué)術(shù)影響力得分互不相同。

圖3直觀展示了這種差異：被引頻次和學(xué)術(shù)影響力整體趨勢為“由高到低”，但顯然學(xué)術(shù)影響力的折線更加曲折多變。這種高區(qū)分度得益于該評價(jià)模型基于全文本分析引入了引用位置和引用情感兩個(gè)指標(biāo)，并為其設(shè)置了權(quán)重。因此，學(xué)術(shù)影響力指標(biāo)能夠利用權(quán)重分配帶來的數(shù)學(xué)運(yùn)算優(yōu)勢，使論文學(xué)術(shù)影響力評價(jià)趨于深入準(zhǔn)確，不同論文學(xué)術(shù)影響力得分更具差異性和區(qū)分度[3]。

圖4顯示引用強(qiáng)度和學(xué)術(shù)影響力變化曲折且相似，但仍存在細(xì)微差異。例如論文4的引用強(qiáng)度為58，但學(xué)術(shù)影響力比引用強(qiáng)度為87的論文7略高;論文7[51]是一篇系統(tǒng)綜述，多在引言部分被引且獲得的引用情感多為中性。論文4[50]是方法指導(dǎo)型論文，許多施引文獻(xiàn)在方法部分應(yīng)用了其提出的研究步驟和方法等，該類型的引用情感為正面引用。在方法部分的正面引用代表被引文獻(xiàn)的更高價(jià)值和影響，造就了論文4的高學(xué)術(shù)影響力。因此，不論是對比傳統(tǒng)的被引頻次或是引用強(qiáng)度，基于全文本分析的學(xué)術(shù)影響力指標(biāo)不再止步于“數(shù)量”，而是剖析引文“質(zhì)量”，能更細(xì)致深入地反映論文的真實(shí)學(xué)術(shù)影響力。

在顯著性水平α為0.05時(shí)，社會影響力指標(biāo)和被引頻次為弱相關(guān)，相關(guān)系數(shù)為0.289;與引用強(qiáng)度、學(xué)術(shù)影響力不存在顯著相關(guān)性。這說明一方面，社會影響力指標(biāo)與被引頻次指標(biāo)在量化論文影響力時(shí)仍存在交叉。若本研究僅選取被引頻次作為學(xué)術(shù)影響力指標(biāo)，那么它和社會影響力指標(biāo)的評價(jià)維度會有所重疊，指標(biāo)就喪失了一定的獨(dú)立性和代表性。另一方面，社會影響力指標(biāo)和學(xué)術(shù)影響力指標(biāo)之間關(guān)系獨(dú)立，能真正實(shí)現(xiàn)同時(shí)評價(jià)論文的學(xué)術(shù)影響力和社會影響力，達(dá)到本研究的目的。由此可見，社會影響力指標(biāo)會是評價(jià)論文影響力的有效補(bǔ)充，本研究提出的評價(jià)模型也能夠較好地從學(xué)術(shù)和社會兩個(gè)層面全面反映論文影響力。

4結(jié)語

本文構(gòu)建了一種結(jié)合全文本分析的論文影響力評價(jià)模型，并通過實(shí)證研究證明了該評價(jià)模型的適用性，以及評價(jià)結(jié)果的深入性、準(zhǔn)確性和全面性。具體將全文本分析涉及的引用強(qiáng)度、引用位置、引用情感和Altmetrics指標(biāo)合并且劃分成學(xué)術(shù)影響力指標(biāo)和社會影響力指標(biāo)。隨后以2019年《PLoSMedicine》中被引量前50的文獻(xiàn)及其1003篇施引文獻(xiàn)為研究樣本，描述分析了引用強(qiáng)度、引用位置、引用情感和Altmetrics指標(biāo)的具體情況，并根據(jù)兩指標(biāo)得分將論文劃分成了4種各具特點(diǎn)的論文類型，實(shí)現(xiàn)了論文的全面綜合評價(jià);最后將評價(jià)模型與傳統(tǒng)被引頻次、引用強(qiáng)度等進(jìn)行對比以及相關(guān)性分析，證實(shí)了本評價(jià)模型的優(yōu)勢所在。

研究結(jié)果表明：①單篇文獻(xiàn)在一篇施引文獻(xiàn)平均被提及1.6次，被引頻次已不能很好地反映論文學(xué)術(shù)影響力。引用行為通常發(fā)生在結(jié)論與討論、引言兩個(gè)部分。出于撰寫論文的專業(yè)性和嚴(yán)謹(jǐn)性，引用情感多為中性，正面引用易出現(xiàn)在應(yīng)用他人研究方法或比較研究結(jié)果的方法和結(jié)論與討論兩個(gè)部分;②根據(jù)論文在學(xué)術(shù)和社會層面的影響力得分高低，將論文劃分為明星型、名作型、專業(yè)型和普通型4種類型，有利于領(lǐng)域?qū)＜液推胀ㄗx者篩選符合閱讀需求的論文，也為挖掘高學(xué)術(shù)價(jià)值和社會影響的論文提供了新路徑;③將引用強(qiáng)度、引用位置和引用情感納入評價(jià)模型是對傳統(tǒng)被引頻次指標(biāo)的改進(jìn)和完善，很大程度消除了被引頻次指標(biāo)的片面性。分析引用位置和引用情感使單篇論文對其施引文獻(xiàn)的作用和貢獻(xiàn)更加具象，進(jìn)而使得評價(jià)單篇論文學(xué)術(shù)影響力更加深入、細(xì)致和準(zhǔn)確;④為引用位置和引用情感設(shè)置相應(yīng)權(quán)重，進(jìn)一步提高了評價(jià)模型的區(qū)分能力，大體消除了被引頻次和引用強(qiáng)度數(shù)值重復(fù)率過高的弊端，為更好地評價(jià)論文的學(xué)術(shù)價(jià)值和水平提供了參考;⑤評價(jià)模型包含的社會影響力指標(biāo)和學(xué)術(shù)影響力指標(biāo)間的關(guān)系相互獨(dú)立，優(yōu)勢互補(bǔ)，進(jìn)一步保證了論文影響力評價(jià)結(jié)果的全面性、深入性和準(zhǔn)確性。

本研究提出的評價(jià)模型是對已有評價(jià)模型的改進(jìn)，結(jié)合了計(jì)量分析與內(nèi)容分析，是定量分析和定性分析的有機(jī)融合，符合論文評價(jià)方法的發(fā)展趨勢[5]。本研究不足之處主要在于：①內(nèi)容分析由人工處理，數(shù)據(jù)處理量較小。在后續(xù)研究中，筆者將把研究范圍擴(kuò)展至多領(lǐng)域、多期刊的文獻(xiàn)，以期得到更具代表性的結(jié)論;②本研究獲取的Altmet?rics指標(biāo)數(shù)據(jù)覆蓋率較低，導(dǎo)致能夠進(jìn)入評價(jià)模型的指標(biāo)數(shù)量少。今后筆者將嘗試獲取更多平臺的Altmetrics指標(biāo)，融合成更具代表性的社會影響力指標(biāo);③本研究提出的評價(jià)模型需要對引文內(nèi)容和Altmetrics文本內(nèi)容進(jìn)行分析，但筆者僅初步獲取分析了引文內(nèi)容及Altmetrics指標(biāo)，得出的評價(jià)結(jié)果和結(jié)論還不夠完善。在今后的研究中，筆者將著重分析Altmetrics指標(biāo)涉及的文本內(nèi)容，使評價(jià)進(jìn)一步深入和細(xì)?；?。

3033500338279