發(fā)表后正面評議對口腔醫(yī)學論文的引用影響力的作用

余皖鑫# 張翠翠# 梁兆佳 余 挺秦文光

（廣州醫(yī)科大學口腔醫(yī)學院 廣東·廣州 510140）

盡管傳統(tǒng)的發(fā)表前同行評議仍是學術成果評價的基石，其固有缺陷如今飽受詬病，如程序不透明、評審時間過長甚至糾錯功能失效。這些問題導致其不能很好地滿足當前爆炸式增長的學術成果的評價需求。新型評價模式如發(fā)表后同行評議、社交媒體相關計量指標相繼涌現(xiàn)，有望與傳統(tǒng)評議相輔相成，從而維持學術成果的高水準?！扒茖W家”（Faculty of 1000 Scientists，F(xiàn)1000）于2002年從全球邀請數(shù)千名各領域的頂尖生物學家和醫(yī)學家組成生物醫(yī)學專家?guī)?，并率先采用發(fā)表后同行評議模式發(fā)表論文（F1000Research為其官方雜志），對學術出版標準影響深遠。而且，F(xiàn)1000于2009年上線專家推薦和質量打分為特色的評議服務，組成F1000Prime Recommendations（FPR）數(shù)據庫。專家?guī)斐蓡T被委以重任，即篩選PubMed索引的重要論文，幫助科研人員在信息過載而閱讀時間有限的困境下獲取更有價值的文獻。專家在推薦論文時，需撰寫一份正面評議，闡述該論文為何重要，并分三級進行質量打分（好/Good、極好/Very Good、杰出/Exceptional，分別賦分1、2、3）。FPR平臺綜合各專家打分給出一個FFa分值（F1000 Article Factor），即F1000因子，該因子近年常作為論文質量的評價指標。為此，F(xiàn)PR逐漸成為不同于傳統(tǒng)模式的新型科研評價數(shù)據源，不少科研人員以被FPR推薦為榮。

生物醫(yī)學領域（包括遺傳學、免疫學、醫(yī)學等）相繼有研究探索了以FPR為代表的發(fā)表后正面同行評議與論文影響力的關系，部分研究發(fā)現(xiàn)二者的正向聯(lián)系。然而，口腔醫(yī)學領域仍罕見此類新型學術評價工具的探索，可能歸因于知識或態(tài)度欠缺。盡管如此，時有口腔類論文被FPR推薦為“好/Good”質量論文。在此種背景下，探索發(fā)表后正面評議與口腔類論文影響力的關系，對口腔醫(yī)學科研人員具有積極示范效應。本研究猜想，在口腔醫(yī)學領域，發(fā)表后正面評議的論文具有更高的引用影響力。本研究以FPR作為數(shù)據源，探索專家推薦和質量打分對口腔類論文的引用影響力的作用。

1 方法

以Scopus數(shù)據庫收錄的187種口腔類期刊的ISSN號為關鍵詞，在PubMed數(shù)據庫上檢索出這些期刊出版的所有論文（訪問時間2018年1月27日）。在PubMed過濾器中個性化設置，識別出被FPR推薦的論文（簡稱FPR論文），并在F1000官網確認。FPR論文的題錄信息包括標題、出版日期、期刊等由PubMed導出。論文被引次數(shù)、對應的期刊影響力CiteScore指數(shù)（Journal CiteScore,JCS）從Scopus獲取。FPR論文的推薦數(shù)據包括FFa分值、推薦日期、推薦專家的姓名和專長標簽、論文標簽（包括改變臨床實踐/Changes Clinical Practice,確認/Confirmation,爭議/Controversial,教學好素材/Good for Teaching,有趣猜想/Interesting Hypothesis,新發(fā)現(xiàn)/New Finding,新藥靶點/Novel Drug Target,反駁/Refutation,技術進展/Technical Advance,臨床研究（非隨機對照）/Clinical Trial:not RCT,臨床研究（隨機對照）/Clinical Trial:RCT,系統(tǒng)評價或Meta分析/Systematic Review/Meta-analysis，綜述或評論/Review/Commentary）從F1000官網獲得。定義一篇論文的推薦時間效應=（訪問時間－推薦時間）÷（訪問時間－發(fā)表時間）×100%。

依據Scopus數(shù)據庫的篩選功能，將FPR論文分為綜述和論著兩類。綜述、系統(tǒng)評價、薈萃分析、評論、專家共識歸入綜述類。論著類除包括原創(chuàng)性研究類論文，亦納入病例研究、新技術新材料。每篇FPR論文均匹配一組非推薦（NR，Non-recommended）論文子集，作為對照。為盡量保證二者與引用影響力相關的傳播屬性相近，每個NR子集與其對應的FPR論文來自同一期刊的同一出版年，且論文類型一致，該條件經Scopus限制功能實現(xiàn)。每個NR子集的論文被引次數(shù)的中位數(shù)或算術均數(shù)作為對應FPR論文的被引次數(shù)對照。為保證3年以上的引用窗口期，在與NR論文比較被引次數(shù)時，剔除2015年1月前發(fā)表的FPR論文。

統(tǒng)計檢驗和分析使用軟件（SPSS17.0，IBM）實現(xiàn)，所有變量接受正態(tài)性檢驗。結果主要以中位數(shù)和四分位間距呈現(xiàn)，即中位數(shù)（Q1，Q3）。Spearman等級相關用于相關性分析。FPR與NR論文的被引差異采用非參數(shù)Wilcoxon檢驗（兩相關樣本）。FPR論文中，帶論文標簽與不帶者之間的被引或FFa分值差異，采用非參數(shù)Mann-Whitney U檢驗。檢驗水準P<0.05。

2 結果

（1）口腔醫(yī)學FRP論文的總體情況：口腔類FPR論文共篩選出 75篇，占 Scopus索引的口腔醫(yī)學領域論文總數(shù)（304,281）的0.025%。這些FPR論文來自21個口腔類期刊，大部分（42/75）來自口腔頜面外科期刊，其次是綜合性期刊J Dent Res（14/75）。3篇（4.0%）來自非科學引文索引（SCI，Science Citation Index）期刊，3篇來自開放獲取期刊。絕大部分（63/75）FPR論文是論著。

（2）FPR論文的推薦特征：FPR論文的發(fā)表和推薦時間分別為67（44,91）和64（27,87）個月，推薦時間效應達97.73（84.60,100）（%），即這些論文發(fā)表后1.0（0,5.5）個月即被推薦。在過去15年時間（自F1000生物學2002年上線），F(xiàn)PR論文數(shù)量隨時間呈增長趨勢。除開2018年，2010～2017年的FPR論文數(shù)量是2002～2009年的4倍以上（58/14）。

75篇FPR論文由62名專家推薦，每篇論文由1～3[1.0（1.0,2.0）]名專家推薦，每名專家推薦 1～8[1.0（1.0,2.0）]篇FPR論文。大部分（44/75）專家來自北美地區(qū)，尤其是美國（42/75）。由于FPR的學科分類不涉及口腔醫(yī)學，所有專家的專長標簽均為非口腔領域，主要包括耳鼻咽喉科學、腫瘤學、風濕病學及臨床免疫學、微生物學、麻醉學及疼痛管理等。

FPR論文的質量評分，即FFa分值平均為1.0（1.0,1.5）。大部分（56/75）FPR論文被評為“好”，小部分為“極好”，僅1篇論文得4分（2個“極好”）但未被評為“杰出”。近一半FPR論文獲標簽“新發(fā)現(xiàn)”（34/75），其次為“確認”（15/75）和“有趣猜想”（10/75）。

（3）FPR論文相對于NR對照是否存在被引優(yōu)勢？在75篇FPR論文中，納入61篇發(fā)表超過3年的論文用于比較被引差異。與61篇 FPR論文相對照的61個 NR子集，共包含5,678篇NR論文，每個子集包含140（91,173）篇NR論文。這些NR論文平均被引13（6,26）次。與NR子集的被引次數(shù)的中位數(shù)相比，F(xiàn)PR論文的被引次數(shù)高28.57%[18（10,34）vs.14（7,21）,Z=-4.05,P<0.001]。即使與NR子集的被引次數(shù)的均數(shù)相比，F(xiàn)PR的被引次數(shù)依然更高（Z=-2.288,P=0.022）（圖 1）。

圖1：FPR論文與NR子集、NR論文的被引次數(shù)差異

Spearman相關性分析顯示，F(xiàn)PR論文的FFa分值與其被引次數(shù)（R=0.171,P=0.187）及對應期刊影響力指數(shù) JCS（R=0.099,P=0.447）無顯著相關性。相比之下，JCS與FPR論文的被引次數(shù)（R=0.506,P<0.001）及NR子集的被引次數(shù)中位數(shù)（R=0.675,P<0.001）均顯著正相關。FPR論文被引次數(shù)與NR子集的被引次數(shù)中位數(shù)亦顯著正相關（R=0.580,P<0.001）。

（4）論文類型和標簽對FPR論文被引和質量評分的影響：FPR論文中，綜述的被引次數(shù)明顯高于論著（P=0.004），而兩者的FFa分值相當。標簽為“有趣猜想”的論文比不帶該標簽者的FFa分值更高（P=0.006），但二者被引次數(shù)相當。標簽為“新發(fā)現(xiàn)”、“確認”、“教學好素材”的論文與未標記相應標簽者相比，被引次數(shù)、FFa分值均無差異（表1）。

表1：FPR論文中不同論文類型或標簽之間的被引次數(shù)、FFa分值差異

3 討論

基于FPR數(shù)據源，本研究首次探索了專家推薦和質量打分對口腔醫(yī)學論文的引用影響力的作用。結果發(fā)現(xiàn)，專家推薦意味著論文未來被引增加29%。直接的原因可能是專家推薦的論文質量更高或更重要，從而產生被引優(yōu)勢。該結果與以往針對非口腔領域的研究結果似乎一致，即FPR論文的質量打分越高，未來被引次數(shù)越高。然而，這種正向相關的強度普遍不高，可能因為專家的質量打分在某種程度上依賴于非質量因素，如期刊名聲（即期刊影響力）。本研究采用病例-對照的設計，將FPR論文及其對照限定在同一來源出版物和出版時間，排除了期刊名聲的混雜影響。該設計使得兩組的被引次數(shù)一致性達58%，剩余42%的不一致則包含了兩者的質量差別和其他成分。至于質量打分與被引次數(shù)未發(fā)現(xiàn)相關性，可能歸因于該設計將期刊名聲的潛在混雜效應排除在外，或歸因于FPR文章樣本量偏小。

本研究中，論文標簽影響質量打分，標簽為“有趣猜想”的FPR論文較無該標簽者的FFa分值更高。類似地，醫(yī)學領域的FPR論文亦發(fā)現(xiàn)帶“改變臨床實踐”標簽的FFa分值較不帶者更高。根據Du等分類，帶這兩種標簽的論文歸為變革性或轉化性研究，這類論文較非原創(chuàng)性研究（如標簽為“綜述或評論”的論文）或基于證據的研究類論文（如標簽為“系統(tǒng)評價或Meta分析”的論文）不具被引優(yōu)勢，但質量打分更高。因此，相比于被引次數(shù)，反映論文質量的FFa分值可能更適用于辨識轉化類或冒險性研究。另外，某些論文標簽亦可反映論文的社會影響力。Bornmann等發(fā)現(xiàn)標簽為“教學好素材”的論文的社交網絡（即Facebook和Twitter）替代計量學分值較無該標簽者更高?？偨Y來看，論文標簽是影響被引次數(shù)或質量評價的可視化因素，因此可作為評價論文影響力（包括科學和社會學方面）的補充性指標。

盡管F1000的專家推薦可指示高質量的科研成果并意味著更高的引用影響力，此模式亦存在一些問題。首先，專家推薦具有主觀性，且并無公開的論文推薦標準或質量高低的鑒別標準。其次，專家的正面評議大都簡短，論文標簽的賦予常過于隨意。第三，專家的遴選具有明顯地理偏向。本研究和以往研究顯示，大部分專家來自北美。第四，不同學科間以及同一學科內的專業(yè)偏向亦非常明顯。本研究中，F(xiàn)PR論文僅占口腔醫(yī)學論文的0.025%，遠低于生物醫(yī)學領域的平均水平（2%）。而且，大部分FPR論文偏向口腔頜面外科，且大部分專家被標記為非口腔醫(yī)學專長（如耳鼻咽喉科學）。主要因為口腔頜面外科與大醫(yī)學的關系更為密切，且FPR數(shù)據庫未下設口腔醫(yī)學門類。最后，沒有一篇FPR論文被評為“杰出”，這并非意味著口腔領域沒有優(yōu)秀的工作。相反，可能因為FPR的專家?guī)焐腥狈Ω鼘I(yè)視野的學者去挖掘口腔領域的漂亮成果，畢竟不同專業(yè)領域的學者對同一作品存在認知差異。非專業(yè)內的學者在物色FPR論文時，可能僅因從論文中獲得了某些靈感。而只有專業(yè)內的學者，方可從學科發(fā)展角度預見性判斷一項工作的重要性。作為一種新的科學評價模式，發(fā)表后同行評議包括FPR正經歷成長之痛，但其與傳統(tǒng)同行評議的目標是一致的，二者相輔相成終將不斷提高科學成果的質量。

本研究存在一些不足。首先，F(xiàn)PR論文的樣本量相對偏小，除限制了以部分文章標簽作為分類變量的分析外，也限制了以某些可能影響論文影響力的外在因素（如合作活躍性指標包括作者、機構、國家數(shù)量）為分組變量的分析。以這些外在因素作為考慮變量的大型前瞻性同行評議研究，或者新型評價系統(tǒng)的升級（如擴展來自口腔領域的FPR專家?guī)欤┯型鉀Q這一問題。其次，被引次數(shù)、專家推薦和質量打分分別只是論文影響力、論文質量的一維性反映，而后兩者都是多維度的?；谶@兩種指標的外延性解釋應謹慎，避免單獨使用。比如，某些中性或負面引用甚至零引用，也存在潛在影響力。被引次數(shù)很高但未被推薦的論文在本研究及以往研究中亦不少見。今后研究應開發(fā)更可靠的補充性指標（如替代計量指標和負面指標），使用多重指標（既有定量的也有定性的）而非簡單的被引次數(shù)或專家打分，更全面地評價論文或學者個體的貢獻。

綜上，專家推薦和質量打分可能有利于促進口腔醫(yī)學論文的被引優(yōu)勢從而提高其影響力。專家賦予的論文標簽可作為評價論文質量或影響力的補充性指標。發(fā)表后正面同行評議的新型模式需要口腔科學共同體的更多參與。