殷之明,周春雷
( 1.集美大學學校辦公室,福建廈門 361021;2.鄭州大學信息管理系,河南鄭州 450001)
?
基于h指數(shù)的專家引薦分析法與實例分析
殷之明1,周春雷2
( 1.集美大學學校辦公室,福建廈門361021;2.鄭州大學信息管理系,河南鄭州450001)
摘要:引薦分析法( CRA)通過分析高影響力作者的施引列表來尋找該作者眼中的學界同行,通過對同行h指數(shù)的分析,可以揭示引薦者本身的學術地位。文章通過對中國物理類國家重點實驗的引薦分析,驗證了其引薦水平與其領域研究地位一致。
關鍵詞:引文分析法;引薦分析法; h指數(shù);國家重點實驗室評價
歡迎按以下格式引用:殷之明,周春雷.基于h指數(shù)的專家引薦分析法與實例分析[J].重慶大學學報:社會科學版,2015( 3) :108 -113.
Citation Format: YIN Zhiming,ZHOU Chunlei. Evaluation of state key laboratory in physics on citation recommendation analysis based on H-index[J]. Journal of Chongqing University: Social Science Edition,2015( 3) :108 -113.
修回日期:2015 -01 -07
美國著名情報學家尤金?加菲爾德( E. Garfield)認為引文是學者付給同行的硬幣工資,引文測度能把一些有用的、客觀的因素引入評價過程中,而只涉及少量的使用調查技術的費用,是一種有效的同行專家評議方式[1]。葉繼元也認為引文索引可以幫助確定知識或科學的結構,反映學科之間的滲透情況,可以從一個重要側面評價被引用論文、刊載被引論文期刊以及學者、學者群體的影響程度和水平[2]。由于引文具有如此重要的價值,引文分析法自Garfield創(chuàng)立以來一直是一種經典的情報學分析方法,同時引文分析法也被發(fā)展成一種間接評價法,用以評價個人、團隊、組織、機構的學術貢獻。以此類推,對某機構學術成果的頻繁施引,意味對對機構學術貢獻的認同。
引薦分析法( Citation Recommendation Analysis,CRA)是一種新型的引文分析法,通過從施引作者入手,不斷尋找其領域同行、同行的同行來繪制整個研究領域的全景圖。它融合了引文分析法、知識圖譜分析等技術,為研究領域內的學術網絡關系和學科結構提供了新途徑。所謂引薦( Citation Recommendation,CR)是指同一施引者對某人的多次引用行為[3]。從施引者的引用行為可知,對同一作者多次引用,意味著施引者對被引者學術貢獻的認可。為了消除引薦行為的偶然性,我們將引用的下限,即至少引用的次數(shù),定義為引薦閾值( Threshold of Citation Recommendation,TCR)。只有超出引薦閾值的頻繁施引才會被采信為一次有效引薦,而一旦引用次數(shù)超出引薦閾值則數(shù)值大小將是無差別的[4]。
與傳統(tǒng)引文分析法不同的是,引薦分析法對施引者給予足夠的關注。實際上,對于同一學術成果的引用,一般作者與領域專家的重要程度也不一樣。馬鳳、武夷山認為:“一篇文獻被普通作者和知名作者引用,被粗略引用和詳細引用是不一樣的,高質量的著作常被知名作者多次引用,引用認同結合同行評議可以更全面客觀地評價作者及其著作?!保?]絕大多數(shù)低產作者對特定領域的學術興趣很不穩(wěn)定,其學術判斷未必準確,而專家往往因在特定領域進行了長期深入研究,對相應問題的看法常具有超越普通作者的見識,其對某作者的頻繁施引往往意味著對該作者學術貢獻的重視。我們在研究h指數(shù)的過程中發(fā)現(xiàn),高影響力作者的
參考文獻施引列表(其獨著或合著論文的列表的匯總)蘊藏著很有價值的信息。絕大多數(shù)高影響力作者或其所在團隊引用最多的是高影響力作者自己,其次是一些研究高度相關的同行[3]。
因此,我們在引薦分析中,通常通過h指數(shù)來遴選專家,故也稱為基于h指數(shù)的引薦分析法( H-index Based Experts Citation Recommendation Analysis,簡稱HBECRA),實質是借鑒選舉過程,將引文視作投票,借助學科專家的學術洞察力和引薦及時發(fā)現(xiàn)學界新秀、其他研究領域值得關注的學者以及國際上有影響力的學者,彌補了傳統(tǒng)引文分析法對施引者關注不足的缺憾,為研究學科結構開辟了新的途徑。如果將專家選擇尺度進一步放寬,還可以勾勒更精細的學科結構圖[3]。
同理,就一個機構而言,其研究成果經常引用普通作者和知名作者,其重要程度是不一樣的。通常機構施引的作者越知名,次數(shù)越多,我們認為對應機構越緊跟國際研究前沿,其研究成果也越具有價值。
基于h指數(shù)的專家引薦法用于評價科研人員或機構時,通常需要實施如下八個步驟。
第一步,選定學科或主題領域。當前,一方面學科、主題劃分的方法種類繁多,且相互間缺乏通用性;另一方面,學科間的交叉、融合情況日益顯著,這都給學科或主題領域的選擇帶來了困難。
第二步,領域成果最大限度的收集。難點:關于學科或領域主題的“全”和“準”。領域成果的收集關鍵在于當前的各種類別數(shù)據庫。數(shù)據庫收錄回溯時間的長短,收錄成果類型的多寡,都將對最終的評價結果產生一定影響。
第三步,學科或主題作者h指數(shù)的計算與確定,依據h指數(shù)高低,遴選出學科或主題“h指數(shù)權威專家”。難點在于甄別出同名作者,對于中文數(shù)據而言,通??梢酝ㄟ^機構加作者的方式識別,對于外文數(shù)據庫,則通常困難重重。
第四步,下載獲得對評價對象(人員或機構)的全部研究成果施引記錄。
第五步,利用自編程序分析施引情況。
第六步,分析“h指數(shù)權威專家”對被評價對象的“提名”情況。
第七步,選定引薦閾值,獲得被評價對象“引薦情況”。引薦閾值的設定需要經歷多次測試與檢驗,閾值太高的結果是引薦次數(shù)大幅減少,可能出現(xiàn)大多數(shù)被評價對象沒有獲得引薦的情況,從而無法實現(xiàn)評價比較的目標;閾值太低的結果,比如閾值為1時,導致評價的實質成了“h指數(shù)權威專家”引用評價法。
第八步,分析“引薦情況”,得出評價結論。分析的角度可以拓展,引薦次數(shù)的高低是一個方面;反過來,引薦專家的平均h指數(shù)高低是另外一個方面;同時,引薦分析法也可以與引用評價進行對比,并從二者的差異中發(fā)現(xiàn)問題。
(一)評價對象選擇與確定
依據《中華人民共和國科學技術進步法》,國家科學技術部在2002年4月公布的《國家重點實驗室建設與管理暫行辦法》中明確:“重點實驗室是國家科技創(chuàng)新體系的重要組成部分,是國家組織高水平基礎研究和應用基礎研究、聚集和培養(yǎng)優(yōu)秀科學家、開展學術交流的重要基地?!苯涍^20多年的建設與發(fā)展,國家重點實驗室作為中國基礎性研究的“國家隊”,已經成為中國國家科技創(chuàng)新體系的中堅力量。選擇國家重點實驗室,來實踐和檢驗引薦分析法評價科研機構,具有較好的代表性。故我們的引薦分析法應用評價研究選擇全部11個物理類國家重點實驗(表1)。
表1 物理類國家重點實驗室名單
(二)數(shù)據來源及其處理方法
1.基礎數(shù)據來源及處理
依據JCR選取全部物理類期刊,剔除出各大類別之間的重復期刊后,共計338種期刊,其中“PHYSICS,APPLIED”類88種,“PHYSICS,ATOMIC,MOLECULAR & CHEMICAL”類30種,“PHYSICS,CONDENSED MATTER”52種,“PHYSICS,F(xiàn)LUIDS & PLASMAS”24種,“PHYSICS,MATHEMATICAL”40種,“PHYSICS,MULTIDISCIPLINARY”65種,“PHYSICS,NUCLEAR”13種,“PHYSICS,PARTICLES & FIELDS”26種。下載上述338刊自1986年以來發(fā)表的SCI收錄論文數(shù)據,共計約185萬條作為研究的基礎數(shù)據。檢索時間為2010年6 -7月,其中“PHYSICAL REVIEW B”的檢索結果為大于10萬條僅下載其較新的70 000條。
2.實驗室相關數(shù)據檢索及說明
對各實驗室被收錄及施引情況進行了初檢索,修改校正檢索及第三次檢索,目的是通過對比分析,不斷修正。2010年7月20日,進行了研究評價對象被SCI收錄論文數(shù)據的第一輪檢索; 2010年8月1日進行了第二輪檢索,并對檢索表達式進行了調整、改進與優(yōu)化,并分別選取數(shù)據收錄起始年為1997和1986進行了兩次檢索,數(shù)據分析表明各實驗室自兩個起始年份收錄的論文數(shù)量無明顯差異,基于本次評價基礎數(shù)據的一致性考慮,同時考慮到實驗室建設年份的不一致性,特別是個別實驗室2000年以后才批準建設,本評價最終評價數(shù)據選擇1997年為論文收錄起始年。2010年8月10日,我們以1997年為起始年,對11個物理類國家重點實驗室被SCI收錄的論文和施引論文進行了最終檢索,并全部下載。檢索式及檢索結果如表2所示。
表2 第三輪檢索表達式及檢索結果
3.其他檢索結果
在第三輪檢索的過程中,我們同時記錄了11個物理類國家重點試驗室的如下數(shù)據:收錄起始年、施引論
文起始年、被引頻次、評價被引頻次以及h-index,詳見表3。
表3 物理類國家重點室評價數(shù)據檢索相關數(shù)據
(三)學科領域h指數(shù)
依據前述基礎數(shù)據,經過統(tǒng)計共有228 732位作者(不只包含第一作者),并計量得出領域內作者的h指數(shù)值。統(tǒng)計結果表明,在228 732名作者中,h指數(shù)值大于或者等于25的作者僅占總數(shù)的0. 044% ;處于20~24區(qū)間的作者有239位,占總數(shù)0. 104% ;處于15~19區(qū)間的作者有892位,占總數(shù)0. 39% ;處于10~14區(qū)間的作者有4 248位,占總數(shù)1. 857% ;處于8~9區(qū)間的作者有5 202位,占總數(shù)2. 274% ;處于6~7區(qū)間的作者有11 391位,占總數(shù)4. 98% ;為5的作者有10 499位,占總數(shù)4. 590% ;為4的作者有16 717位,占總數(shù)7. 309% ;為3的作者有28 155位,占總數(shù)12. 309% ;為2的作者有53 305位,占總數(shù)23. 305% ;為1的作者有97 983位,占總數(shù)42. 837% (詳細數(shù)據見表4)。
表4 物理領域內作者h指數(shù)值分布情況表
(四)評價結果分析
1.物理類國家重點實驗室整體引薦水平高
以半導體超晶格國家重點實驗室引用的3 899論文為基礎,分析其引薦情況。在此我們僅分析作為第一作者被引薦的情況,設置引薦闕值為5,共有113位作者獲得引薦,作者h指數(shù)值分布情況如表5第一行
所示。同樣,對全部11個國家重點實驗室的施引情況進行匯總,分別計算國家重點實驗室引薦的作者的h指數(shù)值分布情況。
表5 物理類國家重點實驗室室引用作者h指數(shù)值分布情況
整體上看,11個物理類國家重點實驗室引薦的作者整體分布情況良好,其中9個實驗室40%以上的引薦對象屬于物理學領內域h指數(shù)值前3%的頂尖作者,對于物理學領域內h指數(shù)值前15%的優(yōu)秀作者的引薦百分比分別達到:79. 65、82. 35、56. 60、94. 89、76. 92、61. 70、68. 97、67. 61、68. 42、75. 76、67. 44。特別是南京大學固體微結構物理國家重點實驗室對頂尖作者的引薦占其總引薦量的79%,其對前15%的優(yōu)秀作者的引薦百分比分別達到94. 89。
2.引薦結果與被引頻次、h-index相關度不高
把11個國家重點實驗室對于物理學領域內h指數(shù)值前15%的優(yōu)秀作者的引薦百分比進行排序,對表3獲得的檢索結果中的評價被引頻次以及h指數(shù)值進行排序,生成表6。
表6 物理類國家重點室三類排序情況比較表
通常情況下被引頻次、機構h指數(shù)值是科研機構評價的重要指標,下面分析引薦評價指標與這兩個評價指標之間的關系。從表6可以看出,11個實驗室中,半導體超晶格、固體微結構物理、精密光譜科學與技術、人工微結構和介觀物理共5個實驗室的三類排序相對穩(wěn)定,即相互間的排序差不超過1。非線性力學、核物
理與核技術、聲場聲信息、應用表面物理共4個實驗室三類排序差較大,差值達到4或者以上。通過對三個評價指標做簡單相關分析,得出三者皮爾森相關系數(shù)表(表7)。僅從相關系數(shù)的數(shù)值分析,引薦分析法用于評價與傳統(tǒng)的科研機構評價結果相關度不高??梢猿醪秸J為,其用于機構評價的信度和效度有待從其他角度去研究和論證。
表7 三大評價結果序皮爾森相關系數(shù)表
從引用到引薦,其本質都是希望通過對已有成果的利用,通過施引者與被引者,引薦者與被引薦者的關系,來揭示他們的影響、認同、推薦關系。本應用研究的基本思想是:一流的科學家必然緊緊跟著學科前沿,其應用(引用)的文獻也以其本身或者其他一流的科學家為主,并由此引申到一流的研究機構其研究成果也因該是對一流成果和頂尖作者的引用。研究的目的是為了從引薦的角度去驗證中國物理學研究的頂尖機構——物理類國家重點實驗室是否引薦了一流的作者,結果也證明了我們的假設。
本研究下載了大量的數(shù)據,進行了海量的計算,然而受時間和精力的限制,本研究在數(shù)據的完整性和數(shù)據的精準性方面還可以大幅提高。例如,中國物理類國家重點實驗室室批準成立掛牌的時間本身就差異較大,缺少了對每一個實驗室發(fā)展階段的把握,對其研究成果的檢索就存在一定的瑕疵。
[1]尤金?加菲爾德.引文索引法的理論及應用[M].侯漢清,等,譯.北京:北京圖書館出版社,2004:233.
[2]葉繼元.引文法既是定量又是定性的評價法[J].圖書館,2005( 1) :43 -45.
[3]周春雷.引薦分析法:一種新的引文分析法[J].情報學報,2010( 4) :671 -678.
[4]馬鳳,武夷山.引用認同——一個值得注意的概念[J].圖書情報工作,2009,53( 16) :27 -30,115.
(責任編輯傅旭東)
Evaluation of state key laboratory in physics on citation recommendation analysis based on H-index
YIN Zhiming1,ZHOU Chunlei2
( 1. Administration Office of Jimei University,Xiamen 361021,P. R. China; 2. Department of Information,Zhengzhou University,Zhengzhou 450001,P. R. China)
Abstract:Citation Recommendation Analysis searches the peers of the high influence authors through analyzing their citation identity,and can reveal Academic status on Analysis on H-index. The paper analyzes physics state key laboratory with CRA,and proves that its status fits its position.
Key words:citation analysis; citation recommendation; H-index; state key laboratory; evaluation
作者簡介:殷之明( 1974 - ),男,湖南寧鄉(xiāng)人,集美大學副研究館員,博士,主要從事教育管理與評價研究。
基金項目:ISTIC - THOMSON科學計量學聯(lián)合實驗室開放基金項目“國家重點實驗室評價指標體系研究”( IT2009006) ;教育部人文社會科學研究項目“面向服務的高校圖書館績效評價研究”( 11YJC870032)
doi:10. 11835/j. issn. 1008 -5831. 2015. 03. 013
中圖分類號:C3
文獻標志碼:A
文章編號:1008-5831( 2015) 03-0108-06