文/陳和
替代計(jì)量學(xué)與傳統(tǒng)計(jì)量學(xué)比較研究
文/陳和
自從人類歷史跨入21世紀(jì)以來,隨著科學(xué)技術(shù)發(fā)展,特別是以Internet為代表的信息技術(shù)的迅猛發(fā)展和普及,人類的日常工作、學(xué)習(xí)和生活發(fā)生了翻天覆地的變化。反映到人類的科學(xué)研究活動,同樣也發(fā)生了巨大而深刻的變化??茖W(xué)家的科研活動不僅限于具體的實(shí)驗(yàn)室,已經(jīng)出現(xiàn)了網(wǎng)上科研協(xié)同;作為主要學(xué)術(shù)交流載體的期刊和專著,從傳統(tǒng)紙質(zhì)印刷出版逐漸轉(zhuǎn)變?yōu)閿?shù)字出版,并且出版形式越來越多樣化;學(xué)術(shù)交流以發(fā)表論文為主要形式轉(zhuǎn)變?yōu)橐訧nternet為載體的多樣化學(xué)術(shù)社交網(wǎng)絡(luò)形式。
相應(yīng)地,用于科研評價(jià)的傳統(tǒng)文獻(xiàn)計(jì)量學(xué)在科研環(huán)境已經(jīng)變化的情況下,也需要作出相應(yīng)的變化,因?yàn)樵谛碌目蒲协h(huán)境下,其科研評價(jià)的局限性日益明顯,主要表現(xiàn)為如下3個方面:
1.基于引文的傳統(tǒng)文獻(xiàn)計(jì)量指標(biāo)評價(jià)時(shí)滯過長,無法及時(shí)反映科學(xué)家的科研成果;
2.傳統(tǒng)文獻(xiàn)計(jì)量學(xué)主要評價(jià)對象為期刊論文,但期刊論文只是科學(xué)家眾多科研成果之一,評價(jià)影響力片面;
3.引文分析的固有缺陷,包括引文動機(jī)不明確,評價(jià)對象面窄,指標(biāo)數(shù)據(jù)容易作弊等。
因此,替代計(jì)量學(xué)作為新的科研評價(jià)方法應(yīng)運(yùn)而生。2010年7月,美國北卡羅來納大學(xué)博士J.Priem和B.M.Hemminger提出了科學(xué)計(jì)量學(xué)2.0(Scientometrics2.0)概念,旨在基于分析微博、社會化書簽等Web2.0應(yīng)用提供的數(shù)據(jù),即時(shí)、多角度地反映論文的影響力?;诖烁拍?,同年10月,J.Priem 與D.Taraborelli 等人在專門設(shè)立的網(wǎng)站(http://altmetrics.org/ manifesto)發(fā)表“Altmetrics: A manifesto”宣言,正式提出“Altmetrics”術(shù)語。從此,“Altmetrics”引起了全球文獻(xiàn)計(jì)量學(xué)家、教授學(xué)者以及相關(guān)專業(yè)人員的高度關(guān)注,并進(jìn)行了熱烈討論。國內(nèi)學(xué)者在介紹“Altmetrics”時(shí),把它翻譯為“替代計(jì)量學(xué)”、“補(bǔ)充計(jì)量學(xué)”、“選擇性計(jì)量學(xué)”等。本文采用“替代計(jì)量學(xué)”作為“Altmetrics”的中文譯名。
替代計(jì)量學(xué)目前還沒有形成統(tǒng)一的定義,它是一種基于社會網(wǎng)絡(luò)的影響力評價(jià)方法,通過各種工具獲得開放獲?。∣pen Access)平臺、學(xué)術(shù)社交網(wǎng)絡(luò),以及各種文獻(xiàn)管理系統(tǒng)中涉及某一研究成果的相關(guān)信息(比如下載量、引用次數(shù)、瀏覽次數(shù)、評論、轉(zhuǎn)發(fā)等),然后對這些信息數(shù)據(jù)進(jìn)行聚類分析和統(tǒng)計(jì)計(jì)算,測量研究成果受到的網(wǎng)絡(luò)關(guān)注程度,進(jìn)而全面、即時(shí)地反映科學(xué)研究的影響力。
替代計(jì)量學(xué)作為新生事物,與傳統(tǒng)計(jì)量學(xué)既相互關(guān)聯(lián),又存在差別。本文對替代計(jì)量學(xué)與傳統(tǒng)計(jì)量學(xué)進(jìn)行對比分析,并指出替代計(jì)量學(xué)在進(jìn)行推廣與未來發(fā)展時(shí)可能存在的問題與應(yīng)對思考。
無論是傳統(tǒng)計(jì)量學(xué)還是替代計(jì)量學(xué),都是為科研學(xué)術(shù)評價(jià)服務(wù),為學(xué)術(shù)成果評級、人才遴選考核等不同評價(jià)場景提供參考依據(jù)。對學(xué)術(shù)論文進(jìn)行評價(jià)不僅是對學(xué)者進(jìn)行科學(xué)創(chuàng)作及其學(xué)術(shù)作品的客觀肯定,而且科學(xué)、公正地評價(jià)對人才評估體系的建立、科學(xué)研究等具有十分重要的指導(dǎo)意義。人員職稱晉升時(shí),需要使用計(jì)量方法評價(jià)職員的學(xué)術(shù)能力及影響力;基金資助方對項(xiàng)目進(jìn)行評審時(shí),使用計(jì)量學(xué)方法對項(xiàng)目成員的學(xué)術(shù)水平進(jìn)行評價(jià)。
基于引文分析的傳統(tǒng)計(jì)量學(xué)在科研活動中起著重要的學(xué)術(shù)評價(jià)作用,但是隨著時(shí)代的發(fā)展,科研環(huán)境的變化,傳統(tǒng)計(jì)量學(xué)也將迎來自我發(fā)展和變化,即替代計(jì)量學(xué)的出現(xiàn)。替代計(jì)量學(xué)與傳統(tǒng)計(jì)量學(xué)的差異主要表現(xiàn)為如下幾個方面。
1.計(jì)量數(shù)據(jù)源
傳統(tǒng)計(jì)量學(xué)是基于引文分析的計(jì)量,所以其計(jì)量數(shù)據(jù)來源于引文數(shù)據(jù),更進(jìn)一步地說是,已經(jīng)發(fā)表的論文或?qū)V膮⒖嘉墨I(xiàn)的統(tǒng)計(jì)數(shù)據(jù)。對這些數(shù)據(jù)運(yùn)用不同計(jì)量算法得到不同的計(jì)量指標(biāo)值。由美國科學(xué)情報(bào)所(Institute for Scientific Information,ISI)創(chuàng)建并推出的科學(xué)引文索引(Science Citation Index,SCI)是國際公認(rèn)的進(jìn)行科學(xué)統(tǒng)計(jì)與科學(xué)評價(jià)的引文數(shù)據(jù)庫之一,是傳統(tǒng)計(jì)量學(xué)最常引用的數(shù)據(jù)源。SCI每年都會發(fā)布影響因子、被引頻次、即時(shí)指數(shù)等計(jì)量指標(biāo)來對知名期刊、論文等進(jìn)行排行,同時(shí)為用戶提供不同方式的引文查詢。傳統(tǒng)計(jì)量學(xué)的數(shù)據(jù)源除了SCI,還包括社會科學(xué)引文索引(Social Science Citation Index,SSCI)、工程索引(Engineering Index,EI)、國際會議索引(Index to Scientific & Technical Proceedings,ISTP),以及中國的“中國科技論文與引文分析數(shù)據(jù)庫”、“中國社會科學(xué)引文數(shù)據(jù)庫”等。
出版形式越來越多樣化;學(xué)術(shù)交流以發(fā)表論文為主要形式轉(zhuǎn)變?yōu)橐訧nternet為載體的多樣化學(xué)術(shù)社交網(wǎng)絡(luò)形式。
隨著Internet的出現(xiàn)和普及,以及出版形式多樣化的數(shù)字出版,科學(xué)家的學(xué)術(shù)成果發(fā)布已不再僅僅局限于傳統(tǒng)期刊論文的發(fā)表,越來越多的原創(chuàng)性的最新學(xué)術(shù)成果發(fā)表在開放獲取的數(shù)字出版平臺上,比如PLoS開放出版平臺。同時(shí),越來越多的科學(xué)家在科學(xué)研究和學(xué)術(shù)交流過程中應(yīng)用社會網(wǎng)絡(luò)工具(比如Twitter、Facebook等)與同行進(jìn)行學(xué)術(shù)探討,利用在線文獻(xiàn)管理工具(比如Zotero、Mendeley、CiteULike等)記錄、管理他們的工作流程。
因此,替代計(jì)量學(xué)的計(jì)量數(shù)據(jù)源除了傳統(tǒng)的引文數(shù)據(jù)外,還包括網(wǎng)絡(luò)書簽、文獻(xiàn)管理軟件、推薦系統(tǒng)、評論、微博、博客、維基百科、學(xué)術(shù)社交網(wǎng)絡(luò)和開放數(shù)據(jù)平臺等的所有用戶在網(wǎng)絡(luò)系統(tǒng)上留下的“蹤跡”數(shù)據(jù)。
2.計(jì)量對象
從計(jì)量數(shù)據(jù)的來源可知,傳統(tǒng)計(jì)量學(xué)評價(jià)的主要對象是期刊或發(fā)表論文。比如,期刊影響因子是用來計(jì)量期刊有用性和顯示度的指標(biāo),反映期刊的整體學(xué)術(shù)水平;論文被引次數(shù)用來計(jì)量期刊論文的有用性的指標(biāo),反映期刊論文的學(xué)術(shù)影響力。
替代計(jì)量學(xué)不但能夠用來對正式發(fā)表論文在論文層面進(jìn)行計(jì)量評價(jià),而且可以對開放獲取論文、工作文檔、電子圖書、研究數(shù)據(jù)集、開源軟件、演示文稿、課件、博客文章、網(wǎng)站等網(wǎng)絡(luò)學(xué)術(shù)資源進(jìn)行計(jì)量評價(jià),從不同側(cè)面計(jì)量學(xué)術(shù)成果被閱讀、討論、保存、點(diǎn)贊、推薦和引用的情況,從而對其影響力更加全面而細(xì)致的分析。
3.計(jì)量時(shí)效
一篇論文從被傳統(tǒng)期刊錄用到出版,再從出版到被引用要經(jīng)過編輯審核、同行評議、稿件修改、出版社出版、被其他作者閱讀、被其他作者在科學(xué)論文中引用、引用文章被同行評議,修改和出版等環(huán)節(jié),這個過程至少需要大概一年的時(shí)間。如果一篇論文在開放獲取平臺出版,出版后即可被瀏覽、下載,以及被各學(xué)術(shù)社交網(wǎng)絡(luò)提及、討論、推薦、加標(biāo)簽或引用等。
因此,傳統(tǒng)計(jì)量學(xué)計(jì)量時(shí)效比較漫長,對一些科研活動或成果進(jìn)行評價(jià)因?yàn)闀r(shí)間漫長而無實(shí)際意義。替代計(jì)量學(xué)的計(jì)量數(shù)據(jù)來自網(wǎng)絡(luò),可以實(shí)時(shí)獲取用戶在網(wǎng)絡(luò)系統(tǒng)上留下的“蹤跡”數(shù)據(jù),并且實(shí)時(shí)計(jì)算得出結(jié)果,計(jì)量的時(shí)效可以縮短到以天數(shù)來計(jì)量。
4. 計(jì)量影響力
傳統(tǒng)上一般認(rèn)為,如果一篇學(xué)術(shù)論文被另外的學(xué)術(shù)出版物引用,則表明該論文有一定的學(xué)術(shù)影響力??茖W(xué)家的學(xué)術(shù)影響力主要由其發(fā)表的論文被其他科學(xué)家的引用來體現(xiàn),如果科學(xué)家發(fā)表的論文越多,其他科學(xué)家引用他越多,則表明該科學(xué)家在學(xué)術(shù)界的影響力就越大。因此,基于引文的傳統(tǒng)計(jì)量學(xué)可以計(jì)量期刊和論文及其作者的學(xué)術(shù)影響力。
隨著學(xué)術(shù)開放獲取運(yùn)動的深入,以及學(xué)術(shù)社交網(wǎng)絡(luò)的普及與開放,不僅專業(yè)學(xué)術(shù)人員可以很容易地獲取科學(xué)家的學(xué)術(shù)成果,普通的非專業(yè)學(xué)術(shù)人員(如愛好者、感興趣者、新聞媒體人員等)也可以輕易地獲得他們感興趣的科學(xué)家的學(xué)術(shù)成果。專業(yè)學(xué)術(shù)人員可以在網(wǎng)絡(luò)上對學(xué)術(shù)成果進(jìn)行閱讀、下載、推薦、討論,某些專業(yè)學(xué)術(shù)人員有可能會在他們自己新創(chuàng)作的學(xué)術(shù)作品中引用這些學(xué)術(shù)成果。非專業(yè)學(xué)術(shù)人員也可以對發(fā)布的學(xué)術(shù)成果進(jìn)行閱讀、下載和討論等互動操作,然而他們未必會創(chuàng)作新的作品并引用這些學(xué)術(shù)成果,對他們的影響可能是擴(kuò)大了他們的視野,增長了個人知識,改進(jìn)了某個想法或做法,而這些影響正是學(xué)術(shù)成果的社會影響力的體現(xiàn)。通過對這些受眾群體的“蹤跡”數(shù)據(jù)(閱讀量、下載量、討論、收藏、推薦、點(diǎn)贊、引用等)進(jìn)行計(jì)量,可以測量成果的學(xué)術(shù)影響力情況和社會影響力情況。
因此,替代計(jì)量的結(jié)果不僅可以反映科學(xué)家及其學(xué)術(shù)成果的學(xué)術(shù)影響力,而且可以反映其社會影響力,并從多個角度去揭示影響力的內(nèi)涵,擴(kuò)充影響力的覆蓋范圍。
5.應(yīng)用領(lǐng)域
由于傳統(tǒng)計(jì)量學(xué)與替代計(jì)量學(xué)都是為科研評價(jià)服務(wù),所以它們都可以具體應(yīng)用于如下幾個方面:為學(xué)術(shù)研究人員遴選高質(zhì)量和高影響力的學(xué)術(shù)論文;為基金遴選資助項(xiàng)目;在機(jī)構(gòu)招募人員或評估考核研究人員時(shí),提供定量評價(jià)指標(biāo)供參考以及其他需要證明學(xué)術(shù)影響力的場景。
替代計(jì)量學(xué)與傳統(tǒng)計(jì)量學(xué)相比,還可以有如下應(yīng)用:
1.為科學(xué)家尋找潛在的合作機(jī)會。替代計(jì)量學(xué)能幫助科學(xué)家追蹤哪些人對他們的學(xué)術(shù)成果感興趣,以及追蹤如何使用學(xué)術(shù)成果中的相關(guān)數(shù)據(jù),藉此找到潛在的合作對象及資助伙伴。
2.展示科學(xué)家的社會影響力。由于替代計(jì)量學(xué)可以計(jì)量評價(jià)學(xué)術(shù)成果及作者的社會影響力,科學(xué)家可以在個人學(xué)術(shù)總結(jié)或個人簡歷附上替代計(jì)量學(xué)相關(guān)指標(biāo),為項(xiàng)目管理人員遴選項(xiàng)目或招聘單位錄用或考核人員時(shí)提供參考。另外一方面,科研單位可以引用替代計(jì)量指標(biāo)展示科研單位科研成果的學(xué)術(shù)影響力和社會影響力。
3.促進(jìn)科學(xué)研究更加公平、開放、透明。替代計(jì)量學(xué)用于科研評價(jià),評價(jià)指標(biāo)值的高低,很大程度上取決于學(xué)術(shù)成果的開放性。因此,要獲得較高評價(jià)值,科學(xué)家盡量讓自己的學(xué)術(shù)成果通過開放獲取平臺出版或發(fā)布,讓盡可能多的人發(fā)現(xiàn)、閱讀、討論、利用,從而獲得較高的學(xué)術(shù)影響力和社會影響為,并獲得大眾的認(rèn)可??蒲袡C(jī)構(gòu)也應(yīng)鼓勵科研人員的學(xué)術(shù)成果開放,并構(gòu)建本機(jī)構(gòu)知識庫,提高科研機(jī)構(gòu)的學(xué)術(shù)與社會影響力。
替代計(jì)量學(xué)在計(jì)量學(xué)領(lǐng)域?qū)儆谛屡d的事物,從術(shù)語被提出到今天,只有5年左右的時(shí)間,各方面的發(fā)展還不成熟,其存在的問題歸納起來主要表現(xiàn)在以下幾個方面:
1.計(jì)量數(shù)據(jù)源的不確定性。替代計(jì)量學(xué)的計(jì)量數(shù)據(jù)主要來源于學(xué)術(shù)開放獲取平臺和學(xué)術(shù)社交網(wǎng)絡(luò),這些平臺和網(wǎng)絡(luò)在收集用戶“蹤跡”數(shù)據(jù)時(shí)并沒有統(tǒng)一的規(guī)范,數(shù)據(jù)參差不齊。另一方面,有可能由于各種因素導(dǎo)致平臺或網(wǎng)絡(luò)終止運(yùn)行,或者產(chǎn)生新的平臺或網(wǎng)絡(luò)。
2.計(jì)量指標(biāo)有待確定和統(tǒng)一。從現(xiàn)有的文獻(xiàn)來看,不同的計(jì)量學(xué)研究者提出不同的替代計(jì)量指標(biāo),有些計(jì)量指標(biāo)的評價(jià)屬性還存在爭議,需要繼續(xù)深入探討和研究。另一方面,計(jì)量指標(biāo)影響力算法也不一致,因?yàn)椴煌笜?biāo)在不同階段所體現(xiàn)的影響力情況各不相同,而且不同來源、不同評價(jià)人員所體現(xiàn)的影響力情況也不一樣,所以需要對不同的評價(jià)指標(biāo)給予不同的分值來體現(xiàn)各項(xiàng)指標(biāo)的影響力。
3.計(jì)量指標(biāo)的不可驗(yàn)證性。與傳統(tǒng)計(jì)量學(xué)指標(biāo)相類似,由于替代計(jì)量指標(biāo)計(jì)量方法公開透明,有人可能為了某些利益想獲得較高的計(jì)量指標(biāo),根據(jù)計(jì)量方法對某個指標(biāo)進(jìn)行作弊操作,比如可通過自動下載程序連續(xù)下載論文,可在短時(shí)間內(nèi)獲得大量的下載量和頁面瀏覽量;也可能通過收買Twitter、Facebook、博客等使用者,惡意進(jìn)行分享學(xué)術(shù)成果,從而提高成果的分享量與分?jǐn)?shù)。
4.缺乏權(quán)威計(jì)量工具。目前計(jì)量評價(jià)實(shí)踐中可以參考的計(jì)量工具有Altmetric. com、ImpactStory、Plum Analytics、PLoS ALMs等。由于這些計(jì)量工具在技術(shù)層面、利益考慮等各方面原因,其涵蓋的數(shù)據(jù)源、評價(jià)策略、評價(jià)指標(biāo)等方面存在不一致性。比如,對于相同的數(shù)據(jù)源,Altmetric.com收集Google+ user數(shù)量,ImpactStory收集Google+ plugs posts數(shù)量。即使評價(jià)同一個對象,各個計(jì)量工具得出的評價(jià)結(jié)果可能并不一致。因此,各個工具之間互有利弊,缺乏權(quán)威和統(tǒng)一性。
另外,目前有關(guān)替代計(jì)量學(xué)的理論和工具都是基于英語環(huán)境和自由網(wǎng)絡(luò)之上的,若要在非英語環(huán)境下推廣和利用替代計(jì)量學(xué),可能還需要結(jié)合當(dāng)?shù)卣Z言環(huán)境和國情進(jìn)行本地化實(shí)踐。比如,國內(nèi)人群較少使用Twitter、Facebook、Google+等社交網(wǎng)絡(luò),而是比較多利用騰訊QQ、微信、微博等社交網(wǎng)絡(luò),如果利用Altmetric. com、ImpactStory等計(jì)量工具評價(jià)國內(nèi)科學(xué)家的影響力,顯然有所欠缺。
針對替代計(jì)量學(xué)存在的問題,美國國家信息標(biāo)準(zhǔn)協(xié)會(National Information Standards Organization,NISO)執(zhí)行董事Todd Carpenter的一段話很好地進(jìn)行了闡述,“如果替代計(jì)量學(xué)要走出現(xiàn)在的測試和概念驗(yàn)證階段,學(xué)界必須開始將注意力集中在給出一套公認(rèn)的定義、計(jì)算方法和數(shù)據(jù)共享實(shí)踐上。組織和科研人員如果想利用這些指標(biāo),就應(yīng)該充分地理解它們,確保其一致性和意義統(tǒng)一性,而且應(yīng)該有方法來審計(jì)其準(zhǔn)確性。我們必須就一些基本問題達(dá)成共識,包括:應(yīng)該測量哪些指標(biāo),衡量指標(biāo)質(zhì)量好壞的標(biāo)準(zhǔn),這些指標(biāo)應(yīng)該在何種粒度上進(jìn)行收集和分析,替代計(jì)量所測量的時(shí)間跨度應(yīng)該是多少,社交媒體在替代計(jì)量中的角色,要交換這些數(shù)據(jù)需要什么樣的技術(shù)基礎(chǔ)設(shè)施,以及哪個替代計(jì)量指標(biāo)是最有價(jià)值的?!币虼?,替代計(jì)量學(xué)要進(jìn)行真正推廣應(yīng)用,還必須先對上述的問題進(jìn)行研究和解答。
從傳統(tǒng)計(jì)量學(xué)發(fā)展到替代計(jì)量學(xué),這是基于科研活動在網(wǎng)絡(luò)時(shí)代發(fā)展的必然趨勢,邱均平學(xué)者認(rèn)為這種必然性源于以下5點(diǎn):
(1)科學(xué)家越來越多地使用網(wǎng)絡(luò)來進(jìn)行學(xué)術(shù)追蹤和交流;
(2)這種交流不僅在學(xué)術(shù)圈內(nèi),而且已經(jīng)成為全民的交流習(xí)慣;
(3)這種新的交流體系確實(shí)能提高交流效率,降低交流成本;
(5)開放學(xué)術(shù)運(yùn)動的不斷深化,在線科研交流成為實(shí)現(xiàn)開放學(xué)術(shù)的重要手段,勢必帶來科研交流的網(wǎng)絡(luò)化。
另一方面,人類科學(xué)研究雖然已經(jīng)進(jìn)入網(wǎng)絡(luò)時(shí)代,但是原有的科研環(huán)境并沒有被徹底替代,原有學(xué)術(shù)交流模式也沒有被終結(jié),在新舊科研環(huán)境與學(xué)術(shù)交流模式并存的情況下,為科研評價(jià)服務(wù)的傳統(tǒng)計(jì)量學(xué)與替代計(jì)量學(xué)也將并存,而且相互學(xué)習(xí),取長補(bǔ)短,共同為科研評價(jià)服務(wù)。
(作者單位為廈門大學(xué)圖書館)
放獲取運(yùn)動引領(lǐng)的出版體系變革,將以
為重要特征;