蔡麗華 倪代川

（1. 上海大學(xué)圖書情報(bào)檔案系，上海 200444；2. 上海大學(xué)圖書館，上海 200444）

科學(xué)數(shù)據(jù)，又稱科學(xué)研究數(shù)據(jù)，或研究數(shù)據(jù)，是指被收集起來且被視為推理、討論或計(jì)算基礎(chǔ)的所有信息，特別是需要審查的事實(shí)或數(shù)字，包括統(tǒng)計(jì)數(shù)據(jù)、實(shí)驗(yàn)結(jié)果、測量結(jié)果、實(shí)地觀察結(jié)果、調(diào)查結(jié)果、訪談?dòng)涗浐蛨D像等[1]。在數(shù)據(jù)密集型時(shí)代，科學(xué)數(shù)據(jù)已經(jīng)成為推動(dòng)學(xué)術(shù)研究發(fā)展與進(jìn)步最基礎(chǔ)與重要的內(nèi)容[2]，科學(xué)數(shù)據(jù)評價(jià)對完善科學(xué)數(shù)據(jù)管理、推動(dòng)科學(xué)數(shù)據(jù)開放共享意義重大。2021年10月底，筆者以“科學(xué)數(shù)據(jù)”或“研究數(shù)據(jù)”“科研數(shù)據(jù)”“開放數(shù)據(jù)”“政府?dāng)?shù)據(jù)”為篇名，以“評價(jià)”或“評估”作為并列篇名，在中國知網(wǎng)、國家圖書館館藏書目檢索出126篇文獻(xiàn)；再以“scientific data”或“research data”“open data”“government data”為篇名，“assess*”或“evaluat*”為并列篇名在Web of Science、Scopus數(shù)據(jù)庫中檢索出99篇文獻(xiàn)。最后經(jīng)過深度閱讀研究篩選出109篇重要相關(guān)文獻(xiàn)。鑒于開放數(shù)據(jù)、政府?dāng)?shù)據(jù)在一定程度上屬于被收集起來且被視為推理、討論或計(jì)算基礎(chǔ)的信息，與科學(xué)數(shù)據(jù)存在交叉。為保證研究的完整性與科學(xué)性，因此將開放數(shù)據(jù)、政府?dāng)?shù)據(jù)相關(guān)評價(jià)研究納入綜述內(nèi)容。雖然胡惠芳等[3]對科學(xué)數(shù)據(jù)評價(jià)展開綜述，但是二者研究重點(diǎn)不同，本文側(cè)重對科學(xué)數(shù)據(jù)各方面及其評價(jià)指標(biāo)、評價(jià)流程以及評價(jià)方法的歸納，兩者所得結(jié)論也不相同。該領(lǐng)域文獻(xiàn)量從2014年后有明顯上漲趨勢，研究方向較為新穎，因此對科學(xué)數(shù)據(jù)評價(jià)展開綜述有利于揭示現(xiàn)有研究現(xiàn)狀，推動(dòng)國內(nèi)相關(guān)理論研究與實(shí)踐發(fā)展。

1 科學(xué)數(shù)據(jù)評價(jià)內(nèi)容研究

隨著對科學(xué)數(shù)據(jù)認(rèn)識的深入，科學(xué)數(shù)據(jù)評價(jià)的影響因素也在不斷改變與更新。目前，科學(xué)數(shù)據(jù)評價(jià)主要是針對科學(xué)數(shù)據(jù)的某一要素或要素的某一方面展開研究。這些要素主要包括科學(xué)數(shù)據(jù)所處背景、數(shù)據(jù)本身質(zhì)量、元數(shù)據(jù)質(zhì)量、開放度、管理服務(wù)、開放平臺、相關(guān)組織等。而這些要素的質(zhì)量都會直接或間接地影響科學(xué)數(shù)據(jù)評價(jià)，并不斷成為科學(xué)數(shù)據(jù)評價(jià)不可或缺的一部分。其中科學(xué)數(shù)據(jù)所處背景常與其他要素一同進(jìn)行評價(jià)。本部分主要從下述方面展開論述。

1.1 科學(xué)數(shù)據(jù)質(zhì)量評價(jià)

科學(xué)數(shù)據(jù)的質(zhì)量對于確?？茖W(xué)研究及其分析結(jié)果的可靠性至關(guān)重要[4]，對科學(xué)數(shù)據(jù)質(zhì)量進(jìn)行有效檢驗(yàn)與評估可以提高科學(xué)數(shù)據(jù)的有效利用以及推動(dòng)科學(xué)數(shù)據(jù)開放共享。國內(nèi)外對于科學(xué)數(shù)據(jù)質(zhì)量評價(jià)研究主要集中在科學(xué)數(shù)據(jù)質(zhì)量影響因素、評價(jià)指標(biāo)兩方面。此外也有研究希望通過啟發(fā)式算法實(shí)現(xiàn)自動(dòng)推斷數(shù)據(jù)集內(nèi)容并執(zhí)行數(shù)據(jù)質(zhì)量評估的目標(biāo)，但在技術(shù)實(shí)現(xiàn)與實(shí)際應(yīng)用上仍有困難[5]。也有研究通過全面數(shù)據(jù)質(zhì)量管理方法（Total data quality management，TDQM）對科學(xué)數(shù)據(jù)質(zhì)量進(jìn)行分析與改進(jìn)，以提高科學(xué)數(shù)據(jù)質(zhì)量水平[6]。其中，科學(xué)數(shù)據(jù)質(zhì)量的影響因素[7-8]主要有元數(shù)據(jù)標(biāo)準(zhǔn)的建設(shè)質(zhì)量、數(shù)據(jù)生命周期各流程的相關(guān)操作、相關(guān)技術(shù)支持（包括數(shù)據(jù)清洗技術(shù)、開發(fā)數(shù)據(jù)質(zhì)量監(jiān)測與反饋技術(shù)等）?？茖W(xué)數(shù)據(jù)質(zhì)量評價(jià)主要圍繞數(shù)據(jù)開放[9-10]、數(shù)據(jù)救援[11]、數(shù)據(jù)期刊同行評議[12]、特定領(lǐng)域數(shù)據(jù)[8,13]等角度展開，評價(jià)維度主要涵蓋數(shù)據(jù)集類別、數(shù)據(jù)形式、數(shù)據(jù)效用、數(shù)據(jù)內(nèi)容質(zhì)量、數(shù)據(jù)透明度、數(shù)據(jù)開放性等方面。

科學(xué)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)目前并沒有統(tǒng)一的規(guī)范，學(xué)科領(lǐng)域、出發(fā)點(diǎn)以及評價(jià)情境的不同對科學(xué)數(shù)據(jù)質(zhì)量的評價(jià)標(biāo)準(zhǔn)也不盡相同。評價(jià)維度與指標(biāo)之間并非完全獨(dú)立，它們可能部分重疊。而且各維度之間并不是相互獨(dú)立的，同一組的維度之間或組與組之間也存在相關(guān)性。但也有一些被普遍認(rèn)同的指標(biāo)，如一致性、時(shí)效性（及時(shí)性）、完整性、準(zhǔn)確性等數(shù)據(jù)質(zhì)量內(nèi)在屬性，以及開放性、可理解性、可獲取性等應(yīng)用層面的評價(jià)指標(biāo)。其中，值得注意的是，現(xiàn)有評價(jià)指標(biāo)與FAIR原則，即實(shí)現(xiàn)數(shù)字資源的可查找性（findability）、可訪問性（accessibility）、互操作性（interoperability）和可重用性（reusability）[14]有著高度重合，這也意味著國內(nèi)外對于提高科學(xué)數(shù)據(jù)的開放性、透明性與可重用性有一致的看法。目前對科學(xué)數(shù)據(jù)質(zhì)量評價(jià)的研究還處于一個(gè)不成熟階段，存在實(shí)驗(yàn)數(shù)據(jù)不充分、分析不夠系統(tǒng)等問題。另外，學(xué)者提出有效的科學(xué)數(shù)據(jù)質(zhì)量評價(jià)框架是有限的，適用范圍也不夠廣泛。

1.2 科學(xué)數(shù)據(jù)元數(shù)據(jù)評價(jià)

在科學(xué)數(shù)據(jù)管理與開放共享過程中，元數(shù)據(jù)作為“數(shù)據(jù)的數(shù)據(jù)”發(fā)揮了重要作用，為用戶發(fā)現(xiàn)數(shù)據(jù)和再利用數(shù)據(jù)提供了依據(jù)[15]。而元數(shù)據(jù)能否發(fā)揮重要作用取決于元數(shù)據(jù)質(zhì)量的好壞?，F(xiàn)有評價(jià)體系的確立主要有兩種方法：第一種是基于林業(yè)數(shù)據(jù)資源特征與生命周期理論構(gòu)建評價(jià)體系[7]；第二種是通過建立不同元數(shù)據(jù)標(biāo)準(zhǔn)的元數(shù)據(jù)屬性與DCAT詞匯表之間的映射關(guān)系來構(gòu)建評價(jià)體系[16]。以上研究雖出發(fā)點(diǎn)不同、評價(jià)方法不同，但確定的評價(jià)體系有高度相似性，在元數(shù)據(jù)的開放性、完整性、可獲取性、兼容性、合規(guī)性等評價(jià)指標(biāo)上存在高度認(rèn)同。另外有研究對元數(shù)據(jù)元素進(jìn)行描述性分析[17]，對元數(shù)據(jù)評價(jià)有一定的指導(dǎo)意義。就目前的研究成果而言，單獨(dú)針對科學(xué)數(shù)據(jù)元數(shù)據(jù)質(zhì)量評價(jià)研究較為欠缺，多是與科學(xué)數(shù)據(jù)其他要素一同納入評價(jià)體系，或是作為科學(xué)數(shù)據(jù)某一要素的某一方面進(jìn)行評價(jià)[18-19]?，F(xiàn)階段研究對元數(shù)據(jù)質(zhì)量不夠重視，且現(xiàn)有評價(jià)體系不夠完善，缺乏實(shí)證驗(yàn)證，即缺乏細(xì)粒度的評價(jià)案例和實(shí)際應(yīng)用的評價(jià)系統(tǒng)，因此其評價(jià)體系的可行性與科學(xué)性有待進(jìn)一步確認(rèn)。

1.3 科學(xué)數(shù)據(jù)開放評價(jià)

科學(xué)數(shù)據(jù)作為一個(gè)高價(jià)值的信息來源，其在收集過程中耗費(fèi)巨大，因此在現(xiàn)有研究完成后應(yīng)公開訪問并免費(fèi)提供。目前研究主要集中在科學(xué)數(shù)據(jù)開放現(xiàn)狀，即準(zhǔn)備度與開放度評價(jià)兩方面。但同時(shí)關(guān)注準(zhǔn)備度與開放度評價(jià)的研究較少，研究不夠深入?？茖W(xué)數(shù)據(jù)開放準(zhǔn)備度是指科學(xué)數(shù)據(jù)所處的內(nèi)外部環(huán)境，這是科學(xué)數(shù)據(jù)開放的基礎(chǔ)和支撐。重視對科學(xué)數(shù)據(jù)開放的前期準(zhǔn)備能夠最大程度地避免開放數(shù)據(jù)項(xiàng)目的盲目開展，進(jìn)一步促進(jìn)科學(xué)數(shù)據(jù)開放共享。科學(xué)數(shù)據(jù)開放準(zhǔn)備度評估研究在國內(nèi)已初露頭角，其評價(jià)體系主要圍繞以下維度展開：法律法規(guī)、政策、領(lǐng)導(dǎo)力、組織與管理、經(jīng)濟(jì)技術(shù)與社會、開放數(shù)據(jù)需求等?？茖W(xué)數(shù)據(jù)開放度與科學(xué)數(shù)據(jù)準(zhǔn)備度不同，其注重開放的過程和結(jié)果，評價(jià)指標(biāo)體系研究成果較為豐富，主要圍繞開放質(zhì)量、相關(guān)保障、用戶易用、相關(guān)服務(wù)以及基礎(chǔ)建設(shè)五個(gè)維度展開[20-21]，雖然評價(jià)主體存在一定的差異，但在評價(jià)指標(biāo)上存在一定的相似度。

目前科學(xué)數(shù)據(jù)開放評價(jià)研究除了圍繞構(gòu)建評價(jià)體系外，多是圍繞分析、比較國外政府開放數(shù)據(jù)項(xiàng)目中的評價(jià)體系（如Open Data Barometer、Open Data Index、Open Data Census、European PSI Scoreboard、Open Data Compass等）[22]，主要包括政府效率、透明與問責(zé)、環(huán)境可持續(xù)性、包容被邊緣化的群體、經(jīng)濟(jì)增長和支持企業(yè)家精神這6個(gè)指標(biāo)，研究對象多為政府?dāng)?shù)據(jù)，并逐步關(guān)注與研究基于中國實(shí)踐的開放政府?dāng)?shù)據(jù)評價(jià)框架和指標(biāo)體系，對其他領(lǐng)域科學(xué)數(shù)據(jù)開放評價(jià)關(guān)注度不足。此外，對科學(xué)數(shù)據(jù)開放評價(jià)的研究成果還包括開放發(fā)展速度評價(jià)、開放有效性評價(jià)、開放數(shù)據(jù)更新等，雖然成果豐富，但是關(guān)注點(diǎn)并不聚焦，理論研究不夠成熟。

1.4 科學(xué)數(shù)據(jù)管理服務(wù)評價(jià)

科學(xué)數(shù)據(jù)管理能夠?yàn)檠芯咳藛T提供快速、高質(zhì)量、長期訪問數(shù)據(jù)的機(jī)會，充分實(shí)現(xiàn)其價(jià)值?，F(xiàn)有研究主要關(guān)注科學(xué)數(shù)據(jù)管理服務(wù)能力評價(jià)，對科學(xué)數(shù)據(jù)管理需求評價(jià)涉及較少。

科學(xué)數(shù)據(jù)管理服務(wù)基于英國數(shù)據(jù)管理中心（DCC）的理解是在科學(xué)數(shù)據(jù)生命周期中進(jìn)行維護(hù)、保存以及使科學(xué)數(shù)據(jù)增值的管理服務(wù)，該服務(wù)貫穿數(shù)據(jù)從創(chuàng)建與接收到保存、描述與再創(chuàng)造等過程中。對科研數(shù)據(jù)管理服務(wù)進(jìn)行評價(jià)，有助于推動(dòng)科學(xué)交流與合作以及科學(xué)數(shù)據(jù)開放共享與利用?，F(xiàn)有科學(xué)數(shù)據(jù)管理服務(wù)評價(jià)對象主要為科學(xué)數(shù)據(jù)、科學(xué)數(shù)據(jù)管理基礎(chǔ)設(shè)施和科學(xué)數(shù)據(jù)管理服務(wù)三類，評價(jià)體系多以能力成熟度模型（CMM）為基礎(chǔ)，分成初始級、已管理級、已定義級、定量管理級、優(yōu)化級服務(wù)能力指標(biāo)體系[23]。另有研究在對比CMM的基礎(chǔ)上，引入德國RISE-DE科研數(shù)據(jù)管理服務(wù)自評估模型，為科學(xué)數(shù)據(jù)管理服務(wù)評價(jià)提供了另一種可能[24]?，F(xiàn)有科學(xué)數(shù)據(jù)管理評價(jià)多通過借鑒其他學(xué)科較為成熟的評價(jià)模型開展，能與科學(xué)數(shù)據(jù)管理服務(wù)評價(jià)較好融合，但也多局限于此，存在評價(jià)角度單一、評價(jià)方法的創(chuàng)新性與針對性不足，且多缺乏實(shí)證研究，難以證明現(xiàn)有評價(jià)模型的可用性與適用性。

1.5 科學(xué)數(shù)據(jù)平臺評價(jià)

鑒于獨(dú)立的科學(xué)數(shù)據(jù)難以被公眾發(fā)現(xiàn)、獲取以及利用，作為科學(xué)數(shù)據(jù)的載體，科學(xué)數(shù)據(jù)平臺對于提高數(shù)據(jù)的有效利用以及數(shù)據(jù)供需兩端的對接互動(dòng)至關(guān)重要。國內(nèi)外對科學(xué)數(shù)據(jù)開放平臺研究成果豐富多面，涉及科學(xué)數(shù)據(jù)開放平臺的價(jià)值、績效、元數(shù)據(jù)質(zhì)量、服務(wù)質(zhì)量等方面。其涉及的評價(jià)維度主要包含平臺建設(shè)基礎(chǔ)、平臺數(shù)據(jù)、平臺規(guī)模、平臺管理功能和平臺使用效果與影響等[25-27]，具體涉及指導(dǎo)方針、需求與目標(biāo)、政策支持、經(jīng)費(fèi)支持、組織與領(lǐng)導(dǎo)力、運(yùn)行管理、技術(shù)支持、數(shù)據(jù)描述與元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、關(guān)聯(lián)數(shù)據(jù)質(zhì)量、數(shù)據(jù)來源、數(shù)據(jù)管理、數(shù)據(jù)發(fā)布、數(shù)據(jù)存儲、數(shù)據(jù)時(shí)效、數(shù)據(jù)易用、數(shù)據(jù)格式、數(shù)據(jù)分析、數(shù)據(jù)開放、數(shù)據(jù)獲取、數(shù)據(jù)引導(dǎo)、數(shù)據(jù)安全、數(shù)據(jù)交叉、平臺服務(wù)、科研效能、服務(wù)統(tǒng)計(jì)、用戶滿意度、用戶反饋與協(xié)作、界面友好性等評價(jià)指標(biāo)。另有學(xué)者聚焦平臺的數(shù)據(jù)層面[28]、價(jià)值層面[29]以及績效層面評價(jià)[30-32]展開了具體研究，雖缺乏全面性但具有一定的針對性，對科學(xué)數(shù)據(jù)平臺評價(jià)研究具有一定的借鑒意義。

隨著科學(xué)數(shù)據(jù)開放共享運(yùn)動(dòng)的展開，公眾獲取科學(xué)數(shù)據(jù)的途徑拓寬以及獲取難度的降低，科學(xué)數(shù)據(jù)平臺評價(jià)研究覆蓋的廣度與深度也在不斷拓寬與加深，科學(xué)數(shù)據(jù)平臺評價(jià)研究的全面性與科學(xué)性在不斷提高。值得注意的是，雖然國內(nèi)外對科學(xué)數(shù)據(jù)相關(guān)平臺的評價(jià)維度與指標(biāo)大致相同，但國外評價(jià)研究注意到平臺關(guān)聯(lián)數(shù)據(jù)質(zhì)量的重要性[27,33]，展開了針對性的評價(jià)研究取得了一定的成果，而國內(nèi)在此方面還存在欠缺。

1.6 其他

科學(xué)數(shù)據(jù)評價(jià)覆蓋的范圍較廣，除上述內(nèi)容外，還涉及科學(xué)數(shù)據(jù)學(xué)術(shù)影響力評價(jià)及風(fēng)險(xiǎn)評價(jià)等?？茖W(xué)數(shù)據(jù)影響力是對科學(xué)數(shù)據(jù)需求的反映，即科學(xué)數(shù)據(jù)影響力是應(yīng)用研究成果對社會、經(jīng)濟(jì)、環(huán)境、文化所產(chǎn)生的有益影響，可分為學(xué)術(shù)影響力、社會影響力、政治影響力和經(jīng)濟(jì)影響力。學(xué)術(shù)影響力評價(jià)有兩個(gè)研究方向：一是基于傳統(tǒng)出版物的評價(jià)體系構(gòu)建，即通過選取相關(guān)引文指標(biāo)來構(gòu)建科學(xué)數(shù)據(jù)影響力評價(jià)體系[34]；二是通過探究科學(xué)數(shù)據(jù)自身特征，從中提煉出關(guān)鍵評價(jià)指標(biāo)來實(shí)現(xiàn)對科學(xué)數(shù)據(jù)學(xué)術(shù)影響力的定量化計(jì)算[2]。這種評價(jià)體系還處于探索階段，因此相關(guān)研究成果較少。相較于科學(xué)數(shù)據(jù)學(xué)術(shù)影響力的研究，國內(nèi)對科學(xué)數(shù)據(jù)的社會、政治和經(jīng)濟(jì)影響等方面的評價(jià)研究甚少，且研究不深入。此外，鑒于科學(xué)數(shù)據(jù)可能會面臨缺乏使用、缺乏元數(shù)據(jù)、缺乏治理以及不可抗力災(zāi)難等多種風(fēng)險(xiǎn)，可以針對特定數(shù)據(jù)集的風(fēng)險(xiǎn)特征來構(gòu)建數(shù)據(jù)風(fēng)險(xiǎn)框架，以確?，F(xiàn)有科學(xué)數(shù)據(jù)的價(jià)值持續(xù)性，但現(xiàn)有研究較為缺乏[35]。

2 科學(xué)數(shù)據(jù)評價(jià)流程與方法研究

就邏輯而言，科學(xué)數(shù)據(jù)評價(jià)流程應(yīng)包含評價(jià)前、評價(jià)中以及評價(jià)后3個(gè)基本組成部分，分別對應(yīng)科學(xué)數(shù)據(jù)評價(jià)的前期準(zhǔn)備、過程實(shí)施和結(jié)果運(yùn)用3個(gè)基本流程。

2.1 科學(xué)數(shù)據(jù)評價(jià)的前期準(zhǔn)備

科學(xué)數(shù)據(jù)評價(jià)的前期準(zhǔn)備主要包括確定評價(jià)目標(biāo)、評價(jià)原則以及評價(jià)主體等?？茖W(xué)數(shù)據(jù)評價(jià)目標(biāo)就數(shù)據(jù)層面而言，主要是為了優(yōu)化科學(xué)數(shù)據(jù)質(zhì)量，提高其再利用價(jià)值；就科學(xué)數(shù)據(jù)管理層面而言，主要是為了降低管理成本與風(fēng)險(xiǎn)，杜絕造假數(shù)據(jù)，存儲具有長期保存價(jià)值的數(shù)據(jù)，提高管理效率；就使用者而言，是為了能夠獲得寶貴的科研資料以用于科學(xué)研究，提高學(xué)術(shù)價(jià)值。

2.1.1 評價(jià)原則

評價(jià)指標(biāo)體系的質(zhì)量直接影響了評價(jià)結(jié)果的準(zhǔn)確性與真實(shí)性，因此在構(gòu)建科學(xué)數(shù)據(jù)評價(jià)體系前應(yīng)遵循一定的原則。現(xiàn)有科學(xué)數(shù)據(jù)評價(jià)內(nèi)容研究豐富多面，不同的評價(jià)內(nèi)容，評價(jià)方向與重點(diǎn)不同，遵循的原則也不相同。例如，針對科學(xué)數(shù)據(jù)平臺評價(jià)，應(yīng)尊重平臺自身特性，將引導(dǎo)性原則考慮在內(nèi)[25]。但科學(xué)數(shù)據(jù)評價(jià)體系的構(gòu)建在大方向上仍有共通之處，即遵循系統(tǒng)性、延續(xù)性以及可操作性原則。

2.1.2 評價(jià)主體

在科學(xué)數(shù)據(jù)生命周期中，數(shù)據(jù)管理者、數(shù)據(jù)管理機(jī)構(gòu)、數(shù)據(jù)創(chuàng)建者、數(shù)據(jù)使用者是主要的利益主體[36]，其中數(shù)據(jù)管理者、數(shù)據(jù)管理機(jī)構(gòu)以及數(shù)據(jù)使用者對科學(xué)數(shù)據(jù)評價(jià)時(shí)站在客觀的角度對科學(xué)數(shù)據(jù)進(jìn)行評價(jià)，較為公正、嚴(yán)謹(jǐn)。科學(xué)數(shù)據(jù)的創(chuàng)建者對數(shù)據(jù)進(jìn)行評價(jià)，多從有助于科學(xué)研究的目的出發(fā)，評價(jià)方法較為主觀，但科學(xué)性與價(jià)值性較高。根據(jù)不同的評價(jià)主體，評價(jià)目的和原則也會有相應(yīng)調(diào)整。因此厘清評價(jià)主體間的角色定位及其關(guān)系，有助于充分發(fā)揮各利益主體在構(gòu)建評價(jià)體系中的導(dǎo)引作用，建立目標(biāo)明確、科學(xué)合理的評價(jià)指標(biāo)體系?，F(xiàn)有研究已能從多主體角度出發(fā)對科學(xué)數(shù)據(jù)進(jìn)行評價(jià)，但多數(shù)研究依舊是從單角度或雙角度出發(fā)，評價(jià)不全面但仍有一定的借鑒意義。

2.2 科學(xué)數(shù)據(jù)評價(jià)的過程實(shí)施

2.2.1 評價(jià)方法的應(yīng)用

通過科學(xué)數(shù)據(jù)評價(jià)的前期準(zhǔn)備，評估框架的設(shè)計(jì)在一定程度上體現(xiàn)出了科學(xué)性與系統(tǒng)性。當(dāng)前多數(shù)研究是將多種方法相結(jié)合來確定評價(jià)指標(biāo)與權(quán)重，在一定程度上提高了評價(jià)體系的有效性和可操作性。

（1）評價(jià)指標(biāo)的確定。①經(jīng)驗(yàn)借鑒法。運(yùn)用文獻(xiàn)分析法、Meta整合[10]等研究方法對現(xiàn)有評價(jià)框架、模型進(jìn)行分析和總結(jié)的基礎(chǔ)上構(gòu)建評價(jià)框架。②特征分析法。通過分析、總結(jié)科學(xué)數(shù)據(jù)本身或科學(xué)數(shù)據(jù)某一方面的特征、影響因素，以及結(jié)合特定的分析角度（數(shù)據(jù)使用者、數(shù)據(jù)管理機(jī)構(gòu)等）來構(gòu)建評價(jià)框架。③德爾菲法（專家調(diào)查法）。在初步設(shè)計(jì)指標(biāo)框架之后，通過發(fā)放問卷、訪談等方式咨詢專家意見，并對指標(biāo)框架進(jìn)行修訂、完善。④交叉學(xué)科借鑒法。通過引入其他學(xué)科的理論方法，如TDQM、邏輯框架法等從不同的角度對科學(xué)數(shù)據(jù)進(jìn)行評價(jià)。

（2）權(quán)重的確定。主要包括層次分析法（AHP法）[17]、德爾菲法[21]、熵權(quán)法[37]、結(jié)構(gòu)方程模型[38]、TOPSIS法[25]等，也有研究采用權(quán)重等分[9]的方法。無論是在層次分析法，還是總分比重法等半定量權(quán)重確定方法中，專家都發(fā)揮了重要作用，都是通過對專家意見進(jìn)行綜合、計(jì)算得出的結(jié)果，因此對專家的選擇至關(guān)重要。通過將多種方法結(jié)合以確定權(quán)重，將有利于更加科學(xué)、合理地確定評估指標(biāo)的權(quán)重以及各項(xiàng)指標(biāo)分等級的臨界值。其中，評價(jià)指標(biāo)以及權(quán)重確立所涉及的評價(jià)方法見表1。

表1 科學(xué)數(shù)據(jù)主要評價(jià)方法匯總

在科學(xué)數(shù)據(jù)評價(jià)研究中，多種評價(jià)方法不斷涌現(xiàn)，不分伯仲，各有優(yōu)勢。其中，層次分析法與德爾菲法作為信息分析的經(jīng)典方法在實(shí)際應(yīng)用中使用頻率最高，在構(gòu)建評價(jià)指標(biāo)體系時(shí)的優(yōu)勢也顯而易見。另外，通過將不同學(xué)科的分析方法引入科學(xué)數(shù)據(jù)評價(jià)領(lǐng)域，拓展了現(xiàn)有評價(jià)方法的廣度，有一定的借鑒意義。例如，運(yùn)用BP-神經(jīng)網(wǎng)絡(luò)來對數(shù)據(jù)平臺進(jìn)行評價(jià)，并對比德爾菲法的評價(jià)結(jié)果，驗(yàn)證了BP-神經(jīng)網(wǎng)絡(luò)用作新型評價(jià)工具的可行性[40]；運(yùn)用杠桿管理，將不同元素映射到開放政府?dāng)?shù)據(jù)中對應(yīng)的概念來對開放政府?dāng)?shù)據(jù)項(xiàng)目進(jìn)行量化評估[9]；運(yùn)用將專家群體、數(shù)據(jù)和各種信息與計(jì)算機(jī)技術(shù)有機(jī)結(jié)合的Meta-synthesis Approach（MSA）綜合集成方法將多項(xiàng)定性研究進(jìn)行整合，構(gòu)建一個(gè)通用的參考框架[10]。多種評價(jià)方法的涌現(xiàn)為進(jìn)一步開展科學(xué)數(shù)據(jù)評價(jià)研究提供了新的可能，對促進(jìn)科學(xué)數(shù)據(jù)開放具有重要的理論意義。

2.2.2 數(shù)據(jù)收集

數(shù)據(jù)作為最主要的評價(jià)對象，其獲取方式多種多樣?，F(xiàn)有獲取方式有兩種：人工獲取和網(wǎng)絡(luò)自動(dòng)抓取。目前科學(xué)數(shù)據(jù)評價(jià)研究已關(guān)注到評估數(shù)據(jù)獲取方式多元化的重要性，多數(shù)研究采用兩種方法相結(jié)合的方式，并通過增設(shè)面向不同主體的問卷，或通過其他非問卷的渠道如設(shè)計(jì)程序或火車采集器、八爪魚采集器、Maxamine web analyst、站長工具等數(shù)據(jù)軟件獲取評估數(shù)據(jù)，使獲取的數(shù)據(jù)更加準(zhǔn)確、及時(shí)。

2.3 科學(xué)數(shù)據(jù)評價(jià)的結(jié)果運(yùn)用

對科學(xué)數(shù)據(jù)進(jìn)行評價(jià)后，對結(jié)果進(jìn)行公布、評價(jià)結(jié)果的反饋、評價(jià)結(jié)果的運(yùn)用以及對評價(jià)體系進(jìn)行改進(jìn)優(yōu)化也至關(guān)重要?，F(xiàn)有研究，主要集中在對評價(jià)結(jié)果進(jìn)行公布階段，由于時(shí)間和精力等問題后續(xù)階段很少涉及，評價(jià)流程不完整。其中，也有研究[11]驗(yàn)證了其評估指標(biāo)的可靠性和可行性，但評價(jià)對象的范圍和數(shù)量普遍比較小，或只是研究科學(xué)數(shù)據(jù)某一類或某一方面，難以確定評價(jià)體系的普遍適用性與科學(xué)性。

3 總結(jié)與展望

現(xiàn)有科學(xué)數(shù)據(jù)評價(jià)研究主要以歸納科學(xué)數(shù)據(jù)某一要素的影響因素以及針對科學(xué)數(shù)據(jù)某一要素構(gòu)建評價(jià)指標(biāo)體系為主，即主要聚焦于科學(xué)數(shù)據(jù)質(zhì)量評價(jià)、開放評價(jià)、平臺評價(jià)這三方面。就科學(xué)數(shù)據(jù)質(zhì)量評價(jià)而言，鑒于數(shù)據(jù)質(zhì)量作為一個(gè)“多維（multidimensional）”的概念，質(zhì)量評價(jià)應(yīng)站在多元化、多角度的方向展開，對科學(xué)數(shù)據(jù)質(zhì)量嚴(yán)加把控；再者數(shù)據(jù)質(zhì)量常被定義為“適合使用（fit for use）”，適用性、實(shí)用性等應(yīng)包含在評價(jià)范圍內(nèi)。另外可以通過將科學(xué)數(shù)據(jù)存入數(shù)據(jù)庫中來保證實(shí)現(xiàn)FAIR原則[41]，如利用圖書館在提供組織、存儲和保存原始數(shù)據(jù)方面的優(yōu)勢[42]，鼓勵(lì)科研人員將原始研究數(shù)據(jù)存入機(jī)構(gòu)存儲庫中。只有在充分考慮科學(xué)數(shù)據(jù)質(zhì)量固有屬性以及有助于科學(xué)數(shù)據(jù)開放共享的基礎(chǔ)上，構(gòu)建的科學(xué)數(shù)據(jù)質(zhì)量評價(jià)指標(biāo)體系才更具針對性、適用性與科學(xué)性。就科學(xué)數(shù)據(jù)開放評價(jià)而言，鑒于數(shù)據(jù)開放與計(jì)算機(jī)科學(xué)密切相關(guān)[43]，國內(nèi)應(yīng)該順應(yīng)計(jì)算機(jī)科學(xué)蓬勃發(fā)展態(tài)勢，將計(jì)算機(jī)技術(shù)引入科學(xué)數(shù)據(jù)開放研究，促進(jìn)科學(xué)數(shù)據(jù)開放共享，助力科學(xué)研究?？茖W(xué)數(shù)據(jù)開放應(yīng)遵循宏觀指導(dǎo)的原則，并將行動(dòng)計(jì)劃、個(gè)人隱私、聲明所有權(quán)、負(fù)責(zé)部門、數(shù)據(jù)管理系統(tǒng)以及融資機(jī)制等因素考慮在內(nèi)。政府應(yīng)與公眾建立合作，協(xié)調(diào)各方力量，合理配置資源，促進(jìn)各方對開放數(shù)據(jù)的參與和實(shí)施[44]。就科學(xué)數(shù)據(jù)平臺而言，考慮到平臺的面向?qū)ο?，在進(jìn)行評價(jià)時(shí)要注重從用戶的角度出發(fā)，提倡從“專業(yè)人士為專業(yè)人士”到“專業(yè)人士為普通用戶”，要考慮普通用戶知識背景與技能掌握情況，以提供更好用戶體驗(yàn)[45]。相關(guān)研究起初更多地關(guān)注平臺數(shù)據(jù)本身的特性，而忽略了平臺的用戶友好性。鑒于用戶對主流網(wǎng)絡(luò)平臺的操作具有順延性，即偏向于使用具有相同界面的數(shù)據(jù)平臺，可以通過借鑒主流搜索引擎和社交媒體平臺的界面設(shè)計(jì)——百度、Google、Facebook或其他流行社交媒體平臺，來確保其平臺操作上的連貫性與舒適性[46]。現(xiàn)有以下方面待深入研究。

（1）建立健全科學(xué)數(shù)據(jù)評價(jià)指標(biāo)體系。現(xiàn)階段科學(xué)數(shù)據(jù)評價(jià)研究處于起步階段，缺乏實(shí)際應(yīng)用。雖然現(xiàn)有評價(jià)體系百花齊放，但未有統(tǒng)一標(biāo)準(zhǔn)，缺乏宏觀層面的指導(dǎo)。值得注意的是，政府開放數(shù)據(jù)項(xiàng)目發(fā)展的如火如荼，其成功取決于強(qiáng)有力的科學(xué)評估政策[36]。因此，未來對于科學(xué)數(shù)據(jù)評價(jià)的研究應(yīng)站在長遠(yuǎn)發(fā)展的角度上，首先由政府或業(yè)內(nèi)權(quán)威機(jī)構(gòu)制定科學(xué)、系統(tǒng)的評估政策，再以此為指導(dǎo)設(shè)立更為科學(xué)、有效的評價(jià)指標(biāo)體系，助推科學(xué)數(shù)據(jù)開放共享與科研創(chuàng)新。

（2）拓寬科學(xué)數(shù)據(jù)評價(jià)體系適用性。目前研究所建立的指標(biāo)體系，并不是完善的、標(biāo)準(zhǔn)的，大部分只能作為評價(jià)時(shí)考慮的因素，適用對象模糊，未進(jìn)行明確的區(qū)分或說明。僅少量文獻(xiàn)對醫(yī)學(xué)數(shù)據(jù)、林業(yè)數(shù)據(jù)等專業(yè)領(lǐng)域科學(xué)數(shù)據(jù)進(jìn)行了評價(jià)。未來對科學(xué)數(shù)據(jù)評價(jià)時(shí)可以將各學(xué)科主題科學(xué)數(shù)據(jù)的特性納入評價(jià)體系，兼具共性與特性，提升評價(jià)體系的廣度與深度，并通過擴(kuò)大學(xué)科覆蓋范圍來進(jìn)一步驗(yàn)證評價(jià)指標(biāo)體系的通用性與適用性。

（3）完善科學(xué)數(shù)據(jù)評價(jià)流程?，F(xiàn)有研究多是將構(gòu)建評價(jià)體系與實(shí)證論證分離，并且缺乏采納各方對評價(jià)結(jié)果的反饋過程以及對評價(jià)體系的改進(jìn)優(yōu)化過程，此為當(dāng)前研究的空白點(diǎn)。未來研究在數(shù)據(jù)獲取上可以通過設(shè)定一定的時(shí)間窗以及改進(jìn)抽樣方法，增加樣本容量的方法，使結(jié)果更為準(zhǔn)確，具有說服力。在對科學(xué)數(shù)據(jù)展開評價(jià)時(shí)應(yīng)考慮從不同評價(jià)主體的需求角度出發(fā)，遵循一定的原則，不斷完善評價(jià)流程，提高科學(xué)數(shù)據(jù)的質(zhì)量及其價(jià)值。

（4）改進(jìn)科學(xué)數(shù)據(jù)評價(jià)方法?，F(xiàn)有科學(xué)數(shù)據(jù)評價(jià)方法主要分為定性、定量或定性與定量方法相結(jié)合3種。其中，定性評價(jià)方法較少，主要為同行評議和扎根理論方法；定量評價(jià)方法主要有引文分析法、腳本自動(dòng)度量（DEA）、模糊綜合評價(jià)法等。各種評價(jià)方法的涌現(xiàn)，讓評估科學(xué)數(shù)據(jù)評價(jià)工具的可用性也成為重點(diǎn)。每一種評價(jià)方法因其不同的評價(jià)主體、評價(jià)效率、評價(jià)數(shù)據(jù)來源而使其具有不同的評價(jià)成本、周期和準(zhǔn)確程度，難以在單一層面上評價(jià)其優(yōu)劣好壞。因此，在對科學(xué)數(shù)據(jù)進(jìn)行評價(jià)時(shí)要同等重視定性評價(jià)與定量評價(jià)方法，并結(jié)合評價(jià)主體、評價(jià)數(shù)據(jù)來源、評價(jià)動(dòng)因和客觀環(huán)境等因素，探索、比較多種評價(jià)方法對科學(xué)數(shù)據(jù)進(jìn)行科學(xué)、系統(tǒng)、全面的評價(jià)。

（5）注重科學(xué)數(shù)據(jù)評價(jià)的全面性。首先，從科學(xué)數(shù)據(jù)內(nèi)部層面來說，科學(xué)數(shù)據(jù)表現(xiàn)形式多樣，結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)數(shù)據(jù)并存，目前由于非結(jié)構(gòu)化數(shù)據(jù)如圖片、視頻、音頻等本身量化難度大、技術(shù)要求高等原因，缺乏在這一方面的研究，只有少數(shù)以圖像為研究對象的領(lǐng)域有所涉及；其次，從科學(xué)數(shù)據(jù)外部開放共享的層面來說，學(xué)界多聚焦于對政府?dāng)?shù)據(jù)評價(jià)研究，不利于科學(xué)數(shù)據(jù)評價(jià)的全面發(fā)展以及實(shí)際應(yīng)用。因此，未來應(yīng)拓寬研究視野，不局限于任一學(xué)科，充分考慮科學(xué)數(shù)據(jù)內(nèi)外部屬性，更好地促進(jìn)科學(xué)數(shù)據(jù)的利用與開發(fā)，保證科學(xué)數(shù)據(jù)的可用性與科研產(chǎn)出。