王瑞丹 陳祖剛 石 蕾 盧逸航 李國(guó)慶

（1. 國(guó)家科技基礎(chǔ)條件平臺(tái)中心，北京 100038；2. 中國(guó)科學(xué)院空天信息創(chuàng)新研究院，北京 100094；3. 國(guó)家對(duì)地觀測(cè)科學(xué)數(shù)據(jù)中心，北京 100094；4. 中國(guó)科學(xué)院大學(xué)，北京 100049）

0 引言

科學(xué)數(shù)據(jù)通常是指在自然科學(xué)、工程技術(shù)科學(xué)等領(lǐng)域，通過基礎(chǔ)研究、應(yīng)用研究、試驗(yàn)開發(fā)等產(chǎn)生的數(shù)據(jù)以及通過觀測(cè)監(jiān)測(cè)、考察調(diào)查、檢驗(yàn)檢測(cè)等方式取得并用于科學(xué)研究活動(dòng)的原始數(shù)據(jù)及其衍生數(shù)據(jù)[1]?？茖W(xué)數(shù)據(jù)中心是科學(xué)數(shù)據(jù)管理與共享領(lǐng)域內(nèi)實(shí)施具體事務(wù)解決實(shí)際問題、促進(jìn)科學(xué)數(shù)據(jù)資源管理與共享水平持續(xù)提高的專門機(jī)構(gòu)。隨著科學(xué)研究進(jìn)入數(shù)據(jù)驅(qū)動(dòng)的第四范式，科學(xué)數(shù)據(jù)成為科研工作乃至國(guó)家發(fā)展的重要戰(zhàn)略資源[2]，科學(xué)數(shù)據(jù)中心成為科研工作取得國(guó)際重大創(chuàng)新性突破的關(guān)鍵基礎(chǔ)設(shè)施。

在此背景下，國(guó)內(nèi)外設(shè)立了一大批科學(xué)數(shù)據(jù)中心。在國(guó)外，有美國(guó)國(guó)家空間科學(xué)數(shù)據(jù)中心（National Space Science Data Centre，NSSDC）、英國(guó)數(shù)據(jù)保存中心（Digital Curation Centre，DCC）、英國(guó)數(shù)據(jù)檔案中心（UK Data Archive）以及澳大利亞國(guó)家數(shù)據(jù)服務(wù)中心（Australian National Data Service，ANDS）[3]。在我國(guó)，科技部、財(cái)政部于2019年6月發(fā)布《國(guó)家科技資源共享服務(wù)平臺(tái)優(yōu)化調(diào)整名單》，公布了20個(gè)國(guó)家科學(xué)數(shù)據(jù)中心和30個(gè)國(guó)家生物種質(zhì)與實(shí)驗(yàn)材料資源庫，從此我國(guó)國(guó)家級(jí)科學(xué)數(shù)據(jù)中心開始進(jìn)入全面建設(shè)的階段[4]。

在大數(shù)據(jù)、互聯(lián)網(wǎng)快速發(fā)展的今天，科學(xué)研究產(chǎn)生的科學(xué)數(shù)據(jù)資源越來越多，學(xué)科之間交叉融合越來越強(qiáng)，傳統(tǒng)學(xué)科的邊界越來越模糊，增加了科學(xué)數(shù)據(jù)中心管理的復(fù)雜性和多樣性。然而，科學(xué)數(shù)據(jù)中心處于高速發(fā)展期，科學(xué)數(shù)據(jù)中心建設(shè)發(fā)展相互獨(dú)立，水平高低不同的現(xiàn)象十分明顯，存在大量科學(xué)數(shù)據(jù)管理不規(guī)范、不完整、質(zhì)量無法保證的現(xiàn)象。而許多科學(xué)數(shù)據(jù)中心對(duì)數(shù)據(jù)挖掘和再分析的能力不足，只是簡(jiǎn)單地把數(shù)據(jù)收集起來，難以發(fā)現(xiàn)數(shù)據(jù)背后的價(jià)值信息和增值渠道[5]。迫切需要建立科學(xué)數(shù)據(jù)中心的運(yùn)行狀況評(píng)價(jià)體系，來促進(jìn)科學(xué)數(shù)據(jù)中心提升管理水平，保障科學(xué)數(shù)據(jù)的真實(shí)性和可靠性，支撐國(guó)家重大決策和經(jīng)濟(jì)發(fā)展，充分發(fā)揮各類科學(xué)數(shù)據(jù)中心的作用和價(jià)值。

近10年來，多種類型科學(xué)數(shù)據(jù)中心建設(shè)資助機(jī)構(gòu)積極開展研究并建立了對(duì)科學(xué)數(shù)據(jù)中心運(yùn)行評(píng)價(jià)制度，通過制定評(píng)價(jià)指標(biāo)和流程，引入第三方專業(yè)評(píng)估機(jī)制等方式，對(duì)科學(xué)數(shù)據(jù)中心的運(yùn)行質(zhì)量和效果進(jìn)行重點(diǎn)考察，并探索將評(píng)價(jià)結(jié)果作為機(jī)構(gòu)卓越性和影響力的重要衡量依據(jù)[6]。目前，科學(xué)數(shù)據(jù)中心運(yùn)行評(píng)價(jià)體系主要有科技部2011年實(shí)施的國(guó)家科技基礎(chǔ)條件平臺(tái)運(yùn)行服務(wù)績(jī)效考核、中國(guó)科學(xué)院科技數(shù)據(jù)應(yīng)用效果評(píng)價(jià)、世界數(shù)據(jù)系統(tǒng)（WDS）CoreTrustSeal數(shù)據(jù)中心認(rèn)證體系等。雖然一些部門、單位或國(guó)際組織已經(jīng)形成了一些數(shù)據(jù)中心評(píng)價(jià)考核指標(biāo)并開展了評(píng)價(jià)實(shí)踐，但各個(gè)評(píng)價(jià)體系差異明顯，不具備可比性和通用性，不利于科學(xué)數(shù)據(jù)中心的協(xié)調(diào)統(tǒng)一發(fā)展，也不利于形成高水平的國(guó)家級(jí)和世界級(jí)科學(xué)數(shù)據(jù)中心，而現(xiàn)有的評(píng)價(jià)指標(biāo)的定量化程度較低，缺乏系統(tǒng)性的研究和成果，評(píng)價(jià)指標(biāo)體系沒有考慮科學(xué)數(shù)據(jù)中心類型、學(xué)科、發(fā)展階段、社會(huì)環(huán)境等特征造成的差異性。因此，急需構(gòu)建新型的適用于各種不同的科學(xué)數(shù)據(jù)中心的評(píng)價(jià)模型和體系，實(shí)現(xiàn)對(duì)科學(xué)數(shù)據(jù)中心公平、有效、合理的評(píng)價(jià)，以促進(jìn)科學(xué)數(shù)據(jù)中心管理能力和科學(xué)數(shù)據(jù)支撐科學(xué)研究能力的提升。

本文將在綜合考慮科學(xué)數(shù)據(jù)中心差異性特征的基礎(chǔ)上，提出一套適用于不同類型不同級(jí)別的科學(xué)數(shù)據(jù)中心運(yùn)行狀況評(píng)價(jià)模型，以提升科學(xué)數(shù)據(jù)評(píng)價(jià)體系的技術(shù)水平和能力。

1 研究現(xiàn)狀

1.1 科學(xué)數(shù)據(jù)中心運(yùn)行狀況評(píng)價(jià)萬法

科學(xué)數(shù)據(jù)中心的運(yùn)行狀況評(píng)估方式與方法主要分為機(jī)構(gòu)自評(píng)和第三方評(píng)估兩種。機(jī)構(gòu)自評(píng)即由數(shù)據(jù)倉儲(chǔ)機(jī)構(gòu)自身根據(jù)設(shè)定好的評(píng)估體系和指標(biāo)進(jìn)行自我檢視和評(píng)價(jià)的一種評(píng)估方法。該評(píng)估方法可隨時(shí)開展，有利于其判斷自身發(fā)展是否達(dá)到預(yù)期目標(biāo)以及判斷其水平高低的標(biāo)準(zhǔn)。在評(píng)價(jià)活動(dòng)正式開始時(shí)，需要被評(píng)價(jià)方提交正式的自評(píng)價(jià)報(bào)告，根據(jù)評(píng)價(jià)指標(biāo)要求，逐項(xiàng)對(duì)其運(yùn)行績(jī)效進(jìn)行描述。核心可信數(shù)據(jù)倉儲(chǔ)認(rèn)證（CoreTrustSeal Certification，CTS）[7]和開放數(shù)據(jù)晴雨表（The Open Data Barometer，ODB）[8]等評(píng)估方案都采取了機(jī)構(gòu)自評(píng)這種方式。前者為主動(dòng)的自評(píng)，后者為被動(dòng)的自評(píng)。

第三方評(píng)估則是指由與評(píng)價(jià)組織者和被評(píng)價(jià)主體無直接關(guān)系的第三方按照一定的標(biāo)準(zhǔn)對(duì)被評(píng)價(jià)主體做出評(píng)價(jià)。這種評(píng)估方式能夠避免利益相關(guān)部門的利益羈絆，最大程度地實(shí)現(xiàn)評(píng)估結(jié)果的獨(dú)立、客觀與公正。在針對(duì)開放數(shù)據(jù)的評(píng)估中，第三方評(píng)估有專家調(diào)研、同行評(píng)審、大眾評(píng)估和網(wǎng)絡(luò)系統(tǒng)分析等方法。ODB在最近一次評(píng)估方案中，通過定制的在線調(diào)研平臺(tái)于2017年12月至2018年3月進(jìn)行專家調(diào)研[8]。聯(lián)合國(guó)開放政府?dāng)?shù)據(jù)評(píng)估（Open Government Data Assessment，OGDA）也采用了專家調(diào)研這種方法，但使用了面對(duì)面訪談形式進(jìn)行專家調(diào)研[9]。CTS認(rèn)證過程中，機(jī)構(gòu)自評(píng)提交后進(jìn)入同行評(píng)審階段，由CTS董事會(huì)召集人員來完成[7]。OGDA大眾認(rèn)知調(diào)查對(duì)至少50位包括私人機(jī)構(gòu)、政府機(jī)構(gòu)、籌資/投資機(jī)構(gòu)、社會(huì)服務(wù)機(jī)構(gòu)、科研學(xué)術(shù)機(jī)構(gòu)、民用技術(shù)和媒體等方面的代表進(jìn)行了問卷調(diào)查[9]。歐洲開放數(shù)據(jù)監(jiān)測(cè)評(píng)估項(xiàng)目（OpenDataMonitor）通過網(wǎng)站平臺(tái)收割歐洲公共行政機(jī)構(gòu)開放數(shù)據(jù)中心的元數(shù)據(jù)，描述歐洲開放數(shù)據(jù)資源概況，實(shí)現(xiàn)數(shù)據(jù)目錄、數(shù)據(jù)和元數(shù)據(jù)的開放以及評(píng)估結(jié)果的可視化[10]。2011年，科技部、財(cái)政部聯(lián)合發(fā)布了《關(guān)于開展國(guó)家科技基礎(chǔ)條件平臺(tái)認(rèn)定和績(jī)效考核工作的通知》[11]，并向社會(huì)公布了《國(guó)家科技基礎(chǔ)條件平臺(tái)認(rèn)定指標(biāo)》和《國(guó)家科技基礎(chǔ)條件平臺(tái)運(yùn)行服務(wù)績(jī)效考核指標(biāo)》[12]。

1.2 國(guó)內(nèi)外科學(xué)數(shù)據(jù)中心評(píng)價(jià)萬法的應(yīng)用

在國(guó)外，CTS的認(rèn)證方式為首先根據(jù)評(píng)估指南Core Trustworthy Data Repositories Extended Guidance進(jìn)行機(jī)構(gòu)自評(píng)，再通過同行評(píng)審，評(píng)估方案組織方CoreTrustSeal委員會(huì)才會(huì)向數(shù)據(jù)中心頒發(fā)CoreTrustSeal認(rèn)證[7,13]。開放數(shù)據(jù)準(zhǔn)備度（Open Data Readiness Assessment，ODRA）制定并發(fā)布了詳細(xì)的評(píng)估辦法“Open Data Readiness Assessment Methodology”和用戶指南“Open Data Readiness Assessment Users’ Guide”，對(duì)8個(gè)評(píng)估維度進(jìn)行了詳細(xì)的解釋，并針對(duì)每個(gè)評(píng)估維度，列出了正面和負(fù)面的例證，給出了非常詳盡的評(píng)價(jià)參考[14]。OGDA綜合了UNDESA的“開放政府?dāng)?shù)據(jù)公眾參與指南”（Open Government Data for Citizen Engagement Guidelines）、世界銀行的ODRA、互聯(lián)網(wǎng)基金會(huì)的“開放數(shù)據(jù)晴雨表”以及世界經(jīng)合組織（OECD）的“OUR數(shù)據(jù)指數(shù)”等評(píng)估方案的特點(diǎn)，從8個(gè)評(píng)估維度出發(fā)，采用了包括文獻(xiàn)研究、媒體監(jiān)測(cè)、桌面研究、調(diào)研、自評(píng)（工具）、實(shí)地考察以及利益相關(guān)者專題討論等評(píng)估方法[15]。ODB以專家調(diào)查為主導(dǎo)，政府自評(píng)和二手?jǐn)?shù)據(jù)調(diào)研作為輔助，制定發(fā)布的專家評(píng)估手冊(cè)（Open Data Barometer Leaders Edition Research Handbook - v1.0）， 對(duì)專家調(diào)查提出了非常詳細(xì)的建議。它建議專家通過問卷中的信息檢索指導(dǎo)、開放數(shù)據(jù)專家、非營(yíng)利組織成員、記者和政府專員等途徑尋求評(píng)估問卷中所涉及問題的信息和證據(jù)[8]?；A(chǔ)風(fēng)險(xiǎn)評(píng)估的數(shù)字倉儲(chǔ)審核方法（Digital Repository Audit Method Based on Risk Assessment，DRAMBORA）自我評(píng)估過程包含3個(gè)步驟：①評(píng)審員創(chuàng)建機(jī)構(gòu)簡(jiǎn)介，描述倉儲(chǔ)的義務(wù)、目標(biāo)、活動(dòng)和資產(chǎn)；②評(píng)價(jià)中存在的風(fēng)險(xiǎn)；③評(píng)審員提出針對(duì)已識(shí)別風(fēng)險(xiǎn)的管控辦法，并通過一個(gè)在線評(píng)估工具包DRAMBORA interactive toolkit實(shí)現(xiàn)評(píng)估[16]。美國(guó)NASA的EOSDIS（Earth Observation System）系統(tǒng)對(duì)其數(shù)據(jù)中心的評(píng)價(jià)主要分為兩部分：一是對(duì)其系統(tǒng)性能數(shù)據(jù)進(jìn)行提取，主要考核其科學(xué)數(shù)據(jù)處理系統(tǒng)、地球科學(xué)數(shù)據(jù)與服務(wù)、元數(shù)據(jù)、常規(guī)元數(shù)據(jù)倉儲(chǔ)、用戶注冊(cè)系統(tǒng)等方面；二是接受美國(guó)科羅思咨詢集團(tuán)（CFI Group）開展的客戶滿意度調(diào)研，該集團(tuán)使用的基于科羅思方法的美國(guó)客戶滿意度指數(shù)ACSI是美國(guó)國(guó)家標(biāo)準(zhǔn)指數(shù)之一[17-18]。

在國(guó)內(nèi)，國(guó)家人口健康科學(xué)數(shù)據(jù)共享平臺(tái)根據(jù)《國(guó)家人口健康科學(xué)數(shù)據(jù)共享平臺(tái)運(yùn)行服務(wù)實(shí)施方案》形成了穩(wěn)定的運(yùn)行考評(píng)機(jī)制，其評(píng)價(jià)方式包括線上評(píng)測(cè)、現(xiàn)場(chǎng)評(píng)測(cè)、組織行為評(píng)測(cè)和自評(píng)4種方式?？己嗽u(píng)價(jià)指標(biāo)分為兩套核心評(píng)價(jià)量表，即績(jī)效考核指標(biāo)表、資源綜合評(píng)價(jià)指標(biāo)和評(píng)估內(nèi)容[19]。國(guó)家農(nóng)業(yè)科學(xué)數(shù)據(jù)中心使用兩種方式進(jìn)行運(yùn)行評(píng)價(jià)：按一套可定量化的體系進(jìn)行自動(dòng)化評(píng)估以及按一套定性評(píng)估指標(biāo)體系由領(lǐng)域?qū)＜疫M(jìn)行會(huì)議評(píng)估。其由系統(tǒng)自動(dòng)提取的定量評(píng)價(jià)指標(biāo)有3個(gè)一級(jí)指標(biāo)，即環(huán)境類指標(biāo)、數(shù)據(jù)庫類指標(biāo)、用戶類指標(biāo)；定性評(píng)價(jià)指標(biāo)有3個(gè)一級(jí)指標(biāo)和8個(gè)二級(jí)指標(biāo)，重點(diǎn)考查數(shù)據(jù)整合與中心建設(shè)、共享服務(wù)效益以及人才隊(duì)伍與運(yùn)行機(jī)制等3個(gè)方面[20]。國(guó)家生態(tài)系統(tǒng)觀測(cè)研究網(wǎng)絡(luò)制定了其章程、運(yùn)行服務(wù)績(jī)效考核評(píng)估辦法、評(píng)估細(xì)則、野外研究站遴選考核與評(píng)估辦法等規(guī)章制度，其年度考核采用自動(dòng)統(tǒng)計(jì)、人工抽查、專家評(píng)估、用戶反饋等形式，對(duì)各項(xiàng)評(píng)估指標(biāo)進(jìn)行加權(quán)統(tǒng)計(jì)，綜合打分。每3年依據(jù)前兩年的考核結(jié)果對(duì)國(guó)家生態(tài)站進(jìn)行一次綜合測(cè)評(píng)，每5年進(jìn)行一次綜合評(píng)估[21]。中國(guó)科學(xué)院科學(xué)數(shù)據(jù)庫每年開展一次定量與定性相結(jié)合的考核，考核方式包括系統(tǒng)采集數(shù)據(jù)、提交考核報(bào)告、口頭匯報(bào)、專家評(píng)審等方式，評(píng)價(jià)指標(biāo)體系含有4個(gè)一級(jí)指標(biāo)，有12個(gè)二級(jí)指標(biāo)，有16個(gè)三級(jí)指標(biāo)，主要考核數(shù)據(jù)中心在數(shù)據(jù)資源、在線系統(tǒng)、運(yùn)行維護(hù)、服務(wù)成效等方面的表現(xiàn)[22]。國(guó)家科技基礎(chǔ)條件平臺(tái)認(rèn)定和績(jī)效考核方法秉承科技平臺(tái)“整合、共享、完善、提高”的理念，以管理機(jī)制、科技平臺(tái)資源整合狀況及運(yùn)行狀況和長(zhǎng)效發(fā)展能力作為重點(diǎn)考察內(nèi)容；績(jī)效考核指標(biāo)以認(rèn)定指標(biāo)為基礎(chǔ)，突出科技平臺(tái)的共享作用，重點(diǎn)考察科技平臺(tái)的服務(wù)數(shù)量與服務(wù)成效，重視用戶評(píng)價(jià)的反饋[23]。

1.3 評(píng)價(jià)萬法的分析

經(jīng)過對(duì)當(dāng)前評(píng)估案例的調(diào)研，可以發(fā)現(xiàn)當(dāng)前的評(píng)估方案具有的特點(diǎn)是：一個(gè)評(píng)估方案通常采用幾種評(píng)估方法，但評(píng)估指標(biāo)是固定的；定性評(píng)估與定量評(píng)估相結(jié)合，沒有一個(gè)綜合性的可比較結(jié)論。綜合來看，現(xiàn)有科學(xué)數(shù)據(jù)中心評(píng)價(jià)體系的不足之處包括：①科學(xué)數(shù)據(jù)中心是同質(zhì)的，科學(xué)數(shù)據(jù)中心的運(yùn)行背景是靜態(tài)的，因而評(píng)價(jià)體系的指標(biāo)內(nèi)容和權(quán)重等要素都是固定的，而科學(xué)數(shù)據(jù)中心實(shí)際上是在非常復(fù)雜的場(chǎng)景下運(yùn)行發(fā)展，如科學(xué)數(shù)據(jù)中心在學(xué)科類別、層次等級(jí)、建設(shè)時(shí)長(zhǎng)等方便存在巨大的差異性，且科學(xué)研究不斷進(jìn)步，科學(xué)數(shù)據(jù)中心發(fā)展的政策、學(xué)術(shù)環(huán)境也是動(dòng)態(tài)變化的，用統(tǒng)一的、簡(jiǎn)單化的、一成不變的考核評(píng)價(jià)方法體系，顯然不能適用于科學(xué)數(shù)據(jù)中心公平和長(zhǎng)期的評(píng)價(jià)。②現(xiàn)有的評(píng)價(jià)方法的定量化程度不足，以定性或者半定量化的方法為主，這就導(dǎo)致了科學(xué)數(shù)據(jù)中心評(píng)價(jià)時(shí)存在較多的灰色地帶，也增加了評(píng)價(jià)的工作量。因而，迫切需要針對(duì)科學(xué)數(shù)據(jù)中心的復(fù)雜場(chǎng)景開展科學(xué)數(shù)據(jù)中心運(yùn)行狀況評(píng)價(jià)模型的研究。

2 模型構(gòu)建

2.1 科學(xué)數(shù)據(jù)中心的異構(gòu)和動(dòng)態(tài)特征分析

科學(xué)數(shù)據(jù)中心運(yùn)行發(fā)展的復(fù)雜場(chǎng)景可以分為異構(gòu)性和動(dòng)態(tài)性條件（特征）兩個(gè)方面。

（1）異構(gòu)是指一種包含不同成分的性質(zhì)?？茖W(xué)數(shù)據(jù)中心的異構(gòu)特征體現(xiàn)在很多方面，如科學(xué)數(shù)據(jù)中心的地理空間位置分布、層次級(jí)別、學(xué)科領(lǐng)域、隸屬系統(tǒng)等。對(duì)科學(xué)數(shù)據(jù)中心運(yùn)行狀況進(jìn)行公平合理評(píng)價(jià)需要充分考慮性質(zhì)不同的諸因素的影響。本文選取不同科學(xué)數(shù)據(jù)中心間差異最明顯的學(xué)科、級(jí)別、分布區(qū)域、成熟度、隸屬系統(tǒng)作為科學(xué)數(shù)據(jù)中心的異構(gòu)特征。

（2）動(dòng)態(tài)是指隨時(shí)間發(fā)生變化的性質(zhì)?？茖W(xué)數(shù)據(jù)中心的動(dòng)態(tài)特征是隨著時(shí)間發(fā)展，科學(xué)數(shù)據(jù)中心內(nèi)部條件、外部環(huán)境發(fā)生變化的特征。如隨著科學(xué)數(shù)據(jù)中心建設(shè)的深入，科學(xué)數(shù)據(jù)中心的工作重心是動(dòng)態(tài)變化的，而隨著學(xué)術(shù)研究的深入和支持政策變化，科學(xué)數(shù)據(jù)中心的考核指標(biāo)也應(yīng)該是動(dòng)態(tài)變化。本文通過評(píng)價(jià)指標(biāo)的權(quán)重變化體現(xiàn)工作重心的變化，選取考核指標(biāo)的屬性體現(xiàn)考核指標(biāo)的動(dòng)態(tài)變化。

2.2 科學(xué)數(shù)據(jù)中心的動(dòng)態(tài)異構(gòu)評(píng)價(jià)指標(biāo)體系模型

在開展科學(xué)數(shù)據(jù)中心運(yùn)行狀況評(píng)價(jià)時(shí)，需要以具體的考核指標(biāo)獲取運(yùn)行狀況數(shù)據(jù)，因而考核指標(biāo)的設(shè)計(jì)至關(guān)重要。本文提出的考核指標(biāo)不同于現(xiàn)有的考核指標(biāo)體系，所提出的考核指標(biāo)體系需要明確考核指標(biāo)的動(dòng)態(tài)性、異構(gòu)性和指標(biāo)采集數(shù)據(jù)的定量或者定性特征。

設(shè)科學(xué)數(shù)據(jù)中心的考核指標(biāo)體系為P1, P2, P3,P4, ...，而對(duì)于多級(jí)考核指標(biāo)體系，可以在現(xiàn)有指標(biāo)體系的基礎(chǔ)上劃分為二級(jí)或者多級(jí)的指標(biāo)。如P1可以繼續(xù)劃分為P11, P12, ..., P1n?？己酥笜?biāo)可以根據(jù)科學(xué)數(shù)據(jù)中心的管理者意圖、當(dāng)前科研條件與水平、科學(xué)數(shù)據(jù)中心職責(zé)內(nèi)容等具體設(shè)立。在充分借鑒國(guó)內(nèi)外現(xiàn)有科學(xué)數(shù)據(jù)中心考核評(píng)價(jià)指標(biāo)體系內(nèi)容的基礎(chǔ)上，根據(jù)我國(guó)科學(xué)數(shù)據(jù)中心發(fā)展的特殊階段，結(jié)合我國(guó)《科學(xué)數(shù)據(jù)管理辦法》對(duì)科學(xué)數(shù)據(jù)中心職責(zé)的要求，本文提出了一套科學(xué)數(shù)據(jù)評(píng)價(jià)指標(biāo)體系。這套指標(biāo)體系從科學(xué)數(shù)據(jù)中心的資源整合能力、平臺(tái)服務(wù)、分析與挖掘、運(yùn)行管理、支撐條件、可持續(xù)發(fā)展和國(guó)際影響力等7個(gè)方面對(duì)科學(xué)數(shù)據(jù)中心進(jìn)行評(píng)價(jià)，具體包括30個(gè)二級(jí)評(píng)價(jià)指標(biāo)，具體情況見表1。對(duì)于每一個(gè)具體的考核指標(biāo)，進(jìn)一步明確這個(gè)考核指標(biāo)的動(dòng)態(tài)性、異構(gòu)性和數(shù)據(jù)性質(zhì)。譬如，多數(shù)考核評(píng)價(jià)指標(biāo)體系都把科學(xué)數(shù)據(jù)中心的注冊(cè)用戶量作為考核指標(biāo)。很明顯，這個(gè)指標(biāo)既受科學(xué)數(shù)據(jù)中心所屬的學(xué)科、級(jí)別、成熟度、隸屬系統(tǒng)等異構(gòu)特征的影響，也受科學(xué)數(shù)據(jù)中心工作重心等動(dòng)態(tài)特征的影響，注冊(cè)用戶量可以直接用一個(gè)整型數(shù)表達(dá)，是一個(gè)實(shí)數(shù)。因而，科學(xué)數(shù)據(jù)中心動(dòng)態(tài)異構(gòu)評(píng)價(jià)指標(biāo)體系的模型見表1。

2.3 科學(xué)數(shù)據(jù)中心運(yùn)行狀況評(píng)價(jià)模型

由表1可知，科學(xué)數(shù)據(jù)中心評(píng)價(jià)的指標(biāo)集合為P:{ P1, P2, P3,P4,P5,...}，每個(gè)評(píng)價(jià)指標(biāo)都有相應(yīng)的異構(gòu)和動(dòng)態(tài)特征，其中動(dòng)態(tài)特征的權(quán)重是指這個(gè)評(píng)價(jià)指標(biāo)的權(quán)重隨時(shí)間的變化而變化，屬性是指這個(gè)評(píng)價(jià)指標(biāo)的內(nèi)涵隨時(shí)間的變化而變化。評(píng)價(jià)指標(biāo)集合P中的內(nèi)容也是隨時(shí)間的變化而變化。把異構(gòu)特征的學(xué)科、級(jí)別、區(qū)域、成熟度、隸屬度分別表示為S、L、D、M、U；把動(dòng)態(tài)特征的權(quán)重和屬性分別表示為W、A。

表1 科學(xué)數(shù)據(jù)中心動(dòng)態(tài)異構(gòu)評(píng)價(jià)指標(biāo)體系模型

在一般情況下，科學(xué)數(shù)據(jù)中心的運(yùn)行狀況評(píng)價(jià)有一個(gè)周期，有些科學(xué)數(shù)據(jù)中心管理機(jī)構(gòu)1年評(píng)價(jià)1次，也有一些機(jī)構(gòu)3年評(píng)價(jià)3次，甚至5年評(píng)價(jià)5次。為了在一個(gè)較長(zhǎng)時(shí)間段上描述科學(xué)數(shù)據(jù)中心評(píng)價(jià)工作，設(shè)在一個(gè)較長(zhǎng)時(shí)間段內(nèi)對(duì)科學(xué)數(shù)據(jù)中心評(píng)價(jià)的時(shí)間點(diǎn)為ti( i = 1, 2, ...,m)（ti指一個(gè)評(píng)價(jià)周期的結(jié)尾，可以是1年或者n年的結(jié)尾），評(píng)價(jià)對(duì)象（即各個(gè)科學(xué)數(shù)據(jù)中心）為Uk(k =1, 2, ..., g)。

設(shè)特定時(shí)間點(diǎn)為ti，其評(píng)價(jià)指標(biāo)體系以及指標(biāo)的權(quán)重都是確定的，其評(píng)價(jià)體系主要體現(xiàn)為異構(gòu)性。通過實(shí)時(shí)抓取、科學(xué)數(shù)據(jù)中心填報(bào)、考核指標(biāo)信息值量化建模等步驟，設(shè)所有評(píng)價(jià)對(duì)象采集的數(shù)據(jù)集為：

2.3.1 異構(gòu)特征評(píng)價(jià)內(nèi)容轉(zhuǎn)換模型

Xih是一個(gè)實(shí)數(shù)。如何把通過各個(gè)評(píng)價(jià)指標(biāo)Pj采集的具有異構(gòu)特性的實(shí)數(shù)、區(qū)間數(shù)和語言變量轉(zhuǎn)化為合理的Xih值，是本文提出的評(píng)價(jià)模型要解決的關(guān)鍵問題之一。根據(jù)考核指標(biāo)采集的原始數(shù)據(jù)的不同，本文提出把采集的原始數(shù)據(jù)結(jié)合評(píng)價(jià)指標(biāo)的異構(gòu)特征，構(gòu)建將原始數(shù)據(jù)轉(zhuǎn)換為合理值的異構(gòu)函數(shù)的方法。即，對(duì)于實(shí)數(shù)類型的原始值Pih，通過式（2）轉(zhuǎn)換為Xih。

其中，F(xiàn)是轉(zhuǎn)換函數(shù)。

對(duì)于區(qū)間數(shù)據(jù)類型的原始值Pih，首先需要把區(qū)間數(shù)轉(zhuǎn)化為具體的實(shí)數(shù)，進(jìn)而結(jié)合異構(gòu)特征構(gòu)建轉(zhuǎn)換函數(shù)。即，

其中，Qih是一個(gè)實(shí)數(shù)，h是區(qū)間數(shù)Pih轉(zhuǎn)換為實(shí)數(shù)的規(guī)則或者函數(shù)。最后Xih獲取的方法為：

對(duì)于語言變量類型的原始值Pih，首先需要通過專家評(píng)審打分、專家系統(tǒng)、人工智能模型等方式把語言變量類型轉(zhuǎn)化為可比較大小的實(shí)數(shù)，進(jìn)而結(jié)合異構(gòu)特征構(gòu)建轉(zhuǎn)換函數(shù)獲取Xih。即，

2.3.2 動(dòng)態(tài)特征評(píng)價(jià)內(nèi)容轉(zhuǎn)換模型

獲取ti時(shí)刻各個(gè)科學(xué)數(shù)據(jù)中心的評(píng)價(jià)指標(biāo)體系的量化值后，為了把所有考核指標(biāo)的值轉(zhuǎn)化為一個(gè)綜合值，需要確定每個(gè)評(píng)價(jià)指標(biāo)的權(quán)重值，即ti時(shí)刻的權(quán)重。這個(gè)權(quán)重可以隨著時(shí)間的變化而變化。ti時(shí)刻的權(quán)重可以采用層次分析法[24]{Saaty, 1990 #26}等方法建立。該方法將一個(gè)復(fù)雜的多目標(biāo)決策問題看作一個(gè)系統(tǒng)，將目標(biāo)分解為多指標(biāo)（或準(zhǔn)則、約束）的若干層次，并通過計(jì)算判斷矩陣的特征向量，獲得每一層次的各元素最優(yōu)權(quán)重。

在ti時(shí)刻，對(duì)Uk科學(xué)數(shù)據(jù)中心經(jīng)過異構(gòu)建模獲取了其指標(biāo)量化值經(jīng)過層次分析法等方法獲取了指標(biāo)的權(quán)重那么ti時(shí)刻科學(xué)數(shù)據(jù)中心的綜合評(píng)價(jià)值aki為：

在其他時(shí)刻，科學(xué)數(shù)據(jù)中心的考核指標(biāo)體系是需要?jiǎng)討B(tài)調(diào)整的即P是變化的，各個(gè)考核指標(biāo)的權(quán)重也是要調(diào)整的，相應(yīng)時(shí)刻考核評(píng)價(jià)指標(biāo)體系的建立需要在上一個(gè)時(shí)刻指標(biāo)體系的基礎(chǔ)上，綜合考慮管理者意圖、學(xué)科發(fā)展?fàn)顩r、國(guó)家政策環(huán)境、科學(xué)數(shù)據(jù)中心業(yè)務(wù)內(nèi)容等進(jìn)行調(diào)整。在一般情況下，相鄰兩個(gè)時(shí)刻的考核評(píng)價(jià)指標(biāo)體系不做巨大的變動(dòng)?？己酥笜?biāo)確定以后，可再次應(yīng)用層次分析法，確定此時(shí)刻評(píng)價(jià)指標(biāo)的權(quán)重。

2.3.3 科學(xué)數(shù)據(jù)中心評(píng)價(jià)綜合值

對(duì)于一個(gè)評(píng)價(jià)時(shí)間段的多個(gè)時(shí)間點(diǎn)，經(jīng)過為每個(gè)時(shí)間點(diǎn)構(gòu)建評(píng)價(jià)指標(biāo)體系模型、評(píng)價(jià)內(nèi)容采集、異構(gòu)評(píng)價(jià)內(nèi)容建模、指標(biāo)權(quán)重動(dòng)態(tài)確定等步驟，最終可以獲取各個(gè)評(píng)價(jià)對(duì)象綜合評(píng)價(jià)值。這些評(píng)價(jià)值的時(shí)間序列構(gòu)成如式（7）的矩陣：

其中，aij表示評(píng)價(jià)對(duì)象Ui在tj時(shí)刻的科學(xué)數(shù)據(jù)中心評(píng)價(jià)綜合值。

假設(shè)需要獲取一個(gè)評(píng)價(jià)周期多個(gè)時(shí)刻評(píng)價(jià)指數(shù)的綜合值，那么每個(gè)時(shí)刻對(duì)應(yīng)的評(píng)價(jià)值可以采用加權(quán)求和的方式，作為這個(gè)評(píng)價(jià)周期的綜合評(píng)價(jià)值，實(shí)現(xiàn)動(dòng)態(tài)異構(gòu)場(chǎng)景下科學(xué)數(shù)據(jù)中心的評(píng)價(jià)。

3 結(jié)論與討論

科學(xué)數(shù)據(jù)中心運(yùn)行狀況評(píng)價(jià)是對(duì)于科學(xué)數(shù)據(jù)中心運(yùn)行的成效進(jìn)行監(jiān)督的重要手段，也是促進(jìn)科學(xué)數(shù)據(jù)中心提高管理服務(wù)水平，支撐科技創(chuàng)新和經(jīng)濟(jì)發(fā)展的重要方法。我國(guó)科學(xué)數(shù)據(jù)中心具有涉及的學(xué)科領(lǐng)域多、管理層次級(jí)別多、空間分布區(qū)域多、發(fā)展階段不同、隸屬行政系統(tǒng)不同等復(fù)雜場(chǎng)景，如何在此復(fù)雜場(chǎng)景下開展科學(xué)數(shù)據(jù)中心的公平、合理評(píng)價(jià)，提高科學(xué)數(shù)據(jù)中心建設(shè)管理服務(wù)的積極性，激發(fā)數(shù)據(jù)中心的活力，是本文需要解決的首要問題。

本文把我國(guó)科學(xué)數(shù)據(jù)中心的復(fù)雜場(chǎng)景特性總結(jié)為數(shù)據(jù)中心的動(dòng)態(tài)性和異構(gòu)性，提出了考慮動(dòng)態(tài)異構(gòu)特征的科學(xué)數(shù)據(jù)中心運(yùn)行狀況定量化評(píng)價(jià)模型。該模型首次考慮了科學(xué)數(shù)據(jù)中心的異構(gòu)性和動(dòng)態(tài)性特征，提出了異構(gòu)和動(dòng)態(tài)建模方法，最終構(gòu)建了定量化的科學(xué)數(shù)據(jù)中心運(yùn)行狀況評(píng)價(jià)指數(shù)，實(shí)現(xiàn)任意科學(xué)數(shù)據(jù)中心在任意時(shí)刻的定量化評(píng)價(jià)，大大提高了科學(xué)數(shù)據(jù)中心運(yùn)行評(píng)價(jià)方法的科學(xué)性、先進(jìn)性、公平性、實(shí)用性，必將促進(jìn)科學(xué)數(shù)據(jù)中心管理工作的進(jìn)步，提升科學(xué)數(shù)據(jù)中心的總體發(fā)展水平。

本文是首個(gè)面向復(fù)雜場(chǎng)景下科學(xué)數(shù)據(jù)中心定量化評(píng)價(jià)的模型，也是科學(xué)數(shù)據(jù)中心合理評(píng)價(jià)的頂層設(shè)計(jì)方案。該模型的有效實(shí)施依賴于3個(gè)重要基礎(chǔ)：①科學(xué)數(shù)據(jù)中心各個(gè)評(píng)價(jià)指標(biāo)數(shù)據(jù)的有效采集，包括數(shù)據(jù)中心運(yùn)行狀況信息的完整和準(zhǔn)確填報(bào)兩個(gè)方面。②異構(gòu)特征轉(zhuǎn)換模型的建立，異構(gòu)特征轉(zhuǎn)換函數(shù)能否兼顧公平與效率，反映出科學(xué)數(shù)據(jù)中心建設(shè)的成效，是該評(píng)價(jià)模型有效實(shí)施的關(guān)鍵。③評(píng)價(jià)指標(biāo)及其權(quán)重的動(dòng)態(tài)生成，決定了該模型能否反映某一階段數(shù)據(jù)中心工作重心，也決定了該模型在引領(lǐng)科學(xué)數(shù)據(jù)中心發(fā)展的能力。

本文作為科學(xué)數(shù)據(jù)中心運(yùn)行狀況評(píng)價(jià)方法的前瞻性研究，將會(huì)在接下來的科學(xué)數(shù)據(jù)中心評(píng)價(jià)工作中實(shí)現(xiàn)具體應(yīng)用。未來將進(jìn)一步提升模型的精細(xì)化程度，采用人工智能、自動(dòng)化系統(tǒng)、公眾縱包等技術(shù)和方法提高模型的自動(dòng)化程度，并面向部分科學(xué)數(shù)據(jù)中心，開展評(píng)價(jià)數(shù)據(jù)的采集，構(gòu)建異構(gòu)指標(biāo)轉(zhuǎn)換函數(shù)及模型，采用層次分析法，建立專家委員會(huì)，利用專家智能開展指標(biāo)權(quán)重定期評(píng)價(jià)，實(shí)現(xiàn)科學(xué)數(shù)據(jù)中心評(píng)價(jià)指標(biāo)體系權(quán)重的持續(xù)更新，利用異構(gòu)函數(shù)轉(zhuǎn)化后的評(píng)價(jià)指標(biāo)值以及相應(yīng)的指標(biāo)權(quán)重，實(shí)現(xiàn)科學(xué)數(shù)據(jù)中心運(yùn)行狀況的定量化評(píng)價(jià)。