任惠超　劉　亮　史學(xué)敏（中國船舶信息中心，北京 100012）

國家科技報告質(zhì)量評價指標(biāo)體系研究

任惠超劉亮史學(xué)敏
（中國船舶信息中心，北京 100012）

建立科學(xué)、客觀、易于操作、適應(yīng)目前國家科技報告管理的質(zhì)量評價體系，是提高國家科技報告技術(shù)價值和編制質(zhì)量的重要手段之一。文章在分析國家科技報告征集現(xiàn)狀及特點的基礎(chǔ)上，通過參考借鑒國防科技報告評價的有效經(jīng)驗，對國家科技報告質(zhì)量評價體系的構(gòu)建進行了探索和研究，利用專家調(diào)研法、層次分析法等方法，提出國家科技計劃中產(chǎn)生的科技報告驗收階段和收錄1～2年后的評價指標(biāo)體系及其權(quán)重，并對開展國家科技報告質(zhì)量評價提出措施建議。

國家科技計劃科技報告；質(zhì)量評價；評價指標(biāo)；評價體系；層次分析法

1　引言

2012年底國家科技部開展國家科技報告試點工作，迄今已有超過6萬份報告提供全社會共享使用，已初具規(guī)模。然而，在建立體系、征集收錄科技報告的同時，如何確保報告質(zhì)量，成為影響后續(xù)工作健康、持續(xù)開展的關(guān)鍵問題。規(guī)范科技報告質(zhì)量管控，確保越來越多高質(zhì)量的科技報告能夠得到有效收錄和共享使用，有必要建立一套相對科學(xué)的科技報告質(zhì)量評價指標(biāo)體系，并出臺系列科技報告質(zhì)量管控制度措施。

目前，征集的國家科技報告主要涉及國家科技重大專項、國家重點基礎(chǔ)研究發(fā)展計劃（973計劃）、國家高技術(shù)研究發(fā)展計劃（863計劃）、國家科技支撐計劃、國家國際科技合作專項、國家重大科學(xué)儀器設(shè)備開發(fā)專項以及國家科技獎勵工作等項目2006年以來立項的全部非涉密計劃項目（課題）?！皣铱萍紙蟾娣?wù)系統(tǒng)”于2013年11月開通了征求意見版，并于2014年3月正式上線，目前國家科技報告服務(wù)系統(tǒng)收錄國家科技報告近6萬篇（圖1）。

科技報告按內(nèi)容分為專題技術(shù)報告、技術(shù)進展報告、最終報告和組織管理報告四大類型［1］。目前，國家科技報告服務(wù)系統(tǒng)收錄的各類科技報告以技術(shù)進展報告和最終報告為主。這些報告是在國家科技計劃項目管理中提交的年度進展報告、成果驗收報告的基礎(chǔ)上，經(jīng)中國科學(xué)技術(shù)信息研究所組織科技報告專家按科技報告撰寫標(biāo)準(zhǔn)規(guī)范改寫而成（表1）。

圖1　各類型國家科技計劃產(chǎn)生的科技報告對外公布數(shù)量

表1　國家科技報告與科研項目管理成果的對應(yīng)關(guān)系

為構(gòu)建能夠有效評價國家科技計劃科技報告的質(zhì)量評價指標(biāo)體系并開展應(yīng)用研究，調(diào)研和分析研究了我國已開展的國防科技報告評價實踐。從20世紀(jì)80年代建立國防科技報告制度［2］以來，國防科技報告已經(jīng)形成了由總裝備部、各工業(yè)部門以及基層科研單位組成的三級管理體系，各基層企事業(yè)單位基本建立了本單位國防科技報告產(chǎn)生、撰寫、征集以及評審方面的相關(guān)程序制度。在質(zhì)量評價方面，國防科技報告沒有建立統(tǒng)一的評價制度，但在各領(lǐng)域和行業(yè)，相關(guān)科技報告管理部門陸續(xù)開展了一些理論探索研究和實踐工作。這些單位的相關(guān)研究和實踐，對開展國家科技報告質(zhì)量評價工作具有一定的參考借鑒作用。

通過對國防科技報告系統(tǒng)具有代表性意義的評價工作機制與指標(biāo)體系進行調(diào)研和分析，發(fā)現(xiàn)國防科技報告質(zhì)量評價的主要目的是評選優(yōu)秀科技報告，相關(guān)評價體系主要是針對優(yōu)秀科技報告的撰寫規(guī)范和技術(shù)內(nèi)容等方面提出了要求，同時考慮科技報告涉及項目本身的重要性和意義、科技報告的交流使用價值及作者科研能力和寫作水平等（表2）。

本文在分析國家科技報告特點的基礎(chǔ)上，通過借鑒國內(nèi)相關(guān)領(lǐng)域科技報告評價經(jīng)驗和期刊會議文獻(xiàn)評價的一般思路［3-8］，利用專家研討和層次分析法，分析得出相應(yīng)的評價指標(biāo)體系及其權(quán)值，提出國家科技報告質(zhì)量評價措施建議。

2　評價目的、主體及流程

開展國家科技報告質(zhì)量評價的目的主要有兩個方面：一是通過客觀、全面評估科技報告本身的質(zhì)量水平，有針對性地制定并實施報告質(zhì)量管控措施，從而提高報告的技術(shù)價值和使用價值；二是通過對科技報告質(zhì)量的評價，間接反映和衡量科研活動的水平和效果，對管理機關(guān)監(jiān)督和考評科研活動提供依據(jù)。

目前，國家科技報告通過國家科技報告申報系統(tǒng)在線提交，報告申報系統(tǒng)用戶分為報告提交單位管理員和報告作者。報告作者將其撰寫完成的科技報告通過申報系統(tǒng)提交至單位管理員，基層單位管理員檢查后提交至科技部，委托保藏單位審核，審核通過后收錄館藏。具體流程如圖2所示。

通過分析國家科研項目管理及科技報告呈交流程，科技報告評價主體主要包括項目承擔(dān)單位和國家科研項目管理機關(guān)委托的評審專家團隊，在科技報告上交、項目檢查與驗收、科技報告上線1～2年三個時間節(jié)點對科技報告進行質(zhì)量評價與管控。前兩個時間節(jié)點質(zhì)量評價主要目的是把控和提高報告質(zhì)量水平，最大程度地避免質(zhì)量低劣報告的產(chǎn)生和流向社會。第三個時間節(jié)點質(zhì)量評價主要目的是獎勵優(yōu)秀，從而激發(fā)產(chǎn)生更多的優(yōu)秀報告，形成撰寫提交優(yōu)秀報告的良性循環(huán)（圖3）。

表2　國防、船舶等相關(guān)領(lǐng)域的科技報告質(zhì)量評價指標(biāo)整理

2.1科技報告上交階段

對于尚未上交的科技報告，首先由項目承擔(dān)單位科研管理部門主管人員對本單位即將上交的科技報告進行質(zhì)量把控，包括對科技報告進行形式審查和組織單位內(nèi)部專家進行評審等，以確保本單位科技報告技術(shù)質(zhì)量。然后通過科技報告呈交系統(tǒng)上報科技報告。

圖2　國家科技報告提交流程

對于已經(jīng)呈交的科技報告，后續(xù)將依托科研項目管理機關(guān)組織的相關(guān)項目檢查和驗收工作，開展相應(yīng)質(zhì)量評價。評價合格的科技報告將進入國家科技報告服務(wù)系統(tǒng)，面向社會公眾開放使用。

2.2項目檢查與驗收階段

根據(jù)國家科研項目管理要求，在開展項目年度、中期檢查與驗收工作時，由科研項目管理機關(guān)組織的項目評審專家組，依照科技報告質(zhì)量評價指標(biāo)，在對項目評審的同時對科技報告質(zhì)量進行評價。

2.3科技報告上線1～2年之后

為提高項目承擔(dān)單位撰寫和提交高質(zhì)量科技報告的積極性，在科技報告上線服務(wù)1～2年后，由國家科研項目管理機關(guān)不定期組織評審專家組對科技報告的質(zhì)量進行抽查評價。評審專家組依照科技報告質(zhì)量評價指標(biāo)體系對科技報告質(zhì)量進行評價，根據(jù)評價結(jié)果對優(yōu)秀科技報告和項目承擔(dān)單位予以獎勵。

3　質(zhì)量評價指標(biāo)及其權(quán)值

根據(jù)國家科技計劃管理部門、國家科技計劃科技報告管理部門和國家科技計劃項目研制部門的具體需求，在參考借鑒國內(nèi)（主要是國防）科技報告質(zhì)量評價經(jīng)驗的基礎(chǔ)上，通過對50余位項目管理專家、科技報告專家和技術(shù)專家的現(xiàn)場調(diào)研、問卷調(diào)研及專題研討，構(gòu)建國家科技報告質(zhì)量評價指標(biāo)體系層次簡表，通過專家分析給出評價指標(biāo)相對影響力判斷，利用層次分析法計算指標(biāo)權(quán)重，得出國家科技報告質(zhì)量最終評價指標(biāo)及其權(quán)值。

3.1驗收階段評價指標(biāo)

國家科技計劃項目驗收階段進行科技報告質(zhì)量評價的目的是通過建立并利用統(tǒng)一科學(xué)的評價體系，提高科技報告的整體編寫質(zhì)量和技術(shù)水平，引導(dǎo)真正全面、客觀、完整反映重要科研活動核心、關(guān)鍵內(nèi)容的、高質(zhì)量的國家科技報告的產(chǎn)生，提升報告的交流使用價值。

評價指標(biāo)包含2個一級評價指標(biāo)和7個二級評價指標(biāo)（圖4），主要體現(xiàn)為報告科學(xué)價值（科學(xué)或理論的創(chuàng)新性、技術(shù)綜合性、技術(shù)重現(xiàn)度、潛在應(yīng)用價值），報告編制質(zhì)量（基本信息表的準(zhǔn)確完整性、撰寫格式標(biāo)準(zhǔn)化、寫作水平）兩個方面。在通用指標(biāo)下，不同類型的科技報告在指標(biāo)的內(nèi)涵解釋與具體應(yīng)用方面要求不同。根據(jù)專家打分情況，利用層次分析法計算，獲得報告科學(xué)價值指標(biāo)的權(quán)值為0.63，報告編制質(zhì)量指標(biāo)的權(quán)值為0.37。通過進一步計算，（C1，C2，C3，C4）的權(quán)重分別為（0.2420，0.2045，0.4577，0.0958），（C5，C6，C7）的權(quán)重分別為（0.2258，0.4156，0.3583），根據(jù)相關(guān)權(quán)值，計算指標(biāo)權(quán)重如表3所示。

圖3　國家科技報告申報及質(zhì)量評價流程圖

圖4　國家科技報告驗收階段評價指標(biāo)結(jié)構(gòu)圖

3.2收錄1～2年后評價指標(biāo)

國家科技報告收錄1～2年后進行質(zhì)量評價是報告質(zhì)量事后評價的重要體現(xiàn)，由科技報告館藏服務(wù)機構(gòu)利用科學(xué)統(tǒng)一的評價體系對已共享交流報告實施事后評價，是對驗收階段報告質(zhì)量評價的有益補充。

評價指標(biāo)體系包含2個一級評價指標(biāo)和6個二級評價指標(biāo)（圖5），主要體現(xiàn)為報告科學(xué)價值（科學(xué)或理論的創(chuàng)新性、技術(shù)綜合性、技術(shù)重現(xiàn)度、潛在應(yīng)用價值）以及報告使用價值（使用指數(shù)、加權(quán)使用指數(shù)）兩個方面。在通用指標(biāo)之下，評價不同類型科技報告，對于科學(xué)或理論的創(chuàng)新性、技術(shù)重現(xiàn)度、潛在應(yīng)用價值等方面的要求側(cè)重不同。根據(jù)專家打分情況，利用層次分析法計算，獲得報告科學(xué)價值指標(biāo)的權(quán)值為0.58，報告編制質(zhì)量指標(biāo)的權(quán)值為0.42。通過進一步計算，（F1，F(xiàn)2，F(xiàn)3，F(xiàn)4）的權(quán)重分別為（0.1384，0.2430，0.4341，0.1846），（F5，F(xiàn)6）的權(quán)重分別為（0.5323，0.4676），根據(jù)相關(guān)權(quán)值，計算指標(biāo)權(quán)重如表4所示。

表3　國家科技報告驗收階段評價指標(biāo)及其權(quán)重

圖5　國家科技報告收錄1～2年后評價指標(biāo)結(jié)構(gòu)圖

4　評價措施建議

對國家科技報告質(zhì)量進行有效評價，并將評價結(jié)果反饋在后續(xù)的科研過程中，是保證科技報告質(zhì)量、提升科技報告使用價值的有效手段［9-10］。為進一步加強國家科技計劃科技報告質(zhì)量評價工作，在前期相關(guān)研究的基礎(chǔ)上，提出如下建議。

表4　國家科技報告收錄1～2年后評價指標(biāo)及其權(quán)重

4.1評價工作納入項目管理過程

科技報告管理工作只有納入對科技計劃項目的管理過程中才能真正實現(xiàn)工作目的?？萍紙蟾尜|(zhì)量評價作為科技報告管理的重要工作，要想通過質(zhì)量評價實現(xiàn)提高報告質(zhì)量和交流使用價值的目的，只有將質(zhì)量評價合理納入科技計劃項目管理流程，才能夠切實有效發(fā)揮質(zhì)量評價的作用。建議在科技計劃項目管理重要環(huán)節(jié)嵌入科技報告質(zhì)量評價，而不是另外做一套流程和辦法，獨立進行評價。

首先，根據(jù)目前國家科技報告制度管理規(guī)定要求，在科技計劃項目驗收時要驗收是否按照合同要求完成相應(yīng)數(shù)量和類型的科技報告，建議同時對報告質(zhì)量進行評價打分?？蛇x擇兩種評價方式：一是對所有項目的所有科技報告進行評價，并進入項目驗收總成績。由專家組依照指標(biāo)體系給出每一篇報告相應(yīng)分值，并將其折算進入項目驗收總分值，同時將科技報告質(zhì)量評價結(jié)果寫入科研單位科研信用數(shù)據(jù)庫。二是對部分科研項目的科技報告進行抽查評價。由國家科研項目管理機關(guān)抽取一定比例的科技報告，項目驗收專家組依照指標(biāo)體系給出相應(yīng)分值。報告質(zhì)量評價低于60分，項目驗收將不予通過；低于80分，需對科技報告進行改寫或重寫，并將相應(yīng)評價結(jié)果寫入科研單位科研信用數(shù)據(jù)庫。經(jīng)檢查或驗收后，評價合格的科技報告將進入國家科技報告服務(wù)系統(tǒng)，上線供社會公眾使用。同時，為進一步選拔和鼓勵優(yōu)秀科技報告的呈交交流，可在科技報告上線服務(wù)1～2年后，由國家科研項目管理機關(guān)不定期組織評審專家組對科技報告的質(zhì)量進行評價。

其次，要在相關(guān)科技計劃管理辦法中明確規(guī)定對科技報告質(zhì)量的要求，規(guī)范質(zhì)量評價節(jié)點、評價辦法、評價流程等，明確評價結(jié)果對于科研項目實施和驗收等的影響，做到質(zhì)量評價工作制度化、規(guī)范化。

4.2質(zhì)量評價與報告呈交單位和作者的考核結(jié)合

評價科技報告質(zhì)量是對于報告質(zhì)量的事后把控，要想通過質(zhì)量的后評價達(dá)到從根本上提高報告撰寫質(zhì)量的目的，就必須將質(zhì)量評價的后果與報告呈交單位以及報告作者的考核激勵結(jié)合在一起。建議科技報告的質(zhì)量評價結(jié)果進入科研信用記錄系統(tǒng)，單位或具體科研人員撰寫報告連續(xù)或累計多次不合格或分?jǐn)?shù)排名較低，在一定時間暫定其申報國家科技計劃項目的資格，撰寫者本人的不良報告記錄也應(yīng)當(dāng)進入單位對其的職務(wù)職稱晉升以及人事考核中。反之，單位呈交報告連續(xù)或累計多次達(dá)到優(yōu)秀或排名前列，可優(yōu)先申請國家科技計劃項目，撰寫者本人也可在職務(wù)職稱晉升以及人事考核中相應(yīng)加分。

4.3引導(dǎo)呈交單位開展質(zhì)量評價

科技報告質(zhì)量評價是獨立于項目完成單位和下達(dá)單位之外的第三方評價。為引導(dǎo)項目承擔(dān)單位能夠在撰寫階段就按照優(yōu)秀報告的標(biāo)準(zhǔn)執(zhí)行，要全面推動和積極引導(dǎo)項目承擔(dān)單位根據(jù)科技報告質(zhì)量評價指標(biāo)，開展報告質(zhì)量的自我把控。一方面，科研人員明確質(zhì)量評價指標(biāo)要求，能夠利用指標(biāo)提前開展自我評價；另一方面，項目承擔(dān)單位要在科研人員提交報告后，上交國家科技報告系統(tǒng)之前，開展單位層面的質(zhì)量評價，做好質(zhì)量管理的第一環(huán)節(jié)工作。

4.4質(zhì)量評價根據(jù)實際工作情況循序漸進開展

鑒于目前國家科技報告處于廣泛征集的階段，目的是最大程度、最大范圍呈交科技報告，質(zhì)量評價工作應(yīng)服務(wù)當(dāng)前工作重點。建議可先期在某類國家科技計劃項目中進行試點，首先在項目驗收環(huán)節(jié)開展科技報告質(zhì)量評價，逐步完善形成質(zhì)量評價規(guī)范、流程，后續(xù)在更大范圍推廣，直至進入科技計劃項目管理規(guī)范流程中。

5　結(jié)語

在國家科技報告制度建設(shè)初期，通過建立一套相對完整科學(xué)的科技報告質(zhì)量評價指標(biāo)體系和相對完善的科技報告質(zhì)量控制流程，有助于提升我國科技報告的質(zhì)量，確保高質(zhì)量的科技報告能夠得到有效收錄和共享使用。本文提出了國家科技報告驗收階段和收錄1～2年后的評價指標(biāo)體系及其權(quán)重，并對如何有效開展國家科技報告質(zhì)量評價提出了措施建議。下一步將對本研究中提出的科技報告質(zhì)量評價指標(biāo)體系及其權(quán)重進行實證驗證研究，挑選部分領(lǐng)域科技報告進行評價。同時，建議科技報告領(lǐng)域管理專家和研究專家可在本研究提出的評級措施建議的基礎(chǔ)上進一步思考和研究，盡快建立國家科技報告質(zhì)量評價體系，促進能夠有助于提升我國科技報告質(zhì)量的相關(guān)政策制度盡早落地實施。

［1］ 馮長根，程津培，鐘南山，等.建立國家科技報告體系勢在必行［J］.科技導(dǎo)報，2011，29（21）：15-16.

［2］ 國防科技報告管理辦公室.國防科技報告是國防科技發(fā)展的重要資源［J］.航空科學(xué)技術(shù)，2004（1）：11-14.

［3］ 馬謙杰.信息資源評價理論與方法［M］.北京：經(jīng)濟科學(xué)出版社， 2002.

［4］ 肖瓏，張宇紅.電子資源評價指標(biāo)體系的建立［J］.大學(xué)圖書館學(xué)報， 2002（3）： 35- 42.

［5］ 李隨成，陳敬東，趙海剛.定性決策指標(biāo)體系評價研究［J］.系統(tǒng)工程理論與實踐，2001，21（9）：22-28.

［6］ EGGHEL.Theory and practice of the index［J］.Scientometries，2006，69（1）：131-152.

［7］ 楊忻.數(shù)字館藏評價指標(biāo)的獲取方法［J］.圖書館，2008（5）：77-79.

［8］ 趙俊玲，陳蘭杰.國外網(wǎng)絡(luò)信息資源評價研究綜述［J］.圖書館工作與研究，2004（3）：24-26.

［9］ 賀德方.科技報告資源體系研究［J］.信息資源管理學(xué)報，2013（1）：4-9，31.

［10］ 毛剛，賈志雷，侯人華，等.情報學(xué)視角下的科技報告研究［J］.情報雜志，2013，32 （12）：62-66，109.

Research on the Evaluation Index System of National Scientific and Technical Report

REN Huichao， LIU Liang， SHI Xuemin
（Ship Information Center of China， Beijing 100012）

It is an important means for improving the technology value and writing quality to establish a scientific， objective and operable national scientific and technical report quality evaluation system， which is suitable for presently national scientific and technical report management. The construction of national scientific and technical report’s quality evaluation system was explored and studied on this article， according to the status and characteristics of national scientific and technical report’s collection and effective experience of GF report evaluation. By the Analytical Hierarchy Process， we proposed the evaluation index and its weighting on national scientific and technical report in the stage of its acceptance and collection.

national scientific and technical report， quality evaluation， evaluation index， evaluation system，Analytical Hierarchy Process

G251.4

A

10.3772/j.issn.1674-1544.2016.01.009

任惠超（1977—），女，中國船舶信息中心高級工程師，研究方向：科技報告制度建設(shè)、知識產(chǎn)權(quán)戰(zhàn)略；劉亮*（1987—），男，中國船舶信息中心工程師，研究方向：科技報告使用、知識產(chǎn)權(quán)戰(zhàn)略；史學(xué)敏（1978—），女，中國船舶信息中心副研究館員，研究方向：科技報告制度建設(shè)與挖掘使用。

國家科技報告制度試點專項“國家科技計劃科技報告質(zhì)量評價指標(biāo)體系建設(shè)”（2013KJBG-02）。

2015年12月15日。