李晶 楊雪 蘇秋丹 吳登生
摘 要: [目的/ 意義] 創(chuàng)新是科技成果的本質(zhì)特征和推動科學發(fā)展的根本動力, 厘清科技成果創(chuàng)新性測度的基本問題, 可為優(yōu)化與改進現(xiàn)有研究、輔助同行評審進行科學決策提供有價值的參考。[方法/ 過程] 基于知識單元理論, 從新穎性與有用性維度對現(xiàn)有科技成果創(chuàng)新性測度與評價的相關研究進行述評, 具體包含新穎知識單元、新穎知識單元組合和知識單元轉(zhuǎn)移擴散的影響力4 方面。[結果/ 結論] 通過對現(xiàn)有研究成果的系統(tǒng)梳理,發(fā)現(xiàn)當前研究存在淺層知識單元測度指標過度使用、有用性維度知識單元未充分挖掘、專家評審相關定性評價數(shù)據(jù)利用不足等方面問題, 并根據(jù)上述問題提出挖掘使用細粒度知識單元與新型數(shù)據(jù)源、提高對有用性維度指標的關注度并促進其與新穎性維度指標相結合、充分利用專家評審數(shù)據(jù)等科技成果創(chuàng)新性測度的優(yōu)化和改進策略。
關鍵詞: 科技成果; 學術論文; 專利; 知識單元; 創(chuàng)新性測度
DOI:10.3969 / j.issn.1008-0821.2023.08.015
〔中圖分類號〕G301 〔文獻標識碼〕A 〔文章編號〕1008-0821 (2023) 08-0161-17
科技成果, 以專利和科技論文為主要形式, 承擔著傳播科技理論、推廣技術應用創(chuàng)新、推動科技進步的重要功能, 成為衡量一個國家科技進步發(fā)展與自主創(chuàng)新水平的重要標志。黨的十九大報告明確提出“要堅定實施創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略, 加快建設創(chuàng)新型國家” 的戰(zhàn)略部署, 學術評價領域也在加快破除落后的評價導向, 建立與國家戰(zhàn)略需求一致的新型評價體系。2020 年2 月, 科技部、教育部就相繼出臺系列政策文件, 包括《關于破除科技評價中“唯論文” 不良導向的若干措施(試行)》《關于規(guī)范高等學校SCI 論文相關指標使用 樹立正確評價導向的若干意見》等, 強調(diào)論文成果參與評價時要“回歸學術本質(zhì)” “展示創(chuàng)新性和學術影響”,不能“只數(shù)數(shù)量和影響因子, 不看質(zhì)量”。上述系列政策以改革論文評價導向為切入, 通過發(fā)揮論文作為微觀主體在創(chuàng)新評價導向中的驅(qū)動力, 逐步扭轉(zhuǎn)和重構各類以論文評價要素為基礎的各類科技評價理論和應用實踐, 最終構建符合科學發(fā)展內(nèi)在規(guī)律的、服務于國家創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略的新型學術評價體系。在當前科技評價改革發(fā)展的關鍵時期, 理論界和實踐界亟需解決的一個關鍵問題是: 如何準確評價科技成果的創(chuàng)新性?
誕生于19 世紀初的同行評審一直是識別和評價論文學術創(chuàng)新性的主流方法, 但是進入20 世紀后半葉, 科技論文數(shù)量激增給同行評審人帶來了巨大的審稿負擔, 同時由于認知的局限性, 導致一些重大創(chuàng)新成果被遲滯承認而成為科學“睡美人”[1] ,給科學發(fā)展帶來了巨大的損失; 另一方面, 創(chuàng)新理論和創(chuàng)新性客觀測度方法不斷發(fā)展和完善, 開始為同行評審決策提供輔助評審標準。在已有研究中,羅卓然等[2] 、李姍等[3] 、柴嘉琪等[4] 、魏緒秋等[5]對論文創(chuàng)新性進行了系統(tǒng)評述。不同于以往研究,本文的主要創(chuàng)新體現(xiàn)在兩個方面: 一是擴展了研究對象的范圍, 充分借鑒了現(xiàn)有對專利新穎性、創(chuàng)造性測度的技術和方法, 同時綜合期刊論文創(chuàng)新性測度的理論成果, 梳理形成的評價指標體系框架具有全面性; 二是兼顧科技成果的內(nèi)容特征與外部特征, 以創(chuàng)新理論、知識單元理論為基礎, 按照創(chuàng)新過程中知識單元的屬性特征, 將現(xiàn)有科技成果創(chuàng)新性研究劃分為基于新穎知識單元、新穎知識單元組合以及知識單元轉(zhuǎn)移擴散影響力3 類, 從新穎性和有用性兩維度對科技成果創(chuàng)新性測度研究成果進行系統(tǒng)梳理, 旨在為實現(xiàn)科技成果創(chuàng)新性自動測度、輔助同行評審進行科學決策提供有價值的參考。
1 基于知識單元理論的科技成果創(chuàng)新性內(nèi)涵
對科技成果創(chuàng)新性進行測度, 首先要明確什么是創(chuàng)新? 現(xiàn)有研究尚未形成對創(chuàng)新的統(tǒng)一定義, 不同領域研究人員依據(jù)其研究領域特征形成對創(chuàng)新的不同見解。創(chuàng)新理論的鼻祖約瑟夫·熊彼特提出組合創(chuàng)新理論, 認為創(chuàng)新是建立一種新的生產(chǎn)函數(shù),把尚未出現(xiàn)過的關于生產(chǎn)要素和生產(chǎn)條件的新組合引入生產(chǎn)體系[6] , 該思想作為創(chuàng)新的起源, 自誕生起便受到各界的普遍認可, 在此基礎上也形成了一系列探索性研究, 深化了對創(chuàng)新來源及其特征的認識。Chen J 等[7] 指出, 生產(chǎn)系統(tǒng)中由生產(chǎn)要素的新組合形成的創(chuàng)新資本往往涉及新產(chǎn)品、新技術、新市場、新材料等, 即創(chuàng)新由具備新穎性的要素構成, 涵蓋了新穎性要素組合轉(zhuǎn)化為新穎性成果的轉(zhuǎn)化過程。在諸多組合中, 跨邊界合作及知識共享在取得創(chuàng)新績效與突破性成果方面更為成功[8-10] 。經(jīng)上述分析可知, 新穎性是創(chuàng)新性測度的首要維度,同時由于創(chuàng)新是產(chǎn)生想法并實施, 最終能夠創(chuàng)造價值的活動[11] , 因此在滿足基本的新穎性要求的基礎上, 更要具備使用價值, 檢驗新穎性成果是否能夠滿足創(chuàng)新價值要求則需由創(chuàng)新產(chǎn)出的應用階段來檢驗[12] , 當人類的創(chuàng)造力轉(zhuǎn)化而來的新事物取得良好使用效益時, 該事物可稱為真正意義上的創(chuàng)新[13] 。由學界對創(chuàng)新性的概念解釋可見, 新穎性與價值性即有用性是創(chuàng)新性成果的兩個重要維度,二者之間的關系如圖1 所示。
創(chuàng)新性成果首先必須具備新穎性, 即有新的成果產(chǎn)出, 能夠改變、發(fā)展或突破舊有研究的范式、領域及思想。由于科學總是建立在一定學術共識的基礎上, 因而要隨時間變化驗證新穎性成果的有用性, 實質(zhì)上即判定新穎性科技成果是否具備科學創(chuàng)新性。因此, 創(chuàng)新成果的有用性是使新穎性轉(zhuǎn)化為創(chuàng)新性的必要條件, 新穎性是使有用性成果可被界定為創(chuàng)新性成果的重要前提, 具備有用性特征的科技成果、產(chǎn)品或服務若缺少必要的新穎性條件也不可稱之為創(chuàng)新。
以科技文獻為研究對象時, 創(chuàng)新可理解為在已有知識基礎上, 通過知識的獲取、共享和吸收等知識間的互動融合過程創(chuàng)造新的想法、產(chǎn)品或更深層次知識的活動[14-15] , 趙紅洲等[16] 從科學創(chuàng)造的角度提出了知識單元, 認為任何一種科學創(chuàng)造過程都是在新的思維勢場上知識單元的重組過程和新的知識單元的創(chuàng)生過程。可見, 知識單元可視為判斷創(chuàng)新現(xiàn)象產(chǎn)生的媒介, 在科技文獻中, 知識可利用知識單元表示, 對科技文獻創(chuàng)新性評價的本質(zhì)是看有無新知識的創(chuàng)造, 最終要落實到對科技成果所承載的知識單元的計量與測度上[17] 。
廣義知識單元泛指對知識進行處理與組織的任何一種相對獨立的、完整的單元內(nèi)容和形式, 具有多層次性、多粒度性、多維性、分合性、重組性和再生性特征, 既可以指特定概念, 又可以指單篇文獻, 因而其容量是無限度的。而狹義知識單元則特指在思維中不再分解的最基本的思維形式, 往往指構成整個知識系統(tǒng)最基本的單元形態(tài), 即通常所說的知識元[18-19] 。本文使用廣義知識單元的概念,并根據(jù)其在知識管理活動中的演變, 將其分為文獻單元、信息單元和微觀知識元3 個層次, 各層次知識單元的知識粒度逐漸細化。
文獻單元是知識的物理載體或物理單位, 如論文的卷、期、頁碼、發(fā)文量、引文量等, 信息單元是用于獨立控制和處理文獻的信息標識, 以文獻的某些屬性特征作為知識組織和管理的基本單元, 如著者、發(fā)表時間、出版社等外部信息特征和摘要、主題詞、關鍵詞、標題、字、詞、句、段、參考文獻等內(nèi)容特征。知識元是不可再分的最小粒度知識單元,其強調(diào)獨立性、完整性、單一性, 如論文概念、理論、方法等。文獻單元是信息單元及知識單元的物理載體, 信息單元是文獻單元和知識元的過渡或中間概念, 微觀知識元來源于文獻單元和信息單元, 是其深入發(fā)展的結果[20-21] , 三者共同構成了知識的不同內(nèi)容形態(tài), 其中文獻單元和信息單元可視為以知識的物理載體形態(tài)為主要標識的知識單元, 知識元可視為以知識的內(nèi)容形態(tài)為主要標識的知識單元[19] 。由此可見, 知識單元具有多維性, 其并非知識的最小組分, 是微觀知識元的上位概念,知識元的排列組合形成了不同粒度的知識單元。
綜上, 本文認為創(chuàng)新是技術、理論、方法等要素在現(xiàn)有知識基礎上進行重構而產(chǎn)生的知識增值,表現(xiàn)為有新的產(chǎn)出且產(chǎn)出具備一定影響力, 結合知識單元理論和學術界對創(chuàng)新的普遍共識, 具有創(chuàng)新性的科技成果至少包含知識單元產(chǎn)出新穎性和有用性兩個基本維度, 因此, 立足于知識單元理論的科技成果創(chuàng)新性測度也主要圍繞上述維度, 借助科技文獻三層次知識單元及其組合的新穎性與有用性展開。
2 科技成果創(chuàng)新性測度指標
結合學界對科技成果創(chuàng)新性測度的研究和知識單元理論, 可將現(xiàn)有成果創(chuàng)新性評價研究分為新穎性和有用性測度兩維度, 其中新穎性又可以細分為新穎知識單元、新穎知識單元組合兩方面; 有用性則以知識單元轉(zhuǎn)移擴散影響力測度?!靶路f知識單元” 是指上述文獻單元、信息單元與知識元中新出現(xiàn)的知識單元, 是一個與“已有知識單元” 相對應的概念, 強調(diào)論文的創(chuàng)新性由新出現(xiàn)的知識單元定義[22] , 結合現(xiàn)有研究, 其既包括多個知識單元結構的差異性特征, 也包括關鍵詞、句子、主題詞等知識單元與已有知識單元的差異度?!靶路f知識單元組合” 是指科技成果中兩類及以上知識單元的組合構成了成果創(chuàng)新性的來源, 如問題與方法的組合、特定學科領域的參考文獻與技術領域的組合、知識實體組合等?!爸R單元轉(zhuǎn)移擴散的影響力” 是指如概念、定義、理論、觀點等知識單元被引用至其他科技成果時產(chǎn)生的影響, 主要使用知識單元被引頻次及比例來測度, 這一維度側重于評估科技成果知識單元對后續(xù)研究的價值, 實則用影響力替代度量創(chuàng)新性, 測度基本原理是高創(chuàng)新性的論文同時也具有較高學術影響力。
根據(jù)上述思路與當前學界研究現(xiàn)狀, 將科技成果創(chuàng)新性評價指標總結如圖2 所示, 以下按照新穎知識單元、新穎知識單元組合和知識單元轉(zhuǎn)移擴散的影響力三維度的順序, 對現(xiàn)有科技成果創(chuàng)新性評價研究中相關測度思想、指標與方法進行梳理。
2 1 新穎知識單元
從新穎知識單元的角度對科技成果創(chuàng)新性進行評價的核心思想是“查新”, 即識別科技成果中新出現(xiàn)的知識單元。這類測度方法測度的對象主要有成果結構、關鍵詞、句子等。
2 1 1 多個知識單元結構的差異度
結構是科技成果內(nèi)容與寫作邏輯的體現(xiàn), 成果結構中各部分知識單元內(nèi)容對其整體創(chuàng)新性的影響不同, 由此可通過科技成果不同結構的內(nèi)容識別創(chuàng)新性, 如通過是否提出新論點或使用新論據(jù)判斷成果創(chuàng)新性。楊京等[23] 以論文結論為創(chuàng)新性評價對象, 通過論文的IMRD(Introduction、Method、Re?sults、Discussion)結構, 提出基于論文Results 數(shù)據(jù)的論文創(chuàng)新性評價方法。Lynn 則將科學工作概括為假設、方法、結論三要素, 根據(jù)是否在已有論文中被報道過(是為P, 否為N), 將論文的原創(chuàng)性劃分為NPN、NNN、NPP、PNN、PPN、NNP、PNP、PPP 8 類, 提出NPN 模式(新假設—舊方法—新結論)是最常見的創(chuàng)新性研究類型, 該評價方法的基本思想是新的假設可以產(chǎn)生新的結論[24] 。在科技成果語義結構方面, Jan 抽取專利的SAO(Subject-Action-Object-Structures)語義結構識別成果新穎性[25] 。首先, 使用語義分析工具抽取專利的語義結構并構建相似性矩陣; 其次, 利用相似性矩陣計算專利的新穎性。具體計算方法見式(1)。
Ni =1-max(Si(n)) for all n<I (1)
其中, Ni 為被評價專利的創(chuàng)新性, Si(n)為該專利與本領域之前發(fā)布的專利的相似性。
2 1 2 單一知識單元差異度
知識單元是科技成果內(nèi)容的基本組成要素, 可通過知識單元同先前成果的差異度來測度新穎性,各知識單元的差異度計算如下。
1) 關鍵詞。關鍵詞可反映論文研究主題, 是表述科技成果中心內(nèi)容的詞匯, 當作者使用從未出現(xiàn)的關鍵詞時則可能代表知識創(chuàng)新或新概念的提出[26] 。學界已有探索通過神經(jīng)網(wǎng)絡算法自動識別基于關鍵詞的科技成果創(chuàng)新性的研究[27] , 目前主要的方法是借助新穎關鍵詞與關鍵詞組合頻率、新穎關鍵詞組合共性以及關鍵詞重要性的指標識別成果創(chuàng)新性。Yan Y 等[28] 和Bornmann L 等[29] 、ShinH 等[30] 分別計算新穎關鍵詞組合比例及新穎關鍵詞比例, 以其新穎程度度量論文的創(chuàng)新水平。楊建林等[31] 認為, 可通過計算關鍵詞對的逆文檔頻率來計算論文的主題新穎性, 其使用共現(xiàn)、詞頻、時間戳、關鍵詞對逆文檔頻率的原則量化論文主題的新穎性。具體計算方法見式(2), 其中, ti 、tj 分別表示文檔的第i 個和第j 個關鍵詞; n 表示文檔D 中關鍵詞的數(shù)量, KPTIDF(D,ti ,tj )表示帶時間戳的關鍵詞對逆文檔頻率。
Lee Y N 等[32] 通過參考文獻來源期刊組合共性量化論文創(chuàng)新性方法被Carayol N 等[33] 、Lee C等[34] 應用于通過關鍵詞組合共性測度成果創(chuàng)新性的過程中。首先計算關鍵詞i、j 在c 領域的共性值, 見式(3):
隨后將單篇論文表示為關鍵詞組合, 進而以關鍵詞組合共性值代表單篇論文的共性值, 見式(4):
Comc =10thPercentile(Comjict |?ij∈K) (4)
論文的創(chuàng)新性novc 的表示見式(5):
novc =-log(comc ) (5)
除通過關鍵詞組合頻率以及關鍵詞組合共性測度科技成果的新穎性, 馮立杰等[35] 利用關鍵詞以及單個技術方案的IDF 值對專利的新穎性進行衡量,基于IDF 值評價創(chuàng)新性的思想來源于傳統(tǒng)逆文檔頻率算法, 即文本集中包含詞項w 的文檔越少, 說明其出現(xiàn)頻率越小, IDF 值越大。通過IDF 值實現(xiàn)對潛在技術創(chuàng)新方案新穎性的排序, 可最大限度地減少因?qū)<胰斯ずY選大量專利信息所帶來的效率和準確性問題。在運用TextRank 算法提取潛在技術方案的關鍵詞并將專利文本向量化后, 運用LDA主題識別模型識別潛在的技術機會, 以提取到的關鍵詞集合w 代表潛在技術創(chuàng)新機會所對應的技術方案。關鍵詞集合的重要性IDF(w) 表示見式(6):
其中n(w)為專利集中包含關鍵詞w 的數(shù)量,N 為專利文本總數(shù), q 為關鍵詞個數(shù)。
2) 句子。以句子為指標評價成果創(chuàng)新性, 能夠反映科技成果在具體研究內(nèi)容方面的差異性, 如研究主題、使用的方法等, 測度的根本在于衡量其與已有研究成果的相似性。Tsai F S 等[36] 提出基于文檔—句子(Document-to-sentence)標注的文檔級新穎性檢測框架, 其將論文分割成句子, 得到每個句子的新穎性, 依據(jù)閾值計算單篇論文的新穎性得分。隨后, 通過句子創(chuàng)新性預測單篇論文創(chuàng)新性的測度思路也被應用于構建論文創(chuàng)新性評價系統(tǒng)的過程中, 實現(xiàn)了從語義層面計算論文創(chuàng)新性的自動化[37-38] 。晁珍珍[39] 則通過詞語網(wǎng)絡的方法, 以概念圖的形式對句子的相似度進行度量, 進而實現(xiàn)對專利全文新穎性的測算。Wang Z 等[40] 則對句子中包含的特定知識元素的創(chuàng)新性進行抽取, 認為當前集中于宏觀層面度量科學文獻整體創(chuàng)新度的方法忽略了特定知識元素的創(chuàng)新性, 因此提出基于方法知識元素(MKE)的細粒度新穎性評價法, 使用BTM主題模型, 根據(jù)方法表示句抽?。停耍?, 根據(jù)論文中MKE 與同領域論文的相似性表示創(chuàng)新水平, 相似性越高表明創(chuàng)新程度越低。不同于上述基于句子相似性的創(chuàng)新性評價研究, 章成志等[41] 依據(jù)學術論文全文, 提出創(chuàng)新研究評價句自動抽取以獲取研究的創(chuàng)新評價句的方法, 并按照學術評價句的內(nèi)容對評價句的類型進行了分類, 除此也對評價句在學術論文中的相對位置分布進行了分析, 為學術成果創(chuàng)新性評價研究提供了新的解決方案。
3) 主題及主題詞。主題詞是在標引和檢索過程中用來表達文獻主題的詞匯, 也是衡量文章創(chuàng)新性的重要知識單元, 曹樹金等根據(jù)論文主題是否涵蓋后續(xù)研究熱點識別當下具有創(chuàng)新價值的論文, 可視為以論文預測新穎度與論文實際新穎性差異衡量創(chuàng)新性的方法。在利用LDA 模型識別每篇論文主題并求得主題概率分布后, 使用SVM 模型預測待評價論文的發(fā)表年并使用Platt Scaling 模型進行概率校準。論文創(chuàng)新性計算見式(8):
根據(jù)現(xiàn)有研究, 計算新穎主題詞或其組合頻率是常用的創(chuàng)新性量化方法。Boudreau K J 等[43] 通過計算新穎主題詞比例衡量項目的創(chuàng)新性, 其基于Mesh Lexicon 醫(yī)學主題詞表, 提取每個項目的主題詞, 將提案中主題詞對集合與PubMed 中所有的主題詞對進行對比, 并計算先前未出現(xiàn)過的新穎主題詞的比例, 比例越大說明創(chuàng)新性越強。值得注意的是, 該研究僅使用主題詞作為測度指標的來源。進一步的, 有學者使用主題詞的非典型組合預測論文內(nèi)容的新穎性方法[44] , 如任海英等[45] 以論文的題目、摘要與關鍵詞為數(shù)據(jù)源, 通過文本挖掘方法提取論文主題詞, 構建主題詞共現(xiàn)網(wǎng)絡, 分別計算論文主題詞的新穎組合率、中等組合率和常規(guī)組合率, 指出主題詞組合具有高新穎性和高常規(guī)性的論文具有最高的新穎水平, 且更易產(chǎn)生高影響力。因而在進行創(chuàng)新性研究時, 應注重新穎知識與常規(guī)知識的適當組合。逯萬輝等[46] 則利用文本挖掘技術構建了基于深度學習的文本內(nèi)容特征因子計算模型,以論文摘要和標題為數(shù)據(jù)源對科技成果的研究主題進行抽取和計算, 構建主題新穎性測度指標。首先利用Doc2Vec 計算文檔集內(nèi)文本語義相似度, 并在論文研究主題相似度計算的基礎上, 構建主題相似性網(wǎng)絡, 采用隱馬爾可夫模型的相關算法來計算文檔集內(nèi)所有文本間的相似性, 實現(xiàn)對論文的主題創(chuàng)新性的測度。任海英等[47] 也以專利摘要和標題為數(shù)據(jù)源, 通過文本挖掘和知識網(wǎng)絡的方法, 構建了基于單詞組合分布的專利新穎性識別方法, 并得出高新穎性專利更容易產(chǎn)生突破性發(fā)明的結論。
4) 參考文獻。參考文獻在一定程度上可反映科技成果的研究主題與內(nèi)容, 使用參考文獻衡量科技成果創(chuàng)新性已被廣泛應用于科技成果創(chuàng)新性評價領域, 主要是從知識來源的角度評估當前成果知識單元構成情況與已有成果的差異性。Dahlin K B 等[48]從專利引用結構相似性的角度對專利創(chuàng)新性進行了度量, 認為專利引用結構的差異反映了發(fā)明所依賴的知識之間存在的差異, 因此可通過專利的引用結構對潛在的突破性進行識別, 當前專利與過去專利參考文獻重疊越小新穎性越高。論文定義了OSij測度專利的創(chuàng)新性, 見式(10)。
OSij表示焦點專利的參考文獻與同域?qū)@麉⒖嘉墨I間的重疊分數(shù), 該得分在0~1 之間, 得分越接近1 說明其創(chuàng)新性越強。
也有學者借助參考文獻來源期刊組合計算創(chuàng)新性。具有代表性的研究如Uzzi B 等[49] 提出的Z 值算法, Z 值算法的基本思想是創(chuàng)新來源于知識的重新組合[50] , 知識重組的程度利用參考文獻刻畫,表現(xiàn)為該文章所引用參考文獻的來源期刊組合尚未在之前的研究中出現(xiàn)。Z 值法以期刊組合對在WOS中觀察到的實際組合頻率與期望觀測頻率之差除以文章到文章隨機引文網(wǎng)絡的10 個隨機模擬所得期刊對數(shù)標準差表示, Z 值低于零意味著該組合是非典型或新穎的。隨后, Zhang X 等[27] 、Kim D 等[51] 、Lin Y 等[52] 也繼承了科學文獻的創(chuàng)新來源于知識組合的思想, 采用Uzzi B 的計算方法對論文和專利的創(chuàng)新性進行評價。Boyack K 等[53] 在Uzzi B 的Z值算法的基礎上, 提出改進的K50 指標, 其使用平方共引計數(shù)矩陣的行和列及計算的期望值和標準化值, 省去了前者使用蒙特卡洛技術的不必要的計算過程, 該成果可以視為是對Uzzi B 方法在技術上的有效改進。
Wang J 等[54] 以首次出現(xiàn)的期刊組合及其形成難度衡量論文的創(chuàng)新性。在提取新穎期刊組合后,對期刊組合構建期刊共引矩陣并計算其余弦距離即余弦相似度, 代表了期刊組合對的形成難度。計算公式見式(11):
雖然參考文獻可作為評估科技成果新穎性的工具, 但參考文獻并不針對論文的實際內(nèi)容, 且作者所參考的文獻也未必是文中創(chuàng)新性思想的來源[55] ,即目前僅通過參考文獻度量創(chuàng)新性的方法依舊停留在內(nèi)容之外的較淺測度層次上。因此, Shibayama S等[56]將研究視角延伸至論文參考文獻組合語義層面,其認為引用了語義上的遠距離文獻組合的文章具有創(chuàng)新性, 并通過參考文獻組合的摘要、關鍵詞、標題等文本距離來量化創(chuàng)新性。該研究中使用詞嵌入技術與引文分析技術, 從語義層面衡量論文創(chuàng)新性的方法具有數(shù)據(jù)獲取簡單、操作便捷的優(yōu)勢。計算過程包括, 首先提取文檔中的文本語義信息并以詞向量表示各參考文獻; 其次計算每對參考文獻對之間的語義距離; 最后聚合所有被引用參考文獻的距離得分計算論文的創(chuàng)新性。
2 2 新穎知識單元組合
依靠單一知識單元往往不能客觀、準確地反映成果的創(chuàng)新性。因此, 有學者綜合考慮多個知識單元, 通過知識單元組合來測度創(chuàng)新性。包括問題與方法組合、參考文獻與技術領域分類代碼組合、知識實體組合等。
2 2 1 問題與方法組合
Luo Z 等[57] 認為, 論文的創(chuàng)新性由構成論文的各個部分的創(chuàng)新性決定, 并將研究問題與研究方法視為主要創(chuàng)新要素, 提出從“問題—方法” 的語義組合衡量論文新穎性的方法。該方法同時考慮問題與方法術語的時間與頻率特征以及術語本身的語義內(nèi)涵, 依據(jù)閾值確定二者的創(chuàng)新水平, 在此基礎上定義論文的創(chuàng)新類型, 并指出“新問題+新方法” 組合是最具新穎性的組合。其分別提出基于LifeIndex 指數(shù)和基于語義與BERT 模型的“問題”“方法” 及其組合的新穎性度量法, 兩種方法的計算結果具有一致性, 基于語義相似度的方法可彌補LifeIndex 指數(shù)在確定新穎性差異方面的局限。隨后, 羅卓然等[58] 也在該研究的基礎上, 對研究數(shù)據(jù)、研究方法做進一步改進, 在語義層面為科技論文新穎性測度提供更為精細化的方法。錢佳佳等[59] 也采用基于論文“問題—方法” 組合的新穎性度量方法, 首先基于深度學習模型得到科技論文的問題詞和方法詞, 通過“問題—方法” 組合貢獻率衡量論文新穎度。其分別計算了論文的單個問題新穎度、方法新穎度以及“問題—方法” 組合新穎度, 以出現(xiàn)頻率表示創(chuàng)新程度, 最后使用三者新穎值的加權平均值作為科技論文整體的新穎性值, 表示為Nov(D), 見式(13):
Nov(Q)、Nov(M)、Nov(Q,M)分別為問題新穎性值、方法新穎性值與問題—方法組合的新穎性值。k1、k2、k3 分別為上述要素權重值, 其大小可反映對論文新穎性的決定程度。
2 2 2 參考文獻與技術領域分類代碼組合
參考文獻反映了專利內(nèi)容的基本構成情況, 專利涉及的技術領域則衡量了專利的技術交叉性,Verhoeven D 等[60] 通過計算專利所屬的IPC 分類碼與其參考的專利、科學文獻所屬領域的組合頻率衡量專利創(chuàng)新性, 其中IPC 技術分類代碼體現(xiàn)了專利技術領域的多樣性, 該評價方法的根本在于衡量專利的跨領域創(chuàng)新性。吳菲菲等[61] 認為, 專利引用的參考文獻發(fā)表時間越接近當前, 說明該專利的技術循環(huán)時間越短, 同時若其涵蓋的學科領域廣泛,專利潛在的創(chuàng)新性越強, 基于此, 其提出利用參考文獻的技術循環(huán)時間和基于IPC 分類碼的領域交叉度度量方法評價專利創(chuàng)新性, 根本上是對專利所含知識單元的新穎程度與豐富程度進行整合測度。由于專利知識來源可分為技術知識來源和科學文獻知識來源, 因此需分別計算來自技術知識和來自科學文獻知識的技術循環(huán)時間, 利用二者的技術循環(huán)時間計算總體技術循環(huán)時間TCTi , 見式(14):
TCTi =αTCTti +(1-α)TCT si (14)
其中, ti 為技術起源知識循環(huán)時間, si 為科學文獻知識技術循環(huán)時間, α 可由專家設定。隨后利用IPC 分類碼的數(shù)量評估專利的跨領域性, 由此實現(xiàn)對創(chuàng)新性的綜合判斷。
除參考文獻與技術分類代碼組合, 在內(nèi)容層面, 也有學者利用圖網(wǎng)絡工具將關鍵詞與主題詞兩類知識單元結合度量成果的創(chuàng)新性, 主要通過自編碼神經(jīng)網(wǎng)絡的方法, 引入以文檔和作者為節(jié)點的宏觀層面的圖, 以及以關鍵詞、主題詞為節(jié)點的微觀層面的圖, 當加入新的論文時, 以圖的結構和特點變化表示科技成果的創(chuàng)新性[62] 。
2 2 3 參考文獻與產(chǎn)出內(nèi)容組合
秦巖等[63] 認為, 論文新穎性的產(chǎn)生是一個二階過程, 第一階段是知識吸收階段, 主要來源為參考文獻, 第二階段為知識產(chǎn)出階段, 即作者進行論文創(chuàng)作。由此提出基于知識吸收與知識產(chǎn)出視角的會議論文新穎性度量法。其中吸收新穎性指標是基于參考文獻的新舊程度進行測度, 產(chǎn)出新穎性指標是從現(xiàn)有成果與已有研究的相似度比較的角度進行測度。知識吸收新穎程度通過新舊參考文獻在論文參考文獻中的比例計算, 吸收新穎性指數(shù)I(i)new 表示見式(15):
W 是論文i 的參考文獻數(shù)量, a 是參考文獻發(fā)表時間與本論文發(fā)表時間差值小于等于N 的論文數(shù)量。隨后計算所有會議論文新穎性值的中位數(shù)H,該值即為評價新穎程度的閾值。若Inew ≥Hnew , 則表示論文的吸收新穎性水平高。在知識產(chǎn)出階段,提取論文摘要與標題作為數(shù)據(jù)源, 使用TF-IDF 算法和LSI 方法計算文本相似度, 產(chǎn)出新穎性指數(shù)則等于1 減最大相似度值。最后, 計算所有論文的產(chǎn)出新穎性指數(shù)的中位數(shù), 大于中位數(shù)則產(chǎn)出新穎性水平高。研究也指出吸收與產(chǎn)出新穎性水平都高的論文則更容易在A 類會議上發(fā)表, 該方法也可輔助其他類別論文以及專利創(chuàng)新性的自動評審。
2 2 4 知識實體組合
在對科技成果創(chuàng)新性進行評價時, 也有學者將多個知識單元作為一個實體對象進行評價, 以從多角度整體衡量成果新穎性。如Amplayo R K 等[64]依據(jù)現(xiàn)有的知識對過去已有知識的突破程度, 將關鍵詞、詞組、主題作為一個實體對象, 利用自編碼神經(jīng)網(wǎng)絡的方法對論文特征進行提取并計算創(chuàng)新度得分。Wang S 等[65] 以摘要數(shù)據(jù)為基礎, 自動提取論文實體及實體組合, 以未出現(xiàn)在其參考文獻中的新知識單元和知識單元組合比例代表論文的創(chuàng)新性, 該值越高說明論文的創(chuàng)新性越強。Liu M 等[66]也提出以新穎實體組合比例衡量論文創(chuàng)新性的方法, 首先從2020 年12 月及之前發(fā)表的CORD-19相關論文標題和摘要中抽取知識實體并配對, 使用BioBERT 模型衡量論文中實體對間的余弦距離, 表示如式(16):
其中, i 和j 為實體對中實體, i 2 j 2 表示二者的歐幾里德范數(shù)的乘積。隨后根據(jù)實體對間的距離分布情況, 將位于前10% 的實體對視為新的實體組合。論文新穎性得分即以新穎實體對與論文中所有的實體對的數(shù)量之比衡量。如式(17):
其中, i 表示論文, n 表示從論文i 中提取的實體數(shù)量, C2n 表示由n 個實體生成的實體對數(shù)量,m 表示實體距離位于前十百分位的實體對數(shù)量。
2 3 知識單元轉(zhuǎn)移擴散的影響力
以上基于新穎知識單元以及知識單元組合維度的指標重在測度科技成果的新穎性維度, 而通過知識單元轉(zhuǎn)移擴散的影響力角度識別創(chuàng)新性, 能夠更為直觀地量化成果中知識單元的有用性, 主要使用知識單元被引頻次和被引比例來實現(xiàn)。
2 3 1 知識單元被引頻次
創(chuàng)新性成果被引用說明其某一理論、觀點或其他知識內(nèi)容為施引者所用, 其引用的對象即為以論文、句子等為代表的知識單元, 知識單元被引頻次是評價科技成果影響力的重要切入點, 一般來說,被引頻次越高說明該成果具有較高的價值和影響力。Leydesdorff L 等[67] 認為, 可以通過論文短期引用量來識別創(chuàng)新性, 其認為引用可區(qū)分為長期引用和短期引用兩種, 長期引用體現(xiàn)的是論文的原創(chuàng)性與學術影響力, 而短期引用說明科技成果處于研究前沿或研究熱點之中, 可體現(xiàn)該研究的創(chuàng)新性。但有學者也提出了相反的觀點, 如Wang J 等[54] 認為, 創(chuàng)新性具有延遲認知的特點, 在3 年引用窗口內(nèi), 創(chuàng)新性的論文被引用的可能性很小, 但隨著引用窗口的延長, 其引用頻次會顯著高于創(chuàng)新性低的文章。一些研究也嘗試通過知識單元被引情況隨時間變化的特征對成果的創(chuàng)新性進行識別。如Min C等[68] 利用引文的擴散模式識別論文的創(chuàng)新潛力,其基本思想是具有高創(chuàng)新性的論文在第一代引文結構和第二代引文結構上具有顯著的差異性, 在此假設基礎上, 該文獻對獲得諾貝爾獎和未獲得諾貝爾獎的兩組不同創(chuàng)新性文章的實證分析發(fā)現(xiàn), “引用起飛點” “平均集聚系數(shù)” “連通性” 3 個指標可有效區(qū)分兩組文章的創(chuàng)新性。
2 3 2 知識單元被引比例
近年來, 通過施引文獻引用結構測度焦點專利創(chuàng)新性的方法也受到學者的重視, 該方法的測度原理在于衡量焦點文獻中的知識單元在整體施引文獻引用中所占比例。Shibayama S 等[69] 認為, 論文的價值與原創(chuàng)性可以通過后續(xù)引用計算, 從施引文獻是否把焦點論文作為主要知識來源識別焦點論文的原創(chuàng)性。2019 年, Wu L 等[70] 重新解釋了突破性D指數(shù)并將其應用于專利評價領域。突破性指數(shù)以施引文獻引用焦點文獻及其參考文獻的情況作為衡量焦點文獻突破性的標準, 實則是通過學術論文的學術影響力與科技成果創(chuàng)新性之間的相關關系, 用學術影響力度量科技成果創(chuàng)新性。
依據(jù)施引文獻引用知識單元的不同, 可將施引文獻引用模式劃分為3 種: 其一, 只引用焦點論文中的知識, 這種情況下說明焦點文獻具有顛覆性;其二, 既引用了焦點論文中的知識又引用了焦點論文的參考文獻, 說明焦點論文具有發(fā)展性; 其三,只引用了焦點論文的參考文獻, 說明焦點論文具有繼承性。依據(jù)以上3 種情況, 焦點文獻的突破性指數(shù)計算方法見式(18):
其中, NF 為只引用了焦點論文的施引文獻數(shù)量, NB 為引用焦點論文及其參考文獻的施引文獻數(shù), NR 為只引用了參考文獻的施引文獻數(shù)。D 的取值范圍是-1~1, 當D>0 時, 說明偏向顛覆性;當D =1 時, 說明焦點文獻完全突破已有研究。隨后, Wu S J 等[71] 、Osório A 等[72] 和Bornmann L等[73] 使用該指數(shù)進行實證研究, 證實了該方法的有效性。利用突破性指數(shù)從施引文獻的角度評價科技成果的創(chuàng)新性, 體現(xiàn)了該科技成果的有用性和新穎性, 為評價科技成果創(chuàng)新性提供新的視角。但該方法僅能針對單篇科技成果的評價, 無法實現(xiàn)對無引用量的科技成果的評價, 在利用該方法進行評價時, 也要關注施引者引用意圖的問題。
不同于依賴參考文獻的論文顛覆性測度方法,Wang S 等[74] 在上述基于引用的突破性指數(shù)及其相關改進指數(shù)的基礎上, 提出以知識實體為對象測度論文顛覆性的ED 指數(shù), 通過該指數(shù)反映的論文直接創(chuàng)造和激發(fā)的知識突破量測度創(chuàng)新性, 破壞性越強, 對現(xiàn)有研究知識流的改變就越大, 意味著論文創(chuàng)新性越強。具體度量包括焦點論文偏離現(xiàn)有研究的程度及沿其傳播路徑引起的焦點轉(zhuǎn)移的程度兩方面。EDs 量化了焦點文獻直接導致的現(xiàn)有研究知識流的變化程度, 計算如式(19):
其中, Ni 表示只引用焦點文獻的數(shù)量, Nj 表示既引用焦點文獻又引用參考文獻的文獻數(shù)量,Nk 代表只引用參考文獻的文獻數(shù)量。由此, 論文的創(chuàng)新度c 計算方法見式(25):
c =d?μ (25)
上述內(nèi)容是對科技成果創(chuàng)新性測度指標所做的具體分析, 表1 中選取了代表性的文獻, 對文獻中出現(xiàn)的測度指標、知識單元、方法內(nèi)涵、測度模型, 以及研究者實證分析中應用的數(shù)據(jù)源及具體研究領域進行分析, 以便從宏觀上把握當前科技成果創(chuàng)新性測度的研究現(xiàn)狀。
3 總結與展望
科技成果的創(chuàng)新水平是衡量其學術質(zhì)量的關鍵,也是推動國家科技發(fā)展的核心動力。本文通過對創(chuàng)新性理論和知識單元理論的深入分析, 以及對現(xiàn)有科技成果創(chuàng)新性測度研究現(xiàn)狀的調(diào)研, 立足于知識單元理論視角, 從創(chuàng)新成果的新穎性和有用性兩個基本維度出發(fā), 對現(xiàn)有研究進行了梳理。以下對前文所述評價指標進行對比分析并總結目前研究存在的不足, 最后對未來科技成果創(chuàng)新性評價研究進行展望。
3 1 創(chuàng)新性測度指標對比與分析
科技成果創(chuàng)新性各維度評價指標在評價過程中的側重點各有不同, 因而也呈現(xiàn)不同的測度效果。新穎性指標側重從知識來源及產(chǎn)出是否“新穎”的角度對學術成果的創(chuàng)新性進行測度, 而有用性指標往往依賴學術成果的引用特征, 更加側重于從其后續(xù)知識影響力的視角對創(chuàng)新性進行評價。就此而言, 新穎性相關測度指標無需依賴引用時間窗口,具有操作上的獨立性特征, 無論學術成果是否已發(fā)表, 皆可對其進行直接測度, 且從輔助同行評審的視角, 在證實相關指標有效性的基礎上, 可為論文同行評審提供量化參考, 進而提高科學交流效率,相對而言具備一定優(yōu)勢。但在足夠的時間窗口內(nèi),基于有用性維度的測度指標對于識別具有實際創(chuàng)新價值的科技成果、改進學術成果新穎性測度方法而言具有重要意義。
現(xiàn)有新穎性測度指標中, 較多使用關鍵詞、參考文獻及其組合比例和頻次特征對科技成果新穎性進行測度, 從計算過程和結果的可解釋性方面來看具有直觀性, 但是上述指標皆存在不直接針對內(nèi)容性的弊端, 如作者自主提供的關鍵詞可能存在代表性和規(guī)范不足的問題, 未必都能真實反映文獻的核心研究內(nèi)容。通過參考文獻識別創(chuàng)新性方面, 當前的研究中多通過參考文獻來源期刊的組合對新穎性進行測度, 參考文獻的組合體現(xiàn)了科技成果的跨學科性, 在一定程度上能夠體現(xiàn)論文的創(chuàng)新潛力, 具有可操作性和合理性, 但鮮有研究者考慮到作者引用動機的問題, 且由于參考文獻的選取依舊具有主觀性, 具有不針對論文實際內(nèi)容的固有局限, 而作者雖參考該篇文獻, 但所參考的文獻也未必是文中創(chuàng)新性思想的來源[65] , 因此其量化結果的科學性有待考究, 不宜單獨作為指標使用。除關鍵詞與參考文獻外, 主題及主題詞也是常用的科技成果創(chuàng)新性測度指標, 其雖然能夠更加精準地從科技成果的主題視角揭示內(nèi)容創(chuàng)新性, 但從當前的研究現(xiàn)狀來看, 利用主題詞對創(chuàng)新性進行測度的方法大多依賴于特定領域的主題詞表, 具有學科與領域依賴性,暫未能實現(xiàn)對跨學科、跨領域的學術成果的評價。而在使用新穎知識單元組合方面, 已有使用研究問題與研究方法組合以及參考文獻與產(chǎn)出內(nèi)容組合的改進評價方法, 前者深入科技成果文本內(nèi)容和論文研究核心要素, 后者同時關注論文知識來源與知識產(chǎn)出, 更加聚焦于論文創(chuàng)新本質(zhì), 從綜合的視角對已有研究進行了完善與補充。
現(xiàn)有對科技成果有用性的測度主要使用論文被引頻次和被引比例等指標, 對于刻畫新穎成果價值而言具有優(yōu)勢, 但由于論文被引量并不直接體現(xiàn)論文質(zhì)量, 是論文影響力的體現(xiàn), 引用頻次高代表該成果影響力大, 但其并不直接體現(xiàn)成果創(chuàng)新性, 且可能受潛在因素操縱, 因而不適合直接用以度量創(chuàng)新性。以國際合作成果為例, 多個國家(地區(qū))與作者群會產(chǎn)生更高的引用量, 但是其實際創(chuàng)新性會削弱。因此, 科技成果創(chuàng)新性與學術影響力是兩個不同的概念, 在進行創(chuàng)新性評價時應注意區(qū)分。此外, 引文本身也存在時滯性、片面性等問題, 如何從引文位置、引文情感、引文動機方面進行更細致的分類后再構建成測度指標也是一條可行的路徑。
3 2 研究不足與展望
在本文的研究中也發(fā)現(xiàn), 盡管現(xiàn)有的大量文獻已經(jīng)為創(chuàng)新性測度奠定了重要的學理基礎, 但是仍然存在一些待優(yōu)化和改進的方面, 總體來看, 構建一套準確、完善、可用的創(chuàng)新性測度體系還需要學術界進行更多努力和不斷的嘗試。
3 2 1 研究不足
通過對科技成果創(chuàng)新性測度相關研究的梳理,本文認為, 當前科技成果創(chuàng)新性在測度方法和理論方面有待優(yōu)化之處包括以下幾點。
1) 淺層知識單元測度指標過度使用。通常認為, 參考文獻、引文都屬于文獻知識單元的范疇,其具備量化科技成果內(nèi)容特征的要求。通過前文梳理可見, 上述指標目前在學界使用頻率較高, 但是相比于全文本、句子、語詞等知識單元[56] , 參考文獻等這類知識單元反映、表達和刻畫所承載知識的能力有限, 特別是被構建利用, 單獨作為測度指標時更可能造成測度結果的偏誤[64] 。本文將這一類知識單元描述為淺層次的知識單元?,F(xiàn)有研究中出現(xiàn)利用淺層次知識單元構建創(chuàng)新性測度指標對科技成果創(chuàng)新性進行測度已取得豐富的研究成果, 但由于操作難度等潛在因素的影響, 對于利用更加細粒度、聚焦科技成果內(nèi)容的知識單元測度創(chuàng)新性的相關研究仍存在較大改進空間。
2) 有用性維度知識單元未充分挖掘。通過對現(xiàn)有研究成果的梳理發(fā)現(xiàn), 當前在科技成果創(chuàng)新性評價領域所用指標主要以新穎性相關指標為主, 而有用性維度的相關指標并未得到充分運用。在目前的研究中, 該維度下所利用的數(shù)據(jù)源仍存在較為單一的問題, 數(shù)據(jù)類型主要包括發(fā)文數(shù)據(jù)和引用數(shù)據(jù), 量化粒度較粗, 對成果引用位置、引用情感等內(nèi)容層面指標的關注度不足, 且在科學計量學實踐領域已被廣泛探索運用的“使用數(shù)據(jù)” 和“替代計量數(shù)據(jù)” 尚沒有被采用, 而事實上這兩類數(shù)據(jù)特別適用于衡量科技成果的社會影響力、真實貢獻度和實際價值, 在測度科技成果有用性特征方面的潛力沒有得到充分發(fā)揮。同時, 現(xiàn)有研究較多從成果學術影響力層面對創(chuàng)新性進行測評, 而從成果社會影響力角度提取相關指標對成果創(chuàng)新性進行測度的研究尚未受到關注。除此之外, 如前文所述, 新穎性與有用性是創(chuàng)新性的兩個維度, 在刻畫創(chuàng)新性方面二者存在互為補充的關系, 而目前綜合新穎性和有用性維度, 從“查新” 與“實際價值評估”的角度全面衡量成果實際價值的研究依舊有待深入。
3) 專家評審相關定性評價數(shù)據(jù)利用不足。創(chuàng)新性研究中, 測度與評價具有本質(zhì)的不同, 前者強調(diào)借助客觀數(shù)據(jù)和量化研究手段識別科技成果的創(chuàng)新性水平, 后者則主要使用同行專家評議方法, 通過專家對科技成果所含知識的創(chuàng)新性進行主觀判斷, 二者在對成果創(chuàng)新性進行識別方面具有各自的優(yōu)勢。目前關于創(chuàng)新性測度的研究大多以被引量、參考文獻等客觀數(shù)據(jù)進行量化為主, 但對專家對成果的評審數(shù)據(jù)挖掘力度不夠, 也未將上述定量數(shù)據(jù)與定性數(shù)據(jù)相結合進行評價。除此之外, 隨著時代的發(fā)展, 在有關科技評價的研究中, 有越來越多的學者支持將客觀測度結果用于輔助同行評審決策的評價模式, 以改進同行評審人知識的局限和認知偏差問題, 保障評審結果的公平性和質(zhì)量。從現(xiàn)有創(chuàng)新性測度的文獻看, 研究成果總體處于研制指標和研發(fā)方法的階段, 對于創(chuàng)新性測度結果的實踐價值和應用價值缺乏明確的規(guī)劃, 對于創(chuàng)新性測度結果與同行評審流程結合方式缺乏明確的路徑, 可能直接影響到成果應用的可行性、應用領域和范圍, 這些關乎方向性的關鍵問題亟需要加以明確, 以推進科技成果創(chuàng)新性測度研究的快速發(fā)展。
3 2 2 研究展望
1) 挖掘使用細粒度知識單元, 開發(fā)新型數(shù)據(jù)源。結合創(chuàng)新理論與知識單元理論, 創(chuàng)新主要來源于知識單元的增量重組和新知識單元的出現(xiàn), 從新角度整合出新理論、發(fā)現(xiàn)新現(xiàn)象、使用新方法等皆可視為創(chuàng)新的表征[79] , 其中, 測度知識創(chuàng)新性的最小單元即微觀知識元, 相對而言更加聚集于科技成果實際內(nèi)容本身, 是量化其創(chuàng)新性的有力指標。而當前研究對細粒度知識單元的應用并不多, 致使測度結果可能會與實際創(chuàng)新程度存在偏差。為改進該問題, 本文認為, 應在現(xiàn)有研究基礎上, 深入研究表征論文實際內(nèi)容的知識單元, 進而對相應知識單元進行量化分析以客觀測度科技成果創(chuàng)新性。如可在現(xiàn)有利用論文研究問題與方法等知識單元計算論文新穎程度的基礎上[59] , 加入論文研究結論等指標, 綜合主要研究內(nèi)容和研究結果的多維視角衡量相關成果與已有研究的差異度, 從而避免由于使用淺層次知識單元產(chǎn)生的測度結果不準確、結果可信度低等問題。
2) 提高對有用性維度指標的關注度, 促進新穎性與有用性指標的有效結合。針對有用性指標應用不足的問題, 本文認為, 首先應提高對有用性指標的關注度, 除使用以被引量、被引頻次為主體的度量指標外, 應增加對引用位置、引用動機、貢獻度以及引用內(nèi)容的考慮, 使基于引用特征的測度方法更為科學。針對社會影響力指標開發(fā)不足的問題, 可利用在科學計量學實踐領域已被廣泛探索運用且在測度科技成果有用性方面具有潛力的“使用數(shù)據(jù)” 進行測度, 具體而言, 使用數(shù)據(jù)包括用戶在與學術系統(tǒng)交互后留下的收藏量、下載量、瀏覽量、閱讀量、轉(zhuǎn)發(fā)量、評論數(shù)等行為痕跡, 對這些數(shù)據(jù)在內(nèi)涵清晰、可理解基礎上進行采集清洗和綜合利用, 將進一步實現(xiàn)創(chuàng)新性測度的準確性。除此之外, 也應當提高對科技成果在各類網(wǎng)絡社交新媒體、學術型網(wǎng)站、學術型社交媒體上傳播熱議程度相關替代計量數(shù)據(jù)的關注, 基于文本內(nèi)容, 將成果的學術影響力與上述社會影響力相關指標相結合, 從語義層面對論文創(chuàng)新影響力進行全面、深入、準確的評價[80] 。針對目前新穎性與有用性指標結合不足的問題, 可充分發(fā)揮二者的測度優(yōu)勢,前者聚焦于成果細粒度知識單元的測評結果, 后者綜合測度成果的學術影響力與社會影響力, 將二者相結合實現(xiàn)對成果創(chuàng)新性的測度。
3) 充分利用專家評審數(shù)據(jù), 提高與定量評價結果的結合度。首先, 科學交流體系的變革為科技成果評審提供了更加開放的環(huán)境和更為廣闊的交流平臺, 本文認為, 針對定性數(shù)據(jù)使用不足的問題,應當加強對開放同行評審平臺中專家評審數(shù)據(jù)的利用, 使基于定性與定量數(shù)據(jù)的測度結果得以有效結合??萍汲晒膭?chuàng)新性評價活動具有較強的實踐意義, 對于輔助科研管理部門決策以及同行評議評審而言具有重要參考價值。由于當前科技成果創(chuàng)新性測度相關研究依然處于探索上升的階段, 根據(jù)現(xiàn)有研究, 其未充分與專家評審活動實現(xiàn)有效關聯(lián)與融合。針對該問題, 未來研究應在關注計量相關定量方法與同行評審定性評價方法特點的基礎上, 逐步厘清二者發(fā)揮作用的規(guī)律, 結合當前主流成果創(chuàng)新性測度方法的測評結果, 探索將其與專家評審流程相結合的有效路徑。
參考文獻
[1] 秦成磊, 章成志. 大數(shù)據(jù)環(huán)境下同行評議面臨的問題與對策[J]. 情報理論與實踐, 2021, 44 (4): 99-112.
[2] 羅卓然, 王玉琦, 錢佳佳, 等. 學術論文創(chuàng)新性評價研究綜述[J]. 情報學報, 2021, 40 (7): 780-790.
[3] 李姍, 單磊, 崔雷. 學術論文新穎性評價方式[J]. 中華醫(yī)學圖書情報雜志, 2020, 29 (8): 71-74.
[4] 柴嘉琪, 陳仕吉. 論文新穎性測度研究綜述[J]. 農(nóng)業(yè)圖書情報學報, 2020, 32 (10): 56-61.
[5] 魏緒秋, 申力旭. 學術論文創(chuàng)新性研究述評[J]. 圖書情報知識, 2022, 39 (4): 68-79.
[6] 約瑟夫·熊彼特. 經(jīng)濟發(fā)展理論[M]. 郭武軍, 呂陽, 譯. 北京: 華夏出版社, 2015.
[7] Chen J, Zhu Z, Xie H Y. Measuring Intellectual Capital: A NewModel and Empirical Study [ J]. Journal of Intellectual Capital,2004, 5 (1): 195-212.
[8] Cavusgil S T, Calantone R J, Zhao Y. Tacit Knowledge Transferand Firm Innovation Capability [J]. Journal of Business & Indus?trial Marketing, 2003, 18 (1): 6-21.
[9] Keszey T. Boundary Spanners Knowledge Sharing for InnovationSuccess in Turbulent Times [J]. Journal of Knowledge Management,2018, 22 (5): 1061-1081.
[10] Rafols I, Meyer M. Diversity and Network Coherence as Indica?tors of Interdisciplinarity: Case Studies in Bionanoscience [ J].Scientometrics, 2009, 82 (2): 263-287.
[11] Popadiuk S, Choo C W. Innovation and Knowledge Creation:How Are These Concepts Related? [J]. International Journal of In?formation Management, 2006, 26 (4): 302-312.
[12] Cumming B S. Innovation Overview and Future Challenges [ J].European Journal of Innovation Management, 1998, 1 (1): 21-29.
[13] Badawy M K. How To Prevent Creativity Mismanagement [ J].Research Management, 1986, 29 (4): 28-35.
[14] Harkema S. A Complex Adaptive Perspective on Learning WithinInnovation Projects [ J]. The Learning Organization, 2003, 10(6): 340-346.
[15] Brachos D, Carrillo F J, Kostopoulos K, et al. Knowledge Ef?fectiveness, Social Context and Innovation [J]. Journal of Knowl?edge Management, 2007, 11 (5): 31-44.
[16] 趙紅洲, 蔣國華. 知識單元與指數(shù)規(guī)律[ J]. 科學學與科學技術管理, 1984, (9): 39-41.
[17] 姜春林, 張立偉, 谷麗, 等. 知識單元視角下學術論文評價研究[J]. 情報雜志, 2014, 33 (4): 29-34.
[18] 索傳軍, 戎軍濤. 知識元理論研究述評[J]. 圖書情報工作,2021, 65 (11): 133-142.
[19] 徐榮生. 知識單元初論[J]. 圖書館雜志, 2001, (7): 2-5.
[20] 文庭孝. 知識單元的演變及其評價研究[J]. 圖書情報工作,2007, (10): 72-76.
[21] 文庭孝, 羅賢春, 劉曉英, 等. 知識單元研究述評[ J]. 中國圖書館學報, 2011, 37 (5): 75-86.
[22] Mishra S, Torvik V I. Quantifying Conceptual Novelty in the Bio?medical Literature [ J]. D-Lib Magazine: The Magazine of theDigital Library Forum, 2016, 22 (9-10): 1-21.
[23] 楊京, 王芳, 白如江. 基于研究水平的單篇學術論文創(chuàng)新力評價研究———以碳納米管材料領域為例[ J]. 情報理論與實踐, 2017, 40 (9): 105-111, 76.
[24] Dirk L. A Measure of Originality: The Elements of Science [ J].Social Studies of Science, 1999, 29 (5): 765-776.
[25] Gerken J M, Moehrle M G. A New Instrument for Technology Mo?nitoring: Novelty in Patents Measured By Semantic Patent Analysis[J]. Scientometrics, 2012, 91 (3): 645-670.
[26] Uddin S, Khan A. The Impact of Author-selected Keywords onCitation Counts [ J]. Journal of Informetrics, 2016, 10 ( 4):1166-1177.
[27] Zhang X, Xie Q, Song M. Measuring the Impact of Novelty,Bibliometric, and Academic-network Factors on Citation Count U?sing a Neural Network [ J]. Journal of Informetrics, 2021, 15(2): 1-17.
[28] Yan Y, Tian S, Zhang J. The Impact of a Papers New Combina?tions and New Components on Its Citation [ J]. Scientometrics,2020, 122 (2): 895-913.
[29] Bornmann L, Tekles A, Zhang H H, et al. Do We MeasureNovelty When We Analyze Unusual Combinations of Cited Refer?ences? A Validation Study of Bibliometric Novelty Indicators Basedon F1000 Prime Data [ J]. Journal of Informetrics, 2019, 13(4): 1-15.
[30] Shin H, Kim K, Kogler D F. Scientific Collaboration, ResearchFunding, and Novelty in Scientific Knowledge [ J]. Plos One,2022, 17 (7): 1-22.
[31] 楊建林, 錢玲飛. 基于關鍵詞對逆文檔頻率的主題新穎度度量方法[J]. 情報理論與實踐, 2013, 26 (3): 99-102.
[32] Lee Y N, Walsh J P, Wang J. Creativity in Scientific Teams:Unpacking Novelty and Impact [ J]. Research Policy, 2015, 44(3): 684-697.
[33] Carayol N, Lahatte A, Llopis Córcoles ó. Novelty and AcademicImpact [J]. STI Conference, 2017.
[34] Lee C, Kang B, Shin J. Novelty-focused Patent Mapping forTechnology Opportunity Analysis [ J]. Technological Forecastingand Social Change, 2015, 90: 355-365.
[35] 馮立杰, 尤鴻宇, 王金鳳. 專利技術創(chuàng)新路徑識別及其新穎性評價研究[J]. 情報學報, 2021, 40 (5): 513-522.
[36] Tsai F S, Zhang Y. D2S: Document-to-Sentence Framework forNovelty Detection [J]. Knowledge and Information Systems, 2011,29 (2): 419-433.
[37] Sendhilkumar S, Nandhini N S, Mahalakshmi G S. Novelty De?tection Via Topic Modeling in Research Articles [ J]. ComputerScience & Information Technology, 2013: 401-410.
[38] 索傳軍, 蓋雙雙, 周志超. 認知計算———單篇學術論文評價的新視角[J]. 中國圖書館學報, 2018, 44 (1): 50-61.
[39] 晁珍珍. 基于關鍵詞提取的專利新穎性分析技術研究[ D].南京: 南京郵電大學, 2020.
[40] Wang Z, Wang K, Liu J, et al. Measuring the Innovation ofMethod Knowledge Elements in Scientific Literature [ J]. Sciento?metrics, 2022, 127 (5): 2803-2827.
[41] 章成志, 李錚. 基于學術論文全文的創(chuàng)新研究評價句抽取研究[J]. 數(shù)據(jù)分析與知識發(fā)現(xiàn), 2019, 3 (10): 12-19.
[42] 曹樹金, 曹茹燁. 情報學論文創(chuàng)新性評價研究———LDA 和SVM 融合方法的應用[ J]. 圖書情報知識, 2022, 39 ( 4):56-67.
[43] Boudreau K J, Guinan E C, Lakhani K R, et al. Looking Acrossand Looking Beyond the Knowledge Frontier: Intellectual Distance,Novelty, and Resource Allocation in Science [J]. Management Sci?ence, 2016, 62 (10): 2765-2783.
[44] 李姍, 單磊, 崔雷. 不同被引頻次論文主題詞組合特征及其與論文新穎性關系的研究———以免疫學ESI 指標為例[J]. 情報理論與實踐, 2021, 44 (1): 162-167.
[45] 任海英, 王德營, 王菲菲. 主題詞組合新穎性與論文學術影響力的關系研究[J]. 圖書情報工作, 2017, 61 (9): 87-93.
[46] 逯萬輝, 譚宗穎. 學術成果主題新穎性測度方法研究———基于Doc2Vec 和HMM 算法[ J]. 數(shù)據(jù)分析與知識發(fā)現(xiàn), 2018,2 (3): 22-29.
[47] 任海英, 邵文, 李欣. 基于專利內(nèi)容新穎性和常規(guī)性的突破性發(fā)明影響因素和研發(fā)策略分析[ J]. 情報雜志, 2019, 38(2): 56-63.
[48] Dahlin K B, Behrens D M. When is an Invention Really Radical?Defining and Measuring Technological Radicalness [ J]. ResearchPolicy, 2005, 34 (5): 717-737.
[49] Uzzi B, Mukherjee S, Stringer M, et al. Atypical Combinationsand Scientific Impact [J]. Science, 2013, 342 ( 6157): 468-472.
[ 50] Wagner C S, Cai X, Mukherjee S. Chinas Scholarship Shows Atypi?cal Referencing Patterns [ J]. Scientometrics, 2020, 124 ( 3):2457-2468.
[51] Kim D, Cerigo D B, Jeong H, et al. Technological Novelty Pro?file and Inventions Future Impact [J]. EPJ Data Science, 2016,5 (1): 1-15.
[52] Lin Y, Evans J A, Wu L. New Directions in Science Emerge fromDisconnection and Discord [J]. Journal of Informetrics, 2022, 16(1): 101234.
[53] Boyack K, Klavans R. Atypical Combinations Are Confounded ByDisciplinary Effects [ C] / /19th International Conference on Sci?ence and Technology Indicators, 2014.
[54] Wang J, Veugelers R, Stephan P. Bias Against Novelty in Sci?ence: A Cautionary Tale for Users of Bibliometric Indicators [ J].Research Policy, 2017, 46 (8): 1416-1436.
[55] Tahamtan I, Bornmann L. Creativity in Science and the Link toCited References: Is the Creative Potential of Papers Reflected inTheir Cited References? [ J]. Journal of Informetrics, 2018, 12(3): 906-930.
[56] Shibayama S, Yin D, Matsumoto K. Measuring Novelty in Sciencewith Word Embedding [J]. Plos One, 2021, 16 (7): 1-16.
[57] Luo Z, Lu W, He J, et al. Combination of Research Questionsand Methods: A New Measurement of Scientific Novelty [ J].Journal of Informetrics, 2022, 16 (2): 111282.
[58] 羅卓然, 陸偉, 蔡樂, 等. 學術文本詞匯功能識別———在論文新穎性度量上的應用[J]. 情報學報, 2022, 41 (7): 720-732.
[59] 錢佳佳, 羅卓然, 陸偉. 基于問題-方法組合的科技論文新穎性度量與創(chuàng)新類型識別[J]. 圖書情報工作, 2021, 65 (14):82-89.
[60] Verhoeven D, Bakker J, Veugelers R. Measuring TechnologicalNovelty with Patent-based Indicators [J]. Research Policy, 2016,45 (3): 707-723.
[61] 吳菲菲, 欒靜靜, 黃魯成, 等. 基于新穎性和領域交叉性的知識前沿性專利識別———以老年福祉技術為例[ J]. 情報雜志, 2016, 35 (5): 85-90.
[62] Amplayo R K, Hong S L, Song M. Network-based Approach toDetect Novelty of Scholarly Literature [ J]. Information Sciences,2018, 422: 542-557.
[63] 秦巖, 代君, 廖瑩馳. 學術會議論文新穎性測度研究———以計算機學科人工智能領域為例[ J]. 情報科學, 2021, 39 (1):104-110.
[64] Amplayo R K, Hwang S, Song M. Evaluating Research NoveltyDetection: Counterfactual Approaches [ C] / / Proceedings of theThirteenth Workshop on Graph - Based Methods for Natural Lan?guage Processing, 2019: 124-133.
[65] Wang S, Mao J, Ma Y. The Correlation Between Content Noveltyand Scientific Impact [C] / / EEKE JCDL. 2021: 66-68.
[66] Liu M, Bu Y, Chen C, et al. Pandemics Are Catalysts of Scien?tific Novelty: Evidence from COVID-19 [J]. Journal of the Asso?ciation for Information Science and Technology, 2022, 73 ( 8):1065-1078.
[67] Leydesdorff L, Bornmann L, Comins J A, et al. Citations: In?dicators of Quality? The Impact Fallacy [J]. Frontiers in ResearchMetrics and Analytics, 2016, 1 (1): 1-15.
[68] Min C, Bu Y, Sun J, et al. Is Scientific Novelty Reflected inCitation Patterns? [J]. Proceedings of the Association for Informa?tion Science and Technology, 2018, 55 (1): 875-876.
[69] Shibayama S, Wang J. Measuring Originality in Science [ J].Scientometrics, 2020, 122 (1): 409-427.
[70] Wu L, Wang D, Evans J A. Large Teams Develop and SmallTeams Disrupt Science and Technology [ J]. Nature, 2019, 566(7744): 378-382.
[71] Wu S J, Wu Q. A Confusing Definition of Disruption [EB/ OL].https: / / doi.org/10.31235/ osf.io/ d3wpk, 2022-06-07.
[72] Osório A, Bornmann L. On the Disruptive Power of Small-teamsResearch [J]. Scientometrics, 2021, 126: 117-133.
[73] Bornmann L, Tekles A. Disruptive Papers Published in Sciento?metrics [J]. Scientometrics, 2019, 120 (1): 331-336.
[74] Wang S, Ma Y, Mao J, et al. Quantifying Scientific Break?throughs By a Novel Disruption Indicator Based on Knowledge Enti?ties [ J]. Journal of the Association for Information Science andTechnology, 2022, 74 (2): 150-167.
[75] 謝珍, 馬建霞, 胡文靜. 面向代表作評價的學術論文創(chuàng)新性測度方法[J]. 情報理論與實踐, 2022, 45 (7): 81-88.
[76] Matsumoto K, Shibayama S, Kang B, et al. Introducing a Nov?elty Indicator for Scientific Research: Validating the KnowledgebasedCombinatorial Approach [ J]. Scientometrics, 2021, 126(8): 6891-6915.
[77] Ding J, Shen Z, Ahlgren P, et al. The Link Between Ethnic Di?versity and Scientific Impact: The Mediating Effect of Novelty andAudience Diversity [J]. Scientometrics, 2021, 126 (9): 7759-7810.
[78] Lyu D, Gong K, Ruan X, et al. Does Research Collaboration In?fluence the “Disruption” of Articles? Evidence from Neurosciences[J]. Scientometrics, 2021, 126 (1): 287-303.
[79] Heinze T, Shapira P, Rogers J D, et al. Organizational and In?stitutional Influences on Creativity in Scientific Research [J]. Re?search Policy, 2009, 38 (4): 610-623.
[80] 楊思洛, 聶穎. 結合全文本分析的論文影響力評價模型研究[J]. 現(xiàn)代情報, 2022, 42 (3): 133-146.
(責任編輯: 郭沫含)