王雅靜
(中國社會科學院 中國社會科學評價研究院,北京 100732)
學術期刊作為一種重要的學術評價機制,其學術功能和社會角色經(jīng)歷了歷史性的演變,它不僅是學者進行學術發(fā)表、知識交流和知識產(chǎn)權確認的重要載體,更是一種由點到面的學術社會生產(chǎn)網(wǎng)絡,是匯聚學術共同體和引導知識生產(chǎn)方向的關鍵性要素。學術期刊評價是學術評價的重要組成部分,學術評價領域要建構科學合理、公正權威的學術期刊評價體系,發(fā)揮學術期刊的學術引領、學術共同體凝聚、科研誠信監(jiān)督的作用,激發(fā)學術創(chuàng)新力、引領學術風氣。
在評價政策方面,2016年5月,習近平總書記在全國哲學社會科學工作座談會上的講話,提出了建立科學權威、公開透明的哲學社會科學成果評價體系[1];2018年,中辦和國辦相繼印發(fā)了《關于分類推進人才評價機制改革的指導意見》《關于進一步加強科研誠信建設的若干意見》和《關于深化項目評審、人才評價、機構評估改革的意見》;2018年11月,中央全面深化改革委員會第五次會議審議通過了《關于深化改革培育世界一流科技期刊的意見》,這些文件對期刊評價提出了新要求,著力解決評價標準一刀切問題,實行差別化的分類評價,體現(xiàn)了“破四唯、分類評價、關注差異、鼓勵特色發(fā)展”的精神。這些指導性文件的一個共同要求是,開展期刊評價要充分發(fā)揮同行評議的作用,論文引用榜單和影響因子排名等僅作為各類評價的參考。
期刊評價方法主要有自上而下的行政評價、同行評議、量化指標評價和綜合性評價等[2]。但是,近年來,隨著科學文獻計量學的發(fā)展,量化指標不斷生成,并成為期刊評價的主旋律,例如引用率、轉載率、影響因子、自然指數(shù)、H指數(shù)等[3]。期刊的定性評價法主要是同行評議,即同一學科研究領域或同一研究方向的專家,按照一定的學術標準,對學術期刊的研究成果、人員和機構進行評價[4]。一些學者認為,期刊量化評價作為一種臨時性的政策手段面臨諸多困境,如“以刊評文、過度量化、行政主導、功利性、同質(zhì)化、忽視差異性和人文社會科學發(fā)展規(guī)律等”[5-7],認為合理的評價應以學術共同體主導的同行評議為主,輔之定量和定性數(shù)據(jù)作為支撐。而所謂的定量與定性結合的綜合評價法,是將同行評議引向一種定量化和技術性的維度,由專家對評價對象進行打分,將打分結果進行統(tǒng)計,并進一步提出同行評議質(zhì)量控制的方法,如采用德爾菲法、層次分析法、模糊數(shù)學法等[8-9]。這種量化傾向往往忽視了人文社會科學的特點和學術評價的社會文化環(huán)境。實際上,量化框架下的同行評議在期刊評價中仍處于輔助和邊緣地位,我們迫切需要建構完善的定性評價的理論和方法框架。
學術期刊作為知識生產(chǎn)的一個特殊部門,具有深刻的政治性、社會性和情感性,學術期刊與社會轉型的關系決定著期刊特點與發(fā)展方向,這也決定了學術期刊評價的復雜性。期刊評價是對期刊上發(fā)表的學術成果的優(yōu)劣、編輯人員的專業(yè)素質(zhì)和水平、編輯部的管理運營能力、期刊的學術影響力等進行的綜合評價,如利用影響因子高低核定期刊等級,確定核心期刊分布;通過同行評議來識別優(yōu)秀成果[10]。期刊評價是學術活動和學術評價的一個組成部分,它的導向作用是推進我國學術評價倫理化、合理化的路徑之一。期刊的定量和定性評價體現(xiàn)了質(zhì)化和量化研究在期刊評價中的應用?,F(xiàn)階段,期刊評價方法主要集中在同行評議和科學計量法兩個方面。同行評議法是主要依賴專家問卷的定性評價法,科學計量法主要是影響因子類指標法,它是主要依賴于論文高被引的定量評價法。
對期刊評價理論和方法的研究主要有三大理論脈絡。
第一,沿著科學計量中文獻計量學的理論和方法路徑,文獻計量學家側重于期刊評價的量化方法和具體技術的研究,不斷細化和推進期刊量化評價方法。它遵循引文分析法的理論路徑,以影響因子為核心,深化拓展期刊影響因子類指標的設計,從影響因子到H指數(shù)、G指數(shù)、Z指數(shù)和HC指數(shù)的推進[11-12],以及開始探索一種基于大數(shù)據(jù)的模糊集的分析方法,模糊綜合評價法將文獻計量法應用于內(nèi)容評價,建構矩陣檢驗、權重分析和綜合判斷[13]。在定性評價的同行評議法方面,文獻計量專家采用專家問卷的打分排名法,利用分值量表和等級量表等對評價結果進行層次分析,并作歸一化處理和一致性檢驗。對科技類期刊的同行評議則將其引向一種量化方法的技術路線,研究質(zhì)量控制方法,如控制時間、成本,對評價結果進行量化處理[9]。也有一些文獻計量學者關注定性和定量評價方法的關系,并集中討論同行評議與影響因子的相關性,從純技術手段對比兩種方法在科研評價中的作用[14-16]。文獻計量學的期刊評價法僅是量化評價的一個維度,它更側重于對評價的技術方法層面的探討?,F(xiàn)階段,期刊的量化評價僅停留在簡單量化階段,純粹的技術主義路線不能解決學術評價中的問題,它忽視了中國學術發(fā)展特點和學術評價的社會環(huán)境[17]。
第二,一些人文學者開始從方法論角度批判期刊量化評價的弊端和問題,他們認為“量化評價扼殺了人文學術”[18],它是一種功利性的評價,不是一種學術批評和評判[19],期刊評價的分裂和異化在于評價主體的分裂、評價定量和定性方法的二元對立,特別是評價主體歸于評價機構后,以文獻計量學家為主的定量評價盛行,這致使學術共同體喪失了評價主體的資格[20-21]。人文學者還指出,評價機構的評價人員大多是文獻計量學家,他們?nèi)狈W科專業(yè)背景,不了解數(shù)據(jù)的價值和數(shù)據(jù)背后的社會意涵[6],他們設計的通用性、純量化的指標抹殺了不同評價目的對評價方法和標準選擇的差異性,掩蓋了個性化的數(shù)據(jù),扭曲了定量評價。一些研究站在學術評價的視角審視期刊評價,認為定量和定性評價方法應相互補充,合理、科學的評估應該使用多種工具組合,圍繞研究目的實現(xiàn)定量與定性的結合??茖W計量學在學術評價中雖然存在局限和缺陷,但作為一種輔助性的工具以及數(shù)據(jù)的提供具有其意義,關鍵在于如何理解指標的價值和內(nèi)涵,以及評價工具使用的社會情境性。學術評價的困境體現(xiàn)為兩種方法存在內(nèi)在的張力,沒有完美的結合方案,應堅持定性為主、定量評價為輔的方法[3]。這些研究從哲學方法論層面,對現(xiàn)今以文獻計量為主的期刊量化評價法進行批判,它具有一定的啟發(fā)性,但是,一方面,探討評價方法大多停留在對期刊簡單量化評價的批判上,而對社會科學量化方法的內(nèi)涵討論并不充分,因為以文獻計量為主的簡單量化評價僅是定量評價的一個維度。另一方面,這些討論集中在哲學思辨層面,在評價方法上并沒有提出建設性的方案,可謂“只破不立”。雖然他們提出期刊評價要回歸學術共同體,采用同行評議法,但缺乏對其方法論和具體操作方法的探討。
一些文獻計量學家針對人文學者的批判開始探討人文社會科學評價的特殊性,提出了定量與定性評價兩種方法結合的思路[22],他們漸漸認識到文獻計量法不能進行不同群體的比較研究、不能處理個體和歷史經(jīng)驗層面數(shù)據(jù),他們也開始探索優(yōu)化的科學計量方法,將學科差異和社會屬性納入量化分析,關注不同研究成果的測量層次、不同學科的知識集中和分散規(guī)律,解決評價同質(zhì)化標準的差異性和可比性問題。在數(shù)據(jù)分析過程加入社會人口學屬性的控制變量,關注科研成果相關的復雜因素,如考慮年齡、職業(yè)生涯周期、性別、研究領域、合作范式等變量[23-25]。但這些研究并沒有跳出量化研究的框架,也沒有提出具體的定性研究方法。
第三,在知識社會學視野下關注同行評議過程,它從知識本體論、認識論和方法論的層面切入,關注期刊評價在整個知識系統(tǒng)中的角色,這對期刊評價的研究具有啟發(fā)性。評價涉及到價值和倫理層面,我們可以從知識的特性和知識傳播的特點關注期刊評價的政治性、社會性和情感性。特別是對同行評議的社會學研究,從評議人體制角度研究學術生產(chǎn)體系和學科文化對評價的作用,關注評價的社會情境性、認知建構性和反思性[26]。他們關注同行評議的社會文化和價值層面,揭示同行評議制度中的權力關系和認知文化,進而建構知識認知層面和社會層面的關聯(lián),揭示學術生產(chǎn)、評價體系和學科文化的特點。
綜上所述,現(xiàn)階段期刊評價方法的研究大多停留在純技術和哲學思辨層面,文獻學派注重于評價方法的技術路線,側重在技術層面探討兩種方法的優(yōu)缺點、考慮評價結果的一致性和差異性。顯然,技術主義路線缺乏從方法論層面關注兩種期刊評價方法的理論基礎和實踐內(nèi)涵。在期刊評價方法體系上,這種評價方法在理論基礎和方法框架方面,都未觸及期刊評價過程中的學科文化和評價文化。與之相應的是,人文學者在哲學思辨層面的批判,尚缺乏對方法論和評價方法的具體研究??傮w來說,量化和質(zhì)化研究方法在期刊評價中的應用相對比較滯后,期刊評價研究需建構一種中觀層面的理論和方法框架,在定性評價方面需要探索質(zhì)化研究體系在期刊評價中的應用,建構期刊評價的定性研究方法論框架。
學術期刊評價最初是文獻計量學研究的重要內(nèi)容,研究的初衷是為圖書館采購學科重要期刊和引文數(shù)據(jù)庫遴選來源期刊服務,為優(yōu)化學術期刊的使用提供參考。其評價結果漸漸應用于科研管理、學者成果評價、學術獎勵、學術資源分配等方面。文獻計量學派主要通過量化方法研究期刊發(fā)展規(guī)律、增長趨勢和分布規(guī)律。其中,引文分析法是通過對學術期刊增長趨勢和分布規(guī)律進行研究而形成的分級量化評價。
作為學術期刊定量評價法,文獻計量法的發(fā)展主要經(jīng)歷了三個階段:第一,早期階段,主要研究文獻集中與分散分布規(guī)律,關注發(fā)文量指標;第二,引文分析法階段,通過引文量測算平均被引率和影響因子,進行量化分級,以及設計發(fā)文和引文量結合、數(shù)量和質(zhì)量結合的H指數(shù),進行復雜評價;第三,在模糊評價階段,將定性數(shù)據(jù)進行量化統(tǒng)計,進行綜合混合評價[4]?,F(xiàn)階段,國內(nèi)學術期刊評價體系基本都采用文獻計量學的量化評價法,公布定量指標和權重,根據(jù)指標算法、數(shù)據(jù)結果排序?qū)ζ诳M行等級分類,擬定“核心期刊”[21]。一些評價機構聲稱采用定量和定性相結合的方法,但在評價過程中并未提及定性指標和權重,定性評價僅僅作為參考和補充。
定量評價法為什么會成為期刊評價的主流方法呢?我們知道,早期的學術評價主要依托于學術共同體的同行評議機制。“同行評議”的概念最早出現(xiàn)在17世紀中期,在英國皇家學會期刊《哲學會刊》的論文評審中,通過同行專家評議對論文內(nèi)容進行評價,判斷作品的有效性、重要性和原創(chuàng)性,為學術期刊選稿提供參考。同行評議被譽為“匯聚專家智慧、識別重要思想、更正研究錯誤,確保研究團隊獲得更大支持的學術評價方法”[27]。同行評議是一種依托學術共同體的重要評價方法,評議人體系的制度化深刻體現(xiàn)了期刊發(fā)展的社會屬性,作為一種精英化的學術交流和評價活動,同行評議主要存在于學術精英的小圈子中。但在現(xiàn)實中,同行評議易受到人緣、師承、權力利益關系的影響,如學術人情關系、行政權力干預、圈子文化、學術評價標準喪失和評價不公開、不公正的問題[28]。在學術系統(tǒng)內(nèi)部的等級結構下,少數(shù)精英可能會主宰學術認可和資源分配過程。成熟的同行評議體系需要依托強大的學會和自律的學術共同體,遵循學科同行性、學術民主性、學術交流性、利益超越性等原則,在學術爭鳴和交鋒中建構學術共同體[27]。
量化評價替代同行評議的根本原因在于學術生產(chǎn)模式發(fā)生了改變,隨著社會分工的不斷深化,知識生產(chǎn)不斷地去神圣化、日?;?、公共性,日益成為科研生活的常態(tài)[29],同時隨著學術GDP競爭的加劇,科研勞動分工更加細化和復雜化,科研管理需要以量化評價去迅速識別成果的價值。另一方面,科研成果和交流形式從一種精英化的學術活動變成一種高度職業(yè)化、專門化的科研活動??蒲谐晒麖脑趥鹘y(tǒng)無形的學術共同體的內(nèi)部傳播,并獲得學術同行內(nèi)部認可,發(fā)展到成為一種特殊的公共和社會屬性的準私人產(chǎn)品。隨著學科的體系逐漸成熟,門類逐漸繁多,出現(xiàn)了一些跨學科的小眾研究領域。學科差異的分化和復雜性,造成彼此之間難以進行公正的度量和評價[3,30]。方法轉向的現(xiàn)實動力主要來自量化評價為科研管理帶來了便利。在科研管理方面,政府治理模式的改變,技術治理邏輯更偏重績效和問責。量化評價可操作性強,標準明確,而同行評議的交易費用過高,具有主觀性和不確定性。顯然,量化評價有利于政府確定科研成果的知識價值與社會貢獻價值,有利于進行科研管理和學術資源分配。
可以認為,文獻計量學的評價方法適應了知識生產(chǎn)、傳播體制和科研管理體制的變化,在期刊評價領域獲得了發(fā)展的土壤。文獻計量提供的數(shù)據(jù)具有簡便、經(jīng)濟、易操作特點,評價效率高,研究結果可測量、計算和比較。文獻計量方法可以提供學科領域組織性、結構性較強的描述數(shù)據(jù),可以降低成本,提高效率,體現(xiàn)評價的科學性、權威性和相對準確性[22]。
期刊的定量和定性評價法主要表現(xiàn)為文獻計量法和同行評議法,這體現(xiàn)了社會科學的定量和定性研究在期刊評價中的應用。兩種評價方法具有不同的方法論取向,定量與定性研究在理論假設、資料收集、論證邏輯和結果應用等方面存在差異[31]。謝立中認為,人文社會科學研究從研究范式上有實證主義和人文主義之分,研究模式可以采用定量和定性研究[32-33]。定性研究強調(diào)情境性和文化性,在理論與經(jīng)驗之間理解理論的歷史主義取向,以及對人類心智固有屬性的準確描述,這是一種更深層的整體結構,不能夠通過運算得到。定量研究通常是以定性的結果為基礎,對社會現(xiàn)象變化過程,社會不同因素之間的相互作用,進行數(shù)據(jù)的分析和結論的驗證,總結出具有規(guī)律性的結論。如研究社會現(xiàn)象之間的變異,可根據(jù)大數(shù)定律和中心極限定理,設定理論假設,驗證理論的自變量和因變量的因果命題等。
首先,文獻計量法作為一種期刊量化評價方法,其應用于評價的研究假設和價值論在于一切外在的物態(tài)表現(xiàn)均可以反映其內(nèi)容和度量分級,并通過指標化的統(tǒng)計分析,建立數(shù)學模型以獲得直觀結果。在具體操作中,評價對象的內(nèi)在質(zhì)量和價值都可以轉化為外在的表現(xiàn)形式,是可測量、可記分、可進行橫向比較的。它通過數(shù)據(jù)的“精確化、客觀性”量化評價,從一個方面展示了期刊發(fā)展的規(guī)律和特點,一定程度上規(guī)避了同行評議的“不穩(wěn)定性、模糊性和權力博弈”問題,這無疑是一種進步。以此,以文獻計量學為學科基礎的期刊引文分析評價建構了“核心期刊”的概念。1934年,布拉德福從文獻的集中和分散規(guī)律提出核心期刊的概念,繼而20世紀60年代出現(xiàn)從引文分布角度證實核心期刊的存在,并開發(fā)了SCI、SSCI、A&HCI等數(shù)據(jù)庫,發(fā)布期刊引證報告(JCR)[10]。歸根結底,文獻計量法是從整體宏觀層面把握數(shù)據(jù)的趨勢性,呈現(xiàn)純量化和通用性的指標,如強調(diào)影響因子、轉載率等。然而,純量化和通用性的指標體系往往會抹殺不同評價目的對評價方法和標準選擇的差異性,忽視評價對象的差異和個性。其在定量研究方面,缺乏數(shù)據(jù)背后的理論假設和對數(shù)據(jù)的分析解讀。期刊量化評價應按照社會科學量化研究的原則,具有自由、開放、公正、分散和隨機的特點[30],而對核心期刊影響因子的追捧卻是量化數(shù)據(jù)使用的異化和功能錯位。我們需要思考如何優(yōu)化期刊量化評價,避免簡單量化評價的弊端。在此認識基礎上,一些文獻計量學家則針對人文學者對簡單量化評價的批判,開始探索將學科差異性和社會屬性納入文獻計量的量化分析中,比如分析自然科學、社會科學和醫(yī)學工程學不同專業(yè)的知識集中和分散規(guī)律,著手解決評價的同質(zhì)化和一般化標準中的差異性和可比性問題,開始關注不同研究成果的測量層次。張琳等人對科學家個人成果的文獻計量評價方法的研究,重點解決如何在個體層面更準確地反映成果信息,在數(shù)據(jù)分析過程加入社會人口學屬性的控制變量,關注與科研成果相關的復雜因素,如年齡、職業(yè)生涯、性別、研究領域、合作范式等變量[23-24]。
另一方面,同行評議作為定性評價法,則更強調(diào)發(fā)揮學術共同體的評價主體作用,學術同行評價可以理解量化數(shù)據(jù)背后的含義、關注指標的價值和內(nèi)涵,理解它所使用的社會情境性,建構評價的理論假設和價值原則。學術期刊作為知識生產(chǎn)的重要載體,具有深刻的社會性、公共性、政治性和情感性。評價要認識到學術領域的公共屬性和社會屬性,才能建立公正、權威、科學的評價體系。一些研究指出,期刊評價要關注科研管理體制和學術評價的關系,將期刊評價放在更廣闊的社會文化空間下,審視學術期刊的公共性、社會性和情感性,認識學術生態(tài)、學術活動和學術評價的復雜性[29]??茖W的學術評價和期刊評價機制應該發(fā)揮學術共同體的評價主體地位,評價權力回歸學術同行,重建學術民主[6],以此培育富含創(chuàng)造力和凝聚力的學術共同體,推動中國學術健康發(fā)展。遺憾的是,這些研究往往停留在哲學思辨層面,他們指出了文獻計量法簡單量化評價的問題,卻沒有提出切實可行的定性評價方案。
一些學者從知識社會學視角對同行評議進行研究,這對我們建構期刊定性評價方法體系給予很多啟發(fā)。20世紀60到70年代,在科學社會學研究中默頓學派開始關注科學知識、科學共同體和評議人體制的社會建構,通過實證研究法研究知識場域的評估活動和認知文化的形成[26],并關注學術評估中科學精神的普遍和特殊評價。受默頓的影響,21世紀初,學者們開始關注同行評議的社會文化和價值層面,揭示同行評議制度中的權力關系和認知文化[34]。其中,美國米歇爾·拉蒙特的《教授們怎么想——在神秘的學術評判體系內(nèi)》是在知識社會學視野下研究同行評議的“學科與評價文化”的重要成果,雖然研究對象是國家獎助金的同行專家評審活動,但是與學術期刊的同行評議相似,在評價過程中,關注專家如何在“一流”和“多樣”標準、學派差異和跨學科平衡下形成統(tǒng)一的意見,以及專家的社會背景、政治立場、學科文化、價值判斷、情感因素如何介入評價過程。評價文化體現(xiàn)了正式和非正式制度的約束、價值理念和標準的多元性、不穩(wěn)定性、知識生產(chǎn)、認知建構和社會間的互動過程?!督淌趥冊趺聪搿分苯訌耐性u議的社會性機制和過程入手,揭示神秘的學術評判體系內(nèi)教授的評價標準和評價過程[35]。
事實上,知識社會學探究的是知識的認知層面和社會層面的關聯(lián),以及科學家群體的學術社會生活,揭示學術生產(chǎn)、評價體系和學科文化的特點。在這方面,更進一步的研究是托尼·比徹和保羅·特羅勒爾的《學術部落及其領地——知識探索與學科文化》,它從知識本體論和認識論入手,探究不同學科的知識特性與學科文化關聯(lián)、學術共同體(學術部落)社會特征的多樣性、知識認識論的社會性、詮釋性和建構性特征,將學術領域的認知特征和社會特征結合。他的學科分類體系參照科爾布和比格蘭的框架,分為硬科學和軟科學、純科學和應用科學,不同知識類型特征決定其社會關聯(lián)程度的強弱。人文社會科學領域的知識發(fā)展具有重復性、累進的非線性特點,學科關聯(lián)結構較弱,即注重特殊性和復雜性,具有個人色彩,價值觀影響明顯,知識標準存在爭議,缺乏共識,受到外部社會環(huán)境影響大,成果表現(xiàn)為理解和闡釋。方法上重視定性和特殊性分析,需要大量的資料鋪墊。所以,評價的限制條件主要是知識類型和學科范式,如學術共同體成員的習俗、規(guī)范和認知結構,具體表現(xiàn)為學術部落的學術風格、學科的成熟度和社會化程度、學科的交叉性與專攻領域、學術交流和研究模式、學科內(nèi)部的習俗與文化、內(nèi)部的權力利益關系、學術的科層組織網(wǎng)絡等因素[36]。布迪厄的“科學場域理論”也體現(xiàn)了科學的社會建構論視角成果,他認為科學事實是被建構的,科學場具有相對自主性??茖W場域是一個競爭性的場所,科學生產(chǎn)過程中的各個利益相關人的客觀關系決定著科學場域的結構,核心是科學權威的壟斷問題。其中,知識人獲得同行評議的認可是其掌握知識生產(chǎn)技能,進入科學場域競爭,獲得科學權威的過程。所以,一切知識生產(chǎn)和評價活動既是科學的又是社會的[37]。
在期刊同行評議中,社會性和文化性的因素一直影響著評價活動,研究者通過實證研究還原期刊同行評議的社會性的認知文化,可以展現(xiàn)五光十色的學術評價世界,揭示評價活動背后的學科文化和學科知識的社會構建過程。同行評議的社會學研究進路表現(xiàn)為跳出同行評議技術方法層面檢視同行評議的社會和公共屬性,分析其在學術評價中的作用。對期刊評價而言,評議過程本身就是一個學術性、公共性和社會性的活動。加拿大文獻計量學學者Lariviere V立足于知識生產(chǎn)、科研體制、學術期刊評價的關系,認為學術期刊在建構知識結構、形成不同學派,以及理解學術發(fā)展與國家制度之間的關系具有重要作用[38]。因此,優(yōu)化期刊評價的定量和定性方法體系需要關注期刊的社會和公共屬性,以及期刊發(fā)展與學術共同體成長的關聯(lián),在方法層面拓展同行評議的深度和廣度。
期刊評價具有社會性、公共性和價值意涵,評價活動是社會互動、認知形成和社會建構的過程。沿著知識社會學的框架,期刊評價的定性法主要在于將質(zhì)化研究方法體系引入期刊的同行評議過程。質(zhì)化研究可以理解評價過程中的學科文化和評價倫理,研究期刊同行專家評判的社會過程,理解他們所處社會情境、價值體系、意識形態(tài)、社會制度等宏觀因素對其價值判斷和評價決策的影響。
1.評價中的質(zhì)化研究方法體系
陳向明于1996年在《定性研究方法評介》中,提出質(zhì)性研究的定義、理論基礎、方法體系和使用范圍,她認為在定性研究的基礎上可以建立質(zhì)性研究方法的理論框架。質(zhì)化研究是將研究者本人作為研究工具,在自然情境下,采用多種資料收集方法,對研究現(xiàn)象進行深入的整體性探究,從原始材料中形成結論、建構理論,通過與研究對象的互動,理解闡釋其行為和意義[39-40]。質(zhì)化研究的理論主要來源于闡釋主義、建構主義和批判理論,它不是哲學思辨層面的空對空,知識的建構不是從理論到理論的邏輯推演,而是以建構主義為前提,以文字敘述為材料歸納的邏輯。謝立中在總結國內(nèi)質(zhì)化研究方法的基礎上,從四個維度定義了質(zhì)化研究的類型,他認為社會科學的實證主義和人文主義是一種研究范式,他們可以采用量化或質(zhì)化的研究模式,根據(jù)他們結合的方式可以分成四類:人文主義的量化研究和質(zhì)化研究、實證主義的量化研究和質(zhì)化研究[33]。依此可見,質(zhì)化研究分為人文主義和實證主義兩種取向,早期的質(zhì)化研究并沒有準確地理解各種范式之間的關系。實證性量化研究具有數(shù)量化、客觀化和普適性的特點,但是卻無法確定變量之間的因果關系;闡釋性的質(zhì)化研究可以提供良好的因果解釋,卻具有主觀化、非量化、個案特點。而韋伯的理解社會學為兩者結合提供了一個相對可靠的因果分析模式。質(zhì)化研究方法的主要理論來源是韋伯的理解社會學,他強調(diào)在社會互動過程中理解和闡釋特定人群社會行動的意義,并采用歸納邏輯推斷因果機制。他認為,主觀意義、行動動機和行動后果是相互聯(lián)系的。行動者主觀意義或動機的內(nèi)在性在于行動者的內(nèi)心世界具有模糊性和不穩(wěn)定性的特點,不能通過實證量化研究的方法獲取,只能通過質(zhì)化的研究方法探究。所以,闡釋性的質(zhì)化研究可以幫助我們揭示社會現(xiàn)實產(chǎn)生變化的原因和機制。通過個案研究或者深度訪談,研究者可以深入到行動者的意義世界,揭示社會現(xiàn)象之間的真實因果關系。質(zhì)化研究通過社會調(diào)研的觀察和歸納邏輯,可以看到數(shù)據(jù)變量的承載者并研究數(shù)據(jù)背后活生生的人,它是一種更深層次的結構化。熊秉純在中國社會性別研究的成果中,認為量化研究的普遍性和代表性不一定能揭示出制度所隱含的價值取向,關切到問題的核心,可以清晰地呈現(xiàn)出結構性的問題和個體在社會建構中的困境和掙扎。很多量表沒有準確反映社會現(xiàn)象和人生經(jīng)驗,并忽視了社會情境性、社會互動場景和事件過程的社會屬性。在對社會性別的研究中,他建構了比較完善的質(zhì)化研究方法體系,主要包含實證研究、建構主義的歸納邏輯、個案研究和研究者的先見與反思[41]。
借鑒前人對質(zhì)化理論和方法研究的成果,筆者認為,建構期刊評價中質(zhì)化研究方法體系可以主要包含四個方面。
第一,評價的社會情境性。學術評價的過程是一個涉及情感、主體間交互影響的過程,評價人不同的社會身份會潛移默化地影響他們的評價過程。專家在頭腦風暴過程中,建構多元化的評價知識,形成情境化的認知結構,各類型專家面對面的對話展示了學科文化和評價標準,以及在其中蘊含的權威關系。評價中蘊含價值判斷,理解評價背后的理念和標準需要考察同行評議的社會建構過程,評價場域的正式和非正式制度建構了評價的多元性和不穩(wěn)定性,評議過程的社會限制性因素讓同行專家在差異中產(chǎn)生共識并做出決策將成為一件不可思議的事情。那么,專家同行評議的意見為什么不一致,他們堅持的價值理念是什么?探究評價的理念和背后的意義需要理解和闡釋同行評議的社會情境性,它包括不同學術共同體所處學術場域和學科文化的特點,也包含學術生產(chǎn)體制和科研管理制度。顯然,它是學科文化和評價的社會屬性,包含限定條件下的學科范式、學術生產(chǎn)交流和研究模式、學術風格和風俗、學術合作與社交、學術生涯、學科地位和權力關系、學術競爭與合作、學術管理的科層體制,以及跨學科發(fā)展模式、學科成熟度和社會化組織結構等。
社會情境和情感對評價的影響具有一定的開放性和靈活性,常常存在一些無法預測的現(xiàn)象,評價者需要了解不同學科的評價文化,深入理解和闡釋學科文化和專家共同體的特點,記錄事件和行為發(fā)生的過程,探求因果關系,尋找結構性的關鍵問題和社會機制。
第二,建構主義的實證研究。期刊同行評議是一個社會建構的過程,我們要以社會建構的視角看待同行評議的過程。中國同行評議制度主要是移植西方比較成熟的制度體系,它在中國實現(xiàn)本土化的關鍵在于適應中國的學術生產(chǎn)體系和科研管理體制特點,以及中國學術發(fā)展脈絡和學科文化。在西方,同行評議是一種主流的學術評價方法,計量方法僅僅是同行評議結果的參考和補充,計量方法之所以在中國盛行是因為還沒有建構成熟的同行評議制度和合理的評價文化。所以,我們首先應該通過實證研究了解中國學術生產(chǎn)的現(xiàn)狀,采用歸納法的研究論證步驟,關注評價者和參與者的話語立場,尋找當事人的價值觀念,根據(jù)這些關鍵話語尋找主題思想、歸納學術評價的核心問題。質(zhì)化研究要實現(xiàn)知識建構的意義,通過闡釋社會學的方法理解事件、情境、經(jīng)驗行為和研究對象以及賦予它的意義。采用質(zhì)化研究的歸納邏輯,由資料出發(fā),找出關鍵詞和概念,再由關鍵詞和概念歸納解釋社會現(xiàn)象的原理和原則,如扎根理論的歸納邏輯、建構主義的訪談以及探索性地尋找研究問題。
同行評議的過程是一個對話機制(社會互動)形成過程,通過專家學術爭論建構共識。評價的社會情境性建構了同行評議人之間的共享知識體系,評價活動不是個人行為,而是一種社會行為。評議人要進行專業(yè)化的訓練,將自己置于情境化的場域中,正確對待學科立場和社會認知文化的影響,在普遍評價價值觀和自我學科立場之間尋找平衡。
第三,評價者的先見與參與者的反思。在質(zhì)化研究體系中,研究者進入研究過程本身具有價值預設,雖然我們在社會科學研究中倡導價值中立,但研究者的價值預設都會以一定的方式進入知識建構的過程。陳向明認為,知識真理都受到價值觀和理論的制約,比如價值體系、意識形態(tài)和社會制度,以及社會歷史的發(fā)展[39]。在期刊評價中,評價活動是一種價值判斷,它具有社會性和公共性,并受到意識形態(tài)的制約。在同行評議過程中,評價者不可避免會有價值介入,文獻計量學家從專業(yè)的角度很難處理同行評議中專家意見的分歧,所以,他們對專家意見的處理還停留在簡單打分階段,同行評議往往成為科學計量的補充和驗證過程。這種研究視角對同行評議中質(zhì)化資料的浪費,不得不說甚為可惜。其實,專家評議并不是追求形成一致意見,而是呈現(xiàn)出分歧的原因和社會機制。專家在評判過程中,雖有相對一致的學術評判標準,但是他們不免常常將自己置于所屬學科的立場,維護評審專家的合法性。總有一流標準的多元性和不穩(wěn)定性,以及在多元的價值標準下的取舍和平衡,比如是支持“一流”還是保持“標準多樣性”的平衡[26]。對于參與者而言,他們可以從個體的經(jīng)驗出發(fā),抽絲剝繭般地呈現(xiàn)社會和社會結構對研究對象的影響。評價對象在質(zhì)化研究下可以參與評價過程,他們從個體的經(jīng)驗出發(fā),可以呈現(xiàn)完整的社會結構對個體和群體的影響、束縛和限制。通過社會調(diào)研和公眾參與,評價者增強了對評價對象的了解,并站在評價對象和利益相關人的位置思考問題,反思評價者之前的個人立場、地位和身份可能產(chǎn)生的偏見和偏好。評價者的反思精神從評價對象的當事人經(jīng)驗出發(fā),了解他們的世界,建立嶄新的視角,建構知識體系,從而破除定量研究所堅持的價值中立的迷思,擺脫評價者的成見和偏見。
第四,個案研究下的特色化評價。質(zhì)化研究中個案研究具有重要的一席之地,它通過多個個案的深度分析(扎根理論)總結歸納結構性的問題,以此來了解社會運作的機制、人與人、人與社會的關系。個案研究本身,從方法論和認識論的角度并不強調(diào)普遍性和代表性,而是要揭示出制度所隱含的價值取向,直指問題的核心,清晰地呈現(xiàn)結構性的問題和個體的能動性,揭示出個案背后的權力結構和社會關系。在期刊評價中,對同行評議的宏觀制度分析往往需要通過個案研究了解同行評議的外部制度環(huán)境,以及內(nèi)部群體之間的互動關系和權力結構。比如各種類型學術期刊發(fā)展的歷史軌跡和成長規(guī)律都充滿著共性和個性的平衡,通用型的標準往往只能了解淺層次的發(fā)展規(guī)律,個性的特征需要在學科文化的背景下,通過個案研究了解評價文化,并建構特色化的評價體系。
英國在國家層面開展的大學研究水平評估設計中,也經(jīng)歷了類似的方法轉向,早期的研究評估考核為了降低成本主要采用科學計量方法。之后他們發(fā)現(xiàn)科學計量方法根本無法代替同行評議,所以,在2014年推出了“研究卓越框架”,在研究產(chǎn)出和社會影響力方面對理論和應用型成果采用描述性材料評價,數(shù)據(jù)庫檢索和引用指標僅作為專家評議的參考信息,重視敘述性案例的證據(jù)支撐,強調(diào)信息的全面性和綜合性[3]。這種評價不同于簡單量化評價,它關注科學價值及其內(nèi)涵,以建構主義為前提,重視案例在內(nèi)的多樣化證據(jù),建構個案為基礎的定性評估框架。
2.同行評議方法的質(zhì)化拓展
同行評議的中國化和本土化要求我們必須研究中國的學術生產(chǎn)體制和學科文化,關注同行專家的學術社會背景和評議行為。它是一個面對面的對話和爭論的共識建構過程,學科文化和專家的社會屬性是評價的社會情境性,評價的過程包含了身份認同、政治立場、感情交涉等因素,每個學者都具有自己的學科立場,以此確定自己身份的合法性,事實上很多正式和非正式的標準和外部環(huán)境都會在評價中發(fā)揮作用,它淋漓盡致地體現(xiàn)出同行評議標準的多元性和不穩(wěn)定性,以及跨學科評價的多樣化。同行評議制度下的屈從、抵制、保守和反對,比如結盟和策略性投票也同樣體現(xiàn)了評價交易成本信息的不對稱性和評議人的社會性特征。
那么,如何看待同行評議從差異中產(chǎn)生共識并作出決策的過程呢?首先,他們的統(tǒng)一性在哪里?專家形成統(tǒng)一意見非常困難,但評價有一些通識性的價值理念,它和學術理念的價值規(guī)范標準相一致,專家會共享一套相對統(tǒng)一的學術價值觀,如對學術的神圣性的尊重。其次,他們的差異性和多元化在哪里?實踐中廣泛存在這樣的情況:不同專家的學科立場不同、學科范式無法兼容、學科所處社會情境的場域不同、學術發(fā)展階段和學科成熟度不同、民主商討和平臺溝通的程度不同。這樣,他們會建構不同的評價認知和文化。最后,作為評價者和研究者如何處理?通過社會調(diào)研法進行實證研究,分析學科文化和不同差異產(chǎn)生的原因,進而建立成功有效的對話、對評議人進行專業(yè)性訓練;建立相關制度保障和進行有效的行政干預;建立自律學術共同體,倡導學術誠信,維護學術評價的神圣性;最終建構評議人之間的共享知識體系。
質(zhì)性研究方法在同行評議中應用的核心是,通過實證研究解決同行評議中價值層面的問題。期刊評價的質(zhì)性研究方法是將質(zhì)性研究框架貫穿于整個期刊評價過程中,完善同行評議的社會調(diào)研法,通過社會田野方法研究同行評議的過程和限制性條件。從評價當事人日常經(jīng)驗出發(fā),尊重參與者的經(jīng)驗和主體性,從具體到抽象的歸納法論證步驟可以對整個知識內(nèi)涵進行再造。專家所處的社會情境性、價值體系、意識形態(tài)、社會制度等宏觀因素會對價值判斷和評價決策產(chǎn)生影響。對于他們?nèi)绾谓藴省⒔M織評價,支持一流還是尊重差別和多樣性,如何確定學術資源分配平衡原則等,通過實證研究可以收集和分析這些質(zhì)性材料,記錄和分析評議過程,理解和闡釋評價背后的價值理念和多元標準的社會屬性,這體現(xiàn)了評價者的使命感和責任心。
從評價角度對學術生產(chǎn)和評價體系進行研究有利于了解學術場域的現(xiàn)狀、學科文化和評議人的特點。質(zhì)化研究有利于建立自律的學術共同體,形成信任、尊重、寬容的價值理念,維護學術評價的神圣性和權威性;建構合理的評價制度,進行有效的行政干預,建立溝通交流平臺,讓各利益主體進行成功有效的學術對話。
評價工作是現(xiàn)代公共管理的重要手段,學術評價是建構學術場域中學術生產(chǎn)和競爭秩序的重要切入點,學術評價面對學術體系的復合型和復雜性,要在發(fā)揮評價指揮棒的同時,加強對學術評價的理論和方法研究。評價理論和方法具有跨學科視野,需要借鑒相關學科的理論和方法,如管理學、經(jīng)濟學、社會學和政治學等學科,加強評價主體的權威化、評價路徑的科學化和評價結果的社會化[29]。評價理論發(fā)展在教育評價領域較成熟,也具有評價學的普遍意義和借鑒作用,評價理論的發(fā)展經(jīng)歷了測量評價、描述評價、判斷和價值評價階段[42]。教育評價理論發(fā)展經(jīng)歷了測量、描述、判斷、建構、綜合階段。測量評價階段追求測量結果的標準化和客觀化,體現(xiàn)為測量技術手段的大量應用;描述評價階段是對測量數(shù)據(jù)進行事實還原、解釋分析;價值判斷評價處理多元和個性化的對象,制定多元價值判斷標準;建構階段主要通過認知建構改變知識結構和思維模式,體現(xiàn)評價的診斷、判斷和預測功能。在管理范疇下的評價側重績效問責和管理監(jiān)控,而哲學范式下的學術評價要處理的是價值的多元性、利益相關者主體地位的平衡性、建構評價本體論、認識論和方法論體系。從權威評價的測量、判斷階段發(fā)展到評價利益相關人多方參與的對話、溝通和協(xié)商階段,在評價過程中共建共享價值、處理價值多元性,評價者甚至要扮演歷史學家和社會學家的融合合作角色。
從知識類型上看,人文社會科學領域的知識具有重復性、累進的非線性,以及注重特殊性、內(nèi)涵性、受價值觀影響等特點。因此,人文社會科學評價具有多元主義,知識價值標準存在爭議,缺乏共識,其成果表現(xiàn)為理解和闡釋。研究方法上重視定性研究和對特殊性的分析,評價方法更具有復合性和復雜性,評價過程涉及價值判斷、情感交互,具有社會性和公共倫理取向,評價人的社會屬性會潛移默化地影響他們的評價過程。因此,通過質(zhì)化研究可以了解人文社會科學學科文化,以及評價的社會性和公共性。
學術期刊評價是學術評價的重要組成部分,建構合理、權威、科學和具有倫理底蘊的學術評價機制是一項系統(tǒng)復雜的工程,學術期刊的運行生態(tài)和機制對改善學術生態(tài)和完善學術評價機制具有基礎和導向作用。從期刊發(fā)展規(guī)律認識學術生產(chǎn)體制的特點,這對學術期刊研究和評價具有重要的意義。在評價方法體系上,期刊評價也經(jīng)歷了從單一評價、簡單量化評價到復雜評價和綜合評價的過程。在質(zhì)化研究體系下,我們要反思評價者的角色和定位,評價者需具有多樣化和復合的知識儲備,精通評價的方法和技術,記錄和反思評價中的困境,用研究者的視野建構科學合理的評價體系。質(zhì)化研究在期刊評價中的應用主要體現(xiàn)為實證主義、闡釋主義和反思、批判精神。期刊評價方法需要經(jīng)歷三個階段:簡單量化評價、實證主義質(zhì)化評價、共享價值評價階段。在質(zhì)化評價階段,評價活動的社會建構性體現(xiàn)為一種從個體到群體層面的社會互動,對評價的實證研究主要是揭示學術生產(chǎn)的過程和不同學科文化特點。評價者要記錄事件和行為發(fā)生的過程,通過歸納法尋找結構性關鍵問題和社會機制的因果關系。闡釋主義旨在理解和闡釋研究者和研究對象在事件情境中對行為賦予的意義。在評價活動中,評價者要關注評審過程,與評價對象進行合作,通過收集和分析信息,充分理解評價者和評價對象在評價過程中賦予的意義,并理解和闡釋評價文化。最后,得出評價者和評價對象都可以理解、可信的評價結論。在認知建構層面,評價價值理念的批判和反思精神主要在于評價者和評價對象通過雙向溝通形成有效的對話和溝通機制,建構評價共享知識。從參與評價當事人日常經(jīng)驗出發(fā),尊重參與者的經(jīng)驗和主體性,對整個知識的內(nèi)涵進行再造,加強評價運行機制的民主化。