耿祎楠 吳杰 郭詩園 李彤

[摘要]學(xué)術(shù)會議是學(xué)術(shù)交流的重要方式，具有推動學(xué)科發(fā)展、促進知識共享和轉(zhuǎn)化等功能。對學(xué)術(shù)會議質(zhì)量進行評價能夠歸納高質(zhì)量會議的特征和經(jīng)驗，為科技工作者提供必要的參會指引。該文系統(tǒng)梳理了學(xué)術(shù)會議質(zhì)量評價方法相關(guān)研究文獻，將學(xué)術(shù)會議質(zhì)量評價方法分為基于文獻計量學(xué)指標(biāo)、基于多指標(biāo)綜合性的評價方法和基于組織管理學(xué)理論模型的評價三類，分析了各類評價方法的特征，并提出了研究展望：一是在相同學(xué)科條件下形成統(tǒng)一的學(xué)術(shù)會議質(zhì)量評價體系;二是將科技成果轉(zhuǎn)化作為重要維度納入學(xué)術(shù)會議質(zhì)量評價體系;三是積極開展學(xué)術(shù)會議質(zhì)量評價的實證研究;四是采用定性與定量相結(jié)合的方式對學(xué)術(shù)會議質(zhì)量進行評價。

[關(guān)鍵詞]學(xué)術(shù)會議會議質(zhì)量評價文獻計量學(xué)

[中圖分類號]N94516[文獻標(biāo)識碼]A[文章編號]10019596（2022）040026-05

一、引言

當(dāng)前，對于學(xué)術(shù)會議質(zhì)量的評價引起了社會各界的廣泛關(guān)注。對于參會者來說，在一個高質(zhì)量的會議上發(fā)表論文可以作為論文質(zhì)量和潛在影響的標(biāo)志。隨著科技發(fā)展和社會進步，我國各領(lǐng)域的學(xué)術(shù)會議數(shù)量逐漸增多。《中國科協(xié)全國學(xué)會發(fā)展報告（2020）》顯示，2019年全國學(xué)會組織的國內(nèi)學(xué)術(shù)會議4362場，參會人數(shù)達到170萬人次。為了給廣大師生和科技工作者提供參會指引，不少大學(xué)和社會組織都推出了針對學(xué)科領(lǐng)域的學(xué)術(shù)會議推薦目錄。學(xué)術(shù)界對學(xué)術(shù)會議質(zhì)量評價方法的探索和實踐研究也越來越多。

目前學(xué)界對于學(xué)術(shù)會議質(zhì)量評價方法的研究主要分為計算機科學(xué)領(lǐng)域?qū)W術(shù)會議評價和基于多學(xué)科的綜合性學(xué)術(shù)會議的評價這兩種思路。計算機學(xué)科領(lǐng)域的學(xué)術(shù)會議質(zhì)量評價以文獻計量學(xué)指標(biāo)為主，以論文的質(zhì)量反映會議總體的質(zhì)量?；诙鄬W(xué)科的綜合性學(xué)術(shù)會議質(zhì)量評價研究從不同的維度和視角出發(fā)，構(gòu)建了各類評價指標(biāo)框架和體系，但都尚未形成統(tǒng)一的學(xué)術(shù)會議質(zhì)量評價體系。

本文通過對近年來國內(nèi)外學(xué)者對學(xué)術(shù)會議質(zhì)量評價方法相關(guān)文獻進行梳理，將學(xué)術(shù)會議質(zhì)量評價方法分為基于文獻計量學(xué)指標(biāo)的評價、基于多指標(biāo)綜合性學(xué)術(shù)會議指標(biāo)評價和基于組織管理學(xué)理論模型的方法等三種類型，詳細(xì)剖析了每一類學(xué)術(shù)會議質(zhì)量評價方法的特征，識別了研究中存在的優(yōu)勢和不足，最后對學(xué)術(shù)會議質(zhì)量評價方法研究提出了意見和建議。

二、基于文獻計量學(xué)指標(biāo)的學(xué)術(shù)會議質(zhì)量評價方法

此類評價方法多集中于計算機科學(xué)和人工智能相關(guān)領(lǐng)域。由于該領(lǐng)域發(fā)展迅速，為了更短的傳播周期，該領(lǐng)域很多成果都是通過會議論文的形式發(fā)表，會議論文與期刊論文的比例為249篇[1]。因此該領(lǐng)域中會議論文的文獻計量指標(biāo)可有效反映會議的質(zhì)量、聲譽和影響力水平。此類方法中主要應(yīng)用的文獻計量學(xué)指標(biāo)有論文接受率（Paper Acceptance Ratio，AR）、論文引用率（Citations Frequencies，CF）、論文影響力（PImpact）、同儕聲望（Peer Reputation，PR）、H指數(shù)（H|index）和G指數(shù)等。XUEHUI學(xué)會2022年第4期2022年第4期學(xué)術(shù)會議質(zhì)量評價方法文獻綜述與研究展望XUEHUI

論文接受率（AR）指的是收錄論文的數(shù)量與論文投稿總量之比，AR值越低，說明學(xué)術(shù)會議的質(zhì)量越高，該指標(biāo)已成為衡量學(xué)術(shù)會議質(zhì)量的普遍性指標(biāo)。但有研究發(fā)現(xiàn)，由于作者自過濾或缺乏嚴(yán)格的審稿過程等原因，經(jīng)常存在AR值低的學(xué)術(shù)會議比AR值高的被引次數(shù)少的情況[2]。論文引用率（CF）是指科學(xué)論文對文獻的引用次數(shù)，會議論文引用率是衡量一個會議影響力的重要依據(jù)。Martins等基于會議論文的引用率提出了會議影響因子（CIF）、會議引文影響（CCI）等作為文獻計量指標(biāo)來評價學(xué)術(shù)會議的質(zhì)量[3]。但也有研究表明，許多引用至少要追溯到5年前[4]。由于會議規(guī)模不同，不同會議的被引量或相同會議不同年份的被引量不能直接比較，在進行會議評價時經(jīng)常將引文數(shù)量進行歸一化處理產(chǎn)生的論文影響力[5]（PImpact）來進行評價。由于AR值的缺陷和論文引用率對于時間的要求，Nelakuditi等提出了利用論文第一作者的機構(gòu)在各類大學(xué)/機構(gòu)排行榜中的位置的同儕聲望值（PR）來評價學(xué)術(shù)會議的質(zhì)量的方法[6]。具體來說，PR<1/3，20>則表示會議中1/3的論文來自于排名前20%的大學(xué)。PR對AR作出了改進，但也存在僅針對美國大學(xué)排名進行研究和僅考慮第一作者所在機構(gòu)等問題。此外，也有學(xué)者探索了利用H指數(shù)[7]、G指數(shù)[8]評估學(xué)術(shù)會議的質(zhì)量并進行了實踐驗證。這些指標(biāo)的提出豐富了以文獻計量學(xué)為基礎(chǔ)的學(xué)術(shù)會議質(zhì)量評價的指標(biāo)與方法，但也存在僅利用一類指標(biāo)進行質(zhì)量評價結(jié)果過于單一和因會議樣本量少而存在偶然性的問題。因此不少學(xué)者提出綜合利用各類文獻計量學(xué)指標(biāo)構(gòu)建評價體系，對學(xué)術(shù)會議進行分檔評級或排序。

Küngas等提出了一種會議論文的踴躍程度與過往會議論文引用量相結(jié)合的計算機學(xué)科學(xué)術(shù)會議質(zhì)量評價方法[9]。Loizides等基于12個計算機科學(xué)領(lǐng)域3000篇論文數(shù)據(jù)，提出了一種綜合考慮PR值、論文影響力和作者H指數(shù)的學(xué)術(shù)會議分類方法（CCA）[10]。張洋等通過PR值、H-index、Plmpact、零被引率等四類7個指標(biāo)的綜合，應(yīng)用TOPSIS模型建立了學(xué)術(shù)會議質(zhì)量動態(tài)評價方法[11]。此外，不少機構(gòu)也嘗試構(gòu)建基于文獻計量指標(biāo)的學(xué)術(shù)會議評價指標(biāo)體系，并對學(xué)術(shù)會議進行分檔評級或排序。解決了單一指標(biāo)對于會議評價的客觀影響問題，更全面真實地反映了學(xué)術(shù)會議的質(zhì)量。

文獻計量學(xué)指標(biāo)評價方法可以客觀、定量地衡量學(xué)術(shù)會議的質(zhì)量。其局限在于僅用反映論文水平的文獻計量學(xué)指標(biāo)來評估會議的質(zhì)量。但學(xué)術(shù)會議質(zhì)量的評價并非文獻計量的產(chǎn)出、交流過程以及會務(wù)組織情況等個別、零散方面可完整表征。對于學(xué)術(shù)會議質(zhì)量的評價應(yīng)更加全面和綜合。

三、基于多指標(biāo)的綜合性評價方法

這一類評價方法試圖通過歸納、分析學(xué)術(shù)會議的核心環(huán)節(jié)和關(guān)鍵要素，進而構(gòu)建復(fù)雜、完整的適用于多學(xué)科的綜合性學(xué)術(shù)會議質(zhì)量評價體系，主要分為以下三類。

（一）基于會議全流程的多指標(biāo)綜合評價方法

此類方法認(rèn)為，對于學(xué)術(shù)會議的評價應(yīng)貫穿于會議提出、準(zhǔn)備、進行和結(jié)束的全過程，體現(xiàn)在會前、會中、會后等各個方面。一些學(xué)者通過學(xué)術(shù)會議的特征分析以及不同階段的要點，構(gòu)建了與學(xué)術(shù)會議完整過程相適應(yīng)的多指標(biāo)綜合性學(xué)術(shù)會議質(zhì)量評價體系，認(rèn)為學(xué)術(shù)會議發(fā)生階段反映了會議主題設(shè)置的水平，準(zhǔn)備階段反映了論文總體水平，進行階段反映了會議交流研討水平和會務(wù)水平，會后反映了綜合效益和與會者反響[12-14]。此類方法多是依靠辦會經(jīng)驗和對會議發(fā)生過程中的各類影響要素進行歸納總結(jié)，構(gòu)建初步的學(xué)術(shù)會議質(zhì)量評價體系框架，存在評價結(jié)果受評價者主觀意愿影響大、指標(biāo)的合理性和內(nèi)在邏輯性需要進一步驗證、缺少實證研究等問題。

（二）基于學(xué)術(shù)影響力的多指標(biāo)綜合評價方法

此類方法關(guān)注學(xué)術(shù)會議的學(xué)術(shù)性內(nèi)涵，根據(jù)學(xué)術(shù)影響力的生成階段、擴散階段和傳播階段來構(gòu)建多指標(biāo)評價體系。唐家蕙等基于學(xué)術(shù)性影響力生成的過程性測度、結(jié)果性測度和影響性測度等構(gòu)建了學(xué)術(shù)會議質(zhì)量綜合評價基本框架[15]。也有學(xué)者提出了學(xué)術(shù)會議質(zhì)量評價要兼顧遠期效益影響，關(guān)注參會者會后是否會將在會議上學(xué)到的新知識應(yīng)用到實際中去[16]。2017年，中國科協(xié)立足學(xué)術(shù)會議“學(xué)術(shù)性”本質(zhì)特征，構(gòu)建了以學(xué)術(shù)吸引力、交流互動力和成果傳播力為一級測度的學(xué)術(shù)會議質(zhì)量評估指標(biāo)體系，并設(shè)立了特邀報告人學(xué)術(shù)水平、會議論文/摘要的接受率、學(xué)術(shù)成果的表現(xiàn)形式等10個二級指標(biāo)[17]。此類方法把握了學(xué)術(shù)會議的本質(zhì)特征，但未考慮到會議組織流程等方面的評價。

（三）基于全維度的多指標(biāo)綜合評價方法

此類方法致力于對會議形成綜合評價，全面、系統(tǒng)地反映學(xué)術(shù)會議的質(zhì)量。孫澤厚等由表及里、由淺入深地分析了影響學(xué)術(shù)會議質(zhì)量的要素指標(biāo)。將學(xué)術(shù)會議質(zhì)量評價為學(xué)術(shù)、交流、會議三個構(gòu)面，形成包括辦會動機、會議主題、會議論文、會議人員、會議氛圍、會議組織形式及流程、參會成本、會議組織等8個維度的學(xué)術(shù)會議質(zhì)量評價體系[18]。游媛通過對以往學(xué)術(shù)會議質(zhì)量評價指標(biāo)的總結(jié)歸納，設(shè)計了包括組織、交流、學(xué)術(shù)、成果、影響五個層面的學(xué)術(shù)會議質(zhì)量交流評價指標(biāo)體系[19]。此類評價體系較為全面地反映了學(xué)術(shù)會議質(zhì)量的各個方面，但評價結(jié)果過于依賴參會者主觀認(rèn)識。

此類評價方法形成了關(guān)于學(xué)術(shù)會議學(xué)術(shù)影響、研討交流和會議組織等基本評價指標(biāo)的共識，對于評價指標(biāo)體系的實操驗證和實踐應(yīng)用則需要進一步探討。

四、基于組織管理學(xué)理論模型的評價方法

在此類方法中，學(xué)者從不同視角如參會代表滿意度、會議利益相關(guān)者目標(biāo)以及新組織結(jié)構(gòu)等出發(fā)，對學(xué)術(shù)會議的內(nèi)涵做出了新的解讀，并通過借鑒組織管理學(xué)中顧客滿意度指數(shù)模式、平衡計分卡、差距分析等模型，結(jié)合學(xué)術(shù)會議本身特點的基礎(chǔ)，對模型作出改進，形成了學(xué)術(shù)會議質(zhì)量評價框架和方法。

例如，李新杰等將學(xué)術(shù)會議看作為參會者提供服務(wù)的過程，基于與會代表滿意度對學(xué)術(shù)會議質(zhì)量進行評價，借鑒顧客滿意度指數(shù)（ACSI）模型構(gòu)建與會代表滿意度模型，將參會者對整體會議質(zhì)量、會議主題、學(xué)術(shù)論文遴選和會議組織過程等的感知作為與會代表滿意度評價指標(biāo)，探索了與會代表滿意度與感知期望、感知質(zhì)量、感知價值變量之間的關(guān)系[20]。中國科協(xié)課題組從服務(wù)質(zhì)量管理的角度出發(fā)，將學(xué)術(shù)會議質(zhì)量感知分為總體感知、主要維度感知和亞維度感知三個層次，并借鑒“差距分析理論”構(gòu)建了學(xué)術(shù)會議質(zhì)量評價“差距分析”模型[21]。肖建華從目標(biāo)管理的角度出發(fā)，借鑒平衡計分卡模型，通過總結(jié)梳理學(xué)術(shù)會議不同利益相關(guān)者的目標(biāo)，形成了包含學(xué)術(shù)會議目標(biāo)層、用戶層、流程層三個維度共40項指標(biāo)的學(xué)術(shù)會議評價指標(biāo)框架，為統(tǒng)一各類學(xué)術(shù)會議效果評價標(biāo)準(zhǔn)提供了一個新思路[22]。鄭毅將學(xué)術(shù)會議看作一類組織，從新組織結(jié)構(gòu)學(xué)派視角出發(fā)，明確了學(xué)術(shù)會議的組織結(jié)構(gòu)模塊及分工特征，厘清了學(xué)術(shù)會議組織的績效內(nèi)涵及組織績效的生成步驟，形成了學(xué)術(shù)會議績效評價管理框架，為會議要素在交互過程中有效支撐學(xué)術(shù)會議目標(biāo)的達成提供了指導(dǎo)[23]。

將組織管理學(xué)的理論方法模型引入學(xué)術(shù)會議評價管理研究中，豐富了學(xué)術(shù)會議質(zhì)量評價體系和方法，為解決學(xué)術(shù)會議質(zhì)量評價研究提供了新思路和方法。但也存在相互獨立，不能形成統(tǒng)一的學(xué)術(shù)會議質(zhì)量評價體系的問題。此外，此類方法僅提出了學(xué)術(shù)會議質(zhì)量評價的框架，對評價框架的實證和實踐應(yīng)用還需要進一步探討。五、研究展望

整體來看，目前關(guān)于學(xué)術(shù)會議質(zhì)量評價方法的研究還存在以下問題：一是尚未形成統(tǒng)一的學(xué)術(shù)會議質(zhì)量評價體系。學(xué)界對學(xué)術(shù)會議評價的內(nèi)涵、過程、特征等并未形成一致的認(rèn)知，在特定學(xué)科領(lǐng)域沒有形成統(tǒng)一的、被廣泛認(rèn)可的評價方法體系。二是并未將科技成果轉(zhuǎn)化作為一項重點指標(biāo)納入學(xué)術(shù)會議質(zhì)量評價體系。三是對學(xué)術(shù)會議評價方法體系的實證研究較少。大多數(shù)研究致力于學(xué)術(shù)會議質(zhì)量評價方法體系的構(gòu)建，僅有少數(shù)學(xué)者利用層次分析法、模糊集合理論等對評價指標(biāo)體系進行驗證和權(quán)重賦值[19，24]。四是定性與定量相互分離。計算機科學(xué)領(lǐng)域的學(xué)術(shù)會議質(zhì)量評價以定量為主，其他學(xué)科領(lǐng)域以定性為主。

基于本文分析，提出以下研究展望。

一是在不同的學(xué)科領(lǐng)域內(nèi)形成相應(yīng)的學(xué)術(shù)會議質(zhì)量評價體系。學(xué)術(shù)會議質(zhì)量的評估評價只有在相同學(xué)科條件下進行才有意義[25]。目前，學(xué)界對學(xué)術(shù)會議質(zhì)量評價維度的劃分和指標(biāo)選取建立了基本共識，但在相同的學(xué)科領(lǐng)域內(nèi)，學(xué)術(shù)會議質(zhì)量評價框架體系的構(gòu)建和測量方法并不統(tǒng)一。這也導(dǎo)致通過不同的方法對學(xué)術(shù)會議進行評價結(jié)果不一致的問題，容易對參會者形成困擾。在相同學(xué)科條件下形成統(tǒng)一的學(xué)術(shù)會議質(zhì)量評價體系有利于對學(xué)術(shù)會議質(zhì)量形成統(tǒng)一評估，為廣大科技工作者提供指引。

二是將科技成果轉(zhuǎn)化作為重要的學(xué)術(shù)會議質(zhì)量評價維度?？萍汲晒D(zhuǎn)化對于創(chuàng)新驅(qū)動發(fā)展具有重要作用。學(xué)術(shù)會議作為展示學(xué)術(shù)科研成果的重要平臺，為學(xué)術(shù)界和產(chǎn)業(yè)界搭建了科技成果轉(zhuǎn)化的橋梁。雖已有研究提出成果轉(zhuǎn)化率作為學(xué)術(shù)會議影響力的指標(biāo)[19]，但僅作為影響力維度之一，其重要性并未充分體現(xiàn)。此外，對于這一指標(biāo)的內(nèi)涵的論證以及具體測量還需進一步探討。

三是積極探索學(xué)術(shù)會議質(zhì)量評價的實證研究。加強對學(xué)術(shù)會議質(zhì)量評價框架的實證檢驗，對學(xué)術(shù)會議質(zhì)量評估結(jié)果與權(quán)威排行的重合率以及是否符合科技工作者預(yù)期進行驗證;探索學(xué)術(shù)會議質(zhì)量評價方法實踐研究，分析我國學(xué)術(shù)會議存在的問題，助力學(xué)術(shù)會議質(zhì)量提升。

四是采用定性與定量相結(jié)合的方式開展學(xué)術(shù)會議質(zhì)量評價。計算機科學(xué)領(lǐng)域的學(xué)術(shù)會議質(zhì)量評價方法以文獻計量指標(biāo)為基礎(chǔ)，以定量為主。其他學(xué)科領(lǐng)域?qū)W術(shù)會議質(zhì)量評價多以問卷調(diào)查形式開展，以定性為主。兩類方式應(yīng)相互借鑒，尤其是基于多指標(biāo)綜合性評價和借鑒組織管理學(xué)模型所構(gòu)建的評價框架體系中，針對會議論文質(zhì)量的評價多引入文獻計量學(xué)指標(biāo)，形成定量和定性評價相結(jié)合的評價方式，從而更加客觀地評價學(xué)術(shù)會議整體質(zhì)量。

參考文獻

[1]LAENDER A H F，LUCENA C J P D，MALDONADO J C，et al.Assessing the research and education quality of the top Brazilian Computer Science graduate programs[J].Acm Sigcse Bulletin，2008，40（2）：135-145.

[2]CHEN J，KONSTAN J A.Conference paper selectivity and impact[J].Communications of the Acm，2015，53（6）：79-83.

[3]MARTINS W S，MARCOS ANDR GONALVES，LAENDER A H F，et al.Assessing the quality of scientific conferences based on bibliographic citations[J].Scientometrics，2010， 83（1）：133-155.

[4]RAHM E，THOR A.Citation analysis of database publications[J].Acm Sigmod Record， 2005，34（4）：48-53.

[5]張洋，葉月.基于多指標(biāo)的學(xué)術(shù)會議動態(tài)評價研究[J].數(shù)字圖書館論壇，2018（7）：37-44.

[6]NELAKUDITI S，GRAY C，CHOUDHURY R R.Snap judgement of publication quality：how to convince a dean that you are a good researcher[J].Acm Sigmobile Mobile Computing & Communications Review，2011，15（2）：20-23.

[7]王倩.h指數(shù)及其衍生指數(shù)在評價學(xué)術(shù)會議中的應(yīng)用研究[J].科技情報開發(fā)與經(jīng)濟， 2015（15）：135-139.

[8]EGGHE L.Theory and practice of the g-index[J].Scientometrics， 2006， 69（1）.131-152

[9]PEEP KNGAS，KARUS S，VAKULENKO S，et al.Reverse-engineering conference rankings： what does it take to make a reputable conference？[J].Scientometrics， 2013， 96（2）.651-665.

[10]LOIZIDES O S，KOUTSAKIS P.On evaluating the quality of a computer science/computer engineering conference[J].Journal of Informetrics， 2017， 11（2）：541-552.

[11]張洋，葉月.基于多指標(biāo)的學(xué)術(shù)會議動態(tài)評價研究[J].數(shù)字圖書館論壇，2018（7）：37-44.

[12]劉國衛(wèi).學(xué)術(shù)會議質(zhì)量評價探討[J].科學(xué)學(xué)與科學(xué)技術(shù)管理，1991（4）：23-25.

[13]楊文志.論多學(xué)科綜合性學(xué)術(shù)會議的質(zhì)量評價[J].學(xué)會，1992（Z1）：79-82.

[14]楊民，畢小敬.學(xué)術(shù)會議質(zhì)量評估方法的可行性[J].中國現(xiàn)代醫(yī)學(xué)雜志，1994（4）：74-75.

[15]唐家蕙，李曉軒，鄭毅，等.學(xué)術(shù)會議質(zhì)量綜合評價研究及實踐[J].科技導(dǎo)報，2021，39（17）：106-114.

[16]馬敬安.探索和建立學(xué)術(shù)會議的質(zhì)量評估體系[J].學(xué)會，1996（9）：13.

[17]學(xué)術(shù)會議質(zhì)量評估報告（2017）[M].北京：中國科協(xié)，2018.

[18]《學(xué)術(shù)會議質(zhì)量國內(nèi)外比較研究》課題組.學(xué)術(shù)會議質(zhì)量國內(nèi)外比較研究[C]//學(xué)術(shù)交流質(zhì)量與科技研發(fā)創(chuàng)新研究，2009：10，12-105.

[19]游媛.學(xué)術(shù)交流質(zhì)量評價指標(biāo)體系的構(gòu)建研究[D].重慶：重慶大學(xué)，2012.

[20]李新杰.基于改進的ACSI模型的學(xué)術(shù)會議質(zhì)量評價實證研究[J].中原工學(xué)院學(xué)報，2017，28（2）：66-72.

[21]中國科學(xué)技術(shù)協(xié)會學(xué)會學(xué)術(shù)部.學(xué)術(shù)會議過程與使用語言研究[M].中國科學(xué)技術(shù)出版社，2008.

[22]肖建華，霍國慶，董帥，等.基于平衡計分卡的學(xué)術(shù)會議效果評價指標(biāo)體系研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理，2009，30（12）：48-54.

[23]鄭毅，劉文斌，宋澤寧.組織結(jié)構(gòu)視角下我國學(xué)術(shù)會議績效評價管理研究[J].科研管理，2020，41（3）：194-204.

[24]向河，沈賀.基于層次分析法的學(xué)術(shù)交流質(zhì)量評估與機制創(chuàng)新研究[C]//中國科協(xié)學(xué)術(shù)交流理論研討會，2008：181-192.

[25]孫樂民，謝永強，施燕斌.用ISTP統(tǒng)計評估國際學(xué)術(shù)會議的等級[J].高校圖書館工作，2008（5）：44-45.