美國圖書館協(xié)會Project Outcome成效評估工具分析與啟示

王洪斌 宮平

摘要：近年來，成效評估已成為圖書館評估的一種重要方式，Project Outcome是美國圖書館協(xié)會制作發(fā)行的一款圖書館成效評估工具。首先通過梳理Project Outcome工具的功能特點和發(fā)展歷程，最后提出了加強評估體系建設、實現(xiàn)多元評估，重視圖書館評估標準化工作，以及進一步提高評估的信息化水平等建議。

關鍵詞：圖書館評估;成效評估;成效評估工具;Project Outcome

中圖分類號：G251文獻標識碼：A

DOI：10.13897/j.cnki.hbkjty.2021.0075

圖書館評估是圖書館學研究的重要課題，近年來圖書館評估大致可分為三種：“衡量圖書館服務的服務質量評估、評估圖書館價值和影響的成效評估 （outcome assessment） 、以投入和產出為主的績效評估?！盵1]隨著學界研究的深入，圖書館評估的重點已經由圖書館轉為用戶，評估焦點從投入——產出轉為對用戶的影響，成效評估已經成為圖書館評估的發(fā)展趨勢[2]。所謂成效評估，即是評估圖書館的項目或服務對用戶產生的影響，以此衡量圖書館的價值[3]。

在圖書館評估的實踐過程中，產生了Project Outcome、Lib Wizard等圖書館成效評估工具。在成效評估已經成為圖書館評估發(fā)展趨勢的背景下，圖書館成效評估工具應當?shù)玫街匾暋９P者通過對美國圖書館協(xié)會（ALA）制作發(fā)行的免費圖書館成效評估工具Project Outcome的發(fā)展歷程與使用流程進行梳理，分析Project Outcome的發(fā)展歷程與功能特點，以期助力我國圖書館評估研究，從而推動我國圖書館事業(yè)發(fā)展。

1Project Outcome的開發(fā)背景與主要功能

Project Outcome是ALA制作發(fā)行的圖書館成效評估工具，其主要功能是為世界各地的公共圖書館與學術圖書館提供圖書館活動與服務成效的評估工具，幫助圖書館展示自身價值，通過標準化的評估數(shù)據(jù)促進圖書館之間交流。Project Outcome有公共圖書館和學術圖書館兩個版本，分別于2015年和2019年推出。

1.1Project Outcome的開發(fā)背景

美國聯(lián)邦博物館與圖書館服務局（IMLS）是美國聯(lián)邦政府向美國各地圖書館與博物館提供支持的部門，根據(jù)《圖書館服務和技術法令》（LSTA）規(guī)定，IMLS會向美國各州的公共圖書館提供贈款以促進圖書館的發(fā)展，各州圖書館對贈款的使用往往以項目的形式進行。1996年起美國以立法形式要求對受贈圖書館的項目成果進行評估，IMLS隨之要求受贈圖書館需要報告授予圖書館的每個項目的進展及其影響。2015年，IMLS在全國范圍內推出了新的報告要求，要求受贈圖書館對項目的結果及影響做出標準化的報告。然而由于各種現(xiàn)實因素的影響，受贈圖書館所做的項目報告始終無法使IMLS滿意。

ALA創(chuàng)建于 1876 年，是世界規(guī)模最大的圖書館協(xié)會之一，對美國乃至世界圖書館行業(yè)的服務與發(fā)展起到極其重要的作用。為了解決各地圖書館項目報告無法滿足IMLS要求的問題，ALA下設的美國公共圖書館協(xié)會（PLA）決定為各地的圖書館提供標準化的項目評估方法與工具，使圖書館的報告能夠滿足IMLS的要求。2013年PLA主席卡洛琳·安東尼成立了由公共圖書館領導、科研人員、咨詢人員和數(shù)據(jù)分析員等組成的公共圖書館業(yè)績測試特別小組（PMTF），開始制定和推廣標準化的公共圖書館項目評估系統(tǒng)，也就是后來的Project Outcome。PMTF最初的目的僅是為了讓美國各地圖書館的報告符合IMLS的標準，但隨著圖書館評估理論的發(fā)展與項目組的調查，PMTF逐漸發(fā)現(xiàn)圖書館在這方面存在著更廣泛的需求。

1.2Project Outcome的發(fā)展歷程

2013年，PMTF成立后的第一步行動是對現(xiàn)有的資料進行整理分析。如PMTF對華盛頓大學描述資助者使用公共圖書館技術服務的影響調查、IMLS評估各州LSTA獎勵的標準、美國圖書館協(xié)會的公共圖書館資金和技術訪問研究等現(xiàn)有的相關材料進行分析，結合以往的經驗重新考慮并設計圖書館的社區(qū)影響指標，PMTF希望這些新指標可以準確科學地反映圖書館項目的結果與影響，各地圖書館可以使用標準化的新指標對自身進行評估。為了衡量新指標的可靠程度，PMTF選擇了美國27個圖書館開展試點測試，測試新指標是否可以準確地反映不同情況下的圖書館項目的結果與影響。在試點測試的過程中，PMTF發(fā)現(xiàn)一個普遍的現(xiàn)象，即圖書館工作人員可以直接觀察到在某些領域活動的成效，但無法用具體的數(shù)據(jù)表示出來，這使得PMTF的工作目標不再局限于幫助IMLS獲得標準化報告，而是將目光投向了圖書館的需求。

根據(jù)前期準備的結果，PMTF設計了Project Outcome工具，并于2015年在舊金山舉行的美國圖書館協(xié)會年會上提出了Project Outcome項目，正式推出了Project Outcome工具。Project Outcome工具推出后受到了比爾及梅琳達·蓋茨基金會的關注，基金會為Project Outcome的后續(xù)發(fā)展提供了一定的資金支持。同時Project Outcome也受到了美國公共圖書館與其他國家圖書館的歡迎，這些圖書館開始頻繁使用Project Outcome來對自身舉辦的活動和服務進行評估，驗證活動和服務的成效。隨著圖書館對Project Outcome熟悉程度的加深，PMTF為Project Outcome加裝了即時調查、后續(xù)調查、成果衡量指導等功能，使得Project Outcome適合于大多數(shù)公共圖書館的使用。

隨著Project Outcome的更新與傳播，嘗試使用Project Outcome的公共圖書館逐漸增多，Project Outcome也引起了學術圖書館的注意。2017年美國學術圖書館協(xié)會（ACRL）與PLA進行接觸，針對Project Outcome在學術圖書館的適用性展開了討論[4]，并成立了學術Project Outcome工作組，工作組效仿PLMF的工作方式，在2018年6月至10月期間對7個學術圖書館服務區(qū)和54個機構進行實地測試，通過對不同學術圖書館的調查分析總結出學術圖書館的評估主題，最終學術圖書館Project Outcome成效評估工具于 2019年4月在克利夫蘭舉行的 ACRL 會議上發(fā)布。截至2021年2月6日，Project Outcome已經收集到了來自世界各地的1 924個公共圖書館的324 846份評估數(shù)據(jù)，577個學術圖書館的63 471份評估數(shù)據(jù)[5]。

1.3Project Outcome的主要功能與使用流程

Project Outcome以成效評估為主要功能，為圖書館進行某項活動或服務后提供相應的評估方式、評估內容與評估結果分析。由于成效評估重點關注的是項目對于用戶的影響，Project Outcome的評估方式以問卷調查為主，通過調查主題的劃分預設問卷內容。此外Project Outcome關于評估結果分析的模塊中提供了矩陣分析、數(shù)據(jù)地圖、同行對比等分析方式，可視化、多方面地展示成效評估的結果，大大減少了相關工作人員的工作量。圖1具體展示了Project Outcome各項功能、服務與使用流程。

2Project Outcome的功能特點

Project Outcome對自身定位十分明確，作為圖書館成效評估工具，其沒有關于圖書館績效或實體、服務方面的評估內容，僅專注于圖書館項目與活動。為了得出客觀準確的評估結果、有效促進圖書館間的交流進步、得到圖書館認可，Project Outcome立足于圖書館日常運營實踐，提供了小而精的評估工具，具有以下主要功能特點。

2.1評估標準化

Project Outcome希望使用此工具的圖書館能夠針對各自的評估結果進行對比分析交流，客觀把握自身在行業(yè)中的定位，以此為依據(jù)調整圖書館活動與服務發(fā)展策略。圖書館成效評估結果可以進行的前提是參與圖書館必須處于同樣的條件下，即

在標準化的評估環(huán)境下，只有這樣交流對比的結果才能得到圖書館或社會各界的信服。為了實現(xiàn)Project Outcome交流平臺的良好運作，Project Outcome首先為使用的圖書館提供的是一套標準化的評估流程。

Project Outcome的評估標準化包含評估方法標準化、調查數(shù)據(jù)標準化、評估結果標準化三個方面。評估方法標準化指Project Outcome為使用者提供的是一套統(tǒng)一的評估方法，具體表現(xiàn)為同一評估主題下，使用者根據(jù)Project Outcome進行評估的流程是一致的;調查數(shù)據(jù)標準化指同一評估主題下Project Outcome給予使用者的調查內容是一致的，使用者根據(jù)Project Outcome進行調查所得的數(shù)據(jù)具有一致性;評估結果標準化表現(xiàn)為使用者將調查數(shù)據(jù)輸入Project Outcome后，Project Outcome會通過矩陣分析、數(shù)據(jù)地圖等方式繪制評估結果，并將評估結果與同行對比。Project Outcome的評估標準化覆蓋了圖書館成效評估前（設計評估方案）、中（收集調查數(shù)據(jù)）、后（集成調查結果）三個階段，保證了成效評估中各圖書館條件的一致性，這也是Project Outcome能夠受到認可的核心舉措。

2.2使用易用性

實踐是理論的基礎，圖書館實際運行的要求對圖書館成效評估工具的制作具有決定性作用。圖書館使用成效評估工具的先決條件是能保持圖書館的正常運營，針對這種要求，Project Outcome呈現(xiàn)出了相當程度的易用性。

Project Outcome的易用性主要體現(xiàn)在三個方面：一是使用簡單，二是方便靈活，三是評估耗時短。由于受所在地經濟發(fā)展、文化水平等因素的影響，不同地區(qū)圖書館的發(fā)展存在較大差異，如館員專業(yè)技能水平參差不齊，為了確保絕大多數(shù)圖書館可以高效利用，同時也為了減輕圖書館成效評估的負擔，Project Outcome提供的是一套“傻瓜式”的評估流程。在大規(guī)模圖書館評估進行前，評估者、受評方以及相關組織、部門往往要進行一段時間的準備，Project Outcome沒有設置任何進行評估的前期工作，最大限度確保評估效率。圖書館推出活動和服務的頻率往往在兩周一次到兩三個月一次之間，相比起動輒以年為周期的大規(guī)模圖書館評估，圖書館進行成效評估的頻率要高很多。評估的高頻率要求圖書館成效評估工具必須將評估過程控制在一個相對短的時間范圍內，否則會導致“這次評估還沒完成，下次評估已經開始”這種情況的發(fā)生，從而加大圖書館人員的壓力。Project Outcome首先省去了評估中的評估方法設計與調查數(shù)據(jù)分析兩部分，并且給與的評估方法往往只需耗時數(shù)日便可完成，使得通過其進行的評估耗時極短。

2.3評估階段性

效度即有效性，它是指通過測量工具或手段能夠測出所需測量事物的準確程度。Project Outcome提升評估效度的方式是設置“即時調查”和“后續(xù)調查”兩個階段的評估方式，二者分別用于圖書館活動和服務結束后立刻進行評估和結束后二到四周再進行評估。設立即時與后續(xù)兩個階段的原因是Project Outcome考慮到隨著時間流逝，參與用戶對于圖書館活動和服務的想法以及自身能力、思維方式可能會發(fā)生改變，單一時間的評估可能無法反映圖書館活動和服務成效的全貌?？紤]到會有人認為兩階段的評估方式提高了圖書館成效評估的成本，Project Outcome并不強制用戶進行兩階段評估，用戶可以選擇活動結束后立即進行評估，獲取第一手資料;也可以在二或四周后進行評估，給與用戶充足的消化時間;也可以選擇二者皆行，追求更高信度的成效評估結果。

3對我國圖書館評估工作的啟示

Project Outcome圖書館評估工具的發(fā)展促使著我國圖書館評估工作方法的增多，根據(jù)以上對于Project Outcome的發(fā)展與功能特點的分析，可以得出對我國圖書館評估工作的如下啟示。

3.1加強圖書館評估體系建設，實現(xiàn)多元評估

國家統(tǒng)計局發(fā)布的《中華人民共和國2020年國民經濟和社會發(fā)展統(tǒng)計公報》顯示，2020年末全國共有公共圖書館3 203所[6]，教育部宣布截至2020年6月全國高等學校共計3 005所[7]，這在一定程度上說明我國現(xiàn)有公共圖書館與高校圖書館數(shù)量較為接近。高校圖書館根本任務是為高校教學、科研提供服務，通過評估展示與提高自身服務能力是促進高校圖書館發(fā)展的重要方式，因此我國圖書館評估工作應加強對高校圖書館評估工作的重視。除高校圖書館外我國還存在數(shù)量眾多的其他類型圖書館，若能通過建設多元協(xié)調的評估體系，統(tǒng)籌各類圖書館評估方式、指標、人員等，將有力地提升我國圖書館評估工作對圖書館事業(yè)發(fā)展的推動作用。

多元評估理論源于教育學領域，具體包括評估主體多元化、評估內容多維化、評估方式多樣化。評估主體多元化方面，我國第六次縣以上公共圖書館評估定級以文化部為主導，在具體評估工作中政府部門、高校學者、社會專家、圖書館行業(yè)協(xié)會共同參與評估工作，從政府、學校、社會、相關從業(yè)者等多個視域出發(fā)，有力加強了評估的科學性。同時此次評估定級中擔任標準研制專家組組長的南開大學柯平教授提出：“未來評估還需加大社會參與的程度，比如說讓讀者參與到對圖書館的評價中，同時還要增加我們專家?guī)斓囊?guī)模，增加社會力量（如大學教師）的比例?！盵8]進一步證明了評估主體多元化對于圖書館評估的重要意義。評估內容多維化與評估方式多樣化二者相輔相成，當今時代圖書館評估存在影響力評估、績效評估、成效評估、服務質量評估等多方面評估理論，落實到實踐中便是圖書館評估的內容多維化，如作為服務能力基礎的館舍建設評估、明晰投入產出狀況的績效評估、圖書館影響力評估等。因此我國圖書館評估方式也應向著多樣化的方向發(fā)展，建設主體客體多元化、內容多維化、方式多樣化的多元協(xié)調的圖書館評估體系將是我國圖書館評估工作的重要內容。

3.2重視圖書館評估標準化工作

圖書館評估的最終目的是通過評估促進發(fā)展，如果評估沒有可以進行對比的對象，圖書館評估的效果便要大打折扣。圖書館對評估結果進行交流對比時，最大的阻礙往往是評估標準不一導致對比無法進行，兩所圖書館使用不同的評估方法得出的評估結果進行對比是毫無意義的，只有形成一個參與評估交流的圖書館共同認可的、共同遵守的評估標準，才能實現(xiàn)圖書館之間關于評估的良好交流。目前圖書館界關于評估方面的相關標準較少，國際知名度較高的有國際標準ISO16439：2014《信息與文獻——圖書館影響力評估的方法與流程》[9]、《澳大利亞公共圖書館評估指南、標準與產出評估》[10]、《英國NHS圖書館質量評估標準》[11]等，目前我國關于圖書館評估唯一的國家標準是2019年制定實施的《信息與文獻 公共圖書館影響力評估的方法和流程》[12]，此項標準專注于公共圖書館影響力評估方面，主要介紹和規(guī)定公共圖書館進行影響力評估的各類方法。圖書館影響力方面的評估在圖書館運營中進行的相對較少，而在圖書館進行次數(shù)較多的績效評估、成效評估方面卻未形成科學合理的相關標準。同時除公共圖書館外，我國其他類型圖書館評估也缺乏相關標準的指導，因此我國應兼顧各類圖書館評估，確保圖書館事業(yè)整體發(fā)展。

2016年7月，國家文物局修訂和頒布了《博物館定級評估辦法》《博物館定級評估標準》[13]等相關文件，2017年12月，中國博物館協(xié)會還發(fā)布了《國家一、二、三級博物館運行評估規(guī)則》[14]，博物館界逐漸形成較科學的評估規(guī)范體系和評估運行機制。圖書館界亦應在落實對現(xiàn)行影響力評估標準使用的基礎上，加強新的評估標準建設，在加強圖書館評估體系建設的前提下及時設立相應的評估標準，使圖書館工作和建設的各個方面、各領域有“標”可依，以此提高我國圖書館評估工作的成效。

3.3進一步提高圖書館評估的信息化水平

提高評估的信息化水平是我國圖書館評估工作發(fā)展的要求，在公共圖書館第六次評估的過程中中國圖書館協(xié)會建立了信息化評估平臺，各公共圖書館可以通過平臺遞交評估材料，評估專家通過網絡進行評估工作和交流，這是我國第一次實現(xiàn)大規(guī)模的信息化圖書館評估。以Project Outcome為例的圖書館評估工具是圖書館信息化評估發(fā)展的成果，可以提高評估的信息化水平，有利于減輕圖書館評估壓力與負擔、實現(xiàn)評估常態(tài)化。

評估本意是“以評促建”，圖書館進行評估成本的大小影響著圖書館進行評估的積極性和有效性，評估耗時過長、運用人力資源過多亦會影響圖書館的正常運營。提高評估信息化水平，通過信息化技術從評估方案設計、評估材料和信息的傳遞、評估人員的交流等方面減輕圖書館評估負擔，提高評估靈活性，減少評估成本，有利于提高圖書館評估工作的經濟效益。同時信息化工具與平臺制作建設完成后，圖書館的日常評估可以此為模板，形成圖書館日常評估體系，真正將評估環(huán)節(jié)納入到圖書館運營活動中，實現(xiàn)評估常態(tài)化。

4結語

圖書館的評估工作由來已久。隨著我國第六次全國公共圖書館評估工作的結束與《中華人民共和國公共圖書館法》的實施，我國的圖書館評估工作達到了一個新的高度。在圖書館“后評估”時代[15]，圖書館研究人員不應只滿于已取得的成就，應開闊視野、廣泛學習，探尋能夠促使我國圖書館評估工作進步的方式，從而推動我國圖書館事業(yè)的發(fā)展。

參考文獻

[1]萬小剛，洪秋蘭.美國高校圖書館成效評估研究及啟示——基于ARL2010—2018年圖書館評估大會的分析[J].圖書館學研究，2020（19）：88-94.

[2]趙偉，張秀華.基于遺傳神經網絡的圖書館成效評估研究[J].情報理論與實踐，2013（12）：94-98.

[3]Rhea Joyce Rubin. Demonstrating Results： Using Outcome Measurement in Your Library[R]. For the PLA （Public Library Association） Spring SymProject Outcomesium， Mar， 2007.

[4]American Public Libraries Association. 2017 ReProject Outcomert [EB/OL]. [2021-04-16]. https：//ww w.projectoutcome.org/ckeditor_assets/attachments/35 9/plaprojectoutcome2yearannualreportfinal.pdf.

[5]American Public Libraries Association. PLA|Project Outcome[EB/OL].[2021-04-10]. https：//www.projectoutcome.org.

[6]國家統(tǒng)計局.中華人民共和國2020年國民經濟和社會發(fā)展統(tǒng)計公報[EB/OL].[2021-05-20]. http：//www.stats.gov.cn/tjsj/zxfb/202102/t20210227_1814154.html.

[7]中華人民共和國教育部.全國高等學校名單[EB/OL].[2021-04-20].http：//www.moe.gov.cn/jyb_xxgk/s5743/s5744/202007/t20200709_470937.html.

[8]周雅倩，魏夢婷.用指標撬動圖書館轉型——柯平教授談公共圖書館評估的現(xiàn)狀與未來[J].四川圖書館學報，2021（1）：1-5.

[9]銀晶，馮玲.國際標準ISO16439：2014《信息與文獻——圖書館影響力評估的方法與流程》解讀與分析[J].山東圖書館學刊，2017（2）：66-70.

[10]王秀香.《澳大利亞公共圖書館評估指南、標準與產出評估》標準解讀[J].河北科技圖苑，2020（2）：80-86.

[11]王培林.健康信息服務驅動公共圖書館未來發(fā)展——基于《英國NHS圖書館質量評估標準》的分析與啟示[J].圖書情報知識，2018（2）：32-39.

[12]中華人民共和國文化和旅游部.文化和旅游部關于發(fā)布《信息與文獻 公共圖書館影響力評估的方法和流程》等7項行業(yè)標準的公告[EB/OL].[2021-04-20]. https：//www.mct.gov.cn/whzx/zxgz/wlbzhgz/201903/t20190327_837976.htm.

[13]國家文物局.國家文物局關于公布施行《博物館定級評估辦法》（2019年12月）等文件的決定[EB/OL].[2021-04-16]. http：//www.ncha.gov.cn/art/2020/1/20/art_2318_43606.html.

[14]北京市文物局.國家一、二、三級博物館運行評估規(guī)則[EB/OL].[2021-04-16]. http：//wwj. beijing.gov.cn/bjww/362760/362767/556574/556580/bwgpg/556886/index.html.

[15]柯平.“后評估時代”公共圖書館的戰(zhàn)略重點與發(fā)展方向[J].圖書館論壇，2019，39（7）：1-12.

作者簡介：王洪斌（1988），男，遼寧大學歷史學院2020級圖書情報專業(yè)碩士研究生。研究方向：圖書館評估、公共文化服務。

宮平（1982），女，博士，遼寧大學歷史學院講師。研究方向：圖書館評估、公共文化服務、數(shù)字人文。

（收稿日期：20210528責任編輯：張長安）

Analysis and Enlightenment on the Effectiveness Evaluation Tool of

Project Outcome of the American Library Association

Wang HongbinGong Ping

Abstract：In recent years， outcome assessment has become an important method of library evaluation. Project Outcome is a library outcome assessment tool produced and issued by the American Library Association. This article sorts out the development process and functional characteristics of Project Outcome， and puts forward suggestions as strengthening the construction of evaluation system， realizing multiple evaluation， attaching importance to the standardization of library evaluation， and further improving the information level of evaluation.

Keywords：Library Assessment; Outcome Assessment; Outcome Assessment Tool; Project Outcome