[摘要]隨著政府購買社會服務(wù)項目檢核式評估的使用與發(fā)展,其無法有效評估社會服務(wù)項目實際運作效果的弊端不斷顯現(xiàn)。為探索能夠補足的評估方法,本文從檢核式評估法的項目假定及方法出發(fā)進行分析和討論。在比較“目標(biāo)為本評估(GBE)”和“自由目標(biāo)評估(GFE)”本質(zhì)內(nèi)涵及方法層面之差異的基礎(chǔ)上,本文認(rèn)為“自由目標(biāo)評估(GFE)”更適用于對項目的實際運作效果進行評估。為使得“自由目標(biāo)評估(GFE)”更具操作性,本文以“自由目標(biāo)評估(GFE)”內(nèi)涵為核心,以扎根理論建構(gòu)理論的邏輯及方法為指導(dǎo),構(gòu)建出包括“確定服務(wù)結(jié)果及其產(chǎn)生的原因”、“收集資料,撰寫結(jié)果說明報告”、“修訂結(jié)果說明報告”、“檢驗結(jié)果說明報告”、“分析和解釋評估結(jié)果”等五個自由目標(biāo)評估步驟及其詳細操作方法。本文期望研究成果能夠為政府購買社會服務(wù)項目效果評估提供一種可行的新方法。
[關(guān) 鍵 詞]目標(biāo)為本評估 ?自由目標(biāo)評估 ?扎根理論
[基金項目]本文為國家社科基金青年項目“城市社區(qū)建設(shè)多元動力機制研究”(編號:15CSH070);江蘇省社會科學(xué)基金項目研究成果(編號:18SHD002);“中央高?;究蒲袠I(yè)務(wù)費專項資金資助”(編號:NO.30918013118)。
[作者簡介]劉 江,男,南京理工大學(xué)公共事務(wù)學(xué)院講師,主要從事社會工作評估研究、社會工作理論研究、社區(qū)研究。
[中圖分類號]C916 ? ?[文獻標(biāo)識碼]A ? ?[文章編號]1008-7672(2019)04-0057-08
一、 引 言
在政府購買社會服務(wù)項目不斷深入的背景下,社會服務(wù)項目評估也得到極大發(fā)展。經(jīng)過積累,評估實踐在內(nèi)容和形式上,已經(jīng)呈現(xiàn)出特定的模式。就評估內(nèi)容而言,劉江通過對SH市六個不同類型社會服務(wù)項目評估實踐,歸納出包括“項目理論評估”、“監(jiān)測評估”、“影響評估”、“成本-收益評估”等四個評估方法構(gòu)成的整合評估模型。就評估流程而言,尹阿靂和趙環(huán)根據(jù)深圳2009-2016年的評估實踐總結(jié)出“制定評估方案及指標(biāo)”、“市民政局發(fā)布評估通知”、“社工服務(wù)機構(gòu)撰寫并提交自評報告”、“第三方評估機構(gòu)審閱自評報告及相關(guān)資料”、“第三方機構(gòu)組織評估專家展開實地評估”、“第三方評估機構(gòu)匯總意見,得出評估結(jié)果”、“評估結(jié)果公示”、“正式公布評估結(jié)果”等八個工作步驟。在具體操作上,通常從評價主體(指政府和第三方評估機構(gòu))的立場出發(fā),以既定的項目計劃為藍本進行操作化處理建構(gòu)評估指標(biāo),然后嚴(yán)格地按照評估指標(biāo)和程序?qū)Ψ?wù)進行檢核。
檢核式的評估實踐本質(zhì)上體現(xiàn)為一種“以監(jiān)督為目的的監(jiān)控性評估”。為了凸顯公共問責(zé)性,指導(dǎo)檢核的評估指標(biāo)通常比較關(guān)注項目基礎(chǔ)設(shè)施、項目人力配置、項目管理制度等,而對項目實際服務(wù)及專業(yè)性關(guān)注不足。因此,評估內(nèi)容體現(xiàn)出“行政管理”取代“專業(yè)服務(wù)”的現(xiàn)象。這種評估實踐的優(yōu)點在于,它能夠為評估者提供一個與項目有關(guān)的整體圖式,以使得評估邏輯清晰且容易操作。其缺點在于僵化的評估指標(biāo)配合以行政化的檢核形式,導(dǎo)致評估實踐忽視項目運作情境的復(fù)雜性,以及忽視項目實際運作情況和實際效果。
檢核式評估面臨的困境源自其背后所堅持的評估理念。檢核式評估本質(zhì)上屬于傳統(tǒng)的“目標(biāo)為本評估(Goal-based evaluation,GBE)”。這種評估在本質(zhì)上假定項目具有恒定性,不因情境和時間發(fā)展而發(fā)生變化。在方法上堅持靜態(tài)主義的觀點。在具體操作上堅持外部評估者使用預(yù)定的項目計劃或指標(biāo)體系對項目進行檢核。鑒于“目標(biāo)為本評估(GBE)”的局限性,應(yīng)對當(dāng)前評估實踐困境的前提不是對評估內(nèi)容、評估流程、評估指標(biāo)等進行修補,而要從項目本質(zhì)假定和方法兩個層次進行厘定,然后再從具體操作上進行廓清。根據(jù)這一思路,本文首先以“目標(biāo)為本評估(GBE)”作為分析的起點,然后引入在項目本質(zhì)假定和方法上與之相對的“自由目標(biāo)評估(Goal-free evaluation,GFE)”進行比較分析和討論,最后在扎根理論的指導(dǎo)下提出可操作性評估步驟。本文期望通過上述三個內(nèi)容之分析,在厘清當(dāng)前評估實踐本質(zhì)內(nèi)涵的前提下,建構(gòu)一種新的評估方法以供補足。
二、 目標(biāo)為本評估(GBE)與自由目標(biāo)評估(GFE)之內(nèi)涵
何謂評估?評估是用科學(xué)的研究方法對社會服務(wù)項目的設(shè)計、策劃、實施和效果等方面進行的測度、診斷和評價的活動。一般而言,評估方法因評估者對項目本質(zhì)的假定不同而形成較大差異。當(dāng)評估者假定項目具有“可管理、運作情境穩(wěn)定、所解決的問題之根源已知且有邊界、目標(biāo)可測量且可預(yù)測、不關(guān)注意外性結(jié)果”等特征時,通常會使用“目標(biāo)為本評估(GBE)”。當(dāng)評估者假定項目具有“情境復(fù)雜性、無解決問題的已知辦法、目標(biāo)不可控且不可預(yù)測、接納意外性結(jié)果”等特征時,通常會使用“自由目標(biāo)評估(GFE)”。與項目本質(zhì)假定對應(yīng),在方法上前者堅持靜態(tài)主義的觀點,后者堅持動態(tài)主義的觀點。
(一) 目標(biāo)為本評估(GBE)
“目標(biāo)為本評估(GBE)”是大多數(shù)評估者最為熟悉,也是當(dāng)前最為流行的評估方法。它旨在判斷項目的既定目標(biāo)是否實現(xiàn)。評估者通常根據(jù)項目計劃預(yù)設(shè)一系列指標(biāo),以檢驗項目實施程度如何。它假定項目內(nèi)容和項目目標(biāo)之間天然地存在線性聯(lián)系,因此,應(yīng)該自動地將這種聯(lián)系納入項目評估的范圍之內(nèi)。由此,測量和因果判斷成為“目標(biāo)為本評估(GBE)”的核心內(nèi)容。這一觀點在大量類似邏輯模型(logic model)、CIPP模型等指導(dǎo)項目設(shè)計的改變理論中體現(xiàn)得淋漓盡致。這類改變理論預(yù)先假定了項目按照線性邏輯發(fā)展,因此,試圖將項目預(yù)期行動與預(yù)定目標(biāo)按照線性因果邏輯串聯(lián)起來。然后,基于線性因果邏輯對項目進行描述和判斷。在這種評估中,評估者通常是外部評估者。外部評估者通常以項目預(yù)定計劃作為藍本,以邏輯模型或者CIPP模型為指導(dǎo),按照輸入、過程、產(chǎn)出、結(jié)果對項目進行描述(或操作化處理),然后按照各部分之間的因果邏輯對項目效果進行檢驗(或評判)。這種評估在操作上包括以下幾個前后連貫的步驟:首先,以任何與項目有關(guān)的文檔或資料為基礎(chǔ),以確定項目服務(wù)和預(yù)期目標(biāo);其次,建立項目服務(wù)與目標(biāo)之間的因果聯(lián)系;再次,用這個預(yù)定的因果聯(lián)系檢驗項目運作的實際情況。由此看出,“目標(biāo)為本評估(GBE)”是一種理論先行的評估。在邏輯上,它遵循了演繹的邏輯。它預(yù)先設(shè)定了項目運作的理論和邏輯,強調(diào)預(yù)定理論與項目實際情況之間的比較,并根據(jù)比較結(jié)果對項目進行評判。
事實上,“目標(biāo)為本評估(GBE)”屬于傳統(tǒng)類型的評估,體現(xiàn)出傳統(tǒng)評估“掌控”、“預(yù)測”、“有序”的項目假設(shè)。這種項目假設(shè)將項目視為一種簡單的、靜態(tài)的、線性發(fā)展的邏輯。它忽略了項目運作的情境復(fù)雜性、項目的綜合性等特征。受此項目本質(zhì)假定之影響,“目標(biāo)為本評估(GBE)”在方法上堅持(預(yù)定計劃先行的)靜態(tài)主義觀點。雖然借助于項目預(yù)定計劃能夠幫助外部評估者迅速了解項目運作的理論邏輯,但是,這種評估對于深刻理解項目實際運作邏輯(actual logic)幫助甚微。事實上,項目運作情境的復(fù)雜性可能會導(dǎo)致項目實際運作與項目預(yù)定計劃背離。而評估者通常將預(yù)定計劃之外未預(yù)期的結(jié)果處理為項目運作失敗的表現(xiàn)。由此,“目標(biāo)為本評估(GBE)”評估結(jié)果的有效性將會降低。
(二) 自由目標(biāo)評估(GFE)
作為對“目標(biāo)為本評估(GBE)”的補足,“自由目標(biāo)評估(GFE)”主要指,評估者在不了解項目預(yù)定目標(biāo)的情況下,對項目開展的評估。所謂“自由”主要指評估在理論上保持獨立性,不受項目設(shè)計者、實施者、服務(wù)對象和評估結(jié)果使用者對項目目標(biāo)界定之影響。所謂“目標(biāo)”主要指項目運作所產(chǎn)生的實際結(jié)果,而非項目預(yù)先設(shè)定要實現(xiàn)之目標(biāo)。
在項目本質(zhì)假定上,不同于“目標(biāo)為本評估(GBE)”,“自由目標(biāo)評估(GFE)”對項目的本質(zhì)假定是:第一,項目目標(biāo)不是預(yù)先給定的,而需要通過實際的評估活動才能獲得;第二,預(yù)定的目標(biāo)只是一種語言上的修辭,并且這種修辭并不能反映項目的真實目標(biāo)和項目產(chǎn)生的實際改變;第三,項目可能產(chǎn)生預(yù)定目標(biāo)以外的意外性目標(biāo)或結(jié)果。正是基于這些對項目本質(zhì)的認(rèn)知,評估者不需要預(yù)知項目預(yù)定目標(biāo)是什么,進而可以從項目預(yù)定計劃和目標(biāo)中解放出來。評估者可以根據(jù)項目的實際運作結(jié)果對項目目標(biāo)進行調(diào)整,進而實現(xiàn)“自由”。就“目標(biāo)”而言,相較于清晰、明確、固定的預(yù)定目標(biāo),項目目標(biāo)具有模糊性、不確定性。但是,這又會導(dǎo)致自由目標(biāo)評估者在尋找項目結(jié)果時存在困難。因此,自由目標(biāo)評估鼓勵其評估者將有效回應(yīng)服務(wù)對象需求作為項目目標(biāo),并將項目提供的服務(wù)與服務(wù)對象需求之間連結(jié)起來,而不是與項目既定目標(biāo)連結(jié)。由此,全面、公平、精確的需求評估對于開展自由目標(biāo)評估至關(guān)重要。評估者可以通過服務(wù)對象需求滿足程度作為項目運作的實際結(jié)果,并展開評估。由此看出,與“目標(biāo)為本評估(GBE)”理論先行不同,“自由目標(biāo)評估(GFE)”是“服務(wù)對象為導(dǎo)向”的評估。
在方法上,“自由目標(biāo)評估(GFE)”堅持動態(tài)主義觀點。它強調(diào)評估不受預(yù)定計劃和目標(biāo)的影響,能夠應(yīng)對服務(wù)對象需求、項目資源、項目目標(biāo)在項目運作過程中發(fā)生的變化。評估者必須堅持兩點以避開項目預(yù)定計劃和目標(biāo)而實現(xiàn)動態(tài)性:一是不能與了解項目預(yù)定目標(biāo)的工作人員交流和溝通;二是不能試圖尋找項目預(yù)定目標(biāo)。評估者越不了解項目預(yù)定計劃和目標(biāo),就越會將注意力集中于項目所產(chǎn)生的實際結(jié)果,進而實現(xiàn)對項目的動態(tài)適應(yīng)。為此,自由目標(biāo)評估者需要建立一個目標(biāo)監(jiān)督者(goal-screener)團隊。該團隊作為評估者和項目上層利益相關(guān)者(如項目投資者、行政人員、管理者等)之間的中間人而起作用。其作用主要有兩個:一是監(jiān)督評估者試圖通過項目工作人員尋找預(yù)定目標(biāo)的行為;二是在評估者和項目上層利益相關(guān)者之間起到監(jiān)督作用,以防止評估者與上層利益相關(guān)者之間達成合謀。通過這些方式,“自由目標(biāo)評估(GFE)”提升其評估結(jié)果的無偏性。就操作邏輯而言,“自由目標(biāo)評估(GBE)”目標(biāo)是通過各類資料在服務(wù)與實際結(jié)果(或服務(wù)對象需求)之間建立連結(jié)。它要求評估者首先識別出項目運作的實際結(jié)果,然后通過回溯的方式確定該結(jié)果是由項目而引起。在方法上采用歸納的方法來理解和分析項目運作效果。因此,它是一種質(zhì)性的、探索的、深度描述的評估方法。
“自由目標(biāo)評估(GFE)”的特征決定了它必須在一定的前提下才適用。前提之一是,評估者不能預(yù)先知曉與項目有關(guān)的任何信息,保證評估者對項目預(yù)定計劃和目標(biāo)保持一種“無知”狀態(tài)。這種“無知”可以提升評估者的獨立性,進而保證評估的可靠性和公正性。前提之二是,項目上層利益相關(guān)者(如行政人員、管理者等)贊同“自由目標(biāo)評估(GFE)”的理念和方法。由于“自由目標(biāo)評估(GFE)”在理念和操作方法上與常用的“目標(biāo)為本評估(GBE)”具有較大差異,因此,獲得項目上層利益相關(guān)者認(rèn)可或贊同是順利使用該方法的重要保障。
三、 “目標(biāo)為本評估(GBE)”與“自由目標(biāo)評估(GFE)”之比較
根據(jù)前文分析,雖然“目標(biāo)為本評估(GBE)”和“自由目標(biāo)評估(GFE)”因項目本質(zhì)的假定不同而導(dǎo)致兩者存在較大差異,但是,從評估發(fā)展階段來看兩者均屬于“第三代”評估,兩者都以“評判”作為評估的核心特征。也即,兩者均需要通過特定的方法(或方式)對項目運作的結(jié)果進行判定,并找出其原因。實際上,兩類評估均屬于實證主義哲學(xué)范疇。在本體論上,兩者均堅持現(xiàn)實主義本體論,主張觀察者(評估者)興趣之外只存在唯一的現(xiàn)實,這個現(xiàn)實依據(jù)不變的自然法則起作用,多以因果的形式出現(xiàn)。在認(rèn)識論上,兩者均堅持客觀主義認(rèn)識論,主張觀察者可以使被研究的現(xiàn)象外在化,并與其保持一定距離(這種狀態(tài)經(jīng)常被稱作“主體——客體二元主義”),任何價值觀都無法對之產(chǎn)生影響。為更加清楚地呈現(xiàn)這兩類評估的差異,在前文分析的基礎(chǔ)上,本文從項目本質(zhì)假設(shè)、評估目的、評估方案設(shè)計、測量方法、評估者角色、評估者立場、評估結(jié)果評價等維度進行對比(見表1)。
就操作方法而言,“目標(biāo)為本評估(GBE)”因為有邏輯模型、CIPP模型等改變理論做支撐而變得簡潔且易操作。在邏輯模型、CIPP模型等指導(dǎo)下,目標(biāo)為本評估者的主要工作是:(1)對項目預(yù)定計劃按照邏輯模型進行操作化處理;(2)以操作化結(jié)果作為依據(jù)對項目進行檢核,以最終確定項目運作效果。相較而言,“自由目標(biāo)評估(GFE)”因沒有固定的評估理論(或評估模型)作為指導(dǎo)而在操作方法上具有模糊性。因此,“自由目標(biāo)評估(GFE)”需要在方法上尋求突破,以保證其具有可操作性。
四、 “自由目標(biāo)評估(GFE)”操作方法
“自由目標(biāo)評估(GFE)”屬于結(jié)果評估,在操作方法上要求評估者以項目運作的實際結(jié)果為起點,通過回溯的方式尋找關(guān)于項目以往經(jīng)驗之“影響”的信息?!白杂赡繕?biāo)評估(GFE)”實質(zhì)上是一種事后評估,并且是在項目運作結(jié)束之后展開的回溯性因果機制評估。其最終目標(biāo)是在項目活動(或服務(wù))與項目實際結(jié)果之間建立因果聯(lián)系。Youker等人根據(jù)“自由目標(biāo)評估”的內(nèi)涵制定了用于指導(dǎo)評估實踐的通用規(guī)則:(1)識別項目所產(chǎn)生的實際結(jié)果;(2)識別項目所提供的干預(yù)或服務(wù);(3)確定項目干預(yù)或服務(wù)與實際結(jié)果之間的邏輯聯(lián)系;(4)確定干預(yù)或服務(wù)對結(jié)果的影響是積極、消極,還是中立,及其程度。雖然這一規(guī)則為自由目標(biāo)評估者指明了方向,但是,具體操作方法仍需進一步澄清。
(一) 自由目標(biāo)評估與扎根理論的親和性
前文已述,“自由目標(biāo)評估(GBE)”是一種強調(diào)質(zhì)性的、探索的、深度描述的評估方法,通常采用歸納法收集資料以完成評估。它要求評估者以項目既存資料作為分析起點,然后使用多個步驟來篩選資料、分析資料。最終,從眾多與項目有關(guān)的資料中逐步識別項目服務(wù)與結(jié)果(或改變/需求)之間的聯(lián)系。實際上,“自由目標(biāo)評估(GBE)”這一邏輯和目標(biāo)與扎根理論具有高度親和性。扎根理論的宗旨是在經(jīng)驗資料的基礎(chǔ)上建立理論。研究者在開始研究之前一般不做理論預(yù)設(shè),而是直接從原始資料中歸納出概念和命題,然后上升到理論。它是一種自下而上建構(gòu)(歸納)理論的方法,即在系統(tǒng)收集資料的基礎(chǔ)上尋找核心概念,并在這些核心概念之間建立聯(lián)系。
在扎根理論中,資料必須經(jīng)過“編碼”,進而建立(或探索)研究現(xiàn)象之間的聯(lián)系?!熬幋a”的基本原則在于對資料進行持續(xù)地比較、從中擷取主題(themes)、建立范疇(categories),進而提煉出接近真實世界、內(nèi)容豐富、統(tǒng)合完整、具解釋力的理論。編碼是兩項同時進行的活動:機械的資料縮減與對資料進行分析性的分類處理。Strauss與Corbin區(qū)分出三個不同的編碼過程,分別是:開放式編碼、主軸編碼、選擇性編碼。開放式編碼是對龐雜的資料進行分類的初步嘗試中,確定主題并指定最初的編碼或標(biāo)簽。這一過程關(guān)注的是原始資料本身,通過編碼使得深藏于資料中的主題浮現(xiàn)。但是,這一過程并不重視建立主題之間的聯(lián)系。主軸編碼階段則關(guān)注有關(guān)原因與結(jié)果、條件與互動、策略與過程的問題,并且搜尋那些彼此離得較近的類別或概念。這一階段的主要工作有兩個:其一是尋找概念或主題之間的相關(guān)性;其二是在眾多質(zhì)性資料與主題之間建立聯(lián)系,形成類似變量與測量指標(biāo)之關(guān)系網(wǎng)絡(luò)。最后,進入選擇編碼環(huán)節(jié)。這一環(huán)節(jié)需要對原始質(zhì)性資料和前期編碼進行再次閱讀和分析。這一環(huán)節(jié)主要涉及以下幾個步驟:步驟一是選擇性查閱說明主題的案例,并在資料搜集完成之后進行比較和對比;步驟二是發(fā)展出成熟的概念,并確定幾個核心通則或觀點來籌劃整體性分析;步驟三是圍繞核心通則或觀點來組織概念或主題。
(二) 自由目標(biāo)評估操作步驟
根據(jù)前文的分析,“自由目標(biāo)評估(GBE)”和扎根理論在理念、操作原則等方面具有親和性。由此,可以借助扎根理論三級編碼的思路來指導(dǎo)開展“自由目標(biāo)評估(GFE)”。值得再次明確的是,“自由目標(biāo)評估(GFE)”是結(jié)果評估的一種。它關(guān)注項目的實際結(jié)果及其產(chǎn)生的原因。結(jié)合扎根理論建構(gòu)概念(或主題)之間的關(guān)系的步驟,可以通過以下步驟完成自由目標(biāo)評估。
第一步,確定項目實際結(jié)果及其產(chǎn)生的可能原因。這一步驟類似與扎根理論中開放編碼。此步驟的主要任務(wù)是,從眾多資料中確定項目實際結(jié)果和其產(chǎn)生的原因,并對其進行主題化或概念化。評估者和結(jié)果使用者(如項目執(zhí)行者、項目資助者)共同確定可行的評估問題,用以指導(dǎo)資料收集。評估問題圍繞項目實際結(jié)果和導(dǎo)致結(jié)果的可能原因進行設(shè)計(這些原因必定是項目提供過的各類服務(wù))。就結(jié)果而言,可以通過以下問題獲得評估資料:服務(wù)對象(個體、團體、社區(qū)、組織或機構(gòu))可觀察的、可驗證的變化是什么?或者,服務(wù)對象需求滿足程度如何?就原因而言,可以通過以下問題獲得評估資料:項目執(zhí)行者通過什么服務(wù)而實現(xiàn)服務(wù)對象的變化或需求滿足?
第二步,收集評估資料,撰寫結(jié)果說明報告。這一步驟類似于扎根理論中的主軸編碼。其主要目標(biāo)是建立項目服務(wù)和項目實際結(jié)果之間的因果聯(lián)系。這一步主要有兩個評估任務(wù)。任務(wù)一是評估者閱讀與項目有關(guān)的原始材料(如各類臺賬)、評估資料(需求評估報告、階段性總結(jié)報告)、自評報告等,以識別項目實際結(jié)果以及與結(jié)果有關(guān)的各類服務(wù)。此步驟收集的項目資料既包括質(zhì)性資料,又包括量化資料。待資料收集好之后,將各類服務(wù)與結(jié)果表述為因果關(guān)系的表達形式。任務(wù)二是撰寫結(jié)果說明報告。結(jié)果說明報告包括兩項任務(wù):(1)清晰地描述項目服務(wù)和項目實際結(jié)果,以呈現(xiàn)出項目的基本形態(tài);(2)勾勒出項目服務(wù)與項目實際結(jié)果之間的因果聯(lián)系。
第三步,修訂結(jié)果說明報告。這一步驟的主要目標(biāo)是對結(jié)果報告說明呈現(xiàn)的因果關(guān)系進行進一步澄清。由于項目執(zhí)行者深知項目運作的實際情況,因此,邀請項目執(zhí)行者對結(jié)果報告說明進行修訂能夠提升評估結(jié)果的有效性。項目執(zhí)行者一方面對前一步驟形成的因果關(guān)系進行檢驗,另一方面識別結(jié)果說明報告以外可能的項目結(jié)果以修訂既成因果關(guān)系。此外,評估者需對眾多不同的因果聯(lián)系進行類別化處理。亦即,以既成的因果聯(lián)系中的主題(或概念)為分析對象進行歸納處理,以進一步精簡材料。這一步以結(jié)果說明報告為分析對象,不涉及任何與項目有關(guān)的實際資料。邀請項目執(zhí)行者進行修訂是為了確保因果聯(lián)系具有實質(zhì)合理性。
第四步,檢驗結(jié)果說明報告。這一步驟類似于扎根理論中的選擇編碼。這個步驟的目標(biāo)是檢驗經(jīng)過修訂的結(jié)果說明報告(確切說是因果聯(lián)系)。為提升評估資料和分析結(jié)果的可靠性,評估者需要邀請第三方獨立者對修訂后的結(jié)果說明報告中的因果邏輯關(guān)系展開進一步檢驗。根據(jù)自由目標(biāo)評估的內(nèi)涵,第三方評估者一方面不能與項目利益相關(guān)者有關(guān)聯(lián),另一方面不需要提前了解項目相關(guān)信息。其工作主要是從學(xué)理(或者邏輯)的角度對前一階段的因果邏輯進行論證,以確保從項目資料中建構(gòu)而來的因果聯(lián)系具有形式合理性。
第五步,分析和解釋評估結(jié)果。分析的主要任務(wù)是在對結(jié)果進行類別化處理的過程中識別潛在的模式。根據(jù)扎根理論的指導(dǎo),為識別潛在模式,可以從三個層次展開分析:(1)對每個結(jié)果進行深度描述和分析;(2)對單個服務(wù)和單個結(jié)果之間的關(guān)系進行深度分析;(3)從系統(tǒng)的角度出發(fā),對多個服務(wù)和多個結(jié)果之間的關(guān)系進行分析與綜合,此時,需要在不同的主題、類別之間建立橫向與縱向的濃密網(wǎng)絡(luò),進而確定項目運作潛在改變模式。
通過上述五個步驟,一方面可以對項目的實際效果及其產(chǎn)生的原因進行分析和理解,另一方面可以實現(xiàn)對項目知識的積累,甚至形成特定領(lǐng)域的項目理論(這也是扎根理論要實現(xiàn)的最終目標(biāo))。值得強調(diào)的是,由于“自由目標(biāo)評估(GFE)”屬于實證主義哲學(xué)范式,因此在評估資料收集和分析過程中要盡量強調(diào)客觀性,進而保證評估結(jié)果的客觀性和有效性。
五、 總結(jié)與討論
(一) 總結(jié)
當(dāng)前我國政府購買社會服務(wù)通常使用檢核式評估法進行評估。這種評估方法本質(zhì)上屬于“目標(biāo)為本評估(GBE)”。這類評估在本質(zhì)上認(rèn)為項目是可管理的、項目運作情境是穩(wěn)定的、項目目標(biāo)是可控制的。這類評估在方法上強調(diào)以事先確定的項目理論(或項目邏輯)對項目運作情況進行檢驗。因此,這類評估適用于對發(fā)展相對成熟、運作情境相對穩(wěn)定的社會服務(wù)項目展開評估。雖然這類評估邏輯清楚、操作便捷,但是,它無法有效應(yīng)對復(fù)雜情況中運作的社會服務(wù)項目。與此不同,“自由目標(biāo)評估(GFE)”認(rèn)為項目運作情境具有復(fù)雜性、項目過程和項目目標(biāo)不可控。這類評估通常以項目的實際結(jié)果作為關(guān)注的焦點,采用動態(tài)主義的方法觀,通過回溯性研究的方法展開評估。這類評估適用于對正在發(fā)展中的、運作情境不穩(wěn)定,且亟待探索的社會服務(wù)項目展開評估。由于當(dāng)前我國政府購買不同領(lǐng)域的社會服務(wù)項目發(fā)展均還未成熟,甚至很多領(lǐng)域的服務(wù)還處于探索階段,因此,不宜使用結(jié)構(gòu)性較強的“目標(biāo)為本評估(GBE)”展開評估,反而應(yīng)該以靈活性更強的“自由目標(biāo)評估(GFE)”展開評估。在具體操作方法上,“自由目標(biāo)評估(GFE)”與扎根理論具有親和性,因此,可以以項目運作的實際效果為起點,然后使用“開放編碼”、“主軸編碼”、“選擇編碼”等技術(shù)從眾多評估資料中澄清項目面貌、建立并檢驗項目服務(wù)與結(jié)果之間的因果聯(lián)系。甚至可以在“自由目標(biāo)評估(GFE)”之評估結(jié)果的基礎(chǔ)上不斷積累項目知識、發(fā)展項目理論,以便最終實現(xiàn)社會服務(wù)項目規(guī)范化。
(二) 討論
雖然本文將“目標(biāo)為本評估(GBE)”和“自由目標(biāo)評估(GFE)”視為兩種不同的評估類型并從多個維度進行對比分析,但是,這并不意味這兩種評估具有本質(zhì)的差別。從哲學(xué)范式上看,這兩類評估均屬于實證主義哲學(xué)范疇。兩者均堅持現(xiàn)實主義本體論和客觀主義認(rèn)識論。這兩種評估均屬于第三代評估。其共性是“評判”,也即對項目運作效果及其原因進行評價和判斷。二者的不同之處在于對項目進行評判的方式不同。“目標(biāo)為本評估(GBE)”以某種預(yù)先規(guī)定的外在標(biāo)準(zhǔn)進行評判,而“自由目標(biāo)評估(GFE)”則以項目實際運作情況作為評判的標(biāo)準(zhǔn)。在相互關(guān)系上,兩者不是替代關(guān)系,而是補足關(guān)系。此外,雖然基于扎根理論而形成的具體評估步驟使得“自由目標(biāo)評估”的理念得以具象化,但是,依然有以下幾個問題值得注意:(1)評估資料的客觀性如何保證;(2)在涉及價值等問題的評估實踐中,如何保證從項目資料中建構(gòu)而來的因果聯(lián)系的有效性?雖然這些問題在扎根理論中均有論及,但是,對這些問題的回應(yīng)超出了方法本身的論域范圍。由此,要將其置于評估實踐的背景下進行考察,要充分考慮評估實踐所面臨的政治、權(quán)力、價值等因素。而這些內(nèi)容也正是該方法未來研究的重要方向。
(責(zé)任編輯:亞立)
Abstract In order to explore the alternative evaluation method, this paper analyzes the essential assumptions of check-up evaluation method firstly. Then, On the basis of comparing the differences between “goal-based evaluation” and “goal-free evaluation”, this paper asserts that the “goal-free evaluation” is more suitable for the evaluation of program actual effects. Under the guidance of grounded theory, this paper constructs a five-step evaluation method, which includes: “determining the program outcome and its causes”, “collecting data and drafting outcome report”, “revising outcome report”, “examining outcome report”, “analyzing and interpreting outcome report”.
Key words goal-based evaluation; goal-free evaluation; grounded theory