劉江 顧東輝 肖夢希
[摘要] 滿意度因其容易被理解、方便操作而成為政府購買社會服務(wù)領(lǐng)域被廣泛使用的效果評價指標之一。但是其主觀傾向性、自評異質(zhì)性,以及其與社會服務(wù)效果之間的邏輯聯(lián)系,又對滿意度作為效果評價指標提出了挑戰(zhàn):滿意度能作為社會服務(wù)效果評價指標嗎?為回應(yīng)這一問題,本研究以N市一項為期3年的社區(qū)自治服務(wù)項目為案例,通過嚴格的問卷設(shè)計和樣本抽取,綜合使用潛在類別分析(latent class analysis)和回歸分析處理數(shù)據(jù)。數(shù)據(jù)分析結(jié)果顯示:(1)滿意度在不同特質(zhì)的人之間具有較強的穩(wěn)定性;(2)滿意度與社會服務(wù)的主觀效果之間具有顯著正向聯(lián)系,可以被主觀效果有效預(yù)測;(3)滿意度與社會服務(wù)的客觀效果之間不具有顯著性聯(lián)系,無法被客觀效果有效預(yù)測。統(tǒng)計結(jié)果說明,滿意度作為社會服務(wù)的效果指標具有條件性限制。在實務(wù)工作中,滿意度可以用來代替社會服務(wù)的主觀效果,但是不能用來代替社會服務(wù)的客觀效果。研究結(jié)果為滿意度作為效果指標的運用設(shè)定了限制性條件,可以減少該領(lǐng)域內(nèi)滿意度被濫用的現(xiàn)象。
[關(guān)鍵詞] 滿意度? 社會服務(wù)評估? 效果評估? 社會服務(wù)
[基金項目] 本文系國家社會科學(xué)基金重大項目“中國特色社會工作制度體系研究”(編號:19ZDA144)、國家社會科學(xué)基金青年項目“新時代社會工作服務(wù)的賦權(quán)評估實踐體系研究”(編號:21CSH065)的階段性成果。
[作者簡介] 劉江,南京理工大學(xué)公共事務(wù)學(xué)院講師,研究方向為社會工作評估研究、社會工作理論、社會工作量化分析;顧東輝,復(fù)旦大學(xué)社會發(fā)展與公共政策學(xué)院教授、博士生導(dǎo)師,研究方向為社會工作理論、中國特色社會工作;肖夢希,江蘇省科學(xué)技術(shù)情報研究所助理研究員,研究方向為科技評估。
[中圖分類號] C916
[文獻標識碼] A
[文章編號] 1008-7672(2022)01-0001-14
一、 問題提出
受我國政府購買社會服務(wù)縱深發(fā)展之影響,針對社會服務(wù)的評估已經(jīng)從單純地重視過程轉(zhuǎn)向過程與效果并重。就社會服務(wù)效果評估而言,研究者們從評估設(shè)計①②、評估方法③④、評估內(nèi)容⑤⑥等角度進行研究。在評估實踐中,受評估成本、評估技術(shù)、評估手段的限制(如嚴謹?shù)那昂鬁y、指標開發(fā)、統(tǒng)計建模等),內(nèi)容簡單、操作便捷的服務(wù)對象滿意度成為實務(wù)工作者和第三方評估者評價社會服務(wù)效果的首選工具。
一般而言,評估領(lǐng)域的滿意度通常有兩種測量方法。一種是整體滿意度,也即通過詢問服務(wù)對象單一的問題來測量其對社會服務(wù)的主觀感受。另一種是針對服務(wù)過程和內(nèi)容的滿意度,也即要求服務(wù)對象從服務(wù)的可及性、連續(xù)性、工作者服務(wù)能力、服務(wù)環(huán)境、服務(wù)結(jié)果等方面進行滿意度評價。后一種測量方法催生出許多滿意度量表,比如CSQ-8⑦、SSS-15⑧、PSQ-18⑨、SPRI⑩。雖然兩種測量方法在內(nèi)容和形式上差異較大,但是二者本質(zhì)上同為服務(wù)對象根據(jù)接受服務(wù)的主觀經(jīng)歷(或經(jīng)驗)進行評價。當(dāng)前,我國社會服務(wù)評估最常用的是整體滿意度測量方法。實務(wù)工作者或評估者通常會詢問服務(wù)對象對機構(gòu)提供的服務(wù)總體上是否滿意,回答選項通常包括非常不滿意、比較不滿意、一般、比較滿意、非常滿意。
作為社會服務(wù)效果評價指標,滿意度面臨兩個重要的困境。首先,作為一種主觀評價,滿意度通常源自個人接受服務(wù)的體驗,是對服務(wù)的期望與實際情況之間做出的比較。①②③這種比較又會因服務(wù)對象個人特質(zhì)、所屬群體、所在地域等因素而存在差異。因為這些差異,不同的服務(wù)對象可能會對同一個回答選項具有完全不同的認知和理解,這通常被叫作“自評異質(zhì)性”。④⑤當(dāng)出現(xiàn)這種現(xiàn)象時,不同服務(wù)對象提供的滿意度評價結(jié)果在多大程度上能夠體現(xiàn)出服務(wù)的真實狀況就會遭到懷疑。因此,滿意度在不同群體之間的穩(wěn)定性就成為其作為效果評價指標的第一個困境。其次,從社會服務(wù)效果評估的角度來看,效果評估就是確定干預(yù)(服務(wù))是否在實踐意義上產(chǎn)生了預(yù)期效果。這個界定至少包含兩層含義。其一,服務(wù)預(yù)期的效果是否達到?其二,在控制或排除其他干擾因素的情況下,干預(yù)(服務(wù))與預(yù)期效果之間是否存在因果關(guān)系?基于這兩點,服務(wù)對象根據(jù)自身接受服務(wù)的體驗所做的主觀評價,滿意度高不一定是“治療效果好”的同義詞。⑥因此,服務(wù)預(yù)期效果與滿意度之間是否存在正相關(guān)關(guān)系就成為其作為效果評價指標的第二個困境。
本研究旨在借助政府購買社會服務(wù)項目對該議題展開研究。本研究將分以下幾個步驟完成:(1)指出滿意度作為效果評價指標面臨的困境;(2)以政府購買社會服務(wù)項目為研究對象收集數(shù)據(jù),并進行統(tǒng)計分析;(3)總結(jié)和討論統(tǒng)計分析結(jié)果,并對未來研究和評估實務(wù)提出有關(guān)建議。
二、 文獻回顧
(一) 滿意度的測量困境
滿意度這一概念最早由Cardozo于1965年提出,通常用于描述一種針對社會、行為健康等方面項目是否成功的實用且有效的指標。⑦關(guān)于滿意度的理論內(nèi)涵,劉芳等將其歸納為三種模式,分別是:對比模式(contrast model)、同化模式(assimilation model)、同化—對比整合模式(integrated assimilation-contrast model)。⑧其中,對比模式是理解滿意度比較普遍且容易被理解的理論模式。在這一模式中,服務(wù)對象對服務(wù)的期望與服務(wù)的真實情況之間的比較構(gòu)成滿意度的核心內(nèi)容。①一些學(xué)者將滿意度視為服務(wù)對象的一種心理狀態(tài)(psychological state),并且這種心理狀態(tài)源自服務(wù)對象對服務(wù)的主觀期待和所感知的服務(wù)效果之間的主觀比較。②③總體來說,滿意度同時具有認知和情感兩個要素。就認知而言,它是服務(wù)對象對服務(wù)內(nèi)容、服務(wù)過程和服務(wù)效果的認知及其所做出的評估;而情感則反映了服務(wù)對象在多大程度上喜歡或者不喜歡所接受的服務(wù)。④
從做出滿意度抉擇的微觀心理機制角度來看,服務(wù)對象通常會根據(jù)自己對滿意度的理解從記憶中搜尋與項目(或服務(wù))有關(guān)的碎片化信息(比如接受服務(wù)的感覺、服務(wù)人員工作態(tài)度、服務(wù)人員工作技巧等)來進行回答。這些碎片化的信息通常是服務(wù)對象感知最為深刻的內(nèi)容。這可能導(dǎo)致服務(wù)對象將服務(wù)效果的評價等同于其所感知的內(nèi)容,而不是服務(wù)的真實效果。此外,受服務(wù)情境的影響,服務(wù)對象通常會報告偏高的滿意度(屬于明顯的回答偏誤)。這可能源自服務(wù)對象對服務(wù)提供者表示感謝,而非忠于服務(wù)的真實情況;也可能源自服務(wù)對象受到服務(wù)情境中他人(包括服務(wù)提供者、資方等)施加的壓力;還可能源自服務(wù)對象對未來是否可以繼續(xù)接受服務(wù)的考慮。⑤⑥不論是服務(wù)對象根據(jù)所接受的服務(wù)而產(chǎn)生的認知要素、情感要素,還是其最終做出選擇的微觀心理機制,都體現(xiàn)出滿意度的主觀傾向性。
從影響滿意度的外在因素來看,年齡是最具效力的影響因素,相較于年輕的服務(wù)對象,年齡大的服務(wù)對象通常呈現(xiàn)出較高的滿意度。⑦就性別而言,相較于男性,女性呈現(xiàn)出較高的滿意度⑧,但是也有研究顯示,男性更容易呈現(xiàn)較高的滿意度⑨。就受教育程度而言,受教育程度低的服務(wù)對象比受教育程度高的服務(wù)對象更容易呈現(xiàn)出較高的滿意度。①當(dāng)研究者們得出這類比較性研究結(jié)果時,本質(zhì)上隱含的一個前提是“滿意度”(如非常滿意)對所有服務(wù)對象而言都代表著同樣的水平(同樣的滿意度認知狀況)。因此,我們所觀測到的自評結(jié)果在不同群體間是可比較的,即群間可比性。②但是,滿意度的主觀傾向性導(dǎo)致其具有較強的自評異質(zhì)性,也即由于每個人打分時的評判原則或標準不同,因而使得人們給出的評分相互之間的可比性會存在一定問題。以上這些因素都可能導(dǎo)致滿意度在不同群體間缺乏穩(wěn)定性。
(二) 滿意度作為效果評價指標的邏輯困境
滿意度與服務(wù)質(zhì)量管理(quality management)密切聯(lián)系在一起。傳統(tǒng)的評估實務(wù)通常過于強調(diào)評估結(jié)果的客觀性,進而過于強調(diào)第三方評估的角色。服務(wù)對象通常被屏蔽于評估環(huán)節(jié)之外。但是,針對服務(wù)質(zhì)量好壞的評估如果只考慮服務(wù)的提供者和評估者,那么可能導(dǎo)致評估結(jié)果出現(xiàn)偏差。③從質(zhì)量管理的角度來看,滿意度是評估社會服務(wù)質(zhì)量的核心要素,是社會服務(wù)質(zhì)量管理的基石,與服務(wù)對象的健康狀況、生命質(zhì)量等有重要聯(lián)系。④因此,進行質(zhì)量評價必須充分考慮服務(wù)對象的需求、偏好及其接受服務(wù)的主觀體驗。⑤較高的滿意度通常被視為衡量服務(wù)組織服務(wù)質(zhì)量好壞的重要標準。⑥正是基于這些因素,許多服務(wù)機構(gòu)(或組織)都嘗試使用滿意度來評價服務(wù)質(zhì)量,甚至直接將其作為評價服務(wù)效果的重要指標。
作為評價服務(wù)質(zhì)量好壞的重要指標,滿意度的優(yōu)勢在于其對社會服務(wù)各個層次(包括個體層次的改變、項目管理、項目傳遞等)的質(zhì)量具有高度敏感性,有助于服務(wù)提供者提升服務(wù)質(zhì)量和服務(wù)效果。⑦但是,服務(wù)質(zhì)量與服務(wù)效果之間存在本質(zhì)上的差別。服務(wù)效果超越了簡單的主觀好壞評價,效果評估就是確定干預(yù)(服務(wù))是否在實踐意義上產(chǎn)生了預(yù)期效果。⑧由此,理解服務(wù)效果的關(guān)鍵是在排除其他干擾因素的情況下,確定服務(wù)與其對象的特定狀況之間的因果聯(lián)系。然而,較高的滿意度可能源自受他人社會贊許之影響,也可能源自服務(wù)對象期望的實現(xiàn),而非源自服務(wù)的實際效果或服務(wù)對象需求的滿足。①因此,較高的滿意度并不一定是“治療效果好”的同義詞。②即便滿意度高低可以說明服務(wù)質(zhì)量好壞,也無法直接說明服務(wù)效果如何。
既然滿意度不能直接說明服務(wù)效果如何,那么二者之間存在何種邏輯關(guān)系呢?對于滿意度與服務(wù)效果之間的關(guān)系,我們可以從測量的角度來理解。在實際研究和運用中,滿意度通??梢詮倪^程(process)和結(jié)果(outcome)兩個角度來進行測量。作為一個過程,滿意度可以對服務(wù)結(jié)果產(chǎn)生影響;作為一種結(jié)果,滿意度受到諸多因素的影響。③Pendleton指出,滿意度是介于服務(wù)和服務(wù)結(jié)果之間的重要變量。④而John等將滿意度視為服務(wù)效果的前置性變量。⑤滿意度可以作為預(yù)測服務(wù)對象關(guān)于服務(wù)態(tài)度和行為的變量。遵循這些思路,滿意度評價服務(wù)效果的核心邏輯是:那些對服務(wù)感到滿意的服務(wù)對象,會繼續(xù)接受服務(wù)進而獲益;而那些對服務(wù)感到不滿意的服務(wù)對象,通常會停止接受服務(wù)而無法從服務(wù)中獲益。⑥根據(jù)上述邏輯,滿意度與服務(wù)效果之間是一種間接關(guān)系。這種間接關(guān)系導(dǎo)致其作為服務(wù)評價指標的邏輯變得更加模糊。滿意度與服務(wù)效果之間的因果機制難以獲得有效說明。這進一步導(dǎo)致滿意度作為社會服務(wù)效果評價指標存在著較強的隨機性。這種隨機性打破了作為效果評價指標的滿意度與真實服務(wù)效果之間一一對應(yīng)的關(guān)系,進而降低其有效預(yù)測(或被預(yù)測)服務(wù)真實效果的可能性。
(三) 研究推論
根據(jù)前述有關(guān)滿意度的測量困境和作為效果評價指標的邏輯困境,本研究提出推論:
推論1:受個人特質(zhì)等差異之影響,滿意度會在不同的服務(wù)對象之間存在差異。
推論2:受邏輯模糊性的影響,滿意度無法有效預(yù)測(或被預(yù)測)服務(wù)的真實效果。
三、 研究設(shè)計與方法
(一) 研究設(shè)計和案例選擇標準
1. 滿意度測量困境的應(yīng)對策略
本研究認為,我們可以從以下兩個方面來回應(yīng)滿意度測量中的自評異質(zhì)性和邏輯困境。
首先,在進行研究設(shè)計時,我們應(yīng)該充分考慮滿意度自評異質(zhì)性的特征。一般而言,滿意度報告存在差異源自服務(wù)對象對服務(wù)實際情況的感知。而服務(wù)對象的感知又隨個人特質(zhì)(如性別、年齡、受教育程度、宗教信仰等)而變化。要檢驗滿意度是否具有穩(wěn)定性,就需要對這些影響感知的個人特質(zhì)進行有效處理。也即在研究過程中,一是要確保研究對象在人口學(xué)特征變量上具有多樣性,保證研究對象包括不同年齡、不同性別、不同教育背景的人,二是檢驗滿意度是否隨不同特征的變化而變化,進而確定滿意度在不同人群(或個體)間的穩(wěn)定性。
其次,在進行研究設(shè)計時,我們應(yīng)該充分考慮社會服務(wù)效果評估的邏輯。由于“滿意度高”不是“治療效果好”的同義詞,且與真實服務(wù)效果之間的關(guān)系存在隨機性,因此需要檢驗滿意度能否或者在多大程度上能夠被真實的服務(wù)效果所預(yù)測。在研究過程中,一是要確保服務(wù)對象所參與的社會服務(wù)產(chǎn)生了特定的效果,二是檢驗滿意度能否被真實的服務(wù)效果所預(yù)測。
2. 案例標準及選擇
根據(jù)前述應(yīng)對策略,本研究使用如下標準選擇案例:第一,所選案例能夠檢驗滿意度在不同特征的服務(wù)對象之間的穩(wěn)定性,因此本研究需選擇一個服務(wù)對象多、服務(wù)對象異質(zhì)性高的案例。第二,所選案例能夠檢驗滿意度與服務(wù)效果之間的聯(lián)系。由于社會服務(wù)效果通常包含主觀效果與客觀效果,因此需要選擇一個能順利完成并產(chǎn)生某種主觀和客觀效果的案例。根據(jù)上述標準,本研究最終選擇一項政府購買并落地基層社區(qū)的社會服務(wù)項目。該項目是東部地區(qū)N市W社區(qū)的居民自治項目。該項目由專業(yè)的社會組織——H社會工作服務(wù)中心——執(zhí)行(項目邏輯見文章第四部分)。
(二) 調(diào)查工具和資料收集
本研究使用調(diào)查問卷收集研究資料。調(diào)查問卷包括個人基本情況(包含人口學(xué)變量)、服務(wù)參與情況、服務(wù)效果(含主觀效果和客觀效果)、服務(wù)滿意度(總體滿意度、滿意度量表)四個部分。本研究調(diào)查問卷的制作包括以下幾個步驟。第一步,根據(jù)項目評估中常用的邏輯模型(logic model)對項目計劃書進行操作化處理,重點識別出重要服務(wù)內(nèi)容和服務(wù)預(yù)計達到的效果,并在二者之間建立可供統(tǒng)計檢驗的邏輯聯(lián)系。這一步驟的目標是為該服務(wù)的效果檢驗提供邏輯基礎(chǔ)。第二步,邀請項目的利益相關(guān)者(包括項目負責(zé)人、資方代表、服務(wù)對象)就該項目運作狀況開展焦點小組訪談,根據(jù)訪談內(nèi)容修訂服務(wù)內(nèi)容、服務(wù)預(yù)計達到的效果及二者之間的邏輯聯(lián)系,確保項目邏輯的真實性。第三步,根據(jù)修訂好的服務(wù)內(nèi)容、服務(wù)預(yù)計達到的效果以及二者之間的邏輯聯(lián)系制作調(diào)查問卷。第四步,將設(shè)計好的調(diào)查問卷分別交給W社區(qū)居委會書記、H社會工作機構(gòu)項目負責(zé)人、服務(wù)對象代表(2人),并要求他們根據(jù)項目的實際運作情況對問卷提出修改意見。第五步,在保證問卷學(xué)術(shù)品質(zhì)的前提下,根據(jù)修改意見修訂調(diào)查問卷。按照上述幾個步驟,本研究最終制定了“W社區(qū)社會組織發(fā)展中心建設(shè)項目調(diào)查問卷”。
(三) 資料分析方法
本研究主要使用回歸分析進行統(tǒng)計檢驗,包括以下幾個分析步驟。第一步,以服務(wù)對象參與社會服務(wù)的實際情況作為自變量,主觀效果變量和客觀效果變量作為因變量建立回歸模型。該模型主要檢驗該項目是否實現(xiàn)主觀效果和客觀效果。之所以將這個步驟作為第一步,是因為只有社會服務(wù)具有效果時,檢驗滿意度作為效果指標才具有實際意義。第二,以滿意度為因變量,人口學(xué)變量(如性別、年齡、受教育程度、政治面貌等)為自變量建立回歸模型。該模型主要檢驗滿意度在不同特征的服務(wù)對象之間是否具有穩(wěn)定性。第三,以滿意度作為因變量,主觀效果變量和客觀效果變量作為自變量建立回歸模型。該模型主要檢驗在社會服務(wù)具有效果的前提下,主觀效果變量和客觀效果變量是否能夠有效預(yù)測(或解釋)滿意度。該步驟主要回應(yīng)滿意度作為效果評價指標的邏輯困境。
四、 案例介紹和項目邏輯
(一) 案例介紹
本研究使用的案例是位于N市主城區(qū)內(nèi)W老舊小區(qū)的社區(qū)自治項目。該小區(qū)始建于20世紀80年代,共243個單元3491戶9634人。居民以回城知青和企業(yè)職工為主。其中,60歲及以上老年人占社區(qū)總?cè)丝诘娜种唬瑢儆诘湫偷睦淆g化、低收入、無物業(yè)的老舊社區(qū)。因為建立時間早,無物業(yè),社區(qū)的衛(wèi)生、綠化等全靠居委會自上而下動員社區(qū)居民參與。在動員式社區(qū)治理下,社區(qū)居民通常被動參與社區(qū)有關(guān)事務(wù),居民社區(qū)參與的積極性低、社區(qū)治理效率低(有關(guān)數(shù)據(jù)由W社區(qū)居委會提供)。
為激發(fā)社區(qū)居民參與主動性、提升社區(qū)治理效率,W社區(qū)居委會借助政府購買社會服務(wù)的契機,引進H社會工作機構(gòu)開展以實現(xiàn)社區(qū)居民自治為目標的服務(wù)項目。H社會工作機構(gòu)以協(xié)商治理為理念開展多項社區(qū)自治服務(wù)(如社區(qū)文化墻改造、樓道充電安全防范培訓(xùn)與宣傳、社區(qū)鄰里活動策劃、銀發(fā)互助活動、社區(qū)安全培訓(xùn)等),推動社區(qū)居民參與社區(qū)服務(wù),實現(xiàn)了居民自己管理社區(qū)內(nèi)部公共事務(wù)。在該項目立項之初,社區(qū)居委會明確提出,社區(qū)居民自治的最終目標就是要實現(xiàn)樓道衛(wèi)生、鄰里關(guān)系等方面的自我維護。居委會和H社會工作機構(gòu)會對樓道自我管理實際情況進行評比,并頒發(fā)“樓道之星”獎狀。此外,H社會工作機構(gòu)為了吸引和帶動社區(qū)居民參與,還提供了一些與居民樓道自我管理并不直接相關(guān)的一般性社區(qū)康樂服務(wù)(如廣場舞班、健身氣功班、唱歌班、朗讀班等)(項目有關(guān)信息源自H社會工作機構(gòu)提供的項目標書和服務(wù)計劃書)。
隨著項目的發(fā)展,社區(qū)居委會與H社會工作機構(gòu)項目負責(zé)人發(fā)現(xiàn),項目服務(wù)對象在參與各類社區(qū)自治服務(wù)后志愿精神獲得極大提升。項目服務(wù)對象對參與社區(qū)的自我管理表現(xiàn)出更強烈的意愿。由于社區(qū)志愿精神獲得提升成為該項目意外性的結(jié)果,因而在開展結(jié)項評估之前,社區(qū)居委會和H社會工作機構(gòu)就評估目標達成新的共識,除了項目的客觀效果“社區(qū)自我管理”(獲得“樓道之星”)之外,主觀效果“社區(qū)志愿精神”也被納入評估體系。
(二) 項目邏輯及假設(shè)
通過對案例的梳理,H社會工作機構(gòu)的項目邏輯可以用圖1來表述。H社會工作機構(gòu)提供的兩種服務(wù)具有本質(zhì)上的差異。社區(qū)自治服務(wù)以協(xié)商自治為內(nèi)涵,強調(diào)服務(wù)對象自主參與和管理社區(qū)內(nèi)有關(guān)事務(wù)。一般性社區(qū)康樂服務(wù)則以滿足服務(wù)對象的興趣愛好需求為主要目標。服務(wù)性質(zhì)不同對于參與其中的服務(wù)對象所產(chǎn)生的影響也有所不同。相較于參與一般性社區(qū)康樂服務(wù)的服務(wù)對象,參與社區(qū)自治服務(wù)的服務(wù)對象可能更容易實現(xiàn)居民社區(qū)自我管理的主觀效果和客觀效果。基于這一項目邏輯,本研究提出該項目的服務(wù)內(nèi)容與服務(wù)效果之間關(guān)系的研究假設(shè)。
假設(shè)1:相較于參與一般性社區(qū)康樂服務(wù)的服務(wù)對象,參與社區(qū)自治服務(wù)的服務(wù)對象更容易培育起志愿精神(主觀效果)。
假設(shè)2:相較于參與一般性社區(qū)康樂服務(wù)的服務(wù)對象,參與社區(qū)自治服務(wù)的服務(wù)對象更容易獲得“樓道之星”(客觀效果)。
五、 實證分析
(一) 樣本和服務(wù)對象類型分析
1. 數(shù)據(jù)來源和樣本特征
本研究以N市W社區(qū)居民自治項目的服務(wù)對象為研究對象進行全部抽樣。具體而言,本研究借助H社會工作機構(gòu)服務(wù)簽到表、服務(wù)記錄等確定服務(wù)對象名單(總共200人)并發(fā)放紙質(zhì)調(diào)查問卷。本研究發(fā)放問卷200份,最終回收有效問卷177份,有效回收率為88.50%。其中,男性占比為31.81%、女性占比為68.19%。研究對象中,年齡最長者為87歲、年齡最小的為21歲、平均年齡為63.55歲。社區(qū)居住時間最長的為40年、最短的為2年、平均居住時間為25.75年。無宗教信仰者有142人、有宗教信仰者有35人。中共黨員有84人、民主黨派人士有2人、共青團員有1人、群眾有90人。受教育年限最長的為22年(博士)、最短的為0年(沒有上過學(xué))。獨居者有35人、與家人同住者有142人。
2. 服務(wù)對象潛在類別分析
根據(jù)項目邏輯,兩種性質(zhì)不同的服務(wù)可能會培育出不同類型的服務(wù)對象。為確定服務(wù)對象可能存在的潛在類別,本研究首先使用潛在類別分析方法(latent class analysis)將服務(wù)對象進行類別劃分。潛在類別分析是用來探討類別外顯變量(categorical manifest variable)背后的類別潛在變量(categorical latent variable)的最佳技術(shù)。①它與因子分析相似,具有簡化數(shù)據(jù)的功能。不同之處在于,因子分析處理的是連續(xù)型外顯變量,而潛在類別分析中的外顯變量和潛在因子均為類別變量。②由于H社會工作機構(gòu)提供兩種社區(qū)社會服務(wù),因此本研究假定服務(wù)對象存在兩個潛在類別(見表1)。我們從表1的模型適配性指標可以看出,模型2-cluster各項適配性指標均小于模型1-cluster。因此,本研究選擇兩個潛在類別模型作為最佳模型。
3. 服務(wù)對象的兩種潛在類型
在兩個潛在類別模型的基礎(chǔ)上,使用EM算法進行迭代計算,得到9個外顯變量的條件概率和潛在類別概率(見表2)。根據(jù)條件概率,雖然類別1在各個外顯變量上并沒有突出的表現(xiàn),但是相對于該類別其他外顯變量,廣場舞班和唱歌班的概率高出很多。對應(yīng)于H社會工作機構(gòu)提供服務(wù)的類型(一般性社區(qū)康樂活動),我們可以將其命名為“活動型服務(wù)對象”。類別2在“社區(qū)文化墻改造”“樓道充電安全防范”“社區(qū)鄰里活動策劃”“銀發(fā)互助”“社區(qū)安全培訓(xùn)”等幾個外顯變量上呈現(xiàn)出較高的概率。對應(yīng)于H社會工作機構(gòu)提供服務(wù)的類型(社區(qū)自治服務(wù)),我們可以將其命名為“參與型服務(wù)對象”。
從潛在類別概率來看,活動型服務(wù)對象的比重大于參與型服務(wù)對象。二者概率分別為0.772和0.228。此外,根據(jù)表3中不同類型服務(wù)對象各自所占樣本的比重可知,活動型服務(wù)對象(137人,占比為77.40%)明顯多于參與型服務(wù)對象(40人,占比為22.60%)。兩類不同的服務(wù)對象分別體現(xiàn)出不同的社區(qū)參與內(nèi)涵,可能對該項目要實現(xiàn)的自治目標產(chǎn)生不同的效果。因此,我們需要進一步檢驗服務(wù)效果。
(二) 滿意度作為效果評價指標的困境檢驗
1. H社會工作機構(gòu)服務(wù)效果檢驗
根據(jù)分析步驟的第一步,本研究以項目的主觀效果變量(志愿精神)和客觀效果變量(“樓道之星”)作為因變量,以服務(wù)對象實際參與情況作為核心自變量建立回歸模型。主觀效果變量“志愿精神”通過“在沒有物業(yè)的情況下,社區(qū)的公共衛(wèi)生環(huán)境應(yīng)該由社區(qū)居民進行自我管理”“社區(qū)的公共事務(wù)應(yīng)該由社區(qū)居民進行自我監(jiān)督和管理”“社區(qū)公共議題應(yīng)該由社區(qū)居民自主挖掘并解決”等三個題目來測量。每個題目的答案設(shè)置為“非常不同意”“比較不同意”“沒感覺”“比較同意”“非常同意”,賦值分別為1~5分。利用探索性因子分析發(fā)現(xiàn),三個題目可以構(gòu)成一個因子,因子負荷為0.818、0.807、0.780,alpha值為0.864。在進行回歸分析之前,本研究計算該因子的因子分(factor score),然后將其轉(zhuǎn)化為取值[0,100]的連續(xù)型變量。在此基礎(chǔ)上建立多元線性回歸模型(模型1)??陀^效果變量“樓道之星”采用題目“您是否被評上過‘樓道之星的稱號?”此題目是二分變量(1=被評上,2=沒有被評上)。因此,我們建立Logit模型(模型2)。此外,核心自變量由服務(wù)類型轉(zhuǎn)化為兩類不同性質(zhì)的服務(wù)對象。本研究將其處理為類別變量放入統(tǒng)計模型。統(tǒng)計結(jié)果詳見表4。
根據(jù)表4的統(tǒng)計結(jié)果,模型1中,在控制其他變量的情況下,核心自變量“參與型服務(wù)對象”與主觀效果變量“志愿精神”具有顯著正向聯(lián)系(Beta=0.327, P<0.001)。這說明相較于參與一般性社區(qū)康樂服務(wù)的服務(wù)對象,參與社區(qū)自治服務(wù)的服務(wù)對象更容易培育起志愿精神(主觀效果),假設(shè)1成立。模型2中,在控制其他變量的情況下,核心自變量“參與型服務(wù)對象”與客觀效果變量“樓道之星”之間具有顯著正向聯(lián)系(Odds Ratio=3.257,P<0.05)。這說明相較于參與一般性社區(qū)康樂服務(wù)的服務(wù)對象,參與社區(qū)自治服務(wù)的服務(wù)對象更容易獲得“樓道之星”(客觀效果),假設(shè)2成立。假設(shè)1和假設(shè)2的成立說明H社會工作機構(gòu)提供了有效的服務(wù)。這一結(jié)果為本研究后續(xù)有關(guān)檢驗提供了前提。
2. 滿意度作為效果評價指標的穩(wěn)定性檢驗
根據(jù)分析步驟的第二步,在服務(wù)有效的前提下檢驗滿意度在不同群體或者個體之間的穩(wěn)定性。由此,本研究以滿意度為因變量,以反映個人特質(zhì)的人口學(xué)變量(性別、年齡、居住時間、宗教信仰、政治面貌、受教育經(jīng)歷、居住狀況)為自變量建立回歸模型。本研究使用“您對參與的各類社區(qū)服務(wù)(或活動)是否滿意?”來進行測量。題目選項包括“非常不滿意”“比較不滿意”“沒感覺”“比較滿意”“非常滿意”,賦值分別為1~5。為理解的便捷性,本研究將其視為連續(xù)變量建立多元線性回歸模型(見表5)。在模型3中,性別、年齡、社區(qū)居住時間、宗教信仰、政治面貌、受教育經(jīng)歷和居住狀況等個人特質(zhì)變量與滿意度之間均無顯著的統(tǒng)計聯(lián)系。由此說明,本研究中滿意度不隨個人特質(zhì)而發(fā)生變化,因而在測量上具有一定的穩(wěn)定性。
3. 滿意度作為效果評價指標的邏輯檢驗
根據(jù)分析步驟的第三步,本研究以滿意度為因變量,項目的主觀效果變量(志愿精神)和客觀效果變量(“樓道之星”)作為自變量建立回歸模型(見表6)。模型4的統(tǒng)計結(jié)果顯示,當(dāng)滿意度在不同特質(zhì)的人之間具有穩(wěn)定性的情況下,主觀效果變量“志愿精神”與滿意度之間具有顯著正向聯(lián)系,而客觀效果變量是否獲評“樓道之星”與滿意度之間并沒有顯著聯(lián)系。根據(jù)這一統(tǒng)計分析結(jié)果,滿意度可以被主觀效果變量預(yù)測,但是不能被客觀效果變量預(yù)測?;诖耍瑵M意度作為社會服務(wù)效果評價指標具有條件性,不能一概而論。
六、 結(jié)論與討論
為回應(yīng)“滿意度能作為社會服務(wù)效果評價指標嗎?”這一問題,本研究從滿意度的內(nèi)涵、滿意度與服務(wù)效果的邏輯關(guān)系等方面進行梳理和分析,進而從學(xué)理的角度確定了其作為社會服務(wù)效果評價指標存在的困境。在經(jīng)驗層面,根據(jù)N市W社區(qū)自治服務(wù)項目經(jīng)驗資料的統(tǒng)計分析結(jié)果(模型1到模型4),本研究得出以下研究發(fā)現(xiàn):作為一種常用且主觀傾向性明顯的社會服務(wù)效果評價指標,(1)滿意度在不同特質(zhì)的人之間具有較強的穩(wěn)定性,推論1不成立;(2)滿意度可以被服務(wù)的主觀效果預(yù)測,可以作為其替代指標;(3)滿意度不能被服務(wù)的客觀效果預(yù)測,不能作為其替代指標。結(jié)合(2)和(3)可知,推論2部分成立。為何滿意度可以被主觀效果變量預(yù)測呢?本研究認為,這與兩者都屬于服務(wù)對象主觀態(tài)度有關(guān)。雖然用于測量滿意度和主觀效果變量的題目不同,但是二者都根源于服務(wù)對象參與服務(wù)后的主觀評價。正是基于這種具有同源性的主觀評價,使得兩個看似不同的變量之間存在聯(lián)系。
基于這些研究發(fā)現(xiàn),滿意度可以在社會服務(wù)效果評價中起到一定的作用。但是,實務(wù)工作者和評估者不可隨意使用滿意度對社會服務(wù)的效果進行評價。使用滿意度評價社會服務(wù)的效果的前提是區(qū)分出評價的是主觀效果還是客觀效果。值得進一步強調(diào)的是,縱使本研究得出結(jié)論認為滿意度可以作為評價社會服務(wù)主觀效果的指標,但是這并不意味著實務(wù)工作者和評估者可以隨意使用滿意度。實務(wù)工作者和評估者不能忽略更加精準的效果評估方法。本研究始終堅持認為,社會服務(wù)的效果評估必定是在排除所有干擾因素的情況下,檢驗服務(wù)與所欲達到結(jié)果之間的凈因果聯(lián)系。因此,社會服務(wù)效果評估就應(yīng)該在更加精準的方法指導(dǎo)下展開,比如采用實驗對照設(shè)計(服務(wù)開始前)、傾向值分析(截面數(shù)據(jù))等更加嚴謹?shù)脑u估設(shè)計和統(tǒng)計分析方法。滿意度只能作為既沒有良好的設(shè)計又無熟練的統(tǒng)計分析能力時的“救火員”,以解效果評估的燃眉之急。
本研究亦有不足,建議未來研究應(yīng)該從以下幾個方面進行拓展。第一,從測量的角度看,問卷設(shè)計、調(diào)查情境等因素,都可能會影響滿意度結(jié)果的穩(wěn)定性,因此未來研究應(yīng)該從問卷內(nèi)容的設(shè)計、調(diào)查環(huán)境的控制等方面做好前期準備工作,將因內(nèi)容和調(diào)查環(huán)境導(dǎo)致的測量偏差控制在較小的范圍內(nèi)。第二,在應(yīng)對滿意度自評異質(zhì)性時,除了按本研究的方法從總體上檢驗其在不同特質(zhì)的人之間是否具有顯著性差異,還應(yīng)該考慮到諸如個人參與服務(wù)動機、社會贊許效應(yīng)等因素所帶來的影響。第三,在方法上需要使用專門針對主觀變量的“情境錨定法”(anchoring vignettes)①②對滿意度的主觀回答進行校正。進行檢驗時,我們應(yīng)該充分尊重滿意度變量類型,通過擬合更為恰當(dāng)?shù)膶蛹壎ㄐ騪robit模型(Hierachical Ordered Probit Model, HOPIT)進行檢驗。第四,因不同群體及其所面臨的問題不同,政府購買社會服務(wù)在服務(wù)形式、服務(wù)內(nèi)容、服務(wù)目標等方面均存在較大差異,因而后期研究應(yīng)當(dāng)以面向不同群體、包含不同內(nèi)容、具有不同目標的項目作為研究案例進行檢驗。即便如此,作為探索性研究,本研究所提供的研究思路、分析步驟等均對該領(lǐng)域后續(xù)研究具有啟發(fā)意義。
(責(zé)任編輯:徐楓)