黃繼東,趙先柱
(第三軍醫(yī)大學(xué)訓(xùn)練部,重慶 400038)
美國(guó)評(píng)價(jià)學(xué)者斯塔弗爾比姆于20世紀(jì)60年代首先提出了CIPP評(píng)價(jià)模式,他認(rèn)為評(píng)價(jià)不應(yīng)局限在評(píng)定目標(biāo)的達(dá)到程度,而應(yīng)該是為課程決策提供有用信息的過(guò)程[1]。評(píng)價(jià)的目的是為管理者提供參考意見(jiàn)和信息服務(wù),以便他們作出科學(xué)決策,評(píng)價(jià)者在這一過(guò)程中則通過(guò)提供信息實(shí)現(xiàn)為教育服務(wù)。CIPP 由 背 景 (context)、輸 入 (input evaluation)、過(guò) 程(process)、結(jié)果(product)的首個(gè)英文字母構(gòu)成,通常被稱(chēng)為“以決策為導(dǎo)向”或者“以改良為導(dǎo)向”的評(píng)價(jià)模式[2]。
CIPP模型包括4種評(píng)價(jià)類(lèi)型——背景評(píng)價(jià)、輸入評(píng)價(jià)、過(guò)程評(píng)價(jià)和結(jié)果評(píng)價(jià)。背景評(píng)價(jià)是在特殊條件下評(píng)定其需要、問(wèn)題、資源和機(jī)會(huì),其價(jià)值取向在于確定目標(biāo)方案與方案之間的差距,屬于診斷性評(píng)價(jià)的范疇;輸入評(píng)價(jià)是以背景評(píng)價(jià)為基礎(chǔ),對(duì)達(dá)到目標(biāo)所需要的環(huán)境、資源以及各種方案之間的優(yōu)點(diǎn)進(jìn)行的評(píng)價(jià),其實(shí)質(zhì)是判斷方案的可行性和有效性;過(guò)程評(píng)價(jià)是對(duì)方案實(shí)施過(guò)程的評(píng)價(jià),在過(guò)程中對(duì)其檢查、監(jiān)督和反饋,其目的在于改進(jìn)和調(diào)整實(shí)施過(guò)程,其實(shí)質(zhì)是形成性評(píng)價(jià);結(jié)果評(píng)價(jià)是對(duì)方案目標(biāo)達(dá)成度的評(píng)價(jià),可以綜合運(yùn)用判斷、測(cè)量和解釋等方法,以評(píng)測(cè)方案是否滿足人們的需要,其實(shí)質(zhì)是終結(jié)性評(píng)價(jià)[3]。
這4類(lèi)評(píng)價(jià)與教育決策有著緊密而不可分割的關(guān)系。通過(guò)其內(nèi)涵比較,分別對(duì)應(yīng)不同階段的決策:背景評(píng)價(jià)——計(jì)劃決策;輸入評(píng)價(jià)——組織決策;過(guò)程評(píng)價(jià)——實(shí)施決策;結(jié)果評(píng)價(jià)——管理決策??梢?jiàn),這種教育評(píng)價(jià)不是以目標(biāo)為導(dǎo)向而是以決策為導(dǎo)向,能夠?yàn)楣芾砗蜎Q策者提供決策依據(jù)。
2.1 注重以決策為導(dǎo)向 斯塔弗爾比姆認(rèn)為不應(yīng)該將評(píng)價(jià)局限于既定目標(biāo)的達(dá)成程度,而是為管理者和決策者的教育決策提供有用信息。斯塔弗爾比姆將整個(gè)教育決策的過(guò)程分為計(jì)劃決策、組織決策、實(shí)施決策和管理決策,充分體現(xiàn)了教育評(píng)價(jià)作為教育決策信息來(lái)源的渠道的功能。由此得出CIPP最為顯著的特點(diǎn)是以教育決策為導(dǎo)向,而非教育目標(biāo)為導(dǎo)向。
2.2 注重評(píng)價(jià)的改進(jìn)作用 CIPP評(píng)價(jià)模型的另一個(gè)重要特點(diǎn)是不單純?nèi)ふ覇?wèn)題和發(fā)現(xiàn)問(wèn)題,而是更加強(qiáng)調(diào)問(wèn)題的解決、教育的改進(jìn)。在評(píng)價(jià)實(shí)施中通過(guò)過(guò)程評(píng)價(jià)的開(kāi)展,對(duì)方案實(shí)施進(jìn)行檢測(cè),通過(guò)有效信息的及時(shí)反饋,達(dá)到對(duì)整個(gè)教育過(guò)程的合理控制。另外,通過(guò)背景評(píng)價(jià)和輸入評(píng)價(jià)明確目標(biāo),指導(dǎo)方案,發(fā)揮其改進(jìn)作用。成果評(píng)價(jià)不僅僅得出最終的評(píng)價(jià)報(bào)告,它還要求按方案實(shí)施的階段進(jìn)行階段性總結(jié),發(fā)現(xiàn)問(wèn)題及時(shí)解決。
2.3 注重診斷性、形成性、終結(jié)性評(píng)價(jià)三者的有機(jī)結(jié)合CIPP模型比較重視形成性評(píng)價(jià),但并沒(méi)有忽視診斷性評(píng)價(jià)和終結(jié)性評(píng)價(jià)的效用,嘗試將這3種評(píng)價(jià)形式綜合運(yùn)用到評(píng)價(jià)實(shí)踐中,使其發(fā)揮不同行的效用。這些方法的靈活、綜合運(yùn)用使CIPP模型適用范圍廣泛、形式靈活,評(píng)價(jià)者可以根據(jù)需要,既可以在方案實(shí)施之前使用也可以在方案實(shí)施中使用。
本研究在查閱大量文獻(xiàn)和專(zhuān)家咨詢(xún)的基礎(chǔ)上,以CIPP模型為原型,遵循醫(yī)學(xué)教育教學(xué)規(guī)律和構(gòu)建原則,依照醫(yī)學(xué)院校的教育目標(biāo)和影響教育目標(biāo)實(shí)現(xiàn)的因素,初步構(gòu)建了軍隊(duì)醫(yī)學(xué)院校教學(xué)評(píng)價(jià)指標(biāo)。該評(píng)價(jià)指標(biāo)涵蓋教學(xué)活動(dòng)各要素、教學(xué)支持系統(tǒng)、結(jié)果等等,而且依據(jù)CIPP模型對(duì)評(píng)價(jià)類(lèi)型的劃分(背景評(píng)價(jià)、輸入評(píng)價(jià)、過(guò)程評(píng)價(jià)、結(jié)果評(píng)價(jià))對(duì)指標(biāo)進(jìn)行了分類(lèi)、分級(jí)、分解。4種評(píng)價(jià)類(lèi)型分別對(duì)應(yīng)不同的一級(jí)指標(biāo):背景評(píng)價(jià)——辦學(xué)定位與設(shè)計(jì);輸入評(píng)價(jià)——教學(xué)條件與水平;過(guò)程評(píng)價(jià)——管理機(jī)制與落實(shí)、質(zhì)量保障與措施、教學(xué)評(píng)估與反饋;結(jié)果評(píng)價(jià)——教學(xué)質(zhì)量與成效。對(duì)一級(jí)指標(biāo)進(jìn)行逐層分解,得出二級(jí)指標(biāo),以此類(lèi)推得出指標(biāo)群進(jìn)而初步構(gòu)建出評(píng)價(jià)指標(biāo)。
3.1 研究方法 采用德?tīng)柗茖?zhuān)家咨詢(xún)法(Delphi Method)確立軍隊(duì)醫(yī)學(xué)院校教學(xué)評(píng)價(jià)指標(biāo)[4]。根據(jù)初步構(gòu)建的指標(biāo)形成了專(zhuān)家咨詢(xún)問(wèn)卷,對(duì)32名專(zhuān)家進(jìn)行了4輪咨詢(xún)。
3.2 研究結(jié)果
3.2.1 專(zhuān)家權(quán)威性調(diào)查 專(zhuān)家權(quán)威程度有2個(gè)決定因素:一是專(zhuān)家的判斷依據(jù),一般用Ca來(lái)表示,二是專(zhuān)家對(duì)指標(biāo)的熟悉程度,一般用Cs來(lái)表示[5]。專(zhuān)家的權(quán)威程度(Cr)是判斷依據(jù)(Ca)和熟悉程度(Cs)的算術(shù)平均值,計(jì)算公式如下:Cr=(Ca+Cs)/2。
本研究將熟悉程度等級(jí)分為:很熟悉、熟悉、一般、不熟悉,分別賦值1分、0.8分、0.6分、0.1分。判斷依據(jù)Ca的等級(jí)分為:直覺(jué)、同行了解、理論分析、實(shí)踐經(jīng)驗(yàn),分別賦值0.2分、0.4分、0.6分、0.8分。根據(jù)專(zhuān)家的熟悉程度和判斷依據(jù)并運(yùn)用上述計(jì)算公式得出專(zhuān)家的權(quán)威程度為0.782和0.821,第2、4輪專(zhuān)家權(quán)威程度明顯高于第1、3輪。
3.2.2 專(zhuān)家咨詢(xún)協(xié)調(diào)系數(shù) 當(dāng)多個(gè)變量值以登記次序表示,可以用肯德?tīng)柡椭C系數(shù)計(jì)算幾個(gè)變量之間的一致性程度。計(jì)算公式為:
肯德?tīng)柡椭C系數(shù)的取值范圍為0~1之間,值越大表示協(xié)調(diào)度越高[6]。從表1的結(jié)果可以看出,各級(jí)指標(biāo)和主要觀測(cè)點(diǎn)的認(rèn)同度較高,都在0.8以上。運(yùn)用一致性檢驗(yàn)對(duì)各級(jí)指標(biāo)和主要觀測(cè)點(diǎn)進(jìn)行顯著性檢驗(yàn),得到P值均小于0.01,差異有統(tǒng)計(jì)學(xué)意義??梢?jiàn)專(zhuān)家認(rèn)同程度非常高,結(jié)果可靠。
表1 各級(jí)指標(biāo)的和諧系數(shù)
3.2.3 專(zhuān)家賦值結(jié)果 前3輪專(zhuān)家賦值變異系數(shù)在0.100~0.350之間,存在0.30以上高變異系數(shù),需要進(jìn)行第4輪專(zhuān)家咨詢(xún)。第4輪專(zhuān)家咨詢(xún)的權(quán)重參考以第1輪專(zhuān)家咨詢(xún)結(jié)果為依據(jù),得到第4輪專(zhuān)家咨詢(xún)的變異系數(shù)在0.000~0.157之間,信度較高(表2)。
表2 軍隊(duì)學(xué)歷教育院校教學(xué)評(píng)價(jià)指標(biāo)及權(quán)重
續(xù)表2 軍隊(duì)學(xué)歷教育院校教學(xué)評(píng)價(jià)指標(biāo)及權(quán)重
[1]毛乃佳,林鳳.基于CIPP模型和柯式模型構(gòu)建教師培訓(xùn)評(píng)估體系[J].北京教育學(xué)院學(xué)報(bào),2010,24(4):15-17.
[2]Stufflebeam DL.The CIPP model for program evaluation.In Madaus GF,Scriven M,Stufflebeam DL,evaluation models:viewpoints on educational and human services evaluation[M].Boston:Kluwer Nijhof,1983.
[3]張建偉,陽(yáng)盛益,劉國(guó)翰.基于CIPP模式的公共就業(yè)培訓(xùn)績(jī)效評(píng)估指標(biāo)分析[J].廣西大學(xué)學(xué)報(bào):哲學(xué)社會(huì)科學(xué)版,2011,33(3):121-124.
[4]陳英耀,倪明,胡獻(xiàn)之,等.公立醫(yī)療機(jī)構(gòu)公益性評(píng)價(jià)指標(biāo)篩選——基于德?tīng)柗茖?zhuān)家咨詢(xún)法[J].中國(guó)衛(wèi)生政策研究,2012,5(1):6-10.
[5]顧媛媛,畢越英,張嵐,等.運(yùn)用Delphi法構(gòu)建軍隊(duì)非現(xiàn)役文職護(hù)士職業(yè)成熟度的研究[J].護(hù)理管理雜志,2010,10(12):842-844.
[6]談立峰,郝東平,孫樨陵,等.Delphi法在評(píng)價(jià)區(qū)域性大型活動(dòng)公共衛(wèi)生突發(fā)事件風(fēng)險(xiǎn)發(fā)生的可能性及后果中的應(yīng)用[J].職業(yè)與健康,2012,28(10):1160-1164.