玉明科,黃家運(yùn),曾世培
(1.廣西馬山縣疾病預(yù)防控制中心,廣西 馬山 530600;2.南寧市疾病預(yù)防控制中心,廣西 南寧 530011)
德爾菲法是專家會議法的一種發(fā)展,其核心是通過匿名方式進(jìn)行幾輪函詢征求專家們的意見,得到一個比較一致的且可靠性較大的結(jié)論或方案[1]。該方法在衛(wèi)生決策、預(yù)測領(lǐng)域得到廣泛應(yīng)用。但用于鄉(xiāng)鎮(zhèn)一級結(jié)核病防治效果評價的報道不多。為了引導(dǎo)鄉(xiāng)鎮(zhèn)一級防癆機(jī)構(gòu)規(guī)范開展結(jié)核病防治工作,促進(jìn)結(jié)核病控制事業(yè)可持續(xù)性發(fā)展,應(yīng)用Delphi Method,研究建立鄉(xiāng)鎮(zhèn)一級結(jié)核病防治效果評價體系,探索結(jié)核病防治效果鑒定、評價方法的創(chuàng)新與應(yīng)用。
初始的評價指標(biāo)體系在參考衛(wèi)生部關(guān)于印發(fā)《結(jié)核病預(yù)防控制工作規(guī)范》的通知(衛(wèi)疾控發(fā)[2007]239號)、衛(wèi)生部辦公廳關(guān)于印發(fā)結(jié)核病防治工作“五率”相關(guān)技術(shù)方案(衛(wèi)辦疾控發(fā)[2006]224號)、國結(jié)核病防治實施指南(2008版)及文獻(xiàn)報道[2~4]的基礎(chǔ)上,本著目的性、科學(xué)性、重要性、可行性、敏感性的原則加以構(gòu)建。
評價體系應(yīng)用實例的材料來源于年報表與年度考核結(jié)果。
1.2.1 評價指標(biāo)的篩選
通過e-mail向?qū)<野l(fā)送評價指標(biāo)體系論證評價方案,請求專家對評價體系結(jié)構(gòu)和各指標(biāo)的重要性與可行性進(jìn)行多輪次論證或評價。每完成一輪次評價均進(jìn)行專家意見的一致性(協(xié)調(diào)程度)檢驗,書寫評價小結(jié),并向?qū)<曳答?,供專家進(jìn)行新一輪次評價時參考。專家意見的一致性用變異系數(shù)、肯德爾系數(shù)進(jìn)行檢驗[5]。當(dāng)專家意見獲得較高一致,肯德爾系數(shù)值接近 0.50水平,且卡方檢驗有統(tǒng)計學(xué)意義時(P<0.05),結(jié)束專家評價活動。指標(biāo)的重要性、可行性分值均數(shù)大于3.00、變異常系數(shù)小于0.5的指標(biāo)入選,其他指標(biāo)剔除。
1.2.2 指標(biāo)的權(quán)重
用專家排序法計算指標(biāo)權(quán)重[6]。首先按不同層級指標(biāo)之間包含與被包含關(guān)系進(jìn)行分組,所有一級指標(biāo)為一組,每個一級指標(biāo)所包含二級指標(biāo)為一組,每個二級指標(biāo)所包含三級指標(biāo)為一組,由專家對各組內(nèi)部指標(biāo)重要性進(jìn)行排序,第一重要者記為1,次重要者記為2,……,第n重要者記為n。然后,用公式(1)計算各組內(nèi)各指標(biāo)的權(quán)重。最后,用公式(2)計算三級指標(biāo)權(quán)重。
其中,aj表示某組內(nèi)第j個指標(biāo)的權(quán)重,Rj表示某組內(nèi)第j個指標(biāo)的秩和,m為排序?qū)<胰藬?shù),n為組內(nèi)指標(biāo)個數(shù),∑aj=1。Ai為第i個三級指標(biāo)權(quán)重值,ai1為包含第i個三級指標(biāo)的一級指標(biāo)aj值,ai2為包含第i個三級指標(biāo)的二級指標(biāo)aj值,ai3為第i個三級指標(biāo)的aj值,∑Ai=1。
1.2.3 綜合評價指數(shù)
綜合評價指數(shù)是指結(jié)核病防治整體效果的評價值,計算公式為T=100∑AiBi……(3)。T為防治效果綜合評價指數(shù),取值范圍在0~100之間,值越大,防治效果越好。Ai為第i個三級指標(biāo)權(quán)重,Bi第i個三級指標(biāo)實際完成比例。其中,Bi=qi/Qi, qi為第i個三級指標(biāo)實際完成值, Qi為第i個三級指標(biāo)目標(biāo)值。當(dāng)Bi≥1時,取Bi=1。
1.2.4 統(tǒng)計分析
原始數(shù)據(jù)由Excel 2003錄入,用SPSS 17.0軟件進(jìn)行分析。
受邀參加評價活動專家15人。其中,省級專家2人,市級專家2人,縣區(qū)級專家11人;碩士學(xué)歷1人,大學(xué)本科4人,??茖W(xué)歷10人;副高以上高級職稱5人,中級職稱10人;結(jié)核病防治機(jī)構(gòu)負(fù)責(zé)人6人,治療管理科室的負(fù)責(zé)人6人,信息管理業(yè)務(wù)骨干3人。從事結(jié)核病防治工作平均工齡11.53年。
專家的積極系數(shù)用專家受邀回應(yīng)率表示,系數(shù)值為93.75%。專家的權(quán)威系數(shù)由專家自填的判斷依據(jù)及其影響程度量化表和專家對問題熟悉程度量化表計算而得[7]。分析數(shù)據(jù)顯示,專家在 4個一級指標(biāo)的權(quán)威上的系數(shù)分別為:病人發(fā)現(xiàn)0.92、病人管理0.88、服務(wù)體系建設(shè)0.82、健康教育0.85。
本研究共進(jìn)行三輪次專家評價活動。第一輪只對評價體系結(jié)構(gòu)進(jìn)行分析論證,第二、三輪對評價體系的各指標(biāo)的重要性與可行性進(jìn)行定量評價。經(jīng)三輪次評價后,專家的評價意見趨于集中。指標(biāo)重要性意見評價值變異系數(shù)在0.00至0.17之間,肯德爾系數(shù)W值為 0.65,卡方檢驗有統(tǒng)計學(xué)意義(χ2=126.60,P<0.01);可行性意見的評價值變異系數(shù)在0.00至0.24之間,肯德爾系數(shù)W值為0.64, 卡方檢驗有統(tǒng)計學(xué)意義(χ2=125.10,P<0.01)。各組內(nèi)部指標(biāo)重要性排序的肯德爾系數(shù)W值達(dá)到0.21~1.00之間,卡方檢驗有統(tǒng)計學(xué)意義(χ2=5.40-42.92,P<0.05)。
經(jīng)三輪次的評價、調(diào)整、篩選后,評價體系從最初二個層級結(jié)構(gòu)、共 26個指標(biāo),調(diào)整為三個層級結(jié)構(gòu)、共 26個指標(biāo)。其中,因社會公眾核心知識知曉率可行性分值的均值為 2.07,小于 3.00入選標(biāo)準(zhǔn)而予以剔除。最終評價體系確定為三個層級,共25個指標(biāo)。見表1。
表1 鄉(xiāng)一級結(jié)核病防治效果評價體系
根據(jù)每年對各鄉(xiāng)鎮(zhèn)結(jié)核病防治效果統(tǒng)計分析所得數(shù)據(jù),對某鄉(xiāng)鎮(zhèn)2009年結(jié)核病防治效果進(jìn)行綜合評價。評價結(jié)果顯示,該鄉(xiāng)鎮(zhèn)2009年綜合評價指數(shù)為93.39。說明該鄉(xiāng)鎮(zhèn)2009年防治效果良好。但病人追蹤工作欠佳,只完成了任務(wù)的 71%,督導(dǎo)訪視任務(wù)、病人系統(tǒng)管理、病人轉(zhuǎn)診也未完成任務(wù)。見表2。
表2 某鄉(xiāng)鎮(zhèn)2009年結(jié)核病防治效果評價
應(yīng)用Delphi Method研究應(yīng)注意專家的代表性、權(quán)威性、意見的一致性。專家人數(shù)的多少視研究項目的規(guī)模而定,以15~50人為宜;經(jīng)過 2~3輪次咨詢后,協(xié)調(diào)系數(shù)一般在0.5范圍波動[1]。專家意見的權(quán)威程度應(yīng)≥0.7[5]。本研究共邀請 16名專家參與評價活動,實際參加活動的有15名。專家在4個一級指標(biāo)上的權(quán)威系數(shù)達(dá)到 0.82~0.92,高于0.7,專家對指標(biāo)重要性、可行性評價的肯德爾系數(shù)分別達(dá)到0.65和0.64。說明參與本研究專家的代表性與權(quán)威性及其意見的一致性均達(dá)到應(yīng)有技術(shù)要求,評價結(jié)果可信度較高。
指標(biāo)的篩選在遵循目的性、科學(xué)性、重要性、可行性、敏感性的原則下,篩選的具體細(xì)節(jié)各有差異。在篩選的細(xì)節(jié)上,劉飛鷹等以 60%專家贊同作為指標(biāo)入選評價體系的界值[3],賁智強(qiáng)等以指標(biāo)分值是否達(dá)滿分值70%以上作為入選評價體系的標(biāo)準(zhǔn)[8]。羅萬軍等以指標(biāo)重要性評價值變異系數(shù)小于 0.5作指標(biāo)入選標(biāo)準(zhǔn)[4]。本研究以指標(biāo)的重要性和可行性評價值同時達(dá)到滿分值的 60%(即3.00)、變異系數(shù)小于0.5作為指標(biāo)入選標(biāo)準(zhǔn)。據(jù)此,社會公眾核心知識的知曉率可行性分值低于3.00的標(biāo)準(zhǔn)而予以剔除。社會公眾核心知曉率可行性分值低,可能與開展社會公眾知曉率調(diào)查難度大、投入大有關(guān)。
評價指標(biāo)體系可操作性強(qiáng),可實現(xiàn)對同一鄉(xiāng)鎮(zhèn)的防治效果進(jìn)行縱向比較,也可對不同鄉(xiāng)鎮(zhèn)防治效果進(jìn)行橫向比較。從表1可見,評價指標(biāo)的目標(biāo)值可從防治規(guī)劃、防治指南、文件中查到,而實際完成值可從國家結(jié)核病信息管理系統(tǒng)導(dǎo)出,或日常工作中收集得到,很容易由公式(3)計算綜合評價指數(shù)。計算同一鄉(xiāng)鎮(zhèn)不同年份綜合評價指數(shù),即可實現(xiàn)同一個鄉(xiāng)鎮(zhèn)在時間序列上縱向比較;計算同一年份不同鄉(xiāng)鎮(zhèn)綜合評價指數(shù),即可實現(xiàn)不同鄉(xiāng)鎮(zhèn)間的橫向比較。既獲得單指標(biāo)任務(wù)的完成情況,又獲得整體防治工作質(zhì)量評價結(jié)果。因此,該評價體系的應(yīng)用,可有效地對鄉(xiāng)鎮(zhèn)一級結(jié)核病防治效果進(jìn)行鑒定、排序,有較好應(yīng)用前景與應(yīng)用價值。
[1]曾 光.現(xiàn)代流行病學(xué)方法與應(yīng)用[M].北京:北京醫(yī)科大學(xué)中國協(xié)合醫(yī)科大學(xué)出聯(lián)合版社,1994:250-257.
[2]李新旭,徐漢成,李 游,等.中國結(jié)核病防治規(guī)劃監(jiān)控與評價指標(biāo)可行性研究[J].中國預(yù)防醫(yī)學(xué)雜志,2010,11(12):1202-1206.
[3]劉飛鷹,董柏青,王喜文,等.運(yùn)用特爾菲法建立結(jié)核病防治效果綜合評價指標(biāo)體系[J].中國衛(wèi)生統(tǒng)計,2009,26(1):96-97.
[4]羅萬軍,譚曉東,謝廣吉,等.結(jié)核病防治效果綜合評價體系研究[J].公共衛(wèi)生與預(yù)防醫(yī)學(xué),2011,21(1):9-13.
[5]孔 越,陳 娟.社區(qū)衛(wèi)生服務(wù)滿意度指標(biāo)體系中專家咨詢法的可靠性分析[J].解放軍預(yù)防醫(yī)學(xué)雜志,2007,25(4):259-261.
[6]程書肖.教育評價方法技術(shù)[M].北京:北京師范大學(xué)出版社,2007:67-68.
[7]張 明,李 孜,馬敬東,等.Delphi法在流動人口生殖健康服務(wù)質(zhì)量測評體系中的可靠性分析[J].醫(yī)學(xué)社會學(xué)與社會醫(yī)學(xué),2008,21(6):2-4.
[8]賁智強(qiáng),張美菊.應(yīng)用德爾菲(Delphi)法評價縣級公共衛(wèi)生應(yīng)急反應(yīng)能力[J].河南預(yù)防醫(yī)學(xué)雜志,2007,18(6):480-482.