李 行 蔣 泓

復旦大學公共衛(wèi)生學院 國家衛(wèi)生健康委員會衛(wèi)生技術評估重點實驗室 上海 200032

衛(wèi)生領域合作作為共建“一帶一路”倡議的重要內(nèi)容之一，以“健康絲綢之路”為主線，通過加強全球公共衛(wèi)生治理，達到構建人類衛(wèi)生健康共同體的目標。[1]婦幼衛(wèi)生是全球衛(wèi)生領域合作的重要關注點，繼聯(lián)合國千年目標(Millennium Development Goals，MDGs)后，2030年可持續(xù)發(fā)展目標(Sustainable Development Goals，SDG)繼續(xù)將改善孕產(chǎn)婦保健、降低兒童死亡率等作為核心指標。[2]

中國在改善婦幼健康方面積累了豐富的經(jīng)驗，并且是全球少數(shù)幾個同時實現(xiàn)MGD4和MGD5，改善兒童和孕產(chǎn)婦生存和健康指標的國家之一。[3- 4]其中有很多經(jīng)驗和做法對其他發(fā)展中國家具有借鑒意義。長期以來，中國向其他發(fā)展中國家提供力所能及的援助，尤其在以可持續(xù)發(fā)展為目標的時代，更強調(diào)全球所有國家的參與和合作伙伴關系的發(fā)展[5]，中國也因此增加了對援外培訓的支持，其中包括為發(fā)展中國家衛(wèi)生專業(yè)人員提供培訓，促進其技能提升以實現(xiàn)持續(xù)發(fā)展[6]。

2019年起，國家衛(wèi)生健康委員會國際交流與合作中心(IHECC)和聯(lián)合國兒童基金會合作(UNICEF)共同開展“一帶一路”婦幼衛(wèi)生合作示范培訓基地的建設，旨在在國內(nèi)建立整合最佳資源以支持南南合作交流的培訓基地網(wǎng)絡，依托該網(wǎng)絡開展長期可持續(xù)的“一帶一路”發(fā)展中國家婦幼衛(wèi)生援外培訓。[7]目前，我國在努力促進全球實現(xiàn)SDG目標的進程中，已積極開展了諸多涉外培訓活動，婦幼健康作為發(fā)展中國家衛(wèi)生工作的薄弱點，是“一帶一路”倡議培訓活動的重點領域，但當下仍缺乏一套規(guī)范化的評估工具以了解培訓成效。同時，由于新冠疫情對全球的影響，在線培訓的模式將會長期持續(xù)，因此指標體系的制定也應結合線上與線下婦幼衛(wèi)生援外培訓項目的特點。研究如何建立“一帶一路”婦幼衛(wèi)生培訓評價指標條目并形成專家共識，是規(guī)范、持續(xù)、動態(tài)地開展和推進婦幼衛(wèi)生援外培訓所必須的。

本研究旨在制定“一帶一路”發(fā)展中國家婦幼衛(wèi)生評價指標體系，用于開展培訓后，對受援國學員進行婦幼衛(wèi)生援外培訓的評估，從而為改善中國婦幼衛(wèi)生合作示范培訓的質(zhì)量提供可靠的工具。

1 資料與方法

1.1 研究框架與指標來源

本研究以決策導向型(Context,Input,Process,Product,CIPP)評價模型作為理論框架，CIPP模型是將培訓項目本身作為一個對象進行分析，由背景評價(Context evaluation)、投入評價(Input evaluation)、過程評價(Process evaluation)、結果評價(Product Evaluation)四項評估活動的首字母組成[8]，根據(jù)文獻回顧確定二級指標。三級指標建立的主要參考標準: 一是現(xiàn)有援外培訓評估表，如商務部《中國對外援助培訓項目學員評估調(diào)查表》；二是基于文獻研究評閱，如援外醫(yī)療培訓質(zhì)量評價研究、遠程教育質(zhì)量保證標準研究等；三是現(xiàn)有原則，如南南合作原則、布魯姆教育目標分類法(提供了從培訓結果的角度描述和刻畫達成各教學目標的依據(jù)，分別為認知，理解，分析，應用，綜合，評價)。[9]

在初步構建了三級指標體系后，課題組邀請了3名分別來自婦幼衛(wèi)生、衛(wèi)生政策、全球衛(wèi)生領域的專家進行定性訪談?；谂嘤柋尘啊⑼度?、過程、結果四個維度，結合目前“一帶一路”婦幼衛(wèi)生培訓與開展的現(xiàn)況收集專家對指標體系的意見與建議，完善并形成了初擬的指標體系。

1.2 專家咨詢法遴選指標

1.2.1 確定函詢專家

2021年10—11月，本研究邀請在婦幼衛(wèi)生領域有豐富理論和實踐經(jīng)驗并開展或參與過援外培訓活動的專家。專家入選標準：(1)具有高級職稱或者在國際衛(wèi)生組織擔任資深項目官員；(2)具有從事公共衛(wèi)生、婦幼衛(wèi)生和護理相關領域工作或者全球衛(wèi)生、衛(wèi)生政策工作經(jīng)驗；(3)具有參與援外培訓項目制定的經(jīng)驗。最終確定了來自婦幼衛(wèi)生、助產(chǎn)、衛(wèi)生政策等領域專家共16人。

1.2.2 實施專家函詢

本研究共發(fā)放兩輪咨詢問卷，第二輪咨詢問卷是在匯總第一輪專家咨詢意見的基礎上形成的，主要內(nèi)容與第一輪基本一致。采取指標必要性得分均值小于0.40且變異系數(shù)大于0.25作為指標排除標準。同時在問卷中，請專家進行重要度評判時綜合考慮指標的可行性、適用性等因素，對于一些不適合指標，直接提出“刪除”建議。將量化評判和專家意見相結合，決定是否對指標進行增加、刪除和修改。最后依據(jù)兩輪專家函詢結果及討論分析，建立“一帶一路”發(fā)展中國家婦幼衛(wèi)生培訓評價指標體系。

1.3 統(tǒng)計分析

1.3.1 Delphi法結果計算

專家積極系數(shù)，即專家對研究的關心程度=實際參與調(diào)查的專家人數(shù)/全部邀請專家人數(shù)，專家的權威程度根據(jù)熟悉程度和判斷依據(jù)的影響程度計算，專家權威系數(shù)=(對專家判斷影響程度+專家對問題的熟悉程度)/2。專家意見集中程度根據(jù)指標的必要性賦值計算，專家意見協(xié)調(diào)程度根據(jù)變異系數(shù)和協(xié)調(diào)系數(shù)計算，專家協(xié)調(diào)系數(shù)采用肯德爾(Kendall)和諧系數(shù)W檢驗，和諧系數(shù)(W)取值范圍在0～1之間，W值越大，表明專家的意見越統(tǒng)一，協(xié)調(diào)程度越高，對W值的顯著關系進行檢驗，若P<0.05，則表示意見具有顯著一致性。

1.3.2 層次分析法確定指標權重

應用層次分析法測定各項指標的組合權重：(1)根據(jù)專家評分對各指標必要性進行兩兩比較，按照Satty 1-9比例標度賦值，構造判斷(成對比較)矩陣。(2)采用方根法計算矩陣特征向量的近似值。(3)對判斷矩陣的一致性進行檢驗，若一致性比例CR<0.1, 則認為判斷矩陣的一致性可以接受。

2 結果

2.1 初擬指標體系

本研究對婦幼衛(wèi)生援外培訓項目背景、培訓課程的投入、實施和效果4個維度進行評價，依據(jù)這4個維度的內(nèi)容，制定評價指標體系建設方案(表1)。

表1 CIPP模型評價指標體系建設方案

基于CIPP模型，課題組結合文獻回顧、專家訪談意見與工作實際，初步構建了“一帶一路”婦幼衛(wèi)生培訓項目的評價指標體系，包含4個一級指標，19個二級指標，83個三級指標。

2.2 Delphi咨詢結果

2.2.1專家情況

參與咨詢的16位專家平均年齡為50歲，平均工作年限為26年，主要分布在婦幼衛(wèi)生、衛(wèi)生政策與管理、助產(chǎn)和護理學、全球衛(wèi)生等專業(yè)領域，都對援外培訓工作有豐富的理論和實踐經(jīng)驗(表2)。

表2 專家基本情況(N=16)

2.2.2 專家積極系數(shù)

專家積極系數(shù)根據(jù)問卷的有效回收率計算，本研究兩輪咨詢的問卷回收率均為100%，受詢專家具有較高積極性。

2.2.3 專家意見權威程度

專家意見權威程度用專家權威系數(shù)來表示，本研究專家的權威系數(shù)為0.91，說明專家意見較為權威。

2.2.4 專家意見協(xié)調(diào)系數(shù)

第一輪咨詢的一級指標、二級指標、三級指標Kendall協(xié)調(diào)系數(shù)分別為0.133、0.115、0.203，經(jīng)過調(diào)整后，第二輪的咨詢一級指標、二級指標、三級指標Kendall系數(shù)為0.207、0.229、0.262，差異均有統(tǒng)計學意義(P<0.05)，表明專家意見具有一致性。

2.2.5 指標體系修改與調(diào)整

第一輪咨詢后，課題組根據(jù)專家評分及修改意見，進行如下修改與調(diào)整：(1)刪除二級指標“學員在線課程的可及性”“在線培訓及時性”“在線培訓效果”。(2)刪除“機場接送”“文化”“健康保障制度”等11個三級指標。(3)調(diào)整三級指標“教師資質(zhì)”為“師資配備”，“學員招募”為“招生信息介紹”等。形成4個一級指標，16個二級指標，55個三級指標。

第二輪咨詢后，課題組根據(jù)專家修改意見，進行如下修改與調(diào)整：(1)刪除三級指標“培訓課程設計”“‘南南合作’發(fā)展”。(2)為保證布魯姆認知目標分類體系完整性，保留對于變異系數(shù)大于0.25的三級指標“評價”。

經(jīng)調(diào)整，確定最終納入的指標后，根據(jù)層次分析法計算各層級各指標的權重，最終的“一帶一路”婦幼衛(wèi)生培訓項目的評價指標體系包含4個一級指標，16個二級指標，53個三級指標(表3)。

表3 “一帶一路”發(fā)展中國家婦幼衛(wèi)生培訓評價指標體系及權重(學員評估)

3 討論

3.1 評價指標體系的科學性和合理性

3.1.1 應用Delphi法的科學性和合理性

Delphi專家咨詢已被廣泛的運用于指標評價研究，是一種客觀性較強的專家咨詢法[10]，其研究結果的可靠性由函詢專家的積極性、權威性及意見協(xié)調(diào)程度等確定。[11]

問卷回收率達70%時說明專家積極性良好[12]，本研究兩輪專家函詢的問卷回收率均為100.0%，且多位專家針對指標條目提出修改意見，專家積極性較高。

運用Delphi法的關鍵在于權威專家的選擇和嚴謹?shù)难芯窟^程。[13]本研究遴選的專家長期從事婦幼衛(wèi)生、衛(wèi)生政策、衛(wèi)生管理、衛(wèi)生體系、護理教育及全球衛(wèi)生等工作，專家全部為高級職稱，工作年限在20年以上的專家占81.3%，并均深入?yún)⑴c過援外培訓的開展。一般認為當權威系數(shù)Cr>0.800時，專家對內(nèi)容的決定很有把握。[14]本研究專家的權威系數(shù)為0.91,說明專家作出的判斷是建立在理論知識和實踐經(jīng)驗上的，具有可信性。

專家意見的協(xié)調(diào)程度包括變異系數(shù)與Kendall協(xié)調(diào)系數(shù)，變異系數(shù)反映專家評分的集中程度，第一輪專家咨詢后，刪除了變異系數(shù)大于0.25的條目如組織管理中的“機場接送”和“南南合作”精神體現(xiàn)中的“無附加條件”。在第二輪中除“評價”外指標變異系數(shù)均小于0.25，且集中程度較第一輪高。Kendall系數(shù)常用于考察多位評分者評分的一致性程度，P<0.05，說明專家意見具有一致性。[15]本研究第一輪和第二輪咨詢?nèi)壷笜说腒endall協(xié)調(diào)系數(shù)分別為0.133和0.207，P值均小于0.01，說明專家意見趨于一致且具有一致性。

3.1.2 指標體系的權重分析

本研究構建的指標體系分為背景評價、投入評價、過程評價和結果評價4個維度，其中背景評價權重系數(shù)最高，且二級指標權重系數(shù)相同，表明背景評價對于援外培訓尤為重要，培訓需求和培訓目標的評價均為培訓背景評價的重要組成部分。因此，在培訓開展前對受援國學員進行需求分析，制定科學合理的培訓目標對提高培訓質(zhì)量有重要意義；在投入評價中，培訓方案權重系數(shù)最高，且三級指標培訓大綱占比最重，表明培訓大綱的適宜性對于培訓非常關鍵。而對于在線培訓條件，最重要的是有豐富的在線課程資源；在過程評價中，“南南合作”精神體現(xiàn)權重系數(shù)最高，其次為培訓態(tài)度(教師備課、尊重學員、溝通交流)和培訓內(nèi)容；在結果評價中，滿意度權重系數(shù)最高，其次為“南南合作”影響。表明專家認為“南南合作”精神、學員滿意度是援外培訓需關注的重要內(nèi)容。因此，在實際培訓開展中，除了注重對培訓內(nèi)容和培訓態(tài)度外，更應該加強融入“南南合作”理念，提升學員滿意度。

綜上，本研究通過兩輪專家咨詢，遴選了專家具有共識的指標，總體上研究結果具有一定的科學性和合理性。

3.2 評價指標體系的應用價值

本研究以CIPP模型以理論框架，通過兩輪Delphi法遴選了指標，構建了一套由4個一級指標，16個二級指標和53個三級指標構成的“一帶一路”婦幼衛(wèi)生培訓評價指標體系。本研究所構建的工具可以為我國“一帶一路”婦幼衛(wèi)生培訓的評估提供科學合理的評估體系框架；基于本研究指標體系所構建的評估工具，將可為培訓組織者提供學員反饋，有利于組織方結合培訓背景、投入、過程、結果環(huán)節(jié)，制定精準的改善策略；同時，本指標體系的構建框架和核心原則亦可為其他“一帶一路”發(fā)展中國家培訓活動提供參考依據(jù)。

3.3 評價指標體系的局限性

本研究構建的評價指標體系同樣存在一定局限性，由于本研究函詢專家均來自國內(nèi)，沒有結合其他國家例如受援國專家的意見。此外，指標體系需要在實際應用中得到檢驗和進一步完善。

作者聲明本文無實際或潛在的利益沖突。