張健　吳華章

?

醫(yī)師考核360度評價法的可靠性、有效性及可行性的系統(tǒng)研究

張健1吳華章2

【摘要】目的 研究醫(yī)師績效考核360度評價法的可靠性、普遍性、有效性及可行性。方法 檢索EMBASE、MEDLINE及PubMed數(shù)據(jù)庫中經(jīng)同行評議過的、1975～2013年12月發(fā)表的英文文獻。檢索標準：使用360度評價法工具考核醫(yī)師績效；有關360度評價法可靠性、概化系數(shù)和建構效度的報道證據(jù)；文獻中涉及收集反饋數(shù)據(jù)過程可行性的信息。結果 （1）入選43篇同行評議研究，其中家庭醫(yī)學、兒科與內科專業(yè)各5篇，外科4篇，婦產(chǎn)科3篇，精神病學3篇，麻醉2篇以及急救醫(yī)學、實驗病理、組織病理、放射學、運動醫(yī)學和康復專業(yè)各1篇。（2）38篇（91%）研究由醫(yī)生的醫(yī)療同行完成360度評價法調查問卷；32篇（74%）研究由醫(yī)生的非醫(yī)生同事完成，23篇（53%）研究由患者和（或）患者家屬完成，22篇（51%）研究由自我評價完成。（3）自我評價項目4～57條，醫(yī)療同行評價項目4～60條，同事評價項目4～60條，患者問卷評價項目3～49條。（4）26篇（62%）報道了360度評價法工具的可靠性，360度評價法工具的α應該≥0．90，醫(yī)療同行0．89～0．99，同事0．91～0．96，患者0．93～0．99。17篇（40%）描述了普遍性系數(shù)，醫(yī)療同行評價工具的普遍性系數(shù)為0．61～0．88，同事評價工具為0．56～0．87，患者評價工具為0．65～0．85。（5）至少由8名醫(yī)療同行、8名同事和25名患者評價才能達到可靠性系數(shù)≥0．90，普遍性系數(shù)≥0．80的要求。結論 應用360度評價法考核醫(yī)師績效具有較高的可靠性、有效性及可行性。

【關鍵詞】360度評價法；可靠性；可行性；有效性；系統(tǒng)綜述

醫(yī)師績效考核評價對于提高患者醫(yī)療安全、醫(yī)師專業(yè)技能及人際溝通技巧具有重要意義。目前，考核醫(yī)師績效已經(jīng)從單一的評價臨床專業(yè)技能發(fā)展到對于醫(yī)師各方面能力的全方位評價。360度評價法是工作機構評價員工專業(yè)技能、行為和態(tài)度的重要方法。1970年代360度評價法最初是被醫(yī)療機構用來考核住院醫(yī)師，目前360度評價法已經(jīng)成為北美和歐洲的醫(yī)療機構考核各專業(yè)醫(yī)療技術人員的重要工具。為了幫助醫(yī)療機構考核醫(yī)師的臨床實踐和患者醫(yī)療安全，1990年代后期，加拿大最先引進了一種可行的360度評價法考核醫(yī)師績效。通常，這種評價方法是設計一種調查問卷用來收集各方調查對象對于所調查醫(yī)師的評價反應及醫(yī)師的自我評價。在360度評價法中，被測評醫(yī)師可能要完成一項自我評價項目，并會獲得醫(yī)療同事、上級主管、心理醫(yī)師、護師、藥師以及他們自己患者等的反饋評價。不同的調查對象對于被測評醫(yī)師所關注的焦點是不同的，比如患者不太可能獲知一名醫(yī)師的臨床經(jīng)驗如何，因此，這種評價法方法綜合考慮了多方面的因素影響，避免了單一考核主體測評所帶來的片面性，實現(xiàn)全方位測評[1]。目前，360度評價法主要被用于考核醫(yī)師的臨床專業(yè)技能、溝通能力、與其他醫(yī)療技術人員的合作能力、職業(yè)道德能力及患者管理能力[2]。本系統(tǒng)研究的目的是探索不同類型的360度評價法工具在考核醫(yī)師績效過程的可靠性、普遍性、有效性及可行性。

1　資料與方法

1.1檢索策略

選擇MEDLINE、PubMed、EMBASE等數(shù)據(jù)庫中收錄的1975～2013年12月發(fā)表的經(jīng)同行評議過的英文文獻。使用檢索詞“multisource-feedback”、“360 degree evaluation”以限定360度評價法相關研究，并與其他檢索詞（assessment of physician competencies/assessment of physician professionalism/assessment of physician in practice）合并以獲取醫(yī)師考核相關的研究，并對所檢索到的文獻中涉及的相關參考文獻進行篩選。

1.2納入與排除標準

納入標準：（1）如果研究中應用了一個或多個360度評價法工具（比如自我評價、單位同事或患者評價反饋）以考核醫(yī)生的綜合績效；（2）研究中描述了360度評價法工具或其設計方法；（3）在收集反饋數(shù)據(jù)過程中報道了有關360度評價法工具可靠性、普遍性和（或）可行性的心理學證據(jù)；（4）發(fā)表在同行評議的英文期刊。排除標準：（1）應用360度評價法工具考核醫(yī)學生或非臨床醫(yī)生專業(yè)人員（如護士、藥劑師、檢驗科醫(yī)師等）；（2）無法提供有關360度評價法心理測驗學證據(jù)（可靠性和有效性）的足夠信息。

1.3數(shù)據(jù)評估方法

嚴格按照文獻檢索策略及納入與排除標準進行篩檢，每篇文獻都要經(jīng)過兩名人員的獨立評估與編碼，首先，評估文獻全文前，先篩選評估文獻的題目和摘要。文獻篩選完畢后，提取入選文獻信息：360度評價法工具名稱（如無特定名稱，則使用一般名稱“360度評價法”或者“多維度反饋法”），參評醫(yī)師專業(yè)，參加者數(shù)量，評估類型，360度評價法評估的結構或因素，可行性問題，反饋的比例，可靠性/普遍性/組內相關系數(shù)，結構和標準相關的有效性分析。

2　結果

2.1入選文獻基本情況

通過數(shù)據(jù)庫共檢索到1 062篇文獻，然后審核文獻題目，入選970篇，進一步審核文獻摘要，入選383篇，進一步審核文獻全文，入選96篇，排除53篇不合格文獻，最終入選43篇同行評議研究符合本研究標準。

2.2應用360度評價法被考核醫(yī)生的專業(yè)情況

家庭醫(yī)學專業(yè)（n=5），兒科專業(yè)（n=5），內科專業(yè)（n=5），外科專業(yè)（n=4），婦產(chǎn)科專業(yè)（n=3），精神病學專業(yè)（n=3），麻醉專業(yè)（n=2），急救醫(yī)學專業(yè)（n=1），實驗病理專業(yè)（n=1），組織病理專業(yè)（n=1），放射專業(yè)（n=1），運動醫(yī)學專業(yè)（n=1）及康復專業(yè)（n=1）。

2.3調查問卷的評估者及評估項目長度

43篇研究中，38篇（91%）研究由醫(yī)生的醫(yī)療同行完成360度評價法調查問卷；32篇（74%）研究由醫(yī)生的非醫(yī)生同事完成，23篇（53%）研究由患者和（或）患者家屬完成，22篇（51%）研究由自我評價完成。360度評價法調查問卷的涉及項目多少隨評估者不同，其中自我評價項目4～57條，醫(yī)療同行評價項目4～60條，同事評價項目4～60條，患者問卷評價項目3～49條。醫(yī)生評估審查研究對評估者應用了多種360度評價法工具，患者評價項目11～40條，同事評價項目12～22條，醫(yī)療同行評價項目22～39條，自我評價項目21～39條。其中2篇研究中醫(yī)學生也被納入評估者行列。

2.4評價指標

360度評價法可以評價的項目包括：職業(yè)道德、臨床技能、溝通能力、管理能力及人際關系。職業(yè)道德又包括一系列社會心理學技能指標，職業(yè)責任感，人文素養(yǎng)，同情心，職業(yè)態(tài)度及職業(yè)發(fā)展觀等。臨床技能包括臨床護理，良好的臨床實踐能力，患者護理，安全實踐能力，臨床技能，臨床知識，批判性思維，診斷及復雜問題的處理能力。溝通能力、管理能力及人際關系項目同樣也包括一系列評價指標。

2.5評價過程及可行性情況

每篇研究均描述了評價過程的一般情況信息和（或）可行性情況。研究者均認為，當360度評價法工具用于患者、同事及醫(yī)療同行并結合醫(yī)生自我評價時是有效的。一些研究者認為，當涉及醫(yī)生的關鍵績效指標考核時，反饋意見有可能會在實際應用時改變。也有研究認為，應用360度評價法工具考核每名醫(yī)生的估計成本是可行的，但是建議每五年對醫(yī)生進行一次重估。有一篇研究對家庭醫(yī)生進行了考核，并在5年后又進行了一次重評，以此來評估考核指標的穩(wěn)定性。在一些研究中，應用360度評價法工具考核多專業(yè)醫(yī)生的過程是可行而易接受的，比如兒科專業(yè)、外科專業(yè)、急救專業(yè)、家庭醫(yī)生專業(yè)、精神病學專業(yè)。

2.6360度評價法工具的可靠性及普遍性

26篇（62%）研究報道了360度評價法工具的可靠性?？煽啃韵禂?shù)一般用α表示，反映了各指標條目間的內部一致性。360度評價法工具的α應該≥0.90，醫(yī)療同行0.89～0.99，同事0.91～0.96，患者0.93～0.99。只有一篇研究將醫(yī)療同行和同事合并，可靠性系統(tǒng)α=0.98。其中5篇研究計算了標準誤差。17篇（40%）研究描述了普遍性系數(shù)（Ep2）。醫(yī)療同行評價工具的普遍性系數(shù)為0.61～0.88，同事評價工具為0.56～0.87，患者評價工具為0.65～0.85。大多數(shù)評價工具至少由8名醫(yī)療同行、8名同事和25名患者評價才能得出可靠性系數(shù)≥0.90，普遍性系數(shù)≥0.80的結果。

3　討論

360度評價法是目前廣受國內外企業(yè)界高度關注的個人能力和企業(yè)績效評價方法,它以心理測量學的真分數(shù)理論為基礎,以促進個人發(fā)展、重視信息反饋、講求實事求是和全方位、多角度觀察問題為核心理念,有特定的適用范圍和實施程序。一篇系統(tǒng)綜述研究表明，應用360度評價法對各專業(yè)醫(yī)生進行考核是可行的，尤其應用自我評價、醫(yī)療同行評價、同事評價和患者評價時。大多數(shù)研究描述了應用360度評價法工具考核醫(yī)生績效時的可靠性、普遍性及有效性情況，并且這項評價法已經(jīng)在加拿大和英國應用了10余年。還有一些來自美國的360度評價法工具應用研究，每項研究均將重點聚焦在一項新的360度評價法工具開發(fā)或現(xiàn)存360度評價法工具的修改版及指南評估方面。

一般來說，應用360度評價法工具考核醫(yī)生績效至少應招募8名醫(yī)療同行、8名同事和25名患者，結果才能達到可靠性系數(shù)≥0.90，普遍性系數(shù)≥0.80的要求。盡管有一系列的評價項目可以考核醫(yī)生，但是360度評價法工具中最關鍵的5項是職業(yè)道德、臨床技能、溝通能力、管理能力及人際關系。大多數(shù)研究提供了360度評價法工具的建構效度。一般來說，患者評價醫(yī)生傾向于更積極的評價，其次為同事，住院醫(yī)師和教學顧問，而Lodckyer 等[3]研究發(fā)現(xiàn)，在一所國際性醫(yī)學院中，自我評價的分數(shù)要比其他人評價的分數(shù)更高。雖然360度評價法調查問卷的建構效度在一定合理區(qū)間內，一些研究指出，醫(yī)生考核的評價項目得分在醫(yī)生不同專業(yè)間存在不同，比如在不同醫(yī)生專業(yè)間，方差比例與患者管理、臨床評價、溝通能力和（或）職業(yè)發(fā)展有關[4-7]。Lockyer JM和Violato C[5]研究發(fā)現(xiàn)，應用360度評價法在醫(yī)療同行間進行問卷調查，在患者管理、臨床評價、溝通能力和職業(yè)發(fā)展這四項指標得分中，內科專業(yè)方差為73.4%，精神病學專業(yè)為70%，而兒科專業(yè)僅為67.6%。

盡管本系統(tǒng)研究非常嚴格，然而仍存在一些局限性。首先，應用360度評價法工具和評價項目的數(shù)量會存在不均質性問題，而且單獨應用一項360度評價法工具考核醫(yī)生是困難的，不論這項工具多有效。其次，應用360度評價法考核醫(yī)生的可行性主要依賴于所報告的評估反饋率比例，而不是醫(yī)生考核所涉及的成本和管理方面的問題。第三，由于不同文獻報告的可靠性和有效性指標的不同，很難將不同報告的指標進行統(tǒng)一。最后，本研究僅限于英文的同行評議研究文獻，并不能全面反映360度評價法的實際應用情況。

綜上所述，應用360度評價法工具對醫(yī)生績效進行考核是可靠、有效而可行的，360度評價法將繼續(xù)在醫(yī)生績效考核中發(fā)揮重要作用。而目前有關醫(yī)生績效考核的理論、方法很多，所考核內容的側重點各有不同，而盡快制定出科學、實用、適用于各級不同類型醫(yī)院的績效評估指標體系，已成為醫(yī)院科學化管理的必然趨勢[8]。

參考文獻

[1] Sala F，Dwight S． Predicting executive performance with multi-rater surveys： Whom you ask makes a difference[J]． J Consult Psych Res Pract，2002（54）：166-172．

[2]Fidler H， Lockyer J， Violato C． Changing physicians' practices： The effect of individual feedback[J]． Acad Med，1999，74（6）：702-714．

[3] Lockyer J， Blackmore D， Fidler H， et al． A study of multi-source feedback system for international medical graduates holding defined licences[J]． Med Educ，2006，40（4）：340-347．

[4]Violato C， Lockyer J． Self and peer assessment of pediatricians，psychiatrists and medicine specialists： Implications for self-directed learning[J]． Adv Health Sci Educ Theory Pract，2006，11（3）：235-244．

[5]Lockyer JM， Violato C． An examination of the appropriateness of using a common peer assessment instrument to assess physician skills across specialties[J]． Acad Med，2004，79（10 suppl）：S5-S8．

[6]Archer J， McGraw M， Davies H． Assuring validity of multisource feedback in a national programme[J]． Postgrad Med J，2010，86 （1019）：526-531．

[7]Ramsey PG， Wenrich MD， Carline JD， et al． Use of peer ratings to evaluate physician performance[J]． JAMA，1993，269（13）：1655-1660．

[8]金新政，籍國章． 醫(yī)院經(jīng)營管理績效考核方法的研究[J]． 中國醫(yī)院統(tǒng)計，2004，11（3）：258-262．

A Systematic Review of the Reliability, Validity and Feasibility of 360-degree Evaluation Physician Assessment

ZHANG Jian1WU Huazhang2, 1 Stomatology College of Chinese Medical University, Shenyang 110002, China, 2 Chinese Medical University, Shenyang 110122, China

[Abstract]Objective To investigate the reliability, validity, and feasibility of 360-degree evaluation for the assessment of physicians. Methods We searched the EMBASE, MEDLINE and PubMed databases for peerreviewed, English-language articles published from 1975 to December 2013. Studies inclusion criteria was following: used 360-degree evaluation instruments to assess physician performance; reported psychometric evidence of the 360-degree evaluation instruments in the form of reliability, coefficients, and construct or criterion-related validity; and information regarding the feasibility of the feedback data. Results (1) A total of 43 articles were included, the specialties as following: family medicine(n=5), pediatrics(n=5), internal medicine(n=5), surgery(n=4),obstetricsgynecology(n=3), psychiatry(n=3), anesthesia(n=2), and emergency medicine(n=1), pathology(n=1), histopathology(n=1), radiology(n=1). (2) A total of 38(91%) studies were completed by the physicians’peers or medical colleagues, and nonphysician coworkers(n=32,74%), patients(n=23,53%), and self-assessments(n=22,51%). (3) The number of items was 4 to 57 items for self-assessment, 4 to 60 items for peers, 3 to 49 items for patient questionnaires. (4) The reliability of the 360-degree evaluation instruments was reported in 26(62%) of the studies. The instruments should have anα≥0.90, and medical colleague(0.89 to 0.99), coworker (0.91 to 0.96), and patient(0.93 to 0.99). The generalizability coeficients were derived in 17 studies(40%), and the coefficients for the medical colleague instrument ranged from 0.61 to 0.88, 0.56 to 0.87 for the coworker instrument, and 0.65 to 0.85 for patient instrument. (5) The assessment of physician performance was based on the completion of the 360-degree evaluation instruments by 8 medical colleagues, 8 coworkers, and 25 patients to achieve α≥0.90 and coeficients≥0.80, respectively. Conclusion The 360-degree evaluation as a method to assess physicians has been shown to have high reliability, validity, and feasibility.

[Key words]360-degree evaluation, Reliability, Validity, Feasibility, Systematic review

通訊作者：張健，E-mail：99982025@qq．com

doi：10．3969/j．issn．1674-9308．2016．03．001

【文章編號】1674-9308（2016）03-0001-03

【中圖分類號】R197

【文獻標識碼】A

作者單位：1 110002沈陽，中國醫(yī)科大學口腔醫(yī)學院；2 110122沈陽，中國醫(yī)科大學人文社科學院