王 勤,劉曉飛,江育林,母連志,丁 壯,林祥梅
(1.中國(guó)檢驗(yàn)檢疫科學(xué)研究院動(dòng)物檢疫研究所,北京 100029;2.吉林大學(xué)動(dòng)物醫(yī)學(xué)學(xué)院,吉林長(zhǎng)春 130062)
傳染病診斷方法的驗(yàn)證
王 勤1,劉曉飛1,江育林1,母連志2,丁 壯2,林祥梅1
(1.中國(guó)檢驗(yàn)檢疫科學(xué)研究院動(dòng)物檢疫研究所,北京 100029;2.吉林大學(xué)動(dòng)物醫(yī)學(xué)學(xué)院,吉林長(zhǎng)春 130062)
診斷敏感性和特異性是診斷方法驗(yàn)證過(guò)程中的兩個(gè)重要參數(shù)。本文通過(guò)分析和比較,詳細(xì)闡述了診斷敏感性和特異性在動(dòng)物檢疫工作中的重要性,厘清了其與分析敏感性和特異性的區(qū)別。通過(guò)計(jì)算分析比較了不同流行率對(duì)檢測(cè)結(jié)果可信度的影響,以及在同一流行率下,診斷敏感性和特異性變化對(duì)檢測(cè)結(jié)果可信度的影響。結(jié)果顯示,當(dāng)流行率低時(shí),診斷特異性對(duì)結(jié)果可信度的影響更大,診斷特異性的降低會(huì)導(dǎo)致陽(yáng)性檢測(cè)結(jié)果可信度顯著下降。因此在進(jìn)出境動(dòng)物檢疫工作中,不要一味強(qiáng)調(diào)分析特性,而要重視診斷特性;既要關(guān)注診斷敏感性,做到不漏檢;也要關(guān)注診斷特異性,做到不誤檢。
驗(yàn)證;診斷方法;診斷敏感性;診斷特異性
驗(yàn)證,即對(duì)某檢測(cè)方法是否適合檢測(cè)目的進(jìn)行確認(rèn)的過(guò)程,是判斷一種診斷方法在經(jīng)過(guò)一定的發(fā)展、優(yōu)化和標(biāo)準(zhǔn)化后能否達(dá)到預(yù)期目的的過(guò)程,包括對(duì)一種診斷方法的分析性能、診斷性能和重現(xiàn)性能的評(píng)估。驗(yàn)證可以充分了解診斷方法的性能特點(diǎn),從而保證選擇的診斷方法能夠達(dá)到預(yù)期目的,以便正確診斷動(dòng)物的患病情況,提供準(zhǔn)確的結(jié)果。
世界動(dòng)物衛(wèi)生組織(OIE)規(guī)定,診斷方法的驗(yàn)證流程主要對(duì)分析敏感性(Analytical sensitivity,ASe)、分析特異性(Analytical specificity,ASp)、診斷敏感性(Diagnostic sensitivity,DSe)、診斷特異性(Diagnostic specificity,DSp)、重復(fù)性(Repeatability)、再現(xiàn)性(Reproducibility)等六個(gè)參數(shù)進(jìn)行測(cè)定,總共分為四個(gè)階段:第一階段是對(duì)分析
性能進(jìn)行評(píng)估,包括分析敏感性、分析特異性、重復(fù)性和再現(xiàn)性的初步測(cè)定,主要對(duì)診斷方法是否能檢測(cè)到目的物進(jìn)行評(píng)估;第二階段是對(duì)診斷性能進(jìn)行評(píng)估,主要包括兩個(gè)參數(shù),即診斷敏感性和診斷特異性,主要評(píng)估診斷方法檢測(cè)的準(zhǔn)確性;第三階段是對(duì)可重現(xiàn)性進(jìn)行評(píng)估,包括對(duì)再現(xiàn)性和重復(fù)性的進(jìn)一步測(cè)定,是在不同地區(qū)或國(guó)家的幾個(gè)實(shí)驗(yàn)室使用相同的檢測(cè)方法進(jìn)行檢測(cè),主要對(duì)診斷方法的均一性進(jìn)行評(píng)估;第四階段是運(yùn)行階段,即對(duì)測(cè)試結(jié)果進(jìn)行解釋和診斷方法在其他實(shí)驗(yàn)室的應(yīng)用。如果一種診斷方法完成了前三個(gè)階段的測(cè)定,則可以認(rèn)為該方法能夠達(dá)到預(yù)期目的[1]。
在驗(yàn)證過(guò)程中非常重要的一個(gè)部分是對(duì)診斷特性即診斷敏感性和特異性的評(píng)估。診斷敏感性和診斷特異性是反映診斷方法準(zhǔn)確性的指標(biāo),不僅是驗(yàn)證過(guò)程中的主要參數(shù),也是確定無(wú)疫區(qū)、出入境口岸檢疫、進(jìn)行疫病傳入風(fēng)險(xiǎn)分析、流行病學(xué)調(diào)查、動(dòng)物免疫效果監(jiān)測(cè)等方面的重要參數(shù)。
診斷敏感性是已知被感染的動(dòng)物在檢測(cè)時(shí)也是陽(yáng)性結(jié)果的比例;診斷特異性是已知沒(méi)有被感染的動(dòng)物在檢測(cè)時(shí)得到陰性結(jié)果的比例[1]。其計(jì)算方法參見(jiàn)表1。如表1所示,將要驗(yàn)證的診斷方法的檢測(cè)結(jié)果與樣品的實(shí)際狀態(tài)相比較,通常是與公認(rèn)的“金標(biāo)準(zhǔn)”結(jié)果相比較,對(duì)DSe和DSp進(jìn)行計(jì)算?!敖饦?biāo)準(zhǔn)”是指完全準(zhǔn)確的試驗(yàn)方法或試驗(yàn)程序,能夠診斷出所有存在的特定疾病而沒(méi)有任何誤診和漏診[2],通常分為絕對(duì)金標(biāo)準(zhǔn)和相對(duì)金標(biāo)準(zhǔn)。絕對(duì)金標(biāo)準(zhǔn)一般指病原分離,而其他公認(rèn)的較準(zhǔn)確的診斷方法即為相對(duì)金標(biāo)準(zhǔn)。另外一種或幾種方法對(duì)狀態(tài)進(jìn)行驗(yàn)證。
表1 2×2列聯(lián)表
若“金標(biāo)準(zhǔn)”難以獲得或難以達(dá)到條件,可以使用統(tǒng)計(jì)學(xué)手段來(lái)估計(jì),如可應(yīng)用基于貝葉斯方法的潛在類別模型(latent class model)來(lái)對(duì)診斷方法進(jìn)行無(wú)偏估計(jì)[3-4]。
受試者工作特征曲線(ROC曲線)是一種評(píng)估診斷特性非常有效的輔助手段[5],因?yàn)樗C合評(píng)估了診斷方法在可能檢測(cè)值范圍內(nèi)的準(zhǔn)確度。
分析敏感性和診斷敏感性、分析特異性和診斷特異性是兩對(duì)易混淆的概念。分析敏感性和分析特異性是驗(yàn)證診斷方法分析性能的兩個(gè)參數(shù)。分析敏感性通常用檢測(cè)限(LOD)來(lái)表示,是在一個(gè)樣品中被分析物能夠直接檢測(cè)到的最小量[1]。分析特異性是指診斷方法區(qū)分目標(biāo)檢測(cè)物與其他組分的能力,用選擇性[6]、排他性、包容性三種能力來(lái)測(cè)定,通常選擇種屬相近的抗原或血清來(lái)檢測(cè)是否具有交叉反應(yīng)。
從定義上來(lái)看,這兩對(duì)概念區(qū)別顯著。分析敏感性是診斷方法的最低檢測(cè)限,而診斷敏感性是陽(yáng)性參考動(dòng)物中檢測(cè)結(jié)果為陽(yáng)性的比例;分析特異性是診斷方法與其他成分無(wú)交叉反應(yīng)的程度,而診斷特異性是陰性參考動(dòng)物中檢測(cè)結(jié)果為陰性的比例。分析與診斷這兩對(duì)概念有本質(zhì)區(qū)別,特別是分析敏感性和診斷敏感性,要辨明這兩個(gè)概念,首先要區(qū)別“感染”和“污染”。疫病診斷中,我們所關(guān)心的是動(dòng)物是否感染了某種疫病,而不是注重動(dòng)物感染了多少病原。因此,要更加看重診斷敏感性和診斷特異性,而不是一味強(qiáng)調(diào)最低檢測(cè)限。
診斷敏感性在一定程度上反映了漏檢率。診斷敏感性越高,漏檢率就越低。(漏檢率=1-Dse)因此,在實(shí)際工作中,特別是進(jìn)出境動(dòng)物檢疫工作中,診斷敏感性往往受到關(guān)注。其實(shí),診斷特異性也同等重要。
舉個(gè)簡(jiǎn)單的例子。如表2所示,假設(shè)待檢群體數(shù)量為20 000,某種方法的診斷敏感性為95%,診斷特異性為90%,流行率由1%到50%變化時(shí),陽(yáng)性結(jié)果的可信度由8.76%上升至90.48%,陰性結(jié)果的可信度由99.94%降到94.74%??梢?jiàn),流行率不同時(shí),陽(yáng)性結(jié)果可信度的變化會(huì)更大,隨著流
行率的降低,陽(yáng)性結(jié)果的可信度會(huì)迅速降低。
而在出入境動(dòng)物檢疫中,要檢測(cè)的群體疫病流行率都較低,更加注重的是陽(yáng)性結(jié)果的可信度,陽(yáng)性結(jié)果可信度與診斷特異性的關(guān)系更大,所以診斷特異性更重要,其對(duì)診斷結(jié)果的可信度影響更大。
在低流行率的情況下,陽(yáng)性結(jié)果的可信度變化如表3所示。當(dāng)檢測(cè)疫病流行率為0.1%、動(dòng)物數(shù)量為100 000的群體中,有100為染病動(dòng)物,99 900為健康動(dòng)物,當(dāng)診斷特異性保持99%不變,診斷敏感性為100%時(shí),陽(yáng)性結(jié)果的可信度為9.1%;診斷敏感性下降到90%時(shí),陽(yáng)性結(jié)果的可信度下降到8.3%,診斷敏感性的下降引起的可信度變化并不大。當(dāng)診斷敏感性保持99%不變的情況下,診斷特異性由100%下降到99.9%時(shí),陽(yáng)性結(jié)果的可信度由100%下降到49.7%,下降的幅度較大。而當(dāng)診斷特異性下降到99%時(shí),陽(yáng)性結(jié)果的可信度已不足10%;診斷特異性為90%時(shí),陽(yáng)性結(jié)果的可信度不足1%。這說(shuō)明在流行率不變的情況下,診斷特異性的變化比診斷敏感性的變化對(duì)陽(yáng)性結(jié)果的可信度影響更大,陽(yáng)性結(jié)果的可信度隨著診斷特異性的減小而急劇下降。因此,在被檢群體流行率低的情況下,診斷特異性比診斷敏感性對(duì)陽(yáng)性結(jié)果可信度的影響要大得多,選擇一個(gè)診斷特異性更高的方法能夠得到更加準(zhǔn)確的陽(yáng)性結(jié)果。需要特別指出的是,如果診斷特異性不高,在這種情況下分析敏感性越高越有害。
表2 不同流行率下可信度變化
表3 陽(yáng)性結(jié)果可信度在不同診斷敏感性和診斷特異性時(shí)的變化
綜上所述,診斷方法的驗(yàn)證是診斷方法建立后的一項(xiàng)重要評(píng)估工作,可對(duì)確診臨床病例、確定無(wú)疫區(qū)、風(fēng)險(xiǎn)分析評(píng)估、流行病學(xué)調(diào)查、動(dòng)物免疫效果監(jiān)測(cè)等選擇合適的診斷方法提供參考。在驗(yàn)證過(guò)程中要注重診斷特性的評(píng)估,特別是要對(duì)診斷敏感性和特異性有準(zhǔn)確的理解。注意區(qū)別診斷敏感性和分析敏感性,診斷特異性和分析特異性。在動(dòng)物檢疫工作中,要更注重診斷敏感性和診斷特異性而不是一味強(qiáng)調(diào)最低檢測(cè)限。診斷特性中的兩個(gè)指標(biāo)診斷特異性和診斷敏感性同等重要。當(dāng)疫病流行率低的時(shí)候,診斷特異性對(duì)陽(yáng)性結(jié)果的可信度影響非常大,更要關(guān)注診斷特異性。進(jìn)出境動(dòng)物檢疫工作中,接觸到的多為低流行率的動(dòng)物群體,因此在關(guān)注診斷敏感性的同時(shí),要關(guān)注診斷特異性。
[1]OIE. Manual of Diagnostic Tests and Vaccines for Terrestrial Animals[M]. chapter 1.1.5.Paris:World Organisation for Animal Health,2013.
[2]Ian Dohoo,Wayne Martin,Henrik Stryhn. 獸醫(yī)流行病學(xué)研究[M]. 劉秀梵,吳艷濤,宗序平,譯. 2版. 北京:中國(guó)農(nóng)業(yè)出版社,2012:74-76.
[3]En?e C,Georgiadis M P,Johnson W O. Estimation of sensitivity and specificity of diagnostic tests and disease prevalence when the true disease state is unknown[J]. Preventive veterinary medicine,2000,45(1):61-81.
[4]Hui S L,Walter S D. Estimating the error rates of diagnostic tests[J]. Biometrics,1980,36(1):167-171.
[5]Greiner M,Pfeiffer D,Smith R D. Principles and practical application of the receiveroperating characteristic analysis for diagnostic tests[J]. Preventive veterinary medicine,2000,45(1):23-41.
[6]Vessman J,Stefan R I,van Staden J F,et al. Selectivity in analytical chemistry(IUPAC Recommendations 2001)[J]. Pure and Applied Chemistry,2001,73(8):1381-1386.
(責(zé)任編輯:朱迪國(guó))
Validation of Diagnostic Assays for Infectious Diseases
Wang Qin1,Liu Xiaofei1,Jiang Yulin1,Mu Lianzhi2,Ding Zhuang2,Lin Xiangmei1
(1.Chinese Academy of Inspection and Quarantine Institute of Animal Quarantine,Beijing 100029;2. College of Animal Medicine,Jilin University,Changchun,Jilin 130062)
Diagnostic sensitivity(Dse)and diagnostic specifi city(Dsp)are two key parameters in validation of diagnostic assays for infectious diseases,showing the accuracy performance of a diagnostic assay. In this paper,the importance of Dse and Dsp in animal quarantine inspection was analyzed by comparing the differences between the analytical characters and diagnostic ones. The infl uence trends of reliability of detections were calculated with different prevalence rates. Results show that when the prevalence rate is low,the decrease of Dsp impacts reliability of positive results more greatly:a little reduction of Dsp will lead to a signifi cant decrease in the reliability of the positive results. Therefore,in entry and exit animal quarantine inspection,the characteristics of the analysis should not be blindly emphasized,but attention should be paid to the diagnosis of characteristics. Compared with Dse,Dsp is equally important. We should not only focus on Dse to decrease the missing rate,but also pay attention to Dsp of diagnostic assay to reduce the false rate as possible as we can.
validation;diagnostic assay;diagnostic sensitivity;diagnostic specifi city
S854.4
A
1005-944X(2015)08-0053-03
國(guó)家質(zhì)檢總局科技計(jì)劃項(xiàng)目——豬藍(lán)耳病抗體檢測(cè)試劑盒貝葉斯方法質(zhì)量評(píng)價(jià)模型的建立(2014IK230);中國(guó)檢驗(yàn)檢疫科學(xué)研究院基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目——?jiǎng)游餀z疫風(fēng)險(xiǎn)分析中關(guān)鍵參數(shù)的精準(zhǔn)估計(jì)(2014JK030)
林祥梅
注:王勤、劉曉飛并列第一作者