馮仁豐
(上海市臨床檢驗(yàn)中心,上海200126)
美國(guó)于1988年發(fā)布了臨床實(shí)驗(yàn)室修正法規(guī)(CLIA’88)。該法規(guī)明確規(guī)定了描述一個(gè)檢測(cè)系統(tǒng)分析性能的指標(biāo)包括7個(gè)方面:(1)精密度;(2)正確度;(3)患者結(jié)果可報(bào)告范圍;(4)分析靈敏度;(5)分析特異性;(6)參考區(qū)間;(7)其它必須的性能[1]。
為什么要將精密度放在檢測(cè)系統(tǒng)分析性能的第1位?關(guān)鍵原因是臨床實(shí)驗(yàn)室在檢測(cè)患者樣品時(shí),對(duì)樣品中的任何分析物或項(xiàng)目都只做一次檢測(cè)就發(fā)出報(bào)告!這是全球臨床實(shí)驗(yàn)室的特殊之處!因此,確保檢測(cè)結(jié)果可靠性的第一前提是檢測(cè)結(jié)果的精密度要好,也就是同一份樣品再次檢測(cè)的結(jié)果與第1次是相同的!否則臨床和患者均不會(huì)對(duì)檢測(cè)結(jié)果感到滿意。當(dāng)臨床和患者對(duì)臨床實(shí)驗(yàn)室的結(jié)果有懷疑時(shí)就會(huì)要求臨床實(shí)驗(yàn)室重做一次檢測(cè)。如果重復(fù)檢測(cè)的結(jié)果與上次報(bào)告的結(jié)果一致,臨床與患者均會(huì)認(rèn)為臨床實(shí)驗(yàn)室報(bào)告的結(jié)果是“準(zhǔn)確”的!兩次檢測(cè)結(jié)果一樣還不準(zhǔn)確嗎?其實(shí)這并不是準(zhǔn)確度好,而是精密度好!由此可見,在任何時(shí)候,確保精密度是臨床實(shí)驗(yàn)室的首要任務(wù)。
《2012年國(guó)際計(jì)量學(xué)詞匯——基礎(chǔ)與通用》[2]的概念和相關(guān)術(shù)語(VIM)中,第 2.15 節(jié)定義測(cè)量精密度(measurement precision)[簡(jiǎn)稱精密度(precision)]為在規(guī)定條件下對(duì)同一或類似被測(cè)對(duì)象重復(fù)測(cè)量所得示值或被測(cè)量的量值間的一致程度。注意:(1)測(cè)量精密度通常用不精密度表示,其值以數(shù)字形式表示,如在規(guī)定測(cè)量條件下的標(biāo)準(zhǔn)差(s)、方差或變異系數(shù)(CV);(2)規(guī)定條件可以是測(cè)量的重復(fù)性條件、測(cè)量的綜合(intermediate)精密度條件或測(cè)量的再現(xiàn)性(reproducibility)條件;(3)測(cè)量精密度用于定義測(cè)量的重復(fù)性、綜合的測(cè)量精密度或測(cè)量再現(xiàn)性;(4)術(shù)語“測(cè)量精密度”有時(shí)用于指“測(cè)量準(zhǔn)確度”,這是錯(cuò)誤的。美國(guó)臨床實(shí)驗(yàn)室標(biāo)準(zhǔn)化協(xié)會(huì)(Clinical and Laboratory Standards Institute,CLSI)EP5-A2文件中對(duì)這些規(guī)定條件都做了說明[3]。
最近,某公司準(zhǔn)備將 CLSI EP15文件[4]寫成便于臨床實(shí)驗(yàn)室使用的應(yīng)用軟件。我認(rèn)為在形成軟件之前必須充分理解CLSI EP15文件的統(tǒng)計(jì)含義,絕不能依樣畫葫蘆。否則,當(dāng)今后有客戶遇到不理解的問題進(jìn)行咨詢時(shí),公司只會(huì)回答:這是美國(guó)CLSI EP15-A文件規(guī)定的!但是,該公司的想法促使我再次認(rèn)真閱讀該文件與EP5文件。
CLSI EP15文件的重點(diǎn)是讓臨床實(shí)驗(yàn)室在使用某個(gè)新引入的檢測(cè)系統(tǒng)時(shí)必須對(duì)廠商聲明的精密度和正確度分析性能進(jìn)行驗(yàn)證。當(dāng)我再次閱讀EP5文件時(shí),發(fā)現(xiàn)在EP5文件中已對(duì)如何驗(yàn)證廠商聲明的精密度提出了實(shí)驗(yàn)方案。EP5和EP15文件驗(yàn)證廠商精密度性能的統(tǒng)計(jì)做法是一樣的。臨床實(shí)驗(yàn)室使用與某個(gè)廠商聲明中相似分析物濃度的樣品進(jìn)行精密度實(shí)驗(yàn),得到該分析物項(xiàng)目的不精密度指標(biāo)(s或CV)。如該指標(biāo)低于廠商聲明中提供的不精密度指標(biāo)(s或CV),則臨床實(shí)驗(yàn)室的精密度性能驗(yàn)證通過;若該指標(biāo)高于廠商聲明,則臨床實(shí)驗(yàn)室該分析物項(xiàng)目的精密度性能驗(yàn)證未通過,需要進(jìn)行統(tǒng)計(jì)學(xué)檢驗(yàn)。經(jīng)統(tǒng)計(jì)學(xué)檢驗(yàn)后,如果臨床實(shí)驗(yàn)室的不精密度指標(biāo)與廠商聲明無明顯差異,即可認(rèn)為臨床實(shí)驗(yàn)室的精密度性能通過驗(yàn)證,反之則為不符合要求。
我反復(fù)閱讀這兩個(gè)文件,突然注意到它們?cè)谶M(jìn)行精密度(CV或s)比較時(shí)沒有使用方差檢驗(yàn)(F-test),卻使用了卡方(χ2)檢驗(yàn)!這令我感到非常突然。我查閱我的統(tǒng)計(jì)學(xué)書籍[5-6],書中均無答案。這些書籍提供的信息與我了解的一樣,從來沒有介紹使用卡方檢驗(yàn)去判斷不精密度(s或CV)的大小。于是我只能向CLSI專家請(qǐng)教,他們很快就給了回答。經(jīng)過幾次的交流,編寫CLSI EP15文件的主席Dr.Neill Carey給出了很好的回答,還怕我不理解,一定要我提出看法。我在EP5文件中看到了相關(guān)參考文獻(xiàn),但未找到相關(guān)的資料。因此我很希望他能夠提供使用卡方檢驗(yàn)進(jìn)行精密度評(píng)價(jià)的原始文件,但他們回答我說沒有參考文獻(xiàn)!最后,Dr.Neill Carey給了我一個(gè)非常詳細(xì)的討論精密度問題的多媒體文件。這給了我很大的啟發(fā),讓我知道了一個(gè)小小的不精密度指標(biāo)還有許許多多的學(xué)問。
我應(yīng)該是國(guó)內(nèi)最早了解CLSI的人員之一。早在1988年澳大利亞進(jìn)修期間,看到導(dǎo)師有許多CLSI文件我幸喜若狂。在征得導(dǎo)師的許可后,我復(fù)制了幾個(gè)認(rèn)為最要緊的標(biāo)準(zhǔn)文件,其中之一即為EP5文件(定量檢測(cè)方法精密度的評(píng)價(jià))[7]。回國(guó)后,我反復(fù)多遍閱讀這個(gè)文件,而且還看過該文件的每一個(gè)修改版本。自認(rèn)為熟悉和了解EP5文件的我恰恰只著重閱讀該文件的前半部分,忽略了后面驗(yàn)證部分,導(dǎo)致不知道以卡方檢驗(yàn)比較s的大小已經(jīng)有了30余年!
為了彌補(bǔ)我過去的疏忽,近期我重新認(rèn)真閱讀EP5-A2文件。閱讀后更感到許多早已經(jīng)在20年前講到的問題我卻一直沒有去理解!盡管EP5-A3及EP15-A2文件將在今年6月發(fā)布,但要讀到新的文件還需要一段時(shí)間。因此,溫故知新已不能再等待。
1.方法學(xué)比較中精密度性能的影響 為什么在方法學(xué)比較中,在評(píng)估檢測(cè)系統(tǒng)的正確度時(shí)EP9文件[8]強(qiáng)調(diào)對(duì)每份比對(duì)樣品進(jìn)行雙份檢測(cè)?主要原因是當(dāng)兩個(gè)比較方法對(duì)每個(gè)樣品僅做單次檢測(cè)時(shí)會(huì)受到方法不精密度很大的影響,使最后正確度性能的評(píng)估產(chǎn)生偏移。因此,在進(jìn)行方法學(xué)比較了解系統(tǒng)誤差時(shí),如果兩個(gè)比較方法僅對(duì)每個(gè)樣品只做一次比對(duì),肯定會(huì)嚴(yán)重受檢測(cè)不精密度的影響,導(dǎo)致比對(duì)誤差過大。
2.不精密度對(duì)線性實(shí)驗(yàn)的影響 EP6文件[9]是定量檢測(cè)線性評(píng)價(jià)的文件。線性評(píng)價(jià)需對(duì)系列已知濃度或稀釋關(guān)系的樣品進(jìn)行檢測(cè)。最早的EP6-P文件要求對(duì)每份樣品進(jìn)行4次重復(fù)檢測(cè)。只有這樣才能了解在實(shí)驗(yàn)中每組樣品的檢測(cè)結(jié)果是否產(chǎn)生了離群點(diǎn),也可真實(shí)了解是否確實(shí)具有線性。這就是精密度性能對(duì)線性評(píng)價(jià)實(shí)驗(yàn)的影響。檢測(cè)范圍(measuring range)[可報(bào)告范圍(repotable range)]定義為測(cè)量誤差限定在一個(gè)特定范圍內(nèi)的分析物測(cè)量的一系列值。注意:EP6-P文件的值的范圍[分析物(被測(cè)量)相應(yīng)計(jì)量單位]在整個(gè)范圍內(nèi)符合方法的可接受指標(biāo),即非線性、不精密度或其他來源的誤差應(yīng)在確定的限值之內(nèi)。由此可見,在分析線性的定義中已提及了不精密度對(duì)整個(gè)檢測(cè)結(jié)果的影響。
3.不精密度對(duì)基質(zhì)效應(yīng)評(píng)估的影響 EP14文件是評(píng)價(jià)基質(zhì)效應(yīng)的文件[10]。為了確認(rèn)不同類型的樣品是否具有基質(zhì)偏移,EP14文件要求對(duì)每個(gè)樣品至少進(jìn)行3次重復(fù)檢測(cè)。醫(yī)學(xué)事業(yè)的發(fā)展促使臨床對(duì)更多疾病有了深入了解,同時(shí)也對(duì)臨床實(shí)驗(yàn)室提出了更高的要求。面臨眾多分析物、“被測(cè)量”和各類疾病的患者,臨床實(shí)驗(yàn)室必須較以往更重視臨床檢驗(yàn)基質(zhì)效應(yīng)以及不同批號(hào)試劑盒間檢測(cè)結(jié)果的差異!
4.不精密度對(duì)分析靈敏度的影響 EP17文件是確定檢出限值和定量限值的重要文件[11]。對(duì)某個(gè)檢測(cè)系統(tǒng)可報(bào)告的最低分析物濃度的確定依賴于該檢測(cè)系統(tǒng)(方法學(xué))的不精密度水平。如果廠商或臨床實(shí)驗(yàn)室不認(rèn)真進(jìn)行精密度實(shí)驗(yàn),將由錯(cuò)誤的過小的s估計(jì)出“檢出靈敏度”作為自己產(chǎn)品或某個(gè)檢測(cè)系統(tǒng)的最佳檢出限值,那么就會(huì)對(duì)臨床診斷造成危害!
在所有的分析性能中,精密度性能只要進(jìn)行重復(fù)檢測(cè),計(jì)算均值()和s即可。這種做法涉及到多個(gè)問題。
1.分析物濃度 不同分析物濃度會(huì)影響不精密度中s大小,所以應(yīng)選擇適當(dāng)?shù)姆治鑫餄舛冗M(jìn)行重復(fù)性實(shí)驗(yàn)。
2.基質(zhì)差異 絕大多數(shù)實(shí)驗(yàn)室直接使用質(zhì)控品進(jìn)行重復(fù)性實(shí)驗(yàn),沒有意識(shí)到質(zhì)控品與患者天然樣品的基質(zhì)差異。隨著臨床對(duì)實(shí)驗(yàn)室的需求不斷增加,實(shí)驗(yàn)室可以開展的分析物或項(xiàng)目的不斷增多,臨床實(shí)驗(yàn)室需要隨時(shí)注意在檢測(cè)某些特殊分析物時(shí)真實(shí)樣品與質(zhì)控品的顯著差異。此時(shí)就需使用患者真實(shí)樣品或其混合物(混合血清)進(jìn)行分析性能評(píng)估及開展質(zhì)量控制。
3.精密度估計(jì)的重要性 目前,臨床實(shí)驗(yàn)室無論在評(píng)估某檢測(cè)系統(tǒng)精密度性能還是開展質(zhì)量控制時(shí)均忽略了精密度估計(jì)的重要性。更有甚者,直接使用每天質(zhì)量控制的重復(fù)數(shù)據(jù)計(jì)算不精密度。該數(shù)據(jù)既是該檢測(cè)系統(tǒng)的精密度,又是開展質(zhì)量控制的基礎(chǔ)資料。但是,我們是否注意到,采用某個(gè)檢測(cè)系統(tǒng)或方法對(duì)樣品連做20次重復(fù)檢測(cè),計(jì)算和s,得出該檢測(cè)系統(tǒng)或方法的精密度;若再次進(jìn)行這樣的批內(nèi)重復(fù)檢測(cè),可以發(fā)現(xiàn)兩次精密度結(jié)果不一致!多年前,某雜志上的一篇有關(guān)精密度的文章引起了討論。經(jīng)詢問,作者為了突出自己報(bào)道的檢測(cè)方法的性能,在多組重復(fù)檢測(cè)數(shù)據(jù)中找出s最小的一組數(shù)據(jù)作為該檢測(cè)方法的性能資料。而讀者僅做幾次這樣的重復(fù)檢測(cè)實(shí)驗(yàn),計(jì)算得出的s總是比該篇文章的大,因此認(rèn)為該篇文章的數(shù)據(jù)是捏造的。在設(shè)計(jì)一個(gè)評(píng)價(jià)實(shí)驗(yàn)時(shí),必須事先就決定如何很好地確定檢測(cè)設(shè)備的實(shí)際精密度。每運(yùn)行一次精心設(shè)計(jì)的精密度方案,就會(huì)得到檢測(cè)設(shè)備精密度的一個(gè)估計(jì)值。盡管檢測(cè)設(shè)備的實(shí)際精密度是相同的。但當(dāng)相同實(shí)驗(yàn)室相同檢測(cè)設(shè)備再次運(yùn)行相同方案時(shí)將得到一個(gè)不同的精密度估計(jì)值。這些精密度的估計(jì)值預(yù)期會(huì)環(huán)繞分布于一個(gè)“真值”的周圍。觀察得到的估計(jì)值越多,“真實(shí)”精密度的周圍也就更緊密。一般來說,觀察數(shù)越大,一個(gè)估計(jì)值的可信性就越大;估計(jì)值的可信性越大,對(duì)檢出性能的“統(tǒng)計(jì)功效”也就越大。所以,臨床實(shí)驗(yàn)室一定要認(rèn)真重視自己的實(shí)驗(yàn)工作,記錄每天開展的質(zhì)量控制使用的和s,將每月的質(zhì)量控制數(shù)據(jù)累積計(jì)算,求出真實(shí)的和s,這樣才如實(shí)地反映實(shí)驗(yàn)室的狀態(tài)。
4.EP5文件[3]精密度實(shí)驗(yàn)方案的主要做法 EP5文件中提出的“批內(nèi)不精密度”、“批間不精密度”的實(shí)驗(yàn)方案是較客觀地反映真實(shí)不精密度的估計(jì)??上?,國(guó)內(nèi)大多實(shí)驗(yàn)室并沒有這樣去做。期望大家能花點(diǎn)精力,認(rèn)真學(xué)習(xí)EP5文件中的實(shí)驗(yàn)方案。EP5文件的做法可以概括成幾句話:每天做2批、每批做2份、連做20 d;每批2個(gè)結(jié)果間的差異就是該樣品該批檢測(cè)不精密度的具體表現(xiàn)。每天上、下午各做一批,最后的數(shù)據(jù)為20 d、40對(duì)、80個(gè)。將40對(duì)結(jié)果間的不精密度差異合在一起就會(huì)得到較客觀的“批內(nèi)不精密度”的估計(jì)。每批做雙份,每天做2批,將每批結(jié)果求,它代表了這批檢測(cè)的平均水平。1 d內(nèi)兩批結(jié)果間的差異表明了每天檢測(cè)“批間”的不精密度差異。將20 d的“批間”差異合在一起統(tǒng)計(jì),得到了20 d內(nèi)批間不精密度的估計(jì)。由于這一估計(jì)必然包含了批內(nèi)不精密度的影響,那么通過方差估計(jì)的計(jì)算就可以得到批間不精密度的估計(jì)。每批做雙份、每天做2批,則2批4個(gè)結(jié)果的(也可以是各批結(jié)果的)代表當(dāng)天對(duì)該樣品檢測(cè)的平均水平。一共檢測(cè)了20 d,有20個(gè)每天的檢測(cè)。將這些求一個(gè)總(也可以用80個(gè)結(jié)果計(jì)算)。所有每天對(duì)總的離散程度就是實(shí)驗(yàn)室“天間”的不精密度估計(jì)。將批內(nèi)不精密度的s、批間不精密度的s和天間不精密度的s以方差的形式疊加,得到這20 d在同一檢驗(yàn)人員操作下,同一檢測(cè)系統(tǒng)對(duì)同一實(shí)驗(yàn)樣品的精密度估計(jì)。多年前將這樣的估計(jì)稱為“總不精密度”估計(jì),現(xiàn)在認(rèn)為這個(gè)名稱不妥當(dāng),改稱為“實(shí)驗(yàn)室內(nèi)精密度(within-laboratory precision)”。
EP5文件這樣認(rèn)真的實(shí)驗(yàn)方案是否能很完美地反映臨床實(shí)驗(yàn)室中檢測(cè)系統(tǒng)對(duì)分析物的真實(shí)不精密度水平?30年前,起草EP5文件的專家們就已經(jīng)想的很多、很遠(yuǎn)。他們是臨床實(shí)驗(yàn)室專家、質(zhì)量管理專家、統(tǒng)計(jì)學(xué)專家、臨床專家和行政管理官員等的完整組合。
1.EP5文件的目的 起草EP5文件的專家們首先考慮的是該文件的目的。EP5文件是為體外診斷(IVD)設(shè)備廠商和臨床實(shí)驗(yàn)室方法的開發(fā)者們建立他們方法的精密度能力,也為這些方法的用戶們確認(rèn)性能聲明的驗(yàn)證,或度量他們自己的精密度。自動(dòng)檢測(cè)程序的用戶僅使用最簡(jiǎn)單的方案驗(yàn)證廠商精密度聲明應(yīng)按照EP15-A2文件(用戶展示精密度和準(zhǔn)確度性能)進(jìn)行。該導(dǎo)則對(duì)以上情況是完全通用的,因?yàn)樗丝紤]精密度估計(jì)可靠性的目標(biāo)。EP5文件也適用于對(duì)近期方法做了顯著修改的實(shí)驗(yàn)室。當(dāng)使用修改的某個(gè)IVD設(shè)備或方法時(shí),用戶需要確認(rèn)設(shè)備的基本性能特性沒有改變,但與原有聲明精密度性能進(jìn)行比較可能不是有效的。典型修改的示例是使用的試劑、樣品來源、校準(zhǔn)或質(zhì)控物質(zhì)或操作程序等不同于廠商使用說明中規(guī)定的。
2.在精密度性能確認(rèn)和驗(yàn)證上的要求有區(qū)別 針對(duì)我國(guó)大多實(shí)驗(yàn)室均為“已經(jīng)修改了原廠商檢測(cè)系統(tǒng)組成”的情況,所以不能簡(jiǎn)單地去驗(yàn)證性能,應(yīng)該是去確認(rèn)性能(即建立實(shí)驗(yàn)室自行組合的檢測(cè)系統(tǒng)的性能)或是建立新組合的檢測(cè)系統(tǒng)的分析性能。因此,應(yīng)使用EP5文件的方案確認(rèn)精密度性能。
3.實(shí)驗(yàn)時(shí)間長(zhǎng)短對(duì)精密度性能的影響 EP5文件的實(shí)驗(yàn)設(shè)計(jì)著重考慮了實(shí)驗(yàn)時(shí)間長(zhǎng)短對(duì)精密度性能的影響。由于已經(jīng)考慮到許多因素會(huì)影響精密度的結(jié)果,所以EP5文件設(shè)計(jì)方案中已經(jīng)規(guī)定了在一臺(tái)儀器上,一個(gè)批號(hào)的試劑、一個(gè)批號(hào)的校準(zhǔn)品、一個(gè)操作人員的條件下得到的不精密度水平。在這樣的條件下,實(shí)驗(yàn)時(shí)間成為最重要的因素,用以區(qū)分不同的精密度結(jié)果。用來敘述與實(shí)驗(yàn)時(shí)間有關(guān)的精密度詞語有重復(fù)性(repeatability)、批間精密度(between-run precision)、天間精密度(between-day precision)、實(shí)驗(yàn)室內(nèi)精密度(within-laboratory precision)。在這些精密度中,重復(fù)性和實(shí)驗(yàn)室內(nèi)精密度一般是最受重視的。EP5文件的實(shí)驗(yàn)設(shè)計(jì)沒有合并或特別單獨(dú)估計(jì)其它可能的重要變異來源,如校準(zhǔn)品或試劑批號(hào)的差異、或技師/操作人員的差異;但是廠商應(yīng)包括這樣的因素以及在不同場(chǎng)地的設(shè)備間的變異。影響精密度的其它因素如樣品準(zhǔn)備、檢測(cè)材料穩(wěn)定性、交叉污染和漂移等被包括在本方案中作為實(shí)驗(yàn)室內(nèi)部精密度的來源,但沒有分別估計(jì)。在EP5文件完整的方案中會(huì)使用一個(gè)批號(hào)的試劑和校準(zhǔn)品,但結(jié)果的解釋(在合適時(shí)明確標(biāo)記)必須包括這個(gè)事實(shí),因?yàn)檫@樣的結(jié)果會(huì)低估長(zhǎng)期實(shí)驗(yàn)室內(nèi)(或設(shè)備內(nèi))精密度。引入多批試劑和校準(zhǔn)品將增加觀察的變異,盡管實(shí)驗(yàn)方案中沒有允許分別估計(jì)這些因素的影響,但會(huì)較好地反映檢測(cè)系統(tǒng)在實(shí)際使用中的真實(shí)的精密度性能。
4.我的理解 上述內(nèi)容明確告訴我們,在估計(jì)某個(gè)檢測(cè)系統(tǒng)的精密度性能時(shí),越與日常檢驗(yàn)工作接軌就越真實(shí)。因此,在估計(jì)精密度時(shí)不僅需要如EP5文件要求的20 d、40批、80個(gè)結(jié)果的做法;而且還應(yīng)考慮多個(gè)操作人員輪班操作、換用不同批號(hào)的試劑和/或校準(zhǔn)品、重新校準(zhǔn)等因素,將這些日常的變異因素加入到精密度估計(jì)的影響因素中,得到真實(shí)的精密度水平。但決不可加入隨意更換試劑廠商、隨意調(diào)整計(jì)算因子等不規(guī)范行為造成的影響因素!
1.驗(yàn)證精密度的問題 當(dāng)前的實(shí)驗(yàn)室管理要求中規(guī)定實(shí)驗(yàn)室在使用檢測(cè)系統(tǒng)檢測(cè)患者樣品、發(fā)出檢測(cè)報(bào)告前必須驗(yàn)證檢測(cè)系統(tǒng)的分析性能,確認(rèn)其分析性能符合廠商說明書中的聲明(claim)。因此,檢測(cè)系統(tǒng)廠商建立的分析性能必須要比臨床實(shí)驗(yàn)室的常規(guī)檢測(cè)更加嚴(yán)格。CLSI EP5文件中對(duì)廠商建立分析性能也提出了相應(yīng)的建議。國(guó)內(nèi)外有那么多試劑、儀器組成的各種不同的檢測(cè)系統(tǒng)均被我國(guó)CFDA批準(zhǔn)準(zhǔn)許銷售。但是各家廠商在建立分析性能的嚴(yán)密性上各不相同。按照美國(guó)政府的認(rèn)識(shí),無論FDA對(duì)IVD產(chǎn)品的管理還是CLIA對(duì)臨床實(shí)驗(yàn)室的管理均代表政府行為。因此,臨床實(shí)驗(yàn)室使用的IVD產(chǎn)品必須得到FDA的批準(zhǔn);臨床實(shí)驗(yàn)室在使用前必須按照CLIA要求對(duì)分析性能進(jìn)行驗(yàn)證(驗(yàn)收)。驗(yàn)證的指標(biāo)就是廠商的分析性能聲明!所以,廠商的分析性能指標(biāo)就成為國(guó)家要求實(shí)驗(yàn)室“遵守”的要求!那么在驗(yàn)證中,臨床實(shí)驗(yàn)室得到的精密度性能如何與廠商聲明的精密度性能進(jìn)行比較呢?現(xiàn)在的做法很簡(jiǎn)單:在與廠商精密度指標(biāo)采用的分析物濃度幾近一致的條件下,只要臨床實(shí)驗(yàn)室得到的s低于廠商的指標(biāo),該分析物項(xiàng)目的精密度性能即被驗(yàn)證!但實(shí)驗(yàn)室管理部門從來沒有考慮過:廠商說明書中的精密度指標(biāo)是否符合要求?實(shí)驗(yàn)室的實(shí)驗(yàn)方案是否符合要求?廠商在建立分析性能時(shí)大多會(huì)選擇簡(jiǎn)便的方法。而且為了說明產(chǎn)品質(zhì)量的優(yōu)秀,相關(guān)數(shù)據(jù)也會(huì)選擇偏小的進(jìn)行報(bào)告。因此,臨床實(shí)驗(yàn)室越是認(rèn)真的進(jìn)行相關(guān)實(shí)驗(yàn),得到的精密度數(shù)據(jù)就越客觀,但精密度性能通過驗(yàn)證的機(jī)率也越小!所以沒有臨床實(shí)驗(yàn)室愿意嚴(yán)格按照CLSI EP5文件的要求進(jìn)行相關(guān)實(shí)驗(yàn)。這種做法是當(dāng)今臨床實(shí)驗(yàn)室的嚴(yán)重弊病!也正因?yàn)槿绱?,?dāng)臨床實(shí)驗(yàn)室的精密度指標(biāo)與廠商的精密度指標(biāo)進(jìn)行比較時(shí),兩個(gè)精密度均不確切,很難說明究竟哪個(gè)精密度更真實(shí)!
2.專家的認(rèn)識(shí) 編制CLSI EP5文件的專家很早就認(rèn)識(shí)到:僅僅將2個(gè)s放在一起比較數(shù)值是不可靠的。值得注意的是,這些比較是一個(gè)濃度下的點(diǎn)的比較!在廠商沒有說明得到s的實(shí)際實(shí)驗(yàn)方案,但產(chǎn)品又獲得政府批準(zhǔn)的情況下,只能假設(shè)廠商s的自由度為無窮大!臨床實(shí)驗(yàn)室的驗(yàn)證實(shí)驗(yàn)也做的很簡(jiǎn)單,最終導(dǎo)致得到的精密度只能是“真實(shí)s”的一個(gè)很粗糙的抽樣,不可靠的因素很多。因此,在臨床實(shí)驗(yàn)室的精密度指標(biāo)與廠商比較時(shí),必須調(diào)整檢測(cè)的自由度(degree of freedom),使兩者標(biāo)準(zhǔn)差的比較在相應(yīng)估計(jì)的自由度下進(jìn)行。
3.我的膚淺認(rèn)識(shí) Westgard 等[12]提到,在方法評(píng)價(jià)研究中,F(xiàn)檢驗(yàn)有時(shí)候用于比較檢測(cè)方法和比較方法的方差。方差簡(jiǎn)單地說就是s的平方。簡(jiǎn)言之,t檢驗(yàn)用于系統(tǒng)誤差或準(zhǔn)確度;F檢驗(yàn)用于隨機(jī)誤差或精密度。為了進(jìn)行F檢驗(yàn),取實(shí)驗(yàn)方法和比較方法s的平方值,將較大的方差作為分子,較小的方差作為分母,求F值。公式為,式中 s為較大的 s,s為較小的 s。12將計(jì)算得出的F值與統(tǒng)計(jì)表中臨界F值比較。檢驗(yàn)的無效假設(shè)是兩個(gè)比較的方差間沒有差異。自由度一般為檢測(cè)重復(fù)次數(shù)(n)減1,即“n-1”。按照兩個(gè)s的自由度分別從F臨界值表中尋找相應(yīng)F臨界值。當(dāng)觀察(計(jì)算)的F值>臨界F值,無效假設(shè)不成立,即方差或隨機(jī)誤差間的差異有統(tǒng)計(jì)學(xué)意義。若計(jì)算得出的F值<臨界F值,則無效假設(shè)成立,在統(tǒng)計(jì)學(xué)上兩個(gè)s無差異。我的統(tǒng)計(jì)學(xué)起步就是從這里開始的。所以,我一直認(rèn)為:要比較s的大小就做F檢驗(yàn)。
4.CLSI專家的啟示 在比較臨床實(shí)驗(yàn)室按CLSI EP5文件和EP15文件得出的精密度結(jié)果與廠商聲明的一致性上,CLSI導(dǎo)則使用了卡方檢驗(yàn),而不是使用F檢驗(yàn),這是基于以下的考慮:在廠商說明書的精密度表中,“聲明”代表了有關(guān)行政機(jī)構(gòu)批準(zhǔn)的標(biāo)記(labeled)s。我對(duì)這段話的理解是廠商的s經(jīng)FDA批準(zhǔn)后已經(jīng)成為實(shí)驗(yàn)室必須要實(shí)現(xiàn)的目標(biāo)。但是,廠商沒有明確說明他們的精密度具體是怎樣得到的,因此不可能按F檢驗(yàn)的要求確定與廠商估計(jì)有關(guān)的自由度。同時(shí)廠商也沒有明確說明在重復(fù)性實(shí)驗(yàn)中是否進(jìn)行多個(gè)試劑批號(hào)、多個(gè)儀器的實(shí)驗(yàn)。所以臨床實(shí)驗(yàn)室在處理廠商說明書中的值時(shí)沒有方法可供選擇,但又處于必須去評(píng)估估計(jì)自由度的境地。再者,正如前所述,臨床實(shí)驗(yàn)室實(shí)驗(yàn)得出的s也有很多不足的地方。那么,如何來比較臨床實(shí)驗(yàn)室和廠商聲明中的精密度?一個(gè)做法是調(diào)整比較時(shí)的自由度。一般來說,自由度越小(即重復(fù)檢測(cè)次數(shù)越少),得到的抽樣s值的可信性就越差,即s的可信區(qū)間很大。F檢驗(yàn)的自由度由兩個(gè)進(jìn)行比較的實(shí)驗(yàn)各自的重復(fù)次數(shù)決定,無法進(jìn)行調(diào)整。所以在統(tǒng)計(jì)功效上的能力較差。相比之下,卡方檢驗(yàn)在比較s的差異上具有較好的統(tǒng)計(jì)功效。這也是我以往不懂的地方,至今對(duì)此概念依然非常模糊。請(qǐng)教工業(yè)上的有關(guān)專家,他們告知在統(tǒng)計(jì)學(xué)上確實(shí)有使用卡方檢驗(yàn)比較s的方法[13]。
5.與廠商聲明的比較 臨床實(shí)驗(yàn)室通過上述實(shí)驗(yàn)得到的精密度估計(jì)應(yīng)與廠商聲明的精密度進(jìn)行比較。可以采用以下敘述的卡方檢驗(yàn)進(jìn)行統(tǒng)計(jì)。為使用這個(gè)方法,廠商的性能聲明中被表示為一個(gè)點(diǎn)的估計(jì)(即一個(gè)s)。重復(fù)性和綜合精密度的估計(jì)應(yīng)分別進(jìn)行比較。性能聲明標(biāo)準(zhǔn)差(σr)須注明??ǚ綑z驗(yàn)使用了臨床實(shí)驗(yàn)室和廠商重復(fù)性估計(jì)的平方,必須知道臨床實(shí)驗(yàn)室估計(jì)的批內(nèi)方差與自由度的關(guān)系。在本方案敘述的實(shí)驗(yàn)中將具有用來計(jì)算批內(nèi)s的數(shù)據(jù)成對(duì)(即批內(nèi)重復(fù)檢測(cè))那樣大的自由度,這樣就等于實(shí)驗(yàn)中的批數(shù)(以R表示)??ǚ綑z驗(yàn)涉及的計(jì)算如下式中為臨床實(shí)驗(yàn)室估計(jì)的重復(fù)性變異方差為廠商重復(fù)性變異聲明的方差、R為批的總數(shù)(為的自由度)。實(shí)驗(yàn)室內(nèi)(設(shè)備內(nèi))的精密度與廠商聲明進(jìn)行比較應(yīng)使用上述一樣的卡方檢驗(yàn)。計(jì)算實(shí)驗(yàn)室內(nèi)標(biāo)準(zhǔn)差(sT)實(shí)際自由度涉及了復(fù)雜的計(jì)算,不像重復(fù)性估計(jì)那樣簡(jiǎn)便。因?yàn)樵谠搶?shí)驗(yàn)的設(shè)計(jì)和統(tǒng)計(jì)檢驗(yàn)的做法上,不是以所有實(shí)驗(yàn)測(cè)定值相互獨(dú)立為前提,因此不可以像以往的做法那樣將實(shí)驗(yàn)觀察數(shù)-1就成為了自由度的估計(jì),需要采用較特殊的方法進(jìn)行實(shí)驗(yàn)數(shù)據(jù)自由度的估計(jì)。例如以下公式中ST的自由度就是考慮了實(shí)驗(yàn)數(shù)據(jù)相互非獨(dú)立的情況。公式式中為用戶估計(jì)的實(shí)驗(yàn)室內(nèi)(設(shè)備內(nèi))s的平方值為廠商聲明的設(shè)備s的平方或醫(yī)學(xué)上要求的s的平方、T為sT的自由度(即實(shí)驗(yàn)室內(nèi)精密度比較的自由度)。T的計(jì)算較復(fù)雜,公式為設(shè):ME為批內(nèi)均方差或重復(fù)性方差);MR=2A2(所有批的均方差);MD=4B2(所有天的均方差);I為實(shí)驗(yàn)天數(shù);A和B將在“附錄”中介紹。將計(jì)算的“自由度”(T)代入前述的公式,計(jì)算出實(shí)驗(yàn)室內(nèi)s與廠商聲明s比較的卡方值。在相應(yīng)自由度下與臨界卡方值比較。計(jì)算得出的卡方值<臨界卡方值,表示實(shí)驗(yàn)室內(nèi)s與廠商聲明差異無統(tǒng)計(jì)學(xué)意義;反之,則為差異有統(tǒng)計(jì)學(xué)意義。
1.精密度性能是醫(yī)學(xué)檢驗(yàn)的基礎(chǔ) 由于醫(yī)學(xué)檢驗(yàn)的特殊性,全球臨床實(shí)驗(yàn)室在對(duì)每份患者標(biāo)本進(jìn)行分析物檢測(cè)時(shí),如無特殊情況,均對(duì)每個(gè)分析物只做單次檢測(cè)就發(fā)出檢驗(yàn)報(bào)告。臨床和患者對(duì)檢測(cè)結(jié)果是否滿意取決于實(shí)驗(yàn)室再做一次檢測(cè)的結(jié)果與前次結(jié)果是否一致。因此重復(fù)性是臨床實(shí)驗(yàn)室檢測(cè)最重要的方面,千萬不可忽視。
2.認(rèn)真學(xué)習(xí)EP5文件 30余年前,美國(guó)臨床實(shí)驗(yàn)室標(biāo)準(zhǔn)化委員會(huì)(NCCLS)已經(jīng)考慮到多方需求和影響精密度的各個(gè)因素,編寫了EP5文件。完成一個(gè)重復(fù)性實(shí)驗(yàn)的方式有多種。為了患者樣品檢測(cè)結(jié)果的可靠性,必須充分考慮眾多影響因素,以適當(dāng)?shù)姆绞降玫娇煽康木芏裙烙?jì)。我已在臨床實(shí)驗(yàn)室領(lǐng)域內(nèi)工作和學(xué)習(xí)50年了,但是還有許多方面需要我繼續(xù)努力學(xué)習(xí)的。我將精密度視為臨床實(shí)驗(yàn)室的關(guān)鍵所在。幾乎所有的臨床檢驗(yàn)問題均由此產(chǎn)生。因此關(guān)注和重視精密度性能是解決臨床檢驗(yàn)問題的基礎(chǔ)和起點(diǎn)。我愿意與臨床實(shí)驗(yàn)室的同道們一起,為提高臨床實(shí)驗(yàn)室的地位而努力。臨床實(shí)驗(yàn)室的地位只能靠自己去爭(zhēng)取,依靠自身的提升,得到臨床和患者的認(rèn)可。在與CLSI專家的交流中,Dr.Neill Carey告訴我:“EP15-A2文件中的方法比較實(shí)驗(yàn)將在EP15-A3中刪除;在EP15-A3文件中,我們不再比較兩個(gè)方法的精密度估計(jì)。我們做了實(shí)驗(yàn),評(píng)估EP15(A2和A3)文件中一個(gè)方法的精密度。我們比較了觀察(計(jì)算)得到的s與廠商聲明的s。為了了解觀察到的s是否真的超過廠商聲明的s,我們計(jì)算了廠商聲明中s的確認(rèn)限值,將觀察到的s與確認(rèn)限值做比較。如果觀察到的s超出確認(rèn)限值,即觀察到的 s確實(shí)高于廠商聲明的 s,僅有5%的可能性是因?yàn)殡S機(jī)所致。”這兩個(gè)文件將于今年6月正式發(fā)布。由于上述的實(shí)驗(yàn)結(jié)果,專家們?cè)谛碌奈募胁辉僖笈R床實(shí)驗(yàn)室對(duì)驗(yàn)證中實(shí)驗(yàn)精密度超過廠商聲明進(jìn)行統(tǒng)計(jì)檢驗(yàn)。這無疑是簡(jiǎn)化了驗(yàn)證程序。
附錄:EP5文件實(shí)驗(yàn)室內(nèi)精密度估計(jì)
實(shí)驗(yàn)方案:對(duì)穩(wěn)定的實(shí)驗(yàn)樣品每天做2批實(shí)驗(yàn),批間相隔的時(shí)間不少于2 h;每批實(shí)驗(yàn)均對(duì)樣品做雙份檢測(cè);共做20 d。一共有40對(duì)、80個(gè)結(jié)果。每對(duì)結(jié)果間的差是每批的批內(nèi)差。20 d內(nèi)共做了40批,這些差值的歸納客觀反映了較長(zhǎng)時(shí)間周期內(nèi)的批內(nèi)不精密度。對(duì)每批實(shí)驗(yàn)的雙份結(jié)果以表示平均水平,每天做2批,2批之間的差表示這一天的批間差;20 d有20個(gè)批間差,對(duì)這些差值進(jìn)行統(tǒng)計(jì)后,減去其中批內(nèi)差,即為真正的批間不精密度。每天做2批,有2個(gè)批,再求每天的,表示每天4個(gè)結(jié)果的平均水平,20 d有20個(gè)天,這些之間的差即為天間差,扣除內(nèi)含的批間差因素就是真正的天間不精密度。將批內(nèi)、批間和天間的不精密度以方差形式相加,可得到樣品下的實(shí)驗(yàn)室內(nèi)s,它可客觀地反映真正的實(shí)驗(yàn)室內(nèi)不精密度。
下述統(tǒng)計(jì)公式基于上述雙份檢測(cè)得出的s。
1.批內(nèi)不精密度的標(biāo)準(zhǔn)差(s批內(nèi))
式中:I為實(shí)驗(yàn)總天數(shù);i=1為總和從第1天開始計(jì);2表示1 d內(nèi)實(shí)驗(yàn)的批數(shù),j表示批數(shù)的序號(hào)(只能是1和2,因?yàn)槊刻熳?批;j=1表示總和要從每天的第1批開始計(jì));4I表示組成總和的實(shí)驗(yàn)數(shù)據(jù)的個(gè)數(shù)(如果做了20 d,則I為20、4I為80)。
2.批間變異的估計(jì)值(A)
3.天間變異估計(jì)值(B)
4.天間標(biāo)準(zhǔn)差(s天間)由B值可求s天間,公式為。s天間的方差是從B2中減去1/2批間方差估計(jì)值,扣除了天間方差中批間方差的因素,成為真正的天間s。在具體計(jì)算時(shí),會(huì)出現(xiàn)B2<1/2 A2,使差值為負(fù)數(shù)。這說明天間變異幾乎都是由批間變異形成的,所以就直接令s天間為0。
5.實(shí)驗(yàn)室內(nèi)標(biāo)準(zhǔn)差(s總) 最后,可以按照方差和的方式將批內(nèi)s、批間s和天間s結(jié)合起來求出s總。公式為。
[1]§493.1253 Standard:establishment and verification of performance specifications[EB/OL].(2003-08-22)[2014-06-05]http://www.gpo.gov/fdsys/pkg/CFR-2003-title42-vol3/xml/CFR-2003-title42-vol3-part493.xml#seqnum493.1253.
[2]Joint Committee for Guides in M etrology.International vocabulary of metrology-Basic and general concepts and associated terms(VIM)[S].3rd edition.JCGM 200:2012(E/F),JCGM,2012.
[3]National Committee for Clinical Laboratory Standards.Evaluation of precision performance of quantitative measurement methods[S].EP05-A2,NCCLS,2004.
[4]Clinical and Laboratory Standard Institute.User verification of performance for precision and trueness[S].EP15-A2,CLSI,2005.
[5]金丕煥,陳 峰.醫(yī)用統(tǒng)計(jì)方法[M].第3版.上海:復(fù)旦大學(xué)出版社,2009:1-761.
[6]Netrella MG.實(shí)驗(yàn)統(tǒng)計(jì)學(xué)[M].毛鎮(zhèn)道,蔣子剛,譯.上海:上海翻譯出版公司,1990:351-356.
[7]National Committee for Clinical Laboratory Standards.Proposed guideline for user evaluation of performance of clinical chemistry devices[S].EP05-P,NCCLS,1982.
[8]National Committee for Clinical Laboratory Standards.Method comparison and bias estimation using patient samples[S].EP9-A2,NCCLS,2002.
[9]National Committee for Clinical Laboratory Standards.Evaluation of the linearity of quantitative measurement procedures;a statistical approach[S].EP6-A,NCCLS,2003.
[10]Clinical and Laboratory Standard Institute.Evaluation of matrix effects[S].EP14-A2,CLSI,2005.
[11]National Committee for Clinical Laboratory Standards.Protocols for determination of limits of detection and limits of quantitative[S].EP17-A,NCCLS,2004.
[12]Westgard JO,de Vos DJ,Hunt MR,et al.Concepts and practices in the evaluation of clinical chemistry methods.Ⅲ:statistics[J].Am J Med Technol,1978,44(6):552-571.
[13]Sheskin DJ.Handbook of parametric and nonparametric statistical procedures[M].3rd Edition.New York:Chapman& Hall/CRC,2003:1-1193.