梁九興，張湘民，黃少雄，曾令紫，羅語(yǔ)溪

（1.中山大學(xué)工學(xué)院，廣東廣州510006；2.中山大學(xué)附屬第六醫(yī)院，廣東廣州510655）

睡眠呼吸暫停低通氣綜合征（SAHS）是由于在睡眠期間反復(fù)出現(xiàn)的呼吸暫?；虻屯鉅顟B(tài)，其中每次呼吸暫?；虻屯獬掷m(xù)時(shí)間至少達(dá)到10 s，且暫?；虻屯庵笖?shù)（AHI）達(dá)到 5次/h以上[1-2]。SAHS是睡眠呼吸障礙中最為常見(jiàn)的疾病之一。根據(jù)大量國(guó)內(nèi)外相關(guān)臨床病學(xué)調(diào)查研究，在美國(guó)約有4%的男性及2%的女性患有SAHS[3]。而在我國(guó)相關(guān)的調(diào)查研究中，亦普遍認(rèn)為人群中約有4%患有該疾病[4-5]，由此可知SAHS普遍存在于廣大人群中。除此以外，SAHS具有巨大的潛在危害性。這是由于反復(fù)的呼吸暫?；蛘叩屯鉅顟B(tài)，使機(jī)體長(zhǎng)期處于缺氧及二氧化碳的潴留可能引致諸如低氧血癥、高碳酸癥[6]、肺動(dòng)脈高壓[7]、腦卒中[8]、心血管疾病[9-10]、心衰[11]等臨床癥狀。

雖然SAHS疾病存在巨大的潛在危害性且普遍存在于大眾中，但中重度SAHS患者中有93%的女性及82%的男性卻沒(méi)有得到及時(shí)的診斷[12-13]。SAHS的發(fā)病率之高與有條件被診斷患者的比例之低是臨床和流行病學(xué)調(diào)查工作的主要矛盾。隨著國(guó)民對(duì)SAHS的認(rèn)識(shí)程度和國(guó)民收入水平的不斷提高，越來(lái)越多的疑似患者將會(huì)去醫(yī)院就診并前往睡眠實(shí)驗(yàn)室進(jìn)行監(jiān)測(cè)，上述結(jié)果必然導(dǎo)致通過(guò)多導(dǎo)睡眠（polysomnography，PSG）檢查疑似 SAHS患者人數(shù)的上升。盡管PSG是進(jìn)行各種睡眠障礙疾病診斷及治療評(píng)價(jià)的金標(biāo)準(zhǔn)[1，14]，但是，PSG監(jiān)測(cè)具有生理負(fù)荷高、設(shè)備檢查環(huán)境要求高、檢查和分析技術(shù)復(fù)雜、人力資源消耗大和費(fèi)用相對(duì)昂貴的特點(diǎn)。開(kāi)發(fā)低生理負(fù)荷、便攜式的監(jiān)測(cè)設(shè)備及相應(yīng)的診斷算法已經(jīng)成為大勢(shì)所趨。在此過(guò)程中，針對(duì)異常睡眠呼吸事件的識(shí)別算法是其技術(shù)的關(guān)鍵因素。

通過(guò)提取心率變異性的時(shí)域、頻域及非線性域特征參數(shù)，并采用機(jī)器學(xué)習(xí)對(duì)訓(xùn)練樣本進(jìn)行模型訓(xùn)練，可以對(duì)測(cè)試樣本進(jìn)行預(yù)測(cè)分類(lèi)。一些研究人員已把心率變異性與各機(jī)器學(xué)習(xí)算法應(yīng)用于多種預(yù)測(cè)分類(lèi)場(chǎng)合，如睡眠分期[15]和與心血管疾病相關(guān)的病征[16-17]的預(yù)測(cè)問(wèn)題，但尚未涉及對(duì)睡眠呼吸事件的預(yù)測(cè)識(shí)別研究。心率變異性與呼吸節(jié)律存在著緊密的聯(lián)系，因此有可能通過(guò)心率變異性各特征參數(shù)實(shí)現(xiàn)對(duì)異常睡眠呼吸事件的預(yù)測(cè)分類(lèi)，并結(jié)合短時(shí)耗的分類(lèi)算法，實(shí)現(xiàn)對(duì)SAHS病患低生理負(fù)荷的篩查。

1 睡眠呼吸事件分類(lèi)模型的建立

本研究的方法包括數(shù)據(jù)提取、心電數(shù)據(jù)預(yù)處理、心率變異性特征值的提取、機(jī)器學(xué)習(xí)模型的訓(xùn)練及分類(lèi)輸出等步驟，具體流程詳見(jiàn)圖1。

圖1 基于心率變異性的睡眠呼吸事件分類(lèi)流程圖Fig.1 The flow chart of the classification method of SAHSbased on HRV

1.1 實(shí)驗(yàn)數(shù)據(jù)的采集

本研究共有19例SAHS患者的整晚多導(dǎo)睡眠監(jiān)測(cè)（PSG）實(shí)驗(yàn)數(shù)據(jù)。在進(jìn)行PSG監(jiān)測(cè)之前醫(yī)生需提前告知在參與本監(jiān)測(cè)實(shí)驗(yàn)前6 h內(nèi)不能服用任何藥物和飲用含有酒精的飲料以及含有可卡因等會(huì)導(dǎo)致精神振奮的食品。并且，參與本實(shí)驗(yàn)的對(duì)象均主訴無(wú)其他心血管類(lèi)病史。本實(shí)驗(yàn)均在中山大學(xué)附屬第六醫(yī)院睡眠呼吸障礙診療中心進(jìn)行。19例SAHS患者的人口統(tǒng)計(jì)學(xué)和睡眠監(jiān)測(cè)基本信息，如表1所示。

表1 人口統(tǒng)計(jì)學(xué)和睡眠監(jiān)測(cè)基本信息Table 1 Demographic and sleep monitoring basic data

為保障本實(shí)驗(yàn)具有足夠的正常呼吸事件、異常呼吸事件樣本參與機(jī)器學(xué)習(xí)，本實(shí)驗(yàn)的入組和退出準(zhǔn)則如下：1）AHI控制在10～60次/h；2）整晚有效監(jiān)測(cè)的總睡眠時(shí)間長(zhǎng)度不應(yīng)小于300 min；3）剔除心電信號(hào)和口鼻呼吸氣流信號(hào)偽差明顯的患者；4）剔除患有失眠、癲癇、心血管等病史的患者。

1.2 特征向量的提取

從正常睡眠呼吸狀態(tài)及異常睡眠呼吸事件狀態(tài)下的多導(dǎo)睡眠監(jiān)測(cè)數(shù)據(jù)中提取對(duì)應(yīng)的心電信號(hào)。提取心電信號(hào)時(shí)以60 s為一個(gè)數(shù)據(jù)截取窗長(zhǎng)度。為了提取心率變異性各特征參數(shù)作為分類(lèi)學(xué)習(xí)的特征向量，首先需對(duì)截取的心電信號(hào)進(jìn)行一維墨西哥帽小波變換用以去除基線漂移[18]。其次，采用差分閾值算法檢測(cè)心電信號(hào)的QRS復(fù)合波后通過(guò)區(qū)域最大值檢測(cè)R波峰，再通過(guò)最小心搏時(shí)間間隔去除異搏[19]。然后，提取RR間期序列。在心率變異性的頻域特征提取過(guò)程中，還需對(duì)RR間期序列進(jìn)行3次樣條插值及重采樣處理[20-21]，并采用自回歸模型的Burg算法對(duì)插值處理后的RR間期序列進(jìn)行現(xiàn)代功率譜密度估計(jì) 。最后，從功率譜密度估計(jì)中提取各頻域的特征參數(shù)。

本實(shí)驗(yàn)中，輸入分類(lèi)器進(jìn)行學(xué)習(xí)訓(xùn)練和分類(lèi)的特征向量共有12個(gè)特征值，如表2所示。由于個(gè)體之間各心率變異性參數(shù)之間的差異較大，為了能夠消除每位實(shí)驗(yàn)參與者之間的個(gè)體性差異以及方便分類(lèi)器的特征輸入，需對(duì)每一位實(shí)驗(yàn)參與者的特征參數(shù)按照式（1）進(jìn)行歸一化處理：

x指代輸入心率變異性的特征序列。歸一化處理之后，對(duì)每一組的12個(gè)特征參數(shù)根據(jù)PSG標(biāo)準(zhǔn)進(jìn)行特征向量的標(biāo)定。

表2 心率變異性的特征向量Table 2 Eigenvector of heart rate variability

1.3 概率神經(jīng)網(wǎng)絡(luò)分類(lèi)算法

概率神經(jīng)網(wǎng)絡(luò)（PNN）是一種有導(dǎo)師監(jiān)督學(xué)習(xí)的機(jī)器學(xué)習(xí)方法，最早于1988年由Specht[23-24]提出。它是基于貝葉斯概率決策準(zhǔn)則而構(gòu)造的一種概率密度分類(lèi)估計(jì)及其并行處理的前饋型神經(jīng)網(wǎng)絡(luò)。因此，概率神經(jīng)網(wǎng)絡(luò)既具有神經(jīng)網(wǎng)絡(luò)所擁有的一般屬性，亦具有較高的分類(lèi)準(zhǔn)確精度，很好的泛化能力以及由并行處理帶來(lái)的快速學(xué)習(xí)能力[25]。正因?yàn)楦怕噬窠?jīng)網(wǎng)絡(luò)具有上述優(yōu)勢(shì)，該機(jī)器學(xué)習(xí)模式被廣泛地應(yīng)用于各類(lèi)分類(lèi)預(yù)測(cè)問(wèn)題。概率神經(jīng)網(wǎng)絡(luò)的算法架構(gòu)如圖2所示[26]。

PNN的架構(gòu)分別由輸入層，中間模式層，中間求和層以及輸出層組成。PNN分類(lèi)算法包含以下3個(gè)基本步驟：內(nèi)核計(jì)算，類(lèi)條件概率計(jì)算及最大類(lèi)條件概率的選擇。設(shè)某一訓(xùn)練樣本集T＝｛xCi，j｝，對(duì)某一分類(lèi)問(wèn)題訓(xùn)練樣本集中下標(biāo)j指代的是特征樣本歸屬Cj的類(lèi)別。如果樣本集T中共有NC組類(lèi)別，則該樣本可分為NC個(gè)子集，此時(shí)Ci＝｛xCi，1，xCi，2，…，xCi，NC｝。其具體計(jì)算流程可由圖3進(jìn)行歸納[26]。

圖2 PNN算法架構(gòu)Fig.2 The architecture of PNN algorithm

圖3 PNN算法流程Fig.3 Flow diagram of PNN algorithm

1.4 預(yù)測(cè)結(jié)果評(píng)價(jià)

采用準(zhǔn)確率、靈敏度、特異性、受試者工作特性曲線及曲線下面積（AUC）等評(píng)價(jià)指標(biāo)進(jìn)行PNN分類(lèi)算識(shí)別性能的評(píng)估。

TP指代的是正確地分類(lèi)出異常睡眠呼吸事件的例數(shù)，TN指代的是正確地分類(lèi)出正常睡眠呼吸狀態(tài)的例數(shù)，F(xiàn)P指代的是錯(cuò)誤地把正常睡眠呼吸狀態(tài)分類(lèi)成異常睡眠呼吸事件的例數(shù)，F(xiàn)N指代的是錯(cuò)誤地把異常睡眠呼吸事件分類(lèi)成正常睡眠呼吸的例數(shù)[27]。

受試者工作特性曲線（receiver operating characteristic curve，ROC）[28-29]以測(cè)試靈敏度為縱坐標(biāo)、1-特異性或假陽(yáng)性率（false positive rate，F(xiàn)PR）為橫坐標(biāo)曲線圖，用以表示測(cè)試的真陽(yáng)性率（true positive rate，TPR）與其假陽(yáng)性率（FPR）之間的關(guān)系。它是評(píng)估分類(lèi)器整體性能的一種方法[30]。實(shí)際應(yīng)用中，通過(guò)計(jì)算 ROC曲線下面積（AUC）進(jìn)行量化評(píng)估。AUC以0～1之間的數(shù)值表征從測(cè)試樣本中隨機(jī)選擇某一正例比起選擇某一負(fù)例的概率要高[31]。因此，AUC數(shù)值越大，則對(duì)應(yīng)分類(lèi)器的整體性能越好[32]。

2 實(shí)驗(yàn)結(jié)果與分析

共有5 910組心率變異性特征參數(shù)參與機(jī)器學(xué)習(xí)分類(lèi)實(shí)驗(yàn)。其中，標(biāo)記為正常睡眠呼吸狀態(tài)有2 816組，而標(biāo)記為異常睡眠呼吸事件有3 094組。異常睡眠呼吸事件與正常睡眠呼吸狀態(tài)數(shù)據(jù)總體上相對(duì)平衡。在機(jī)器學(xué)習(xí)中，為了體現(xiàn)本算法的泛化性能，實(shí)驗(yàn)隨機(jī)抽取一半的數(shù)據(jù)集作為訓(xùn)練樣本，剩余一半作為測(cè)試樣本。

2.1 概率神經(jīng)網(wǎng)絡(luò)參數(shù)訓(xùn)練

在概率神經(jīng)網(wǎng)絡(luò)（PNN）對(duì)有無(wú)異常睡眠呼吸事件的預(yù)測(cè)分類(lèi)研究中，需要對(duì)徑向基函數(shù)的擴(kuò)展速度進(jìn)行選取。本實(shí)驗(yàn)選取了在0.02～0.4之間，步進(jìn)擴(kuò)展速度為0.02，對(duì)每一種擴(kuò)展速度隨機(jī)進(jìn)行10次計(jì)算分類(lèi)，其運(yùn)行結(jié)果如圖4所示。結(jié)果表明，徑向基函數(shù)的擴(kuò)展速度為0.16時(shí)可達(dá)到最優(yōu)準(zhǔn)確率。因此，PNN算法中徑向基函數(shù)的擴(kuò)展速度取為0.16。

2.2 概率神經(jīng)網(wǎng)絡(luò)分類(lèi)結(jié)果

以0.16作為徑向基函數(shù)擴(kuò)展速度的最優(yōu)值進(jìn)行預(yù)測(cè)分類(lèi)。在該參數(shù)下隨機(jī)計(jì)算10次，得到的預(yù)測(cè)分類(lèi)性能，如表3所示。

圖4 徑向基函數(shù)擴(kuò)展速度預(yù)測(cè)準(zhǔn)確率的影響Fig.4 The effect of the spread of the radial basis function on prediction accuracy

表3 PNN算法的分類(lèi)預(yù)測(cè)結(jié)果Table 3 Classification of PNN algorithm

在表3中，PNN算法的十次分類(lèi)預(yù)測(cè)的平均準(zhǔn)確率為75.97%，其標(biāo)準(zhǔn)方差為0.63%；平均靈敏度為82.51%，其標(biāo)準(zhǔn)方差為1.33%；平均特異度為76.22%，其標(biāo)準(zhǔn)方差為1.70%；平均AUC為0.793 6，其標(biāo)準(zhǔn)方差為0.005 0。

將PNN分類(lèi)算法與廣義回歸神經(jīng)網(wǎng)絡(luò)（GRNN）、極限學(xué)習(xí)機(jī)（ELM）算法進(jìn)行對(duì)比。3種分類(lèi)算法采取同樣的數(shù)據(jù)、同樣的訓(xùn)練和測(cè)試數(shù)據(jù)長(zhǎng)度，運(yùn)行10次后所得的性能評(píng)估結(jié)果，如表4所示。

表4 PNN、GRNN及ELM算法的預(yù)測(cè)性能Table 4 Prediction performance of PNN，GRNN and ELM algorithms

用于睡眠呼吸事件識(shí)別的算法應(yīng)有較好的準(zhǔn)確性與較少的計(jì)算時(shí)耗。本實(shí)驗(yàn)采用的計(jì)算機(jī)性能參數(shù)為：中央處理器Interl Core i5-3470，處理器工作頻率3.2 GHz，內(nèi)存8.0 GB。我們對(duì)比了PNN、GRNN及ELM3種機(jī)器學(xué)習(xí)算法所消耗的計(jì)算時(shí)間。3種分類(lèi)器進(jìn)行10次分類(lèi)預(yù)測(cè)消耗的計(jì)算時(shí)間，如圖5所示。

圖5 3種分類(lèi)算法的測(cè)試耗時(shí)Fig.5 The time-consuming test of three classification algorithms

PNN、GRNN及ELM分類(lèi)器進(jìn)行十次計(jì)算所耗費(fèi)的平均時(shí)間分別為（0.63±0.06）、（0.97±0.16）及（3.49±0.21）s。由此可知，3種分類(lèi)器的耗時(shí)長(zhǎng)短順序依次為：PNN＞GRNN ＞ELM。綜上所述，3種機(jī)器學(xué)習(xí)算法的準(zhǔn)確率從高到低的序位為ELM＞GRNN＞PNN、靈敏度從高到低為PNN＞GRNN＞ELM、特異度從高到低為PNN＞GRNN＞ELM、AUC從高到低為PNN＞GRNN＞ELM、消耗的計(jì)算時(shí)間從短到長(zhǎng)為PNN＞GRNN＞ELM。因此，若僅準(zhǔn)確率為目標(biāo)則應(yīng)選擇ELM作為最優(yōu)算法。若綜合靈敏度、特異性、AUC及預(yù)測(cè)時(shí)間耗時(shí)則PNN分類(lèi)算法最優(yōu)。

3 結(jié) 論

本研究應(yīng)用PNN分類(lèi)算法判別了有無(wú)異常睡眠呼吸事件，并對(duì)該分類(lèi)算法的性能進(jìn)行了多維度的評(píng)估，并將之與GRNN、ELM分類(lèi)算法進(jìn)行了比較。結(jié)果表明：1）PNN算法具有較高的準(zhǔn)確性；2）與GRNN和ELM算法相比，PNN算法的靈敏度、特異度及AUC面積最優(yōu)，并且其分類(lèi)耗時(shí)最短。因此，PNN算法在對(duì)異常睡眠呼吸事件的分類(lèi)識(shí)別上具有較好的性能，能為低生理負(fù)荷的SAHS篩查提供了一種新的方法，具有一定的臨床實(shí)際應(yīng)用意義。

[1]BERRY R B，BROOKSR，GAMALDO C E，et al.The AASM manual for the scoring of sleep and associated events：rules， terminology and technical specifications[M].2nd ed.American：Academy of Sleep Medicine，2012：1-59.

[2]RANKLIN K A，LINDBERG E.Obstructive sleep apnea is a common disorder in the population-a review on the epidemiology of sleep apnea[J].JThorac Dis，2015，7（8）：1311-1322.

[3]Al Lawat N M，PATEL SR，AYASN T.Epidemiology，risk factors，and consequences of obstructive sleep apnea and short sleep duration[J].Prog Cardiovasc Dis，2009，51（4）：285-293.

[4]上海市醫(yī)學(xué)會(huì)呼吸病學(xué)分會(huì)睡眠呼吸疾病學(xué)組.上海市30歲以上人群阻塞性睡眠呼吸暫停低通氣綜合征流行病學(xué)調(diào)查[J].中華結(jié)核和呼吸雜志，2003，26（5）：268-265.Sleep Respiratory Disorder Study Group.Respiratory Disease Branch，Shanghai Medical Association.Prevalence of obstructive sleep apnea-hypopnea syndrome in Chinese adults aged over 30 yr in Shanghai[J].Chin J Tuberc Respir Dis，2003，26（5）：268-265.

[5]胡慶磊，杜翠萍，楊揚(yáng)，等.上海市普陀區(qū)20歲以上人群阻塞性睡眠呼吸暫停低通氣綜合征流行病學(xué)調(diào)查[J].中國(guó)眼耳鼻喉科雜志，2017，17（1）：49-54.HU Qinglei，DU Cuiping，YANG Yang，et al.Prevalence of obstructive sleep apnea hypopnea syndrome in Chinese adults aged over 20 years in Putuo district of Shanghai[J].China JOphthalmol and Otorhinolaryngol，2017，17（1）：49-54.

[6]STANSBURY R C，STROLLO P J.Clinical manifestations of sleep apnea[J].J Thorac Dis，2015，7（9）：298-310.

[7]FLORASJS.Hypertension and sleep apnea[J].Can J Cardiol，2015，31（7）：889-897.

[8]LYONSO D，RYAN CM.Sleep apnea and stroke[J].Can JCardiol，2015，31（7）：918-927.

[9]BADRAN M，YASSIN BA，F(xiàn)OX N，et al.Epidemiology of sleep disturbances and cardiovascular consequences[J].Can J Cardiol，2015，31（7）：873-879.

[10]PUNGINATHN D.Obstructive sleep apnea and cardiovascular risk[J].Therapeutics＆Clinical Risk Management，2015，3（6）：1105-1111.

[11]LYONS O D，BRADLEY T D.Heart failure and sleep apnea[J].Can J Cardiol，2015，31（7）：898-908.

[12]李利，麥慧娟，張素.阻塞性睡眠呼吸暫停低通氣綜合征患者就醫(yī)狀況調(diào)查[J].中華護(hù)理雜志，2014，49（2）：197-201.LI Li，MAI Huijuan，ZHANG Su.Station of hospital presentation in patients with obstructive sleep apnea hypopnea syndrome[J].Chin J Nurs，2014，49（2）：197-201.

[13]YOUNGT，EVANSL，F(xiàn)INN L，et al.Estimation of the clinically diagnosed proportion of Sleep Apnea Syndrome in middle-aged men and women[J].Sleep，1997，20（9）：705-706.

[14]BERRY R B，BUDHIRAJA R，GOTTLIEB D J，et al.Rules for scoring respiratory events in sleep：update of the 2007 AASM Manual for the Scoring of Sleep and Associated Events.Deliberations of the Sleep Apnea Definitions Task Force of the American Academy of Sleep Medicine[J].JClin Sleep Med，2012，8（5）：597-619.

[15]WILLEMEN T，VAN DEUN D，VERHAERT V，et al.An evaluation of cardiorespiratory and movement features with respect to sleep-stage classification[J].IEEE J Biomed Health，2014，18（2）：661-669.

[16]HOUSHYARIFAR V，AMIRANI M C.An approach to predict Sudden Cardiac Death（SCD）using time domain and bispectrum features from HRV signal[J].Bio-Med Mater Eng，2016，27（2/3）：275-285.

[17]PATIDAR S，PACHORI R B，ACHARYA U R.Automated diagnosis of coronary artery disease using tunable-Q wavelet transform applied on heart rate signals[J].Knowl-Based Syst，2015，82：1-10.

[18]HUANG G，NEWCHURCH M J，KUANG S，et al.Definition and determination of ozone laminae using Continuous Wavelet Transform（CWT）analysis[J].Atmospheric Environment，2015，104：125-131.

[19]YEH Y C，WANG W J.QRS complexes detection for ECG signal：the difference operation method[J].Comput Methods Programs Biomed，2008，91（3）：245-254.

[20]JANG D G，HAHN M，JANG JK，et al.A comparison of interpolation techniques for RR interval fitting in AR spectrum estimation[C]//IEEE Biomedical Circuits and Systems Conference（BioCAS），2012：13264332.

[21]SINGH D，VINOD K，SAXENA S C.Sampling frequency of the RR interval time series for spectral analysis of heart rate variability[J].J Med Eng Technol，2004，28（6）：263-272.

[22]PICHON A，ROULAUD M，ANTOINE-JONVILLE S，et al.Spectral analysis of heart rate variability：interchangeability between autoregressive analysis and fast Fouriertransform[J].J Electrocardiol，2006，39（1）：31-37.

[23]SPECHT D F.Probabilistic neural networks and the polynomial adaline as complementary techniques for classification[C]//IEEE International Conference on Neural Networks.1990：111-121.

[24]SPECHT D F.Probabilistic neural networks for classification，mapping，or associative memory[C]//IEEE International Conference on Neural Networks，1988：I525-I532.

[25]郁磊，史峰，王輝，等.MATLAB智能算法30個(gè)案例分析[M].北京：北京航空航天大學(xué)出版社，2011.

[26]ZEINALI Y，STORY B A.Competitive probabilistic neural network[J].Integrated Computer-Aided Engineering，2017，24（2）：105-118.

[27]FAWCETT T.An introduction to ROC analysis[J].Pattern Recognition Letters，2006，27（8）：861-874.

[28]BRADLEY A P.The use of the area under the ROC curve in the evaluation of machine learning algorithms[J].Pattern Recognition，1997，30（7）：1145-1159.

[29]GREINER M，SMITH R D，PFEIFFER D.Principles and practical application of the receiver-operating characteristic analysis for diagnostic tests[J].Preventive Veterinary Medicine，2000，45（1/2）：23-41.

[30]PARK S H，GOO J M，JO C H.Receiver Operating Characteristic（ROC）curve practical review for radiologists[J].Korean J Radiol，2004，5（1）：11-18.

[31]WALTER S D.The partial area under the summary ROC curve[J].Stat Med，2005，24（13）：2025-2040.

[32]HUANG J，LING C X.Using AUC and accuracy in evaluating learning algorithms[J].IEEE Transactions on Knowledge and Data Engineering，2005，17（3）：299-310.