魏 勛,蔣 凡

(中國科學技術大學 計算機學院,合肥 230022)

糖尿病是一種慢性非傳染性疾病,主要包括1型糖尿病,2型糖尿病和妊娠型糖尿病.其中超過90%的患者為2型糖尿病.如果缺乏良好的干預和治療,糖尿病患者有一定風險患上一系列并發(fā)癥,進而影響健康甚至危及生命.并發(fā)癥主要有致盲,腎衰竭,心腦血管疾病,中風以及截肢等.正是由于這些嚴重的并發(fā)癥,糖尿病已經(jīng)成為全球第四大致死疾病.

在過去幾十年中,糖尿病發(fā)病率逐漸上升[1].根據(jù)WHO估計,2014年全球約有4.22億糖尿病患者,而在1980年這個數(shù)字僅為1.08億.在過去十年中,相比高收入國家,糖尿病在低收入和中等收入國家的發(fā)病率上升更加迅速.例如,在2015年中國擁有全世界最龐大的糖尿病患者群體,高達1.1億人之多.絕大多數(shù)患者是2型糖尿病,主要是由肥胖(特別是腹部肥胖),缺乏鍛煉以及不健康飲食導致[2].在某些國家,大約50%到80%的糖尿病患者從不關心他們的身體狀況,除非出現(xiàn)嚴重的并發(fā)癥.考慮到這種情況,早期的診斷顯得十分必要且有意義[3].

最近研究指出,通過及時的篩查診斷,大約80%的2型糖尿病并發(fā)癥能夠避免或者延緩[2,3].然而單一的臨床指標,如空腹血糖檢查,不具備較高的敏感度,接近30%的糖尿病患者不會被查出[4].因此,智能的數(shù)據(jù)分析方法,比如數(shù)據(jù)挖掘和機器學習技術,對于精準地診斷糖尿病患者無疑具有很高的價值.近些年,已有研究人員應用了一些數(shù)據(jù)挖掘和機器學習的方法用于糖尿病診斷并取得較好的效果[5-13].

在過去,收集真實的醫(yī)療數(shù)據(jù)是比較困難的而且相當耗時.因此,之前的很多研究中用的數(shù)據(jù)集主要是來源于規(guī)模較小的公開數(shù)據(jù)集和調(diào)查問卷.隨著信息技術的發(fā)展和大數(shù)據(jù)時代的來臨,目前醫(yī)療數(shù)據(jù)的規(guī)模變得十分龐大,能夠更好地反映真實情況.然而,真實的醫(yī)療數(shù)據(jù)往往存在類別不平衡的問題.在糖尿病診斷過程中,由于較低的發(fā)病率,數(shù)據(jù)集通常是不平衡的,即健康人群占據(jù)大多數(shù),而糖尿病患者通常只占據(jù)很小的比例.在這種不平衡數(shù)據(jù)集中,傳統(tǒng)的分類算法往往傾向于忽略少數(shù)類樣本,難以有效地診斷出糖尿病患者.

本文提出一種集成模型:xEnsemble,能夠解決類別不平衡問題并精準地診斷糖尿病患者.該方法基于EasyEnsemble[14]和 XGBoost[15],相比其他類似技術,能夠取得更高的敏感度(Sensitivity),F值和G-mean值.本文后續(xù)內(nèi)容如下:首先,簡單介紹類別不平衡問題和常用的解決方法;然后,介紹xEnsemble方法的基本原理;接著詳細闡述實驗過程,包括數(shù)據(jù)集介紹、數(shù)據(jù)預處理過程、性能評估標準、實驗設置、實驗結果與討論;最后,總結本文并指出進一步的研究方向.

1 類別不平衡問題

類別不平衡,也就是某些類的樣本數(shù)量大于其他類別.在實際生活中,尤其是在醫(yī)療領域,類別不平衡問題十分常見.這種情形通常是由較低的發(fā)病率導致的.在某些情況下,不平衡比例(多數(shù)類樣本數(shù)量與少數(shù)類樣本數(shù)量之比)甚至高達106.在診斷過程中,如果不平衡數(shù)據(jù)沒有經(jīng)過適當?shù)奶幚?分類器的性能將會受到嚴重的影響.例如:在一個不平衡比例為99的數(shù)據(jù)集中,即使分類器將所有樣本都分類成多數(shù)類,分類器的準確率也能高達99%,然而所有少數(shù)類樣本都被錯分.特別地,在糖尿病診斷過程中,類別不平衡會使傳統(tǒng)分類算法將大多數(shù)的糖尿病患者錯誤分類成健康人群,很可能會貽誤良好的治療機會.

目前存在許多方法解決類別不平衡問題.本文主要集中于兩類方法:代價敏感學習方法與采樣方法.代價敏感學習的一種常用實現(xiàn)方法是權重縮放法(rescaling),即通過提高少數(shù)類樣本的權重來增加少數(shù)類被錯分的代價.采樣方法是一系列重構樣本空間的方法.采樣法有兩種基本的實現(xiàn)方法:欠采樣(undersampling)和過采樣(over-sampling).欠采樣通過減少多數(shù)類樣本來創(chuàng)造一個規(guī)模更小的訓練集;過采樣則是增加少數(shù)類樣本,形成一個規(guī)模更大的訓練集.很明顯,這兩種方法都能降低不平衡比例,構建一個更加平衡的訓練集.這兩種方式都被證明能夠有效地解決類別不平衡問題[16,17].欠采樣能夠縮短訓練時間,然而會忽略潛在有用的信息;過采樣通常需要更長的訓練時間,并且有過擬合的風險[18,19].基于欠采樣和過采樣,研究者還提出了混合采樣[20]和集成采樣[14]的方法.混合采樣即同時應用欠采樣和過采樣的方法;集成采樣則是通過重復的欠采樣,構建若干個平衡訓練子集.

本文使用的數(shù)據(jù)集包含了數(shù)百萬條記錄,相對于常用的Pima公開數(shù)據(jù)集(768條記錄),規(guī)模可以算是十分龐大.考慮到龐大的規(guī)模和有限的計算資源,本文主要關注基于代價敏感學習和欠采樣的方法.

2 xEnsemble方法

為了構建一個高效的糖尿病診斷系統(tǒng),首先需要采取適當?shù)拇胧﹣斫鉀Q類別不平衡問題.欠采樣是一種有效的方法,然而這種方法會丟失大量潛在的有用數(shù)據(jù).而且一次隨機選取小規(guī)模的多數(shù)類樣本將會增加樣本方差.眾所周知,一個優(yōu)秀的分類模型需要同時具備較低的方差和較低的偏差.所以采樣之后,我們需要一個強力的分類器去盡量擬合新樣本來減少偏差.為了同時滿足這兩個要求,我們提出了一種集成模型:xEnsemble.此方法基于EasyEnsemble[14]和XGBoost[15],偽代碼如算法1所示.為方便表示,本文將少數(shù)類樣本視為正例,多數(shù)類樣本視為負例.

算法1.xEnsemble 1.輸入:2.P:正例樣本集3.N:負例樣本集4.n:采樣子集數(shù)量5.si:每次訓練XGBoost模型Hi的迭代次數(shù)6.步驟:7.for i=1 to n do 8. 隨機從N中采樣一個子集Ni,且|Ni|=|P|9. 使用Ni和P訓練Hi,迭代si次10.end for 11.輸出:∑12.

xEnsemble的主要思想為:通過重復有放回地對負例樣本集采樣,然后與正例樣本集合并,生成n個平衡的訓練子集;在每個訓練子集上使用XGBoost算法擬合得到一個基分類器Hi,這樣能夠盡量學習負例樣本集N的各個方面;最后將所有的基分類器集成起來,使用投票平均法構成最終的集成分類器H(x).明顯可以看出,xEnsemble在上層使用了Bagging策略,此策略被證明能夠有效地降低模型方差[21];在下層,xEnsemble使用了基于Boosting的方法來盡量擬合訓練集,能夠有效地減少偏差.與EasyEnsemble不同的是,xEnsemble使用投票法來決定類別,算法1中的表示集成模型的閾值,即需要多少票數(shù)可以判定某樣本為正例.一般地,本文將設置為n/2.還有一點明顯不同,xEnsemble采用XGBoost代替EasyEnsemble中的AdaBoost作為集成模型的基分類器.XGBoost可以并行操作,而AdaBoost只能串行處理,時間開銷相對較大,不適合用來訓練本文規(guī)模較龐大的數(shù)據(jù)集.

XGBoost是最近非常流行的一種基于樹提升(tree boosting)的高效機器學習模型.它的算法實現(xiàn)是基于梯度提升框架(Gradient Boosting Framework).它提供了一種在特征粒度上的并行方法,能夠迅速準確地解決許多數(shù)據(jù)科學問題[1].正是由于XGBoost的種種優(yōu)點,我們將它作為xEnsemble的基分類器.xEnsemble的流程圖如圖1所示.

3 實驗

3.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)集來源于中國某省的衛(wèi)生部門,包含了數(shù)百萬人從2009年到2015的醫(yī)療信息.原始數(shù)據(jù)包含三張表:個人基本信息表,體檢信息表和糖尿病管理信息表.個人信息表包含了個體的一些基本信息,比如性別,出生年月,家族病史等;體檢信息表包含了個體的一系列醫(yī)學臨床指標,如身高體重,血常規(guī),尿常規(guī),腎功能檢查,肝功能檢查等;糖尿病管理信息表包含了糖尿病患者每次的隨訪記錄.其中體檢信息表是本文主要使用的數(shù)據(jù).根據(jù)醫(yī)學知識,我們初步從體檢信息表中摘選了24項與糖尿病有關的屬性.這24項屬性的詳細信息參見表1.而糖尿病管理信息表此處只用來標記某個個體是否患有糖尿病.

3.2 數(shù)據(jù)預處理

如表1所示,體檢信息表中存在很多“臟數(shù)據(jù)”,而且有些屬性有較高的缺失率.在訓練模型之前,我們必須對這些數(shù)據(jù)進行預處理.

首先,清洗異常值.通過查閱相關資料,確定某個屬性的參考范圍,比如收縮壓的參考范圍為:90～180,此后通過兩種途徑來確定最后的合理范圍:

圖1 xEnsemble示意圖

表1 體檢信息表中24個屬性的詳細信息

(1)某些臨床指標理論上符合正態(tài)分布,因此在統(tǒng)計意義上,[–3σ,3σ]區(qū)間能覆蓋超過 99.7% 的值,即此區(qū)間外的值均視為異常值;

(2)將初始合理范圍外的數(shù)據(jù)進行分箱操作,根據(jù)每個區(qū)域的占比情況確定合理范圍.

然后,對缺失值進行處理.如表1所示,24個屬性均有不同程度的缺失.針對這種情況,缺失率超過90%的屬性直接忽略,小于20%的屬性直接用均值填充,20%～90%之間的屬性用SPSS分析其缺失類型,發(fā)現(xiàn)其缺失相關性很小,可以認為是完全隨機缺失.一般地,我們用所有非缺失樣本的均值進行填充.

經(jīng)過預處理之后,我們最后保留了24個特征,其中6個特征來自個人信息表,分別為:性別,年齡,家族病史(父親,母親,兄弟姐妹,子女);另外18個特征來自體檢信息表,分別為:心率,舒張壓,收縮壓,呼吸頻率,腰圍,BMI,吸煙量,飲酒量,空腹血糖,谷丙轉氨酶,谷草轉氨酶,總膽紅素,血清肌酐,血尿素氮,總膽固醇,甘油三酯,低密度脂蛋白,高密度脂蛋白.考慮到疾病之間復雜的聯(lián)系,對于家族病史這方面,我們從簡處理:比如只有當父親曾經(jīng)患過糖尿病,父親病史才被標記為1.

我們最初從體檢信息表中檢索某個個體時間最近的體檢記錄,再加上個人基本信息表的6個特征,總共24個特征構成樣本.考慮到某些個體在2009～2015年之間具有多條體檢記錄,如果只是提取其最近的一條體檢記錄,無疑會損失大量的信息.尤其是某些臨床指標通常具有較大的波動性,比如空腹血糖.因此,我們針對某個特征額外提取了3個相應的新特征:最大值,最小值和平均值.最終我們對12個臨床指標采用這個操作:舒張壓,收縮壓,空腹血糖,谷丙轉氨酶,谷草轉氨酶,總膽紅素,血清肌酐,血尿素氮,總膽固醇,甘油三酯,低密度脂蛋白,高密度脂蛋白.這新增的3×12=36個特征,缺失值也用所有非缺失樣本的均值填充.最后特征數(shù)量為:6+18+36=60.

我們使用70%的樣本作為訓練集,剩下的30%作為測試集.在所有樣本中,正例只有56 444個,占比2.9%,其余為負例.明顯可以看出,樣本存在嚴重的類別不平衡問題,不平衡比例為34.5.詳細情況參見表2.

表2 樣本情況

3.3 評價標準

如前所述,當數(shù)據(jù)存在類別不平衡問題或者錯分代價不一致的時候,對分類器而言,錯誤率并非一個合適的評價標準.因此,本文使用F值和G-mean值作為分類器性能的評價標準.F值和G-mean值的計算均基于表3所示的混淆矩陣.

表3 混淆矩陣

考慮到本文中召回率(recall)相對精確率(precision)更加重要,我們進一步使用Fβ來評估性能.其中β值用來衡量召回率相對精確率的重要度.當β=1時,Fβ退化成標準的F1值;當β＞1時,召回率影響更大;當β＜1時,精確率影響更大.為了盡可能的降低FN的值,本文將β設置為3.Fβ和G-mean的定義如下所示:

3.4 實驗設置

我們在訓練集上使用5-折交叉驗證和網(wǎng)格尋優(yōu)方法來獲得最佳參數(shù).然后在測試集上運行,得到最終的Sensitivity,Fβ和G-mean值.實驗主要分成兩個步驟,第一步解決類別不平衡問題,第二步為分類.第一步使用5種策略,第二步使用6種分類器,總共30種模型.5種用于解決類別不平衡問題的策略如下所述.

1)Original:原始情況,不對負例樣本進行任何操作,直接用來訓練.此策略用來作為實驗對比.

2)Cost-Sensitive(簡稱Cost):假設不平衡比例為|N|/|P|,那么負例與正例的權重比值為|P|/|N|.通過此設置,能夠顯著地提高正例錯分代價.

3)Random Under-Sampling(簡稱 Random):隨機無放回地從負例樣本集中采樣一個子集,子集大小和正例樣本集大小相同.

4)Edited Nearest Neighbours(簡稱 ENN):如果一個樣本的標記同它的K個鄰居相異,則將這個樣本刪除.

5)Ensemble Sampling(簡稱 Ensemble):類似Random Under-Sampling,此方法隨機有放回地從負例樣本集中采樣M次,生成M個和正例樣本集大小相同的子集.考慮到本文所用數(shù)據(jù)集的不平衡比例為34.5,特將M設置為30.

對于第二個步驟,我們使用3個單分類器和3個集成分類器.3個單分類器分別為:LR,CART,Linear SVC(簡稱LSVC);3個集成分類器分別為:Adaboost(簡稱 Ada),Random Forest(簡稱 RF),XGBoost(簡稱XGB).Ada,RF和XGB都是基于CART并且弱分類器的數(shù)量都設置成500個.在這6個分類器中,LR,RF,XGB能夠并行操作而另外3個只能串行操作.除了XGB之外,我們使用scikit-learn API[22]實現(xiàn)這些分類器.另外,Ada和XGB不支持設置類別權重,因此這兩個分類器無法在Cost策略下運行,后面用-表示缺失的結果.在Ensemble策略下,EasyEnsemble使用Ada作為基分類器并采用線性加權求和的方法,而xEnsemble使用XGB作為基分類器并使用簡單的投票法,另外4個分類器也同樣使用投票.

我們的實驗運行在一臺有24核CPU,主頻為3.0GHz,內(nèi)存為64GB的服務器上.整個實驗的流程圖如圖2所示.

圖2 實驗示意圖

3.5 實驗結果與討論

表4、表5、表6分別表示這30個模型在測試集上的Sensitivity,F3和G-mean值.如表4所示,在Original策略下,所有分類器的Sensitivity指標都有大幅退化.其中,XGB取得最高的分數(shù),證明了其卓越的性能.由于減少了一些邊界上的負例樣本,ENN策略相比Original有了一些提高.更進一步,Cost、Random和Ensemble策略都有大幅度的提高.Random比Cost表現(xiàn)稍強,尤其是在LSVC分類器上.如前所述,Ada和XGB在Cost策略上結果是缺失的因為它們不支持Cost策略.另外,相比Random策略,Ada、RF和XGB在Ensemble下表現(xiàn)稍好,而LR和LSVC則反之.從分類器層面來看,RF和XGB的性能幾乎是并駕齊驅,均取得優(yōu)異的表現(xiàn).

表4 所有模型的Sensitivity值

表5 所有模型的F3值

表6 所有模型的G-mean值

在表5中,Ensemble在F3上的表現(xiàn)優(yōu)于Random除了CART分類器.另外Cost的性能也比Random要強,和Ensemble不相上下.在分類器層面,盡管RF對于Sensitivity在Random和Ensemble策略上比XGB表現(xiàn)要好,此處XGB對于F3卻比RF表現(xiàn)更佳.

表6的情況更加簡潔明了.很明顯,Ensemble相比其他策略表現(xiàn)更加優(yōu)秀,XGB在所有分類器中取得最高的分數(shù).值得一提的是,xEnsemble對于Sensitivity,F3和G-mean均比EasyEnsemble效果要好.

總之,集成分類器,特別是XGB,相比單分類器,性能表現(xiàn)更好.同時,Ensemble策略相比其他策略,取得更優(yōu)秀的結果.因此,本文提出的方法:xEnsemble,相比其他方法表現(xiàn)出更良好的性能.

4 結語

本文主要將研究重點放在應用不平衡學習方法來解決數(shù)據(jù)集中的類別不平衡問題,然后對糖尿病進行分類診斷.由于數(shù)據(jù)集的高度不平衡性,相比之前的研究,我們面臨一個更加嚴峻的挑戰(zhàn).本文提出的xEnsemble 方法類似于“bagging of boosting”,能夠同時降低模型的方差和偏差.通過采用該方法,我們獲得了一個較優(yōu)的結果,這將協(xié)助醫(yī)務工作人員更高效便捷地對糖尿病診斷做出決策.

提取影響糖尿病發(fā)病的關鍵因素將是本文進一步的研究方向.明確這些關鍵發(fā)病因素能夠起到很好的預警作用,做到“未雨綢繆”,幫助那些潛在風險的糖尿病人群更好地管理健康和預防糖尿病的發(fā)生.

1 World Health Organization.Global report on diabetes.Geneva:World Health Organization,2016.

2 Tuomilehto J,Lindstr?m J,Eriksson JG,et al.Prevention of type 2 diabetes mellitus by changes in lifestyle among subjects with impaired glucose tolerance.New England Journal of Medicine,2001,344(18):1343–1350.[doi:10.1056/NEJM200105033441801]

3 Franciosi M,De Berardis G,Rossi MCE,et al.Use of the diabetes risk score for opportunistic screening of undiagnosed diabetes and impaired glucose tolerance.Diabetes Care,2005,28(5):1187–1194.[doi:10.2337/diacare.28.5.1187]

4 World Health Organization.Definition and diagnosis of diabetes mellitus and intermediate hyperglycaemia:Report of a WHO/IDF consultation.Geneva:World Health Organization,2006.

5 Huang Y,McCullagh P,Black N,et al.Feature selection and classification model construction on type 2 diabetic patients’data.Artificial Intelligence in Medicine,2007,41(3):251–262.[doi:10.1016/j.artmed.2007.07.002]

6 Goel R,Misra A,Kondal D,et al.Identification of insulin resistance in Asian Indian adolescents:Classification and regression tree (CART)and logistic regression based classification rules.Clinical Endocrinology,2009,70(5):717–724.[doi:10.1111/cen.2009.70.issue-5]

7 Heikes KE,Eddy DM,Arondekar B,et al.Diabetes risk calculator:A simple tool for detecting undiagnosed diabetes and pre-diabetes.Diabetes Care,2008,31(5):1040–1045.[doi:10.2337/dc07-1150]

8 Li L.Diagnosis of diabetes using a weight-adjusted voting approach.Proceedings of 2014 IEEE International Conference on Bioinformatics and Bioengineering.Boca Raton,FL,USA.2014.320–324.

9 Dogantekin E,Dogantekin A,Avci D,et al.An intelligent diagnosis system for diabetes on linear discriminant analysis and adaptive network based fuzzy inference system:LDAANFIS.Digital Signal Processing,2010,20(4):1248–1255.[doi:10.1016/j.dsp.2009.10.021]

10 Barakat N,Bradley AP,Barakat MNH.Intelligible support vector machines for diagnosis of diabetes mellitus.IEEE Transactions on Information Technology in Biomedicine,2010,14(4):1114–1120.[doi:10.1109/TITB.2009.2039485]

11 羅森林,成華,顧毓清,等.數(shù)據(jù)挖掘在2型糖尿病數(shù)據(jù)處理中的應用.計算機工程與設計,2004,25(11):1888–1892.[doi:10.3969/j.issn.1000-7024.2004.11.007]

12 羅森林,郭偉東,張笈,等,陳松景.基于Markov的Ⅱ型糖尿病預測技術研究.北京理工大學學報,2011,31(12):1414–1418.

13 蔣琳,彭黎.基于支持向量機的Ⅱ型糖尿病判別與特征篩選.科學技術與工程,2007,7(5):721–726.

14 Liu XY,Wu JX,Zhou ZH.Exploratory undersampling for class-imbalance learning.IEEE Transactions on Systems,Man,and Cybernetics,Part B (Cybernetics),2009,39(2):539–550.[doi:10.1109/TSMCB.2008.2007853]

15 Chen TQ,Guestrin C.Xgboost:A scalable tree boosting system.Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.San Francisco,CA,USA.2016.785–794.

16 Weiss GM.Mining with rarity:A unifying framework.ACM SIGKDD Explorations Newsletter,2004,6(1):7–19.[doi:10.1145/1007730]

17 Zhou ZH,Liu XY.Training cost-sensitive neural networks with methods addressing the class imbalance problem.IEEE Transactions on Knowledge and Data Engineering,2006,18(1):63–77.[doi:10.1109/TKDE.2006.17]

18 Chawla NV,Bowyer KW,Hall LO,et al.SMOTE:Synthetic minority over-sampling technique.Journal of Artificial Intelligence Research,2002,16(1):321–357.

19 Drummond C,Holte RC.C4.5,class imbalance,and cost sensitivity:Why under-sampling beats over-sampling.Workshop on Learning from Imbalanced Datasets II.Washington,DC,USA.2003.

20 Batista GEAPA,Prati RC,Monard MC.A study of the behavior of several methods for balancing machine learning training data.ACM Sigkdd Explorations Newsletter,2004,6(1):20–29.[doi:10.1145/1007730]

21 Breiman L.Bagging predictors.Machine Learning,1996,24(2):123–140.

22 Buitinck L,Louppe G,Blondel M,et al.API design for machine learning software:Experiences from the scikit-learn project.arXiv:1309.0238,2013.