GRU和GBDT混合模型在早產(chǎn)風(fēng)險預(yù)測中的應(yīng)用①

吳憶娜,張藝超,袁貞明,胡文勝,盧 莎,孫曉燕,吳英飛

1(杭州師范大學(xué) 信息科學(xué)與技術(shù)學(xué)院,杭州 311121)

2(移動健康管理教育部工程研究中心,杭州 311121)

3(杭州師范大學(xué) 醫(yī)學(xué)院,杭州 311121)

4(杭州市婦產(chǎn)科醫(yī)院,杭州 310008)

早產(chǎn)是指妊娠達到28 周但不足37 周而終止妊娠,按病因分為自發(fā)性早產(chǎn)和醫(yī)源性早產(chǎn),是新生兒死亡及病殘的首要原因,且影響新生兒的遠期健康[1].據(jù)WHO 發(fā)布的《全球早產(chǎn)兒報告》指出,全球每年約有1 500 萬早產(chǎn)兒出生,發(fā)生率為5%-18%,其中100 萬早產(chǎn)兒發(fā)生死亡[2].早產(chǎn)是新生兒死亡的主要原因,隨著我國二胎生育政策的實施,高齡產(chǎn)婦有所增多,早產(chǎn)兒的發(fā)生率呈上升趨勢,出生1 歲以內(nèi)死亡的嬰兒約2/3為早產(chǎn)兒[3].此外,早產(chǎn)兒相較于足月兒,各器官發(fā)育不成熟,先天畸形、神經(jīng)系統(tǒng)發(fā)育不良如視網(wǎng)膜病變和腦癱等發(fā)病率增高,遠期病死率亦高于足月兒[4].因此,在孕早期預(yù)測早產(chǎn)并采取預(yù)防性措施對降低早產(chǎn)兒病死率、提高早產(chǎn)兒生存率具有重要意義[5].

目前早產(chǎn)的發(fā)生機制尚未明確,臨床對早產(chǎn)的早期風(fēng)險預(yù)警仍缺乏有效的評估手段,如何設(shè)計高效的早產(chǎn)篩查模型是一個具有全球意義的重大產(chǎn)科難題[6].超聲檢查具有操作簡便且適用性廣等特點,是臨床上評估早產(chǎn)風(fēng)險的重要手段.其中,經(jīng)會陰超聲測量孕婦的宮頸長度是一種全球公認的早產(chǎn)篩查方法[7,8],但陰道超聲受限于多種因素,例如超聲設(shè)備的質(zhì)量、超聲醫(yī)生的技術(shù)水平等,且不適用前置胎盤和陰道出血等孕婦.此外,某些研究認為基因檢測、某些生物標志物也可用于預(yù)測早產(chǎn)[9,10].然而以上方法所用的檢測指標多為特殊檢查項,檢查成本高昂,難以進行大規(guī)模臨床驗證,且方法結(jié)構(gòu)簡單只考慮了單一因素,未分析各危險因素間的非線性相互作用[7].早產(chǎn)預(yù)測模型的建立須考慮疾病的整體性、復(fù)雜性和動態(tài)性,而機器學(xué)習(xí)技術(shù)以其獨特的整體性、系統(tǒng)性、自學(xué)習(xí)性和極強的容錯性等特點,為復(fù)雜的疾病診斷提供支持,成為近年來計算機與醫(yī)學(xué)領(lǐng)域研究的熱點[11].

流行病學(xué)調(diào)查顯示臨床上早產(chǎn)高危因素主要包括社會因素、個人因素、孕婦病史因素以及本次妊娠情況等方面[12],結(jié)合人工智能技術(shù)可對電子病歷中的體量巨大、類型異構(gòu)、內(nèi)部關(guān)聯(lián)復(fù)雜的臨床大數(shù)據(jù)進行全面客觀地分析[13,14].針對早產(chǎn)問題,Koivu 等人[15]在紐約公開數(shù)據(jù)集上利用人工神經(jīng)網(wǎng)絡(luò)和梯度提升決策樹(gradient boosting decision tree,GBDT)等算法構(gòu)建早產(chǎn)預(yù)測模型.Luo 等人[16]利用彈性網(wǎng)絡(luò)正則化邏輯回歸模型,預(yù)測一般性早產(chǎn)(分娩日期大于32 周且小于37 周)的風(fēng)險.但這些機器學(xué)習(xí)研究均未涉及到時序研究,且模型的效果相對較差.門控循環(huán)單元(gate recurrent unit,GRU)是可用于處理時間序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò),它是循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)的一種變體,其結(jié)構(gòu)簡單、性能穩(wěn)定性高,并解決了RNN 梯度消失或爆炸的問題[17].Ljubic 等人[18]利用RNN、長短期記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory,LSTM)和GRU 預(yù)測2 型糖尿病患者的并發(fā)癥風(fēng)險,其中GRU 時序模型整體性能最佳.但GRU 作為深度學(xué)習(xí)模型仍難以解釋預(yù)測結(jié)果,而建立疾病風(fēng)險評估模型的核心是開發(fā)整體和有意義的可解釋架構(gòu).由于單一模型的局限性,眾多研究提出了將時序模型與決策樹模型結(jié)合的混合模型來進行預(yù)測分析,并廣泛應(yīng)用于醫(yī)學(xué)領(lǐng)域[19-21].如賴曉鎣等人[22]將加權(quán)組合模型應(yīng)用于預(yù)測肺結(jié)核發(fā)病趨勢,有效提升了模型的預(yù)測效果.

針對以上分析,本文擬將 GRU與GBDT的優(yōu)勢結(jié)合,將GRU和GBDT 混合模型應(yīng)用于早產(chǎn)風(fēng)險預(yù)測.GRU 模型挖掘產(chǎn)檢數(shù)據(jù)中與早產(chǎn)相關(guān)的時間序列隱含信息,并在28 周前實現(xiàn)對早產(chǎn)的預(yù)測,同時利用GBDT 模型探究決策形成的原因,將預(yù)測模型和醫(yī)學(xué)可解釋性相結(jié)合,為提早干預(yù)和救治、降低早產(chǎn)發(fā)生率、改善早產(chǎn)人群的母嬰結(jié)局提供參考依據(jù).

1 相關(guān)工作

1.1 數(shù)據(jù)獲取平臺

本項目研究團隊前期建立了產(chǎn)科多源異構(gòu)數(shù)據(jù)互通共融的產(chǎn)科數(shù)據(jù)科研平臺,用于孕婦產(chǎn)檢數(shù)據(jù)的獲取.孕婦數(shù)據(jù)來源包括產(chǎn)檢門診、社區(qū)檔案、超聲檢查、實驗室檢查等,平臺對多源異構(gòu)的孕婦數(shù)據(jù)進行清洗、轉(zhuǎn)換、集成,如文本類型的超聲報告結(jié)構(gòu)化,胎心信號數(shù)據(jù)的解析等,最終形成可統(tǒng)一處理的結(jié)構(gòu)化數(shù)據(jù).產(chǎn)科數(shù)據(jù)科研平臺如圖1所示.

圖1 產(chǎn)科數(shù)據(jù)科研平臺

本文的早產(chǎn)風(fēng)險預(yù)測依托前期集成的產(chǎn)科醫(yī)療數(shù)據(jù),基于本研究可形成獨立的分析模塊嵌入產(chǎn)科數(shù)據(jù)科研平臺的健康分析云模塊中,進行智能的早產(chǎn)風(fēng)險評估,為臨床決策提供支持,做到早產(chǎn)的早發(fā)現(xiàn)、早診斷、早干預(yù).

1.2 GRU 模型

門控循環(huán)單元(GRU)是RNN的變體,是為了解決長期記憶和反向傳播中的梯度等問題而提出的[23,24],能良好地擬合時序數(shù)據(jù).相比于LSTM,GRU 只包括更新門和重置門兩個門,簡化的結(jié)構(gòu)使得GRU 在保證預(yù)測精度的前提下能有效減少運行時間[25].GRU 單元內(nèi)部結(jié)構(gòu)如圖2所示.

圖2 GRU 單元內(nèi)部結(jié)構(gòu)

GRU 中更新門、重置門的公式如式(1)、式(2)所示:

其中,xt為當前的輸入,ht-1代表上一個節(jié)點傳遞下來的隱狀態(tài).zt和rt分別表示更新門和重置門.Wr和Wz分別代表重置門和更新門的權(quán)重矩陣.σ是Sigmoid 激活函數(shù).

上一時刻隱藏數(shù)據(jù)經(jīng)過重置門控得到的重置數(shù)據(jù)與當前的輸入xt相結(jié)合并通過激活函數(shù)可以得到當前時刻的候選隱藏狀態(tài),公式如式(3)所示.然后結(jié)合式(4)得到t時刻的隱藏狀態(tài)ht,最后得到GRU 網(wǎng)絡(luò)模型在t時刻的輸出:

其中,t anh為雙曲正切函數(shù).代表隱藏狀態(tài)的權(quán)重矩陣.Wo為隱藏層到輸出層的代表權(quán)重矩陣.

1.3 GBDT 模型

GBDT是于2001年被提出的以CART 回歸樹為基學(xué)習(xí)器的Boosting 算法,具有預(yù)測精度高,魯棒性強,靈活性高等特點[26].其核心思想是通過損失函數(shù)的負梯度擬合前一輪基學(xué)習(xí)器的殘差,具體原理如下:

首先設(shè)訓(xùn)練樣本為i(i=1,2,3,···,n),迭代次數(shù)j(j=1,2,3,···,m),損失函數(shù)為L(yi,F(xi)),設(shè)置初始常數(shù)模型來最小化損失函數(shù),公式如式(6)所示.

負梯度rij的計算公式如式(7):

使用基學(xué)習(xí)器hj(x)擬 合損失函數(shù)的負梯度r,求出使損失函數(shù)最小的最佳擬合值:

接著進行模型更新,本輪的強學(xué)習(xí)器如下:

輸出最終的結(jié)果:

GBDT的特征重要性計算是基于計算決策樹分裂節(jié)點的增益,并用累積求和來評估特征的重要性.其中特征j的全局重要性由特征j重要性平均值衡量,公式如下:

其中,M表示樹的數(shù)量,{Tm}1M表示決策樹的集合.特征j在單棵樹中的重要度如下:

2 基于GRU-GBDT的早產(chǎn)風(fēng)險預(yù)測方法

GRU 模型結(jié)構(gòu)簡單,運行速度快,在時間序列預(yù)測方面具有較高的擬合能力和良好的預(yù)測效果.然而深度學(xué)習(xí)模型難以對預(yù)測結(jié)果與輸入特征之間的關(guān)系做出解釋.GBDT 模型能計算每個輸入特征對最終預(yù)測結(jié)果的重要性,特征重要性級別越高,表明該特征對預(yù)測結(jié)果的影響越大,以此解釋GBDT 模型的預(yù)測結(jié)果.鑒于GRU和GBDT 模型的優(yōu)點,本文旨在利用GRU和GBDT的混合模型在孕婦28 周前預(yù)測早產(chǎn)風(fēng)險,GRU 模型在孕婦時序產(chǎn)檢數(shù)據(jù)中學(xué)習(xí)并預(yù)測早產(chǎn)發(fā)生的概率,結(jié)合GBDT 模型實現(xiàn)更準確的早產(chǎn)風(fēng)險預(yù)測,而且在提升預(yù)測性能的同時分析輸入特征在模型中的貢獻程度,實現(xiàn)模型的可解釋性.早產(chǎn)風(fēng)險預(yù)測總體流程如圖3所示.

圖3 早產(chǎn)風(fēng)險預(yù)測總體流程

首先通過產(chǎn)科數(shù)據(jù)科研平臺獲取婦產(chǎn)科醫(yī)療數(shù)據(jù)集,并對獲取的數(shù)據(jù)進行特征篩選、數(shù)據(jù)劃分等處理.然后將數(shù)據(jù)分為時序數(shù)據(jù)和非時序數(shù)據(jù)并分別根據(jù)兩個數(shù)據(jù)集的特點進行數(shù)據(jù)預(yù)處理.

接著針對時序數(shù)據(jù)利用GRU 模型得到早產(chǎn)發(fā)生的概率.GRU 輸入層為預(yù)處理后的孕婦28 周前的5 次產(chǎn)檢數(shù)據(jù),輸入序列為:

其中,xt代表孕婦第t次的產(chǎn)檢記錄,GRU 神經(jīng)網(wǎng)絡(luò)的隱藏層數(shù)為2 層,隱藏層的第二層連接了上一個隱藏層中保留下來的信息.最后將輸出層中最后一個時刻h5的結(jié)果作為模型的輸出,并經(jīng)過Softmax 激活函數(shù)得到孕婦在不同分類結(jié)果下的概率y.雙層GRU 網(wǎng)絡(luò)結(jié)構(gòu)圖如圖4所示.

圖4 雙層GRU 網(wǎng)絡(luò)結(jié)構(gòu)圖

GRU 模型的目標是利用時序數(shù)據(jù)預(yù)測出早產(chǎn)發(fā)生的概率.將該早產(chǎn)概率作為新特征與孕前數(shù)據(jù)和28 周前末次產(chǎn)檢等非時序數(shù)據(jù)融合得到新數(shù)據(jù)集.將新數(shù)據(jù)集輸入GBDT 模型中,實現(xiàn)進一步的早產(chǎn)預(yù)測.預(yù)測過程中GBDT 模型計算輸入每一個特征在預(yù)測時的貢獻度.接著,GBDT 模型在得到分類結(jié)果的同時獲取輸入數(shù)據(jù)中每個特征的重要性.最后對實驗結(jié)果進行對比分析,驗證所用方法的有效性.

3 實驗設(shè)計及分析

3.1 數(shù)據(jù)預(yù)處理

通過產(chǎn)科數(shù)據(jù)科研平臺,實驗收集了2017年1月-2020年5月于某三甲醫(yī)院產(chǎn)科分娩且臨床資料完整的孕婦數(shù)據(jù),孕婦的排除標準如下:(1) 妊娠合并子宮體腫瘤;(2) 有嚴重的心、腦、血管、腎等內(nèi)外科合并癥及妊娠并發(fā)癥;(3) 妊娠期間行宮頸環(huán)扎術(shù);(4) 妊娠結(jié)局為剖宮產(chǎn)、引產(chǎn)的孕婦.

3.1.1 特征篩選

通過文獻分析、專家小組會議并結(jié)合臨床知識,共納入32 個可能影響早產(chǎn)的相關(guān)因素,包括孕前數(shù)據(jù)、產(chǎn)檢數(shù)據(jù)和超聲檢查數(shù)據(jù),其中孕前數(shù)據(jù)包括年齡、孕次、產(chǎn)次、身高、孕前體重、文化程度、孕前收縮壓、孕前舒張壓、末次月經(jīng)、初潮、經(jīng)期、周期、月經(jīng)量、痛經(jīng)、是否自然妊娠、血型、流產(chǎn)史、早產(chǎn)史和其他既往史;產(chǎn)檢數(shù)據(jù)包括孕期體重、BMI、宮高、腹圍、孕期血壓和孕期血常規(guī);超聲檢查包含雙頂徑、胎兒頭圍、股骨長、胎兒腹圍、羊水指數(shù)、臍動脈的血流指數(shù)和頸項透明層.所有納入的特征均由產(chǎn)科數(shù)據(jù)科研平臺獲取.

3.1.2 數(shù)據(jù)劃分

本研究納入的特征中產(chǎn)檢數(shù)據(jù)和超聲檢查數(shù)據(jù)呈現(xiàn)明顯的時序分布,產(chǎn)檢指南要求產(chǎn)婦在孕12 周前進行登記和初檢,并在孕28 周前每月1 次通過門診隨訪.因此,本研究根據(jù)產(chǎn)檢指南規(guī)定將孕檢時間初步劃分為孕周12 周前、13-16 周、17-20 周、21-24 周以及25-28 周,共計5 次產(chǎn)檢信息.但實驗發(fā)現(xiàn)這種選取方法會丟失近80%的產(chǎn)婦,2 萬多名孕婦中只有5 680名左右孕婦在各個劃分的橫斷面均有孕檢記錄.圖5為孕婦29 周前真實產(chǎn)檢分布.由圖可知,造成此類誤差的原因可能是13-16 周的部分孕婦是屬于17 周滯后的檢查,因此本研究根據(jù)實際產(chǎn)檢分布略微調(diào)整,將13-16 周、17-20 周和21-24 周分別調(diào)整為13-17 周、18-21 周和22-24 周.根據(jù)調(diào)整后的橫斷面,本研究最終共納入8 140 名孕婦,包括40 700 條產(chǎn)檢記錄.此外,本研究將納入的8 140 名孕婦的孕前數(shù)據(jù)和孕28 周前末次產(chǎn)檢的數(shù)據(jù)抽取出來作為實驗所用的非時序數(shù)據(jù).

圖5 妊娠早中期產(chǎn)檢分布

3.1.3 數(shù)據(jù)標準化

本研究收集的診療數(shù)據(jù)具有明顯的時序特性,構(gòu)建孕產(chǎn)婦早期產(chǎn)檢的時序特征集合,表1為其中一例產(chǎn)婦的時序特征集合示例,包括其常規(guī)的體格檢查、超聲檢查等,其中化驗數(shù)據(jù)暫未納入時序特征集合,原因是孕產(chǎn)婦早期的化驗多在各自社區(qū)進行,其檢驗手段和標準難以統(tǒng)一.

表1 時序特征構(gòu)建示意圖

按照第3.1.2 節(jié)的5 個橫斷面篩選定時門診且產(chǎn)檢資料完整的孕產(chǎn)婦數(shù)據(jù)作為時序數(shù)據(jù).將孕前數(shù)據(jù)和28 周前末次產(chǎn)檢的數(shù)據(jù)作為非時序數(shù)據(jù).在數(shù)據(jù)使用前,需要對數(shù)據(jù)中的缺失值和異常值進行處理.時序數(shù)據(jù)的缺失值采用線性插值法進行填充,非時序數(shù)據(jù)采用均值填充.結(jié)合臨床中各個指標的范圍,將數(shù)據(jù)中觀測極大值或極小值作為異常值,處理方法同缺失值.此外,由于樣本特征數(shù)據(jù)具有不同的量綱和量綱單位,數(shù)值間的差距會對模型造成影響,因此需要對數(shù)據(jù)進行歸一化處理,避免值域較大的特征影響其他特征,同時提升模型的收斂速度.本文采用min-max 標準化,使得結(jié)果映射到[0,1]之間,如式(14)所示:

其中,x為當前特征值,xmin,xmax分別為當前特征的最小值和最大值,x*為標準化后的特征值.模型得到預(yù)測結(jié)果后,通過式(15)對結(jié)果進行反歸一化處理得到真實值,其中y為真實值,ypredict為預(yù)測值.

3.2 模型設(shè)置和評價指標

本研究最終納入8 140 名孕婦,其中早產(chǎn)342 名,足月7 798 名.因本實驗數(shù)據(jù)集樣本分布不平衡,會使預(yù)測的分類結(jié)果偏向于多數(shù)類樣本點集合,使得少數(shù)類樣本點的分類正確率低.針對樣本不平衡問題,在訓(xùn)練過程中將少數(shù)類樣本進行隨機過采樣處理.實驗時使用網(wǎng)格搜索法選擇模型的最優(yōu)超參數(shù),并采用五折交叉驗證的方法來驗證結(jié)果的可靠性.

調(diào)整后的GRU和GBDT的最優(yōu)參數(shù)設(shè)置如表2所示,GRU 神經(jīng)網(wǎng)絡(luò)批次大小為256,輸入特征維度為32,隱藏層層數(shù)為2,將學(xué)習(xí)率設(shè)置為0.001,并使用Adam 優(yōu)化器進一步加速訓(xùn)練過程,Adam 優(yōu)化器可以使用動量和自適應(yīng)學(xué)習(xí)率來加速收斂速度.GBDT 模型的損失函數(shù)采用對數(shù)似然損失函數(shù)“deviance”,設(shè)置學(xué)習(xí)率0.01,弱學(xué)習(xí)器的最大迭代次數(shù)為200,子采樣取值為0.8,防止過擬合.

表2 GRU和GBDT 模型各參數(shù)的含義及取值

此外本研究采用加權(quán)平均敏感性(weighted average sensitivity,WA_Sensitivity)、加權(quán)平均特異性(weighted average specificity,WA_Specificity)、AUC和ROC 曲線下面積對模型的性能進行評價.加權(quán)平均是將每一個類別樣本數(shù)量在總樣本中的占比作為權(quán)重,在樣本不平衡情況下可獲得更加客觀的總體評價,加權(quán)平均敏感性和加權(quán)平均特異性公式如式(16)、式(17)所示,其中se0、se1分別代表0、1 樣本的靈敏度,num0、num1分別為0、1 樣本的數(shù)量,numall為總樣本數(shù),sp0、sp1分別代表0、1 樣本的特異性.

3.3 實驗結(jié)果和分析

實驗中分別選用邏輯回歸(logistic regression,LR)、隨機森林 (random forest,RF)、GBDT、LSTM、GRU和GRU-GBDT 進行對比,數(shù)據(jù)集均按照8:2 劃分為訓(xùn)練集和測試集,并通過五折交叉驗證實驗結(jié)果.表3為各模型的預(yù)測結(jié)果.

表3 各模型預(yù)測結(jié)果表

由表可知,與單一模型相比,GRU-GBDT 模型對早產(chǎn)的預(yù)測能力最佳,其中加權(quán)平均敏感性為0.77,加權(quán)平均特異性為0.84,AUC為0.647,均優(yōu)于其他方法.此外,GBDT 相比較于LR和RF,在犧牲少許運行時間的情況下各項指標均有所提高.時序模型的AUC明顯優(yōu)于非時序模型,其中GRU 相對于LSTM 結(jié)構(gòu)更加簡單,可在保持模型性能的前提下顯著提升算法運行速度.

圖6為GBDT、GRU和GRU-GBDT 混合模型的ROC 曲線,曲線下面積值越高模型的預(yù)測性能越佳.由圖可知,本研究的GRU-GBDT 混合模型優(yōu)于對應(yīng)的單一模型.

圖6 GBDT、GRU和GRU-GBDT的ROC 曲線圖

3.4 特征重要性分析

根據(jù)GBDT 模型輸出的特征重要性排序如圖7所示,由于所用特征較多,本文只列出重要性排序前15 名的特征.

由圖7可知,GRU 輸出的新特征在早產(chǎn)預(yù)測中的重要性最高,可見本文采用的GRU-GBDT 混合模型在早產(chǎn)預(yù)測中的有效性.此外,宮高、BMI、血紅蛋白、舒張壓、雙頂徑等都是早產(chǎn)的重要因素.結(jié)合GBDT模型輸出的特征重要性結(jié)果,可輔助醫(yī)生臨床決策,便于醫(yī)生對存在早產(chǎn)風(fēng)險的孕婦進行及時有效的干預(yù).

圖7 GBDT 模型重要性排序

4 結(jié)論與展望

針對早產(chǎn)風(fēng)險預(yù)測問題,本文通過分析孕婦歷次產(chǎn)檢數(shù)據(jù)特征,利用GRU-GBDT 混合模型預(yù)測孕婦早產(chǎn)風(fēng)險.本實驗整合多源異構(gòu)的產(chǎn)科診療數(shù)據(jù)并根據(jù)產(chǎn)檢指南以及實際情況合理獲取多次產(chǎn)檢的信息,通過GRU 模型捕捉孕婦歷次產(chǎn)檢的生理特點并得到早產(chǎn)發(fā)生的概率,然后采用GBDT 模型在融合數(shù)據(jù)的基礎(chǔ)上預(yù)測最終分類結(jié)果,并獲取特征重要性.通過與其他方法對比分析,驗證了該混合模型在早產(chǎn)分類效果上的優(yōu)越性,其中GRU 對于時間序列信息有較強的學(xué)習(xí)能力,該混合模型保證了孕婦多次產(chǎn)檢數(shù)據(jù)的合理利用,同時GBDT 模型能在預(yù)測時獲取每一特征對預(yù)測結(jié)果的貢獻度,特征重要性可為醫(yī)生判斷孕婦早產(chǎn)風(fēng)險提供輔助決策.

本文可實現(xiàn)早期的早產(chǎn)高危人群篩選,以建議該部分人群進行進一步的早產(chǎn)項目檢查.本研究不涉及特殊化驗項和檢查項,在不進行額外檢查項的同時基于歷史診療數(shù)據(jù)進行早期篩查,可節(jié)省大量資源.然而,本研究未加入孕婦常見的化驗數(shù)據(jù),未來將對GRUGBDT 模型結(jié)構(gòu)進一步優(yōu)化,并添加化驗項來提高整體預(yù)測效果.