摘要:目的 鑒于膽總管結(jié)石患者治療決策的復(fù)雜性,本研究利用自動(dòng)化機(jī)器學(xué)習(xí)算法,開(kāi)發(fā)一款能夠預(yù)測(cè)膽總管結(jié)石患者自發(fā)排石的預(yù)測(cè)模型及應(yīng)用程序,從而減少非必要內(nèi)鏡逆行胰膽管造影(ERCP)。方法 回顧性收集2022年1月—2024年6月通過(guò)影像學(xué)手段明確診斷膽總管結(jié)石后擬行ERCP取石的患者數(shù)據(jù),數(shù)據(jù)來(lái)自常熟市第一人民醫(yī)院(數(shù)據(jù)集1)和常熟市中醫(yī)院(數(shù)據(jù)集2),共835例。數(shù)據(jù)集1用于機(jī)器學(xué)習(xí)模型訓(xùn)練、內(nèi)部驗(yàn)證和開(kāi)發(fā)應(yīng)用程序,數(shù)據(jù)集2用于外部測(cè)試。納入22個(gè)潛在預(yù)測(cè)變量,用于構(gòu)建和內(nèi)部驗(yàn)證LASSO回歸模型及自動(dòng)化機(jī)器學(xué)習(xí)模型。通過(guò)受試者操作特征曲線下面積(AUC)、敏感度、特異度、準(zhǔn)確率等評(píng)估模型性能,選取最佳模型。使用特征重要性圖、力圖和SHAP圖對(duì)模型進(jìn)行解釋。利用Python Dash庫(kù)和最佳模型構(gòu)建Web應(yīng)用程序,在數(shù)據(jù)集2上進(jìn)行外部測(cè)試。使用Kolmogorov-Smirnov檢驗(yàn)確定數(shù)據(jù)是否符合正態(tài)分布;對(duì)于不符合正態(tài)分布的連續(xù)變量,使用Mann-Whitney U檢驗(yàn)進(jìn)行2組間比較;分類(lèi)變量通過(guò)χ 2 檢驗(yàn)或Fisher精確檢驗(yàn)來(lái)分析組間差異。結(jié)果 納入835例患者中,152例(18.20%)出現(xiàn)自發(fā)排石。在訓(xùn)練集(n=588)和驗(yàn)證集(n=171)中,LASSO模型的AUC分別為0.875、0.864,重要性排名前5的預(yù)測(cè)因素為單發(fā)膽總管結(jié)石、膽總管不擴(kuò)張、膽總管結(jié)石直徑、血清ALP降低和GGT降低。通過(guò)自動(dòng)化機(jī)器學(xué)習(xí)構(gòu)建了55個(gè)模型,其中梯度提升機(jī)(GBM)表現(xiàn)最佳,其AUC為0.891,95%CI為0.859~0.927,優(yōu)于極端隨機(jī)樹(shù)(XRT)、深度學(xué)習(xí)(DL)、廣義線性模型(GLM)和分布式隨機(jī)森林(DRF)模型。在測(cè)試集(n=76)中,GBM模型的預(yù)測(cè)準(zhǔn)確率、敏感度和特異度分別為0.855、0.846和0.857。變量重要性分析顯示,單發(fā)膽總管結(jié)石、膽總管不擴(kuò)張、膽總管結(jié)石直徑lt;8 mm、血清ALP降低和GGT降低這5個(gè)因素對(duì)預(yù)測(cè)自發(fā)排石具有重要影響。基于GBM模型的SHAP圖分析顯示,當(dāng)患者出現(xiàn)單發(fā)膽總管結(jié)石、膽總管不擴(kuò)張、膽總管結(jié)石直徑lt;8 mm、血清ALP及GGT降低時(shí),出現(xiàn)自發(fā)性排石的概率明顯增加。結(jié)論 基于自動(dòng)化機(jī)器學(xué)習(xí)算法構(gòu)建的GBM模型及應(yīng)用程序,在預(yù)測(cè)膽總管結(jié)石患者自發(fā)排石方面展現(xiàn)出良好的預(yù)測(cè)性能和使用便捷性。該應(yīng)用程序能夠幫助避免非必要的ERCP,從而降低手術(shù)風(fēng)險(xiǎn)和醫(yī)保支出。
關(guān)鍵詞:膽總管結(jié)石?。灰饶懝茉煊靶g(shù),內(nèi)窺鏡逆行;機(jī)器學(xué)習(xí);預(yù)測(cè)模型
基金項(xiàng)目:姑蘇衛(wèi)生人才培養(yǎng)項(xiàng)目(GSWS2020109);蘇州市第二十三批科技發(fā)展計(jì)劃項(xiàng)目(SLT2023006);蘇州市臨床重點(diǎn)病種診療技術(shù)專(zhuān)項(xiàng)項(xiàng)目(LCZX202334);常熟市科技發(fā)展計(jì)劃項(xiàng)目(CS202019,CSWS202316)
Development of a predictive model and application for spontaneous passage of common bile duct stones based on automated machine learning
CHEN Jian 1 ,XIA Kaijian 2 ,GAO Fuli 1 ,LIU Luojie 1 ,WANG Ganhong 3 ,XU Xiaodan 1
1. Department of Gastroenterology,Changshu First People’s Hospital,Changshu,Jiangsu 215500,China;2. Changshu Key Laboratory of Medical Artificial Intelligence and Big Data,Changshu,Jiangsu 215500,China;3. Department of Gastroenterology,Changshu Traditional Chinese Medicine Hospital,Changshu,Jiangsu 215500,China
Corresponding author:XU Xiaodan,xxddocter@gmail.com (ORCID:0009-0005-1947-3339)
Abstract:Objective To develop a predictive model and application for spontaneous passage of common bile duct stones using automated machine learning algorithms given the complexity of treatment decision-making for patients with common bile duct stones,and to reduce unnecessary endoscopic retrograde cholangiopancreatography (ERCP) procedures. Methods A retrospective analysis was performed for the data of 835 patients who were scheduled for ERCP after a confirmed diagnosis of common bile duct stones based on imaging techniques in Changshu First People’s Hospital (dataset 1) and Changshu Traditional Chinese Medicine Hospital (dataset 2). The dataset 1 was used for the training and internal validation of the machine learning model and the development of an application,and the dataset 2 was used for external testing. A total of 22 potential predictive variables were included for the establishment and internal validation of the LASSO regression model and various automated machine learning models. The area under the receiver operating characteristic curve (AUC),sensitivity,specificity,and accuracy were used to assess the performance of models and identify the best model. Feature importance plots,force plots,and SHAP plots were used to interpret the model. The Python Dash library and the best model were used to develop a web application,and external testing was conducted using the dataset 2. The Kolmogorov-Smirnov test was used to examine whether the data were normally distributed,and the Mann-Whitney U test was used for comparison between two groups,while the chi-square test or the Fisher’s exact test was used for comparison of categorical data between groups. Results Among the 835 patients included in the study,152 (18.20%) experienced spontaneous stone passage. The LASSO model achieved an AUC of 0.875 in the training set (n=588) and 0.864 in the validation set(n=171),and the top five predictive factors in terms of importance were solitary common bile duct stones,non-dilated common bile duct,diameter of common bile duct stones,a reduction in serum alkaline phosphatase (ALP),and a reduction in gamma-glutamyl transpeptidase (GGT). A total of 55 models were established using automated machine learning,among which the gradient boosting machine (GBM) model had the best performance,with an AUC of 0.891 (95% confidence interval:0.859 — 0.927),outperforming the extreme randomized tree mode,the deep learning model,the generalized linear model,and the distributed random forest model. The GBM model had an accuracy of 0.855,a sensitivity of 0.846,and a specificity of 0.857 in the test set (n=76). The variable importance analysis showed that five factors had important influence on the prediction of spontaneous stone passage,i.e.,were solitary common bile duct stones,non-dilated common bile duct,a stone diameter of lt;8 mm,a reduction in serum ALP,and a reduction in GGT. The SHAP analysis of the GBM model showed a significant increase in the probability of spontaneous stone passage in patients with solitary common bile duct stones,non-dilated common bile duct,a stone diameter of lt;8 mm,and a reduction in serum ALP or GGT. Conclusion The GBM model and application developed using automated machine learning algorithms exhibit excellent predictive performance and user-friendliness in predicting spontaneous stone passage in patients with common bile duct stones. This application can help avoid unnecessary ERCP procedures,thereby reducing surgical risks and healthcare costs.
Key words:Choledocholithiasis;Cholangiopancreatography,Endoscopic Retrograde;Machine Learning;Predictive Model
Research funding:Gusu Health Talent Training Project (GSWS2020109);Suzhou 23 rd Science and Technology Development Plan Project (SLT2023006);Suzhou Clinical Key Disease Diagnosis and Treatment Technology Special Project (LCZX202334);Changshu Science and Technology Development Plan Projects (CS202019,CSWS202316)
膽總管結(jié)石是一種常見(jiàn)的膽道疾病,當(dāng)前國(guó)內(nèi)外指南建議使用內(nèi)鏡逆行胰膽管造影(ERCP)作為膽總管結(jié)石患者的首選治療方法,無(wú)論結(jié)石的數(shù)量、大小以及是否有癥狀[1-2]。盡管ERCP是一種有效且廣泛可用的膽總管結(jié)石去除方法[3],但其伴隨較高的風(fēng)險(xiǎn)。ERCP的并發(fā)癥包括術(shù)后胰腺炎、膽管炎、出血和穿孔,有時(shí)可能是致命的[4-6]。鑒于ERCP存在的風(fēng)險(xiǎn),應(yīng)避免在膽總管結(jié)石自發(fā)通過(guò)進(jìn)入十二指腸后進(jìn)行不必要的ERCP。在腹腔鏡膽囊切除術(shù)過(guò)程中進(jìn)行膽管造影的患者中,膽總管結(jié)石自發(fā)排入十二指腸的情況經(jīng)常發(fā)生且無(wú)任何并發(fā)癥[7]。在臨床實(shí)踐中,內(nèi)鏡醫(yī)生也會(huì)遇到基于影像學(xué)手段診斷為膽總管結(jié)石的患者,但在ERCP過(guò)程中未能檢測(cè)到膽總管結(jié)石。預(yù)測(cè)和診斷膽總管結(jié)石在ERCP前的自發(fā)排出可以避免不必要的ERCP。
機(jī)器學(xué)習(xí)是人工智能的分支之一,通過(guò)算法和統(tǒng)計(jì)模型使計(jì)算機(jī)系統(tǒng)能夠從數(shù)據(jù)中學(xué)習(xí)和決策,其核心理念是通過(guò)數(shù)據(jù)訓(xùn)練模型,使其在遇到新數(shù)據(jù)時(shí)能作出準(zhǔn)確的預(yù)測(cè)或決策。自動(dòng)化機(jī)器學(xué)習(xí)(automated machine learning,AutoML)是機(jī)器學(xué)習(xí)的一個(gè)子領(lǐng)域,專(zhuān)注于通過(guò)自動(dòng)化機(jī)器學(xué)習(xí)工作流程的核心環(huán)節(jié),包括特征選擇、模型選擇和超參數(shù)調(diào)優(yōu)等關(guān)鍵步驟。AutoML的目標(biāo)是使機(jī)器學(xué)習(xí)更易于訪問(wèn)和使用,特別是為沒(méi)有深厚機(jī)器學(xué)習(xí)背景的醫(yī)護(hù)人員提供支持。王甘紅等[8]使用AutoML算法構(gòu)建了結(jié)腸鏡腸道準(zhǔn)備失敗風(fēng)險(xiǎn)的預(yù)測(cè)模型,準(zhǔn)確率達(dá)83.2%。預(yù)測(cè)膽總管結(jié)石患者自發(fā)排石可以避免非必要的ERCP手術(shù),閻文心等[9]采用多因素Logistic回歸分析了82例膽總管結(jié)石患者出現(xiàn)自發(fā)排石的影響因素。徐張巍等[10]使用97例膽總管結(jié)石患者的數(shù)據(jù),構(gòu)建了用于預(yù)測(cè)自發(fā)排石的傳統(tǒng)Logistic回歸模型,受試者操作特征(ROC)曲線下面積(AUC)為0.790。然而,既往研究普遍存在數(shù)據(jù)量少、模型預(yù)測(cè)性能一般的問(wèn)題,而且未能將模型開(kāi)發(fā)為可供臨床方便使用的應(yīng)用程序,這些因素極大地限制了其在臨床中的實(shí)際應(yīng)用。
本研究旨在開(kāi)發(fā)一個(gè)兼具用戶友好性且具有高預(yù)測(cè)性能的機(jī)器學(xué)習(xí)模型及其Web應(yīng)用程序,用于預(yù)測(cè)膽總管結(jié)石患者的自發(fā)排石情況,以期為臨床醫(yī)生提供一個(gè)既準(zhǔn)確又易于操作的評(píng)估工具,以便能夠及早識(shí)別出可能發(fā)生自發(fā)排石的膽總管結(jié)石患者。這將有助于避免不必要的ERCP及其潛在并發(fā)癥,同時(shí)減少醫(yī)療費(fèi)用的支出。
1 資料與方法
1.1 研究對(duì)象及數(shù)據(jù)收集 回顧性收集2022年1月—2024年6月通過(guò)影像學(xué)手段明確診斷膽總管結(jié)石后擬行ERCP取石的患者數(shù)據(jù),數(shù)據(jù)來(lái)自常熟市第一人民醫(yī)院(數(shù)據(jù)集1)和常熟市中醫(yī)院(數(shù)據(jù)集2)。數(shù)據(jù)集1用于機(jī)器學(xué)習(xí)模型訓(xùn)練、內(nèi)部驗(yàn)證和開(kāi)發(fā)應(yīng)用程序,數(shù)據(jù)集2用于外部測(cè)試,研究流程見(jiàn)圖1。排除標(biāo)準(zhǔn):(1)非原始十二指腸乳頭的患者;(2)膽道插管不成功的患者;(3)進(jìn)行Roux-en-Y或Billroth-Ⅱ重建的患者。研究中為避免數(shù)據(jù)泄露,對(duì)兩個(gè)數(shù)據(jù)集進(jìn)行了清洗,移除超過(guò)30%缺失值的變量,并使用mice包(v3.14.0)的分類(lèi)樹(shù)和回歸樹(shù)方法填充剩余缺失值。
收集的數(shù)據(jù)包括:基本信息(年齡、性別、BMI)、臨床特征(體溫、收縮壓、術(shù)前應(yīng)用解痙藥、術(shù)前應(yīng)用抗生素、膽總管結(jié)石直徑、影像學(xué)檢查與ERCP的間隔時(shí)間)、實(shí)驗(yàn)室檢查[WBC、AST、ALT、TBil、DBil、ALP、GGT、ALP差值(ΔALP)、GGT差值(ΔGGT)、淀粉酶(AMY)、C 反應(yīng)蛋白(CRP)]、器械檢查(膽總管擴(kuò)張、單發(fā)膽總管結(jié)石、遠(yuǎn)端膽總管結(jié)石)。
1.2 方法 膽總管結(jié)石診斷:通過(guò)綜合多種實(shí)驗(yàn)室和影像學(xué)檢查方法,包括腹部超聲、內(nèi)鏡超聲、CT和磁共振胰膽管造影(MRCP),進(jìn)行膽總管結(jié)石的診斷,以減少單一檢查方法可能帶來(lái)的誤差。ERCP手術(shù)流程:患者采取側(cè)臥位,并在哌替啶鹽酸鹽和咪達(dá)唑侖適度鎮(zhèn)靜的情況下,使用側(cè)視十二指腸鏡(型號(hào):JF-260 或 TJF-260 V;Olympus,東京,日本)進(jìn)行操作。在本研究中,共有6名不同的內(nèi)鏡醫(yī)生執(zhí)行了ERCP手術(shù)。完成選擇性膽道插管后,進(jìn)行膽管造影以確認(rèn)膽總管結(jié)石的存在。然后,通過(guò)括約肌切開(kāi)術(shù)、壺腹球囊擴(kuò)張術(shù)或壺腹大球囊擴(kuò)張術(shù),使用籃式導(dǎo)管、球囊導(dǎo)管或機(jī)械碎石器來(lái)取出膽總管結(jié)石。即使在膽管造影未發(fā)現(xiàn)膽總管結(jié)石的患者中,也會(huì)使用球囊或籃式導(dǎo)管進(jìn)行結(jié)石提取,因?yàn)樾〉哪懣偣芙Y(jié)石有時(shí)可能無(wú)法通過(guò)膽管造影檢測(cè)到。
1.3 相關(guān)定義 (1)自發(fā)排石的定義:①患者癥狀(如腹痛、腹脹、惡心)、體征(如腹部壓痛、反跳痛、皮膚和鞏膜黃染)和實(shí)驗(yàn)室檢查結(jié)果符合膽總管結(jié)石的表現(xiàn),且至少有1項(xiàng)影像學(xué)檢查(如CT、MRCP、超聲)顯示膽總管結(jié)石;②沒(méi)有癥狀、體征和實(shí)驗(yàn)室檢查結(jié)果的表現(xiàn),但至少2項(xiàng)影像學(xué)檢查顯示膽總管結(jié)石。符合①或②中的任一條,但在ERCP手術(shù)中未發(fā)現(xiàn)膽總管結(jié)石者,即可診斷為自發(fā)排石。(2)非必要 ERCP的定義:在進(jìn)行 ERCP手術(shù)時(shí),造影和取石過(guò)程中未發(fā)現(xiàn)結(jié)石,或僅發(fā)現(xiàn)少量的絮狀結(jié)石。由于這些少量的絮狀結(jié)石通常不會(huì)引起膽管梗阻,也很難在影像學(xué)檢查中顯示,因此不需要進(jìn)行ERCP。這種情況下,ERCP手術(shù)被認(rèn)為是不必要的。(3)ΔALP=入院后復(fù)查的ALP值-入院前或入院后首次ALP值。(4)ΔGGT=入院后復(fù)查的 GGT 值-入院前或入院首次GGT值。
1.4 模型構(gòu)建 將模型開(kāi)發(fā)組數(shù)據(jù)(由數(shù)據(jù)集1組成)使用R語(yǔ)言的sample函數(shù)隨機(jī)劃分為訓(xùn)練集(n=588)和驗(yàn)證集(n=171)。在訓(xùn)練集,使用最小絕對(duì)收縮和選擇算子(LASSO)算法進(jìn)行變量選擇,并基于此構(gòu)建傳統(tǒng)的邏輯回歸(LR)模型。同時(shí),在Python編程環(huán)境中,利用H2O.ai平臺(tái)(www.h2o.ai)中的 H2O軟件包實(shí)現(xiàn) AutoML分析。AutoML自動(dòng)執(zhí)行了模型訓(xùn)練和超參數(shù)調(diào)整,優(yōu)化了預(yù)測(cè)性能。使用的 5 種算法包括:梯度提升機(jī)(gradient boost machine,GBM)、極 端 隨 機(jī) 樹(shù)(extreme randomized trees,XRT)、深度學(xué)習(xí)(deep learning,DL)、廣義線性模型(generalized linear model,GLM)和分布式隨機(jī)森林(distributed random forest,DRF)。
1.5 模型性能評(píng)估 為全面評(píng)估模型的預(yù)測(cè)性能,采用了多種評(píng)估指標(biāo),包括敏感度、特異度、準(zhǔn)確率、陽(yáng)性預(yù)測(cè)值(positive predictive value,PPV)、陰性預(yù)測(cè)值(negative predictive value,NPV)等,并通過(guò)比較 AUC 值來(lái)評(píng)估模型性能的優(yōu)劣。同時(shí),通過(guò)繪制校準(zhǔn)曲線和臨床決策曲線來(lái)判斷模型的校準(zhǔn)度和臨床適用度。
1.6 模型可解釋性分析 為了深入理解機(jī)器學(xué)習(xí)模型的決策機(jī)制并解決“黑盒”問(wèn)題,對(duì)模型進(jìn)行了可解釋性分析,包括特征重要性分析、SHAP分析、力圖分析。特征重要性分析可以展示不同特征對(duì)整體模型預(yù)測(cè)結(jié)果的影響,幫助識(shí)別哪些特征對(duì)于模型的性能影響大。
SHAP圖是一種基于博弈論的解釋方法,通過(guò)計(jì)算每個(gè)特征對(duì)模型輸出的貢獻(xiàn)值,揭示模型的決策邏輯[11]。力圖作為一種可視化工具,直觀展示了各特征對(duì)單個(gè)預(yù)測(cè)結(jié)果的正負(fù)影響及其重要性[12]。
1.7 Web 應(yīng)用程序開(kāi)發(fā) 在 Python 環(huán)境中使用 Dash庫(kù)(版本2.12.1)開(kāi)發(fā)一個(gè)Web應(yīng)用程序,該應(yīng)用程序基于性能最佳的模型進(jìn)行構(gòu)建。界面布局結(jié)合了Dash的HTML功能和Ant Design組件庫(kù),打造了一個(gè)用戶友好的可視化操作界面。用戶可以通過(guò)下拉菜單選擇不同的預(yù)測(cè)變量,并通過(guò)點(diǎn)擊按鈕觸發(fā)模型進(jìn)行預(yù)測(cè)。應(yīng)用程序會(huì)計(jì)算并展示模型的預(yù)測(cè)結(jié)果和相應(yīng)的置信度,所有信息都以數(shù)據(jù)表格的形式清晰呈現(xiàn)。此外,應(yīng)用程序還生成了特征重要性柱狀圖,直觀地展示了各個(gè)變量對(duì)模型預(yù)測(cè)結(jié)果的影響程度。整個(gè)應(yīng)用程序在本地計(jì)算機(jī)上運(yùn)行,并通過(guò)數(shù)據(jù)集2進(jìn)行外部測(cè)試以驗(yàn)證其性能。
1.8 統(tǒng)計(jì)學(xué)方法 使用R語(yǔ)言(版本4.0.3)和Python(版本3.9.17)對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。首先,使用Kolmogorov-Smirnov檢驗(yàn)來(lái)確定數(shù)據(jù)是否符合正態(tài)分布。對(duì)于不符合正態(tài)分布的連續(xù)變量,則以M(P 25 ~P 75 )表示,并使用Mann-Whitney U檢驗(yàn)進(jìn)行2組間比較。分類(lèi)變量則以數(shù)值和百分比的形式表示,并通過(guò)χ 2 檢驗(yàn)或Fisher精確檢驗(yàn)來(lái)分析組間差異。Plt;0.05為差異有統(tǒng)計(jì)學(xué)意義。
2 結(jié)果
2.1 基線特征 研究共納入 835 例患者,其中訓(xùn)練集588例、驗(yàn)證集171例、測(cè)試集76例。在總隊(duì)列中,共有152例(18.20%)患者出現(xiàn)自發(fā)排石。在訓(xùn)練集、驗(yàn)證集和測(cè)試集中,分別有106例(18.03%)、33例(19.30%)和13例(17.11%)出現(xiàn)自發(fā)排石。研究共收集了23個(gè)可能影響膽總管結(jié)石患者出現(xiàn)自發(fā)排石的因素,這些因素在訓(xùn)練集和驗(yàn)證集中比較均無(wú)統(tǒng)計(jì)學(xué)差異(P值均gt;0.05)(表1)。
2.2 LASSO模型構(gòu)建及性能評(píng)估 本項(xiàng)研究共納入23個(gè)潛在預(yù)測(cè)變量,為解決變量間的多重共線性問(wèn)題,引入了LASSO回歸模型。模型通過(guò)λ值為0.050 4(λ_1se)的10倍交叉驗(yàn)證進(jìn)行訓(xùn)練,結(jié)果見(jiàn)圖2。最終,共5個(gè)變量被納入LASSO回歸模型,包括:?jiǎn)伟l(fā)膽總管結(jié)石、膽總管不擴(kuò)張、膽總管結(jié)石直徑、血清ALP降低和GGT降低。
LASSO模型在訓(xùn)練集和驗(yàn)證集上的校準(zhǔn)曲線的平均絕對(duì)誤差(MAE)分別為 0.025 和 0.044(圖 3),提示LASSO模型的預(yù)測(cè)風(fēng)險(xiǎn)與實(shí)際觀測(cè)的風(fēng)險(xiǎn)非常接近,證明該模型可靠。模型在訓(xùn)練集和驗(yàn)證集上的ROC曲線見(jiàn)圖4;在訓(xùn)練集中,模型的AUC為0.875,95%CI為0.833~0.917,敏感度為 0.847,特異度為 0.792;驗(yàn)證集中,AUC為0.864,95%CI為0.798~0.930,敏感度為0.844,特異度為0.827。
2.3 AutoML 模型構(gòu)建及性能評(píng)估 基于 H2O 平臺(tái)的AutoML算法,成功構(gòu)建了55種不同的模型,其中包括18種GBM模型、6種GLM模型、20種DL模型、9種XRT模型,以及2種DRF模型。從每一類(lèi)機(jī)器學(xué)習(xí)模型中選取表現(xiàn)最佳的模型,并在驗(yàn)證集上進(jìn)行性能對(duì)比,各項(xiàng)指標(biāo)對(duì)比結(jié)果見(jiàn)表2和圖5。GBM模型表現(xiàn)最佳,其AUC為0.891,敏感度、特異度和準(zhǔn)確率分別為0.894、0.742和0.888。采用SHAP法對(duì)各變量的重要性進(jìn)行評(píng)價(jià),分析結(jié)果顯示,單發(fā)膽總管結(jié)石、血清ALP降低、GGT降低、膽總管不擴(kuò)張和膽總管結(jié)石直徑是性能最優(yōu)模型GBM識(shí)別的預(yù)測(cè)自發(fā)排石的排名前5的關(guān)鍵變量(圖6a)。此外,通過(guò)觀察學(xué)習(xí)曲線發(fā)現(xiàn),隨著訓(xùn)練樣本數(shù)量的增加,GBM模型的性能逐漸穩(wěn)定。在交叉驗(yàn)證和驗(yàn)證曲線之間展現(xiàn)了良好的一致性,說(shuō)明模型未發(fā)生過(guò)擬合現(xiàn)象(圖6b)。
2.4 最佳模型在測(cè)試集的性能評(píng)估 在Python編程環(huán)境下,通過(guò)結(jié)合Dash庫(kù)和最佳模型GBM,成功開(kāi)發(fā)了一款具有可視化操作界面的Web應(yīng)用程序,并將其部署至本地電腦(圖7)。用戶可以利用下拉菜單選擇預(yù)測(cè)變量,并點(diǎn)擊“預(yù)測(cè)”按鈕獲取模型的預(yù)測(cè)結(jié)果及相應(yīng)的置信度。通過(guò)點(diǎn)擊鏈接(https://share.weiyun.com/9GB1nNOm)可在線查看使用該程序預(yù)測(cè)某例擬行ERCP手術(shù)的膽總管結(jié)石患者自發(fā)排石的完整操作過(guò)程。在此例中,模型以0.984的置信度成功預(yù)測(cè)該患者可能出現(xiàn)自發(fā)排石。
在包含76例患者的測(cè)試集上,GBM模型成功預(yù)測(cè)了65例,準(zhǔn)確率為0.855。其中,自發(fā)排石組有13例患者,模型預(yù)測(cè)正確11例;未自發(fā)排石組有63例患者,模型預(yù)測(cè)正確54例。對(duì)于自發(fā)排石組,模型的敏感度為0.846,表示在自發(fā)排石患者中,84.6%被正確識(shí)別;特異度為0.857,表示在未自發(fā)排石患者中,85.7%被正確排除。這顯示,GBM模型不僅能夠有效識(shí)別自發(fā)排石的患者,還能準(zhǔn)確地排除未自發(fā)排石的患者。
2.5 模型可解釋性分析 在測(cè)試集中,GBM 模型的SHAP圖中,每一行表示一個(gè)變量,紅色表示該變量的值較高的數(shù)據(jù)點(diǎn),藍(lán)色表示該變量的值較低的數(shù)據(jù)點(diǎn)。數(shù)點(diǎn)越靠右,表示該變量對(duì)預(yù)測(cè)結(jié)果(自發(fā)排石)的正向影響越大。變量重要性排名前5的特征依次為:?jiǎn)伟l(fā)膽總管結(jié)石、膽總管不擴(kuò)張、膽總管結(jié)石直徑lt;8 mm、血清ALP降低和GGT降低(圖8)。變量值越接近1,患者發(fā)生自發(fā)排石的可能性就越大。例如,圖中單發(fā)膽總管結(jié)石的紅色部分集中在0軸的右側(cè),表示單發(fā)膽總管結(jié)石的患者更容易出現(xiàn)自發(fā)排石。因此,對(duì)于此類(lèi)膽總管結(jié)石患者,進(jìn)行ERCP術(shù)前準(zhǔn)備時(shí)需要更充分地評(píng)估,以避免非必要的ERCP。
從測(cè)試集中隨機(jī)選取2個(gè)病例進(jìn)行力圖分析。在這些力圖中,各變量對(duì)預(yù)測(cè)結(jié)果的影響程度通過(guò)箭頭的長(zhǎng)度和顏色直觀表示。紅色箭頭表示該變量對(duì)預(yù)測(cè)結(jié)果具有正向影響,即增加自發(fā)排石的傾向性;藍(lán)色箭頭表示負(fù)向影響,即降低自發(fā)排石的傾向性。箭頭的長(zhǎng)度與變量的SHAP值成正比,箭頭越長(zhǎng),該變量對(duì)預(yù)測(cè)結(jié)果的影響越大。圖9a中的病例顯示,ALP為106 U/L、膽總管結(jié)石直徑lt;8 mm、GGT減少、單發(fā)膽總管結(jié)石、ALP減少,這些特征增加了自發(fā)排石的傾向性,而膽總管擴(kuò)張、影像學(xué)檢查與ERCP的間隔時(shí)間為2 d,降低了自發(fā)排石的傾向性,綜合考慮上述因素,該病例能夠自發(fā)排石的預(yù)測(cè)概率為72%。同樣的方法應(yīng)用于圖9b中的病例,模型預(yù)測(cè)其發(fā)生自發(fā)排石的概率為9%。
3 討論
本研究訓(xùn)練、驗(yàn)證并測(cè)試了1種基于傳統(tǒng)LASSO回歸算法和55種基于AutoML算法的模型,以預(yù)測(cè)膽總管結(jié)石患者的自發(fā)排石情況,避免非必要的 ERCP手術(shù)。經(jīng)過(guò)性能比較,GBM模型為最佳模型,其在驗(yàn)證集上的AUC為0.891,準(zhǔn)確率為0.888。為了便于在臨床工作中使用,將該模型開(kāi)發(fā)為一款應(yīng)用程序,并在測(cè)試集上評(píng)估其性能,結(jié)果顯示準(zhǔn)確率達(dá)到了0.855。在預(yù)測(cè)膽總管結(jié)石患者是否會(huì)發(fā)生自發(fā)排石時(shí),該模型的敏感度為0.846,特異度為0.857。該應(yīng)用程序在實(shí)際臨床工作中具有良好的應(yīng)用潛力。
膽總管結(jié)石可能源自膽囊的結(jié)石移行,也可能直接形成于膽總管內(nèi)[1]。膽總管結(jié)石可能導(dǎo)致一系列嚴(yán)重的并發(fā)癥,包括阻塞性黃疸、膽管炎、急性胰腺炎、膽絞痛和敗血癥等。Andreozzi等[13]開(kāi)展的一項(xiàng)多中心回顧性研究描述了膽總管結(jié)石患者出現(xiàn)自發(fā)排石到十二指腸的現(xiàn)象,其中17%的患者自發(fā)排石。Frossard等[14]開(kāi)展的一項(xiàng)前瞻性研究納入92例膽總管結(jié)石患者,12例出現(xiàn)了自發(fā)排石。有研究指出,部分膽總管結(jié)石患者可能出現(xiàn)結(jié)石自發(fā)排出,使用床旁超聲可以輔助診斷自發(fā)排出的膽總管結(jié)石,從而減少不必要的 ERCP[15]。在本研究中,152例(18.20%)患者出現(xiàn)了自發(fā)性排石,針對(duì)這些患者,ERCP被認(rèn)為是非必要的,因?yàn)樾g(shù)后胰腺炎、穿孔、出血等并發(fā)癥在ERCP中并不罕見(jiàn)。對(duì)于最終證實(shí)不存在膽總管結(jié)石的患者而言,ERCP手術(shù)不僅未能實(shí)現(xiàn)預(yù)期的治療價(jià)值,反而使患者承受了不必要的操作風(fēng)險(xiǎn)和相關(guān)并發(fā)癥。因此,通過(guò)構(gòu)建模型預(yù)測(cè)膽總管結(jié)石患者自發(fā)排石的可能性是值得推薦的,可以避免潛在不必要的ERCP。
既往多項(xiàng)研究探索了影響膽總管結(jié)石患者自發(fā)排石的因素,結(jié)石大小、結(jié)石位置、結(jié)石數(shù)量以及部分實(shí)驗(yàn)室檢查結(jié)果可能與自發(fā)排石存在相關(guān)性[16-18]。然而,目前尚缺乏使用機(jī)器學(xué)習(xí)方法來(lái)構(gòu)建預(yù)測(cè)自發(fā)排石模型的研究。AutoML作為機(jī)器學(xué)習(xí)的一個(gè)分支,不僅在處理復(fù)雜數(shù)據(jù)和探索數(shù)據(jù)潛在特征方面具有顯著優(yōu)勢(shì),還能夠自動(dòng)化地選擇、優(yōu)化和組合多種模型算法,以找到最佳的預(yù)測(cè)方案。本研究納入了先前研究中發(fā)現(xiàn)的可能影響自發(fā)排石的因素,共構(gòu)建了55種機(jī)器學(xué)習(xí)算法模型和1種傳統(tǒng)LASSO回歸模型,并通過(guò)性能對(duì)比篩選出了性能最佳的GBM模型。該模型在內(nèi)部驗(yàn)證集和外部測(cè)試集上的預(yù)測(cè)準(zhǔn)確率均超過(guò)85%。在測(cè)試集中,模型識(shí)別出了84.6%的自發(fā)排石患者,這在臨床工作中尤為關(guān)鍵。通過(guò)模型的識(shí)別結(jié)果,可以提醒臨床醫(yī)師在ERCP術(shù)前進(jìn)行腹部超聲、內(nèi)鏡超聲等影像學(xué)檢查的復(fù)查,從而有效避免非必要的ERCP。這不僅減少了ERCP相關(guān)并發(fā)癥的風(fēng)險(xiǎn),節(jié)省了醫(yī)保支出,還減少了患者的手術(shù)創(chuàng)傷和住院時(shí)間,改善整體治療體驗(yàn)和預(yù)后。這種以數(shù)據(jù)驅(qū)動(dòng)的決策方式有助于實(shí)現(xiàn)個(gè)體化治療,為膽總管結(jié)石患者的臨床管理帶來(lái)了新的思路和安全有效的解決方案。
在以往的醫(yī)學(xué)研究中,使用AutoML算法構(gòu)建預(yù)測(cè)模型以預(yù)測(cè)疾病發(fā)生風(fēng)險(xiǎn)已成為常見(jiàn)做法,這些模型通常能展示良好的預(yù)測(cè)性能[19-21]。然而,這些模型在臨床實(shí)踐中的應(yīng)用卻面臨實(shí)際挑戰(zhàn):許多模型依賴(lài)復(fù)雜的計(jì)算公式或評(píng)分量表,操作繁瑣。對(duì)于忙碌的臨床醫(yī)務(wù)工作者而言,這類(lèi)復(fù)雜的預(yù)測(cè)模型可能會(huì)引發(fā)抵觸情緒,從而限制這些優(yōu)秀模型的推廣和應(yīng)用[22]。本研究基于Python編程環(huán)境中的Dash庫(kù)開(kāi)發(fā)了膽總管結(jié)石患者自發(fā)排石的機(jī)器學(xué)習(xí)模型Web應(yīng)用程序。該應(yīng)用程序通過(guò)易于訪問(wèn)和操作的交互式界面、提供實(shí)時(shí)反饋、可定制化等特點(diǎn),有效克服了現(xiàn)有模型在實(shí)際醫(yī)療環(huán)境中應(yīng)用的難題,展示了其在醫(yī)療領(lǐng)域的應(yīng)用潛力和價(jià)值。
綜上所述,本研究涵蓋了數(shù)據(jù)收集、模型訓(xùn)練與驗(yàn)證,以及應(yīng)用程序開(kāi)發(fā)和測(cè)試的完整流程。通過(guò)性能對(duì)比,GBM模型優(yōu)于傳統(tǒng)LASSO模型和其他54種機(jī)器學(xué)習(xí)模型。基于該模型開(kāi)發(fā)的應(yīng)用程序能夠準(zhǔn)確預(yù)測(cè)膽總管結(jié)石患者自發(fā)排石的概率,從而有效減少不必要的ERCP操作及相關(guān)并發(fā)癥。
盡管本研究取得了一些成果,但仍存在局限性。首先,由于目前的研究為來(lái)自?xún)蓚€(gè)醫(yī)學(xué)中心的回顧性研究,數(shù)據(jù)量有限,后續(xù)計(jì)劃開(kāi)展前瞻性多中心研究,以更全面地驗(yàn)證該應(yīng)用程序在臨床實(shí)踐中的效果。其次,目前開(kāi)發(fā)的應(yīng)用程序僅能在本地網(wǎng)絡(luò)使用,這限制了其廣泛應(yīng)用的可能性。未來(lái)將考慮將模型部署到在線平臺(tái),并提供遠(yuǎn)程調(diào)用服務(wù),以提升應(yīng)用程序的可訪問(wèn)性和便捷性,吸引更多用戶群體。然而,這一過(guò)程需要更多資源,以確保系統(tǒng)的穩(wěn)定運(yùn)行和數(shù)據(jù)的安全性。因此,計(jì)劃與信息技術(shù)專(zhuān)家進(jìn)一步合作,探索一種成本效益合理的解決方案。此外,本研究計(jì)劃結(jié)合時(shí)間依賴(lài)性分析方法(如timeROC)進(jìn)一步優(yōu)化模型,以預(yù)測(cè)自發(fā)排石的發(fā)生時(shí)機(jī),從而指導(dǎo)臨床選擇合適的手術(shù)干預(yù)時(shí)間。同時(shí),本研究對(duì)象均為影像學(xué)檢查陽(yáng)性的膽總管結(jié)石患者,未涉及術(shù)前影像學(xué)檢查漏診的病例。未來(lái),將擴(kuò)大數(shù)據(jù)范圍,探索該模型在影像學(xué)漏診患者中的診斷價(jià)值,以進(jìn)一步提升其臨床應(yīng)用潛力。
倫理學(xué)聲明:本研究方案于2024年8月8日經(jīng)由常熟市第一人民醫(yī)院倫理委員會(huì)審批,批號(hào):2024L022。
利益沖突聲明:本文不存在任何利益沖突。
作者貢獻(xiàn)聲明:陳健負(fù)責(zé)課題設(shè)計(jì),資料分析,撰寫(xiě)論文;高福利、劉羅杰、王甘紅參與收集數(shù)據(jù),修改論文;夏開(kāi)建負(fù)責(zé)代碼解釋及報(bào)錯(cuò)解決;徐曉丹負(fù)責(zé)擬定寫(xiě)作思路,指導(dǎo)撰寫(xiě)文章并最后定稿。
參考文獻(xiàn):
[1] MANES G, PASPATIS G, AABAKKEN L, et al. Endoscopic manage?ment of common bile duct stones: European Society of Gastrointesti?nal Endoscopy (ESGE) guideline[J]. Endoscopy, 2019, 51(5): 472-491. DOI: 10.1055/a-0862-0346.
[2] ASGE Standards of Practice Committee, BUXBAUM JL, ABBAS FEHMI SM, et al. ASGE guideline on the role of endoscopy in the evaluation and management of choledocholithiasis[J]. Gastrointest Endosc, 2019,89(6): 1075-1105. e15. DOI: 10.1016/j.gie.2018.10.001.
[3] ERCP group, Chinese Society of Digestive Endoscopology; Biliopan?creatic group, Chinese Association of Gastroenterologist and hepa?tologist, National Clinical Research Center for Digestive Diseases. Chi?nese guidelines for ERCP(2018)[J]. J Clin Hepatol, 2018, 34(12):2537-2554. DOI: 10.3969/j.issn.1001-5256.2018.12.009.中華醫(yī)學(xué)會(huì)消化內(nèi)鏡學(xué)分會(huì)ERCP學(xué)組, 中國(guó)醫(yī)師協(xié)會(huì)消化醫(yī)師分會(huì)膽胰學(xué)組, 國(guó)家消化系統(tǒng)疾病臨床醫(yī)學(xué)研究中心. 中國(guó)經(jīng)內(nèi)鏡逆行胰膽管造影術(shù)指南(2018版)[J]. 臨床肝膽病雜志, 2018, 34(12): 2537-2554.DOI: 10.3969/j.issn.1001-5256.2018.12.009.
[4] ASGE Standards of Practice Committee, CHANDRASEKHARA V,KHASHAB MA, et al. Adverse events associated with ERCP[J].Gastrointest Endosc, 2017, 85(1): 32-47. DOI: 10.1016/j.gie.2016.06.051.
[5] Endoscopic Surgery Group, Digestive Endoscopy Branch, Chinese Medical Association, Endoscopic Surgery Expert Working Group,Chinese College of Surgeons, Professional Committee of Pancreatic Disease, Chinese Medical Doctor Association, et al. Guideline for the management of complications of duodenal perforation associated with ERCP in China (2023 edition)[J]. Chin J Dig Surg, 2024, 23(1): 1-9. DOI: 10.3760/cma.j.cn115610-20231025-00166.中華醫(yī)學(xué)會(huì)消化內(nèi)鏡學(xué)分會(huì)內(nèi)鏡外科學(xué)組, 中國(guó)醫(yī)師協(xié)會(huì)外科醫(yī)師分會(huì)內(nèi)鏡外科專(zhuān)家工作組, 中國(guó)醫(yī)師協(xié)會(huì)胰腺病專(zhuān)業(yè)委員會(huì), 等. 中國(guó)ERCP致十二指腸穿孔并發(fā)癥管理指南(2023版)[J]. 中華消化外科雜志, 2024, 23(1): 1-9. DOI: 10.3760/cma.j.cn115610-20231025-00166.
[6] FAN L, FU Y, LIU Y, et al. Research advances in hemorrhage after endoscopic retrograde cholangiopancreatography[J]. J Clin Hepa?tol, 2023, 39(10): 2497-2505. DOI: 10.3969/j.issn.1001-5256.2023.10.032.范玲, 傅燕, 劉懿, 等. 內(nèi)鏡逆行胰膽管造影術(shù)后出血的研究進(jìn)展[J]. 臨床肝膽病雜志, 2023, 39(10): 2497-2505. DOI: 10.3969/j.issn.1001-5256.2023.10.032.
[7] KHAN OA, BALAJI S, BRANAGAN G, et al. Randomized clinical trial of routine on-table cholangiography during laparoscopic cholecystec?tomy[J]. Br J Surg, 2011, 98(3): 362-367. DOI: 10.1002/bjs.7356.
[8] WANG GH, CHEN J, SHEN ZJ, et al. Establishing and evaluating a risk prediction model for colonoscopy bowel preparation failure based on automated machine learning[J]. China J Endosc, 2024, 30(5):36-47. DOI: 10.12235/E20230422.王甘紅, 陳健, 沈支佳, 等. 基于自動(dòng)化機(jī)器學(xué)習(xí)建立結(jié)腸鏡腸道準(zhǔn)備失敗風(fēng)險(xiǎn)預(yù)測(cè)模型及評(píng)價(jià)[J]. 中國(guó)內(nèi)鏡雜志, 2024, 30(5): 36-47. DOI:10.12235/E20230422.
[9] YAN WX, ZHANG PP, WANG WX, et al. Influencing factors of spon?taneous passage of common bile duct stones in gallstones patients[J]. J Chin Pract Diagn Ther, 2023, 37(10): 1025-1027. DOI: 10.13507/j.issn.1674-3474.2023.10.011.閻文心, 張平平, 王萬(wàn)祥, 等. 膽總管結(jié)石合并膽囊結(jié)石患者膽總管自發(fā)排石的影響因素分析[J]. 中華實(shí)用診斷與治療雜志, 2023, 37(10):1025-1027. DOI: 10.13507/j.issn.1674-3474.2023.10.011.
[10] XU ZW, MEI Q, HONG JL, et al. Application of endoscopic ultraso?nography combined with ALP and GGT in the diagnosis of spontane?ous migration of choledocholithiasis[J]. J Hepatobiliary Surg, 2023,31(2): 106-110. DOI: 10.3969/j.issn.1006-4761.2023.02.010.徐張巍, 梅俏, 洪江龍, 等. 超聲內(nèi)鏡聯(lián)合ALP、GGT在診斷膽總管結(jié)石自發(fā)排石中的應(yīng)用研究[J]. 肝膽外科雜志, 2023, 31(2): 106-110. DOI:10.3969/j.issn.1006-4761.2023.02.010.
[11] NOHARA Y, MATSUMOTO K, SOEJIMA H, et al. Explanation of ma?chine learning models using shapley additive explanation and applica?tion for real data in hospital[J]. Comput Methods Programs Biomed,2022, 214: 106584. DOI: 10.1016/j.cmpb.2021.106584.
[12] FAHMY AS, CSECS I, ARAFATI A, et al. An explainable machine learning approach reveals prognostic significance of right ventricu?lar dysfunction in nonischemic cardiomyopathy[J]. JACC Cardiovasc Imaging, 2022, 15(5): 766-779. DOI: 10.1016/j.jcmg.2021.11.029.
[13] ANDREOZZI P, de NUCCI G, DEVANI M, et al. The high rate of spontaneous migration of small size common bile duct stones may allow a significant reduction in unnecessary ERCP and related com?plications: Results of a retrospective, multicenter study[J]. Surg En?dosc, 2022, 36(5): 3542-3548. DOI: 10.1007/s00464-021-08676-8.
[14] FROSSARD JL, HADENGUE A, AMOUYAL G, et al. Choledocholithia?sis: A prospective study of spontaneous common bile duct stone mi?gration[J]. Gastrointest Endosc, 2000, 51(2): 175-179. DOI: 10.1016/s0016-5107(00)70414-7.
[15] HERBST MK, LI C, BLOMSTROM S. Point-of-care ultrasound assists diagnosis of spontaneously passed common bile duct stone[J]. J Emerg Med, 2021, 60(4): 517-519. DOI: 10.1016/j.jemermed.2020.11.008.
[16] KHOURY T, ADILEH M, IMAM A, et al. Parameters suggesting spon?taneous passage of stones from common bile duct: A retrospective study[J]. Can J Gastroenterol Hepatol, 2019, 2019: 5382708. DOI:10.1155/2019/5382708.
[17] JIANG L, LIU Z, YU JF, et al. On factors related to spontaneous pas?sage of common bile duct stones leading to unnecessary endo?scopic retrograde cholangiopancreatography[J]. Chin J Minim In?vasive Surg, 2024, 24(6): 409-414. DOI: 10.3969/j.issn.1009-6604.2024.06.002.姜蕾, 劉振, 于劍鋒, 等. 膽總管結(jié)石自然排石致非必要治療性?xún)?nèi)鏡下逆行胰膽管造影的影響因素[J]. 中國(guó)微創(chuàng)外科雜志, 2024, 24(6): 409-414. DOI: 10.3969/j.issn.1009-6604.2024.06.002.
[18] LEFEMINE V, MORGAN RJ. Spontaneous passage of common bile duct stones in jaundiced patients[J]. Hepatobiliary Pancreat Dis Int,2011, 10(2): 209-213. DOI: 10.1016/s1499-3872(11)60033-7.
[19] ZHANG RF, YIN MY, JIANG AQ, et al. Automated machine learning for early prediction of acute kidney injury in acute pancreatitis[J].BMC Med Inform Decis Mak, 2024, 24(1): 16. DOI: 10.1186/s12911-024-02414-5.
[20] LIU LJ, ZHANG RF, SHI DT, et al. Automated machine learning to predict the difficulty for endoscopic resection of gastric gastrointesti?nal stromal tumor[J]. Front Oncol, 2023, 13: 1190987. DOI: 10.3389/fonc.2023.1190987.
[21] LIU LJ, ZHANG RF, SHI Y, et al. Automated machine learning for predicting liver metastasis in patients with gastrointestinal stromal tu?mor: A SEER-based analysis[J]. Sci Rep, 2024, 14(1): 12415. DOI:10.1038/s41598-024-62311-9.
[22] MURPHREE DH, QUEST DJ, ALLEN RM, et al. Deploying predictive models in A healthcare environment-an open source approach[C]//2018 40 th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Honolulu, HI, USA, 2018:6112-6116. DOI: 10.1109/EMBC.2018.8513689.
收稿日期:2024-08-16;錄用日期:2024-09-06
本文編輯:劉曉紅
引證本文:CHEN J, XIA KJ, GAO FL, et al. Development of a predictive model and application for spontaneous passage of common bile duct stones based on automated machine learning[J]. J Clin Hepatol, 2025, 41(3): 518-527.
陳健, 夏開(kāi)建, 高福利, 等. 基于自動(dòng)化機(jī)器學(xué)習(xí)構(gòu)建膽總管結(jié)石自發(fā)排石預(yù)測(cè)模型及應(yīng)用程序[J]. 臨床肝膽病雜志, 2025, 41(3): 518-527.