周升海 馬平川 陸奇傲 崔麗媛
摘? 要: 為了改善人工描繪缺血性腦卒中病灶的主觀差異性,提升診斷缺血性腦卒中的速率和精確度,本研究基于Attention U-Net深度學(xué)習(xí)模型搭建深度學(xué)習(xí)自動分割系統(tǒng),將DWI、ADC等多模態(tài)磁共振影像作為系統(tǒng)輸入并提取病灶的多層次特征,獲得自動分割結(jié)果。結(jié)果顯示,該系統(tǒng)的Dice可達(dá)到0.91,IoU達(dá)到0.93,遠(yuǎn)遠(yuǎn)優(yōu)于U-Net算法。該系統(tǒng)可以輔助放射科醫(yī)生進(jìn)行腦卒中缺血區(qū)域定位,從而改善患者的臨床結(jié)局。
關(guān)鍵詞: 缺血性腦卒中; 磁共振; 深度學(xué)習(xí); Attention U-Net
中圖分類號:TP391.7? ? ? ? ? 文獻(xiàn)標(biāo)識碼:A? ? ?文章編號:1006-8228(2023)05-85-03
Study of the stroke lesion segmentation system based on deep learning
Zhou Shenghai, Ma Pingchuan, Lu Qi'ao, Cui Liyuan
(School of Medical Imaging, Hangzhou Medical College, Hangzhou, Zhejiang 310053, China)
Abstract: In order to improve the subjective difference of manual depiction of ischemic stroke lesions and enhance the diagnosis rate and accuracy of ischemic stroke, in this paper, a deep learning automatic segmentation system is built based on the Attention U-Net deep learning model, which takes multimodal magnetic resonance images such as DWI and ADC as the system input and extracts the multilevel features of lesions to obtain automatic segmentation results. The results show that the Dice of the system can reach 0.91, and the IoU can reach 0.93, which is far superior to the U-Net algorithm. The system can assist radiologists in locating ischemic areas of stroke, thus improving the clinical outcomes of patients.
Key words: ischemic stroke; magnetic resonance image; deep learning; Attention U-Net
0 引言
腦卒中,又稱腦梗,是我國最為常見的急性腦血管疾病。全球疾病負(fù)擔(dān)研究(GBDS)數(shù)據(jù)顯示,我國總體卒中發(fā)病風(fēng)險為39.9%,居全球首位,是成人致死、致殘的關(guān)鍵病因[1]。腦卒中主要分為腦血管狹窄/堵塞引起的缺血性腦卒中和腦血管破裂導(dǎo)致出血性卒中這兩種類型,其中急性缺血性腦卒中(Acute Ischemic Stroke,AIS)占了腦卒中患者的87%[2]。
對于急性缺血性腦卒中患者,盡快再通閉塞血管,恢復(fù)腦組織供血是最直接、最有效的辦法。在發(fā)生急性缺血性腦卒中的黃金時間窗3.5小時內(nèi),放射科醫(yī)生應(yīng)快速手動定位責(zé)任病灶,并精確評估缺血核心體積;治療上采取靜脈溶栓的治療方式。必要時對于符合DEFUSE3及DAWN研究納入標(biāo)準(zhǔn)的患者可采取動脈取栓治療,阻止缺血性腦血管病進(jìn)一步發(fā)展,減輕腦組織的損傷[3]。然而,在不同診療環(huán)境下,會引入觀察者間的主觀差異性,這既費(fèi)時又費(fèi)力。
人工智能(Artificial Intelligence,AI)可以模擬人腦神經(jīng)網(wǎng)絡(luò),自動提取像素級圖像的特征,從而客觀、快速、精確地評估病灶。該方法具有可重復(fù)、可擴(kuò)展等優(yōu)點,可以為醫(yī)生臨床診斷與決策提供更全面的臨床依據(jù),降低缺血區(qū)域惡化風(fēng)險,實現(xiàn)智能輔助診療[4]。
1 系統(tǒng)設(shè)計
基于深度學(xué)習(xí)的腦卒中病灶分割系統(tǒng)是由卒中影像數(shù)據(jù)庫、深度學(xué)習(xí)決策引擎、云端服務(wù)器、智能影像分析工作站、數(shù)字化影像采集終端五部分構(gòu)成,該分割系統(tǒng)如圖1所示。
卒中影像數(shù)據(jù)庫由缺血性腦卒中患者多模態(tài)磁共振數(shù)據(jù)組成,包括彌散加權(quán)成像(Diffusion Welghted Imaging,DWI)、表現(xiàn)擴(kuò)散系數(shù)(Apparent Diffusion Coefficient,ADC)、灌注加權(quán)成像(Perfusion Weighted Imaging,PWI)、T1WI和T2WI。數(shù)據(jù)均由帶有十二通道相控陣頭線圈的 Siemens Verio 3.0 Tesla MRI 掃描儀采集。在掃描過程中,要求受檢者仰臥閉眼,頭部固定,保持清醒。其中,表現(xiàn)彌散系數(shù)ADC由MRI工作站從DWI圖像計算得出。DWI矩陣大小為192×192,切片厚度5.0mm,切片間距6.5mm,重復(fù)時間3600ms,回波時間102ms,翻轉(zhuǎn)角90°,掃描野229×229mm,b值1000s/mm2。PWI矩陣大小256×256,切片厚度5.0mm,切片間距6.5mm,重復(fù)時間1520ms,回波時間32ms,翻轉(zhuǎn)角90°,掃描野230×230mm。
數(shù)據(jù)標(biāo)簽主要由三名經(jīng)驗豐富的放射科醫(yī)生結(jié)合DWI、ADC和PWI手動標(biāo)注。先由每位放射科醫(yī)生單獨標(biāo)注,再聯(lián)合標(biāo)注,意見不統(tǒng)一時,通過討論達(dá)成共識,得出準(zhǔn)確標(biāo)注結(jié)果。
深度學(xué)習(xí)決策引擎采用Tensorflow 1.14版本深度學(xué)習(xí)框架,Adam(Adaptive Moment Estimation)優(yōu)化算法,以及集成了U-Net分割網(wǎng)絡(luò)和Attention注意力機(jī)制。該集成網(wǎng)絡(luò)整體結(jié)構(gòu)仍呈“U型”,由收縮路徑(編碼器)和擴(kuò)張路徑(解碼器)組成[5]。不同的是,在解碼部分的采樣后,拼接了三個注意力門控,從而得到分割輸出圖像。經(jīng)過注意力門控處理后得到的特征圖像包含不同空間位置的重要信息,使得模型能重點關(guān)注某些目標(biāo)區(qū)域。該集成模型能夠抑制腦部MRI中的無關(guān)區(qū)域,通過組合突出特定的底層特征形成更加抽象的高級語義,自動提取像素級別的特征,從而獲得更佳的責(zé)任病灶分割結(jié)果。腦卒中病灶分割系統(tǒng)相較人工肉眼觀察法更加客觀、快速、精確。
云端服務(wù)器是一個用于搭載和運(yùn)行深度學(xué)習(xí)模型的線上平臺。其特點是不受硬件故障的影響,其以出色的訪問速度,便捷的操作方法,穩(wěn)定運(yùn)行完成訓(xùn)練深度學(xué)習(xí)模型的SDK封裝包,并部署在云端服務(wù)器上。在任何時間地點,與不同計算機(jī)操作系統(tǒng)互相連接,調(diào)用圖像分割結(jié)果。該服務(wù)器可設(shè)置Dice值低于0.5的圖像重新退回卒中影像數(shù)據(jù)庫,進(jìn)行模型校正,提升分割準(zhǔn)確性。
智能影像分析工作站包含了圖像前期處理模塊、分割模塊和圖像后處理模塊,同時支持Windows和 Linux 操作系統(tǒng)。工作站將多個深度學(xué)習(xí)模型封裝成適配不同類型服務(wù)器的 SDK,將其部署在云端服務(wù)器上,使用獨立API,通過網(wǎng)絡(luò)遠(yuǎn)程連接服務(wù)器調(diào)用深度學(xué)習(xí)模型。其中,圖像預(yù)處理包括圖像歸一化、圖像配準(zhǔn)、去除顱骨等非腦組織、圖像擴(kuò)增和圖像增強(qiáng)等操作。預(yù)處理操作目的是降低模型過擬合的幾率,提升輸入影像的質(zhì)量,使深度學(xué)習(xí)得到更好的魯棒性,從而提升模型泛化能力,提高分割準(zhǔn)確率。分割模塊包括FCN、U-Net、DeepLabV1、BiseNet、Attention U-net等算法選擇套件[6-7],五種模型封裝在圖像分割系統(tǒng)中,并將分割結(jié)果輸出到圖像后處理模塊;圖像后處理模塊包含圖像窗寬窗位調(diào)節(jié),放大縮小、旋轉(zhuǎn)測量、智能裁剪、標(biāo)簽制作、面積測量、圖像顯示等功能,為放射科醫(yī)生提供可視化高精度病灶特征。
圖像后處理中,人工智能分割效果評估通過真陽性率(RTP)、假陽性率(RFP)、相似度(Dice)、交并比(IoU)四類指標(biāo)來評價模型的分割結(jié)果,公式如下:
[RTP=Am∩AaAm]? ⑴
[RFP=Am∩Aa-AmAm]? ⑵
[Dice=2Am∩AaAm+Aa]? ⑶
[IoU=Am∩AaAm∪Aa]? ⑷
其中,Am為醫(yī)生手動分割結(jié)果,作為標(biāo)簽;Aa為算法分割結(jié)果,代表模型預(yù)測結(jié)果;RTP的大小表示醫(yī)生手動分割與計算機(jī)分割結(jié)果的覆蓋率,其值越大,表示覆蓋率越高;RFP的值表示Aa含有背景面積的比例,其值越小,分割效果越好;Dice表示兩個樣本的相似度,其值越大,說明Am和Aa越相似;IoU用來衡量兩個集合的重疊程度。IoU為0時,表示預(yù)測結(jié)果與標(biāo)簽不重疊,無交集。IoU為1時,表示預(yù)測結(jié)果與標(biāo)簽完全重疊。
數(shù)字化影像采集終端主要為縣級以上地區(qū)的放射科人員、影像醫(yī)生、腦卒中神經(jīng)科專家等服務(wù),通過計算機(jī)將腦部MRI影像上傳至云端服務(wù)器,即可判斷該影像中缺血性腦卒中核心缺血范圍和可挽救腦區(qū)范圍,為醫(yī)生提供溶栓或取栓的決策依據(jù)。
2 實驗結(jié)果及討論
本系統(tǒng)選舉了100例缺血性腦卒中患者的MRI多模態(tài)影像(DWI,ADC,PWI),并將數(shù)據(jù)集以7:2:1的比例進(jìn)行訓(xùn)練、驗證和測試,采用Adm優(yōu)化器進(jìn)行模型的優(yōu)化,采用五折交叉驗證的方法對Attention-Unet模型進(jìn)行五次整體訓(xùn)練和測試,取五次結(jié)果的平均值作為最終結(jié)果。結(jié)果顯示,系統(tǒng)的最優(yōu)分割結(jié)果Dice 值為0.91,IoU達(dá)到0.93,RTP達(dá)到0.89,RFP達(dá)到0.94。
為了進(jìn)一步驗證Attention U-net模型對于該數(shù)據(jù)集的適用性,本研究在系統(tǒng)中添加了FCN、U-Net、DeepLabV1、BiseNet四種模型進(jìn)行對比試驗,其分割指標(biāo)如表1所示。
由表1可以看出,基于全卷積網(wǎng)絡(luò)FCN分割效果略差,雖然該方法將傳統(tǒng)CNN最后的全連接層換成了卷積層,但由于分割結(jié)果的每個值映射到輸入圖像上的感受野窗口是固定的,無法獲得缺血性腦卒中多層次特征,分割圖像誤差較大。DeepLab和BiseNet分割性能有所提高,DeepLab使用空洞卷積增加特征提取感受野,條件隨機(jī)場解決邊界分割問題。BiseNet通過注意力機(jī)制自適應(yīng)選擇合適的特征,將空間信息保存和感受野提供的功能解耦為兩條路徑,最終形成分割圖像。然而,由于DeepLab和BiseNet結(jié)構(gòu)龐大、復(fù)雜和腦卒中數(shù)據(jù)量不足等問題,計算量增加,分割效率低,易產(chǎn)生過擬合現(xiàn)象。U-net模型通過編碼-解碼結(jié)構(gòu)融合不同層級的病特征,有效的提升了小數(shù)據(jù)集病灶分割的效果,IoU達(dá)到了0.90。Attention U-net模型將注意力機(jī)制模塊融入U-net網(wǎng)絡(luò)解碼部分時,不僅沒有增加過多的計算量,而且更好地提取并突出前景對象的類別和位置,凸顯缺血性病灶區(qū)域特征,提升了模型的準(zhǔn)確率和敏感性。最終模型的IoU達(dá)到0.93,分割效果對比U-net顯著提升。
如圖2所示,(a)-(c)幅圖像表示測試集中3例病人DWI序列的斷層圖像,(d)-(f)表示Attention U-Net模型缺血性腦卒中分割結(jié)果圖像。缺血病灶在DWI序列上顯影為高信號,其中缺血區(qū)域分別集中于基底節(jié)區(qū)、楔葉區(qū)和蛛網(wǎng)膜下腔部位??梢?,Attention U-Net模型分割可以精確定位出缺血的病灶,并細(xì)化分割出缺血區(qū)域的輪廓。但是,由于缺血區(qū)域呈不規(guī)則狀,對圖2(b)中小缺血區(qū)域的分割略有不足,需要擴(kuò)增小病灶病例數(shù)據(jù)量,訓(xùn)練模型,提升缺血性小病灶分割精度。
3 結(jié)束語
文中提出了一種基于深度學(xué)習(xí)的人工智能缺血性腦卒中病灶分割系統(tǒng),該系統(tǒng)能在黃金時間段內(nèi)精準(zhǔn)并智能地分析出缺血性腦卒中病灶區(qū)域,從而輔助臨床醫(yī)生選擇合適的血管再通方案,明顯提高患者的生存率及治愈率。該研究從社會層面可以降低醫(yī)療治療成本,減輕患者家庭的經(jīng)濟(jì)負(fù)擔(dān),節(jié)約更多的社會公共資源。團(tuán)隊在未來將進(jìn)行病灶細(xì)分割的研究,提高分割的精細(xì)度與準(zhǔn)確率,分割出核心梗死周圍缺血半暗帶的位置并計算其體積,為臨床醫(yī)生診療提供更好的決策支持,提高患者的康復(fù)概率。
參考文獻(xiàn)(References):
[1] Inamdar M A, Raghavendra U,Gudigar A, et al. A Review
on Computer Aided Diagnosis of Acute Brain Stroke[J].Sensors,2021,21(24):8507
[2] Rabinstein A A. Update on treatment of acute ischemic
stroke[J]. Continuum: Lifelong Learning in Neurology,2020,26(2):268-286
[3] Herpich F, Rincon F. Management of acute ischemic
stroke[J].Critical Care Medicine,2020,48(11):1654
[4] Patino-Saucedo A, Rostro-Gonzalez H, Serrano-Gotar-
redona T, et al. Event-driven implementation of deep spiking convolutional neural networks for supervised classification using the SpiNNaker neuromorphic platform[J]. Neural Networks,2020,121:319-328
[5] 馬振霞.基于跨模態(tài)的急性缺血性卒中分割模型研究[D].碩士,鄭州:鄭州大學(xué),2020
[6] Dolz J, Ben Ayed I, Desrosiers C. Dense multi-path U-
Net for ischemic stroke lesion segmentationin multiple image modalities[C]. International MICCAI Brainlesion Workshop. Springer, Cham,2018:271-282
[7] 王平,高琛,朱莉,等.基于3D深度殘差網(wǎng)絡(luò)與級聯(lián) U-Net 的缺血性腦卒中病灶分割算法[J].計算機(jī)應(yīng)用,2019,39(11):3274-3279