摘要:乳腺癌在女性癌癥發(fā)病中一直位居首位,已成為危害女性健康的重要因素。在乳腺檢查方面,醫(yī)生通過X射線、超聲、磁共振等影像資料可以獲得有效信息。然而隨著影像數(shù)據(jù)不斷增長(zhǎng),以及患者對(duì)影像診斷精準(zhǔn)度的追求不斷增高的背景下,影像醫(yī)生的工作量明顯增大,亟需可以快速、精準(zhǔn)診斷疾病的工具。隨著人工智能的技術(shù)發(fā)展,深度學(xué)習(xí)在各個(gè)領(lǐng)域大放異彩,利用深度學(xué)習(xí)技術(shù)準(zhǔn)確無誤的進(jìn)行乳腫塊的分割對(duì)于乳腺癌的診斷以及后期治療具有重要的意義。
關(guān)鍵詞:深度學(xué)習(xí);圖像分割;乳腺癌
1.引言
2018年2月國(guó)家癌癥中心發(fā)布的《2018年全國(guó)最新癌癥報(bào)告》[1]中指出中國(guó)2014年新增癌癥患者380.4萬人,229.6萬人死于癌癥,乳腺癌在女性癌癥發(fā)病中一直位居首位,已成為危害女性健康的重要因素之一[2]。美國(guó)癌癥協(xié)會(huì)(American Cancer Society,ACS)研究表明早期腫瘤在癌細(xì)胞未擴(kuò)散的情況下,5 年生存率明顯高于中晚期腫瘤,尤其是乳腺癌可高達(dá) 98%。因此及早發(fā)現(xiàn)癌癥可以提高患者的生存率和生存質(zhì)量。
通常情況下,影像檢測(cè)是對(duì)疾病進(jìn)行診斷的首選檢查方式,醫(yī)生會(huì)根據(jù)患者在入院檢查時(shí)得到的影像圖片及相關(guān)文字說明直接得出診斷結(jié)果進(jìn)行治療或者制定進(jìn)一步的檢查方案。在乳腺檢查方面,主要的影像檢查為X射線、超聲、磁共振等。而鉬靶檢查,又稱乳腺鉬靶軟X線攝影檢查[3],是一種常規(guī)的檢查手段,簡(jiǎn)便可靠,并且圖像分辨率高,對(duì)乳腺癌的早期發(fā)現(xiàn)和診斷具有重要的作用。傳統(tǒng)的乳腺X線攝影檢查優(yōu)勢(shì)在于發(fā)現(xiàn)細(xì)小鈣化,而對(duì)于影像醫(yī)生來說,想要利用乳腺X線攝影圖像做出精確診斷尤其是對(duì)那些非均質(zhì)乳腺以及致密型乳腺的患者來說并非易事[4]。隨著影像數(shù)據(jù)不斷增長(zhǎng),以及患者對(duì)影像診斷精準(zhǔn)度的追求不斷增高的背景下,影像醫(yī)生的工作量明顯增大,亟需可以快速、精準(zhǔn)診斷疾病的工具。因此,人工智能在醫(yī)學(xué)圖像上的應(yīng)用將成為解決主要矛盾的關(guān)鍵[5]。
訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)需要大量的樣本,在樣本不充足的情況下,可能導(dǎo)致網(wǎng)絡(luò)在訓(xùn)練過程中無法有效提取足夠多的特征或訓(xùn)練出來的模型分割能力差。而醫(yī)學(xué)圖像尤其是乳腺方面的圖像,基于患者隱私的問題,很少有公開的樣本可以用于訓(xùn)練?;谀壳肮_且已完成標(biāo)注的乳腺數(shù)據(jù)集,提出了基于全卷積神經(jīng)網(wǎng)絡(luò)模型的乳腺腫塊圖像分割系統(tǒng),選擇FCN全卷積深度網(wǎng)絡(luò)模型作為基本的網(wǎng)絡(luò)模型,通過對(duì)下采樣部分的改進(jìn)和微調(diào)實(shí)現(xiàn)對(duì)乳腺腫塊的精準(zhǔn)分割。同時(shí),為了提高分割速度及準(zhǔn)確率,本文還針對(duì)乳腺圖像進(jìn)行進(jìn)一步處理,去除了大量噪音,提取了乳腺圖像的主要區(qū)域。與傳統(tǒng)的分割方法相比,本文提出的網(wǎng)絡(luò)優(yōu)化模型可以達(dá)到更好的分割效果。
2乳腺腫塊分割模型設(shè)計(jì)
本文搭建的乳腺腫塊分割過程如圖1所示。該系統(tǒng)由數(shù)據(jù)集預(yù)處理部分、全卷積神經(jīng)網(wǎng)絡(luò)的模型訓(xùn)練與特征提取部分、反卷積輸出腫塊分割結(jié)果組成。在對(duì)乳腺圖像進(jìn)行分割時(shí),需要首先對(duì)原數(shù)據(jù)集進(jìn)行去除噪音的預(yù)處理操作,之后將預(yù)處理好的圖像輸入到網(wǎng)絡(luò)優(yōu)化模型中進(jìn)行訓(xùn)練與特征提取,最后將提取到的特征通過反卷積操作進(jìn)行逐像素分類,實(shí)現(xiàn)乳腺腫塊的分割。
2.1數(shù)據(jù)集預(yù)處理
由于獲取的原始數(shù)據(jù)集存在噪聲污染、樣本容量小等問題,如果直接將原數(shù)據(jù)集用于網(wǎng)絡(luò)模型訓(xùn)練,模型精準(zhǔn)率非常不理想。因此,為了更方便的提取乳腺腫塊特征,得到更高的乳腺腫塊識(shí)別準(zhǔn)確率,需要對(duì)原始數(shù)據(jù)集進(jìn)行加工。處理步驟為:(1)刪除無使用價(jià)值的圖像。(2)對(duì)圖像進(jìn)行伽馬調(diào)整。(3)提取乳腺區(qū)域。(4)對(duì)數(shù)據(jù)進(jìn)行增廣。
2.2網(wǎng)絡(luò)模型
近年來隨著CNN技術(shù)的不斷發(fā)展,越來越多的網(wǎng)絡(luò)架構(gòu)出現(xiàn)在各大開源平臺(tái)上,其中VGGNet模型以其泛用性及在圖像識(shí)別領(lǐng)域的顯著貢獻(xiàn)而被廣泛使用。
本文提出的FCN-RVGG19-8s模型以FCN網(wǎng)絡(luò)模型[6]作為基本結(jié)構(gòu),結(jié)合R-VGGNet模型思想[7],對(duì)FCN-VGG19模型進(jìn)行優(yōu)化,其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。FCN-8s模型以VGG-19[8]作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu),卷積層共分8個(gè)階段,前5個(gè)階段和VGG19網(wǎng)絡(luò)是相同結(jié)構(gòu),由3x3的卷積核和2x2的最大池化層組成,最后3層將全連接層替換為卷積層,構(gòu)成全卷積網(wǎng)絡(luò)。針對(duì)卷積層龐大的參數(shù)進(jìn)行優(yōu)化。因本次研究主要針對(duì)乳腺區(qū)域是否存在腫塊進(jìn)行識(shí)別,縮減最后三個(gè)卷積層龐大的參數(shù)。其中設(shè)置第6、7段卷積層輸出神經(jīng)元個(gè)數(shù)均為1024個(gè),第8段卷積層輸出神經(jīng)元個(gè)數(shù)為2個(gè),這樣得到的網(wǎng)絡(luò)相對(duì)之前的網(wǎng)絡(luò),訓(xùn)練參數(shù)相較于VGG19網(wǎng)絡(luò)的1.44億個(gè)減少到大約0.46億個(gè),訓(xùn)練模型的參數(shù)存儲(chǔ)文件大小也由1.67GB縮減到543MB,提升了模型的訓(xùn)練速度,縮短了訓(xùn)練時(shí)間。
整個(gè)模型主要由上采樣和下采樣兩個(gè)過程組成,下采樣部分由卷積層、激活層、池化層組成。卷積層是基于FCN的深度學(xué)習(xí)網(wǎng)絡(luò)中重要的組成部分,卷積運(yùn)算的主要目的在于提取特征。本文卷積層的設(shè)置為若干個(gè)3×3大小的卷積核的堆疊,并使用ReLU函數(shù)增加模型的非線性。
池化層是為對(duì)數(shù)據(jù)進(jìn)行下采樣操作而設(shè)計(jì)的,通過對(duì)輸入特征圖進(jìn)行壓縮減少網(wǎng)絡(luò)計(jì)算復(fù)雜度,而對(duì)于特征的壓縮,也更利于提取主要特征。池化層連接在卷積層后面,通過池化操作來降低卷積層輸出的特征向量,改善結(jié)果,避免發(fā)生過擬合。
上采樣部分主要由反卷積操作完成,將從最后一個(gè)卷積層中獲得的特征圖恢復(fù)到輸入圖像的原始尺寸,并通過卷積和補(bǔ)位的操作還原多出的空白像素點(diǎn)。本次研究FCN-VGG19-8s網(wǎng)絡(luò)結(jié)構(gòu)的反卷積操作采用轉(zhuǎn)置卷積的方法進(jìn)行反卷積,具體操作過程如圖2中橙色方塊所示,經(jīng)過三次反卷積上采樣后,最終得到與輸入乳腺圖像大小相同的乳腺分割結(jié)果圖。
3實(shí)驗(yàn)設(shè)計(jì)與分析
3.1實(shí)驗(yàn)設(shè)計(jì)
本文使用的神經(jīng)網(wǎng)絡(luò)模型基于TensorFlow框架搭建。實(shí)驗(yàn)基于CPU為Intel i5-7300HQ,顯卡為NVIDIA GeForce GTX 1050圖形處理單元(Graphic Processing Unit,GPU)上搭建的TensorFlow框架平臺(tái),主要編程語(yǔ)言為Python。
在實(shí)驗(yàn)中,本章設(shè)置學(xué)習(xí)率(learning rate)為 0.0001,使用Adam優(yōu)化算法,動(dòng)量設(shè)置為0.9,在動(dòng)量的作用下,如果該時(shí)刻的梯度和之前梯度方向相似,則這種更新趨勢(shì)在當(dāng)前時(shí)刻得到加強(qiáng),如果不同,則當(dāng)前時(shí)刻梯度方向被減弱,加速網(wǎng)絡(luò)的收斂速度。
為了降低計(jì)算復(fù)雜度,在調(diào)整網(wǎng)絡(luò)參數(shù)時(shí),一般采用分批進(jìn)行訓(xùn)練,使用的批次大?。╞atch size)為6,迭代周期(epoch)為40次。使用開源工具PyCharm搭好實(shí)驗(yàn)的模型框架后,直接從初始值開始訓(xùn)練。損失函數(shù)設(shè)置為交叉熵?fù)p失函數(shù),計(jì)算預(yù)測(cè)值和真實(shí)值之間的差異,通過前向傳遞損失的梯度更新網(wǎng)絡(luò)參數(shù)。為了對(duì)比提取乳腺區(qū)域?qū)Ψ诸惥鹊挠绊懠氨敬窝芯刻岢瞿P偷膬?yōu)化度,設(shè)計(jì)兩組組對(duì)比試驗(yàn)。
3.2實(shí)驗(yàn)結(jié)果分析
第一組實(shí)驗(yàn):為了驗(yàn)證提取乳腺區(qū)域?qū)Ψ指罹鹊挠绊?,分別使用未進(jìn)行乳腺區(qū)域提取的圖片和提取了乳腺區(qū)域的數(shù)據(jù)集進(jìn)行訓(xùn)練,結(jié)果用損失函數(shù)的損失值(loss)作為評(píng)價(jià)標(biāo)準(zhǔn)。
圖3為對(duì)不同數(shù)據(jù)集的訓(xùn)練時(shí),網(wǎng)絡(luò)模型中l(wèi)oss隨迭代次數(shù)的增加而變化的曲線圖。從下圖中可以看出,使用提取乳腺區(qū)域的數(shù)據(jù)集,網(wǎng)絡(luò)收斂速度更快,loss值更小。因此使用預(yù)處理過的數(shù)據(jù)集,可以減少訓(xùn)練時(shí)間,減少訓(xùn)練損失,增加模型識(shí)別精度。
第二組實(shí)驗(yàn):為了證明對(duì)模型參數(shù)的優(yōu)化程度,分別使用原始FCN-VGG19-8s模型和改進(jìn)后的FCN-RVGG19-8s模型對(duì)同一訓(xùn)練集進(jìn)行訓(xùn)練,最后從測(cè)試時(shí)間與loss值、整體準(zhǔn)確率(Overall Accuracy,OA)與F1分?jǐn)?shù)對(duì)本文方法的實(shí)驗(yàn)結(jié)果進(jìn)行量化評(píng)價(jià)[9]。
優(yōu)化了參數(shù)后的模型在迭代100次后,loss值從0.03講到了0.01,但訓(xùn)練時(shí)間縮短了106秒,每次迭代將節(jié)省時(shí)間約為1秒。通常卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練次數(shù)均在萬次以上,使用優(yōu)化了函數(shù)后的模型,可以節(jié)約大量的時(shí)間,提高了網(wǎng)絡(luò)運(yùn)行速度。
優(yōu)化后的網(wǎng)絡(luò)模型分別對(duì)乳腺X射線圖像進(jìn)行腫塊分割的結(jié)果如圖4所示,從左到右分別為預(yù)處理后的乳腺圖像、專家標(biāo)注的腫塊區(qū)域圖、FCN-VGG19-8s模型分割結(jié)果和本文優(yōu)化模型訓(xùn)練后得到的分割結(jié)果圖??梢钥吹?,乳腺區(qū)域的識(shí)別基本可以達(dá)到要求,得到的分割結(jié)果和乳腺區(qū)域的輪廓基本接近。乳腺區(qū)域分割的網(wǎng)絡(luò)的訓(xùn)練時(shí)間為3個(gè)小時(shí),在測(cè)試集上平均分割一張圖像的時(shí)間為0.6秒,分割速度較為滿意。
表1中展示了圖4的三張乳腺圖像的分割結(jié)果,三張圖像自上到下標(biāo)號(hào)為1至3號(hào),其中黑色加粗字體表示每組實(shí)驗(yàn)的最優(yōu)值。從整體準(zhǔn)確率可以看到,本次實(shí)驗(yàn)提出的優(yōu)化模型對(duì)腫塊的分割都達(dá)到了優(yōu)異的成績(jī)。而從F1分?jǐn)?shù)可以看出,使用優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型,腫塊分割的準(zhǔn)確率有了明顯的提升。結(jié)果表明,優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型優(yōu)于FCN-VGG19-8s的神經(jīng)網(wǎng)絡(luò)模型。
4 結(jié)束語(yǔ)
本文主要研究了乳腺X射線圖像中的乳腺腫塊的分割技術(shù)。該技術(shù)使用全卷積網(wǎng)絡(luò)實(shí)現(xiàn)了乳腺腫塊的分割,通過改進(jìn)網(wǎng)絡(luò)優(yōu)化分割結(jié)果,實(shí)現(xiàn)了乳腺腫塊的識(shí)別,證明了優(yōu)化方案在乳腺腫塊分割問題上的有效性。本文雖然實(shí)現(xiàn)了乳腺腫塊的分割,但沒有設(shè)計(jì)腫塊良惡性分類的問題,后續(xù)可以實(shí)現(xiàn)腫塊識(shí)別、分割及分辨良惡性的聯(lián)合檢測(cè),進(jìn)一步提高乳腺癌的確診率。
參考文獻(xiàn)
[1]Wanqing Chen;Kexin Sun;Rongshou Zheng;Hongmei Zeng;Siwei Zhang;Changfa Xia;Zhixun Yang;He Li;Xiaonong Zou;Jie He;;Cancer incidence and mortality in China,2014[J];Chin J Cancer Res 2018;30(1)
[2]陳萬青,鄭榮壽.中國(guó)女性乳腺癌發(fā)病死亡和生存狀況.中國(guó)腫瘤臨床,2015,42(13):668-674.
[3]牟燦.鉬靶X線在乳腺腫瘤診斷中的應(yīng)用價(jià)值[J].中國(guó)醫(yī)藥指南,2016,14(16):19-20.
[4]Li J,Ke CL.Breast imaging protocol options and the attention in clinical application.Chin J Gen Practitioners,2018,17(3):167-170.
[5]陳永曄,張恩龍,張家慧,等.基于影像學(xué)的多種人工智能算法在腫瘤研究中的應(yīng)用進(jìn)展[J].磁共振成像,2018.9(10):769-800.
[6]Szegedy C,Liu W,Jia Y,et al.Going deeper with convolutions[C].IEEE Conference on Computer Vision and Pattern Recognition,2015:1-9.
[7]徐志京,汪毅.青光眼眼底圖像的遷移學(xué)習(xí)分類方法[J].計(jì)算機(jī)工程與應(yīng)用,2021,57(03):144-149.
[8]He K,Zhang X,Ren S,et al.Deep residual learning for image recognition[C].IEEE Conference on Computer Vision and Pattern Recognition,2016:770-778.
[9]Kraemer H C,Periyakoil V S,Noda A.Kappa coefficients in medical research[J].Statistics in Medicine,21(14):2109-2129.
作者簡(jiǎn)介:金徐恒,1991.02,男,回,江蘇徐州,研究生在讀,軟件工程。