基于2D/3D U-plus-net的心臟自動(dòng)分割

宋宇宸，彭昭，吳昊天，周解平，皮一飛，陳志，裴曦

1.中國(guó)科學(xué)技術(shù)大學(xué)放射醫(yī)學(xué)物理中心，安徽合肥230027；2.安徽慧軟科技有限公司，安徽合肥230000；3.中國(guó)科學(xué)技術(shù)大學(xué)附屬第一醫(yī)院放療科，安徽合肥230001；4.鄭州大學(xué)第一附屬醫(yī)院放療科，河南鄭州450052

前言

近年來，胸部惡性腫瘤（乳腺癌等）發(fā)病率逐年增加，放療已被廣泛應(yīng)用于胸部惡性腫瘤的治療。其中，心臟作為最重要的胸部危及器官，其照射劑量必須受到嚴(yán)格限制。因此，心臟分割是胸部惡性腫瘤放療的關(guān)鍵環(huán)節(jié)。然而，由于心臟周圍解剖結(jié)構(gòu)復(fù)雜，心臟分割仍具有很大挑戰(zhàn)。目前，臨床使用的主要分割方法是醫(yī)生手動(dòng)分割，可獲得精確的結(jié)果，但十分耗時(shí)。手動(dòng)分割的局限性促使研究人員繼續(xù)開發(fā)用于心臟分割的輔助分割方法。目前的器官輔助分割方法主要有基于統(tǒng)計(jì)模型的方法［1-2］、基于圖譜的方法［3-5］以及基于深度學(xué)習(xí)的方法，包括基于U-net的方法［6］、基于FCN的方法［7-9］、基于CNN的方法［10-12］及基于其他網(wǎng)絡(luò)的方法［13-14］等。其中，基于深度學(xué)習(xí)的方法因其準(zhǔn)確率高、效率高而被廣泛應(yīng)用。U-net［7］最初在MICCAI 2015被提出，并成為器官分割任務(wù)的主要基礎(chǔ)網(wǎng)絡(luò)，該網(wǎng)絡(luò)改進(jìn)了全卷積網(wǎng)絡(luò)［15］，完善了擴(kuò)展路徑，將多通道卷積與特征金字塔網(wǎng)絡(luò)的結(jié)構(gòu)相結(jié)合，大大提高了器官分割的準(zhǔn)確率；3D U-net在U-net基礎(chǔ)上增加醫(yī)學(xué)影像的三維信息，在小體積器官的分割任務(wù)中表現(xiàn)出色［16］。深度學(xué)習(xí)為醫(yī)學(xué)圖像處理做出很大貢獻(xiàn)，在圖像分割任務(wù)中表現(xiàn)最優(yōu)。但是這些方法對(duì)心臟的下邊緣部分的分割精度不夠高。目前已有不少研究者進(jìn)行基于U-net的心臟自動(dòng)分割［17-18］，但2D U-net和3D U-net在心臟的不同位置表現(xiàn)不同：在深度方向靠近腹部的CT圖像上，3D U-net表現(xiàn)更優(yōu)；在其余心臟CT圖像上，2D U-net表現(xiàn)更優(yōu)。因此，本研究提出將同一患者不同位置心臟CT圖像輸入不同網(wǎng)絡(luò)進(jìn)行訓(xùn)練的方法，利用改進(jìn)后的AlexNet［19］（命名為modified-AlexNet）對(duì)胸部CT圖像進(jìn)行分類，準(zhǔn)確挑選出含有心臟的CT圖像；對(duì)2D U-net/3D U-net網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，改進(jìn)后的網(wǎng)絡(luò)命名為2D/3D U-plus-net，將心臟不同位置的圖像分別用2D U-plusnet和3D U-plus-net分割。此方法可充分利用2D/3D Unet的優(yōu)點(diǎn)并避免其缺點(diǎn)。

1 材料與方法

1.1 數(shù)據(jù)

收集鄭州大學(xué)第一附屬醫(yī)院60 例接受放療的乳腺癌患者的胸部掃描CT圖像，記為數(shù)據(jù)A；中國(guó)科學(xué)技術(shù)大學(xué)附屬第一醫(yī)院的45例接受放療的乳腺癌患者的胸部掃描CT圖像，記為數(shù)據(jù)B。CT層厚為5 mm，分辨率為0.977 mm×0.977 mm，傳輸?shù)絇innacle 規(guī)劃系統(tǒng)（Philips Radiation Oncology Systems, Fitchburg,WI,USA）。

危及器官由臨床經(jīng)驗(yàn)豐富的放療科醫(yī)生進(jìn)行手動(dòng)分割。由于不同醫(yī)院分割習(xí)慣不同，在滿足危及器官分割標(biāo)準(zhǔn)的條件下，臨床分割的器官輪廓有緊貼器官邊緣和器官外擴(kuò)兩種，本研究中，數(shù)據(jù)A 采用緊貼器官邊緣的分割方法，數(shù)據(jù)B采用器官外擴(kuò)的分割方法。為了避免因醫(yī)生分割習(xí)慣不同而造成神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果與醫(yī)生分割結(jié)果的偏差，并證明本文方法在不同醫(yī)院數(shù)據(jù)集上的通用性，本研究在兩個(gè)不同醫(yī)院的數(shù)據(jù)集上分別進(jìn)行分割。

1.2 心臟分割方法

1.2.1 分割前工作對(duì)數(shù)據(jù)A 和數(shù)據(jù)B 的CT 圖像進(jìn)行預(yù)處理。去除所有患者CT 圖像的金屬偽影；選取窗寬、窗位，提高圖像對(duì)比度；以身體中心為裁剪中心，將圖像裁剪至［256,256］；將含有心臟的CT 圖像標(biāo)記為1（記為心臟CT），不含心臟的CT 圖像標(biāo)記為0（記為無心臟CT），用于圖像分類；利用RS文件提取每張心臟CT對(duì)應(yīng)心臟掩膜，用于圖像分割。

由于心臟在靠近腹部處體積較小，且與其他危及器官（如肝臟）距離近，2D 網(wǎng)絡(luò)難以分割，而3D 網(wǎng)絡(luò)可以利用層間三維信息確保輪廓連續(xù)性，因而3D網(wǎng)絡(luò)表現(xiàn)更優(yōu)；心臟在靠近頭部處體積較大，且與其他危及器官距離遠(yuǎn)，2D 網(wǎng)絡(luò)足以區(qū)分，而3D 網(wǎng)絡(luò)會(huì)造成信息冗余，并占用更大內(nèi)存，因而2D網(wǎng)絡(luò)表現(xiàn)更優(yōu)。因此，本研究提出一種將心臟不同位置CT 圖像輸入不同神經(jīng)網(wǎng)絡(luò)進(jìn)行分割的方法（圖1）。

圖1 基于2D/3D U-plus-net的心臟自動(dòng)分割方法Fig.1 Flowchart of automatic heart segmentation based on 2D/3D U-plus-net

為確定m的值，使得最終分割結(jié)果最優(yōu)，在數(shù)據(jù)A 和數(shù)據(jù)B 上分別進(jìn)行預(yù)實(shí)驗(yàn)：搭建2D U-net 模型［7］，并將其網(wǎng)絡(luò)層改寫為3D 層，形成與其拓?fù)浣Y(jié)構(gòu)相同的3D U-net 模型，基于這兩個(gè)模型做心臟分割對(duì)照實(shí)驗(yàn)。在數(shù)據(jù)A 中隨機(jī)選取48 例作為訓(xùn)練集，其余12 例作為測(cè)試集；在數(shù)據(jù)B 中隨機(jī)選取36 例作為訓(xùn)練集，其余9例作為測(cè)試集。將兩個(gè)訓(xùn)練集患者的心臟CT 圖像分別輸入2D U-net 和3D U-net 進(jìn)行訓(xùn)練，并用測(cè)試集患者作測(cè)試。將2D U-net和3D U-net在所有心臟CT 圖像上的分割Dice 系數(shù)作成折線圖，兩條折線的交點(diǎn)即為m值。

1.2.2 胸部CT 圖像分類對(duì)AlexNet 進(jìn)行改進(jìn)，改進(jìn)后網(wǎng)絡(luò)結(jié)構(gòu)（modified-AlexNet）如圖2 所示。網(wǎng)絡(luò)包括4 個(gè)卷積模塊和1 個(gè)Dense 模塊；每個(gè)卷積模塊包括2 個(gè)Convolution 層和1 個(gè)Max-pooling 層，激活函數(shù) 采 用Relu；Dense模塊包括1 個(gè)Flatten 層、3 個(gè)Dense層和2個(gè)Dropout層；激活函數(shù)采用Sigmoid，損失函數(shù)采用Binary_crossentropy，優(yōu)化器采用RMSprop。

圖2 改進(jìn)后的AlexNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Modified-AlexNet architecture

將訓(xùn)練集患者CT 圖像及標(biāo)簽經(jīng)預(yù)處理后隨機(jī)打亂，輸入modified-AlexNet 進(jìn)行訓(xùn)練，并用驗(yàn)證集驗(yàn)證。將測(cè)試集患者CT 圖像及標(biāo)簽經(jīng)預(yù)處理后輸入訓(xùn)練好的modified-AlexNet，輸出標(biāo)簽。標(biāo)簽為1表示心臟CT圖像，標(biāo)簽為0表示無心臟CT圖像。

1.2.3 心臟自動(dòng)分割對(duì)U-net的拓?fù)浣Y(jié)構(gòu)進(jìn)行改進(jìn)，主要包括以下3 點(diǎn)。（1）減小網(wǎng)絡(luò)深度。編碼器和解碼器是U-net 網(wǎng)絡(luò)的核心，其作用分別是特征提取與圖像重建。編碼器和解碼器中模塊個(gè)數(shù)決定網(wǎng)絡(luò)深度，深度越大，特征提取越精細(xì)，但同時(shí)也會(huì)造成信息冗余。因此，針對(duì)不同的圖像處理任務(wù)，需選擇不同的網(wǎng)絡(luò)深度。本研究發(fā)現(xiàn)當(dāng)編碼器中特征提取模塊和解碼器中圖像重建模塊的個(gè)數(shù)為3個(gè)時(shí)，網(wǎng)絡(luò)模型訓(xùn)練效果最好。（2）傳統(tǒng)U-net 網(wǎng)絡(luò)特征提取模塊和圖像重建模塊的網(wǎng)絡(luò)層數(shù)相同，而本研究在每個(gè)圖像重建模塊中添加一個(gè)Convolution 層，使其相比對(duì)應(yīng)的特征提取模塊多做一次卷積，從而提高網(wǎng)絡(luò)的局部感知能力。（3）傳統(tǒng)U-net 網(wǎng)絡(luò)中，第一層編碼器和解碼器由一個(gè)長(zhǎng)連接相連，本研究在此長(zhǎng)連接中增加兩個(gè)神經(jīng)節(jié)點(diǎn)，綜合長(zhǎng)連接和短連接，充分利用不同深度的圖像特征。

改進(jìn)后的網(wǎng)絡(luò)命名為U-plus-net，其結(jié)構(gòu)如圖3所示（輸入圖像以適用于2D U-plus-net 的CT 圖像為例）?；诖送?fù)浣Y(jié)構(gòu)分別添加2D 與3D 網(wǎng)絡(luò)層，即構(gòu)成2D U-plus-net 和3D U-plus-net。編碼器包含3個(gè)重復(fù)的特征提取模塊，每個(gè)特征提取模塊由2 個(gè)Convolution 層和1 個(gè)Max-pooling 層組成；解碼器包含3 個(gè)重復(fù)的圖像重建模塊，每個(gè)圖像重建模塊由3個(gè)Convolution 層和1 個(gè)Up-sampling 層組成；在最后一個(gè)圖像重建模塊中添加1 個(gè)Convolution 層；采用Concatenate 層連接特征圖大小相同的特征提取模塊與圖像重建模塊。激活函數(shù)采用Relu 和Sigmoid，損失函數(shù)采用Dice 系數(shù)計(jì)算方法，優(yōu)化器采用Adam。網(wǎng)絡(luò)在Keras框架上搭建，以TensorFlow為后端。

圖3 U-plus-net網(wǎng)絡(luò)結(jié)構(gòu)（輸入圖像以適用于2D U-plus-net的CT圖像為例）Fig.3 U-plus-net architecture(The input image takes CT images that apply to 2D U-plus-net as an example)

應(yīng)用本研究的胸部CT 圖像分類方法挑選出心臟CT 圖像，按UID 降序進(jìn)行排序。將排序后的前m張心臟CT 圖像及對(duì)應(yīng)掩膜輸入3D U-plus-net，其余心臟CT 圖像及對(duì)應(yīng)掩膜輸入2D U-plus-net。采用5倍交叉驗(yàn)證法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練及測(cè)試。將數(shù)據(jù)A 和數(shù)據(jù)B 各均分為5 組，每次取其中1 組作為測(cè)試集，1組作為驗(yàn)證集，其余4 組作為訓(xùn)練集，進(jìn)行5 次訓(xùn)練；取5次測(cè)試結(jié)果的平均值作為最終結(jié)果。

1.3 評(píng)估方法

本研究采用Dice系數(shù)，平均表面距離（Mean Surface Distance,MSD）和HD95（Hausdorff 距離）來評(píng)估自動(dòng)分割結(jié)果［20］。

Dice系數(shù)計(jì)算公式為：

其中，X和Y分別為輪廓的真值與預(yù)測(cè)值。

有向平均Hausdorff 測(cè)度定義為輪廓X中的所有點(diǎn)到輪廓Y的距離的平均值：

MSD 定義為兩次有向平均Hausdorff 測(cè)度的平均值：

95%有向百分比Hausdorff 測(cè)度定義為輪廓X中的所有點(diǎn)到輪廓Y的距離按升序排列后95%位置處的值：

95%Hausdorff 距離（HD95）定義為兩個(gè)95%有向百分比Hausdorff測(cè)度的平均值：

分別計(jì)算數(shù)據(jù)A 和數(shù)據(jù)B 中測(cè)試集患者心臟自動(dòng)分割的Dice系數(shù)、HD95和MSD。

2 結(jié)果與分析

2.1 預(yù)實(shí)驗(yàn)結(jié)果

將2D U-net與3D U-net在測(cè)試集患者心臟CT圖像上自動(dòng)分割的Dice系數(shù)作成折線圖。結(jié)果發(fā)現(xiàn)在兩個(gè)醫(yī)院的數(shù)據(jù)集上均呈現(xiàn)如下規(guī)律：心臟CT圖像編號(hào)沿人體軸向從下至上，在靠近腹部的第7或8張CT圖像位置上，兩條折線相交；對(duì)于前8張CT圖像，3D U-net表現(xiàn)遠(yuǎn)優(yōu)于2D U-net；對(duì)于其余CT圖像，2D U-net表現(xiàn)略優(yōu)于3D U-net。因此，本研究中m取8，即將靠近腹部的8張心臟CT圖像輸入3D U-plus-net進(jìn)行自動(dòng)分割，其余心臟CT圖像輸入2D U-plus-net進(jìn)行自動(dòng)分割。

為了直觀顯示2D 和3D 網(wǎng)絡(luò)在心臟不同位置分割性能的差異性，在數(shù)據(jù)A和數(shù)據(jù)B中各選取一名測(cè)試集患者Dice系數(shù)折線圖展示見圖4；為了說明此規(guī)律在所有患者上的普遍適用性，本研究將所有測(cè)試集患者的平均Dice系數(shù)展示見表1、表2。

由圖4 以及表1、表2 可見，基于2D U-net 在心臟靠近頭頸部的CT 圖像上分割的平均Dice 系數(shù)很高，但在靠近腹部的8 張CT 圖像上表現(xiàn)呈斷崖式下跌，大大拉低心臟整體分割的平均Dice系數(shù)；基于3D Unet的心臟分割Dice系數(shù)沿人體軸向從下到上穩(wěn)步提高。Dice 系數(shù)的變化幅度體現(xiàn)出兩種網(wǎng)絡(luò)各自的優(yōu)缺點(diǎn)：3D網(wǎng)絡(luò)可將連續(xù)兩張CT圖像的分割結(jié)果偏差控制在一定范圍內(nèi)，但整體性能不高；2D網(wǎng)絡(luò)在心臟特征明顯的CT 圖像上表現(xiàn)良好，但難以在特征不明顯的CT圖像上進(jìn)行分割。

表1 基于2D U-net/3D U-net在數(shù)據(jù)A中進(jìn)行心臟自動(dòng)分割的Dice系數(shù)Tab.1 Dice coefficient of 2D U-net/3D U-net based automatic heart segmentation on Data A

表2 基于2D U-net/3D U-net在數(shù)據(jù)B中進(jìn)行心臟自動(dòng)分割的Dice系數(shù)Tab.2 Dice coefficient of 2D U-net/3D U-net based automatic heart segmentation on Data B

圖4 基于2D U-net/3D U-net對(duì)測(cè)試集中一名患者進(jìn)行心臟自動(dòng)分割的Dice系數(shù)Fig.4 Dice coefficient of 2D U-net/3D U-net based automatic heart segmentation for a patient from the testing set

2.2 心臟自動(dòng)分割結(jié)果

圖5 為基于2D/3D U-plus-net 在數(shù)據(jù)A 和數(shù)據(jù)B中的4 張心臟分割結(jié)果。其中，綠色輪廓為預(yù)測(cè)結(jié)果，紅色輪廓為醫(yī)生分割結(jié)果。從圖中可見，無論是采用緊貼器官還是器官外擴(kuò)的分割方法，2D/3D Uplus-net 預(yù)測(cè)結(jié)果與醫(yī)生分割結(jié)果都非常接近，即該網(wǎng)絡(luò)模型在不同數(shù)據(jù)集中魯棒性較好。

圖5 基于2D/3D U-plus-net的心臟分割結(jié)果Fig.5 Results of automatic heart segmentation based on 2D/3D U-plus-net

基于原始U-net 的訓(xùn)練模型大小約200 M，而本研究所使用的2D U-plus-net模型大小約33 M，3D Uplus-net 模型大小約45 M，大大降低神經(jīng)網(wǎng)絡(luò)訓(xùn)練所占的內(nèi)存空間。其原因主要是2D/3D U-plus-net 減小了網(wǎng)絡(luò)深度。

基于2D/3D U-plus-net對(duì)數(shù)據(jù)A 和數(shù)據(jù)B中的測(cè)試集患者進(jìn)行心臟自動(dòng)分割的Dice 系數(shù)、MSD 及HD95 見表3?；诓煌W(wǎng)絡(luò)模型的心臟自動(dòng)分割平均Dice 系數(shù)如表4 所示。其中，2D/3D U-net 列的數(shù)據(jù)為取預(yù)實(shí)驗(yàn)中基于3D U-net 在靠近腹部的8 張心臟CT 圖像上的分割Dice 系數(shù)與基于2D U-net 在其余心臟CT 圖像上分割的Dice 系數(shù)作加權(quán)平均得到。從2D/3D U-net 列與2D U-net 列及3D U-net 列對(duì)比可見，將2D U-net 與3D U-net 相結(jié)合的方法與單獨(dú)使用2D U-net 或3D U-net 相比，在心臟整體上分割的Dice 系數(shù)均有所提高。一方面，此方法充分利用2D 和3D 網(wǎng)絡(luò)在不同位置圖像上分割的優(yōu)勢(shì)；另一方面，將心臟CT 圖像分為兩類，使得每個(gè)網(wǎng)絡(luò)接受訓(xùn)練的圖像形狀大小更相近，特征更集中，有利于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。從2D/3D U-plus-net 列與2D/3D U-net列對(duì)比可見，本研究所提出的2D/3D U-plus-net 與原始2D/3D U-net 網(wǎng)絡(luò)相比，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)使得網(wǎng)絡(luò)性能大幅提升，進(jìn)一步提高心臟自動(dòng)分割的準(zhǔn)確率。

表3 基于2D/3D U-plus-net的心臟自動(dòng)分割Dice系數(shù)、MSD和HD95Tab.3 Dice coefficient,mean surface distance and HD95 of automatic heart segmentation based on 2D/3D U-plus-net

表4 基于不同網(wǎng)絡(luò)模型的心臟自動(dòng)分割Dice系數(shù)Tab.4 Dice coefficient of automatic heart segmentation based on different networks

3 討論

近年來，用于圖像分類識(shí)別的神經(jīng)網(wǎng)絡(luò)發(fā)展迅速，vgg16［21］、Googlenet［22］等網(wǎng)絡(luò)在大數(shù)據(jù)量圖像分類任務(wù)中表現(xiàn)出色，然而在小批量圖像處理時(shí)產(chǎn)生了過擬合現(xiàn)象；相反，結(jié)構(gòu)簡(jiǎn)單的AlexNet 能夠很好地適應(yīng)小批量患者的CT 圖像心臟識(shí)別。因此，本研究經(jīng)過實(shí)驗(yàn)對(duì)比，最終選定對(duì)AlexNet 進(jìn)行改進(jìn)，并基于modified-AlexNet 將胸部CT 圖像分為心臟CT圖像和無心臟CT圖像。

由預(yù)實(shí)驗(yàn)結(jié)果可見，在鄭州大學(xué)第一附屬醫(yī)院和中國(guó)科學(xué)技術(shù)大學(xué)附屬第一醫(yī)院的兩個(gè)不同數(shù)據(jù)集中，在CT 層厚5 mm 的情況下，2D 和3D 網(wǎng)絡(luò)的性能差異都在心臟CT圖像靠近腹部的第8張左右的位置發(fā)生改變；對(duì)于其他醫(yī)院的臨床數(shù)據(jù)，由于CT 掃描及重建技術(shù)不同，2D 和3D 網(wǎng)絡(luò)性能差異發(fā)生改變的位置也可能不同，可根據(jù)預(yù)實(shí)驗(yàn)結(jié)果決定m的取值。

由表4 中基于不同網(wǎng)絡(luò)模型的心臟自動(dòng)分割Dice 系數(shù)的對(duì)比可見，本研究對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)使得網(wǎng)絡(luò)性能有不小的提升。其中，最重要的改進(jìn)為在長(zhǎng)連接中增加網(wǎng)絡(luò)節(jié)點(diǎn)，同時(shí)利用網(wǎng)絡(luò)深層和淺層特征，提高了圖像特征利用率。同時(shí)，本研究提出的思想方法可以應(yīng)用到其他的神經(jīng)網(wǎng)絡(luò)，即對(duì)網(wǎng)絡(luò)結(jié)構(gòu)作出其他改進(jìn)時(shí)，也可將2D 和3D 網(wǎng)絡(luò)相結(jié)合，將心臟不同位置CT 圖像輸入不同網(wǎng)絡(luò)，從而提高心臟分割準(zhǔn)確率。

本研究所采用的方法在大面積與小面積器官分割上均表現(xiàn)良好，理論上適用于所有單連通的大體積器官。因此，下一步會(huì)將此方法集成到智能化靶區(qū)和器官自動(dòng)分割系統(tǒng)DeepViewer 中，并應(yīng)用到肝臟、胃等器官的自動(dòng)分割。

本研究基于modified-AlexNet將胸部CT圖像準(zhǔn)確分類為心臟CT圖像和無心臟CT圖像；基于2D U-plusnet分割靠近腹部的心臟CT圖像，基于3D U-plus-net分割其余心臟CT圖像，最終提高心臟整體的自動(dòng)分割準(zhǔn)確率。