具有雙向增強(qiáng)特征結(jié)構(gòu)的U型肺結(jié)節(jié)分割網(wǎng)絡(luò)

黃 新，郭曉敏

1.桂林電子科技大學(xué) 電子工程與自動(dòng)化學(xué)院，廣西 桂林 541004

2.廣西自動(dòng)檢測(cè)技術(shù)與儀器重點(diǎn)實(shí)驗(yàn)室，廣西 桂林 541004

近年來(lái)，肺癌的發(fā)病率和死亡率逐年攀升，其起病急、早期不易發(fā)現(xiàn)，五年內(nèi)生存率較低，嚴(yán)重威脅人們的健康和生命[1]。肺癌已成為全球發(fā)病率和死亡率最高的癌癥之一，其早期的表現(xiàn)形式是肺組織中出現(xiàn)肺結(jié)節(jié)。肺結(jié)節(jié)形成的原因是肺實(shí)質(zhì)中不規(guī)則且不可控的細(xì)胞生長(zhǎng)，在CT影像上大多表現(xiàn)為直徑不超過(guò)30 mm的肺內(nèi)類圓形陰影[2]。在病程早期發(fā)現(xiàn)并準(zhǔn)確分割出肺結(jié)節(jié)可以大大提高患者的生存機(jī)會(huì)，并促進(jìn)有效的臨床治療。然而，早期肺結(jié)節(jié)通常體積小，邊緣模糊、肉眼不易分辨，容易影響醫(yī)生的診斷。

為提高CT影像中肺結(jié)節(jié)分割的準(zhǔn)確性，輔助醫(yī)生進(jìn)行肺結(jié)節(jié)良惡性的診斷，國(guó)內(nèi)外許多科研工作者致力于應(yīng)用計(jì)算機(jī)輔助診斷技術(shù)（computer aided diag‐nosis and detection，CAD）實(shí)現(xiàn)肺結(jié)節(jié)的有效分割[3-7]。Dehmeshki等[8]提出一種區(qū)域生長(zhǎng)的方法分割肺結(jié)節(jié)，通過(guò)對(duì)肺結(jié)節(jié)的強(qiáng)度、模糊連通性和外圍對(duì)比度等進(jìn)行操作，實(shí)現(xiàn)肺結(jié)節(jié)的自適應(yīng)分割。Diciotti等[9]提出一種自動(dòng)校正的肺結(jié)節(jié)分割方法，通過(guò)固定的圖像閾值得到初始粗分割，然后對(duì)初始分割的局部形狀進(jìn)行分析，以解決肺內(nèi)近血管結(jié)節(jié)的分割問(wèn)題。馮寶等[10]通過(guò)活動(dòng)輪廓模型，實(shí)現(xiàn)了實(shí)性肺結(jié)節(jié)的分割。上述幾種方法雖然可以較好地分割肺結(jié)節(jié)，但都是在先驗(yàn)知識(shí)的輔助下完成的，不同分割初始條件會(huì)不同程度地干擾最終的分割結(jié)果。因此需要設(shè)計(jì)一種新的分割方法，讓機(jī)器能夠自適應(yīng)地學(xué)習(xí)和提取圖像特征，從而消除人為干擾，使最終的分割結(jié)果更加客觀。

當(dāng)前，神經(jīng)網(wǎng)絡(luò)（neural networks，NNs）已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域的主流框架。神經(jīng)網(wǎng)絡(luò)通過(guò)模仿人腦的結(jié)構(gòu)，能夠利用大數(shù)據(jù)自動(dòng)完成對(duì)特定事物的學(xué)習(xí)。Kumar等[11]利用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN），通過(guò)從自動(dòng)編碼器中提取深層特征實(shí)現(xiàn)了肺結(jié)節(jié)的良惡性分類；Wang等[12]提出多視點(diǎn)卷積神經(jīng)網(wǎng)絡(luò)（multi-view convolutional neural networks，MV-CNN），實(shí)現(xiàn)了肺結(jié)節(jié)的分割和檢測(cè)。在圖像分割領(lǐng)域的研究中，Long等[13]提出了全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional networks，F(xiàn)CN），該網(wǎng)絡(luò)針對(duì)CNN在圖像精細(xì)分割中的局限性，用卷積層替換CNN中的全連接層，來(lái)獲取圖像中各像素的分類結(jié)果，從而實(shí)現(xiàn)圖像的分割。Ronneberger等[14]提出U-Net網(wǎng)絡(luò)，該網(wǎng)絡(luò)采用編碼器-解碼器的U型結(jié)構(gòu)提取圖像特征，可以應(yīng)對(duì)小樣本數(shù)據(jù)集進(jìn)行較快、有效地分割，因此廣泛應(yīng)用于醫(yī)學(xué)圖像分割領(lǐng)域。但臨床中常見(jiàn)的肺結(jié)節(jié)類型多樣，且大都具有邊緣模糊的特點(diǎn)，因此僅僅采用原始U-Net網(wǎng)絡(luò)進(jìn)行訓(xùn)練，存在特征利用率低、對(duì)小目標(biāo)分割性能差等問(wèn)題，導(dǎo)致最終的分割效果不夠理想。

本文針對(duì)原始U-Net網(wǎng)絡(luò)在圖像分割中存在的不足，在其基礎(chǔ)上設(shè)計(jì)提出了一種Bi EFP-UNet網(wǎng)絡(luò)的肺結(jié)節(jié)分割網(wǎng)絡(luò)。為了適應(yīng)肺結(jié)節(jié)的分割，該網(wǎng)絡(luò)將一個(gè)雙向增強(qiáng)型特征融合結(jié)構(gòu)引入原始U-Net網(wǎng)絡(luò)，以加強(qiáng)對(duì)肺結(jié)節(jié)不同尺度特征的傳遞和利用，提高網(wǎng)絡(luò)對(duì)小結(jié)節(jié)分割的敏感度，并通過(guò)引入Mish激活函數(shù)提高分割的精度。本文利用公開(kāi)的且具有醫(yī)生權(quán)威標(biāo)注的LUNA16[15]（lung nodule analysis 16）肺結(jié)節(jié)數(shù)據(jù)集對(duì)本文網(wǎng)絡(luò)進(jìn)行檢驗(yàn)，結(jié)果表明Bi EFP-UNet網(wǎng)絡(luò)能夠顯著提高CT影像中肺結(jié)節(jié)分割的效率和準(zhǔn)確率。

1 Bi EFP-UNet網(wǎng)絡(luò)

本文提出的Bi EFP-UNet網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。其設(shè)計(jì)靈感來(lái)源于原始U-Net網(wǎng)絡(luò)的編碼器、解碼器結(jié)構(gòu)。首先，Bi EFP-UNet網(wǎng)絡(luò)的主干網(wǎng)絡(luò)結(jié)合雙向增強(qiáng)型特征融合網(wǎng)絡(luò)，集成肺結(jié)節(jié)多尺度特征融合，以實(shí)現(xiàn)肺結(jié)節(jié)有效的特征提取。其次，將Mish激活函數(shù)（一種非單調(diào)且平滑的神經(jīng)網(wǎng)絡(luò)激活函數(shù)）應(yīng)用于Bi EFP-Unet網(wǎng)絡(luò)的3×3卷積操作之后，Mish激活函數(shù)可以大大縮短GPU前向和后向的傳遞時(shí)間，進(jìn)而提高網(wǎng)絡(luò)的分割效率。

圖1 Bi EFP-UNet網(wǎng)絡(luò)Fig.1 Network of Bi EFP-UNet

1.1 U-Net主干網(wǎng)絡(luò)

U-Net是一種針對(duì)小樣本數(shù)據(jù)集的快速分割網(wǎng)絡(luò)，在生物醫(yī)學(xué)圖像分割領(lǐng)域表現(xiàn)良好[16]。醫(yī)學(xué)圖像是人體某個(gè)器官的成像，其結(jié)構(gòu)固定且語(yǔ)義信息較簡(jiǎn)單，所以在分割任務(wù)中，其高級(jí)語(yǔ)義信息和低級(jí)特征都很重要，而U-Net網(wǎng)絡(luò)的U型結(jié)構(gòu)和跳躍連接能夠結(jié)合低層和高層信息。本文提出的網(wǎng)絡(luò)結(jié)構(gòu)通過(guò)改進(jìn)原始U-Net網(wǎng)絡(luò)架構(gòu)實(shí)現(xiàn)，以像素為512×512的圖像作為輸入，輸出相同像素的掩模圖像。該網(wǎng)絡(luò)由壓縮路徑和擴(kuò)展路徑兩部分構(gòu)成，壓縮路徑深度為5，采用2×2的最大池化操作實(shí)現(xiàn)。壓縮部分對(duì)圖像進(jìn)行兩次3×3卷積，卷積后緊跟一個(gè)Mish激活函數(shù)，并通過(guò)填充操作保持卷積前后圖像像素不變，每次壓縮會(huì)使特征通道數(shù)增加一倍。擴(kuò)展路徑是對(duì)特征圖進(jìn)行上采樣的過(guò)程，2×2的卷積（上卷積）操作將每個(gè)深度上的特征通道數(shù)減半，擴(kuò)展路徑的深度也為5。在擴(kuò)展路徑中，每次上卷積操作前，首先要將上采樣的特征向量與特征融合網(wǎng)絡(luò)中對(duì)應(yīng)的特征向量進(jìn)行拼接，然后執(zhí)行兩次3×3卷積，同時(shí)通過(guò)填充操作保持卷積前后圖像像素不變，每次卷積后緊跟Mish激活函數(shù)。網(wǎng)絡(luò)的最后一層采用1×1卷積，最終得到與輸入圖像對(duì)應(yīng)的掩膜（Mask）圖像。

為保證輸出圖像和輸入圖像的像素大小一致，如圖2所示，在U-Net主干網(wǎng)絡(luò)的上采樣過(guò)程中，用邊緣填充操作（Padding）代替原始U-Net主干網(wǎng)絡(luò)中的裁剪（Crop）操作，這樣不僅可以使網(wǎng)絡(luò)輸出圖像的像素大小與輸入圖像保持一致，而且可以將每次下采樣之前的特征信息完整的和上采樣之后的特征圖進(jìn)行融合，并且不會(huì)在融合過(guò)程中引入多余的計(jì)算量。Bi EFP-UNet網(wǎng)絡(luò)各層和相應(yīng)的網(wǎng)絡(luò)參數(shù)如表1所示。

表1 Bi EFP-UNet網(wǎng)絡(luò)各層和相應(yīng)的網(wǎng)絡(luò)參數(shù)Table 1 Layers and respective network parametersof Bi EFP-UNet model

圖2 改進(jìn)主干網(wǎng)絡(luò)的上采樣過(guò)程Fig.2 Upsampling process of improved backbone network

1.2 雙向增強(qiáng)型特征金字塔網(wǎng)絡(luò)

雙向增強(qiáng)型特征金字塔網(wǎng)絡(luò)（bidirectional enhancedfeature pyramid network，Bi EFPN）的設(shè)計(jì)靈感來(lái)自于PANet網(wǎng)絡(luò)，如圖3所示。

圖3 PANet網(wǎng)絡(luò)Fig.3 PANet

PANet是Liu等[17]提出的一種實(shí)例分割框架下的路徑聚合網(wǎng)絡(luò)（path aggregation network，PANet），也是第一個(gè)提出“自底向上二次融合”思想的網(wǎng)絡(luò)框架。通常，高層特征主要包含目標(biāo)較豐富的語(yǔ)義信息，低層特征主要包含目標(biāo)準(zhǔn)確的位置信息。PANet通過(guò)自底向上的路徑增強(qiáng)，將目標(biāo)準(zhǔn)確的低層信息與高層信息進(jìn)行融合，從而縮短信息傳遞的距離。

本文提出的雙向增強(qiáng)型特征金字塔網(wǎng)絡(luò)如圖4所示，與PANet一樣，Bi EFPN也具有一條自上而下和一條自下而上的路徑，從而允許特征網(wǎng)絡(luò)中從一個(gè)深度到另一個(gè)深度的雙向信息流。Bi EFPN包含了5個(gè)不同深度的特征提取路徑（P3~P7），其中，P3、P7所在路徑的結(jié)點(diǎn)只有一條輸入邊和一條輸出邊，P3連接的是U-Net經(jīng)過(guò)四次下采樣后的低分辨率信息，P7連接的是從U-Net編碼器直接傳遞到同一深度解碼器的高分辨率信息。由于醫(yī)學(xué)圖像的數(shù)據(jù)一般較少，因此深層信息變得很重要，為獲得更多的深層特征，避免原始U-Net網(wǎng)絡(luò)多次下采樣帶來(lái)的信息丟失，在原有PANet的基礎(chǔ)上，Bi EFPN在P3所在路徑中添加一條跨尺度連接的邊。同時(shí)，為增強(qiáng)肺結(jié)節(jié)在不同層次的特征提取，將P4、P5、P6所在路徑也各添加一條跨尺度連接的邊，以增加不同分辨率下的特征提取，豐富網(wǎng)絡(luò)每個(gè)深度的特征，從而將主干網(wǎng)絡(luò)不同深度的特征進(jìn)行有效的融合。

圖4 雙向增強(qiáng)型特征金字塔網(wǎng)絡(luò)Fig.4 Bidirectional enhanced feature pyramid network（Bi EFPN）

雖然Bi EFPN相較PANet會(huì)引入一些額外的計(jì)算量，但卻可以融合更多的特征，獲得更好的分割效果。Bi EFPN與PANet各層和相應(yīng)的網(wǎng)絡(luò)參數(shù)如表2所示。

表2 Bi EFPN與PANet各層和相應(yīng)的網(wǎng)絡(luò)參數(shù)Table 2 Layers and respective network parameters of Bi EFPN and PANet

在原始U-Net網(wǎng)絡(luò)中，通常每層提取到的特征只能被學(xué)習(xí)一次，并且不同層級(jí)的特征間缺乏聯(lián)系，使得網(wǎng)絡(luò)整體對(duì)于肺結(jié)節(jié)圖像的特征提取能力較低，小目標(biāo)肺結(jié)節(jié)在下采樣過(guò)程中容易丟失，導(dǎo)致最終分割的準(zhǔn)確度不夠理想。因此，進(jìn)行多尺度特征融合就顯得尤為重要，其目的是融合不同分辨率下的特征，以獲得有效的特征提取。如圖1所示，U-Net的編碼器獲取CT圖像，并在五個(gè)相應(yīng)的深度輸出特征，這五個(gè)深度分別對(duì)應(yīng)特征融合網(wǎng)絡(luò)的五個(gè)輸入（P3~P7）。特征網(wǎng)絡(luò)的輸出則分別與U-Net的解碼器相連接。

通過(guò)雙向跨尺度連接，可以充分利用和提取肺結(jié)節(jié)的低層特征，更好地將低層細(xì)粒度特征與高層語(yǔ)義特征相融合，豐富特征向量，增強(qiáng)整個(gè)特征層次，提高主干網(wǎng)絡(luò)對(duì)各層次特征的利用率，使網(wǎng)絡(luò)對(duì)小結(jié)節(jié)也能進(jìn)行有效地特征提取，從而解決肺結(jié)節(jié)分割過(guò)程中小目標(biāo)結(jié)節(jié)丟失的問(wèn)題。

1.3 Mish激活函數(shù)

激活函數(shù)是神經(jīng)網(wǎng)絡(luò)引入“非線性”的途徑，對(duì)網(wǎng)絡(luò)的訓(xùn)練和評(píng)價(jià)有重要作用。神經(jīng)網(wǎng)絡(luò)中常用的激活函數(shù)有Sigmod函數(shù)、Tanh函數(shù)、ReLU函數(shù)、Swish函數(shù)等[18]。2019年，Misra[19]介紹了一種新的深度學(xué)習(xí)激活函數(shù)——Mish激活函數(shù)（如圖5所示），該函數(shù)是一個(gè)非單調(diào)且光滑、連續(xù)的神經(jīng)網(wǎng)絡(luò)激活函數(shù)，其函數(shù)表達(dá)式如（1）所示。其在CIFAR-10[20]數(shù)據(jù)集上最終獲得的準(zhǔn)確度比ReLU更高。本文Bi EFP-Unet網(wǎng)絡(luò)實(shí)現(xiàn)了Mish激活函數(shù)。

圖5 Mish函數(shù)圖像Fig.5 Mish function image

首先，Mish函數(shù)使用了自門(mén)控特性，即非調(diào)制輸入函數(shù)和非線性輸入函數(shù)的輸出相乘。其次，Mish函數(shù)保留了少量的負(fù)向信息，可以允許較小的負(fù)梯度流入，從而保證信息流動(dòng)，消除了ReLU函數(shù)在反向傳播過(guò)程中的梯度消失問(wèn)題。第三，Mish函數(shù)上方無(wú)邊界，可以避免飽和，同時(shí)下方有邊界又會(huì)使其產(chǎn)生強(qiáng)正則化效果。第四，Mish函數(shù)保證了每一點(diǎn)的平滑，從而使其梯度下降效果比ReLU函數(shù)更好。

Mish激活函數(shù)實(shí)現(xiàn)了自選通功能，其提供給門(mén)的輸入是標(biāo)量。自選通特性有助于替換激活函數(shù)，因此本文算法用Mish代替?zhèn)鹘y(tǒng)U-Net網(wǎng)絡(luò)3×3卷積后的ReLU函數(shù)時(shí)，不需要修改網(wǎng)絡(luò)參數(shù)。啟用CUDA時(shí)，Mish可以縮短GPU正反向傳遞的時(shí)間，有效地提高了模型的訓(xùn)練效率。

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)準(zhǔn)備

2.1.1 數(shù)據(jù)集

本文實(shí)驗(yàn)數(shù)據(jù)來(lái)自公開(kāi)數(shù)據(jù)集LIDC-IDRI[21]（lung image database consortium）的子集——LUNA16數(shù)據(jù)集，該數(shù)據(jù)集刪除了LIDC-IDRI中切片厚度大于3 mm和肺結(jié)節(jié)小于3 mm的CT掃描圖像，將剩余的888例肺部CT圖像（.mhd格式）作為數(shù)據(jù)集，該數(shù)據(jù)集中共有1 186個(gè)結(jié)節(jié)，直徑范圍在3 mm~28 mm。CT圖像的像素是512×512像素，平均層厚為1.3 mm。訓(xùn)練數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集和測(cè)試數(shù)據(jù)集分別占總數(shù)據(jù)量的70%、20%、10%。

2.1.2 數(shù)據(jù)預(yù)處理

本文提取肺結(jié)節(jié)的Mask圖像作為模型輸入，預(yù)處理過(guò)程如圖6所示：

圖6 數(shù)據(jù)預(yù)處理過(guò)程Fig.6 Data preprocessing

（1）從磁盤(pán)中加載數(shù)據(jù)。

（2）統(tǒng)一相鄰像素間距：LUNA16數(shù)據(jù)集具有可變性，數(shù)據(jù)集中不同的CT病例的切片尺寸不一定相同，因此在預(yù)處理階段首先要統(tǒng)一數(shù)據(jù)集中的CT病例的相鄰像素間距，增強(qiáng)數(shù)據(jù)間的各向同性。

（3）裁剪CT圖像中心部分并將其放大。

（4）歸一化處理，獲得CT影像對(duì)應(yīng)掩膜圖像。

2.1.3 數(shù)據(jù)增強(qiáng)

醫(yī)學(xué)圖像分割受到大量標(biāo)記訓(xùn)練數(shù)據(jù)的限制，數(shù)據(jù)擴(kuò)充有助于創(chuàng)建多樣化的訓(xùn)練數(shù)據(jù)集，從而防止模型過(guò)度擬合，提高網(wǎng)絡(luò)對(duì)訓(xùn)練集之外的數(shù)據(jù)的泛化能力。與深度學(xué)習(xí)的其他應(yīng)用領(lǐng)域相比，生物醫(yī)學(xué)領(lǐng)域帶有標(biāo)注的數(shù)據(jù)集相對(duì)較少。因此，數(shù)據(jù)擴(kuò)充對(duì)于提升神經(jīng)網(wǎng)絡(luò)的魯棒性至關(guān)重要。

本文對(duì)輸入圖像進(jìn)行隨機(jī)增加椒鹽噪聲、彈性形變、隨機(jī)剪切、縮放和旋轉(zhuǎn)等操作并進(jìn)行數(shù)據(jù)擴(kuò)充。同時(shí)，保持輸入圖像的大小不發(fā)生變化。通過(guò)在訓(xùn)練期間將這些小變換應(yīng)用于肺部CT圖像，有利于提高模型的魯棒性。

2.2 實(shí)驗(yàn)環(huán)境

Bi EFP-UNet網(wǎng)絡(luò)搭建的環(huán)境為Python3.6，Tensorflow深度學(xué)習(xí)框架，Windows 10操作系統(tǒng)，NVIDIA Quadro RTX 4000GPU，處理器Intel?Core?i7-9700 CPU@3.00 GHz×8，內(nèi)存32 GB。

2.3 評(píng)價(jià)標(biāo)準(zhǔn)

為了對(duì)分割效果進(jìn)行評(píng)估，本文采用的評(píng)價(jià)指標(biāo)是Dice相似系數(shù)[22]（Dice similarity coefficient，DSC），DSC是一種集合相似度度量指標(biāo)，用于計(jì)算兩個(gè)樣本的相似度，是醫(yī)學(xué)圖像中較為客觀的分割評(píng)價(jià)量化標(biāo)準(zhǔn)。取值范圍為0~1。DSC的計(jì)算公式如式（2）所示：

除此之外，敏感度（sensitivity，SEN）和陽(yáng)性預(yù)測(cè)值（positive predictive value，PPV）也被用作分割的輔助評(píng)價(jià)標(biāo)準(zhǔn)。敏感度指樣本被正確診斷為陽(yáng)性的概率，該值越大，漏診率越低。陽(yáng)性預(yù)測(cè)值指分割結(jié)果為陽(yáng)性的樣本屬于真實(shí)病例的概率。SEN和PPV的計(jì)算公式如式（3）、（4）所示：

其中，S代表分割結(jié)果，T為真實(shí)標(biāo)簽。

2.4 訓(xùn)練細(xì)節(jié)

訓(xùn)練時(shí)，Bi EFP-UNet以經(jīng)過(guò)預(yù)處理后的10張連續(xù)CT圖像作為一組輸入數(shù)據(jù)，使用MSRA[23]方法隨機(jī)初始化權(quán)值，采用Adam優(yōu)化器進(jìn)行優(yōu)化，采用10折交叉驗(yàn)證策略來(lái)評(píng)估該方法的性能，在訓(xùn)練和測(cè)試數(shù)據(jù)集中維持相近的數(shù)據(jù)分布情況，以避免由于數(shù)據(jù)不均衡而導(dǎo)致過(guò)分割和欠分割。

2.4.1 環(huán)境配置及相關(guān)訓(xùn)練參數(shù)設(shè)置

Bi EFP-Unet在Python3.6環(huán)境中，基于Tensorflowgpu2.1.0深度學(xué)習(xí)框架進(jìn)行訓(xùn)練，并在訓(xùn)練時(shí)使用CUDA 10.1進(jìn)行加速訓(xùn)練。在標(biāo)準(zhǔn)反向傳播更新中，初始學(xué)習(xí)率設(shè)置為0.000 1，每完成1個(gè)Epoch衰減5%，將批量大?。╞atch size）設(shè)為2，動(dòng)量（momentum）設(shè)為0.9。

2.4.2 訓(xùn)練迭代次數(shù)的選擇

訓(xùn)練迭代次數(shù)對(duì)訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)模型非常重要，因此，在訓(xùn)練時(shí)通過(guò)觀察訓(xùn)練集和驗(yàn)證集曲線的變化趨勢(shì)確定訓(xùn)練迭代次數(shù)，若訓(xùn)練過(guò)程中模型的性能沒(méi)有進(jìn)一步提高，那么模型訓(xùn)練將在額外的10個(gè)訓(xùn)練世代后自動(dòng)停止。

如圖7所示，當(dāng)Epoch=50時(shí)，網(wǎng)絡(luò)在驗(yàn)證集上的Dice相似系數(shù)值（DSC）和損失函數(shù)（Loss）曲線的變化趨于穩(wěn)定，因此，將訓(xùn)練迭代次數(shù)設(shè)置為50次。此外，為了讓網(wǎng)絡(luò)得到充分的訓(xùn)練，將每個(gè)Epoch的Step設(shè)置為500。

圖7 網(wǎng)絡(luò)訓(xùn)練和驗(yàn)證曲線Fig.7 Network training and verification curves

2.5 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證本文方法各部分的有效性，本文實(shí)現(xiàn)了U-Net（ReLU）（即原始U-Net）、U-Net（Mish）、Encoder（ReLU）+PANet（即原始U-Net網(wǎng)絡(luò)的編碼器結(jié)構(gòu)＋PANet）、Encoder（ReLU）+Bi-EFPN（即原始U-Net網(wǎng)絡(luò)的編碼器結(jié)構(gòu)+Bi-EFPN）、U-Net（ReLU）+PANet，以及Bi EFP-UNet（ReLU）（即本文提出的Bi EFP-UNet）七種網(wǎng)絡(luò)架構(gòu)的搭建。LUNA16數(shù)據(jù)集在上述網(wǎng)絡(luò)架構(gòu)下訓(xùn)練的曲線如圖8所示。訓(xùn)練的DSC、SEN、PPV結(jié)果如表3所示。

圖8 七種網(wǎng)絡(luò)訓(xùn)練的DSC曲線Fig.8 DSC curves of seven networks training

在表3中，為驗(yàn)證Bi-EFPN結(jié)構(gòu)的有效性，進(jìn)行了一系列對(duì)比實(shí)驗(yàn)。一方面，“Encoder（ReLU）+Bi-EFPN”的DSC達(dá)到了84.72%，與原始U-Net相比，DSC提升了近2.86個(gè)百分點(diǎn)，與“Encoder（ReLU）+PANet”相比，DSC提升了0.8個(gè)百分點(diǎn)；另一方面，“Bi EFP-UNet（ReLU）”的DSC達(dá)到了87.11%，與原始U-Net相比，DSC提升了5.25個(gè)百分點(diǎn)，與“U-Net（ReLU）+PANet”相比，DSC提升了0.9個(gè)百分點(diǎn)。因此可以推斷，在原始U-Net網(wǎng)絡(luò)壓縮路徑和擴(kuò)展路徑之間加入Bi-EFPN是有效的，并且，Bi-EFPN相較PANet性能更好。

表3 七種網(wǎng)絡(luò)的訓(xùn)練結(jié)果Table 3 Evaluation indexes of seven networks單位：%

同理，為驗(yàn)證Mish激活函數(shù)的有效性，本文對(duì)比了“U-Net（Mish）”與原始U-Net、“Bi EFP-UNet（Mish）”與“Bi EFP-UNet（ReLU）”兩組實(shí)驗(yàn)的DSC，由表3中的數(shù)據(jù)可見(jiàn)，Mish激活函數(shù)帶來(lái)的提升為1.21個(gè)百分點(diǎn)。由此可見(jiàn)，Mish激活函數(shù)在Bi EFP-UNet網(wǎng)絡(luò)中是有效的。

已知進(jìn)行LUNA16數(shù)據(jù)標(biāo)注的4名放射科醫(yī)生的DSC為82.25%，而本算法訓(xùn)練的DSC可達(dá)88.32%，可見(jiàn)，Bi EFP-Unet網(wǎng)絡(luò)在LUNA16數(shù)據(jù)集上的分割效果明顯優(yōu)于4名醫(yī)生最終標(biāo)注的效果。

2.6 實(shí)驗(yàn)結(jié)果展示

如圖9所示，為了能直觀地觀察2.5節(jié)中提到的七種網(wǎng)絡(luò)的分割效果，隨機(jī)選取了測(cè)試集中的四張CT圖像進(jìn)行展示，并給出七種網(wǎng)絡(luò)下的測(cè)試結(jié)果。

圖9 七種網(wǎng)絡(luò)架構(gòu)的分割效果對(duì)比Fig.9 Segmentation effects of seven networks

輸出圖像與輸入圖像的像素大小一致，輸出圖像的黑色部分表示非結(jié)節(jié)部分，白色部分表示分割出的肺結(jié)節(jié)的形狀和位置。為突出不同算法的分割效果，在各輸出圖像下方的紅色框內(nèi)展示了放大6倍后的肺結(jié)節(jié)的分割圖像，像素大小為64×64?？梢?jiàn)，原始U-Net網(wǎng)絡(luò)對(duì)肺結(jié)節(jié)的分割性能較差，尤其當(dāng)肺結(jié)節(jié)較小或靠近血管等肺組織時(shí)，分割結(jié)果容易攜帶其他肺組織，與金標(biāo)準(zhǔn)差距較大；U-Net（ReLU）+PANet網(wǎng)絡(luò)的分割效果雖然優(yōu)于原始U-Net網(wǎng)絡(luò)，但分割出的肺結(jié)節(jié)邊緣模糊；而B(niǎo)i EFP-UNet網(wǎng)絡(luò)能很好地分割出結(jié)節(jié)的形狀和位置，尤其是在分割近血管結(jié)節(jié)時(shí)或者微小結(jié)節(jié)時(shí)，相較其他幾種網(wǎng)絡(luò)，該網(wǎng)絡(luò)依然能保持良好的分割性能，分割效果與金標(biāo)準(zhǔn)更接近。

3 結(jié)束語(yǔ)

針對(duì)目前肺結(jié)節(jié)分割中小結(jié)節(jié)容易丟失的問(wèn)題，提出了 Bi EFP-UNet網(wǎng)絡(luò)結(jié)構(gòu)。在 U-Net的上采樣過(guò)程中，用邊緣填充操作代替裁剪操作，在不增加計(jì)算量的同時(shí)將每次下采樣之前的特征信息完整的和上采樣之后的特征圖融合，保持輸出圖像與輸入圖像的像素一致；將雙向增強(qiáng)型特征融合結(jié)構(gòu)引入原始U-Net網(wǎng)絡(luò)，在網(wǎng)絡(luò)訓(xùn)練過(guò)程中加強(qiáng)不同層級(jí)特征之間的聯(lián)系，提高U-Net 主干結(jié)構(gòu)對(duì)肺結(jié)節(jié)各層次的特征的利用率；將Mish激活函數(shù)引入Bi EFP-UNet網(wǎng)絡(luò)，減少網(wǎng)絡(luò)訓(xùn)練過(guò)程中信息傳遞的時(shí)間，提高網(wǎng)絡(luò)的分割效率。本文工作是持續(xù)性的，今后的研究重點(diǎn)將放在利用相鄰肺部切片中肺結(jié)節(jié)的像素聯(lián)系提高分割的性能。