基于全卷積神經(jīng)網(wǎng)絡(luò)的左心室圖像分割方法

謝文鑫 苑金輝 胡曉飛

摘 要：針對(duì)左心室在心臟圖像中面積較小，且存在樣本數(shù)量不平衡等問(wèn)題，將一種基于Tversky系數(shù)的損失函數(shù)應(yīng)用于心臟左心室分割模型訓(xùn)練。在分割模型中加入注意力模塊，當(dāng)?shù)蛯犹卣飨蚋邔犹卣鱾鬟f圖像語(yǔ)義信息時(shí)，抑制低層特征圖中與分割目標(biāo)不相關(guān)區(qū)域，減少這些區(qū)域?qū)Ψ指罱Y(jié)果的干擾。將以上兩種方法結(jié)合應(yīng)用到多輸入多輸出的全卷積神經(jīng)網(wǎng)絡(luò)中，獲得心臟左心室圖像分割結(jié)果。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的算法在原有基礎(chǔ)上Dice系數(shù)提高了3.3%，召回率提高了4.8%。

關(guān)鍵詞：全卷積神經(jīng)網(wǎng)絡(luò);圖像分割;損失函數(shù);全卷積神經(jīng)網(wǎng)絡(luò)

DOI：10. 11907/rjdk. 192069 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP301文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2020）005-0019-04

0 引言

心血管疾病是人類死亡的主要原因，平均每年有1 730萬(wàn)人因患心血管疾病死亡，預(yù)計(jì)到2030年這一數(shù)字將增加到2 360萬(wàn)人以上[1]。而在中國(guó)，心血管疾病負(fù)擔(dān)日漸加重，已成為重大的公共衛(wèi)生問(wèn)題[2]。其中，冠心病主要涉及心臟左心室區(qū)域，通過(guò)左心室分割圖像估計(jì)左心室功能參數(shù)將有助于醫(yī)生診斷病情。由于醫(yī)生手工分割左心室需要耗費(fèi)大量人力和精力，利用算法自動(dòng)分割左心室區(qū)域?qū)⒋蟠筇岣哚t(yī)生工作效率。

值得注意的是，左心室分割算法面臨一系列挑戰(zhàn)[3-5]。例如，在采集過(guò)程中引起的偽像和光照變化、不同患者的左心室在形狀和外觀方面存在差異等都會(huì)影響圖像分割。更重要的是，左心室在心臟圖像中所占區(qū)域比例很小，非左心室區(qū)域?qū)ψ笮氖曳指钜苍斐闪撕艽笥绊?。而傳統(tǒng)基于圖割的方法[6-7]、基于水平集的方法[8-9]、基于概率模型的方法[10]往往分割準(zhǔn)確率不高或需要人工干預(yù)，難以應(yīng)用于實(shí)踐。

近年來(lái)，深度學(xué)習(xí)已經(jīng)在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等領(lǐng)域迅速發(fā)展，有學(xué)者[11-12]將深度學(xué)習(xí)方法應(yīng)用于心臟左心室分割方法相關(guān)研究中。齊林等[13]將遷移學(xué)習(xí)應(yīng)用于全卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，利用已在自然圖像中訓(xùn)練好的模型，對(duì)模型中的參數(shù)進(jìn)行微調(diào)，取得了較好的左心室內(nèi)膜分割結(jié)果;Avendi等[14]利用卷積神經(jīng)網(wǎng)絡(luò)從心臟圖像中定位出心臟左心室區(qū)域，然后利用棧式自編碼算法模型勾勒出左心室初始形狀，在此基礎(chǔ)上，經(jīng)過(guò)可變模型分割出最終結(jié)果;Alexandre等[15]對(duì)上述分割方法進(jìn)行了更加深入的研究與探討，試圖通過(guò)調(diào)節(jié)CNN中的參數(shù)獲得更好的分割效果。實(shí)驗(yàn)表明，在其它方法不變的情況下，更深的網(wǎng)絡(luò)結(jié)構(gòu)可在一定程度上改善分割效果。雖然上述模型對(duì)心臟左心室的分割都表現(xiàn)出較好性能，但仍然存在以下兩個(gè)問(wèn)題：①額外使用模型對(duì)分目標(biāo)進(jìn)行感興趣區(qū)域提取，增加了計(jì)算復(fù)雜度，也造成計(jì)算資源浪費(fèi);②由于分割目標(biāo)較小，沒(méi)有采用有效的算法解決分割圖像中樣本不平衡問(wèn)題。本文在心臟左心室分割模型中引入注意力模塊，注意力模塊將抑制與分割目標(biāo)不相關(guān)區(qū)域，達(dá)到感興趣區(qū)域提取效果。同時(shí)，引入一種基于Tversky系數(shù)的損失函數(shù)，解決左心室目標(biāo)區(qū)域太小時(shí)樣本不平衡問(wèn)題。

1 算法理論

1.1 基于Tversky 系數(shù)的損失函數(shù)

由于在整個(gè)心臟圖像中，左心室面積占比很小，而圖像分割的任務(wù)就是對(duì)圖像中的每個(gè)像素點(diǎn)進(jìn)行分類，目標(biāo)區(qū)域和背景區(qū)域面積差別過(guò)大，將導(dǎo)致目標(biāo)分割更加困難。Salehi等[16]提出基于Tversky系數(shù)的損失函數(shù)，通過(guò)調(diào)節(jié)損失函數(shù)中假負(fù)類和假正類的權(quán)重參數(shù)，解決小目標(biāo)圖像分割任務(wù)中樣本不平衡問(wèn)題。基于Tversky 系數(shù)的損失函數(shù)如式（1）所示。

其中，TIc（Tversky Index）代表分割結(jié)果與標(biāo)準(zhǔn)分割圖像之間的Tversky系數(shù)，范圍為0～1。TIc的值越接近1，表示分割結(jié)果和標(biāo)準(zhǔn)分割圖像之間相似度越高;相反，越接近0則表示相似度越低。其中，pic代表像素點(diǎn)i預(yù)測(cè)為c類的概率，gic代表標(biāo)準(zhǔn)分割圖像中像素i對(duì)應(yīng)的值。在本文二分類問(wèn)題中，gic只有兩種取值，0或者1。0表示該像素點(diǎn)為背景，1代表該像素點(diǎn)為目標(biāo)。[pic]表示像素點(diǎn)i不屬于c類的概率，[gic]表示在標(biāo)準(zhǔn)分割圖像中像素i對(duì)應(yīng)1-gic的值，N代表一張圖像中像素點(diǎn)的總個(gè)數(shù)。α和β為權(quán)重參數(shù)，α+β=1。式（2）為本文采用的基于Tversky系數(shù)的損失函數(shù)，通過(guò)計(jì)算式（1）中的Tversky 系數(shù)，從而得到網(wǎng)絡(luò)分割結(jié)果與標(biāo)準(zhǔn)分割圖像的損失值。

在分類問(wèn)題中，將實(shí)例分為正例和負(fù)例兩部分，將正例預(yù)測(cè)成為正例，稱之為真正類（TP，True Positive），將負(fù)例預(yù)測(cè)成為正例，稱為假正類（FP，F(xiàn)alse Positive）。與此相反，將負(fù)例預(yù)測(cè)為負(fù)例，稱之為真負(fù)類（TN，Ture Negitave），將正例預(yù)測(cè)為負(fù)例，稱之為假負(fù)類（FN，F(xiàn)alse Negative）。

α和β設(shè)置為0.5時(shí)，Tversky 系數(shù)和Dice系數(shù)相等，此時(shí)假正類和假負(fù)類在相等數(shù)量上對(duì)損失函數(shù)的貢獻(xiàn)相同，而在左心室分割任務(wù)中，左心室區(qū)域的像素點(diǎn)數(shù)量明顯小于非左心室區(qū)域的像素點(diǎn)數(shù)量。相同的權(quán)重參數(shù)將無(wú)法解決分割圖像中樣本不平衡問(wèn)題。設(shè)置更大的β值將使預(yù)測(cè)結(jié)果中假負(fù)類相比于假正類對(duì)損失值貢獻(xiàn)更大，使分割結(jié)果傾向于假負(fù)類較少的結(jié)果，從而提升召回率。同樣，如果設(shè)置更大的α值，分割結(jié)果將會(huì)傾向于假正類較少的結(jié)果，從而提升精確度。

1.2 注意力模型

傳統(tǒng)U-net模型在特征圖擴(kuò)張路徑和特征圖收縮路徑之間引入了跳躍連接，使得在特征圖反卷積過(guò)程中擁有了更加豐富的語(yǔ)義信息。但是將低層特征圖信息毫無(wú)保留地傳遞給高層特征圖，其中存在著信息冗余，將分割目標(biāo)不相關(guān)區(qū)域傳遞給擴(kuò)張網(wǎng)絡(luò)將會(huì)影響輸出結(jié)果的準(zhǔn)確性。Oktay等[17]提出在跳躍連接過(guò)程中加入注意力模塊，能夠抑制與分割目標(biāo)不相關(guān)區(qū)域，減少冗余信息。注意力模塊定義為：

如圖1所示，兩個(gè)輸入xl和gi分別代表本層的特征圖輸入與高層次上下文信息提供的門(mén)信號(hào)，分別經(jīng)過(guò)1×1的卷積操作后，將特征圖相加，經(jīng)過(guò)Relu激活函數(shù)激活得到新值后，再依次進(jìn)行1×1卷積，通過(guò)Sigmoid函數(shù)激活、上采樣，得到每個(gè)像素點(diǎn)中取值范圍0～1的加權(quán)值[αil]。具體計(jì)算過(guò)程見(jiàn)式（3）和式（4），Wx、Wg、ψ代表線性轉(zhuǎn)換參數(shù)，[bg]和[bψ]代表偏置值，[σ1]、[σ2]分別代表Relu激活函數(shù)和Sigmoid激活函數(shù)。在圖1中將得到的加權(quán)值與本層特征圖xl相應(yīng)的像素點(diǎn)相乘后，得到最后輸出[xl]。[xl]與[xl]相比，對(duì)左心室不相關(guān)區(qū)域的抑制，使輸出層分割結(jié)果更加精確。

1.3 圖像分割全卷積神經(jīng)網(wǎng)絡(luò)模型

1.3.1 全卷積神經(jīng)網(wǎng)絡(luò)

Ronneberger等[18]提出了一種全卷積神經(jīng)網(wǎng)絡(luò)U-net，該網(wǎng)絡(luò)分為收縮網(wǎng)絡(luò)和擴(kuò)張網(wǎng)絡(luò)兩部分。收縮網(wǎng)絡(luò)中每層由2個(gè)3×3的卷積層和1個(gè)2×2的池化層組成，每次池化操作后，通道數(shù)都增加為原來(lái)的2倍。擴(kuò)張網(wǎng)絡(luò)與收縮網(wǎng)絡(luò)每層相對(duì)應(yīng)，形成一個(gè)U型網(wǎng)絡(luò)結(jié)構(gòu)，擴(kuò)張網(wǎng)絡(luò)每層包含2個(gè)3×3的卷積層以進(jìn)一步提取特征、一個(gè)2×2的反卷積層對(duì)圖像進(jìn)行上采樣。U-net在收縮網(wǎng)絡(luò)和擴(kuò)張網(wǎng)絡(luò)之間加入了跳躍連接，可以對(duì)擴(kuò)張網(wǎng)絡(luò)中反卷積后缺失的空間信息作一定補(bǔ)充。在U-net的輸出層，通過(guò)Softmax函數(shù)輸出與原始圖像大小相同的概率圖。

1.3.2 全卷積神經(jīng)網(wǎng)絡(luò)改進(jìn)

本文模型框架結(jié)構(gòu)如圖2所示。與U-Net網(wǎng)絡(luò)類似，左側(cè)稱為特征圖收縮網(wǎng)絡(luò)，右側(cè)稱為特征圖擴(kuò)張網(wǎng)絡(luò)。特征圖收縮網(wǎng)絡(luò)每層主要由2個(gè)3×3的卷積層和一個(gè)2×2的池化層組成。在Relu函數(shù)對(duì)卷積操作的結(jié)果進(jìn)行激活前，先通過(guò)批量歸一化（Batch Normarion，BN）[19]對(duì)特征值作歸一化處理，從而加快網(wǎng)絡(luò)收斂速度，預(yù)防網(wǎng)絡(luò)過(guò)擬合。經(jīng)過(guò)池化層后，特征圖的尺寸降為原來(lái)的1/2。圖2中，特征圖收縮網(wǎng)絡(luò)自上而下由第一層輸入原始尺寸圖像，第二到第四層輸入上一層1/2大小的圖像，并與上一層最大池化后的特征圖進(jìn)行合并，減少由于池化操作造成的空間細(xì)節(jié)丟失。

特征圖擴(kuò)張網(wǎng)絡(luò)的每層都與收縮網(wǎng)絡(luò)相對(duì)應(yīng)。自下而上第一到第三層基本結(jié)構(gòu)主要有來(lái)自注意力模塊（Attention Gate，AG）的輸出與上一層網(wǎng)絡(luò)輸出合并、兩個(gè)相同3×3的卷積、批量歸一化、Relu函數(shù)激活，最后經(jīng)過(guò)1×1的卷積后采用Sigmoid激活函數(shù)輸出圖像分割概率圖。同時(shí)將合并的圖像特征上采樣后傳遞給下一層網(wǎng)絡(luò)。特征圖擴(kuò)張網(wǎng)絡(luò)的第四層直接將特征圖收縮網(wǎng)絡(luò)的第一層輸出與特征圖擴(kuò)張網(wǎng)絡(luò)的第三層上采樣結(jié)果合并后，經(jīng)過(guò)兩個(gè)相同的3×3卷積、批量歸一化、Relu函數(shù)激活、1×1卷積后通過(guò)Sigmoid激活函數(shù)輸出圖像分割結(jié)果。

相比于原始U-net分割網(wǎng)絡(luò)，本文設(shè)計(jì)的網(wǎng)絡(luò)加入了多種尺度的輸入圖像，為特征圖收縮網(wǎng)絡(luò)的特征提取提供了更加豐富的空間細(xì)節(jié)，使得網(wǎng)絡(luò)能夠精準(zhǔn)地分割出左心室的位置。右側(cè)的特征圖擴(kuò)張網(wǎng)絡(luò)提供了不同尺度的標(biāo)準(zhǔn)分割圖像，監(jiān)督網(wǎng)絡(luò)訓(xùn)練結(jié)果。在跳躍連接中加入了注意力模塊，抑制了從收縮網(wǎng)絡(luò)傳遞過(guò)來(lái)的特征圖中與分割目標(biāo)不相關(guān)區(qū)域，使得擴(kuò)張網(wǎng)絡(luò)在預(yù)測(cè)分割結(jié)果時(shí)能夠較少地受到與分割目標(biāo)不相關(guān)區(qū)域的影響，提高分割準(zhǔn)確性。

2 實(shí)驗(yàn)結(jié)果

2.1 實(shí)驗(yàn)數(shù)據(jù)

圖像數(shù)據(jù)來(lái)自Sunnybrook[20]公共數(shù)據(jù)集。該數(shù)據(jù)集為心臟核磁共振圖像，圖像大小為256×256像素，在病人10～15s的呼吸過(guò)程中獲得。該數(shù)據(jù)集分為4組不同的形態(tài)：心力衰竭梗塞、心肌梗死、左心室肥厚和健康。該數(shù)據(jù)庫(kù)最初用于心臟左心室分割，數(shù)據(jù)分為3個(gè)部分：訓(xùn)練集402張圖片、驗(yàn)證集202張圖片和測(cè)試集201張圖片。實(shí)驗(yàn)中的標(biāo)準(zhǔn)分割圖片由經(jīng)驗(yàn)豐富的心臟病專家繪制，對(duì)輸入進(jìn)來(lái)的圖片通過(guò)計(jì)算輸入矩陣的均值和方差，對(duì)數(shù)據(jù)進(jìn)行歸一化操作，提升訓(xùn)練速度。

2.2 實(shí)驗(yàn)環(huán)境與網(wǎng)絡(luò)參數(shù)

采用后端為T(mén)ensorflow的Keras深度學(xué)習(xí)框架在英偉達(dá)1060 6G的GPU上進(jìn)行實(shí)驗(yàn)。訓(xùn)練中將SGD作為優(yōu)化函數(shù)，動(dòng)量設(shè)置為0.9，初始學(xué)習(xí)率為0.01，每當(dāng)整個(gè)訓(xùn)練集圖像完成一輪訓(xùn)練后，學(xué)習(xí)率降低為原來(lái)的10-6。采用高斯分布方式設(shè)置神經(jīng)網(wǎng)絡(luò)初始權(quán)重參數(shù)。損失函數(shù)采用基于Tversky 系數(shù)的損失函數(shù)，Tversky 系數(shù)的超參數(shù)α設(shè)置為0.3，β設(shè)置為0.7。

2.3 實(shí)驗(yàn)結(jié)果與分析

測(cè)試集分割結(jié)果示例圖像如圖3所示，第一行為測(cè)試集中待分割的心臟MRI圖像，第二行為本文算法分割結(jié)果，最后一行為標(biāo)準(zhǔn)左心室分割圖像。將本文算法分割結(jié)果圖像與標(biāo)準(zhǔn)分割圖像對(duì)比可以看出，對(duì)于不同大小的左心室，本文算法能較為準(zhǔn)確地從心臟MRI圖像中分割出左心室。

為了進(jìn)一步定量評(píng)價(jià)本文算法性能，采用Dice系數(shù)（Dice Coefficient）、召回率（Recall）、精確率（Precision）3個(gè)指標(biāo)對(duì)模型進(jìn)行評(píng)價(jià)。實(shí)驗(yàn)中分別將本文算法與其它3種算法進(jìn)行比較：使用Dice Loss[21]（DL）作為損失函數(shù)的U-net網(wǎng)絡(luò)，基于超參數(shù)α為0.3、β為 0.7 的Tversky Loss（TL）作為損失函數(shù)的U-net網(wǎng)絡(luò)，加入注意力模塊、損失函數(shù)實(shí)驗(yàn)Dice Loss的Attn U-net網(wǎng)絡(luò)，結(jié)果如表1所示。

本文將U-net模型、損失函數(shù)采用基于Dice系數(shù)的損失函數(shù)作為比較基線。由表1可以看出，采用基于Tversky系數(shù)的損失函數(shù)代替基于Dice系數(shù)的損失函數(shù)方法與加入注意力模塊的方法在3個(gè)評(píng)價(jià)指標(biāo)中均有所提高。而本文方法在結(jié)合上述方法優(yōu)點(diǎn)的基礎(chǔ)上，加入了多尺度輸入圖像，同時(shí)采用多尺度的標(biāo)準(zhǔn)分割圖像對(duì)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果進(jìn)行監(jiān)督。實(shí)驗(yàn)表明，本文算法在4種算法中Dice系數(shù)和Recall值中均取得最高值。其中，相比基于Dice Loss作為損失函數(shù)的U-net網(wǎng)絡(luò)，Dice系數(shù)提高了3.3%，Recall值提高了4.8%，說(shuō)明將注意力模塊和基于Tversky系數(shù)的損失函數(shù)加入心臟左心室圖像分割能夠顯著提升分割準(zhǔn)確率。