改進(jìn)的V-C-Net卷積神經(jīng)網(wǎng)絡(luò)腦腫瘤圖像多層次分割實(shí)驗(yàn)

莫修源，吳麗麗，陸志翔

(1.甘肅農(nóng)業(yè)大學(xué)理學(xué)院，甘肅 蘭州 730000；2.信息科學(xué)技術(shù)學(xué)院，甘肅 蘭州 730000；3.中國科學(xué)院西北生態(tài)環(huán)境資源研究院中國科學(xué)院內(nèi)陸河流域生態(tài)水文重點(diǎn)實(shí)驗(yàn)室，甘肅 蘭州 730000)

1 引言(Introduction)

腦膠質(zhì)瘤的產(chǎn)生是大腦和脊髓膠質(zhì)細(xì)胞發(fā)生癌變引起的，是一種常見的原發(fā)性顱腦腫瘤，近年來在我國的發(fā)病率不斷升高[1]。腦核磁共振圖像是對(duì)腦膠質(zhì)瘤的常用觀察方式[2]，隨著醫(yī)學(xué)成像技術(shù)的快速發(fā)展，借助算法客觀地分析腦腫瘤圖像，已經(jīng)成為現(xiàn)代醫(yī)學(xué)研究的關(guān)鍵問題。

腦核磁共振圖像相對(duì)于常規(guī)圖像，其邊界分割較為困難主要源于存在容積效應(yīng)、高噪聲、低對(duì)比度及遮擋等問題，并且腦核磁共振圖像中通常含有較高比例的不規(guī)則小區(qū)塊分割目標(biāo)，相對(duì)于大尺度分割目標(biāo)，小尺度區(qū)塊目標(biāo)具有成像體積小、細(xì)節(jié)特征缺失等特點(diǎn)，所以針對(duì)小尺度區(qū)塊分割的精確度往往會(huì)偏低。近年來，學(xué)者嘗試從多個(gè)角度解決小尺度目標(biāo)分割難的問題，本文針對(duì)V-Net模型[3]進(jìn)行改進(jìn)，提出通過改進(jìn)的聯(lián)合損失函數(shù)提升網(wǎng)絡(luò)模型對(duì)病變點(diǎn)的分割效率，同時(shí)試圖通過添加時(shí)間與空間的雙注意力機(jī)制解決腦腫瘤邊界分割困難的問題，最終得到一個(gè)對(duì)腦腫瘤分割性能更優(yōu)的神經(jīng)網(wǎng)絡(luò)模型。

2 實(shí)驗(yàn)方法(Experimental method)

2.1 圖像分割模型改進(jìn)

如圖1所示，本文所改進(jìn)的基礎(chǔ)網(wǎng)絡(luò)模型為V-Net模型，該模型常應(yīng)用于3D醫(yī)學(xué)圖像的分割實(shí)驗(yàn)，有編碼和解碼兩條對(duì)稱的路徑，編碼器由卷積層、池化層及殘差鏈接構(gòu)成，對(duì)輸入的圖像進(jìn)行壓縮，采用下采樣的操作，解碼器通過對(duì)圖像的反卷積恢復(fù)圖像的大小，并實(shí)現(xiàn)像素點(diǎn)級(jí)別的分割[4]。同時(shí)，該模型通過編碼和解碼部分的特征融合結(jié)構(gòu)把淺層語義特征和深層語義特征相結(jié)合，使模型加強(qiáng)對(duì)圖像的細(xì)節(jié)特征提取，實(shí)現(xiàn)像素到像素的分割效果。

圖1 改進(jìn)的V-C-NET模型結(jié)構(gòu)示意圖Fig.1 Structure diagram of improved V-C-NET model

卷積神經(jīng)網(wǎng)絡(luò)在對(duì)圖像數(shù)據(jù)的通道特征學(xué)習(xí)過程中，卷積核計(jì)算通道的局部感受野[5]忽視了特征圖的前后層連接信息，在感受野較小的情況下，網(wǎng)絡(luò)丟失信息嚴(yán)重。注意力機(jī)制可以增大模型的感受野，同時(shí)豐富信息的結(jié)合，為了使網(wǎng)絡(luò)更加關(guān)注腦腫瘤圖像病變部分的特征，在編碼器和解碼器交接位置添加了聯(lián)合注意力模塊，減少網(wǎng)絡(luò)模型關(guān)注與腦腫瘤分割無關(guān)的信息，加強(qiáng)對(duì)腦腫瘤微小特征的關(guān)注程度，最終增強(qiáng)模型對(duì)圖像有效特征的提取效果，實(shí)現(xiàn)對(duì)腦腫瘤圖像更精準(zhǔn)的分割。

2.1.1 模型下采樣與上采樣編碼模塊

首先輸入大小為128×128×64的圖像塊，通過一個(gè)大小為5*5*5的卷積核進(jìn)行卷積操作，并設(shè)置步長為1，填充Padding為2的填充操作使通過卷積層后圖像的大小不變，得到通道數(shù)為16的特征圖，然后通過一次殘差連接融合特征，融合特征后使用大小為2*2*2的卷積核、步長為2的卷積操作聚合圖像特征，使特征圖的大小壓縮為原來的一半。之后，重復(fù)下采樣過程直至得到大小為8×8×4、通道數(shù)為256的特征圖。

在解碼部分，對(duì)壓縮路徑得到的結(jié)果進(jìn)行一次反卷積處理，使特征圖大小變?yōu)?6×16×8、通道數(shù)變?yōu)?28通道，然后將其與壓縮路徑中經(jīng)過殘差連接后大小為16×16×8、通道數(shù)為128的特征圖進(jìn)行拼接，得到大小不變，通道數(shù)為256的特征圖，之后將拼接后的特征圖經(jīng)過三次卷積和一次殘差鏈接操作完成上采樣過程。重復(fù)上采樣過程直至得到大小為128×128×64、通道數(shù)為32的特征圖，之后通過一個(gè)1*1*1的卷積核卷積處理減少通道數(shù)，得到通道數(shù)為3的大小不變的特征圖完成圖像分割。

2.1.2 注意力機(jī)制模塊

注意力機(jī)制是通過網(wǎng)絡(luò)訓(xùn)練計(jì)算輸入數(shù)據(jù)對(duì)輸出的分割結(jié)果的權(quán)重大小，計(jì)算圖像各個(gè)子區(qū)域被關(guān)注的程度高低，通過賦予各個(gè)區(qū)域或者通道不同的權(quán)重，從而增加受關(guān)注區(qū)域的顯著特征。

通道注意力機(jī)制[6]對(duì)網(wǎng)絡(luò)輸入的特征層，分別進(jìn)行一次全局平均池化和全局最大池化的操作來生成兩個(gè)特征向量，并對(duì)經(jīng)過池化操作后的兩個(gè)特征向量矩陣，利用共享的全連接層處理，學(xué)習(xí)通道維度的特征和各通道的重要性，將經(jīng)過全連接處理后的兩個(gè)特征向量矩陣相加，用sigmoid激活函數(shù)激活，便獲得了輸入特征層每一個(gè)通道的權(quán)值矩陣，然后將原輸入特征層與權(quán)值矩陣相乘，就得到了添加通道注意力權(quán)重的特征層，如圖2所示。

圖2 通道注意力機(jī)制Fig.2 Channel attention mechanism

空間注意力機(jī)制[7]對(duì)輸入的特征層，在每一個(gè)特征點(diǎn)的通道上取最大值和平均值，之后將獲得兩個(gè)結(jié)果進(jìn)行堆疊操作，并通過大小為1*1*1的卷積核卷積操作調(diào)整通道數(shù)為1，之后通過sigmoid激活函數(shù)激活，便獲得了輸入特征層每一個(gè)特征點(diǎn)的權(quán)值矩陣。同樣，將這個(gè)權(quán)值矩陣與原輸入特征層相乘，就得到了添加空間注意力權(quán)重的特征層，如圖3所示。

圖3 空間注意力機(jī)制Fig.3 Spatial attention mechanism

如圖4所示在V-Net模型下采樣編碼與上采樣編碼部分添加CBAM混合注意力機(jī)制[8]，就是將通道注意力機(jī)制和空間注意力機(jī)制相結(jié)合，對(duì)輸入的特征層先添加通道注意力機(jī)制后再添加空間注意力機(jī)制。腦腫瘤圖像是灰度圖，通道間的灰度值區(qū)分度較小、灰度不均勻、對(duì)比度低及邊界模糊，因此需要多方面考慮空間信息和通道信息，從而有效彌補(bǔ)網(wǎng)絡(luò)對(duì)圖像特征提取不充分的缺點(diǎn)。通過對(duì)模型添加CBAM混合注意力機(jī)制賦予中間特征圖不同的權(quán)重，充分利用有效信息的同時(shí)抑制無用信息，最終使特征圖中有效的區(qū)域權(quán)重增加，無效的區(qū)域權(quán)重變小，有效提高了模型分割的精度。

圖4 CBAM混合注意力機(jī)制Fig.4 CBAM attentional mechanism

2.2 損失函數(shù)的改進(jìn)

損失函數(shù)是影響網(wǎng)絡(luò)分割性能的重要因素，是用來優(yōu)化預(yù)測值和標(biāo)準(zhǔn)值的誤差函數(shù)，通過反向傳播到先前的神經(jīng)網(wǎng)絡(luò)層，用來更新和優(yōu)化模型的權(quán)重參數(shù)[9]。通過聯(lián)合分割任務(wù)中常用的三種損失函數(shù)，使改進(jìn)的損失函數(shù)與網(wǎng)絡(luò)訓(xùn)練次數(shù)相聯(lián)系，提升腦腫瘤圖像分割的精度。

2.2.1 基于區(qū)域和目標(biāo)距離的損失函數(shù)

交叉熵?fù)p失函數(shù)是基于區(qū)域計(jì)算的損失函數(shù)[10]，該損失函數(shù)會(huì)檢查圖像中每個(gè)像素點(diǎn)，通過對(duì)比網(wǎng)絡(luò)輸出與標(biāo)簽真實(shí)值的差距計(jì)算損失，本文用來計(jì)算三維數(shù)據(jù)的損失，交叉熵?fù)p失函數(shù)如式(1)所示：

式(1)中，p表示網(wǎng)絡(luò)預(yù)測的圖像中某像素屬于分割目標(biāo)的概率，g表示該像素點(diǎn)的標(biāo)簽真實(shí)值。

Dice系數(shù)[11]是一種傳統(tǒng)的用于評(píng)估分割性能的度量指標(biāo)其原理是基于區(qū)域計(jì)算的損失函數(shù)，用來評(píng)估圖像標(biāo)簽真實(shí)值和預(yù)測圖像之間的擬合度，也是一種像素級(jí)的測量，其范圍在0—1，當(dāng)Dice系數(shù)等于1表示完美重合。Dice損失函數(shù)如式(2)所示。

BD損失函數(shù)[12]是一種計(jì)算目標(biāo)距離的損失函數(shù)，通過區(qū)域積分的方式計(jì)算預(yù)測結(jié)果與標(biāo)簽邊界之間的距離，如式(3)所示。

其中，G表示圖像真實(shí)標(biāo)簽的邊界，邊界上的點(diǎn)與預(yù)測邊界上的點(diǎn)相對(duì)應(yīng)。

2.2.2 改進(jìn)的混合損失函數(shù)

交叉熵?fù)p失能提高圖像分割的精度，保證腦腫瘤區(qū)域和背景均勻分割，Dice損失函數(shù)計(jì)算損失時(shí)忽略了圖像背景，可以有效地對(duì)目標(biāo)區(qū)域計(jì)算損失，BD損失函數(shù)計(jì)算的是輪廓空間的距離，關(guān)注預(yù)測分割結(jié)果和標(biāo)簽圖像之間的區(qū)域，訓(xùn)練過程中不斷減小邊界部分的分割錯(cuò)誤。將交叉熵和Dice損失這種基于區(qū)域的損失函數(shù)與BD損失這種基于目標(biāo)距離的損失函數(shù)結(jié)合，能夠很好地解決分割任務(wù)中前景與背景不均衡導(dǎo)致的問題，重要的是基于距離的損失函數(shù)解決了基于區(qū)域的損失函數(shù)在樣本不均衡狀況下發(fā)揮不穩(wěn)定的問題，區(qū)域損失函數(shù)能讓訓(xùn)練過程更加穩(wěn)定，能夠有效分割腦腫瘤這類小樣本。本文試圖通過混合的損失函數(shù)把三種損失函數(shù)的優(yōu)勢(shì)相結(jié)合。改進(jìn)的混合損失函數(shù)如式(4)所示：

其中，α作為超參數(shù)控制三種損失函數(shù)在聯(lián)合損失函數(shù)中的權(quán)重，通過在實(shí)驗(yàn)過程中根據(jù)實(shí)驗(yàn)結(jié)果好壞得出，隨著訓(xùn)練次數(shù)的增加應(yīng)逐步提高BD損失函數(shù)在混合損失函數(shù)中的比重，進(jìn)而有效提高目標(biāo)邊界的分割效果，我們制定了超參數(shù)α調(diào)整表，見表1。

表1 超參數(shù)調(diào)整表Tab.1 Adjustment table of super-parameter

三種損失函數(shù)的結(jié)合彌補(bǔ)了各自的不足，可以最大化不同損失函數(shù)在訓(xùn)練中的作用，有效解決了腦腫瘤圖像分割中目標(biāo)的像素比例小且分割目標(biāo)有重疊和嵌套的問題，通過改進(jìn)的聯(lián)合損失函數(shù)使網(wǎng)絡(luò)更關(guān)注較小的病變區(qū)域，并在保留圖像所有信息的情況下優(yōu)化網(wǎng)絡(luò)，實(shí)現(xiàn)模型對(duì)小目標(biāo)、多層次的精確分割。

3 腦腫瘤數(shù)據(jù)介紹與預(yù)處理(Introduction and preprocessing of brain tumor data)

3.1 Brats腦腫瘤數(shù)據(jù)集介紹

Brats腦腫瘤數(shù)據(jù)集有285 個(gè)病例，有t1、t2、t1ce、flair四個(gè)模態(tài)[13]和人工手動(dòng)標(biāo)注的腫瘤標(biāo)簽數(shù)據(jù)如圖5所示。多模態(tài)是利用不同的核磁共振成像模式生成的，利用不同的模態(tài)圖像進(jìn)行分割實(shí)驗(yàn)，可以有效地提升分割準(zhǔn)確率，同時(shí)不同的模態(tài)也增加了分割實(shí)驗(yàn)的難度。t1、t2模態(tài)是因?yàn)檫M(jìn)行核磁共振成像時(shí)電磁波的物理量不同，所以產(chǎn)生了兩種不同的序列，t1腦腫瘤圖像中白質(zhì)、灰質(zhì)、腦脊液顏色區(qū)分明顯，所以t1模態(tài)圖像容易看出各種斷層結(jié)構(gòu)，t2腦腫瘤圖像信號(hào)與大腦中水含量有關(guān)，病變部分的t2信號(hào)要強(qiáng)于周圍的正常腦組織，所以t2模態(tài)圖像更容易看出大腦病變的區(qū)域，t1ce模態(tài)是在做核磁共振成像之前把造影劑打入血液，使腦腫瘤圖像中供血豐富的地方變亮，其是病變組織的可能性就越大，flair模態(tài)是進(jìn)行核磁共振成像時(shí)常用的序列模態(tài)，名稱為液體衰減反轉(zhuǎn)回復(fù)序列模態(tài)。

圖5 BraTs腦腫瘤多模態(tài)數(shù)據(jù)Fig.5 BraTs brain tumor multimodal data

對(duì)腦腫瘤圖像做三個(gè)部分的分割，即浮腫區(qū)域(ED)、增強(qiáng)腫瘤區(qū)域(ET)、壞疽區(qū)域(NET)[14]，然后這些區(qū)域合并為3 個(gè)嵌套的子區(qū)域，即WT=ED+ET+NET 區(qū)域，TC=ET+NET 區(qū)域，和單獨(dú)的ET區(qū)域相當(dāng)于對(duì)腦腫瘤圖像的每個(gè)像素點(diǎn)做四分類任務(wù)。

3.2 3D重疊分塊預(yù)處理

核磁共振腦腫瘤圖像是一個(gè)三維數(shù)據(jù)結(jié)構(gòu)，圖像像素大小為155×240×240，將四種不同模態(tài)的圖像和腫瘤對(duì)應(yīng)的標(biāo)簽數(shù)據(jù)圖像前后共加入5 個(gè)黑色切片，使圖像像素大小都變?yōu)?60×240×240，方便分塊處理，并對(duì)腦腫瘤數(shù)據(jù)四種不同模態(tài)的圖像通過減去均值除以標(biāo)準(zhǔn)差的方式[15]進(jìn)行標(biāo)準(zhǔn)化處理，通過圖像數(shù)據(jù)的歸一化方便訓(xùn)練模型。

腦腫瘤數(shù)據(jù)中黑色為背景像素，在整個(gè)圖像數(shù)據(jù)中占據(jù)較大比例，并且背景像素對(duì)于腫瘤分割沒有任何幫助。為了讓網(wǎng)絡(luò)更好地注意到腫瘤區(qū)域，可以通過裁剪的方式減小黑色背景信息，同時(shí)減少網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)量，提升網(wǎng)絡(luò)的性能。

由于硬件資源的限制，腦腫瘤圖像不能完整地輸入到網(wǎng)絡(luò)中，需要對(duì)圖像數(shù)據(jù)和對(duì)應(yīng)的標(biāo)簽數(shù)據(jù)進(jìn)行分塊處理[16]。經(jīng)過裁剪后的圖像和標(biāo)簽數(shù)據(jù)大小為160×128×128，傳統(tǒng)的分塊方式是從深度方向上分為5 個(gè)32×128×128大小的分塊，分塊是獨(dú)立的每個(gè)分塊沒有重疊的部分，并且分塊后的大小和完整圖像是倍數(shù)的關(guān)系，通過模型預(yù)測的結(jié)果進(jìn)行直接拼接，就可以變成完整的圖像。傳統(tǒng)的分塊方式簡單，但存在一個(gè)問題，在每個(gè)分塊中層與層的結(jié)構(gòu)關(guān)系模型可以學(xué)習(xí)到，但只學(xué)習(xí)了一個(gè)分塊中的結(jié)構(gòu)關(guān)系，塊與塊之間是斷開的，網(wǎng)絡(luò)模型無法學(xué)習(xí)完整的3D圖像結(jié)構(gòu)。本文提出一種新的分塊辦法，讓分塊與分塊之間有相互重疊的部分，這樣可以讓分塊與分塊之間相互聯(lián)系。塊的大小變?yōu)?4×128×128，分塊移動(dòng)的步長為32，最終分為大小為64×128×128的4 個(gè)分塊且分塊與分塊之間有一半重疊部分，這樣就可以使網(wǎng)絡(luò)完整學(xué)習(xí)圖像的3D結(jié)構(gòu)，如圖6所示。

圖6 重疊分塊處理Fig.6 Overlapped block processing

將經(jīng)過標(biāo)準(zhǔn)化和分塊處理后的腦腫瘤圖像數(shù)據(jù)的四個(gè)不同的模態(tài)合并成四個(gè)通道，保存后的數(shù)據(jù)形狀為(64，128，128，4)。同樣，對(duì)相應(yīng)的標(biāo)簽進(jìn)行分塊，然后將WT、TC、ET分割區(qū)域合并成三個(gè)通道，數(shù)值為0或1，保存后的數(shù)據(jù)形狀為(64，128，128，3)作為模型學(xué)習(xí)的標(biāo)簽。

4 腦腫瘤分割實(shí)驗(yàn)(Brain tumor segmentation experiment)

4.1 實(shí)驗(yàn)環(huán)境介紹

實(shí)驗(yàn)通過Pytorch的深度學(xué)習(xí)框架實(shí)現(xiàn)，使用Pycharm編譯器，GPU是NVIDIA GeForce GTX 1650Ti，CUDA是11.0版本，操作系統(tǒng)是Windows 10，編程語言使用Python 3.8，在實(shí)驗(yàn)中超參數(shù)Epoch設(shè)為100，這是通過實(shí)驗(yàn)發(fā)現(xiàn)的最佳值，Adam的學(xué)習(xí)率初始化為0.0001，學(xué)習(xí)率衰減以0.1的倍數(shù)變化，并且最小學(xué)習(xí)率設(shè)置為e-5。為了防止過擬合，采用“早?！钡挠?xùn)練策略，當(dāng)損失函數(shù)值穩(wěn)定后并在十輪訓(xùn)練中沒有變化即停止訓(xùn)練。

4.2 評(píng)價(jià)指標(biāo)

為了評(píng)估改進(jìn)的模型對(duì)腦腫瘤的分割效果，也方便將改進(jìn)的V-C-Net與3D U-Net等其他模型進(jìn)行比較，實(shí)驗(yàn)結(jié)果通過Dice系數(shù)(DSC)、交并比(IoU)、敏感度(Sensitivity)、精確率(Precision)及豪斯多夫距離(HD)五個(gè)性能指標(biāo)進(jìn)行評(píng)價(jià)[17]，其評(píng)價(jià)公式如式(5)—式(9)：

4.3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證改進(jìn)的V-C-Net模型在腦腫瘤分割上的性能，將其與FCN模型、3D-Unet模型、傳統(tǒng)V-Net模型進(jìn)行腦腫瘤圖像分割實(shí)驗(yàn)對(duì)比分析，表2中列舉了不同的模型在腦腫瘤分割實(shí)驗(yàn)中的結(jié)果，四種模型的五項(xiàng)評(píng)估指標(biāo)詳見表2。

表2 腦腫瘤分割指標(biāo)評(píng)價(jià)表Tab.2 Evaluation table of segmentation index of brain tumor

從表2的五項(xiàng)評(píng)價(jià)指標(biāo)中我們可以看出，通過添加聯(lián)合注意力機(jī)制改進(jìn)的V-C-Net模型，在各個(gè)指標(biāo)中均具有更好的表現(xiàn)，對(duì)腦腫瘤圖像做三個(gè)部分的分割，即浮腫區(qū)域、增強(qiáng)腫瘤區(qū)域、壞疽區(qū)域，每個(gè)部分的分割都優(yōu)于其他三個(gè)模型，在測試集上的平均Dice系數(shù)達(dá)到90.78%，平均交并比系數(shù)達(dá)到89.68%，平均敏感度達(dá)到91.70%，平均精確率達(dá)到96.48%，平均豪斯多夫距離達(dá)到0.451。

3D-Unet模型和傳統(tǒng)V-Net模型具有深入特征融合結(jié)構(gòu)，對(duì)于腦腫瘤病變區(qū)域的分割融合不同深度的語義信息，因此分割精度明顯優(yōu)于FCN模型，但是傳統(tǒng)V-Net對(duì)腦腫瘤圖像的所有特征都進(jìn)行分割計(jì)算，不僅造成計(jì)算資源的浪費(fèi)，在腦腫瘤邊緣輪廓與腦部圖像對(duì)比度低時(shí)，分割效果并不好，通過添加聯(lián)合注意力機(jī)制和改進(jìn)損失函數(shù)，改進(jìn)的V-C-Net方法在平均Dice系數(shù)和交并比上對(duì)比傳統(tǒng)V-Net，分別提升了1.24%和0.66%，平均敏感度和平均精確率分別提高了1.77%和1.52%。在改進(jìn)V-C-Net模型的基礎(chǔ)上又改進(jìn)了模型損失函數(shù)，使得模型更關(guān)注腦腫瘤病變區(qū)域的細(xì)微邊緣信息，大大降低了把正常腦組織圖像像素誤分割為腦腫瘤像素的概率，使網(wǎng)絡(luò)模型的預(yù)測結(jié)果和圖像標(biāo)簽之間的最大不匹配度更小，相比傳統(tǒng)V-Net模型，其豪斯多夫距離減小0.3266。由以上結(jié)果可知，改進(jìn)的V-C-Net模型有著更強(qiáng)的優(yōu)越性和競爭力。

圖7展示出了不同分割模型在測試集上的分割效果圖。圖7(a)、圖7(b)分別是腦腫瘤分割的原圖和對(duì)應(yīng)標(biāo)簽圖，圖7(c)—圖7(f)分別為FCN網(wǎng)絡(luò)模型、3D-Unet網(wǎng)絡(luò)模型、傳統(tǒng)V-Net網(wǎng)絡(luò)模型和改進(jìn)的V-C-Net網(wǎng)絡(luò)模型得到的腦腫瘤分割效果圖。從圖7(c)中可以看到，F(xiàn)CN模型對(duì)腦腫瘤壞疽區(qū)域中心位置的定位不錯(cuò)，但是出現(xiàn)漏檢和過檢的現(xiàn)象，我們可以明顯觀察到模型對(duì)浮腫區(qū)域和正常腦組織沒有辨識(shí)全面，出現(xiàn)漏檢現(xiàn)象，對(duì)增強(qiáng)腫瘤區(qū)域和浮腫區(qū)域有混淆。3D-Unet模型分割的腦腫瘤邊緣輪廓信息比FCN清晰，對(duì)整體浮腫區(qū)域的識(shí)別較為完整，對(duì)腦腫瘤壞疽中心位置的分割較為清晰，分割效果有了一些改善，但不是很精確。傳統(tǒng)V-Net網(wǎng)絡(luò)模型的分割效果優(yōu)于3D-Unet網(wǎng)絡(luò)模型，對(duì)腦腫瘤浮腫區(qū)域、增強(qiáng)腫瘤區(qū)域分割明顯，但對(duì)腦腫瘤中心壞疽區(qū)域識(shí)別過多出現(xiàn)過檢現(xiàn)象。相比其他方法，改進(jìn)的V-CNet網(wǎng)絡(luò)模型能夠更好地分割腦腫瘤細(xì)小、模糊的邊緣輪廓，能充分識(shí)別浮腫區(qū)域、增強(qiáng)腫瘤區(qū)域，并對(duì)腦腫瘤中心壞疽區(qū)域精確分割，明顯改善了過分割和欠分割現(xiàn)象[18]，得到了與標(biāo)簽最接近甚至超過標(biāo)簽的效果，具有很好的分割性能。

圖7 模型分割效果圖Fig.7 Model segmentation effect diagram

損失函數(shù)收斂得越快，則說明模型學(xué)習(xí)的參數(shù)與對(duì)腦腫瘤病變區(qū)域正確分割的參數(shù)越接近，模型學(xué)習(xí)的效率越高，模型起始學(xué)習(xí)參數(shù)越小，說明模型對(duì)腦腫瘤區(qū)域分割的起始精度越高，學(xué)習(xí)時(shí)間更短。圖8是改進(jìn)的V-C-Net模型與其他三種分割模型對(duì)腦腫瘤區(qū)域分割過程的損失函數(shù)收斂圖，共進(jìn)行100 輪訓(xùn)練。從圖8中我們看到改進(jìn)的V-C-Net模型比其他三種模型損失函數(shù)起始值更低，并且收斂速度更快，進(jìn)一步證實(shí)了改進(jìn)的V-C-Net模型有著更強(qiáng)的優(yōu)越性和競爭力。

圖8 損失函數(shù)收斂圖Fig.8 Loss function convergence diagram

4.4 消融實(shí)驗(yàn)

同時(shí)，我們通過消融實(shí)驗(yàn)，研究CBAM混合注意力塊和改進(jìn)的聯(lián)合損失函數(shù)對(duì)整體實(shí)驗(yàn)結(jié)果的影響，分別設(shè)計(jì)了只添加CBAM混合注意力機(jī)制的V-Net網(wǎng)絡(luò)將損失函數(shù)改為交叉熵?fù)p失函數(shù)和在原始V-Net基礎(chǔ)上只添加改進(jìn)的聯(lián)合損失函數(shù)的神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)，其實(shí)驗(yàn)的結(jié)果如表3所示。

表3 改進(jìn)V-C-NET神經(jīng)網(wǎng)絡(luò)的消融實(shí)驗(yàn)Tab.3 Ablation experiment of improved V-C-NET neural network

從表3中可以看到，在只添加注意力模塊的情況下，腦腫瘤浮腫區(qū)域、增強(qiáng)腫瘤區(qū)域、壞疽區(qū)域三個(gè)分割模塊相對(duì)于傳統(tǒng)V-Net神經(jīng)網(wǎng)絡(luò)，豪斯多夫距離的值分別下降到0.8145、0.6219、0.7514，在精確率方面分別提高到96.41%、94.91%、95.62%，這是因?yàn)槟X腫瘤圖像是灰度圖，通道間的灰度值區(qū)分度較小，對(duì)比度低及邊界模糊，通過添加注意力模塊的同時(shí)考慮空間信息和通道信息有效彌補(bǔ)網(wǎng)絡(luò)對(duì)圖像特征提取不充分的缺點(diǎn)，提高了模型分割的精度，以及模型對(duì)分割邊界的準(zhǔn)確率。

同時(shí)，在原始V-Net模型的基礎(chǔ)上只添加改進(jìn)的聯(lián)合損失函數(shù)實(shí)驗(yàn)中，腦腫瘤浮腫區(qū)域、增強(qiáng)腫瘤區(qū)域、壞疽區(qū)域三個(gè)分割模塊相對(duì)于傳統(tǒng)V-Net神經(jīng)網(wǎng)絡(luò)，豪斯多夫距離的值分別下降到0.4124、0.2968、0.6775，在精確率方面分別提高到97.17%、94.82%、95.36%，這是因?yàn)樘岢龅穆?lián)合損失函數(shù)中交叉熵?fù)p失能提高圖像分割的精度，保證腦腫瘤區(qū)域和背景均勻分割，同時(shí)Dice損失函數(shù)計(jì)算損失時(shí)忽略了圖像背景，可以有效地對(duì)目標(biāo)區(qū)域計(jì)算損失，同時(shí)超參數(shù)控制BD損失函數(shù)在計(jì)算中的比重使得模型根據(jù)訓(xùn)練次數(shù)的增加而更關(guān)注輪廓空間的距離，能更好地預(yù)測分割結(jié)果和標(biāo)簽圖像之間的邊界，并在訓(xùn)練過程中不斷減小邊界部分的分割錯(cuò)誤，提高分割精度與減少分割邊界距離。

最后我們注意到，在同時(shí)添加注意力模塊與改進(jìn)聯(lián)合損失函數(shù)的V-C-Net網(wǎng)絡(luò)中，腦腫瘤三個(gè)分割模塊相對(duì)于傳統(tǒng)V-Net神經(jīng)網(wǎng)絡(luò)，各個(gè)指標(biāo)具有更好的表現(xiàn)，對(duì)腦腫瘤圖像做三個(gè)部分的分割，即分割為浮腫區(qū)域、增強(qiáng)腫瘤區(qū)域、壞疽區(qū)域，每個(gè)部分的分割都優(yōu)于單獨(dú)添加的其他兩個(gè)模型，在注意力模塊和聯(lián)合損失函數(shù)的優(yōu)勢(shì)互補(bǔ)中，模型在測試集上的Dice系數(shù)、交并比、敏感度、精確率和豪斯多夫距離五個(gè)性能指標(biāo)平均值分別為90.78%、89.68%、91.70%、96.48%、0.451，實(shí)驗(yàn)結(jié)果表明改進(jìn)的V-C-Net模型可以更好地對(duì)腦腫瘤病變部分進(jìn)行分割。

5 結(jié)論(Conclusion)

本文針對(duì)傳統(tǒng)V-Net模型無法有效地集中注意力到病變區(qū)域，造成模型分割困難與邊界分割的精度低等問題，提出了一種改進(jìn)的V-C-Net模型。通過實(shí)驗(yàn)結(jié)果分析得到在傳統(tǒng)V-Net模型中加入CBAM混合注意力機(jī)制，同時(shí)使用改進(jìn)的混合損失函數(shù)，提高了模型分割精度，在Dice系數(shù)、交并比、敏感度、精確率和豪斯多夫距離五個(gè)性能指標(biāo)中的表現(xiàn)都優(yōu)于同級(jí)別神經(jīng)網(wǎng)絡(luò)模型，在腦腫瘤分割實(shí)驗(yàn)中得到了更精確的分割圖。本文的實(shí)驗(yàn)為深層卷積神經(jīng)網(wǎng)絡(luò)分割3D醫(yī)學(xué)圖像時(shí)出現(xiàn)的邊緣分割不夠精確、分割目標(biāo)較小而背景因素過大等問題提供了解決思路和方案。