楊 云, 周舒婕, 李程輝, 張娟娟
(1. 陜西科技大學(xué) 人工智能研究所,陜西 西安 710021; 2. 陜西科技大學(xué) 電子信息與人工智能學(xué)院,陜西 西安 710021)
眼底視網(wǎng)膜血管作為人體中唯一可以直接肉眼觀察到的血管,是許多慢性疾病診斷的一項重要指標(biāo)。傳統(tǒng)方法憑借醫(yī)生的個人經(jīng)驗和主觀判斷對視網(wǎng)膜血管分割存在諸多的弊端,如研究人員前期需要花費大量的時間和精力學(xué)習(xí)微細(xì)血管和整體結(jié)構(gòu)的分割工作、不同研究人員在分割同一張視網(wǎng)膜血管圖像時往往存在較大的差異性等。因此,將計算機(jī)作為輔助技術(shù)對于準(zhǔn)確、快速分割視網(wǎng)膜血管圖像起著至關(guān)重要的作用。
目前研究人員根據(jù)是否需要人工標(biāo)記訓(xùn)練集,將眼底視網(wǎng)膜圖像的血管分割方法大致分為兩類:無監(jiān)督學(xué)習(xí)方法和監(jiān)督學(xué)習(xí)方法。常見的無監(jiān)督學(xué)習(xí)方法有血管跟蹤法[1]、形態(tài)學(xué)處理方法[2]、匹配濾波方法[3]等?;谏疃葘W(xué)習(xí)的分割方法是一種常見的監(jiān)督學(xué)習(xí)方法,例如:Oliveira[4]等人提出了將平穩(wěn)小波變換提供的多尺度分析與多尺度全卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法來分割視網(wǎng)膜血管,從而提高網(wǎng)絡(luò)性能;Guo[5]等人提出了基于全卷積U-Net的網(wǎng)絡(luò)結(jié)構(gòu),該方法摒棄了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的Dropout層,而是使用正則化方法來提高模型性能;Roy[6]等人提出了ReLayNet網(wǎng)絡(luò)結(jié)構(gòu),該網(wǎng)絡(luò)在訓(xùn)練過程中同時使用了交叉熵和Dice損失函數(shù)進(jìn)行優(yōu)化;Gu[7]等人提出了上下文編碼器網(wǎng)絡(luò)來捕獲更多的深層信息,該網(wǎng)絡(luò)結(jié)構(gòu)在特征編碼和特征解碼器之間加入了上下文提取器,該方法不僅適用于視網(wǎng)膜圖像的分割還可以用于其他醫(yī)學(xué)圖像的分割。
由于視網(wǎng)膜血管中布滿了豐富的細(xì)小血管,上述方法在分割過程中容易出現(xiàn)邊緣細(xì)節(jié)粗糙、梯度復(fù)雜、識別分辨率低等問題。因此,本文在循環(huán)生成對抗網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)設(shè)計,具體工作如下:
(1)使用生成對抗網(wǎng)絡(luò)的特殊變體循環(huán)生成對抗網(wǎng)絡(luò)框架,通過兩個生成器、兩個判別器進(jìn)行對抗訓(xùn)練,優(yōu)化分割模型并設(shè)計一種全新的基于循環(huán)分割對抗網(wǎng)絡(luò)的視網(wǎng)膜血管分割方法。
(2)將生成網(wǎng)絡(luò)替換成改進(jìn)后的分割網(wǎng)絡(luò),分割網(wǎng)絡(luò)的編碼器、解碼器部分的網(wǎng)絡(luò)結(jié)構(gòu)替換成U型網(wǎng)絡(luò)和密集連接相結(jié)合的模型結(jié)構(gòu),保證在提高分割精度的同時減少模型分割所需要的時間。
(3)將對抗損失函數(shù)替換為最小二乘損失函數(shù),在還原圖像分割細(xì)節(jié)的同時,保留血管末梢的細(xì)節(jié)信息,提高分割效率。
近些年,由Goodfellow[8]等人提出的生成對抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)超越了傳統(tǒng)神經(jīng)網(wǎng)絡(luò),可以生成更加真實、清晰的圖像。在此基礎(chǔ)上,研究人員對GAN的改進(jìn)模型進(jìn)行了設(shè)計與研究,例如CGAN[9]、DCGAN[10]、WGAN[11]等不同的模型結(jié)構(gòu),在圖像處理任務(wù)中可獲得更好的性能。2017年由Zhu[12]等人提出的循環(huán)生成對抗網(wǎng)絡(luò)(Cycle-consistent Generative Adversarial Networks,CycleGAN)是傳統(tǒng)生成對抗網(wǎng)絡(luò)的變體,它包含兩個相互對稱的生成對抗網(wǎng)絡(luò),并通過共用兩個生成器、兩個判別器來實現(xiàn)圖像端到端的相互映射。CycleGAN對架構(gòu)的擴(kuò)展之處在于使用了循環(huán)一致性,其第一個生成器輸出的圖像可以用作第二個生成器的輸入圖像,第二個生成器的輸出圖像應(yīng)與原始圖像匹配,反之亦然。它最大的特點是不需要圖片的一對一配對,就能將一張圖像從源領(lǐng)域映射到目標(biāo)領(lǐng)域,以此方式來提高訓(xùn)練網(wǎng)絡(luò)的穩(wěn)定性。
CycleGAN網(wǎng)絡(luò)結(jié)構(gòu)是由生成器模型和判別器模型組成。生成器包括編碼器、轉(zhuǎn)換器以及解碼器。編碼器通過卷積層提取圖像的特征信息;轉(zhuǎn)換器由6個殘差塊組成,每個殘差塊包含兩個卷積層,可以保留更多圖像的原始信息;解碼器使用3層反卷積操作將圖像還原為原始尺寸。
CycleGAN網(wǎng)絡(luò)的判別器由5層卷積神經(jīng)網(wǎng)絡(luò)組成,可以從圖像中提取特征信息并且預(yù)測其為原始圖像或是生成器生成的圖像。
DU-CycleGAN網(wǎng)絡(luò)訓(xùn)練圖如圖1所示。該網(wǎng)絡(luò)由兩個分割器G和F、兩個判別器DX和DY組成,該模型包含G:X→Y的映射以及F:Y→X的逆映射,并且加入一個循環(huán)一致性損失函數(shù)以確保F(G(X))≈X。同時將原始圖像和分割圖像送入DX和DY中來判別分割網(wǎng)絡(luò)分割的真?zhèn)?,這種循環(huán)的訓(xùn)練模式,分割器和判別器通過博弈式動態(tài)競爭,使判別器無法區(qū)分是真實的圖像還是分割的圖像,最終達(dá)到網(wǎng)絡(luò)的動態(tài)均衡狀態(tài)。
(a) DU-CycleGAN模型結(jié)構(gòu)(a) DU-CycleGAN model structure
(b) 正向訓(xùn)練過程(b) Positive training process
(c) 反向訓(xùn)練過程(c) Reverse training process圖1 DU-CycleGAN網(wǎng)絡(luò)訓(xùn)練圖Fig.1 DU-CycleGAN network training diagram
本文使用了由兩個1×1卷積層和一個3×3卷積層組成的固定殘差塊。如圖2所示,改進(jìn)后的殘差塊具有一個瓶頸結(jié)構(gòu)可以進(jìn)行降維操作,減少圖像的通道數(shù)。與原模型相比,通過修改殘差塊的數(shù)目和結(jié)構(gòu),在提高輸出圖像質(zhì)量的同時減少了參數(shù),從而減少了計算量和處理時間。
圖2 ResNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 ResNet network structure
3.1.1 U型分割網(wǎng)絡(luò)
U型卷積神經(jīng)網(wǎng)絡(luò)(U-Net)是由Ronneberger[13]等人提出,其方法特點就是通過上、下采樣以及跳躍連接將淺層特征信息和深層特征信息融合,擴(kuò)充特征信息,從而減輕訓(xùn)練負(fù)擔(dān),使圖像中的邊緣信息更加準(zhǔn)確。由于視網(wǎng)膜血管具有復(fù)雜的表現(xiàn)特征,在分割的過程中容易產(chǎn)生血管不連續(xù)、邊緣區(qū)域分割較為模糊等問題。因此,本文將DU-CycleGAN網(wǎng)絡(luò)的分割器替換成改進(jìn)后的U-Net網(wǎng)絡(luò),以此提高模型的分割準(zhǔn)確率。
圖3 DU-CycleGAN分割器網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of DU-CycleGAN splitter
本文改進(jìn)后的分割器模型如圖3所示,分割器網(wǎng)絡(luò)由編碼器、轉(zhuǎn)換器和解碼器組成。編碼器包含3個密集連接模塊和3個下采樣卷積操作,每經(jīng)過一次下采樣操作其特征圖會縮小為原圖像的1/2,經(jīng)過3次下采樣操作之后,特征圖縮小為原圖的1/8并輸入到轉(zhuǎn)換器中。特征轉(zhuǎn)換器由6個殘差塊構(gòu)成,它不改變特征圖大小,特征圖經(jīng)過殘差模塊后輸出到解碼器部分。解碼器同樣包含了3個密集連接模塊,采用了與下采樣對稱的反卷積操作,其特征通道的變化與下采樣操作相反,每次經(jīng)過反卷積層后特征圖的尺寸都會變?yōu)樵瓉淼?倍,最終特征圖像還原到原始尺寸。當(dāng)編碼階段和解碼階段特征圖像尺寸相同時,會通過跳躍連接將深層特征信息和淺層特征信息融合,從而增強(qiáng)細(xì)節(jié)信息的補(bǔ)充。
與此同時,為了加快網(wǎng)絡(luò)模型的收斂,在每一層卷積操作后使用批量歸一化(BN)層。BN可以對網(wǎng)絡(luò)的輸入數(shù)據(jù)歸一化,使得特征輸入值的均值與方差都在規(guī)定范圍內(nèi),在一定程度上緩解了梯度消失現(xiàn)象。激活函數(shù)每一層均使用LReLU激活函數(shù)來替代原模型中的ReLU激活函數(shù)。ReLU激活函數(shù)在訓(xùn)練過程中很可能會導(dǎo)致神經(jīng)元死亡,相應(yīng)的參數(shù)無法更新。本文所使用的LReLU激活函數(shù)在特征輸入小于0時會有一個負(fù)數(shù)的輸出,可以緩解神經(jīng)元死亡的問題。公式定義如下:
(1)
DU-CycleGAN分割網(wǎng)絡(luò)在訓(xùn)練過程中的各層參數(shù)的設(shè)置以及具體輸出如表1所示。
表1 DU-CycleGAN分割網(wǎng)絡(luò)各層參數(shù)設(shè)置Tab.1 Parameter setting of each layer of DU-CycleGAN
3.1.2 密集連接網(wǎng)絡(luò)
U-Net通過下采樣減少空間維度,通過上采樣恢復(fù)圖像的細(xì)節(jié)及空間維度,經(jīng)過上、下采樣操作后會對數(shù)據(jù)信息造成一定的損失并且訓(xùn)練精度和測試精度會呈下降趨勢。針對上述問題,本算法引入了密集卷積網(wǎng)絡(luò)(Densely Connected Convolutional Networks,DenseNet)[14],它在減少了參數(shù)數(shù)量的同時加強(qiáng)了特征信息的傳播和重復(fù)利用。
傳統(tǒng)的卷積網(wǎng)絡(luò)有L層時會有L個網(wǎng)絡(luò)連接,而DenseNet有L層時包含L(L+1)/2個連接,可以更好地加強(qiáng)特征傳播以及特征重復(fù)利用,提高網(wǎng)絡(luò)的分割準(zhǔn)確率[15]。DenseNet改變了網(wǎng)絡(luò)模型結(jié)構(gòu)的梯度流動方式,將每層網(wǎng)絡(luò)的最初輸入信息和損失函數(shù)直接連接起來,使得整個網(wǎng)絡(luò)模型結(jié)構(gòu)更加清晰。DenseNet公式定義如下:
xl=Hl([x0,x1,…,xl-1]),
(2)
其中:x表示特征信息的輸出,l表示網(wǎng)絡(luò)結(jié)構(gòu)層數(shù),Hl(·)代表非線性轉(zhuǎn)化函數(shù),它包括3個相同的3×3卷積操作,同時在每個卷積層后添加了BN層以及ReLU激活函數(shù)進(jìn)行激活操作,以此提高密集連接模塊的性能。DenseNet網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。
圖4 DenseNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Densenet network structure
3.1.3 判別網(wǎng)絡(luò)
判別器模型由5層卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成,其主要目的是預(yù)測分割的結(jié)果是真實圖像還是分割網(wǎng)絡(luò)分割的圖像。判別器實際相當(dāng)于二分類器,用來判斷圖像的分布是否一致,判斷為真實圖像輸出結(jié)果為1,判斷為生成圖像輸出結(jié)果為0。判別器網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。
圖5 DU-CycleGAN判別器網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Network structure of DU-CycleGAN discriminator
損失函數(shù)可以衡量吻合度、調(diào)整參數(shù)以及權(quán)重,使得映射的結(jié)果和實際類別相吻合,訓(xùn)練的結(jié)果更加準(zhǔn)確。本文中損失函數(shù)是由對抗損失和循環(huán)一致性損失兩部分組成。
3.2.1 對抗損失函數(shù)
傳統(tǒng)生成對抗網(wǎng)絡(luò)使用的損失函數(shù)在訓(xùn)練過程中容易出現(xiàn)梯度彌漫、網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定等問題。本文使用最小二乘損失函數(shù)來構(gòu)成對抗損失,使分割結(jié)果更加接近于真實圖像。最小二乘損失函數(shù)定義如下:其中,Ey~Pdata(y)表示樣本Y分布的期望值,Ex~Pdata(x)表示樣本X分布的期望值,分割模型G:X→Y及對應(yīng)的判別模型DY,式(3)代表映射函數(shù)X→Y的過程。
LGAN(G,DY,X,Y)=Ey~Pdata(y)[(DY(y)-1)2]+
Ex~Pdata(y)[(DY(G(x)))2].
(3)
對于分割模型F:Y→X及對應(yīng)的判別模型DX,式(4)代表映射函數(shù)Y→X的過程:
LGAN(F,DX,Y,X)=Ex~Pdata(x)[(DX(x)-1)2]+
Ey~Pdata(y)[(DX(F(y)))2].
(4)
3.2.2 循環(huán)一致性損失函數(shù)
為了保持原始圖像和轉(zhuǎn)換后圖像的高度一致性,本文采用了循環(huán)一致性損失函數(shù)。目標(biāo)域X的圖像通過循環(huán)性可以將圖像轉(zhuǎn)換為原始圖像,公式可表示為F(G(x))≈x;同理,對于向后的循環(huán)一致性可采用公式G(F(y))≈y表示[12]。本文引入L1范數(shù)來衡量原始圖像和生成圖像之間的差距,公式定義如下:
Lcyc(G,F)=[Ex~Pdata(x)‖F(xiàn)(G(x))-x‖1]+
Ey~Pdata(y)[(‖G(F(y))-y‖1].
(5)
綜上,本文網(wǎng)絡(luò)的復(fù)合損失函數(shù)用公式(6)表示:
L(G,F,DX,DY)=LGAN(G,DY,X,Y)+
LGAN(F,DX,Y,X)+λLcyc(G,F),
(6)
最終對網(wǎng)絡(luò)的損失函數(shù)進(jìn)行優(yōu)化,為使分割圖像與真實圖像達(dá)到最大相似性,網(wǎng)絡(luò)的總訓(xùn)練目標(biāo)如下:
(7)
實驗平臺基于Python3.6環(huán)境搭建,使用TensorFlow來構(gòu)建網(wǎng)絡(luò)框架,實驗環(huán)境均在Intel(R) i7-8565U CPU以及顯卡RTX2080Ti進(jìn)行,使用MATLAB R2017b對圖像進(jìn)行預(yù)處理操作。網(wǎng)絡(luò)采用Adam優(yōu)化算法,學(xué)習(xí)率Lr設(shè)為0.000 2,以指數(shù)衰減的方式迭代更新學(xué)習(xí)率,網(wǎng)絡(luò)迭代次數(shù)設(shè)為200個周期,訓(xùn)練時batch_size設(shè)為1。
為了驗證本文算法的有效性和實用性,采用DRIVE和CHASE_DB1公共視網(wǎng)膜數(shù)據(jù)集。DRIVE數(shù)據(jù)集目前在視網(wǎng)膜圖像處理領(lǐng)域中應(yīng)用較為廣泛。該數(shù)據(jù)集共包含40張眼底彩色視網(wǎng)膜圖像,圖像的分辨率為584×565大小像素,其中20張用于訓(xùn)練,其余20張用于測試。CHASE數(shù)據(jù)集共有28張眼底彩色視網(wǎng)膜圖像,收集自14名兒童的雙眼,每幅圖像的分辨率為999×960,其中14張用于訓(xùn)練,其余14張用于測試。
在深度學(xué)習(xí)中,需要大規(guī)模的訓(xùn)練樣本才能提升模型的魯棒性,使模型具有更強(qiáng)的泛化能力。由于視網(wǎng)膜血管樣本集數(shù)量較少,在網(wǎng)絡(luò)模型的訓(xùn)練過程中,極易出現(xiàn)過擬合現(xiàn)象。因此,為了獲得顯著的訓(xùn)練結(jié)果,需要對數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)操作,通過圖像的旋轉(zhuǎn)、平移變換等操作對訓(xùn)練集進(jìn)行擴(kuò)充。此外,對于擴(kuò)充后的圖像進(jìn)行剪裁,通過向四周平移像素點將每張圖像隨機(jī)剪裁,最終DRIVE和CHASE數(shù)據(jù)集分別得到15 620張和12 000張尺寸大小為512×512的patch塊,其中90%用作網(wǎng)絡(luò)訓(xùn)練,10%用作網(wǎng)絡(luò)驗證。
由于原始視網(wǎng)膜圖像存在噪聲干擾、光照不均以及血管特征不明顯等現(xiàn)象,直接分割會影響圖像的分割效果。為了改善模型性能,需要對視網(wǎng)膜圖像進(jìn)行如下預(yù)處理操作:
(1)為了提高血管樹對比度,本文提取視網(wǎng)膜綠色通道。由圖6(c)可以看出視網(wǎng)膜血管在綠色通道中血管輪廓與背景的對比度較為明顯。
(2)為了加快模型的收斂速度,讓訓(xùn)練數(shù)據(jù)分布一致,需要對視網(wǎng)膜圖像數(shù)據(jù)進(jìn)行歸一化處理,使像素在(0,1)的范圍內(nèi)。歸一化公式如下:
(8)
其中:xi表示圖像的像素點,max(x)和min(x)分別代表圖像的最大像素點和最小像素點。
(3)為了增強(qiáng)圖像的對比度突出血管輪廓,本文使用MATLAB語言對圖像進(jìn)行自適應(yīng)直方圖均衡化操作。圖像預(yù)處理前后效果對比如圖6(e)、(f)所示。
圖6 圖像預(yù)處理前后效果對比圖。(a) 原圖像;(b) 紅色通道;(c) 綠色通道;(d) 藍(lán)色通道;(e) 預(yù)處理前;(f) 預(yù)處理后。Fig.6 Image preprocessing before and after the effect comparison. (a) Original image;(b) Red channel;(c) Green channel;(d) Blue channel;(e) Before pretreatment;(f) After pretreatment.
為了系統(tǒng)驗證本文算法對視網(wǎng)膜血管分割的效果,實驗采用分割準(zhǔn)確性(Accuracy,Acc)、特異性(Specificity,Spe)和敏感性(Sensitivity,Sen)對網(wǎng)絡(luò)性能評估。
Acc可以預(yù)測正確的血管數(shù)目占總樣本數(shù)目的百分比,它的取值范圍為0~1,Acc的值越接近1,分割的準(zhǔn)確率越高。公式如下:
(9)
在公式(9)中,真陽性(True Positive,TP)表示將視網(wǎng)膜血管圖像正確分類的像素個數(shù);真陰性(True Negative,TN)表示將非血管正確分類的像素個數(shù);假陽性(False Positive,F(xiàn)P)表示將非血管錯誤分類為血管的像素數(shù)量;假陰性(False Negative,F(xiàn)N)表示將血管錯誤分類為非血管的像素數(shù)量。同時,上述4個值也用于計算特異性以及敏感性。特異性是指實際為非血管的樣本占非血管總樣本數(shù)目的百分比;敏感性是指正確的血管數(shù)目占血管總樣本數(shù)目的百分比。特異性、敏感性的計算如公式(10)、(11)所示:
(10)
(11)
除此之外,本文還引入模型評估指標(biāo)AUC(Area Under Curve)。AUC的值可以判斷模型的性能,AUC的值越大,正確率就越高,它的取值范圍為[0,1]。
本實驗使用DU-CycleGAN網(wǎng)絡(luò)、U-Net以及DenseNet和U-Net(DU-Net)相結(jié)合的網(wǎng)絡(luò)模型進(jìn)行分割效果對比??紤]到實驗嚴(yán)謹(jǐn)性,在訓(xùn)練網(wǎng)絡(luò)模型時,采用與本文方法相同的數(shù)據(jù)擴(kuò)充和數(shù)據(jù)預(yù)處理方法。實驗結(jié)果如表2所示。在DRIVE數(shù)據(jù)集中,本文網(wǎng)絡(luò)模型分割的準(zhǔn)確性較U-Net提高了1.31%,達(dá)到了96.93%;本文提出的算法在敏感性、特異性以及AUC指標(biāo)上均有所提升,優(yōu)于U-Net以及其他算法,說明本算法改進(jìn)網(wǎng)絡(luò)的有效性。同理,表3列舉了CHASE數(shù)據(jù)集實驗對比結(jié)果,從中可以看出,本文算法的評估指標(biāo)要略高于其他算法,其中,準(zhǔn)確性具有一定的優(yōu)勢。實驗結(jié)果表明該網(wǎng)絡(luò)模型具有較好的視網(wǎng)膜血管圖像分割性能。
表2 DRIVE數(shù)據(jù)集上的分割結(jié)果Tab.2 Segmentation results on the DRIVE dataset
表3 CHASE數(shù)據(jù)集上的分割結(jié)果Tab.3 Segmentation results on CHASE dataset
為了更直觀地表現(xiàn)出DU-CycleGAN算法的優(yōu)越性,圖7、圖8是本文算法與DU-Net、U-Net算法分別在DRIVE和CHASE數(shù)據(jù)集的受試者工作特征曲線(ROC)對比圖,從圖中可以看出本文算法的AUC面積要大于DU-Net以及U-Net網(wǎng)絡(luò)。本算法最靠近左上角的臨界值,縱坐標(biāo)的真陽性率(True Positive Rate, TPR)較高,橫坐標(biāo)的假陽性率(False Positive Rate, FPR)低,表明本實驗正確分割血管圖像的可能性高,實驗的診斷更有價值。
為了對DU-CycleGAN算法進(jìn)行更加詳細(xì)的比較和分析,圖9從左到右分別列出了原始圖像、金標(biāo)準(zhǔn)圖像、基于U-Net算法、基于DU-Net算法以及本文算法的微細(xì)血管末端局部放大圖。通過局部分析3種不同模型的分割結(jié)果可得出,U-Net算法以及DU-Net算法對于視網(wǎng)膜血管的細(xì)小區(qū)域處理效果不佳。由于血管樹的形態(tài)結(jié)構(gòu)過于復(fù)雜,U-Net算法在經(jīng)過上、下采樣操作后會對血管的細(xì)節(jié)特征以及空間維度造成一定的損失,從而出現(xiàn)漏分割、分割斷裂等現(xiàn)象。如圖9(e)所示,本文經(jīng)過優(yōu)化改進(jìn)后的模型可以捕捉更多微細(xì)血管的特征信息,不僅可以分割出粗細(xì)合理的血管樹,還可以有效緩解漏分割現(xiàn)象。
圖7 DRIVE數(shù)據(jù)集ROC曲線對比圖Fig.7 ROC curve comparison chart of DRIVE dataset
圖8 CHASE數(shù)據(jù)集ROC曲線對比圖Fig.8 ROC curve comparison chart of CHASE dataset
圖9 各分割算法末端微細(xì)血管局部放大。(a) 原圖像;(b) 金標(biāo)準(zhǔn)圖像;(c) U-Net算法;(d) DU-Net算法;(e) 本文算法。Fig.9 Each segmentation algorithm enlarges the end microvascular. (a) Original image;(b) Gold standard image;(c) U-Net algorithm;(d) DU-Net algorithm;(e) Our algorithm.
圖10 視網(wǎng)膜分割效果圖。(a) 原圖像;(b) 預(yù)處理后圖像;(c) 金標(biāo)準(zhǔn)圖像;(d) U-Net算法;(e) 本文算法。Fig.10 Effect picture of retinal segmentation. (a) Original image;(b) Preprocessed image;(c) Gold standard image;(d) U-Net algorithm;(e) Our algorithm.
圖10列舉了本文算法以及U-Net算法在DRIVE和CHASE數(shù)據(jù)集上視網(wǎng)膜血管分割的效果圖。從圖10(d)可以看出,U-Net分割結(jié)果會將部分細(xì)小血管劃分到背景區(qū)域中,雖然圖像中含有的噪聲較少,但血管連續(xù)性較差,對于血管末端的分叉處無法進(jìn)行準(zhǔn)確的分割,同時會出現(xiàn)血管斷裂、細(xì)小血管分割較為模糊等細(xì)節(jié)問題。圖10(e)列出了本文的分割結(jié)果,DU-CycleGAN網(wǎng)絡(luò)在上、下采樣過程中添加了密集連接結(jié)構(gòu),進(jìn)一步提高了分割精度,使分割器可以更加有效地訓(xùn)練數(shù)據(jù);同時,改進(jìn)后的分割模型增加了網(wǎng)絡(luò)的層數(shù),使網(wǎng)絡(luò)模型可以提取并擬合更多用于分割的特征信息。如圖10(e)所示,DU-CycleGAN網(wǎng)絡(luò)可以更完整地對細(xì)小血管及其分叉處進(jìn)行分割,網(wǎng)絡(luò)模型準(zhǔn)確地擬合了特征信息,保留了更多的血管細(xì)節(jié)信息,使血管具有較好的連續(xù)性,更加接近金標(biāo)準(zhǔn)圖像。
為了更好地體現(xiàn)DU-CycleGAN算法的有效性,表4、表5分別列舉了不同分割算法使用DRIVE和CHASE數(shù)據(jù)集的性能指標(biāo)。如表4所示,在DRIVE數(shù)據(jù)集中,本文算法無論在準(zhǔn)確性還是特異性上都具有一定的優(yōu)勢,尤其是敏感性比文獻(xiàn)[16]高了7.39%。而在CHASE數(shù)據(jù)集中,文獻(xiàn)[19]提出了一種基于U-Net模型的遞歸殘差卷積神經(jīng)網(wǎng)絡(luò),該算法的特異性指標(biāo)相比于其他算法具有較好的表現(xiàn),但該算法分割的準(zhǔn)確度不夠高,對于細(xì)小血管的分割容易出現(xiàn)斷裂現(xiàn)象。文獻(xiàn)[22]提出了基于U-Net的多分支卷機(jī)神經(jīng)網(wǎng)絡(luò),并且增加了特征信息流路徑,該模型與其他算法相比具有較好的分割性能,在CHASE數(shù)據(jù)集中AUC值也達(dá)到了98.39%,但在具體分割過程中,該算法存在微細(xì)血管分割較為模糊的現(xiàn)象。本文算法與文獻(xiàn)[19]、文獻(xiàn)[22]的算法模型相比,在總體性能指標(biāo)相差不大的情況下,可以準(zhǔn)確地擬合特征信息,保留更多的血管細(xì)節(jié)信息。由此可見,本文網(wǎng)絡(luò)模型具有良好的魯棒性和泛化能力。
表4 DRIVE數(shù)據(jù)集分割結(jié)果比較
表5 CHASE數(shù)據(jù)集分割結(jié)果比較
續(xù) 表
本文提出了一種基于循環(huán)分割對抗網(wǎng)絡(luò)的視網(wǎng)膜圖像分割算法,使用了U型網(wǎng)絡(luò)和密集連接相結(jié)合的模型作為分割器的網(wǎng)絡(luò)模型結(jié)構(gòu),并添加了最小二乘損失函數(shù)。實驗結(jié)果證明,所改進(jìn)的網(wǎng)絡(luò)模型在DRIVE和CHASE數(shù)據(jù)集中,兩者分割的準(zhǔn)確性、敏感性分別達(dá)到了96.93%、84.30%以及96.94%、79.92%,說明同其他深度學(xué)習(xí)算法模型相比,本文網(wǎng)絡(luò)模型分割效果更為精細(xì)。但在具體實驗中,本文的網(wǎng)絡(luò)模型過于復(fù)雜,對實驗設(shè)備有著較高的要求,并且網(wǎng)絡(luò)因為層數(shù)過多導(dǎo)致分割效率低于預(yù)期。在未來的工作中還需要對網(wǎng)絡(luò)模型進(jìn)一步優(yōu)化,在不影響性能的情況下,降低網(wǎng)絡(luò)復(fù)雜度,從而獲得更優(yōu)的分割結(jié)果。