江中川，吳 云

1.公共大數(shù)據(jù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，貴陽(yáng) 550025

2.貴州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，貴陽(yáng) 550025

視網(wǎng)膜是負(fù)責(zé)中央和外周視覺(jué)的光敏組織，而視網(wǎng)膜血管滋養(yǎng)和清潔視覺(jué)系統(tǒng)。視網(wǎng)膜血管形態(tài)的任何變化或損害都可能導(dǎo)致眼科和心血管疾病，如糖尿病視網(wǎng)膜病變（DR）、黃斑水腫（ME）、青光眼、白內(nèi)障和高血壓[1-2]。視網(wǎng)膜圖像分割可以幫助臨床醫(yī)生通過(guò)研究視網(wǎng)膜血管的變化來(lái)發(fā)現(xiàn)病變。這種早期檢測(cè)可以幫助預(yù)防失明和許多其他視力障礙或以視網(wǎng)膜病變?yōu)樘卣鞯募膊。ㄈ鏒R）。不幸的是，由于視網(wǎng)膜眼底圖像的噪聲、對(duì)比度變化、光照不均勻以及血管的外觀、形狀、大小、位置和形狀的變化等復(fù)雜因素的影響，檢測(cè)是一個(gè)具有挑戰(zhàn)性的任務(wù)。

在早期，視網(wǎng)膜眼底圖像的篩查主要靠專家手工選擇，但是這種方式過(guò)于費(fèi)時(shí)、費(fèi)力，且依賴專家的處理經(jīng)驗(yàn)，因此難以得到推廣。因此，自動(dòng)化的視網(wǎng)膜血管分割方法成為提高眼科相關(guān)疾病診斷、早期發(fā)現(xiàn)和及時(shí)治療的合適篩查手段。

傳統(tǒng)的用于視網(wǎng)膜血管分割的無(wú)監(jiān)督學(xué)習(xí)方法有：基于閾值方法[3]、匹配濾波方法[4]、數(shù)學(xué)形態(tài)學(xué)方法[5]和基于模型方法等[6]，這些方法主要利用眼底圖像特性與血管特征來(lái)對(duì)分割目標(biāo)進(jìn)行提取，相比傳統(tǒng)人工篩查的方式，具有耗時(shí)少，分割快的特點(diǎn)。但這些方法依賴于該領(lǐng)域的專家知識(shí)、數(shù)學(xué)運(yùn)算和手工設(shè)計(jì)的特征提取策略來(lái)確定特征與預(yù)后的關(guān)系，這使得這些方法效率低下，無(wú)法進(jìn)行準(zhǔn)確的臨床診斷[7]。

近年來(lái)，隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)方向的廣泛應(yīng)用，如圖像分類、圖像分割、圖像去噪等，以卷積神經(jīng)網(wǎng)絡(luò)為核心的深度學(xué)習(xí)方法開(kāi)始在視網(wǎng)膜血管分割領(lǐng)域嶄露頭角，取得了不錯(cuò)的效果。Long 等人[8]提出FCN（fully convolutional networks），使用卷積層代替全連接層，同時(shí)，為解決卷積和池化導(dǎo)致圖像尺寸的變小，使用上采樣方式對(duì)圖像尺寸進(jìn)行恢復(fù)，但分割結(jié)果較為粗糙、準(zhǔn)確度較低。Ronneberger等人[9]提出U-Net，在FCN基礎(chǔ)上進(jìn)行了改進(jìn)，使用了一個(gè)編碼器-解碼器對(duì)稱的U形網(wǎng)絡(luò)，并在同層級(jí)的編碼器和解碼器之間使用了跳躍連接，通過(guò)連接上下文信息和定位信息來(lái)恢復(fù)丟失的空間信息，從而獲得精確分割結(jié)果輸出。Zhou 等人[10]使用了密集跳躍連接，并在跳躍路徑中引入了卷積，來(lái)減少編碼器與解碼器之間的特征誤差。Yue 等人[11]在U-Net 中使用了多尺度輸入層和密集塊，使網(wǎng)絡(luò)能夠利用更豐富的空間上下文信息。Oktay 等人[12]提出Att U-Net，通過(guò)引入門(mén)控注意力機(jī)制來(lái)加強(qiáng)分割目標(biāo)特征的學(xué)習(xí)，忽略不重要的特征。

但由于眼底圖像成像復(fù)雜，噪聲干擾較多，微小血管分布不均等因素，這些分割方法難以準(zhǔn)確分割血管邊界，且泛化性不足、網(wǎng)絡(luò)容易退化。本文提出MPR-Net（multi-scale parc residual-Net，MPR-Net），首先在編碼路徑中引入位置感知循環(huán)卷積（ParC）[13]與ECA 注意力[14]來(lái)獲取更大的感受野與精確的位置信息，加強(qiáng)對(duì)血管特征的獲取能力；然后通過(guò)多分辨率輸入來(lái)提供更豐富的原始特征信息，避免因?qū)盈B化的下采樣操作丟失過(guò)多的血管細(xì)節(jié)信息與網(wǎng)絡(luò)退化；最后在跳躍連接中使用殘差雙注意力模塊來(lái)抑制會(huì)對(duì)分割目標(biāo)產(chǎn)生干擾的噪聲與多余特征表達(dá)，達(dá)到精確分割視網(wǎng)膜血管的目的。本文的主要貢獻(xiàn)如下：

（1）提出MPR-Net用于視網(wǎng)膜血管分割。MPR-Net通過(guò)結(jié)合ParC-ECA模塊與多尺度輸入模塊充分提取目標(biāo)血管特征與位置信息，并避免血管細(xì)節(jié)信息丟失與網(wǎng)絡(luò)退化問(wèn)題。

（2）為抑制多余噪聲的干擾并提升最終分割精度，在網(wǎng)絡(luò)跳躍連接中提出殘差雙注意力模塊來(lái)加強(qiáng)網(wǎng)絡(luò)對(duì)分割血管特征的學(xué)習(xí)，實(shí)現(xiàn)了更高的視網(wǎng)膜血管分割精度。

1 相關(guān)工作

1.1 卷積操作

CNN網(wǎng)絡(luò)中的卷積，也稱為濾波器，是由一組具有固定窗口大小且?guī)Э蓪W(xué)習(xí)參數(shù)（learnable paramerters）的卷積核所組成，可用于提取特征，是CNN網(wǎng)絡(luò)中最核心的組件。CNN的卷積層通過(guò)卷積操作提取輸入的不同特征，第1 層卷積層提取低級(jí)特征如邊緣、線條、角落，更高層的卷積層提取更高級(jí)的特征[15]。傳統(tǒng)卷積操作雖然能較好地提取圖像局部精細(xì)特征，但受限于卷積操作局限性，感受野較小，無(wú)法獲得更豐富地上下文信息，導(dǎo)致在視網(wǎng)膜血管分割等任務(wù)中表現(xiàn)不佳。

為了克服普通卷積感受野過(guò)小的缺點(diǎn)，Yu等人[16]提出了空洞卷積，在常規(guī)卷積的基礎(chǔ)上引入空洞的概念，使得網(wǎng)絡(luò)能夠同等卷積核的情況下擴(kuò)大網(wǎng)絡(luò)的感受野，并動(dòng)態(tài)控制卷積核之間的間隔。通過(guò)使用空洞卷積，可以在不改變特征圖的尺寸和不引入額外參數(shù)計(jì)算量的情況下，有效加大感受野，這在圖像分割、分類等任務(wù)中尤其重要。不過(guò)空洞卷積會(huì)引起網(wǎng)格效應(yīng)，導(dǎo)致卷積核計(jì)算不連續(xù)，這對(duì)視網(wǎng)膜血管這樣的細(xì)小目標(biāo)分割任務(wù)來(lái)說(shuō)是嚴(yán)重的問(wèn)題。

Dai等人[17]提出了可變形卷積，極大改進(jìn)了CNN提取不變性特征的能力?？勺冃尉矸e將學(xué)習(xí)到的偏移量加入到標(biāo)準(zhǔn)卷積中的網(wǎng)格采樣位置上，使標(biāo)準(zhǔn)卷積的采樣位置發(fā)生變形，形成自適應(yīng)變化的能力[18]。但可變形卷積的小目標(biāo)特征提取能力較弱，且過(guò)多使用可變形卷積可能會(huì)導(dǎo)致過(guò)擬合問(wèn)題[19]，不能較好地應(yīng)用到視網(wǎng)膜血管分割任務(wù)中。

1.2 視網(wǎng)膜血管分割

隨著深度學(xué)習(xí)方法在醫(yī)學(xué)圖像分割領(lǐng)域的廣泛應(yīng)用與優(yōu)異表現(xiàn)，基于深度學(xué)習(xí)技術(shù)的視網(wǎng)膜血管分割方法逐漸取代傳統(tǒng)分割方法，類U-Net網(wǎng)絡(luò)及其變體開(kāi)始成為這一領(lǐng)域的主流。對(duì)于典型的U-Net網(wǎng)絡(luò)而言，來(lái)自淺層的特征包含豐富的空間細(xì)節(jié)，而深層網(wǎng)絡(luò)層包含豐富的抽象語(yǔ)義信息，多尺度的信息流與特征塊融合能顯著提高網(wǎng)絡(luò)性能，Zhuang等人[20]提出LadderNet，LadderNet通過(guò)有多對(duì)編碼器-解碼器分支，并且在每一層的每一對(duì)相鄰的解碼器分支和解碼器分支之間都設(shè)置了跳躍連接，在視網(wǎng)膜血管分割任務(wù)中取得了顯著優(yōu)于U-Net 的成績(jī)。Zhou 等人[21]提出SEGAN，SEGAN 結(jié)合對(duì)抗生成網(wǎng)絡(luò)、多尺度特征細(xì)化塊與注意力機(jī)制來(lái)捕捉微小視網(wǎng)膜血管形態(tài)信息，提升分割精度。Guo 等人[22]提出CSGNet，利用多尺度和多方向特征模塊來(lái)學(xué)習(xí)語(yǔ)義豐富的低級(jí)特征和保留細(xì)節(jié)信息的高級(jí)特征，實(shí)現(xiàn)了更好的分割性能。但目前的主流視網(wǎng)膜血管分割方法均存在網(wǎng)絡(luò)退化、血管細(xì)節(jié)容易丟失的問(wèn)題，特別是在微小血管和低對(duì)比度血管上的分割性能較差。

2 本文方法

2.1 本文網(wǎng)絡(luò)結(jié)構(gòu)

在視網(wǎng)膜血管圖像中，眼底血管常呈現(xiàn)不同的形狀和大小，中央凹周圍的血管似乎更厚，當(dāng)它們分叉時(shí)變得更薄，形成復(fù)雜的輪廓[23]。為了在提高分割的準(zhǔn)確性與特征利用率，本文提出MPR-Net，其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。

圖1 MPR-Net網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 MPR-Net network architecture

在編碼路徑中，網(wǎng)絡(luò)在U-Net 的基礎(chǔ)上提出了ParC-ECA 模塊來(lái)進(jìn)一步提取特征，模塊引入了位置感知循環(huán)卷積來(lái)提高全局特征利用率與提取能力，為鼓勵(lì)淺層次特征的融合與深層次特征的競(jìng)爭(zhēng)，減少以往注意力機(jī)制壓縮降維對(duì)于學(xué)習(xí)通道之間的依賴關(guān)系影響，模塊中應(yīng)用了ECA注意力機(jī)制來(lái)抑制會(huì)對(duì)分割血管形態(tài)產(chǎn)生干擾的特征表達(dá)并加強(qiáng)對(duì)目標(biāo)特征的學(xué)習(xí)。同時(shí)網(wǎng)絡(luò)在下采樣過(guò)程中結(jié)合多尺度輸入模塊來(lái)找回因?qū)盈B化的下采樣操作而損失的細(xì)節(jié)信息，對(duì)于給定的輸入大小為48×48 的原始圖像，分別經(jīng)過(guò)3 個(gè)多尺度輸入模塊，得到大小分別為24×24、12×12 和6×6 的圖像，并將這些圖像與相應(yīng)編碼級(jí)別的特征向量相加，得到編碼路徑最終的特征圖。

在解碼路徑中，使用U-Net中的跳躍連接來(lái)連接同一層級(jí)中的編碼器與解碼器，使網(wǎng)絡(luò)學(xué)習(xí)到粗、細(xì)粒度特征的位置信息和全局語(yǔ)義信息之間的關(guān)系，下采樣后的特征圖在經(jīng)過(guò)3 次上采樣操作后經(jīng)過(guò)一個(gè)Conv Block 來(lái)調(diào)整輸出通道數(shù)以得到分割結(jié)果圖，這樣做是因?yàn)樾枰A(yù)測(cè)的像素有兩種類別，分別對(duì)應(yīng)血管前景區(qū)域和黑色背景區(qū)域。

2.2 ParC-ECA模塊

在原始U-Net 中，使用3×3 的卷積塊來(lái)對(duì)圖像進(jìn)行特征提取，但傳統(tǒng)卷積操作盡管有著出色的平移不變性與局部細(xì)節(jié)特征提取能力，但缺乏全局特征學(xué)習(xí)能力與較大的感受野，而單純的堆疊下采樣模塊雖能逐步擴(kuò)大感受野，但也會(huì)帶來(lái)細(xì)節(jié)特征丟失的問(wèn)題，對(duì)類似視網(wǎng)膜血管這樣的細(xì)小目標(biāo)分割任務(wù)尤為不利。為了克服這一問(wèn)題，本文將結(jié)合傳統(tǒng)卷積、位置感知循環(huán)卷積（ParC）、ECA注意力機(jī)制來(lái)提取血管局部-全局特征，使得網(wǎng)絡(luò)有著更好的特征提取能力，在保留對(duì)微小血管形態(tài)特征關(guān)注能力的同時(shí)，增強(qiáng)對(duì)全局特征的關(guān)注能力，ParC-ECA Block的內(nèi)部示意圖如圖2所示。

圖2 ParC-ECA模塊Fig.2 ParC-ECA block

對(duì)于輸入特征圖x∈RH′×W′×C′，先經(jīng)過(guò)一個(gè)3×3卷積塊、BN 層（batch normalization）、Relu 激活函數(shù)來(lái)對(duì)輸入特征圖中血管特征進(jìn)行預(yù)提取，在對(duì)預(yù)提取后的特征在橫、縱兩個(gè)方向上進(jìn)行循環(huán)卷積操作，此過(guò)程如圖2（b）部分所示，其中ParC-V是垂直方向的，另一種是水平方向的ParC（ParC-H）。ParC-V 和ParC-H 的接收域分別覆蓋同一列和同一行中的所有像素。聯(lián)合使用ParC-V和ParC-H可以從所有輸入像素中提取全局特征。

以垂直方向上的ParC-V 為例，在位置(i,j)處的特征計(jì)算方法如公式（1）所示：

其中，pev表示實(shí)例位置嵌入，用于保持輸出特征對(duì)空間位置的敏感。雖然循環(huán)卷積可以提取全局特征，但它會(huì)干擾原始輸入的空間結(jié)構(gòu)。對(duì)于分類，保持空間結(jié)構(gòu)可能不是一個(gè)大問(wèn)題。對(duì)于視網(wǎng)膜血管分割這種對(duì)位置信息十分敏感的任務(wù)，保持空間結(jié)構(gòu)確實(shí)很重要。

而在Vision Transformer 中通過(guò)嵌入位置編碼模塊便能有效地記憶輸入特征圖的空間結(jié)構(gòu)信息，因此，在循環(huán)卷積計(jì)算過(guò)程中，引入pe來(lái)保持空間結(jié)構(gòu)不被擾動(dòng)。而且相較于Transformer中復(fù)雜的二次計(jì)算來(lái)獲取全局特征，ParC 循環(huán)卷積在大大降低計(jì)算復(fù)雜度的同時(shí)，能夠從全局空間提取全局特征和像素之間的交互信息。

同理可得水平方向上ParC-H計(jì)算方法為：

在分別使用水平方向與垂直方向的循環(huán)卷積來(lái)計(jì)算完特征后，將其在通道維度進(jìn)行拼接，便完成了對(duì)全局特征的提取，但視網(wǎng)膜血管分割任務(wù)對(duì)于細(xì)節(jié)特征信息要求較高，因此繼續(xù)使用3×3卷積塊來(lái)進(jìn)一步細(xì)化特征，加強(qiáng)局部特征的表達(dá)。

在交替使用傳統(tǒng)卷積與循環(huán)卷積對(duì)輸入特征圖的局部、全局特征提取后，為鼓勵(lì)淺層次特征的融合與深層次特征的競(jìng)爭(zhēng)，模塊使用ECA 注意力來(lái)進(jìn)行特征過(guò)濾，相較于以往卷積模塊通常使用的SE 通道信息注意力[24]，ECA 注意力避免了SE 通道注意力需要降維來(lái)進(jìn)行跨通道交互的弊端。

如圖3所示，ECA注意力使用不降維的GAP聚合卷積特征后，首先自適應(yīng)確定核大小k，然后進(jìn)行一維卷積，再通過(guò)Sigmoid 激活函數(shù)學(xué)習(xí)通道方向上的注意力，有效地捕獲了各通道之間的依賴，最終輸出經(jīng)過(guò)過(guò)濾后的特征圖x∈RH′×W′×C′。

圖3 ECA注意力模塊Fig.3 ECA attention block

2.3 多尺度輸入模塊

在U-Net網(wǎng)絡(luò)及各種變體中，多級(jí)下采樣操作是擴(kuò)大感受野、提取圖像全局、局部特征與位置信息的常用手段，但原始圖像在經(jīng)過(guò)多次下采樣的過(guò)程中，類似微小血管的形態(tài)分布特征與精確位置信息會(huì)發(fā)生丟失，降低網(wǎng)絡(luò)特征提取的效果。本文在網(wǎng)絡(luò)下采樣過(guò)程中，通過(guò)數(shù)個(gè)多尺度輸入模塊，對(duì)編碼器每一層級(jí)提取后的特征進(jìn)行加強(qiáng)，避免因細(xì)節(jié)丟失而導(dǎo)致的分割精度降低。

多尺度輸入模塊設(shè)計(jì)如圖4所示，對(duì)于原始特征圖x∈RH×W×C，根據(jù)不同編碼層級(jí)的特征圖尺寸，經(jīng)過(guò)相應(yīng)大小的池化層，然后使用3×3的卷積塊來(lái)細(xì)化經(jīng)過(guò)最大池化后的特征，最終使用BN層進(jìn)行批標(biāo)準(zhǔn)化，獲得校準(zhǔn)后的輸出。

圖4 多尺度輸入模塊Fig.4 Multi-scale input module

2.4 殘差雙注意力模塊

眼底血管分布較為不均，其中血管分支紋路較為多變，在下采樣過(guò)程中極易丟失這部分血管細(xì)節(jié)特征信息，為提高分割準(zhǔn)確率，本文在原始U-Net 跳躍連接的基礎(chǔ)上，結(jié)合空間、通道注意力機(jī)制與殘差連接思想，提出殘差雙注意力模塊，來(lái)對(duì)每一層級(jí)跳躍連接中的特征進(jìn)行細(xì)化與過(guò)濾，通過(guò)卷積操作與注意力機(jī)制來(lái)強(qiáng)化血管的邊緣特征并抑制那些會(huì)對(duì)血管分割產(chǎn)生干擾的噪聲信息。

殘差雙注意力模塊設(shè)計(jì)如圖5所示，對(duì)于輸入特征圖x∈RH′×W′×C′，使用兩個(gè)3×3 卷積塊、BN 層（batch normalization）、Relu激活函數(shù)來(lái)對(duì)微小血管特征進(jìn)行強(qiáng)化學(xué)習(xí)，然后將處理后的特征圖通過(guò)CBAM模塊[25]來(lái)對(duì)潛在噪聲干擾進(jìn)行抑制，并提升那些會(huì)包含分割目標(biāo)類別特征的通道權(quán)重，使得血管特征更加突出，加強(qiáng)跳躍連接的效果，最終結(jié)合殘差連接的思想，將輸入特征圖x∈RH′×W′×C′與經(jīng)過(guò)權(quán)重計(jì)算后的特征執(zhí)行相加操作，得到經(jīng)過(guò)模塊處理后的特征圖x∈RH′×W′×C′。

圖5 殘差雙重注意力模塊Fig.5 Residual spatial channel attention block

CBAM模塊結(jié)合了通道（Channel）注意力機(jī)制和空間（Spatial）注意力機(jī)制，在維度和空間兩個(gè)方向上對(duì)輸入特征進(jìn)行了權(quán)重計(jì)算，實(shí)現(xiàn)了通道注意力與空間注意力的雙機(jī)制。模塊的結(jié)構(gòu)圖如圖6所示，先將輸入特征F經(jīng)過(guò)通道注意力模塊得到模塊輸出Fc，再將輸出Fc輸入空間注意力模塊得到最終的輸出F′。

圖6 CBAM模塊Fig.6 CBAM module

通道注意力模塊如圖7所示，輸入特征圖F分別經(jīng)過(guò)全局平均池化和全局最大池化，生成兩個(gè)大小為(C′,1,1)的權(quán)重向量，將這兩個(gè)權(quán)重向量送入同一個(gè)共享參數(shù)的MLP 網(wǎng)絡(luò)，并將經(jīng)過(guò)此網(wǎng)絡(luò)映射后的兩個(gè)權(quán)重相加，經(jīng)過(guò)一個(gè)Sigmoid 激活函數(shù)后與原輸入特征圖F相乘，得到通道注意力模塊的輸出Fc。

圖7 通道注意力模塊Fig.7 Channel attention module

空間注意力模塊如圖8 所示，輸入特征圖Fc分別經(jīng)過(guò)全局平均池化和全局最大池化，生成兩個(gè)大小為(1,H,W)的權(quán)重向量，將這兩個(gè)特征圖在維度方向進(jìn)行堆疊，形成特征圖空間權(quán)重，并通過(guò)一個(gè)卷積層來(lái)將堆疊后的特征圖變成特征空間權(quán)重，經(jīng)過(guò)一個(gè)Sigmoid 激活函數(shù)后與輸入特征圖Fc相乘，得到模塊的最終輸出F′。

圖8 空間注意力模塊Fig.8 Spatial attention module

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

CHASE_DB1 數(shù)據(jù)集[26]：CHASE_DB1 是一個(gè)包含28 張30°視場(chǎng)FOV 下的彩色視網(wǎng)膜圖像，大小為999×960，每一幅圖像都由兩個(gè)這方面的專家進(jìn)行人工注釋。在本文實(shí)驗(yàn)中，將按照8∶1∶1的比例將圖片劃分為訓(xùn)練集、驗(yàn)證集與測(cè)試集。

Drive 數(shù)據(jù)集[27]：Drive 是一個(gè)用于視網(wǎng)膜血管分割的彩色視網(wǎng)膜圖像數(shù)據(jù)集，它由40張照片組成，大小為565×584，其中7 張顯示出輕度早期糖尿病視網(wǎng)膜病變跡象。每幅圖像都由2 位不同專家的手工標(biāo)注，如圖9所示。在本文實(shí)驗(yàn)中，將按照8∶1∶1的比例將圖片劃分為訓(xùn)練集、驗(yàn)證集與測(cè)試集。

圖9 DRIVE數(shù)據(jù)集部分圖像Fig.9 Partial image of DRIVE

3.2 數(shù)據(jù)預(yù)處理

原始的視網(wǎng)膜圖像對(duì)比度較低，血管分布不明顯，且噪聲干擾較多，對(duì)視網(wǎng)膜血管分割任務(wù)有一定的影響，會(huì)降低分割的精確度。因此在將數(shù)據(jù)集圖片輸入網(wǎng)絡(luò)模型之前，會(huì)對(duì)其進(jìn)行預(yù)處理，包括（1）灰度轉(zhuǎn)換；（2）圖像標(biāo)準(zhǔn)化；（3）對(duì)比度受限自適應(yīng)直方圖均衡化；（4）伽馬校正。在完成前幾個(gè)步驟之后，由于Drive數(shù)據(jù)集與CHASE_DB1數(shù)據(jù)集提供的訓(xùn)練圖片較少，不能很好地提高網(wǎng)絡(luò)的泛化性，需要對(duì)圖片進(jìn)行切片擴(kuò)充操作[28]：使用48×48大小的窗口隨機(jī)切分經(jīng)過(guò)預(yù)處理之后的眼底圖片和相對(duì)應(yīng)的金標(biāo)準(zhǔn)，并對(duì)切分好的視網(wǎng)膜圖片進(jìn)行隨機(jī)翻轉(zhuǎn)，共切分出24 830 張訓(xùn)練圖片，部分切片后的圖片如圖10所示。

圖10 部分切片后的圖像及其對(duì)應(yīng)的金標(biāo)準(zhǔn)Fig.10 Partial slice image and corresponding gold standard

在測(cè)試階段，使用同樣大小的滑動(dòng)窗口來(lái)對(duì)測(cè)試圖片進(jìn)行切分，并在推理完成后將切分后的預(yù)測(cè)圖片進(jìn)行還原拼接，得到最終分割結(jié)果。

3.3 評(píng)價(jià)指標(biāo)

在圖像分割任務(wù)中，準(zhǔn)確率（ACC）、特異性（SP）、靈敏度（SE）、F1-score和受試者工作特征曲線ROC下的面積（AUC）五個(gè)指標(biāo)常作為評(píng)價(jià)模型分割結(jié)果優(yōu)劣的標(biāo)準(zhǔn)，本文也將其作為評(píng)價(jià)指標(biāo)，其公式如表1所示。

表1 評(píng)價(jià)指標(biāo)的公式Table 1 Formula of evaluation index

其中，真陽(yáng)性TP為正確分類的血管像素個(gè)數(shù)，真陰性TN正確分類的背景點(diǎn)像素個(gè)數(shù)，假陽(yáng)性FP為背景像素誤分成血管像素的個(gè)數(shù)，假陰性FN 為血管像素誤分成背景像素的個(gè)數(shù)。

3.4 實(shí)驗(yàn)設(shè)置

本文所有的實(shí)驗(yàn)代碼都是在PyTorch 1.11.0 框架中實(shí)現(xiàn)的，在訓(xùn)練與測(cè)試階段，模型運(yùn)行在一個(gè)包含NVIDIA GeForce RTX 2080Ti、32 GB 內(nèi) 存、3700x CPU、Ubuntu 20.04操作系統(tǒng)的實(shí)驗(yàn)平臺(tái)上。在訓(xùn)練中使用AdamW作為優(yōu)化器并采用余弦退火學(xué)習(xí)率優(yōu)化算法來(lái)讓模型有更好的性能表現(xiàn)，其中初始學(xué)習(xí)速率為1E-5，最終學(xué)習(xí)速率為1E-6，批量大小設(shè)置為64，epoch輪數(shù)設(shè)置為50，細(xì)節(jié)參數(shù)設(shè)置如表2所示。

表2 訓(xùn)練參數(shù)設(shè)置Table 2 Training parameter setting

3.5 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文所提出方法在視網(wǎng)膜血管分割上的有效性和可行性，在DRIVE 和CHASE_DB1 兩個(gè)常用公開(kāi)數(shù)據(jù)集上對(duì)MPR-Net 與其他表現(xiàn)優(yōu)異的基于深度學(xué)習(xí)的分割方法進(jìn)行比較，比較結(jié)果如表3和表4所示，其中最優(yōu)指標(biāo)加粗表示。

表3 MPR-Net與其他方法在DRIVE數(shù)據(jù)集上的比較Table 3 Comparison between MPR-Net with other methods on DRIVE 單位：%

表4 MPR-Net與其他方法在CHASE_DB1數(shù)據(jù)集上的比較Table 4 Comparison between MPR-Net with other methods on CHASE_DB1 單位：%

由表3、表4可以看出，本文所提出方法在兩個(gè)不同眼底圖像數(shù)據(jù)集上表現(xiàn)優(yōu)異，在眼底血管分割性能上強(qiáng)于其他分割網(wǎng)絡(luò)模型，在DRIVE數(shù)據(jù)集上，MPR-Net的F1-score 系數(shù)、ACC 系數(shù)、AUC 系數(shù)三個(gè)主要指標(biāo)均已達(dá)到最優(yōu)并相較于次優(yōu)的模型分別提高了0.10、0.15、0.13個(gè)百分點(diǎn)。在CHASE_DB1數(shù)據(jù)集上，MPR-Net的F1-score 系數(shù)、SP 系數(shù)、AUC 系數(shù)三個(gè)主要指標(biāo)達(dá)到最優(yōu)，相較于次優(yōu)的模型分別提高了1.21、0.14、0.09 個(gè)百分點(diǎn)。

圖11是使用典型視網(wǎng)膜分割方法與本文方法的對(duì)比圖，可以看出本文方法相較U-Net、LadderNet 在圖像微小血管分割方面有更好的表現(xiàn)，特別是微小血管的鏈接處與分叉末梢，由圖11可以看出，U-Net、LadderNet在分割這些區(qū)域時(shí)，有較為嚴(yán)重的血管斷裂現(xiàn)象，且血管邊界模糊。本文提出的方法則極大地改善了分割時(shí)微小血管斷裂的現(xiàn)象，并保留了清晰光滑的血管邊界。同時(shí)在對(duì)比度較低、受偽影干擾較多的區(qū)域，依舊能精確定位血管位置，正確區(qū)分背景與分割目標(biāo)，這說(shuō)明本文提出的方法在處理視網(wǎng)膜血管分割任務(wù)時(shí)具有較強(qiáng)的魯棒性與泛化性。模型中的ParC-ECA模塊能改善傳統(tǒng)卷積塊在微小血管目標(biāo)特征提取方面存在的不足。該模塊中的ParC（位置敏感循環(huán)卷積）可以同時(shí)獲得全局感受野和位置敏感特征，從而挖掘視網(wǎng)膜血管圖像中容易丟失的位置特征信息。而ECA注意力機(jī)制可以進(jìn)一步增強(qiáng)模型對(duì)分割目標(biāo)的關(guān)注度，從而提升分割性能。同時(shí)多尺度輸入模塊能避免分割過(guò)程中因多重下采樣導(dǎo)致的血管細(xì)節(jié)丟失，在每一層級(jí)對(duì)目標(biāo)特征信息進(jìn)行補(bǔ)充。同時(shí)模型在跳躍連接中使用了RSCA 殘差雙注意力模塊來(lái)避免多余噪聲對(duì)定位血管邊界的干擾，在跳躍連接中對(duì)分割目標(biāo)關(guān)鍵信息進(jìn)行重校準(zhǔn)，由圖11 可以看出，本文方法能保留更多微小血管形態(tài)特征，血管丟失的情況更少。

圖12展示了本文方法在DRIVE數(shù)據(jù)集與CHASE_DB1數(shù)據(jù)集上的ROC曲線圖，其中圖12（a）部分表示本文方法在DRIVE數(shù)據(jù)集上的ROC曲線，（b）部分則表示本文方法在CHASE_DB1數(shù)據(jù)集上的ROC曲線。ROC曲線反映了假陽(yáng)性樣本（FPR）和真陽(yáng)性樣本（TPR）之間的關(guān)系，其中AUC（area under curve）被定義為ROC 曲線下與坐標(biāo)軸圍成的面積，當(dāng)AUC 的值越貼近1 說(shuō)明模型的性能越好，本文方法在2 個(gè)數(shù)據(jù)集上的AUC 值分別為0.984 3 和0.988 1，相對(duì)于其他主流分割方法均有所提高。

圖12 本文方法在兩個(gè)數(shù)據(jù)集上的ROC曲線圖Fig.12 ROC curves of proposed method on two datasets

在視網(wǎng)膜血管分割任務(wù)中，模型常常會(huì)出現(xiàn)網(wǎng)絡(luò)過(guò)擬合與退化問(wèn)題，本文在數(shù)據(jù)處理時(shí)對(duì)兩個(gè)數(shù)據(jù)集進(jìn)行了數(shù)據(jù)增強(qiáng)與切片擴(kuò)充，防止因數(shù)據(jù)樣本不足而導(dǎo)致的過(guò)擬合問(wèn)題，同時(shí)網(wǎng)絡(luò)在編碼路徑中每一層級(jí)都通過(guò)多尺度輸入模塊對(duì)輸入特征進(jìn)行加強(qiáng)，使得網(wǎng)絡(luò)的泛化性與健壯性得到提升，避免網(wǎng)絡(luò)性能隨著訓(xùn)練反而出現(xiàn)退化。

3.6 消融實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證MPR-Net中各模塊的有效性，本文將在公共數(shù)據(jù)集DRIVE、CHASE_DB1 上進(jìn)行消融實(shí)驗(yàn)，結(jié)果如表5、表6所示，其中最優(yōu)指標(biāo)加粗表示。

表5 MPR-Net在DRIVE數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果Table 5 Results of ablation experiments on DRIVE單位：%

表6 MPR-Net在CHASE_DB1數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果Table 6 Results of ablation experiments on CHASE_DB1單位：%

由表5 可知，在DRIVE 數(shù)據(jù)集上，在原始U-Net 網(wǎng)絡(luò)的基礎(chǔ)上，將DoubleConv Block 替換為ParC-ECA Block 后，F(xiàn)1-score、ACC 系數(shù)、SE 敏感性系數(shù)、SP 特異性系數(shù)、AUC 系數(shù)都分別上升了2.86、0.45、1.03、0.41、0.51 個(gè)百分點(diǎn)，這說(shuō)明了相較于基于傳統(tǒng)卷積塊的網(wǎng)絡(luò)，融合普通卷積、位置感知循環(huán)卷積與ECA注意力的ParC-ECA Block能更好地提取圖像的全局、局部特征，包括微小血管的形態(tài)與位置信息。在以U-Net為基礎(chǔ)的網(wǎng)絡(luò)上添加RSCA 殘差雙注意力模塊則在F1-score、ACC系數(shù)上有較大提升，表明RSCA模塊通過(guò)對(duì)跳躍連接中的特征進(jìn)行雙注意力校準(zhǔn)與殘差連接能有效過(guò)濾那些背景噪聲的干擾，提升分割準(zhǔn)確性。在U-Net網(wǎng)絡(luò)上添加Multi-Scale Input 多尺度輸入模塊能有效提升F1-score、ACC 系數(shù)、SP 系數(shù)、AUC 系數(shù)，在每一層級(jí)上對(duì)輸入特征進(jìn)行加強(qiáng)，找回因下采樣過(guò)程中丟失的細(xì)節(jié)信息，避免網(wǎng)絡(luò)退化。在分別完成各模塊對(duì)網(wǎng)絡(luò)的影響測(cè)試后，將ParC-ECA Block、Multi-Scale Input 多尺度輸入模塊、RSCA殘差雙注意力模塊與U-Net進(jìn)行整合，即MPR-Net，F(xiàn)1-score、ACC 系數(shù)、SE 敏感性系數(shù)、SP 特異性系數(shù)、AUC 系數(shù)相較于基線U-Net 模型，分別提高了3.31、0.6、4.99、0.09 和0.54 個(gè)百分點(diǎn)，說(shuō)明了本文提出方法的有效性。

表6 數(shù)據(jù)顯示，在CHASE_DB1 數(shù)據(jù)集上，增加了各個(gè)模塊的基線網(wǎng)絡(luò)評(píng)價(jià)指標(biāo)較原始U-Net 均有所提升，而融合各個(gè)模塊的MPR-Net 網(wǎng)絡(luò)模型在F1-score、ACC 系數(shù)、SE 敏感性系數(shù)、SP 特異性系數(shù)、AUC 系數(shù)上，較之基線U-Net 模型分別提高了5.56、1.06、2.09、0.41 和0.77 個(gè)百分點(diǎn)?？梢钥闯觯疚奶岢龅姆椒?，改進(jìn)了以往基于深度學(xué)習(xí)方法在視網(wǎng)膜血管分割中常見(jiàn)的血管位置信息丟失、受噪聲干擾大、網(wǎng)絡(luò)退化的問(wèn)題，并在各項(xiàng)評(píng)價(jià)指標(biāo)中對(duì)比其他先進(jìn)模型均有一定領(lǐng)先，能較好地完成視網(wǎng)膜血管分割任務(wù)。

4 結(jié)束語(yǔ)

針對(duì)視網(wǎng)膜眼底圖像血管分割精度低的問(wèn)題，本文提出一種結(jié)合位置感知循環(huán)卷積、多尺度輸入的視網(wǎng)膜血管分割方法。在編碼路徑上使用具有位置感知循環(huán)卷積、普通卷積與ECA注意力的ParC-ECA模塊來(lái)提取視網(wǎng)膜血管全局、局部特征信息并結(jié)合多尺度輸入模塊來(lái)找回因多次下采樣操作丟失的細(xì)節(jié)特征；在跳躍連接中使用殘差雙注意力模塊來(lái)抑制對(duì)會(huì)分割結(jié)果造成干擾的特征表達(dá)、加強(qiáng)對(duì)微小血管特征的學(xué)習(xí)，提高網(wǎng)絡(luò)精確分割視網(wǎng)膜血管的能力。實(shí)驗(yàn)結(jié)果表明，本文方法在視網(wǎng)膜血管分割任務(wù)中有較好的表現(xiàn)，優(yōu)于現(xiàn)有方法，不僅具有較好的魯棒性與泛化性，而且對(duì)微小血管也有較高的定位分割能力。但模型中多尺度輸入模塊對(duì)編碼路徑中每一層級(jí)特征融合方式仍有改進(jìn)的空間，在后續(xù)的工作中，將嘗試?yán)^續(xù)改進(jìn)此方法，使其在視網(wǎng)膜血管分割中有更好的表現(xiàn)。