融合ResNet 結(jié)構(gòu)的U-Net 眼底視盤分割方法

（上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

0 引言

近年來青光眼和糖尿病的患者人數(shù)不斷攀升［1］。糖尿病的常見并發(fā)癥是糖尿病性視網(wǎng)膜病變，如果得不到及時(shí)診斷和治療容易造成視力損失甚至失明。青光眼嚴(yán)重時(shí)也會(huì)造成視力下降或失明。這兩種疾病的診斷通常需要對(duì)視盤進(jìn)行準(zhǔn)確定位和分析。

眼科醫(yī)生在診斷時(shí)通常需耗費(fèi)大量的時(shí)間和精力來估計(jì)視盤的位置和大小，這種診斷方法具有較強(qiáng)的主觀性，個(gè)人經(jīng)驗(yàn)的不同會(huì)影響診斷結(jié)果。計(jì)算機(jī)輔助診斷技術(shù)是快速準(zhǔn)確分析青光眼和糖尿病視網(wǎng)膜病變的重要方法，其核心步驟是定位和分割彩色眼底圖像中的視盤。

視網(wǎng)膜眼底圖像中視盤是一塊亮白色類圓形區(qū)域。傳統(tǒng)的視盤分割方法分為基于邊緣、形狀和區(qū)域3 類［2］。Xu 等［3］利用全局橢圓參數(shù)與局部變形模型相結(jié)合的方法分割視盤邊界。初始曲線位置的確定對(duì)分割結(jié)果影響較大，在對(duì)比度較低的眼底圖像中收斂效果較差；Morales等［4］用圓或橢圓擬合視盤邊界，但因視盤的形狀特征不規(guī)則，會(huì)造成分割偏差；Reza 等［5］利用加入標(biāo)記的分水嶺變換算法將眼底圖像分割成不同區(qū)域并進(jìn)行標(biāo)記修改，但分割結(jié)果受亮病灶干擾嚴(yán)重。傳統(tǒng)視盤分割方法提取特征類型較為單一，對(duì)視盤的亮度特征及形狀特征有較大的依賴性，泛化性能較弱［6］。

基于深度學(xué)習(xí)的方法在進(jìn)行視盤分割任務(wù)時(shí)表現(xiàn)較為優(yōu)異。神經(jīng)網(wǎng)絡(luò)能夠使分割過程自動(dòng)執(zhí)行，自主學(xué)習(xí)眼底圖像中的特征表達(dá)，有效提取視盤的特征信息，分辨能力強(qiáng)，提高了視盤分割效率［7］。牛笛［8］提出利用顯著圖和卷積網(wǎng)絡(luò)結(jié)合定位視盤，去除血管后再進(jìn)行視盤分割的方法；Maninis 等［9］提出卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)技術(shù)相結(jié)合的視盤分割方法；Cheng 等［10］利用全卷積網(wǎng)絡(luò)（FCNs）學(xué)習(xí)視網(wǎng)膜圖像和相應(yīng)的分割圖之間的映射，實(shí)現(xiàn)視盤分割；Sevastopolsky 等［11］提出對(duì)視網(wǎng)膜圖像進(jìn)行裁剪，通過選取感興趣的視盤區(qū)域減少病灶的干擾，再使用U-Net 網(wǎng)絡(luò)對(duì)感興趣區(qū)域進(jìn)行視盤分割；Fu 等［12］提出多尺度輸入輸出和多標(biāo)簽損失函數(shù)組成的深度網(wǎng)絡(luò)M-Net 模型分割視盤。該方法將提取的感興趣區(qū)域轉(zhuǎn)換為極坐標(biāo)，提高了分割精度；Baidaa 等［13］使用融合密集模塊的全卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)視盤分割。

眼底圖像數(shù)據(jù)量較少，圖像語義結(jié)構(gòu)固定，在視盤分割過程中高級(jí)語義信息與底層結(jié)構(gòu)特征采集都非常重要。對(duì)帶病灶眼底圖像的視盤進(jìn)行分割時(shí)常常會(huì)受到滲出液等亮病灶干擾。基于U-Net 網(wǎng)絡(luò)的分割方法其U 型結(jié)構(gòu)及跳躍連接能有效傳遞高層與底層信息，但網(wǎng)絡(luò)層數(shù)較少，無法提取高層次特征信息［14］。利用U-Net 分割出的視盤定位準(zhǔn)確，但受血管和亮病灶影響較大，分割效果欠佳。

本文提出融合殘差網(wǎng)絡(luò)（Residual Network）結(jié)構(gòu)［15］和U-Net 網(wǎng)絡(luò)結(jié)構(gòu)的視盤分割方法。殘差模塊的跳躍連接能將淺層特征傳遞給更深一層網(wǎng)絡(luò)，實(shí)現(xiàn)淺層特征的重復(fù)使用，增強(qiáng)圖像細(xì)節(jié)學(xué)習(xí)，在網(wǎng)絡(luò)訓(xùn)練過程中能夠?qū)崿F(xiàn)同時(shí)學(xué)習(xí)圖像細(xì)節(jié)特征和全局結(jié)構(gòu)特征，更好地區(qū)分視盤與亮病灶。

1 預(yù)處理

采集彩色眼底圖像時(shí)存在諸多外部因素干擾，比如成像機(jī)器位置偏差、角度偏差以及光照不均勻等。為消除光照不均及背景噪聲對(duì)視盤分割的影響，需對(duì)彩色眼底圖像進(jìn)行預(yù)處理，預(yù)處理步驟如圖1 所示。

Fig.1 Pretreatment steps圖1 預(yù)處理步驟

首先對(duì)圖像進(jìn)行裁剪去除多余背景部分，裁剪后圖像大小為500×500。利用文獻(xiàn)［16］中提出的IRHSF（Iterative Robust Homomorphic surface Fitting）去光照方法，根據(jù)視盤結(jié)構(gòu)及病灶的反射性質(zhì)，通過濾波、擬合等方式估計(jì)各區(qū)域的反射分量并進(jìn)行區(qū)分與排除［17］。用設(shè)定值將檢測(cè)到的視盤、黃斑和血管屏蔽，建立曲面模型對(duì)剩下的結(jié)構(gòu)進(jìn)行光照分量建模。處理后的眼底圖像中較暗的部分顯示清晰，且整張圖像對(duì)比飽和度均勻，去光照后的眼底圖像如圖2（b）（彩圖掃OSID 碼可見，下同）所示。

接下來將去光照后的眼底圖像進(jìn)行灰度標(biāo)準(zhǔn)化，將三通道圖像轉(zhuǎn)換成單通道圖像處理。提取彩色眼底圖像的3個(gè)通道進(jìn)行觀察，發(fā)現(xiàn)視盤的主要特征集中在紅色通道和綠色通道中，尤以綠色通道為多。本文選取25% 的紅色通道分量與75% 的綠色通道分量疊加進(jìn)行灰度化，盡可能保留最多的視盤特征，其公式定義如下：

I表示轉(zhuǎn)換后的單通道圖像，Ig和Ir是綠色通道及紅色通道分量。將彩色圖像轉(zhuǎn)換成灰度圖像再進(jìn)行后續(xù)分割處理也是減少數(shù)據(jù)計(jì)算量的有效方式。

增強(qiáng)圖像對(duì)比度能突出視盤的亮度特征，更有利于分割視盤。本文選用限制對(duì)比度的自適應(yīng)直方圖均衡化方法，通過計(jì)算圖像局部區(qū)域的直方圖重新分配圖像的灰度值，有效提高圖像局部對(duì)比度，同時(shí)增強(qiáng)圖像的邊緣信息，抑制噪聲增強(qiáng)。

最后，利用gamma 校正技術(shù)對(duì)圖像進(jìn)行亮度偏差較正，使圖像中明亮部分得到增強(qiáng)，灰暗部分得到削弱。預(yù)處理后的灰度圖像如圖2（c）所示，圖像整體對(duì)比度飽和度均勻，光照較暗區(qū)域圖像還原度高，灰度圖像中細(xì)節(jié)信息完整，視盤亮度特征明顯，病灶特征細(xì)節(jié)被模糊，處理結(jié)果有利于視盤分割。

Fig.2 Comparison before and after pretreatment圖2 預(yù)處理前后對(duì)比

2 視盤分割模型

基于U-Net 網(wǎng)絡(luò)的分割方法能夠提取圖像的淺層特征，但因網(wǎng)絡(luò)層數(shù)較少而無法提取高層次特征信息，圖像細(xì)節(jié)學(xué)習(xí)不夠，在視盤分割時(shí)常常受到血管及亮病灶等干擾。一般情況是網(wǎng)絡(luò)層數(shù)增加提取特征能力增強(qiáng)，但He等［15］發(fā)現(xiàn)當(dāng)網(wǎng)絡(luò)深度增加時(shí)，網(wǎng)絡(luò)準(zhǔn)確率并沒有隨之升高。這是因?yàn)榫W(wǎng)絡(luò)訓(xùn)練輸出層附近的隱藏層參數(shù)達(dá)到最優(yōu)時(shí)，輸入層附近的隱藏層參數(shù)較輸入時(shí)參數(shù)變化不明顯，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練效果欠佳，如出現(xiàn)反向梯度傳播時(shí)極可能產(chǎn)生梯度無窮小情況。

2.1 ResNet 結(jié)構(gòu)

殘差網(wǎng)絡(luò)（ResNet）可有效解決網(wǎng)絡(luò)的梯度消失或退化問題，使網(wǎng)絡(luò)更容易在某些層學(xué)習(xí)到恒等變換（Identity Mapping）。恒等變換是一種構(gòu)造性解決方法，將網(wǎng)絡(luò)設(shè)計(jì)為H(x)=F(x) +x，使恒等映射為網(wǎng)絡(luò)的一部分。然而，當(dāng)F(x)=0 時(shí)，恒等映射H(x)=x構(gòu)造難度較大。構(gòu)建殘差函數(shù)F(x)=H(x) -x，將恒等映射問題轉(zhuǎn)化為擬合殘差，不增加額外參數(shù)和計(jì)算復(fù)雜度。使用有參網(wǎng)絡(luò)層學(xué)習(xí)輸入與輸出之間的殘差，其結(jié)構(gòu)如圖3 所示。

Fig.3 Residual network structure圖3 殘差網(wǎng)絡(luò)結(jié)構(gòu)

擬合殘差映射方式能減小網(wǎng)絡(luò)退化問題，加強(qiáng)淺層網(wǎng)絡(luò)與深層網(wǎng)絡(luò)之間特征信息的傳播，實(shí)現(xiàn)跨通道信息整合，將淺層網(wǎng)絡(luò)的原始輸入信息直接傳遞到深層網(wǎng)絡(luò)，同時(shí)減少網(wǎng)絡(luò)參數(shù)生成數(shù)量，減少計(jì)算量，加快網(wǎng)絡(luò)運(yùn)行速度。

2.2 融合ResNet 結(jié)構(gòu)的U-Net 分割模型

融合ResNet 結(jié)構(gòu)的U-Net 網(wǎng)絡(luò)結(jié)構(gòu)框架延續(xù)U-Net網(wǎng)絡(luò)的框架對(duì)稱結(jié)構(gòu)，由編碼路徑和解碼路徑組成。原始U-Net 結(jié)構(gòu)能夠同時(shí)結(jié)合淺層特征信息與高層特征信息，利用較少的樣本數(shù)據(jù)進(jìn)行端到端的學(xué)習(xí)訓(xùn)練。本文在原始U-Net 網(wǎng)絡(luò)結(jié)構(gòu)上采樣和下采樣中分別加入ResNet 結(jié)構(gòu)，ResNet 結(jié)構(gòu)的跳躍連接將提取的特征信息重復(fù)學(xué)習(xí)，消除亮病灶等噪聲干擾，進(jìn)而增強(qiáng)圖像分割的準(zhǔn)確性。融合ResNet 結(jié)構(gòu)的U-Net 分割模型如圖4 所示。

加入ResNet 結(jié)構(gòu)的U-Net 網(wǎng)絡(luò)編碼路徑結(jié)構(gòu)每一層級(jí)由卷積核為3×3 的卷積層、核為2×2 大小的最大池化層以及殘差網(wǎng)絡(luò)模塊組成，選取ReLU 函數(shù)作為激活函數(shù)。ResNetBlock 是在卷積層基礎(chǔ)上建立的跳躍連接，將上層獲取的特征信息跨層傳遞給下一層級(jí)網(wǎng)絡(luò)，實(shí)現(xiàn)淺層特征的重復(fù)使用。下采樣主要用來獲取上下文信息，提取輸入圖像特征。解碼路徑每一層級(jí)則采用2×2 大小的卷積核進(jìn)行上采樣操作，同時(shí)將下采樣過程中提取的淺層特征信息通過跳躍連接，與相應(yīng)上采樣過程中的深層特征信息進(jìn)行融合。卷積層使用3×3 大小的卷積核進(jìn)行操作，并加入ResNetBlock，將上一層采集的特征信息輸入進(jìn)上采樣恢復(fù)的卷積層中。最后一層采用1×1 大小的卷積核進(jìn)行卷積運(yùn)算，將特征向量映射到期望數(shù)量的分類，實(shí)現(xiàn)網(wǎng)絡(luò)端對(duì)端輸出，保證輸出圖像與輸入圖像大小相同。

Fig.4 U-Net segmentation model fused with ResNet structure圖4 融合ResNet 結(jié)構(gòu)的U-Net 分割模型

融合殘差網(wǎng)絡(luò)的U-Net 分割模型不僅增加了網(wǎng)絡(luò)深度，而且重復(fù)利用提取的淺層特征信息，增強(qiáng)圖像細(xì)節(jié)學(xué)習(xí)，能夠使深層的網(wǎng)絡(luò)模型性能不低于淺層網(wǎng)絡(luò)模型。前向傳播時(shí)將提供的特征重復(fù)使用，反向傳播時(shí)緩解梯度信號(hào)消失，使網(wǎng)絡(luò)模型得到優(yōu)化，學(xué)習(xí)能力更強(qiáng)，收斂更快。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)準(zhǔn)備

本網(wǎng)絡(luò)模型訓(xùn)練與測(cè)試實(shí)驗(yàn)均在PyCharm 平臺(tái)上進(jìn)行，主要使用Keras 和TensorFlow 框架。計(jì)算機(jī)配置為16G 內(nèi)存的Intel?Core?i7-7700 CPU 處理器，8GB 顯存的NVIDIA GeForce GTX 2080Ti 顯卡。

通過Messidor 和Kaggle 彩色眼底圖像數(shù)據(jù)集進(jìn)行視盤分割實(shí)驗(yàn)及驗(yàn)證。將Messidor 數(shù)據(jù)集中600 張預(yù)處理后的圖片作為訓(xùn)練樣本，100 張預(yù)處理后的圖片作為測(cè)試樣本。Kaggle 數(shù)據(jù)集中存在較多的糖尿病視網(wǎng)膜病變眼底圖像，選取129 張正常及帶病灶圖像作為測(cè)試樣本，用于測(cè)試模型的泛化能力。

深度學(xué)習(xí)數(shù)據(jù)擴(kuò)充方法較為豐富，本文主要采用幾何變換后分塊的方法。將輸入的訓(xùn)練數(shù)據(jù)進(jìn)行隨機(jī)角度的翻轉(zhuǎn)、旋轉(zhuǎn)處理后進(jìn)行圖像隨機(jī)切割分塊。視盤分塊大小設(shè)置為128×128，約為視盤的兩倍，目的是保證訓(xùn)練數(shù)據(jù)中視盤類圓的形狀特征和位置特征。每張圖像中視盤占據(jù)位置較小，圖像分塊后存在正負(fù)樣本不均勻等情況，需對(duì)分塊后的圖像進(jìn)行欠采樣處理，并保證欠采樣前后數(shù)據(jù)分布一致，以實(shí)現(xiàn)圖像數(shù)據(jù)擴(kuò)充。

3.2 性能評(píng)價(jià)指標(biāo)

利用融合ResNet 結(jié)構(gòu)的U-Net 分割模型對(duì)輸入圖像數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練和優(yōu)化后，對(duì)Messidor 數(shù)據(jù)集中的100 張圖片和Kaggle 數(shù)據(jù)集中129 張圖片進(jìn)行測(cè)試，生成的測(cè)試結(jié)果為視盤分割概率圖。二分類問題是通過設(shè)定閾值得到的分割結(jié)果，利用一般的評(píng)價(jià)指標(biāo)對(duì)測(cè)試結(jié)果進(jìn)行評(píng)價(jià)會(huì)造成較大誤差。因此，本文根據(jù)視盤分割結(jié)果概率圖與Groundtruth 繪制ROC 曲線和PR 曲線，分別計(jì)算AUC 和MAP 值作為評(píng)價(jià)指標(biāo)。

ROC 曲線用來衡量網(wǎng)絡(luò)分割模型整體性能，是判斷視盤與非視盤區(qū)域的重要手段。在視盤分割過程中預(yù)測(cè)結(jié)果可能出現(xiàn)的情況如表1 所示。正確預(yù)測(cè)的視盤像素個(gè)數(shù)標(biāo)記為TP，被錯(cuò)誤預(yù)測(cè)的視盤像素個(gè)數(shù)標(biāo)記為FN，正確預(yù)測(cè)的背景像素個(gè)數(shù)標(biāo)記為TN，錯(cuò)誤預(yù)測(cè)的背景像素個(gè)數(shù)標(biāo)記為FP。

Table 1 Forecast result matrix表1 預(yù)測(cè)結(jié)果矩陣

ROC 曲線以假陽性概率（False Positive Rate，F(xiàn)PR）為橫軸，假陽性概率數(shù)學(xué)表達(dá)式如式（2）所示，即預(yù)測(cè)為視盤的像素為背景像素個(gè)數(shù)占實(shí)際背景像素個(gè)數(shù)的比值，比值越接近0 準(zhǔn)確率越高。以真陽性概率（True Positive Rate，TPR）為縱軸，其數(shù)學(xué)表達(dá)式如式（3）所示，即預(yù)測(cè)為視盤像素且實(shí)際為視盤像素的個(gè)數(shù)占所有實(shí)際為視盤像素個(gè)數(shù)的比值，比值越接近1 準(zhǔn)確率越高。

AUC（Area Under Curve）為ROC 曲線與坐標(biāo)軸圍成的面積，面積越接近于1 說明網(wǎng)絡(luò)分割模型準(zhǔn)確性越高。

在正負(fù)樣本不均衡的情況下，PR 曲線更能評(píng)估分割結(jié)果的優(yōu)異。查全率與查準(zhǔn)率是與正例有關(guān)的兩個(gè)指標(biāo)，能更好地判斷多個(gè)分割模型結(jié)果的預(yù)測(cè)情況。曲線橫坐標(biāo)為查全率（Recall），其與ROC 曲線中的真陽性率含義相同。曲線的縱坐標(biāo)為查準(zhǔn)率（Precision），數(shù)學(xué)表達(dá)式如式（4）所示，表示視盤像素被正確預(yù)測(cè)的個(gè)數(shù)占被預(yù)測(cè)為視盤像素總個(gè)數(shù)的比例。

PR 曲線越接近點(diǎn)（1，1），網(wǎng)絡(luò)模型的預(yù)測(cè)結(jié)果越精確。MAP 是PR 曲線與坐標(biāo)軸圍成的面積，MAP 越接近于1 網(wǎng)絡(luò)模型越完美。

3.3 實(shí)驗(yàn)結(jié)果及分析

在對(duì)網(wǎng)絡(luò)模型進(jìn)行改進(jìn)和優(yōu)化后，將訓(xùn)練樣本分別輸入U(xiǎn)-Net 網(wǎng)絡(luò)、加入Attention 的U-Net 網(wǎng)絡(luò)以及加入ResNet 的U-Net 網(wǎng)絡(luò)進(jìn)行訓(xùn)練。經(jīng)過迭代訓(xùn)練后，分別得到良好的參數(shù)模型，將Messidor 數(shù)據(jù)集與Kaggle 數(shù)據(jù)集的測(cè)試樣本進(jìn)行測(cè)試，測(cè)試結(jié)果如圖5 和圖6 所示。

通過觀察可以發(fā)現(xiàn)，僅利用U-Net 網(wǎng)絡(luò)模型進(jìn)行視盤分割結(jié)果如圖6 第3 列所示，在Messidor 數(shù)據(jù)集和Kaggle數(shù)據(jù)集上的測(cè)試分割結(jié)果存在較多噪聲干擾，分割的視盤邊界受血管影響較大，出現(xiàn)缺損現(xiàn)象，魯棒性欠佳。視盤處于主血管突出位置，融入Attention 的U-Net 網(wǎng)絡(luò)分割結(jié)果受血管影響較大，屏蔽血管能力不強(qiáng)，但其分割結(jié)果中噪聲較少，視盤定位較為準(zhǔn)確。融合ResNet 結(jié)構(gòu)的U-Net網(wǎng)絡(luò)模型用于分割視盤時(shí)表現(xiàn)最佳，分割結(jié)果如圖6 第5列所示。其視盤邊界清晰，未受到亮病灶及血管的影響。視盤位置學(xué)習(xí)準(zhǔn)確，受背景因素干擾小，屏蔽血管效果極佳。Kaggle 數(shù)據(jù)集上測(cè)試結(jié)果的ROC 曲線與PR 曲線如圖7 和圖8 所示。根據(jù)曲線計(jì)算出的AUC 值與MAP 值可以看出，加入ResNet 的U-Net 網(wǎng)絡(luò)模型生成的AUC 面積更大，驗(yàn)證算法和模型準(zhǔn)確性更高，MAP 值更接近1，網(wǎng)絡(luò)分割模型效果更好。由此可見，加入ResNet 的U-Net 網(wǎng)絡(luò)模型AUC 值與MAP 值較其它模型更大，即模型性能更佳，驗(yàn)證算法的準(zhǔn)確性更高。

Fig.5 Test results of different network models on the Messidor dataset圖5 Messidor 數(shù)據(jù)集上不同網(wǎng)絡(luò)模型測(cè)試結(jié)果

Fig.6 Test results of different network models on the Kaggle dataset圖6 Kaggle 數(shù)據(jù)集上不同網(wǎng)絡(luò)模型測(cè)試結(jié)果

Fig.7 Kaggle data set test ROC curve圖7 Kaggle 數(shù)據(jù)集測(cè)試ROC曲線

Fig.8 Kaggle data set test PR curve圖8 Kaggle 數(shù)據(jù)集測(cè)試PR 曲線

本文選用的兩個(gè)公開數(shù)據(jù)集中大多數(shù)眼底圖像均帶有病灶，對(duì)于一般病灶U-Net 加ResNet 網(wǎng)絡(luò)模型表現(xiàn)最佳。但當(dāng)眼底圖像背景區(qū)域出現(xiàn)與視盤亮度特征極其相似的情況時(shí)，視盤分割干擾較大，準(zhǔn)確率降低。視盤分割欠佳情況如圖9 所示。

Fig.9 Poor disc segmentation圖9 視盤分割欠佳情況

4 結(jié)語

本文基于U-Net 網(wǎng)絡(luò)的3 種不同網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行對(duì)比研究。在原始U-Net 網(wǎng)絡(luò)基礎(chǔ)上有一定改進(jìn)，網(wǎng)絡(luò)性能得到改善。加入注意力機(jī)制與殘差網(wǎng)絡(luò)的網(wǎng)絡(luò)模型能夠?qū)σ暠P分割任務(wù)產(chǎn)生積極作用，其中在U-Net 網(wǎng)絡(luò)中融入殘差網(wǎng)絡(luò)的模型魯棒性較強(qiáng)，實(shí)驗(yàn)證明其網(wǎng)絡(luò)模型泛化能力較強(qiáng)，分割性能得到明顯改善。對(duì)于眼底病灶較為復(fù)雜的眼底圖像存在大面積與視盤特征相似的連通區(qū)域，在執(zhí)行分割任務(wù)時(shí)屏蔽此類病灶使網(wǎng)絡(luò)模型，學(xué)習(xí)更高層次的特征是后續(xù)研究方向。