陸宇軒 向德輝

（蘇州大學(xué)電子信息學(xué)院 江蘇省蘇州市 215006）

1 引言

胰腺癌作為當下醫(yī)學(xué)技術(shù)重點關(guān)注的疾病之一，其嚴重影響人們的健康生活。早期癥狀不明顯以及極差的預(yù)后使得胰腺癌有著極高的死亡率。目前對于這種兇險的疾病最有效的治療方式仍然是手術(shù)切除。隨著醫(yī)學(xué)影像技術(shù)的發(fā)展，MR(Magnetic Resonance)成像技術(shù)在常規(guī)臨床診斷胰腺疾病中有著廣泛的應(yīng)用。從MR圖像中準確、自動的分割出患者的胰腺，可幫助醫(yī)生盡早發(fā)現(xiàn)胰腺的病變，快速的針對病灶采取治療手段，提升胰腺癌患者的存活幾率。

隨著深度學(xué)習(xí)的發(fā)展，越來越多的圖像分割方法被運用到醫(yī)學(xué)圖像的分割任務(wù)之中。由于胰腺本身位置的多變性與形狀的復(fù)雜性，使得類似區(qū)域生長算法、水平集算法、圖割法、閾值分割法等傳統(tǒng)分割算法難以實現(xiàn)胰腺的準確分割。目前，國內(nèi)外的研究學(xué)者們提出了很多基于深度學(xué)習(xí)的分割方法，取得了很多實質(zhì)性的進展。而在胰腺分割領(lǐng)域，多數(shù)的研究者采用兩階段的訓(xùn)練策略進行胰腺分割。粗分割階段網(wǎng)絡(luò)預(yù)測大致的胰腺位置，而后根據(jù)預(yù)測結(jié)果裁剪原圖以削弱胰腺周圍器官對胰腺分割的影響，裁剪后的圖像送入細分割網(wǎng)絡(luò)得到最終的分割結(jié)果。文獻采用超像素塊分類作為粗分割階段的結(jié)果，而后由5個UNet進行集成訓(xùn)練得到最終細分割階段的胰腺預(yù)測結(jié)果。文獻采用兩個3D網(wǎng)絡(luò)級聯(lián)的方式實現(xiàn)兩階段的粗細分割。文獻采用卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的方式，也獲得了較為不錯的分割結(jié)果。

上述的研究表明，深度學(xué)習(xí)方法能很好的完成有關(guān)胰腺的分割任務(wù)。然而胰腺病變帶來的胰腺形狀、體積上的巨大差異性，使得粗分割階段預(yù)測結(jié)果無法包含整個胰腺區(qū)域，從而降低最終胰腺分割效果。此外，多數(shù)的研究僅采用了一種掃描序列圖像進行分割，單一序列圖像所能提供的胰腺信息往往比較有限。MR成像本身具有非常靈活的成像方式，通過改變掃描參數(shù)可以獲得不同風(fēng)格的序列圖像。如圖1所示。利用這些多樣的MR圖像序列信息，往往可以更為準確地分割出患者的胰腺區(qū)域。

圖1：MRI的多種序列圖像

因此，本文創(chuàng)新性地提出一種多序列聯(lián)合分割模型，采用雙分支網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合多個序列的MR圖像信息自動、準確的分割病變胰腺。

2 方法介紹

多序列聯(lián)合分割模型的網(wǎng)絡(luò)框架基于ResNet架構(gòu)，其中整合了相關(guān)模型與融合策略。本文設(shè)計了3D編碼器的同步信息提取支路。該支路不僅可以交互各序列信息，也可以從空間維度上提取出各個序列的共性特征表示。此外本文還設(shè)計了獨立信息提取支路來提取單個序列中的獨立特征表示，其目的是彌補由于特征壓縮與共性提取而丟失的重要胰腺細節(jié)信息。融合階段采用注意力機制融合兩種分支提取出的共性特征表示與獨立特征表示，稱為特征融合，以強調(diào)最具代表性的胰腺分割特征。網(wǎng)絡(luò)架構(gòu)如圖2所示。

圖2：多序列聯(lián)合分割模型框架圖

2.1 特征提取

同步信息提取支路的輸入是由多個序列的2D切片圖像x∈R組成的3D體數(shù)據(jù)X∈R，N代表所用序列的數(shù)量。整個支路是由3D卷積與2D卷積構(gòu)成的U型網(wǎng)絡(luò)結(jié)構(gòu)。支路中編碼部分使用的是類似于3D ResNet的網(wǎng)絡(luò)架構(gòu)，通過3D的ResBlock卷積塊挖掘各序列間的潛在相關(guān)性。

為了將三維空間下胰腺相關(guān)性特征映射到二維空間上，同步信息提取支路中加入了壓縮感知單元，具體結(jié)構(gòu)如圖3所示。單元采用N×3×3的3D卷積組，對每層編碼部分提取特征信息進行降維與壓縮，從而將序列間的潛在相關(guān)性映射到2D切片平面上。解碼部分采用2D卷積組的架構(gòu)，通過不同尺度的相關(guān)性特征的重組。

圖3：左側(cè)壓縮感知單元維度映射效果，右側(cè)單元具體結(jié)構(gòu)。

本文設(shè)計了獨立信息提取支路來彌補損失的重要信息。獨立信息提取支路采用單個序列的2D切片圖像作為輸入，整體網(wǎng)絡(luò)架構(gòu)類似ResNet34。該支路利用大量的ResBlock來盡可能多地提取該序列圖像中的胰腺獨立特征表示。

2.2 特征融合

本文在特征融合之中引入具有信息阻滯作用的注意力機制，融合的具體方式如圖4所示。融合過程采用通道注意力機制，將高級融合特征作為引導(dǎo)信息，從兩支路特征中選出有關(guān)胰腺區(qū)域的重要細節(jié)特征與區(qū)域特征。

圖4：融合模塊結(jié)構(gòu)圖

引導(dǎo)特征F通過通道的卷積w計算壓縮成一個關(guān)于目標區(qū)域的空間分布向量v∈R。同時，F(xiàn)與F拼接得到的特征F也通過組數(shù)為C的分組卷積w，轉(zhuǎn)變成各個通道下所有信息的空間分布向量v∈R。將兩個向量進行內(nèi)積得到相關(guān)性向量v∈R。隨后通過多層感知機（MLP）將相關(guān)性向量v轉(zhuǎn)變?yōu)闄?quán)重ω，用以強調(diào)出對目標分割貢獻程度高的特征信息。

將通道注意強調(diào)特征F和高級語義特征F融合，通過兩層3×3卷積組得到融合后特征F'∈R。融合過程采用空間注意力機制，給予特征不同的空間位置以不同的權(quán)重，抑制冗余信息并強調(diào)胰腺相關(guān)的區(qū)域。

空間注意力選用共性特征表征作為引導(dǎo)特征F'，并且采用類似通道注意力的方式生成空間權(quán)重圖att∈R。g()表示通過最大池化與平均池化將引導(dǎo)特征F'的尺寸進行壓縮，經(jīng)過卷積計算生成有關(guān)目標區(qū)的通道分布向量v'∈R。同樣融合后的特征也通過分組卷積w'計算，轉(zhuǎn)變?yōu)楦鱾€空間位置上的通道分布向量v'∈R。通過向量內(nèi)積求得特征F'每個空間位置下的分布相似度，相似度越高的位置越有可能是目標區(qū)域。求得的相似度圖經(jīng)過卷積w以及Sigmoid歸一化σ()后形成注意力圖att，從而強調(diào)特征中與目標相關(guān)的區(qū)域。

2.3 損失函數(shù)

訓(xùn)練網(wǎng)絡(luò)所用的整體損失函數(shù)如下：

其中，λ，μ是權(quán)衡每個分量的重要性的權(quán)衡參數(shù)，在本文實驗中分別設(shè)置為1和0.5。

圖像分割常采用二值交叉熵（BCE）損失函數(shù)與Dice損失函數(shù)，具體公式如下：

其中G(X,x|θ)是多序列聯(lián)合分割模型的預(yù)測結(jié)果，s=10避免出現(xiàn)分母為0，N表示訓(xùn)練樣本的數(shù)量。X為多序列MR圖像組成的3D數(shù)據(jù)，x為單一序列的MR圖像，y為真實的胰腺區(qū)域。

除此之外，本文在最后一層融合特征和共性特征之間，加入輔助的一致性損失函數(shù)來約束兩條支路的訓(xùn)練，避免兩條支路學(xué)習(xí)內(nèi)容差異過大導(dǎo)致分割效果的降低。公式如下：

函數(shù)采用的是基于余弦相似度的一致性損失，其中F是最后一層融合特征而F是同步信息提取支路的最后一層特征。

3 實驗與結(jié)果

3.1 數(shù)據(jù)集

本文所采用的數(shù)據(jù)是來自海軍軍醫(yī)大學(xué)長海醫(yī)院的104名胰腺疾病患者的腹部3D MR數(shù)據(jù)。病變胰腺區(qū)域由經(jīng)驗豐富的放射學(xué)專家手工標注。后續(xù)的對比消融實驗主要采用三種MR序列圖像， MR的T1參數(shù)下的WP序列圖像和OOP序列圖像，以及T2參數(shù)序列圖像。訓(xùn)練集由65例患者共1832張切片組成；驗證集由10例患者共273張切片組成；測試集由29例患者共763張切片組成。

3.2 實驗結(jié)果與分析

本節(jié)主要對所提出的方法進行了消融實驗以及比實驗。

3.2.1 消融實驗

為了展示所提出各個組件及方法的有效性，本文在病變胰腺數(shù)據(jù)集上進行了消融實驗，具體消融的組件及方法包括：同步信息提取支路、獨立信息提取支路、融合機制以及輔助損失函數(shù)L。實驗結(jié)果見表1。消融實驗中獨立信息提取支路的輸入均采用OOP序列。

表1：本文方法的消融實驗（單位：%）

獨立序列實驗和全序列融合實驗表明，多序列信息有助于胰腺分割。同步信息提取支路和獨立信息提取支路的互補可以獲得更好的分割效果。最后，當融合塊與注意力機制和將輔助損失L應(yīng)用于雙分支網(wǎng)絡(luò)可以看到網(wǎng)絡(luò)分割精度的提高。融合塊在指標3D Jac和3D DSC中分別提高了1.05%和0.79%，而輔助損失分別為0.51%和0.31%。融合塊可以幫助強調(diào)來自不同分支的最重要的特征表示，以提高分割精度。輔助損失可以調(diào)節(jié)網(wǎng)絡(luò)訓(xùn)練的方向，幫助網(wǎng)絡(luò)更快地收斂以獲得更好的分割結(jié)果。它們都對網(wǎng)絡(luò)分割性能有一定的貢獻。此外，所提出的方法可以使用多個圖像序列，對于3D Jac和3D DSC，三個序列下胰腺的聯(lián)合分割結(jié)果分別為75.56%和85.63%。

3.2.2 對比實驗

為了證明所提出的聯(lián)合分割方法的優(yōu)越性,本文與目前流行的多輸入的融合方法進行了對比。對比結(jié)果見表2，各方法的分割效果如圖5所示。

表2：本文方法的對比實驗（單位：%）

圖5：對比實驗結(jié)果圖

Hyper-Pairing Network、Co-Learning Feature Fusion Maps (CLFF)以及FuseNet都是雙分支的聯(lián)合分割網(wǎng)絡(luò)。但這些方法都只能使用兩種序列或模態(tài)的圖像，具體實現(xiàn)時，實驗采用WP與OOP兩種分割精度較高的序列圖像進行精度方面，所提出的方法在WP、OOP、T2三種序列圖像上的分割效果要比其他方法好，在3D Jac與3D DSC上比文獻的方法分別高了1.75%，1.3%。

4 結(jié)語

本文提出了一種新的多序列聯(lián)合分割網(wǎng)絡(luò)模型來對MRI病變胰腺進行分割。本文對同步信息提取支路、獨立信息提取支路和融合支路進行了多個消融實驗。比較結(jié)果表明所提出的策略對于網(wǎng)絡(luò)分割都具有一定的貢獻。而與其他方法的對比實驗表明，所提出的多序列聯(lián)合分割方法要優(yōu)于其他現(xiàn)有的方法，能更準確的分割病變胰腺。