DOI：10.3969/j.issn.10001565.2024.04.010

摘要：計(jì)算機(jī)斷層掃描圖像中復(fù)雜肺腫瘤（CLT）的自動(dòng)分割面臨2個(gè)挑戰(zhàn)：1） 腫瘤與鄰近組織之間的類(lèi)間不區(qū)分；2）腫瘤內(nèi)的類(lèi)內(nèi)不一致性.為了解決這2個(gè)問(wèn)題，提出將肺腫瘤與肺之間關(guān)系的語(yǔ)義上下文先驗(yàn)納入分割模型中，以便于模型學(xué)習(xí)到語(yǔ)義上下文特征，并從宏觀角度重新思考CLT的分割.利用信息熵對(duì)肺形狀的解剖先驗(yàn)進(jìn)行建模.在三分類(lèi)的U-Net網(wǎng)絡(luò)中嵌入提出的新型注意模塊，從而通過(guò)特定領(lǐng)域的知識(shí)來(lái)指導(dǎo)訓(xùn)練過(guò)程.另外，設(shè)計(jì)了一個(gè)可以獲得腫瘤邊界結(jié)構(gòu)圖以及保持腫瘤內(nèi)部特征一致性的邊界增強(qiáng)輔助網(wǎng)絡(luò).在此基礎(chǔ)上，開(kāi)發(fā)了一個(gè)協(xié)同深度監(jiān)督網(wǎng)絡(luò)框架（CLT-ASegNet），該框架利用混合多尺度語(yǔ)義特征融合進(jìn)一步提高了模型的判別能力和收斂速度.CLT-ASegNet在CLTCTI分割數(shù)據(jù)集和Lung16數(shù)據(jù)集上進(jìn)行了評(píng)估.實(shí)驗(yàn)結(jié)果表明，所提出的CLT-ASegNet可以有效分割肺腫瘤.

關(guān)鍵詞：注意力機(jī)制; 復(fù)雜肺腫瘤分割; 語(yǔ)義上下文先驗(yàn); 協(xié)同深度監(jiān)督

中圖分類(lèi)號(hào)：TP391.4文獻(xiàn)標(biāo)志碼：A文章編號(hào)：10001565（2024）04041410

Automatic segmentation of tumors combining lung

prior and synergetic deep supervision

WANG Bing1，2， JU Mengyi2， YANG Ying3， ZHANG Xin4， ZHAI Junhai1，2

（1. Hebei Key Laboratory of Machine Learning and Computational Intelligence， Baoding 071002， China；

2. College of Mathematics and Information Science，Hebei University， Baoding 071002， China；

3. Radiology Department， Hebei University Affiliated Hospital， Baoding 071000， China；

4. College of Electronic Information Engineering， Hebei University， Baoding 071002， China）

Abstract： There are two challenges in automatic segmentation of complex lung tumors （CLT） on computed tomography （CT） images： 1） The class indistinction between tumors and adjacent tissues; 2） Intra-class inconsistencies within tumors. In order to solve these two challenges， the semantic context prior of the relationship between lung tumor and lung is proposed to be incorporated into the segmentation model， so that the model can learn the semantic context features， and the segmentation of CLT can be reconsidered from a macro perspective. The anatomical prior of lung shape is modeled using information entropy. The proposed novel attention module is embedded in the three-classified U-Net network， so as to guide the training process through domain-specific knowledge. In addition， a boundary enhancement auxiliary

收稿日期：20231206;修回日期：20240319

基金項(xiàng)目：河北省自然科學(xué)基金資助項(xiàng)目（F2021201020）；河北省自然科學(xué)基金青年科學(xué)基金資助項(xiàng)目（F2024502006）

第一作者： 王兵（1967—），女，河北大學(xué)教授，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)等.E-mail：wangbing@hbu.edu.cn

通信作者：張欣（1966—），男，河北大學(xué)教授，博士，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、圖像處理等.E-mail：zhangxin@hbu.edu.cn

network was designed to obtain tumor boundary structure and maintain the consistency of tumor internal features. On this basis， a collaborative deep supervision network framework （CLT-ASegNet） was developed， which further improved the discriminant ability and convergence speed of the model by using hybrid multi-scale semantic feature fusion. CLT-ASegNet was evaluated on CLTCTI segmentation datasets and Lung16 datasets. The experimental results show that the proposed CLT-ASegNet can effectively segment lung tumors.

Key words： attention mechanism;complex lung tumor segmentation;semantic context prior; synergetic deep supervision

本研究的重點(diǎn)是計(jì)算機(jī)斷層掃描（computed tomography，CT）圖像中復(fù)雜肺腫瘤（complex lung tumor，CLT）的自動(dòng)分割.傳統(tǒng)的機(jī)器學(xué)習(xí)方法在處理醫(yī)學(xué)圖像分割時(shí)遇到了挑戰(zhàn)，與肺結(jié)節(jié)［1］相比，肺腫瘤，特別是CLT，由于具有形態(tài)和結(jié)構(gòu)的復(fù)雜性、邊界信息較弱、背景和紋理的顯著異質(zhì)性等特征，使其難以取得令人滿(mǎn)意的結(jié)果.近年來(lái)，基于深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural networks，DCNN）的密集預(yù)測(cè)在醫(yī)學(xué)成像領(lǐng)域取得了令人鼓舞的成果，如U-Net［2］和DeepLabv3+［3］的發(fā)展，促進(jìn)了肺腫瘤［4-5］的分割.然而，這些方法得到的特征表示通常無(wú)法識(shí)別以下區(qū)域：1）腫瘤邊界兩側(cè)相鄰的區(qū)域，由于腫瘤與肺周?chē)M織（如肺壁）的粘連較大，稱(chēng)為“腫瘤與相鄰組織的類(lèi)間不區(qū)分”（圖1a-b）；2）腫瘤內(nèi)部的異質(zhì)性塊，應(yīng)具有相同的語(yǔ)義標(biāo)簽，稱(chēng)為“腫瘤區(qū)域的類(lèi)內(nèi)不一致”（圖1c-d）.a-b.腫瘤與相鄰組織的類(lèi)間不區(qū)分；c-d.腫瘤區(qū)域的類(lèi)內(nèi)不一致

為了解決腫瘤和鄰近組織之間的類(lèi)間不區(qū)分問(wèn)題，本研究將肺腫瘤和肺之間的語(yǔ)義上下文的先驗(yàn)知識(shí)納入基于DCNN分割模型中，從而用特定領(lǐng)域知識(shí)指導(dǎo)訓(xùn)練過(guò)程［6］.通過(guò)利用信息熵對(duì)肺形狀的解剖先驗(yàn)進(jìn)行建模，該信息熵是基于患者全部掃描數(shù)據(jù)的肺實(shí)質(zhì)分割金標(biāo)準(zhǔn)（ground truth，GT）進(jìn)行計(jì)算.此外，還設(shè)計(jì)了一個(gè)具有先驗(yàn)肺形狀的注意模塊（AMwPLS），并將其嵌入到三分類(lèi)語(yǔ)義分割（semantic segmentation，SS）網(wǎng)絡(luò)中，以便于AMwPLS學(xué)習(xí)腫瘤和肺之間的語(yǔ)義上下文特征.

另一方面，為了解決腫瘤內(nèi)部類(lèi)內(nèi)不一致問(wèn)題，并從宏觀角度重新考慮CLT的分割，將腫瘤區(qū)域內(nèi)的像素視為一個(gè)整體，為它們分配一致的語(yǔ)義標(biāo)簽.本研究建立了一個(gè)腫瘤邊界增強(qiáng)輔助網(wǎng)絡(luò)（TBE），在混合尺度上提取細(xì)粒度的腫瘤邊界特征圖（TBFM），TBFM既能代表腫瘤邊界，又能保持腫瘤內(nèi)部特征的一致性.

在大多數(shù)醫(yī)學(xué)圖像分割中很大概率會(huì)出現(xiàn)非感興趣區(qū)域假陽(yáng)性或感興趣區(qū)域假陰性情況，這可能是由于網(wǎng)絡(luò)模型淺層仍然保留著背景噪聲信息，從而導(dǎo)致了分割效果不好.為了解決這一問(wèn)題，在SS網(wǎng)絡(luò)的輸出端采用協(xié)同深度監(jiān)督，以提升模型對(duì)隱層特征的識(shí)別能力.基于此，本研究設(shè)計(jì)了一個(gè)CLT分割的協(xié)同深度監(jiān)督網(wǎng)絡(luò)框架（CLT-ASegNet），它使用U型網(wǎng)絡(luò)作為基線(xiàn)，使用多語(yǔ)義特征融合（MSFF）模塊將AMwPLS細(xì)化的淺層特征、多尺度全局特征和TBE生成的腫瘤邊界特征聚合起來(lái)，進(jìn)一步提高模型的判別能力.

1相關(guān)工作

最近，許多基于深度學(xué)習(xí)的肺腫瘤和病變組織分割網(wǎng)絡(luò)已經(jīng)獲得較好的分割結(jié)果.與傳統(tǒng)方法（閾值化、區(qū)域增長(zhǎng)、圖切、主動(dòng)輪廓模型）相比，深度學(xué)習(xí)方法對(duì)圖像淺層特征（如強(qiáng)度、紋理、梯度等）表達(dá)方面表現(xiàn)出了更具競(jìng)爭(zhēng)力的性能.

1.1基于深度學(xué)習(xí)的肺結(jié)節(jié)和肺腫瘤的分割

許多研究人員為提高腫瘤邊界分割的精度做出了貢獻(xiàn).例如，Zhang等［4］增加了一個(gè)密集連接的條件隨機(jī)場(chǎng)框架來(lái)勾畫(huà)肺腫瘤的邊界.Ni等［5］提出了一種從粗到細(xì)的2階段框架：用于定位的三維多尺度U-Net和用于分割細(xì)化的2.5D多尺度可分離U-Net分割.Yu等［7］利用域先驗(yàn)知識(shí)分割肺實(shí)質(zhì)區(qū)域，然后再進(jìn)行腫瘤區(qū)域的分割，最后進(jìn)行精細(xì)的校正.

1.2注意力機(jī)制在醫(yī)學(xué)圖像分割中的應(yīng)用

注意力機(jī)制旨在通過(guò)引入一個(gè)聚焦于圖像特定區(qū)域的模塊來(lái)改善網(wǎng)絡(luò)分割性能.Oktay等［8］提出了一種新的注意門(mén)模型用于醫(yī)學(xué)圖像，該模型自動(dòng)學(xué)習(xí)關(guān)注不同形狀和大小的目標(biāo)結(jié)構(gòu).Wang等［9］應(yīng)用了通道注意塊和混合擴(kuò)張注意卷積層，實(shí)現(xiàn)了適用于不同醫(yī)學(xué)圖像分割的目的.Lin等［10］設(shè)計(jì)了一種基于方差的不確定性機(jī)制，通過(guò)預(yù)測(cè)概率來(lái)評(píng)估每個(gè)體素的識(shí)別能力.Hu等［11］成功地在殘差模塊中提取了不同尺度的特征，并利用注意模塊增強(qiáng)對(duì)多尺度特征的注意能力.

1.3醫(yī)學(xué)圖像語(yǔ)義分割網(wǎng)絡(luò)架構(gòu)

U-Net［2］和UNet++［12］等U型架構(gòu)在醫(yī)學(xué)圖像分割領(lǐng)域得到了廣泛的應(yīng)用.另外，Cai等［13］設(shè)計(jì)了一種多尺度的目標(biāo)預(yù)測(cè)機(jī)制，它聚合了由多個(gè)中間層生成的特征.An等［14］提出了一種基于U-Net的分割網(wǎng)絡(luò)和多層邊界檢測(cè)網(wǎng)絡(luò)組成的多層邊界感知RU-Net分割模型.Zhang等［15］提出了一種新的模型BCU-Net，Li等［16］提出了一種結(jié)合Transformer和卷積線(xiàn)性注意塊解決與正常組織密度相似的病變問(wèn)題.Tang等［17］提出了一種不確定性引導(dǎo)網(wǎng)絡(luò)，稱(chēng)為“UG-Net”，用于自動(dòng)醫(yī)學(xué)圖像分割.

2CLT-ASegNet模型分割方法

如圖2所示，CLT-ASegNet總體框架包括4個(gè)方面：先驗(yàn)肺形狀的注意模塊（AMwPLS）、腫瘤邊界增強(qiáng)輔助網(wǎng)絡(luò)（TBE）、多語(yǔ)義特征融合模塊（MSFF）和協(xié)同深度監(jiān)督.圖2CLT-ASegNet的體系結(jié)構(gòu)

Fig.2Architecture of CLT-ASegNet2.1先驗(yàn)肺形狀的注意模塊（AMwPLS）

AMwPLS的目的是提高粘連于肺壁或縱隔的腫瘤與肺本身之間粘連邊界的可區(qū)分性，從而減少腫瘤與鄰近組織之間的類(lèi)間不區(qū)分.通過(guò)利用信息熵對(duì)先驗(yàn)的肺形狀進(jìn)行建模，并將其納入空間注意模塊，以提高模型對(duì)肺輪廓的關(guān)注.同時(shí)，應(yīng)用多分類(lèi)損失函數(shù)來(lái)引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)可區(qū)分肺和CLT的判別性特征.此外，由于CLT局限于特定肺區(qū)域，從AMwPLS中學(xué)習(xí)到的腫瘤和肺之間的語(yǔ)義上下文特征也有助于為CLT區(qū)域分配一致的語(yǔ)義標(biāo)簽，從而減少CLT內(nèi)的類(lèi)內(nèi)不一致.

盡管在CT圖像中對(duì)肺的形狀、大小和位置有明顯的解剖先驗(yàn)知識(shí)，但在同一數(shù)據(jù)集的不同切片之間存在相當(dāng)大的差異.直觀地說(shuō)，信息熵為后續(xù)預(yù)測(cè)估計(jì)了特征的不確定程度.通過(guò)信息熵評(píng)估肺邊界像素的可能位置，獲得先驗(yàn)肺形狀的注意力權(quán)重圖（PLSAWM），并整合到空間注意力模塊（圖3），以引導(dǎo)網(wǎng)絡(luò)關(guān)注肺邊界，從而提高對(duì)肺邊界附近潛在腫瘤的識(shí)別能力.此外，在解碼器階段部署了AMwPLS，以便指導(dǎo)編碼器中低級(jí)濾波器學(xué)習(xí)與產(chǎn)生全局特征映射的濾波器相似且兼容的映射.具體來(lái)說(shuō)，首先從公開(kāi)的肺結(jié)節(jié)和肺實(shí)質(zhì)分割數(shù)據(jù)集［18］中隨機(jī)選擇了800例肺實(shí)質(zhì)的GT，然后對(duì)這些GT對(duì)應(yīng)的像素位置先進(jìn)行求和然后平均，得到先驗(yàn)的肺形狀概率圖（PLSPM）.計(jì)算PLSAWM如下：

yi=-Pilog2Pi-（1-Pi）log2（1-Pi），（1）

其中，Pi為PLSPM中第i個(gè)位置的概率值，yi為PLSAWM中第i個(gè)位置的信息熵.w1表示通過(guò)計(jì)算從SS網(wǎng)絡(luò)中提取的特征圖得到的空間注意力權(quán)重圖，將PLSAWM與w1相加之后經(jīng)過(guò)激活函數(shù)可以得到AMwPLS注意力權(quán)重圖w，將其與編碼器輸出的特征圖進(jìn)行多重疊加，以提取腫瘤和肺部的語(yǔ)義上下文特征（圖3）.AMwPLS注意矩陣w的計(jì)算公式如下：w1=φ2（C1（φ1（C1（xEi）⊙C1（Up（xDi））））），（2）

w=φ2（w1+PLSAWM）.（3）圖3AMwPLS的原理

Fig.3Principle of AMwPLSAMwPLS的輸入是xEi、xDi和PLSAWM，xEi表示由編碼器經(jīng)過(guò)跳躍連接傳輸?shù)奶卣鳎瑇Di（i=4）代表解碼器特征，C1（）表示卷積和批標(biāo)準(zhǔn)化操作，卷積核大小是1×1，步長(zhǎng)是1.Up表示上采樣，+ 是元素級(jí)加法，φ1表示ReLU激活函數(shù)，φ2=11+e-x表示S型激活函數(shù)，⊙表示通道拼接操作.

AMwPLS輸出的x＾Ei是通過(guò)w與xEi相乘得到的.計(jì)算公式如下：x＾Ei=xEiw，（4）其中，“”是元素級(jí)乘法.

2.2腫瘤邊界增強(qiáng)輔助網(wǎng)絡(luò)（TBE）

TBE與SS網(wǎng)絡(luò)共享少量特征提取過(guò)程，也允許學(xué)習(xí)不同于SS網(wǎng)絡(luò)的特征表示，并可以為后續(xù)的MSFF模塊提供專(zhuān)門(mén)的邊界特征映射.同時(shí)，它還可以緩解由于使用耦合特征映射而引起2種網(wǎng)絡(luò)次優(yōu)解的問(wèn)題.此外，為了減少腫瘤區(qū)域內(nèi)嚴(yán)重的異質(zhì)性對(duì)類(lèi)內(nèi)一致性的影響，將腫瘤區(qū)域內(nèi)的像素作為整體來(lái)處理，并為它們分配一致的語(yǔ)義標(biāo)簽，目的是能夠從宏觀的角度來(lái)區(qū)分腫瘤內(nèi)和腫瘤外的語(yǔ)義特征.為此，在目標(biāo)函數(shù)中加入基于水平集的邊界損失函數(shù)［19］來(lái)監(jiān)督CLT邊界的學(xué)習(xí).

如圖2所示，分別對(duì)編碼器部分的2個(gè)淺層特征圖進(jìn)行卷積、批歸一化和ReLU操作，得到了f1和f2，然后將f1和f2中的深層特征上采樣之后進(jìn)行拼接操作.隨后，一方面對(duì)拼接后的特征圖進(jìn)行卷積、批處理歸一化和ReLU操作，得到f3，f3將被聚合到高級(jí)解碼器部分.另一方面，通過(guò)對(duì)拼接后的特征圖進(jìn)行卷積、上采樣、批處理歸一化和S型激活函數(shù)操作可以得到腫瘤邊界預(yù)測(cè)結(jié)果.

邊界損失用于增強(qiáng)腫瘤的邊界特征，其表現(xiàn)如下：LB=∫ΩφGT（x）f（x）dp，（5）其中Ω表示整個(gè)圖像區(qū)域，φGT是腫瘤區(qū)域GT的預(yù)先計(jì)算的水平集函數(shù).零水平集表示該點(diǎn)在分割目標(biāo)的邊界上，f（x）表示像素x是通過(guò)TBE以及softmax概率輸出得到的.

此外，利用了Xue等［20］提出的平滑損失來(lái)克服訓(xùn)練過(guò)程中的不穩(wěn)定因素.Lreg=-∫ΩφGT（x）φp（x）φGT（x）φp（x）+φ2GT（x）+φ2p（x），（6）其中，φp（x）是預(yù)測(cè)的像素水平集.綜上所述，TBE的總體損失如下：LTBE=LB+Lreg.（7）2.3多語(yǔ)義特征融合模塊（MSFF）

為了探索準(zhǔn)確的多語(yǔ)義融合特征是否是實(shí)現(xiàn)高性能協(xié)同深度監(jiān)督語(yǔ)義分割的必要條件，提出了MSFF模塊，通過(guò)合并細(xì)節(jié)特征、全局上下文特征和邊界特征，以保持SS和TBE之間的相關(guān)性.如上所述，在傳遞到MSFF模塊之前，通過(guò)AMwPLS對(duì)編碼器淺層的細(xì)節(jié)特征進(jìn)行了細(xì)化.全局上下文特征從解碼器的前一層的輸出中得到，而邊界特征則由TBE模塊產(chǎn)生.應(yīng)用通道拼接、3×3卷積（步幅為1）、批歸一化和ReLU激活函數(shù)得到低級(jí)細(xì)節(jié)特征與高級(jí)語(yǔ)義特征的互補(bǔ)信息xDi（i=2，3）.這些操作被連續(xù)使2次，以獲得融合特征Fi（i=2，3）.

2.4協(xié)同深度監(jiān)督

為了獲得更準(zhǔn)確的腫瘤邊界特征和可判別的語(yǔ)義特征，采用協(xié)同深度監(jiān)督體系結(jié)構(gòu).將解碼器的不同尺度的特征映射表示為Fi（i=1，2，3，4）.通過(guò)不同倍數(shù)的上采樣操作，F(xiàn)i恢復(fù)到原始圖像大小.每個(gè)預(yù)測(cè)結(jié)果由3個(gè)通道組成，分別代表肺腫瘤、肺和背景的概率值.網(wǎng)絡(luò)通過(guò)同時(shí)對(duì)肺腫瘤和肺進(jìn)行分割增強(qiáng)了其對(duì)特征的判別能力，從而減少了腫瘤和肺之間邊界模糊以及腫瘤內(nèi)部的異質(zhì)性對(duì)網(wǎng)絡(luò)性能的影響.通過(guò)使用多分類(lèi)Lovász-Softmax損失函數(shù)［21］來(lái)指導(dǎo)SS網(wǎng)絡(luò)的學(xué)習(xí)，它是一個(gè)多類(lèi)分割問(wèn)題的Jaccard損失函數(shù)的分段線(xiàn)性凸代理.SS網(wǎng)絡(luò)的分割損失函數(shù)表示如下：Lseg=1|C|∑c∈CΔJc（e（c）），（8）其中，e（c）∈RP+是c∈C的誤差向量，P是圖像中的像素?cái)?shù)或批處理中所考慮的像素?cái)?shù)，其中給定圖像的每個(gè)像素i必須被分類(lèi)為一個(gè)對(duì)象類(lèi)c，所有的網(wǎng)絡(luò)輸出通過(guò)Softmax操作都被映射到概率si（c），C={肺腫瘤，肺和背景}.此外，ΔJC是基于Lovász子模集函數(shù)擴(kuò)展的Jaccard損失的分段線(xiàn)性凸代理.c類(lèi)的像素誤差向量e（c）由下式定義：ei（c）=1-si（c），if c=GT class of pixelisi（c），otherwise.（9）CLT-ASegNet的總損失表示為L(zhǎng)total=Lseg+LTBE.（10）2.5CLT-ASegNet體系結(jié)構(gòu)

CLT-ASegNet是一種端到端協(xié)同深度監(jiān)督體系結(jié)構(gòu)，由U型SS網(wǎng)絡(luò)和TBE組成，它利用MSFF來(lái)驅(qū)動(dòng)網(wǎng)絡(luò)學(xué)習(xí)具有低級(jí)細(xì)節(jié)特征與高級(jí)語(yǔ)義特征的互補(bǔ)信息和更有判別性的特征.在SS網(wǎng)絡(luò)的編碼器中，從低層到高層提取的特征分別記為xEi（i=1，2，3，4）.xEi=Cconv（Cconv（M（xEi-1））），（11）其中：M表示最大池化操作，每次執(zhí)行1次，特征圖變成原來(lái)的一半，通道數(shù)增加為原來(lái)的2倍;Cconv是指卷積核大小為3×3、步幅為2的卷積操作，再依次執(zhí)行BN和ReLU激活函數(shù).在SS網(wǎng)絡(luò)的解碼器中，只在第2層和第3層解碼器中部署了MSFF模塊.這是由于腫瘤邊界特征f3是由編碼器的第2層和第3層TBFMs中f1和f2計(jì)算出來(lái)的.其余解碼器層的輸出Fi由xEi和Fi-1計(jì)算得到，通過(guò)使用以下公式：Fi=C2（xEi⊙UM（Fi-1））.（12）3實(shí)驗(yàn)方法與結(jié)果分析

3.1數(shù)據(jù)集和預(yù)處理

本實(shí)驗(yàn)是基于河北大學(xué)附屬醫(yī)院放射科收集的復(fù)雜肺腫瘤CT成像（CLTCTI）數(shù)據(jù)集，它包括261例不同病例的復(fù)雜腫瘤的808例肺CT掃描，其中566例用于訓(xùn)練，242個(gè)用于測(cè)試.訓(xùn)練集和測(cè)試集來(lái)自于不同的病例.圖像的平面分辨率為0.5～0.95 mm，切片間隔為1.00～8.00 mm，管電壓為120～140 kV，電流為40～340 mA.CLT和肺分割由3位放射科專(zhuān)家注釋.采用中心裁剪、旋轉(zhuǎn)和翻轉(zhuǎn)來(lái)擴(kuò)展訓(xùn)練集.

CLT-ASegNet在Lung16數(shù)據(jù)集的一個(gè)子集上也測(cè)試了所提出的方法.Lung16數(shù)據(jù)集由肺圖像數(shù)據(jù)庫(kù)聯(lián)盟和圖像數(shù)據(jù)庫(kù)資源倡議［22］提供，旨在促進(jìn)肺癌相關(guān)研究和算法的發(fā)展.本實(shí)驗(yàn)對(duì)Lung16一個(gè)子集進(jìn)行處理，通過(guò)數(shù)據(jù)預(yù)處理，得到678張CT圖像，其中471張圖像作為訓(xùn)練集，207張圖像作為測(cè)試集.

3.2評(píng)價(jià)指標(biāo)和實(shí)施細(xì)節(jié)

本研究采用Dice系數(shù)（DSC）、Hausdorff距離（HD）、靈敏度（Sen）、特異性（Spe）、精確率（Pre）對(duì)網(wǎng)絡(luò)性能進(jìn)行評(píng)價(jià).

為了評(píng)價(jià)CLT-ASegNet的有效性，與TransUNet［23］、TFCNs［16］、BCU-Net［15］等7種主流分割網(wǎng)絡(luò)進(jìn)行比較.CLT-ASegNet和主流的分割方法都是通過(guò)使用Pytoush和NVIDIA RTX3090GPU進(jìn)行訓(xùn)練，具有2.10 GHz 12核和256 GB內(nèi)存.采用Adam優(yōu)化器，學(xué)習(xí)速率為0.001，動(dòng)量為0.9，權(quán)重衰減為10-4，進(jìn)行300次迭代.使用隨機(jī)初始化的權(quán)值開(kāi)始訓(xùn)練所有的網(wǎng)絡(luò).

3.3與現(xiàn)有方法的比較

CLT-ASegNet與現(xiàn)有方法在CLTCTI數(shù)據(jù)集上的定量實(shí)驗(yàn)結(jié)果對(duì)比.如表1所示，DSC、HD、Sen、Spe和Pre分別為80.2%、2.28 mm、0.879、0.999 2和0.902.CLT-ASegNet與U-Net相比，DSC值提高了9.7%，HD值降低了0.36 mm.相比其他最好的分割方法TransUNet，DSC值提高了4.1%，HD值降低了0.13 mm.表1CLT-ASegNet網(wǎng)絡(luò)與其他分割網(wǎng)絡(luò)在CLTCTI數(shù)據(jù)集的定量比較

Tab.1Quantitative comparison of the CLT-ASegNet network with other segmentation networks on the CLTCTI dataset方法DSC/%HD/mmSenSpePreU-Net（2015）70.52.640.6740.999 00.817U-Net++（2018）73.12.530.6870.998 80.792AttentionUNet（2018）69.82.670.6680.999 00.875DeepLabv3+（2018）74.22.470.6730.999 10.822TransUNet（2021）76.12.410.7650.999 10.846TFCNs（2022）74.82.450.6040.999 20.887BCU-Net（2023）75.82.620.7310.998 30.783CLT-ASegNet80.22.280.8790.999 20.902

CLT-ASegNet與現(xiàn)有方法在Lung16數(shù)據(jù)集上的定量實(shí)驗(yàn)結(jié)果對(duì)比見(jiàn)表2.DSC、HD、Sen、Spe和Pre分別為89.2%、1.82 mm、0.712、0.999 8、0.930.與BCU-Net相比，CLT-ASegNet的DSC值提高了2.1%，HD值降低了0.13 mm.與最傳統(tǒng)的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)U-Net相比，DSC值從85.2%提升到89.2%，HD值從1.95 mm降到了1.82 mm.表2CLT-ASegNet網(wǎng)絡(luò)與其他分割網(wǎng)絡(luò)在Lung16數(shù)據(jù)集的定量比較

Tab.2Quantitative comparison between CLT-ASegNet network and other segmentation networks on Lung16 dataset方法DSC/%HD/mmSenSpePreU-Net（2015）85.21.950.7040.999 70.916U-Net++（2018）85.61.970.7020.999 60.910AttentionUNet（2018）86.41.890.7050.999 70.929 DeepLabv3+（2018）83.62.010.7070.999 60.882TransUNet（2021）86.91.840.7050.999 70.924TFCNs（2022）86.11.750.6800.999 70.919BCU-Net（2023）87.11.950.5840.999 70.918CLT-ASegNet89.21.820.7120.999 80.930

圖4展示了CLT-ASegNet和主流分割方法在CLTCTI數(shù)據(jù)集上的定性結(jié)果.與其他先進(jìn)的方法相比，CLT-ASegNet在解決類(lèi)間不區(qū)分和類(lèi)內(nèi)不一致問(wèn)題上具有較好的效果.

3.4消融分析

如表3所示，為了驗(yàn)證每個(gè)模塊的有效性，CLT-ASegNet在CLTCTI數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn).首先，設(shè)計(jì)了一個(gè)基線(xiàn)網(wǎng)絡(luò)（BLN）.BLN（*）是指將指定的功能模塊添加到BLN中，而多個(gè)功能模塊則以一個(gè)加號(hào)連接.TBE-M表示腫瘤邊界特征融合2層解碼器，而TBE-S表示腫瘤邊界特征僅融合一層解碼器.此外，將解碼器輸出的多尺度特征的連接-卷積融合命名為“CCF”（沒(méi)有深度監(jiān)督），并將從AMwPLS中去掉先驗(yàn)肺形狀的注意權(quán)重圖的注意模塊命名為AM.MLS代表深監(jiān)督.通過(guò)使用序列號(hào)來(lái)表示相應(yīng)的操作：例如，No.6表示BLN（AMwPLS+MLS）.

從No.2、No.3、No.4可以看出，當(dāng)將MLS、TBE或AMwPLS被添加到基線(xiàn)BLN中時(shí)，任何功能模塊對(duì)CLT分割都有積極的影響.特別是No.3大大提高了CLT的分割性能，相比基線(xiàn)，DSC提高了4.8%，HD降低了0.13 mm， 其原因是由TBE網(wǎng)絡(luò)生成的TBFMs能夠有效地使該網(wǎng)絡(luò)處理腫瘤與相鄰組織之間的類(lèi)間不區(qū)分以及腫瘤區(qū)域類(lèi)內(nèi)不一致.為了證明MLS的有效性，比較了No.5和No.6，在TBE和AMwPLS的基礎(chǔ)上分別添加MLS相比較單個(gè)使用分割效果有所提升.為了評(píng)估MSFF的有效性，比較了No.7和No.8與No.4，實(shí)驗(yàn)結(jié)果證明多語(yǔ)義特征融合可以有效提高網(wǎng)絡(luò)分割性能.有趣的是，No.7比No.8效果更好，這表明了混合尺度特征比單一尺度特征更有優(yōu)勢(shì)，No.10和No.11的比較結(jié)果中也得到相同結(jié)論.從No.8與No.9的比較中也證明了MLS對(duì)于分割效果有明顯幫助.為了證明AMwPLS的有效性，比較了No.12與No.13（CLT-ASegNet）的性能.AMwPLS進(jìn)一步提高了分割性能的原因是通過(guò)將先驗(yàn)的肺形狀加入注意機(jī)制，可以有效地提取腫瘤的語(yǔ)義上下文信息，細(xì)化淺層特征圖，從而突出病變區(qū)域.

圖5為No.12與No.13（CLT-ASegNet）在訓(xùn)練過(guò)程中的收斂速度和穩(wěn)定性的性能比較曲線(xiàn).在DSC和HD的度量中，No.13（CLT-ASegNet）在第26個(gè)epochs和第15個(gè)epochs達(dá)到收斂，并保持著較小的波動(dòng)，分別比No.12快了21個(gè)和11個(gè)epochs.研究結(jié)果表明，通過(guò)在注意機(jī)制中使用先驗(yàn)知識(shí)，可以大大提高模型的收斂速度和穩(wěn)定性.a.DSC評(píng)價(jià)指標(biāo);b.HD評(píng)價(jià)指標(biāo)

3.5討論

本節(jié)分析了TBE模塊位置以及TBE和AMwPLS的組合對(duì)分割結(jié)果的影響.在CLT-ASegNet中，TBE的輸入來(lái)自2個(gè)連續(xù)的不同層特征圖，提供多尺度上下文表示，CLT-ASegNet使用了編碼器的第2層和第3層.為了證明其合理性，將另外連續(xù)的2層特征圖和單層特征圖也作為T(mén)BE的輸入，實(shí)驗(yàn)結(jié)果如表4所示.TBE（OL-1）是指CLT-ASegNet網(wǎng)絡(luò)中的TBE模塊只使用第1層特征圖; TBE（OL-12）表示將第1層和第2層融合的邊界信息應(yīng)用于TBE.表4TBE不同位置對(duì)分割性能的影響

Tab.4Influence of different positions of TBE on segmentation performance方法DSC/%HD/mmTBE（OL-1）77.12.45TBE（OL-2）79.12.40TBE（OL-3）78.92.41TBE（OL-12）78.02.43TBE（OL-34）78.52.40TBE（OL-23）（CLT-ASegNet）80.22.28

TBE的目的是增強(qiáng)腫瘤邊界信息，擴(kuò)大腫瘤內(nèi)外的區(qū)分度，從而以更高的精度指導(dǎo)解碼器工作.從表4可以得出，第1層的分割效果比第2層和第3層差，證明從最淺的層獲得邊界特征并不是最好的選擇，其原因是最淺層尚未產(chǎn)生有效的邊界信息.然而，由于缺乏詳細(xì)的信息，更高水平并不是生成獨(dú)立腫瘤邊界特征更好的選擇.此外，多尺度腫瘤邊界上下文特征可以提高網(wǎng)絡(luò)分割性能.這是由于多尺度特征傾向于產(chǎn)生更魯棒的特征表示.MSFF模塊的目的是融合由AMwPLS細(xì)化的細(xì)節(jié)特征以及從TBE中獲得的腫瘤邊界特征.在表3中，由于No.13優(yōu)于No.9，說(shuō)明來(lái)自U型網(wǎng)絡(luò)的相同尺度編碼器和解碼器層的特征映射表現(xiàn)出更一致的特征表示，從而使融合的特征能夠有效地用于預(yù)測(cè)任務(wù).

4結(jié)論

為了解決CT圖像中復(fù)雜肺腫瘤的分割問(wèn)題，提出了一種協(xié)同深度監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)（CLT-ASegNet）.語(yǔ)義分割網(wǎng)絡(luò)采用了一個(gè)帶有領(lǐng)域知識(shí)的注意模塊（AMwPLS），以增強(qiáng)對(duì)腫瘤與鄰近組織之間粘連邊界的注意.TBE輔助網(wǎng)絡(luò)提取腫瘤結(jié)構(gòu)邊界圖，并將其融合到MSFF模塊中，以增強(qiáng)網(wǎng)絡(luò)的識(shí)別能力.CLT-ASegNet在2個(gè)數(shù)據(jù)集上的結(jié)果表明，通過(guò)將先驗(yàn)領(lǐng)域知識(shí)整合到分割模型設(shè)計(jì)以及重新考慮CLT分割，從宏觀角度看，可有效提高密集預(yù)測(cè)性能.未來(lái)將不斷擴(kuò)展這些方法到其他醫(yī)學(xué)圖像的分割，希望研究新的方法使網(wǎng)絡(luò)能夠更有效地利用先驗(yàn)知識(shí).

參考文獻(xiàn)：

［1］WANG S， ZHOU M， LIU Z Y， et al. Central focused convolutional neural networks： developing a data-driven model for lung nodule segmentation［J］. Med Image Anal， 2017， 40： 172-183. DOI： 10.1016/j.media.2017.06.014.

［2］RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation［C］//International Conference on Medical Image Computing and Computer-Assisted Intervention， Cham： Springer， 2015： 234-241.10.1007/978-3-319-24574-4_28.

［3］CHEN L C， ZHU Y K， PAPANDREOU G， et al. Encoder-decoder with atrous separable convolution for semantic image segmentation［C］//European Conference on Computer Vision. Cham： Springer， 2018： 833-851.10.1007/978-3-030-01234-2_49.

［4］ZHANG B H， QI S L， WU Y N， et al. Multi-scale segmentation squeeze-and-excitation UNet with conditional random field for segmenting lung tumor from CT images［J］. Comput Methods Programs Biomed， 2022， 222： 106946. DOI： 10.1016/j.cmpb.2022.106946.

［5］NI Y F， XIE Z， ZHENG D Z， et al. Two-stage multitask U-Net construction for pulmonary nodule segmentation and malignancy risk prediction［J］. Quant Imaging Med Surg， 2022， 12（1）： 292-309. DOI： 10.21037/qims-21-19.

［6］ZHOU Y Y， LI Z， BAI S， et al.， Prior-aware neural network for partially-supervised multi-organ segmentation［C］//2019 IEEE/CVF International Conference on Computer Vision （ICCV）， 2019： 10671-10680. DOI： 10.1109/ICCV.2019.01077.

［7］YU H， LI J Q， ZHANG L X， et al. Design of lung nodules segmentation and recognition algorithm based on deep learning［J］. BMC Bioinformatics， 2021， 22（Suppl 5）： 314. DOI： 10.1186/s12859-021-04234-0.

［8］OKTAY O， SCHLEMPER J， LE FOLGOC L， et al. Attention U-net： learning where to look for the pancreas［EB/OL］. 2018： arXiv： 1804.03999. http：//arxiv.org/abs/1804.03999.

［9］WANG Z K， ZOU Y N， LIU P X. Hybrid dilation and attention residual U-Net for medical image segmentation［J］. Comput Biol Med， 2021， 134： 104449. DOI： 10.1016/j.compbiomed.2021.104449.

［10］LIN H N， LI Z S， YANG Z F， et al. Variance-aware attention U-Net for multi-organ segmentation［J］. Med Phys， 2021， 48（12）： 7864-7876. DOI： 10.1002/mp.15322.

［11］HU J F， WANG H， WANG J， et al. SA-Net： a scale-attention network for medical image segmentation［J］. PLoS One， 2021， 16（4）： e0247388. DOI： 10.1371/journal.pone.0247388.

［12］ZHOU Z W， RAHMAN SIDDIQUEE M M， TAJBAKHSH N， et al. UNet++： A nested U-net architecture for medical image segmentation［C］//International Workshop on Deep Learning in Medical Image Analysis， International Workshop on Multimodal Learning for Clinical Decision Support. Cham： Springer， 2018： 3-11.10.1007/978-3-030-00889-5_1.

［13］CAI Y T， WANG Y. MA-Unet： an improved version of Unet based on multi-scale and attention mechanism for medical image segmentation［C］//Proc SPIE 12167， Third International Conference on Electronics and Communication; Network and Computer Technology （ECNCT 2021）， 2022， 12167： 205-211. DOI： 10.1117/12.2628519.

［14］AN F P， LIU J E. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model［J］. Multimed Tools Appl， 2021， 80（10）： 15017-15039. DOI： 10.1007/s11042-021-10515-w.

［15］ZHANG H， ZHONG X， LI G， et al. BCU-Net： bridging ConvNeXt and U-Net for medical image segmentation［J］. Comput Biol Med， 2023， 159： 106960. DOI： 10.1016/j.compbiomed.2023.106960.

［16］LI， Z H， LI D H， XU C B， et al. TFCNs： A CNN-Transformer Hybrid Network for Medical Image Segmentation［C］//In International Conference on Artificial Neural Networks， Cham： Springer Nature Switzerland， 2022： 781-792. DOI：10.1007/978-3-031-15937-4_65.

［17］TANG P， YANG P L， NIE D， et al. Unified medical image segmentation by learning from uncertainty in an end-to-end manner［J］. Knowl Based Syst， 2022， 241： 108215. DOI： 10.1016/j.knosys.2022.108215.

［18］CLARK K， VENDT B， SMITH K， et al. The cancer imaging archive （TCIA）： maintaining and operating a public information repository［J］. J Digit Imag， 2013， 26（6）： 1045-1057. DOI： 10.1007/s10278-013-9622-7.

［19］KERVADEC H， BOUCHTIBA J， DESROSIERS C， et al. Boundary loss for highly unbalanced segmentation［J］. Med Image Anal， 2021， 67： 101851. DOI： 10.1016/j.media.2020.101851.

［20］XUE Y， TANG H， QIAO Z， et al. Shape-aware organ segmentation by predicting signed distance maps［J］. Proc AAAI Conf Artif Intell， 2020， 34（7）： 12565-12572. DOI： 10.1609/aaai.v34i07.6946.

［21］BERMAN M， TRIKI A R， BLASCHKO M B. The lovasz-softmax loss： a tractable surrogate for the optimization of the intersection-over-union measure in neural networks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18-23， 2018. Salt Lake City， UT， IEEE， 2018： 4413-4421. DOI： 10.1109/cvpr.2018.00464.

［22］ARMATO S G 3rd， MCLENNAN G， BIDAUT L， et al. The lung image database consortium （LIDC） and image database resource initiative （IDRI）： a completed reference database of lung nodules on CT scans［J］. Med Phys， 2011， 38（2）： 915-931. DOI： 10.1118/1.3528204.

［23］CHEN J N， LU Y Y， YU Q H， et al. TransUNet： transformers make strong encoders for medical image segmentation［EB/OL］. 2021： arXiv： 2102.04306. http：//arxiv.org/abs/2102.04306.

（責(zé)任編輯：孟素蘭）