張磊 陳星材 陸萬(wàn)里 平欽文 陳怡然 柏森

摘? 要： 計(jì)算機(jī)斷層掃描（Computed Tomography， CT）是診斷肺部疾病常用的方法之一，CT能顯示人體肺部的斷層圖像，但CT圖像中對(duì)于診斷肺部疾病有幫助的只有肺實(shí)質(zhì)區(qū)域。因此，提供干擾更少、病灶更加明顯的肺部斷層圖，會(huì)使醫(yī)生更容易發(fā)現(xiàn)一些早期的疾病或得到更加準(zhǔn)確的診斷結(jié)果。文章歸納總結(jié)了邊緣檢測(cè)、U-net和U-net++等CT圖像的肺實(shí)質(zhì)分割技術(shù)，并將其中的Matlab的邊緣檢測(cè)與U-net神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比分析。對(duì)比結(jié)果顯示，U-net神經(jīng)網(wǎng)絡(luò)的圖像分割效果遠(yuǎn)好于Matlab的邊緣檢測(cè)。

關(guān)鍵詞： 肺實(shí)質(zhì); 圖像分割; U-net; U-net++

中圖分類號(hào)：TP391;R-331? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2021）03-17-03

Research on segmentation technology of lung parenchyma in chest CT image

Zhang Lei， Chen Xingcai， Lu Wanli， Ping Qinwen， Chen Yiran， Bai Sen

（Chongqing Institute of Engineering， School of Big Data and Artificial Intelligence， ChongQing 400056， China）

Abstract： Computed tomography （CT） is one of the commonly used methods for diagnosing lung diseases. CT can display tomographic images of human lung， but only the lung parenchyma region in CT image is helpful in the diagnosis of lung diseases. Therefore， if provides a tomogram of the lungs with less interference and more obvious lesions may make it easier for the doctor to detect some early diseases or get more accurate diagnosis results. This paper summarizes the lung parenchyma segmentation techniques for CT images such as edge detection， U-net and U-net++， and compares and analyzes the Matlab edge detection and U-net neural network. The comparison results show that the image segmentation effect of U-net neural network is much better than that of Matlab edge detection.

Key words： lung parenchyma; image segmentation; U-net; U-net++

0 引言

2019年12月以來(lái)，以肺部作為靶器官的新型冠狀病毒“COVID-19”席卷全球，給世界人民帶來(lái)了巨大的傷害。在人類歷史上，肺部的各種疾病給人類帶來(lái)的傷害遠(yuǎn)遠(yuǎn)不止于此。醫(yī)生對(duì)肺炎病情的評(píng)估中主要依賴胸部CT圖像[1]，而胸部CT圖像中僅有肺實(shí)質(zhì)部分可以為醫(yī)生提供參考信息，因此，肺實(shí)質(zhì)分割技術(shù)對(duì)肺炎疾病的診斷有著非常重要的意義，通過(guò)對(duì)肺部CT圖像進(jìn)行精準(zhǔn)的肺實(shí)質(zhì)分割提取可以幫助醫(yī)生實(shí)現(xiàn)病灶精確定位、精確診斷、精確治療。在肺實(shí)質(zhì)分割領(lǐng)域，除傳統(tǒng)的分割技術(shù)外，還有新型的分割神經(jīng)網(wǎng)絡(luò)。

本文主要講述傳統(tǒng)的分割技術(shù)Matlab以及U-net、U-net++等新型神經(jīng)網(wǎng)絡(luò)的研究現(xiàn)狀，以及展望肺實(shí)質(zhì)分割技術(shù)的發(fā)展趨勢(shì)。

1 基于Matlab邊緣檢測(cè)的肺實(shí)質(zhì)分割

Matlab的圖像分割的主要方法有四種，分別是基于邊緣檢測(cè)的圖像分割、基于區(qū)域的圖像分割、局部閾值分割、霍夫變換。本文提到的Matlab肺實(shí)質(zhì)分割的方法是基于邊緣的圖像分割來(lái)實(shí)現(xiàn)的[2]。

圖1為三個(gè)不同的病人某層的CT斷層圖基于邊緣分割的步驟展示，分為A，B，C三組。使用imbinarize（）方法將圖像進(jìn)行二值化處理，開(kāi)始計(jì)算連通分量和最大連通分量。得到最大連通分量圖（步驟1）后使用imfill（）方法填充肺實(shí)質(zhì)區(qū)域得到填充圖（步驟2），最后使用填充圖減去最大連通分量圖即得到肺實(shí)質(zhì)的掩膜圖（步驟3），若有較多噪點(diǎn)即可以使用bwareaopen（）方法刪除較小的連通分量。最后，將掩膜圖與原圖的數(shù)組相乘，得到最終的肺實(shí)質(zhì)分割圖（步驟4）[3]。

肺炎是最常見(jiàn)的肺部疾病之一，CT斷層圖中肺炎患者的肺部可能會(huì)出現(xiàn)局部“毛玻璃不透明”的現(xiàn)象[4]。本文對(duì)比了C組原圖與分割結(jié)果，發(fā)現(xiàn)該方法對(duì)于肺部正?；蛘哂兄p度“毛玻璃不透明”的現(xiàn)象等圖像的分割效果較為理想，但在A、B兩組中“毛玻璃不透明”現(xiàn)象嚴(yán)重的區(qū)域的分割效果并不好，該區(qū)域呈現(xiàn)一種腐蝕狀、鋸齒狀，導(dǎo)致肺實(shí)質(zhì)并不完整。

2 基于U-net神經(jīng)網(wǎng)絡(luò)的肺實(shí)質(zhì)分割

U-net神經(jīng)網(wǎng)絡(luò)采用的是Encode-Decode的架構(gòu)，圖2為U-net的架構(gòu)圖，左半部分的作用是特征提取，也就是編碼過(guò)程。右半部分是上采樣過(guò)程，也就是解碼的過(guò)程[5]。U-net與其他常見(jiàn)的分割網(wǎng)絡(luò)相比它的特征融合方式非常特殊，它將下采樣過(guò)程中得到的特征與對(duì)應(yīng)的上采樣結(jié)果進(jìn)行拼接融合，這樣有效緩解了在上采樣過(guò)程中導(dǎo)致的特征丟失[6]。本文認(rèn)為這個(gè)特點(diǎn)是讓U-net神經(jīng)網(wǎng)絡(luò)即使在少量的醫(yī)學(xué)圖像數(shù)據(jù)中依然可以保持良好表現(xiàn)的關(guān)鍵。

圖3是U-net神經(jīng)網(wǎng)絡(luò)對(duì)肺實(shí)質(zhì)的分割情況，第一列為CT成像，第二列是U-net神經(jīng)網(wǎng)絡(luò)得出的肺實(shí)質(zhì)掩膜圖，第三列是肺實(shí)質(zhì)區(qū)域的成像圖。這里分別使用A、B、C三組進(jìn)行對(duì)比，目的是對(duì)比U-net在有病灶、無(wú)病灶、肺實(shí)質(zhì)不明顯三種情況下的表現(xiàn)。從圖B、C兩組的對(duì)比中可以看到U-net神經(jīng)網(wǎng)絡(luò)即使在面對(duì)因病灶產(chǎn)生的復(fù)雜情況時(shí)依然能準(zhǔn)確提取肺實(shí)質(zhì)。再使用A、C兩組進(jìn)行對(duì)比可以發(fā)現(xiàn)，U-net在提取不明顯肺實(shí)質(zhì)上表現(xiàn)依然良好。綜上所述U-net在肺實(shí)質(zhì)切割中具有以下優(yōu)點(diǎn)：面對(duì)復(fù)雜數(shù)據(jù)表現(xiàn)的強(qiáng)大適應(yīng)性;肺實(shí)質(zhì)邊緣處理順滑無(wú)鋸齒;肺實(shí)質(zhì)提取的高精確性。

3 基于Matlab邊緣檢測(cè)與U-net網(wǎng)絡(luò)的肺實(shí)質(zhì)分割對(duì)比

介紹完以上兩種方法后，本文將Matlab邊緣檢測(cè)與U-net網(wǎng)絡(luò)這兩種方法進(jìn)行對(duì)比，進(jìn)而來(lái)檢測(cè)這兩種方法的優(yōu)劣。因?yàn)榉螌?shí)質(zhì)的分割效果取決于肺實(shí)質(zhì)掩膜圖的效果，所以，直接通過(guò)肺實(shí)質(zhì)掩膜圖的完整性來(lái)進(jìn)行評(píng)價(jià)，圖4中，挑選了A組數(shù)據(jù)無(wú)病灶和B、C兩組有病灶兩類原圖進(jìn)行測(cè)試。

在A組中，可以看到Matlab邊緣檢測(cè)與U-net網(wǎng)絡(luò)的表現(xiàn)均不錯(cuò)，分割出了較為完整的“月牙狀”肺實(shí)質(zhì)。而在B，C組中，從這兩組的原圖來(lái)看，很明顯的存在著“毛玻璃不透明”的現(xiàn)象，即病灶區(qū)域。再來(lái)看對(duì)應(yīng)的肺實(shí)質(zhì)掩膜圖，基于Matlab邊緣檢測(cè)方法提取的掩膜圖的下方有著嚴(yán)重的鋸齒狀。腐蝕狀，這是明顯的缺陷，缺陷所在的地方正是原圖中的病灶區(qū)域。而基于U-net網(wǎng)絡(luò)提取的掩膜圖依然“光滑、完整”。U-net網(wǎng)絡(luò)的表現(xiàn)仍表現(xiàn)優(yōu)異。

最終可以得出結(jié)論，當(dāng)原圖無(wú)病灶區(qū)域時(shí)Matlab邊緣檢測(cè)和U-net的分割效果均較為理想，但前者的掩膜圖中仍會(huì)存在著一些噪點(diǎn)。而病灶區(qū)域?qū)τ贛atlab邊緣檢測(cè)的方法干擾巨大，使得肺實(shí)質(zhì)掩膜圖有著較大缺陷。U-net則不會(huì)受到病灶區(qū)域的影響，無(wú)論有無(wú)病灶U-net網(wǎng)絡(luò)的表現(xiàn)均優(yōu)于Matlab邊緣檢測(cè)的方法。

4 基于Unet+Multi-class segmentation的病灶分割展望

在此之前，本文概括了目前比較主流的幾種分割肺實(shí)質(zhì)的方法，其中U-net全卷積神經(jīng)網(wǎng)絡(luò)的表現(xiàn)較為優(yōu)異。而怎樣基于肺實(shí)質(zhì)分割的基礎(chǔ)來(lái)做病灶區(qū)域的分割成了當(dāng)前的新問(wèn)題[7]。基于Unet +Multi-class segmentation的方法能直接預(yù)測(cè)出肺實(shí)質(zhì)中的病灶區(qū)域。這樣可以給醫(yī)生提供更加直觀的病情程度，從而進(jìn)一步提高醫(yī)生的診斷效率。

U-net+Multi-class segmentation網(wǎng)絡(luò)是將U-net擴(kuò)展成多分類肺部感染的檢測(cè)算法[8]。在文獻(xiàn)[8]中，作者使用的是Semi-inf-net+ Multi-class Unet網(wǎng)絡(luò)，目的是為了在病灶區(qū)域中獲得進(jìn)一步的分類效果，即把病灶區(qū)域中細(xì)分毛玻璃不透明狀（GGO）和固結(jié)進(jìn)行細(xì)分。所以，文獻(xiàn)[8]中作者測(cè)試時(shí)提供了病灶的掩膜圖。而在本文中，目的只是預(yù)測(cè)病灶的范圍，所以，本文將作者的Semi-inf-net部分替換為U-net，直接將肺實(shí)質(zhì)的掩膜圖輸入到算法中。直接對(duì)肺實(shí)質(zhì)這個(gè)范圍內(nèi)進(jìn)行二分類，預(yù)測(cè)正常區(qū)域與不正常區(qū)域（病灶區(qū)域），圖5為Unet+multi-class segmentation的流程圖。

首先，肺部的CT斷層圖通過(guò)U-net神經(jīng)網(wǎng)絡(luò)成功分割出肺實(shí)質(zhì)的掩膜圖，然后基于原圖與掩膜圖使用Multi-class segmentation做肺實(shí)質(zhì)區(qū)域中的二分類，預(yù)測(cè)出病灶區(qū)域。白色區(qū)域即正常區(qū)域，灰色區(qū)域則是病灶區(qū)域。

由于肺炎的這種毛玻璃不透明現(xiàn)象是呈彌漫狀的，沒(méi)有絕對(duì)的精標(biāo)準(zhǔn)。所以，本方法的預(yù)測(cè)結(jié)果只是在肺實(shí)質(zhì)的基礎(chǔ)上做了進(jìn)一步的縮小了范圍。在后面的研究中將考慮加入注意力機(jī)制，用熱力圖來(lái)顯示病灶區(qū)域中的病情嚴(yán)重程度[9]，這樣也許會(huì)讓病灶更加直觀和精確。

5 結(jié)束語(yǔ)

本文對(duì)肺實(shí)質(zhì)分割技術(shù)進(jìn)行了研究，實(shí)驗(yàn)證明基于神經(jīng)網(wǎng)絡(luò)的分割技術(shù)優(yōu)于傳統(tǒng)的邊緣分割技術(shù)，尤其在面對(duì)復(fù)雜病灶的情況下。在深度學(xué)習(xí)快速發(fā)展的今天，基于神經(jīng)網(wǎng)絡(luò)的分割技術(shù)也不斷更新迭代，準(zhǔn)確提升的同時(shí)參數(shù)量更少、速度更快。其中，在神經(jīng)網(wǎng)絡(luò)中添加注意力機(jī)制，就能使得病灶區(qū)域的預(yù)測(cè)更加準(zhǔn)確。

參考文獻(xiàn)（References）：

[1] 龔曉明，李航，宋璐等.新型冠狀病毒肺炎（COVID-19）CT表現(xiàn)初步探討[J].放射學(xué)實(shí)踐，2020.35（3）：261-265

[2] 段瑞玲，李慶祥，李玉和.圖像邊緣檢測(cè)方法研究綜述[J].光學(xué)技術(shù)，2005.31（3）：10-15

[3] 唐高陽(yáng).探索基于MATLAB計(jì)算機(jī)模擬的圖像分割技術(shù)[J].科技創(chuàng)新導(dǎo)報(bào)，2020.17（17）：77-78

[4] 陳惠林，余任輝，鄭曉松等.疑似新型冠狀病毒肺炎的磨玻璃樣病灶CT征象分析[J].江西醫(yī)藥，2020.55（5）：609-611

[5] Hofmanninger J， Prayer F， Pan J， et al. Automatic lung

segmentation in routine imaging isprimarily a data diversity problem， not a methodology problem[J]，2020.4（1）：1804-1812

[6] 郭亞.基于全卷積神經(jīng)網(wǎng)絡(luò)的建筑物自動(dòng)提取方法研究[D].中國(guó)地質(zhì)大學(xué)，2020.

[7] 李銳.肺部病灶感興趣區(qū)域分割算法研究[D].東北大學(xué)，2009.

[8] Fan D P， Zhou T， Peng J G， et al. Inf-Net： AutomaticCOVID-19 lung infection segmentation from CT images，2020.39（8）：2626-2637

[9] 周鵬，姚劍敏，林志賢等.融合注意力機(jī)制的移動(dòng)端人像分割網(wǎng)絡(luò)[J].液晶與顯示，2020.35（6）：547-554