基于卷積神經(jīng)網(wǎng)絡(luò)的有限視角CT重建

吳清江+戴修斌

摘要：限制電子計(jì)算機(jī)斷層掃描的掃描視圖的角度是降低X射線劑量并因此削弱X射線對(duì)人體損傷的有效方法之一。然而，它會(huì)降低重建的CT圖像質(zhì)量。提出通過(guò)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)缺失的掃描視圖并重建CT圖像的方法。訓(xùn)練CNN網(wǎng)絡(luò)時(shí)，使用聯(lián)合損失函數(shù)，其包括重建損失和對(duì)抗性損失。重建損失可以捕捉到缺失預(yù)測(cè)的總體結(jié)構(gòu)，對(duì)抗性損失可以從分布中選出一種特定的模式，使結(jié)果更加準(zhǔn)確。在補(bǔ)全缺失的投影數(shù)據(jù)之后，使用傳統(tǒng)的濾波反投影方法從完整的投影重建CT圖像。實(shí)驗(yàn)結(jié)果表明，方法可以顯著改善在有限視角下的CT重建圖像的質(zhì)量。

關(guān)鍵詞：有限視角CT重建；卷積神經(jīng)網(wǎng)絡(luò)；聯(lián)合損失函數(shù)；對(duì)抗生成性網(wǎng)絡(luò)；圖像修補(bǔ)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）35-0204-04

Limited-view CT Reconstruction Based on Convolutional Neural Networks with Joint Loss

WU Qing-jiang， DAI Xiu-bin

（College of Telecommunications and Information Engineering， Nanjing University of Posts and Telecommunications， 210003 Nanjing， China）

Abstract： Limiting the scan views of X-ray computed tomography （CT） is one of the efficient ways to reduce the dose of X-rays and consequently weaken the damage by the X-rays. However， it will degrade the reconstructed CT images. This paper proposed to predict the missing projections and improve the CT images reconstructed from limited-view projections by training an unsupervised convolutional neural networks （CNN）. When training the CNN， Joint loss function which includes not only reconstruction loss， but adversarial loss was used. While reconstruction loss can capture the overall structure of the missing projections， the latter can pick a particular mode from the distribution and make the results much sharper. After the missing projections have been estimated， Reconstruct the CT images from the complete projections by utilizing conventional filtered back-projection （FBP） method. The experimental results show that our method can achieve considerable improvement in limited-view CT reconstruction.

Keywords： limited-view CT reconstruction， convolutional neural networks， joint loss function， adversarial networks， prediction of missing projections.

1 概述

CT是臨床診斷不可缺少的工具[1]。不幸的是，當(dāng)進(jìn)行X線CT檢查時(shí)，患者將比其他醫(yī)療成像設(shè)備（如磁共振成像和超聲波成像）接收更多的輻射劑量。因此，必須盡量減少X射線的劑量。在所有減少劑量的方法中，限制CT掃描的角度相當(dāng)常見(jiàn)。然而，它會(huì)導(dǎo)致重建的圖像的退化。這種退化會(huì)妨礙醫(yī)學(xué)診斷，在臨床上是不能接受的。

目前，如何改善在缺少某些投影時(shí)重建CT圖像方面已經(jīng)有許多相關(guān)的研究。研究方法大概可以分為兩組：直接對(duì)CT圖像進(jìn)行修復(fù)的和直接對(duì)CT投影數(shù)據(jù)進(jìn)行修復(fù)。

全變差方法屬于前一組，其整合了稀疏變換的系數(shù)以形成最終變差，并通過(guò)最小化全變差來(lái)重構(gòu)圖像[2-3]。主要缺點(diǎn)是全變差方法在重構(gòu)圖像中引入過(guò)度平滑的整體結(jié)構(gòu)和塊狀偽影。除了全變差方法外，基于字典的方法[4-5]也可以歸類為前者。它訓(xùn)練了一個(gè)冗長(zhǎng)的字典作為一個(gè)完整的數(shù)據(jù)集，并使用像素級(jí)的線性組合來(lái)表示對(duì)象圖像。

與上述兩種方法不同，一些方法側(cè)重于估計(jì)缺失的CT投影數(shù)據(jù)。在這一類中，最直接的方法是通過(guò)角插值來(lái)補(bǔ)全缺失的投影[6]。最近，另一種方法，即所謂的基于矩的方法，已經(jīng)引起了更多的關(guān)注[7-8]。基于矩的方法背后的原理是通過(guò)建立投影矩和圖像矩之間的關(guān)系來(lái)預(yù)先描述缺失的投影。

2016年，Pathak等人[9]提出了一種新穎的圖像修補(bǔ)方法，命名為上下文編碼器，通過(guò)使用無(wú)監(jiān)督的卷積神經(jīng)網(wǎng)絡(luò)來(lái)生成任意圖像區(qū)域的內(nèi)容。該方法對(duì)于預(yù)測(cè)圖像的缺失部分獲得了顯著的效果。因此提出了一種基于GAN的有限角度CT重建方法。使用無(wú)監(jiān)督CNN網(wǎng)絡(luò)訓(xùn)練自動(dòng)編碼器模型來(lái)預(yù)測(cè)丟失的投影數(shù)據(jù)。模型的編碼器部分給出了具有缺失投影數(shù)據(jù)與輸入投影數(shù)據(jù)之間的潛在特征表示。在獲取該特征表示之后，解碼器部分生成缺失部分投影。為了獲得令人滿意的預(yù)測(cè)結(jié)果，在訓(xùn)練過(guò)程中同時(shí)使用重建損失和對(duì)抗性損失[9]。通過(guò)這種方式，可以有效地學(xué)習(xí)圖像特征，其不僅捕獲外觀，而且捕獲圖像視覺(jué)結(jié)構(gòu)的語(yǔ)義。在補(bǔ)全了丟失的投影數(shù)據(jù)后，可以通過(guò)FBP方法重建CT圖像。endprint

2 自動(dòng)編碼器模型

在本文中，我們提出了一種基于無(wú)監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)的上下文編碼器來(lái)預(yù)測(cè)生成有限角度CT圖像投影數(shù)據(jù)的缺失部分。 圖1顯示了我們的概述模型的整體架構(gòu)。在以下小節(jié)為模型的具體介紹。

2.1 編碼器

本文所提出的模型使用自動(dòng)編碼器類型的CNN網(wǎng)絡(luò)作為生成器部分，以從不完全CT投影數(shù)據(jù)中生成缺失的投影數(shù)據(jù)。本文的CNN網(wǎng)絡(luò)利用AlexNet[10]架構(gòu)。具體來(lái)說(shuō)，在獲取不完全投影數(shù)據(jù)之后，我們使用前五個(gè)卷積層來(lái)計(jì)算有限角度CT投影圖像的抽象特征表示。如果給定投影的大小為128 * 180，則編碼器部分可以生成尺寸為4 * 4 * 512的派生特征表示。值得注意的是，盡管我們的模型的編碼器部分是從AlexNet架構(gòu)派生而來(lái)的，但是它被訓(xùn)練用于預(yù)測(cè)缺失的投影，而不是像AlexNet一樣用于圖像分類。

2.2 全通道

通常，信息以完全連接的方式直接從編碼器輸出端傳遞到解碼器生成端，其中所有的激活函數(shù)都直接連接。然而，完全連接將導(dǎo)致參數(shù)數(shù)量的爆炸。因此，本文使用通道方式的將編碼器生成信息傳遞到解碼器。而且由于通道式全連接層沒(méi)有連接不同特征圖的參數(shù)，僅在特征圖中傳遞信息，因此與完全連接的層不同。

2.3 解碼器

借助于通道式全連接層，編碼器部分計(jì)算出的特征表示可以連接到解碼器部分。然后，解碼器部分可以生成圖像的像素。為了做到這一點(diǎn)，解碼器部分由的五個(gè)上卷積層組成[11]，每個(gè)卷積器使用線性單元（ReLU）作為激活函數(shù)。

2.4 聯(lián)合損失函數(shù)

在訓(xùn)練中，我們使用聯(lián)合損失函數(shù)，包括重建損失和對(duì)抗性損失。

使用標(biāo)記的L2距離，我們可以將重建損耗定義為：

（1）

其中M是輸入投影數(shù)據(jù)x的缺失區(qū)域的二進(jìn)制掩碼；F（x）是編碼器部分的輸出，是元素乘積運(yùn)算。

從（1）可以看出，重構(gòu)損失傾向于預(yù)測(cè)分布的平均值，這可能使平均像素誤差最小。然而，這將導(dǎo)致模糊的圖像。換句話說(shuō)，盡管有能力預(yù)測(cè)目標(biāo)的大致輪廓，但（1）中的重建損失不能捕獲高頻細(xì)節(jié)。

為了應(yīng)對(duì)重建損失帶來(lái)的問(wèn)題，我們應(yīng)用生成對(duì)抗網(wǎng)（GAN）[12]的對(duì)抗損失[9]作為補(bǔ)充。 GAN背后的主要思想是共同學(xué)習(xí)一個(gè)生成模型和對(duì)抗性模型，后者可以為前者提供損失梯度。由于GAN不容易訓(xùn)練上下文預(yù)測(cè)任務(wù)，所以在文獻(xiàn)[9]中已經(jīng)提出了GAN的替代變體，其給出如下：

（2）

其中D是對(duì)抗模型。

聯(lián)合損失函數(shù)J（x）為（1）中的重建損失和（2）中的對(duì)抗損失的聯(lián)合函數(shù)

（3）

2.5 CT圖像重建

在通過(guò)上述訓(xùn)練模型估計(jì)缺失的投影之后，投影數(shù)據(jù)變得完整。然后，我們可以使用FBP方法從完整的投影重建CT圖像。

3 實(shí)驗(yàn)

在本節(jié)中，通過(guò)一些實(shí)驗(yàn)來(lái)驗(yàn)證本文模型的有效性，用上下文編碼器來(lái)補(bǔ)全一些掃描視圖中缺失的投影數(shù)據(jù)。

從西門(mén)子Somatom CT掃描儀掃描實(shí)驗(yàn)數(shù)據(jù)，包括60張CT圖像和相應(yīng)的投影數(shù)據(jù)。為了產(chǎn)生不完全的投影，我們假設(shè)在某些掃描視圖（0°到α）處的投影丟失，缺失投影的值設(shè)置為0。在所有實(shí)驗(yàn)數(shù)據(jù)中，30個(gè)CT圖像及其相應(yīng)的投影是用于訓(xùn)練任務(wù)；其余用于測(cè)試。參數(shù)λr和λa分別設(shè)定為0.8和0.2。

為了評(píng)估我們的方法在預(yù)測(cè)缺失圖像方面的表現(xiàn)，我們首先考慮缺失投影圖像與預(yù)測(cè)投影圖像之間的差距。圖2示出了當(dāng)α=45°我們的方法在1°，9°，17°，25°，33°和41°預(yù)測(cè)出的CT投影數(shù)據(jù)與缺失投影數(shù)據(jù)之間的比較。從圖2可以看出，實(shí)際投影數(shù)據(jù)與預(yù)測(cè)結(jié)果之間具有良好契合。此外，圖3中給出當(dāng)α=75°的情況下，在1°，13°，25°，37°，49°和61°處本文模型預(yù)測(cè)結(jié)果與缺失投影數(shù)據(jù)之間的比較。圖3顯示即使幾乎投影數(shù)據(jù)缺失40%的，本文的方法仍然可以取得良好的預(yù)測(cè)結(jié)果。因此，我們可以得出結(jié)論，本文所提出的方法在修補(bǔ)CT投影數(shù)據(jù)方面具有良好的性能。

接下來(lái)，驗(yàn)證本文模型生成的投影數(shù)據(jù)是否能夠在CT重建中表現(xiàn)良好。使用均方誤差（MSE）[8]定性測(cè)量原始圖像f和重建圖像f'之間的差異。

圖4顯示了通過(guò)本文模型補(bǔ)全缺失投影之后通過(guò)FBP方法重建的CT圖像與缺失投影數(shù)據(jù)重建的CT圖像間的比較。在圖4中，可用投影的范圍為45°至179°；第一列中的圖像是原始圖像；第二列中的圖像是用0填充缺失投影數(shù)據(jù)時(shí)通過(guò)FBP方法重建的結(jié)果；最后一列中的圖像是通過(guò)本文提出的模型重建的結(jié)果。顯然，在使用本文模型的最后一列的圖像中沒(méi)有觀察到FBP方法的經(jīng)典偽影。此外，與第二列中的圖像相比，最后一列的圖像中的掃描對(duì)象的信息更好地保留。我們還列出了圖4中缺失投影數(shù)據(jù)CT圖像與原CT圖像的MSE值：第二列圖像的MSE為20.67%，20.25%和20.76%；最后一列圖像的MSE值分別為2.88%，3.84%和2.84%。顯而易見(jiàn)，使用本文模型的最后一列中的圖像的MSE遠(yuǎn)低于圖4的第二列中的圖像。

從上述討論可以得出結(jié)論，當(dāng)有限角度投影數(shù)據(jù)缺失時(shí)，本文模型能有效地重建的CT圖像。

圖4 通過(guò)本文模型補(bǔ)全缺失投影數(shù)據(jù)之后通過(guò)FBP方法重建的CT圖像與缺失投影數(shù)據(jù)重建的CT圖像間的比較?？捎猛队暗姆秶鸀?5°至179°；第一列中的圖像是原始圖像；第二列中的圖像是用0填充缺失投影數(shù)據(jù)時(shí)通過(guò)FBP方法重建的結(jié)果；最后一列中的圖像是通過(guò)本文提出的模型重建的結(jié)果

4 總結(jié)

本文提出了一種在投影數(shù)據(jù)某些角度丟失時(shí)改進(jìn)CT圖像的新方法。具體方法為訓(xùn)練具有聯(lián)合損耗函數(shù)的無(wú)監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)，其類似于自動(dòng)編碼器，以預(yù)測(cè)缺失的投影。使用預(yù)測(cè)數(shù)據(jù)補(bǔ)全CT投影數(shù)據(jù)后，采用FBP算法從完整的投影數(shù)據(jù)中重建CT圖像。實(shí)驗(yàn)結(jié)果表明，本文的方法在預(yù)測(cè)缺失投影數(shù)據(jù)時(shí)具有良好的性能，可以獲得良好的CT重建圖像。endprint

參考文獻(xiàn)：

[1] Marchant， T.E.， Joshi K.D.： Comprehensive Monte Carlo study of patient doses from cone-beam CT imaging in radiotherapy[J]. J. Radiol. Prot. 37， 13-30 （2017）

[2] Sanchez A.A.： Estimation of noise properties for TV-regularized image reconstruction in computed tomography[J]. Phys. Med. Biol. 60， 7007-7033 （2015）

[3] Cai， A.， Wang， L.， Zhang， H.， Yan， B.， Li， L.， Xi， X.， Li， J.： Edge guided image reconstruction in linear scan CT by weighted alternating direction TV minimization[J]. J. X-Ray Sci. Technol. 22， 335-349 （2014）

[4] Chen， Y.， Shi， L.， Feng， Q.， Yang， J.， Shu， H.Z.， Luo， L.M.， Coatrieux， J.L.， Chen， W.F.： Artifact suppressed dictionary learning for low-dose CT Image Processing[J]. IEEE T. Med. Imaging. 33， 2271-2292 （2014）

[5] Chen， Y.， Yin， X.， Shi， L.， Shu， H.Z.， Luo， L.M.， Coatrieux， J.L.， Toumoulin， C.： Improving abdomen tumor low-dose CT images using a fast dictionary learning based processing[J]. Phys. Med. Biol. 58， 5803-5820 （2013）

[6] Zhang， H.， Kruis， M.， Sonke， J.J.： Directional sinogram interpolation for motion weighted 4D cone-beam CT reconstruction[J]. Phys. Med. Biol. 62， 2254-2275 （2017）

[7] Shu， H.Z.， Zhou， J.， Han， G.N.， Luo， L.M.， Coatrieux， J.L.： Image reconstruction from limited range projections using orthogonal moments[J]. Pattern Recogn. 40， 670-680 （2007）

[8] Dai， X.B.， Shu， H.Z.， Luo， L.M.， Han， G.N.， Coatrieux， J.L.： Reconstruction of tomographic images from limited range projections using discrete Radon transform and Tchebichef moments[J]. Pattern Recogn. 43， 1152-1164 （2010）

[9] Pathak， D.， Krahenbuhl， P.， Donahue， J.， Darrell， T.， Efros， A.A.： Context Encoders： Feature Learning by Inpainting[C]. In： 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， pp. 2536-2544. IEEE Press， New York （2016）

[10] Krizhevsky， A.， Sutskever， I.， Hinton， G.E.： ImageNet classification with deep convolutional neural networks[C]. In： Advances in Neural Information Processing Systems， pp. 1097-1105. MIT Press， Cambridge MA （2012）

[11] Long， J.， Shelhamer， E.， Darrell， T.： Fully convolutional networks for semantic segmentation[C]. In： 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， pp. 3431-3440. IEEE Press， New York （2015）

[12] Goodfellow， I.， Pouget-Abadie， J.， Mirza， M.， Xu， B.， Warde-Farley， D.， Ozair， S.， Courville， A.， Bengio， Y.： Generative adversarial nets[C]. In： Advances in Neural Information Processing Systems， pp. 2672-2680. MIT Press， Cambridge MA （2014）.endprint