靳 鑫，劉仰川，朱葉晨，張子健，高 欣*

（1.中國科學(xué)技術(shù)大學(xué)生物醫(yī)學(xué)工程學(xué)院（蘇州）生命科學(xué)與醫(yī)學(xué)部，江蘇 蘇州 215009；2.中國科學(xué)院 蘇州生物醫(yī)學(xué)工程技術(shù)研究所，江蘇 蘇州 215163；3.中南大學(xué)湘雅醫(yī)院 腫瘤科，長沙 410008）

0 引言

基于平板探測器的錐束CT（Cone Beam Computed Tomography，CBCT）廣泛應(yīng)用于口腔科、骨科、放射治療科和動物活體成像、物質(zhì)成分分析、無損檢測等。過量的CBCT掃描劑量會對被掃描對象造成輻射損傷，降低曝光參數(shù)（管電流或管電壓）的掃描模式和增大掃描角度間隔的稀疏投影是兩種常用的低劑量掃描方式。與降低曝光參數(shù)掃描方式相比，稀疏投影不僅減小了掃描劑量，而且提高了掃描速度，避免了掃描對象因掃描時(shí)間長出現(xiàn)移動或形變，導(dǎo)致重建圖像中出現(xiàn)運(yùn)動偽影［1］。利用稀疏投影數(shù)據(jù)生成缺失角度的投影數(shù)據(jù)可以提高完備性，進(jìn)而提高稀疏投影CBCT 重建圖像質(zhì)量，對于快速掃描的CBCT 領(lǐng)域具有重要的意義。目前，解析重建算法中的FDK（Feldkamp-Davis-Kress）算法仍是商用CBCT 掃描儀的標(biāo)準(zhǔn)算法，與迭代重建算法相比，在保證重建圖像質(zhì)量的前提下，具有更快的重建速度。然而，F(xiàn)DK 對投影數(shù)據(jù)的完備性要求較高，在稀疏投影條件下，重建圖像中會出現(xiàn)嚴(yán)重的條狀偽影。

為解決上述稀疏投影重建問題，在扇束CT（Fan Beam Computed Tomography，F(xiàn)BCT）領(lǐng)域，一種直接的方法是正弦圖修復(fù)，通過補(bǔ)全因角度缺失而損失的正弦信息提高投影數(shù)據(jù)的完備性。傳統(tǒng)的FBCT 正弦圖修復(fù)方法包括線性插值法（Linear Interpolation，LI）［2］、方向插值法［3］、偏微分方程［4］和頻域方法［5］等，可以有效減少重建圖像中的條狀偽影，但這些方法會導(dǎo)致正弦圖中的連續(xù)性結(jié)構(gòu)出現(xiàn)部分缺失，在重建圖像中引入二次偽影。近年來，深度學(xué)習(xí)在計(jì)算機(jī)視覺和自然語言處理領(lǐng)域得到了廣泛的應(yīng)用。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是目前應(yīng)用最廣泛的深度學(xué)習(xí)算法之一，部分研究者將它用于稀疏投影FBCT 的正弦圖修復(fù)和圖像偽影去除，并取得了較好的效果［6］。文獻(xiàn)［7］中采用CNN 中的U-Net 修復(fù)仿真的稀疏投影FBCT 正弦圖，再經(jīng)過FBP（Filtered Back Projection）重建，圖像質(zhì)量得到明顯提升。文獻(xiàn)［8］中在U-Net 基礎(chǔ)上提出了基于dual frame 和tight frame 的兩種改進(jìn)型U-Net，對仿真的稀疏投影FBCT 圖像的實(shí)驗(yàn)結(jié)果表明兩者均可以有效去除圖像中的條狀偽影，其中tight frame U-Net 甚至優(yōu)于全變分（Total Variation，TV）正則化迭代重建算法。文獻(xiàn)［9］中在經(jīng)典U-Net 結(jié)構(gòu)的基礎(chǔ)上，提出了用于CT 圖像稀疏重建的多殘差U-Net，在降低條狀偽影的同時(shí)更好地保留了圖像紋理和細(xì)節(jié)信息。

由于CBCT 與FBCT 的投影數(shù)據(jù)類型存在較大差異，單一角度下CBCT 投影數(shù)據(jù)是錐束射線透射三維物體后在二維探測器上的積分，缺少投影角度間的相關(guān)性。一些研究為了建立不同角度CBCT 投影數(shù)據(jù)間的相關(guān)性，提出了一系列以方向插值為基礎(chǔ)的方法。文獻(xiàn)［10］中將以角度排布的CBCT 投影數(shù)據(jù)以三維的形式堆疊，基于該三維投影數(shù)據(jù)直接使用方向插值方法生成缺失角度的投影數(shù)據(jù)；文獻(xiàn)［11］進(jìn)一步提出將堆疊后的三維投影數(shù)據(jù)沿掃描平面方向重新抽取為一系列的二維正弦圖，再利用方向插值法修復(fù)正弦圖，取得了更好的效果，但仍具有傳統(tǒng)插值方法的連續(xù)性結(jié)構(gòu)丟失、引入二次偽影的問題。按照此類方法轉(zhuǎn)換后的CBCT 正弦圖與FBCT 正弦圖具有一定的結(jié)構(gòu)相似性（Structural SIMilarity，SSIM），因此可將稀疏投影FBCT 重建領(lǐng)域中的深度學(xué)習(xí)正弦圖修復(fù)方法應(yīng)用于稀疏投影CBCT 重建，克服現(xiàn)有基于插值的傳統(tǒng)方法的不足，進(jìn)一步提高CBCT 稀疏重建效果，并填補(bǔ)該領(lǐng)域深度學(xué)習(xí)正弦圖修復(fù)方法的空白。

現(xiàn)有研究廣泛使用的U-Net 采用對稱的下采樣層和反卷積層會導(dǎo)致修復(fù)后的圖像中出現(xiàn)棋盤偽影（Checkerboard Artifacts）［12］。文獻(xiàn)［13］中指出對圖像進(jìn)行多次下采樣會丟失圖像中的信息，并提出了一種具備對稱且殘差連接的卷積層和反卷積層的殘差編解碼-卷積神經(jīng)網(wǎng)絡(luò)（Residual Encoder-Decoder Convolutional Neural Network，RED-CNN）。該網(wǎng)絡(luò)中的卷積和反卷積的步長均設(shè)為1，以避免對圖像下采樣，針對低曝光參數(shù)掃描的FBCT 圖像的實(shí)驗(yàn)結(jié)果證明，這種不包含下采樣的網(wǎng)絡(luò)結(jié)構(gòu)可以去除圖像中的噪聲并保持結(jié)構(gòu)細(xì)節(jié)。文獻(xiàn)［14］中在RED-CNN 的基礎(chǔ)上提出了一種對稱殘差CNN（Symmetric Residual CNN，SR-CNN），針對TV 正則化迭代重建的稀疏投影CBCT 圖像，增強(qiáng)圖像的邊緣銳度和解剖結(jié)構(gòu)細(xì)節(jié)。上述兩項(xiàng)基于RED-CNN 的圖像域研究表明，殘差編解碼結(jié)構(gòu)（Residual Encoder-Decoder，RED）相較于連續(xù)下采樣結(jié)構(gòu)具有更佳的增強(qiáng)性能，但目前仍缺少將這一結(jié)構(gòu)用于正弦圖修復(fù)的研究。

自2014 年生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）被提出后出現(xiàn)了大量變種網(wǎng)絡(luò)被成功應(yīng)用于各類計(jì)算機(jī)視覺和圖像處理任務(wù)中，在場景生成、圖像翻譯、文本與圖像的相互生成、視頻預(yù)測等領(lǐng)域都發(fā)揮了獨(dú)特的作用。GAN 模型由生成器和判別器構(gòu)成，通過生成器生成圖像，利用判別器提取的高維特征判斷生成圖像，再通過判別器和生成器的對抗訓(xùn)練，使生成圖像更加接近目標(biāo)圖像。

近幾年，部分研究者將GAN 用于醫(yī)學(xué)成像中的生成問題。文獻(xiàn)［15］中提出了一種基于特征金字塔（Feature Pyramid）和焦點(diǎn)圖（Focus Map）改進(jìn)的最小二乘GAN（Least Squares GAN，LSGAN）方法［16］，針對稀疏投影CBCT 圖像，可去除圖像中的條狀偽影并保留解剖結(jié)構(gòu)；文獻(xiàn)［17］中提出了一種銳度感知GAN（Sharpness-Aware GAN，SAGAN）方法，通過在目標(biāo)函數(shù)中添加銳度損失增強(qiáng)低曝光參數(shù)掃描的FBCT圖像，有效避免了圖像模糊；文獻(xiàn)［18］中改進(jìn)了GAN 的損失函數(shù)，將重建損失（Reconstruction Loss）和GAN 原有的生成對抗損失結(jié)合，構(gòu)建聯(lián)合損失（Joint Loss）［19］作為網(wǎng)絡(luò)的損失函數(shù)，針對小樣本量的有限角CBCT 真實(shí)投影數(shù)據(jù)進(jìn)行正弦圖修復(fù)，實(shí)驗(yàn)結(jié)果表明改進(jìn)后的GAN 可有效生成缺失的投影數(shù)據(jù)。上述3 種基于GAN 的變種方法在圖像域去噪或有限角重建任務(wù)中取得了較好的結(jié)果，這表明基于GAN 的深度學(xué)習(xí)方法具有提升稀疏投影CBCT 重建質(zhì)量的潛力。

本文結(jié)合RED 結(jié)構(gòu)和GAN，提出一種用于稀疏投影CBCT 重建的正弦圖修復(fù)網(wǎng)絡(luò)——?dú)埐罹幗獯a-生成對抗網(wǎng)絡(luò)（Residual Encoder-Decoder Generative Adversarial Network，RED-GAN）。以 RED 模塊替 換 Pix2pixGAN（Pix2pix Generative Adversarial Network）［20］中的U-Net 生成器，可保留因原U-Net 生成器下采樣而丟失的結(jié)構(gòu)信息，保持正弦圖的連續(xù)性；同時(shí)，RED 模塊中的殘差連接可防止由網(wǎng)絡(luò)過深導(dǎo)致的梯度消失問題，降低模型訓(xùn)練難度。此外，利用基于PatchGAN（Patch Generative Adversarial Network）［20］的條件判別器，鑒別生成器生成的正弦圖和真實(shí)正弦圖差異，進(jìn)一步提升生成器的性能。本文所提正弦圖修復(fù)的稀疏投影CBCT重建方法主要包括3 個(gè)步驟：首先將稀疏投影數(shù)據(jù)轉(zhuǎn)換為三維正弦圖，通過線性插值對正弦圖上采樣，構(gòu)建配對的訓(xùn)練數(shù)據(jù)、測試數(shù)據(jù)；然后逐切片將上述數(shù)據(jù)輸入RED-GAN 中進(jìn)行網(wǎng)絡(luò)訓(xùn)練和測試，并將測試結(jié)果（修復(fù)后的正弦圖）轉(zhuǎn)換回投影數(shù)據(jù)；最后利用FBP 算法對投影數(shù)據(jù)進(jìn)行圖像重建，分別在投影數(shù)據(jù)域和重建圖像域中評價(jià)網(wǎng)絡(luò)修復(fù)性能。

1 數(shù)據(jù)和方法

1.1 數(shù)據(jù)和預(yù)處理

本文使用的CBCT 投影數(shù)據(jù)來自文獻(xiàn)［21］中的公開數(shù)據(jù)集。該數(shù)據(jù)集通過XRE nv 公司開發(fā)的FleX-ray 掃描儀采集，掃描對象是核桃。掃描儀主要由錐束微焦點(diǎn)X 射線源、互補(bǔ)金屬氧化物半導(dǎo)體（Complementary Metal Oxide Semiconductor，CMOS）型平板探測器和載物轉(zhuǎn)臺組成，其中射線源的額定管電壓為90 kV，額定功率為90 W，射線為多能級；平板探測器的像素矩陣為1 536×1 944，像素尺寸為74.8 μm；掃描核桃時(shí)，管電壓為40 kV，管功率為12 W，單次曝光時(shí)間為80 ms，探測器采用2×2binning 模式；射線源焦點(diǎn)到旋轉(zhuǎn)軸的距離為66 mm，射線源焦點(diǎn)到探測器中心的距離為199 mm，幾何放大比是3.016；轉(zhuǎn)臺通過泡沫固定成像物體，可360°旋轉(zhuǎn)，角度步進(jìn)為0.3°，投影次數(shù)為1 201（首末兩次對應(yīng)的位置重合）；射線源相對核桃有高、中、低這3 種位置高度，本文僅選擇中間位置高度對應(yīng)的數(shù)據(jù)。

CBCT 掃描原理見圖1（a），其中V表示在旋轉(zhuǎn)方向上的探測器像素?cái)?shù)，U表示垂直于旋轉(zhuǎn)平面的探測器像素?cái)?shù)，N表示投影次數(shù)，η表示稀疏采樣因子。平板探測器和X 射線源以圓周軌跡同步旋轉(zhuǎn)，探測器像素矩陣大小為U×V，在全采樣掃描模式下的投影次數(shù)為N。為了獲得配對的全采樣正弦圖和待修復(fù)正弦圖數(shù)據(jù)，本文借助線性插值上采樣方式構(gòu)建待修復(fù)正弦圖，如圖1（b）所示：1）將全采樣的N個(gè)CBCT 投影圖按照角度采集順序堆疊，形成尺寸為U×V×N的矩陣；2）按照稀疏采樣因子η，從該矩陣中抽取部分角度上的投影數(shù)據(jù)，形成尺寸為U×V×N/η的矩陣；3）將兩個(gè)矩陣分別進(jìn)行維度變換，得到尺寸分別為U×N×V、U×N/η×V的三維正弦圖，稱之為全采樣正弦圖和稀疏采樣正弦圖，二者均可抽取數(shù)量為U、尺寸分別V×N、V×N/η的正弦圖切片；4）采用線性插值對稀疏采樣正弦圖的各個(gè)切片上采樣，得到尺寸為U×N×V的矩陣，稱之為待修復(fù)正弦圖。待修復(fù)正弦圖與全采樣正弦圖尺寸相同，二者組成配對數(shù)據(jù)。由數(shù)據(jù)集可知，U=972、V=768、N=1 201，η設(shè)為2、3、4。選擇10例核桃的投影數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，2 例核桃的投影數(shù)據(jù)作為測試數(shù)據(jù)，經(jīng)過正弦圖轉(zhuǎn)換、無效數(shù)據(jù)剔除，得到8 460 張正弦圖切片作為訓(xùn)練集，1 944 張正弦圖切片作為測試集。

圖1 CBCT掃描原理和配對數(shù)據(jù)構(gòu)建流程Fig.1 CBCT scanning principle and paired data construction flow

1.2 基于RED-GAN的正弦圖修復(fù)流程

采用上述配對數(shù)據(jù)訓(xùn)練RED-GAN，流程如圖2 所示。

圖2 RED-GAN訓(xùn)練流程Fig.2 Training flow of RED-GAN

從圖2 可見，全采樣正弦圖切片與待修復(fù)正弦圖切片一起作為訓(xùn)練數(shù)據(jù)輸入RED-GAN，其中全采樣正弦圖切片作為真值。RED-GAN 在訓(xùn)練過程中，通過計(jì)算全采樣正弦圖切片與修復(fù)后正弦圖切片之間的損失并將它反向傳播，不斷優(yōu)化網(wǎng)絡(luò)參數(shù)，建立待修復(fù)正弦圖切片與對應(yīng)全采樣正弦圖切片之間的映射關(guān)系，結(jié)構(gòu)將在1.3 節(jié)中描述。采用待修復(fù)正弦圖測試RED-GAN，流程如圖3。從圖3 可見，待修復(fù)正弦圖切片輸入已訓(xùn)練的RED-GAN 中，網(wǎng)絡(luò)生成修復(fù)后正弦圖切片。然后，為了盡可能地保證正弦圖的準(zhǔn)確性，在修復(fù)后正弦圖轉(zhuǎn)換得到的投影數(shù)據(jù)中，利用原稀疏投影數(shù)據(jù)替換對應(yīng)部分。利用FBP 重建最終的修復(fù)后正弦圖，得到修復(fù)后重建圖像。從該流程可以看出，利用修復(fù)后正弦圖和修復(fù)后重建圖像均可以評價(jià)RED-GAN 的修復(fù)性能。

圖3 RED-GAN性能評價(jià)流程Fig.3 Performance evaluation flow of RED-GAN

1.3 RED-GAN模型

1.3.1 正弦圖修復(fù)模型

令x∈SV×N為輸入網(wǎng)絡(luò)的待修復(fù)正弦圖切片，y∈SV×N為對應(yīng)的全采樣正弦圖切片。正弦圖修復(fù)的數(shù)學(xué)模型表示為：

其中f表示神經(jīng)網(wǎng)絡(luò)修復(fù)過程，目的是將修復(fù)后正弦圖切片與全采樣正弦圖切片之間的L2范數(shù)最小化。

1.3.2 Pix2pixGAN

Pix2pixGAN 的結(jié)構(gòu)如圖4 所示，包括生成器G 和條件判別器D 這兩部分：生成器G 用于將輸入的待修復(fù)正弦圖切片x生成修復(fù)后正弦圖切片xf；條件判別器D 用于鑒別修復(fù)后正弦圖切片xf與目標(biāo)圖像y拼接后的(xf，y)和待修復(fù)正弦圖切片x與目標(biāo)圖像y拼接后的(x，y)的一致性。在網(wǎng)絡(luò)訓(xùn)練過程中，生成器G 嘗試使修復(fù)后正弦圖切片xf盡可能接近目標(biāo)圖像y，而判別器D 通過提取高維特征鑒別x和xf的一致性，并將鑒別結(jié)果反饋給生成器G，使生成器G 具有更好的正弦圖修復(fù)效果。

圖4 Pix2pixGAN的結(jié)構(gòu)Fig.4 Structure of Pix2pixGAN

Pix2pixGAN 的目標(biāo)函數(shù)表示為：

其中：D(x，y)表示條件判別器D 的輸出；G(x，y)表示生成器G 的輸出；E 表示期望函數(shù)。在網(wǎng)絡(luò)訓(xùn)練過程中，生成器G 趨于最小化目標(biāo)函數(shù)，判別器D 趨于最大化目標(biāo)函數(shù)。當(dāng)判別器D 對(xf，y)和(x，y)具有最強(qiáng)的鑒別能力，同時(shí)生成器G 生成的xf和y之間的差異達(dá)到最小時(shí)，判別器D和生成器G在相互博弈中達(dá)到平衡。此時(shí)，生成器G 對正弦圖的修復(fù)能力達(dá)到最強(qiáng)，網(wǎng)絡(luò)達(dá)到最優(yōu)。這個(gè)最小-最大化問題可以描述為：

生成對抗損失與傳統(tǒng)的L1或L2距離損失結(jié)合能進(jìn)一步提升網(wǎng)絡(luò)的生成效果［20］。相較于L1距離，L2距離可以使生成器的輸出更加接近目標(biāo)圖像，L2距離損失表示為：

本文將生成對抗損失和L2距離的結(jié)合作為目標(biāo)函數(shù)，最終的目標(biāo)函數(shù)為：

其中λ表示L2距離損失的權(quán)重。

1.3.3 殘差編解碼（RED）生成器

正弦圖是投影數(shù)據(jù)按照采樣角度順序堆疊的結(jié)果，相較于投影數(shù)據(jù)，在圖像結(jié)構(gòu)上具有高度連續(xù)性，表現(xiàn)為每一部分均與鄰域高度相關(guān)。Pix2pixGAN 的原生成器是U-Net，而U-Net 采用的多個(gè)下采樣結(jié)構(gòu)會丟失原圖像中的信息［13］，進(jìn)而損失這一連續(xù)性。為了盡可能保持正弦圖的連續(xù)性，本文將Pix2pixGAN 的原生成器替換為RED 模塊，通過殘差連接的對稱卷積層和反卷積層保留正弦圖中連續(xù)性結(jié)構(gòu)信息。

RED 生成器結(jié)構(gòu)如圖5（a）所示。編碼結(jié)構(gòu)用于提取特征，對應(yīng)的解碼結(jié)構(gòu)用于從提取的特征中還原真實(shí)結(jié)構(gòu)。隨著RED 結(jié)構(gòu)的加深，網(wǎng)絡(luò)能提取更多的特征，但性能會因?yàn)槎鄬永塾?jì)誤差而被削弱，梯度彌散和梯度爆炸問題也會導(dǎo)致網(wǎng)絡(luò)訓(xùn)練更加困難。殘差連接可以補(bǔ)償深層丟失的細(xì)節(jié)信息，同時(shí)緩解因網(wǎng)絡(luò)加深導(dǎo)致的訓(xùn)練困難。RED 模塊中，每個(gè)卷積層和反卷積層具有相同的結(jié)構(gòu)，通道數(shù)均為96，卷積尺寸均為4×4，卷積步長均為1，每個(gè)卷積層和反卷積層都跟隨一個(gè)Leaky ReLU（Rectified Linear Unit）層作為網(wǎng)絡(luò)的激活函數(shù)層，Leaky ReLU 的參數(shù)設(shè)為0.2。

圖5 RED-GAN結(jié)構(gòu)Fig.5 Structure of RED-GAN

1.3.4 基于PatchGAN的條件判別器

為了進(jìn)一步提升網(wǎng)絡(luò)性能，采用基于PatchGAN 的條件判別器鑒別全采樣圖片和修復(fù)后圖片的一致性。不同于傳統(tǒng)GAN 中判別器僅對生成器生成圖像輸出一個(gè)真或假的評價(jià)值，PatchGAN 的條件判別器輸出為一個(gè)N×N的評價(jià)值矩陣，該矩陣中每個(gè)值均代表對原始輸入圖像中特定區(qū)域的評價(jià)值。相較于傳統(tǒng)GAN 判別器，PatchGAN 判別器具有更少的參數(shù)和更快的運(yùn)行速度，更適用于大尺度圖像，并且當(dāng)該評價(jià)值矩陣的大小遠(yuǎn)小于生成器生成圖像尺寸時(shí)，仍具有出色的鑒別效果，它的具體結(jié)構(gòu)如圖5（b）所示。判別器由5 層組成，卷積核大小為4×4，前3 層的卷積步長設(shè)置為2，后2 層的步長設(shè)置為1，卷積層前4 層的通道數(shù)均為192，最后1 層的通道數(shù)為32，每個(gè)卷積層后都有Leaky ReLU 層作為激活函數(shù)。將(xf，y)和(x，y)同時(shí)送入判別器，經(jīng)5 層卷積后分別映射為192×50 的兩個(gè)特征矩陣，判別器逐像素地判斷特征矩陣之間的相似程度，并輸出192×50 的評價(jià)值矩陣。評價(jià)值矩陣的每個(gè)元素代表了(xf，y)和(x，y)中一塊70×70 的區(qū)域之間的相似程度。兩區(qū)域越相似，評價(jià)值越接近于1；兩區(qū)域的差異越大，評價(jià)值越接近于0。判別器根據(jù)評價(jià)值矩陣結(jié)果鑒別生成器的輸出圖像是否為真實(shí)圖像，并以此計(jì)算生成對抗損失，修正生成器的結(jié)果。當(dāng)生成圖像xf足夠接近y時(shí)，判別器無法分辨(xf，y)和(x，y)，此時(shí)網(wǎng)絡(luò)的性能達(dá)到最佳。

1.4 CBCT圖像重建

將修復(fù)后正弦圖轉(zhuǎn)為投影數(shù)據(jù)，利用FDK 算法對修復(fù)后投影數(shù)據(jù)進(jìn)行CT 圖像重建。FDK 算法是基于FBP 的一種三維重建算法，適用于CBCT 圖像重建。它的原理是將錐形束X 射線視為具有不同傾斜角度的扇形束射線面的集合，其中垂直于平板探測器的中心扇形束射線面對應(yīng)的投影數(shù)據(jù)采用FBP 重建，其余扇形束射線面對應(yīng)的投影數(shù)據(jù)采用修正的FBP 算法重建。

FDK 算法先對投影數(shù)據(jù)加權(quán)，修正重建圖像各像素到旋轉(zhuǎn)軸的距離和角度，再對不同角度的投影數(shù)據(jù)在水平方向上一維濾波，最后沿射線方向進(jìn)行三維反投影（插值），定義為：

其中：D為射線源到旋轉(zhuǎn)軸的距離；α為投影角度；p(u，v，α)為投影數(shù)據(jù)；(u，v) ∈[1：U]×[1：V]為投影數(shù)據(jù)坐標(biāo)；(a，b，c)為CT 圖像坐標(biāo)系；h(u)為水平方向上一維斜坡濾波器；?表示一維卷積。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

本文的深度學(xué)習(xí)框架為PyTorch 1.12.0。計(jì)算平臺為裝有兩張NVIDIA GeForce 2080Ti GPU 卡的工作站，操作系統(tǒng)為Ubuntu 20.04。采用Adam 優(yōu)化器訓(xùn)練RED-GAN，網(wǎng)絡(luò)的batch size 設(shè)為4，單個(gè)實(shí)驗(yàn)的Epoch 數(shù)為200，λ設(shè)為105。對于稀疏采樣因子η為2、3、4 的投影數(shù)據(jù)，網(wǎng)絡(luò)的學(xué)習(xí)率分別設(shè)為0.000 05、0.000 08、0.000 10。在訓(xùn)練和測試過程中，輸入圖片的灰度值均歸一化到［0，1］。

2.2 圖像質(zhì)量評價(jià)指標(biāo)

采用均方根誤差（Root Mean Square Error，RMSE）、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似性（SSIM）這3 項(xiàng)指標(biāo)定量評價(jià)修復(fù)后正弦圖和CT 重建圖像。

令x表示修復(fù)后正弦圖切片或?qū)?yīng)的重建圖像，稱為修復(fù)后圖像，y表示全采樣正弦圖切片或?qū)?yīng)的重建圖像，稱為真實(shí)圖像，yi∈y、xi∈x分別表示圖中的單個(gè)像素。

RMSE 定義為：

其中M代表正弦圖切片的像素?cái)?shù)。RMSE 越小，表示修復(fù)后圖像和真實(shí)圖像之間的差異越小。

PSNR 定義為：

其中ymax代表正弦圖y中像素點(diǎn)的最大值。PSNR 越大，表示修復(fù)后圖像的噪聲水平越低。

SSIM 定義為：

其中：μx、μy分別表示圖像x和y的均值；δx、δy分別表示圖像x和y的標(biāo)準(zhǔn)差；δx，y表示x和y的協(xié)方差；C1和C2分別是定義為(0.01 ×ymax)2和(0.03 ×ymax)2的默認(rèn)參數(shù)。SSIM 值越大，表示修復(fù)后圖像和真實(shí)圖像的結(jié)構(gòu)越相似。

2.3 實(shí)驗(yàn)結(jié)果

2.3.1 定量評價(jià)

本文采用來自公開數(shù)據(jù)集中12例核桃的真實(shí)CBCT 投影數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，分別采用LI［2］、RED-CNN［13］、Pix2pixGAN［20］和RED-GAN 對測試數(shù)據(jù)進(jìn)行正弦圖修復(fù)，并將修復(fù)結(jié)果進(jìn)行CT圖像重建。分別在正弦圖域和重建圖像域?qū)@4種方法的結(jié)果計(jì)算RMSE、PSNR和SSIM，進(jìn)行定量評價(jià)。

正弦圖域和重建圖像域的實(shí)驗(yàn)結(jié)果如表1、2 所示。從表1、2 中可知，在同一種稀疏采樣條件下，RED-CNN、Pix2pixGAN、RED-GAN 這3 種深度學(xué)習(xí)方法正弦圖修復(fù)結(jié)果及重建圖像修復(fù)結(jié)果的RMSE 值均小于LI 的值；PSNR 和SSIM 值均大于LI 的值。這表明，在同一種稀疏采樣條件下，3 種深度學(xué)習(xí)方法比傳統(tǒng)方法LI 更具正弦圖修復(fù)能力。此外，在同一稀疏采樣條件下，RED-GAN 的RMSE、PSNR、SSIM這3 項(xiàng)指標(biāo)均優(yōu)于對比深度學(xué)習(xí)方法，其中，在1/4 稀疏條件下對正弦圖的修復(fù)效果最為明顯，與對比方法中效果最佳的結(jié)果相比，在投影域中，RMSE 下降了7.2%，PSNR 上升了1.5%，SSIM 上升了1.4%；在圖像域中，RMSE 下降了5.4%，PSNR 上升了1.6%，SSIM 上升了1.0%，表明RED-GAN 具有最強(qiáng)的正弦圖修復(fù)能力。

表1 不同稀疏采樣條件下正弦圖修復(fù)結(jié)果對比Tab.1 Comparison of sinogram inpainting results under different sparse-view sampling conditions

從表1 中還可以看出，隨著η減小，即真實(shí)數(shù)據(jù)比例增加，LI 修復(fù)正弦圖的RMSE 遞減，PSNR 和SSIM 遞增，各項(xiàng)指標(biāo)均差于3 種深度學(xué)習(xí)方法。這表明，LI 的修復(fù)能力弱于深度學(xué)習(xí)方法。在深度學(xué)習(xí)類方法中，隨著η減小，RED-CNN修復(fù)正弦圖的RMSE 線性下降，PSNR 線性上升，SSIM 上升；Pix2pixGAN 和RED-GAN 修復(fù)正弦圖的RMSE 先上升后下降，PSNR 和SSIM 先下降后上升。從表2 中還可以看出，隨?著η減小，RED-CNN 重建圖像修復(fù)結(jié)果的RMSE 下降，PSNR和SSIMR 上升，RED-GAN 和Pix2pixGAN 重建圖像修復(fù)結(jié)果的RMSE 幾乎保持不變后下降，PSNR 幾乎保持不變后上升，SSIM 一直上升。具體地，當(dāng)η=4 時(shí)，Pix2pixGAN 修復(fù)正弦圖和修復(fù)重建結(jié)果的各項(xiàng)指標(biāo)均優(yōu)于RED-CNN；當(dāng)η=3 時(shí)，Pix2pixGAN 和RED-CNN 修復(fù)正弦圖和重建圖像修復(fù)結(jié)果的RMSE 和PSNR 相當(dāng)，RED-CNN 修復(fù)正弦圖的SSIM 指標(biāo)優(yōu)于Pix2pixGAN；當(dāng)η=2 時(shí)，RED-CNN 修復(fù)正弦圖和修復(fù)重建結(jié)果的各項(xiàng)指標(biāo)優(yōu)于Pix2pixGAN；而RED-GAN 在3 種稀疏采樣條件下的各項(xiàng)指標(biāo)均優(yōu)于Pix2pixGAN 和RED-CNN，特別是當(dāng)η=4 時(shí)，RED-GAN 修復(fù)正弦圖的3 項(xiàng)指標(biāo)大幅優(yōu)于其他對比方法。這是因?yàn)楫?dāng)真實(shí)數(shù)據(jù)比例較小時(shí)，Pix2pixGAN 通過生成器和判別器之間的博弈，網(wǎng)絡(luò)修復(fù)性能強(qiáng)大；當(dāng)真實(shí)數(shù)據(jù)比例較大時(shí)，RED-CNN 中的RED 結(jié)構(gòu)可以保留更多真實(shí)數(shù)據(jù)，具有更好的正弦圖修復(fù)性能。而將二者結(jié)合起來的RED-GAN 可以兼具二者的優(yōu)點(diǎn)，在3 種稀疏采樣條件下均具有最好的正弦圖修復(fù)效果，特別是當(dāng)真實(shí)數(shù)據(jù)比例較小時(shí)，更具有優(yōu)勢，這驗(yàn)證了本文方法的有效性。

表2 不同稀疏采樣條件下重建圖像修復(fù)結(jié)果對比Tab.2 Comparison of reconstructed image inpainting results under different sparse-view sampling conditions

對比表1、2 可以發(fā)現(xiàn)，重建圖像域與正弦圖域中的變化趨勢存在差異。與正弦圖域相比，重建圖像域中LI 的3 項(xiàng)指標(biāo)由線性變化改為非線性變化，Pix2pixGAN 和RED-GAN 的3 項(xiàng)指標(biāo)升降幅度變小。這可能是圖像重建過程中FDK 算法對投影數(shù)據(jù)進(jìn)行了加權(quán)、濾波、反投影等多種非線性操作，改變了其中的信噪比。

2.3.2 主觀評價(jià)

相較于修復(fù)后正弦圖，修復(fù)后重建圖像是臨床診斷和物質(zhì)成分分析的最終依據(jù)，更適合主觀評價(jià)正弦圖修復(fù)效果。因此，選取上述3種稀疏采樣條件下的修復(fù)重建圖像切片和對應(yīng)的全采樣重建圖像切片在相同的窗寬窗位下進(jìn)行對比分析。

當(dāng)η=4，即1/4 稀疏采樣條件下時(shí)，修復(fù)重建圖像效果對比如圖6 所示。從全尺寸圖像可以看出，3 種深度學(xué)習(xí)方法對應(yīng)的修復(fù)重建圖像與全采樣圖像的亮度一致，而LI 對應(yīng)圖像較暗。這表明，深度學(xué)習(xí)方法均可以較好地保持圖像的灰度值，而傳統(tǒng)方法LI 會導(dǎo)致灰度值失真。通過感興趣區(qū)（Region Of Interest，ROI）放大圖可知，LI 對應(yīng)圖像中存在大量條紋狀偽影，原始細(xì)條狀結(jié)構(gòu)斷開且發(fā)生嚴(yán)重形變；RED-CNN 對應(yīng)圖像中條紋狀偽影較少，但原始細(xì)條狀結(jié)構(gòu)仍然斷開且有較大形變；Pix2pixGAN 對應(yīng)圖像中已經(jīng)不存在條紋狀偽影，原始細(xì)條狀結(jié)構(gòu)也得到保留，但仍有斷開且存在少量二次偽影；RED-GAN 對應(yīng)修復(fù)重建圖像中已經(jīng)不存在條紋狀偽影，原始細(xì)條狀結(jié)構(gòu)保持完整且無形變。

圖6 1/4稀疏采樣條件下修復(fù)重建圖像對比Fig.6 Comparison of inpainted reconstructed images under 1/4 sparse-view sampling condition

當(dāng)η=3，即1/3 稀疏采樣條件下時(shí)，修復(fù)重建圖像效果對比如圖7 所示。從第1 行可知，4 種方法對應(yīng)的修復(fù)重建圖像與全采樣圖像的亮度保持一致。這表明隨著η的減小，真實(shí)數(shù)據(jù)的比例增加，4 種方法均能較好地保持灰度值。從第2 行可知，LI 不但會導(dǎo)致原始細(xì)條狀結(jié)構(gòu)和塊狀結(jié)構(gòu)中的縫隙出現(xiàn)模糊，而且原始纖維狀結(jié)構(gòu)會出現(xiàn)膨大形變，在圖像的空氣區(qū)域也會引入較多的點(diǎn)狀偽影。RED-CNN 會使原本分離的細(xì)條狀結(jié)構(gòu)和塊狀結(jié)構(gòu)出現(xiàn)貼合，丟失原本二者之間的縫隙信息，并且會使原圖像中的凹陷結(jié)構(gòu)邊緣過度平滑，出現(xiàn)形變。Pix2pixGAN 會導(dǎo)致原本分離的細(xì)條狀結(jié)構(gòu)和塊狀結(jié)構(gòu)出現(xiàn)貼合，丟失二者間的縫隙信息，并且會在修復(fù)重建圖像中引入較多點(diǎn)狀偽影。RED-GAN 對應(yīng)修復(fù)重建圖像可以在盡可能保持細(xì)條狀結(jié)構(gòu)和塊狀結(jié)構(gòu)中間的縫隙的前提下，保持原始纖維狀結(jié)構(gòu)不出現(xiàn)形變。

圖7 1/3稀疏采樣條件下修復(fù)重建圖像對比Fig.7 Comparison of inpainted reconstructed images under 1/3 sparse-view sampling condition

當(dāng)η=2，即1/2 稀疏采樣條件下，修復(fù)重建圖像效果對比如圖8 所示。從第1 行可知，4 種方法對應(yīng)的修復(fù)重建圖像與全采樣圖像的亮度保持一致。從第2 行可知，LI 對應(yīng)圖像會丟失大部分向左側(cè)延伸的纖維結(jié)構(gòu)，纖維結(jié)構(gòu)和外殼之間的縫隙出現(xiàn)模糊。RED-CNN 對應(yīng)圖像既保留了纖維結(jié)構(gòu)和外殼之間的縫隙，也較好地保持了向左側(cè)延伸的纖維結(jié)構(gòu)。Pix2pixGAN 對應(yīng)圖像可以較好地保留纖維結(jié)構(gòu)和外殼之間的縫隙，但會丟失向左側(cè)延伸的纖維結(jié)構(gòu)，并且使修復(fù)重建圖像中出現(xiàn)了較多的椒鹽噪聲。RED-GAN 對應(yīng)圖像可保留纖維結(jié)構(gòu)和外殼間的縫隙，也保持了向左側(cè)延伸的纖維結(jié)構(gòu)。RED-CNN 和RED-GAN 具有相近的正弦圖修復(fù)效果。

圖8 1/2稀疏采樣條件下修復(fù)重建圖像對比Fig.8 Comparison of inpainted reconstructed images under 1/2 sparse-view sampling condition

主觀對比結(jié)果說明，3 種深度學(xué)習(xí)方法均優(yōu)于傳統(tǒng)方法LI。LI不僅會導(dǎo)致灰度值出現(xiàn)偏差，還會引入偽影，丟失結(jié)構(gòu)細(xì)節(jié)，具有最差的正弦圖修復(fù)效果；但隨著η減小，即真實(shí)數(shù)據(jù)比例增加，LI 與3 種深度學(xué)習(xí)方法的修復(fù)性能差距變小。RED-CNN 和RED-GAN 在1/2 稀疏采樣條件下具有相近的修復(fù)性能，這是由于二者均采用了能夠更好地保持輸入圖像信息的RED結(jié)構(gòu)，當(dāng)η較小時(shí)，可更好地保留輸入圖像中的真實(shí)結(jié)構(gòu)。但當(dāng)η較大時(shí)，RED-CNN 會保留更多的不準(zhǔn)確數(shù)據(jù)，使網(wǎng)絡(luò)正弦圖修復(fù)效果變差。Pix2pixGAN 使用了含有多個(gè)下采樣結(jié)構(gòu)的U-Net 生成器，會丟失一部分輸入圖像中的信息。因此，當(dāng)η較大時(shí)，Pix2pixGAN 可以更少地受到不準(zhǔn)確數(shù)據(jù)的影響，具有優(yōu)于RED-CNN 的正弦圖修復(fù)效果，但當(dāng)η較小時(shí)會丟失一部分真實(shí)結(jié)構(gòu)信息，反而降低了正弦圖修復(fù)效果。RED-GAN 將RED 結(jié)構(gòu)與Pix2pixGAN 結(jié)合，在1/4、1/3、1/2 這3 種稀疏采樣條件下均有最佳的正弦圖修復(fù)效果，在結(jié)構(gòu)完整性、灰度值保持、減少偽影這3方面均有所提升。

3 結(jié)語

本文提出了一種錐束CT 稀疏采樣正弦圖修復(fù)網(wǎng)絡(luò)RED-GAN。該網(wǎng)絡(luò)將RED-CNN 與Pix2pixGAN 結(jié)合，利用RED 模塊替換Pix2pixGAN 中的生成器，可更好地保留原生成器丟失的結(jié)構(gòu)信息，增強(qiáng)網(wǎng)絡(luò)的正弦圖修復(fù)能力；利用基于PatchGAN 的條件判別器鑒別生成器修復(fù)后的正弦圖和全采樣正弦圖，通過生成器和判別器的對抗訓(xùn)練，進(jìn)一步提升網(wǎng)絡(luò)性能。通過在1/2、1/3、1/4 這3 種稀疏采樣條件下的正弦圖修復(fù)實(shí)驗(yàn)結(jié)果表明，RED-GAN 在正弦圖域和重建圖像域評價(jià)中的RMSE、PSNR、SSIM 這3 項(xiàng)指標(biāo) 均優(yōu)于LI、RED-CNN 和Pix2pixGAN。這表明越是數(shù)據(jù)缺失的情況，本文方法相較于其他方法的正弦圖修復(fù)優(yōu)勢越明顯。因此，本文所提的神經(jīng)網(wǎng)絡(luò)是一種性能優(yōu)異的錐束CT 正弦圖修復(fù)方法，適用于低劑量快速掃描，具有潛在的應(yīng)用價(jià)值。未來可通過與醫(yī)療機(jī)構(gòu)的合作獲取醫(yī)學(xué)CBCT 數(shù)據(jù)，利用醫(yī)學(xué)CBCT 數(shù)據(jù)進(jìn)一步探究所提方法的臨床應(yīng)用潛力。