基于MD-CGAN 的腦部腫瘤圖像生成方法研究

何敏，邱圓?，易小平，郭暢宇

（1.湖南大學電氣與信息工程學院，湖南長沙 410082；2.中南大學湘雅醫(yī)院，湖南長沙 410031）

腦腫瘤是一種常見的腦部疾病，發(fā)病率及死亡率均較高，嚴重威脅著人類的健康.目前，對于腦腫瘤的診斷，主要還是依靠醫(yī)生對腦部磁共振（Magnetic Resonance，MR）圖像進行分析來完成，需要耗費大量的時間、精力，且易受主觀因素影響.

近年來，隨著深度學習理論的發(fā)展，人工智能輔助的醫(yī)學圖像識別診斷技術在醫(yī)學領域得以應用，因此，采用深度學習輔助的診斷技術來進行腦腫瘤診斷的方法也引起了廣泛的關注.然而，基于醫(yī)學圖像隱私保護的特點，患者腦腫瘤圖像獲取難度大，導致樣本數(shù)量嚴重不足，影響深度學習模型對腦腫瘤圖像輔助診斷的效果［1］.為解決腦腫瘤圖像樣本不足的問題，行之有效的方法是生成病理圖像進行樣本擴充［2］.因此，研究圖像生成方法，生成高質量、豐富多樣性的腦腫瘤醫(yī)學圖像具有十分重要的意義.

目前，用于圖像生成的方法主要包括兩大類：一是傳統(tǒng)方法，如旋轉、平移、翻轉等.在本質上并未對圖像核心內容進行改變且生成的圖像高度類似，容易使深度學習模型過擬合，該類方法并不適用于對醫(yī)學圖像進行擴充.二是基于深度學習的方法，如變分自編碼器（Variational Auto-Encoder，VAE）［3］和Goodfellow 等人提出的生成對抗網(wǎng)絡（Generative Adversarial Networks，GAN）［4］.VAE 是一種將輸入的隨機噪聲映射為生成數(shù)據(jù)的圖像生成模型，主要由編碼器和解碼器組成.由于VAE 生成的圖像與原圖的分布較接近，樣式比較單一且質量不高，因此，該模型也不適用于對醫(yī)學圖像進行擴充.GAN 是近幾年應用廣泛的圖像生成模型，由一個生成器和一個判別器組成，生成器生成新的圖像，判別器判別生成圖像的真（真實的）假（生成的），兩者通過相互博弈不斷提高各自的能力，從而達到一種均衡狀態(tài).然而，GAN 在訓練過程中存在模型易崩塌，難以收斂等問題，這會導致生成的圖像質量差且多樣性不足.為了解決這些問題，近年來，GAN 的一些變體GANs 被提出.Radford 等人［5］提出深度卷積生成對抗網(wǎng)絡（Deep Convolutional Generative Adversarial Networks，DCGAN），加入了卷積層來代替全連接層，用以增強訓練過程的穩(wěn)定性，但是這種方法不能從根本上解決模型不穩(wěn)定的問題，生成器G 和判別器D 仍然較難達到平衡狀態(tài).Zhu等人［6］提出循環(huán)生成對抗網(wǎng)絡（Cycle-consistent Generative Adversarial Networks，CycleGAN），能將一個圖像域轉換生成到另外一個圖像域，但這種轉換通常是不穩(wěn)定的.Nguyen 等人［7］提出的雙鑒別器生成對抗網(wǎng)絡（Dual Discriminator Generative Adversarial Networks，D2GAN）有兩個鑒別器，這兩個鑒別器仍然與一個生成器進行極大極小的博弈，一個鑒別器會給予真實圖像高分數(shù)，而另外一個鑒別器卻給予生成圖像高分數(shù)，在一定程度上提高了生成圖像的多樣性.Zhang 等人［8］提出的自注意力生成對抗網(wǎng)絡（Self-Attention Generative Adversarial Networks，SAGAN）將自注意力層加入生成器和鑒別器中，使得生成模型更易學習到圖像全局特征之間的依賴關系，提高生成圖像的多樣性，但其計算負擔較大.Karras 等人提出的StyleGAN［9］重新設計了生成器的網(wǎng)絡結構，但由于生成的圖像伴有偽影，故在2020 年又提出了StyleGAN2［10］，用于人臉圖像生成效果優(yōu)異.上述GANs 雖在自然場景圖像和人臉圖像生成中表現(xiàn)良好，但面對樣本嚴重不足，且病理區(qū)域形狀、大小、位置等復雜多變的腦腫瘤病理圖像，其生成效果難以滿足醫(yī)學圖像智能診斷的需求.

基于上述問題，本文提出多鑒別器循環(huán)一致性生成對抗網(wǎng)絡（Multiple Discriminator Cycle-consistent Generative Adversarial Network，MD-CGAN）生成腦腫瘤病理區(qū)域圖像，而后將其與腦部正常圖像合成即可得到腦部腫瘤圖像，從而解決腦腫瘤圖像樣本不足的問題.實驗結果證明了所提方法的有效性和可靠性.

1 腦腫瘤圖像生成方法

1.1 腦腫瘤圖像生成方法流程框架

基于MD-CGAN 的腦腫瘤圖像生成方法框圖如圖1所示.

圖1 基于MD-CGAN的腦腫瘤圖像生成方法框圖Fig.1 Diagram of brain tumor image generation method based on MD-CGAN

1）腦腫瘤病理區(qū)域圖像生成：通過MD-CGAN將腦部正常圖像子區(qū)域轉換生成腦腫瘤病理區(qū)域圖像.

2）腦腫瘤圖像合成：利用所生成的腦腫瘤病理區(qū)域圖像覆蓋腦部正常圖像中的子區(qū)域，合成得到腦腫瘤圖像.

1.2 腫瘤病理區(qū)域圖像生成

為了生成腦腫瘤圖像，首先利用MD-CGAN 生成腦腫瘤病理區(qū)域圖像.MD-CGAN 結構包括2個生成器G 和F，4 個鑒別器DX1、DX2、DY1 和DY2，2 個生成器共享相同的網(wǎng)絡參數(shù)，4個鑒別器共享相同的網(wǎng)絡參數(shù).MD-CGAN 結構如圖2 所示，生成器和鑒別器的網(wǎng)絡參數(shù)配置如表1所示.

圖2 MD-CGAN結構圖Fig.2 Structure diagram of MD-CGAN

表1 生成器和鑒別器的網(wǎng)絡參數(shù)配置Tab.1 Network parameter configuration of generators and discriminators

生成器G用來生成假的腦腫瘤病理區(qū)域圖G（g），生成器F 用來生成假的腦部正常圖像子區(qū)域F（b）.鑒別器DX1和DX2用來區(qū)分腦部正常圖像子區(qū)域圖像的真假，鑒別器DY1 和DY2 用來區(qū)分腦腫瘤病理區(qū)域圖像的真假.特別地，鑒別器DX1 和DY1 給予真實圖像高分數(shù)，對于生成圖像則給予低分數(shù)；而鑒別器DX2和DY2則恰恰相反.

所提圖像生成模型目標函數(shù)包括雙對抗損失（Dual Adversarial Loss）［7］函數(shù)和循環(huán)一致性損失（Cycle Consistency Loss）［6］函數(shù).

1）對于生成器G，鑒別器DY1 和DY2，雙對抗損失可表示為：

式中：g代表真實正常區(qū)域子圖像域；b代表真實病理區(qū)域圖像域；λ1用來控制圖像間相似度和多樣性的相對重要性；Lgan與原始GAN網(wǎng)絡目標函數(shù)相同.Lgan2定義如下：

相似地，對于生成器F，鑒別器DX1 和DX2，可得雙對抗損失函數(shù)為：

2）循環(huán)一致性損失主要用于保證通過正常區(qū)域圖像來生成病理區(qū)域圖像.定義如下：

這里，對于生成器G，損失函數(shù)希望生成圖像G（g）的重建圖像F（G（g））接近于真實腦部正常圖像子區(qū)域圖像g.而對于生成器F，則希望生成圖像F（b）的重建圖像G（F（b））接近真實腦腫瘤病理區(qū)域圖像b.

需要特別說明的是，雙對抗損失結合了KL 散度和反向KL 散度的差異，生成一個目標函數(shù)；然后利用這些分支的互補統(tǒng)計特性捕捉分散預估密度，使得模型達到納什平衡，從而避免了模型崩塌，保證網(wǎng)絡生成的腦腫瘤病理區(qū)域圖像的質量和多樣性.循環(huán)一致性損失可以保證兩個領域的圖像建立一個一對一的映射，而不是多對一的映射.通過這種方式，所提出的生成模型可以更全面地學習到腦腫瘤的特征.同時，無腫瘤的腦部正常子區(qū)域圖像可以被逐一映射為有腫瘤的腦腫瘤病理區(qū)域圖像.因此，循環(huán)一致性損失使得MD-CGAN 能夠利用無腫瘤的腦部正常圖像子區(qū)域生成有腫瘤的腦腫瘤病理區(qū)域圖像.

3）依據(jù)前述內容，所提生成網(wǎng)絡模型（MDCGAN）的總體目標損失函數(shù)如下：

式中：λ用來控制雙對抗損失和循環(huán)一致性損失的相對重要性.最終優(yōu)化實現(xiàn)目標見式（6）.

本網(wǎng)絡模型類似于原始GAN，采用折中訓練的方式來更新G、DY1和DY2以及F、DX1和DX2.

1.3 腦腫瘤圖像合成

通過MD-CGAN 模型生成得到腦腫瘤病理區(qū)域圖像后，腦腫瘤圖像可以通過以下步驟得到.

1）將生成的腦腫瘤病理區(qū)域圖像中腫瘤部分截取成新的圖像，創(chuàng)建截取的腦腫瘤病理區(qū)域圖像和腦部正常圖像數(shù)據(jù)集.

2）依據(jù)圖像邊緣紋理特征的相似性，將截取的腦腫瘤病理區(qū)域圖像與腦部正常圖像標記匹配.

3）利用截取的腦腫瘤病理區(qū)域圖像覆蓋與其所匹配的腦部正常圖像的子區(qū)域，從而合成得到腦腫瘤圖像.

2 實驗結果與分析

2.1 實驗數(shù)據(jù)

本文的腦部MR 圖像數(shù)據(jù)樣本來自中南大學湘雅醫(yī)院.數(shù)據(jù)通過磁共振成像儀采集自122 位高級別膠質瘤病人，每位病人的數(shù)據(jù)包括T1、T1 加權和T2 模態(tài)，包含腦部腫瘤圖像和正常腦部圖像.在進行實驗之前，對所持的腦部MR圖像數(shù)據(jù)進行偏置場校正以及標準化等預處理.

獲取的腦部MR 圖像數(shù)據(jù)集樣本包含腦部腫瘤圖像和正常圖像，其中，腦部正常圖像約7 000張，含腫瘤的腦部腫瘤圖像約800 張，經(jīng)篩選后選其中的1 000 張腦部正常圖像和500 張腦腫瘤圖像作為實驗數(shù)據(jù)，并對500 張腦腫瘤圖像進行手工分割標簽（Ground Truth）制作.部分圖像樣本示例如圖3 所示.圖3（a）為含有腫瘤的腦部病理圖像樣本，圖3（b）為腦部正常圖像樣本.

圖3 腦部腫瘤圖像與正常圖像樣本Fig.3 Samples of brain tumor images and normal brain images

2.2 腦腫瘤病理區(qū)域圖像生成及實驗對比

1）本文實驗環(huán)境配置為Ubuntu16.04 操作系統(tǒng)，NVIDIA RTX 2080Ti GPU，Intel Core i7-7820X CPU@3.50 GHz×12，Python 3.7，TensorFlow 1.14.0.

對于所提圖像生成模型MD-CGAN 的訓練，將λ設置為10，λ1設置為0.2，優(yōu)化器采用Adam［11］，Batchsize 設置為4.總的訓練周期為300 epochs，其中，對于前150 epochs，學習率為0.000 2，在后150 epochs中，學習率按照線性衰減逐漸衰減為0.

2）腦腫瘤圖像生成結果：圖4為MD-CGAN 模型生成的腦腫瘤病理區(qū)域圖像和合成的腦腫瘤圖像.由圖4 可知，所生成的圖像具有良好的質量和豐富的多樣性.同時，生成的腦腫瘤圖像與真實腦腫瘤圖像具有高度相似性.因此，本文所提方法對于腦腫瘤圖像生成具有良好的性能.

圖4 MD-CGAN模型生成的腦腫瘤病理區(qū)域圖像和合成的腦腫瘤圖像Fig.4 The pathological region images of brain tumor generated by MD-CGAN and synthetic brain tumor images

3）不同圖像生成方法對比：腦腫瘤病理區(qū)域圖像生成是本文所提腦腫瘤圖像生成方法的核心.因此，將本文所提腦腫瘤病理區(qū)域圖像生成模型MDCGAN 與近幾年典型的圖像生成模型SAGAN、Style-GAN 和StyleGAN2 進行對比，即分別用MD-CGAN、SAGAN、StyleGAN 和StyleGAN2 網(wǎng)絡模型生成腦腫瘤病理區(qū)域圖像，以驗證MD-CGAN 模型的有效性和優(yōu)越性.圖5 為SAGAN、StyleGAN、StyleGAN2 和MD-CGAN模型生成的腦腫瘤病理區(qū)域圖像.

圖5 SAGAN、StyleGAN、StyleGAN2和MD-CGAN模型生成的腦腫瘤病理區(qū)域圖像Fig.5 Pathological region images of brain tumor generated by SAGAN，StyleGAN，StyleGAN2 and MD-CGAN

由圖5（a）可知，SAGAN 模型生成的腦腫瘤病理區(qū)域的形狀等特征較類似，且圖像質量不高.由圖5（b）可知，StyleGAN 模型生成的腦腫瘤病理區(qū)域圖像伴有偽影，不符合真實腦腫瘤病理區(qū)域圖像的特征分布.由圖5（c）可知，StyleGAN2 模型生成的腦腫瘤病理區(qū)域圖像邊界不夠清晰.由圖5（d）可知，MDCGAN 模型生成的腦腫瘤病理區(qū)域圖像清晰且形態(tài)各異.由此可知，本文提出的MD-CGAN 模型生成的腦腫瘤病理區(qū)域圖像具有更高的質量和豐富的多樣性.

為了進一步證明本文所提圖像生成模型的優(yōu)越性，采用Fréchet Inception Distance（FID）［12］作為定量分析的評價指標.

式中：μr、μg和Σr、Σg分別表示真實和生成的病理圖像的特征均值和方差.即用真實圖像與生成圖像提取特征向量后的均值和協(xié)方差的距離來評價，當生成圖片和真實圖片特征越相近時，均值之差的平方越小，協(xié)方差也越小，則FID 值也越小，生成的圖像質量越高.

表2 為不同模型生成的病理區(qū)域圖像FID 值對比.由表2 可知，本文所提MD-CGAN 模型圖像生成模型取得了最小的FID 值，生成的腦腫瘤區(qū)域圖像的FID 值相比于SAGAN、StyleGAN 和StyleGAN2 的值分別降低26.43%、21.91%、12.78%.由此可知，本文所提模型MD-CGAN性能更優(yōu)異.

表2 不同模型生成的病理區(qū)域圖像FID值對比Tab.2 Comparison of FID values of pathological region images generated by different models

本文所提模型有效結合了雙對抗損失和循環(huán)一致性損失，雙對抗損失有效抑制了腦腫瘤病理區(qū)域圖像生成模型的崩塌問題，確保生成圖像的質量；循環(huán)一致性損失確保了利用腦部正常圖像子區(qū)域生成腦腫瘤病理區(qū)域圖像的可能性和可靠性，解決了腦腫瘤圖像樣本不充足的問題.

2.3 生成的腦腫瘤病理圖像用于樣本擴充

為了進一步驗證本文所提腦腫瘤圖像生成方法的有效性，采用生成的腦部腫瘤圖像對原始數(shù)據(jù)集進行擴充，利用擴充前后的數(shù)據(jù)集分別訓練腦部腫瘤分割網(wǎng)絡模型，以驗證生成的圖像對模型性能的改善作用.采用U-Net［13］、ResUNet［14］、U-Net++［15］分割網(wǎng)絡進行腦部腫瘤分割實驗，先用原始的300 張腦部腫瘤圖像訓練這3 種分割網(wǎng)絡；而后將生成的328張腦腫瘤圖像加入原始數(shù)據(jù)集中，并用擴充后的數(shù)據(jù)集訓練這3 種分割網(wǎng)絡；最后分別用相同的200張原始腦腫瘤圖像進行分割性能測試，以Dice 相似性系數(shù)（Dice Similarity Coefficient，DSC）和相對改善率（Relative Improvement，IMP）作為評價指標.表3為用于分割實驗的腦部腫瘤圖像樣本分布，表4 和表5 分別為樣本擴充前后腦部腫瘤分割性能訓練結果和測試結果對比.

表3 用于分割實驗的腦部腫瘤圖像樣本分布Tab.3 Samples distribution of brain tumor images for segmentation experiment

表4 樣本擴充前后腦部腫瘤分割性能訓練結果對比Tab.4 Comparison of training results of brain tumor segmentation experiments before and after sample expansion

表5 樣本擴充前后腦部腫瘤分割性能測試結果對比Tab.5 Comparison of test results of brain tumor segmentation experiments before and after sample expansion

從表4 可以看出，在樣本擴充后的數(shù)據(jù)集上訓練的U-Net 分割模型的Dice 相似性系數(shù)比在樣本擴充前數(shù)據(jù)集上的高0.26%；在樣本擴充后的數(shù)據(jù)集上訓練的ResUNet 分割模型的Dice 相似性系數(shù)比在樣本擴充前數(shù)據(jù)集上的高0.62%；在樣本擴充后的數(shù)據(jù)集上訓練的U-Net++分割模型的Dice 相似性系數(shù)比在樣本擴充前數(shù)據(jù)集上的高3.77%.由表5 可知，在樣本擴充后的數(shù)據(jù)集上測試的U-Net、ResUNet、UNet++分割模型的Dice 相似性系數(shù)比在樣本擴充前數(shù)據(jù)集上的精度分別高3.89%、17.88%、1.46%.

從表4和表5可以看出，利用本文所提方法生成的腦部腫瘤圖像擴充數(shù)據(jù)集對分割模型的訓練和測試精度都具有改善作用，更有力地證明了本文所提腦腫瘤圖像生成方法的有效性，可用于腦腫瘤圖像數(shù)據(jù)樣本的擴充.

3 結論

本文提出一種新的腦腫瘤圖像生成方法.首先，利用所提出的多鑒別器循環(huán)一致性生成對抗網(wǎng)絡（MD-CGAN）生成腦腫瘤病理區(qū)域圖像；然后利用生成的腦腫瘤病理區(qū)域圖像覆蓋腦部正常圖像中的子區(qū)域從而最終合成得到腦腫瘤圖像.將本文所提MD-CGAN 模型與近幾年較經(jīng)典的SAGAN、Style-GAN 和StyleGAN2 模型所生成腦腫瘤病理區(qū)域圖像進行對比分析，通過計算得出MD-CGAN 模型的FID值最低，證明了所提模型在保證模型穩(wěn)定性的同時，能夠生成高質量的腦腫瘤病理區(qū)域圖像.為了進一步驗證所生成的腦腫瘤圖像的有效性，進行了腦部腫瘤圖像分割實驗，分別用原始的和擴充數(shù)據(jù)樣本后的腦腫瘤圖像數(shù)據(jù)集進行腦部腫瘤分割.實驗結果表明，U-Net、ResUNet、U-Net++分割模型在擴充樣本后的訓練和測試分割結果Dice相似性系數(shù)都比擴充前的高，由此進一步證明本文所提方法生成的腦腫瘤圖像具有豐富的多樣性，能夠有效且可靠地擴充腦腫瘤圖像數(shù)據(jù)集.