康文杰，林 嵐，孫 珅，吳水才

（北京工業(yè)大學(xué)生命科學(xué)與生物工程學(xué)院智能化生理測量與臨床轉(zhuǎn)化北京市國際科研合作基地，北京 100124）

0 引言

由于具有平移不變性，并且可以通過學(xué)習(xí)算法將原始數(shù)據(jù)逐層抽象為任務(wù)所需的特征表達(dá)[1]，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）近年來在圖像分割、圖像分類、信號(hào)處理等領(lǐng)域取得了巨大成功[2-6]。CNN是一種判別模型，其本質(zhì)是通過有監(jiān)督學(xué)習(xí)將樣本的特征向量映射成對(duì)應(yīng)的任務(wù)標(biāo)簽。但是它的一項(xiàng)關(guān)鍵限制因素是模型高度依賴于大量帶注釋的訓(xùn)練數(shù)據(jù)。

與CNN的判別模型方法相對(duì)應(yīng)，生成式模型一般基于大量的先驗(yàn)知識(shí)去對(duì)真實(shí)世界進(jìn)行建模，從統(tǒng)計(jì)的角度表示數(shù)據(jù)的分布。Goodfellow等[7]于2014年提出了生成對(duì)抗網(wǎng)絡(luò)（generative adversarial networks，GAN）的概念。GAN作為一種新的深度神經(jīng)網(wǎng)絡(luò)模型，具有無需顯式建立概率密度函數(shù)模型即可生成數(shù)據(jù)的能力及比傳統(tǒng)機(jī)器學(xué)習(xí)算法更強(qiáng)大的特征學(xué)習(xí)和表達(dá)能力。GAN被分成G網(wǎng)絡(luò)與D網(wǎng)絡(luò)2個(gè)部分，基于博弈的思想同時(shí)訓(xùn)練，令其相互對(duì)抗，整個(gè)優(yōu)化過程就是一個(gè)極小極大的博弈問題。G網(wǎng)絡(luò)盡可能生成逼真樣本，D網(wǎng)絡(luò)則盡可能去判別輸入樣本是真實(shí)樣本還是生成樣本。最終G網(wǎng)絡(luò)生成與真實(shí)數(shù)據(jù)逼近的樣本，而D網(wǎng)絡(luò)無法有效區(qū)分?jǐn)?shù)據(jù)來源于真實(shí)還是生成。與其他生成式模型相比，GAN與人類大腦學(xué)習(xí)事物特征的方式近似，并且可以發(fā)現(xiàn)數(shù)據(jù)的高維潛在分布，在特征提取方面具有明顯優(yōu)勢[8]。

在神經(jīng)影像的分析中，放射科醫(yī)生需要對(duì)數(shù)據(jù)和具體任務(wù)有深入認(rèn)識(shí)才可以對(duì)數(shù)據(jù)進(jìn)行注釋[9]。神經(jīng)影像的標(biāo)注一般耗時(shí)長。大多數(shù)數(shù)據(jù)集規(guī)模有限，同時(shí)由于某些疾病的罕見性，不少數(shù)據(jù)集存在嚴(yán)重的類不平衡現(xiàn)象。GAN可以生成有意義的樣本，增廣現(xiàn)有的數(shù)據(jù)集，已成為解決上述問題的一種有效手段[10]。

本文首先對(duì)GAN基本模型的原理以及多種典型的GAN改進(jìn)模型進(jìn)行介紹；其次，闡述GAN在神經(jīng)影像處理和分析方面的一些主要應(yīng)用，包括圖像增廣、跨模態(tài)生成、圖像重建、圖像分割、圖像分類和目標(biāo)檢測[11-13]；最后，討論GAN在神經(jīng)影像分析方面存在的問題和改進(jìn)的方向，并對(duì)未來研究方向進(jìn)行展望。

1 GAN基本模型

GAN模型包含G和D2個(gè)部分。G生成數(shù)據(jù)，并使得這個(gè)數(shù)據(jù)看上去是來自訓(xùn)練樣本；D判斷數(shù)據(jù)是來自生成器還是真實(shí)訓(xùn)練樣本。對(duì)于給定的隨機(jī)變量輸入z，G得到的結(jié)果為與訓(xùn)練樣本同分布的G（z），目標(biāo)是使D混淆訓(xùn)練數(shù)據(jù)與G（z）。而D的目的是使真實(shí)的訓(xùn)練數(shù)據(jù)x作為輸入時(shí)輸出最大化，生成器輸出G（z）作為輸入時(shí)輸出最小化。其目標(biāo)函數(shù)定義為

式中，Pdata（x）為真實(shí)數(shù)據(jù)的分布；Pz（z）為噪聲的分布；V（G，D）表示Pdata與Pz之間的差異；Ex～Pdata（x）和Ez～Pz（z）為真實(shí)數(shù)據(jù)data和噪聲數(shù)據(jù)z的數(shù)學(xué)期望。

D得到的結(jié)果D（x）為所有樣本中來自真實(shí)數(shù)據(jù)的概率。當(dāng)G與D達(dá)到納什均衡時(shí)，G能夠生成與訓(xùn)練數(shù)據(jù)相似度極高的樣本，D無法以高可信度分辨出生成數(shù)據(jù)和訓(xùn)練數(shù)據(jù)，此時(shí)Pz=Pdata，D（x）的輸出趨近于二分之一，V（G，D）取得極大值[7]。

與傳統(tǒng)深度學(xué)習(xí)模型相比，GAN模型結(jié)構(gòu)更簡單，先驗(yàn)假設(shè)很少，基本可以擬合所有分布[13]。與其他生成模型相比，GAN中的G不需要直接用樣本來更新，而是通過反向傳播算法更新參數(shù)。

2 改進(jìn)的GAN模型

當(dāng)然，GAN的初始模型也具有一定的局限性。首先，它并沒有涉及如何達(dá)到納什均衡的方法，訓(xùn)練過程的穩(wěn)定性和收斂性難以保證，容易發(fā)生訓(xùn)練不穩(wěn)定、梯度消失、模式崩塌，進(jìn)而出現(xiàn)無法繼續(xù)訓(xùn)練的情況。其次，GAN模型沒有顯式表示，而是由一些參數(shù)控制，可解釋性差。最后，D必須與G同步訓(xùn)練。而且GAN模型很難去學(xué)習(xí)離散形式的數(shù)據(jù)。針對(duì)GAN初始模型中存在的問題，研究者們提出了一些衍生模型（如圖1所示）[14-21]。

圖1 GAN基礎(chǔ)架構(gòu)及改進(jìn)的GAN模型

圖1（a）為GAN的基礎(chǔ)架構(gòu)。其中G的輸入為隨機(jī)噪聲，D判斷數(shù)據(jù)是來自真實(shí)數(shù)據(jù)還是G的輸出。D輸出一個(gè)概率，表示輸出是真實(shí)數(shù)據(jù)的概率，以此衡量D、G的性能并反向調(diào)節(jié)D、G。

Radford等[14]于2015年將CNN與GAN結(jié)合起來，提出了深度卷積對(duì)抗網(wǎng)絡(luò)（deep convolution generative adversarial networks，DCGAN）。使用CNN來替代傳統(tǒng)GAN中的多層感知器結(jié)構(gòu)，從網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)上對(duì)GAN進(jìn)行了改進(jìn)。GAN采用交叉熵（JS散度）作為目標(biāo)函數(shù)，不適合衡量具有不相交部分的分布之間的距離，并且無法指示訓(xùn)練進(jìn)程。開始的對(duì)抗階段可能一直生成隨機(jī)噪聲，最后收斂的結(jié)果也很可能只生成少量類別的大量重復(fù)圖像。Arjovsky等[15]提出WGAN（Wasserstein generative adversarial networks），改進(jìn)了損失函數(shù)，使用Wasserstein距離（又稱為Earthmover距離）對(duì)真實(shí)樣本和生成樣本之間的距離進(jìn)行度量，理論上解決了梯度消失和訓(xùn)練不穩(wěn)定的問題。數(shù)學(xué)理論和具體工程實(shí)現(xiàn)是存在區(qū)別的，使用Wasserstein距離需要滿足很強(qiáng)的lipschitz連續(xù)性條件。WGAN-GP（Wassersteingenerativeadversarial networks-gradient penalty）[17]使用梯度懲罰改進(jìn)了連續(xù)性限制的條件，使GAN的訓(xùn)練過程更穩(wěn)定。

當(dāng)數(shù)據(jù)集中圖像內(nèi)容復(fù)雜、規(guī)模較大時(shí)，使用簡單GAN很難控制生成的結(jié)果。Mirza等[18]于2014年提出了條件式生成對(duì)抗網(wǎng)絡(luò)（conditional generative adversarial networks，CGAN），如圖 1（b）所示。CGAN對(duì)標(biāo)準(zhǔn)的GAN附加了約束，在模型中引入了額外信息c作為條件，用于指導(dǎo)樣本的生成。這里c可以是類別標(biāo)簽、圖像特征、文本描述等。相較于傳統(tǒng)的無監(jiān)督GAN，CGAN是一種有監(jiān)督的GAN。信息最大化生成對(duì)抗網(wǎng)絡(luò)（information maximizing generative adversarial networks，InfoGAN）[19]通過設(shè)定輸入生成器的隱含編碼來控制生成數(shù)據(jù)的特征，如圖1（c）所示。InfoGAN中G的輸入包含兩部分，隨機(jī)噪聲z和可解釋隱含編碼c1。其中c1可以有多個(gè)變量，用來代表生成數(shù)據(jù)的不同特征，作為超參數(shù)控制圖像的生成。要使隱含編碼c1表示生成樣本某一方面的特征，需要使c1和生成樣本具有盡可能多的互信息。InfoGAN通過最大化生成的圖像與輸入編碼c1之間的互信息訓(xùn)練模型控制圖像的生成。

GAN還可以被用于實(shí)現(xiàn)2個(gè)領(lǐng)域匹配圖像的轉(zhuǎn)換。pix2pix是Isola等提出的第一個(gè)通用的基于GAN的圖像到圖像的轉(zhuǎn)換框架[20]，如圖1（d）所示。通過使用CGAN，不需要針對(duì)不同圖像轉(zhuǎn)換問題設(shè)計(jì)不同的損失函數(shù)。Xa與Xb為2個(gè)不同風(fēng)格的數(shù)據(jù)集，在神經(jīng)影像中通常為不同模態(tài)的神經(jīng)影像（如MRI、CT圖像等）。Xa域的數(shù)據(jù)作為條件輸入到G中，G輸出生成的Xb域圖像，D判別圖像是來自G還是Xb域。pix2pix可以實(shí)現(xiàn)2個(gè)圖像域間的轉(zhuǎn)換，但訓(xùn)練圖像必須成對(duì)。CycleGAN（cycleconsistent generative adversarial networks）[21]使用循環(huán)一致性損失約束圖像的生成，可以在2組未配對(duì)的樣本之間進(jìn)行轉(zhuǎn)換[如圖1（e）所示]。其中G1輸出生成的Xb域的圖像并輸入給G2，G2輸出生成的Xa域的圖像并輸入給G1。D1判斷圖像是否來自Xb域，D2判斷圖像是否來自Xa域。CycleGAN只需要包含2種不同風(fēng)格的訓(xùn)練數(shù)據(jù)集，但生成圖像的質(zhì)量不高。

3 GAN在神經(jīng)影像中的應(yīng)用

神經(jīng)影像學(xué)技術(shù)為評(píng)估大腦的結(jié)構(gòu)、功能、神經(jīng)化學(xué)過程以及交互作用提供了一個(gè)獨(dú)特的機(jī)會(huì)，對(duì)理解神經(jīng)系統(tǒng)疾病的病理機(jī)制具有重要作用[22]。GAN在神經(jīng)影像中的應(yīng)用一般圍繞2個(gè)方向:一個(gè)方向圍繞G展開，學(xué)習(xí)神經(jīng)影像的基礎(chǔ)特征結(jié)構(gòu)，并生成新圖像；另一個(gè)方向圍繞D展開，對(duì)神經(jīng)影像中的差異進(jìn)行判別。以下將從神經(jīng)影像中的具體應(yīng)用出發(fā)，就圖像增廣、跨模態(tài)生成、圖像重建、圖像分割、圖像分類、目標(biāo)檢測等多個(gè)領(lǐng)域綜述GAN的研究現(xiàn)狀。

3.1 圖像增廣

CNN的訓(xùn)練過程中往往需要對(duì)訓(xùn)練樣本進(jìn)行增廣處理來豐富數(shù)據(jù)集，具體方法包括縮放、旋轉(zhuǎn)、翻轉(zhuǎn)、平移和彈性變形等。然而，這些變換所生成的圖像局限于原有的影像模態(tài)，不能為特定病理位置的形狀、位置和外觀的變化提供足夠變異性。GAN為神經(jīng)影像的數(shù)據(jù)增廣提供了一種新的解決方案。

Bermudez等[23]使用DCGAN，通過對(duì)528例二維軸向T1加權(quán)腦MRI切片中特征的學(xué)習(xí)，實(shí)現(xiàn)了T1影像的無監(jiān)督生成。且生成圖像具有較高的峰值信噪比，圖像質(zhì)量得分與真實(shí)MRI圖像相當(dāng)。Bowles等[24]使用基于漸進(jìn)增長訓(xùn)練的PGGAN（progressive growing of GANs）生成與腦CT圖像近似的生成樣本（如圖2所示），有效地增廣了CT訓(xùn)練數(shù)據(jù)。語義分割網(wǎng)絡(luò)分割結(jié)果顯示，基于PGGAN的數(shù)據(jù)增廣能有效提高圖像分割精度。Bowles等[25]采用WGAN生成腦MRI圖像，應(yīng)用重賦權(quán)法有效減少了生成圖像中的錯(cuò)誤。生成的腦MRI圖像中包含關(guān)鍵阿爾茨海默病（Alzheimer’s disease，AD）特征（如高度萎縮的腦皮層和海馬體），可以用于模擬AD的發(fā)生和發(fā)展過程。

圖2 使用PGGAN在真實(shí)和生成圖像中檢測腦脊液和白質(zhì)高信號(hào)[24]

在圖像增廣過程中加入一定約束條件，可以更好地控制圖像生成。Mok等[26]提出了基于CGAN的CBGAN（coarse-to-fine boundary-aware generative ad-versarial networks）。該模型的G分為粗生成器和細(xì)節(jié)生成器，粗生成器生成圖像的基本形狀和紋理，細(xì)節(jié)生成器生成圖像的細(xì)節(jié)。整個(gè)模型由粗到精生成帶有腫瘤的腦MRI圖像。另外，在生成器框架中加入邊界感知模塊，使生成的圖像中腫瘤邊界更清晰。基于該模型增廣后的數(shù)據(jù)集在腦腫瘤圖像分割任務(wù)中Dice系數(shù)提高了3.5%。

Sun等[27]基于CycleGAN提出了ANT-GAN（abnormal-to-normaltranslationgenerativeadversarialnetwork）。一方面，該模型在不需要配對(duì)訓(xùn)練數(shù)據(jù)的情況下，可基于包含腦病灶的MRI圖像生成健康的腦MRI圖像，去除圖像中的病變區(qū)域。另一方面，該模型也可以生成與健康腦MRI圖像相對(duì)應(yīng)的高逼真含病灶圖像，用于數(shù)據(jù)增廣。

3.2 跨模態(tài)生成

神經(jīng)影像包含多種影像模態(tài)，不同的影像模態(tài)有不同的醫(yī)學(xué)或生物應(yīng)用領(lǐng)域。跨模態(tài)生成（從一種影像模態(tài)到另一種影像模態(tài)）可以降低采集成本，促進(jìn)多模態(tài)融合。在CycleGAN中，由于輸入圖像和生成圖像之間缺乏直接的約束，無法保證結(jié)構(gòu)上的一致性。Yang等[28]改進(jìn)了CycleGAN，定義了一個(gè)基于鄰域描述符的結(jié)構(gòu)一致性損失，與對(duì)抗損失和循環(huán)一致性損失共同約束圖像的生成。該模型實(shí)現(xiàn)了從腦MRI圖像到CT圖像的跨模態(tài)生成。訓(xùn)練結(jié)果顯示，未配對(duì)圖像的訓(xùn)練結(jié)果與成對(duì)圖像訓(xùn)練結(jié)果相近，生成圖像的質(zhì)量優(yōu)于傳統(tǒng)CycleGAN。Welander等[29]使用 UNIT（unsupervised image-to-image translation）[30]和CycleGAN 2個(gè)交叉模態(tài)合成框架，實(shí)現(xiàn)了腦MRI圖像的T1加權(quán)與T2加權(quán)2種模態(tài)間的轉(zhuǎn)換。通過對(duì)平均絕對(duì)誤差、峰值信噪比、平均互信息等進(jìn)行定量評(píng)估，發(fā)現(xiàn)這2種框架在T1加權(quán)和T2加權(quán)2種模態(tài)中的轉(zhuǎn)換效果近似。該研究還發(fā)現(xiàn)具有更優(yōu)視覺真實(shí)感的生成圖像不一定具有更好的量化誤差。

多模態(tài)神經(jīng)影像融合可以彌補(bǔ)單模態(tài)影像中存在的信息不足等缺陷，提高疾病診斷準(zhǔn)確率。高媛等[31]提出了一種基于GAN的生成對(duì)抗殘差網(wǎng)絡(luò)（residual generative adversarial network，Res-GAN）用于腦部CT/MRI和MRI/SPECT圖像的融合。殘差網(wǎng)絡(luò)（residual network，ResNet）通過在原始的卷積層上增加跳躍連接支路構(gòu)成基本殘差塊，改善了網(wǎng)絡(luò)深度帶來的梯度消失和網(wǎng)絡(luò)退化的問題。效果對(duì)比圖和客觀指標(biāo)結(jié)果顯示，該方法對(duì)CT/MRI和MRI/SPECT的融合結(jié)果較好地保留了原圖像的輪廓以及細(xì)節(jié)信息。

3.3 圖像重建

由于臨床環(huán)境的限制，如輻射劑量或患者的舒適度，很多時(shí)候醫(yī)療機(jī)構(gòu)需要采集低分辨力、低放射劑量的圖像?；贕AN的高分辨力或高放射劑量的圖像重建為臨床應(yīng)用和定量分析提供了重要的信息。Chen等[32]提出了一種mDCSRN（multi-level densely connected super-resolution networks），與 WGANGP結(jié)合，實(shí)現(xiàn)了低分辨力MRI對(duì)高分辨力MRI的重建。Quan等[33]提出RefineGAN，將全殘差卷積自編碼器和GAN結(jié)合，實(shí)現(xiàn)了腦部壓縮感知的MRI圖像的重建。在保證圖像域數(shù)據(jù)保真度的同時(shí)，在MRI重建中使用原始k空間數(shù)據(jù)，保證了頻域數(shù)據(jù)的保真度。RefineGAN在幾個(gè)開源MRI數(shù)據(jù)庫上的評(píng)估結(jié)果表明，在運(yùn)行時(shí)間和重建圖像質(zhì)量方面都優(yōu)于其他的壓縮感知的MRI圖像重建方法。

Armanious等[34]提出了 MedGAN（medical image translation using GANs），將對(duì)抗性框架與非對(duì)抗性損失結(jié)合，實(shí)現(xiàn)了去除腦MRI圖像的運(yùn)動(dòng)偽影、PET圖像去噪和腦PET-CT模態(tài)轉(zhuǎn)換（如圖3所示）。MedGAN框架包括1個(gè)基于CasNet的G、1個(gè)D和1個(gè)預(yù)先訓(xùn)練好的特征提取器。其中特征提取器通過感知相似性損失和風(fēng)格轉(zhuǎn)換損失匹配G重建圖像的風(fēng)格、結(jié)構(gòu)和內(nèi)容。放射科醫(yī)生的評(píng)價(jià)和定量分析表明，MedGAN的重建效果優(yōu)于pix2pix等其他模型。

3.4 圖像分割

神經(jīng)影像分割是神經(jīng)影像分析中的一個(gè)重要領(lǐng)域，是診斷、監(jiān)測和治療的必要手段，其目標(biāo)是對(duì)神經(jīng)影像的內(nèi)容進(jìn)行類別劃分。Kamnitsas等[35]提出了一種基于DCGAN的腦MRI圖像分割框架，該框架通過對(duì)抗性網(wǎng)絡(luò)學(xué)習(xí)到樣本的域不變特征（不同的掃描儀、成像協(xié)議、分辨力、模態(tài)），其中分割器采用三維多尺度CNN對(duì)腦MRI圖像中的創(chuàng)傷性腦損傷區(qū)域進(jìn)行分割。實(shí)驗(yàn)結(jié)果表明，該算法在無監(jiān)督的情況下可獲得接近有監(jiān)督的性能。

Xue等[36]提出了SegAN用于腦MRI圖像中的腫瘤分割。該模型包含2個(gè)子網(wǎng)絡(luò)Segmentor和Critic，對(duì)應(yīng)于傳統(tǒng)GAN中的G和D。Segmentor輸出分割圖像，Critic通過反向梯度傳播優(yōu)化分割圖像的生成。該模型通過最小化多尺度L1損失函數(shù)獲取圖像的全局/局部特征和不同區(qū)域的像素間的空間關(guān)系。采用多尺度損失的生成對(duì)抗模型相比于采用單一尺度損失和Softmax損失的生成對(duì)抗模型具有更高的分割精度和靈敏度。

海馬亞區(qū)體積小、形態(tài)復(fù)雜，對(duì)其進(jìn)行分割是一項(xiàng)具有挑戰(zhàn)性的工作。Shi等[37]基于DCGAN提出了一種海馬體區(qū)域分割方法，其中生成器采用基于UNet的UG-Net結(jié)構(gòu)。實(shí)驗(yàn)結(jié)果表明，該算法對(duì)海馬體區(qū)域中較大和較小子域的分割效果均好于其他算法（CNN、UG-Net等）。

圖3 MedGAN[34]應(yīng)用于醫(yī)學(xué)圖像重建

3.5 圖像分類

當(dāng)GAN的網(wǎng)絡(luò)達(dá)到納什平衡時(shí)，D就是一個(gè)很好的神經(jīng)影像特征提取器，可進(jìn)一步用于圖像的分類[38-39]。

Ghassemi等[40]提出了一種基于DCGAN的MRI圖像中腦腫瘤的分類算法。將CNN在不同的腦MRI圖像數(shù)據(jù)集上作為GAN中的D進(jìn)行預(yù)訓(xùn)練，替換全連接層。在GAN中加入了數(shù)據(jù)擴(kuò)充和dropout技術(shù)，有效避免了過擬合現(xiàn)象。D中的最后一層采用SoftMax層，在不同的MRI圖像數(shù)據(jù)集上區(qū)分3個(gè)腦腫瘤類別（腦膜瘤、膠質(zhì)瘤、垂體瘤）。交叉驗(yàn)證結(jié)果表明，對(duì)D進(jìn)行預(yù)訓(xùn)練可有效提高腦腫瘤分類的準(zhǔn)確性。Cohen等[41]將CycleGAN應(yīng)用于健康與含病灶的腦圖像之間的分類。實(shí)驗(yàn)結(jié)果顯示，相比其他模型，GAN可以生成更高質(zhì)量的圖像，但是在健康/含病灶圖像的分類任務(wù)上GAN的輸出會(huì)存在一些錯(cuò)誤，從而導(dǎo)致誤診。

3.6 目標(biāo)檢測

在神經(jīng)影像數(shù)據(jù)中檢測病變是診斷、治療和預(yù)后的必要條件，傳統(tǒng)的分割和分類方法主要是基于監(jiān)督學(xué)習(xí)與良好配對(duì)的圖像級(jí)或體素級(jí)標(biāo)簽。GAN中的D可以通過學(xué)習(xí)訓(xùn)練集中的正常病理圖像的概率分布來檢測病變等異常。Alex等[42]使用DCGAN從MRI圖像中檢測腦損傷，訓(xùn)練中每個(gè)圖像塊大小為64×64。生成器生成不含病灶的圖像塊，通過訓(xùn)練使D實(shí)現(xiàn)含病灶圖像塊和不含病灶圖像塊的分類功能。其中含病灶圖像塊再進(jìn)行2次二值化完成對(duì)病灶區(qū)域的標(biāo)注（如圖4所示）。實(shí)驗(yàn)結(jié)果表明，當(dāng)使用來自BraTS數(shù)據(jù)集的4個(gè)不同MRI模態(tài)（FLAIR、T1、T2、T1c）對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，Dice評(píng)分為0.69，敏感度為91%，特異度為59%。

病灶檢測往往采用有監(jiān)督學(xué)習(xí)，利用大型注釋的數(shù)據(jù)集進(jìn)行訓(xùn)練。Chen等[43]基于GAN模型，通過學(xué)習(xí)健康大腦MRI圖像的數(shù)據(jù)分布，實(shí)現(xiàn)無監(jiān)督的情況下對(duì)病變區(qū)域的檢測。該模型基于HCP（Human Connectome Project）數(shù)據(jù)集的T2加權(quán)不含病灶MRI圖像進(jìn)行訓(xùn)練。G分別采用變分自編碼器（variational autoencoder，VAE）和自適應(yīng)算數(shù)編碼器（adaptive arithmetic encoder，AAE）生成不含病灶的圖像，D檢測圖像中的病變區(qū)域。病灶檢測結(jié)果中AUC達(dá)到了0.897（VAE）和 0.923（AAE）。

圖4 DCGAN腦損傷檢測結(jié)果[42]

4 GAN在神經(jīng)影像中應(yīng)用的優(yōu)缺點(diǎn)及發(fā)展展望

4.1 GAN的優(yōu)缺點(diǎn)

與神經(jīng)影像應(yīng)用中的其他網(wǎng)絡(luò)相比，GAN具備以下3個(gè)優(yōu)點(diǎn):（1）典型的生成模型。如受限玻爾茲曼機(jī)和VAE往往采用最大似然法、馬爾可夫鏈法等方法擬合神經(jīng)影像分布。然而這需要大量的先驗(yàn)知識(shí)和較高的計(jì)算復(fù)雜度。GAN采用對(duì)抗性訓(xùn)練方法生成神經(jīng)影像數(shù)據(jù)，不需要顯式地表達(dá)生成的分布，訓(xùn)練難度大大降低，可以產(chǎn)生分辨力更高的生成樣本。（2）GAN結(jié)構(gòu)非常靈活。目標(biāo)函數(shù)可以針對(duì)不同的任務(wù)進(jìn)行重新設(shè)計(jì)，模型設(shè)計(jì)更加自由。（3）GAN的訓(xùn)練過程使用大量未標(biāo)記的神經(jīng)影像進(jìn)行預(yù)訓(xùn)練，可以在預(yù)訓(xùn)練模型基礎(chǔ)上采用少量有標(biāo)簽的神經(jīng)影像數(shù)據(jù)，使D訓(xùn)練完成分類或回歸任務(wù)。相較于其他模型，GAN不僅可以學(xué)習(xí)從一種神經(jīng)影像模態(tài)到另一種神經(jīng)影像模態(tài)間的高度非線性的映射，還可以充分利用有監(jiān)督學(xué)習(xí)過程中無用的大量未標(biāo)記的神經(jīng)影像數(shù)據(jù)。

作為一種無監(jiān)督的學(xué)習(xí)方法，GAN解決了一般的生成模型問題，是深度學(xué)習(xí)的重要研究方向之一。但GAN也帶來了訓(xùn)練過程不穩(wěn)定等問題。如在梯度下降的尋優(yōu)過程中，GAN僅在目標(biāo)函數(shù)是凸函數(shù)的情況下才能保證納什平衡。訓(xùn)練過程中只有G和D這2個(gè)網(wǎng)絡(luò)平衡和同步才能達(dá)到理想的性能。然而，G和D的同步很難控制，訓(xùn)練過程可能不穩(wěn)定。此外，GAN一般采用傳統(tǒng)的指標(biāo)如均方誤差、峰值信噪比或結(jié)構(gòu)相似性等對(duì)模型進(jìn)行定量評(píng)價(jià)，有時(shí)很難控制和檢測GAN的訓(xùn)練進(jìn)展。同時(shí)其評(píng)價(jià)結(jié)果與人類視覺質(zhì)量存在不一致。另外，神經(jīng)網(wǎng)絡(luò)的組織結(jié)構(gòu)也導(dǎo)致了GAN的可解釋性差。最后，神經(jīng)影像一般是三維或更高維數(shù)據(jù)，但由于構(gòu)建三維或者更高維的GAN會(huì)消耗大量的內(nèi)存和計(jì)算資源，目前的GAN更多是基于二維的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)三維神經(jīng)影像中的二維切片進(jìn)行處理，會(huì)損失三維影像中包含的連續(xù)結(jié)構(gòu)空間信息。

4.2 發(fā)展方向

針對(duì)GAN在神經(jīng)影像應(yīng)用過程中存在的問題，GAN在將來主要有以下發(fā)展方向:（1）GAN的本質(zhì)是令生成分布逼近未知的真實(shí)分布。損失函數(shù)主要從梯度消失問題、圖像質(zhì)量和樣本多樣性3個(gè)方面提升性能。損失函數(shù)的選擇需要和具體應(yīng)用相結(jié)合，同時(shí)需要采用更好的收斂指標(biāo)來評(píng)估損失函數(shù)是否收斂，加快GAN的收斂速度，使模型的魯棒性更好。（2）通過引入半監(jiān)督學(xué)習(xí)和對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)測與編碼，對(duì)生成過程加以限制，解決GAN訓(xùn)練中的模型坍塌問題。（3）針對(duì)神經(jīng)影像領(lǐng)域訓(xùn)練數(shù)據(jù)稀缺的情況，將GAN更多應(yīng)用于CT、MRI、PET等多模態(tài)的融合，從而擴(kuò)充訓(xùn)練數(shù)據(jù)。（4）將GAN與模仿學(xué)習(xí)、遷移學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等近年來在深度學(xué)習(xí)領(lǐng)域表現(xiàn)出色的技術(shù)融合，綜合應(yīng)用GAN與其他模型的優(yōu)點(diǎn)來完成數(shù)據(jù)生成任務(wù)。

5 結(jié)語

盡管GAN存在一些缺點(diǎn)和局限性，但不可否認(rèn)的是，GAN解決了生成模型中最突出的問題，在神經(jīng)影像領(lǐng)域的應(yīng)用中有著非常廣闊的前景。由于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以采用多種類型的損失函數(shù)，同時(shí)模型設(shè)計(jì)自由度高，所以致力于減少GAN設(shè)計(jì)中存在的一些問題的新技術(shù)不斷涌現(xiàn)。雖然近年來GAN在神經(jīng)影像領(lǐng)域的研究成果顯著，但是主要集中在理論計(jì)算、數(shù)據(jù)支持等方面，在臨床診斷和臨床訓(xùn)練方面的應(yīng)用還處于起步階段。因此，GAN無論是在理論上還是在算法上都有許多發(fā)展的機(jī)會(huì)。隨著機(jī)器學(xué)習(xí)技術(shù)的不斷發(fā)展，GAN會(huì)在臨床應(yīng)用中發(fā)揮更大的價(jià)值。