李書(shū)林，馮朝路,2*，于鯤,2，劉鑫，江鑫，趙大哲,

1. 東北大學(xué)醫(yī)學(xué)影像智能計(jì)算教育部重點(diǎn)實(shí)驗(yàn)室，沈陽(yáng) 110169; 2. 東北大學(xué)遼寧省醫(yī)學(xué)影像計(jì)算重點(diǎn)實(shí)驗(yàn)室，沈陽(yáng) 110169;3. 東軟醫(yī)療系統(tǒng)股份有限公司，沈陽(yáng) 110819

0 引 言

作為人體血液循環(huán)系統(tǒng)的重要組成部分，心臟為人體血流提供動(dòng)力，為維持人體生命體征起著至關(guān)重要的作用?！吨袊?guó)心血管報(bào)告2018》指出，包括冠心病、高血壓、心力衰竭、心率失常、心肌梗死和房顫等在內(nèi)的心臟病診療已成為重大公共健康衛(wèi)生問(wèn)題。醫(yī)學(xué)成像技術(shù)的發(fā)展，使得以非侵入方式獲得活體心臟組織的結(jié)構(gòu)影像成為現(xiàn)實(shí)。對(duì)心臟影像進(jìn)行智能分析對(duì)心臟疾病的檢測(cè)、診斷與治療起著重要作用。

然而，受活體心跳影響與成像原理約束，心臟磁共振(cardiac magnetic resonance, CMR)成像難且慢?，F(xiàn)有技術(shù)通過(guò)欠采樣(under sampled)重建，加快成像速度，但對(duì)影像質(zhì)量產(chǎn)生負(fù)面影響。成像設(shè)備需在較短時(shí)間內(nèi)實(shí)現(xiàn)心臟影像信息采集與高質(zhì)量重建。這給心臟高分辨率成像帶來(lái)挑戰(zhàn)。一種可行的解決辦法是設(shè)備成像時(shí)盡可能保證時(shí)間性能，在由容許誤差決定的成像時(shí)間內(nèi)生成細(xì)節(jié)特征盡可能完整的心臟影像，此時(shí)為低分辨率(low-resolution, LR)心臟影像。然后采用后處理超分辨率(super-resolution, SR)重建技術(shù)進(jìn)一步提升心臟影像分辨率，進(jìn)而改善影像質(zhì)量。SR重建技術(shù)可顯著提高心臟影像分辨率，進(jìn)而解決為獲取高分辨率心臟影像需要較長(zhǎng)成像時(shí)間的問(wèn)題。SR重建技術(shù)可為心臟病篩查與診斷提供高分辨率(high-resolution,HR)影像，進(jìn)而降低診斷難度，提升診斷效率。因此，自Harris(1964)首次提出SR的概念后，陸續(xù)衍生出基于重構(gòu)與樣本學(xué)習(xí)的SR技術(shù)。但是，這些較為傳統(tǒng)的方法普遍難以恢復(fù)心臟影像的高頻細(xì)節(jié)，從而導(dǎo)致重建后的心臟影像更加模糊。另外，這些方法普遍存在計(jì)算復(fù)雜、實(shí)時(shí)性差，且不能滿足大因子(8倍及以上)縮放需求的問(wèn)題，為心臟影像智能分析帶來(lái)困難。深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)影像處理領(lǐng)域展現(xiàn)出強(qiáng)大生命力，基于深度學(xué)習(xí)的SR技術(shù)因其強(qiáng)大的學(xué)習(xí)能力與數(shù)據(jù)驅(qū)動(dòng)性，在心臟影像SR重建領(lǐng)域中表現(xiàn)出明顯優(yōu)于傳統(tǒng)方法的性能，已成為研究熱點(diǎn)。

本文以“心臟”、“超分辨率”、“深度學(xué)習(xí)”為全文搜索關(guān)鍵詞，通過(guò)谷歌學(xué)術(shù)、中國(guó)知網(wǎng)以及DBLP(database systems and logic programming)文獻(xiàn)數(shù)據(jù)庫(kù)查閱近5年發(fā)表的基于深度學(xué)習(xí)模型實(shí)現(xiàn)心臟影像SR重建的學(xué)術(shù)文獻(xiàn)。共搜索到如表1所示的13篇文獻(xiàn)，本文分別從心臟影像來(lái)源與規(guī)模、SR方法評(píng)價(jià)標(biāo)準(zhǔn)、SR方法的特色和SR技術(shù)的應(yīng)用4個(gè)視角對(duì)深度學(xué)習(xí)技術(shù)在心臟影像SR領(lǐng)域的現(xiàn)狀進(jìn)行梳理總結(jié)，便于感興趣的讀者了解領(lǐng)域內(nèi)的研究現(xiàn)狀與發(fā)展趨勢(shì)。

表1 基于深度學(xué)習(xí)模型實(shí)現(xiàn)心臟影像SR重建的文獻(xiàn)Table 1 Summary of literature on SR reconstruction of cardiac images based on deep learning models

1 數(shù)據(jù)集

隨著醫(yī)學(xué)領(lǐng)域信息化的不斷深入，醫(yī)學(xué)影像數(shù)據(jù)也越來(lái)越豐富，文獻(xiàn)集中處理的心臟影像主要源于公開(kāi)心臟影像集與合作醫(yī)療機(jī)構(gòu)。具體地，文獻(xiàn)中用于訓(xùn)練、驗(yàn)證SR網(wǎng)絡(luò)模型的數(shù)據(jù)集主要包括：

1)MICCAI2009心臟MR左心室分割挑戰(zhàn)賽數(shù)據(jù)集(https://www.midasjournal.org/browse/journal/49)。該數(shù)據(jù)集包含45幅來(lái)自不同患者和病理的電影穩(wěn)態(tài)自由進(jìn)動(dòng)(steady state free precession, SSFP)CMRI，是由心臟病學(xué)家確定的舒張末期和收縮末期的手動(dòng)分段。Mahapatra和Bozorgtabar (2019)使用此數(shù)據(jù)集訓(xùn)練并驗(yàn)證提出的SR網(wǎng)絡(luò)模型。

2)Kaggle第2屆數(shù)據(jù)科學(xué)碗心臟挑戰(zhàn)賽數(shù)據(jù)集(https://www.kaggle.com/c/second-annual-data-science-bowl/data)。該數(shù)據(jù)集中包含數(shù)百幅電影CMR 2維影像，每幅2維影像包含約30個(gè)時(shí)間序列，對(duì)應(yīng)1個(gè)心跳周期。其中，所有影像均是屏息狀態(tài)下獲得。Lin等人(2020)、Basty和Grau (2018)用此數(shù)據(jù)集訓(xùn)練并驗(yàn)證提出的SR網(wǎng)絡(luò)模型。

3)英國(guó)數(shù)碼心臟計(jì)劃數(shù)據(jù)集(UK digital heart project)(https://digital-heart.org/)。該數(shù)據(jù)集中共含有1 200對(duì)LR心臟短軸2維與HR 3維電影CMRI。所有影像對(duì)均來(lái)自健康活體掃描。其中，心臟短軸2維序列在不同屏氣狀態(tài)下采集得到，故影像中可能存在運(yùn)動(dòng)偽影。LR心臟短軸2維序列與HR 3維影像的體分辨率分別為1.25×1.25×10.00 mm與1.25×1.25×2.00 mm，即數(shù)據(jù)集建立的初衷是實(shí)現(xiàn)分辨率5倍提升。Oktay等人(2018)用此數(shù)據(jù)集訓(xùn)練并驗(yàn)證提出的SR網(wǎng)絡(luò)模型。

4)MICCAI2017自動(dòng)心臟診斷挑戰(zhàn)數(shù)據(jù)集(automated cardiac diagnosis challenge, ACDC)(https://acdc.creatis.insa-lyon.fr/description/databases.html)。該數(shù)據(jù)集由對(duì)100名患者掃描獲得的心臟短軸CMR影像構(gòu)成，均勻分布于心功能正常、擴(kuò)張型心肌病、肥厚型心肌病、心力衰竭伴梗塞和右心室異常5組中。Lin等人(2020)、Sander等人(2020)用此數(shù)據(jù)集訓(xùn)練并驗(yàn)證提出的SR網(wǎng)絡(luò)模型。

5)院方合作且未公開(kāi)具體來(lái)源的心臟影像集。除以上心臟影像集外，部分文獻(xiàn)用于訓(xùn)練、驗(yàn)證SR網(wǎng)絡(luò)模型的心臟影像來(lái)自于合作醫(yī)療機(jī)構(gòu)或模擬數(shù)據(jù)集，并未在線公開(kāi)。Steeden等人(2020)、Kobayashi等人(2020)、Masutani等人(2020)、Giannakidis等人(2017)用被支持的醫(yī)療機(jī)構(gòu)提供的心臟影像訓(xùn)練并驗(yàn)證提出的SR網(wǎng)絡(luò)模型；Ferdian等人(2020)采用計(jì)算流體動(dòng)力學(xué)模型構(gòu)建的模擬4D心血管流數(shù)據(jù)，訓(xùn)練、驗(yàn)證提出的SR網(wǎng)絡(luò)模型。

2 性能評(píng)價(jià)

基于重建影像質(zhì)量定義標(biāo)準(zhǔn)評(píng)價(jià)指標(biāo)，可量化評(píng)價(jià)SR重建方法的性能，進(jìn)而可有效減少選擇SR方法的盲目性,對(duì)于新方法研發(fā)起到指導(dǎo)作用。就自然圖像SR重建來(lái)說(shuō)，常用的SR評(píng)價(jià)標(biāo)準(zhǔn)有峰值信噪比、結(jié)構(gòu)相似性等，這些評(píng)價(jià)標(biāo)準(zhǔn)也廣泛應(yīng)用于心臟影像SR重建方法評(píng)價(jià)。除此之外，在心臟影像SR重建領(lǐng)域，包括射血分?jǐn)?shù)、心室容積等心臟功能參數(shù)以及對(duì)于心臟影像分割的精度在內(nèi)的指標(biāo)，也用于評(píng)價(jià)SR重建質(zhì)量。因此，本文將心臟SR重建方法性能評(píng)價(jià)指標(biāo)分為重建影像質(zhì)量評(píng)價(jià)、心臟功能評(píng)價(jià)以及心臟分割效果評(píng)價(jià)3類。

2.1 重建影像質(zhì)量評(píng)價(jià)

復(fù)用自然圖像SR重建主流性能評(píng)價(jià)指標(biāo)：

1)均方誤差(mean-square error, MSE)。均方誤差是反映估計(jì)量與被估計(jì)量之間差異程度的一種度量。對(duì)于心臟影像SR重建來(lái)說(shuō)，重建結(jié)果為估計(jì)量I，真實(shí)的HR影像為被估計(jì)量J，則心臟SR重建與真實(shí)HR影像像素間的MSE定義為

(1)

式中，m、n表示心臟影像尺寸，I(i,j)、J(i,j)分別表示重建影像與參考HR影像在像素(i,j)處的灰度值。顯然，當(dāng)MSE取值較小時(shí)，心臟SR重建影像失真少，質(zhì)量好。Steeden等人(2020)、Kobayashi等人(2020)采用MSE評(píng)價(jià)提出的SR重建方法的性能。

2)峰值信噪比(peak signal-to-noise ratio, PSNR)。作為SR重建性能評(píng)價(jià)出現(xiàn)頻率較高的指標(biāo)，峰值信噪比用于衡量心臟SR重建影像失真或噪聲水平。由MSE對(duì)心臟SR重建影像失真程度的定量描述，定義為

(2)

式中，n為像素灰度值的比特?cái)?shù)，MSE為參考HR影像與SR重建影像之間的均方誤差值。PSNR的單位為dB，且PSNR值越大，心臟SR重建影像失真越少，重建質(zhì)量越好。Lin等人(2020)、Basty和Grau(2018)、Mahapatra和Bozorgtabar (2019)、Zhao等人(2020)、Oktay等人(2016)、Zhao等人(2019)、Sander等人(2020)、Giannakidis等人(2017)采用PSNR評(píng)價(jià)提出的SR方法的性能。

(3)

式中，c1=(k1L)2，c2=(k2L)2為控制因子。通常地，k1與k2分別取0.01與0.03，L為灰度取值范圍：2n-1。不難驗(yàn)證，SSIM的取值范圍為-1到1，且SSIM值越趨近于1，則SR重建影像與HR影像的相似度越高，即SR重建效果越好。表1中除Ferdian等人(2020)的方法， 其他文獻(xiàn)都采用了SSIM評(píng)價(jià)提出的SR方法的性能。

4)每秒幀速率(frames per second, FPS)。與以上指標(biāo)均關(guān)注SR重建影像的質(zhì)量不同，每秒幀速率用于評(píng)價(jià)SR重建方法的時(shí)間性能。FPS取值較大時(shí)，代表對(duì)應(yīng)的SR重建方法能夠在較短的時(shí)間內(nèi)處理生成更多的心臟SR影像，效率更高。Lin等人(2020)采用FPS評(píng)價(jià)提出的SR方法的性能。

2.2 心臟功能評(píng)價(jià)

除復(fù)用自然圖像SR重建主流性能評(píng)價(jià)指標(biāo)之外，因心臟影像SR重建的根本目的是提升后續(xù)影像智能分析性能，測(cè)量重建影像中血管直徑、心室容積以及射血分?jǐn)?shù)等心臟功能指數(shù)，故檢驗(yàn)SR重建影像與參考HR影像的心功能指數(shù)的差異性已廣泛用于心臟影像SR重建性能評(píng)價(jià)(Steeden等人(2020)、Oktay等人(2016)、Masutani等人(2020))。

1)管徑測(cè)量。血管直徑測(cè)量值可用于驗(yàn)證心臟SR重建影像相較于HR影像在血管顯示上有無(wú)明顯失真。測(cè)量對(duì)象包括升主動(dòng)脈、降主動(dòng)脈、主肺動(dòng)脈、右肺動(dòng)脈、左肺動(dòng)脈和近端左冠狀動(dòng)脈。測(cè)量手段為臨床醫(yī)生基于多平面重建技術(shù)進(jìn)行手動(dòng)測(cè)量。對(duì)分別由SR影像和HR影像測(cè)量的結(jié)果采用Bland-Altman方法進(jìn)行一致性分析：分別計(jì)算兩組測(cè)量值中對(duì)應(yīng)值的差值，記差值的均值為μ，差值的標(biāo)準(zhǔn)差為S。若兩組血管直徑測(cè)量值的差值服從正態(tài)分布，則95%的差值落在一致性界限區(qū)間[μ-1.96S,μ+1.96S]內(nèi)。若絕大多數(shù)血管直徑差值位于一致性界限內(nèi)，則表示這兩組血管直徑測(cè)量值具有較好的一致性，對(duì)應(yīng)的SR重建影像與HR影像在血管直徑估計(jì)方面一致性較好。Steeden等人(2020)用此指標(biāo)評(píng)價(jià)提出的SR方法的性能。

2)左心室容積與組間心肌表面的豪斯多夫距離。作為心臟的重要組成部分，心室功能評(píng)價(jià)意義重大。左心室(left ventricle, LV)容積與心肌(myocardium, MYO)表面距離估計(jì)可用于驗(yàn)證心臟SR重建影像相較于HR影像在心功能評(píng)估方向上是否存在明顯差異。為計(jì)算上述兩個(gè)指標(biāo)，通常需要將心室內(nèi)外膜邊界標(biāo)記出來(lái)。左心室容積定義為內(nèi)膜邊界內(nèi)體素的和。豪斯多夫距離定義為邊界曲線點(diǎn)集之間的距離度量。具體地，若SR重建影像中邊界曲線點(diǎn)集為A={a1,a2,…}，HR影像中對(duì)應(yīng)邊界曲線點(diǎn)集為B={b1,b2,…}，則豪斯多夫距離定義為

H(A,B)=max[h(A,B),h(B,A)]

(4)

(5)

(6)

顯然，SR重建影像中測(cè)得的LV容積與參考HR影像中測(cè)量的LV值越接近，且對(duì)應(yīng)的豪斯多夫距離越小，則表明SR重建影像與參考HR影像在心室容積評(píng)估與心肌表面距離測(cè)試方面一致性越好。Oktay等人(2016)采用以上兩個(gè)指標(biāo)評(píng)價(jià)提出的SR方法的性能。

3)左心室心博量與射血分?jǐn)?shù)差值的配對(duì)t檢驗(yàn)。左心室心博量(left ventricle stroke volume, LV SV)與射血分?jǐn)?shù)(ejection fraction, EF)可用于檢驗(yàn)SR重建影像相較于參考HR影像在心功能評(píng)估方面是否存在評(píng)估偏差。對(duì)測(cè)量后的兩組心功能參數(shù)，進(jìn)行配對(duì)t檢驗(yàn)，檢測(cè)兩組測(cè)量值的均值是否存在顯著性差異。配對(duì)t檢驗(yàn)統(tǒng)計(jì)量為

(7)

式中，μ為兩組測(cè)量值均值之差，零假設(shè)即μ0=0，n為配對(duì)測(cè)量的數(shù)量。顯然，該統(tǒng)計(jì)量服從自由度為n-1的t分布。計(jì)算p值，判斷是否達(dá)到顯著水平。p值小于顯著性水平，則接受零假設(shè)。此時(shí)，SR重建影像重建效果好，對(duì)心臟功能評(píng)估影響小。Masutani等人(2020)采用以上指標(biāo)評(píng)價(jià)提出的SR方法的性能。

2.3 心臟分割效果評(píng)價(jià)

Dice系數(shù)。通過(guò)比較Dice系數(shù)可檢測(cè)對(duì)心臟SR重建影像與HR影像分割的精度是否存在差異。對(duì)SR重建影像與HR影像基于同一分割方法分割，常見(jiàn)的方法有基于U-Net、多圖譜的心臟分割方法。分別計(jì)算相對(duì)于金標(biāo)準(zhǔn)分割圖像的Dice系數(shù)，最后比較系數(shù)差異。具體地，若金標(biāo)準(zhǔn)分割圖像為X，對(duì)SR與HR影像分割得到的圖像為Y，則Dice系數(shù)定義為

(8)

式中，|·|操作表示求區(qū)域內(nèi)所有像素點(diǎn)的個(gè)數(shù)。Dice系數(shù)的取值范圍為0～1，Dice系數(shù)的值越趨近于1，則代表分割的精度越高。當(dāng)對(duì)SR影像分割的Dice系數(shù)與HR影像Dice系數(shù)越接近時(shí)，則表明SR重建影像與HR影像在心臟分割的精度一致性越好，即SR重建效果越好。Mahapatra和Bozorgtabar (2019)采用以上指標(biāo)評(píng)價(jià)提出的SR方法的性能。

3 心臟超分辨率深度學(xué)習(xí)方法

雖然臨床上可用于心臟病診斷的影像模態(tài)包括計(jì)算機(jī)斷層掃描(computed tomography, CT)、超聲(ultrasound, US)、MR等多種模態(tài)，表1所列的13篇基于深度學(xué)習(xí)模型的心臟影像SR重建文獻(xiàn)均基于MR模態(tài)。根據(jù)不同的臨床分析需求，可以提升心臟影像的時(shí)間分辨率或空間分辨率，本文所分析總結(jié)的文獻(xiàn)中的CMR SR重建方法都為提升心臟影像的空間分辨率，即層間與層內(nèi)分辨率。本文基于深度學(xué)習(xí)模型處理心臟影像維度的不同，將其分為CMR 2維超分辨率重建、CMR 3維超分辨率重建，以及其他維度的CMR超分辨率重建3類。

3.1 CMR 2維超分辨率重建

Mahapatra和Bozorgtabar (2019)提出一個(gè)基于逐步生成對(duì)抗網(wǎng)絡(luò)(progressive generative adversarial networks, p-GANs)的CMR SR重建方法，p-GANs網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，圖1中G1與D1，G2與D2對(duì)應(yīng)兩組用于2×分辨率提升任務(wù)的生成器與鑒別器。生成器與鑒別器網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。該方法以CMR 2維影像為操作對(duì)象，用三元組損失函數(shù)，將上一階段的重建結(jié)果作為基準(zhǔn)，逐階段提升影像分辨率。每階段分辨率提升2倍，滿足了大因子縮放的需求。該方法解決了低分辨率下CMR影像中心臟組織的微小病變難以檢測(cè)以及對(duì)于CMR影像分割精度不足的問(wèn)題。為評(píng)估提出方法的性能，Mahapatra和Bozorgtabar (2019)采用MICCAI 2009心臟MR左心室分割挑戰(zhàn)賽數(shù)據(jù)集中的150幅心臟SSFP短軸影像作為心臟HR影像。LR影像通過(guò)對(duì)HR影像施以高斯濾波后，降采樣獲得。將150幅影像擴(kuò)展生成75 000幅影像用于訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，4倍縮放因子下，重建影像較傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)方法(Dong等，2016)PSNR指標(biāo)提升11 dB左右，達(dá)到43.7 dB；SSIM系數(shù)達(dá)到0.83，高于傳統(tǒng)CNN SR方法的0.69。

圖1 p-GANs網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Architecture of the p-GANs

圖2 p-GANs的生成器與鑒別器網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Structure of the generator and discriminator networks of p-GANs((a)generator；(b)discriminator)

Zhao等人(2020)提出結(jié)合拉普拉斯金字塔的生成對(duì)抗網(wǎng)絡(luò)(Laplacian pyramid based on generative adversarial network, LSRGAN)實(shí)現(xiàn)CMR 2維SR重建。該方法與p-GANs類似，影像分辨率提升為漸近式，實(shí)現(xiàn)了高縮放因子(16×)下心臟影像SR重建。該方法實(shí)現(xiàn)SR重建的過(guò)程如圖3所示。其中，拉普拉斯金字塔有利于不同分辨率下高頻信息的保留。除此之外，LSRGAN生成器網(wǎng)絡(luò)中引入如圖4所示的殘差—稠密塊(residual dense block, RDB)作為基礎(chǔ)網(wǎng)絡(luò)原件，用于進(jìn)一步保證重建影像質(zhì)量。該方法抑制了心臟影像經(jīng)SR重建后常出現(xiàn)的偽影。為評(píng)估提出方法的性能，Zhao等人(2020)將來(lái)自于64位患者的2 560幅CMR影像作為HR影像。LR影像由對(duì)HR影像進(jìn)行雙三次插值后下采樣得到。實(shí)驗(yàn)結(jié)果表明，引入16個(gè)RDB后網(wǎng)絡(luò)模型的整體PSNR系數(shù)達(dá)到31.3 dB，相較于僅使用殘差塊的網(wǎng)絡(luò)提升0.2 dB。結(jié)合拉普拉斯金字塔結(jié)構(gòu)后，重建PSNR系數(shù)達(dá)到27.1 dB，較之前提升0.6 dB。SSIM系數(shù)達(dá)到了0.74，提升0.04。但是，由于LSRGAN網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度較高，該方法的SR重建速度較慢。

圖3 LSRGAN SR重建示意圖Fig.3 Diagram of LSRGAN SR reconstruction

圖4 RDB結(jié)構(gòu)圖Fig.4 Structure of RDB

Kobayashi等人(2020)采用CNN實(shí)現(xiàn)全心冠動(dòng)脈MR血管造影2維SR重建。該方法解決了全心冠動(dòng)脈MR影像中冠狀動(dòng)脈組織處分辨率不足的問(wèn)題。為評(píng)估提出方法的性能，Kobayashi等人(2020)

將合作院方提供的80例患者影像均分為兩部分，一半用作訓(xùn)練，一半用作測(cè)試。實(shí)驗(yàn)結(jié)果表明，提出模型深度為3時(shí)重建效果最好。與參考HR影像相比，提出方法重建影像的MSE值為7.07，PSNR系數(shù)與SSIM系數(shù)分別為39.41 dB與0.998。但是，提出方法參數(shù)調(diào)優(yōu)基于12組給定超參數(shù)，存在模型參數(shù)非最優(yōu)的風(fēng)險(xiǎn)。

Zhao等人(2019)提出基于加強(qiáng)的深度殘差網(wǎng)絡(luò)(enhanced deep residual network, EDSR)(Lim等，2017)的綜合多方向分辨率增強(qiáng)(synthetic multi-orientation resolution enhancement, SMORE)方法，用于提升豬的CMR影像層間分辨率。方法利用已有層內(nèi)HR影像構(gòu)建的LR/HR影像對(duì)訓(xùn)練模型，以自學(xué)習(xí)形式實(shí)現(xiàn)CMR影像的SR重建，在不借助外界圖譜或樣本的同時(shí)實(shí)現(xiàn)了心臟影像的抗鋸齒化。解決了心肌梗死的心臟影像中心肌、瘢痕的邊界細(xì)節(jié)不清晰的問(wèn)題。Zhao等人(2019)采用兩頭豬的T1加權(quán)影像序列評(píng)估SMORE方法的性能。實(shí)驗(yàn)結(jié)果表明，SSIM系數(shù)達(dá)到0.514 6，優(yōu)于sinc插值的0.507 0。PSNR系數(shù)低于sinc插值法0.5 dB，為28.881 6 dB。但是，SMORE方法的性能受影像層內(nèi)分辨率影響較大，且對(duì)含呼吸偽影的影像重建效果不佳。

圖5 無(wú)監(jiān)督SR方法示意圖Fig.5 Diagram of unsupervised SR method

Basty和Grau(2018)提出基于U-Net與長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory, LSTM)的模型，網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。模型用于實(shí)現(xiàn)心臟長(zhǎng)軸電影MR影像的SR重建，與Steeden等人(2020)的3層U-Net不同，Basty和Grau(2018)的U-Net為5層2維卷積。其中模型前兩層中LSTM能更好地提取電影MR影像序列的時(shí)間信息從而改善重建影像質(zhì)量。方法解決了由于心跳導(dǎo)致的心臟影像序列的SR重建效果不佳的問(wèn)題。為評(píng)估方法的性能，Basty和Grau(2018)將Kaggle第2屆數(shù)據(jù)科學(xué)院心臟挑戰(zhàn)賽數(shù)據(jù)集中的長(zhǎng)軸心臟影像用作HR影像，對(duì)HR影像降采樣后進(jìn)行立方插值獲得對(duì)應(yīng)的LR影像。為保證精度，訓(xùn)練集中包含3 000對(duì)LR/HR影像。采用171對(duì)LR/HR影像驗(yàn)證模型性能。實(shí)驗(yàn)表明，PSNR系數(shù)達(dá)到26.57 dB，SSIM系數(shù)達(dá)到0.81，均高于常規(guī)U-Net的25.23 dB與0.77。但是，模型重建精度易受影像偽影以及影像間灰度不匹配問(wèn)題的影響。

圖6 U-Net+LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.6 Network structure of U-Net+LSTM

Lin等人(2020)提出基于常規(guī)卷積層與LSTM的端到端網(wǎng)絡(luò)模型用于CMR視頻影像SR重建。網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖7所示。方法結(jié)合心臟周期的相關(guān)概念，提出用于提取時(shí)間信息的階段融合模型。該方法基于殘差學(xué)習(xí)方案逐步細(xì)化恢復(fù)殘差，并采用分治的思想，具有根據(jù)任務(wù)難度調(diào)整迭代細(xì)化的自適應(yīng)能力。方法解決了心跳導(dǎo)致的重建影像質(zhì)量不佳問(wèn)題。為評(píng)估網(wǎng)絡(luò)模型的性能，Lin等人(2020)采用MICCAI 2017自動(dòng)心臟診斷挑戰(zhàn)數(shù)據(jù)集中的150例4維CMR影像與Kaggle第2屆數(shù)據(jù)科學(xué)碗心臟挑戰(zhàn)賽數(shù)據(jù)集中的440例電影CMR作為HR影像。對(duì)HR影像進(jìn)行傅里葉變換，然后濾去高頻信息，進(jìn)行反傅里葉變換再降采樣構(gòu)建LR影像。實(shí)驗(yàn)結(jié)果表明，模型在兩個(gè)數(shù)據(jù)集上的PSNR與SSIM分別達(dá)到30.41 dB/0.866 8與30.91 dB/0.895 6，并獲得了較高的FPS(frames per second)，效率與性能上達(dá)到了較好的平衡。

圖7 ConvLSTM網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.7 Network structure of ConvLSTM

綜上所述，多數(shù)CMR 2維SR重建方法可以在較短的時(shí)間內(nèi)實(shí)現(xiàn)心臟影像SR重建，且能保證SR重建質(zhì)量，而且領(lǐng)域內(nèi)可供分析的心臟影像數(shù)據(jù)充足，但普遍方法對(duì)于心臟結(jié)構(gòu)信息考慮較少。

3.2 CMR 3維超分辨率重建

為解決HR 3維CMR SSFP影像序列成像時(shí)間長(zhǎng)的問(wèn)題，Steeden等人(2020)提出基于殘差U-Net的網(wǎng)絡(luò)模型，用于實(shí)現(xiàn)心臟影像序列的SR重建。網(wǎng)絡(luò)基于3維卷積，其結(jié)構(gòu)如圖8所示。方法利用多尺度下的殘差學(xué)習(xí)實(shí)現(xiàn)了SR重建的加速。為評(píng)估網(wǎng)絡(luò)模型的性能，Steeden等人(2020)采用合作院方醫(yī)療機(jī)構(gòu)提供的500例患有小兒心臟病或先天性心臟病兒童或成人影像序列作為HR影像。LR影像通過(guò)傅里葉變換方法由HR影像構(gòu)建。實(shí)驗(yàn)結(jié)果表明，模型SR重建影像與HR影像的SSIM系數(shù)達(dá)到0.96±0.01，MSE系數(shù)達(dá)到0.68±0.000 45。除此之外，Steeden等人(2020)測(cè)量了影像中血管管徑，并計(jì)算獲得測(cè)量差值的一致性界限[-2.0,2.0]，且?guī)缀跛胁钪刀悸溆诖藚^(qū)間。結(jié)果表明，SR重建影像與HR影像在血管直徑估計(jì)方面一致性較好。但是，訓(xùn)練集中無(wú)罕見(jiàn)先天性心臟缺陷的代表性影像，可能導(dǎo)致方法普適性不強(qiáng)，且模型易受心跳影響。

圖8 3維殘差U-Net結(jié)構(gòu)圖Fig.8 Network structure of 3D residual U-Net

Oktay等人(2016)提出用于心臟長(zhǎng)/短軸MR影像序列SR重建的深層殘差網(wǎng)絡(luò)SC-CNN(single image channel CNN)模型。網(wǎng)絡(luò)結(jié)構(gòu)如圖9所示。其中，在升采樣階段使用反卷積層代替固定的卷積層，使網(wǎng)絡(luò)具有更好的數(shù)據(jù)自適應(yīng)性。采用3×3×3尺寸卷積核，以及增加深度的方式提升網(wǎng)絡(luò)性能。方法旨在解決3維CMR影像成像時(shí)間長(zhǎng)的問(wèn)題。為評(píng)估網(wǎng)絡(luò)性能，Oktay等人(2016)將1 080例3維CMR短軸影像序列作為HR影像。通過(guò)轉(zhuǎn)換模型(Greenspan，2009)構(gòu)造LR影像。訓(xùn)練集與測(cè)試集規(guī)模分別為930與150。實(shí)驗(yàn)結(jié)果表明，提出的7層SC-CNN模型PSNR達(dá)到24.45±1.20 dB，SSIM系數(shù)達(dá)到0.88±0.02。相較于淺層CNN取得更好的重建質(zhì)量。

圖9 SC-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.9 Network structure of SC-CNN

晚期釓增強(qiáng)的CMR(late gadolinium enhancement CMR, LGE-CMR)技術(shù)可用于區(qū)分正常與病變的心肌組織,從而進(jìn)行病理分析，然而常見(jiàn)臨床LGE-CMR影像為2維各向異性的序列，存在層間分辨率不足的問(wèn)題，為解決該問(wèn)題，Giannakidis等人(2017)將SC-CNN模型用于3維LGE-CMR影像的SR重建，提升了心臟影像的層間分辨率，模型深度為6。Giannakidis等人(2017)將28位成人先天性心臟病患者的掃描影像作為HR影像。LR影像采用Greenspan(2009)和Gholipour等人(2010)給出的方法降采樣HR影像獲得。實(shí)驗(yàn)結(jié)果表明，提出方法在數(shù)據(jù)集上的PSNR系數(shù)達(dá)到40.1 dB，SSIM系數(shù)達(dá)到0.94，優(yōu)于基于多圖譜像素塊匹配的SR方法(Shi等，2013)的36.7 dB與0.91。

為進(jìn)一步提升心臟影像的SR重建質(zhì)量，Oktay等人(2016)將SC-CNN網(wǎng)絡(luò)進(jìn)一步擴(kuò)展為支持多輸入通道的殘差網(wǎng)絡(luò)(muti-image channel CNN, MC-CNN)，通過(guò)借鑒孿生神經(jīng)網(wǎng)絡(luò)(Bromley等，1993)的思想，支持不同成像平面(長(zhǎng)軸與短軸)CMR序列多通道輸入，以獲得更多的圖像特征。為評(píng)估網(wǎng)絡(luò)模型性能，Oktay等人(2016)將1 233位健康成人CMR電影序列中舒張末期影像作為HR影像，LR影像基于降采樣轉(zhuǎn)換模型(Greenspan，2009)獲得。訓(xùn)練集與測(cè)試集規(guī)模為143與10。SR重建質(zhì)量對(duì)比如表2所示，MC-CNN模型相較于SC-CNN模型在PSNR系數(shù)上有0.5 dB的提升，達(dá)到25.26 dB；在SSIM系數(shù)上有0.01的提升，達(dá)到0.818。MC-CNN模型有較高的自由度，相較于孿生網(wǎng)絡(luò)模型重建質(zhì)量更好，但模型復(fù)雜度較高，需要較長(zhǎng)的訓(xùn)練時(shí)間。最后，Oktay等人(2016)測(cè)量了18例SR重建短軸影像的左心室(LV)容積與心肌(MYO)距離，并計(jì)算與參考HR影像測(cè)量值間的豪斯多夫距離，用以評(píng)價(jià)SR重建影像在心臟功能評(píng)估方面的表現(xiàn)。其中，MYO分割采用多圖譜分割方法(Bai等，2013)實(shí)現(xiàn)。重建影像心臟功能評(píng)價(jià)如表3所示。結(jié)果表明，CNN模型重建影像與HR影像在心功能評(píng)估方面無(wú)明顯差異。但是，不同成像平面間的錯(cuò)位問(wèn)題，可能導(dǎo)致MC-CNN模型SR重建質(zhì)量變差。

表2 SC-CNN與MC-CNN重建性能對(duì)比Table 2 Performance comparison of SC-CNN and MC-CNN

表3 CNN模型與傳統(tǒng)方法重建影像的心臟功能評(píng)價(jià)對(duì)比Table 3 Evaluation of cardiac function on SR reconstruction images by CNN and traditional methods

結(jié)合器官的形狀與位置的先驗(yàn)知識(shí)是提高圖像分析性能的關(guān)鍵，Oktay等人(2018)提出基于一種新正則化模式的訓(xùn)練策略，將心臟先驗(yàn)知識(shí)融入到CNN中，結(jié)合該策略的網(wǎng)絡(luò)稱為解剖結(jié)構(gòu)約束的神經(jīng)網(wǎng)絡(luò)(anatomically constrained neural network, ACNN)。Oktay等人(2018)通過(guò)自編碼器與預(yù)測(cè)網(wǎng)絡(luò)結(jié)合提出T-L正則化模型，模型結(jié)構(gòu)如圖10所示。模型學(xué)習(xí)得到該隱藏表示空間由影像標(biāo)簽空間與強(qiáng)度空間的映射獲取，使SR網(wǎng)絡(luò)模型訓(xùn)練過(guò)程中能更多地學(xué)習(xí)影像的全局信息而不只局限于像素級(jí)信息。方法很好地抑制了由呼吸、切片分辨率不足等因素導(dǎo)致的運(yùn)動(dòng)偽影對(duì)臨床分析造成的影響。為評(píng)估ACNN模型的性能，Oktay等人(2018)采用英國(guó)數(shù)碼心臟計(jì)劃數(shù)據(jù)集所提供的共1 200對(duì)CMR短軸序列作為HR/LR心臟影像。其中，1 000對(duì)用于訓(xùn)練，200對(duì)用于測(cè)試。實(shí)驗(yàn)結(jié)果表明，相比于MC-CNN模型，ACNN在SSIM系數(shù)上有0.013的提升，達(dá)到0.796。同時(shí)，ACNN模型的時(shí)間性能是MC-CNN模型的5倍。

圖10 T-L正則化模型結(jié)構(gòu)圖Fig.10 Structural of the T-L regularization model

Masutani等人(2020)分析了4種CMR影像SR重建網(wǎng)絡(luò)模型(Retson等，2019；Chartrand等，2017；Zhu等，2019)的性能。網(wǎng)絡(luò)為作用于CMR影像的單幀與多幀處理淺層CNN(k-SRNet與kt-SRNet)與深層U-Net(k-UNet與kt-UNet)；其中，kt-SRNet與kt-UNet基于3維卷積，提取輸入影像的時(shí)間特性。Masutani等人(2020)采用合作院方提供的367位患者的短軸CMR影像序列作為HR影像。LR影像通過(guò)對(duì)HR影像傅里葉變換后降采樣獲得。70%用于訓(xùn)練，30%用于驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，99.2%的重建影像均是深度模型，質(zhì)量更高。淺層CNN與深層U-Net的SR重建性能對(duì)比如表4所示。結(jié)果表明，深層網(wǎng)絡(luò)SSIM系數(shù)更好，影像重建質(zhì)量更高，但優(yōu)勢(shì)并不顯著。除此之外，Masutani等人(2020)測(cè)量了10位臨床患者CMR影像的LV容積、LV SV與LV EF，并檢驗(yàn)是否與參考值存在偏差，測(cè)量與檢驗(yàn)結(jié)果如表5所示。結(jié)果表明，SR重建影像在LV容積和LV EF等值上與HR參考值沒(méi)有顯著性差異。

表4 深度與淺層網(wǎng)絡(luò)重建性能對(duì)比Table 4 Performance comparison of deep and shallow networks

表5 SR影像、LR影像與HR影像心功能評(píng)估值對(duì)比Table 5 Evaluation of cardiac function on SR and LR images compared with HR images

綜上，CMR 3維SR重建方法引入3維卷積，使得方法更好地考慮了心臟的空間結(jié)構(gòu)，結(jié)合了心臟影像相鄰幀間信息進(jìn)行分析。部分方法相較于CMR 2維SR重建方法取得了更好的SR重建效果。但是，方法分析的心臟影像數(shù)據(jù)量少且大多未公開(kāi)，而且方法更大的感受域增加了計(jì)算量，一定程度上降低了時(shí)間性能。

3.3 其他維度的CMR超分辨率重建

4D MR血流成像是一種新興的成像技術(shù)，其能獲取全體積覆蓋的時(shí)空3維血流速度，有助對(duì)心臟與大血管的血流動(dòng)力學(xué)參數(shù)的定量、定性分析。Ferdian等人(2020)提出一種SR深度學(xué)習(xí)方法用于提升4D MR血流成像的空間分辨率并去除噪聲。與SRGAN中的生成器(Ledig等，2017)結(jié)構(gòu)相似，提出的模型是深度殘差網(wǎng)絡(luò)，其結(jié)構(gòu)如圖11所示。網(wǎng)絡(luò)包含血流速度與血管結(jié)構(gòu)雙通道輸入，其中血流速度分量分別來(lái)自x、y、z3個(gè)方向。方法解決了由4D血流數(shù)據(jù)分辨率不足與噪聲對(duì)患者血流評(píng)估造成影響的問(wèn)題，為評(píng)估提出模型的性能，F(xiàn)erdian等人(2020)使用計(jì)算流體動(dòng)力力學(xué)(computational fluid dynamics, CFD)模型(Rispoli等，2015)模擬得到4D血流數(shù)據(jù)作為HR影像。LR影像通過(guò)對(duì)HR影像在傅里葉變換后的頻域進(jìn)行降采樣并添加高斯噪聲獲得。評(píng)價(jià)指標(biāo)為相對(duì)速度誤差(relative speed error, RSE)。實(shí)驗(yàn)結(jié)果表明，提出模型在高速與低速血流速度下的RSE系數(shù)分別為7.05%與23.16%，均有較高的重建質(zhì)量。Ferdian等人(2020)還通過(guò)志愿者掃描數(shù)據(jù)驗(yàn)證提出模型的性能，血流速度在3個(gè)方向的誤差分別為2.6%、-1.1%與-4.8%。

圖11 4D流網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.11 Structure of 4D flow network

Ferdian等人(2020)實(shí)現(xiàn)的4D血流數(shù)據(jù)的SR重建方法有著一定研究意義，滿足了臨床分析中高分辨率、去噪的需求。但可供做SR分析研究的數(shù)據(jù)量相對(duì)于2維、3維重建方法小，且由于數(shù)據(jù)維度的提升，計(jì)算量會(huì)相應(yīng)增大，目前對(duì)于更高維度CMR影像SR重建的研究相對(duì)較少，仍是值得深入探索研究的方向。

4 基于深度學(xué)習(xí)的超分辨率技術(shù)的應(yīng)用

SR重建技術(shù)為解決成像質(zhì)量與設(shè)備掃描時(shí)間之間的矛盾提供了一條有效途徑。憑借優(yōu)于傳統(tǒng)方法的表達(dá)能力，基于深度學(xué)習(xí)的SR技術(shù)在這一領(lǐng)域取得了不錯(cuò)的成績(jī)。高分辨率影像有助于對(duì)后續(xù)心臟影像進(jìn)行智能分析，對(duì)心臟病篩查與診斷起著重要作用。

Steeden等人(2020)將基于3D U-Net的SR方法應(yīng)用于SSFP影像序列，重建后的影像質(zhì)量?jī)?yōu)于傳統(tǒng)SR重建影像和LR影像，能更準(zhǔn)確地描述心臟和血管的解剖結(jié)構(gòu)，對(duì)先天性心臟疾病的診斷與治療有很大幫助。Giannakidis等人(2017)將基于CNN的SR方法應(yīng)用于LGE-CMR影像集，獲得高質(zhì)量LGE-CMR影像，能更真實(shí)地描述心肌的瘢痕特征，從而更準(zhǔn)確地對(duì)心臟病理進(jìn)行風(fēng)險(xiǎn)分層和指導(dǎo)干預(yù)。Ferdian等人(2020)將4D流網(wǎng)絡(luò)模型應(yīng)用于4D流數(shù)據(jù)集，快速準(zhǔn)確地獲得重建4D流數(shù)據(jù)，在去噪的同時(shí)清晰顯示了流體與非流體間的邊界，能更好地計(jì)算血流參數(shù)，進(jìn)而評(píng)價(jià)患者體內(nèi)血流情況。

基于深度學(xué)習(xí)的SR技術(shù)有助于提升心臟組織分割精度，相較于LR心臟影像，基于SR重建影像可獲得更準(zhǔn)確的分割結(jié)果，對(duì)心臟疾病檢測(cè)與診斷精度的提升有重大意義。Mahapatra和Bozorgtabar (2019)基于SR重建SSFP影像，采用U-Net模型，實(shí)現(xiàn)LV分割。結(jié)果表明，相較于LR影像分割結(jié)果，Dice由83.4%提升至90.1%，低于標(biāo)準(zhǔn)HR影像(長(zhǎng)時(shí)間掃描獲得)分割的Dice系數(shù)1.2%。Oktay等人(2016)基于SR重建后的短軸CMR影像，采用多圖譜方法(Bai等，2013)，實(shí)現(xiàn)MYO分割。結(jié)果表明，由HR影像與SR重建影像獲得MYO分割結(jié)果的邊界豪斯多夫距離僅為4.73±1.03 mm，相較于LR/HR影像的5.50±1.08 mm更加準(zhǔn)確。綜上，基于深度學(xué)習(xí)的SR技術(shù)有助于提升心臟組織分割精度。

5 討 論

除按影像維度組織CMR SR重建方法以外，從其他角度組織也是可行的。例如，根據(jù)方法所基于的不同網(wǎng)絡(luò)模型，比較U-Net、GAN、LSTM、Res-Net等不同模型在CMR SR重建的性能差異。通過(guò)比較方法是否結(jié)合了時(shí)序信息，可探究時(shí)序信息對(duì)CMR SR重建性能的影響。對(duì)于HR影像退化處理構(gòu)造LR影像的方法，可按退化方法不同，分為基于插值函數(shù)退化、基于傅里葉域退化以及手動(dòng)篩除切片退化的方法等。

有必要說(shuō)明的是，仍有大量基于深度學(xué)習(xí)模型的非心臟影像重建的代表性方法，對(duì)心臟影像的SR重建有借鑒意義。例如Peng等人(2020)提出的一種空間感知的插值網(wǎng)絡(luò)(spatially aware interpolation network, SAINT)用于提升肝臟、結(jié)腸等部位影像的層間分辨率，取得了優(yōu)秀的重建效果。對(duì)于同樣層間切片數(shù)少的LR心臟影像而言，將SAINT用于影像SR重建是有意義的。Sui等人(2020)提出了一種學(xué)習(xí)梯度先驗(yàn)信息用于指導(dǎo)腦部影像的各向同性SR重建方法，在SR重建各向同性的HR心臟影像時(shí)同樣可引入梯度先驗(yàn)信息以提高重建質(zhì)量。Chen等人(2020)提出了結(jié)合空間與小波域的雙流SR網(wǎng)絡(luò)(spatial wavelet super-resolution network, SWD-Net)用于提升淋巴結(jié)組織影像的分辨率，可將SWD-Net用于心臟影像SR重建來(lái)滿足醫(yī)療診斷中所需的高層內(nèi)分辨率。柏正堯和陶勁宇(2022)提出了基于偽3D可分離卷積的腦部MR影像的SR重建方法。方法通過(guò)偽3D卷積代替?zhèn)鹘y(tǒng)3D卷積，在保證SR重建質(zhì)量的同時(shí)降低模型參數(shù)量與計(jì)算復(fù)雜度，并緩解了3維SR重建方法對(duì)于數(shù)據(jù)量的需求。Zhou和Zhou(2020)提出了雙域循環(huán)網(wǎng)絡(luò)(dual domain recurrent network, DuDoRNet)，在T1先驗(yàn)基礎(chǔ)上，結(jié)合圖像域和k空間域?qū)崿F(xiàn)MR快速重建。該方法同樣可用于心臟影像SR重建，在影像空間域重建以外，確保k空間域的一致性以進(jìn)一步提升SR重建質(zhì)量，同時(shí)循環(huán)學(xué)習(xí)可緩解過(guò)擬合問(wèn)題。

另外有必要指出的是，值得心臟影像SR重建借鑒的方法不僅限于醫(yī)學(xué)影像SR重建方法，計(jì)算機(jī)視覺(jué)(computer vision, CV)領(lǐng)域前沿SR技術(shù)對(duì)于CMR SR重建同樣有借鑒意義，例如，深度CNN在視頻超分辨率(vedio SR, VSR)重建任務(wù)中表現(xiàn)出良好的效率與效果，Tian等人(2020)提出的時(shí)域可變的配準(zhǔn)網(wǎng)絡(luò)(temporally-deformable alignment network, TDAN)，以及Xiang等人(2020)提出基于LSTM與可變特征插值網(wǎng)絡(luò)的單階段VSR重建模型等。心臟的跳動(dòng)特性使得心臟影像的VSR重建在臨床診斷中同樣至關(guān)重要，因此可與上述模型結(jié)合并應(yīng)用于心臟影像SR重建。此外，可將心臟的周期性跳動(dòng)作為先驗(yàn)知識(shí)(Lin等，2020)，進(jìn)一步改善重建效果。真實(shí)場(chǎng)景SR重建是計(jì)算機(jī)視覺(jué)(CV) SR中活躍的研究方向之一，其對(duì)于訓(xùn)練數(shù)據(jù)不足、未知退化場(chǎng)景有著優(yōu)秀的重建效果，例如Ji等人(2020)提出了基于退化核估計(jì)與噪聲注入的精確退化框架RealSR，Bell-Kligler等人(2019)提出了基于KernelGAN獲得真實(shí)的退化圖像的無(wú)監(jiān)督學(xué)習(xí)方法。在心臟影像的SR重建任務(wù)中，HR影像成像時(shí)間長(zhǎng)、成本高，導(dǎo)致成對(duì)的訓(xùn)練數(shù)據(jù)難獲取，且LR影像大多通過(guò)插值、抽層等退化手段獲得，對(duì)真實(shí)退化場(chǎng)景以及噪聲考慮不足。故可引入真實(shí)場(chǎng)景SR思想，但由于醫(yī)學(xué)影像與自然圖像的成像場(chǎng)景不同、醫(yī)學(xué)影像沒(méi)有顏色特征等原因，二者并未很好結(jié)合。近年來(lái)注意力機(jī)制廣泛應(yīng)用于各類CV任務(wù)中，成為先進(jìn)網(wǎng)絡(luò)模型中不可或缺的部分。Cai等人(2020)通過(guò)引入通道注意力機(jī)制(Hu等，2018)，提出基于殘差通道注意力的GAN。通道注意力機(jī)制考慮特征通道間的相互依賴關(guān)系以產(chǎn)生更好的SR效果。周波等人(2021)在通道注意力機(jī)制(Hu等，2018)的基礎(chǔ)上結(jié)合考慮空間層面信息，提出了區(qū)域級(jí)通道注意力下的圖像超分辨率方法，能自適應(yīng)地關(guān)注不同通道和不同空間區(qū)域上的信息，獲得了更好的SR重建效果。Mei等人(2020)提出將非局部注意力機(jī)制(Wang等，2018)用于挖掘圖像跨尺度特征相關(guān)性,獲取內(nèi)部先驗(yàn)知識(shí)，提升模型性能。對(duì)于心臟影像SR重建方法而言，可在網(wǎng)絡(luò)模型中引入注意力模塊,提升重建質(zhì)量。

6 結(jié) 語(yǔ)

心臟影像SR重建有效地解決了成像質(zhì)量與掃描時(shí)間的矛盾。相較于自然圖像SR重建，心臟影像SR有其鮮明的特點(diǎn):1)評(píng)價(jià)指標(biāo)更多樣化、更目的化和更應(yīng)用化；2)重建質(zhì)量關(guān)注重點(diǎn)更局部化；3)訓(xùn)練數(shù)據(jù)獲取更困難，數(shù)據(jù)量更少。

本文搜索并挑選了基于深度學(xué)習(xí)模型實(shí)現(xiàn)心臟影像SR重建的13篇學(xué)術(shù)文獻(xiàn)，對(duì)心臟影像數(shù)據(jù)來(lái)源與規(guī)模、常用的評(píng)價(jià)指標(biāo)進(jìn)行了總結(jié)。對(duì)于文獻(xiàn)中提出的網(wǎng)絡(luò)模型，依據(jù)其操作影像數(shù)據(jù)的維度劃分為3類，依次介紹模型的特色，給出模型結(jié)構(gòu)圖、模型數(shù)據(jù)集的構(gòu)成，以及取得的性能評(píng)價(jià)結(jié)論。最后討論了按其他維度組織SR重建方法的可行性與意義，以及對(duì)于心臟影像SR重建有借鑒意義的醫(yī)學(xué)影像SR重建方法與CV SR前沿技術(shù)。

基于深度學(xué)習(xí)的心臟SR重建技術(shù)取得了較大進(jìn)展，但在運(yùn)動(dòng)偽影抑制、模型簡(jiǎn)化程度與時(shí)間性能方面仍有進(jìn)步空間，除此之外，現(xiàn)有模型基本完全依靠網(wǎng)絡(luò)強(qiáng)大的表達(dá)能力，鮮有臨床先驗(yàn)知識(shí)的引入，最后，模型間性能對(duì)比相對(duì)較少，且領(lǐng)域內(nèi)缺少代表性的可用于評(píng)價(jià)不同心臟SR重建模型性能的數(shù)據(jù)集。綜上，基于深度學(xué)習(xí)的SR技術(shù)在心臟影像SR重建領(lǐng)域仍有極大的發(fā)展空間。