杜年茂,宋 威
江南大學人工智能與計算機學院,江蘇無錫214122
核磁共振成像(magnetic resonance imaging,MRI)是一種重要的醫(yī)學成像手段。MRI具有無輻射、對比度高、多模態(tài)的特點,被廣泛應用于腦部疾病檢查。然而MRI成像時間較長,通常需要30 min[1]。長時間的數(shù)據(jù)采集會導致患者身體不舒服(肢體運動或幽閉恐懼癥等),進而引發(fā)運動偽影。此外成像時間過長也是MRI診斷價格昂貴的原因之一。因此縮短MRI成像時間有很大的臨床診斷意義與經(jīng)濟意義。
MRI成像時間長的主要原因在于原始數(shù)據(jù)只能依次于k-空間(圖像的傅里葉空間)中采集,然而k-空間的遍歷速度受基礎MR物理學的限制(如T1、T2的TR值分別為800 ms與2 000 ms)[2-3]。除了物理硬件上的改善外,一個直接有效的加速MRI成像的措施為k-空間欠采樣。在理論上,k-空間欠采樣能夠提供相應比例的加速度。然而,k-空間欠采樣違反了Nyquist-Shannon采樣定律,并且會在重建圖像中生成嚴重的混疊偽影,嚴重程度與欠采樣倍數(shù)正相關。欠采樣的MRI重建的主要挑戰(zhàn)在于利用MRI數(shù)據(jù)的先驗知識來補償丟失的數(shù)據(jù)。
傳統(tǒng)的欠采樣MRI重建算法主要是基于壓縮感知(compressed sensing,CS)理論[4],即CS-MRI[5]?;贑S理論MRI圖像可以低于Nyquist Shannon采樣頻率進行采樣,前提如下:(1)數(shù)據(jù)是可壓縮的,即在某個變換域具有稀疏表示;(2)數(shù)據(jù)采樣是非相干的。在這兩個前提下可以通過非線性優(yōu)化或者迭代算法進行重建[6-7]。早期的CS-MRI主要利用MRI在特定域的稀疏性,如全變分(total variation,TV)[5,8]與小波變換域等[9-10]。這些方法相對簡單快速,但是會在重建圖像中引入階梯偽影[3,11]。此類方法的自然拓展是通過自適應的建模以實現(xiàn)更加靈活的稀疏域表示。其中比較有代表性的算法是字典學習方法[12-13]。字典學習方法依靠構建局部塊字典來提高重建精度。由于字典是從數(shù)據(jù)中學習的,因此字典學習方法能夠重建出更高質(zhì)量的圖像。但是字典學習方法也有重建時間長以及正則化方程和超參數(shù)選擇困難的問題[2,14]。
與傳統(tǒng)方法相對的是,近年來深度學習方法尤其是卷積神經(jīng)網(wǎng)絡已經(jīng)被成功應用于欠采樣的核磁共振圖像重建。不同于傳統(tǒng)的手工提取特征的方式,深度網(wǎng)絡通過訓練可以學習到更抽象的數(shù)據(jù)表示?,F(xiàn)有的研究已經(jīng)證明基于深度學習方法在重建精度以及速度上超越傳統(tǒng)的基于CS的方法。如Schlemper等[15]提出了深度級聯(lián)神經(jīng)網(wǎng)絡,將傳統(tǒng)的迭代優(yōu)化問題展開為深層級聯(lián)網(wǎng)絡,并使用數(shù)據(jù)一致性(data consistency,DC)模塊來保障數(shù)據(jù)的保真度,該方法在重建精度和速度上均超過經(jīng)典的字典學習方法。Yang等[2]提出了一種深度去混疊生成性對抗網(wǎng)絡(deep de-aliasing generative adversarial networks,DAGAN),該網(wǎng)絡使用殘差U-net作為生成器,并結合了圖像域、頻域、感知和對抗信息作為損失函數(shù)。Yang等[2]與傳統(tǒng)的算法進行了豐富的對比實驗,其方法在重建精度和速度上也超過傳統(tǒng)方法。最近Wang等[16]提出了復數(shù)卷積神經(jīng)網(wǎng)絡,該網(wǎng)絡使用了復數(shù)卷積核來處理復數(shù)數(shù)據(jù)。除了圖像域的卷積,Eo等[3]與Souza等[17]研究了混合域卷積神經(jīng)網(wǎng)絡,即在圖像域與k-空間混合卷積。
為了達到更大的加速因子,可以考慮如下兩種策略:一種是利用MR數(shù)據(jù)自身的冗余性,如MRI切片內(nèi)部的冗余。二是當成像場景為3D模式時,可以利用相鄰切片間的冗余關系。人體腦部MRI圖像通常是序列的,相鄰切片間存在著數(shù)據(jù)冗余。上述基于深度學習的方法對比于傳統(tǒng)方法都取得了顯著效果,但是這些方法都只針對單幅MRI圖像進行重建,沒有利用相鄰切片間的數(shù)據(jù)冗余。針對此問題,本文提出了一個深度迭代卷積神經(jīng)網(wǎng)絡(deep iterative convolutional neural network,DICNN)。該網(wǎng)絡主要包含兩部分:第一部分是雙向卷積(bi-directional convolution,BDC)模塊,用于處理切片間的數(shù)據(jù)冗余關系;第二部分是精細化網(wǎng)絡(refine net,RNET),用于處理單個切片內(nèi)部的冗余關系。本文依次迭代使用BDC與RNET對欠采樣的MRI進行端到端的訓練,以達到更大的加速因子以及更好的重建質(zhì)量。
循環(huán)神經(jīng)網(wǎng)絡[18](recurrent neural network,RNN)是一種以序列數(shù)據(jù)作為輸入的神經(jīng)網(wǎng)絡,它在序列演化的方向上是遞歸的。RNN具有記憶能力,因此在學習序列的非線性特征方面具有優(yōu)勢。對于圖像序列,RNN也有很好的序列建模能力,比如RNN已經(jīng)被成功應用于3D醫(yī)學圖像分割領域[19-21]。通過在RNN遞歸過程中使用卷積操作融合相鄰切片,使來自先前切片的信息可以有效地流入后續(xù)切片中。Schlemper等[14]使用雙向卷積網(wǎng)絡用于動態(tài)MRI重建,并取得了成功。由于人體腦部MRI圖像序列相鄰切片間也存在著關聯(lián),本文基于RNN的特性構造了BDC模塊來處理切片間的數(shù)據(jù)冗余。
DC模塊的作用是保持數(shù)據(jù)在k-空間的保真度。其原理是,MR信號采集自k-空間,欠采樣的MRI只收集了部分k-空間數(shù)據(jù),那么重建算法在恢復圖像時應該被限制修改這部分已知的數(shù)據(jù)。原始k-空間數(shù)據(jù)經(jīng)過逆傅里葉變換得到可視化的MRI圖像,對重建后的圖像進行傅里葉變換可以得到其在k-空間的表示。對于基于圖像域的重建算法而言,對重建圖像經(jīng)過傅里葉變換,再用原始的k-空間信號替換掉重建的k-空間信號便可以達到數(shù)據(jù)一致性的效果。DC模塊的定義如下:
注意力機制在很多計算機視覺的任務中被證明是有效的[22-24]。如在可變形卷積[25]的研究中,通過學習熱力圖來為特征賦予權重。Zhang等[26]通過添加長跳躍連接(long skip connection,LSC)來使網(wǎng)絡專注于高頻信息的學習。在欠采樣的MRI重建中,通常需要保持一定比例的低頻數(shù)據(jù)來維持圖像的基礎結構,大量包含組織細節(jié)的高頻信息丟失。受到文獻[26]的啟發(fā),本文在BDC與RNET中使用LSC。
核磁共振成像,是利用核磁共振(nuclear magnetic resonance)原理,通過外加梯度磁場以一定的頻率(拉莫爾振動頻率)向物體中注入能量,然后測量能量在物體內(nèi)部不同結構環(huán)境中不同的衰減時間,即可獲取構成這一物體的原子核的位置和種類,據(jù)此可以繪制成物體內(nèi)部的結構圖像。由于磁場對人體是無傷害的,因此核磁共振成像是非侵入的[27]。
核磁共振成像空間為k-空間,填充k-空間的數(shù)據(jù)直接從MR信號中獲取。因為使用頻率、相位與梯度磁場來對空間進行定位,所以MR信號已經(jīng)具有適合于填充k-空間矩陣的類傅里葉格式。對獲取的k-空間數(shù)據(jù)進行逆傅里葉變換就能得到MR圖像。圖1展示了一幅核磁共振圖像在k-空間與圖像域之間的相互轉(zhuǎn)換關系。
Fig.1 Visualization of k-space and image domain of MR images圖1 核磁共振圖像的k-空間與圖像域的可視化
從圖1中可以看出,k-空間數(shù)據(jù)通常是排列在矩形格子中,與空間域圖像的大小相同。但是kx和ky軸表示的是二維傅里葉空間中的頻率,而不是圖像域的x和y軸上的像素點。k-空間數(shù)據(jù)與圖像域數(shù)據(jù)并不是一一對應的,k-空間的每一個數(shù)據(jù)都包含最終MR圖像中所有像素點的空間頻率信息與相位信息。反過來圖像域的每個像素點都能映射到k-空間數(shù)據(jù)中的所有數(shù)據(jù)。圖1中的箭頭很好地展示了這一原理。
MR圖像數(shù)據(jù)采集的過程可以用下列公式描述:其中,y表示k-空間的觀測矩陣,x表示圖像域的數(shù)據(jù)。
設x∈?D為需要重建的復數(shù)值的腦部MR圖像序列。D=DxDyT,其中Dx與Dy分別為MR圖像的寬與高,T表示序列長度。設y∈?M表示欠采樣的k-空間觀測矩陣。重建問題就是從部分采樣數(shù)據(jù)y中重建出x:
其中,ε是噪聲項,F(xiàn)u是欠采樣的傅里葉編碼矩陣。由于在欠采樣的模式下,M?D,這使得式(3)的逆問題成為病態(tài)問題。通常情況下,該類問題能以非限制優(yōu)化問題加以解決:
對于傳統(tǒng)的基于CS的方法,R通常為x在特定變換域的l0或l1范式,λ為噪聲系數(shù)?;谏疃葘W習的研究將卷積神經(jīng)網(wǎng)絡作為額外的約束項整合到基于CS的重建方法中:
其中,fcnn表示卷積神經(jīng)網(wǎng)絡,θ是網(wǎng)絡參數(shù)。fcnn以零填充的重建圖像作為輸入,然后直接產(chǎn)生重建圖像作為輸出。通過這種方式,施加在x上的正則化項可以近似地由卷積神經(jīng)網(wǎng)絡來表示。由于低于Nyquist采樣頻率,xu中的混疊偽影十分嚴重,因此基于卷積神經(jīng)網(wǎng)絡的重建方法可以視為圖像域的去混疊問題。
本文分別使用兩個獨立的模塊來分別利用腦部MRI序列兩方面的冗余。其中BDC模塊用于切片間的冗余關系,RNET用于切片內(nèi)的冗余關系。本文提出的網(wǎng)絡整體結構圖如圖2所示。DICNN以迭代的方式對腦部MRI圖像序列進行重建。初始時,DICNN以零填充重建圖像x0與其在k-空間的觀測矩陣y作為輸入,其中x0=xu。經(jīng)過N次迭代后輸出重建結果xN:
Fig.2 Overall network structure of DICNN圖2 DICNN網(wǎng)絡整體結構圖
其中,θj,j∈[1,2,…,N]是每個迭代階段卷積神經(jīng)網(wǎng)絡fcnn的參數(shù)。理論上可以共享權重。
在每次迭代中,先使用BDC提取相鄰切片間關系:
BDC是一個雙向卷積神經(jīng)網(wǎng)絡,RNN的結構使得BDC能夠有效地對腦部MRI序列進行建模。BDC的網(wǎng)絡結構如圖3所示。因為BDC模塊可以視作一個重建子網(wǎng)絡,可以輸出重建結果,為了簡單起見,設表示第i+1次迭代中BDC網(wǎng)絡的輸入,表示相對應的輸出項。圖3中藍色節(jié)點表示MRI切片,綠色節(jié)點表示隱藏層特征,箭頭表示相應的節(jié)點的數(shù)據(jù)流動方向。
Fig.3 Network structure of BDC圖3 BDC網(wǎng)絡結構圖
BDC模塊在一個方向遞歸過程可以用如下過程公式表示:
相似的,BDC模塊在另一個方向上的遞歸過程如下:
在式(9)與式(10)中,h是隱藏層特征,其上的箭頭表示循環(huán)卷積神經(jīng)網(wǎng)絡的遞歸方向,[:]表示拼接操作,f表示2D卷積操作。最后對兩個方向的重建結果融合得到第i+1次迭代中BDC模塊的重建結果:
RNET是由d個堆疊的2D卷積操作組成,如圖1中RNET放大部分所示。其中表示第i次迭代RNET中的第k個2D卷積核,k∈[1,2,…,d]。堆疊的卷積操作能夠有效地擴充RNET在二維平面內(nèi)的感受野,從而去除局部地區(qū)的混疊偽影。
本文實驗使用的是Calgary-Campinas數(shù)據(jù)(https://sites.google.com/view/calgary-campinas-dataset/home)。該數(shù)據(jù)集公開了35個T1加權單線圈腦部MRI樣本。數(shù)據(jù)成像方向為矢狀方向,單個樣本的序列長度170,每張圖片的大小為256×256,切片厚度為1 mm。以下實驗若無特別說明,均采用的是三折交叉驗證,其中兩折訓練集大小為23,測試集為12,最后一折訓練集大小為24,測試集為11。
為了驗證本文算法的性能,主要使用了在快速核磁共振成像研究中常用的四種欠采樣模式。它們分別是:Cartesian欠采樣、Spiral欠采樣、Radial欠采樣與Poisson欠采樣。這四種欠采樣模式如圖4所示。
其中Cartesian采樣軌跡由于其硬件設計簡單,容易實施,被廣泛應用于現(xiàn)代商用MRI儀器。因此本文研究主要以此欠采樣模式為主。由于MRI成像時在頻率方向編碼速度遠快于相位方向的編碼速度,因此在進行欠采樣時通常會省略相位方向的數(shù)據(jù)。如圖4(b)、(c)所示,本文使用了兩種欠采樣因子,分別為4倍和6倍。在欠采樣時,需要保留一定比例的低頻數(shù)據(jù)(autocalibration lines,ACL)用于維持圖像的基礎結構。本文在兩種加速模式下分別保留了8%和6%的ACL。
對于Cartesian欠采樣模式,本文使用了文獻[15]中變密度隨機欠采樣的方法,除了ACL保持固定,對剩余的數(shù)據(jù)進行隨機采樣。該采樣方法的實現(xiàn)在文獻[15]公開的源碼連接中找到。采樣mask為在線生成,并且對于每張切片都隨機生成采樣mask。這樣不僅會增強MRI數(shù)據(jù)的非相干性,而且能在訓練時起到數(shù)據(jù)增強的效果。為了應對隨機采樣造成每次測試結果的不同,在測試時根據(jù)文件名稱固定了隨機數(shù)種子,以確保每種算法在測試時使用的是相同的欠采樣mask。
除了Cartesian欠采樣模式外,本文還探究不同欠采樣模式對于重建質(zhì)量的影響。主要設計了6倍欠采樣模式下的另外三種欠采樣mask,它們分別是Radial欠采樣[28]、Spiral欠采樣[29]與Poisson欠采樣[30]。三種欠采樣mask與其對應的零填充重建圖如圖4(d)、(e)、(f)所示。從圖3中可以看出,不同的采樣軌跡其重建偽影也有不同的特點,與Cartesian欠采樣mask相比,Radial欠采樣模式下出現(xiàn)了弧狀的混疊偽影,Spiral欠采樣模式下出現(xiàn)了波紋狀的混疊偽影,Poisson欠采樣模式下的偽影呈斑駁狀。對于這三種欠采樣模式mask的生成采用的線下模式,采樣軌跡生成方程使用的是基于Python的sigpy工具包,網(wǎng)址為https://sigpy.readthedocs.io/en/latest/mri.html。
Fig.4 Visualization of k-space data and reconstructed image in undersampling modes圖4 欠采樣模式下k-空間與重建圖像的可視化
本文采用三種通用的圖像質(zhì)量評價指標,它們分別是歸一化均方誤差(normalized mean square error,NMSE)、峰值信噪比(peak signal to noise ratio,PSNR)與結構相似度(structural similarity,SSIM)。NMSE越小越好;PSNR單位為dB,其在數(shù)值上越大表明重建結果越好;SSIM數(shù)據(jù)值接近1說明圖像結構相似,重建結果越好。NMSE和PSNR是基于誤差敏感的圖像質(zhì)量評價,強調(diào)整體重建精度;SSIM強調(diào)圖像質(zhì)量的感知。
本文網(wǎng)絡代碼實現(xiàn)是基于Pytorch 1.1.0版本。實驗環(huán)境為Google Colab,顯卡型號為Tesla P100,顯存16 GB,CPU型號為Intel?Xeon?CPU@2.20 GHz,內(nèi)存大小為26 GB。
DICNN網(wǎng)絡參數(shù)設置如下:網(wǎng)絡總的迭代次數(shù)設置為I=5,RNET中卷積層數(shù)d=5。網(wǎng)絡中卷積核大小為3,步長為1,為了保持圖像大小,padding值設置為1。除輸入輸出層外,卷積層通道數(shù)為64。由于采集到的MRI信號值為復數(shù),因此本文將輸入層與輸出層通道數(shù)為2,分別存儲復數(shù)的實部于虛部。激活函數(shù)采用Leaky ReLU,其中α值設置為0.1。網(wǎng)絡的訓練采用Adam優(yōu)化器,初始學習率為e=10-3,訓練輪次為200輪,并且在訓練170輪次后e衰減至10-4。由于使用的數(shù)據(jù)集單個MRI序列為170,直接放入網(wǎng)絡會造成顯存負擔,故本文在訓練時隨機從序列中截取長度為s=16的序列進行訓練。由于子序列是隨機截取的,因此在訓練過程中也起到了數(shù)據(jù)增強的效果。本文在測試時使用了完整的序列長度,4.6節(jié)進一步探索了測試時序列長度對于模型精度的影響。
為了驗證BDC與RNET兩個模塊的性能,本文對這兩個模塊進行了消融實驗。主要進行了四個實驗:(1)BDC,即僅使用BDC模塊;(2)RNET,同上;(3)RNET-BDC,在每次迭代中先使用RNET,后使用BDC,即先處理MRI切片內(nèi)部的冗余關系,后處理MRI切片間存在的冗余關系;(4)DICNN,即本文所提出的最終的模型。其中實驗(1)和(2)探索單個模塊的性能。實驗(3)和(4)探索的是模塊順序?qū)τ谥亟ńY果的影響。
本部分實驗采用三折交叉驗證,欠采樣因子為6。為了簡化實驗過程,本節(jié)所有模型的訓練輪次為100,學習率衰減的訓練輪次數(shù)為第80輪,實驗結果如表1所示。
Table 1 Comparison of reconstruction accuracy of DICNN structure variations表1 DICNN結構變體重建精度的比較
從表1的實驗結果可以看出,BDC與RNET的重建精度相近。RNET-BDC與DICNN的重建精度與上述兩者差距較為明顯。這進一步說明利用MRI序列中切片間的數(shù)據(jù)冗余有助于提升重建精度。RNETBDC與DICNN的對比結果表明,先使用BDC模塊,后使用RNET模塊是最優(yōu)的網(wǎng)絡結構。
為了驗證測試時的序列長度對重建結果的影響,本文對6倍Cartesian欠采樣模式訓練出來的模型進行了如下實驗。即在測試時使用不同的序列長度,測試子序列長度從16開始,以步長為16遞增。三折交叉驗證的實驗結果如圖5所示。
Fig.5 Reconstruction results of using different sequence lengths during testing圖5 測試時使用不同序列長度的重建結果
可以看到隨著測試時序列長度的增加,重建精度總體呈現(xiàn)上升趨勢。在本文中,當測試時序列長度設置為96時重建結果最優(yōu)。但是,同樣需要注意的是,切片長度為96的重建結果比切片長度為16的重建結果的PSNR值提升是在千分位級別。這說明本文方法在測試時的序列長度上有很強的魯棒性。這一結果同時也凸顯出本文提出網(wǎng)絡結構的有效性,即在循環(huán)迭代的過程中能夠有效地處理相鄰切片間的數(shù)據(jù)冗余,不會因序列長度變化而顯現(xiàn)性能上的大幅度變動。
為了驗證所提出算法的有效性,實驗使用深度級聯(lián)卷積神經(jīng)網(wǎng)絡(deep cascade of convolutional neural networks,DC-CNN)[15]、混合卷積神經(jīng)網(wǎng)絡(hybrid,dual domain,cascade of convolutional neural networks,H-CNN)算法[17]和卷積循環(huán)神經(jīng)網(wǎng)絡(convolutional recurrent neural networks,CRNN)算法[14]進行比較。其中DC-CNN是基于深度學習的迭代重建算法,HCNN是基于k-空間與圖像域的混合卷積神經(jīng)網(wǎng)絡。這兩個算法基于單幅MRI切片的重建算法,沒有使用相鄰切片間的數(shù)據(jù)冗余關系。CRNN與本文的DICNN是基于MRI序列的重建算法。表2顯示了不同算法在不同欠采樣模式下的三折交叉驗證結果。
從表2中數(shù)據(jù)可以看出,DICNN在不同采樣模式下的所有重建指標均優(yōu)于其他對比方法。此外還可以從表2中分析出,腦部MRI序列中相鄰切片間的數(shù)據(jù)冗余有助于提升重建質(zhì)量。例如,在4倍欠采樣Cartesian模式下DICNN的PSNR值比DC-CNN高1.85 dB,然而在6倍Cartesian欠采樣模式下這一差距變成了2.97 dB。同樣的,CRNN在4倍模式下的重建精度與DC-CNN相當,但是在6倍模式下重建精度明顯高于DC-CNN,為1.53 dB。同樣都利用了切片間的數(shù)據(jù)冗余,DICCN在兩種欠采樣模式下的PSNR值分別比CRNN高出1.42 dB與1.44 dB。這表明DICNN在提取MRI序列中數(shù)據(jù)冗余的能力更強。
此外表2中還包含了各方法在另外三種欠采樣模式的重建結果。相較于6倍Cartesian欠采樣模式,各方法在6倍Radial、Spiral與Poisson欠采樣模式下的重建精度有明顯提高。
圖6顯示了6倍Cartesian欠采樣模式下,四種重建算法在不同切片上的重建結果。對于每個切片編號,其PSNR值為三折交叉實驗結果的平均。從圖6中可以看出,MRI序列兩端的重建精度很低,這是因為本文所選用的腦部MRI數(shù)據(jù)集的成像方向為矢狀方向,序列兩端的圖像包含人體組織很少,因此信噪比較高。此外每個算法的PSNR曲線均呈盆地狀,中間切片的精度較低。DICNN相較于其他重建算法PSNR曲線更高,且更加平坦。
Table 2 Reconstruction accuracy of different methods under different undersampling methods表2 不同欠采樣下不同方法的重建精度
Fig.6 PSNR values of different reconstruction algorithms on different slices圖6 不同重建算法在不同切片上PSNR值
Fig.7 Comparison of reconstruction results of different algorithms under different undersampling modes圖7 不同算法在不同欠采樣模式下的重建結果比較
為了從主觀上體現(xiàn)重建算法的區(qū)別,圖7比較了四種算法在6倍Cartesian、Radial、Spiral與Poisson欠采樣模式下的重建結果。從重建圖像上可以看出,6倍Cartesian欠采樣模式下,H-CNN與DC-CNN丟失了大量的腦部組織細節(jié),如小腦區(qū)域。CRNN在此欠采樣模式下能夠恢復出部分細節(jié),但是不夠理想。與CRNN相比,DICNN能夠提供更多更清晰的邊緣細節(jié)。從圖7中的絕對值誤差圖上可以看出,DCCNN與H-CNN的重建出現(xiàn)較高的誤差,相比較下CRNN與DICNN的誤差圖不明顯。此外,從圖7中6倍Cartesian欠采樣模式下誤差圖下的刻度條上也能看出DICNN的誤差峰值比其他算法小。圖8顯示了6倍Cartesian欠采樣模式下各方法重建圖像在小腦區(qū)域的放大圖??梢钥吹?,H-CNN與DC-CNN重建的圖像在細節(jié)紋理上十分模糊。雖然在6倍欠采樣因子下CRNN的重建指標高于H-CNN與DC-CNN,但是重建圖像依然模糊,細節(jié)丟失嚴重。通過對比可以看出,DICNN的重建圖像更接近真實圖像。
Fig.8 Comparison of details under 6X Cartesian undersampling mode圖8 6倍Cartesian欠采樣模式下的重建細節(jié)比較
圖7中還展示了四種算法在6倍Radial、Spiral與Poisson欠采樣模式下重建結果與真實圖像的誤差圖。從誤差圖的彩色條上的刻度線可以看出,各種方法的重建可視化結果與表2中數(shù)據(jù)一致。在6倍Spiral欠采樣模式下,各方法的重建質(zhì)量要低于6倍的Radial與Poisson欠采樣模式,這一點也可以從誤差圖中的刻度線上看出。
為了進一步探索本文所提方法在四種欠采樣模式下的重建效果,圖9顯示了6倍欠采樣模式下,DICNN在四種欠采樣模式下的重建結果。圖9中第二行分別使用綠、黃、紅三色箭頭指出了四種欠采樣模式重建圖像中的小腦區(qū)域的三處邊緣細節(jié)。可以看到雖然DICNN在Poisson欠采樣模式下獲得的重建精度最高,但是在重建圖像上的部分細節(jié)上不如其他降采樣模式清晰,如圖9中的黃色箭頭所指。從視覺效果來看,Radial降采樣模式重建出來的圖像細節(jié)更加豐富,更接近真實圖像。在表2中,DICNN在6倍Cartesian與6倍Spiral欠采樣模式下的重建精度相當,但是在Cartesian欠采樣模式下的重建細節(jié)要好一些。
表3顯示了四種算法在模型容量和測試時間方面的比較??梢钥吹紻ICNN的模型容量小于DCCNN,但是由于利用了切片間的數(shù)據(jù)冗余,其重建精度更高。與CRNN相比,DICNN模型容量較大,但是在重建速度上要快于CRNN。此外CRNN在迭代重建時融合了前一階段的迭代結果,需要保存大量的中間變量,因此在實際運行時CRNN所占的顯存遠大于DICNN。
Fig.9 Comparison of DICNN reconstruction results under 6X different undersampling modes圖9 DICNN在6倍不同欠采樣模式下的重建結果比較
Table 3 Comparison of model capacity and reconstruction speed of four algorithms表3 四種算法在模型容量與重建速度上的比較
本文構建了一個用于欠采樣腦部MRI重建的深度迭代卷積神經(jīng)網(wǎng)絡DICNN。為了利用腦部MRI序列中切片間與切片內(nèi)的數(shù)據(jù)冗余,相應的本文構造了兩個子模塊BDC與RNET。其中BDC包含了雙向卷積結構,可以有效地處理MRI序列數(shù)據(jù),在訓練中學習相鄰切片的冗余關系。RNET包含堆疊的2D卷積層,可以進一步處理單幅切片中的數(shù)據(jù)冗余關系。實驗仿真證明,DICNN能夠有效利用腦部MRI切片間與切片內(nèi)的冗余關系作為先驗知識,復原出的圖像能夠提供更清晰的組織結構。此外DICNN的重建速度約每秒50張,能夠滿足實時重建的要求。
本文的仿真實驗建立在單線圈的MRI成像場景,在未來的工作中可以結合并行成像來對腦部MRI序列進行重建,以達到更高的重建質(zhì)量。