劉海濤 龍黃梟 劉珊 姜瀚 周濤

摘要：醫(yī)學(xué)圖像融合是圖像處理科研領(lǐng)域的熱門課題。針對傳統(tǒng)的PET-CT圖像融合方法有效地融合了CT圖像和PET圖像的互補(bǔ)信息，但是在圖像整體細(xì)節(jié)信息保留能力仍然不足，現(xiàn)提出一種基于潛在低秩表示的雙模態(tài)醫(yī)學(xué)圖像融合方法，首先，將醫(yī)學(xué)原圖像通過潛在低秩表示方法分解為低秩部分、顯著部分以及噪聲部分。在低秩部分中，采用加權(quán)平均融合規(guī)則進(jìn)行融合，以此來保留更多的圖像整體信息，在顯著部分中，使用求和策略進(jìn)行融合，保留圖像的細(xì)節(jié)信息。然后，將這兩部分的融合圖像再進(jìn)行重構(gòu)，得到最終融合圖像。實(shí)驗(yàn)結(jié)果表明，融合圖像無論是從客觀上還是主觀上，都具有良好的醫(yī)學(xué)觀察效果。

關(guān)鍵詞：醫(yī)學(xué)圖像;圖像融合;潛在的低秩表示;加權(quán)平均策略;低秩分解

中圖分類號：TP318? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2021）35-0005-04

Bimodal Medical Image Fusion Based on Latent Low Rank Representation

LIU Hai-tao1， LONG Huan-xiao1， LIU Shan1， JIANG Han1， ZHOU Tao1，2

（1.School of Computer Science and Engineering， North Minzu University， Yinchuan 750021， China;2. Key Laboratory of the State Ethnic Affairs Commission for Intelligent Processing of Image and Graphics，North Minzu University， Yinchuan 750021， China）

Abstract： Bimodal medical image fusion is a hot topic in the field of image processing. The traditional pet CT image fusion method effectively integrates the complementary information of CT image and PET image， but the overall detail information retention ability of the image is still insufficient. Now， a new Bimodal medical image fusion method based on the latent low rank representation is proposed. Firstly， the medical source images are decomposed into low rank part， significant part and noise part by latent low rank representation. In the low rank part， the weighted average strategy is adopted to preserve more overall information of the image. In the the significant part，the summation strategy is used to preserve detailed information of the image. Then the fusion images of these two parts are reconstructed to obtain the final fusion image. The experimental results show that the fusion image has good medical observation effect both objectively and subjectively.

Key words： medical image; image fusion; latent low-rank representation;weighted average strategy; low rank decomposition

圖像融合是從兩幅或多幅圖像的同一區(qū)域提取互補(bǔ)信息，通過融合方法融合到一幅圖像中，有效地克服單一傳感器的局限性和差異性[1]。在醫(yī)學(xué)影像技術(shù)中，由于CT成像是通過掃描橫斷面，得到斷面圖像，可以有效地消除器官和組織平面圖像投影重疊的缺點(diǎn)。CT圖像根據(jù)正常器官和病變器官的密度不同來進(jìn)行識別病灶，其器官組織圖像分辨率極高但對病灶本身的顯示效果不佳。PET圖像是利用放射性核素標(biāo)記原理，通過該物質(zhì)在生物體中的移動(dòng)聚集情況，反映生命體功能活動(dòng)。但是PET圖像在成像過程中由于受到康普頓效應(yīng)、散射等衰減因素的影響，采集得到的圖像數(shù)據(jù)和病狀體的實(shí)際情況不符，圖像質(zhì)量失真，分辨率低。所以將PET圖像和CT圖像進(jìn)行融合，充分利用多模態(tài)醫(yī)學(xué)圖像的互補(bǔ)信息，得到既能提供詳細(xì)的解剖結(jié)構(gòu)，又能提供豐富的生理信息的融合圖像，幫助醫(yī)生快速查找確定病灶位置。

在醫(yī)學(xué)圖像融合領(lǐng)域中，多尺度變換是應(yīng)用最廣泛的融合方法。例如拉普拉斯金字塔、離散小波變換（Discreate Wavelet Transformation，DWT）[2]、平移不變剪切波變換[3]等。針對DWT算法中的小波分解方法并不能較好地表示圖像中的高維信息，以及基于拉普拉斯金字塔方法融合的結(jié)果存在邊緣輪廓的失真。為更好表示這些高維信息，Ridgelet、Cuevelet、Contourlet等多尺度幾何分析工具被提出，這些方法準(zhǔn)確地保留原圖像邊緣特征，但是基于Contourlet變換融合方法由于Contourlet具有平移不變性，導(dǎo)致出現(xiàn)偽吉布斯現(xiàn)象，所以融合圖像存在褶皺現(xiàn)象。周婷[4]等人提出基于Surfacelet變換的PET和CT圖像融合方法，該方法充分利用ST（Surfacelet Transformation）的特點(diǎn)，得到的融合圖像邊緣平滑，輪廓信息清晰。ST方法雖然較好地結(jié)合CT圖像和PET圖像的優(yōu)點(diǎn)，但是對于全局信息的抓取能力以及細(xì)節(jié)信息的表示不足。針對這些問題，張生偉等人[5]提出一種基于稀疏表示的融合算法，該方法有效地保留原圖像的細(xì)節(jié)信息，但未能消除噪聲影響。Liu等人[6]提出低秩表示方法，有更好的圖像去噪效果。為了提取原圖像的全局和局部結(jié)構(gòu)信息，Liu等人[7]又提出基于改進(jìn)的LATLRR（Latent low-rank representation ，LATLRR）算法。

針對低秩表示的方法不能很好地提取原圖像中全局結(jié)構(gòu)信息和局部結(jié)構(gòu)信息，以及基于稀疏矩陣的融合算法在噪聲部分處理效果不佳的問題。LATLRR技術(shù)運(yùn)用到PET/CT融合圖像中，LATLRR對系數(shù)矩陣具有整體約束性，在約束條件下噪聲部分被去除，并且對局部部分和全局部分的信息捕獲能力都較強(qiáng)。首先將原圖像分解為低秩部分和顯著部分、噪聲部分。然后，采用加權(quán)平均策略以及求和策略來分別融合低秩部分圖像和顯著部分圖像，最后得到融合圖像。實(shí)驗(yàn)結(jié)果表明，該方法用于PET/CT圖像融合能較好地保留細(xì)節(jié)信息。

1 潛在低秩表示理論

2010年，Liu等人[6]最初提出低秩表示。為了能夠表示底層子空間以及實(shí)現(xiàn)魯棒的分割，2011年，Liu等人[7]改進(jìn)低秩表示理論，提出潛在的低秩表示理論。潛在的低秩分解操作是將輸入的原圖像分解為低秩部分與顯著部分、噪聲部分，而噪聲部分在低秩的約束條件下被去除，其表達(dá)式為公式（1）：

[X=ZX+LX+EX=ZX+LX+E]? ? ? ? ? ?（1）

公式（1）中，[X]為原圖像矩陣;[ZX]、[LX]分別為低秩部分、顯著部分;[E]為稀疏噪聲。隨后進(jìn)行最優(yōu)化求解，其表達(dá)式為公式（2）

[minZ，L，E||Z||*+||L||*+λ||E||1]? ? ? ? ? ? ? ? ?（2）

[s.t.X=ZX+LX+EminZ，L，E||Z||*+||L||*+λ||E||1]

[s.t.X=ZX+LX+E]

公式（2）中，[||Z||*]表示核范數(shù);[||E||1]為l1范數(shù);[λ]為平衡系數(shù)，且[λ>0];[E]表示所有元素值都等于[E]，且與[X]為同維矩陣;[s.t.]為噪聲的約束條件，用不精確增廣拉格朗日乘數(shù)[8]求解。

2? 基于潛在低秩表示的融合方法

2.1 融合框架

基于LatLRR的雙模態(tài)醫(yī)學(xué)圖像融合框圖如圖1所示。

2.2 低秩部分融合

為保留更多的全局結(jié)構(gòu)信息，低秩部分使用加權(quán)平均融合規(guī)則，如公式（3）：

[Flrr（i，j）=a*l1*lrr（i，j）+b*l2*lrr（i，j）]? ? ? ? ? ? ? ?（3）

其中[a]，[b]為權(quán)重，為了保證圖像的清晰度，將[a]，[b]設(shè)置為0.5，保證圖像的清晰度的同時(shí)使圖像呈現(xiàn)出來的病灶明顯，利于醫(yī)學(xué)診斷。[Flrr（i，j）]為低秩部分融合后的圖像，[（i，j）]表示各個(gè)公式系數(shù)在圖像中對應(yīng)的位置。

2.3 顯著部分融合

在實(shí)驗(yàn)過程中嘗試采用加權(quán)平均策略，實(shí)驗(yàn)結(jié)果對于顯著部分局部信息的保留能力不足。而顯著部分是低秩部分的互補(bǔ)結(jié)構(gòu)信息，為保留更多的局部結(jié)構(gòu)信息采用求和的策略，如公式（4）所示：

[Fs（i，j）=s1*l1*s（i，j）+s2*l2*s（i，j）]? ? ? ? ? ? ? ? （4）

為了在求和策略在保留最多的顯著特征，設(shè)置[s1=10]，[s2=10]為系數(shù)，[ Fsi，j]為顯著部分的融合圖像。

2.4 圖像重建

為得到既包含全局信息又包含局部信息的目標(biāo)圖像，將前面分別融合得到的低秩圖像和顯著圖像進(jìn)行重建。計(jì)算公式如公式（5）所示：

[F（i，j）=Flrr（i，j）+Fs（i，j）]? ? ? ? ? ? ? ? ? ? ? ?（5）

3 評價(jià)指標(biāo)

評價(jià)標(biāo)準(zhǔn)包括主客觀評價(jià)，客觀評價(jià)指標(biāo)為：標(biāo)準(zhǔn)差[9]（Standard Deviation，SD），反映圖像像素值與均值的離散程度，標(biāo)準(zhǔn)差越大，圖像融合質(zhì)量越好。計(jì)算公式如公式（6）所示：

[SD=1N-1i-1N（xi-x）2]? ? ? ? ? ? ? ? （6）

平均梯度（Average Gradient，AG）[10]，反映圖像灰度變化率。計(jì)算公式如公式（7）所示：

[G=1M*Ni=1Mj=1N（?f?x）2+（?f?y）22]? ? ? ? ? ? ? ? ? ?（7）

其中，[?f?x]，[?f?y]分別表示圖像水平方向和垂直方向的梯度。[M*N]為圖像像素點(diǎn)總個(gè)數(shù)。

空間頻率（Spatial Frequency，SF），空間頻率越大，圖像越清晰。計(jì)算公式如下所示：

[SF=sqrt（RF2+CF2）]? ? ? ? ? ? ? ? ? ? （8）

[RF=1MNi=1Mj=2NIi，j-Ii，j-12]? ? ? ? ? ? ? ?（9）

[CF=1MNi=2Mj=1NIi，j-Ii-1，j2]? ? ? ? ? ? （10）

其中，[I（i，j）]為圖像在[i，j]位置的像素值。

峰值信噪比（PeakSignaltoNoiseRatio， Psnr）即峰值的信號與噪聲的功率譜之比，一般來說，信噪比越大，說明混在信號里的噪聲越小，聲音回放的音質(zhì)量越高。計(jì)算公式如公式（10）所示：

[MSE=1M*Ni=0M-1j=0N-1||I（i，j）-F（i，j）||2]? ? ? ? ? （11）

[PSNR（I，F(xiàn)）=10log10（2n-1）2MSE（I，F(xiàn)）]? ? ? ? ? ? ? ? ?（12）

圖像綜合清晰度指標(biāo)G與圖像相似度mi的參數(shù)信息都能較好地反映融合圖像質(zhì)量。

4 實(shí)驗(yàn)結(jié)果

為驗(yàn)證融合方法的有效性，使用14組PET和CT影像進(jìn)行融合。實(shí)驗(yàn)由3部分組成：第1部分為實(shí)驗(yàn)結(jié)果整理;第2部分為實(shí)驗(yàn)融合策略的選擇與驗(yàn)證;第3部分為對比實(shí)驗(yàn)結(jié)果與分析。實(shí)驗(yàn)除了對于實(shí)驗(yàn)最優(yōu)參數(shù)的驗(yàn)證，還選取四種經(jīng)典的融合方法作為對比實(shí)驗(yàn)。實(shí)驗(yàn)參數(shù)：LATLRR的參數(shù)為0.8，低秩部分融合策略的加權(quán)值為0.5。

實(shí)驗(yàn)環(huán)境：處理器為Intel（R） Core（TM） i7-10510U CPU @ 1.80GHz 8.00GB，MATLAB R2020a.實(shí)驗(yàn)圖像為寧夏三甲醫(yī)院提供。

4.1 實(shí)驗(yàn)結(jié)果整理

實(shí)驗(yàn)結(jié)果的整理是以表格的方式呈現(xiàn)的，其中包含融合圖像共14組。表分為3部分，第一部分是14幅原始CT圖像，第二部分是15幅原始PET圖像，第三部分是融合圖像。實(shí)驗(yàn)結(jié)果如表1所示。

4.2 實(shí)驗(yàn)融合策略的方法選擇與驗(yàn)證

本節(jié)實(shí)驗(yàn)對低秩部分的加權(quán)平均策略的權(quán)重進(jìn)行更改，尋找最優(yōu)權(quán)重值。權(quán)重初始值均為0.5，并且通過主觀觀察和圖像清晰度G指標(biāo)作為評價(jià)標(biāo)準(zhǔn)。每次權(quán)重的增幅（減幅）均為0.05，權(quán)重之和始終為1。實(shí)驗(yàn)結(jié)果如表3所示。

由實(shí)驗(yàn)結(jié)果分析可知，CT的權(quán)重比值越大，圖像的清晰度越高，但是無法非常清晰地看到pet圖像的病灶。PET的權(quán)重比值越大，圖像病灶越清楚，但輪廓圖像清晰度會下降。所以通過主客觀評價(jià)，得出權(quán)重是CT0.5和PET0.5時(shí)，圖像清晰度保持較高水平，并且凸顯融合圖像的病灶和輪廓。

4.3 對比實(shí)驗(yàn)結(jié)果與分析

本節(jié)將LatLRR方法與基于區(qū)域能量，像素級圖像像素取大取小，小波變換融合方法進(jìn)行對比。通過視覺觀察和評價(jià)參數(shù)分析實(shí)驗(yàn)結(jié)果如表4和表5所示。

由評價(jià)參數(shù)可知，與其他對比實(shí)驗(yàn)相比，LatLRR方法的融合圖像整體輪廓更加清晰，保留更多局部信息。從表5實(shí)驗(yàn)評價(jià)參數(shù)可知，LatLRR方法融合圖像psnr較小，圖像噪聲高于其他對比實(shí)驗(yàn)。在空間頻率和圖像清晰度方面，LatLRR方法較好。所以，LatLRR方法無論是融合圖像整體輪廓信息，還是局部細(xì)節(jié)的保留，均達(dá)到較好的效果。

5 結(jié)論

論文提出基于LatLRR分解的PET/CT圖像融合，首先利用LATLRR方法將原圖像分解為含有全局結(jié)構(gòu)信息的低秩部分和含局部結(jié)構(gòu)信息的顯著部分;采用加權(quán)平均策略對低秩部分融合，采用求和策略對顯著部分融合;并在低秩部分融合過程中選擇不同的權(quán)重值進(jìn)行實(shí)驗(yàn)，尋找最優(yōu)權(quán)重值;最后對低秩部分融合圖像和顯著部分融合圖像進(jìn)行重建，得到最終融合圖像。實(shí)驗(yàn)結(jié)果表明，LATLRR方法保留PET/CT圖像整體細(xì)節(jié)信息效果較好。

參考文獻(xiàn)：

[1] Ma J Y，Ma Y，Li C.Infrared and visible image fusion methods and applications：a survey[J].Information Fusion，2019，45：153-178.

[2] Ben Hamza A，He Y，Krim H，et al.A multiscale approach to pixel-level image fusion[J].Integrated Computer-Aided Engineering，2005，12（2）：135-146.

[3] Wang L，Li B，Tian L F.EGGDD：an explicit dependency model for multi-modal medical image fusion in shift-invariant shearlet transform domain[J].Information Fusion，2014，19：29-37.

[4] 周婷，李文節(jié). 基于Surfacelet變換的PET與CT圖像融合[EB/OL]. 北京：中國科技論文在線 [2010-12-23].

[5] 張生偉，李偉，趙雪景.一種基于稀疏表示的可見光與紅外圖像融合方法[J].電光與控制，2017，24（6）：47-52.

[6] Liu G， Lin Z， Yu Y. Robust subspace segmentation by low-rank representation[C]. International Conference on International Conference on Machine Learning， 2010：663–70.

[7] Liu G C，Yan S C.Latent Low-Rank Representation for subspace segmentation and feature extraction[C]//2011 International Conference on Computer Vision.November 6-13，2011，Barcelona，Spain.IEEE，2011：1615-1622.

[8] 陳潮起，孟祥超，邵楓，等.一種基于多尺度低秩分解的紅外與可見光圖像融合方法[J].光學(xué)學(xué)報(bào)，2020，40（11）：72-80.

[9] 江澤濤，蔣琦，黃永松，等.基于潛在低秩表示與復(fù)合濾波的紅外與弱可見光增強(qiáng)圖像融合方法[J].光子學(xué)報(bào)，2020，49（4）：0410001.

[10] Liu Y，Chen X，Cheng J，et al.Infrared and visible image fusion with convolutional neural networks[J].International Journal of Wavelets，Multiresolution and Information Processing，2018，16（3）：1850018.

【通聯(lián)編輯：唐一東】