李鑫翔 張龍波 王雷 周曉宇

摘要：為了解決圖像融合過程中圖像信息重影失真的缺點，提出了基于卷積稀疏表示（convolutional sparse representation.CSR）和形態(tài)成分分析（morphological component analysis.MCA）的圖像融合方法。利用卷積稀疏表示的優(yōu)越性對形態(tài)成分分析模型進行改進，形成CSR—MCA的新型模型，可以同時實現(xiàn)源圖像的多組件和全局稀疏表示。使用預(yù)學(xué)習(xí)的CSR-MCA模型得到源圖像的平滑和細節(jié)成分的稀疏表示，然后使用不同的融合規(guī)則對每個圖像分量進行融合，利用相應(yīng)的字典對融合后的分量進行疊加重構(gòu)獲得最終的融合圖像。實驗結(jié)果表明，相比傳統(tǒng)圖像融合方法，本文提出的方法在主觀上能很好地保留圖像信息，并減少重影和失真的產(chǎn)生;在客觀評價上，其在標準差、互信息、熵、平均梯度、空間頻率等指標上表現(xiàn)更為優(yōu)越。

關(guān)鍵詞：圖像融合;稀疏表示;卷積稀疏表示;形態(tài)成分分析

0引言

在數(shù)字成像中，由于受相機自身物理特性的限制，單一傳感器無法使圖像內(nèi)容全部清晰成像，只有處于景深空間范圍內(nèi)的物體才會出現(xiàn)清晰的成像，其它的將會是模糊的，這樣獲得的圖像信息不足以用來對目標或場景進行充分的分析。圖像融合是指利用多源傳感器獲得同一物體的不同聚焦的場景信息，將兩幅或多幅圖像融合為一幅更準確的全聚焦融合圖像。近年來，圖像融合已經(jīng)成為圖像處理領(lǐng)域的一個活躍話題，這主要是由于數(shù)字攝影、視頻監(jiān)控、醫(yī)學(xué)成像、遙感等各種基于圖像的應(yīng)用需求不斷增長。

隨著圖像融合技術(shù)的發(fā)展，人們提出了多種圖像融合方法。近年來，稀疏表示（SR）在圖像處理領(lǐng)域有著廣泛的應(yīng)用，包括圖像去噪、圖像融合、人臉識別等。在文獻[2]中，Yang等人首次將SR引入圖像融合，提出了一種基于SR的圖像融合基本框架，其在多聚焦圖像融合方面明顯優(yōu)于傳統(tǒng)的基于多尺度的融合方法。由于采用滑動窗口技術(shù)，將源圖像分割成一組重疊的圖像塊，產(chǎn)生了大量多余的計算，且存在塊效應(yīng)。在文獻[3]中，Yu等人提出了一種基于聯(lián)合稀疏表示（JSR）的圖像融合算法。在該方法中，使用了特殊的加權(quán)平均融合規(guī)則，不可避免地會改變源圖像原有的局部結(jié)構(gòu)，具有丟失源圖像紋理邊緣信息的缺點。在文獻[4]中，Zeiler等人將CSR模型引入到特征學(xué)習(xí)的反卷積網(wǎng)絡(luò)中，CSR也被稱為平移不變性Sr.在誤配區(qū)域的融合質(zhì)量得以顯著提高。文獻[5]中，Starck等人闡述了形態(tài)成分分析（MCA）方法，該方法可以獲得圖像的稀疏多成分表示。

為進一步提高圖像融合效果，本文提出一種基于卷積稀疏表示和形態(tài)成分分析的圖像融合方法?；贛CA的方法和基于CSR的方法，為基于SR的圖像融合提供了兩種不同的方式，即多分量表示和全局表示，二者具有各自的優(yōu)勢。在本文中，受到卷積稀疏表示的啟發(fā)，引人CSR-MCA模型，同時實現(xiàn)源圖像的多組分和全局稀疏表示。由實驗結(jié)果得出，與其它經(jīng)典的圖形融合方法相比，本文提出的方法在主觀視覺效果和客觀數(shù)據(jù)指標上均有較大改善，具有一定的優(yōu)越性。

1相關(guān)理論

1.1稀疏表示和卷積稀疏表示

稀疏表示是一種利用自然圖像信號稀疏先驗的圖像建模技術(shù)?；赟R的圖像融合中最關(guān)鍵的問題是采用SR模型。目前大多數(shù)基于SR的融合方法采用的是基于單個圖像分量和局部塊的標準稀疏編碼模型。將源圖像在原始空間域中分成一組重疊的圖像塊進行稀疏編碼，從而得到相應(yīng)的稀疏表示系數(shù)。其基本思想是假設(shè)一個自然信號可以從一個過完備的字典中很好地近似為一個小的原子的線性組合，即

卷積稀疏表示（CSR）可以被看作是稀疏表示的卷積形式，即采用相應(yīng)學(xué)習(xí)字典與特征響應(yīng)的卷積總和，取代分析字典與稀疏系數(shù)的乘積，從而將圖像以“整體”為單位進行稀疏編碼，避免圖像清晰度信息的丟失。卷積稀疏表示模型可以表示為：

卷積形式的目的是實現(xiàn)整個圖像的稀疏表示，而不是局部圖像的塊。其克服了基于SR的融合方法的不足。相對于標準SR模型，CSR的結(jié)果是單值的，并且對整個圖像進行了優(yōu)化，使得圖像融合具有更好的細節(jié)保存能力。此外，CSR平移不變性，這對于保證圖像融合方法、對配準錯誤的魯棒陸具有重要意義。

1.2形態(tài)成分分析

在文獻[12]中，Jiang和Wang采用MCA模型提出了一種基于多分量SR的圖像融合方法，并認為圖像包含不同空間形態(tài)的結(jié)構(gòu)，將圖像建模為平滑和細節(jié)成分的疊加，利用結(jié)構(gòu)化字典的特定分解算法可以得到這些成分的稀疏表示，即：

其中，x_c和x_t分別使用字典d_c和d_t表示卡通和紋理成分的稀疏表示;|| ||1表示l₁范數(shù)用于約束稀疏;而λ_c和λ_t表示正則化參數(shù)。

MCA模型的主要優(yōu)點是可以將平滑成分和細節(jié)成分從源圖像中分離出來，進行個體融合。由于平滑成分和細節(jié)成分側(cè)重于不同的圖像內(nèi)容，其中平滑成分主要包含大尺度幾何結(jié)構(gòu)等分段光滑的內(nèi)容，細節(jié)成分則包含小尺度的精細細節(jié)，這種分離可以使融合策略具有更好的靈活性。

2基于CSR-MCA的圖像融合方法

CSR-MCA算法先將源圖像進行MCA變換，得到平滑成分和細節(jié)成分。對于不同成分進行卷積稀疏表示，得到相應(yīng)的稀疏表示映射。對平滑成分采用選擇最大規(guī)則和CSR進行融合，對細節(jié)成分采用加權(quán)平均規(guī)則進行融合。最后對各分量進行疊加，重構(gòu)MCA逆變換得到融合圖像。CSR-MCA算法的具體方案流程如圖1所示。

（1）將CSR-MCA模型應(yīng)用于每個源圖像，從而得到各成分的稀疏表示。根據(jù)以上CSR、MCA模型，CSR-MCA模型定義為：

細節(jié)成分包含源圖像中的細節(jié)部分，這一部分的融合最重要的問題就是細節(jié)提取。若采用選擇最大規(guī)則，在相同位置的灰度值會出現(xiàn)不一致，容易損失邊緣部分信息，造成視覺上的不一致。因此采用加權(quán)平均規(guī)則進行融合，使得邊緣信息更加平滑，融合效果更佳，即：

3實驗結(jié)果與分析

為了驗證本文方法的融合效果，采用3組像素大小為256×256預(yù)配準的多聚焦圖像進行融合實驗。圖像為：“實驗室”圖像、“時鐘”圖像和“樹叢”圖像，所使用的仿真環(huán)境為：Intel i5.3.3GHz CPu.500GB硬盤，8GB內(nèi)存，windows7系統(tǒng)，MATLAB2016a仿真平臺。將本文提出方法與當前4種常用的圖像融合方法進行對比實驗，實驗結(jié)果如圖2-圖4所示。對融合圖像采用5種常用的評價指標，即標準差（Standard Deviation.SD）、互信息（MutualInformation.MI）、熵（Entropy.En）、平均梯度（average gradient.AG）、空間頻率（spatial frequency.SF）來評價圖像融合性能。

圖2為“實驗室”圖像的融合結(jié)果，源圖像如圖2（a）-（b）所示，（a）為左聚焦圖像，（b）為右聚焦圖像。各算法的融合圖像如圖2（c）-（g）所示。ASR融合圖像中人物頭像邊緣存在嚴重的重影現(xiàn)象，個別細節(jié)信息丟失：SR和MST-SR融合圖像中重影現(xiàn)象有所改善，但融合效果對比度減弱，且存在邊緣信息和輪廓特征細節(jié)丟失現(xiàn)象：CSR和本文方法的融合效果更佳，但CSR融合圖像中邊緣輪廓存在銳化。本文融合方法的圖像色彩明亮，紋理部分細節(jié)處理的更加清晰，源圖像中的重要信息保留較為完整，整體效果更好。

圖3為“時鐘”圖像的融合結(jié)果，源圖像如圖3（a）-（b）所示，（a）為左聚焦圖像，（b）為右聚焦圖像。各算法的融合圖像如圖3（c）-（g）所示。SR和ASR融合圖像中重影現(xiàn)象較為嚴重，且SR融合圖像中存在“塊效應(yīng)”，整體清晰度不高。ASR融合圖像有所改善，但融合效果依舊不佳。MST-SR融合圖像在抑制重影現(xiàn)象上處理的比較出色，但在圖像邊緣處信息出現(xiàn)失真現(xiàn)象，不能很好地保留細節(jié)信息：相比之下，CSR和本文方法的融合圖像中克服了塊效應(yīng)，邊緣信息量包含的較為完整，但CSR方法的細節(jié)信息相對較為模糊。本文提出的方法融合效果清晰度更高，背景細節(jié)信息保留的更為完整。

圖4為“樹叢”圖像的融合結(jié)果，源圖像如圖4（a）-（b）所示，（a）為左聚焦圖像，（b）為右聚焦圖像。各算法的融合圖像如圖4（c）-（g）所示。SR融合圖像中在平滑部分的細節(jié)保存能力有限，存在“塊效應(yīng)”，整體清晰度不高。ASR融合圖像依舊存在重影現(xiàn)象，很多細節(jié)丟失，MST-SR融合圖像在邊緣信息中顯示不夠清晰;CSR融合圖像中的信息量包含較多，但存在顏色失真現(xiàn)象。本文提出的方法融合效果清晰度較高，背景細節(jié)信息保留的更為完整。

根據(jù)實驗結(jié)果可發(fā)現(xiàn)，雖然融合圖像體現(xiàn)的信息優(yōu)于源圖像，但融合結(jié)果還是有所差異。綜合以上比較可以得出，本文提出方法的主觀融合效果表現(xiàn)良好，能夠捕捉到源圖像中更多的細節(jié)信息，符合人眼的視覺特性，效果更好。每組融合圖像的各種融合方法的客觀融合性能評價結(jié)果見表l-表3。

結(jié)合表1-表3的實驗融合性能指標，比較5種不同的融合方法結(jié)果可以看出，SR融合方法的各項性能指標較低，主要因為該方法不具備平移不變性，圖像塊導(dǎo)致其在融合過程中塊效應(yīng)現(xiàn)象明顯，從而融合效果不佳。ASR融合方法在SR融合方法的基礎(chǔ)上有所改進，較好地保留了源圖像中的細節(jié)信息，各項融合性能指標較SR方法均有提高。CSR融合方法因其是在整個圖像上進行稀疏表示，克服了SR融合方法的缺點，消除了塊效應(yīng)現(xiàn)象，融合效果具有一定程度上的改善，大部分客觀性能指標均有提高。MST-SR融合方法引入了多尺度變換，能夠從源圖像中獲取更多信息，較好地保留源圖像中邊緣信息，故其在互信息、平均梯度上表現(xiàn)良好。本文方法結(jié)合了MCA和CSR的優(yōu)點，同時具有平移不變性和多組件稀疏表示，明顯改善了圖像融合效果，其各項客觀性能均高于其它方法，從而證明本文方法無論是從主觀視覺評價還是客觀性能分析，均具有較好的視覺效果和性能指標，融合效果更佳。

4結(jié)束語

針對圖像融合過程中存在邊緣信息丟失的缺點，本文提出了卷積稀疏表示和形態(tài)分量分析的圖像融合方法。該方法充分利用CSR的優(yōu)越性，同時結(jié)合MCA模型進行改進，對平滑部分和細節(jié)部分按照不同融合規(guī)則進行融合。在多聚焦圖像融合方面的實驗結(jié)果表明，該方法不僅能較好地顯示圖像中的邊緣信息和輪廓特征細節(jié)，且對比度較高，能夠保持良好的細節(jié)信息，色彩明亮，有效地抑制重影和失真。相比其它傳統(tǒng)融合方法，本文提出融合方法具有明顯的優(yōu)越性。