基于圖像摳圖技術的多聚焦圖像融合方法

張盛林 易本順 李衛(wèi)中 劉紅玉

摘要：針對多聚焦圖像融合容易出現(xiàn)信息丟失、塊效應明顯等問題，提出了一種新的基于圖像摳圖技術的多聚焦圖像融合算法。首先，通過聚焦檢測獲得源圖像的聚焦信息，并根據(jù)所有源圖像的聚焦信息生成融合圖像的三分圖，即前景、背景和未知區(qū)域；然后，利用圖像摳圖技術，根據(jù)三分圖獲得每一幅源圖像的精確聚焦區(qū)域；最后，將這些聚焦區(qū)域結合起來構成融合圖像的前景和背景，并根據(jù)摳圖算法得到的確定前景、背景對未知區(qū)域進行最優(yōu)融合，增強融合圖像前景、背景與未知區(qū)域相鄰像素之間的聯(lián)系，實現(xiàn)圖像融合。實驗結果表明，與傳統(tǒng)算法相比，所提算法在客觀評價方面能獲得更高的互信息量（MI）和邊緣保持度，在主觀評價方面能有效抑制塊明顯效應，得到更優(yōu)的視覺效果。該算法可以應用到目標識別、計算機視覺等領域，以期得到更優(yōu)的融合效果。

關鍵詞：

多聚焦圖像；聚焦信息；三分圖；圖像摳圖；圖像融合

中圖分類號： TP391.413 文獻標志碼：A

0引言

攝像機單一傳感器不能聚焦所有的目標，因此，在對同一場景中不同物體成像時，攝像機無法獲得場景中所有物體都清晰的圖像。多聚焦圖像融合技術能將多幅圖像融合成為一幅圖像，并提供更完整、更精確和可靠的信息，以便于人的觀察或機器的后續(xù)處理。多圖像融合算法在遙感圖像處理、機器視覺等領域中獲得了越來越多的應用[1-2]。

目前，針對多聚焦圖像融合算法的研究，主要分為變換域融合和空間域融合兩大類?，F(xiàn)有的變換域融合算法大多基于多尺度變換，包括以下3個步驟：首先，將源圖像經過變換得到相應的變換系數(shù)；然后，根據(jù)給定的融合規(guī)則合并變換系數(shù)；最后，對融合系數(shù)進行逆變換構造，得到融合圖像。常用的變換域方法包括拉普拉斯金字塔（Laplacian Pyramid， LP）變換[3]、離散小波變換（Discrete Wavelet Transform， DWT）[4]、雙樹復小波變換（DualTree Complex WT， DTCWT）[5]、曲線波變換（Curvelet Transform）[6]、非下采樣輪廓波變換（NonsubSampled Contourlet Transform， NSCT）[7]、剪切波變換（Shearlet Transform）[8]和稀疏表示（Sparse Representation， SR）[9]等。因為變換域存在不同程度的分解，所以在融合過程中會因為融合系數(shù)的不同而存在信息丟失，導致融合圖像表達信息的不完整。而基于空間域的融合方法，是利用一定的方法找到源圖像各自的聚焦像素或區(qū)域，然后直接選取這些不同的像素或區(qū)域構成融合圖像。常用的基于空間域的方法加權平均法（Average）、主成分分析法（Principal Component Analysis， PCA）、圖像形態(tài)學（Morphology， M）、清晰度評價函數(shù)等[10]，但是，在不同場景中，由于相機運動或物體運動，可能造成同一場景包含不同的內容，致使不能準確判斷一個像素或區(qū)域是否模糊。此外，源圖像變得復雜時，傳統(tǒng)的基于像素或區(qū)域的方法不能得到非常準確的融合結果。

摳圖技術因電影工業(yè)的需求而產生，其目的是將前景從背景中分離出來，以便將分離出來的前景注入到新的背景中，生成期望的圖像或視頻，達到完美的視覺效果。從早期簡單的光學摳圖到如今利用計算機技術的數(shù)字摳圖，摳圖技術獲得了巨大發(fā)展和進步。目前，摳圖技術日趨成熟，可以從任何圖像或視頻中提取出任意形狀的前景對象[11]。

針對變換域融合存在信息丟失和空間域融合不能得到復雜圖像的準確融合結果的缺點，本文提出了一種新的基于圖像摳圖技術的多聚焦圖像融合算法。首先，通過聚焦檢測獲得源圖像的聚焦信息；然后，根據(jù)聚焦信息，利用摳圖技術獲得對應源圖像的聚焦區(qū)域，增強了圖像的聚焦區(qū)域和相鄰像素之間的聯(lián)系，有效解決相同場景中包含不同內容的多聚焦圖像融合問題；最后，將所有的聚焦區(qū)域進行融合，構成融合圖像。此外，在圖像內容變得復雜時，傳統(tǒng)的融合方法達不到性能最優(yōu)，而摳圖技術能夠準確地找到源圖像的前景輪廓，得到非常精確的融合結果。理論分析和實驗結果表明，與傳統(tǒng)的方法相比，本文算法的融合結果在融合圖像的細節(jié)、輪廓處更令人滿意。

1圖像摳圖

根據(jù)用戶需求，圖像摳圖技術把一幅圖像準確區(qū)分為前景部分和背景部分。在圖像摳圖模型中，觀察到的圖像I（x，y）可以被看作是前景F和背景B的組合：

C=αF+（1-α）B（1）

其中：α為不透明度，α為0或1時即為簡單的前景和背景的圖像分割[12]。摳圖技術的關鍵在于找到準確的α值，以將前景從背景中分離出來。由式（1）知，得到準確的融合圖像需要確定的前景和背景，因此，大多情況下，除了源圖像外，還需要用戶提供一個三分圖（trimap）。圖1為一幅圖像及其對應的trimap，圖1（b）中原圖被分成3個區(qū)域：前景、背景和未知區(qū)域，其中：“樹”為前景F，灰色線條部分是未知區(qū)域，其余是背景B。

目前，常用的摳圖方法有基于采樣的貝葉斯摳圖（Bayes Matting）、基于傳播的泊松摳圖（Poisson Matting）和基于采樣傳播相結合魯棒摳圖（Robust Matting）[13]。貝葉斯摳圖是根據(jù)輸入的trimap，從前景邊界和背景邊界逐漸向未知區(qū)域進行顏色采樣，當前景樣本對和背景樣本對達到足夠量時，利用貝葉斯原理估計出未知區(qū)域中每一個像素點的前景顏色值、背景顏色值和透明度α值，最終完成摳圖；泊松摳圖是假設圖像的未知區(qū)域是平滑的，從邊界開始將未知區(qū)域的像素點劃分到前景區(qū)域和背景區(qū)域中，然后通過公式C=αF+（1-α）B進行梯度運算構造偏微分方程求α值，之后迭代計算直至未知區(qū)域劃分完成；魯棒摳圖是根據(jù)輸入的trimap，稀疏采樣確定前景區(qū)域和背景區(qū)域的邊界樣本點，然后定義距離比率進行樣本估計，得到樣本對的初始α值，最后優(yōu)化α值完成摳圖。由基于采樣方法和基于傳播方法的原理可知，基于傳播的方法在梯度和連通性上要優(yōu)于基于采樣的方法，但在非平滑圖像上效果不佳?；诓蓸雍蛡鞑ハ嘟Y合的方法克服了基于采樣和基于傳播的缺點，因此，無論是對于一般自然圖像還是復雜的前景圖像，魯棒摳圖的綜合性能都較為優(yōu)越，穩(wěn)定性更好[11]，所以，本文將通過魯棒摳圖算法計算融合圖像的α值。首先，在采樣階段，根據(jù)給定trimap對每一對的前景和背景進行采樣預估；然后通過選擇采樣預估系數(shù)判斷一對前景和背景能否作為樣本，并通過式（1）粗略估計初始的α值；最后，構造最小化能量函數(shù)[14]求最優(yōu)解，相應公式如下：

多聚焦圖像融合可看成是多幅圖像聚焦區(qū)域的組合，而摳圖技術即是根據(jù)給定的trimap提取圖像前景（聚焦區(qū)域）并將其融入到新的背景中。由于同一場景的多聚焦圖像的聚焦區(qū)域不同，如果將多聚焦圖像進行圖像區(qū)域分割成聚焦區(qū)域和散焦區(qū)域，那么所有源圖像的區(qū)域分割圖（以兩幅圖為例）可組成聯(lián)合區(qū)域分割圖，即包含不同圖像的聚焦區(qū)域以及聚焦區(qū)域之間的過渡區(qū)域，這樣就實現(xiàn)了trimap的自動生成，進而實現(xiàn)了摳圖技術在多聚焦融合的應用。

2基于圖像摳圖的圖像融合

圖2所示為本文算法的圖像融合過程。首先，由聚焦檢測估計出每個源圖像的聚焦信息；然后，將所有圖像的聚焦信息組合得到相應源圖像的trimap，即融合圖像的前景F、背景B和未知區(qū)域；最后，根據(jù)trimap，通過圖像摳圖技術，獲得相應的源圖像精確聚焦區(qū)域，并將這些聚焦區(qū)域組合在一起形成融合圖像。

2.1聚焦檢測

2.2圖像區(qū)域分割

圖像區(qū)域分割即根據(jù)聚焦檢測獲得的聚焦信息構建源圖像的trimap。具體步驟是：首先根據(jù)所有圖像的聚焦區(qū)域的灰度圖進行相似性檢測和聚焦比較；然后將灰度圖中的聚焦區(qū)域經過處理，獲得確定的聚焦區(qū)域和散焦區(qū)域；最終將聚焦區(qū)域和散焦區(qū)域分別定義為源圖像的前景F和背景B，聚焦區(qū)域和散焦區(qū)域之間的過渡區(qū)域定義為未知區(qū)域，共同構成源圖像的trimap。圖3為圖像分割過程的示意圖。

由以上的圖像區(qū)域分割過程可知，對于任何一幅多聚焦圖像，其圖像的trimap與另一幅圖像的trimap的前景和背景是相反的。以兩幅圖像為例，則T1的前景是T2的背景，T2的前景是T1的背景，但在實際摳圖過程中，因摳圖算法對trimap的定義不變（灰度亮區(qū)域代表前景，暗區(qū)域代表背景，灰色區(qū)域代表未知區(qū)域），所以在處理過程中不同源圖像需要與其對應的trimap，而實際上融合圖像的trimap與源圖像的trimap相同，都是由聚焦區(qū)域及聚焦區(qū)域之間的過渡區(qū)域組成。

2.3圖像摳圖和融合

圖像融合技術的最后階段是結合所有源圖像的聚焦區(qū)域來構建融合圖像。為了獲得每個源圖像的聚焦區(qū)域，取圖像區(qū)域分割階段獲得的trimap Tn作為輸入，用魯棒摳圖算法獲得源圖像的In融合參數(shù)α值。首先，對于未知區(qū)域的每個像素點，魯棒摳圖算法從確定聚焦區(qū)域和確定散焦區(qū)域的邊界處挑選出少量采樣點；然后，基于未知像素和確定區(qū)域與非確定區(qū)域采樣點之間的顏色相似性，估計未知像素的初始α值；最后，根據(jù)最小能量公式（式（2））計算出準確的α值。圖4為圖像摳圖和融合過程。

如圖4所示，α=0或1時，源圖像的點（x，y）是聚焦點或散焦點。如果α在（0，1）內，則這些像素點是聚焦點和散焦點的混合點（如圖4（a）中的灰色區(qū)域所示）。因為混合像素的數(shù)量少，它們通常位于聚焦和散焦之間的過渡區(qū)域，所以不會降低融合圖像的全局性能。兩張源圖像中，源圖像I2的聚焦區(qū)域可以計算為1-α，因此，融合圖像可以計算為：

3實驗結果與分析

為了驗證本文算法的性能，進行了多組仿真實驗，并且從客觀測試指標數(shù)據(jù)和主觀視覺效果上與主成分分析法（PCA）、圖像形態(tài)學（M）、雙樹復小波變換（DTCWT）、非下采樣輪廓波變換（NSCT）進行對比。本文選用tree、book、clock三組分別聚焦前景和背景的圖進行多聚焦圖像的融合。

3.1客觀評價

對于各個方法的客觀評價，本文選取互信息量（Mutual Information， MI）[17]、邊緣保持度QXY/F[18]和空間結構相似度（Structural Similarity Index Measurement， SSIM）[19]來評價實驗結果。MI可以衡量融合圖像包含源圖像的像素信息量；QXY/F可以衡量融合圖像包含源圖像的邊緣信息量；SSIM可衡量兩幅圖像結構相似度的指標。3個指標值越大說明融合圖像越清晰，該方法融合性能越好。

由表1可以看出，由于直接提取了源圖像中清晰區(qū)域的像素點，保留了源圖像中較多的邊緣、輪廓等結構化信息，本文算法的互信息MI和空間結構相似度信息QXY/F都是所測算法中最高的。因為SSIM的測試結果與選取的參考圖像相關，所以本文算法存在部分性能偏差，但與對比算法中最大值相比，本文算法的值是可接受的。

3.2主觀評價

圖5為本文算法最終效果同其他算法主觀效果的對比。

由圖5可以看出，由于相機運動或存在運動目標而導致相同場景存在不同內容的測試源圖像（tree），PCA算法、M算法、DTCWT算法、NSCT算法在教堂頂部和車輛部分存在重影和色彩偏淡情況，且M算法存在較嚴重模糊塊，本文算法圖像清晰，繼承了所有重要信息；對于標準測試源的彩色圖（book），M算法的邊緣有較明顯塊的效應，PCA算法、DTCWT算法和NSCT算法都有不同程度的邊緣模糊，本文算法邊緣和輪廓清晰；對于標準測試源的灰度圖（clock），PCA算法整體清晰度下降，M算法和DTCWT存在明顯虛假邊緣，NSCT算法整體清晰度偏暗，本文算法無虛假邊緣，清晰度正常。

為了評估提出方法的時間效率，對測試圖片在幾種不同融合算法的耗時情況進行了分析比較。本文實驗在Matlab R2012a平臺上實現(xiàn)，計算機硬件參數(shù)是：core i32120、3.3GHz CPU+4GB RAM。幾種測試方法所耗的平均時間列于表2。由表2可見，本文方法耗時相對較長。

由以上結果可知，由于存在部分信息丟失的問題，傳統(tǒng)變換域融合和空間域融合得到的圖像與原圖像清晰度有較大的差異。本文算法利用摳圖技術，增強了相鄰像素之間的相關性，使得融合后的圖像的輪廓和邊緣都很清晰，主觀效果最佳。綜合評價來看，相比傳統(tǒng)算法，本文算法在主觀客觀指標和視覺效果上，都能獲得更優(yōu)的融合結果。

4結語

本文提出了一種新的基于圖像摳圖技術的多聚焦圖像融合方法。不同于以前的基于變換域和空間域融合方法，本文算法使用聚焦檢測將需要融合的聚焦區(qū)域通過圖像摳圖技術提取出來，然后結合所有的聚焦區(qū)域構建融合圖像。由于能夠充分利用相鄰像素之間的相關性，與傳統(tǒng)的融合方法相比，本文算法能夠得到邊緣和輪廓清晰的融合圖像；同時客觀指標也有所提升。

雖然本文取得了較好的結果，但算法融合結果的準確性直接依賴于聚焦信息檢測的準確性，因此，性能更好、適用面更廣的（如X成像、紅外成像等）聚焦檢測算法是進一步研究的方向。

參考文獻：

[1]

張亞秋.多聚焦圖像融合算法研究[D].重慶：重慶大學，2014：8-9.（ZHANG Y Q. Research on multifocus image fusion [D]. Chongqing： Chongqing University， 2014： 8-9）

[2]

歐陽寧，鄒寧，張彤，等.基于非下采樣Shearlet變換與聚焦區(qū)域檢測的多聚焦圖像融合算法[J].計算機應用，2015，35（2）：490-494.（OUYANG N， ZOU N， ZHANG T， et al. Multifocus image fusion algorithm based on nonsubsampled Shearlet transform and focused regions detection [J]. Journal of Computer Applications， 2015， 35（2）： 490-494.）

[3]

WANG W， CHANG F. A multifocus image fusion method based on Laplacian pyramid [J]. Journal of Computers， 2011， 6（12）： 2559-2566.

[4]

PAJARES G， DE LA CRUZ J M. A waveletbased image fusion tutorial [J]. Pattern Recognition， 2004， 37（9）： 1855-1872.

[5]

范艷玲，楊明.基于雙樹復小波變換的多聚焦圖像融合[J].核電子學與探測技術，2014，34（2）：204-207.（FAN Y L， YANG M. Multifocus image fusion based on dualtree complex wavelet transform [J]. Nuclear Electronics and Detection Technology， 2014， 34（2）： 204-207.）

[6]

馬苗，萬仁遠，尹義龍.基于相似性灰關聯(lián)的Curvelet域多聚焦圖像融合[J].電子學報，2012，40（10）：1984-1988.（MA M， WAN R Y， YIN Y L. Multifocus image fusion based on grey relation of similarity in curvelet domain [J]. Acta Electronica Sinica， 2012， 40（10）： 1984-1988.）

[7]

LI H， CHAI Y， LI Z. Multifocus image fusion based on nonsubsampled contourlet transform and focused regions detection [J]. Optik—International Journal for Light and Electron Optics， 2013， 124（1）： 40-51.

[8]

石智，張卓，岳彥剛.基于Shearlet變換的自適應圖像融合算法[J].光子學報，2013，42（1）：115-120.（SHI Z， ZHANG Z， YUE Y G. Adaptive image fusion algorithm based on Sheartlet transform [J]. Acta Photonica Sinica， 2013， 42（1）： 115-120）

[9]

彭真明，景亮，何艷敏，等.基于多尺度稀疏字典的多聚焦圖像超分辨融合[J].光學精密工程，2014，22（1）：169-176.（PENG Z M， JING L， HE Y M， et al. Superresolution fusion multifocus image based on multiscale sparse dictionary [J]. Optics and Precision Engineering， 2014， 22（1）： 169-176.）

[10]

逄浩辰，朱明，郭立強.彩色圖像融合客觀評價指標[D].北京：中國科學院大學，2014：14-23.（PANG H C， ZHU M， GUO L Q. Objective color image fusion performance index [D]. Beijing： University of Chinese Academy of Sciences， 2014： 14-23.）

[11]

李卓婷.三種典型數(shù)字圖像摳圖方法的比較[D].廣州：華南理工大學，2013：49-51.（LI Z T. Applications of quaternion in skeleton skin technology [D]. Guangzhou： South China University of Technology， 2013： 49-51）

[12]

PORTER T， DUFF T. Compositing digital images [J]. ACM SIGGRAPH Computer Graphics， 1984， 18（3）： 253-259.

[13]

GRADY L. Random walks for image segmentation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2006， 28（11）： 1768-1783.

[14]

WANG J， COHEN M F. Optimized color sampling for robust matting [C]// CVPR07： Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2007： 1-8.

[15]

HUANG W， JING Z. Evaluation of focus measures in multifocus image fusion [J]. Pattern Recognition Letters， 2007， 28（4）： 493-500.

[16]

左雷，王煒，張鑫.基于像素鄰域SML的多焦距圖像融合方法[J].微計算機信息，2010，26（35）：221-222.（ZUO L， WANG W， ZHANG X. Enhanced multifocus image fusion based on sum modified Laplacian in pixel neighborhood [J]. Microcomputer Information， 2010， 26（35）： 221-222.）

[17]

QU G， ZHANG D， YAN P. Information measure for performance of image fusion [J]. Electronics Letters， 2002， 38（7）： 313-315.

[18]

PETROVI V， XYDEAS C. Objective evaluation of signallevel image fusion performance [J]. Optical Engineering， 2005， 44（8）： 0870031-0870038.

[19]

WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity [J]. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.