韓麗茹

(浙江水利水電?？茖W校 計算機與信息工程系,杭州310018)

1 引 言

在圖像和視頻編輯應用中,圖像融合是一個很有用的操作,旨在產生逼真的融合結果。近幾年來,在計算機圖形和圖像領域已經提出了一些相關的圖像融合技術,其中基于梯度域的圖像融合技術是簡單并被廣泛應用于圖像編輯的一種算法。梯度域技術通過在梯度域里求解泊松方程來得到無縫融合的結果,在梯度域中解決圖像融合問題就是利用了人們在觀察圖像時往往更注重局部圖像的強度差而非強度本身的特點?；谔荻扔虻臒o縫融合技術最早由Pérez 等人[1]提出,Jia 等人[2]利用優(yōu)化混合邊界改良了混合的結果,Lalonde 等人[3]介紹了一種混合遮罩的方式來移除邊界污點,Tao 等人[4]提出了一種容錯的方式使得在不改變邊界位置的情況下預防變色,Chen 等人[5]提出了一種結合改良的泊松融合與alpha 混合的圖像合成方法。

近來,二維重心坐標——均值坐標被用來解決圖像融合中的插值問題。Farbman 等人[6]用均值坐標法獲得極其相似的泊松圖像融合結果, Lee 等人[7]提出了一種改良的采樣方法來解決Farbman 等人[6]沒有解決的均值坐標凹域問題,還有一些結合了均值坐標和摳圖技術的方法[8-9]也被提出。此外,Wang 等人[10]介紹了調和融合方法,該方法在圖像融合中用調和坐標代替均值坐標。

上述方法通常都可以獲得比較好的圖像融合結果。但是,如果源圖像和目標圖像擁有不同的外觀(如在不同的條件下使用不同的相機拍攝),基于梯度域的技術和基于坐標的方法將不能夠得到逼真的結果。顯然,理想的結果滿足如下目標:應當邊界無縫, 而且視覺效果上與目標圖像匹配。近來,Sunkavalli 等人[11]明確解決了在圖像融合中圖像協(xié)調的問題。他們通過在一個大的濾波器輸出當中重構圖像并將和諧化整合到合成結果中擴展梯度域技術。他們的方法使用多尺度技術來自動更正圖像中不一致的地方。

圖像和諧融合需要合成區(qū)域的全局外觀跟背景圖像和諧。這涉及到3 個方面:首先,結果圖像的亮度應當與目標圖像的亮度匹配,對于結構相似的區(qū)域,結果圖像和目標圖像應該在這些區(qū)域上亮度相似;其次,合成后結果圖像的細節(jié)紋理應當是逼真的;最后,合成區(qū)域的顏色應當是和諧的。我們觀察到,多數(shù)情況下如果源圖像和目標圖像在融合區(qū)域內具有相似的結構,以及相似細節(jié)和顏色,融合后的圖像看起來也更加和諧;而如果融合區(qū)域里結構不同,保持源圖像的顏色,其融合結果通?？雌饋砀鼮楹椭C。

基于上述考慮,本文提出了一種新穎的圖像融合方法。該方法使用不同的方式來滿足前面的3 個方面,算法首先將圖像分解為基層、細節(jié)層和顏色層。為了能夠在合成圖像上得到和諧的亮度分布,算法將目標圖像基層的亮度統(tǒng)計特性遷移到源圖像的基層上。融合后圖像逼真的細節(jié)是由區(qū)域修復技術和加權混合技術得到的。一旦和諧的亮度層被計算出來,算法運用均值融合技術在各層上生成最終的合成結果。由于每個像素的均值融合處理是完全獨立于融合區(qū)域內部的其他像素點,因此算法使用并行方式來實現(xiàn)均值融合從而加快整個處理過程。

2 算法概述

本文算法主要分為4 步。首先,分別將源圖像和目標圖像分解為基層、細節(jié)層和顏色層3 層;其次,算法使用不同的方式來處理各層信息:通過將目標圖像基層的亮度直方圖遷移到源圖像的基層從而能夠達到亮度平衡,使用孔修復方法來修改目標圖像在融合區(qū)域的細節(jié)層,由此產生的細節(jié)將隨之獲得;第三,在每對相應的層上使用均值融合;最后,通過合成這三層結果來獲得最終結果。亮度層上的工作流程如圖1 所示。

圖1 亮度層的工作流程圖Fig.1 Workflow of brightness layer

2.1 層分解

首先將源圖像和目標圖像轉換到CIELAB 顏色空間,然后將亮度通道分解為基層和細節(jié)層?；鶎邮前藞D像結構信息的結構層。雙邊濾波[12]和加權最小二乘法(WLS)濾波[13]等邊緣平滑方法可以實現(xiàn)基層和細節(jié)層的分解問題。本文算法使用加權最小二乘法,因為它在解決靠近邊緣的模糊水平上具有出色的表現(xiàn)。

給定一個亮度通道L, L 中的基層B 可以通過解下面的最小值得到:

式中,p 代表融合區(qū)域中的各個像素點,B 表示平滑后的基層,L 表示圖像亮度通道,Lx(p)、Bx(p)表示在x 方向上的梯度,Ly(p)、By(p)表示在y 方向上的梯度。第一項旨在使B 盡量與L 保持相似,第二項通過最大限度地減少B 的偏導數(shù)來使之平滑。系數(shù)λ是用來平衡這兩項:λ的值越大,基層將越平滑。下標x 和y 分別代表在橫坐標和縱坐標上求偏導數(shù)。系數(shù)α決定了L 梯度的敏感度。為了防止被0 整除將系數(shù)ε設置為0.000 1。在本文的試驗中α=1.2,λ=1。

隨后,算法使用減法來分別獲得源圖像和目標圖像的細節(jié)層。其中,D 表示圖像的細節(jié)層。

2.2 亮度匹配

基層包含了亮度空間的分布信息。算法嘗試將目標圖中的亮度空間分布加載到源圖像中,這樣在匹配融合區(qū)域時能夠得到理想的結果。直方圖匹配是修改源圖像強度從而使源圖像的強度統(tǒng)計能夠與目標圖像相似的一種主要解決方法。給定一個具有直方圖hbs的源圖像基層Bs 和目標圖像基層的直方圖hbt,和諧的源圖像基層Bhs就可以由以下公式計算得到:

其中, Bs表示源圖像的基層,hbt表示圖標圖像的基層的直方圖, Bhs表示和諧的源圖像基層。這里histmatch()表示將目標圖像的基層直方圖hbt遷移到源圖像基層Bs上。

直方圖匹配是匹配圖像外觀的一種有力工具[11]。由于本文算法在具有少噪聲和細節(jié)的基層上運用直方圖匹配,因此會最小化一些瑕疵,例如噪音的擴大。

2.3 細節(jié)操作

如果直接將源圖像的細節(jié)層和目標圖像的細節(jié)層融合在一起,融合區(qū)域當中將包含很多目標圖像的細節(jié)層結構信息,從而產生瑕疵。協(xié)調的結果應當是在融合的結果里融合區(qū)域中不包含目標圖像的原始結構細節(jié)。一種直觀的方式是從目標圖像的細節(jié)層中將結構信息分離出來。但是,在單獨的一層當中直接分離這些信息相對于前面的轉換來說是很困難的。所以,算法假設融合的結果只需在視覺上逼真就可以了,這也就意味著只需將融合區(qū)域內的像素同周圍像素點的細節(jié)在外觀上匹配好即可?；谶@種假設,算法用兩個步驟來處理細節(jié)協(xié)調,首先,從目標圖像的細節(jié)層移走融合區(qū)域的細節(jié)部分并填充這個孔洞;然后,用一種加權方式將源圖像細節(jié)層和目標圖像細節(jié)層混合在一起,從而得到結果細節(jié)層。

修復目標細節(jié)圖像中的孔洞就是填充那些丟失的像素點,解決這個問題有兩種方式:紋理合成和圖像修復方法。紋理合成在處理具有隨機性的二維圖案上效果很好;而圖像修復則致力于線性結構,這種結構可以認為是一維模式的。本文采用了基于Criminisi 等人[14]提出的方法,該方法綜合了紋理合成和圖像修復的優(yōu)點。為了產生合理的結果,算法使用孔洞邊緣周圍的圖像像素作為紋理片并在融合區(qū)域得到修改后的目標細節(jié)D′t。

其中,Dr表示結果圖像的細節(jié)層,Ds表示源圖像的細節(jié)層, D′t 表示孔修復后的目標圖像的細節(jié)層。γs, γt∈[0,1] ,這兩個系數(shù)控制著每個細節(jié)的比重,不同的γs 、γt 值能夠產生不同的融合效果。對于無縫融合,因為其結果只包括源圖像的細節(jié)并且目標圖像的細節(jié)應當被隱藏。于是,可以取γt=0 來隱藏D′t,并且取γs=1 來將Ds 轉換到Dr。在本文的和諧融合應用中,可以取γt>0 來保留一些目標圖像的細節(jié)。注意兩者的權重之和不能太小,否則就會因為缺少太多的細節(jié)而使結果看起來不真實。

2.4 并行均值融合

一旦得到了源圖像的基層Bhs和混合后的細節(jié)層Dr,新的源圖像亮度通道L′s就可以由L′s=Bhs+Dr計算得到。隨后新的亮度通道用均值坐標法融合到目標圖像的亮度層上。

給定一個待融合的區(qū)域Ψ和它用逆時針順序給出的邊界像素點構成的鏈 Ψ(t0, t1, …, tm=t0),每一個像素p ∈Ψ的均值坐標(MVC)就是權重ki,ki用下面的公式計算出:

其中,βi是∠tipti+1,圖2 顯示了βi的定義。

圖2 關于均值坐標角度的說明Fig.2 Illustration of mean value coordinate angle

使用這些像素的均值坐標,均值插值r(p)可以定義如下:

結果的亮度層Lr就定義為

因為融合區(qū)域內每一個像素點的均值插值只和邊界坐標有關,因而每個像素點的插值可以各自處理。在CPU 上實現(xiàn)均值插值法很耗時間,為了解決這個性能瓶頸,本文使用CUDA 技術來實現(xiàn)插值加速。

前面通過公式Lr=L′s+r 得出的結果可能超出了亮度范圍[0,100] ,這可能導致圖像在視覺效果上內容的損失,所以應當把這些值轉換到顯示范圍內。算法將目標亮度Ls的強度直方圖遷移到當前亮度Lr中,成功保留了結果圖像的豐富細節(jié)。

2.5 顏色層融合

對于顏色通道的融合,算法直接把源圖像的as和bs用于均值融合處理。最后, 算法將圖像從CIELAB 顏色空間轉換為RGB 顏色空間并得到最終和諧的融合結果。

3 實驗和結果

本文實現(xiàn)了一個新穎的圖像和諧融合方法。提出的方法是使用MATLAB 實現(xiàn)的,電腦配置為:CPU(Inter Core2Duo 2.66 GHz)、2G 主內存、顯卡為1G 圖形內存的NVIDIA GeForce GTS250。該方法需要兩個參數(shù):γs 和γt。不同的融合目標可以通過不同的參數(shù)得到。

在算法實現(xiàn)過程中最耗時的步驟是區(qū)域修復和計算像素點的均值坐標(Mean Value Coordinate,MVC)。因為每個像素點的均值插值是獨立于其他像素點計算的,所以這一步非常適合在圖形處理器(Graphic Processing Unit,GPU)中并行實現(xiàn)。算法在計算均值坐標的性能如表1 所示,其中N-b 代表融合區(qū)域邊界點的數(shù)目,N-r 代表融合區(qū)域內部像素點的數(shù)目。注意,表中GPU 的運行時間是包括硬盤輸入輸出的。

表1 計算均值坐標的性能Table 1 The mean value coordinate performance

本文和原始的均值融合方法進行了比較。圖3中,源圖像的腳印被剪切出來融合到目標圖像中,圖3(c)顯示了使用原始均值融合方法產生的結果。盡管結果是無縫的,但由于融合結果缺少與目標圖像相似的細節(jié)致使在融合區(qū)域和其他像素點之間具有不和諧的外觀,因而圖像看起來不自然。在本文方法里,區(qū)域修復和細節(jié)的加權混合被適當運用到產生無縫邊界和獲得逼真的細節(jié)效果,這樣獲得的結果是和諧的,其結果如圖3(d)所示。

圖3 源圖像中的腳印Fig.3 Footprint in source image

盡管原始的均值融合在多數(shù)情況下工作得很好,但本文算法提供了在原始的均值融合中缺乏的特性,細節(jié)混合在獲得和諧結果中至關重要,算法允許細節(jié)層和基層獨立操作。圖4 顯示了另一個例子:源圖像面部被融合到目標圖像中。原始的均值融合方法產生不夠逼真的結果如圖4(c)所示。本文結果如圖4(d)所示,在融合區(qū)域顯示了視覺上逼真的細節(jié)紋理。正如圖4 所示,本文提出的新方法同原始的均值融合方法相比能夠產生更為逼真的結果。

圖4 一個圖像和諧融合的例子Fig.4 An example of harmonious cloning

注意,MVC 算法結果臉部太過于光滑,而本文算法的結果在視覺上具有更合理的細節(jié)紋理。

4 結 論

本文提出了一種基于二尺度分解的圖像和諧融合的新穎算法,該方法使用區(qū)域填充和加權混合的方法產生視覺上逼真的融合圖像細節(jié),算法整合了高度并行的均值融合技術。實驗結果顯示了本文提出的方法能夠在細節(jié)上與目標圖像匹配完好。

盡管該算法具有上述優(yōu)勢,它仍然有一些局限性,例如當前的實現(xiàn)只是部分并行并且區(qū)域填充消耗了很多CPU 時間。因此,在未來的工作中,應嘗試用GPU 來處理整個過程,從而提高算法的計算效率。

[ 1] Pé rez P, Gangnet M, Blake A.Poisson image editing[ J] .ACM Transactions on Graphics, 2003,22(3):313-318.

[ 2] Jia J, Sun J, Tang C-K,et al.Drag-and-drop pasting[ J] .ACM Transactions on Graphics,2006,25(3):631-637.

[3] Lalonde J-F, Hoiem D, Efros A A, et al.Photo clip art[ J] .ACM Transactions on Graphics, 2007, 26(3):1-10.

[4] Tao M W, Johnson M K, Paris S.Error-tolerant image compositing[C]//Proceeding of the 11th European Conference on Computer Vision.Heraklion,Crete,Greece:IEEE,2010:31-44.

[ 5] Chen T, Cheng M M,Tan P,et al.Sketch2photo:internet image montage[ J] .ACM Transactions on Graphics, 2009, 28(5):124-134.

[ 6] Farbman Z, Hoffer G, Lipman Y,et al.Coordinates for instant image cloning[ J] .ACM Transactions on Graphics,2009, 28(3):1-9.

[7] Lee S -Y, Lee I-K.Improved coordinate-based image and video cloning algorithm[ C]//Proceedings of ACM SIGGRAPH Asia.New York:ACM,2009:1-5.

[8] Xie Z-F, Shen Y, Ma L-Z,et al.Seam less video composition using optimized mean -value cloning[ J] .The Visual Computer,2010, 26(6-8):1123-1134.

[9] Ding M,Tong R-F.Content-aware copying and pasting in images[J] .The Visual Computer,2010, 26(6-8):721-729.

[10] Wang R, Chen W-F, Pan M-H,et al.Harmonic coordi nates for real-time image cloning[ J] .Journal of Zhejiang University Science, 2010(11):690-698.

[11] Sunkavalli K, Micah K J, Matusik W, et al.Multi-scale image harmonization[ J] .ACM Transactions on Graphics,2010, 29(4):125-134.

[12] Tomasi C, Manduchi R.Bilateral filtering for gray and color images[C]//Proceedings of the Sixth International Conference on Computer Vision.Bombay, India:IEEE,1998:1-5.

[13] Farbman Z, Fattal R,Lischinski D, et al.Edge-preserving decompositions for multi-scale tone and detail manipulation[ J] .ACM Transactions on Graphics, 2008, 27(3):1-10.

[14] Criminisi A, Pé rez P, Toyama K.Region filling and ob ject removal by exemp lar-based inpainting[ J] .IEEE Transactions on Image Processing, 2004,13(9):1200-1212.