羅回彬，林梓鑫，懷國(guó)威，溫?zé)ㄥ\

（1.北京理工大學(xué)珠海學(xué)院，珠海 519000；2.澳門科技大學(xué)資訊科技學(xué)院，澳門 999078）

0 引言

隨著信息技術(shù)的發(fā)展和人們生活水平的提高，人們對(duì)圖像數(shù)據(jù)的采集提出的要求與日俱增。目前市場(chǎng)上雖然已經(jīng)有了各式各樣能采集高質(zhì)量圖像的先進(jìn)傳感器設(shè)備，但每一種傳感器設(shè)備都只針對(duì)一定的目標(biāo)，其功能有一定的局限性，只能獲取部分場(chǎng)景信息。例如，在日常攝影拍照中，當(dāng)鏡頭聚焦于前景（近焦）時(shí)，其在前景目標(biāo)圖像比較清晰，但遠(yuǎn)景目標(biāo)容易呈現(xiàn)模糊情況。由于上述缺陷，多聚焦圖像中包含有不同的清晰區(qū)域和模糊區(qū)域。因此，在圖像全聚焦采集過(guò)程中，需要采用圖像融合技術(shù)，找出每個(gè)多聚焦源圖像中的清晰區(qū)域進(jìn)行融合。多聚焦圖像融合技術(shù)將兩張或兩張以上的圖像信息融合到一張圖像上，可以克服單個(gè)傳感器圖像的局限性和差異性，其融合過(guò)程如圖1所示。

圖1 多聚焦圖像融合

融合后的圖像含有豐富準(zhǔn)確的信息，便于人眼觀察和機(jī)器檢測(cè)。

1 相關(guān)研究

圖像融合可以分為像素級(jí)、特征級(jí)和決策級(jí)融合。而本文主要研究的像素級(jí)多聚焦圖像融合可以分為基于變換域和基于空間域融合算法。

1.1 基于變換域算法

近幾十年來(lái)，常用的基于變換域的圖像融合算法有基于金字塔變換、小波變換以及多尺度幾何變換。其中基于多尺度幾何變換融合算法深受研究人員的追捧，該融合方法主要包括曲波（curvelet）、輪廓波（contourlet）、非下采樣輪廓波NSCT、剪切波（shearlet）和非下采樣剪切波（NSST）等，其融合效果較好，但如果融合規(guī)則選擇不當(dāng)，其圖像融合結(jié)果就容易造成銳度損失。

1.2 基于空間域算法

常用的基于空間域算法包括加權(quán)平均法和PCA方法等。加權(quán)平均法通過(guò)對(duì)多聚焦源圖像的對(duì)應(yīng)像素進(jìn)行加權(quán)處理，其方法最簡(jiǎn)單，可是多聚焦源圖像中的非聚焦區(qū)域也保存在融合圖像中，其融合結(jié)果并不理想。同樣，基于塊或區(qū)域的多聚焦圖像融合方法，如果不能很好的選取塊，也容易造成塊偽影。

此外，近年來(lái)隨著人工智能的發(fā)展，研究人員也提出了一些基于深度學(xué)習(xí)的像素級(jí)圖像融合算法，但是眾所周知，深度學(xué)習(xí)的訓(xùn)練需要大量的經(jīng)過(guò)標(biāo)簽的多聚焦圖像數(shù)據(jù)集。

2 提出的融合算法

本文針對(duì)多聚焦圖像，提出一種基于圖像方差的逐像素投票的多聚焦圖像融合方法。首先，計(jì)算像素點(diǎn)灰度值在其鄰域內(nèi)的方差，通過(guò)比較方差的差值來(lái)進(jìn)行融合像素的選取。其次，通過(guò)形態(tài)學(xué)處理噪點(diǎn)，隨后應(yīng)用邊緣檢測(cè)算法進(jìn)行邊緣軟化。最后，根據(jù)最終的決策圖和融合規(guī)則進(jìn)行生成融合圖像。

2.1 圖像滑窗法

圖像滑窗法就是根據(jù)指定的單位長(zhǎng)度的滑窗在圖像水平和垂直方向進(jìn)行平移，從而實(shí)現(xiàn)通過(guò)滑窗計(jì)算每個(gè)滑動(dòng)單元框內(nèi)的統(tǒng)計(jì)指標(biāo)。本文中提出的圖像滑窗法計(jì)算的指標(biāo)是計(jì)算當(dāng)前滑窗內(nèi)所包含像素的方差值，然后對(duì)比兩個(gè)不同聚焦圖的同一位置的方差值。滑窗圖像過(guò)程如圖2所示。

圖2 圖像滑窗處理的過(guò)程

具體操作如下：

（1）計(jì)算滑窗方差。通過(guò)指定滑動(dòng)窗口大小和滑動(dòng)步長(zhǎng)對(duì)圖像進(jìn)行滑動(dòng)掃描，并計(jì)算滑動(dòng)窗口內(nèi)的像素的方差大小，如圖3所示，本文中將源圖像劃分為像素大小為×（此處設(shè)置為3×3）的模塊，并逐個(gè)比較所對(duì)應(yīng)區(qū)域的灰度方差值。而圖像的方差反應(yīng)圖像像素的灰度值變化，這與圖像的清晰度有關(guān)，如公式（1）所示。當(dāng)滑窗方差值較大時(shí)，則該滑窗中的像素差異變動(dòng)較大，可初定選取方差數(shù)值較大的滑窗作為聚焦區(qū)域。

圖3 滑窗方差的計(jì)算

（2）計(jì)算像素在源圖像的選取次數(shù)。對(duì)同一滑塊區(qū)域的像素的方差相減，方差較大者，記這些像素選取該圖的次數(shù)加1，如圖4所示，假設(shè)圖A方差值為VarA，圖B方差值為VarB，若VarA-VarB大于零，便記錄當(dāng)前滑窗內(nèi)應(yīng)選取圖A對(duì)應(yīng)像素作為融合的次數(shù)加1，而當(dāng)VarAVarB小于零，便記錄當(dāng)前滑窗內(nèi)應(yīng)選取圖B對(duì)應(yīng)像素作為融合的次數(shù)加1。

圖4 每個(gè)像素在源圖像的選取次數(shù)計(jì)算過(guò)程

（3）融合像素的判定。通過(guò)比較每個(gè)像素在圖A和圖B相應(yīng)選取次數(shù)，進(jìn)行最終融合像素選定的判定。假設(shè)某像素的圖A選取次數(shù)為Fu?seA，某像素的圖B選取次數(shù)為FuseB，若FuseA-FuseB的絕對(duì)值大于閾值，則將選取次數(shù)多的圖片的像素作為融合像素，如圖5所示，若閾值設(shè)定為2，則第一個(gè)像素點(diǎn)選擇圖B作為融合像素點(diǎn)，第三個(gè)像素點(diǎn)選擇圖A作為融合像素點(diǎn)，第四個(gè)像素點(diǎn)暫不做選擇。同理，當(dāng)完成整個(gè)圖像的滑窗后，每個(gè)像素都有其對(duì)應(yīng)的選取圖A與圖B的次數(shù)，當(dāng)選取圖A次數(shù)與選取圖B次數(shù)之差大于或小于指定閾值時(shí)，就指定該點(diǎn)像素選取其對(duì)應(yīng)的圖的像素。

圖5 融合像素的判定過(guò)程

（4）采用歐式距離的判定方法。假設(shè)某像素的源圖像選取次數(shù)差值未大于閾值的，設(shè)置該點(diǎn)為某一指定大小區(qū)域的中心點(diǎn)，對(duì)比融合圖與源圖像的歐式距離。對(duì)比該區(qū)域中融合圖與圖A、融合圖與圖B的歐式距離，選取距離較小者作為融合像素。當(dāng)某一指定區(qū)域大小為3×3時(shí)，那么選取次數(shù)相減圖中數(shù)字1的位置作為中心點(diǎn)，選定一個(gè)3×3區(qū)域，計(jì)算圖A和融合圖、圖B和融合圖對(duì)應(yīng)位置的歐式距離分別為distA和distB。圖6中distA=8.94，distB=6.93，說(shuō)明圖B和融合圖在該位置的歐式距離更小，所以紅色框內(nèi)應(yīng)選取圖B的像素作為融合像素。

圖6 采用歐式距離的判定過(guò)程

2.2 形態(tài)學(xué)的應(yīng)用

形態(tài)學(xué)方法的基礎(chǔ)是集合論，形態(tài)學(xué)通常用于二值圖像的邊界提取、骨架提取、孔洞填充、角點(diǎn)提取等，其基本算法包括膨脹、侵蝕、開運(yùn)算和閉運(yùn)算。其中形態(tài)學(xué)中的閉運(yùn)算過(guò)程是首先膨脹圖像，然后使用相同的結(jié)構(gòu)元素對(duì)圖像執(zhí)行腐蝕操作。而本文中多聚焦圖像融合方法的一個(gè)關(guān)鍵環(huán)節(jié)是在同一場(chǎng)景中的多聚焦圖像中尋找更清晰的像素。上一小節(jié)中闡述了滑窗圖像算法是通過(guò)比較滑窗內(nèi)像素的方差值大小，進(jìn)而選取清晰的像素，但圖像還是粗糙的，存在一定的噪聲，如圖7（b）所示的白色孔洞和黑色斑點(diǎn)。因此，我們可以使用形態(tài)學(xué)運(yùn)算來(lái)去除這些噪聲，具體實(shí)現(xiàn)過(guò)程及效果如圖7所示，我們首先使用skimage庫(kù)中的re?move_small_holes和remove_small_objects函數(shù)來(lái)將初次融合圖中顆粒狀的噪聲消除，然后再使用形態(tài)學(xué)閉運(yùn)算。

圖7 圖像形態(tài)處理

2.3 邊緣處理

當(dāng)圖像完成融合時(shí)，融合圖像的聚焦和非聚焦邊緣部分往往因像素相差過(guò)大而導(dǎo)致融合圖片并不柔和，因此本文將形態(tài)學(xué)處理過(guò)后的圖像進(jìn)行Canny算法的邊緣檢測(cè)，并進(jìn)行邊緣加權(quán)軟化，以增強(qiáng)圖像柔和性。如圖8所示。

圖8 邊緣處理

3 實(shí)驗(yàn)結(jié)果

在本節(jié)中，為了驗(yàn)證我們提出的融合方法的有效性，我們使用多聚焦圖像集進(jìn)行相關(guān)的定性和定量實(shí)驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)集如圖9所示，我們采用“l(fā)ytro”數(shù)據(jù)集的五組多焦圖像（lytro-02、lytro-08、lytro-12、lytro-13和lytro-18）進(jìn)行融合，實(shí)驗(yàn)環(huán)境為python-IDE。為了有效地驗(yàn)證我們提出的算法，我們綜合比較了基于變換域DWTDE、GD、MSVD、基于空間域BGSC和基于深度學(xué)習(xí)ECNN的融合算法。通常，我們可以通過(guò)人眼的視覺(jué)觀察直接、快速地了解到多聚焦圖像融合算法的效果，其不同融合算法的圖像融合結(jié)果如圖10所示。從圖10可以看出，BGSC算法的融合結(jié)果較差，其融合圖像的右側(cè)海面部分存在顆粒狀模糊，GD算法的融合結(jié)果的顏色也發(fā)生了扭曲。

圖9 用于融合的五組“l(fā)ytro”多聚焦真實(shí)環(huán)境源圖像

圖10 不同融合算法的圖像融合結(jié)果

但由于人類視覺(jué)的主觀性，人眼判斷其存在一定程度的誤差，為了更客觀地評(píng)價(jià)融合后的圖像的好壞，目前常用的客觀評(píng)價(jià)指標(biāo)主要有標(biāo)準(zhǔn)差（SD）、平均梯度（AG）、互信息（MI）、空間頻率（SF），值得注意的是以上評(píng)價(jià)指標(biāo)值越大，表示圖像融合后的質(zhì)量效果越好。不同算法的結(jié)果如表1所示。

表1 不同算法的融合評(píng)價(jià)指標(biāo)結(jié)果

續(xù)表1

在表1中，為了便于觀察，我們將最好的客觀指標(biāo)標(biāo)記為加粗?？梢钥闯?，在五組圖像數(shù)據(jù)集中累計(jì)20個(gè)指標(biāo)結(jié)果，本文提出的融合算法的量化指標(biāo)共累計(jì)有11個(gè)最優(yōu)，此外在lytro-02數(shù)據(jù)集中，在4個(gè)評(píng)價(jià)指標(biāo)中，雖然GD算法有3個(gè)指標(biāo)最優(yōu)，而本文提出的方法1個(gè)指標(biāo)最優(yōu)，3個(gè)指標(biāo)次優(yōu)，但是在圖10中人眼可見(jiàn)其融合結(jié)果顏色發(fā)生了扭曲。因此，顯而易見(jiàn)，本文提出的融合算法在定性和定量評(píng)價(jià)方面都有較好的效果，且該方法的穩(wěn)定性高。

4 結(jié)語(yǔ)

本文提出的多聚焦圖像融合算法，采用圖像滑窗的方法進(jìn)行滑窗方差大小的比較，實(shí)現(xiàn)每個(gè)像素的源圖像選取，很好地改進(jìn)了傳統(tǒng)基于空間域融合算法準(zhǔn)確性低的問(wèn)題。通過(guò)歐式距離判定也優(yōu)化了相似滑窗方差的像素?zé)o法判定的問(wèn)題。我們運(yùn)用形態(tài)學(xué)對(duì)初步融合的圖像進(jìn)行去噪處理，可以較好的實(shí)現(xiàn)了圖像融合效果。我們還對(duì)圖像進(jìn)行邊緣加權(quán)軟化，可以更好地滿足人眼的視覺(jué)需求。實(shí)驗(yàn)結(jié)果表明，我們提出的融合算法能夠簡(jiǎn)單有效的進(jìn)行圖像的快速融合，且融合結(jié)果的穩(wěn)定性較好。