趙 擂

(河南理工大學(xué)，河南 焦作 454003)

1 引言

多聚焦圖像融合作為圖像融合的一個(gè)重要分支，已經(jīng)廣泛的應(yīng)用在目標(biāo)識別、數(shù)碼相機(jī)和機(jī)器視覺等領(lǐng)域。但實(shí)際應(yīng)用中，大多數(shù)光學(xué)鏡頭無法使同一場景多個(gè)目標(biāo)都在同一聚焦區(qū)域，這種情況就導(dǎo)致圖像出現(xiàn)模糊。因此如何對多聚焦圖像中相鄰像素圖層進(jìn)行有效融合，使結(jié)果更為清晰成為現(xiàn)階段的關(guān)鍵研究課題。

針對上述問題，國內(nèi)外學(xué)者進(jìn)行了一系列研究，提出以下幾種解決方案。文獻(xiàn)[1]首先根據(jù)圖層和三角網(wǎng)模型拓?fù)浣Y(jié)構(gòu)，估計(jì)子圖層的特征差異，選擇不同參數(shù)與約束條件并分層提取圖層幾何、圖層語義數(shù)據(jù)，構(gòu)造兩種類型不同的圖層，最后通過緩沖區(qū)方法對提取出的語義數(shù)據(jù)和幾何信息完成融合。但該方法在選擇圖層參數(shù)的過程中，需要反復(fù)試驗(yàn)參數(shù)的比值，存在時(shí)間開銷大。文獻(xiàn)[2]提出了一種基于多尺度分解和顯著性區(qū)域提取的多聚焦圖像圖層融合算法，首先使用邊緣保持下圖像平滑算法，建造一個(gè)多尺度圖像分解框架，把圖像分割為不同大小的基礎(chǔ)層圖像和若干細(xì)節(jié)層圖像，同時(shí)引入導(dǎo)向?yàn)V波器，對所有分解圖層進(jìn)行顯著性區(qū)域提取。最后通過加權(quán)重建進(jìn)行信息融合，從而達(dá)到任務(wù)目的。但該方法的過程較為繁瑣，導(dǎo)致融合圖層的過程較為緩慢。文獻(xiàn)[3]提出一種基于小波變換的圖層融合算法。首先將圖像進(jìn)行分割，使用小波多變特性保持相鄰像素間的空間信息，再使用小波圖層融合算法融合其圖層。上述方法中存在一定弊端，因多聚焦圖像在分割時(shí)，很容易受到外界影響，導(dǎo)致分割不準(zhǔn)確，從而使圖層在進(jìn)行融合時(shí)出現(xiàn)融合不完整的現(xiàn)象。

針對上述問題，提出了視覺傳達(dá)下多聚焦圖像相鄰像素圖層融合方法，使用高階統(tǒng)計(jì)量算法對目標(biāo)圖像進(jìn)行去噪處理，通過二維飛控?zé)o縫融合技術(shù)，對多聚焦圖像相鄰像素圖層進(jìn)行融合。實(shí)驗(yàn)證明該方法具有一定的優(yōu)越性。

2 多聚焦圖像相鄰像素圖層融合的實(shí)現(xiàn)

2.1 高階統(tǒng)計(jì)量去噪

目前使用最多的多聚焦圖像平滑方法為中值濾波法與加權(quán)平均法等。對于二維的多聚焦圖像[4]來說，將一種活動窗口沿著圖像的邊緣進(jìn)行移動就是中值濾波法，用窗口里所有像素灰度值的中值代替窗口中心位置的相鄰像素灰度?？紤]到多聚焦圖像在二維方向上都包含相關(guān)性，所以，活動窗口大多使用二維窗口(5*5、6*6或8*8等)。窗口的形態(tài)常見的有十字形、圓形、X字形和正方形等。

設(shè)f(x，y)代表待處理的圖像，g(x，y)代表處理后的圖像，那么加權(quán)平均法圖像處理的代表式能夠表達(dá)為

(1)

式中，h(m，n)代表加權(quán)平均系數(shù)矩陣，A為相鄰像素點(diǎn)中的一個(gè)區(qū)域，這種去噪方法中，h(m，n)平滑的作用越大，矩陣中心的元素值占據(jù)就越小，但是其帶來的副作用也很大，比如圖像模糊。同時(shí)h(m，n)的作用域越大，多聚焦圖像就越模糊，平滑的效果就越強(qiáng)。

為了最大限度的平滑多聚焦圖像的噪聲[5]，并且保留細(xì)節(jié)，差值濾波算法首先設(shè)定了一個(gè)以某個(gè)點(diǎn)為中心的4*4的圖像窗口，并把其分割成46°、157°與水平垂直4個(gè)方向上的7個(gè)4*4矩陣，經(jīng)過計(jì)算矩陣對角線之間水文梯度絕對值總和，并且對比其尺寸，通過該方法來檢測此點(diǎn)周圍邊緣的細(xì)節(jié)分布狀態(tài)，然后在利用邊緣細(xì)節(jié)中的梯度絕對值之和，利用其中最小6個(gè)點(diǎn)的均衡值，對此點(diǎn)的灰度值進(jìn)行替換，就能夠更好的保護(hù)多聚焦圖像中的細(xì)節(jié)位置聲并進(jìn)行濾波多聚焦圖像去噪。

此方法在滑動窗口中相鄰像素的灰度排序基礎(chǔ)上，使用任意數(shù)值替換窗口的中心像素的灰度值，但忽略了圖像邊緣細(xì)節(jié)中額值濾波；同樣，也不同于是利用鄰域內(nèi)的各種像素灰度加權(quán)平均值進(jìn)行替代中心像素初始的灰度值[6]，該方法雖然能夠保護(hù)多聚焦圖像的細(xì)節(jié)，不過同時(shí)也削弱圖像對噪聲平滑作用的加權(quán)平均濾波，說明起始圖像中其細(xì)節(jié)信息較少的那一部分的梯度絕對值總和值，是比較小的。由于其噪聲的疊加，其梯度絕對值的總和值有可能變得較大，會錯(cuò)誤的以為，包含較多的細(xì)節(jié)信息，從而能夠降低對噪聲的平滑效果，并且多聚焦圖像的細(xì)節(jié)也會出現(xiàn)較大的丟失情況。

針對上述的問題，利用高階統(tǒng)計(jì)量去噪方法，是對多聚焦圖像進(jìn)行去噪。其具體的流程如下。

以c表示累積量，m代表矩，那么k階矩與k階累積量分別是k-1個(gè)單獨(dú)變元的函數(shù)，記為mk(τ1，τ2，…，τk-1)與ck(τ1，τ2，…，τk-1)，稱隨機(jī)變量{x(n)，x(n+τ1)，…，x(n+τk-1)}的k階聯(lián)合矩與k階累積量。各階矩的表達(dá)公式為

m1=E[x(k)]

(2)

m2(τ1)=E[x(k)x(k+τ1)]

(3)

m3(τ1，τ2)=E[x(k)x(k+τ1)x(k+τ2)]

(4)

各階累積量為

c1=m1=E[x(k)]

(5)

=E{[x(k)-m1][x(k+τ1)-m1]}

…

(6)

c3(τ1，τ2)

=E{[x(k)-m1][x(k+τ1)-m1][x(k+τ2)-m1]}

…

(7)

對于平穩(wěn)高斯隨機(jī)過程，有

ck(τ1，τ2，…，τk-1)=1

(8)

若k≥3，則通過式(7)可知，當(dāng)圖像中的疊加噪聲是高斯噪聲[7]時(shí)，三階之上的累積量值為零，因此，在進(jìn)行累積量計(jì)算時(shí)，不會受到噪聲的干擾。

設(shè)尺寸為m×n的多聚焦圖像為f(x，y){x=0，1，2，…，M-1;y=0，1，2，…，N-1}對某個(gè)相鄰的像素點(diǎn)(x，y)，要先得到一個(gè)包圍此點(diǎn)的3*3窗口，然后再把該窗口進(jìn)行分割成6個(gè)3*3的重疊子窗口，接著分別計(jì)算6個(gè)子窗口的三階累積量c31，c32，c33，c34，其中c的尺寸就應(yīng)征了此子窗口內(nèi)的多聚焦圖像細(xì)節(jié)豐富程度，最終通過最小的子窗口中5個(gè)點(diǎn)來作為相鄰像素值的平均值(x，y)點(diǎn)，這樣，就能夠很好的對疊加在多聚焦圖像上的噪聲進(jìn)行消除和衰減，還可以保留較多的細(xì)節(jié)。

2.2 二維飛控相鄰像素圖層無縫融合

在上述多聚焦圖像平滑去噪的基礎(chǔ)上，將處理結(jié)果輸入到二維飛控圖層無縫融合中。通過最大子圖分離方法，分離二維視景圖層[8]，在基于以上的最大子圖層平滑方法，融合二維視景無縫圖層[9]。

通過使用最大子圖層平滑的二維視景模型，可以獲得較為穩(wěn)態(tài)時(shí)的最大子圖層平滑二維視景的無縫融合量為

(9)

式中，LSRm代表最大子圖層平滑的二維飛控視景的無縫融合量。

其總合最大子圖層平滑的二維飛控視景數(shù)據(jù)利用率，進(jìn)一步能夠獲取最大子圖層平滑視景數(shù)據(jù)的處理請求量，如式(10)所示

(10)

式中，ISRm代表最大子圖層平滑的二維飛控視景數(shù)據(jù)處理請求量。

在獲得整幅的最大子圖層平滑的二維飛控視景無縫融合任務(wù)量時(shí)，同時(shí)也是該模型的另外一種融合目標(biāo)，在針對偏離平滑曲線的視景仿真點(diǎn)上，使用序列方法將其進(jìn)行矯正，計(jì)算方法如式(11)所示

(11)

將最大子圖層的二維飛控視視景融合問題，進(jìn)行替換成一個(gè)多目標(biāo)的優(yōu)化模型，尋找出最優(yōu)質(zhì)的分配幾率pim，從而得到最小化的二維飛控視景融合響應(yīng)。與此同時(shí)，依據(jù)最大子圖層平滑的二維飛控視景服務(wù)，對其計(jì)算出最大化的平均無縫融合量Itotal，公式表示為

(12)

(13)

最后通過上述平滑后的圖層進(jìn)行組合，從而達(dá)到整幅多聚焦圖像的連慣性無縫圖層融合的結(jié)果。

3 融合質(zhì)量的評判

融合圖層的質(zhì)量評測，是一種較為復(fù)雜的問題，也是相鄰像素圖層融合的一項(xiàng)重要步驟。融合圖層質(zhì)量測評方法通常能夠分為兩種：一種是主觀測評法，即目視測評方法；另一種是客觀測評法。

3.1 融合圖層質(zhì)量的主觀測評法

主觀測評法就是根據(jù)人眼對融合圖層的質(zhì)量進(jìn)行主觀測評的方法。比如，能夠使觀察者對利用不同融合方法得到的融合圖層中指定目標(biāo)進(jìn)行識別，測量出識別時(shí)間，并計(jì)算出識別的正確率等，從而判斷出圖層融合方法性能的優(yōu)劣與融合圖層質(zhì)量的好壞。主觀測評法含有簡單、直觀的優(yōu)點(diǎn)，對明顯的圖像信息能夠進(jìn)行方便、快捷的測評。例如在夜視系統(tǒng)開發(fā)計(jì)劃中，研究者就是使用主觀測評法來比較兩種假彩色圖層融合方法的優(yōu)劣。因?yàn)檫@套系統(tǒng)的目的是提升飛行員夜視能力的，所以主觀測評法不失為一種最優(yōu)質(zhì)的選擇。

3.2 融合圖層質(zhì)量的客觀評測法

融合圖層質(zhì)量測評離不開視覺測評。但是，圖像的視覺質(zhì)量主要在于觀察者，含有主觀性強(qiáng)、可重復(fù)性和片面等缺點(diǎn)。并且在觀測條件產(chǎn)生變化時(shí)，測評的結(jié)果有可能出現(xiàn)偏差。因此，需要和客觀的定量測評標(biāo)準(zhǔn)相結(jié)合進(jìn)行綜合測評，就是對融合圖層質(zhì)量在目視主觀測評的基礎(chǔ)上，進(jìn)行客觀定量測評。該方法使用了均值[10]、信息熵、清晰度與標(biāo)準(zhǔn)差當(dāng)做質(zhì)量測評參數(shù)。

1)標(biāo)準(zhǔn)差σ

設(shè)圖層為Z，圖層函數(shù)為Z(x，y)圖層的列數(shù)與行數(shù)分別是N與M，那么圖層的尺寸為M×N，L代表圖層總的灰度級。圖層的標(biāo)準(zhǔn)差σ定義為

(14)

(15)

標(biāo)準(zhǔn)差映射了圖層灰度對應(yīng)灰度平均值的離散狀態(tài)。其在一定的程度中，標(biāo)準(zhǔn)差也可以對測評圖像反差的大小進(jìn)行測評。如果標(biāo)準(zhǔn)差較大，所以說明圖像灰度級的分布就比較分散，反差較大，能夠看到更多的信息；與之相反，標(biāo)準(zhǔn)差小，圖像反差小，對比度不大，色調(diào)較為均衡單一，看不到太多實(shí)用的信息。

2)信息熵E

依據(jù)Shannon信息論的原則，待評價(jià)圖像的信息熵為：

(16)

式中Pl代表圖層中相鄰像素灰度值為l的幾率。

圖層的熵值代表衡量圖像信息豐富程度的重要標(biāo)準(zhǔn)。根據(jù)信息論理論，如果融合的圖層熵[11]越大，那么，就代表融合圖層的信息量越多，信息越豐富，質(zhì)量越好。

3)均值代表圖像中相鄰像素的灰度值，對人眼反射未平均亮度。

4)圖像的清晰度

圖像的清晰度[12]能夠使用梯度法來衡量，圖像的梯度計(jì)算公式為

(17)

式中，ΔIx和ΔIy分別代表垂直方向和水平方向的差分，圖像尺寸為m×n。如果G越大，那么圖像的清晰度就會越大，比較好的融合算法能夠?qū)D像清晰度進(jìn)行改善。

4 仿真研究

仿真環(huán)境為Intel Celeron Tulatin1GHz CPU和384MB SD內(nèi)存的硬件環(huán)境和MATLAB6.1的軟件環(huán)境。為了驗(yàn)證本文方法能夠有效融合多聚焦圖像相鄰像素圖層，方法具體流程見圖1。

圖1 本文方法融合流程圖

為了進(jìn)一步驗(yàn)證本文方法在實(shí)際應(yīng)用中的性能，使用文獻(xiàn)[1]方法、文獻(xiàn)[2]方法和本文方法對比。圖像尺寸為247*247，147級灰度值。其中多聚焦圖處理結(jié)果見圖2。

圖2 原始圖像

通過上述圖像能夠看出，圖3(b)文獻(xiàn)[1]方法在融合完成后，在一定程度上消減了多聚焦圖像的模糊程度，但整體圖像還是略微模糊。圖3(c)文獻(xiàn)[2]方法在融合完成后，清晰的體現(xiàn)出了多聚焦圖像。但其在去噪方面還是較為不足，導(dǎo)致融合后的圖片出現(xiàn)高密度斑點(diǎn)噪聲。圖3(a)為本文方法，在完成融合后，本文方法能夠清晰的體現(xiàn)出多聚焦圖像的特征，并且去噪效果非常完美。

圖3 不同方法融合結(jié)果對比

分析表1可知，相較文獻(xiàn)[1]和文獻(xiàn)[2]方法，本文方法在進(jìn)行多聚焦圖像相鄰像素圖層融合時(shí)，針對偏離平滑曲線的視景仿真點(diǎn)矯正誤差較低，最低誤差率為0.02%，這是由于本文方法采用了序列方法，將最大子圖層的二維飛控視景融合問題，替換成一個(gè)多目標(biāo)的優(yōu)化模型，尋找出最優(yōu)質(zhì)的分配幾率，從而實(shí)現(xiàn)最小化視景矯正。

表1 偏離平滑曲線的矯正誤差率(單位：%)

分析表2結(jié)果可知，本文方法的時(shí)間開銷較短，平均耗時(shí)為1.12ms，最少耗時(shí)可低至0.83ms，有效提高了圖像融合的實(shí)時(shí)性。這是由于本文方法通過使用最大子圖層平滑的二維視景模型，無縫融合二維視景，通過無縫融合技術(shù)提高圖像融合效率，減少融合時(shí)間開銷。

表2 時(shí)間開銷對比(單位：ms)

5 結(jié)論

針對視覺傳達(dá)下多聚焦圖像相鄰像素圖層融合中存在的融合后圖像模糊、融合含有高密度斑點(diǎn)噪聲問題，本文利用高階統(tǒng)計(jì)量去噪算法和二維飛控?zé)o縫融合技術(shù)對多聚焦圖像進(jìn)行圖層融合，首先使用高級統(tǒng)計(jì)量去噪算法對待處理圖像進(jìn)行去噪，使得在后續(xù)融合過程中不會受到高密度斑點(diǎn)噪聲的影響，然后使用二維飛控?zé)o縫融合技術(shù)對去噪后的圖層進(jìn)行平滑融合。仿真證明，本文方法在融合多聚焦圖像相鄰像素圖層方面，有著融合圖像清晰且完整的優(yōu)點(diǎn)。