許亞男 錢葉旺 王鞠庭

摘要：傳統(tǒng)的金字塔融合方法是對金字塔分解后得到的頂層系數(shù)進行直接平均融合，其它各層系數(shù)選擇絕對值大者進行融合，視覺效果上存在模糊、細節(jié)缺失等缺點。為了彌補傳統(tǒng)金字塔融合方法的不足，對金字塔分解后的頂層采用K-SVD（K Singwar Value Decomposition）算法實現(xiàn)對系數(shù)的有效稀疏表達，其余層根據(jù)局部區(qū)域像素和的絕對值大小來選取系數(shù)。實驗表明：采用金字塔變換方法，結合K-SVD稀疏表示的融合規(guī)則，獲得的融合圖像視覺上更加清晰，定量評價指標也更優(yōu);并且形態(tài)學的金字塔在相同融合規(guī)則下獲得的視覺效果更好，評價指標也優(yōu)于其他幾種方法。

關鍵詞：金字塔變換;融合規(guī)則;K-SVD;稀疏表示

中圖分類號：TN911 文獻標志碼：A 文章編號：1008-4657（2020）05-0068-05

0 引言

從最初的信件、電報、電話到現(xiàn)在的視頻交流，數(shù)字圖像已經成為人們獲取信息的主要來源，同時也是人們進行溝通與交流的主要媒介。圖像傳感器是獲取數(shù)字圖像信息的重要途徑與手段，可以采集到不同來源的數(shù)字圖像，人們可以根據(jù)采集到的圖像，利用某些數(shù)學方法將這些圖像進行處理得到一幅信息豐富的高質量圖像，這就是圖像融合。它的應用領域包括：現(xiàn)代化工業(yè)生產監(jiān)控、基礎學科研究、宇宙開發(fā)、航海探測、軍事國防、醫(yī)學診斷、環(huán)境保護、資源調查等[1-4]。紅外圖像與可見光圖像融合是圖像融合中的重要分支之一，紅外圖像是根據(jù)不同物質熱輻射的不同來區(qū)分目標與背景，它不受光照的影響，能夠較好的反映溫度的分布，但是其空間分辨率不高，細節(jié)信息少;可見光圖像是依據(jù)人的視覺系統(tǒng)獲得物質的結構特點，具有較高的空間分辨率與對比度，細節(jié)表現(xiàn)能力強，但是會受到天氣情況與光照的影響。根據(jù)以上兩種圖像的互補性，將二者融合可以發(fā)揮二者的優(yōu)勢，在很多領域如軍事、國防、遙感、目標識別等很多領域都有應用[5-9]。

在金字塔融合方法中，對源圖像進行金字塔分解得到不同層的系數(shù)，對各層系數(shù)采用加權平均、絕對值取大、系數(shù)取大等融合規(guī)則進行融合處理，獲得的融合圖像不夠清晰，細節(jié)表現(xiàn)能力不強。為了得到更高質量的融合圖像，本文結合K-SVD算法[10]與區(qū)域絕對值取大方法，對金字塔分解后的各層系數(shù)進行有效融合。

1 金字塔變換

Burt P J等[11]于1983年提出了圖像金字塔結構來描述圖像。金字塔分解就是運用不同的算法將圖像逐層分解為尺寸遞減的多個圖像，結構上形似金字塔。它具有多尺度特性，圖像一層一層濾波后形成多個子圖，這些圖形按照由頂層往下構成一個金字塔的形狀，是一種有效的變換域融合方法。兩幅圖像的金字塔融合過程如圖1所示，圖中A、B代表源圖像，PD1、PD2與PD3代表不同分解層上的數(shù)據(jù)。然后選用不同的方法對分解所得的相同層的數(shù)據(jù)進行融合處理，獲取各層新的數(shù)據(jù)，最后根據(jù)新的數(shù)據(jù)逐層進行金字塔重構，得到最終融合后的圖像。

最初，人們構建的是一個高斯金字塔[11]，然后在此基礎上根據(jù)不同的數(shù)學運算構造其他幾種金字塔。高斯金字塔構建方法如下：

2 圖像融合規(guī)則

2.1 傳統(tǒng)的圖像融合規(guī)則

總體來說融合方法主要有針對像素和區(qū)域的兩種。

（1）像素加權平均

假設A（i，j）、B（i，j）分別代表兩幅源圖像在（i，j）處的像素值，該處融合后的像素值用F（i，j）表示，則其中，α1+α2=1，α1和α2的值可以根據(jù)實際情況來適當調整。當α1=α2=0.5時就是直接平均。

（2）像素取大

（3）區(qū)域絕對值取大

根據(jù)圖像的特點將其劃分成一定大小的區(qū)域，一般選擇3×3 ， 5×5 ，7×7等大小的窗口。區(qū)域絕對值取大就是選擇窗口內的像素和大的數(shù)據(jù)作為最終的數(shù)據(jù)。

2.2 基于K-SVD算法的稀疏表示

稀疏表示[5]就是根據(jù)給定的學習字典將信號用盡可能少的元素表示，實現(xiàn)用少量的信息表示信號的特征，以便達到對信號最優(yōu)的表示。利用稀疏表示的思想實現(xiàn)對信號f（n）的最優(yōu)表示，用公式表示如下上式中，f（n）表示的是稀疏函數(shù)，gi（n）表示的是信號矢量，將原信號按照gi（n）組成的集合展開，這個集合稱為字典D，具體表示為D={gi}，i=1，2，...，N，字典中元素稱為原子，展開的系數(shù)用ci表示，求解稀疏系數(shù)ci采用效率高的正交匹配追蹤（Orthogonal Matching Pursuit，OMP）算法[15]。由字典D選擇稀疏表示[5]的模型如下其中‖x‖0代表非零項的個數(shù)，ε代表允許的誤差。

K-SVD算法[16]是以訓練樣本為對象，從待處理的圖像數(shù)據(jù)中學習得到字典，不僅可以有效的體現(xiàn)圖像的特征，而且還可以提高字典的表達能力。構造訓練字典D具體分為稀疏表示與字典更新兩步：首先設定一個初始化的字典，然后用該字典對數(shù)據(jù)進行稀疏表示，得到稀疏矩陣X;接著對初始字典進行更新，使得稀疏矩陣表示的數(shù)據(jù)與原始數(shù)據(jù)之間的誤差盡可能小，這樣就可以得到一個可用字典，誤差矩陣的數(shù)學模型表示如下其中，Y代表樣本總體的集合，x代表稀疏矩陣，T0反映了稀疏的程度。

以更新字典的k列為例：設dk為字典的k列，xkT為稀疏矩陣的k行，計算誤差矩陣Ek的公式如下

結合K-SVD算法的金字塔融合方法具體步驟如下：首先對源圖像A、B分別進行金字塔分解，然后對分解后得到的各頂層系數(shù)采用8×8的窗口進行分塊，將每個圖像塊編纂得到相應的列向量V1、V2，將二者組成聯(lián)合矩陣V12作為初始字典;接著從圖像數(shù)據(jù)V12中學習更新字典，不斷迭代更新直到重建誤差為0.1獲得最終的冗余字典D，接著根據(jù)OMP算法選取稀疏系數(shù)x1和x2實現(xiàn)對圖像的稀疏處理;其余各層采用絕對值取大的方法進行融合;最后將各層數(shù)據(jù)進行金字塔重構得到融合后的圖像。

3 實驗結果與評價

選用配準后的可見光圖像與紅外圖像進行融合仿真實驗，兩幅大小為256×256的紅外與可見光的灰度圖像如圖2所示。傳統(tǒng)的幾種金字塔融合效果對比如圖3所示，分別將幾種金字塔變換方法結合頂層直接平均，其余層選取像素值絕對值大的系數(shù)保留，分解層數(shù)均選擇4層，然后頂層系數(shù)采用公式（11）計算融合后的系數(shù)（參數(shù)α1=α2=0.5），剩下各層系數(shù)使用公式（13）的方法計算融合后的系數(shù)。圖4顯示的是所有的頂層系數(shù)依據(jù)K-SVD稀疏表示（Sparse Representation，SR）算法，剩下各層依據(jù)區(qū)域絕對值取大的方法，對比幾種金字塔融合的效果分別如圖4的（a）、（b）、（c）、（d）所示。由圖3與圖4可以看出，在相同融合規(guī)則下，梯度金字塔融合的圖像視覺效果最差，形態(tài)學金字塔融合后獲得的圖像視覺效果最好，拉普拉斯金字塔與比率低通金字塔融合后視覺效果居中。

（a）紅外圖像（b） 可見光圖像

（a）拉普拉斯金字塔融合 （b）比率低通金字塔融合 （c）梯度金字塔融合（d）形態(tài)學金字塔融合

（a）拉普拉斯金字塔+SR（b）比率低通金字塔+SR（c）梯度金字塔+SR（d）形態(tài)學金字塔+SR

融合效果方面，視覺上取決于人的主觀視覺體驗，比較難掌控，也很難統(tǒng)一;評價指標可以比較直觀的反映融合的效果。本文選用了平均梯度、邊緣強度、標準差、空間頻率等評價指標[17]，以上所有指標數(shù)值越大，表明融合后圖像的質量越好。圖3與圖4對應的所有的評價指標如表1與表2所示。從表1與表2中可以看出，結合K-SVD稀疏表示算法融合后的各項指標均比加權平均得到的數(shù)值高;另外，同一種融合規(guī)則下，形態(tài)學金字塔的融合視覺效果最好，并且評價指標也最高。

4 總結

本文將幾種金字塔變換結合加權平均、絕對值取大以及K-SVD稀疏表示等融合規(guī)則對圖像進行融合處理，同時計算多個評價指標。分別從仿真的視覺效果與計算的評價參數(shù)上作對比，實驗表明：同一種金字塔變換，分解后的頂層系數(shù)使用K-SVD稀疏表示的融合算法比加權平均算法取得了更好的效果;此外，在相同融合規(guī)則下，形態(tài)學金字塔可以獲得更好視覺效果與評價指標。

參考文獻：

[1] 杜進楷，丁冬冬，龍海蓮，等.基于NSST和稀疏表示相結合的圖像融合算法[J].電腦知識與技術，2019，15（15）：217-221.

[2] 彭延軍，王瑾瑾，王元紅.基于拉普拉斯金字塔改進的圖像融合方法[J].軟件導刊，2016，15（1）：167-170.

[3] 余美晨，孫玉秋，王超.基于拉普拉斯金字塔的圖像融合算法研究[J].長江大學學報（自科版），2016，13（34）：21-26，4.

[4] 黃福升，藺素珍.基于拉普拉斯金字塔變換方法的多波段圖像融合規(guī)則比較[J].紅外技術，2019，41（1）：64-71.

[5] 傅志中，王雪，李曉峰，等.基于視覺顯著性和NSCT的紅外與可見光圖像融合[J].電子科技大學學報，2017，46（2）：357-362.