基于卷積網(wǎng)絡(luò)實現(xiàn)圖像配準與圖像融合算法的研究

臧景峰 徐寧雪

摘要：圖像的配準與融合是計算機視覺和模式識別的研究熱點，在航拍視頻序列處理、醫(yī)學圖像分析、運動分析等領(lǐng)域有著廣泛的應(yīng)用。視頻增強技術(shù)只在去霧、圖像配準、圖像融合等某一個特定任務(wù)中表現(xiàn)很好，具有一定的局限性。而卷積神經(jīng)網(wǎng)絡(luò)的堆疊和利用可以同時實現(xiàn)視頻圖像增強所需的多種功能。本文采用孿生結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)圖像配準和圖像融合，具有重大應(yīng)用價值。

關(guān)鍵詞：孿生結(jié)構(gòu);圖像配準;圖像融合

引言

為獲得場景信息更豐富的圖像，通常用到圖像配準與圖像融合方法，圖像融合是將多幅不同圖像集成為一幅圖像，集成后的圖像蘊涵著所有圖像的優(yōu)勢信息，融合算法的基礎(chǔ)是圖像的配準技術(shù)，深度學習具有提升圖像融合和配準質(zhì)量的潛力。

1 孿生卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計

本文所設(shè)計的孿生卷積網(wǎng)絡(luò)（Siamese Network）由兩個權(quán)重相同的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）組成。每個CNN由兩個卷積層，兩個池化層，一個殘差塊以及一個全連接層組成的，將原本Siamese網(wǎng)絡(luò)中的一個卷積層換成了殘差塊。輸入的patch為16×16，即卷積層和池化層的通道數(shù)都是16（即卷積模板為16種），其卷積核的大小為3×3，池化窗口尺寸為2×2，卷積方式為零填充（zero padding），卷積層的激活函數(shù)為Relu，且子CNN輸出的是256維特征向量，每個池化層包括跨信道歸一單元。

2 基于Siamese網(wǎng)絡(luò)的圖像配準算法

本文提出一種孿生結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)來提取圖像卷積特征，算法先逐像素地提取固定圖像和浮動圖像的圖像塊對，并利用Siamese網(wǎng)絡(luò)提取圖像塊的特征。然后將提取到的特征構(gòu)建能量損失函數(shù)，通過最小化能量損失函數(shù)，在得到參考圖像與待配準圖像特征點的對應(yīng)關(guān)系后，以仿射變換模型來求解參數(shù)，仿射變換計算公式為：

在得到配準變換參數(shù)后，即可將待配準圖像轉(zhuǎn)換到參考圖像的坐標系下。本文采用三次樣條插值對待配準圖像進行插值，得到與固定圖像極為接近的配準后圖像。

3 基于Siamese網(wǎng)絡(luò)的圖像融合算法

3.1 基于Siamese網(wǎng)絡(luò)的圖像融合框架

整個圖像融合過程可以分為兩個部分，第一個部分用Siamese網(wǎng)絡(luò)進行圖像信息的提取得到一個權(quán)重圖，第二部分是利用小波變換分解后再融合對小波分解后的不同的子帶分別采用不同融合方法進行處理。基于Siamese網(wǎng)絡(luò)的圖像融合框架如圖1所示 。

先將第一部分得到的權(quán)重圖W經(jīng)過小波變換得到G{W}，再將兩張待融合圖片A和B進行小波變換分別得到W（A）和W（B），再將得到的G{W}和W（A）、W（A）分別進行基于邊緣檢測的小波變換圖像融合，最終進行小波逆變換得到最終的融合圖像。

3.2 融合規(guī)則

在小波分解這一過程中，選用Db4小波作為小波基對圖像與權(quán)值圖進行小波變換。

1）使用Canny邊緣檢測算法提取低頻分量中包含的邊緣輪廓細節(jié)后，對低頻分量以平均數(shù)法進行處理，再將提取出的邊緣輪廓細節(jié)與高頻分量內(nèi)相應(yīng)分辨率的點通過絕大值系數(shù)法進行處理，最后通過小波逆變換得到融合圖像。低頻分量平均數(shù)法表示為：

其中f1、f2表示原圖像分解后在對應(yīng)的（m，n）上的小波系數(shù)，f3表示結(jié)果圖像在（m，n）上的小波系數(shù)。

2）高頻系數(shù)絕大值法表示為：

式中表示小波分解系數(shù)。對子系數(shù)以小波逆變換處理，得到融合圖像。

4 實驗結(jié)果

本文方法與現(xiàn)存兩種融合方法基于導(dǎo)向濾波 （Guided Filtering，GF）的融合方法、基于小波變換（Wavelet Transform，WT）的融合方法進行比較，且比較了原始Siamese網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)果和改進后Siamese網(wǎng)絡(luò)的結(jié)果。為了更加客觀的表示融合效果，選取了幾個客觀的圖像融合評價標準?；バ畔?（MI），平均梯度 （AG），邊緣強度 （ES），最后給出了所有的方法在 CPU 上的運行時間作參考。對比結(jié)果如表1所示。

從表 1中可見，本文所用方法融合后圖像的MI和AG的數(shù)值都要大于用GF和WT的數(shù)值，說明本文所提方法融合后圖像包含原圖像的信息度上和清晰度上都要優(yōu)于GF和WT的融合圖像。與原始Siamese網(wǎng)絡(luò)結(jié)構(gòu)對比，運行時間明顯減少。綜上所述，本文所提出的方法是具有一定的實用性的。

5 結(jié)論

本文提出了一種基于改進的Siamese網(wǎng)絡(luò)的圖像配準與融合方法，將原本Siamese網(wǎng)絡(luò)中的一個卷積層換成了殘差塊，比原本的算法更為簡略，并且實驗所用的時間更短，實現(xiàn)了像素級的圖像融合。

參考文獻

[1]王金寶.基于圖像融合的實時全景融合模型的設(shè)計與實現(xiàn)[D].中國科學院大學（中國科學院沈陽計算技術(shù)研究所），2019.

[2]李增祥，漆志亮，賈楠，等.基于小波圖像金字塔的工件目標檢測與定位研究.現(xiàn)代電子技術(shù)，2019，42（15）：33–37.

[3]孔韋韋，雷陽，任聰，趙文陽.基于改進型CNN的多聚焦圖像融合方法[J].鄭州大學學報（理學版），2019，51（02）：29-33.

[4]Zhang Y，Liu Y，Sun P，etal.IFCNN：A general image fusion framework based on convolutional neural network.Information Fusion，2020，54：99-118.

[5]Eppenhof K A J，Lafarge M W，Moeskops P，etal.Deformable image registration using convolutional neural networks[C].Medical Imaging 2018：Image Processing.

基金項目：吉林省教育廳科學研究項目（JJKH20210839KJ），雨霧場景中基于卷積神經(jīng)網(wǎng)絡(luò)的視頻圖像增強方法研究