邸 敬,王國棟,馬 帥,廉 敬
基于MSPCNN與FCM的紅外與可見光圖像融合
邸 敬,王國棟,馬 帥,廉 敬
(蘭州交通大學 電子與信息工程學院,甘肅 蘭州 730070)
針對紅外和可見光圖像融合存在的輪廓信息不全、邊緣及紋理細節(jié)信息缺失等問題,提出一種改進簡化脈沖耦合神經(jīng)網(wǎng)絡(Improved Simplified Pulse Coupled Neural Network, MSPCNN)和模糊C-均值(Fuzzy C-mean, FCM)圖像融合算法。首先,將紅外和可見光圖像用非下采樣剪切波算法(Non-Subsampled Shearlet Transform,NSST)分解為高低頻子帶;然后對分解后的高頻子帶采用MSPCNN融合,用一種高斯分布權(quán)重矩陣進行處理,增強細節(jié)信息和對比度;接著,將得到的低頻子帶圖像使用FCM聚類算法進行聚類中心提取,設置聚類中心近似閾值簡化過程,實現(xiàn)背景分類提?。蛔詈罄鸑SST進行逆變換,從而完成紅外和可見光的圖像融合過程。通過客觀評價指標計算,本文所提方法在平均梯度、標準差、平均相似度等參考指標上相對于其他同類型算法均有改善提高,由于模型參數(shù)的簡化,算法運行速度相對于其他算法得到提升,算法更適用于復雜場景。
圖像融合;非下采樣剪切波算法;脈沖耦合神經(jīng)網(wǎng)絡;模糊C-均值
在一些存在云、煙、霧等惡劣環(huán)境的時候,即使是光照不是很好的條件下,紅外圖像仍然可以對需要的目標圖像有一定的檢測能力[1],缺陷是在成像后,分辨率較低,在一些細節(jié)方面并不能很好地呈現(xiàn),且背景模糊[2]的目標??梢姽鈭D像相較于紅外圖像可以使捕獲的目標相對清晰,含有充分細節(jié)信息,目標成像后的分辨率較高,但是當環(huán)境惡劣或者光照不足時會導致成像效果變差,產(chǎn)生嚴重干擾[3]。因此采用多尺度分解技術(shù)提取兩種圖像各自高低頻子帶的特征信息,通過對兩種特征的有效結(jié)合,既可以使目標細節(jié)信息充足而且使場景清晰,在天氣惡劣的情況下能夠?qū)崟r、精準地對目標進行成像[4]。目前,紅外與可見光圖像融合的應用場景是軍事、安全、空間、醫(yī)學和目標識別等領(lǐng)域[5]。
非下采樣剪切波(Non-Subsampled Shearlet Transform, NSST)算法是一種多尺度變換方法,相較于其他算法,它的功能更加完備,有各向異性、物體平移不變性以及多分辨率較好等優(yōu)勢[6],當圖像邊緣處存在偽吉布斯現(xiàn)象時,NSST可以有效解決,應用NSST在圖像融合上的算法經(jīng)過對高低頻子帶的處理之后,得到的融合圖像效果優(yōu)于輪廓波變換、小波變換[7]以及非下采樣輪廓波變換(Non-Subsampled Contourlet Transform, NSCT)[8]等傳統(tǒng)多尺度變換方法。近些年,各種融合方法不斷涌現(xiàn),尤其是利用NSST變換的分析法先實現(xiàn)圖像分解[9],其具備多尺度、平移不變性、方向多樣化等優(yōu)勢。文獻[10]提出的融合算法是通過將NSST與脈沖耦合神經(jīng)網(wǎng)絡(Pulse Coupled Neural Network, PCNN)聯(lián)合,該算法對提取后的高頻子帶圖像使用自適應PCNN進行處理,可以保留圖像細節(jié)信息,但該方法相對實現(xiàn)復雜且參數(shù)難以設置。PCNN作為第三代人工神經(jīng)網(wǎng)絡[11]具有神經(jīng)元的動態(tài)性、脈沖發(fā)放的同步化以及動態(tài)性、乘性調(diào)制作用等6個特征,基于此,PCNN倍受關(guān)注具有很大的發(fā)展前景。文獻[12]提出NSCT與PCNN神經(jīng)網(wǎng)絡模型結(jié)合的圖像融合算法,該算法使用加權(quán)濾波優(yōu)化PCNN處理之后的高頻子帶,使得最終融合效果明顯提升,缺點是實時性較差且計算復雜度高,不易應用到實際環(huán)境中。文獻[13]提出的融合算法是基于PCNN與IFS(Iterator Function System),該算法對PCNN的點火時間進行優(yōu)化縮減,并應用到高頻子帶,更好地保留了圖像邊緣特征,但在實際操作中需要人工提前對參數(shù)進行設置,操作相對困難。模糊C-值(Fuzzy C-mean, FCM)是一種對樣本先進行模糊歸屬的劃分方法,屬于無監(jiān)督模式算法的一種[14],其分類性能相對優(yōu)異。文獻[15]提出NSST和FCM結(jié)合的融合算法,低頻子帶使用FCM進行迭代分類處理,可以較好保留原圖背景信息,但FCM迭代過程相對復雜,算法運算速率受到影響[16]。
針對上述問題,在高低頻子帶融合過程中,若是將傳統(tǒng)PCNN模型直接應用其中并不能很好地使低頻子帶中的信息完整保留,因此,本文提出一種基于MSPCNN-FCM的紅外與可見光圖像融合改進算法。該算法先通過NSST對圖像進行分解提取得到高子帶圖像和低頻子帶圖像,這些子帶圖像分別來自紅外和可見光圖像,隨后利用MSPCNN對高頻子帶圖像進行融合處理,通過FCM對所提取到的低頻子帶圖像進行融合處理。
Guo和Labate針對NSCT計算復雜度過高無法應用在實時性要求高的場合的問題提出Shearlet變換[17],但是Shearlet變換在圖像處理時利用下采樣在圖像邊緣產(chǎn)生吉布斯效應。Easley等在Shearlet變換上進行改進[18],在處理圖像時避免了下采樣,因此NSST變換被提出。圖1表示的是NSST分解過程的框架,可劃分為多尺度分解與方向局部化兩個步驟[19],在多尺度分解的過程中,需要對最開始的圖像進行分解,采用非下采樣金字塔變換(NSP)原始圖像分解成高低頻子帶圖像,不存在中頻子帶。將所得到的低頻子帶圖像再次通過NSP分解,當達到提前設置的分解次數(shù)時結(jié)束分解操作[20],因此當原始的二維圖像經(jīng)過次NSP分解后,得到的高頻分量會有個,而低頻圖像僅有一個,這些圖像的尺寸大小與源圖像的一致;而方向局部化則表示在經(jīng)過多次NSP分解后所得到的高頻子帶圖像處,先構(gòu)造一個剪切波濾波器(Shear-wave Filter, SF),將二者進行卷積后會得到所有方向的詳細信息。為了保證變換過程中的平移不變形,將SF應用到剪切波變換,利用其平移不變性實現(xiàn)偽極化網(wǎng)格系統(tǒng)映射到笛卡兒坐標系統(tǒng),避免下采樣過程。
圖1 NSST變換分解過程
通過模擬動物視覺皮層系統(tǒng)處理信號的過程,一種新型的神經(jīng)網(wǎng)絡模型——脈沖耦合神經(jīng)網(wǎng)絡模型被提出。為了區(qū)別于傳統(tǒng)神經(jīng)網(wǎng)絡,對圖像進行處理的操作時,PCNN不用訓練樣本的步驟,可以極大地提高運行速度,有效提升了圖像處理的時效性。然而PCNN模型結(jié)構(gòu)復雜、參數(shù)復雜。針對此,采用一種基于高斯分布的權(quán)重矩陣設置方法,將傳統(tǒng)PCNN模型中的權(quán)重矩陣參數(shù)和鏈接強度參數(shù)合并為一個參數(shù),提出改進簡化的MSPCNN。針對圖像高頻部分,使用MSPCNN算法能夠有效地保證高頻子帶融合效果,并且因為參數(shù)的簡化,算法運行速度得到提升。具體模型如圖2所示。
圖2 MSPCNN模型
數(shù)學方程式為:
式中:代表迭代次數(shù);U代表活動項,位于神經(jīng)元內(nèi)部;Y表示神經(jīng)元的輸出值;E表示神經(jīng)元的門限或者稱為神經(jīng)元動態(tài)點;S表示神經(jīng)元所收到的外部激勵;是反饋輸入?yún)^(qū)的加權(quán)矩陣。
FCM算法是屬于質(zhì)心算法的一種,圖像處理過程中不用預分類,識別模式屬于無監(jiān)督。處理過程中,第一步確定樣本對不同類的隸屬度,當需要描述邊緣像素時,就利用提前賦予的隸屬度實現(xiàn)完整描述,通過迭代算法得到的數(shù)據(jù)可完成自動分類,由此可以看出FCM算法的優(yōu)點是對于性能分類的能力較強。FCM算法在分類之前需要計算出相對應的歐氏距離,需要應用某個最優(yōu)準則去優(yōu)化目標函數(shù)。
設個數(shù)據(jù)樣本={1,2, ……, x}是樣本集,其中,x表示樣本中所包含的元素,代表樣本集中存在的個數(shù),通過FCM算法可將樣本集劃分成個子集1,2, ……, X,在隸屬度下求解滿足要求的劃分方式可以轉(zhuǎn)換為求數(shù)學規(guī)劃的方法。目標函數(shù)的數(shù)學公式為:
約束條件為:
本文的融合方法是先用NSST對紅外與可將光圖像進行分解得到各自相對應的高低頻子帶圖像。針對目前算法不能很好地保留圖像局部的邊緣和細節(jié)信息,高頻子帶采用MSPCNN進行處理,低頻子帶采用FCM算法進行處理,高低頻子帶融合過程同步進行。最后使用逆NSST變換合成最終融合圖像。算法的具體處理流程如圖3所示。
1)利用NSST變換提取紅外和可見光圖像各自對應的高低頻子帶圖像。
2)對經(jīng)NSST分解得到的高頻子帶采用MSPCNN進行融合,采用一種高斯分布的權(quán)重矩陣控制內(nèi)部活動項以及神經(jīng)元點火過程之后的動態(tài)閾值變化值。將提取的高頻圖像特征作為MSPCNN的刺激輸入,可以充分保留圖像的細節(jié)信息,得到新的融合高頻子帶圖像。
3)對得到的低頻子帶采用FCM進行融合處理,計算選取聚類中心和數(shù)據(jù)隸屬度并進行分類,設置聚類中心近似閾值簡化計算過程,處理結(jié)束得到新的融合低頻子帶圖像。
4)將各自進行處理的融合高低頻子帶圖像經(jīng)過逆NSST變換,輸出獲得所需的紅外與可見光融合圖像。
高頻子帶圖像反映源圖像的邊緣、輪廓等信息。輸入激勵的選取優(yōu)化可以增強融合圖像的整體信息和對比度。本文對高頻融合規(guī)則采用MSPCNN模型,提取高頻子帶信息并簡化參數(shù),提升高頻融合效果。選用高頻子帶絕對值作為MSPCNN的激勵記為I和V,并將其作為MSPCNN網(wǎng)絡中的反饋輸入。即:
U[]=I, Y[]=V(6)
將高頻分量輸入之后,采用一種基于高斯分布的權(quán)重矩陣設置方法,它將傳統(tǒng)PCNN模型中的權(quán)重矩陣參數(shù)和鏈接強度參數(shù)合并為一個參數(shù),該參數(shù)控制鄰域神經(jīng)元與中心神經(jīng)元的作用力的大小,其表達式如下:
圖3 MSPCNN與FCM結(jié)合的圖像融合模型
為了更好地控制內(nèi)部活動項的大小,增加了調(diào)節(jié)參數(shù),通過大量實驗該參數(shù)可被設定為:
=e-2(8)
為了更好地調(diào)節(jié)動態(tài)閾值的大小,引入了動態(tài)閾值調(diào)節(jié)參數(shù),該參數(shù)的表達式為:
=e-4(9)
為了更加精確控制神經(jīng)元點火以后動態(tài)閾值的變化值,引入了乘積因子和加性因子,它們的表達式如下:
=¢+¢8(10)
=1 (11)
式中:¢表示整幅圖像的大津閾值;¢8的主要作用是用來對動態(tài)閾值進行微調(diào)。最后根據(jù)內(nèi)部活動項的變化規(guī)律對幅度參數(shù)進行設置,該參數(shù)的表達式為:
=e-+e-2+e-3+e-4(12)
源圖像的背景信息等需要從低頻子帶圖像中提取,為了準確、快速地提取所需的目標和背景信息。FCM需要反復計算選取聚類中心和數(shù)據(jù)隸屬度并進行分類,具體計算公式如下:
計算樣本x對于類A的隸屬度u和個聚類中心{v}:
設I={|2≤<;d=0},對于所有的類,∈I,u=0。
式中:是參考點的數(shù)值。
為簡化選取過程,提出一個聚類中心近似閾值D進行輔助選取,用于表示第x個像素點到其他任一像素點的距離。D的表達式為:
通過不斷計算D值來確定不同的下一個聚類中心,距離聚類中心越近的像素點D值越小,可以排除成為聚類中心的可能,通過和閾值大小的比較可以減少原算法計算聚類中心的迭代次數(shù),降低算法所需要的時間,提升運行速度。通過簡化迭代過程,可以快速獲取到全部的聚類中心,同時計算樣本對于各個中心的隸屬度,完成整個聚類劃分過程實現(xiàn)低頻子帶特征提取與融合。
為驗證本文算法的可行性與有效性,實驗中分別選取單人、多人、物體、有霧、人物被遮擋以及人的細節(jié)6組不同的紅外與可見光圖像場景進行融合,并與其他6種算法進行比較,對性能進行數(shù)值上體現(xiàn)比較。從主觀感受與客觀指標兩方面分別對融合圖像進行評價:主觀感受方面對本文算法得到的融合圖像與其他6種算法得到的融合圖像進行視覺效果比較;客觀方面從平均梯度(Average,AVG)、結(jié)構(gòu)相似性(Structure Similarity, SSIM)、邊緣保留因子(Questions about Behavioral Functions,AB/F)、峰值信噪比(Peak signal-to-noise ratio,PSN)、空間頻率(Spatial frequency,SF)、圖像清晰度(Full Definition,F(xiàn)D)以及時效性7個方面進行評價。對比的6種算法為:基于PCA的融合方法,基于NSCT-PCNN的融合方法、基于NSST-PCNN的融合方法、基于PCNN-IFS的融合方法,基于NSST-FCM的融合方法,基于NSST-PA-PCNN的融合方法。
從圖4對比結(jié)果中可以直觀看出,第一組基于PCA方法得到的融合圖像對比度和清晰度低,圖像邊緣在不同場景中都較為模糊,所提取目標表現(xiàn)過暗,并且會出現(xiàn)一些偽影現(xiàn)象,且運算效率不高,本文算法在保證對比度和清晰度的同時極大提升了算法效率。第二組基于NSCT-PCNN方法得到的圖像不能完全提取所需要的背景細節(jié)信息,人物細節(jié)模糊,本文算法可以保留所需的可見光背景。第三組基于NSST-PCNN方法得到的融合圖像缺失了部分紅外目標信息,本文算法可以很好地提取所需紅外目標信息,并保證相對應的背景信息。第四組基于PCNN-IFS方法得到的融合圖像對比度和灰度層次感相對不足,本文算法可以比較好地提升對比度信息。第五組基于NSST-FCM方法得到的融合圖像雖然能有效地突出所提取的前置目標信息,但丟失了部分細節(jié)、紋理信息。第六組基于NSST-PA-PCNN方法得到的融合圖像存在部分人造偽影。相比較,本文算法對所需要提取的目標紋理保留得較為完整,且有效地表現(xiàn)出需要標注的區(qū)域。
圖4 不同算法在6種不同場景下的融合圖像
為了客觀地評價圖像的融合效果,本文采用了上文所述的客觀評價指標,計算6種對比算法和本文算法的指標值,計算結(jié)果如表1所示。
表1 不同方法的客觀評價指標均值
從表1中可以看出:本文算法在6組不同的融合圖像上分別能對不同客觀指標做到優(yōu)化提升,以第一個場景為例,本文算法的AVG、SSIM以及PSN均優(yōu)于其他幾種算法,SF和FD僅次于基于NSST-FCM的方法,而AB/F低于基于PCNN-IFS的方法、基于NSST-FCM的方法,與主觀視覺觀察到的圖像相呼應。本文算法在最終融合圖像中表現(xiàn)良好,能夠有效地提取高低頻子帶信息并體現(xiàn)在最終融合圖像中,突出兩種源圖像的各自特點。
記錄本文算法和其他6組對比算法的運行時間,統(tǒng)計結(jié)果如表2所示,本文算法相比其他6組實驗,運行速度在不同場景都能做到相應優(yōu)化。由于本文改進的MSPCNN對于參數(shù)的減少、FCM迭代過程的優(yōu)化有效降低了計算復雜度,時效性具有明顯優(yōu)勢。通過對主觀效果圖的直接觀察以及對計算得出的客觀指標評價比對,可以看出本文算法在最終融合圖像效果勝于表中所列其余算法。
表2 不同算法在6種不同場景下的融合時間
本文算法先用NSST分解提取紅外與可見光圖像的高低頻子帶,然后對高低頻子帶采用不同的方法同步進行融合:對于高頻部分使用改進簡化的MSPCNN模型進行處理,在保證所需要的提取信息時,簡化模型參數(shù)提升運行速度,保證得到的高頻子帶圖像融合效果;對于低頻部分使用FCM進行處理,設置閾值簡化迭代,快速實現(xiàn)對于提取的低頻子帶圖像融合。實驗結(jié)果觀察最終融合圖像的主觀表現(xiàn),計算對比客觀指標的數(shù)據(jù),綜合評估下可以驗證本文算法的可行優(yōu)異性。
[1] WANG Z G, WEI W, SU B. Multi-sensor Image fusion algorithm based on multiresolution analysis[J]., 2018, 14(6): 44.
[2] SHEN Yu, CHEN Xiaopeng, YUAN Yubin, et al. Infrared and visible image fusion based on significant matrix and neural network[J]., 2020, 57(20): 56.
[3] González José R, Dami?o Charbel, Moran Maira, et al. A computational study on the role of parameters for identification of thyroid nodules by infrared images (and comparison with real data) [J]., 2021, 21(13): 4459.
[4] XING Xiaoxue, LIU Cheng, LUO Cong, et al. Infrared and visible image fusion based on nonlinear enhancement and NSST decomposition[J]., 2020(1): 125.
[5] ZHANG Kang, HUANG Yongdong, YUAN Xia, et al. Infrared and visible image fusion based on intuitionistic fuzzy sets[J]., 2020(4): 85.
[6] LIU Zhanwen, FENG Yan, CHEN Hang, et al. A fusion algorithm for infrared and visible based on guided filtering and phase congruency in NSST domain[J]., 2017, 97(6): 23.
[7] 王麗麗, 劉輝, 郭肇祿. 圖像融合在域內(nèi)的算法研究進展[J].計算機技術(shù)與發(fā)展, 2021, 31(11): 8-14.
WANG Lili, LIU Hui, GUO Zhaolu. Research progress of image fusion algorithm in domain [J]., 2021, 31(11): 8-14.
[8] 徐慧嫻, 黃坤超, 陳明舉, 等. 基于深層次多分類生成對抗網(wǎng)絡的紅外與可見光圖像融合方法[J/OL].電子測量技術(shù), 2022, 3: 1-10.
XU Huixian, HUANG Kunchao, CHEN Mingju, et al. Infrared and visible image fusion method based on deep multi classification to generate countermeasure network [J/OL]., 2022, 3: 1-10
[9] 許麗娜, 周丹丹, 高翾, 等.一種結(jié)合GIHS、NSST和PCA的全色多光譜影像融合方法[J/OL]. 武漢大學學報: 信息科學版, 2022, 3: 1-17.
XU Lina, ZHOU Dandan, GAO Zhen, et al. A panchromatic multispectral image fusion method combining GHIS, NSST and PCA [J/OL].: Information Science Edition, 2022, 3: 1-17.
[10] 李向陽, 曹宇彤, 陳笑, 等. 基于自適應NSST-PCNN的紅外與可見光圖像融合方法研究[J]. 長春理工大學學報: 自然科學版, 2021, 44(5): 12-18.
LI Xiangyang, CAO Yutong, CHEN Xiao, et al. Research on infrared and visible image fusion method based on adaptive nsst-pcnn [J].: Natural Science Edition, 2021, 44(5): 12-18.
[11] SHEN Yu, YUAN Yubin, PENG Jing. Research on near infrared and color visible fusion based on PCNN in transform domain[J].2021, 41(7): 65.
[12] 劉帥, 王磊, 郝永平, 等. 基于NSCT與改進PCNN的紅外與可見光圖像融合方法研究[J]. 光電技術(shù)應用, 2021, 36(4): 60-65.
LIU Shuai, WANG Lei, HAO Yongping, et al. Research on infrared and visible image fusion method based on NSCT and improved PCNN [J]., 2021, 36(4): 60-65.
[13] 戴文戰(zhàn), 王琪. 基于PCNN與IFS的可見光與紅外圖像融合方法[J]. 光電子·激光, 2020, 31(7): 738-744.
DAI Wenzhan, WANG Qi. Visible and infrared image fusion method based on PCNN and IFS [J].2020, 31(7): 738-744.
[14] WU Chenwen, MA Ning, JIANG Yufan. Weighted FCM clustering algorithm based on jeffrey divergence similarity measure[J]., 2021, 58(8): 67
[15] 鞏稼民, 劉愛萍, 張晨, 等. 基于FCM與ADSCM的紅外與可見光圖像融合[J]. 激光與光電子學進展, 2020, 57(20): 222-230.
GONG Jiamin, LIU Aiping, ZHANG Chen, et al. Infrared and visible image fusion based on FCM and adscm[J]., 2020, 57(20): 222-230.
[16] ZHANG Hongna, YAN Wei, ZHANG Chunyou, et al. Research on image fusion algorithm based on NSST frequency division and improved LSCN[J]., 2021, 26(5): 53.
[17] GUO K, Labate D. Optimally sparse multidimensional representation using shearlets[J].s, 2007, 39(1): 298-318.
[18] Easley G, Labate D, LIM W Q. Sparse directional image representation using discrete shearlet transform[J]., 2008, 25(1): 25-46.
[19] YAN Peizhou, ZOU Jiancheng, LI Zhengzheng, et al. Infrared and visible image fusion based on NSST and RDN[J]., 2021, 28(1): 35.
[20] TAN Wei, ZHANG Jiajia, XIANG Pei, et al. Infrared and visible image fusion via NSST and PCNN in multiscale morphological gradient domain[J].VI, 2021, 11353: 54.
Infrared and Visible Image Fusion Based on MSPCNN and FCM
DI Jing,WANG Guodong,MA Shuai,LIAN Jing
(School of Electronic and Information Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China)
Aiming at the problems of incomplete contour information, missing edge and texture details in infrared and visible image fusion, A Improved Simplified Pulse Coupled Neural Network (MSPCNN) and Fuzzy C-mean (FCM) image fusion algorithm is proposed. First, infrared and visible images were decomposed into high and low frequency sub-bands using the Non-Subsampled Shearlet Transform (NSST).Then MSPCNN is used to fuse the decomposed high frequency subband, and a Gaussian distribution weight matrix is used for processing to enhance the detail information and contrast. Then, the obtained low-frequency sub-band images were extracted by using FCM clustering algorithm, and the approximate threshold of clustering center was set to simplify the process to achieve background classification extraction.Finally, the inverse transformation of NSST is carried out to complete the infrared and visible image fusion process.Through objective evaluation index calculation, compared with other algorithms of the same type, the method proposed in this paper has been improved in terms of average gradient, standard deviation, average similarity and other reference indexes. As the running speed of simplified algorithm of model parameters has been improved, the timeliness of the algorithm in this paper has been improved compared with other algorithms, and the algorithm is more suitable for complex scenarios.
image fusion, non-subsampled shearlet transform, pulse coupled neural network, fuzzy C-mean
TP391.9
A
1001-8891(2023)01-0069-08
2022-06-29;
2023-01-12.
邸敬(1979-),女,甘肅蘭州人,碩士,副教授,碩士生導師,主要從事圖像檢測識別、信號處理技術(shù)和寬帶無線通信方面的研究。E-mail: 46891771@qq.com。
甘肅省科技技術(shù)資助(22JR5RA360);國家自然科學基金(62061023,61941109);甘肅省高等學校創(chuàng)新能力提升項目(2019B-052);甘肅省杰出青年基金(21JR7RA345)。