基于多光譜圖像融合的掌紋識(shí)別方法

許學(xué)斌，邢瀟敏，安美娟，曹淑欣, 孟 堪，路龍賓

1. 西安郵電大學(xué)計(jì)算機(jī)學(xué)院，陜西 西安 710121 2. 西安郵電大學(xué)陜西省網(wǎng)絡(luò)數(shù)據(jù)分析與智能處理重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710121

引 言

生物特征識(shí)別在現(xiàn)代信息社會(huì)中扮演著越來越重要的角色[1]。掌紋作為一種新興的生物特征，具有識(shí)別率高、 用戶友好性優(yōu)秀、 穩(wěn)定性強(qiáng)等顯著優(yōu)點(diǎn)，被認(rèn)為是最有效的身份鑒別方案之一[2]。掌紋識(shí)別[3]是基于手掌信息(包括主線、 皺紋和細(xì)紋)來驗(yàn)證一個(gè)人的身份，傳統(tǒng)掌紋識(shí)別方法主要從單一的光譜波段獲取特征，無法獲得足夠的身份鑒別信息。多光譜掌紋圖像利用不同波長的光譜對(duì)皮膚的吸收和反射率不同，捕獲每個(gè)波段中特定和互補(bǔ)的掌紋特征，從而有效地提升掌紋識(shí)別效果。在最近的研究中，使用多光譜掌紋圖像而非利用單個(gè)光譜圖像來提高掌紋識(shí)別系統(tǒng)的準(zhǔn)確性是一種日益增長的趨勢(shì)[4-5]。

多光譜掌紋識(shí)別技術(shù)主要集中在兩個(gè)方向，即在像素級(jí)和匹配分?jǐn)?shù)級(jí)融合多光譜信息。對(duì)于像素級(jí)融合，基本思想是在一定的尺度空間上提取掌紋圖像的顯著特征，再將其集成在一起，最后通過執(zhí)行逆變換重構(gòu)要識(shí)別的融合圖像。研究主要集中在基于金字塔和基于小波變換。Hao等[6]對(duì)小波變換、 梯度金字塔、 形態(tài)金字塔和Curvelet變換四種融合方案進(jìn)行比較，分別在可見光和近紅外掌紋圖像的兩個(gè)不同光譜帶上進(jìn)行了評(píng)估。此外，其他一些創(chuàng)新方法，如非采樣輪廓波變換(NSCT)、 離散小波變換(DWT)、 平移不變數(shù)字小波變換(SIDWT)和數(shù)字剪切波變換(DST)在多光譜掌紋圖像融合中得到了廣泛和成功的應(yīng)用，Meng[7]等提出利用梯度下降的同時(shí)增強(qiáng)融合圖像分辨率，效果顯著。在匹配分?jǐn)?shù)級(jí)融合的情況下，分別從不同的光譜帶提取掌紋特征，然后使用比較器獲得匹配分?jǐn)?shù)。這些匹配分?jǐn)?shù)依次使用求和規(guī)則進(jìn)行融合，然后對(duì)融合結(jié)果進(jìn)行驗(yàn)證。例如，Xu等[8]提出了主成分分析(QPCA)方法來分析在四個(gè)不同光譜波段采集的掌紋圖像，使用加權(quán)和規(guī)則在四個(gè)不同等級(jí)之間進(jìn)行比較分?jǐn)?shù)級(jí)融合，與單個(gè)等級(jí)相比，加權(quán)和規(guī)則表現(xiàn)出更好的性能。Khan等[9]在執(zhí)行匹配分?jǐn)?shù)級(jí)融合之前，將輪廓代碼(CC)應(yīng)用于多光譜圖像的表示。

在上述工作中，像素級(jí)多光譜掌紋圖像融合方案更具吸引力，因?yàn)樗梢杂行У厝コ萍y圖像采集過程中可能存在的噪聲。在多光譜掌紋識(shí)別中，近紅外光譜下捕獲的掌紋圖像信息量少但較為重要，可見光譜下更關(guān)注掌紋圖像的背景信息。近紅外和可見光譜圖像往往具有較低的相關(guān)性，因此將多光譜掌紋圖像進(jìn)行融合的可靠方法是將近紅外光譜下處理后的顯著特征與可見光譜下提取到的特征進(jìn)行融合。

提出了一種基于多尺度分解的多光譜掌紋圖像識(shí)別算法。首先，將快速自適應(yīng)二維經(jīng)驗(yàn)?zāi)Ｊ椒纸?FABEMD)分別應(yīng)用在不同光譜的掌紋圖像上提取顯著特征。其次，考慮到近紅外光譜圖像的特征，通過Bezier插值對(duì)圖像進(jìn)行背景重建，再利用光譜間差異估計(jì)可能的近紅外背景細(xì)化紅外特征。再次，考慮到直接對(duì)圖像進(jìn)行加權(quán)融合可能會(huì)產(chǎn)生過度曝光的問題，提出對(duì)近紅外特征壓縮后再加權(quán)融合，使融合圖像包含足夠的身份鑒別信息。最終，為了提高識(shí)別精度降低計(jì)算成本，提出了一種結(jié)合了注意力機(jī)制的改進(jìn)殘差網(wǎng)絡(luò)對(duì)融合圖像進(jìn)行分類。

1 實(shí)驗(yàn)部分

1.1 多光譜掌紋成像與采集

數(shù)據(jù)集來源于香港理工大學(xué)生物特征識(shí)別研究中心[10]，多光譜掌紋采集設(shè)備結(jié)構(gòu)如圖1，由CCD攝像機(jī)(靈敏度：1Lux)、 鏡頭(焦距：3.6 mm)、 A/D轉(zhuǎn)換器、 多光譜光源和光控制器組成。該設(shè)備可以捕獲分辨率為352×288或704×576的掌紋圖像。在采集過程中，用戶需要將手掌放在設(shè)備面板上，通過面板上的控制點(diǎn)固定手掌。由于連續(xù)燈光間切換時(shí)間非常短，設(shè)備可以在一秒內(nèi)采集四種光譜下的掌紋圖像。兩幅圖像之間的平移或旋轉(zhuǎn)非常小，因此圖像融合時(shí)不再需要配準(zhǔn)。

圖1 多光譜掌紋成像設(shè)備Fig.1 Schemetic diagram of the multispectralpalmprint imaging device

從采集的圖像中提取感興趣區(qū)域(ROI)是多光譜掌紋識(shí)別的關(guān)鍵步驟，ROI是后續(xù)圖像處理的根本運(yùn)算區(qū)域。采用基于最大內(nèi)切圓法的分割方法[11]，如圖2所示，在對(duì)掌紋圖像二值化后，以手掌外側(cè)輪廓作為定位參考線，以手掌上最大內(nèi)切圓的圓心為原點(diǎn)來構(gòu)建掌紋圖像坐標(biāo)系，裁剪內(nèi)接正方形即掌紋ROI。圖2(d)為分割后近紅外光譜下的掌紋ROI，大小為128×128。這種分割方法能有效地增強(qiáng)掌紋圖像中主線和褶皺線的對(duì)比度，降低掌紋采集時(shí)旋轉(zhuǎn)和平移的影響。

圖2 多光譜掌紋ROI提取過程 (a)：近紅外光譜下掌紋圖像; (b)：二值化; (c)：最大內(nèi)切圓; (d)：近紅外掌紋ROIFig.2 Multispectral palmprint ROI extraction process (a)：Near-infrared palmprint; (b)：Binarization; (c)：Maximum incision circle; (d)：Near-infrared palmprint ROI

1.2 基于多尺度分解的多光譜掌紋圖像識(shí)別算法

圖3為所提出的基于多尺度分解的多光譜掌紋圖像識(shí)別算法流程，該算法主要包括四個(gè)步驟，首先多光譜掌紋圖像執(zhí)行快速自適應(yīng)二維經(jīng)驗(yàn)?zāi)Ｊ椒纸?FABEMD)。其次，對(duì)近紅外光譜下分解后的二維固有模態(tài)函數(shù)(BIMF)通過Bezier插值重建背景，利用光譜特性差異預(yù)估可能的背景從而對(duì)顯著特征進(jìn)行細(xì)化。再次，為避免各光譜特征直接融合產(chǎn)生過度曝光的問題對(duì)近紅外特征進(jìn)行壓縮后加權(quán)融合。最終，利用結(jié)合了注意力機(jī)制的改進(jìn)殘差網(wǎng)絡(luò)對(duì)多光譜掌紋融合圖像進(jìn)行分類。

圖3 基于多尺度分解的多光譜掌紋圖像識(shí)別算法流程Fig.3 Multispectral palmprint ROI extraction process

1.2.1 快速自適應(yīng)二維經(jīng)驗(yàn)?zāi)B(tài)分解

快速自適應(yīng)二維經(jīng)驗(yàn)?zāi)Ｊ椒纸?FABEMD)是一種新型信號(hào)自適應(yīng)處理工具[12-13]，目的是將信號(hào)分解成一系列頻率由高到低的二維固有模態(tài)函數(shù)(BIMF)和一個(gè)殘余分量。FABEMD算法采用順序統(tǒng)計(jì)濾波器和平滑濾波器生成上下包絡(luò)曲面，其中濾波器大小由數(shù)據(jù)推導(dǎo)而來，BIMF的生成基于迭代篩選。令源信號(hào)為I，BIMF為S，殘余量為R，2D信號(hào)I分解過程可由式(1)表示

(1)

FABEMD具體分解步驟如下：

Step1：設(shè)置i=1并初始化J1=I。

Step2：如圖4所示，利用相鄰窗口搜索策略識(shí)別出局部極大值矩陣Mi和局部極小值矩陣Ni。如果一個(gè)數(shù)據(jù)點(diǎn)的值高于或低于鄰域窗口內(nèi)的所有值，則該數(shù)據(jù)點(diǎn)被視為局部極值。需要注意的是，在邊界或角點(diǎn)處尋找極值點(diǎn)時(shí)，一般忽略圖像外的鄰域。通常，3×3是最佳窗口大小。

Step3：根據(jù)局部極值Mi和Ni確定統(tǒng)計(jì)排序?yàn)V波器的最佳窗口大小，對(duì)每個(gè)局部極大值Mi計(jì)算到其他局部極大值的歐式距離，并將其存儲(chǔ)在數(shù)組dadj-max中。同樣地，向量組dadj-min也是這樣計(jì)算的。其中數(shù)組大小與極值數(shù)量相同。考慮到窗口形狀，統(tǒng)計(jì)排序?yàn)V波器總的窗口尺寸取決于式(2)—式(4)四種方式

Wen-g=d1=min{min{dadj-max}，min{dadj-min}}

(2)

Wen-g=d2=max{max{dadj-max}，min{dadj-min}}

(3)

Wen-g=d3=max{min{dadj-max}，min{dadj-min}}

(4)

Wen-g=d4=min{max{dadj-max}，max{dadj-min}}

(5)

最終窗口大小Wen是對(duì)Wen-g奇數(shù)取整，多光譜掌紋圖像的中窗口范圍為3～69。

圖4 局部極大極小映射 (a)：源信號(hào)矩陣; (b)：局部最大值矩陣; (c)：局部最小值矩陣Fig.4 Mapping of local maxima and local minima (a)：Source signal; (b)：Local maxima map; (c)：Local minima map

Step4：首先，將窗口大小為wen×wen的max和min濾波器根據(jù)式(6)和式(7)生成上下包絡(luò)。

(6)

(7)

其中，zmn是大小為wen×wen的方形區(qū)域，中心為矩陣Ji中點(diǎn)(m，n)，UEi(m，n)為區(qū)域zmn中的最大值，即點(diǎn)(m，n)的上包絡(luò)值。同理，LEi(m，n)為點(diǎn)(m，n)在zmn區(qū)域的最小值，即點(diǎn)(m，n)的下包絡(luò)值。為了獲得上下包絡(luò)線的光滑連續(xù)曲面，對(duì)UEi(m，n)和LEi(m，n)進(jìn)行平滑操作

(8)

(9)

Step5：通過Si=(UEi+LEi)/2計(jì)算第i個(gè)BIMF。令i=i+1,Ji=Ji-1-Si-s, 重復(fù)Step2至Step5, 直至分解的BIMF個(gè)數(shù)為k，停止分解。

基于上述步驟，2D信號(hào)I被分解為k個(gè)BIMF再根據(jù)式(1)計(jì)算剩余殘量R。圖5為綠色光譜下的掌紋圖像通過FABEMD算法分解的結(jié)果，可以看出分解后的BIMFs包含穩(wěn)定的掌紋特征，其中圖5 (g)是對(duì)k個(gè)BIMFs求和得到的特征顯著的圖像。

圖5 使用FABEMD對(duì)掌紋圖像進(jìn)行分解 (a)：綠色光譜下掌紋圖像; (b)：BIMF1; (c)：BIMF2; (d)：BIMF3; (e)：BIMF4; (f)：殘差余量; (g)：SGFig.5 Decompositions of a palmprint image using FABEMD (a)：Green ROI; (b)：BIMF1; (c)：BIMF2; (d)：BIMF3; (e)：BIMF4; (f)：The residue; (g)：The sum of K BIMF

1.2.2 近紅外背景重建及特征細(xì)化

在實(shí)際應(yīng)用中，多光譜圖像采集過程并不像圖1中描述的那樣受到限制，并且采集過程中光照條件不穩(wěn)定，而近紅外光譜圖像在進(jìn)行FABEMD分解時(shí)對(duì)光照變換非常敏感，容易導(dǎo)致分解后的BIMF背景信息過于冗余。由此，對(duì)近紅外光譜分解求和后的顯著圖像重建背景，通過平滑背景來解決近紅外光譜圖像背景信息過于冗雜的問題。

形態(tài)學(xué)算子和Bezier插值是兩種應(yīng)用廣泛的背景重建技術(shù)。形態(tài)學(xué)開放算子可以有效地估計(jì)紅外背景，但估計(jì)的背景往往會(huì)產(chǎn)生遮擋偽影，影響融合后圖像識(shí)別準(zhǔn)確性。而Bezier插值可以生成一個(gè)平滑的凸背景，該背景與實(shí)際背景非常相似且能有效剔除冗余背景。因此，采用Bezier插值算法來重建近紅外背景。Bezier插值是通過插值一些已知的控制點(diǎn)來恢復(fù)大規(guī)模矩陣的算法，這些控制點(diǎn)可以自適應(yīng)地估計(jì)圖像背景。為了準(zhǔn)確地重建紅外背景，在近紅外掌紋圖像中均勻采樣九個(gè)控制點(diǎn)，并插值重建Bezier曲面如式(10)

(10)

相較于其他光譜，近紅外光譜下的掌紋圖像包含的特征對(duì)后續(xù)身份識(shí)別影響較大。通過對(duì)數(shù)據(jù)集分析處理，發(fā)現(xiàn)近紅外光譜下掌紋圖像平均灰度值均大于其他光譜，且與綠色光譜下的掌紋圖像平均灰度值差異最大。因此，利用插值后近紅外圖像與通過FABEMD算法分解后的綠色光譜圖像灰度差異的正部分來估計(jì)可能的近紅外背景區(qū)域，并對(duì)估計(jì)的背景乘以適當(dāng)?shù)囊种票葋磉M(jìn)一步細(xì)化紅外特征。

(11)

1.2.3 多光譜掌紋圖像融合

直接融合所有多光譜掌紋圖像有時(shí)會(huì)產(chǎn)生過度曝光，如圖7(a)所示，融合圖像上的曝光點(diǎn)會(huì)影響后續(xù)身份識(shí)別，為避免產(chǎn)生這一問題，對(duì)處理后的近紅外光譜掌紋特征進(jìn)一步壓縮。

(12)

圖6 近紅外掌紋圖像處理過程 (a)：近紅外掌紋ROI; (b)：SI(BIMF求和);插值(特征細(xì)化)Fig.6 Near-infrared palmprint image processing

(13)

圖7 多光譜掌紋融合圖像 (a)：未經(jīng)過特征壓縮的融合圖像; (b)：經(jīng)過特征壓縮的融合圖像Fig.7 Multispectral palmprint fusion image (a)：Fused images without feature compression; (b)：Fused images with feature compression

至此，將所有光譜下處理后的掌紋圖像通過式(14)進(jìn)行融合。

(14)

圖8 多光譜掌紋融合過程 (a): SR(紅色光譜下分解求和的圖像); (b): SG; (c): SB; (d): (經(jīng)過壓縮的紅外特征); (e): 融合圖像Fig.8 Multispectral palmprinu fusion process (a): SR (red in FABEMD); (b): SG; (c): SB; (d): (NIR with feature compression); (e): Fusion process

1.2.4 結(jié)合了注意力機(jī)制的改進(jìn)殘差網(wǎng)絡(luò)(IRCANet)

隨著卷積神經(jīng)網(wǎng)絡(luò)不斷深入，由梯度爆炸和梯度彌散引起的網(wǎng)絡(luò)退化問題使得學(xué)習(xí)難度不斷增加。ResNet[14]利用殘差塊作為網(wǎng)絡(luò)基本單元，引入恒等映射來緩解這一問題。然而，簡單地疊加殘差塊以構(gòu)建更深的網(wǎng)絡(luò)很難獲得更好地改進(jìn)，并且殘差網(wǎng)絡(luò)平等地對(duì)待每個(gè)通道特征，缺乏跨特征通道的學(xué)習(xí)能力，對(duì)融合后的多光譜掌紋圖像中的高低頻信息不能有效區(qū)分，從而影響最終身份識(shí)別效果。為了解決這些問題，提出了一種基于通道注意力機(jī)制的改進(jìn)殘差網(wǎng)絡(luò)(IRCANet)。

圖9顯示了本文所提出的IRCANet整體網(wǎng)絡(luò)架構(gòu)，它主要包括三個(gè)部分：在卷積層對(duì)淺層特征進(jìn)行提取，再繼續(xù)輸入結(jié)合了注意力機(jī)制的改進(jìn)殘差模塊(IRG)模塊中提取有區(qū)分度的高頻顯著特征，最終通過全連接層進(jìn)行分類識(shí)別。

圖9 結(jié)合了注意力機(jī)制的改進(jìn)殘差網(wǎng)絡(luò)的架構(gòu)Fig.9 Network architecture of improved residual channel attention network (IRCANet)

圖10 傳統(tǒng)殘差結(jié)構(gòu)與分階段殘差結(jié)構(gòu)Fig.10 Original ResBlock and ResStageBlock

首先，利用一個(gè)卷積層(Conv)從融合后的掌紋圖像T中提取出淺層特征T0，如式(15)

T0=Uconv(T)

(15)

在網(wǎng)絡(luò)訓(xùn)練初期，考慮到傳統(tǒng)殘差模塊主傳播路徑的ReLU函數(shù)可能通過將信號(hào)歸零的方式對(duì)信息在網(wǎng)絡(luò)間的傳播產(chǎn)生負(fù)面影響，如圖10(a)。直接允許信號(hào)以不受控制的方式通過網(wǎng)絡(luò)會(huì)使完整信號(hào)變得非標(biāo)準(zhǔn)化，導(dǎo)致網(wǎng)絡(luò)在后期訓(xùn)練困難。

由此，引入了一種分階段殘差結(jié)構(gòu)(ResStage Block)，為信息傳播提供了更好的路徑，如圖10(b)；首先在每個(gè)階段連接處引入批量歸一化(BN)模塊，使信號(hào)穩(wěn)定地進(jìn)入下一階段傳播。其次，通過固定主路經(jīng)上的ReLU函數(shù)數(shù)量，避免在網(wǎng)絡(luò)加深時(shí)信號(hào)傳輸受阻。這種新的分階段學(xué)習(xí)殘差結(jié)構(gòu)相較于傳統(tǒng)殘差塊堆疊的結(jié)構(gòu)，能夠有效緩解網(wǎng)絡(luò)的退化問題，在學(xué)習(xí)過程中減少信息丟失，促進(jìn)了信息在網(wǎng)絡(luò)中的傳播。

對(duì)于融合后的多光譜掌紋圖像，分階段殘差結(jié)構(gòu)能夠穩(wěn)定地將圖像信息在網(wǎng)絡(luò)間傳輸，但對(duì)圖像中的高低頻信息區(qū)分效果不夠顯著。由此，為了使網(wǎng)絡(luò)關(guān)注更多區(qū)分性特征，利用特征通道間的相互依賴性，在改進(jìn)的殘差塊中引入通道注意力(channel attention)機(jī)制。如圖11。在新的殘差結(jié)構(gòu)中，融合圖像里的高頻信息在訓(xùn)練過程中更容易被關(guān)注。這種結(jié)合了注意力機(jī)制的改進(jìn)殘差結(jié)構(gòu)能夠在減少信息丟失的同時(shí)更關(guān)注通道間的特征信息，不僅能促進(jìn)信息在網(wǎng)絡(luò)中的傳播還能更進(jìn)一步地增強(qiáng)網(wǎng)絡(luò)的辨別能力。

圖11 結(jié)合了注意力機(jī)制的殘差模塊Fig.11 Improved residual block with channel attention

由此，將提取出的淺層特征T0輸入結(jié)合了注意力機(jī)制的改進(jìn)殘差模塊即IRG模塊。

TDF=UIRG(T0)

(16)

最終，通過全連接層對(duì)輸出的深層特征進(jìn)行分類處理

F=UFC(TDF)=UIRCAN(T0)

(17)

式(17)中，UFC和UIRCAN分別表示全連接層和本文所提出的IRCANet結(jié)構(gòu)，F(xiàn)表示網(wǎng)絡(luò)分類結(jié)果。

2 結(jié)果與討論

對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析，并評(píng)估了所提出方法的性能。利用精準(zhǔn)度(Accuracy)作為作評(píng)估標(biāo)準(zhǔn)，定義如式(18)

(18)

式(18)中，NumTP+TN為正確識(shí)別的樣本數(shù)，NumTP+FP+TN+FN為表示樣本總數(shù)。

實(shí)驗(yàn)所使用的計(jì)算機(jī)配置是：64位的Windows 10操作系統(tǒng)，仿真軟件采用MATLAB 2020a，CPU為Intel Core i7-10750H CPU，內(nèi)存64 GB, GPU 是RTX 2080 Ti。

2.1 多光譜掌紋數(shù)據(jù)集

采用香港理工大學(xué)提供的PolyU多光譜掌紋數(shù)據(jù)庫[8]。圖像來自20～60歲的195名男性志愿者和55名女性志愿者，總共分兩次采集，時(shí)間間隔約9 d，每次采集左右手掌共12張圖像。掌紋圖像采集于四個(gè)光譜波段，即紅色、 綠色、 藍(lán)色和近紅外波段。每個(gè)波段有6 000張來自500個(gè)不同手掌的圖像。圖12展示了一些多光譜掌紋ROI樣本。

2.2 實(shí)驗(yàn)參數(shù)討論

通過實(shí)驗(yàn)對(duì)FABEMD算法中順序統(tǒng)計(jì)濾波器的窗長大小(d1,d2,d3,d4)及分解的BIMF個(gè)數(shù)進(jìn)行討論，結(jié)果如圖13所示。為了測(cè)試BIMF數(shù)量的影響，將分解個(gè)數(shù)K值從1逐漸增加到6，可以觀察到K值為4時(shí)并且當(dāng)濾波器窗長為d1時(shí)，效果最好。

為了獲得IRCANet最優(yōu)參數(shù)，按照訓(xùn)練集、 測(cè)試集7∶3的比例隨機(jī)對(duì)融合圖像進(jìn)行劃分，再根據(jù)所設(shè)置的參數(shù)進(jìn)行不同的實(shí)驗(yàn)對(duì)比，得到的結(jié)果如表1所示，當(dāng)IRCANet使用最優(yōu)的參數(shù)設(shè)置時(shí)，融合圖像平均精準(zhǔn)度最高可以達(dá)到99.67%。

2.3 實(shí)驗(yàn)結(jié)果分析

每個(gè)光譜帶可以捕獲一些特定的和互補(bǔ)的手掌特征，為掌紋識(shí)別提供不同的信息。近紅外光譜的掌紋圖像包含的特征更為顯著，對(duì)后續(xù)身份識(shí)別干擾性強(qiáng)。為了驗(yàn)證本文所提出的對(duì)多光譜掌紋圖像融合策略有效，將近紅外光譜圖像處理后再融合與直接加權(quán)融合進(jìn)行比較。表2展示了三個(gè)光譜帶與近紅外光譜不同組合測(cè)試本文所提出的融合策略結(jié)果。圖14表示在融合所有光譜的條件下，三種融合策略最優(yōu)的識(shí)別精準(zhǔn)度?？梢杂^察到，采用直接加權(quán)的融合策略近紅外與紅色光譜融合效果最好，但也僅僅達(dá)到92.04%，對(duì)一些高精度識(shí)別很難符合要求。在對(duì)近紅外圖像進(jìn)行背景重建后，融合圖像識(shí)別效果顯著增強(qiáng)，融合所有光譜后精準(zhǔn)度能夠達(dá)到95.12%。由此，進(jìn)一步對(duì)紅外特征細(xì)化，很明顯，對(duì)于任何融合組合，本文所提出的對(duì)近紅外特征進(jìn)行背景重建及特征細(xì)化后再融合的策略效果顯著，在融合所有光譜的情況下，識(shí)別精準(zhǔn)度為99.67%。

圖12 PolyU掌紋數(shù)據(jù)集Fig.12 Multispectral palmprint samples in the PolyU database

圖13 FABEMD算法中設(shè)置不同參數(shù)的效果Fig.13 Accuracies of different K values in FABEMD

表1 調(diào)整IRCANet參數(shù)平均準(zhǔn)確率Table 1 Average accuracies of different IRCANet parameters

利用識(shí)別精準(zhǔn)度作為度量對(duì)結(jié)合了注意力機(jī)制的改進(jìn)殘差模塊、 分階段學(xué)習(xí)殘差模塊和傳統(tǒng)殘差模塊進(jìn)行比較。表3描述了不同光譜組合在三種殘差模塊下的識(shí)別精準(zhǔn)度，圖15表示在融合所有光譜的條件下，各殘差模塊最好的效果?？梢园l(fā)現(xiàn)，本文所提出的結(jié)合了注意力機(jī)制的改進(jìn)殘差模塊識(shí)別精度最高。對(duì)于任何譜帶組合，結(jié)合了注意力機(jī)制的改進(jìn)殘差模塊對(duì)高低頻信息地有效區(qū)分使得識(shí)別效果優(yōu)于其他殘差模塊。

表2 多光譜組合在不同融合策略下的精準(zhǔn)度Table 2 Accuracies of multispectral combinationsunder different fusion strategies

圖14 多光譜(R, G, B, N)掌紋圖像在不同融合 策略下最優(yōu)效果

表3 多光譜組合在不同殘差結(jié)構(gòu)下的精準(zhǔn)度Table 3 Accuracies of multispectral combinationsunder different residual structures

為進(jìn)一步評(píng)估所提出的結(jié)合了注意力機(jī)制的改進(jìn)殘差網(wǎng)絡(luò)(IRCANet)，與近年來主流網(wǎng)絡(luò)GoogleNet[15]，DenseNet[16]和VggNet[17]對(duì)融合后的多光譜掌紋圖像的分類識(shí)別作比較，從圖16可以看出，相較于其他網(wǎng)絡(luò)，所提出的IRCANet對(duì)融合后的多光譜掌紋圖像更具有針對(duì)性，性能更好。

圖15 多光譜(R, G, B, N)掌紋圖像在不同殘差 結(jié)構(gòu)下最優(yōu)效果Fig.15 Optimal results of different residual structures formultispectral (R, G, B, N) palmprint images

圖16 多光譜掌紋融合圖像在不同主流網(wǎng)絡(luò)下的識(shí)別效果 (a)：識(shí)別趨勢(shì); (b)：精確度對(duì)比

將本算法與其他多光譜掌紋圖像識(shí)別算法進(jìn)行對(duì)比。其中，文獻(xiàn)[18]基于小波的圖像融合方法作為數(shù)據(jù)級(jí)融合策略，采用競爭編碼方案作為匹配算法，該算法對(duì)模糊圖像是有效的，可以很好地模擬無監(jiān)控的圖像捕獲。文獻(xiàn)[10]對(duì)多光譜掌紋圖像的每個(gè)光譜帶進(jìn)行提取，分析光譜帶之間的相關(guān)性，提出了一種分?jǐn)?shù)級(jí)融合決策方案。文獻(xiàn)[19]提出了一種基于四元數(shù)模型的多光譜圖像處理方法，利用應(yīng)用主成分分析(PCA)和離散小波變換(DWT)提取掌紋特征，利用歐幾里得距離和和最近鄰分類器進(jìn)行識(shí)別決策。文獻(xiàn)[20]提出了一種散射網(wǎng)絡(luò)，利用多類支持向量機(jī)和最小距離分類器進(jìn)行分類。文獻(xiàn)[21]提出一種新的聯(lián)合像素級(jí)和特征級(jí)對(duì)齊(JPFA)框架進(jìn)行識(shí)別。文獻(xiàn)[22]提出了一種新的深度學(xué)習(xí)框架Inception-ResNet。以上文獻(xiàn)算法對(duì)所有光譜圖像均使用單一算法，沒有考慮到近紅外光譜下掌紋圖像的特殊性，在這些方法中，所提出的算法識(shí)別精度最高，具體對(duì)比如表4所示。

表4 多光譜掌紋識(shí)別算法對(duì)比Table 4 Comparison of multispectral palmprintrecognition algorithms

為評(píng)估本算法性能，給出了使用該算法識(shí)別多光譜掌紋圖像時(shí)每個(gè)步驟的平均執(zhí)行時(shí)間。如表5所示，本方法對(duì)于實(shí)時(shí)應(yīng)用效果較好。

表5 本算法的時(shí)間性能Table 5 Time cost of the proposed method

3 結(jié) 論

基于多尺度變換的多光譜掌紋圖像融合算法。通過在像素級(jí)進(jìn)行圖像融合，將多個(gè)光譜波段(藍(lán)色、 綠色、 紅色和近紅外)的信息結(jié)合起來。利用FABEMD在單個(gè)光譜帶捕獲的每幅圖像分解為幾個(gè)BIMF和一個(gè)殘差余量。為了保證融合空間中圖像的最終識(shí)別精度盡可能高，考慮到近紅外光譜的特性，提出對(duì)分解求和后的近紅外掌紋圖像利用Bezier插值背景重建及特征細(xì)化，再將所有處理好的圖像進(jìn)行加權(quán)融合。在此基礎(chǔ)上，利用結(jié)合了注意力機(jī)制的改進(jìn)殘差網(wǎng)絡(luò)進(jìn)行特征提取和分類，引入的殘差塊能夠在減少信息丟失的同時(shí)更關(guān)注通道間的特征信息，能有效區(qū)分出掌紋融合圖像中的高低頻信息。在PolyU多光譜掌紋數(shù)據(jù)庫上進(jìn)行的實(shí)驗(yàn)表明，本方法可以獲得非常有競爭力的結(jié)果。此外，在不同光照下的多光譜掌紋圖像融合效果還可以進(jìn)一步探索，在光照條件比較極端時(shí)，本算法仍有提升空間。