楊金鋒，李常福

（中國民航大學(xué)天津市智能信號與圖像處理重點實驗室，天津 300300）

在生物特征識別技術(shù)發(fā)展過程中，單模態(tài)生物特征因其易于受損等因素而不能有效滿足一些應(yīng)用場景下的身份鑒別實際需求。多模態(tài)生物特征識別可有效提高單模態(tài)生物特征識別的穩(wěn)定性和可靠性，逐漸受到人們的關(guān)注[1-3]。在傳統(tǒng)的指靜脈、指節(jié)紋和指紋三模態(tài)生物特征圖像采集中，指靜脈成像區(qū)域多位于手指掌側(cè)；指節(jié)紋成像區(qū)域在手指背側(cè)；指紋位于指腹位置。三者分別在手指不同的部位和空間成像，使得采集時刻的手指姿態(tài)難以得到統(tǒng)一，從而導(dǎo)致圖像間相關(guān)性降低，進而影響后續(xù)多模態(tài)融合識別效果。

考慮到指靜脈和指節(jié)紋都位于手指中部區(qū)域，將指靜脈的采集區(qū)域改變至手指背側(cè)[4]，指靜脈和指節(jié)紋成像空間中的手指姿態(tài)統(tǒng)一成手指背部的姿態(tài)，這兩個模態(tài)在單次成像中的姿態(tài)一致性得到提高。通過算法將指靜脈和指節(jié)紋成像空間中的手指姿態(tài)方向調(diào)整到豎直方向，使得同一手指在多次成像中的姿態(tài)方向保持一致，方便了這兩個模態(tài)ROI（region of interest）的定位。最后，定位指靜脈圖像中易于檢測的特征參考位，實現(xiàn)指靜脈ROI 定位；將指靜脈的特征參考位映射到指節(jié)紋圖像中，實現(xiàn)指節(jié)紋ROI與指靜脈ROI的協(xié)調(diào)定位。此外，由于指紋生理位置的不同，需單獨占據(jù)一個成像空間，設(shè)置了一個手指凹槽固定指尖，限制指紋位置的變動，進而減少姿態(tài)變化。

綜合考慮現(xiàn)有成像基礎(chǔ)和條件，以手指背部和指腹為兩個主要成像區(qū)域，選取合適的成像硬件和成像算法，設(shè)計手指三模態(tài)采集系統(tǒng)[5-6]。新的系統(tǒng)可有效解決手指姿態(tài)變化問題，從而提高手指三模態(tài)姿態(tài)一致性，實現(xiàn)手指三模態(tài)特征圖像姿態(tài)同步采集。

1 成像系統(tǒng)設(shè)計

采集系統(tǒng)由手指三模態(tài)成像裝置和圖像采集軟件程序共同組成。成像裝置連接計算機，通過圖像采集程序控制成像裝置對指靜脈、指節(jié)紋和指紋進行成像、定位和提取感興趣區(qū)域。成像裝置和圖像處理流程如圖1所示，成像裝置主要包括雙目攝像頭、指紋儀模塊、LED 光源和供電電路。首先根據(jù)成像方式設(shè)計成像裝置的框架，然后根據(jù)手指靜脈和節(jié)紋特征的成像原理設(shè)計成像光路，最后以硬件為基礎(chǔ)開發(fā)圖像采集軟件系統(tǒng)。

圖1 手指多模態(tài)特征圖像采集裝置和圖像處理流程Fig.1 Multimodal finger image acquisition device and image processing procedure

1.1 成像硬件構(gòu)成

指靜脈成像方式是紅外光源透射手指靜脈成像。成像鏡頭對應(yīng)手指背側(cè)，則光源位于手指掌側(cè)。指靜脈成像區(qū)域主要位于近端指關(guān)節(jié)和遠端指關(guān)節(jié)之間，以這個區(qū)域為紅外光源照射中心。兩個指關(guān)節(jié)之間的距離約3 cm，設(shè)計長為5 cm的單排LED 燈組，保證完整覆蓋這個區(qū)域。光照強度保持一致，便于得到均勻的成像質(zhì)量。因此，燈珠之間保持均勻短間隙，防止燈珠間距過長，手指在燈珠之間成像亮度變?nèi)?。燈組平行于手指指向，與手指間隔合適的距離進行照射，防止距離過近造成曝光過度。系統(tǒng)選用850 nm 波段紅外光源透射手指靜脈[7]。指靜脈成像示意圖如圖2所示。

圖2 靜脈成像示意圖Fig.2 Finger-vein imaging

指節(jié)紋成像方式是手指節(jié)紋皮膚表面對可見光源的反射成像。在手指上方鏡頭兩側(cè)各放置LED 燈，照射手指節(jié)紋表面皮膚，反射光進入上方鏡頭成像。系統(tǒng)選用495 nm 波段可見光源照射指節(jié)紋，指節(jié)紋成像示意圖如圖3所示。目前，對指紋的研究和相關(guān)的產(chǎn)品已比較成熟，使用現(xiàn)有的指紋采集模塊，可滿足本系統(tǒng)需求，不需要單獨對其設(shè)計成像光路。

圖3 指節(jié)紋成像示意圖Fig.3 Finger-knuckle-print imaging

由于指靜脈為近紅外光透射成像，指節(jié)紋的反射光等光線對指靜脈成像干擾很大，因此對指靜脈成像鏡頭配以850 nm 窄帶濾光片，對指節(jié)紋成像鏡頭配以紅外截止濾光片。這就避免了兩個成像單元之間的光源干擾，保證了二者的生物特征成像互不影響。

在成像鏡頭的選用中，兩個成像鏡頭要保持短間距，才能保證手指靜脈和手指節(jié)紋ROI 在相應(yīng)的鏡頭中心成像，且鏡頭間距越短，兩個鏡頭中的手指姿態(tài)差異越小。采用雙目攝像頭成像模塊可很好地滿足這樣的成像需求。指紋儀為中控公司的Live-30M 電容式微型指紋采集模塊，此模塊體積小、采集速度快。雙目攝像頭和指紋儀如圖4所示。

圖4 基本硬件構(gòu)成Fig.4 Basic hardware composition

光源自身的發(fā)光角度會影響手指成像質(zhì)量。如：角度過于集中，聚光會形成強光，造成局部過曝，手指特征信息被強光掩蓋；角度過于分散，光線強度不足，導(dǎo)致手指成像特征信息不明顯。在LED 燈功率給定的情況下，對現(xiàn)有的多種發(fā)光角度LED 燈源進行試驗。指靜脈成像中，采用小角度（15°、30°）和大角度（120°）發(fā)射光源，在手指成像普適性的調(diào)整上均造成了困難，因此選用適中的60°發(fā)射紅外光源LED 燈；指節(jié)紋成像中，采用較小角度（30°、60°）發(fā)射光源，在指節(jié)紋的反射光中會形成強光斑，影響節(jié)紋信息的采集，因此選用發(fā)射角為120°的可見光LED 燈均勻照射手指節(jié)紋表面，通過在多個角度放置燈源來解決發(fā)射角度過大，光線強度不足的問題。

1.2 系統(tǒng)軟件設(shè)計

采集程序運行在Windows 系統(tǒng)平臺，需要搭建Visual studio、OpenCV和DirectShow的開發(fā)環(huán)境，搭建具體步驟在此不多作敘述。

程序具有用戶身份信息注冊、定位調(diào)整、特征圖像采集等功能，搭建的軟件界面如圖5所示。界面上端為采集視頻顯示區(qū)域，用于實時顯示3個手指模態(tài)的成像視頻，左一和左二視頻窗為指靜脈原圖和旋轉(zhuǎn)矯正后的圖像，左三和左四分別為指節(jié)紋原圖和旋轉(zhuǎn)矯正后的圖像，右上角視頻窗為指紋圖像；下方為信息錄入和功能按鈕；考慮到人機交互的友好性，右下角設(shè)計了系統(tǒng)信息提示框[8]，系統(tǒng)運行中出現(xiàn)的問題會在信息框中顯示，以便使用者及時作出調(diào)整。為保證系統(tǒng)高效運行，采用了多線程的設(shè)計方案，運行界面、雙目攝像頭、指紋采集儀等使用了獨立的線程控制，以獲得流暢的使用體驗。

圖5 手指多模態(tài)特征成像系統(tǒng)Fig.5 Multimodal finger fenture imaging system

2 手指姿態(tài)方向矯正

使用搭建完成的成像裝置提取指靜脈和節(jié)紋ROI時，發(fā)現(xiàn)手指姿態(tài)存在平面隨機轉(zhuǎn)動現(xiàn)象，這對ROI的定位造成了困難，需要對這種轉(zhuǎn)動進行矯正，將手指姿態(tài)統(tǒng)一調(diào)整到豎直方向，才能正確定位ROI。

對手指隨機擺放的姿態(tài)進行測試與統(tǒng)計，發(fā)現(xiàn)手指擺放姿態(tài)的隨機變化是由3 種形式的運動構(gòu)成：軸向轉(zhuǎn)動、平面轉(zhuǎn)動和平面移動。設(shè)計了一個手指凹槽，實現(xiàn)對手指的固定，可有效降低手指軸向轉(zhuǎn)動和平面移動的影響，手指凹槽如圖6所示。凹槽中區(qū)域1的小槽可以固定指尖，進而限制手指的軸向轉(zhuǎn)動，還可減少指紋采集時的姿態(tài)變化；區(qū)域2 限制了手指的平面移動范圍，使手指只能在區(qū)域2的溝槽內(nèi)小范圍平面移動。下文主要研究手指平面轉(zhuǎn)動的矯正。

圖6 固定手指的凹槽Fig.6 Finger fixing groove

手指的輪廓線隨著手指平面轉(zhuǎn)動而穩(wěn)定變化，因此，以手指輪廓線為參考對象，可計算出手指的平面轉(zhuǎn)動角度并進行矯正。文獻[9]中介紹了一種手指姿態(tài)方向角度計算方法，在此基礎(chǔ)上提出了一種簡便且高效的計算方法。手指姿態(tài)方向角度獲取示意如圖7所示。

圖7 手指姿態(tài)方向角度獲取Fig.7 Finger posture angle acquizition

首先對成像空間中手指圖像濾噪，檢測邊緣，提取出單像素的手指輪廓線及其坐標。由于手指輪廓線方向比較穩(wěn)定，可以間隔適當?shù)男袛?shù)提取輪廓的點坐標，從而提高計算速度。手指左輪廓線提取的坐標組記為{Ln}，右輪廓線提取的坐標組記為{Rn}，n=1，2，…，N。X、Y 表示圖像的列坐標和行坐標。兩組輪廓坐標對應(yīng)的中點{Mn}計算為

用最小二乘法對中點{Mn}線性擬合可得直線為

其中

根據(jù)k 計算出手指的偏轉(zhuǎn)角度為

矯正過程中，如果對這兩個模態(tài)分別進行矯正，那么將計算手指的不同輪廓部分，得到不同的旋轉(zhuǎn)角度，矯正后的手指姿態(tài)又會出現(xiàn)新的差異，這與降低手指姿態(tài)變化的初衷相矛盾。應(yīng)以其中一個模態(tài)的姿態(tài)方向角度為基礎(chǔ)，對這兩個模態(tài)進行統(tǒng)一旋轉(zhuǎn)矯正。在本系統(tǒng)中，由于光照方式的不同，指靜脈邊緣輪廓較指節(jié)紋邊緣輪廓易于檢測和處理。因此，選取指靜脈成像空間中的手指計算旋轉(zhuǎn)角度。旋轉(zhuǎn)中心應(yīng)選擇手指軸向轉(zhuǎn)動中心，這樣可減少手指在旋轉(zhuǎn)過程中姿態(tài)擺動的幅度，提高矯正的穩(wěn)定性，因此，可取旋轉(zhuǎn)中心點為MN/2。

采集多組同一手指多個隨機放置角度下的原始靜脈圖像和節(jié)紋圖像。以點MN/2為旋轉(zhuǎn)中心，θ為旋轉(zhuǎn)角度，對指靜脈成像空間中的手指進行旋轉(zhuǎn)矯正；指節(jié)紋的旋轉(zhuǎn)中心點應(yīng)和前者保持一致，以減少二者姿態(tài)的差異化，參考第3 節(jié)中的空間映射方法，計算出前者旋轉(zhuǎn)中心點MN/2在指節(jié)紋成像空間中的位置M′，以點M′為旋轉(zhuǎn)中心，θ為旋轉(zhuǎn)角度，對指節(jié)紋成像空間中的手指進行旋轉(zhuǎn)矯正。原始圖像與矯正手指轉(zhuǎn)動后的圖像對比如圖8所示。

圖8 原始圖像與矯正手指轉(zhuǎn)動后的圖像Fig.8 Original image and corrected image after rotation

圖8 中第1 行為同一手指在多個隨機轉(zhuǎn)動角度下采集到的原始圖像，第2 行是對應(yīng)的矯正手指轉(zhuǎn)動圖像。對比兩組圖像可看出手指的平面隨機轉(zhuǎn)動得到有效矯正，手指的方向基本為豎直方向，說明通過硬件的選型和手指平面隨機轉(zhuǎn)動的矯正，可有效提高手指姿態(tài)的一致性。

3 手指三模態(tài)ROI 定位

通過使用雙目攝像頭成像指靜脈和指節(jié)紋、凹槽固定手指和算法矯正手指姿態(tài)方向3個方案，手指姿態(tài)一致性得到提高。指靜脈和指節(jié)紋的手指姿態(tài)統(tǒng)一調(diào)整到豎直方向，方便了對其ROI 定位[10-11]。由于指靜脈成像方式的改變，主要對指靜脈和指節(jié)紋ROI的定位進行討論。指紋圖像選取指紋模塊采集得到的圖像即可。

手指關(guān)節(jié)腔處填充有生物組織滑液，此處的透光率比周圍組織高，兩個指關(guān)節(jié)的亮度要高于指關(guān)節(jié)間的靜脈圖像的亮度。本成像裝置中，遠端指關(guān)節(jié)被指紋采集面板所遮擋，因此，通過近端指關(guān)節(jié)高亮區(qū)域?qū)κ种胳o脈圖像ROI 進行垂直方向上的定位[11]；通過檢測手指左右輪廓線對ROI 進行水平方向上定位。

指節(jié)紋無明顯的特征標志，對指節(jié)紋圖像ROI 進行垂直方向上的定位比較困難。近端指關(guān)節(jié)對應(yīng)的手指背側(cè)即為指節(jié)紋區(qū)域，在指靜脈ROI 定位中，已經(jīng)對近端指關(guān)節(jié)進行了定位。因此，可通過以下空間映射方式，將近端關(guān)節(jié)腔的位置從靜脈成像空間映射到節(jié)紋成像空間，實現(xiàn)對指節(jié)紋ROI 區(qū)域的協(xié)調(diào)定位。

3.1 成像空間映射

成像區(qū)域與雙目攝像頭的位置關(guān)系如圖9所示。攝像頭a和b 對同一區(qū)域成像，區(qū)域中一點A 在攝像頭a 中的坐標為Pa，在攝像頭b 中的坐標為Pb。則Pa、Pb所在坐標系之間的相對位置關(guān)系都可通過兩個矩陣來描述：旋轉(zhuǎn)矩陣R和平移矩陣T。此處用R和T 來描述兩個攝像頭坐標系的相對關(guān)系，具體為將攝像頭a 下的坐標轉(zhuǎn)換到攝像頭b 下的坐標。

圖9 成像區(qū)域與雙目攝像頭的位置關(guān)系Fig.9 Space relation between imaging area and binocular camera

成像區(qū)域中的點坐標A，在兩個攝像頭坐標系下的坐標可表示為

則Pa與Pb關(guān)系為

為確定R與T，使用雙目攝像頭照射同一個坐標系成像，雙目攝像頭成像空間位置標記如圖10所示。在紅外鏡頭成像坐標系中標定若干點AN，在可見光鏡頭成像坐標系中確定這些點的坐標AN′。從圖10 可看出，兩個攝像頭在成像尺度上一致，兩個成像空間可通過平移進行轉(zhuǎn)換。這一結(jié)果也與兩個攝像頭規(guī)格相同、鏡頭并排平行放置相符合。

圖10 雙目攝像頭成像空間位置標記Fig.10 Position marked of binocular camera imaging space

3.2 指靜脈和指節(jié)紋ROI 定位

指靜脈ROI的定位需要水平和豎直方向（相對鏡頭成像空間）上的輔助參考位，因此，要先定位手指上易于檢測的特征位置。首先檢測手指左右輪廓線和定位近端指關(guān)節(jié)位置，確定指靜脈ROI 相對位置。然后，將指靜脈參考位映射到指節(jié)紋圖像中，實現(xiàn)指節(jié)紋ROI定位。指靜脈和指節(jié)紋ROI 定位過程如圖11所示。

圖11 指靜脈和指節(jié)紋ROI 定位示意圖Fig.11 ROI location schematic diagram of multimodal finger image

矯正后的指靜脈和指節(jié)紋如圖11（a1）、圖11（b1）所示。檢測并提取指靜脈單像素左右輪廓線，取手指左右輪廓線在豎直方向上的內(nèi)切線l1、l2，作為指靜脈ROI 左右邊界部分；將內(nèi)切線的坐標帶入指靜脈原圖像中，確定實際指靜脈ROI 在豎直方向上的參考位置l3、l4；檢測近端指關(guān)節(jié)的位置，此處透光性較強[12]，因此，亮度較其它區(qū)域大，作為指靜脈ROI 在水平方向上的參考位置l5；根據(jù)以上得到的參考位置，取l3和l4之間及l(fā)5上下合適范圍[13]，表示指靜脈ROI 區(qū)域。

用以上空間映射方法，把指靜脈ROI 定位的參考位置l3、l4和l5映射到指節(jié)紋圖像中，作為指節(jié)紋ROI定位的參考位置l3′、l4′和l5′，取l3′和l4′之間及l(fā)5′上下合適范圍，表示指節(jié)紋ROI 區(qū)域。指靜脈和指節(jié)紋ROI 最終定位區(qū)域如圖11（a6）和圖11（b4）中矩形框O、O′所示；指紋ROI 選取指紋模塊采集的圖像[14]，最終提取的指靜脈、指節(jié)紋和指紋ROI 區(qū)域分別如圖11（c1）～圖11（c3）所示。

4 結(jié)果及分析

使用此采集系統(tǒng)采集多組手指三模態(tài)樣本如圖12所示，可以觀察到三模態(tài)ROI 定位準確，成像質(zhì)量清晰，成像效果理想。但是手指的粗細會影響手指靜脈ROI 成像效果，較細的手指透光性較高，成像總體變亮；較粗的手指透光性較低，成像總體變暗。每一組上下兩行圖像是同一根手指兩次成像效果，手指的成像姿態(tài)一致性很高，這直接提高了手指圖片的類內(nèi)相似度。

圖12 部分手指多模態(tài)圖像的ROI 定位結(jié)果Fig.12 ROI location of partial multimodal finger-feature image

采集多組手指三模態(tài)數(shù)據(jù)，每個模態(tài)10 張圖片，計算類內(nèi)平均相似度[15]如表1所示，可見指靜脈和指節(jié)紋采集的類內(nèi)相似度較高。指紋由于按壓的力度和比對方式的不同，類內(nèi)相似度低于前二者。

表1 三模態(tài)類內(nèi)相似度Tab.1 Intra-cluster similarity of three modals %

5 結(jié)語

對指靜脈采用新的成像方式，將成像區(qū)域由傳統(tǒng)的手指掌側(cè)靜脈變成手指背側(cè)靜脈，和指節(jié)紋的成像姿態(tài)統(tǒng)一到手指背面，通過選用相應(yīng)的成像傳感器和設(shè)計手指槽，在硬件上使手指多模態(tài)成像姿態(tài)趨于統(tǒng)一。在算法上對手指平面隨機轉(zhuǎn)動進行矯正，進一步將成像姿態(tài)統(tǒng)一到豎直方向。通過雙目成像空間坐標轉(zhuǎn)換，實現(xiàn)了指靜脈和指節(jié)紋ROI 協(xié)調(diào)定位，提高了定位的穩(wěn)定性和準確度，也減少了系統(tǒng)運算量，提高了運行效率。

裝置采用模塊化設(shè)計方案，便于后期維護和升級，模塊的組合使用也使得采集設(shè)備占用空間小，制作更加簡易。采集軟件使用多線程技術(shù)，系統(tǒng)運行流暢、穩(wěn)定，采集效率高。系統(tǒng)基本解決了手指多模態(tài)生物特征采集中存在的姿態(tài)不一致問題，但仍有改進的空間，例如：手指的粗細對指靜脈成像質(zhì)量影響較大，對于較細薄的女性手指和靜脈血管，圖像亮度過高，遮掩了靜脈特征；對于較粗厚的男性手指和靜脈血管，圖像亮度較低，靜脈特征不明顯。在后期工作中將繼續(xù)對成像裝置進行優(yōu)化與改進。