李培華

(1.中航華東光電有限公司，安徽 蕪湖 241002； 2.安徽省現(xiàn)代顯示技術重點實驗室，安徽 蕪湖 241002；3.國家特種顯示工程技術研究中心，安徽 蕪湖 241002；4.特種顯示國家工程實驗室，安徽 蕪湖 241002)

1 引言

紅外圖像與可見光圖像之間配準是計算機視覺領域研究的熱點技術之一，其普遍在雙目視覺、體溫檢測與消防救援等領域得到廣泛應用[1-5]。首先針對紅外圖像和可見光圖像的成像原理進行分析，紅外光與可見光分別處于光譜的不同波段，都有其固有特征，紅外圖像由物體表面的發(fā)射率和溫度決定，而可見光圖像由物體表面的反著率和陰影決定，所以紅外圖像與可見光圖像之間的成像原理存在差異，然后由于紅外傳感器與可見光傳感器在拍攝同一時間同一區(qū)域時不可能在完全相同的位置和視角，會導致二者存在一定的視角差，從而導致圖像產(chǎn)生幾何畸變，給估計紅外圖像與可見光圖像之間配準模型帶來困難，以上2個因素是導致紅外圖像與可見光圖像之間配準準確率不高的主要原因。

針對紅外圖像與可見光圖像之間配準準確率不高的問題，國內學者以國外的同源圖像配準算法為對象進行進一步優(yōu)化，例如，2017年，許金鑫等人利用圖像形態(tài)學算法加上加速魯棒性特征算法(speeded up robust feature，SURF)[6]，提取紅外圖像與可見光圖像的特征，在匹配時采用斜率一致性的方法進行匹配，并將該方法應用在電氣設備圖像的配準中[7]；2019年，江澤濤等人利用顯著性特征方法進行預處理，然后將泰勒級數(shù)融入到定向的加速分段測試特征(features from accelerated segment test，F(xiàn)AST)[8-9]和旋轉的二進制魯棒獨立基本特征(binary robust independent elementary features，BRIEF)[10](oriented FAST and rotated BRIEF，ORB)算法[11]中，進行紅外圖像與可見光圖像的特征提取與匹配[12]；2020年，奚紹禮等人將尺度不變特征變換(scale invariant feature transform，SIFT)算法[13-14]和ORB算法相互融合，利用SIFT特征匹配點對ORB特征匹配點進行幾何約束來進行圖像特征的精匹配[15]。

本文提出新型圖像配準方法，首先使用平滑和邊緣輪廓檢測算法進行預處理，然后使用基于極值原理的優(yōu)化KAZE算法[16]生成32維圖像特征描述符序列，最后使用基于K最近鄰(K-nearest neighbors，KNN)算法[17]與快速最近鄰逼近搜索庫(fast approximate nearest neighbor search library，F(xiàn)LANN)算法[18]相結合的優(yōu)化匹配算法進行匹配。

2 新型圖像配準方法

新型圖像配準方法按照實現(xiàn)流程分為3個階段：① 預處理階段，包括對紅外圖像與可見光圖像進行平滑和邊緣輪廓檢測處理；② 描述符階段，包括使用基于極值原理和降維算法的優(yōu)化KAZE算法生成32維描述符序列；③ 匹配階段，包括使用優(yōu)化匹配算法進行圖像特征匹配。新型圖像配準方法的實現(xiàn)流程如圖1所示。

圖1 新型圖像配準方法的實現(xiàn)流程框圖Fig.1 Implementation flow chart of the new image registration method

2.1 預處理階段

新型圖像配準方法在預處理階段使用平滑和邊緣輪廓檢測算法對紅外圖像與可見光圖像進行預處理，分為以下4個步驟：① 用高斯濾波器平滑處理紅外圖像與可見光圖像；② 用一階偏導的有限差分來計算圖像梯度的幅值和方向；③ 對圖像梯度幅值進行非極大值抑制；④ 用雙閥值方法檢測和連接邊緣輪廓，將得到邊緣輪廓圖像作為后續(xù)圖像特征提取的輸入。

2.2 描述符階段

新型圖像配準方法在描述符階段使用優(yōu)化KAZE算法提取圖像特征，并生成32維圖像特征描述符序列，優(yōu)化KAZE算法在圖像特征提取階段，使用極值原理提取圖像特征，如果僅使用極大值或極小值，在同源圖像之間配準效果顯著，但在紅外圖像與可見光圖像之間配準效果欠佳，提取的圖像特征較少，不利于后續(xù)的圖像特征匹配，所以本文利用極值原理提取圖像特征。

優(yōu)化KAZE算法將不同尺度上圖像亮度的變化看成某種流動函數(shù)的散度，利用非線性擴散方程對圖像進行擴散濾波構建非線性尺度空間，非線性擴散方程為：

(1)

式(1)中：L表示圖像的亮度；t表示尺度參數(shù)；div表示散度；▽表示梯度；▽Lδ表示原始圖像L在δ尺度上經(jīng)過高斯濾波后的梯度。g函數(shù)表示為：

(2)

式(2)中：k表示對比度因子，其值是梯度圖像▽Lδ直方圖70%百分位上的值。

對式(1)進行隱式差分后，采用加性算子分裂算法(additive operator splitting，AOS)構建線性尺度空間，獲得方程的解為：

(3)

式(3)中：I表示單位矩陣；ti表示進化時間；Al表示對角占優(yōu)的三對角線矩陣；Li表示非線性尺度空間第i層圖像亮度。

首先，在非線性尺度空間中，通過計算像素點的Hessian矩陣值來提取圖像特征。將每個像素點的Hessian矩陣值與當前層i、上層i+1和下層i-1的δi×δi的矩形窗口內共26個像素點的Hessian矩陣值進行比較，如果該像素點的 Hessian矩陣值大于或者小于這26個像素點的Hessian矩陣值，則該像素點的Hessian矩陣值為極值點，該極值點為圖像特征。

其次，為了獲得旋轉不變圖像特征描述符序列，需要計算圖像特征的主方向，計算方法是：以圖像特征為中心點，選取半徑為6δi的圓形區(qū)域，對所在區(qū)域內像素點計算一階微分Lx、Ly，再以張角為60°、步長為0.15 rad的扇形區(qū)域繞圖像特征轉動，轉動過程中累加一階微分Lx、Ly的值，其中累加值最大對應的方向就是主方向。

再次，再以圖像特征為中心，選取大小為24δi×24δi的矩形區(qū)域，并劃分成大小相等的8塊子區(qū)域，且相鄰區(qū)域有4δi的重合，對子區(qū)域內像素點的一階微分使用高斯核進行加權計算，從而得到描述符向量dν，描述符向量dν計算式為：

dν=(∑Lx，∑Ly，∑|Lx|，∑|Ly|)

(4)

式(4)中：dν表示描述符向量；Lx表示圖像在x方向的一階微分；Ly表示圖像在y方向的一階微分；|Lx|表示圖像在x方向的一階微分的絕對值， |Ly|表示圖像在y方向的一階微分的絕對值。

最后，使用高斯窗口對8個子區(qū)域描述符向量dν進行進一步加權計算和歸一化處理，得到32維圖像特征描述符序列。

2.3 匹配階段

新型圖像配準方法在匹配階段使用KNN算法與FLANN算法相結合的優(yōu)化距離相似性度量方法，分為以下3個步驟：① 使用KNN算法對紅外圖像向可見光圖像進行特征匹配，得到匹配圖像特征對集A；② 使用FLANN算法對可見光圖像向紅外圖像進行特征匹配，得到匹配圖像特征對集B；③ 比較匹配特征對A和匹配特征對B，得到最終匹配圖像特征對集F。

針對2.2節(jié)中得到的32維圖像特征描述符序列參數(shù)，設定紅外圖像中圖像特征描述符序列參數(shù)為Ui(x1，x2，x3，…，x30，x31，x32)，可見光圖像中圖像特征描述符序列參數(shù)為Vj(y1，y2，y3，…，y30，y31，y32)。

首先，假定紅外圖像中圖像特征集為U，可見光圖像中圖像特征集為V，然后以圖像特征集U中的圖像特征Ui為對象，使用歐式距離定義式(5)遍歷圖像特征集V中的所有圖像特征，得到d(Ui，Vj)的最小值d(Ui，V1j)與次最小值d(Ui，V2j)，即最近鄰圖像特征V1j和次最近鄰圖像特征V2j，如果d(Ui，Vj)的最小值d(Ui，V1j)與次最小值d(Ui，V2j)滿足歐式距離比較式(6)，則圖像特征集V中的圖像特征V1j為圖像特征集U中的圖像特征Ui的匹配圖像特征，遍歷圖像特征集U中所有圖像特征，得到匹配圖像特征對集A。

(5)

(6)

式(5)(6)中：xm表示紅外圖像中圖像特征描述符序列參數(shù)的元素；ym表示可見光圖像中圖像特征描述符序列參數(shù)的元素；d(Ui，Vj)表示紅外圖像與可見光圖像之間特征的距離相似性度量值；d(Ui，V1j)、d(Ui，V2j)分別表示圖像特征集U中的圖像特征Ui與圖像特征集V中的最近鄰圖像特征V1j、次最近鄰圖像特征V2j的距離相似性度量值；Th1表示閾值，本文設定Th1的值為0.80。

然后，以可見光圖像中圖像特征集V為對象，遍歷圖像特征集U中的所有圖像特征，得到d(Vj，Ui)的最小值dmin(Vj，Ui)，即最近鄰圖像特征Ui，取遍可見光圖像中圖像特征集V中所有對象，得到d(Vj，Ui)的最小值dmin(Vj，Ui)的集合K{dmin(Vj，Ui)}，計算集合K{dmin(Vj，Ui)}中的最小值為dmin(Vj，Ui)，dmin(Vj，Ui)與dmin(Vj，Ui)滿足定義式(7)，則將其納入匹配圖像特征對集B中。

(7)

式(7)中：dmin(Vj，Ui)表示所有dmin(Vj，Ui)的集合中的最小值；min 表示計算集合的最小值；K{} 表示集合；dmin(Vj，Ui)表示圖像特征集V中的圖像特征Vj與圖像特征集U中的最近鄰圖像特征Ui的距離相似性度量值。

最后，比較匹配圖像特征對集A與匹配圖像特征對集B中匹配圖像特征對，如果匹配圖像特征對完全相同，則為有效的匹配圖像特征對，有效的匹配圖像特征對的集合為最終的匹配圖像特征對集F。

3 仿真實驗

仿真實驗軟件為Visual Studio 2010，配置OpenCV 2.4.13圖像處理庫，仿真實驗硬件為計算機，計算機的中央處理器配置是：AMD A10-7300 Radeon R6 10 Compute Cores 4CPU + 6 GPU@1.90 GHz、內存配置是4 096 MB RAM、操作系統(tǒng)配置是Windows 7 旗艦版32位。

仿真實驗采用TNO_Image_Fusion_Dataset圖像庫中Marne_04、Kaptein_1123與Airplane_in_Trees共3組紅外圖像與可見光圖像作為仿真實驗圖像源，如圖2所示，其中圖2(a)是Marne_04紅外圖像，像素大小為620×450，即Marne_04_IR；圖2(b)是Marne_04可見光圖像，像素大小為620×450，即Marne_04_VIS；圖2(c)是Kaptein_1123紅外圖像，像素大小為620×450，即Kaptein_1123_IR；圖2(d)是Kaptein_1123可見光圖像，像素大小為620×450，即Kaptein_1123_VIS；圖2(e)是Airplane_in_Trees紅外圖像，像素大小為595×328，即Airplane_in_Trees_IR；圖2(f)是Airplane_in_Trees可見光圖像，像素大小為595×328，即Airplane_in_Trees_VIS。

圖2 待配準的紅外圖像與可見光圖像Fig.2 The registration images of infrared and visible

整個仿真實驗使用傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、新型圖像配準方法對待配準的紅外圖像與可見光圖像進行圖像配準實驗，其中，圖3表示對紅外圖像與可見光圖像進行預處理的邊緣輪廓檢測結果圖像，圖4表示基于傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、新型圖像配準方法的邊緣輪廓圖像特征提取與匹配結果圖像，圖5表示基于傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、新型圖像配準方法的源圖像特征提取與匹配結果圖像。

圖3中：圖3(a)表示Marne_04_IR的邊緣輪廓檢測結果圖像，圖3(b)表示Marne_04_VIS的邊緣輪廓檢測結果圖像，圖3(c)表示Kaptein_1123_IR的邊緣輪廓檢測結果圖像，圖3(d)表示Kaptein_1123_VIS的邊緣輪廓檢測結果圖像，圖3(e)表示Airplane_in_Trees_IR的邊緣輪廓檢測結果圖像，圖3(f)表示Airplane_in_Trees_VIS的邊緣輪廓檢測結果圖像。

圖3 邊緣輪廓檢測結果圖像Fig.3 The result graphs of edge contour detection

圖4中：圖4(a1)-圖4(c1)表示使用傳統(tǒng)SIFT算法對邊緣輪廓圖像的特征提取與匹配結果圖像，圖4(a2)-圖4(c2)表示使用傳統(tǒng)SURF算法對邊緣輪廓圖像的特征提取與匹配結果圖像，圖4(a3)-圖4(c3)表示使用新型圖像配準方法對邊緣輪廓圖像的特征提取與匹配結果圖像。

圖4 邊緣輪廓圖像特征提取與匹配結果圖像Fig.4 The feature extraction and matching result graphs of edge contour images

圖5中：圖5(a1)-(c1)表示使用傳統(tǒng)SIFT算法對源圖像特征提取與匹配結果圖像，圖5(a2)-圖5(c2)表示使用傳統(tǒng)SURF算法對源圖像特征提取與匹配結果圖像，圖5(a3)-圖5(c3)表示使用新型圖像配準方法對源圖像特征提取與匹配結果圖像。

圖5 源圖像特征提取與匹配結果圖像Fig.5 The feature extraction and matching result graphs of source images

為了比較新型圖像配準方法的運行效率，仿真實驗選擇特征數(shù)目、特征匹配數(shù)目、特征正確匹配數(shù)目、特征配準準確率、圖像描述符階段消耗時間、圖像特征匹配階段消耗時間、圖像配準總消耗時間共7個統(tǒng)計參數(shù)作為評價指標，其中圖像特征配準準確率的計算公式如式(8)所示，評價指標統(tǒng)計數(shù)據(jù)如表1所示。根據(jù)圖3～圖5結果與評價指標統(tǒng)計數(shù)據(jù)的對比分析可知：

1) 傳統(tǒng)SIFT算法與傳統(tǒng)SURF算法對異源圖像的配準效果不理想，出現(xiàn)大量的誤匹配對；

2) 新型圖像配準方法的平均配準準確率為91.62%，但耗時稍長，在圖像拼接等配準準確率要求較高但不追求配準實時性的應用場景具有明顯的優(yōu)越性，不適合同時追求配準準確率與實時性2個方面的應用場景，如目標追蹤等。

(8)

式(8)中：Pm表示新型圖像配準方法的圖像配準準確率；M新型配準方法表示新型圖像配準方法的圖像特征正確匹配數(shù)目；N新型配準方法表示新型圖像配準方法的圖像特征匹配數(shù)目。

表1 基于傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法與新型圖像配準方法的統(tǒng)計數(shù)據(jù)對比

4 結論

1) 經(jīng)過圖像預處理階段、圖像特征提取與描述符序列生成階段、圖像特征匹配階段共3個階段的處理，得到新型圖像配準方法。

2) 新型圖像配準方法與傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法相比有以下特點：① 圖像配準準確率高；② 實時性不高；③ 紅外圖像與可見光圖像之間配準還無法做到與同型圖像配準一樣具有普遍適應性，只能在特定的應用場景下進行適配。

3) 后續(xù)工作主要針對以下2個方面進行研究：① 利用分塊或降維的思想來提升圖像配準的實時性；② 在預處理階段，利用紅外圖像與可見光圖像的成像差異性對預處理算法進行優(yōu)化，提升圖像配準算法對應用環(huán)境的適應性。