紅外與可見光圖像配準技術(shù)研究綜述

李云紅，劉宇棟，蘇雪平，羅雪敏，姚 蘭

〈綜述與評論〉

紅外與可見光圖像配準技術(shù)研究綜述

李云紅，劉宇棟，蘇雪平，羅雪敏，姚 蘭

（西安工程大學 電子信息學院，陜西 西安 710048）

多模態(tài)圖像配準能提供比單模態(tài)圖像配準更加豐富和全面的信息，紅外與可見光圖像配準作為一種常見的多模態(tài)配準類型，在電力、遙感、軍事以及人臉識別等領(lǐng)域具有重要的應(yīng)用價值。首先介紹了紅外與可見光圖像配準的相關(guān)技術(shù)并闡述了配準中存在的難點與挑戰(zhàn)，然后詳細分析和總結(jié)了基于區(qū)域、基于特征和基于深度學習3種紅外與可見光圖像配準方法，并分別闡述了不同配準方法的優(yōu)缺點，之后概述了紅外與可見光圖像配準技術(shù)的實際應(yīng)用，最后對紅外與可見光圖像配準未來的發(fā)展趨勢進行討論。

圖像配準；紅外圖像；可見光圖像；深度學習

0 引言

作為多源成像技術(shù)的核心之一，紅外與可見光圖像配準技術(shù)在眾多領(lǐng)域具有重要的研究價值。紅外與可見光圖像配準能夠獲得更豐富和全面的場景信息，被廣泛應(yīng)用于軍事偵察、視頻監(jiān)控、遙感信息融合、電力設(shè)備監(jiān)測等領(lǐng)域[1-2]。

紅外圖像與可見光圖像的成像原理差異導致了傳統(tǒng)單模態(tài)圖像配準方法效果不佳。通過在相同時間內(nèi)對同一范圍成像所得到的可見光圖像與紅外圖像的數(shù)據(jù)進行分析可以發(fā)現(xiàn)，它們之間由于存在著不同比例的縮放以及相對平移、旋轉(zhuǎn)等問題[3]導致了紅外與可見光圖像具有很大的配準難度。因此，研究者們針對不同的應(yīng)用場景分析，提出多種精度高、配準效果好的方法。鑒于這些方法在各領(lǐng)域的研究中具有重要的理論及實踐意義，有必要對其研究現(xiàn)狀進行綜述。

文章綜述了紅外與可見光圖像配準的相關(guān)技術(shù)，剖析了配準中存在的難點與挑戰(zhàn)，針對基于區(qū)域、基于特征和基于深度學習3類紅外與可見光圖像配準方法進行了較為詳細的分析與總結(jié)，最后列舉了該技術(shù)的一些實際應(yīng)用并展望了未來的發(fā)展趨勢。

1 圖像配準技術(shù)及存在的難點

1.1 圖像配準算法原理

圖像配準是對同一場景圖像疊加的過程，旨在找到參考圖像（固定圖像）和浮動圖像（待配準圖像）之間的映射關(guān)系。通常采用兩個二維數(shù)組來定義兩幅圖像，如1(,)和2(,)，它們分別表示兩幅圖像的灰度值，則兩幅圖像之間的變換關(guān)系可以采用公式(1)來表示：

2(,)＝(1((,))) (1)

式中：為二維空間坐標變換；為一維灰度值變換。

1.2 基于區(qū)域的配準算法

基于區(qū)域的配準算法主要以參考圖像為基礎(chǔ)，利用極大化相關(guān)性指標來搜索待配準圖像的最佳位置。選取合適的相似性測度算法以尋找兩幅或多幅圖像的相關(guān)性并在空間域或頻域中展開，是基于區(qū)域的配準方法的核心。基于區(qū)域的圖像配準算法步驟如圖1所示。

圖1 基于區(qū)域的圖像配準算法步驟

選擇相似性測度算法時，以互相關(guān)、互信息為代表的空間域中尋找兩幅圖像的相關(guān)性在當下運用較多。互相關(guān)最早應(yīng)用于基于區(qū)域的配準方法中，Sarvaiya等人和Yang等人都是運用歸一化互相關(guān)的思想分別在不同光譜圖像中進行模板匹配，反應(yīng)不同圖像特征相似性[4-5]。歸一化互相關(guān)方法（Normalized Cross Correlation, NCC）主要思想是計算兩幅圖像對應(yīng)窗的相似性。令(,)表示浮動圖像，(,)為參考圖像，當參考圖像在浮動圖像中移動時，在每個位移點(,)處，兩者相似度如公式(2)表示：

互信息則通過對兩幅圖像的統(tǒng)計相關(guān)性進行度量。對于參考圖像和浮動圖像，它們的互信息可表示為：

式中：()和()為圖像和的邊緣熵；(,)表示兩幅圖像的聯(lián)合熵；(,)為圖像的互信息。當圖像和完全配準時，條件邊緣熵(|)和(|)最小，此時互信息(,)達到最大值。

不同于互相關(guān)等基于空間域的圖像配準方法，以傅里葉變換為代表的在頻域中對兩幅圖像進行類相關(guān)配準也是當下應(yīng)用較多的方法之一，其主要思想是計算頻域的相關(guān)性，當應(yīng)用于邊緣表示時，它能夠處理可見光圖像和紅外圖像等多模態(tài)圖像。主要分為頻域內(nèi)的互相關(guān)（Cross Correlation in the Frequency domain，CCF）和相位相關(guān)（Phase Correlation，PC）。

1）頻域內(nèi)的互相關(guān)（CCF）：兩幅圖像的相關(guān)性的傅里葉變換（FT）是一幅圖像的傅里葉變換與另一幅圖像的傅里葉的復共軛的乘積。假設(shè)兩個圖像函數(shù)(,)與(,)在行和列方向上的位移D與D表示為(,)＝(－D,－D)，則頻域內(nèi)的互相關(guān)CCF的如公式(4)所示：

CC＝－1((,)*(,)) (4)

式中：(,)和(,)分別表示(,)和(,)傅里葉變換，－1表示傅里葉逆變換，*為復共軛。CCF相當于計算空間域內(nèi)的互相關(guān)，而FFT使用避免了傳統(tǒng)互相關(guān)相關(guān)過程的迭代搜索，能夠快速計算相關(guān)性。

2）相位相關(guān)（PC）：PC是基于傅里葉變換的平移特性，即將兩幅相關(guān)圖像在空間域上的位移作為相位差轉(zhuǎn)換到頻域。相位相關(guān)如公式(5)所示：

1.3 基于特征的配準算法

傳統(tǒng)的基于特征的圖像配準算法是一個不斷迭代優(yōu)化尋找圖像之間最優(yōu)相似度的過程，為了提高圖像配準的精度，在對不同傳感器圖像進行特征提取前，需要將圖像的特征信息在像素級上進行展開，常用的特征包括：角點、邊緣線段、特征區(qū)域等。特征匹配就是在特征提取過程中，根據(jù)特征描述算子和相似性測度準則獲得特征集合間的匹配關(guān)系，可能用到的信息有：特征向量的空間分布、區(qū)域的灰度值以及特征描述符等。最后通過判斷參考圖像與待配準圖像之間是否產(chǎn)生幾何畸變，從而選擇合適的幾何變換模型對圖像進行最佳擬合?；谔卣鞯膱D像配準算法步驟如圖2所示。

圖2 基于特征的圖像配準算法步驟

1.4 基于深度學習的配準算法

深度學習的配準方法主要是利用深度學習網(wǎng)絡(luò)對輸入的圖像對進行特征提取與相似性測度，從而實現(xiàn)配準圖像的生成與圖像配準精度的判別。深度學習圖像配準算法步驟如圖3所示，一般將可見光圖像與紅外圖像通過深度網(wǎng)絡(luò)模型映射轉(zhuǎn)為同一模態(tài)（比如將可見光圖像轉(zhuǎn)為紅外圖像），而后輸入到配準網(wǎng)絡(luò)中進行相似性測度，根據(jù)神經(jīng)網(wǎng)絡(luò)反向傳播特性，將損失值傳遞到網(wǎng)絡(luò)中迭代，促使可見光圖像映射到紅外圖像的效果更好，以獲取兩幅紅外圖像更精確的相似性度量，最終得到最優(yōu)的輸出值得到配準圖像。

圖3 基于深度學習的圖像配準算法步驟

1.5 紅外與可見光圖像配準存在的難點

由于受到自然環(huán)境、物體運動干擾、光照等條件的影響，紅外與可見光圖像之間相關(guān)性較小，因此基于區(qū)域的圖像配準方法效果較差。

在基于特征的圖像配準方法中，為了提高圖像配準的精度，在對不同傳感器圖像進行特征提取前，需要將圖像的特征信息在像素級上進行展開。此類方法運用多種算子、仿射變換模型對紅外與可見光圖像進行配準。往往采用單一特征的配準算法進行圖像配準難以同時滿足配準速度和精度的要求，而采用多特征的配準算法進行圖像配準則會增加特征算子的維度，加大配準的復雜性，因此如何結(jié)合不同算法提高特征點對的提取和匹配精度以及縮短配準時間是配準的一大挑戰(zhàn)。

傳統(tǒng)的配準方法精度高、但相較于深度學習的配準方法速度較慢，傳統(tǒng)方法已逐漸無法滿足當下各種紅外與可見光圖像配準領(lǐng)域飛速發(fā)展的需要。近些年來，深度學習的配準方法在醫(yī)學圖像和遙感圖像的配準中已有較傳統(tǒng)方法效果更好、速度更快的優(yōu)勢。部分研究者嘗試將卷積神經(jīng)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)等深度學習網(wǎng)絡(luò)應(yīng)用到紅外與可見光圖像配準中并取得了一定的進展，但與傳統(tǒng)方法在配準精度上仍具有一定的差距。由于紅外光譜通常分辨率較低且模糊，難以可靠的提取關(guān)鍵點等詳細特征，在深度學習架構(gòu)中既不易可靠地找到特征，也不適合直接訓練，因此，深度學習方法在實現(xiàn)出色的紅外與可見圖像配準方面面臨許多挑戰(zhàn)[6]。

2 紅外與可見光圖像配準技術(shù)研究進展

下面將分別介紹基于區(qū)域、基于特征和基于深度學習的圖像配準方法。

2.1 基于區(qū)域的紅外與可見光圖像配準方法

基于區(qū)域的配準方法又稱模板匹配法，典型的區(qū)域配準算法包括：傅里葉變換、互信息、梯度信息等。

2.1.1 基于傅里葉變換的圖像配準

基于傅里葉圖像相關(guān)性的圖像配準旨在將二維圖像從空間域變換到頻率域計算圖像之間的相關(guān)性，Stone等人[7]率先研究了基于傅里葉相關(guān)性的圖像配準精度降低的因素，說明了影響相位相關(guān)圖像配準精度的問題主要來自插值誤差以及在采樣過程中圖像旋轉(zhuǎn)時，離散傅里葉變換不易展開兩個方面。在隨后研究中，Stone等人為減少旋轉(zhuǎn)依賴的混疊而對圖像進行窗口化以去除高頻信息，使得圖像配準中相位相關(guān)性大大提高。

在如何減少插值誤差帶來的配準精度問題的研究中，將笛卡爾網(wǎng)格上的FFT系數(shù)內(nèi)插到對數(shù)極坐標網(wǎng)格中得到對數(shù)極坐標系數(shù)從而準確地評估對數(shù)極坐標傅里葉變換是重中之重。為此，研究者們提出了“MPFFT[8]”、“MPFT[9]”等方法，這些方法都是通過提供一種類似對數(shù)極坐標的網(wǎng)格使得到的對數(shù)極坐標傅里葉變換更加精確，從而減少插值誤差對圖像配準精度的影響。除傅里葉變換外，F(xiàn)ujisawa等人[10]將Radon變換應(yīng)用于圖像的頻域和空間域以進行高精度旋轉(zhuǎn)和尺度估計，在減少插值誤差方面起到了類似的作用。

2.1.2 基于互信息和梯度信息的圖像配準

Kim等人[11]提取可見光圖像中與相應(yīng)的紅外圖像區(qū)域高度相關(guān)的區(qū)域，并利用提取的區(qū)域計算互信息，以管理多模態(tài)圖像的魯棒配準，其配準效果較基于區(qū)域的配準算法有一定的提升。Yang等人[12]將互信息用以圖像序列的全局配準與逐幀到每幅圖像之間的局部配準，該配準算法加強了動態(tài)圖像全局與局部的一致性，但所需要的連續(xù)幀圖像序列對不易獲取。

由于紅外與可見光不一致的光譜特性，復雜背景區(qū)域的邊緣輪廓較為模糊，從而增加了歸一化互信息（Normalized Mutual Information, NMI）算法在配準時局部極值的數(shù)量，導致從多模態(tài)圖像中提取一致特征較為困難。將紅外與可見光圖像的互信息和梯度信息相結(jié)合，利用梯度相似性作為互信息的加權(quán)，構(gòu)造新的配準測度成為了許多研究人員重點研究的方向。在相關(guān)研究中，Lian-Fa等人[13]提出了一種改進的梯度NMI算法，能夠根據(jù)梯度大小和方向?qū)煞鶊D像相關(guān)性進行優(yōu)化。但該算法只考慮消除多峰條件，沒有改善紅外與可見圖像之間的低相關(guān)性，配準的位置可能不準確。歸一化總梯度（Normalized total gradient, NTG）函數(shù)[14]的提出在多光譜圖像配準中取得了良好的效果，盡管有其優(yōu)勢，但計算成本相應(yīng)增加。在如何解決互信息較為依賴圖像全局一致性這一問題上，Yang等[15]引入自適應(yīng)局部張量獲取互信息，與加權(quán)函數(shù)組成測度準則，能夠有效反應(yīng)圖像灰度信息。趙洪山[16]結(jié)合流形排序算法提出一種新的基于顯著性梯度的NCC算法，在增加配準時間的情況下能夠提高紅外圖像模糊邊緣的特征提取率，然后采用文化狼群的算法對測度函數(shù)進行優(yōu)化，提高了圖像配準的收斂性和配準率。

2.1.3 基于互信息或變換域的圖像配準

除了采用精確度更高的梯度算子提高梯度互信息算法的準確性外，一些研究人員從圖像預(yù)處理入手，結(jié)合變換域、顯著性等方法，有效實現(xiàn)梯度的準確獲取以及減少互信息的計算量。根據(jù)輸電線路圖像中導線的方向梯度明確的特點，孫鳳杰[17]等人采用將直方圖和歸一化相關(guān)匹配相結(jié)合的匹配方法，有效減少了模板的搜索空間。在變換域方面，劉剛[18]結(jié)合非下輪廓波變換將紅外圖像與可見光圖像變換到NSCT域，將梯度歸一化互信息作為圖像配準的相似性測度準則，最后通過遺傳算法進行配準，能夠有效縮短配準時間。吳延海[19]則將梯度信息和區(qū)域互信息相結(jié)合作為相似性測度函數(shù)，通過對小波分解后的圖像進行分層配準，得到了精度較高的配準圖像。

在其他方面，圖4為Zhuang等人[20]通過結(jié)合粒子群優(yōu)化（PSO）與Powell搜索方法的配準算法流程圖與配準結(jié)果，在配準速度和精度上得到了保證，由于該方法在達到最大互信息時才會從PSO算法過渡至Powell算法去尋找最優(yōu)解，因而Zhuang等人借助主成分分析（PCA）來決定何時改變算法以提高配準效率。

圖4 基于互信息的PSO-Powell圖像配準算法及實驗結(jié)果：算法流程圖(a)；紅外與可見光圖像對(b)和配準結(jié)果(c)[20]

Li等[21]結(jié)合傳統(tǒng)相位相關(guān)與歸一化互相關(guān)金字塔，在使用參考圖像和浮動圖像獲取金字塔結(jié)構(gòu)后，通過將金字塔結(jié)構(gòu)中頂層的子源圖（浮動圖像二次采樣）映射到底層執(zhí)行配準過程，該方法對部分目標丟失情況下配準具有很強的魯棒性，但圖像噪聲對算法性能影響較大。

基于區(qū)域的配準方法以整幅圖像的灰度信息為依據(jù)。其中，基于傅里葉的圖像配準利用FFT對待配準的兩幅圖像在頻域進行類相關(guān)配準，其計算效率高，且對與頻率相關(guān)的噪聲具有魯棒性，但如何對頻域內(nèi)兩幅圖像在對數(shù)極坐標中的傅里葉變換進行準確的估計是基于相位相關(guān)運動估計的主要挑戰(zhàn)；基于互信息的方法容易使紅外與可見光圖像配準過程中陷入局部極值，與互信息方法相比，基于互信息與梯度信息、變換域的圖像配準方法通常不需要復雜的預(yù)處理過程，實現(xiàn)過程相對簡單。但這種方法對灰度變化敏感，并且在最優(yōu)變換的搜索過程中運算量較大，對相似度量函數(shù)的選取要求較高。因此，基于區(qū)域的配準方法對于紅外與可見圖像配準適用性較差。

2.2 基于特征的紅外與可見光圖像配準方法

常見的基于特征的紅外與可見光圖像配準方法有：基于點特征、基于輪廓邊緣與區(qū)域特征的圖像配準方法。

2.2.1 基于點特征的圖像配準

基于點特征的圖像配準如圖5所示，一般通過特征描述符選擇圖像的角點、邊緣交點進行特征提取。

圖5 基于點特征的圖像配準：(a)紅外與可見光圖像配準；(b)融合結(jié)果

尺度不變特征變換（SIFT）被認為是最穩(wěn)健的方法，其對噪聲不敏感，被廣泛應(yīng)用于特征點提取，但它提取特征點的速度較慢，在細節(jié)紋理少的圖像中提取效果較差。通過對SIFT算子進行改進，ASIFT算子[22]能夠在紅外圖像發(fā)生旋轉(zhuǎn)、縮放、甚至帶有噪聲的情況下有效地進行特征匹配。Yang等[23]在ASIFT基礎(chǔ)上結(jié)合多尺度Retinex算法對可見光圖像中表示物體屬性的分量進行分離，以減弱雜波背景的影響。該算法能夠增加特征點的提取數(shù)量，實現(xiàn)配準精度的提高。與ASIFT類似，Zeng等人[24]利用形態(tài)梯度得到紅外和可見光的灰度邊緣，使得相似度得以提升，然后通過改進的C_SIFT特征檢測算子從提取的邊緣中進行檢測和提取特征點，圖6為該配準算法的流程圖和配準結(jié)果，可以看到，使用C_SIFT算法在形態(tài)梯度學提取到的邊緣輪廓中提取到的特征點較多，有利于特征匹配過程中特征點的選取，在紅外與可見光圖像配準上效果顯著。

Jiang等人[25]提出采用一種輪廓角方向CAO-C2F算法，利用CSS算法計算特征點的輪廓角主方向，并結(jié)合SIFT描述符進行雙邊匹配，通過C2F實現(xiàn)了紅外與可見光圖像的精確配準。

隨著紅外與可見光圖像配準任務(wù)要求的不斷提高，SIFT算子的許多變體不斷被提出。其中，SURF算子不僅保留了SIFT算子尺度不變的特性，在對特征點的提取速度上進一步加快。李偉[26]采用固定區(qū)域截取特征點或手動提取特征點的方法對可見光圖像進行預(yù)處理，然后采用SURF算子進行特征點提取，這種方法具有較好的特征點提取效果；FAST算子具有快速提取特征點的特性，Chen[27]基于電氣設(shè)備的四邊形特征，采用輪廓和直線檢測技術(shù)能夠有效提取特征點。戴進墩[28]將灰度直方圖均衡法和NSCT算法相結(jié)合對紅外與可見光圖像進行預(yù)處理，然后采用FAST算子提取特征點，這種算法能夠減少特征點的誤匹配優(yōu)化配準效果。盡管這種方法計算簡單，但是FAST算子由于角點聚集率高極易產(chǎn)生大面積的角點塊，且對噪聲的魯棒性較差，導致提取的效果過于依賴于固定閾值的選??；通過對FAST算子進行改進得到了ORB算子，該算子在保證提取速度要求的同時，能夠利用圖像金字塔實現(xiàn)尺度不變性。比如，江澤濤[29]采用優(yōu)化顯著性檢測的算法，首先利用直方圖規(guī)定化對紅外圖像進行預(yù)處理，增強圖像的細節(jié)信息，再引入泰勒級數(shù)改進傳統(tǒng)ORB算法，降低誤匹配率提高配準精度。

圖6 基于形態(tài)學梯度和C_SIFT的實時自適應(yīng)可見光和紅外圖像配準及其結(jié)果：(a)算法流程圖；(b)待配準圖像對；(c)待配準圖像的形態(tài)梯度圖像；(d)紅外與可見光圖像配準結(jié)果[24]

然而，上述基于點特征的圖像配準大多利用高斯濾波構(gòu)建尺度空間圖像，此類方法缺點是尺度空間邊緣的弱化，導致圖像細節(jié)信息的丟失。為此，占祥慧[30]考慮利用滾動濾波引導構(gòu)建尺度空間，利用改進相位相關(guān)模型得到更準確的特征描述，結(jié)合Shitomasi算法進行多尺度角點檢測，更好地反映了紅外與可見光圖像的細節(jié)紋理。Li等人[31]則放棄特征描述子，在特征提取過程中借鑒目標檢測中常用的YOLOv3網(wǎng)絡(luò)在得到的物體邊界框中提取約束點特征，該方法可以獲得足夠多的匹配點對以獲得唯一的仿射變換矩陣用以對齊紅外與可見光圖像。

2.2.2 基于輪廓邊緣與區(qū)域特征的圖像配準

基于輪廓邊緣與區(qū)域特征的配準算法主要利用圖像中的直線/曲線特征或者局部區(qū)域相似性進行特征提取，通常和傳統(tǒng)的邊緣提取算法相結(jié)合，在圖像的邊緣或局部區(qū)域上提取特征點。

在基于輪廓邊緣的圖像配準中，一些研究者致力于通過構(gòu)建效果更好的特征描述符實現(xiàn)紅外與可見光圖像的配準，Chen等[32]針對紅外圖像灰度分布差異，使用改進PIIFD計算圖像邊緣的特征描述，經(jīng)過高斯場估計和仿射變換實現(xiàn)特征匹配和圖像對齊。Liu等人[33]提出了LGHD特征描述符，在原始匹配圖像經(jīng)過直方圖均衡化并提取圖像輪廓后，利用Log-Gabor濾波器來獲取像素鄰域的相位信息，通過所檢測關(guān)鍵點的子區(qū)域的直方圖構(gòu)建特征描述符。

使用邊緣檢測算法提取圖像邊緣后計算輪廓角主方向也是一種基于邊緣特征的圖像配準的思路。李云紅等[34]針對電力設(shè)備紅外與可見光圖像配準的特點提出一種基于Freeman鏈碼差的CSS算法實現(xiàn)紅外與可見光圖像配準，具有很好的配準效果。Cheng等[35]為了發(fā)現(xiàn)用于圖像配準的圖像中豐富的幾何特征，利用Canny邊緣檢測算法分別提取電力設(shè)備紅外圖像和可見光圖像的輪廓點云，而后利用Clifford代數(shù)計算輪廓角主方角用于對待配準圖像進行空間變換，該方法在有大旋轉(zhuǎn)的圖像中的配準誤差逼近無明顯旋轉(zhuǎn)的配準誤差，側(cè)面反映了旋轉(zhuǎn)不變性和穩(wěn)定性。

基于區(qū)域特征的配準方法則是選取具有顯著性的區(qū)域信息作為特征區(qū)域，陳亮[36]采用改進的相似性測度函數(shù)同Canny算子相結(jié)合提取邊緣特征用于構(gòu)造邊緣區(qū)域，將粒子群搜索算法作為優(yōu)化算法，利用邊緣區(qū)域?qū)崿F(xiàn)紅外與可見光圖像的配準。Liu等人[37]提出了一種基于搜索空間和特征空間優(yōu)化的視覺顯著性和SIFT相結(jié)合的圖像配準算法。采用調(diào)幅傅里葉變換構(gòu)造顯著性區(qū)域以得到顯著性特征點，通過主成分分析（PCA）方法建立了SIFT特征的降維性，實現(xiàn)紅外圖像與可見光的魯棒配準。

另外，一些研究人員還通過構(gòu)建變換模型實現(xiàn)跨模態(tài)圖像的配準。廉藺[38]選擇在多尺度空間提取兩幅圖像的邊緣信息，分別采用仿射模型和投影模型作為變換模型，實現(xiàn)自動配準。Ma等人[39]通過利用非剛性變換模型在再生核希爾伯特空間（Reproducing kernel Hilbert spaces, RKHS）實現(xiàn)圖像之間的變換，結(jié)合高斯混合模型剔除與對應(yīng)函數(shù)不一致的錯誤匹配對，同時在圖像變換中引入正則化項來增強變換的平滑性。李巍[40]采用形狀上下文描述子對局部區(qū)域特征進行描述，提出Student’s-T分布混合模型作為變換模型，實現(xiàn)紅外與可見光圖像配準。

針對非線性變換降低了變換模型的泛化能力，增加計算復雜度等問題，Min等人[41]提出了一種增強仿射變換（Enhanced affine transformation, EAT）的非剛性紅外和可見光圖像配準。根據(jù)局部特征估計出由全局變形構(gòu)造的最優(yōu)EAT模型，利用圖像對之間的潛在對應(yīng)關(guān)系，建立高斯場的目標函數(shù)。在另一項工作中[42]，Min等人將圖像配準視為點集配準，如圖7所示，利用Canny邊緣描述符從紅外和可見光圖像的邊緣圖中提取點集，通過改進的高斯加權(quán)形狀上下文（Gaussian weighted shape context, GWSC）提取匹配點，結(jié)合增強仿射變換模型實現(xiàn)高斯場距離測量，從而描述紅外圖像與可見光圖像之間全局變換的正則性。

目前提取特征點的算法相對比較成熟，并且種類較多，對于算法的選擇也具有更多的可能性和靈活性。這也是基于特征點的提取方法能得到廣泛應(yīng)用的原因；由于不需要在像素級上對圖像進行特征點的篩選與匹配，基于圖像輪廓特征的配準方法計算量更小，但對于適用的圖像受到了局限；采用特征區(qū)域方法能夠有效抑制噪聲，具有較好的穩(wěn)定性，但獲得的紅外與可見光圖像區(qū)域相似性較小，不易達到一致性，并且受尺度變換及圖像角度等因素影響，獲得相同區(qū)域難度大。當然，隨著圖像分割技術(shù)的不斷發(fā)展，基于特征區(qū)域的配準方法也將得到更深入地研究及廣泛地應(yīng)用。

圖7 高斯加權(quán)形狀上下文原理與配準結(jié)果：(a)由原始SC提供的對應(yīng)點的實例；(b)改進的GWSC配準結(jié)果[42]

2.3 基于深度學習的紅外與可見光圖像配準方法

現(xiàn)階段，由于基于深度學習的圖像配準方法在紅外與可見光中的應(yīng)用相對有限，無法像基于區(qū)域與特征的紅外與可見光圖像配準一樣進行細致分類。但一般而言，基于深度學習的圖像配準主要利用深度網(wǎng)絡(luò)對兩幅圖像進行相似性測度，通過反向傳播尋找最優(yōu)相似性。在紅外與可見光圖像對放入網(wǎng)絡(luò)之前的預(yù)處理階段，部分研究人員采用傳統(tǒng)算子或生成對抗網(wǎng)絡(luò)的跨模態(tài)映射對可見光圖像進行梯度映射轉(zhuǎn)為紅外圖像以更好地提取特征。

2.3.1 基于卷積神經(jīng)網(wǎng)絡(luò)的相似性測度模型

Zhao等人[43]利用超列結(jié)合卷積神經(jīng)網(wǎng)絡(luò)中的不同層特征，以匹配熱圖像和可見光圖像中的關(guān)鍵點。同時，該方法利用空間幾何約束進行配準圖像的相似性測度，其精度較傳統(tǒng)的特征點檢測方法有所提高。圖8為Wei等人提出的一種利用卷積神經(jīng)網(wǎng)絡(luò)的梯度引導多光譜圖像的配準網(wǎng)絡(luò)RegiNet[44]，該網(wǎng)絡(luò)是一個端到端網(wǎng)絡(luò)，它使用目標圖像和參考圖像的梯度圖作為輸入，同時生成配準圖像作為輸出。RegiNet進行多尺度特征提取，以考慮不同大小的特征[44]。在配準放入配準網(wǎng)絡(luò)前，利用Sobel算子對可見光圖像進行梯度映射生成相應(yīng)紅外圖像，RegiNet分別對參考圖像和浮動圖像的梯度映射進行編碼，然后將它們連接起來以配準目標圖像。同時，在訓練過程中增加了邊緣信息的權(quán)重提高了配準性能。在這些方法中，配準對要么是相同的圖像譜，要么差異小。多種深度網(wǎng)絡(luò)模型在紅外與可見光圖像配準中的嘗試，使得利用卷積神經(jīng)網(wǎng)絡(luò)提取紅外與可見光圖像對中的潛在共同特征成為了可能。

圖8 RegiNet的網(wǎng)絡(luò)架構(gòu)。

2.3.2 基于生成對抗網(wǎng)絡(luò)的圖像配準

生成對抗網(wǎng)絡(luò)（Generative adversarial network, GAN）因其可實現(xiàn)跨域圖像映射被應(yīng)用到紅外與可見光圖像配準中，生成器實現(xiàn)可見光圖像到紅外圖像的映射，判別器模塊判斷配準后圖像與原圖像的相似度、圖像是否足夠逼真等?；贕AN的變換參數(shù)預(yù)測框架如圖9所示。

Wang等人提出了一種用于紅外與可見光圖像配準的二階端變壓器對抗網(wǎng)絡(luò)TAN[45]。圖10為Wang等人采用的配準框架及部分實驗結(jié)果，在第一階段利用條件生成對抗網(wǎng)絡(luò)（cGAN）學習從可見光圖像中得到的紅外圖像和映射的紅外圖像之間的從粗到細的變換；在第二階段利用“Flownet”網(wǎng)絡(luò)和采樣器應(yīng)用紅外圖像與可見光圖像對，得到精細的對齊紅外圖像，即扭曲圖像；最后利用判別器網(wǎng)絡(luò)判斷扭曲圖像是否足夠逼真，利用對抗性較好地實現(xiàn)了紅外圖像與可見光圖像的高精度配準。

圖9 基于GAN的變換參數(shù)預(yù)測框架

Kumari等人[46]同樣利用具有空間變壓器模塊的生成對抗網(wǎng)絡(luò)實現(xiàn)了紅外與可見光圖像的配準，對抗性損失迫使生成器輸出一個類似紅外的圖像與原紅外圖像放入判別器中判斷生成器輸出的類似紅外的圖像是否足夠逼真。Mao等人[47]則利用遷移學習的特點，在圖像輸入對抗子網(wǎng)絡(luò)之前，使用并行的卷積自動編碼器在可見光分支和紅外分支兩個圖像域重建圖像，以此提高特征匹配的性能。楊冰超等人[48]選擇利用GAN的模態(tài)轉(zhuǎn)換能力從紅外圖像中生成偽紅外圖像，使用SURF算法結(jié)合PIIFD特征描述子提取生成圖像特征點，實現(xiàn)特征描述。

紅外圖像和可見光圖像所表達的光學特征、幾何特征和空間位置有很大不同[49]。難以使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network, CNN）獲得兩個或多個點之間的空間關(guān)系?；谏蓪咕W(wǎng)絡(luò)的配準方法能夠完成可見光到紅外圖像的映射，但也需要加入傳統(tǒng)利用傳統(tǒng)的SIFT、SURF、PIIFD等特征點提取算子實現(xiàn)特征描述。

3 紅外與可見光圖像配準的應(yīng)用

紅外圖像可在全天候與晝夜條件下根據(jù)輻射差異將探測目標與背景區(qū)分開來，而可見光圖像可以提供高空間分辨率和高清晰度紋理細節(jié)。作為圖像融合的必要前提之一，紅外與可見光圖像配準在眾多領(lǐng)域中已得到諸多應(yīng)用。

電力設(shè)備作為電力系統(tǒng)的主設(shè)備，時常處于高電壓、高溫的工作狀態(tài)與日曬雨淋的惡劣環(huán)境中，導致其容易產(chǎn)生故障。只依靠可見光圖像監(jiān)測無法統(tǒng)計熱量信息，而紅外圖像雖然能夠依靠物體熱信息探測目標的熱量不尋常點，但在細節(jié)紋理上不夠突出。實踐證明將紅外圖像與可見光圖像配準技術(shù)應(yīng)用到電力設(shè)備在線監(jiān)測系統(tǒng)中，可以在實現(xiàn)電力設(shè)備熱像顯示的同時實現(xiàn)其精確定位，滿足電力系統(tǒng)的實時在線監(jiān)測需求，也提高了對于故障點檢測的精確度，保障電力設(shè)備安全及供電可靠性[50-51]。

在醫(yī)學領(lǐng)域中，將熱成像技術(shù)應(yīng)用于骨傷與關(guān)節(jié)疾病、腦梗等腦部疾病、乳腺癌等腫瘤癌癥的早期診斷等醫(yī)學領(lǐng)域中，能夠通過體溫的變化顯示出人體某處可能出現(xiàn)的病灶。根據(jù)患者紅外圖、CT圖像、MRI圖像等多模態(tài)圖像進行配準對齊，有助于確定病灶區(qū)域，同時，對不同時間段的同一人體區(qū)域圖像進行配準可以對疾病診斷、手術(shù)規(guī)劃、術(shù)后恢復情況等做出細致分析。通過對多模態(tài)醫(yī)學圖像配準技術(shù)的研究，能夠推動現(xiàn)代臨床醫(yī)學技術(shù)的進步[52]。

衛(wèi)星、無人機等空中攝影技術(shù)的更新以及可見光傳感器的發(fā)展促進了多模態(tài)圖像配準技術(shù)在遙感圖像中的應(yīng)用。如根據(jù)衛(wèi)星熱成像圖與可見光圖的匹配結(jié)果分析某一區(qū)域的氣象；在農(nóng)林業(yè)中利用熱成像反應(yīng)植物溫度、可見光圖像能夠?qū)?yīng)到具體植株部位的特點對植物進行水分脅迫監(jiān)測、病毒感染部位分析、生長狀況監(jiān)測；通過對獲得的紅外與可見光遙感圖像進行配準能夠?qū)崿F(xiàn)偵察、跟蹤以及軍事目標的精確打擊[53]。

紅外與可見光圖像配準技術(shù)還應(yīng)用于材料力學中以研究力學性質(zhì)、目標物運動跟蹤、道路與車輛的場景分類、人臉識別、自動駕駛領(lǐng)域中輔助駕駛等眾多領(lǐng)域。

圖10 變壓器對抗網(wǎng)絡(luò)（TAN）的紅外與可見光圖像配準框架及部分實驗結(jié)果：變壓器對抗網(wǎng)絡(luò)框架(a)與配準結(jié)果(b)[45]

4 結(jié)束語

發(fā)展到目前的紅外與可見光配準技術(shù)已覆蓋電力、軍事、輔助駕駛與人臉識別等領(lǐng)域。雖然紅外與可見光圖像的配準算法有很多，但是在不同的應(yīng)用場景下具有不同的應(yīng)用需求，如電力系統(tǒng)在線監(jiān)測領(lǐng)域?qū)D像的實時性要求較高而醫(yī)學領(lǐng)域?qū)D像的配準精度要求較高等。因此目前還沒有一種全面的圖像配準算法能夠囊括所有的應(yīng)用場景。針對未來紅外與可見光圖像配準算法的發(fā)展，可以從以下幾個方面進行改進以提高圖像的配準效率：①對于基于區(qū)域的圖像配準算法可以在改善相似度量函數(shù)、提出更有效的變換域算法等方面進行改進。②對于基于特征的圖像配準算法可以在改善圖像預(yù)處理過程、對傳統(tǒng)的描述算子進行降維、設(shè)計更精確的錯配消除算法等方面進行改進；③隨著深度學習在圖像配準領(lǐng)域的不斷研究，有望實現(xiàn)利用深度網(wǎng)絡(luò)更好地提取紅外與可見光圖像的幾何特征，從而使深度學習的圖像配準方法在紅外與和可見光領(lǐng)域得到更好的應(yīng)用。

[1] LI Y, YU F Y, CAI Q, et al. Image fusion of fault detection in power system based on deep learning[J]., 2019, 22(4): 9435-9443.

[2] MA J, ZHAO J, MA Y, et al. Non-rigid visible and infrared face registration via regularized Gaussian fields criterion[J]., 2015, 48(3): 772-784.

[3] 韓靜, 柏連發(fā), 張毅, 等. 基于改進配準測度的紅外與可見光圖像配準[J]. 紅外技術(shù), 2011, 33(5): 271-274.

HAN J, BO L F, ZHANG Y, et al. A registration algorithm of infrared and visible image based on revised measure function[J]., 2011, 33(5): 271-274.

[4] Sarvaiya J N, Patnaik S, Bombaywala S. Image registration by template matching using normalized cross-correlation[C]//2009, 2009: 819-822.

[5] YANG Z, SHEN G, WANG W, et al. Spatial-spectral cross correlation for reliable multispectral image registration[C]//2009(AIPR 2009), 2009: 1-8.

[6] MA J, JIANG X, FAN A, et al. Image matching from handcrafted to deep features: A survey[J]., 2021, 129(1): 23-79.

[7] Stone H S, Tao B, McGuire M. Analysis of image registration noise due to rotationally dependent aliasing[J]., 2003, 14(2): 114-135.

[8] LI Z, YANG J, LI M, et al. Estimation of large scalings in images based on multilayer pseudopolar fractional Fourier transform[J]., 2013, 2013: 179489.

[9] DONG Y, JIAO W, LONG T, et al. An extension of phase correlation-based image registration to estimate similarity transform using multiple polar Fourier transform[J]., 2018, 10(11): 1719.

[10] Fujisawa T, Ikehara M. High-accuracy image rotation and scale estimation using radon transform and sub-pixel shift estimation[J]., 2019, 7: 22719-22728.

[11] Fouda Y, Ragab K. An efficient implementation of normalized cross-correlation image matching based on pyramid[C]//2013,, 2013: 98-103.

[12] YANG M Y, QIANG Y, Rosenhahn B. A global-to-local framework for infrared and visible image sequence registration[C]//2015, 2015: 381-388.

[13] BAI L F, HAN J, ZHANG Y, et al. Registration algorithm of infrared and visible images based on improved gradient normalized mutual information and particle swarm optimization[J]., 2012, 41(1): 248-254.

[14] CHEN S J, SHEN H L, LI C, et al. Normalized total gradient: A new measure for multispectral image registration[J]., 2017, 27(3): 1297-1310.

[15] YANG T J, TANG Q, LI L. Nonrigid registration of medical image based on adaptive local structure tensor and normalized mutual information[J]., 2019, 20(6): 99-110.

[16] 趙洪山, 張則言. 基于文化狼群算法的電力設(shè)備紅外和可見光圖像配準[J]. 光學學報, 2020, 40(16): 51-64.

ZHAO H, ZHANG Z. Power equipment infrared and visible images registration based om cultural wolf pack algorithm[J]., 2020, 40(16): 51-64.

[17] 孫鳳杰, 趙孟丹, 劉威, 等. 基于方向場的輸電線路間隔棒匹配定位算法[J]. 中國電機工程學報, 2014, 34(1): 206-213.

SUN F, ZHAO M, LIU W, et al. Spacer matching and localizetion algorithm for transmission line video image based on directional field[J]., 2014, 34(1): 206-213.

[18] 劉剛, 周珩, 梁曉庚, 等. 非下采樣輪廓波域紅外與可見光圖像配準算法[J]. 計算機科學, 2016, 43(11): 313-316.

LIU G, ZHOU H, LIANG X, et al. Image registration algorithm for infrared and visible light based on non-subsamoled Contourlet transform[J]., 2016, 43(11): 313-316.

[19] 吳延海, 張程, 張燁. 基于梯度信息和區(qū)域互信息的圖像配準[J].廣西大學學報: 自然科學版, 2017, 42(2): 720-727.

WU Y, ZHANG C, ZHANG Y. Image Registration based on gradient and regional mutual information[J].: Natural Science Edition, 2017, 42(2): 720-727.

[20] ZHUANG Y, GAO K, MIU X, et al. Infrared and visual image registration based on mutual information with a combined particle swarm optimization–Powell search algorithm[J]., 2016, 127(1): 188-191.

[21] LI Y, WANG J, YAO K. Modified phase correlation algorithm for image registration based on pyramid[J]., 2022, 61(1): 709-718.

[22] Morel J M, YU G. ASIFT: A new framework for fully affine invariant image comparison[J]., 2009, 2(2): 438-469.

[23] YANG N, YANG Y, LI P, et al. Research on infrared and visible image registration of substation equipment based on Multi-scale Retinex and ASIFT features[C]//, 2021, 11913: 1191303.

[24] ZENG Q, ADU J, LIU J, et al. Real-time adaptive visible and infrared image registration based on morphological gradient and C_SIFT[J]., 2020, 17(5): 1103-1115.

[25] JIANG Q, LIU Y, YAN Y, et al. A contour angle orientation for power equipment infrared and visible image registration[J]., 2020, 36(4): 2559-2569.

[26] 李偉, 王軍, 俞躍. 基于可見光匹配矩陣的電氣部件故障紅外自動識別算法[J].紅外技術(shù), 2019, 41(11): 1047-1056.

LI W, WANG J, YU Y. An infrared automatic fault recognition method for electrical parts based on visible matching matrix[J]., 2019, 41(11): 1047-1056.

[27] CHEN Y, DAI J, MAO X, et al. Image registration betwe en visible and infrared images for electrical equipment inspection robots based on quadrilateral features[C]// 2nd(), 2017: 126-130.

[28] 戴進墩, 劉亞東, 毛先胤, 等. 基于NSCT域FAST角點檢測的電氣設(shè)備紅外與可見光圖像配準[J]. 電測與儀表, 2019, 56(1): 108-114.

DAI J, LIU Y, MAO X, et al. Registration based on NSCT-domain FAST corner detection for infrared and visible images of electrical equipment[J]., 2019, 56(1): 108-114.

[29] 江澤濤, 劉小艷, 王琦. 基于顯著性和ORB的紅外和可見光圖像配準算法[J]. 激光與紅外, 2019, 49(2): 251-256.

JIANG Z, LIU X, WANG Q. Visible and infrared image registration algorithm based on saliency and ORB[J]., 2019, 49(2): 251-256.

[30] 占祥慧, 徐智勇, 張建林. 結(jié)合滾動引導濾波和相位信息的紅外與可見光圖像配準[J]. 半導體光電, 2021, 42(5): 726-732.

ZHANG X, XU Z, ZHANG J. Infrared and visible images registration using rolling guided filter and phase information[J]., 2021, 42(5): 726-732.

[31] LI Q, HAN G, LIU P, et al. An infrared-visible image registration method based on the constrained point feature[J]., 2021, 21(4): 1188.

[32] CHEN X, LIU L, ZHANG J, et al. Registration of multimodal images with edge features and scale invariant PIIFD[J]., 2020, 111: 103549.

[33] LIU X, LI J B, PAN J S, et al. An advanced gradient texture feature descriptor based on phase information for infrared and visible image matching[J]., 2021, 80(11): 16491-16511.

[34] 李云紅, 羅雪敏, 蘇雪平, 等. 基于改進CSS的電力設(shè)備紅外與可見光圖像配準[J/OL]. 激光與光電子學進展: 1-14. [2021-9-9].http://www.cnki.com.cn/Article/CJFDTotal-JGDJ20210909004.htm.

LI Y, LUO X, SU X, et al. Registration method for power equipment infrared and visible images based on improved CSS[J/OL].: 1-14. [2021-9-9].http://www.cnki.com.cn/ Article/CJFDTotal-JGDJ20210909004.htm.

[35] CHENG T, GU J, ZHANG X, et al. Multimodal image registration for power equipment using clifford algebraic geometric invariance[J]., 2022, 8: 1078-1086.

[36] 陳亮, 周孟哲, 陳禾. 一種結(jié)合邊緣區(qū)域和互相關(guān)的圖像配準方法[J]. 北京理工大學學報, 2016, 36(3): 320-325.

CHEN L, ZHOU M, CHEN H. A method for image registration combined by edge region and cross correlation[J]., 2016, 36(3): 320-325.

[37] LIU G, LIU Z, LIU S. et al. Registration of infrared and visible light image based on visual saliency and scale invariant feature transform[J].., 2018:45. https://doi.org/10.1186/s13640-018-0283-9.

[38] 廉藺, 李國輝, 張軍, 等. 基于邊緣最優(yōu)映射的紅外和可見光圖像自動配準算法[J]. 自動化學報, 2012, 38(4): 570-581.

LIAN L, LI G, ZHANG J, et al. An automatic registration algorithm of infrared and visible images based on optimal mapping of edges[J]., 2012, 38(4): 570-581.

[39] MA J, ZHAO J, MA Y, et al. Non-rigid visible and infrared face registration via regularized Gaussian fields criterion[J]., 2015, 48(3): 772-784.

[40] 李巍, 董明利, 呂乃光, 等. 基于T分布混合模型的多光譜人臉圖像配準[J]. 光學學報, 2019, 39(7): 56-66.

LI W, DONG M L, LYU N G, et al. Multispectral face image registration based on t-distribution mixture model[J]., 2019, 39(7): 56-66.

[41] MIN C, GU Y, LI Y, et al. Non-rigid infrared and visible image registration by enhanced affine transformation[J]., 2020, 106: 107377.

[42] MIN C, GU Y, YANG F, et al. Non-rigid registration for infrared and visible images via Gaussian weighted shape context and enhanced affine transformation[J]., 2020, 8: 42562-42575.

[43] ZHAO Z, ZHAO L, QI Y, et al. Infrared and visible image registration based on hypercolumns[C]//, 2017: 529-539.

[44] WEI Z, JUNG C, SU C. RegiNet: Gradient guided multispectral image registration using convolutional neural networks[J]., 2020, 415: 193-200.

[45] WANG L, GAO C, ZHAO Y, et al. Infrared and visible image registration using transformer adversarial network[C]// 25th()., 2018: 1248-1252.

[46] Kumari K, Krishnamurthi G. GAN-based End-to-End Unsupervised Image Registration for RGB-Infrared Image[C]// 3rd()., 2020: 62-66.

[47] MAO Y, HE Z. Dual-Y network: infrared-visible image patches matching via semi-supervised transfer learning[J]., 2021, 51(4): 2188-2197.

[48] 楊冰超, 王鵬, 李曉艷, 等. 基于模態(tài)轉(zhuǎn)換結(jié)合魯棒特征的紅外圖像和可見光圖像配準[J]. 激光與光電子學進展, 2022, 59(4): 180-189.

YANG B, WANG P, LI X, et al. Infrared and visible light image registration based on model conversion and robust features[J]., 2022, 59(4): 180-189.

[49] YU K, MA J, HU F, et al. A grayscale weight with window algorithm for infrared and visible image registration[J]., 2019, 99: 178-186.

[50] LUO W, HAO X, XU C, et al. Coarse-to-fine registration for infrared and visible images of power grid[C]// 4th(), 2017: 1181-1185.

[51] 姜騫, 劉亞東, 方健, 等. 基于輪廓特征的電力設(shè)備紅外和可見光圖像配準方法[J]. 儀器儀表學報, 2020, 41(11): 252-260.

JIANG Q, LIU Y D, FANG J, et al. Registration method for power equipment infrared and visible images based on contour feature[J]., 2020, 41(11): 252-260.

[52] 馬露凡, 羅鳳, 嚴江鵬, 等. 深度醫(yī)學圖像配準研究進展:邁向無監(jiān)督學習[J]. 中國圖象圖形學報, 2021, 26(9): 2037-2057.

MA L F, LUO F, YAN J P, et al. Deep-learning based medical image registration pathway: towards unsupervised learning[J]., 2021, 26(9): 2037-2057.

[53] 劉歡, 肖根福, 歐陽春娟, 等. 初-精結(jié)合和多特征融合的多源遙感圖像配準[J]. 遙感信息, 2018, 33(6): 61-70.

LIU H, XIAO G F, OUYANG C J, et al. Initial-fine combination and multi-feature fusion for multi-source remote sensing image registration[J]., 2018, 33(6): 61-70.

Review of Infrared and Visible Image Registration

LI Yunhong，LIU Yudong，SU Xueping，LUO Xuemin，YAO Lan

(School of Electronics and Information, Xi’an Polytechnic University, Xi’an 710048, China)

Multi-modal image registration can provide richer and more comprehensive information than single-modal image registration. Among them, infrared and visible image registration, which is a common multi-modal form of registration, has important application value in fields such as electric power, remote sensing, military, and face recognition. In this paper, the correlation technique of infrared and visible image registration is introduced, and the existing difficulties and challenges involved in registration are analyzed. Subsequently, the advantages and disadvantages of different registration methods are evaluated in detail the three types based on area, feature, and deep learning, and a practical application of infrared and visible image registration technology is presented. Finally, the future development trend of infrared and visible image registration is discussed.

image registration, infrared image, visible image, deep learning

TP391

A

1001-8891(2022)07-0641-11

2022-04-13；

2022-05-24.

李云紅（1974-），女，教授，碩士生導師，研究方向為紅外熱像技術(shù)、數(shù)字圖像處理和信號與信息處理技術(shù)。E-mail：hitliyunhong@163.com。

國家自然科學基金（61902301）；陜西省科技廳自然科學基礎(chǔ)研究重點項目（2022JZ-35）；國家級大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目（S202110709002）。