賈停停，王慧琴*，王 可，王 展，甄 剛，李 源

（1. 西安建筑科技大學 信息與控制工程學院，陜西 西安 710055；2. 陜西省文物保護研究院，陜西 西安 710075；3. 西安博物院，陜西 西安 710054）

1 引 言

多光譜圖像為通過光譜相機獲取到的不同通道的多幅圖像，具有光譜分辨率和空間分辨率。近年來，多光譜成像技術在圖像處理領域有很大突破，大多用于遙感圖像［1-2］，也有學者將其應用于文物保護領域且取得了一定成就，如壁畫的保護與修復［3-4］。在實際拍攝過程中，多光譜圖像的寬視角和高分辨率兩方面需求存在沖突，可利用圖像拼接技術將多幅窄視角、高分辨率的多光譜壁畫圖像拼接并融合，獲得具有寬視角、高分辨率的多光譜壁畫圖像［5-7］，為壁畫的保護與修復提供更詳實的數據。

圖像拼接一般包括圖像采集與預處理、圖像配準，圖像融合3 個步驟，其關鍵步驟為圖像配準［8-9］。在圖像配準領域，Harris［10］等提出Harris檢測算子，雖算法穩(wěn)定性高，但不具備尺度不變性；Lowe［11］提 出SIFT 特征匹配算法，具有尺度不變性和旋轉不變性，配準精度高、魯棒性強但時間成本大；Bay［12］等在對SIFT 算法降維的基礎上提出SURF 算法，雖將配準速度大幅提高，但其 精 度 有 所 降 低；陳 偉［13］等 將FAST 算 法 與SURF 算法進行結合，進一步提升了算法的匹配速率，但在精度上還是有所欠缺。Rublee［14］等將Fast 算法與Brief 算法進行融合提出ORB 算法，提高了特征檢測和特征匹配速率，但特征點檢測不 穩(wěn) 定，配 準 精 度 不 及SURF 算 法。Wu［15］將BRISK 算法和ORB 算法結合，提升配準精度的同時提升了配準速率，但精度還是低于SIFT 與SURF 算法。以上算法均在配準精度與效率之間存在一定沖突，且不可直接獲取圖像之間的偏移量，無法實現多光譜圖像的準確快速拼接。

基于二維傅里葉變換的相位相關法具有算法簡單、精確度高的特點［16］。該方法由Kuglin［17］等首次提出，可計算出兩張重疊率較大圖像之間的偏移量，但無法對重疊率低，以及具有較大旋轉角度和尺度變化的兩幅圖像實現精確配準。Reddy［18］等將對數極坐標變換與相位相關法融合形成擴展相位相關法，解決了同時具有平移、旋轉和尺度變換的兩幅圖像的配準問題。Li［19］等提出一種基于圖像金字塔改進的相位相關配準算法，在引入金字塔分解降低圖像分辨率的基礎上結合相位相關法，降低了算法復雜度且對目標部分丟失或被遮擋的情況具有很強的魯棒性。因壁畫拍攝現場情況復雜，需對目標壁畫進行快速數據采集，因此采集的壁畫多光譜圖像分鏡頭間重疊率較低。上述針對相位相關法的改進均無法克服其在低重疊率時的誤匹配問題，無法實現低重疊率多光譜圖像的快速拼接。

本文提出一種相位相關性增強的自適應低重疊率多光譜圖像快速拼接算法。在相位相關法的基礎上，設計圖像相關性增強切分方法，增大相鄰分鏡頭下兩幅壁畫光譜圖像之間的重疊率，引入最小二乘法進行自適應偏移量尋優(yōu)，然后利用相鄰分鏡頭圖像各通道偏移量一致原則，將基準通道圖像偏移量定位映射到其他通道，實現低重疊率壁畫光譜圖像多通道快速拼接。最后，使用本文算法與Harris、SIFT、FAST-SURF、BRISK-ORB 四種算法進行多光譜圖像拼接對比實驗，評價并討論了實驗結果。

2 相位相關法基本原理

在現有圖像匹配算法中，相位相關法具有計算量小、抗噪聲等優(yōu)點，可精確計算出圖像之間的相對偏移量，能快速高效地實現光譜圖像的多通道拼接。當待拼接圖像之間僅有平移關系時，設兩者圖像信號分別為f1(x，y)、f2(x，y)，則兩幅圖像滿足以下條件：

式中，dx、dy為兩張圖像水平偏移量和豎直偏移量［16］。根據傅里葉變換位移性質，將圖像變化通過頻域反映得：

式中：F1(u，v)為 圖像f1(x，y)的 傅里葉變換，F2(u，v)為圖像f2(x，y)的傅里葉變換，兩幅圖像的歸一化互功率譜如下：

式中，F表示F2的復共軛，|F1(u，v)F(u，v)|為F1(u，v)F2?(u，v)的幅度譜。根據傅里葉變換平移定理，對互功率譜進行傅里葉逆變換可得兩幅圖像的相位相關函數為：

式中，δ(x-dx，y-dy)為脈沖函數［20-21］。當兩幅圖像僅有平移差異時，脈沖函數峰值所在的位置對應兩幅圖像的相對偏移量［22］，峰值大小表示兩幅圖像的相關度，即當兩幅圖像完全相同時，脈沖函數峰值為1。當兩幅圖像配準成功時，其脈沖函數峰值個數唯一，如圖1（a）所示；當配準誤差較大時會存在多個比較接近的峰值，如圖1（b）所示。

圖1 圖像的相位相關函數脈沖圖。（a）正確匹配脈沖圖；（b）錯誤匹配脈沖圖。Fig.1 Pulse diagram of phase correlation function of image.（a）Correctly match the pulse diagram；（b）Error matching pulse diagram.

當重疊區(qū)域所占比例過小時，兩幅圖像相關性低，相關峰能量會向非相關峰擴散，造成多峰值干擾，相位相關法無法精確獲取兩幅圖像的相對偏移量。故其在圖像重疊率大于50%時具有較好的拼接效果，重疊率較低時容易產生誤匹配。

3 相位相關性增強的低重疊率多光譜圖像拼接算法

3.1 圖像相關性增強切分法

相鄰分鏡頭光譜圖像重疊率較低時，直接使用相位相關法進行拼接會造成較大誤差。為保證匹配準確性，設計圖像切分方法，逐步切除光譜圖像的非重疊部分，提高兩幅子圖像的重疊率，以增強子圖像相關性。設圖像寬為c，切分總次數為num，則切分步長l為：

每次切去一個步長的像素，則第i次切分后剩余子圖像寬度為：

切分示意圖如圖2 所示。

圖2 圖像切分示意圖Fig.2 Schematic diagram of image segmentation

3.2 自適應相位相關性增強圖像拼接算法

3.2.1 最小二乘偏移量尋優(yōu)

不同大小子圖像配準結果存在差異。為尋找最佳匹配結果并保證結果的準確性，引入最小二乘法對匹配結果進行驗證，實現偏移量尋優(yōu)，保證算法的精確度。通過使誤差的平方和最小化去尋找與數據匹配的最佳函數［23］，形式如下：

式中：δ為累計誤差，yi為預測值，y0為真值。

選取匹配結果對應的兩幅圖像的重疊部分進行驗證，利用相位相關法計算重疊部分的相對偏移量dx、dy，其偏移量累計誤差最小為：

偏移量累計誤差最小即為最佳匹配結果。

3.2.2 分鏡頭圖像自適應切分匹配算法

因拍攝環(huán)境以及人為因素，相鄰分鏡頭光譜圖像重疊率存在差異。為了對不同大小和重疊率的光譜圖像實現拼接。提出一種自適應切分匹配算法，針對不同光譜圖像動態(tài)調整總切分次數及切分步長，在保證拼接質量的同時提高算法自適應性。

由于相位相關法對重疊率高于50%的圖像有比較好的拼接效果，為提高算法時間效率，從圖像非重疊側的1/2 處開始切分，則切分步長為：

對兩張子圖像進行相位相關法計算。理想情況下，當兩張圖片重疊部分完全一致時，其相位相關脈沖函數峰值只有一個。但在實際運算過程中，由于拍攝時光照不均、拍攝角度不一等因素，兩張圖像重疊部分并非完全相似，故脈沖函數峰值能量四處擴散，出現若干與最大峰值相近峰值，對匹配結果產生干擾。若直接將最大峰值所對應的偏移量作為最終圖像偏移量，易導致誤匹配。

針對上述問題，取切分后子圖像使用相位相關法匹配，尋找脈沖函數陣列中最大峰值max_value，以及與最大峰值相差λ?max_value以內的其他峰值，將各峰值對應相對偏移量進行存儲，作為待驗證偏移量。λ為范圍參數，其取值根據實際應用場景調整，取值范圍為[0.01，0.1]。λ取值越大，拼接準確率越高，但時間成本也會隨之增加。因相位相關法計算速度快，為保證拼接質量，本文實驗λ取0.1。

為尋找最佳匹配結果，在相位相關性增強拼接算法基礎上引入最小二乘法迭代驗證自適應調整切分總次數及步長，尋找最佳匹配結果，實現低重疊率壁畫光譜圖像的拼接。具體步驟如下：

Step1 設初始切分次數num=0，切去的步長數i=0。

Step2 num=num+5。

Step3 對圖像進行切分，每次切去一個步長，切去總步長數i=i+1。

Step4 對子圖像進行相位相關法匹配，保留不低于最大峰值10%的所有峰值對應偏移量。

Step5 將偏移量所對應的重疊區(qū)域再次進行匹配，保留最大峰值對應偏移量為Δx、Δy。若有n組保留下來待驗證平移量，可得n組對應的Δx、Δy。

Step6 根據圖像重疊區(qū)域的高度一致性，在所得n組Δx、Δy中，利用最小二乘法對進行尋優(yōu)，保留其對應的偏移量x1、y1。

Step7 當i＜num 時，重復Step3，否則執(zhí)行Step8。

Step8 因光譜圖像本身存在噪點，易出現誤判，出現位置接近原點峰值，導致Δx2+Δy2的值極小。為使結果更加可靠，取每次切分后所得x1、y1的眾數，為總切分次數下的最佳偏移量。

Step9 為提高算法精確度，對切分次數和步長進行自適應調整。對Step8 偏移量對應重疊部分再次驗證，當Δx2+Δy2≤ε時，其對應x1、y1即為兩幅圖像間最終偏移量dx、dy；否則返回Step2 直至找到誤差范圍內最佳匹配結果。

Step10 利用最終偏移量對圖像進行拼接。

因本文方法無需涉及亞像素，實驗表明，當ε取值為1 時均能達到較好匹配效果，同時驗證了本算法的精確度。

自適應切分算法流程如圖3 所示。

圖3 自適應切分算法流程圖Fig.3 Flow chart of adaptive segmentation algorithm

3.3 多光譜圖像拼接與融合處理

多光譜圖像各通道所含信息各有差異，研究時需對每個通道進行拼接，將多通道進行融合以增加圖像信息量?？紤]到匹配效率及個別通道信息量不足等問題，其過程不可簡單視為對所有通道逐一配準拼接。此外，單通道拼接時誤差各異，導致多通道融合時累計誤差較大。故需選取信息量最大波段光譜圖像為基準進行匹配運算，利用所得偏移量信息對其余通道定位映射，完成多通道快速拼接［24］。保證各通道誤差及拼接后大幅圖像維度一致性，降低多通道融合時的累計誤差。本文所用多光譜圖像通道數為16，若計算出在基準通道下A1、A2 兩幅光譜圖像偏移量分別為Δx、Δy，則其對應通道的拼接如圖4 所示，其中P為圖像長度，Q為圖像寬度，R為波段數。

圖4 多光譜圖像A1 和A2 拼接示意圖Fig.4 Schematic diagram of multispectral image A1 and A2 splicing

采集過程中光照強度的不同會使兩幅圖像亮度存在差異，導致配準后圖像拼接處存在明顯縫隙。為了使圖像拼接處過渡自然，需對圖像進行融合處理以消除縫隙［25-26］。本文引入加權平均法對兩幅圖像的重疊部分進行融合處理。設處理后圖像灰度值為I(i，j)待拼接圖像灰度值分別為I1與I2，則有：

式中，e為權重系數，一般情況下為：

式中，xmax和xmin為兩幅圖像相同部分在X軸方向上的極大值和極小值。圖像的融合可使圖像灰度值進行緩慢過渡，消除光照不均對拼接效果造成的影響，實現無縫拼接。

4 實驗與結果分析

4.1 算法性能分析

為驗證本文算法的有效性與普適性，采用5組不同光譜壁畫圖像作為實驗數據。首先將本文算法與傳統(tǒng)相位相關法在圖像低重疊率時的拼接有效性進行對比。選取像素大小為1 363×965，重疊率為11.4%的A1、A2 兩幅分鏡頭多光譜壁畫圖像，使用相位相關法與本文算法進行拼接，結果如圖5 所示。

圖5 傳統(tǒng)相位相關法與本文算法拼接效果對比。（a）待拼接圖像；（b）傳統(tǒng)相位相關脈沖圖；（c）本文算法脈沖圖；（d）傳統(tǒng)相位相關法拼接結果圖；（e）本文算法拼接結果圖。Fig. 5 Comparison of stitching effect between traditional phase correlation method and this algorithm.（a）Image to be spliced；（b）Traditional phase correlation pulse diagram；（c）Pulse diagram in this paper；（d）Splicing result diagram of traditional phase correlation method；（e）Stitching results of this algorithm shown in the figure.

由圖5 傳統(tǒng)相位相關脈沖圖像（b）可得，在光譜壁畫圖像重疊率11.4%，即在重疊率較低情況下，脈沖圖出現多處明顯尖峰，雖有最大峰值，但峰值能量較低，對應偏移量也存在較大誤差。由圖5 中本文算法脈沖圖像（c）可以看出，本文算法通過對圖像進行合理切分，增強圖像的相關性，在此基礎上進行相位相關法配準，其脈沖圖像得到明顯改善，存在明顯尖峰且相關峰值能量變大。但由于壁畫光譜圖像本身存在噪聲，導致脈沖圖像仍存在其他小峰值，因此引入最小二乘法進行偏移量尋優(yōu)，檢測出A1、A2 兩幅圖像的最優(yōu)水平及豎直偏移量分別為176 像素、110 像素，并以此作為定位映射標準進行拼接和融合。與傳統(tǒng)相位相關法拼接結果（d）相比，本文方法拼接結果（e）無拼接錯位誤匹配問題，且拼接效果遠優(yōu)于傳統(tǒng)相關相位法。

為驗證本文所提算法的普適性，分別對剩余4 組大小、重疊率各異的壁畫光譜圖像利用本文方法進行拼接實驗，實驗效果如圖6 所示。

由圖6 可以看出，對于5 組大小、重疊率各異的光譜圖像，本文方法均有比較好的拼接效果，其客觀指標如表1 所示。

圖6 不同壁畫光譜圖像拼接結果Fig.6 Mosaic results of spectral images of different murals

表1 5 組壁畫光譜圖像拼接結果Tab.1 Mosaic results of five groups of mural spectral images

由表1 得5 組壁畫光譜圖像重疊率最低為5%，最高為20.3%，A、B、E 三組壁畫光譜圖像只需切分5 次即可算出相對偏移量，平均時間成本只需0.411 s。C、D 兩組壁畫光譜圖像合適切分次數為10，平均時間為0.805 s；雖時間成本與切分次數呈正相關，但其拼接時間均在可接受范圍內。實驗表明，對于大小、重疊率不同的5 組壁畫光譜圖像，本文所提算法均可找到合適的切分次數，并計算出各圖像間最優(yōu)偏移量，達到低重疊率壁畫光譜圖像快速無縫拼接的效果。

4.2 多通道光譜圖像實驗對比分析

對于多通道圖像拼接而言，不同通道圖像亮度、信息量存在較大差異，對拼接質量也會造成一定的影響。因大幅壁畫圖像難以獲取，為更好地驗證本文算法的優(yōu)越性，對D1 分鏡頭的520，740，900 nm 通道光譜圖像進行分割并重新拼接，將本文算法分別與經典的Harris、SIFT 算法以及最新的FAST-SURF、BRISK-ORB 算法進行比較，實驗結果如圖7 所示。

由圖7 可得，基于特征點檢測的SIFT、FAST-SURF、BRISK-ORB 算法在740 nm 通道有較好的拼接效果，Harris 算法拼接結果邊緣存在輕微的幾何形變，但在低照度通道下，圖像亮度比較低，檢測到的特征點數量減少，導致拼接誤差增大，在520 nm、900 nm 通道圖像拼接時，4 種算法均出現了不同程度的幾何形變，其中Harris、BRISK-ORB 兩種算法的幾何變形較嚴重。本文算法在3 個通道均有比較好的拼接效果，驗證了本文算法在圖像亮度變化方面相對于其他上算法有較強的魯棒性。

圖7 不同算法拼接效果對比圖Fig.7 Comparison of splicing effects of different algorithms

以D1 為參考，采用結構相似性（Structural Similarity Index，SSIM）、峰值信噪比（Peak Signal to-Noise Ratio，PSNR）、均方根誤差（Root Mean Squard Error，RMSE）3 個全參考評價指標及時間成本對不同算法拼接結果進行評價。其中SSIM 由亮度、對比度、結構對比3 部分組成，其值越大，圖像的相似度越高；PSNR 利用兩幅圖像對應像素之間的誤差來評價拼接質量，其值越大，拼接質量越好；RMSE 反映了參考圖像與拼接圖像之間的偏差，其值越小，表示兩幅圖像越相近。對比結果如表2 所示。

由 表2 可 得，在740 nm 通 道 下，5 種 算 法 均有較好的拼接效果，本文算法拼接效果略優(yōu)于其他算法；在520 nm、900 nm 低照度通道下，本文算法在SSIM、PSNR、RMSE 均明顯優(yōu)于其他4 種算法。在4 種對比實驗中SIFT、FAST-SURF 拼接效果優(yōu)于Harris、BRISK-ORB 算法。在拼接時間成本上，本文算法略快于BRISK-ORB 算法，相對于Harris、SIFT、FAST-SURF 三種算法有明顯的時間優(yōu)勢。驗證了本文算法在多通道光譜圖像拼接準確性與時間成本方面有更好的效果。

表2 不同算法拼接結果對比Tab.2 Comparison of stitching results of different algorithms

為了實現多通道光譜圖像的快速拼接，選取光譜圖像信息量最大通道作為基準通道，獲取拼接偏移量后定位映射其余通道，實現多通道圖像的快速拼接。圖像信息熵反映圖像信息的豐富程度，其值越大圖片質量越好。圖像信息熵公式為：

式中，pi表示灰度值為i的像素在圖像中所占的比例，即此灰度值在整幅圖像中出現的概率。分別對A1、A2 16 個通道的壁畫光譜圖像信息熵進行計算，得到各通道圖像信息熵曲線如圖8所示。

由圖8 可得，在400～740 nm 波段，兩幅圖像信息熵隨波長增大而增加，當波長為740 nm 時，兩幅圖像信息熵最大；在740～940 nm 波段，圖像信息熵隨波長增大而下降。故實驗選擇A1、A2的740 nm 波段光譜圖像作為基準圖像。

圖8 A1 和A2 圖像的16 個通道信息熵變化圖Fig.8 Information entropy change diagram of 16 channels of A1 and A2 images

將本文算法應用于實際16 通道的光譜圖像拼接。因無原圖像參考，使用信息熵（Information Entropy，IE）、平均梯度（Average Gradient，AG）與總體拼接時間作為評價標準與Harris、SIFT、FAST-SURF、BRISK-ORB 四種算法進行對比。其中平均梯度反映圖像中的微小反差和紋理特征變化，其值越大，圖像層次越豐富，圖像越清晰。實驗結果如表3 所示。

表3 16 通道拼接結果對比Tab.3 Comparison of 16-channel splicing results

由表3 可得，本文算法所得壁畫多通道光譜拼接圖像信息熵、平均梯度均大于其他4 種算法，拼接效果最優(yōu)?？傮w時間成本較其他4 種算法也有比較大的優(yōu)勢，說明了該算法在多通道光譜壁畫拼接質量和速度上的優(yōu)越性，可滿足多通道低重疊率光譜圖像的快速拼接需求。圖9 所示為使用本算法對16 通道光譜圖像拼接結果。

圖9 16 通道光譜圖像拼接效果Fig.9 16 channel spectral image mosaic effect

如圖9 所示，本文算法可將基準通道光譜圖像對應偏移量進行定位映射，對圖像信息量較少通道實現較好拼接，完成多通道低重疊率光譜圖像的快速拼接。

5 結 論

本文提出了一種相位相關性增強的自適應低重疊率多通道光譜圖像拼接算法。設計了相關性增強圖像切分法與相位相關法進行融合；在此基礎上引入最小二乘法進行迭代驗證，動態(tài)調整切分次數與步長進行偏移量尋優(yōu)，解決了相位相關法在低重疊率時易出現誤匹配問題，保證了匹配準確度的同時提高了算法自適應性；通過計算對比各通道圖像信息熵，選取最大信息熵通道為基準通道，采用本文算法計算基準通道圖像相對偏移量，通過對各通道偏移量定位映射實現了多光譜壁畫的多通道快速拼接。在多光譜壁畫圖像的拼接實驗中，實現了重疊率不低于5%多光譜壁畫的無縫拼接，且可對多通道光譜圖像快速拼接。與主流的拼接算法進行對比，本文算法整體拼接質量與時間成本均優(yōu)于其他方法，驗證了該方法在低重疊率多通道壁畫圖像拼接方面的有效性與可行性，可為壁畫的光譜分析與重建、壁畫虛擬修復等研究提供大空間高分辨率數據支持，具有一定的現實意義和實用價值。