井下巷道大視差圖像拼接算法

楊璇璇，劉景勇，王艷芬，云霄，董鍇文，魏力

(1.中國礦業(yè)大學 信息與控制工程學院， 江蘇 徐州 221116；2.徐州中礦數(shù)字化礦山技術研究所， 江蘇 徐州 221116；3.河南能源化工集團新疆投資控股有限公司， 新疆 烏魯木齊 830026)

0 引言

煤礦井下環(huán)境復雜，安全隱患較多，需要對井下巷道進行視頻監(jiān)控[1]。單個攝像頭視野有限，無法實現(xiàn)大范圍監(jiān)控，需要采用圖像拼接技術將多個攝像頭拍攝的有重疊區(qū)域的圖像拼接成視野更大、清晰度更高的監(jiān)控畫面[2]，為后續(xù)井下監(jiān)控視頻分析提供數(shù)據(jù)基礎。目前定點旋轉(zhuǎn)攝像頭拍攝場景下的圖像拼接技術已取得了顯著成果。但在煤礦井下巷道等狹長通道中，采用定點旋轉(zhuǎn)攝像頭成本較高，且拍攝視野和圖像拼接效果有限。本文針對煤礦井下巷道視頻監(jiān)控問題，采用大視差拍攝場景，設計如圖1所示的攝像頭排列布局方式，以最少數(shù)量的攝像頭拍攝最大范圍的巷道視野。由于拍攝場景距離攝像頭較近，攝像頭之間距離較遠，造成待拼接圖像之間視差過大，加大了圖像拼接難度，所以需要采用一種適用于大視差拍攝場景的圖像拼接方法。

圖1 煤礦井下巷道中攝像頭排列布局方式Fig.1 Arrangement mode of cameras in coal mine underground roadway

現(xiàn)有的圖像拼接方法主要有基于全局對齊的方法、基于局部變形的方法和縫合線主導的方法。若待拼接圖像滿足單點透視假設，即待拼接圖像通過定點旋轉(zhuǎn)攝像頭拍攝得到，或拍攝場景距離攝像頭較遠，使得待拼接圖像間不存在視差，采用基于全局對齊的方法可實現(xiàn)圖像的自然無縫拼接。文獻[3]首先采用全局單應性矩陣對齊圖像重疊區(qū)域，然后將變形后的圖像投影到一個平面內(nèi)，最后使用多頻帶融合算法得到拼接結果。文獻[4]通過改進特征匹配算法提高特征點匹配精度和全局單應性矩陣的對齊能力，進一步提高了圖像拼接質(zhì)量。但大視差拍攝場景下獲取的圖像不滿足單點透視假設，采用基于全局對齊的方法時會出現(xiàn)未對齊區(qū)域模糊、重影等情況，因此該方法無法滿足大視差場景下的圖像拼接需求。

基于局部變形的方法針對存在一定程度視差的待拼接圖像可實現(xiàn)自然拼接。該方法通過在待拼接圖像上劃分網(wǎng)格得到多個局部區(qū)域，再分別對每個局部區(qū)域進行對齊[5]，提高了存在視差情況下的圖像對齊能力。文獻[6]先采用單應性矩陣粗對齊圖像，再對圖像劃分網(wǎng)格，根據(jù)特征點分布情況設計變換矩陣，提高了圖像對齊精度。文獻[7]提出了一種基于全局相似度約束的投影偏差校正局部變形方法，校正了局部區(qū)域投影偏差，可獲得更加精確的拼接結果。但基于局部變形的方法仍無法解決大視差場景下的圖像拼接問題。

為實現(xiàn)大視差圖像重疊區(qū)域?qū)R，需將其中1幅圖像折疊起來?；谌謱R或局部變形的方法無法折疊圖像，也無法將圖像重疊區(qū)域完全對齊，導致出現(xiàn)模糊、重影甚至扭曲、變形情況。文獻[8]認為得到自然無縫的圖像拼接結果比實現(xiàn)重疊區(qū)域完全對齊更重要，因此提出了縫合線主導的方法，通過產(chǎn)生多個局部對齊并在每個局部對齊上計算縫合線得到多個拼接結果，選擇最自然無縫的生成圖像作為拼接結果。文獻[9]提出了基于圖形的局部對齊候選，并采用縫合線指導局部對齊，進一步提高了縫合線主導方法的有效性。

雖然縫合線主導的方法能夠在一定程度上處理大視差場景圖像拼接問題，但在產(chǎn)生局部對齊候選時沒有針對性，且計算縫合線時往往只考慮相鄰像素顏色差異，而煤礦井下光線昏暗，顏色信息缺失，在圖像縫合線處可能會出現(xiàn)割裂、錯位等現(xiàn)象。因此，本文提出一種基于多平面多感知縫合線的井下巷道大視差圖像拼接算法：基于多平面產(chǎn)生對齊候選單應性矩陣，每個單應性矩陣能將圖像中的1個平面對齊，解決巷道大視差場景下平面不一致問題；考慮井下監(jiān)控畫面顏色信息缺失、圖像紋理不明顯等問題，提出基于顏色、邊緣及顯著度等多感知特性生成縫合線，實現(xiàn)井下巷道大視差場景下圖像的自然、無縫拼接。

1 圖像拼接原理

基于多平面多感知縫合線的井下巷道大視差圖像拼接算法原理如圖2所示。首先，采用尺度不變特征變換(Scale Invariant Feature Transform，SIFT) 算法對輸入圖像進行特征點檢測和匹配，得到一組特征匹配點；然后，基于多平面進行特征匹配點分組，每組特征匹配點對應的對齊候選單應性矩陣都可以對齊圖像中的1個平面；最后，在每組局部對齊的圖像上計算多感知縫合線，選擇拼接效果最好(即縫合線能量最小)的對齊候選對齊圖像，合成最終拼接圖像。

圖2 基于多平面多感知縫合線的井下巷道大視差圖像拼接算法原理Fig.2 Principle of stitching algorithm of large parallax images in underground roadway based on multi-plane and multi-perception seam

1.1 基于多平面特征匹配點分組的對齊候選

采用隨機抽樣一致性 (Random Sample Consensus，RANSAC) 算法作為單應性矩陣估計算法，其選擇能夠擬合最多組特征匹配點的單應性矩陣作為圖像的對齊模型。但RANSAC算法僅能對齊圖像中的1個主平面，不適用于大視差拼接場景中存在多個對應平面的情況，因此采用多層疊加RANSAC算法的方式得到多組特征匹配點[10]，用每組特征匹配點對應的單應性矩陣對齊圖像中的1個平面，實現(xiàn)圖像局部對齊。

特征匹配點分組過程：采用SIFT算法得到2張待拼接圖像的1組初始特征匹配點，之后采用RANSAC算法篩選初始特征匹配點，得到1組內(nèi)點，計算該組內(nèi)點對應的單應性矩陣，其可對齊圖像中的1個平面；將內(nèi)點去除后，在剩余的特征匹配點上繼續(xù)使用RANSAC算法提取內(nèi)點，得到的內(nèi)點對應圖像中的另一個平面；重復上述操作，直至剩余特征匹配點數(shù)小于閾值，停止分組。

多平面特征匹配點分組效果如圖3所示。可看出圖像中門所在的垂直平面、椅子所在的垂直平面及地面中的特征匹配點被準確地分離出來。

1.2 基于多感知縫合線的圖像拼接

縫合線算法可在局部對齊的2張圖像上找到1條接縫，將圖像無縫拼接在一起。其可表示為在馬爾科夫隨機場上加標簽的問題，生成圖像中每個像素點的顏色來源于1幅輸入圖像，來源于不同輸入圖像的2個相鄰點之間便形成1條接縫?？p合線可通過graph-cut方法求解能量方程最小化的方式進行計算。

設Ir，It為待拼接圖像，圖像特征匹配點經(jīng)第j(j∈N*)次分組后縫合線算法的輸入為Ij,Ij=HjIt，Hj為第j次分組后的單應性矩陣。循環(huán)計算每組局部對齊圖像Ir，Ij的縫合線。記P為局部對齊圖像的拼接域，L(L={0,1})為可選標簽集合，給生成圖像拼接域中的每個像素點p(p∈P)加標簽lp(lp∈L)即可得到縫合線。lp=0表示像素點p的RGB值來源于Ir，lp=1表示像素點p的RGB值來源于Ij?？p合線算法的目的是找到1組標簽l，使其能最小化縫合線能量方程。

(a) 待拼接圖像

(1)

式中：E(l)為能量；Ed(p，lp)為數(shù)據(jù)項，表示給像素點p加標簽lp的代價；Es(p，q，lp，lq)為平滑項，表示給相鄰像素點對(p,q)加標簽(lp,lq)的代價；N為所有相鄰像素點對的集合。

生成圖像中像素點p在輸入圖像中存在有效RGB值時，Ed(p，lp)=0，否則Ed(p，lp)=∞。

煤礦井下圖像具有低照度、紋理不明顯等特點，若只考慮平滑項中相鄰像素點的顏色差異，會導致圖像縫合線處出現(xiàn)紋理結構割裂、錯位現(xiàn)象。本文提出的多感知縫合線同時考慮人眼對圖像的多種感知，包括相鄰像素點的顏色、顯著度及邊緣信息，提高了對縫合線的約束，得到的拼接結果更自然、無縫。多感知縫合線的平滑項為

Es(p,q,lp,lq)=|lp-lq|W(p,q)×

(Ec(p,q)+Eg(p,q))

(2)

式中：W(p，q)為像素點p，q處顯著度的平均值；Ec(p，q)為顏色能量項，Ec(p,q)=sigmoid(cd)，cd為2張輸入圖像在像素點p，q處的顏色差異；Eg(p，q)為邊緣能量項，Eg(p,q)=|ed(p)|+|ed(q)|，ed(p)，ed(q)分別為2張輸入圖像在像素點p，q處的邊緣差異，由Canny算子計算得到。

人眼通常把注意力放在顯著度高的物體上，因此在顯著度高的物體上生成的縫合線偏差更容易引起注意。由式(2)可知，像素點處的顯著度越高，則縫合線能量越大，因此應避免縫合線通過高顯著度物體。

2個相鄰像素點之間的顏色差異越小，則縫合線能量越小，因此應避免縫合線落在顏色差異大的區(qū)域。人眼對于顏色差異的感知是非線性的，當cd小于某閾值時人眼分辨不出顏色差異，cd等于該閾值時人眼對顏色差異的敏感度急劇上升，cd大于該閾值時人眼可明顯看出顏色不同。因此，可通過給cd加sigmoid度量來模擬人眼對顏色差異的感知特性[11]。sigmoid函數(shù)表達式為

(3)

式中：k為常數(shù);τ為顏色差異閾值，由大津法解得。

2張輸入圖像在像素點p，q處的邊緣越相似，接縫處偏差越不明顯。在縫合線能量方程的平滑項中加入Eg(p,q)后，2個相鄰像素點處邊緣差異越大，則縫合線能量越大，因此應避免縫合線落在邊緣差異大的區(qū)域。

得到縫合線能量方程后，采用graph-cut方法使其最小化，得到拼接域中每個像素點的標簽并記錄縫合線能量，能量越小則生成圖像質(zhì)量越高。

2 圖像拼接算法流程

基于多平面多感知縫合線的井下巷道大視差圖像拼接算法流程如下。

(1) 采用SIFT算法對輸入的待拼接圖像Ir和It進行特征點檢測、匹配，得到初始特征匹配點M0。

(2) 設初始值j=1，針對初始特征匹配點M0，采用RANSAC算法得到1組內(nèi)點Mj，并計算對應的單應性矩陣Hj。

(3) 更新初始特征匹配點M0=M0-Mj，j=j+1，重復步驟(2)。

(4) 重復步驟(3)，直至M0個數(shù)小于10，停止分組，得到單應性矩陣集合{Hj}，并將Hj個數(shù)記為n。

(5) 令j=1,計算局部對齊圖像Ir，Ij對應的數(shù)據(jù)項和平滑項，得到能量方程。

(6) 采用graph-cut算法最小化能量方程，得到1組標簽，并記錄縫合線能量。

(7)j=j+1，更新Ij并重復步驟(5)、步驟(6)，直至j=n+1，循環(huán)結束，得到縫合線能量集合。

(8) 比較縫合線能量集合中各元素大小，選擇最小值對應的局部對齊圖像，沿縫合線合成拼接結果。

3 實驗結果及分析

實驗平臺為Intel core i5 CPU，2.8 GHz，8 GB內(nèi)存，64位Win10操作系統(tǒng)，Matlab R2015a仿真軟件。RANSAC算法中投影誤差閾值越小，則內(nèi)點越集中于同一平面、同一景深的物體上，因此投影誤差閾值取0.003。sigmoid函數(shù)中τ=0.06。實驗對比只考慮顏色的縫合線算法與多感知縫合線算法、經(jīng)典圖像拼接算法(包括APAP[5],ANAP[12],SPHP[13],NISwGSP[14],RobustELA[15])與基于多平面多感知縫合線的圖像拼接算法的拼接效果。

基于縫合線算法的圖像拼接結果如圖4所示?？煽闯鲋豢紤]顏色的縫合線算法的圖像拼接結果不自然、存在錯位現(xiàn)象，而多感知縫合線算法考慮了圖像顯著度及邊緣信息，使縫合線經(jīng)過顯著度低且紋理不明顯的區(qū)域，減少了接縫附近的圖像錯位，拼接結果更自然、無縫。

(a) 只考慮顏色的縫合線算法

縫合線能量越低，則所經(jīng)過區(qū)域的像素點相似度越高，接縫邊緣拼接痕跡越不明顯。只考慮顏色的縫合線能量為0.632，而多感知縫合線能量為0.350，較前者降低44.6%?？梢?，多感知縫合線算法在井下巷道大視差拼接場景中可取得更自然的拼接效果。

本文算法與經(jīng)典圖像拼接算法的拼接結果如圖5所示?？煽闯霰疚乃惴ǖ膱D像拼接結果清晰、自然、無縫，而其他算法的拼接結果均存在不同程度的模糊、重影現(xiàn)象。這是由于APAP，ANAP，SPHP，NISwGSP，RobustELA算法在拼接圖像時要求圖像重疊區(qū)域全部對齊，但是在大視差場景下，圖像重疊區(qū)域存在多個平面，上述算法無法實現(xiàn)所有平面同時對齊，造成拼接圖像中出現(xiàn)模糊、重影等現(xiàn)象；本文算法基于縫合線算法，根據(jù)分離出的多個平面計算局部對齊，消除了拼接結果中因算法對齊能力不足導致的圖像重影問題，并考慮了煤礦井下照度低、圖像紋理不明顯的特點，結合圖像顏色、邊緣、顯著度計算多感知縫合線，使得縫合線經(jīng)過低亮度和邊緣差異小的區(qū)域、繞過顯著度高的物體，消除了局部區(qū)域錯位現(xiàn)象。

(a) APAP算法

4 結論

(1) 針對煤礦井下巷道狹窄、冗長的特點，設計了攝像頭排列布局方式，采用大視差拍攝場景，以產(chǎn)生更大視野的監(jiān)控范圍。

(2) 針對井下大視差監(jiān)控場景，提出了基于多平面多感知縫合線的井下巷道大視差圖像拼接算法：基于多平面特征匹配點分組產(chǎn)生對齊候選，實現(xiàn)圖像局部對齊；采用基于顏色、邊緣及顯著度的多感知縫合線算法進行圖像拼接，減少了局部區(qū)域錯位現(xiàn)象。

(3) 實驗結果表明，基于多平面多感知縫合線的井下巷道大視差圖像拼接算法可實現(xiàn)無模糊、無重影、自然的拼接效果。