劉文亮　王正勇　卿粼波　滕奇志

(四川大學電子信息學院　成都　610065)

?

LBP算法在巖石薄片圖像拼接中的應用*

劉文亮王正勇卿粼波滕奇志

(四川大學電子信息學院成都610065)

摘要基于SIFT特征點的圖像拼接算法對受消光性和干涉色影響的巖石薄片正交偏光圖像進行拼接時,由于特征信息相似度極高,傳統(tǒng)的BBF-RANSAC算法無法很好地剔除錯誤匹配對,從而導致錯誤的拼接結果。論文將LBP算法引入SIFT特征點描述中,利用SIFT算法對巖石薄片正交偏光圖像進行特征點提取,在特征點描述時,采用隔點計算特征點周圍像素點的旋轉不變均勻LBP特征值,用其替代一階梯度幅值,生成改進的SIFT特征點描述向量。實驗結果表明,論文提出的基于旋轉不變均勻局部二值模型的SIFT特征描述子提高了拼接算法的魯棒性和速度。

關鍵詞巖石薄片; 圖像拼接; LBP; SIFT

Application of LBP Algorithm in Rock Slice Image Stitching

LIU WenliangWANG ZhengyongQING LinboTENG Qizhi

(College of Electronic and Information, Sichuan University, Chengdu610065)

AbstractThe image stitching algorithm based on SIFT features will lead to incorrect results when it is applied to orthogonal polarization core slice image stitching with high similarity of feature information, which are affected by extinction and interference, as the traditional BBF-RANSAC algorithm cannot eliminate false matches well. LBP algorithm is applied to SIFT feature descriptors. Firstly, features of orthogonal polarization rock images are calculated by using SIFT algorithm. Secondly, rotation-invariant uniform LBP values of uniformly-spaced pixels around the features are calculated instead of gradient value, when calculating feature descriptors. Finally, modified SIFT feature descriptors are generated. Experimental results show that the presented modified SIFT feature descriptors can improve the robustness and speed of image stitching algorithm.

Key Wordsrock slice, image stitching, LBP, SIFT

Class NumberTN315

1引言

在石油地質勘探中,需要將鉆探設備鉆井獲取的巖心樣品制成巖石薄片,利用顯微成像技術和數(shù)字圖像分析技術獲得巖石樣品的微觀特性[1]。在對巖石薄片顯微成像的過程中,受目鏡視野范圍和成像設備靶面的限制,需要對巖石薄片進行多次圖像采集,得到多幅局部視域巖石薄片圖像。通過圖像拼接技術將所獲得的多幅局部視域巖石薄片圖像拼接成最終的巖石薄片全景圖,將實物地質樣本數(shù)字化,易于管理和實現(xiàn)永久保存[2]。David Lowe于1999年提出SIFT(Scale Invariant Feature Transform)特征提取算法[3]并于2004年整理和完善[4]。吳曉紅、羅代升于2009年將SIFT特征提取算法引入巖心圖像自動配準[5],實現(xiàn)了巖心圖像的自動拼接。巖石薄片正交偏光圖像是用正交偏光鏡采集的巖石薄片樣品圖像,圖像之間的重合量較小。受到消光性和干涉色的影響,巖石薄片正交偏光圖像特征信息不明顯,而且相似度極高。因此傳統(tǒng)的BBF[6]粗匹配算法做不到有效剔除錯誤匹配點,正確匹配率偏低,經(jīng)過RANSAC[7]精確匹配之后依然存在錯誤匹配對,最終導致拼接失敗。

LBP(local binary patterns)[8]是一種圖像局部紋理特征描述算子,可用來度量和提取圖像局部紋理信息,具有算法復雜度低,旋轉不變性和灰度不變性等優(yōu)點。最近幾年,人們對LBP做了多種改進,例如圓形LBP[8]、對稱LBP、旋轉不變LBP[8]和均勻LBP等。由于其原理簡單,計算速度快等特性,已經(jīng)成功應用于人臉檢測,表情檢測等領域。

本文針對巖石薄片正交偏光圖像的特點,結合LBP算子能夠很好地描述局部紋理特征的優(yōu)勢,將其引入到巖石樣本圖像拼接中。先利用SIFT算法提取圖像的特征點,再將旋轉不變均勻LBP算子引入到特征點的描述向量中,提高了拼接算法的魯棒性;在不降低正確匹配率的前提下,對特征點周圍的像素進行隔點計算,提高了拼接算法的速度。實驗表明,相比于傳統(tǒng)的SIFT特征點描述算法,本文提出的基于旋轉不變均勻LBP算子的改進SIFT算法能提高巖石樣本圖像的匹配率和計算速度。

2SIFT特征點提取與描述

SIFT算法通過建立尺度空間,尋找其中的極值點,獲得極值點的坐標、尺度和旋轉不變向量等信息,提取圖像的局部特征。SIFT特征提取算法因具有尺度不變性、旋轉不變性等優(yōu)點被廣泛應用于計算機視覺領域。SIFT算法主要步驟如下:

1) 特征點提取。將原始圖像進行高斯卷積和降采樣,生成LOG高斯金字塔并通過對其中每級中相鄰圖像相減,生成DOG差分金字塔。將DOG差分金字塔中每層的像素點與其上下兩層中對應的3×3大小區(qū)域內(nèi)的像素點比較,判斷是否為極值點,并記錄檢測出的極值點的位置和尺度信息。對極值點進行泰勒展開,計算特征點坐標與極值點坐標的偏移量,獲得特征點的亞像素精度坐標。去除那些對比度較低和靠近圖像邊緣的不穩(wěn)定的極值點。

3基于旋轉不變均勻LBP特征的描述向量

3.1旋轉不變均勻LBP特征

LBP算法用灰度圖像中待計算像素點的灰度值作為閾值,與其鄰域像素相比較,根據(jù)比較結果得到二進制編碼并轉換成十進制,來表述局部紋理特征,計算公式如下

(1)

(2)

其中,c為待計算像素點,i為其鄰域中的像素點;p=8,表示取待計算像素點的八鄰域。

均勻LBP是指8位二進制中數(shù)值跳變的次數(shù)不多于兩次的特征值。據(jù)統(tǒng)計,在實際應用中,LBP特征值絕大部分都是均勻LBP,大約占總數(shù)的85%~90%。均勻LBP總共只有58種,其中跳變次數(shù)為0的有兩種,跳變次數(shù)為1的有0種,跳變次數(shù)為2的有56種。可以將跳變次數(shù)大于2的歸為一種,因此所有的LBP特征值分成59種,實現(xiàn)了從256到59的降維作用[9]。均勻LBP計算公式如下

U(LBPc,p)=|S(gp-gc)-S(g1-gc)|

(3)

(4)

一個8位二進制數(shù)進行循環(huán)右移,每移動一次就變成一個和原來不同的特征值。循環(huán)右移8次后變回原來的值,其間共產(chǎn)生8種不同的數(shù)值。我們把這8個值歸為一類,并且用這8個值中最小的值代替其它7個數(shù)值。這8個值不論進行循環(huán)左移或循環(huán)右移,其結果都是這8個值中的一種,因此可以用最小的值代替。這就是LBP特征值的旋轉不變性[8]。LBP特征值可以分為36種旋轉不變特征值,實現(xiàn)了從256到36降維的作用。

根據(jù)旋轉不變對均勻LBP的58種特征值進行分類,可分為9種,非均勻LBP特征值算作第10種。計算公式如下:

(5)

3.2基于旋轉不變均勻LBP的描述向量

巖石薄片正交偏光圖像整體亮度較低,由許多大小不等、形狀不規(guī)則的顆粒組成。雖然能從待拼接的巖石薄片正交偏光圖像中提取大量的特征點,但是圖像整體相似度極高,基于SIFT算法的128維描述向量不足以區(qū)分不同的特征點。另外,待拼接圖像間的重合量很小,導致正確匹配點在所有特征點中只占很小的比例。采用傳統(tǒng)的BBF-RASANC匹配算法對特征點進行匹配和篩選時,不能實現(xiàn)完全剔除錯誤匹配點對,魯棒性較差,常常導致錯誤的拼接結果。

傳統(tǒng)的SIFT算法在計算特征點描述向量時,主要計算像素的一階梯度,統(tǒng)計特征點周圍一定范圍內(nèi)像素點的梯度大小和方向。本文將式(5)所計算的旋轉不變均勻LBP特征值替代一階梯度幅度值,像素點的方向依然采用原算法中所計算的一階梯度方向。

一階梯度利用了像素的四鄰域信息,其幅度大小只體現(xiàn)了橫向和縱向灰度差異。局部二值模型利用像素點周圍八鄰域像素,不但計算了橫向和縱向的差異,而且計算了±45°的像素差異。和一階梯度相比,旋轉不變均勻LBP特征值包含更多的局部紋理信息,因此具有更高的區(qū)分度。利用LBP算子的均勻模式和旋轉不變模式降低了LBP特征值的取值范圍。本文將旋轉不變均勻LBP特征值替代一階梯度幅度值,生成128維特征點描述向量。然后通過BBF-RANSAC算法能有效地剔除錯誤的匹配點對。

4實驗結果與分析

4.1BBF粗匹配比較

首先,用SIFT算法對待拼接的兩幅圖像進行特征點提取,得出兩個特征點集合A和B。再用BBF算法對集合A建立K-d樹[10],查找集合B中的點bi(i=1,2,3,…)在K-d樹中最近鄰點a1和次最近鄰點a2。計算a1和a2與bi的歐式距離l1和l2,如果l1和l2的比值小于設定的閾值γ,則認為a1是bi的匹配點,否則bi無匹配點。

選取空間位置關系分別為左右關系和上下關系的兩組巖石薄片正交偏光圖像作為待拼接圖像,四幅圖像大小均為5184×3456。對第一組呈左右位置關系的兩幅巖石薄片偏光圖像進行兩次降采樣,分別提取出5950個和5793個特征點。當γ取不同值時,采用原算法和本文改進算法計算特征點描述向量所用的時間、BBF匹配點對數(shù)目等信息如表1所示。

表1　原SIFT算法與本文改進SIFT算法BBF匹配結果

在γ<0.49時,傳統(tǒng)的SIFT特征點描述算法的匹配效果如圖1所示,BBF算法總共找到55對匹配點對,但是其中大部分都是錯誤,正確匹配率只有38.2%。同樣在γ<0.49時,采用本文改進的描述向量的匹配效果如圖2所示,總共找到了16對匹配點對,其中13對匹配正確,正確匹配率達到了81.3%。通過表1中的數(shù)據(jù)不難發(fā)現(xiàn),在計算特征點描述符時,本文算法具有較快的計算速度,所用時間大約是原算法的1/3。雖然得到的匹配點對數(shù)量相對較少,但是其中大部分是正確的匹配點對,正確匹配率較高。

圖1　γ<0.49,原SIFT算法BBF橫向匹配結果

圖2　γ<0.49,本文改進SIFT算法BBF橫向匹配結果

對第二組呈上下位置關系的兩幅巖石薄片正交偏光圖像,采用原算法和本文算法BBF縱向匹配結果如圖3所示。

圖3　γ<0.49,原算法和本文算法BBF縱向匹配結果對比

4.2RANSAC精確匹配比較

用RANSAC算法精確篩選BBF粗匹配后的特征點對,剔除其中錯誤的匹配對。最終提取出不小于4對匹配點對,利用其中的4對計算出單應性矩陣完成圖像的拼接。原特征點描述算法和本文改進的特征點描述算法經(jīng)BBF-RANSAC算法得出的最終匹配結果如表2所示。

表2　RANSAC精確匹配結果

通過對比可知,使用原SIFT特征點描述算法,γ取不同值時,RANSAC算法始終無法完全剔除其中的錯誤匹配點對,如圖4所示;而采用本文改進的算法,γ取不同值時,都能完全剔除其中的錯誤匹配點對,如圖5所示。正是原SIFT特征點描述算法產(chǎn)生的難以剔除的錯誤匹配點對常常導致錯誤的拼接結果。由于整體拼接結果圖尺寸較大且重合量較小,從中難以體現(xiàn)重合區(qū)域匹配差異。將整體拼接結果圖中相同位置重疊區(qū)域進行局部放大,形成圖6中左右兩幅圖。從圖6中左右兩幅圖可以看出,原算法產(chǎn)生明顯的拼接錯誤,而本文算法拼接結果相對較好。

圖4　γ<0.49,原算法RANSAC橫向匹配結果

圖5　γ<0.49,本文改進算法RANSAC橫向匹配結果

圖6　原算法和本文算法局部拼接結果對比

圖7　γ<0.49,原算法和本文算法RANSAC縱向匹配結果對比

對第二組呈上下位置關系的兩幅巖石薄片正交偏光圖像采用原算法和本文算法RASANC縱向精確匹配結果如圖7所示。待拼接多幅局部視域巖石薄片圖像其實是一個大小為M×N的圖像陣列,局部圖像之間配準完成后,還要進行捆綁調整。選擇參考平面的捆綁調整法是常用的方法,其主要思想是選擇一幅圖像作為參考圖像平面,其他所有圖像都向這幅參考圖像平面變換以得到拼接全景。最后采用多分辨率融合技術消除拼接縫,生成最終的巖石薄片全景圖。在實際巖石薄片顯微成像中,采用10倍物鏡進行圖像采集時,需要采集100~180幅局部視域圖像。由于最終全景圖像尺寸較大,本文難以展現(xiàn)重合區(qū)域細節(jié)拼接效果。因此,如圖8所示,本文以2×2共四幅局部巖石薄片圖像為例,展現(xiàn)最終拼接結果。

圖8　2×2圖像陣列采用本文算法拼接結果

5結語

本文針對傳統(tǒng)SIFT拼接算法不能有效剔除巖石薄片正交偏光圖像中錯誤匹配對和拼接速度較慢等問題,將旋轉不變均勻LBP算子引入到特征點描述向量中,替代一階梯度幅值。在不降低正確匹配率的前提下,采用隔點計算特征點描述向量。實驗結果表明,相較于傳統(tǒng)的SIFT巖石樣本圖像拼接算法,本文提出的基于旋轉不變均勻LBP算子的改進SIFT算法能有效提高巖石樣本圖像的匹配率和計算速度。

參 考 文 獻

[1] 康瑕,滕奇志,唐棠,等.基于聚焦測度和決策圖的巖石薄片圖像融合[J].計算機與數(shù)字工程,2009,37(2):125-128.

KANG Xia, TENG Qizhi, TANG Tang, et al. Rock Thin Section Image Fusion Based on Focus Measure and a Decision Map[J]. Computer & Digital Engineering,2009,37(2):125-128.

[2] 楊玉臣,馬玉忠.巖心圖像掃描技術的開發(fā)及應用[J].錄井技術,2002,13(2):43-46.

YANG Yucheng, MA Yuzhong. Core scanning technology development and application[J]. Mud Logging Technology,2002,13(2):43-46.

[3] Lowe D G. Object Recognition From Local Scale-Invariant Features[C]//PROC. OF THE INTERNATIONAL CONFERENCE ON COMPUTER VISION, CORFU,1999:1150.

[4] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision,2004,60:91-110.

[5] 吳曉紅,羅代升.基于SIFT特征提取的高清晰巖心圖像自動配準[J].四川大學學報:自然科學版,2009,46(1):124-128.

WU Xiaohong, LUO Daisheng. SIFT-based feature extraction of high-definition core images automatic registration[J]. Journal Sichuan University: Natural Science Edition,2009,46(1):124-128.

[6] Beis J S, Lowe D G. Shape indexing using approximate nearest-neighbour search in high-dimensional spaces[C]//IEEE Computer Society Conference on Computer Vision & Pattern Recognition. IEEE,1997:1000-1006.

[7] Fischler M A, Bolles R C. Random sample consensus: A paradigm for model fitting with application to image analysis and automated cartography[J]. Communications of the ACM,1981,24(6):381-395.

[8] Ojala T, Pietikainen M, Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. Pattern Analysis & Machine Intelligence IEEE Transactions on,2002,24(7):971-987.

[9] 董文彧,馮瑞,郭躍飛.基于均勻LBP和稀疏編碼的人臉識別算法[J].計算機應用與軟件,2015,(1):175-178.

DONG Wenyu, FENG Rui, GUO Yuefei. FACE RECOGNITION BASED ON UNIFORM LBP AND SPARSE CODING[J]. Computer Application and Software,2015,(1):175-178.

[10] 劉宇,熊有倫.基于有界k-d樹的最近點搜索算法[J].華中科技大學學報:自然科學版,2008,36(7):73-76.

LIU Yu, XIONG Youlun. Algorithm for searching nearest-neighbor based on the bounded k-d tree[J]. J. Huazhong Uniy. of Sci. & Tech: Natural Sicence Edition,2008,36(7):73-76.

中圖分類號TN315

DOI:10.3969/j.issn.1672-9722.2016.02.033

作者簡介:劉文亮,男,碩士研究生,研究方向:圖像采集與圖像處理。王正勇,女,副教授,研究方向:圖像處理、模式識別、多媒體通信。卿粼波,男,博士,副教授,研究方向:信號與信號系統(tǒng)、圖像處理、圖像通信。滕奇志,女,博士,教授,博士生導師,研究方向:數(shù)字圖像處理與模式識別、計算機應用與圖像識別、生物醫(yī)學圖像等。

基金項目:國家自然科學基金項目(編號:61372174)資助。

*收稿日期:2015年8月20日,修回日期:2015年9月30日