• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于Harris多攝像頭孔壁圖像的全景拼接技術(shù)

      2018-05-11 06:18:18炳文
      關(guān)鍵詞:角點孔壁全景

      ,,2,炳文

      (1.山東科技大學(xué) 電子通信與物理學(xué)院,山東 青島 266590;2.山東科技大學(xué) 電氣與自動化工程學(xué)院,山東 青島 266590)

      我國煤炭資源分布廣泛,煤礦安全生產(chǎn)受到國家的重視,鉆孔攝像技術(shù)是當(dāng)今觀測分析煤礦地質(zhì)結(jié)構(gòu)的有效技術(shù)手段。構(gòu)建鉆孔全景圖像可以直接有效地觀測分析到鉆孔內(nèi)壁的地質(zhì)結(jié)構(gòu)信息。目前構(gòu)建孔壁全景圖像的方法主要有折反射鏡全景成像或全景環(huán)形透鏡、旋轉(zhuǎn)單個攝像機拍攝系統(tǒng)、魚眼鏡頭拍攝。2001年,漆馳等[1]提出運用相鄰圖像拼接的方法獲取全景圖,采用普通攝像機旋轉(zhuǎn)拍攝多幅圖像,然后根據(jù)相鄰圖像之間的重疊區(qū)域,實現(xiàn)圖形配準(zhǔn)獲取全景圖。但是攝像機旋轉(zhuǎn)的過程中容易造成“鬼影”現(xiàn)象,同時也無法滿足拼接的實時性。目前常用的方法是王川嬰等[2]在2002年提出的數(shù)字式全景鉆孔攝像,采用截頭的錐面反射鏡,利用光學(xué)原理,將鉆孔孔壁圖像反射成為平面圖像。但是現(xiàn)有的構(gòu)建孔壁全景圖像的方法中存在著圖像邊緣空間分辨率低、圖像采集設(shè)備價格昂貴、圖像畸變等問題。

      為實時獲取高分辨率的孔壁全景圖,并消除旋轉(zhuǎn)相機帶來的“鬼影”現(xiàn)象,本研究采用四個115°廣角鏡頭水平環(huán)繞放置拍攝孔壁圖像實現(xiàn)全景拼接的系統(tǒng)[3],由于采用廣角鏡頭成像設(shè)備以及孔壁曲率等因素的影響,拍攝的圖像出現(xiàn)幾何畸變現(xiàn)象[4]。本課題共同研究者張炳文提出“兩步法”矯正方案,采用手動調(diào)整徑向參數(shù)消除廣角鏡頭引起的光學(xué)畸變,然后建立非均勻插值模型恢復(fù)曲率影響的圖像信息。但經(jīng)過這種手動調(diào)整參數(shù)和非均勻插值模型,得到的圖像精確度降低,增加了圖像拼接的誤差。因此,針對孔壁圖像受孔壁曲率影響的特殊性,本研究提出基于參數(shù)微調(diào)的畸變圖像校正算法,自動調(diào)節(jié)畸變參數(shù);采用柱面信息還原法解決孔壁曲率對圖像信息的影響,利用Harris角點檢測算法進行匹配拼接,能夠滿足視頻拼接實時性的要求。

      1 圖像畸變矯正

      1.1 畸變模型的建立

      由于本研究所采用的攝像機是廣角鏡頭。獲取的圖像存在著廣角鏡頭引起的光學(xué)畸變,在圖像拼接時,需要對廣角相機產(chǎn)生的畸變進行消除。引起畸變的因素主要包括鏡頭的徑向畸變、采集畸變以及偏心畸變等[5]。對非線性畸變建立數(shù)學(xué)校正模型[6-8]:

      (1)

      (2)

      對于鉆孔場合,徑向幾何畸變產(chǎn)生的影響最大。徑向畸變的數(shù)學(xué)模型可以簡化為:

      (3)

      由式(3)可以看出,理想圖像與畸變圖像之間的關(guān)系由參數(shù)k1、k2確定,從而根據(jù)該模型將所拍攝圖像進行畸變矯正。

      1.2 攝像機標(biāo)定

      本研究提出基于參數(shù)微調(diào)的畸變圖像校正算法,即在相機標(biāo)定得到畸變參數(shù)的基礎(chǔ)上,進行參數(shù)微調(diào),以達到圖像準(zhǔn)確校正的效果。由于相機標(biāo)定的畸變參數(shù)離最優(yōu)值不會太大,因此參數(shù)調(diào)整應(yīng)該在相機標(biāo)定畸變參數(shù)初始值附近微調(diào),算法具體步驟為:

      1) 利用OpenCV對平面網(wǎng)格模板進行攝像機標(biāo)定,求出徑向畸變參數(shù)。

      2) 以k1、k2為初始畸變參數(shù),進行畸變校正。將校正的圖像進行邊緣增強、二值化、中值濾波和細化等圖像處理后獲取模板上的網(wǎng)格交點坐標(biāo)。

      3) 利用斜率判斷校正效果,令α=(yi-yi-1)/(xi-xi-1),β=(uyi+1-yi)/(xi+1-xi),e=2(α-β)/(α+β) ,設(shè)定斜率閾值為0.03。若e<0.03,則說明畸變校正效果良好,畸變參數(shù)無需進行優(yōu)化調(diào)整。否則,按步驟4)進行畸變參數(shù)的優(yōu)化調(diào)整。

      4) 以步長d1=k1/50,b1=k2/50為初始步長,調(diào)整畸變參數(shù)k1、k2,使k1=k1±d1,k2=k2±b1,并判斷是否滿足e<0.03。若不滿足則進行步驟5)。

      5) 令dj+1=(j+1)d1,bj+1=(j+1)b1,j為搜索的次數(shù),初始值j=1。調(diào)整步長,執(zhí)行步驟4),直至滿足e<0.03為止。

      由于初始畸變參數(shù)本身就已經(jīng)接近最優(yōu)點,并且經(jīng)過多次試驗,在初始點附近搜索10次左右,就會找到滿足的值,因此,該方法有效。

      利用上述方法進行畸變參數(shù)的調(diào)整,可以將所拍攝柱形曲面圖像校正,也是對平面網(wǎng)格模板法的一種改進,矯正結(jié)果如圖3所示。

      圖1 孔壁內(nèi)采集圖像Fig.1 Collected images inside the borehole

      圖2 網(wǎng)格模板法校正后的圖像Fig.2 Corrected image with the plane gridding model

      圖3 參數(shù)微調(diào)算法校正圖像Fig.3 Corrected image with parameter adjustment

      1.3 柱面信息還原法展開圖像

      從圖3中可以看出,光學(xué)畸變明顯得到矯正,但是由鉆孔內(nèi)側(cè)曲率造成的圖像信息損失得不到恢復(fù),左右兩側(cè)網(wǎng)格寬度明顯小于中間網(wǎng)格寬度。本研究背景為鉆孔圖像,每個攝像頭所采集圖像為經(jīng)過圖像信息壓縮的孔壁圖像的弦面,并且越靠近左右邊緣圖像壓縮越嚴(yán)重。模擬鉆孔環(huán)境圖像采集模型如圖4所示:

      為了恢復(fù)圖像信息,計算拍攝平面I與實際鉆孔面J的對應(yīng)坐標(biāo)關(guān)系,設(shè)P(x,y)為I上一像素點,Q(x′,y′)為P點在J上的對應(yīng)點。P點在相機坐標(biāo)系下的坐標(biāo)為(x-W/2,y-H/2,-f),坐標(biāo)系原點與象素點P連線的直線參數(shù)方程為:

      圖4 采集圖像與孔壁圖像關(guān)系圖Fig.4 The relationship between collected images and borehole images

      (4)

      其中,t為參數(shù)。圓柱面的方程可以表示為:

      u2+v2=f2。

      (5)

      聯(lián)立式(4)和(5)得到的即為直線OP與圓柱面J的交點Q。

      需要把三維的參數(shù)坐標(biāo)轉(zhuǎn)變?yōu)槎S的圖像坐標(biāo)才便于存儲,變換公式為:

      (6)

      聯(lián)立(4)、(5)、(6)式得到P(x,y),Q(x′,y′)的坐標(biāo)關(guān)系式:

      (7)

      圖5 柱面信息還原法展開圖像Fig.5 The expanded image using the cylindrical information reduction method

      式中:f為相機焦距,W、H分別為所拍攝圖片的寬度和高度。在圖像采集過程中,在縱向上不發(fā)生變形,因此令y′=y。遍歷原圖像像素點(x,y),根據(jù)式(7),即可還原由圓柱內(nèi)側(cè)曲率引起的圖像信息缺失。在圖像變換的過程中,采用雙線性插值法對圖像灰度信息進行調(diào)整。在圖3的基礎(chǔ)上,經(jīng)過本算法調(diào)整后的圖像如圖5所示。

      2 基于Harris角點檢測算法的圖像拼接

      圖像拼接技術(shù)在圖像處理方面得到廣泛的應(yīng)用。圖像拼接技術(shù)包含三個方面:角點提取、圖像配準(zhǔn)和圖像融合。提出了一種基于Harris角點檢測的圖像拼接算法,利用Harris算法提取角點、SSD算法配準(zhǔn)圖像、RANSAC算法提純匹配對,漸入漸出的融合算法完成對兩幅圖像無縫拼接。

      2.1 Harris角點提取和基于SSD 的配準(zhǔn)

      Harris 角點檢測基于Moravec角點檢測算法,利用微分運算、高斯平滑提取角點。其中,微分算子體現(xiàn)了圖像的灰度變化,通過這些變化能夠有效分辨邊界和角點,另一方面微分算子具有兩個優(yōu)勢:旋轉(zhuǎn)不變、仿射不變,這種優(yōu)勢能夠增加其檢測范圍。高斯平滑能夠降低噪聲提取角點時的影響。

      角點檢測響應(yīng)函數(shù)由C.Harris首次提出,公式如下:

      R=det(M)-k*Trace2(M)。

      (8)

      算法如下:

      1) 在圖像的像素點上,分別計算在和方向上的一階導(dǎo)數(shù)Ix、Iy,以及Ixy。

      2) 對Ix、Iy、Ixy高斯平滑。

      3) 根據(jù)式(8)計算各像素的R值。

      4) 角點判斷:設(shè)定閾值t,當(dāng)R>t時,為角點,否則不是角點[13]。

      Harris 特征檢測得到的角點,角點的特征匹配可通過基于像素差平方和SSD的圖像配準(zhǔn)算法進行運算。通過兩圖像之間的灰度值來實現(xiàn)特征點的匹配。將圖像分塊處理,依次根據(jù)公式(9)計算,且值最小的塊上的特征點,就是匹配點。

      SSD=∑x,y∈w[I1(x,y)-I2(x,y)]2。

      (9)

      2.2 RANSAC算法計算變換矩陣

      RANSAC算法由Fischler和Bolles提出,可以有效剔除匹配外點,同時計算過程簡單、具有較強的容錯能力,增大圖像配準(zhǔn)的精確度[14]。通過迭代方法,反復(fù)選擇坐標(biāo)點數(shù)據(jù)進行計算,篩選掉不合適的數(shù)據(jù)。

      在透視變換模型中,首先以一幅圖像作為參考圖像,另一幅圖像為待拼接圖像,通過匹配點之間的對應(yīng)關(guān)系,計算出變換矩陣,就可實現(xiàn)圖像的拼接過程,變換模型為:

      (10)

      式中,H為投影變換矩陣,(x2,y2)為圖像I2對應(yīng)匹配點的像素坐標(biāo)。

      在圖像拼接的理論計算中,可以通過4組相匹配的特征點計算出單應(yīng)陣H。實際計算時,一般要提取20對以上的匹配點對,求出的H值才會比較準(zhǔn)確。

      2.3 圖像融合

      經(jīng)過透視變換后,就可以得到圖像之間的重合部分,并對重合部分進行圖像融合,消除圖像拼接的接縫。本文采用融合速度較快的漸入漸出融合算法。算法實現(xiàn)過程為:在進入到融合區(qū)之前,I1的權(quán)重系數(shù)一直保持為 1,I2的權(quán)重系數(shù)為0;進入到過渡帶之后,I1的系數(shù)逐漸遞減至0,I2的系數(shù)逐漸遞減至0。

      圖6 圖像融合示意圖Fig.6 Image fusion

      其漸變系數(shù)β可由圖像I1和I2的水平重疊距離求得。設(shè)兩幅圖像的灰度值為I1(x,y)和I2(x,y),則重疊區(qū)域圖像的灰度值為

      I(x,y)=βI1(x,y)+(1-β)I2(x,y)。

      (11)

      當(dāng)β由 1 逐漸變化到 0 時,圖像從I1(x,y)逐漸過渡到I2(x,y),從而實現(xiàn)了圖像間的平滑過渡、無縫拼接。

      3 實驗結(jié)果及分析

      實驗用4個115°廣角鏡頭采集實驗圖像進行仿真模擬,使用的計算機參數(shù)配置為:Windows 7操作系統(tǒng), CORE i5處理器,RAM 2G。同時使用軟件平臺為MATLAB 2013a版本,部分參數(shù)的驗證用到軟件Visual Studio 2010和OpenCV2.4.9庫。通過視頻采集卡的圖像大小均為像素。圖7(a)為鏡頭采集的孔壁圖像。經(jīng)過畸變校正、曲率影響的圖像信息恢復(fù)后得圖7(b),使圖像信息更加真實可靠。拼接算法采用Harris角點檢測算法提取角點并進行初步匹配,然后經(jīng)過RANSAC算法剔除外點,最后利用漸入漸出的融合算法消除拼接痕跡,得到孔壁全景圖圖7(c)。

      圖7 實驗結(jié)果Fig.7 Experimental results

      本算法考慮了鉆孔孔壁圖像曲率對圖像采集的影響,將圖像矯正算法分成三步完成,使矯正圖像信息更加真實可靠。同時,特征點匹配過程中,每兩幅圖直接平均初始配準(zhǔn)有159對匹配對,并存在很多誤匹配點對,經(jīng)過RANSAC算法剔除外點后剩余42對匹配對。圖像拼接算法運算時間平均用時為42.3 ms。

      從圖像拼接的匹配率和準(zhǔn)確性兩方面進行評價,圖像拼接的匹配率定義為:

      圖像拼接的準(zhǔn)確性用坐標(biāo)的均方根誤差表示,計算待匹配圖像透視變換后的特征點與匹配圖像相應(yīng)特征點之間分別在方向上的均方根誤差RMSE(root-mean-square deviation),如表1所示。

      表1拼接算法的匹配率與準(zhǔn)確性
      Tab.1 Match rate and accuracy

      拼接方法平均匹配率/%RMSExRMSEy直接拼接本文矯正后拼接45.267.10.630.170.250.12

      經(jīng)過比較,本圖像矯正算法提高了圖像的匹配率,降低了特征點配準(zhǔn)的均方根誤差,提高了鉆孔圖像拼接全景圖的準(zhǔn)確率和觀察效果。

      4 結(jié)論

      本研究針對鉆孔特殊環(huán)境,采用多攝像頭系統(tǒng)同步采集孔壁圖像實現(xiàn)全景拼接,提出了改進的圖像畸變校正方法。提出的基于參數(shù)微調(diào)的畸變圖像校正算法和柱面信息還原法,通過圖像拼接實驗結(jié)果表明,該算法能夠有效矯正圖像畸變,恢復(fù)鉆孔圖像邊緣壓縮信息。提高了特征點之間的匹配率與準(zhǔn)確性,最終獲得了精確的拼接效果。同時通過本實驗視頻采集系統(tǒng)進行視頻拼接時,圖像變換矩陣H只需求取一次 ,規(guī)避了每幀圖像都要計算透視變換矩陣的計算量,為后續(xù)的視頻拼接奠定了良好的基礎(chǔ)。本算法有效地運用在孔壁圖像中,實現(xiàn)鉆孔孔壁圖像的全景拼接。

      參考文獻:

      [1]漆馳,劉強,孫家廣.攝像機圖像序列的全景圖拼接[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2001,13(7):605-609.

      QI Chi,LIU Qiang,SUN Jiaguang.Video mosaic for panoramic image[J].Journal of Computer-Aided Design and Computer Graphics,2011,13(7):605-609.

      [2]王川嬰,葛修潤,白世偉.數(shù)字式全景鉆孔攝像系統(tǒng)研究[J] .巖石力學(xué)和工程學(xué)報,2002,21(3):398-403.

      WANG Chuangying,GE Xiurun,BAI Shiwei.Study on the digital panorama borehole camera system[J].Chinese Journal of Rock Mechanics and Engineering,2002,21(3):398-403.

      [3]曹茂永,趙猛,滕升華,等.4路鉆孔孔壁視頻的柱面全景圖生成方法及裝置:CN106023066A [P].2016-10-12.

      [4]牛建軍,劉上乾,姚榮輝,等.高準(zhǔn)確度光電成像測量系統(tǒng)圖像畸變校正算法[J].光子學(xué)報,2006,35(9):1317-1320.

      NIU Jianjun,LIU Shangqian,YAO Ronghui,et al.Algorithm for image correction in high precision imaging measurement system[J].Acta Photonica Sinica,2006,35(9):1317-1320.

      [5]鄭佳,李學(xué)鵬.全景系統(tǒng)中大視場攝像機徑向畸變校正算法研究[J].光學(xué)與光電技術(shù),2016,14(3):87-94.

      ZHENG Jia,LI Xuepeng.Research on radial distortion correction algorithm for camera with large field of view in panoramic system[J].Optics & Optoelectronic Technology,2016,14(3):87-94.

      [6]VON GIOI R G,MONASSE P,MORELJ M,et al.Lens distortion correction with a calibration harp[C]// IEEE International Conference on Image Processing.IEEE,2011:617-620.

      [7]楊必武,郭曉松.攝像機鏡頭非線性畸變矯正方法綜述[J].中國圖象圖形學(xué)報,2005,10(3):269-274.

      YANG Biwu,GUO Xiaosong.Overview of nonlinear distortion correction of camera lens[J].Journal of Image and Graphics,2005,10(3):269-274.

      [8]TRECKEL B,EVERS-SENNE J F,KOCH R.Lens model selection for a markerless AR tracking system[C]// Proceedings of the International Symposium on Mixed and Augmented Reality.IEEE Computer Society,2005:130-133.

      [9]蔡睿.基于DSP的數(shù)字圖像畸變校正技術(shù)研究[D].武漢:華中科技大學(xué),2006.

      [10]朱錚濤,黎紹發(fā),陳華平.基于平面網(wǎng)格模型的攝像機鏡頭畸變校正技術(shù)[J].計算機工程與應(yīng)用,2004,40(23):32-35.

      ZHU Zhengtao,LI Shaofa,CHEN Huaping.Technology of proofreading the camera lens distortion based on the plane gridding model[J].Computer Engineering and Applications,2004,40(23):32-35.

      [11]TSAI R Y.A versatile camera calibration technique for high accuracy 3D machine vision metrology using off-the-shelf TV camerasand lenses[J].IEEE Journal on Automation,1987,3(4):323-344.

      [12]ZHANG Z Y.A flexible new technique for camera calibration[J].Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

      [13]趙小川.現(xiàn)代數(shù)字圖像處理技術(shù)提高及應(yīng)用案例詳解(MATLAB版)[M].北京:北京航空航天大學(xué)出版社,2012.

      [14]苗彩霞,紀(jì)筱鵬.基于Hough變換及SIFT特征提取的圖像匹配方法[J].山東科技大學(xué)學(xué)報(自然科學(xué)版),2014,33(4):105-110.

      MIAO Caixia,JI Xiaopeng.An image matching algorithm based on Hough transform and SIFT[J].Journal of Shandong University of Science and Technology (Natural Science),2014,33(4):105-110.

      猜你喜歡
      角點孔壁全景
      基于礦用鉆孔成像儀的孔壁模擬實驗裝置研制
      戴上耳機,享受全景聲 JVC EXOFIELD XP-EXT1
      砂土地區(qū)鉆孔樁孔壁穩(wěn)定性與評價方法研究
      中外公路(2020年4期)2020-09-14 08:24:00
      溶(土)洞地區(qū)沖孔樁孔壁聲波探測施工技術(shù)研究
      全景敞視主義與偵探小說中的“看”
      基于FAST角點檢測算法上對Y型與X型角點的檢測
      從5.1到全景聲就這么簡單 FOCAL SIB EVO DOLBY ATMOS
      基于邊緣的角點分類和描述算法
      電子科技(2016年12期)2016-12-26 02:25:49
      全景搜索
      特別文摘(2016年21期)2016-12-05 17:53:36
      基于圓環(huán)模板的改進Harris角點檢測算法
      濮阳县| 高雄市| 沁阳市| 鱼台县| 左权县| 二连浩特市| 石城县| 秦安县| 佛山市| 桦甸市| 龙陵县| 江陵县| 大洼县| 连平县| 遂昌县| 马鞍山市| 德保县| 江永县| 东安县| 牡丹江市| 建始县| 贡山| 邯郸市| 泾源县| 随州市| 鹿邑县| 阿克苏市| 蓬安县| 涟水县| 霞浦县| 赣榆县| 屏东市| 丘北县| 芜湖县| 天峨县| 旬阳县| 南江县| 交口县| 武威市| 高邑县| 沙湾县|