唐愛平

(常州紡織服裝職業(yè)技術(shù)學(xué)院創(chuàng)意與藝術(shù)設(shè)計(jì)學(xué)院，江蘇 常州 213164)

管道內(nèi)壁全景圖像自適應(yīng)展開算法研究

唐愛平

(常州紡織服裝職業(yè)技術(shù)學(xué)院創(chuàng)意與藝術(shù)設(shè)計(jì)學(xué)院，江蘇 常州 213164)

全景環(huán)形透鏡(panoramic annular lens)是一種特殊的光學(xué)成像器件，將其應(yīng)用在管道形貌檢測領(lǐng)域，恰好能忽略管道徑向上的中空圖像且能獲取整個(gè)管道內(nèi)壁一定范圍內(nèi)的全景圖像。吸收傳統(tǒng)展開算法中切向展開的優(yōu)點(diǎn)，設(shè)計(jì)一種標(biāo)定實(shí)驗(yàn)，利用邊緣提取、Hough變化、插值等方法來自適應(yīng)地調(diào)節(jié)映射點(diǎn)領(lǐng)域內(nèi)的權(quán)值，達(dá)到圓環(huán)的自適應(yīng)徑向展開。仿真實(shí)驗(yàn)表明，該算法有效地改善了徑向放大率，方便適用于不同管徑管道。

全景圖像；徑向展開；自適應(yīng)；仿真

全景環(huán)形透鏡(panoramic annular lens，PAL)的問世，使得360°成像成為可能，其通過平面圓柱投影法(flat cylinder perspective，F(xiàn)CP)將三維現(xiàn)實(shí)空間中的景物投影至一個(gè)環(huán)形區(qū)域內(nèi)[1]。自上個(gè)世紀(jì)80年代起，國際上就興起了對全景成像系統(tǒng)的研究，并將此類系統(tǒng)應(yīng)用到不同的場合中。至今，全景環(huán)形成像系統(tǒng)已在航空航天、機(jī)器視覺、視頻監(jiān)控，視頻會(huì)議及工業(yè)管道檢測等領(lǐng)域取得了一定的成果[2-3]。

利用 PAL無需添加任何旋轉(zhuǎn)模塊便可實(shí)現(xiàn)管道內(nèi)壁一定范圍的360°成像，在保證圖像質(zhì)量的同時(shí)，加快了處理速度[4]。對于管道內(nèi)壁所成的全景環(huán)形圖像需要利用展開算法對其進(jìn)行處理，方便后期對管道內(nèi)壁形貌的分類識(shí)別。

在PAL圖像展開算法中，基于圖像映射的線性展開算法[5-6]為最常見的一種。其算法的核心思想是將環(huán)形圖像中的外圓周和內(nèi)外環(huán)半徑差分別作為展開矩形的長和寬，由于內(nèi)圓環(huán)半徑小于外圓周，導(dǎo)致分辨率不足，為了保證各圓周擁有相同的分辨率，故對非外圓周圖像進(jìn)行展開時(shí)通過插值等方法來提高其分辨率[7-8]。在實(shí)際情況下，這類展開算法主要適用于管徑固定的管道檢測，雖然通過曲線擬合的方法可以精確地恢復(fù)出柱面原貌，但在柱體半徑變化情況下，這種展開是不可取的[9-10]。

本文針對傳統(tǒng)的展開算法中存在的問題，提出一種自適應(yīng)徑向展開算法，在自適應(yīng)矯正徑向放大率的同時(shí)，能夠?qū)崿F(xiàn)對不同管徑管道內(nèi)壁全景圖像的展開。

1　基于圖像映射的自適應(yīng)展開算法

PAL圖像展開算法的思想是將環(huán)形圖像中的外圓周和內(nèi)外環(huán)半徑差分別作為展開矩形的長和寬，分為2步：①切向展開，即以環(huán)形圖像的外圓周的周長及周圍的分辨率，將環(huán)形圖像展開為矩形圖像，保證尺寸最大化的同時(shí)確保分辨率最高；②徑向展開，由于PAL圖像采用的是FCP投影法，其遵循f?θ理論，柱面上等距的環(huán)線在環(huán)形圖像中隨著圓環(huán)半徑的增大，圓環(huán)之間的距離也越大，故需要對已進(jìn)行切向展開的圖像進(jìn)行徑向上的拉伸[8]。然而由于內(nèi)圓環(huán)半徑小于外圓周，導(dǎo)致分辨率不足，為了保證各圓周擁有相同的分辨率，故對非外圓周圖像在展開時(shí)運(yùn)用插值等方法來提高其分辨率，達(dá)到徑向方向上無畸變的需求[11]。

1.1全景圖像切向展開

假設(shè)攝像頭中心與管道中心同一徑向，進(jìn)行切向展開時(shí)，根據(jù)已知PAL環(huán)形圖像的中心對其進(jìn)行展開，將外圓周的周長作為展開圖像的長度，內(nèi)外圓的半徑差作為展開圖像的寬度。在展開過程中(如圖1所示)，設(shè)p點(diǎn)在展開圖像中的坐標(biāo)為p(x,y)，其在環(huán)形圖像中所對應(yīng)的點(diǎn)用極坐標(biāo)表示為p′(x′,y′)，將環(huán)形圖像用其原點(diǎn)的極坐標(biāo)f(ρ,θ)表示：

圖1　坐標(biāo)轉(zhuǎn)化示意圖

式(1)中，(x0,y0)為圓心在直角坐標(biāo)系中的坐標(biāo)；點(diǎn)A為過圓心O與x軸平行的直線與內(nèi)圓環(huán)相交的點(diǎn)；其與圓心的距離為內(nèi)環(huán)半徑r；θ角為0；其在環(huán)形圖像中的坐標(biāo)為A(x0+r,y0)。因?yàn)檎归_后矩形圖像的y軸為環(huán)形圖像的內(nèi)外半徑差，x軸為環(huán)形圖像的外圓周長，所以在展開圖像中 p點(diǎn)與A點(diǎn)在y軸方向上的差即為ρ與r的差值，在x軸方向上的差為 θ角在外圓周上弧長，得到如下公式：

其中，點(diǎn) A在展開圖像中的坐標(biāo)為(xA,yA)，為了便于計(jì)算，將點(diǎn)A平移至展開矩形圖像坐標(biāo)系的原點(diǎn)，式(2)可簡化為：

將式(3)代入式(1)得到展開矩形圖像中每個(gè)點(diǎn)在環(huán)形圖像中所對應(yīng)的坐標(biāo)：

至此，通過坐標(biāo)轉(zhuǎn)化可將展開后的矩形圖像中的點(diǎn)與原有環(huán)形圖像中的點(diǎn)一一對應(yīng)。雖然通過上述的展開后，圖像已經(jīng)趨近于真實(shí)的圖像，但在徑向上還存在分辨率不足的問題，需要對徑向方向上進(jìn)行拉伸。

1.2全景圖像徑向自適應(yīng)插值算法

全景圖像徑向拉伸通常使用最小二乘曲線擬合的方法對圖像進(jìn)行擬合，這需要有標(biāo)準(zhǔn)的參考圖進(jìn)行恒定，才能找出擬合圖像與實(shí)際圖像之間的對應(yīng)關(guān)系。這種展開算法主要適用于固定管徑的管道檢測，無法實(shí)現(xiàn)對不同管徑的展開。

對于切向方向，PAL具有旋轉(zhuǎn)不變性，即在切向方向上各個(gè)點(diǎn)之間的放大率相同，而在徑向方向上存在著畸變。對于相同距離的物點(diǎn)，徑向上的放大率沿著徑向方向遞減，出現(xiàn)近大遠(yuǎn)小的畸變現(xiàn)象。根據(jù)本文的實(shí)際情況，針對不同管徑的圓柱形管道進(jìn)行形貌檢測，在基于圖像映射的線性展開算法上進(jìn)行改進(jìn)，提出自適應(yīng)插值展開算法，來消除不同管徑徑向上的畸變。

根據(jù)式(1)原始圖像中的點(diǎn)p(x,y)經(jīng)過切向轉(zhuǎn)換后坐標(biāo)為而期望得到的展開圖像對應(yīng)的坐標(biāo)為兩者之間存在以下關(guān)系：

為了得到p′坐標(biāo)，在圓柱形管道直徑發(fā)生變化時(shí)，需要根據(jù)圖像映射點(diǎn)領(lǐng)域內(nèi)的灰度值變化情況，即根據(jù)點(diǎn)p′(x′,y′)周圍領(lǐng)域內(nèi)灰度值的變化情況，將映射點(diǎn)的直接鄰接點(diǎn)與其間接鄰接點(diǎn)梯度的比值作為λ值的判斷依據(jù)，以此滿足不同管徑的全景圖像，并確定徑向展開的表達(dá)式。

根據(jù)切向展開后的映射點(diǎn)p′(x′,y′)，可以認(rèn)為插值后像素值 pi′的坐標(biāo)為(x′,y′)，i表示映射點(diǎn)圖像的序列號(hào)。切向展開后圖像的插值像素點(diǎn)與其鄰近像素點(diǎn)的位置關(guān)系如圖2所示。

圖2　插值點(diǎn)與鄰近映射點(diǎn)的位置關(guān)系

當(dāng)(x?,y?)、(x?,y+)、(x+,y?)和(x+,y+)4個(gè)鄰近點(diǎn)區(qū)域的標(biāo)記相同時(shí)，表示λ的取值滿足需求，否則對其自適應(yīng)進(jìn)行調(diào)整。定義圖3中映射點(diǎn)i的梯度為：

圖3　插值點(diǎn)有鄰近點(diǎn)灰度關(guān)系圖

在進(jìn)行徑向展開時(shí)，λ的取值由下面梯度區(qū)間決定：

實(shí)驗(yàn)表明，通過本文提出的自適應(yīng)插值法，能按照相鄰切向上兩個(gè)交點(diǎn)的距離進(jìn)行插值拉伸，可以很好地消除徑向上的畸變，達(dá)到圓環(huán)圖像的無損展開。

2　管道全景環(huán)形圖像的圓心標(biāo)定校準(zhǔn)

上述展開算法以所成圖像的中心作為理想的展開中心，然而在實(shí)際圖像中可能存在中心偏移的問題。當(dāng)存在偏移時(shí)，仍然以幾何中心作為環(huán)形圖像的展開中心來進(jìn)行展開的話，得到的展開圖像將存在著彎曲的現(xiàn)象[12-13]。故此，在展開之前，通過圓心標(biāo)定校準(zhǔn)來尋找正確的展開中心，即全景圖像上管道內(nèi)壁所形成的同心圓圓心，可以極大地減少后期全景圖像展開誤差。

針對管道的實(shí)際全景圖像特點(diǎn)，即管道內(nèi)壁形成的圖像為同心圓，提出一種快速圓心檢測方法。將圖像空間轉(zhuǎn)換成為由圓心橫坐標(biāo)、圓心縱坐標(biāo)及半徑所組成的3個(gè)參數(shù)空間。參數(shù)空間對應(yīng)的量化值分別為Δr ， Δx， Δy，這3個(gè)量化值將整個(gè)參數(shù)空間分成很多個(gè)量化空間，即每一個(gè)量化值對應(yīng)了一種圓心半徑的量化空間，其在立體空間上是一個(gè)長方體也可稱之為“盒子”。滿足同一圓心，同一半徑的圓環(huán)曲線上的像素點(diǎn)坐標(biāo)都放在同一個(gè)“盒子”中。比較所有“盒子”中像素點(diǎn)個(gè)數(shù)，個(gè)數(shù)最多的那個(gè)“盒子”的3個(gè)參數(shù)即為圓檢測的最優(yōu)參數(shù)。整個(gè)參數(shù)空間中“盒子”的總數(shù)由3個(gè)參數(shù)的范圍及量化值決定，如式(8)：

為了確保圓檢測的精度，3個(gè)量化值的范圍必須取得盡量小，一般為1～2個(gè)像素點(diǎn)，在本實(shí)驗(yàn)中設(shè)置為1個(gè)像素點(diǎn)，圓檢測的數(shù)據(jù)量就由3個(gè)參數(shù)的取值范圍所決定。通過對3個(gè)參數(shù)的取值進(jìn)行約束，縮小其取值范圍就能大大減小其中的數(shù)據(jù)量，實(shí)現(xiàn)快速檢測，且能保證圓心的精度。算法步驟如下：

步驟1. 獲取標(biāo)定圖像的環(huán)形圖像如圖4所示，并對獲取的環(huán)形圖像進(jìn)行邊緣提取，獲得內(nèi)環(huán)，外環(huán)，及中環(huán)3個(gè)同心圓。

步驟2. 由于內(nèi)環(huán)的邊緣是最小的一個(gè)圓(簡稱為內(nèi)圓)，設(shè)內(nèi)圓在x軸方向上最右端的像素點(diǎn)的坐標(biāo)為(xr,yr)，最左端的像素點(diǎn)坐標(biāo)為(xl,yl)，則兩點(diǎn)間x軸上的距離為w=xr?xl，在y軸方向上最上端的點(diǎn)的坐標(biāo)為(xu,yu)，最下端的點(diǎn)的坐標(biāo)為(xd,yd)，兩點(diǎn)在y軸上的距離為h=yu?yd。估計(jì)內(nèi)圓的圓心在附近，且半徑也應(yīng)該與(或)相當(dāng)。為此，內(nèi)圓的3個(gè)參數(shù)取值范圍分別如下：

設(shè)置 δ1=10， δ2=10(δ1表示圓心坐標(biāo)的允許誤差， δ2表示圓環(huán)半徑的允許誤差)，對內(nèi)圓進(jìn)行邊緣提取及Hough變換，檢測標(biāo)定得到的圓心坐標(biāo)為(x1,y1)。

步驟 3. 同理，可以通過計(jì)算獲取外環(huán)及中環(huán)圓的圓心坐標(biāo)，取三者的平均來確定這個(gè)管道內(nèi)壁圖像的同心圓圓心。

3　實(shí)　驗(yàn)

本文基于PAL的成像原理和特點(diǎn)，采用搭載全景鏡頭的爬行器對管道內(nèi)壁進(jìn)行圖像采集，其結(jié)構(gòu)如圖4所示。根據(jù)前文提出的全景圖像圓心標(biāo)定及自適應(yīng)展開算法，對管道內(nèi)壁的全景圖像進(jìn)行展開，驗(yàn)證本文算法的正確性，實(shí)驗(yàn)結(jié)果如下。

圖4　管道內(nèi)壁全景圖像采集結(jié)構(gòu)圖

按圖 4結(jié)構(gòu)搭建實(shí)驗(yàn)平臺(tái)，獲取的全景圖像如圖5(a)所示，中心坐標(biāo)為(741,975)，根據(jù)式(8)、(9)，采用邊緣提取算法確定各個(gè)圓環(huán)的圓心坐標(biāo)如圖5(b)及表1所示。

圖5　圓環(huán)圓心標(biāo)定圖像

表1　各圓環(huán)圓心坐標(biāo)及半徑

從表1可知，各同心圓環(huán)坐標(biāo)分別為(741,973)，(741,977)，(745,977)，其圓心均值為(742.3,975.7)，誤差δ1=1.3， δ2=0.7在標(biāo)定范圍內(nèi)。

校準(zhǔn)圓心坐標(biāo)后，采用式(6)、(7)對切向展開圖像(圖6(a))自適應(yīng)調(diào)整梯度差值，經(jīng)過邊緣提取(圖6(b))，Hough變換(圖6(c))獲得徑向展開后的圖像，如圖6(d)所示。

圖6　徑向展開實(shí)驗(yàn)

經(jīng)過Hough變換提取直線交點(diǎn)位置信息(x坐標(biāo)為水平方向，y坐標(biāo)為垂直方向)，部分交點(diǎn)數(shù)據(jù)如表2所示。

根據(jù)表2的交點(diǎn)數(shù)據(jù)，計(jì)算切向展開圖像相鄰兩點(diǎn)之間的距離，結(jié)果如圖7所示。

從圖6中可以看出，本文所提出的徑向展開算法能很好地提取標(biāo)定網(wǎng)格直線邊緣且能準(zhǔn)確地找到網(wǎng)格直線的交點(diǎn)。通過分析切向和徑向上相鄰交點(diǎn)間的數(shù)據(jù)，如圖7，相鄰交點(diǎn)切向間距基本一致，圖中所出現(xiàn)的拐點(diǎn)是由于原圖中徑向上存在兩條相近的直線導(dǎo)致，而從圖8中可以明顯看出各行之間的徑向間距存在著拉伸。通過本文提出的自適應(yīng)展開算法使得徑向上具有切向上的放大率，達(dá)到消除畸變的目的。插值后同樣獲取網(wǎng)格直線的交點(diǎn)，部分?jǐn)?shù)據(jù)如表3所示，展開前后各行徑向間距對比如圖9所示。從實(shí)驗(yàn)結(jié)果中也明顯看出徑向展開后，擁有相同的徑向間距。

表2　切向展開圖像部分交點(diǎn)坐標(biāo)數(shù)據(jù)表

圖7　切向展開圖像相鄰交點(diǎn)切向間距

圖8　切向展開圖像各行徑向間距

圖9　徑向展開前后各行徑向間距對比圖

表3　徑向展開后部分交點(diǎn)坐標(biāo)數(shù)據(jù)表

4　結(jié)　論

文中提出一種管道內(nèi)壁全景圖像自適應(yīng)插值展開算法，結(jié)合傳統(tǒng)展開算法中切向展開的優(yōu)點(diǎn)，改進(jìn)徑向展開算法，從而自適應(yīng)地對不同管徑的管道內(nèi)壁全景圖像進(jìn)行展開。實(shí)驗(yàn)驗(yàn)證了改進(jìn)的徑向展開算法能很好地保證徑向上的放大率，且無需人工提取標(biāo)定參數(shù)，從而能自適應(yīng)不同管徑的管道。當(dāng)前檢測系統(tǒng)的硬件平臺(tái)只能滿足在直管道中進(jìn)行檢測且對于管道的直徑有一定的要求，通過調(diào)整爬行器的機(jī)械結(jié)構(gòu)使其滿足不同直徑的管道需求，考慮在硬件平臺(tái)上加裝傳感器，使其能適應(yīng)帶有彎道的管道，且如何重構(gòu)彎道管道圖像將是后續(xù)研究的方向。

[1] 趙瑋芳. 超高像素全景環(huán)帶成像研究[D]. 杭州: 浙江大學(xué), 2007.

[2] Kopilovic I, Vágv?lgy B, Szirányi T. Application of panoramic annular lens for motion analysis tasks: surveillance and smoke detection: pattern recognition [C]//IEEEProceedings. 15th International Conference on 2000, 2000: 714-717.

[3] Matthys A D R, Gilbert J A, Puliparambil J T. Endoscopic inspection using a panoramic annular lens [C]//Society of Photo-Optical Instrumentation Engineers (SPIE) Conference Series. 1991: 736-742.

[4] 趙烈烽. 高分辨環(huán)帶成像系統(tǒng)特性及應(yīng)用研究[D]. 杭州: 浙江大學(xué), 2008.

[5] 侯慧杰, 白劍, 楊國光. 全景環(huán)形透鏡三維空間成像展開算法的研究[J]. 光學(xué)儀器, 2006, 27(6): 43-47.

[6] 朱方明, 楊國光, 姚煒勇, 等. 全景環(huán)形透鏡環(huán)形象的線性化研究[J]. 光子學(xué)報(bào), 2001, 30(5): 589-593.

[7] Chen T, Chung K L. An efficient randomized algorithm for detecting circles [J]. Computer Vision and Image Understanding, 2001, 83(2): 172-191.

[8] Xiang T, Gong S G. Video behavior profiling for anomaly detection [J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2008, 30(5): 893-908.

[9] 王道義, 黃大為, 鄔敏賢, 等. 全景環(huán)形透鏡原理與特點(diǎn)剖析[J]. 光學(xué)技術(shù), 1998, (1): 11.

[10] 程鋼, 熊志輝, 陳立棟, 等. 一種DSP折反射全景圖像實(shí)時(shí)展開方法[J]. 計(jì)算機(jī)應(yīng)用, 2008, 28(9): 2286-2287.

[11] Duran O, Althoefer K, Seneviratne L D. Automated sewer pipe inspection through image processing [C]// IEEE Robotics and Automation, 2002. Proceedings. ICRA'02. IEEE International Conference on, 2002: 2551-2556.

[12] 鄧松杰, 周松斌, 程韜波. 利用魚眼鏡頭生成全景圖像的方法[J]. 圖學(xué)學(xué)報(bào), 2010, 31(1): 135-138.

[13] 羅年猛, 龔小寒, 朱林. 基于空間投影的管道施工圖自動(dòng)生成研究[J]. 圖學(xué)學(xué)報(bào), 2012, 33(4): 64-70.

Research of Adaptive Expansion Algorithm on Pipeline Inner-Surface Panoramic Image

Tang Aiping
(Creative & Art Design Department, Changzhou Textile Garment Institute, Changzhou Jiangsu 213164, China)

Panoramic annular lens is a special optical imaging device, which is used in morphology detection of pipeline. It is capable of ignoring hollow image in the radial direction and getting panoramic picture of whole pipeline inside wall. This has absorbed advantages of tangential expansion of traditional unwrapping algorithm, designing a calibration experiment, using edge extraction, Hough transform, and interpolation principle to improve radial development, and obtaining adaptive expansion algorithm to different pipe diameter. Simulation experiment showed that this method is effective to improve radial magnification, and applies to pipes with different diameters.

panoramic image; radial expansion; adaptive; simulation

TP 391

A

2095-302X(2015)06-0973-06

2015-09-21；定稿日期：2015-10-29

唐愛平(1979–)，男，江蘇宿遷人，講師，碩士。主要研究方向?yàn)槎嗝襟w圖像技術(shù)。E-mail：tapjuan@163.com