陳友輝,王耀南,肖贊,董瀟健
湖南大學(xué)電氣與信息工程學(xué)院,長沙 410082
高壓線路除冰機(jī)器人越障識別定位算法研究
陳友輝,王耀南,肖贊,董瀟健
湖南大學(xué)電氣與信息工程學(xué)院,長沙 410082
220kV輸電線路除冰機(jī)器人在線運(yùn)行過程中會因架空線路上的防震錘、耐張線夾、懸垂線夾、跳線等障礙物而無法自由運(yùn)行,這也極大地限制了機(jī)器人的工作區(qū)間和使用效率。而越障式除冰機(jī)器人能夠很好地在各種障礙物之間運(yùn)行,但是在機(jī)器人跨越障礙物時,前機(jī)械臂行走輪的跟線對中問題也突顯出來。為了使行走輪能夠準(zhǔn)確地掛在電纜上面,前人也提出了很多方法。
1991年日本東京電力公司的Sawada等人就提出了使用超聲波傳感器,接近開關(guān)序列來定位線纜的方法[1];加拿大魁北克水電研究院的Serge等人也開展了越障式除冰機(jī)器人的研制,而他們的越障動作主要是依賴安裝在機(jī)器人上的攝像頭通過遠(yuǎn)程遙操作完成的[2];伍洲等人研制的兩臂式巡檢機(jī)器人則是利用電磁導(dǎo)航原理實現(xiàn)對線路位置的檢測,但是電力傳輸線中流過的電流會因負(fù)載的不同而產(chǎn)生未知波動,這也限制了電磁導(dǎo)航定位線纜位置的精度[3];中科院自動化研究所研制的除冰機(jī)器人的機(jī)械臂對中使用的視覺檢測的方法[4],但是其文章中沒有詳細(xì)介紹相線檢測的具體方法,而且圖像背景限定條件太多,這也降低了提取的難度。
本文在上述研究的基礎(chǔ)上,提出了一種方法簡單、成本低廉、適應(yīng)性強(qiáng)的高壓電纜識別定位算法,針對電纜線具有特殊紋理和在一定尺度空間內(nèi)寬度固定的特點(diǎn),通過紋理自相關(guān)運(yùn)算獲取圖像中紋理能量最強(qiáng)的區(qū)域,作為感興趣區(qū)域,再通過狹義霍夫變換找尋合適寬度的直線對,完成電纜直線的搜索定位,解決機(jī)械臂越障時的跟線對中問題。經(jīng)過反復(fù)實驗表明,該算法具有較強(qiáng)的適應(yīng)性。
除冰機(jī)器人本體如圖1所示。機(jī)器人采用三臂結(jié)構(gòu),是為了在跨越障礙時確保有兩個手臂掛在電纜線上。機(jī)器人上總共安裝了5個攝像頭:前、后、中臂的夾持臺上各安裝有一個垂直朝上的攝像頭,用于監(jiān)測越障時的動作;前機(jī)械臂行走輪上方安裝了一個雙目攝像頭,用于探測機(jī)器人前方的障礙物及線纜損壞情況檢測。本文中介紹的線纜對中算法都是針對三個臂上的攝像頭所采集得到的圖像。
圖1 機(jī)器人本體
根據(jù)機(jī)器人設(shè)計尺寸需求,安裝在夾持臂上的攝像頭選用微型CCD攝像頭。攝像頭視線垂直向上(視角為60°),正對行走輪和電纜線。圖中所示的雙目攝像頭是作為障礙物檢測用[5],本文不作介紹??刂葡鋬?nèi)的圖像采集卡將模擬圖像信號轉(zhuǎn)換為數(shù)字圖像信號提供給主控制器,再由主控制器完成圖像特征提取和機(jī)器人伺服控制任務(wù)。
基于前文中提到的諸多難點(diǎn),除了人為減少安裝帶來的誤差、保證光照條件在一定可接受范圍內(nèi),仍需要找到電纜線在各種條件下相對穩(wěn)定的特征,提高算法魯棒性。
對電纜線分析,發(fā)現(xiàn)它有以下幾個特征:(1)電纜線貫穿整幅圖像;(2)電纜線在一定的尺度空間下具有特定寬度;(3)電纜線本身具有一個很規(guī)則的紋理信息。且這個紋理信息被限定在一定的寬度和長度的平行四邊形中間;(4)電纜線一般是高懸于空中,如果用雙目相機(jī)對圖片成深度圖,電纜線部分的深度信息是遠(yuǎn)遠(yuǎn)小于背景深度信息的。本文因為采用靜態(tài)的單目視覺,所以僅考慮以上特征的前三條。
同時,考慮實際電纜線覆冰時,電纜線紋理將被覆冰遮掩。為了解決這個問題,除冰機(jī)器人初期設(shè)計了一個越障預(yù)除冰的機(jī)構(gòu)。該機(jī)構(gòu)在不要求精確定位電纜線情況下,通過旋轉(zhuǎn)敲擊方式可以將電纜線下方的冰棱除掉,以充分將電纜線暴露在外,并使電纜線達(dá)到本文中的定位識別的要求。而在實驗室環(huán)境下,該裝置可以輔助機(jī)器人在室內(nèi)完成行走、越障、模擬除冰等過程。
在研究指紋圖像增強(qiáng)的過程中,指紋圖像在16×16區(qū)塊內(nèi)具有與電纜線相似的紋理,進(jìn)而可以把指紋增強(qiáng)中方向場估計算法應(yīng)用到電纜線分割上。指紋增強(qiáng)中是依據(jù)“沿脊線方向的灰度變化成正弦波型”假設(shè)來設(shè)計具有方向性的濾波器,而電纜線紋理也恰恰符合這一原則。即沿著垂直于脊線方向指紋的脊線與谷線像素點(diǎn)灰度值大致呈二維的正弦波,除了少數(shù)異常區(qū)域外,在局部區(qū)域內(nèi),紋線的分布具有良好的頻率特性和方向特性。因此可以充分利用局部區(qū)域內(nèi)紋線的頻率信息,對圖像紋線進(jìn)行增強(qiáng)和拼配。
電纜線定位算法主要包括以下幾個步驟:首先對原始圖像進(jìn)行同態(tài)濾波,以減少電纜線上的陰影和陽光照射的影響;再進(jìn)行Canny邊緣檢測和方向場估計統(tǒng)計出電纜線紋理方向;根據(jù)方向場估計得到的紋理方向,對邊緣檢測后圖像作Gabor變換和自適應(yīng)閾值分割,提取出電纜線紋理區(qū)域;最后,用最小二乘法獲取電纜線的中線位置。
電纜線定位算法流程如圖2所示。
圖2 電纜線定位算法流程
3.1 同態(tài)濾波及邊緣檢測
對于電纜線圖像因為環(huán)境的復(fù)雜性,很容易產(chǎn)生局部線上具有很強(qiáng)反射光,這種反射光不僅會引起局部紋理的斷裂也很容易造成電纜線邊緣的模糊。有時太陽光線也會直接照射在攝像頭上。而這兩種情況又不可能通過人工暗室的方法消除,因此引入同態(tài)濾波對圖片進(jìn)行一定的光照補(bǔ)償[6]。
設(shè)圖像為f(x,y),那么f(x,y)可以看成是光源照度場(入射分量)fi(x,y)和場景中的反射光(反射分量)的反射場fr(x,y)兩部分乘積所產(chǎn)生,關(guān)系式為:
fi(x,y)的性質(zhì)取決于照射源,fr(x,y)取決于成像物體的特性。一般情況下,照度場fi(x,y)的變化緩慢,在頻譜中集中在低頻;而反射場fr(x,y)包含所需要的圖像細(xì)節(jié)信息,它在空間上變化較快,其能量集中于高頻。這樣就可以根據(jù)照度-反射模型將圖像分為低頻與高頻分量乘積的結(jié)果。由于兩個函數(shù)的傅里葉變化乘積是不可分離的,故不能直接對照度和反射的頻率部分分別進(jìn)行操作。
傳統(tǒng)的同態(tài)濾波法實現(xiàn)方法:先將原始圖像進(jìn)行對數(shù)變換和快速傅里葉變換,得到頻率域中兩個分離的分量,然后根據(jù)用戶的需要,選用合適的傳遞函數(shù)實現(xiàn)圖像頻域增強(qiáng)。最后再將頻域處理的圖像經(jīng)快速傅里葉逆變換及指數(shù)變換,就可得到增強(qiáng)后的圖像。
因此先對式(1)進(jìn)行對數(shù)變換:
式(4)表明,圖像中的環(huán)境照明分量的頻譜與反射分量的頻譜是可分離的。
然后設(shè)計一個濾波函數(shù)H(u,v),對頻域圖像Z(u,v)作處理。
S(u,v)是結(jié)果的傅里葉變換。這樣便可以在頻域內(nèi)對高頻和低頻分開處理,以期增強(qiáng)圖像對比度,并可壓縮圖像信號的動態(tài)范圍。然后將S(u,v)進(jìn)行反傅里葉變換,得到濾波后的圖像。
根據(jù)不同的圖像特性和需要,選用不同的H(u,v),可得到滿意的結(jié)果。
為了直觀表現(xiàn)圖像紋理細(xì)節(jié),在進(jìn)行同態(tài)濾波后又進(jìn)行了Canny邊緣檢測算子[7]。從圖3和圖4中可以看出,經(jīng)過同態(tài)濾波后再作邊緣檢測中,保留了更多的紋理細(xì)節(jié)。而且很明顯地看出,同態(tài)濾波后的圖像中光暈被明顯抑制了,電纜線的紋理也比處理前的圖片更加飽滿了,這也說明圖像低頻分量被抑制,高頻分量被增強(qiáng)。
圖3 同態(tài)濾波前后的圖像
圖4 對濾波前后圖像邊緣進(jìn)行檢測的結(jié)果
3.2 方向場估計
方向場反應(yīng)了電纜線中脊線的方向信息,其準(zhǔn)確性直接影響到后續(xù)的圖像增強(qiáng)與圖像紋理匹配的效果。Gabor濾波中θ即為紋理方向,因此只有得到電纜線紋理的方向信息才能有效提取出電纜線精確位置。本文根據(jù)紋理方向在局部區(qū)域內(nèi)基本一致的特點(diǎn)先把圖像分塊,然后計算每一個子塊內(nèi)各個像素的方向。用這種方法來求解指紋方向場具有效率高且不易受圖像噪聲影響的特點(diǎn)[8]。
具體算法:
將圖像分成16×16大小的互不重疊的子塊,采用Soble算子計算每個子塊像素點(diǎn)(u,v)梯度值。
?x(u,v)表示沿x軸方向的梯度值;?y(u,v)表示沿y軸方向的梯度值。
利用公式(7)~(9)估計出中心點(diǎn)在點(diǎn)(i,j)的子塊的脊線方向值。其中θ(i,j)是以像素點(diǎn)(i,j)為中心子塊的局部脊線方向,W是子塊的邊界長。公式(7)~(9)中統(tǒng)計的梯度Vx(i,j),Vy(i,j)實際是以i,j為中心16×16區(qū)域內(nèi)每個像素點(diǎn)梯度矢量平方之和,這樣防止了從脊線到谷線和從谷線到脊線之間梯度相反導(dǎo)致的互相抵消。根據(jù)梯度矢量平方與梯度矢量之間幅角關(guān)系易推出公式(9),但是θ(i,j)的范圍為[-π/2,π/2],而公式(8)因為沒有考慮到梯度矢量平方的范圍為[-π,π],計算出的幅角范圍為[-π/4,π/4],因此需要對梯度矢量平方幅角在第二和第三象限內(nèi)的,根據(jù)公式(5)計算得出的結(jié)果進(jìn)行加π/2或者減π/2處理就能得到正確的梯度值。圖5為方向場計算結(jié)果。
圖5 方向場估計
可以看出方向場沿電纜線紋理方向具有十分規(guī)則的方向信息,而在空白區(qū)域因為噪聲等諸多因素干擾方向場顯得雜亂無章,為后續(xù)紋理提取提供了更加可靠的信息。
3.3 紋理匹配
為了有效提取圖像中的紋理特征,Gabor變換是英國物理學(xué)家Gabor提出來的,由“測不準(zhǔn)原則”可知它具有最小的時頻窗,即Gabor函數(shù)能夠做到最精確的時間頻率局部化這一點(diǎn)對圖像特征檢測[9],對偶Gabor小波的一般形式如下:
實驗證明Gabor變換不但能濾除噪聲而且可以無失真地保留下電纜線紋理的脊線和谷線。但是Gabor小波需要計算實部與虛部,且大部分系數(shù)都很小,精度很高,不利于實時處理。故需要對Gabor小波進(jìn)行一定簡化。
根據(jù)Gabor對偶公式其實可以把Gabor小波理解成一個二維余弦函數(shù)與一個高斯衰減函數(shù)的乘積。假設(shè)在特定尺度空間下電纜下的頻率場固定,即限定公式G(x,y,θ,f0)中f0為一個固定值,θ為之前所求的方向場的角度,參照SURF變換中對高斯模板的簡化方式,可以把Gabor濾波器實部、虛部,按照脊線量化成1,谷線量化成-1,平坦量化成0,將Gabor濾波器簡化,如圖7所示。
圖7 簡化前后的Gabor小波模板
用Gabor小波模板對Canny邊緣檢測的圖像進(jìn)行卷積,就可以將電纜線紋理區(qū)域最大限度增強(qiáng)。然后再用一次閾值分割就可以得到圖8的處理效果,本文選取閾值大小為200。
圖8 對邊緣圖像做Gabor濾波后的圖像
3.4 電纜線中心線擬合
從圖8(b)中可以看出,紋理區(qū)域已經(jīng)提取出來。但是它是由眾多紋理區(qū)域的離散點(diǎn)組成,而且在某些非紋理區(qū)域仍存在一些奇異點(diǎn),這對后面的電纜線中心提取有很大影響。為了提高中線提取的精度,還需對Gabor濾波后的圖像做一次奇異點(diǎn)剔除。最后采用最小二乘擬合方法,對所有離散點(diǎn)進(jìn)行直線擬合即可得到電纜線中線位置[10]。
假設(shè)以圖像左下角為原點(diǎn),水平方向定義為橫軸,豎直方向為縱軸。并設(shè)電纜線中線方程為:
利用以上兩個公式,對經(jīng)Gabor濾波和閾值分割后的圖像做直線擬合可得到如圖9(a)所示結(jié)果。
從圖9(a)中可以看出,擬合得到的中線與期望的電纜線中線已經(jīng)比較接近,但是一些偏離中線的奇異點(diǎn)仍然影響了最后的擬合結(jié)果。為了獲得更加精確的結(jié)果,本文對Gabor閾值變換后圖像又進(jìn)行以下處理:將偏離擬合直線垂直距離30個像素以上的點(diǎn)都作為奇異點(diǎn),從原圖像中剔除掉;再對剔除后的圖像進(jìn)行一次最小二乘擬合運(yùn)算,求出新的中線位置,作為最后的中線位置輸出。在圖9(b)中給出的即是最終擬合的結(jié)果。
圖9 進(jìn)行最小二乘擬合得到的中線位置
本文提出的除冰機(jī)器人越障電纜線中線定位算法在三臂除冰機(jī)器人上進(jìn)行了實驗,圖像處理序列如圖10所示。為了說明算法的有效性,實驗過程中特意在不同的光照環(huán)境下進(jìn)行了測試。首先,讓機(jī)器人前臂攝像頭采集到的圖像,光線分布盡量均勻,并且對針孔攝像頭的球面變形進(jìn)行了預(yù)處理。而后臂攝像頭未作球面變形校正,并且用聚光燈直射攝像頭,模擬室外陽光直射情況。在圖8(a)中所給出的一組圖片,分別為前、后臂拍攝到的越障過程的圖片。對比兩張圖像可以看出,前臂圖像光線自然,電纜線紋理清晰。后臂圖像因光照原因,畫面中產(chǎn)生一個很強(qiáng)的光暈,并且整個圖像較為昏暗模糊。
圖10 機(jī)器人越障過程中提取的中線結(jié)果
對比圖8(b)中兩張紋理提取結(jié)果的圖片可以看出,正常光照圖片紋理飽滿,提取的紋理十分穩(wěn)定和可靠;而高光照球面變形圖片因為局部對比度不均衡,會導(dǎo)致一定程度上紋理的缺失。雖然強(qiáng)光照產(chǎn)生的光暈,會對紋理提取及中線擬合帶來干擾,但是算法還是能較準(zhǔn)確定出電纜線的中心線,結(jié)果表明該算法具有較好的魯棒性。
本文提出了一種基于紋理分析的電纜線定位算法,利用了電纜線紋理具有規(guī)則分布的特點(diǎn),首先分析了紋理的方向場,然后統(tǒng)計得到感興趣區(qū)域。再對感興趣區(qū)域按特定方向的Gabor濾波器進(jìn)行紋理篩選,得出紋理區(qū)域離散點(diǎn)。最后對離散點(diǎn)做最小二乘擬合,得到最終電纜線中線位置。實驗證明算法在正常光照下具有精確的定位,而在高光照部分紋理缺失的情況下也擁有較強(qiáng)魯棒性。但是算法因為假定紋理頻率固定,對于攝像頭垂直方向與電纜成一定角度,紋理由近到遠(yuǎn)逐漸密集的圖片,紋理匹配結(jié)果會有一定程度下降。因此,需要進(jìn)一步提高算法對于多尺度圖像分析的適應(yīng)性,同時引入雙目視覺加強(qiáng)算法的魯棒性。
[1]Sawada J,Kusumoto K,Munakata T.A mobile robot for inspection of power transmission lines[J].IEEE Transactions on Power Delivery,1991,6(1):309-315.
[2]Nicolas P,Serge M.LineScout technology:from inspection to robotic maintenance on live transmission power lines[C]// IEEE International Conference on Robotics and Automation,2009,45(7):1034-1040.
[3]伍洲,方彥軍.巡線機(jī)器人電磁導(dǎo)航系統(tǒng)研究與設(shè)計[J].高電壓技術(shù),2008,34(9):1959-1963.
[4]張運(yùn)楚,梁自澤,譚民.架空輸電線路巡線機(jī)器人越障視覺伺服控制[J].機(jī)器人,2007,29(2):111-116.
[5]譚磊,王耀南,沈春生.輸電線路除冰機(jī)器人障礙視覺檢測識別算法研究[J].儀器儀表學(xué)報,2011,32(11):2564-2571.
[6]Uche N,Peter L.Homomorphic filtering of colour images using a spatial filter kernel in the HSI colour space[C]//IEEE International Instrumentation and Measurement Technology Conference,Victoria,Vancouver Island,Canada,2008:1738-1743.
[7]Canny J.A computational approach to edge detection[J].IEEE Trans on Pattern Analysis and Machine Intelligence,1986,8:679-714.
[8]Kekre1 H B,Bharadi V A.Fingerprint orientation field estimation algorithm based on optimized neighborhood averaging[C]//2nd International Conference on Emerging Trends in Engineering and Technology,ICETET-09,2010:228-234.
[9]Gabor D.Theory of communication[J].Journal of the Institute of Electrical Engineers,1946,93(26):429-441.
[10]Bjorck A.Numerical methods for least squares problems[M]. Philadelphia:SIAM,1996:87-120.
CHEN Youhui,WANG Yaonan,XIAO Zan,DONG Xiaojian
College of Electrical and Information Engineering,Hunan University,Changsha 410082,China
A cable location algorithm based on texture recognition is proposed to solve the high-voltage de-icing robot obstacle problem when arm grasps line.According to the periodic characteristics of texture along the direction of the cable within the complex background,the high light reflection and shadow effects are reduced using homomorphic filter.The direction of the texture is calculated by direction field estimation and texture is extracted by Gabor transform.A linear least squares fitting method is used to obtain the final position of the cable within the region of interest.Obstacle tests in the context of different light show the effectiveness of the algorithm.
deicing-robot;visual positioning;orientation field estimation;Gabor transform
針對高壓線除冰機(jī)器人越障時機(jī)械臂對中問題,提出了一種基于電纜線紋理特征的定位算法。根據(jù)復(fù)雜背景下沿電纜線方向紋理具有周期性的特征,通過對原始圖像做同態(tài)濾波,減少高光反射和陰影的影響。用方向場估計紋理的方向,利用Gabor變換進(jìn)行紋理信息提取,以紋理圖像作為感興趣區(qū)域,在感興趣區(qū)域內(nèi)使用線性最小二乘擬合方法獲取電纜線最終位置。通過在不同光線背景下對電纜線定位的對中實驗,證明了算法的有效性。
除冰機(jī)器人;視覺定位;方向場估計;Gabor變換
A
TP242
10.3778/j.issn.1002-8331.1203-0530
CHEN Youhui,WANG Yaonan,XIAO Zan,et al.Study on obstacle location algorithm of deicing robot on high voltage transmission line.Computer Engineering and Applications,2013,49(24):266-270.
國家科技支撐計劃項目(No.2008BAF36B01)。
陳友輝(1986—),男,碩士研究生,主要研究方向為智能機(jī)器人系統(tǒng);王耀南(1957—),男,博士,教授,博士生導(dǎo)師,主要研究方向為人工智能;肖贊(1987—),男,碩士研究生,主要研究方向為智能機(jī)器人系統(tǒng);董瀟?。?988—),男,碩士研究生,主要研究方向為電路與系統(tǒng)。E-mail:shuteoliver@163.com
2012-03-23
2012-05-08
1002-8331(2013)24-0266-05
CNKI出版日期:2012-07-16http://www.cnki.net/kcms/detail/11.2127.TP.20120716.1500.016.html