基于無人機雙目圖像的線目標(biāo)測量的研究

王祖武,丁 健,魏文力,韓 軍

(1.上海大學(xué) 通信與信息工程學(xué)院，上海 200444;2.上海先進通信與數(shù)據(jù)科學(xué)研究院，上海 200444;3.國網(wǎng)浙江省電力公司 檢修分公司，杭州 310007)

0 引言

近年，國家的公共設(shè)施(例如電力線、電力線桿塔、雕像等)的完善極大方便了人們的生產(chǎn)生活。公共設(shè)施需要定期的檢測維護以確保證公共設(shè)施安全運行，其中輸電線路覆冰是影響電力系統(tǒng)安全運行的重要威脅，是國內(nèi)外電力系統(tǒng)最為嚴(yán)重的自然災(zāi)害之一。為保障電力通暢，需要對輸電線的寬度進行監(jiān)控測量，并根據(jù)監(jiān)控數(shù)據(jù)做出相應(yīng)的應(yīng)對措施。因此，研究對線目標(biāo)的測量在實際應(yīng)用中具有重要的意義。

當(dāng)前，目標(biāo)測量分為主動式測量和被動式測量兩種。Golinelli等[1-2]提出了一種基于紅外激光的便攜式測量系統(tǒng)，采用激光測距原理測量對線目標(biāo)進行測量，馬[3]提出一種使用超聲波的目標(biāo)測量方式，但超聲波測量方式一般用于測量參考點到目標(biāo)之間的距離。主動測量方式下，使用外部向被測對象施加的能量對目標(biāo)進行測量，雖然準(zhǔn)確度比較高，但成本很高，功耗比較大，在實際應(yīng)用中普及率非常低。Mahajan等[4]和Kamboj 等[5]提出一種結(jié)合GPS進行目標(biāo)測量的方式，相對于主動測量，它不需要對被測對象施加能量，不受被測對象特性的影響，但需要在GPS信號比較強的地方進行，在山區(qū)、叢林等復(fù)雜區(qū)域信號誤差較大。王等[6]和韓等[7]提出一種使用全站儀進行測量的方式，但這種基于全站儀的測量方式需要選擇合適的參考點，人為因素較大，在環(huán)境復(fù)雜、人工無法涉足的地方選擇合適的參考點比較困難，同時測量效率降低、誤差增大。而雙目立體視覺技術(shù)[8-9]在測量方面具有測量精度高，功耗低，重量輕等優(yōu)點。此外無人機具有質(zhì)量輕、體積小、靈活輕便、拍攝角度全面、可操作性強等優(yōu)點，在電力線巡檢、測量等各領(lǐng)域中的使用不斷增多。

基于上述對目標(biāo)測量方法的分析，使用雙目立體視覺技術(shù)對線目標(biāo)進行測量。為提高對線目標(biāo)的測量精度，在以下兩個方面進行了改進優(yōu)化。第一，在匹配算法方面，對傳統(tǒng)Census立體匹配算法做了改進，在代價聚合階段對聚合窗口中的初始代價值進行了異常值處理，抑制錯誤初始匹配代價；第二，在線目標(biāo)視差圖優(yōu)化方面，提出一種基于目標(biāo)識別的線目標(biāo)視差圖優(yōu)化算法，該算法依據(jù)目標(biāo)識別獲取線目標(biāo)視差圖，然后根據(jù)提出的4個步驟進行優(yōu)化處理，最后得到優(yōu)化后的線目標(biāo)視差圖。最終設(shè)計出一個無人機雙目視覺圖像采集系統(tǒng)，并依據(jù)采集到的雙目圖像實現(xiàn)對線目標(biāo)的測量。實際測量結(jié)果表明，該改進方法提高了雙目圖像正確匹配率，對線目標(biāo)的測量具有較高的精度。

1 改進立體匹配算法

立體匹配算法的精度直接影響著雙目測量的精度。對Scharstein[10]對立體匹配算法進行歸納，包括初始匹配代價估計、代價聚合、視差選擇和優(yōu)化4個方面，并對Census算法中代價過程做了改進。

1.1 初始匹配代價計算

考慮到實際應(yīng)用場景是戶外，相機成像受光照輻射影響比較大，依據(jù)文獻[10]，采用Census變換計算初始匹配代價。其中以像素為中心選擇Census變換的固定窗口，以中心像素作為參考值，計算該窗口的比特串，如公式(1)～(2)所示。

(1)

(2)

其中：Np={I(pi)|i∈(0,m×n),i∈N,且i≠m×n/2+1}表示除了中心像素p以外的窗口內(nèi)灰度值的集合，?表示按位連接，m和n分別表示支持窗口的長和寬，I(q)表示鄰域像素灰度值，I(p) 表示窗口中心像素灰度值。然后計算Census變換后比特串之間的Hamming距離，用C(p,q,d) 表示，其中d為最大視差dmax和最小視差dmin之間的任意值，即d∈[dmin,dmax]。最后為了控制奇異值，將初始匹配代價值映射到區(qū)間[0,1]中，并以此作為新的初始匹配代價。映射函數(shù)如公式(3)所示。

(3)

其中:Cinit(p,q,d)為初始匹配代價，λ為控制離群值的參數(shù)。

1.2 代價聚合

代價聚合是立體匹配的關(guān)鍵之處。首先根據(jù)Mei等[12]提出的十字交叉代價聚合法得到聚合窗口S，對于任一像素點p，如圖1(a)所示。

圖1 像素P

根據(jù)顏色相似度和空間距離尋找該像素點的橫向臂長(ArmL、ArmR)和縱向臂長(ArmU、ArmD)。臂長的判別原則如(4)～(7)式所示。

Dc(p1,p)<τ1AndDc(p1,p+(1,0))<τ1

(4)

Ds(p1,p)

(5)

Dc(p1,p)<τ2ifL2

(6)

τ1>τ2AndL1>L2

(7)

其中:p1表示像素p的最右邊像素點。Dc表示計算兩個像素點的顏色相似度，Ds表示兩個像素點的空間距離，τ1、τ2，L1、L2分別表示顏色相似度、空間相似度閾值。隨后根據(jù)像素點的橫向臂長和縱向臂長得到像素點p的聚合區(qū)域S，如圖1(b)所示。然而，考慮到自然環(huán)境和相機性能對成像的影響，當(dāng)聚合區(qū)域S中存在比較多的干擾(異常值)時，采用Mei的方法產(chǎn)生的代價聚合值將會變得不準(zhǔn)確，為此,經(jīng)過對傳統(tǒng)立體匹配算法中的代價聚合過程做了改進,提出對聚合區(qū)域S內(nèi)的初始代價值做異常值處理。具體步驟如下：首先計算聚合區(qū)域S的平均值a和方差b，如式(8)～(9)所示:

(8)

(9)

其中:n表示聚合區(qū)域S中所含元素的個數(shù)；而后按照如下兩個準(zhǔn)則對區(qū)域S中的初始代價值進行處理，其中α為初始代價值個數(shù)的閾值：

1)當(dāng)聚合區(qū)域S中的初始代價值的個數(shù)n<α?xí)r，不對聚合區(qū)域S內(nèi)初始代價值進行異常值剔除。

2)當(dāng)聚合區(qū)域S中的數(shù)據(jù)個數(shù)n≥α?xí)r，初始代價值大于a+3b或者小于a-3b則判別為異常值并給予剔除。

根據(jù)以上原則可得到關(guān)于像素點p的一個新的聚合區(qū)域S′，然后再對聚合區(qū)域S′進行代價聚合得到聚合匹配代價，如式(10)所示。

(10)

其中:Cagg(u,v,d)為聚合后的匹配代價，n′為新聚合區(qū)域S′中初始匹配代價值的個數(shù)。

1.3 視差選擇和優(yōu)化

在視差選擇階段，為了能夠進一步提高算法匹配率，在代價聚合后進一步加入掃描線優(yōu)化過程[12]，然后采用WTA(Winner-Takes-All)策略[13]進行視差選擇，該策略快速有效，它通過選擇視差空間中匹配代價值最小的點作為匹配點，并得到其對應(yīng)的視差。

在視差優(yōu)化階段，為了能夠進一步提高視差圖準(zhǔn)確率，首先采用左右一致性檢測找出異常點后，根據(jù)對極幾何原理將異常點分類為誤匹配點和遮擋點，然后采用區(qū)域投票的策略，對誤匹配點和遮擋點進行插值處理。最后采用亞像素增強處理來減少離散視差造成的誤差并利用3×3的滑動窗口對視差圖進行中值濾波生成最終的視差圖。

2 線目標(biāo)視差圖優(yōu)化

通過改進立體匹配算法提高了立體匹配精度，但為了測量線目標(biāo)，僅僅依賴視差圖進行測量誤差會很大，因為在可見光圖像中，線目標(biāo)在整個圖像是一種很細(xì)的目標(biāo)對象，寬度占據(jù)的像素不過幾十個像素，且在遠距離拍攝時，其寬度占據(jù)的像素點不過十個幾個，除此之外，在進行立體匹配時往往由于算法的優(yōu)化，生成視差圖中的線目標(biāo)會出現(xiàn)“膨脹”現(xiàn)象，并且線目標(biāo)視差圖會出現(xiàn)很多空洞，如圖2所示。為此提出了一種基于目標(biāo)識別的線目標(biāo)視差圖優(yōu)化算法，并將得到線目標(biāo)視差圖用于測量提高對線目標(biāo)的測量精度。

圖2 線目標(biāo)原圖及其視差圖

2.1 圖像線目標(biāo)識別

為了實現(xiàn)對線目標(biāo)視差圖的優(yōu)化，首先需要將圖像中的線目標(biāo)識別出來。考慮到自然場景中背景紋理及光線影響，這里采用基于局部特征的識別方法[14]，處理過程如下：首先提取圖像的邊緣線段，采用Blob管理這些邊緣線段并計算各個線段的屬性值，接著采用Gestalt感知定律對斷續(xù)線段的進行合并處理，然后對導(dǎo)線組進行聚合優(yōu)化，實現(xiàn)對導(dǎo)線的識別。最終獲取的線目標(biāo)的二值圖像如圖3所示。

圖3 圖像中線目標(biāo)及其二值圖像

2.2 線目標(biāo)視差圖優(yōu)化

為了實現(xiàn)對線目標(biāo)視差圖的優(yōu)化，這里首先利用3.1中方法生成的導(dǎo)線二值圖像與改進立體匹配算法生成的視差圖做掩膜處理，得到線目標(biāo)所有的視差點，將視差值反映到圖像上，如圖4所示。

圖4 對比圖

通過圖4(a)可以發(fā)現(xiàn)，此時生成的線目標(biāo)視差圖仍然會存在一些干擾點，為此，這里依據(jù)線目標(biāo)長度并沿著導(dǎo)線方向?qū)υ摼€目標(biāo)視差圖進行分段，然后對每一個線目標(biāo)段視差值進行優(yōu)化處理，最后生成優(yōu)化后的線目標(biāo)視差圖。

為了方便對線目標(biāo)視差圖進行分析，這里以其中的一個線目標(biāo)視差段為例抽象出線目標(biāo)視差模型，如圖5所示。

圖5 線目標(biāo)視差圖和線目標(biāo)視差模型

如上圖5(b)所示，白色方格和帶有disp方格表示線目標(biāo)上的視差點，帶有null的方格表示沒有視差值的視差點，帶有noise的方格表示有異常的視差點，其中模型中的所有視差點用Smodel={Ddisp(i)、Dnull(j)、Dnoise(k)}表示，Ddisp(i)表示正常視差值視差點集合，Dnull(j)表示沒有視差值的視差點集合，Dnoise(k)表示異常值的視差點集合，根據(jù)此模型，提出以下4個原則對線目標(biāo)視差圖進行優(yōu)化：

1)首先根據(jù)視差值的大小去除沒有視差值的點Dnull(j)，此時對模型中剩下的視差點Smodel={Ddisp(i)、Dnise(k)}進行視差直方圖分析，畫出整個視差圖模型中的視差值分布。

(11)

其中:n，m分別表示處理后正常視差值視差點的個數(shù)和異常值的視差點的個數(shù)。

4)最后采用視差值Dupdate代替視差模型Smodel={Ddisp(i)、Dnull(j)、Dnoise(k)}中的空視差值點和異常值點，即得到優(yōu)化后視差模型S?model={Ddisp(i)、Dupdate(z)}，完成對導(dǎo)線線段的優(yōu)化。

采用以上原則實現(xiàn)可以很大程度的優(yōu)化線目標(biāo)視差圖存在的缺陷，如圖4(b)所示。

3 實驗結(jié)果與分析

3.1 無人機雙目圖像的采集

無人機雙目圖像采集以大疆無人機M100作為搭載平臺，在上面搭建了平行式雙目立體視覺結(jié)構(gòu)，如圖6所示。

圖6 無人機雙目系統(tǒng)搭建實物圖

其中雙目采用的是兩個同型號200萬像素的工業(yè)相機，相機像元尺寸為 4.5 μm×4.5 μm，焦距為8 mm，兩個相機基線距離為10 cm，同時為保證無人機雙目圖像采集的同步性，這里將兩路相機與NVIDIA Jetson TX1開發(fā)板連接，利用相機API接口設(shè)置相機相關(guān)參數(shù)并同時啟動相機實現(xiàn)圖像的自動采集保存。

為了將無人機采集的圖像實時的傳輸?shù)降孛妫@里以無線WiFi路由器為基站建立局域網(wǎng)絡(luò)，實現(xiàn)TX1開發(fā)板與PC計算機之間的實時通信，可將無人機捕獲的圖像實時傳輸?shù)降孛妗?/p>

3.2 聚合算法中異常值控制閾值的確定

為了驗證異常值控制閾值對算法的影響并選擇合適的閾值，這里將采用Middlebury立體匹配算法測試平臺提供的標(biāo)準(zhǔn)立體圖像對(Tsukuba、Venus、Teddy、Cones)作為測試圖，并用視差圖非遮擋區(qū)域的誤匹配率百分比作為評價標(biāo)準(zhǔn)，通過分析不同α值得到視差圖的誤匹配率來確定閾值α。如圖7所示，依據(jù)原則11和22來進行異常值剔除，可以看到隨著α的不斷增大，視差圖的誤匹配率不斷的降低，當(dāng)α>5時，視差圖像的誤匹配率的變化開始變得不明顯，并趨向于穩(wěn)定。綜合以上分析，可以確定算法中的閾值α值為5。

圖7 不同α值對匹配精度的影響

3.3 改進立體匹配算法性能分析

為了分析所提出的改進算法的性能，這里同樣采用標(biāo)準(zhǔn)測試圖像對(Tsukuba、Venue 、Teddy、Cones)作為算法的輸入，將得到的視差圖與其標(biāo)準(zhǔn)視差圖做對比，如圖8所示。

其中圖8中第一列為原始圖象對的左視圖，第二列為所提出的算法生成的視差圖，第三列為所提出的算法視差圖的誤差圖，其中黑色表示誤匹配點，白色表示正確匹配點，灰色區(qū)域表示遮擋區(qū)域錯誤匹配點。

圖8 標(biāo)準(zhǔn)測試圖下改進算法生成的視差圖及誤差圖

為了更加客觀的分析所改進的算法的性能，這里計算了非遮擋區(qū)域(n-occ)、深度不連續(xù)區(qū)域(disc)、全部區(qū)域的誤匹配率(all)以及平均錯誤率(Avg)等參數(shù)，并以此評價視差圖的好壞。為此，這里不僅與其他改進Census算法(RTCensus[15]、RinCensus[16])做了對比還與當(dāng)前比較好的算法(FBS[17]、SGBM、)做了對比比較，各個算法在不同區(qū)域的誤匹配率，如表1所示。

根據(jù)上表可以發(fā)現(xiàn)，所提出的改進Census立體匹配算法錯誤匹配率低于其它兩種基于Census變換的立體匹配算法，且相比于FBS、SGBM算法，所提出的的改進算法計算得到的視差圖也具有很大的優(yōu)勢，并且平均錯誤匹配率為5.79%。

3.4 線目標(biāo)視差優(yōu)化算法性能分析

為了驗證線目標(biāo)優(yōu)化優(yōu)化算法對提高測量精度的有效性，這里選擇直徑27 mm的細(xì)桿作為線目標(biāo)，并采用4.1節(jié)中的無人機雙目采集系統(tǒng)采集細(xì)桿的雙目圖像(如圖9(a))，以桿的寬度作為測量標(biāo)準(zhǔn)，對不采用線目標(biāo)視差圖優(yōu)化得到的測量結(jié)果和采用線目標(biāo)視差圖優(yōu)化得到的測量結(jié)果進行比較分析。

表1 不同算法視差圖誤匹配率(%)

具體實驗過程為：在無人機起飛之前，首先用標(biāo)定板(如圖9(c))對無人機雙目相機進行標(biāo)定，并將標(biāo)定結(jié)果保存用作雙目圖像的校正；

圖9 實驗視差結(jié)果及標(biāo)定板

接著操縱無人機起飛，分別在距離線目標(biāo)2 m、3 m、4 m、5 m、6 m處定點懸停采集、發(fā)送圖像對，然后在PC端接收圖像對，并選擇待測圖像對進行極線校正、立體匹配得到視差圖(如圖9(b))，然后根據(jù)視差圖，采用劃線的方式對線目標(biāo)寬度進行20次測量，最后統(tǒng)計測量結(jié)果，如表2所示。

表2 無線目標(biāo)視差圖優(yōu)化情況下測量結(jié)果

接著根據(jù)立體匹配得到的視差圖，按照3.3節(jié)中方法對視差圖中的線目標(biāo)視差進行優(yōu)化，然后同樣采用劃線的方式測量桿體的寬度，測量結(jié)果如表3所示。

表3 線目標(biāo)視差圖優(yōu)化情況下測量結(jié)果

對比表2、表3的測量數(shù)據(jù)可以發(fā)現(xiàn)，對于細(xì)桿的測量，隨著測量距離的增加，測量精度會不斷的降低，但是采用文中提出的線目標(biāo)視差優(yōu)化算法后得到的測量結(jié)果，相比于不加線目標(biāo)視差優(yōu)化算法測量得到的結(jié)果更接近真實值，而且在不同距離的測量相對誤差都比較低，可見文中提出的線目標(biāo)視差優(yōu)化算法對提高線目標(biāo)測量的精度具重要的作用。

4 結(jié)束語

為提高無人機雙目圖像中線目標(biāo)的測量精度，在立體匹配算法方面，對Census立體匹配算法做了改進，提出了基于異常值篩選的代價聚合方法，提高了立體匹配算法的匹配精度；在線目標(biāo)測量階段，為應(yīng)對立體匹配算法生成線目標(biāo)視差圖中存在的問題，提出了基于目標(biāo)識別的線目標(biāo)視差圖優(yōu)化算法，實驗結(jié)果證明，對于無人機雙目圖像中的線目標(biāo)測量，采用線目標(biāo)視差優(yōu)化后的視差圖進行測量可以得到較為準(zhǔn)確的測量結(jié)果。