朱程濤，李 鏘

(天津大學(xué)微電子學(xué)院，天津 300072)

立體視覺是從兩個或多個視點(diǎn)觀察同一景物，以獲取在不同視角下的感知圖像，通過三角測量原理計(jì)算圖像像素點(diǎn)間的視差來獲取景物的三維信息[1].現(xiàn)階段，該技術(shù)已廣泛應(yīng)用于眾多領(lǐng)域，如立體顯示、場景重建[2]、行人檢測等.立體視覺技術(shù)主要涉及到攝像機(jī)標(biāo)定、圖像矯正、立體匹配、三維重建等步驟，其中立體匹配是最重要也是最困難的步驟，其主要目的是通過相應(yīng)的算法獲取參考圖像與目標(biāo)圖像之間對應(yīng)匹配點(diǎn)間的關(guān)系，生成相應(yīng)的視差圖，視差圖中每一個像素點(diǎn)的灰度值代表了該點(diǎn)與對應(yīng)匹配點(diǎn)間的坐標(biāo)差信息.

現(xiàn)階段常用的立體匹配算法通常建立在Sharstein等[1]提出的理論框架基礎(chǔ)之上，立體匹配的步驟主要分為：①初始匹配代價的計(jì)算；②匹配代價的聚合；③視差的計(jì)算；④視差精煉.

在初始匹配代價的計(jì)算階段，常用的有 AD、GRAD[3]、Census變換[4]等匹配代價.匹配代價的聚合階段是眾多立體匹配算法改進(jìn)的重點(diǎn)之一，主要有基于窗口的算法[5-8]以及基于圖像濾波的算法[9-11].

傳統(tǒng)的立體匹配算法大多針對于初始匹配代價計(jì)算以及匹配代價聚合階段進(jìn)行改進(jìn)，Ma等[12]指出視差精煉算法的性能直接影響著立體匹配的精度.傳統(tǒng)的視差精煉方法主要是采用簡單的鄰近視差填充的方法[1]，此類方法一般能消除較多的誤匹配點(diǎn)的視差值，因此使用得較多，但視差精煉的精度有限.Rhemann等[13]提出了基于權(quán)重中值濾波的方法大大地提升了視差精煉的精度，其主要是根據(jù)圖像濾波算法對待精煉的視差圖進(jìn)行加權(quán)濾波，以達(dá)到精煉誤匹配點(diǎn)視差的目的.

基于權(quán)重中值濾波的視差精煉方法中使用的濾波算法性能直接影響到視差精煉的精度，因此采用濾波性能優(yōu)良的算法用以改進(jìn)視差精煉的精度顯得尤為重要.Ma等[12]采用引導(dǎo)濾波算法[14]提升了視差精煉的精度.引導(dǎo)濾波算法是圖像濾波領(lǐng)域內(nèi)常用的濾波算法.然而，引導(dǎo)濾波算法本身存在一定局限性，尤其在圖像邊緣處存在一定的濾波缺陷.而一些針對引導(dǎo)濾波的改進(jìn)算法被不斷提出，具有代表性的有 Li等[15]提出的權(quán)重引導(dǎo)濾波算法 WGIF，以及Kou等[16]梯度域引導(dǎo)濾波算法 GDGIF.其中，GDGIF算法取得的濾波性能優(yōu)于GIF、WGIF等具有代表性的濾波算法[16].

本文將 GDGIF與權(quán)重中值濾波相結(jié)合，運(yùn)用于立體匹配的視差精煉階段.對得到的精煉視差圖進(jìn)行迭代精煉，根據(jù)迭代前后的差異信息對視差做進(jìn)一步的優(yōu)化，以獲得更高精度的精煉效果.

1 傳統(tǒng)的視差精煉算法

在傳統(tǒng)立體匹配中，分別以左、右圖為參考圖像，經(jīng)過立體匹配算法得到左圖初始視差圖、右圖初始視差圖后，需要采用左右一致性檢測(LRC)[1]剔除視差圖中的誤匹配點(diǎn)

滿足式(1)的點(diǎn)為好點(diǎn)；不滿足此條件的點(diǎn)為誤匹配點(diǎn)，應(yīng)予以剔除.視差精煉算法是針對誤匹配點(diǎn)進(jìn)行有效視差填充從而得到匹配精度更高的視差圖.

傳統(tǒng)的視差精煉方法[1]通常采用簡單填充的方式，即用離誤匹配點(diǎn)最近的好點(diǎn)對誤匹配點(diǎn)pocc進(jìn)行填充，填充后的視差值為，其計(jì)算式為

上述方法可以在一定程度上提高匹配的精度，但提升的精度有限.一種較為有效的改進(jìn)方式是對得到的進(jìn)行權(quán)重中值濾波，即為誤匹配點(diǎn)鄰近的好點(diǎn)賦予不同的權(quán)重，并與中值濾波相結(jié)合得到較為合理的精煉結(jié)果[12].

式中：pξ代表以p為中心，矩形窗口ωr(p)(半徑為r)內(nèi)的任意像素點(diǎn)；d代表視差搜索集合內(nèi)的任意視差值；dmin、dmax分別代表最小、最大視差值；w(p,pξ)代表p、pξ兩點(diǎn)之間的權(quán)重；fmed代表中值濾波操作.

2 本文算法

為了獲得高精度的視差精煉效果，本文將梯度域引導(dǎo)濾波與中值濾波算法相結(jié)合，對立體匹配算法得到的視差圖進(jìn)行迭代精煉.

2.1 權(quán)重中值濾波的改進(jìn)

梯度域引導(dǎo)濾波GDGIF算法具有良好的保邊緣特性[16].在 GDGIF中，濾波輸出Q與輸入引導(dǎo)圖像I在限定的窗口內(nèi)滿足一定的線性關(guān)系，即為

式中：(i,j)代表以(x,y)為中心點(diǎn)像素、窗口 ωr(x,y)內(nèi)的任意像素點(diǎn)；aGD(x,y)、bGD(x,y)為濾波參數(shù).

為求得最佳濾波參數(shù)(x,y)和(x,y)，Kou等[16]構(gòu)建了一個能量方程 E(aGD(x,y),bGD(x,y))，使其達(dá)到最小化時即可求得濾波參數(shù).

式中：P代表待濾波的圖像；γ(x,y)的定義與引導(dǎo)圖像結(jié)構(gòu)有關(guān)；ε(x,y)是為了避免aGD(x,y)變化過大而設(shè)置的正則化參數(shù)，ε(x,y)值越大濾波強(qiáng)度越大，反之越小.

Kou等[16]同時指出由于GIF中ε(x,v)采用固定值，使得 GIF濾波效果受到限制，通過分析圖像的結(jié)構(gòu)特征，不同區(qū)域的像素點(diǎn)應(yīng)賦予不同的ε(x,y)值，即在圖像平坦區(qū)域的像素點(diǎn)應(yīng)具有較大的ε(x,y)值，邊緣區(qū)域的像素點(diǎn)應(yīng)具有較小的ε(x,y)值，從而達(dá)到較好的保邊緣效果.

本文根據(jù) GDGIF的原理，對每個視差層圖像進(jìn)行GDGIF濾波，首先構(gòu)建每層視差層圖像的能量函數(shù)，即

式中：IL,n代表左圖(包含 3個 RGB通道n∈{R ,G,B})，將其作為引導(dǎo)圖像；a(x,y,d)、 b(x,y,d)為濾波參數(shù)；依據(jù)GDGIF原理，ε(x,y)、γ(x,y)定義[16]為

式中：ε0、λ為常數(shù)；Γn(x,y)代表圖像 IL,n的結(jié)構(gòu)信息；|ωr(x,y)|代表窗口ωr(x,y)(半徑為r)內(nèi)的總像素?cái)?shù) ；σn,ω1(x,y)、σn,ωr(x,y)分 別 代 表 圖 像 IL,n在 窗 口ω1(x ,y)、ωr(x,y)內(nèi)的標(biāo)準(zhǔn)差；μn,χ,∞代表χn(i,j)在窗口ωr(x,y)內(nèi)的平均值，即

為求得最佳濾波參數(shù) a*(x,y,d)和b*(x,y,d)，使式(6)達(dá)到最小化時即可求得濾波參數(shù).

式中：μ(x,y,d)、μ(x,y)分別代表 δ(Dfill(i,j)-

P；LI；L,nL d)、IL,n(i,j)在窗口ωr(x,y)內(nèi)的均值；(x,y)代表IL,n(i,j)在窗口ωr(x,y)內(nèi)的方差；即

因此圖像的 GDGIF濾波輸出結(jié)果 H(i,j,d)的表達(dá)式為

在 GDGIF濾波模型中，由式(7)計(jì)算得到的ε(x,y)可知，圖像平坦區(qū)域的像素點(diǎn)具有較大的ε(x,y)值，因此濾波程度較強(qiáng)；邊緣區(qū)域的像素點(diǎn)具有較小的ε(x,y)值，因此濾波程度較弱；而GIF濾波模型中ε(x,y)值為一常數(shù).由上述分析可知GDGIF的保邊緣特性強(qiáng)于GIF.

在得到 H(i,j,d)之后，即可統(tǒng)計(jì)(i,j)鄰域內(nèi)的累加濾波輸出

根據(jù)式(14)即可得到像素點(diǎn)(i,j)進(jìn)行視差精煉后的視差值，即

2.2 視差精煉的迭代

在根據(jù)上述基于GDGIF原理得到精煉后的左視差圖后，對重復(fù)視差精煉過程，依次得到迭代精煉后的視差圖和.如圖1所示為對 Middlebury[17]提供的測試圖 Teddy圖像使用傳統(tǒng)的窗口聚合算法[1]得到未精煉的視差圖后，采用本文算法進(jìn)行視差精煉迭代的示意.表 1為視差精煉迭代過程的誤匹配率實(shí)驗(yàn)數(shù)據(jù)對比，誤差閾值取為1，其中 Nonocc、All、Disc分別表示非遮擋區(qū)域、總區(qū)域、深度不連續(xù)區(qū)域.

比較得出第2、3次精煉過程中視差值產(chǎn)生變化的像素點(diǎn)pc，即

對于像素點(diǎn)pc的視差需要做進(jìn)一步的精煉，通常此類誤匹配點(diǎn)在做第1次視差精煉時未被檢測出，只有通過后面的迭代精煉過程才有可能被檢測出來.

圖 1(e)所示的黑色像素點(diǎn)為第 1次精煉后的圖1(b)在第 2次精煉后的圖 1(c)中被視為好點(diǎn)的點(diǎn)，視差值未被精煉，但在第 3次精煉后的圖 1(d)中這些區(qū)域的視差被精煉了，而圖 1(e)正是由圖 1(c)和圖1(d)經(jīng)過式(15)檢測得到.

圖1 視差精煉迭代示意Fig.1 Schematic of the disparity refinement algorithm

采用基于權(quán)重中值濾波的視差精煉方法并不是迭代次數(shù)越多精度越高，過度的迭代則會導(dǎo)致一些好的像素點(diǎn)的視差值在精煉后發(fā)生錯誤.由表 1可知，第 3次迭代精煉的 All區(qū)域誤匹配率為 12.67%,，高于第2次迭代精煉的12.35%,.

為避免過度迭代產(chǎn)生的不良后果，本文擬采用濾波求均值的方式對式(15)檢測得到的誤匹配點(diǎn)進(jìn)行修正，而不是直接采用更多次數(shù)迭代的精煉方法.

式中：w(p)為窗口N(pc)內(nèi) GDGIF濾波的權(quán)重；標(biāo)志位矩陣M(p)定義為

最終得到的視差精煉結(jié)果為.

圖 1(f)所示為采用式(16)、(17)得到的最終視差精煉效果圖，與圖 1(c)相比較，小熊頭部上端的錯誤視差值得到更正.通過比較誤匹配率可知，本文精煉方法得到的誤匹配率最低，如在 All區(qū)域內(nèi)的誤匹配率為 12.15%,，低于 refine_2階段的 12.35%,以及refine_3階段的12.67%,.

表1 視差精煉迭代過程的誤匹配率比較Tab.1 Comparison of error rates with the iteration times%

圖2所示為本文算法流程，待精煉視差圖經(jīng)過 3次(基于梯度域引導(dǎo)濾波的)權(quán)重中值濾波后得到相應(yīng)階段的精煉結(jié)果，再依據(jù)式(15)～式(17)進(jìn)行濾波求均值計(jì)算后即可得到最終的視差精煉結(jié)果.

圖2 本文算法流程Fig.2 Flow chart of the proposed algorithm

3 仿真實(shí)驗(yàn)結(jié)果及對比分析

本文利用 MATLAB編程實(shí)現(xiàn)所提算法及相關(guān)對比算法.實(shí)驗(yàn)中使用的計(jì)算機(jī)硬件配置為 Intel Core i7-3610,QM CPU，8,GB內(nèi)存.仿真實(shí)驗(yàn)所用測試圖及標(biāo)準(zhǔn)視差圖來源于 Middlebury-Version 2(http：//vision.middlebury.edu/stereo).

在仿真實(shí)驗(yàn)中，本文算法主要參數(shù)設(shè)置為

圖 3所示為采用傳統(tǒng)的窗口聚合算法[1]進(jìn)行立體匹配得到未精煉的視差圖后，采用不同算法獲得的視差精煉效果對比.

圖3 不同方法獲得的視差精煉效果對比Fig.3 Comparison of disparity refinement maps with different methods

圖 4所示為對 Venus精煉結(jié)果進(jìn)行局部放大后的效果對比，其中圖 4(a)中紅色矩形框所包含區(qū)域?yàn)閷Ρ鹊膮^(qū)域.表 2是各算法之間的誤匹配率實(shí)驗(yàn)數(shù)據(jù)對比，誤差閾值取為 1.表 3是各算法之間的運(yùn)行時間對比.

由圖 3以及表 2可知，傳統(tǒng)立體匹配方法得到的初始視差圖存在較多的誤匹配點(diǎn)，算法平均誤匹配率高達(dá) 15.68%.文獻(xiàn)[1]中的算法采用簡單的鄰近像素視差值對誤匹配點(diǎn)的視差進(jìn)行填充，精煉后的視差圖存在明顯的填充痕跡，如Teddy圖小熊附近.

采用雙邊濾波中值濾波方法的算法[13]較為明顯地提高了匹配的精度，如Tsukuba在All區(qū)域的誤匹配率由文獻(xiàn)[1]中的算法的 6.03%,降低至 3.11%，Venus在 All區(qū)域的誤匹配率則由 3.20%降至0.76%.文獻(xiàn)[12]中的算法采用的引導(dǎo)濾波對視差進(jìn)行精煉，其濾波性能優(yōu)于雙邊濾波，得到的視差精煉精度優(yōu)于文獻(xiàn)[13]中的算法，平均誤匹配率為6.87%.

在Teddy視差圖中，本文的迭代精煉算法較好地消除了小熊左邊區(qū)域的誤匹配視差，在 Disc區(qū)域的誤匹配率為 18.46%，低于文獻(xiàn)[12]的算法的20.11%.本文算法在Cones的All區(qū)域內(nèi)的匹配性能好于文獻(xiàn)[12]的算法，圖中筷子所在區(qū)域存在誤匹配的現(xiàn)象是因?yàn)閭鹘y(tǒng)立體匹配方法算法性能較差，致使得到的初始視差圖精度不高.

在經(jīng)過迭代精煉后，本文算法得到的視差圖看上去較為自然，得益于 GDGIF的保邊緣特性，視差圖的邊界區(qū)域保留的較為完整，如圖4所示的Venus的前景區(qū)域，未精煉的視差圖在上述區(qū)域存在較多的誤匹配現(xiàn)象，相較于文獻(xiàn)[1]、文獻(xiàn)[13]和文獻(xiàn)[12]的算法，本文算法在這一區(qū)域獲得的精煉效果最佳，邊界得到較好的保留.

通過對比誤匹配率，使用傳統(tǒng)的基于窗口聚合的立體匹配算法進(jìn)行立體匹配，得到的初始視差圖存在較多的誤匹配現(xiàn)象，經(jīng)由本文視差精煉算法進(jìn)行精煉后，得到的平均誤匹配率僅為6.25%,.

由表 3可知，文獻(xiàn)[1]的算法采用簡單的方式進(jìn)行視差精煉，其運(yùn)行時間最短.而本文算法由于需要進(jìn)行迭代運(yùn)算，故其運(yùn)行時間較長.

圖4 實(shí)驗(yàn)結(jié)果局部放大對比Fig.4 Comparison of close-up refinement results

表2 不同算法的誤匹配率比較Tab.2 Comparison of error rates of different algorithms%

表3 不同算法的運(yùn)行時間比較Tab.3 Runtime comparison for benchmark stereo images

4 結(jié) 語

本文依據(jù) GDGIF濾波算法，將其與權(quán)重中值濾波方法相結(jié)合，對立體匹配方法得到的初始視差圖進(jìn)行迭代精煉，得益于 GDGIF濾波的優(yōu)良性能，本文算法對于視差精度的提升具有一定的效果，實(shí)驗(yàn)結(jié)果表明了本文算法的可靠性.

［1］Sharstein D，Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].International Journal on Computer Vision，2002，47(1)：7-42.

［2］何 凱，朱程濤，姚靜嫻. 基于雙權(quán)重聚合的立體匹配算法[J]. 吉林大學(xué)學(xué)報(bào)：工學(xué)版，2015，45(4)：1318-1323.He Kai，Zhu Chengtao，Yao Jingxian. Stereo matching algorithm based on double weighting aggregation[J].Journal of Jilin University：Engineering and Technology Edition，2015，45(4)：1318-1323(in Chinese).

［3］de Maeztu L，Villanueva A，Cabeza R. Stereo matching using gradient similarity and locally adaptive support weight[J].Pattern Recognition Letters，2011，32(13)：1643-1651.

［4］周 龍，徐貴力，李開宇，等. 基于 Census 變換和改進(jìn)自適應(yīng)窗口的立體匹配算法[J]. 航空學(xué)報(bào)，2012，33(5)：886-892.Zhou Long，Xu Guili，Li Kaiyu，et al. Stereo matching algorithm based on census transform and modified adaptive windows[J].Acta Aeronautica et Astronautica Sinica，2012，33(5)：886-892(in Chinese).

［5］Zhang K，Lu J，Lafruit G. Cross-based local stereo matching using orthogonal integral images[J].IEEE Transactions on Circuits and Systems for Video Technology，2009，19(7)：1073-1079.

［6］Gu Z，Su X，Liu Y，et al. Local stereo matching with adaptive support-weight，rank transform and disparity calibration[J].Pattern Recognition Letters，2008，29(9)：1230-1235.

［7］Kehtarnavaz N. Stereo matching via selective multiple windows[J].Journal of Electronic Imaging，2007，16(1)：1-14.

［8］何 凱，王曉文，葛云峰. 基于 SIFT描述子的自適應(yīng)聚合權(quán)重立體匹配算法[J]. 天津大學(xué)學(xué)報(bào)：自然科學(xué)與工程技術(shù)版，2016，49(9)：978-983.He Kai，Wang Xiaowen，Ge Yunfeng. Adaptive support-weight stereo matching algorithm based on SIFT descriptors[J].Journal of Tianjin University：Science and Technology，2016，49(9)：978-983(in Chinese).

［9］Min D，Lu J，Do M N. Joint histogram based cost aggregation for stereo matching[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35(10)：2539-2545.

［10］Yang Q. Stereo matching using tree filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37(4)：834-846.

［11］Heo Y S，Lee K M，Lee S U. Robust stereo matching using adaptive normalized cross-correlation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33(4)：807-822.

［12］Ma Z，He K，Wei Y，et al. Constant time weighted median filtering for stereo matching and beyond[C]//IEEE International Conference on Computer Vision.Sydney，Australia，2013：49-56.

［13］Rhemann C，Hosni A，Bleyer M，et al. Fast costvolume filtering for visual correspondence and beyond[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Colorado Springs，USA，2011：3017-3024.

［14］He K，Sun J，Tang X. Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35(6)：1397-1409.

［15］Li Z，Zheng J，Zhu Z，et al. Weighted guided image filtering[J].IEEE Transactions on Image Processing，2015，24(1)：120-129.

［16］Kou F，Chen W，Wen C，et al. Gradient domain guided image filtering[J].IEEE Transactions on Image Processing，2015，24(11)：4528-4539.