基于AD-CESUS聯(lián)和測度的立體匹配算法

李寶平，靳聰

(中國傳媒大學(xué)媒介音視頻教育部重點(diǎn)實(shí)驗(yàn)室，北京 100024)

?

基于AD-CESUS聯(lián)和測度的立體匹配算法

李寶平，靳聰

(中國傳媒大學(xué)媒介音視頻教育部重點(diǎn)實(shí)驗(yàn)室，北京 100024)

雙目圖像深度估計(jì)是許多現(xiàn)代立體視覺技術(shù)的重要基礎(chǔ)。由于受到光線、紋理結(jié)構(gòu)變化，前后遮擋，圖像噪聲等因素的影響，基于單特征的匹配算法缺乏魯棒性。本文將基于像素點(diǎn)的AD測度函數(shù)與基于區(qū)域的Census測度函數(shù)，依據(jù)匹配置信程度實(shí)現(xiàn)自適應(yīng)加權(quán)融合，形成聯(lián)和測度函數(shù)。該聯(lián)和測度函數(shù)可以將AD的單調(diào)性與Census的區(qū)域性有效結(jié)合，提升立體匹配算法的魯棒性。通過實(shí)驗(yàn)測試，證明采用該聯(lián)測度函數(shù)可以有效提高局部和全局匹配算法的匹配準(zhǔn)確度，尤其是局部匹配算法。

深度估計(jì)；立體匹配；聯(lián)和測度函數(shù)；權(quán)值樹消息傳遞算法；代價(jià)初始化

1 引言

平面圖像深度估計(jì)是計(jì)算機(jī)立體視覺研究的一個(gè)熱點(diǎn)問題，也是虛擬現(xiàn)實(shí)、三維重建、無人駕駛等領(lǐng)域技術(shù)研究的基礎(chǔ)。單目圖像深度估計(jì)主要基于從圖像自身提取的深度線索[1]。在攝像機(jī)標(biāo)定的基礎(chǔ)上，雙目圖像深度估計(jì)問題就轉(zhuǎn)換為立體匹配問題。雙目圖像深度估計(jì)流程主要包括以下步驟(如圖1所示)[2]：圖像獲取、攝像機(jī)標(biāo)定、圖像矯正、立體匹配、生成深度圖像。立體匹配是立體視覺中物體景深估計(jì)的基礎(chǔ)，其匹配效果的好壞對場景深度估計(jì)會產(chǎn)生很大的影響。近幾年，隨著立體視覺，機(jī)器人，虛擬現(xiàn)實(shí)等研究的不斷升溫，立體匹配算法的研究也得到越來越多的重視。

圖1 雙目圖像深度估計(jì)流程

立體匹配算法流程如圖2所示。立體匹配算法可以簡單的分為全局和局部算法。由于單一像素點(diǎn)自身特征的缺乏，因此必須借助于周邊像素點(diǎn)來實(shí)現(xiàn)正確匹配。局部匹配算法是利用支持窗口內(nèi)像素點(diǎn)的區(qū)域特征來完成匹配的，不需要全局平滑假設(shè)；全局匹配算法則需要進(jìn)行平滑假設(shè)[3-5]，構(gòu)造全局能量函數(shù)，將立體匹配的標(biāo)簽優(yōu)化問題轉(zhuǎn)化為能量最小化問題，通過能量最小化方法來求解[6，7]。一般情況下，局部匹配算法計(jì)算復(fù)雜度低，通常應(yīng)用于實(shí)時(shí)或需要硬件實(shí)現(xiàn)的情況；全局算法由于采用迭代的方式進(jìn)行匹配代價(jià)聚合，實(shí)現(xiàn)能量最小化，通常匹配準(zhǔn)確度要比局部算法高一些，但計(jì)算復(fù)雜度也會比較高。

圖2 立體匹配算法流程

匹配問題的基礎(chǔ)是參考圖像與目標(biāo)圖像之間像素點(diǎn)的特征度量。在一幅圖像中，存在不同的紋理結(jié)構(gòu)區(qū)域，同時(shí)各區(qū)域噪聲，遮擋情況等也不盡相同。不同的測度函數(shù)在不同區(qū)域的立體匹配效果也不相同。本文在對AD，Census測度函數(shù)性能分析的基礎(chǔ)上，將AD-Census聯(lián)和測度函數(shù)應(yīng)用于圖割全局算法，通過實(shí)驗(yàn)證明該方法可以有效提高立體匹配的準(zhǔn)確度。

文章其余部分安排如下：第2部分介紹AD，Census測度函數(shù)；第3部分介紹AD-Census聯(lián)和測度函數(shù)；第4部分介紹順序權(quán)值樹消息傳遞(Sequential Tree-Reweighted message passing，TRW-S) 匹配算法；實(shí)驗(yàn)結(jié)果及評價(jià)在第5部分介紹；第6部分對全文進(jìn)行總結(jié)。

2 相似度測度函數(shù)

立體匹配的基礎(chǔ)是通過對參考圖像中的興趣像素點(diǎn)(或所在區(qū)域)的特征與目標(biāo)圖像在視差限制范圍內(nèi)的像素點(diǎn)(或區(qū)域)特征，進(jìn)行相似度比對來實(shí)現(xiàn)的。因此選擇什么樣的圖像特征，采用什么樣的測度方式是立體匹配的基礎(chǔ)，也是影響立體匹配效果的重要因素。圖像匹配方法與圖像特征的選取有密切的關(guān)系。目前，還沒有建立起一套完整的圖像匹配所適用的特征提取理論，由此導(dǎo)致了圖像匹配特征的多樣性。通常相似度測度方式可以分為兩大類：一類是基于像素點(diǎn)的，比如AD，Gradient等；另一類是基于無參變換的，比如Rank，Census，NCC等。本文選取兩類中的典型代表AD及Census對其性能進(jìn)行分析。

2.1 AD測度函數(shù)

絕對差值(Absolute Difference，AD)[8]是立體匹配過程中應(yīng)用最廣泛的測度函數(shù)。AD測度函數(shù)計(jì)算參考圖像I和目標(biāo)圖像I′之間的色彩強(qiáng)度差異。

(1)

AD測度函數(shù)的優(yōu)點(diǎn)是計(jì)算復(fù)雜度低，運(yùn)算效率高；缺點(diǎn)是對異值點(diǎn)的分辨力差，且容易受到圖像噪聲的干擾。另外由于只有單個(gè)像素點(diǎn)參與到相似度計(jì)算，因此AD測度不能提供匹配區(qū)域中的任何紋理結(jié)構(gòu)信息。

2.2 Census測度函數(shù)

Census測度函數(shù)是利用無參Census變換[9]來實(shí)現(xiàn)相似度度量的。Census變換是通過給像素點(diǎn)p鄰域N(p)內(nèi)強(qiáng)度值小于I(p)的像素點(diǎn)p′打標(biāo)簽的方式來實(shí)現(xiàn)的。如果I(p′)

CT(p)={p′∈N(p)|I(p′)

Census測度函數(shù)通過計(jì)算參考圖像與目標(biāo)圖像間Census變換的Hamming距離得到。

CCensus(p，d)

Census考慮了紋理的空間分布信息，因此具有更好的魯棒性和抗噪性，但是計(jì)算復(fù)雜度比較高。

3 AD-Census聯(lián)和測度

依據(jù)Hirschmuller等[10]的評估，Census測度函數(shù)在局部和全局匹配算法中都表現(xiàn)最好。在局部匹配算法中，Census測度相較于像素自身的強(qiáng)度值，更依賴于周邊像素序列。因此，Census算法對光照變化和圖像噪聲產(chǎn)生的異值點(diǎn)有很好的抑制作用。但同時(shí)，Census算法對圖像中具有類似結(jié)構(gòu)的重復(fù)區(qū)域匹配效果不是很好，容易產(chǎn)生混淆(如圖3上圖所示)[11]。為解決這個(gè)問題，需要引入更多的細(xì)節(jié)信息參與到匹配計(jì)算中，色彩強(qiáng)度信息(AD)可以有助于消除這種模糊性。但是對于低紋理區(qū)域(或具有相同顏色分布區(qū)域)，Census相較于基于像素點(diǎn)強(qiáng)度的測度方式來說，就比較有優(yōu)勢，如圖3所示。

結(jié)構(gòu)重復(fù)區(qū)域

低紋理區(qū)域圖3 特殊區(qū)域的代價(jià)匹配結(jié)果

圖4 AD，Census歸一化匹配代價(jià)

采用AD-Census聯(lián)和測度的方式，可以將AD的單調(diào)性(如圖4所示)與Census的區(qū)域性相結(jié)合，提升匹配準(zhǔn)確度[11]。我們采用加權(quán)融合的方式實(shí)現(xiàn)聯(lián)和匹配。該方法是一種自適應(yīng)融合策略，在代價(jià)初始化后，依據(jù)置信程度加權(quán)融合：

C(p，d)=wADCAD(p，d)+wCensusCCensus(p，d)

(4)

其中，S表示置信度，這里采用簡單的樸素峰值比(Naive Peak Ratio，NPR)置信度評測方法。NPR僅需要利用參考圖像的匹配代價(jià)：

(5)

NPR是通過觀測像素點(diǎn)最小及第二小的相似度匹配代價(jià)c1，c2實(shí)現(xiàn)的。比值越大，則認(rèn)為置信度越高；反之，則置信度較低。ε為小正數(shù)，是為了避免出現(xiàn)分母為零的情況。

圖5所示為采用不同測度函數(shù)時(shí)的立體匹配結(jié)果對比。該測試是基于Middlebury數(shù)據(jù)測試集[12]。濾波窗口大小為3*3。從對比情況，我們可以看到采用AD-Census聯(lián)和測度函數(shù)，可以明顯改善匹配效果，與AD和Census相比，分別下降18.3%，2.7%。

圖5 不同測度函數(shù)錯(cuò)數(shù)視差百分比

圖6 TRW-S狀態(tài)更新方式

4 TRW-S匹配算法

在馬爾科夫隨機(jī)場模型中，基于能量最小化算法的全局能量可以表示為：

(6)

其中，p∈V表示圖像中所有像素點(diǎn)構(gòu)成的點(diǎn)集，(p，q)∈E表示圖像中像素點(diǎn)間連線構(gòu)成的邊集，整個(gè)圖集可以表示為G=〈V，E〉。式中Cp為一元?jiǎng)菽芎瘮?shù)，表示p點(diǎn)在視差為dp時(shí)的匹配代價(jià)，Vp，q為二元?jiǎng)菽芎瘮?shù)，表示p，q點(diǎn)間相互影響關(guān)系。

(7)

(8)

這里，我們設(shè)定λ1=2.5，λ2=0.2，λ3=0.1，θ1=8，θ2=20。

TRW算法可以近似能量函數(shù)的最大下邊界，“置信”消息在各個(gè)樹之間的傳播。與傳統(tǒng)BP相比，TRW更新速度更快，但需要比BP更多的迭代次數(shù)。TRW算法并不能保證總是收斂。TRW-S[13]算法中消息采用順序傳遞的方式T1→T6(如圖6所示)，保證算法收斂，相較于傳統(tǒng)BP算法可以節(jié)省一半的運(yùn)行內(nèi)存。

(9)

(10)

(11)

5 實(shí)驗(yàn)結(jié)果

本文所有測試都是基于Middlebury數(shù)據(jù)測試集，采用的匹配窗口大小為3*3，如圖7所示。該測試集除了提供真實(shí)的視差圖以外，同時(shí)還可以對圖像的非遮擋區(qū)域(Non-Occlusion)和視差不連續(xù)區(qū)域(Discontinues)進(jìn)行特別分析(如圖8所示)。

分別采用AD，Census及AD-Census測度函數(shù)代價(jià)初始化后，利用TRW-S方法代價(jià)聚合，匹配結(jié)果如表1所示。通過對比分析，證明使用AD-Census聯(lián)和測度函數(shù)可以提升立體匹配準(zhǔn)確度，與AD，Census相比視差錯(cuò)誤率分別下降7.9%，0.6%。而在局部算法中，采用AD-Census聯(lián)和測度函數(shù)要比AD、Census算法分別低18.3%，2.7%。我們分析其主要原因是：在全局算法中引入了平滑假設(shè)，在迭代過程中，存在代價(jià)聚合過程，因此初始化結(jié)果對立體匹配的影響被縮小?；贏D-Census聯(lián)和測度函數(shù)的TRW-S匹配結(jié)果如圖9所示。

原圖

真實(shí)視差圖像圖7 Middlebury立體匹配標(biāo)準(zhǔn)測試圖像

原圖 真實(shí)視差圖像 無遮擋區(qū)域 視差不連續(xù)區(qū)域圖8 Tsukuba圖像(注：白色區(qū)域?yàn)橛行^(qū)域)

全局算法局部算法nonoccalldiscnonoccalldiscAD13．117．227．030．534．033．5Census5．49．917．513．018．423．5Proposed5．09．315．910．615．720．4

6 結(jié)論

本文將AD(基于像素點(diǎn)的)、Census(基于區(qū)域的)兩種立體匹配中常用的典型的測度函數(shù)，依據(jù)立體匹配的置信度大小，進(jìn)行加權(quán)融合，形成新的測度函數(shù)。并將新的測度函數(shù)應(yīng)用于立體匹配算法的代價(jià)初始化過程中。通過實(shí)驗(yàn)測試，說明AD-Census聯(lián)和測度函數(shù)可以將AD的單調(diào)性與Census的區(qū)域性相結(jié)合，提高整體匹配效果。通過對比分析，證明了AD-Census聯(lián)和測度函數(shù)應(yīng)用于局部和全局匹配算法的有效性，尤其是局部匹配算法。該方法同時(shí)也可以擴(kuò)展應(yīng)用到其它立體匹配算法中去。

原圖

真實(shí)視差圖像

TRW-S視差圖像圖9 TRW-S立體匹配結(jié)果

[1]Baoping Li，Long Ye，etc.Multi-cue Fusion Based Depth Map Generation from 2D Video Frames[J].Journal of Information and Computational Science，2015，12(16)：6131-6143.

[2]趙小川.Matlab圖像處理程序?qū)崿F(xiàn)與模塊仿真[M].北京：北京航空航天大學(xué)出版社，2014.

[3]Veksler O.Stereo correspondence with compact windows via minimum ratio cycle[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，2002，24(12)：1654-1660.

[4]Xu Y，Wang D，F(xiàn)eng T，et al.，Stereo computation using radial adaptive windows[C].Pattern Recognition，2002 16th International Conference，Proceedings，2002，3：595-598.

[5]K.-J.Yoon，I.-S.Kweon.Locally adaptive support-weight approach for visual correspondence search[C].Computer Vision and Pattern Recognition，2005(CVPR 2005)，IEEE Computer Society Conference，2005，2：924-931.

[6]Altantawy D，Obbaya M，Kishk S.A fast non-local based stereo matching algorithm using graph cuts[C].Computer Engineering & Systems (ICCES)，2014 9th International Conference，2014：130-135.

[7]Yu T，R S Lin，Super B，Tang B.Efficient message representations for belief propagation[C].Computer Vision，2007(ICCV 2007)，IEEE 11th International Conference，2007：1-8.

[8]Jian Sun，Nan Ning Zheng，Heung Yeung Shum.Stereo matching using belief propagation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(7)：787- 800.

[9]Zabih R，Woodfill J.Non-parametric Local Transforms for Computing Visual Correspondence[C].European Conference on Computer Vision，Stockholm，Sweden，May 1994：151-158.

[10]Hirschmuller H，Scharstein D.Evaluation of stereo matching costs on images with radiometric differences[C].PAMI 31 (2009)：1582-1599.

[11]Mei X，Sun X，Zhou M，et al.On building an accurate stereo matching system on graphics hardware[C].ICCV Workshops，2011：467-474.

[12]http：//vision.middlebury.edu/stereo/[DB/OL].

[13]Kolmogorov V.Convergent tree-reweighted message passing for energy minimization[J].IEEE Trans Pattern Anal Mach Intell，2006，28(10)：1568-1583.

(責(zé)任編輯：王謙)

Stereo-Matching Algorithm Based on AD-Census Joint Measure

LI Bao-ping，JIN Cong

(Key Laboratory Media Audio & Video Ministry of Education，Communication University of China，Beijing 100024，China)

Depth estimation for binocular images is an important foundation of many current stereo vision application technologies.Depth estimation based on single image feature is lack of robustness，due to the affection of such factors as variances in texture and light，occlusion，image noise，etc.In this paper，the AD similarity measure based on pixels and the Census measure based on regions are weighted fusion according to their stereo-matching confidence，and formed a joint measure function.Monotonicity feature of the AD measure and region feature of the Census measure are effectively combined together，which can help to ascend the robustness of stereo-matching algorithms.Experimental results demonstrate the effectiveness of the joint measure function by used in global method and local method，especially in the local stereo-matching algorithm.

depth estimation；stereo-matching；joint measure function；TRW-S；cost initialization

2016-4-14

國家自然科學(xué)基金項(xiàng)目(61371191，6120123)

李寶平(1981-)，男(漢族)，河南濟(jì)源人，中國傳媒大學(xué)博士研究生.E-mail：Libaoping 2003@126.com

TP37

A

1673-4793(2016)06-0046-07