基于分割樹的視差圖修復(fù)算法研究

鄭豫楠

（四川大學(xué)計算機學(xué)院，成都　610065）

基于分割樹的視差圖修復(fù)算法研究

鄭豫楠

（四川大學(xué)計算機學(xué)院，成都610065）

0　引言

作為一項重要的研究領(lǐng)域，立體匹配在近十年有了明顯的發(fā)展。許多新的算法被提出并且效果顯著。Scharstein和Szeliski[1]提出了立體匹配算法的框架，并且將立體匹配算法分成了兩種類型：局部算法和全局算法。局部算法(如經(jīng)典的自適應(yīng)權(quán)重算法[2]）利用局部區(qū)域像素的顏色信息和梯度信息進行特征匹配，具有運算速度快、易于實現(xiàn)的優(yōu)點，但缺點是在無紋理區(qū)域算法容易失效。全局算法利用全圖的整體信息約束代價函數(shù)來計算視差，利用的全局優(yōu)化算法有圖割（graph cuts）[3]、置信度傳播（belief propagation）[4]、動態(tài)規(guī)劃[5]等，可以獲得效果較好的視差圖，但缺點是計算時間長，難以實現(xiàn)實時性。

局部立體匹配算法框架可以歸納為以下4個步驟：（1）初始代價計算；（2）代價聚合；（3）視差計算；（4）視差圖修復(fù)。立體匹配研究發(fā)展至今，大部分的論文是關(guān)于第二步代價聚合的，但關(guān)于第四步視差圖修復(fù)的論文并不多見。此外，通過局部立體匹配算法得到的視差圖一般都會受到遮擋的影響，對于遮擋區(qū)域的像素難以估計出準確的視差值。

針對以上問題，本文提出了一種基于分割樹的立體匹配修復(fù)算法。算法對象為局部立體匹配算法得到的視差圖，先對輸入視差圖進行左右一致性檢測將不一致的像素標記為不一致點，之后對視差圖進行過分割處理，再利用高斯混合模型對每一個過分割區(qū)域進行視差值分配，最后利用過分割區(qū)域內(nèi)像素視差一致性對不一致像素的視差值進行重新估計。

1　左右一致性檢測

為了檢測出受遮擋或其他因素影響導(dǎo)致的視差圖中存在不準確的像素，算法的第一步是對輸入的左右兩張視差圖進行一致性檢測。對左視差圖中的每一個像素，找到右視差圖中對應(yīng)位置的像素，比較兩者視差差值的絕對值。如果差值絕對值在可接受的范圍內(nèi)，那么這個像素的視差值被認為是可靠的，反之，將其標記為不一致點。

在左右一致性檢測結(jié)束后，根據(jù)（1）對被檢測出的不一致點對代價聚合矩陣進行更新。

2　過分割視差圖

顏色信息接近的區(qū)域，視差信息一般也較為接近，利用顏色信息對彩色圖像進行分割，每一個分割區(qū)域內(nèi)的像素的視差值會較為接近并且變化平滑。利用此先驗知識，可以對檢測出的不一致點的視差值進行修復(fù)，因此需要先對輸入的視差圖對應(yīng)的彩色圖像進行分割處理。

本文利用了 P.F.Felzenszwalb和 D.P.Huttenlocher[6]提出的方法進行分割處理，并且采取了過分割策略，即分割后的區(qū)域足夠小，目的是使得上述先驗盡可能成立。效果如圖1。

在過分割處理結(jié)束后，會檢測每一個分割區(qū)域內(nèi)存在的不一致點的數(shù)量，如果不一致點的數(shù)量大于一定比例，會將這個區(qū)域標記為不可靠區(qū)域。

此外，還需要對每一個分割區(qū)域所對應(yīng)的視差值和彩色值進行估計，以評估不同分割區(qū)域的相關(guān)性。本文采取的方法是通過高斯混合模型對視差圖進行聚類處理，選取每一個區(qū)域?qū)儆谕粋€聚類數(shù)量最多的像素的視差值均值來作為其對應(yīng)的視差信息，同時用每個區(qū)域所有像素彩色值的均值來作為其對應(yīng)的顏色信息。

3　不可靠區(qū)域視差值估計

圖1　

不可靠區(qū)域的視差值信息并不可用，因此需要利用臨近可靠區(qū)域的視差值對其進行估計。因此需要得到相鄰分割區(qū)域的相關(guān)性，對每一個不可靠區(qū)域選取其相關(guān)性最大的臨近區(qū)域的視差值作為它的視差值。

本文用Wi（Sp）表示分割區(qū)域Sp的第i個鄰域?qū)p的相關(guān)性：

其中σ是預(yù)先設(shè)定的參數(shù)，用以歸一化，Dr和Ir分別表示分割區(qū)域?qū)?yīng)的視差值和彩色值，α表示Sp和Si的相鄰程度：

其中Ni表示Si與Sp的公共區(qū)域長度，Nall表示Sp的周長。

因為不可靠區(qū)域的視差值存在一定不準確性，因此對每一個不可靠區(qū)域選取其相關(guān)性最高的可靠區(qū)域的視差值作為其新的視差值。

4　不一致像素的視差值估計

在得到不可靠區(qū)域的視差值之后，就可以對不可靠區(qū)域內(nèi)部的不一致像素的視差值進行重新估計了。本文利用了一種先驗，即在一個分割區(qū)域內(nèi)部，所有像素的視差值均位于一個區(qū)間，即：

為了驗證這種先驗的正確性，可以使用真實視差圖做實驗。在本文所涉及的實驗中，γ取值為5，R為255。結(jié)果表明99.2%的像素都符合這一先驗假設(shè)，如圖2。

圖2　為真實視差圖，紅色標記的像素為不符合先驗假設(shè)的像素

利用上述先驗和更新后的不可靠區(qū)域的視差值，可以估計出每一個不可靠區(qū)域中的不一致點的視差值：

其中p表示不一致點，di∈[Dr（Sp）-Δd，Dr（Sp）+Δd]，Cnew在左右一致性檢測之后得到。每一個不一致點p的視差值都會使得新的代價聚合矩陣Cnew最小。

5　實驗結(jié)果分析

本文的實驗使用Middlebury[7]提供的圖片和真是視差圖進行評測，實驗結(jié)果如圖3所示。

在實驗中，使用Mei X，Sun X，Dong W等人[8]提出的方法來獲得初始視差圖。結(jié)果表明本文的算法提升了一定效果，但部分區(qū)域和真實結(jié)果還有一些差距，仍有繼續(xù)改善的空間。

圖3　

[1]D.Scharstein and R.Szeliski.A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms[J].IJCV,2002,47 （1-3）:7-42.

[2]K.-J.Yoon and I.-S.Kweon.Adaptive Support-Weight Approach for Correspondence Search[J].PAMI,2006,28（4）:650-656

[3]V.Kolmogorov and R.Zabih.Computing Visual Correspondence with Occlusions Via Graph Cuts[C].ICCV,2001:508-515.

[4]J.Sun,N.Zheng,and H.Shum.Stereo Matching Using Belief Propagation[M].ECCV,2002:510-524.

[5]郭永彩,魏朋玉,高潮.采用多級動態(tài)規(guī)劃實現(xiàn)立體匹配[J].光學(xué)精密工程,2009,17（7）:1745.

[6]P.F.Felzenszwalb and D.P.Huttenlocher.Efficient graphbased image segmentation[J].IJCV,2004,59（2）:167-181.

[7]Middlebury Stereo Vision Page.http://vision.middlebury.edu/stereo/

[8]Mei X,Sun X,Dong W,et al.Segment-Tree Based Cost Aggregation for Stereo Matching[C].CVPR,2013:313-320.

Stereo Vision;Segment-Tree;Stereo Matching

Research on Disparity Map Refinement Algorithm Based on Segment Tree

ZHENG Yu-nan
（College of Computer Science,Sichuan University,Chengdu 610065）

1007-1423（2016）03-0068-04

10.3969/j.issn.1007-1423.2016.03.016

鄭豫楠（1990-），男（漢族），天津人，碩士，研究方向為計算機視覺與圖像處理

2015-12-08

2016-01-12

立體匹配是計算機視覺研究領(lǐng)域中的一項重要的研究問題。雖然已經(jīng)存在很多立體匹配的相關(guān)方法，但是諸如遮擋之類的問題仍然沒有被徹底解決?；诜指顦涞囊暡顖D修復(fù)方法，可以修復(fù)通過非全局性立體匹配算法得到的視差圖。實驗結(jié)果顯示所提出的方法可減輕遮擋的影響。

立體視覺；分割樹；立體匹配

四川省科技創(chuàng)新苗子工程（No.2015-095）

Stereo matching is an important problem in computer vision research field.Though many stereo matching methods have been proposed, but some problems such as occlusion are still unresolved.Proposes a method using segment-tree to refine a disparity map got from a nonglobal stereo matching algorithm.Experiment results shows that the proposed method alleviates the effect of occlusion.