一種基于高級(jí)驅(qū)動(dòng)輔助系統(tǒng)快速時(shí)空立體匹配方法

朱素杰，王 萌

(周口科技職業(yè)學(xué)院，河南 周口 466100)

0 引言

高級(jí)駕駛輔助系統(tǒng)(Advanced Driver Assistance Systems, ADAS)旨在提高汽車的安全性和駕駛舒適性，其功能包括目標(biāo)檢測(cè)和跟蹤、交通標(biāo)志檢測(cè)和識(shí)別、行人檢測(cè)等。ADAS面臨的最重要的難題是車輛對(duì)外部環(huán)境的感知，然而隨著立體視覺技術(shù)的不斷成熟，立體匹配可以非常精確和詳細(xì)地對(duì)周圍環(huán)境進(jìn)行直觀的描述。立體匹配的關(guān)鍵問(wèn)題在于從不同視點(diǎn)拍攝的立體圖像中找到像素之間的對(duì)應(yīng)關(guān)系[1]。為此，文獻(xiàn)[2]提供了一種新的高密度立體聲通信算法分類法(STM)和一個(gè)用于定量評(píng)價(jià)立體算法(SM)的試驗(yàn)臺(tái)。可以看出，這兩種算法產(chǎn)生了很好的結(jié)果，然而卻以時(shí)間為代價(jià)，僅適合于靜態(tài)場(chǎng)景[3]。

本文研究的方法主要致力于立體聲傳感器嵌入在動(dòng)態(tài)的ADAS，對(duì)于應(yīng)用在動(dòng)態(tài)場(chǎng)景上的立體匹配，需要處理動(dòng)態(tài)場(chǎng)景。該匹配算法通過(guò)立體聲傳感器根據(jù)每秒的幀提供每一對(duì)立體圖像對(duì)，獲得相應(yīng)的立體圖像，將時(shí)間信息合并到立體方法中來(lái)提高最后的匹配結(jié)果。然而，僅有少量的研究致力于從立體序列中重建動(dòng)態(tài)場(chǎng)景。本文通過(guò)考慮連續(xù)幀之間的一致性，將立體匹配的結(jié)果大大改進(jìn)。

本文提出了一種基于時(shí)空信息的快速立體匹配方法。基于早期提出的通過(guò)圖像點(diǎn)得到全球視差范圍的方法，本文提出了一種新的計(jì)算視差范圍的方法。該方法不再通過(guò)所有圖像點(diǎn)來(lái)求取全局視差范圍，而是根據(jù)邊緣點(diǎn)的性質(zhì)得到。最后，將該方法和STM[4]、SM[5]方法進(jìn)行了比較，通過(guò)比較結(jié)果可以看出該方法大大提高了匹配率。

1 立體匹配算法

圖1 算法流程圖

首先根據(jù)以上方法進(jìn)行特性的匹配，然后通過(guò)關(guān)聯(lián)方法在連續(xù)的圖像之間建立關(guān)系。根據(jù)視差約束原理，本文提出一種獨(dú)立于掃描線的視差約束方法。通過(guò)成本函數(shù)來(lái)度量候選邊緣點(diǎn)之間的相似性。最后利用DP算法計(jì)算當(dāng)前幀的視差圖Dk進(jìn)行特征點(diǎn)的匹配。

1.1 匹配特征

首先從立體圖像中提取匹配特征點(diǎn)。通常使用邊緣點(diǎn)作為特征點(diǎn)。為了便于適應(yīng)智能交通系統(tǒng)，需要選擇快速而準(zhǔn)確的邊緣檢測(cè)算法。本文使用Canny邊緣檢測(cè)算法進(jìn)行了邊緣檢測(cè)，此邊緣檢測(cè)器提供了連續(xù)的邊緣曲線，并產(chǎn)生了更重要的邊緣點(diǎn)，有助于得到較少的稀疏視差圖。

1.2 邊緣點(diǎn)之間的聯(lián)系

圖2 連續(xù)幀左圖像對(duì)應(yīng)點(diǎn)坐標(biāo)

1.3 視差因素

在所有已知的立體匹配方法中，對(duì)于輸出視差圖的質(zhì)量和計(jì)算時(shí)間來(lái)說(shuō)，精確選擇視差搜索空間是至關(guān)重要的。在本節(jié)中，提出了一種新的查找局部和全局視差范圍(視差搜索空間)方法。將局部視差范圍適用于相關(guān)聯(lián)的圖像點(diǎn)，將全局視差范圍適用于沒有關(guān)聯(lián)的圖像點(diǎn)。通過(guò)討論研究，根據(jù)匹配算法在每一對(duì)圖像掃描線上獨(dú)立執(zhí)行的原理，提出局部或全局視差范圍與圖像掃描線有關(guān)。

1.3.1局部視差范圍計(jì)算

圖3 相鄰幀邊緣點(diǎn)坐標(biāo)圖

從式(2)和式(3)可以推斷出：

局部視差范圍根據(jù)前一幀的邊緣點(diǎn)對(duì)當(dāng)前幀中的相應(yīng)點(diǎn)進(jìn)行搜索。

1.3.2全局視差范圍計(jì)算

全局視差范圍的計(jì)算方法是基于v視差圖的分析，該v視差圖通過(guò)初始視差圖或預(yù)估視差圖得到。在本文中，根據(jù)當(dāng)前幀的v視差與前一幀相同的原理，提出了一種既不用計(jì)算初始視差圖，也不用計(jì)算預(yù)估視差圖的計(jì)算方法。如果每秒的幀數(shù)非常精確，那么圖像中物體的視差值不會(huì)發(fā)生較大的變化。也可以說(shuō)，在當(dāng)前幀的v視差圖中道路表示的斜線，將會(huì)在前一幀的v視差圖中非常接近它的位置。當(dāng)前幀的v視差圖將分為兩部分：包含對(duì)象的頂部和包含道路的底部。在v視差圖中表示道路的斜線可以用下列方程描述：

di=(yi-b)/a

(5)

其中yi為圖像線指數(shù)，di為同一圖像線的視差值，a和b為斜線參數(shù)。

每個(gè)圖像線上只有一個(gè)視差值di?？紤]到上面所做的假設(shè)與前一幀的視差圖所固有的不確定性，在圖像線yi處的差異d的值應(yīng)該滿足以下不等式：

di-a≤d≤di+a

(6)

其中a是選擇的一個(gè)不確定性值(公差值)。此約束用于圖像底部的整個(gè)圖像線。

圖4 通過(guò)v視差計(jì)算的全局視差范圍圖

1.4 成本函數(shù)

其中I(ei)是邊緣點(diǎn)ei的強(qiáng)度，M(ei)是邊緣點(diǎn)ei的梯度大小，θ(ei)是邊緣點(diǎn)ei的方向。

1.5 動(dòng)態(tài)規(guī)劃算法

圖5 局部視差范圍圖

局部視差范圍不僅需要提高匹配點(diǎn)的精度，也需要提高整個(gè)圖像的精度，因?yàn)槿绻鸇P算法在某一步失敗，將可能影響到圖像中其他邊緣點(diǎn)匹配。但在本文的匹配過(guò)程中，如果DP算法在某一個(gè)階段失敗，那么局部視差范圍就會(huì)迫使算法遵循最優(yōu)路徑，如圖5所示。當(dāng)在圖像中發(fā)現(xiàn)大量的局部區(qū)域時(shí)，局部視差范圍都能夠較好地控制。

2 實(shí)驗(yàn)結(jié)果

為了評(píng)估本文所提方法的性能，在立體圖像對(duì)的虛擬序列中進(jìn)行了測(cè)試，并與現(xiàn)有的快速時(shí)空立體匹配方法相比較。為了說(shuō)明時(shí)間信息在匹配過(guò)程中的重要性，在不整合時(shí)間信息的情況下，同樣的方法應(yīng)用于立體圖像，既不使用本地約束，也不使用全局約束。

該方法在虛擬立體圖像上進(jìn)行了測(cè)試。數(shù)據(jù)集包含512×512的立體圖像和它們的地面實(shí)況。圖6顯示了在第294幀的左立體圖像，圖7顯示了由Canny邊緣檢測(cè)算法獲得的邊緣圖像。圖8描述了用本文方法在第294幀計(jì)算的視差圖。圖9描述了由STM和SM方法計(jì)算該幀的視差圖。

圖6 第294幀的左立體圖像

圖7 由Canny邊緣檢測(cè)算法獲得的左圖像

圖8 本文方法在第294幀計(jì)算的視差圖

圖9 由STM和SM方法計(jì)算該幀的視差圖

表1對(duì)三種方法在第294幀中得到的結(jié)果進(jìn)行比較，為每種方法提供了匹配邊緣點(diǎn)(NME)的數(shù)量、正確匹配點(diǎn)的數(shù)量(NCM)、錯(cuò)誤匹配點(diǎn)的數(shù)量、正確匹配的百分比(PCM)和第294幀的執(zhí)行時(shí)間(ETime)。

通過(guò)表1可以清楚地看到本文方法正確匹配了更多的邊緣點(diǎn)，提供了較少的稀疏視差圖，從而大大提高了正確匹配率。

表1 三種方法在第294幀中獲得的結(jié)果

3 結(jié)束語(yǔ)

本文利用相鄰幀之間的時(shí)間一致性，通過(guò)對(duì)前一幀的匹配結(jié)果進(jìn)行計(jì)算，完成了當(dāng)前幀的視差圖的計(jì)算。在當(dāng)前幀的匹配過(guò)程中，通過(guò)前一幀的視差圖來(lái)確定局部和全局視差范圍，這樣既減少了每個(gè)邊緣點(diǎn)可能匹配的數(shù)量，也減少了錯(cuò)誤匹配的數(shù)量，并加速了匹配過(guò)程。該方法已經(jīng)在虛擬的序列上進(jìn)行了測(cè)試，結(jié)果令人滿意。后續(xù)研究中將在真實(shí)序列中進(jìn)行測(cè)試。