引入視覺注意機(jī)制的區(qū)域立體匹配方法*

杜棋東

（廣州鐵路職業(yè)技術(shù)學(xué)院教育技術(shù)中心，廣州510430）

1 引 言

立體匹配是虛擬現(xiàn)實(shí)、機(jī)器人視覺等領(lǐng)域的一項(xiàng)重要研究內(nèi)容，能夠通過多視點(diǎn)圖像計(jì)算出物體的深度信息，對視覺導(dǎo)航、障礙物檢測等實(shí)際應(yīng)用有著重要的作用[1-2]。根據(jù)不同匹配的基元，立體匹配分為特征點(diǎn)匹配和區(qū)域立體匹配[3]。其中，區(qū)域立體匹配是以一個區(qū)域?yàn)槠ヅ浠ㄟ^匹配其他圖像中最優(yōu)匹配區(qū)域獲取最終視差圖的過程。常見的方法包括歸一化灰度互相關(guān)NCC 算法（Normalized Cross Correlation）、絕對誤差和SAD 算法（Sum of Absolute Differences）、誤差平方和SSD 算法（Sum of Squared Differences）。此類常見立體匹配方法往往只關(guān)注圖像表面上的像素?cái)?shù)據(jù)[4]，缺乏人眼的感知關(guān)注，所以往往會影響算法效率甚至發(fā)生視差圖錯配。

故此提出一種基于視覺注意機(jī)制的方法。此方法能夠模擬人眼快速感知外界抽象物體，快速計(jì)算其顯著性目標(biāo)區(qū)域，減少搜索空間，并降低識別的計(jì)算復(fù)雜度，在文獻(xiàn)[5－7]研究工作的基礎(chǔ)上，引入視覺注意計(jì)算模型（Itti 模型），提取圖像亮度、顏色、方向等非空間特征，然后將彩色圖像分割若干區(qū)域，建立圖像間立體匹配關(guān)系，接著計(jì)算兩幅圖的視差值，通過視差值提取并優(yōu)化視差圖，獲取最終的視差圖。

2 設(shè)計(jì)方法

視覺注意機(jī)制是基于生物學(xué)的心理調(diào)節(jié)機(jī)制，能夠有選擇性地指向環(huán)境中的某一個焦點(diǎn)而忽略其他事物的認(rèn)知過程，其感知具備選擇能力。引入視覺注意機(jī)制的Itti 模型，首先基于雙目視覺，通過中央-周邊（Center-Sound）算子計(jì)算輸入圖像的顏色特征、亮度特征、方向特征，獲得多特征、多尺度的量度結(jié)果并合成左右兩幅顯著圖，反差大的區(qū)域代表視覺注意力高的區(qū)域，根據(jù)不同顯著圖的值計(jì)算顯著區(qū)范圍，然后采用顏色分割方法將圖像劃分為若干區(qū)域。在計(jì)算各區(qū)域顏色和灰度相似性的基礎(chǔ)上，建立圖像間的匹配關(guān)系，根據(jù)左右兩幅圖匹配計(jì)算，得出各個像素點(diǎn)的視差值，再由視差值生成視差圖，最后采用平面相似性估計(jì)方法[8]合并場內(nèi)的近似屬于同一視差的平面，得到新的視差圖，即為深度特征圖。引入視覺注意機(jī)制的區(qū)域立體匹配方法流程如圖1 所示。

3 具體計(jì)算

3.1 非空間特征計(jì)算

非空間特征提取反映了由視覺感知到初級視覺特征信息的處理過程，通過對亮度、顏色和方向等非空間特征的提取，得到各類特征在不同尺度下的多特征圖。

關(guān)于亮度特征提取，首先根據(jù)下式將彩色圖轉(zhuǎn)化為灰度I：

再計(jì)算灰度I 在s 尺度下的亮度特征圖。若輸入圖像是灰度圖，則直接獲取亮度信息即可。

關(guān)于顏色特征提取，根據(jù)下式計(jì)算RG 和BY 的色差：

然后再計(jì)算各個領(lǐng)域的色差均值，其中Y=(r+g)/2+(r-g)/2-b, R=r-(g+b)/2,G=g-(r+b)/2,B=b-(r+g)/2，最后得到s 尺度下的顏色特征圖RG、BY。

關(guān)于方向特征提取，Gabor 在這方面具有良好的方向選擇和尺度選擇特性，因此采用Gabor 濾波器方法，根據(jù)下式對s 尺度下的灰度圖像I 進(jìn)行濾波：

其中，x′=xcosθ+ysinθ，y′=-xsinθ+ycosθ，θ 為主頻方向，μ 為頻率，θ∈{0°, 45°, 90°, 135°}，進(jìn)而可得到方向特征圖O(θ)。

3.2 深度信息計(jì)算

深度信息計(jì)算對視覺加工處理至關(guān)重要，是進(jìn)行物體識別的重要步驟，下面通過彩色圖像區(qū)域分割、立體匹配、視差圖提取以及視差平面優(yōu)化等步驟，計(jì)算深度信息。

3.2.1 圖像分割和SAD 立體匹配

彩色圖像區(qū)域分割的實(shí)質(zhì)就是從復(fù)雜的背景粗化提取整體信息，把具有相似性質(zhì)的像素連通成特定區(qū)域。各種場景的物體姿態(tài)特征提取，其立體視差變化主要體現(xiàn)在顏色區(qū)域的輪廓邊界上，這種情況下采用均值偏移（Mean shift）算法[9]，此算法的實(shí)質(zhì)是核密度估計(jì)，算法核心是對特征空間中的樣本點(diǎn)進(jìn)行聚類，得到密度梯度為零的模式點(diǎn)。彩色圖像分割首先借助Mean shift 算法將圖像中的像素進(jìn)行聚類，找到不同色彩的聚類點(diǎn)，然后進(jìn)行二值化處理，使圖像中的灰度級較處理前有所減少。

在上述區(qū)域分割的基礎(chǔ)上，計(jì)算最小的SAD 差異區(qū)域，即匹配區(qū)域。SAD 的基本思想是差的絕對值之和，即通過各個像素值之差的絕對值求和，以此來評估區(qū)域的相似度。

SAD 計(jì)算如下式：

其中：M 為n×n 大小的窗口，類似于卷積核；d為視差范圍；KmgL(i,j)表示以(i,j)為中心的基準(zhǔn)圖待匹配像素的所有灰度值的均值，KmgR(i,j)表示以(i,j)為中心的配準(zhǔn)圖的匹配點(diǎn)的所有灰度值均值。

對M 窗口中的全部代價函數(shù)進(jìn)行加權(quán)聚合，通過以下聚合函數(shù)式可計(jì)算匹配點(diǎn)與候選點(diǎn)之間的聚合值：

對視差值d 的計(jì)算如下式：

其中D 表示視差范圍。

3.2.2 視差圖優(yōu)化

關(guān)于視差層提取，所采用的是平面相似性估計(jì)方法[10]，即下式：

其中，S 為分割區(qū)域，P 為視差平面，C 為匹配代價函數(shù)，通過C 來判斷S 是否屬于P，并將同樣視差值的平面劃分為一類，合并相似區(qū)域，合并之后的視差圖即為最終視差圖。此處，其中、均是P 的參數(shù)。

為解決視差圖錯誤匹配產(chǎn)生噪聲的問題，利用顯著性檢測法對視差圖進(jìn)行優(yōu)化。首先對初步視差圖利用基于頻域的HFFT 方法[11]檢測顯著圖，再對其進(jìn)行非空間特征計(jì)算；接著判斷顯著圖的顯著度值是否比設(shè)定的閾值大，如果小于閾值，則判斷為圖像正常邊緣，如果大于閾值，采用多點(diǎn)均值濾波進(jìn)行處理，即對窗口范圍內(nèi)的所有顯著點(diǎn)進(jìn)行處理。其中，中心點(diǎn)值用去除最小值點(diǎn)與最大值點(diǎn)后的均值代替；最后重復(fù)1~3 次流程進(jìn)行視差圖優(yōu)化。其具體流程如圖2 所示。

圖2 優(yōu)化視差圖流程

4 實(shí)驗(yàn)分析

實(shí)驗(yàn)使用的計(jì)算機(jī)配置為：Intel Core i3 8100 3.6GHz，Windows 64 位操作系統(tǒng)；程序在MATLAB 2013b 中實(shí)現(xiàn)，實(shí)驗(yàn)圖采用Teddy 標(biāo)準(zhǔn)雙目視圖；標(biāo)準(zhǔn)數(shù)據(jù)實(shí)驗(yàn)采用NCC 算法、SSD 算法、SAD 算法和提出的算法進(jìn)行實(shí)驗(yàn)比較。為了方便實(shí)驗(yàn)，只使用Teddy 的右圖像。實(shí)驗(yàn)效果如圖3 所示。其中圖3(a)~(d) 分別表示NCC、SSD、SAD 與提出方法的匹配代價計(jì)算結(jié)果。圖3(e)與圖3(f)用于表示標(biāo)準(zhǔn)視差與原始圖匹配效果的好壞對比。

圖3 各算法實(shí)驗(yàn)效果對比

從圖3(d)和圖3(a)可知，新方法雖然在展示畫布的紋理信息上不夠細(xì)致，但對物體邊緣的處理還是優(yōu)于NCC 算法的。從圖3(d)和圖3(b)可知，新方法能較好地處理區(qū)域物體深度信息。從圖3(d)和圖3(c)對比可看出，新方法相對于SAD 算法，不僅能較好解決遮擋區(qū)域的視差問題，而且視差精度較高，示例圖像中的布偶和玩具房輪廓邊緣效果明顯，可信度高。與其他3 種算法的誤差率對比如表1 所示，運(yùn)算時間上的對比則如表2。

表1 其他算法與新方法誤差率對比 單位：%

表2 其他算法與新方法運(yùn)算時間對比 單位：s

在表2 中可以看出，NCC 算法的運(yùn)算速度最快，與新方法對比快了20%左右，但其匹配誤差率也高于新算法2 倍多。SAD 算法與SSD 對比，在誤差率相差不大的情況下，運(yùn)算時間較快，故而SAD算法優(yōu)于SSD 算法。新方法與SAD 對比，誤差率低于SAD 算法，運(yùn)算速度也略高于SAD 算法，能夠滿足圖像立體匹配場景下的應(yīng)用要求。

5 結(jié)束語

針對算法效率的提升與降低出錯率，提出了一種引入視覺注意機(jī)制的區(qū)域立體匹配算法。在保證圖像一定精度的情況下提高匹配速度和效率，保證匹配的準(zhǔn)確性。實(shí)驗(yàn)表明，所述方法相比于精度較高、速度較快的SAD 算法，能夠提高15%速度，同時精度提高3%，為立體匹配技術(shù)在視覺導(dǎo)航、障礙物檢測等方面的應(yīng)用奠定了良好基礎(chǔ)。