基于局部平面擬合的神經(jīng)形態(tài)視覺光流估計算法

王 梅

(遂寧市中心醫(yī)院教學(xué)培訓(xùn)部,四川 遂寧 629000)

0 引 言

隨著新一代人工智能的發(fā)展，類腦研究和神經(jīng)形態(tài)計算逐漸引起研究者們的廣泛關(guān)注。神經(jīng)形態(tài)研究人員模擬生物視網(wǎng)膜的工作原理，開發(fā)出硅視網(wǎng)膜器件[1]，即事件相機(jī)(Event Cameras)，例如動態(tài)視覺傳感器(Dynamic Vision Sensor, DVS)[2]、異步時間圖像傳感器(Asynchronous Time-based Image Sensor, ATIS)[3]、動態(tài)活躍像素視覺傳感器(Dynamic and Active-pixel Vision Sensor, DAVIS)[4]等。對于以固定幀率采集幀圖像信息的傳統(tǒng)視覺傳感器，當(dāng)其在捕捉高速運動的物體時，會丟失大量重要信息，同時無法避免地記錄到一些無用背景信息，造成圖像欠采樣和信息冗余等問題。不同于傳統(tǒng)的視覺傳感器，事件相機(jī)不輸出幀圖像信息，而是將外界視覺信息編碼為時空脈沖事件流，具有低功耗、低信息冗余以及高動態(tài)范圍等優(yōu)點。由于事件相機(jī)與傳統(tǒng)視覺傳感器存在本質(zhì)的區(qū)別，傳統(tǒng)計算機(jī)視覺算法無法直接處理事件相機(jī)輸出的數(shù)據(jù)，因此迫切需要研究和開發(fā)新的神經(jīng)形態(tài)視覺算法。

光流估計是計算機(jī)視覺中的基本任務(wù)，它廣泛應(yīng)用于目標(biāo)追蹤和運動軌跡估計等場景。本文主要研究基于局部平面擬合的神經(jīng)形態(tài)視覺光流估計算法，充分發(fā)揮事件相機(jī)在高速、高動態(tài)環(huán)境下的視覺感知優(yōu)勢來進(jìn)行光流估計，為探索計算機(jī)視覺和機(jī)器人等應(yīng)用領(lǐng)域提供一條可行之路。

1 相關(guān)工作

目前，國際上已經(jīng)有一些針對神經(jīng)形態(tài)傳感器輸出的事件流數(shù)據(jù)進(jìn)行光流估計的算法研究。早在2008年，Delbruck[5]提出了一種時空重合檢測定向邊緣的光流估計算法。2012年，Benosman等人[6]將基于幀的Lucas-Kanade光流算法應(yīng)用到事件相機(jī)中。2013年，Orchard等人[7]使用脈沖神經(jīng)網(wǎng)絡(luò)進(jìn)行光流估計。2014年，Benosman等人[8]又提出了一種運用最小二乘法進(jìn)行局部平面擬合進(jìn)行光流估計的方法。同年，Barranco等人[9]通過計算事件流的輪廓寬度與時間間隔的商得到光流。隨后，他們又提出了一種基于相位的高頻紋理區(qū)域識別方法估計光流[10]。2015年，Mueggler等人[11]采用基于事件的平面擬合光流算法估計事件的生命周期。2016年，Rueckauer等人[12]比較了幾種光流估計算法及其變體，提供了一個基于事件的光流數(shù)據(jù)集。同年，Bardow等人[13]提出了一種基于幀的變分光流估計算法，可同時估計光流、梯度和光強(qiáng)。2018年，Zhu等人[14]提出了一個基于卷積神經(jīng)網(wǎng)絡(luò)的自監(jiān)督光流估計算法，通過最小化同步幀的光強(qiáng)損失訓(xùn)練模型。隨后，Zhu等人[15]又提出了一種無監(jiān)督方法學(xué)習(xí)運動信息，該方法訓(xùn)練了2個神經(jīng)網(wǎng)絡(luò)，一個預(yù)測光流，另一個預(yù)測自運動和深度。同年，Aung等人[16]將基于局部平面擬合的光流估計算法在FPGA上實現(xiàn)。Liu等人[17]提出了一種事件驅(qū)動的自適應(yīng)塊匹配光流估計算法。2019年，Nagata等人[18]利用延伸的焦點技術(shù)對光流估計進(jìn)行規(guī)范化。Paredes-Valles等人[19]采用無監(jiān)督的脈沖神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行光流估計，該模型能夠用于特征提取和運動感知。此外，Almatrafi等人[20]專門為DAVIS相機(jī)設(shè)計了一種光流估計方法，該方法同時考慮了圖像幀的高空間保真度和DVS事件的高時間分辨率。2020年，Pan等人[21]考慮了視覺環(huán)境中的圖像模糊等特殊情況，提出了一種基于神經(jīng)形態(tài)視覺傳感器的光流估計方法。

目前，對神經(jīng)形態(tài)視覺傳感器所輸出的事件流進(jìn)行光流估計的算法仍然比較少，并且缺乏公開的數(shù)據(jù)集進(jìn)行定量分析。對于使用深度學(xué)習(xí)進(jìn)行光流估計的方法，需要大量數(shù)據(jù)集進(jìn)行模型的訓(xùn)練與測試，此時估計的光流為稠密光流，而本文利用局部光流一致的特性，運用平面擬合算法對事件流進(jìn)行光流估計，這種方法屬于一種稀疏光流的估計方法，更適用于實時的光流估計預(yù)測。

2 神經(jīng)形態(tài)視覺的光流估計算法

2.1 基于局部平面擬合的光流估計原理

事件相機(jī)將外界視覺信息動態(tài)地編碼為時空脈沖事件流，每個事件采用地址事件表示(Address Event Representation， AER)進(jìn)行表達(dá)，即一個四元組e=(x,y,t,p)，其中，(x,y)表示事件的像素地址，t表示事件的時間戳，p表示事件的極性，即光強(qiáng)增加(p=1)或減小(p=0)。圖1為事件相機(jī)產(chǎn)生事件的原理示意圖。從圖中可以看出，當(dāng)像素點的對數(shù)光強(qiáng)變化量超過預(yù)定設(shè)置的閾值時將會觸發(fā)一個事件。

圖1 事件相機(jī)產(chǎn)生事件的原理示意圖

事件相機(jī)輸出的事件流在三維時空域內(nèi)可視化為一個曲面，即活躍事件曲面。該曲面由二維像素坐標(biāo)(x,y)與一維時間戳t構(gòu)成。對于每個傳入事件，動態(tài)生成或者更新曲面上的一個點，使曲面上每個像素位置對應(yīng)的時間值等于該位置上最近事件的時間戳。圖2展示了某個事件鄰域內(nèi)的局部活躍事件曲面。該曲面可以形式化地用一個映射來表達(dá)，即Σe:R2→R,Σe(x,y)=t。對函數(shù)Σe(x,y)計算一階偏導(dǎo)數(shù)有：

(1)

圖2 局部活躍事件曲面的可視化圖示[6]

由于事件相機(jī)所產(chǎn)生的事件流時間是不斷遞增的，因此Σe是一個單調(diào)遞增的函數(shù)，它在任意點處的梯度不存在值為0的情況。根據(jù)反函數(shù)理論，存在:

(2)

(3)

顯然，Σe(x,y)的偏導(dǎo)數(shù)描述了時間相對于空間的變化率和方向，而偏導(dǎo)數(shù)的倒數(shù)描述了空間相對于時間的變化率和方向。vx、vy分別表示像素點沿著x和y方向的移動速度，即光流。

2.2 局部平面擬合算法

上述推導(dǎo)的前提是假設(shè)事件鄰域內(nèi)所有事件的光流基本一致，該鄰域以當(dāng)前傳入事件為中心且時空窗口大小為l×l×Δt的鄰域，l表示以當(dāng)前事件像素坐標(biāo)為中心的鄰域邊長，Δt表示當(dāng)前事件鄰域的時間窗。利用該假設(shè)對傳入事件及其鄰域內(nèi)事件擬合一個局部平面，通過求解平面的梯度即可求出光流。

2.2.1 最小二乘法

利用傳統(tǒng)最小二乘法進(jìn)行平面擬合時，通常將誤差歸因到一個方向上。本文假設(shè)誤差存在于t軸上，可以將需要擬合的平面通過ax+by+c=t表示，其矩陣形式可以表示為Ax=b。其中，

(4)

其中，n表示鄰域內(nèi)所有事件的總數(shù)。為了選取最優(yōu)擬合參數(shù)a、b、c，使傳入事件及其鄰域內(nèi)的所有事件都盡量滿足該方程，只需要求解使得‖Ax-b‖最小的參數(shù)?？梢愿鶕?jù)最小二乘準(zhǔn)測求得擬合參數(shù)，可以采用向量表示如下：

x=(ATA)-1ATb

(5)

最后，計算得到的光流速度大小為：

(6)

2.2.2 特征值法

由于最小二乘法僅將誤差歸因在一個方向上，實際中每個方向上的誤差都存在，因此采用特征值法進(jìn)行平面擬合可以有效解決該問題。假設(shè)該擬合平面通過方程ax+by+ct=d表示，(a,b,c)表示擬合平面的單位法向量，且滿足a2+b2+c2=1，參數(shù)d表示該擬合平面到坐標(biāo)原點的距離。鄰域內(nèi)任意事件到該擬合平面的距離為di=|axi+byi+cti-d|。為了得到最優(yōu)擬合平面，求解：

(7)

在約束條件a2+b2+c2=1下的極小值，可以采用拉格朗日乘數(shù)法來估計該擬合平面的參數(shù)估計值。首先，構(gòu)造所需的拉格朗日函數(shù)：

(8)

然后，分別對參數(shù)a、b、c、d求偏導(dǎo)數(shù)并使其為0。經(jīng)過整理后，參數(shù)可通過|A-λminI|=0求解，其中矩陣A是一個3×3的實對稱矩陣：

(9)

(10)

其中，n表示鄰域內(nèi)包含所有事件的總數(shù)。矩陣A有3個實數(shù)特征值，其中最小的一個特征值λmin所對應(yīng)的特征向量即為所求的擬合參數(shù)a、b、c。另外，參數(shù)d不包含任何有關(guān)梯度的信息，對光流估計沒有影響，因此忽略該參數(shù)。最后，計算得到的光流速度大小為：

(11)

上述方法假設(shè)同一像素點上的事件流的時間是嚴(yán)格遞增的，因而局部平面的偏導(dǎo)數(shù)不可能為0。然而，實際上這些偏導(dǎo)數(shù)很小，有時候甚至為0。所以，當(dāng)事件的像素點沿著x軸方向移動時，y軸方向的梯度消失；同理，當(dāng)事件的像素點沿著y軸方向移動時，x軸方向的梯度消失。當(dāng)像素點沿著近似x軸或y軸方向移動時，梯度變得很小，若取該梯度的倒數(shù)，得到的光流就會變得非常大。因此，只有當(dāng)像素點同時沿著遠(yuǎn)離x軸和y軸方向移動時，計算得出的光流向量才較為正確。

為了解決事件像素點沿某個方向移動后梯度消失的問題，可以利用梯度歸一化方法使得該算法更加穩(wěn)健。光流由平面的梯度g=(-a/c,-b/c)確定，該梯度描述的是時間相對于空間的變化，大小與單位不匹配。因此可以對梯度進(jìn)行歸一化操作。最后，光流向量表示為：

(12)

2.3 穩(wěn)健的基于局部平面擬合的光流估計算法

傳統(tǒng)最小二乘法與特征值法考慮的是整體誤差的最小化，如果數(shù)據(jù)樣本包含較多的噪聲，則算法容易失效，需要配合去噪濾波預(yù)處理才能提高算法的有效性。隨機(jī)抽樣一致算法(Random Sample Consensus, RANSAC)采用迭代的方式從一組包含噪聲的數(shù)據(jù)中估計模型參數(shù)[22]。RANSAC算法的基本假設(shè)是數(shù)據(jù)樣本中包含可被模型描述的正確數(shù)據(jù)，同時包含無法適應(yīng)模型的異常數(shù)據(jù)，即噪聲。異常數(shù)據(jù)可能由于錯誤測量、錯誤假設(shè)或錯誤計算等產(chǎn)生。該算法通過不斷迭代，從數(shù)據(jù)樣本中隨機(jī)選取一定數(shù)量的樣本進(jìn)行估計，最終找到擬合正確數(shù)據(jù)最多并且誤差最小的模型。該算法每次迭代時都適當(dāng)丟棄一些異常數(shù)據(jù)，因此對噪聲更具魯棒性。

基于特征值法和RANSAC的局部平面擬合光流估計算法步驟如下：1)從傳入事件的鄰域中隨機(jī)選取4個事件作為初始內(nèi)點集合，并采用特征值法計算鄰域內(nèi)局部平面擬合的參數(shù)，從而得到初始的模型；2)將鄰域中剩余的其他事件代入到初始模型中計算擬合的誤差，若誤差小于預(yù)先設(shè)定的閾值，則將事件添加到內(nèi)點的集合中，并記下小于閾值的內(nèi)點數(shù)量；3)重復(fù)迭代以上2個步驟，更新內(nèi)點數(shù)量，內(nèi)點數(shù)量最多的那次估計模型即為平面擬合的最優(yōu)模型。

3 評估方法

為了能夠有效評價光流估計算法的性能和準(zhǔn)確度，通常采用平均端點誤差(Average Endpoint Error, AEE)和平均角度誤差(Average Angular Error, AAE)作為光流估計結(jié)果的評價指標(biāo)[23]。平均端點誤差計算的是估計的光流向量與真實的光流向量之間末端點位置偏差的平均值，它可以分為絕對平均端點誤差(Absolute Average Endpoint Error, AAEE)和相對平均端點誤差(Relative Average Endpoint Error, RAEE)。其中，絕對平均端點誤差的計算公式如下所示：

(13)

相對平均端點誤差的計算公式如下所示：

(14)

類似地，平均角度誤差計算的是估計的光流向量與真實的光流向量之間夾角的平均值，計算公式如下所示：

(15)

在上述的公式中，vi=(vi,x,vi,y)表示第i個估計光流向量，ui=(ui,x,ui,y)表示第i個對應(yīng)真實光流向量。光流向量距離dist采用歐氏距離進(jìn)行計算，也可以選取其他距離計算公式。為了避免出現(xiàn)除0的計算錯誤，上述所有誤差計算公式均應(yīng)用于速度不為0的光流向量。

4 實 驗

本文實驗數(shù)據(jù)來自文獻(xiàn)[7]。該數(shù)據(jù)采用ATIS傳感器進(jìn)行錄制，記錄一個黑色吸管在白色背景前旋轉(zhuǎn)。該吸管的旋轉(zhuǎn)軸位于平面中心并垂直于成像平面。

為了更好地評價本文所提出的應(yīng)用特征值法進(jìn)行局部平面擬合算法估計光流的有效性，本次實驗分別采用最小二乘法和特征值法進(jìn)行局部平面擬合來估計光流，并對比這2種不同方法的光流估計效果。實驗中，傳入事件的空間鄰域參數(shù)l為3，時間窗口大小Δt為1 ms。表1展示了基于不同局部平面擬合算法的光流估計評價結(jié)果，該結(jié)果為多次實驗的平均誤差。從實驗結(jié)果可以看出，基于特征值法的局部平面擬合算法進(jìn)行光流估計相比最小二乘法的光流估計效果更好。

表1 基于不同平面擬合算法的光流估計評價結(jié)果

本文還引入隨機(jī)抽樣一致(RANSAC)算法來進(jìn)一步提高局部平面擬合估計光流算法的穩(wěn)健性，為了有效評估引入RANSAC算法后光流估計效果的穩(wěn)健性，本次實驗將在沒有任何降噪預(yù)處理的情況下進(jìn)行，實驗結(jié)果如表2所示。從實驗結(jié)果可以看出，引入RANSAC算法后基于2種不同平面擬合算法的光流估計誤差明顯減少，說明隨機(jī)抽樣一致算法能夠通過迭代的方式有效提升光流估計算法的穩(wěn)健性，因而對噪聲具有一定的魯棒性。

表2 引入隨機(jī)抽樣一致算法后的光流估計評價結(jié)果

圖3 估計光流和真實光流間的對比效果圖

為了更直觀地觀察光流估計的效果，圖3展示了不同局部平面擬合算法以及引入隨機(jī)抽樣一致算法的特征值法進(jìn)行局部平面擬合，在上述測試數(shù)據(jù)下估計光流和真實光流之間的對比效果圖。該圖為某一時間段內(nèi)對事件進(jìn)行整合構(gòu)成的幀圖像，不同顏色代表不同的光流方向，顏色深淺代表光流的速度大小。從圖3可以看出，估計光流與真實光流之間的差別非常小。

通過實驗還發(fā)現(xiàn)，基于局部平面擬合的光流估計算法對參數(shù)比較敏感。如果事件的鄰域比較大，則該鄰域所構(gòu)成的局部平面無法很好地近似結(jié)構(gòu)并計算出準(zhǔn)確的光流向量，而如果事件的鄰域比較小，則很有可能包含的有效事件不足以構(gòu)成局部平面進(jìn)行光流估計。此外，局部平面擬合算法的不斷迭代與優(yōu)化有助于精度的提升，但是，如果初始擬合的局部平面恰巧錯誤地表示了局部運動，則一個有效的事件很可能就會被視為異常值，并被錯誤地刪除，那么在錯誤的基礎(chǔ)上繼續(xù)迭代只會降低算法的精度。

5 結(jié)束語

本文主要關(guān)注神經(jīng)形態(tài)視覺的光流估計算法，探索事件相機(jī)異步產(chǎn)生事件序列的工作機(jī)制，研究基于事件的局部平面擬合光流估計算法原理，提出了一種運用特征值法進(jìn)行神經(jīng)形態(tài)視覺光流估計的算法，并引入隨機(jī)抽樣一致算法進(jìn)一步提高算法的穩(wěn)健性，使其能夠?qū)υ肼暰哂幸欢ǖ聂敯粜?。實驗結(jié)果表明，運用特征值法能夠有效進(jìn)行光流估計，采用特征值法進(jìn)行局部平面擬合相比最小二乘法具有更好的光流估計效果，并且引入隨機(jī)抽樣一致算法后效果更佳。

相比基于傳統(tǒng)幀圖像的光流估計算法，基于神經(jīng)形態(tài)視覺的研究缺乏具有代表性的數(shù)據(jù)集以及測量方法，因此，創(chuàng)建神經(jīng)形態(tài)視覺數(shù)據(jù)集并制定光流估計評估標(biāo)準(zhǔn)，研究深層脈沖神經(jīng)網(wǎng)絡(luò)以充分發(fā)揮異步序列時空特性將是下一步的研究重點。