圖像序列光流計(jì)算方法概述

何燕

摘要：光流法把圖像的研究提升到運(yùn)動(dòng)層面，在靜態(tài)圖像序列的基礎(chǔ)上加入時(shí)間域的維度，通過(guò)圖像序列中相鄰幀圖像的相對(duì)運(yùn)動(dòng)計(jì)算出圖像像素的瞬時(shí)速度。相對(duì)于傳統(tǒng)的基于圖像特征的方法而言，光流法能夠更自然地表達(dá)物體的運(yùn)動(dòng)信息。圖像序列光流的計(jì)算具有極其重要的意義。文章描述了光流的概念，經(jīng)典光流HS算法，LK算法，光流算法評(píng)價(jià)標(biāo)準(zhǔn)，光流計(jì)算中存在的精確性、魯棒性問(wèn)題，以及光流計(jì)算的發(fā)展方向。

關(guān)鍵詞：光流 ； HS ； LK ；評(píng)價(jià)指標(biāo)

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2019）04-0173-03

1光流計(jì)算的概念及意義

物體和觀察者的相對(duì)運(yùn)動(dòng)產(chǎn)生了光流。物體在運(yùn)動(dòng)時(shí)，它在圖像上對(duì)應(yīng)點(diǎn)的亮度模式也在運(yùn)動(dòng)，光流即是時(shí)變圖像中模式運(yùn)動(dòng)速度[1，2]。光流可以直觀地理解為三維空間中的物體的運(yùn)動(dòng)映射到圖像上像素的瞬時(shí)速度。圖像序列光流計(jì)算就是利用圖像序列中像素強(qiáng)度信息在時(shí)間上的變化以及它們之間存在的可能關(guān)系來(lái)確定各個(gè)像素位置的運(yùn)動(dòng)情況[3]。光流不僅包括了物體運(yùn)動(dòng)的信息還能描述有關(guān)景物的結(jié)構(gòu)信息，對(duì)光流的研究是計(jì)算機(jī)視覺(jué)運(yùn)動(dòng)分析的重要方法。

光流是一種高層次的視覺(jué)表述[4]，光流場(chǎng)攜帶了有關(guān)物體運(yùn)動(dòng)和三維結(jié)構(gòu)的豐富信息，可以用于運(yùn)動(dòng)目標(biāo)檢測(cè)、恢復(fù)目標(biāo)的運(yùn)動(dòng)與結(jié)構(gòu)信息、目標(biāo)分割以及運(yùn)動(dòng)補(bǔ)償編碼等，因此對(duì)光流場(chǎng)的研究一直被視為是解決視覺(jué)運(yùn)動(dòng)分析的有效途徑之一。光流法已經(jīng)成為對(duì)視頻圖像序列中物體運(yùn)動(dòng)估計(jì)的主要技術(shù)?？捎糜谔摂M現(xiàn)實(shí)、智能監(jiān)控、人機(jī)交互、視頻檢索、醫(yī)療診斷[5]，無(wú)人駕駛，機(jī)器人導(dǎo)航，機(jī)器臂分揀，醫(yī)學(xué)輔助診斷等。但由于其一些理論基礎(chǔ)不完備，在實(shí)際計(jì)算中仍存在很多問(wèn)題，使得其廣泛的應(yīng)用推廣受到一定阻礙。國(guó)內(nèi)外的學(xué)者針對(duì)這些問(wèn)題提出了大量的改進(jìn)方法和策略。

2經(jīng)典光流算法

2.1光流計(jì)算的約束方程

由于光流是對(duì)圖像表面亮度模式運(yùn)動(dòng)的反應(yīng)，因此大多數(shù)光流計(jì)算技術(shù)都是基BCM（亮度常數(shù)模型）的，即通過(guò)找到圖像中亮度不變模式的對(duì)應(yīng)關(guān)系來(lái)確定運(yùn)動(dòng)位移[6]。在滿足對(duì)應(yīng)像素點(diǎn)在相鄰幀之間的灰度值不變，相鄰幀之間物體的運(yùn)動(dòng)比較微小的條件下可以建立等式：

最終可得到光流的約束方程：

上面的分析中可以看出約束方程求解光流是個(gè)不適定問(wèn)題，即一個(gè)方程兩個(gè)未知量，這樣無(wú)法求出唯一解，也叫作光流計(jì)算的孔徑問(wèn)題。解決光流計(jì)算的孔徑問(wèn)題，目前主要有兩種方法：正則化法（全局方法）和局部鄰域法。正則化法是將光流的求解過(guò)程轉(zhuǎn)變?yōu)槿帜芰糠汉淖钚』^(guò)程[7]。

2.2 光流算法分類

人們基于不同的理論基礎(chǔ)提出了各種的光流計(jì)算方法，按照理論和數(shù)學(xué)的不同，將光流分為基于梯度的方法，基于匹配的方法，基于能量的方法等，基于相位等方法[8]。

基于梯度的方法又稱為微分法，利用時(shí)空梯度函數(shù)，使得全局能量泛函達(dá)到最小化來(lái)計(jì)算像素的速度矢量。常用的代表有Horn和Schunck全局平滑法[12]、Lucas和Kanade局部平滑法[9]、以及Nagel的有向平滑法[14]。Horn和Schunck光流法是在光流基本約束方程的基礎(chǔ)上附加了全局平滑假設(shè)，使得泛函能量函數(shù)達(dá)到最小化。Lucas和Kanade使用局部平滑假設(shè)，假設(shè)一個(gè)窗口內(nèi)的所有像素具有相同的運(yùn)動(dòng)矢量。Nagel采用有向平滑約束假設(shè)，使用加權(quán)Hessian矩陣對(duì)梯度進(jìn)行不同方向上的平滑處理。微分法假設(shè)光流是連續(xù)的，再附加一定的約束條件，將光流的計(jì)算問(wèn)題轉(zhuǎn)化成最小化泛函能量的數(shù)學(xué)極值問(wèn)題[9]。

塊匹配法就是區(qū)域匹配，塊匹配光流計(jì)算就是計(jì)算相鄰兩幀圖像，相應(yīng)區(qū)域塊之間產(chǎn)生的最佳擬合位移[11]。假設(shè)有相鄰幀圖像1和圖像2，對(duì)于圖像1中的每個(gè)像素點(diǎn) ，以此像素為中心建立一個(gè)大小為16×16的相關(guān)窗口，再圍繞圖像中對(duì)應(yīng)點(diǎn) ，建立一個(gè)圖像搜索窗。相似性度量一般常用像素差平方和（SSD）、平均絕對(duì)誤差（MAD）以及均方差誤差函數(shù)（MSE）來(lái)進(jìn)行。最后通過(guò)搜索算法來(lái)確定使得誤差函數(shù)達(dá)最小值的位移即可求出近似的光流值[8][9]。

使用基于能量的方法來(lái)計(jì)算光流是利用調(diào)諧濾波器的輸出能量達(dá)到最大來(lái)計(jì)算光流，調(diào)諧濾波器是在頻域中進(jìn)行設(shè)計(jì)的，因而基于能量的方法也叫作基于頻率的方法 。

在計(jì)算光流的時(shí)候圖像上的相位信息往往比亮度信息更加可靠。所以利用相位信息獲得的光流場(chǎng)更加具有魯棒性。

2.3 HS光流算法

由于相關(guān)數(shù)學(xué)理論的成熟，使得基于微分的光流計(jì)算方法得到了迅速的發(fā)展。

Horn-Schunck通過(guò)添加平滑約束項(xiàng)構(gòu)造能量函數(shù)的基本思想來(lái)求解光流[12]。轉(zhuǎn)化為相關(guān)問(wèn)題的能量泛函的極限值的求解問(wèn)題。假設(shè)圖像具有連續(xù)性、平滑性的性質(zhì)，這就要求光流本身盡可能平滑，即

2.4 Lk 光流算法

LK光流算法不同于HS算法，LK假設(shè)在一個(gè)小的鄰域范圍內(nèi)，光流矢量保持不變，即在這個(gè)空間范圍內(nèi)所有的像素點(diǎn)都能夠采用光流的BCM來(lái)求解。最終采用最小二乘法來(lái)進(jìn)行擬合，計(jì)算出相鄰幀圖像光流的近似解[13]。

在一個(gè)小的空間領(lǐng)域Ω上，鄰域像素?fù)碛胁煌臋?quán)值大小，定義光流估計(jì)誤差為：

2.5 Weickert 算法

Weickert算法是一種基于變分的光流算法，數(shù)據(jù)項(xiàng)模型中采用灰度守恒假設(shè)與梯度守恒假設(shè)相結(jié)合[15]，提高了灰度守恒不適用的場(chǎng)合下的精度。算法中平滑項(xiàng)同樣引入非平方懲罰函數(shù)，結(jié)合數(shù)據(jù)項(xiàng)可以得到該變分算法的能量模型。在多分辨率分層計(jì)算過(guò)程中，Weickert 對(duì)傳統(tǒng)的多分辨率技術(shù)進(jìn)行改進(jìn)，引入一種變形理論（warping theory），提高了算法的精度。變形理論的主要思想是假設(shè)在金字塔第k 層有相鄰兩幀圖像k1和k2，其中圖像 k1 按照一定的采樣因子進(jìn)行分層，而圖像 k2利用上一層的初值進(jìn)行運(yùn)動(dòng)補(bǔ)償。

3光流的評(píng)價(jià)指標(biāo)

光流計(jì)算的評(píng)價(jià)指標(biāo)可以采用Barron使用的平均角誤差（AAE）和標(biāo)準(zhǔn)角誤差（STD）[14]以及EPE（平均端點(diǎn)誤差）其中，AAE的計(jì)算公式為：

EPE是一種對(duì)光流預(yù)測(cè)錯(cuò)誤率的一種評(píng)估方式，描述了所有像素點(diǎn)的標(biāo)準(zhǔn)光流場(chǎng)和預(yù)測(cè)出來(lái)的光流之間差別距離（歐氏距離）的平均值：

4光流計(jì)算存在的問(wèn)題

從光流計(jì)算提出至今，涌現(xiàn)出許多優(yōu)秀的算法和理論，使得光流計(jì)算在實(shí)時(shí)性和魯棒性上面都得到了很大的改善，但是現(xiàn)階段的光流計(jì)算還處于攻堅(jiān)克難的階段，光流的計(jì)算還存在著諸如精確度，可靠性，實(shí)時(shí)性，從實(shí)際問(wèn)題類型來(lái)看又可以分為：圖像大位移光流計(jì)算問(wèn)題、邊界遮擋情況光流計(jì)算、多目標(biāo)和復(fù)雜背景光流計(jì)算等情況。這些問(wèn)題的解決也是光流估計(jì)研究的主要方向，若能切實(shí)地解決好這些問(wèn)題定能夠推進(jìn)光流計(jì)算技術(shù)的快速發(fā)展，也能夠用其來(lái)解決更多的實(shí)際問(wèn)題。

5小結(jié)

本文從圖像序列光流的概念 出發(fā)，介紹了幾種經(jīng)典的光流計(jì)算方法，給出了兩種主要的光流計(jì)算評(píng)價(jià)指標(biāo)，指明了現(xiàn)階段光流計(jì)算中存在的一些問(wèn)題，為光流研究整理出了清晰的思路。

參考文獻(xiàn)：

[1] Gibson J J， The Perception of the Visual World （Riverside Press， Cambridge， 1950）.

[2] Gibson J J， The Senses Considered as Perceptual Systems （Houghton-Mifflin， Boston，MA.1966.

[3] 陳震.圖像序列光流計(jì)算技術(shù)及其應(yīng)用[M].北京：電子工業(yè)出版社，2012.

[4] 劉建. 圖像序列光流算法的研究[D]. 長(zhǎng)沙理工大學(xué)， 2014.

[5] 王弘毅. 基于計(jì)算機(jī)視覺(jué)的人體運(yùn)動(dòng)分析[D]. 北京交通大學(xué)， 2014.

[6] 盧宗慶. 運(yùn)動(dòng)圖像分析中的光流計(jì)算方法研究[D]. 西安電子科技大學(xué)， 2007.

[7] 陳震， 張聰炫. 基于圖像局部結(jié)構(gòu)的區(qū)域匹配變分光流算法[J]. 電子學(xué)報(bào)， 2015.

[8] 張起貴， 張妮. 一種改進(jìn)的基于全局最小能量泛函光流算法[J].中北大學(xué)學(xué)報(bào)， 2014（3）：330-336.

[9] 余聰. 基于塊匹配的光流計(jì)算方法研究[D]. 南昌航空大學(xué)， 2014.

[10] 張佳威， 支瑞峰. 光流算法比較分析研究[J]. 現(xiàn)代電子技術(shù)， 2013（13）：39-42.

[11] Horn B K P， Schunck B G. Determining optical flow[J]. Artificial Intelligence， 1981.

[12] Lucas B D， Kanade T. An iterative image registration technique with an application to stereo vision[C]// International Joint Conference on Artificial Intelligence. Morgan Kaufmann Publishers Inc. 1981.

[13] Nagel H H. On the Estimation of Optical Flow： Relations between Different Approaches and Some New Results.[J]. Artificial Intelligence， 1987.

[14] Bruhn A， Weickert J， Schn?rr C. Lucas/Kanade Meets Horn/Schunck： Combining Local and Global Optic Flow Methods[J]. International Journal of Computer Vision， 2005.

[15] Brox T， Malik J. Large Displacement Optical Flow： Descriptor Matching in Variational Motion Estimation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2011.

[16] Barron J L， Fleet D J， Beauchemin S S. Performance of optical flow techniques[C]// Computer Vision and Pattern Recognition， 1992. Proceedings CVPR '92. 1992 IEEE Computer Society Conference on. IEEE， 2002.

[17] 劉國(guó)鋒， 諸昌鈐. 光流的計(jì)算技術(shù)[J]. 西南交通大學(xué)學(xué)報(bào)， 1997（6）.

[18] Vesdapunt N， Sinha U. Comparison of Optimization Methods in Optical Flow Estimation[J]. 2016.

[19] 周建鋒. 基于光流的運(yùn)動(dòng)目標(biāo)檢測(cè)方法研究[D]. 哈爾濱工業(yè)大學(xué)， 2009.

【通聯(lián)編輯：梁書(shū)】