姜哲穎，周華兵，劉姣

武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205

SIFT特征匹配和VFC算法的電子穩(wěn)像技術(shù)

姜哲穎，周華兵*，劉姣

武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205

為了處理較為模糊的抖動視頻，提出了一種基于尺度不變特征轉(zhuǎn)換（SIFT）的特征匹配和向量場一致（VFC）優(yōu)化算法的電子穩(wěn)像技術(shù).該技術(shù)著重于研究視頻的運(yùn)動估計(jì)階段，利用SIFT提取高獨(dú)特性的特征點(diǎn)，根據(jù)特征點(diǎn)進(jìn)行幀間匹配，結(jié)合VFC，通過向量場的學(xué)習(xí)將外點(diǎn)從內(nèi)點(diǎn)區(qū)分開來，得到兩幀圖像中特征序列的平移軌跡，然后估算出運(yùn)動補(bǔ)償向量并校正每一幀圖像的相對位置，從而輸出穩(wěn)定視頻．實(shí)驗(yàn)表明，該電子穩(wěn)像技術(shù)處理抖動視頻時精度高和耗時短.

運(yùn)動估計(jì)；向量場一致性；電子穩(wěn)像

0 引言

近年來，穩(wěn)像技術(shù)得到廣泛的應(yīng)用，無論是航空、車載、船艦上，為了獲得清晰不晃動的視頻，穩(wěn)像技術(shù)都可以用來消除載體不穩(wěn)定所引起的視頻抖動［1］.穩(wěn)像技術(shù)一般分為三種：機(jī)械穩(wěn)像、光學(xué)穩(wěn)像和電子穩(wěn)像，從各方面的考慮，包括體積小、操作方便、可移植性強(qiáng)、實(shí)時性等，電子穩(wěn)像技術(shù)得到更多的普及.電子穩(wěn)像技術(shù)大體分為三步：運(yùn)動估計(jì)，運(yùn)動濾波和運(yùn)動補(bǔ)償.本文大部分的工作集中于運(yùn)動估計(jì)中.處理運(yùn)動估計(jì)有基于灰度和基于特征的方法［2］：基于灰度的方法可以得到精確的結(jié)果，但要處理所有的像素點(diǎn)而耗時太多；提取圖像特征的方法處理速度快，然而精度又得不到保證.對于特征匹配，可以查閱到豐富的文獻(xiàn)資料，角點(diǎn)匹配，邊緣模型匹配，SIFT點(diǎn)匹配，MSER特征匹配，KLT特征追蹤等［3］，在處理較為模糊的圖片時，SIFT點(diǎn)匹配的優(yōu)勢就更為明顯.在匹配的過程中，消除產(chǎn)生的誤匹配，很多用到最小二乘法，然而當(dāng)數(shù)據(jù)里有很多外點(diǎn)的情況，該方法處理得并不好.在此，就用到向量場優(yōu)化算法，向量場一致性是在希爾伯特空間中基于吉洪諾夫正則化，保持向量場的平滑性.在貝葉斯框架下，將每個樣點(diǎn)與潛在變量相結(jié)合來判斷是否為內(nèi)點(diǎn)，然后構(gòu)建成后驗(yàn)概率問題，通過EM算法求解.運(yùn)動估計(jì)過程由局部向量估計(jì)得到全局運(yùn)動向量，就可以進(jìn)行運(yùn)動濾波和運(yùn)動補(bǔ)償，從而得到穩(wěn)定清晰的輸出圖像［4］.

1 SIFT算法的實(shí)現(xiàn)

尺度不變特征轉(zhuǎn)換能夠從圖像中提取高度獨(dú)特的不變特征，這些特征被用在不同的圖像里針對相同對象進(jìn)行匹配.最初提取這些特征是為了對象識別：將樣例圖片中檢測到的特征與由眾多不同視角中提取的特征而組成的數(shù)據(jù)庫進(jìn)行匹配.

SIFT算法需要獲得全方位的大量特征，主要階段是對一系列的圖像特征的計(jì)算：尺度空間極值檢測、關(guān)鍵點(diǎn)的精確定位、方向賦值、描述算子的計(jì)算［5］.

圖像處理中，避免不穩(wěn)定的特征非常重要，運(yùn)動估計(jì)算法需要高度獨(dú)特的特征，而誤匹配往往會影響算法的準(zhǔn)確性.對于去除誤匹配，這里用到向量場一致性算法［6］（VFC）.

2 基于VFC的去除誤匹配

最小二乘法經(jīng)常被用來處理去除特征的外點(diǎn)，但是當(dāng)外點(diǎn)過多時，處理效果不甚明顯.VFC算法有很強(qiáng)的魯棒性，能夠處理含90%外點(diǎn)的特征圖像.

2.1 問題公式化

式（1）中θ={f,σ2,γ}是含未知參數(shù)的集合，XN×P＝（x1，…，xN）T，YN×D＝（y1，…，yN）T，Vn＝f（xn）．

考慮到平滑性的約束，先驗(yàn)f可寫為：

結(jié)合式（1）和式（2），其后的分布p（θ｜X，Y）∝p（X｜Y，θ）p（f）估算出來.

為了得到最佳的θ，假設(shè)一個θ*為

θ*對應(yīng)真正的θ，從而得到f.然后運(yùn)用EM方法來討論f減少對外點(diǎn)的影響.

2.2 EM方法

EM算法分為兩步，一是期望步驟，另一個是最大化步驟.

首先，將樣點(diǎn)n賦予一個變量Zn∈｛0，1｝，當(dāng)Zn＝1，代表高斯分布；當(dāng)Zn＝0，代表平均分布.根據(jù)EM算法的標(biāo)準(zhǔn)步驟，并且忽略與θ獨(dú)立的項(xiàng)，得到：

可以通過把Zn視為混合模型中缺失的數(shù)據(jù)來實(shí)現(xiàn)最大化.

期望步驟：P＝diag（P1，…，Pn），其中Pn=P（zn= 1|xn,yn,θold）可以通過貝葉斯法則來計(jì)算：

最大化步驟：定義修正的參數(shù)估計(jì)為θnew，θnew＝arg maxθQ（θ，θold）．考慮到P是對角矩陣，將Q（θ）對σ2求導(dǎo)并置為零，得到：

其中tr（·）是矩陣的跡.將Q（θ）對γ求導(dǎo)并置為零，得到：

高斯部分的混合系數(shù)γ通過后驗(yàn)概率的均值得到.

EM算法收斂后，應(yīng)該對樣點(diǎn)是否為內(nèi)點(diǎn)做一個判斷.設(shè)定閾值τ，可以得到內(nèi)點(diǎn)集T＝｛n｜Pn＞τ，n＝1，…，N｝，這個集合T就是隨機(jī)采樣一致性中的一致性.

2.3 向量場正則化

考慮到式（4）中Q與f相關(guān)的項(xiàng)，并把它們乘以－1，得到一個能量函數(shù)：

這個能量函數(shù)是一個吉洪諾夫正則化的向量值的推廣，其中第一項(xiàng)可以看成是權(quán)值經(jīng)驗(yàn)誤差.

使用向量值表現(xiàn)定理，對f的最優(yōu)化有如下形式：

3 穩(wěn)像步驟及實(shí)驗(yàn)結(jié)果

利用SIFT算法計(jì)算幀間圖像的關(guān)鍵點(diǎn)，以及匹配點(diǎn)對.

結(jié)合VFC優(yōu)化算法，去除誤匹配，根據(jù)準(zhǔn)確的幀間匹配關(guān)系估算出全局運(yùn)動向量.

由全局運(yùn)動向量估算出運(yùn)動補(bǔ)償向量并校正每一幀圖像的相對位置，從而輸出穩(wěn)定視頻.

從一段較為抖動的視頻圖像中，選取了4張連續(xù)幀圖像進(jìn)行特征匹配實(shí)驗(yàn).

圖1是平直公路上汽車行駛，由于后方拍攝工具的不穩(wěn)定而引起的視頻抖動，從視頻中提取前4幀圖像，分別對圖像幀進(jìn)行SIFT特征提取后和VFC的優(yōu)化算法去除誤匹配，能夠得到如圖2所示兩兩之間較為準(zhǔn)確的匹配關(guān)系.

圖1 抖動視頻中4張連幀圖Fig.1 Four successive frames of the shaky video

圖2中的4幀圖像里，分別對1＆2、1＆3、1＆4進(jìn)行了匹配，從而可以得到幀間運(yùn)動向量，即可獲知兩幀圖像之間的相對運(yùn)動，然后就可以估計(jì)出運(yùn)動補(bǔ)償圖像.圖3中可以看出，由局部到整體，多張運(yùn)動補(bǔ)償圖像幀即可輸出穩(wěn)定視頻圖像.

圖2 圖像幀之間的匹配關(guān)系Fig.2 The matching relationship between image frames

圖3 處理合成后的穩(wěn)定幀F(xiàn)ig.3 Composite steady frame

4 結(jié)語

基于SIFT特征匹配與VFC優(yōu)化算法的穩(wěn)像技術(shù)，主要針對運(yùn)動估計(jì)過程，將幀間圖像的匹配達(dá)到高精度而得到清晰的輸出視頻.在實(shí)時性與高精度兩者間取得了較為合適的搭配，各取所長、不失偏頗，也是處理視頻抖動研究中一個小的進(jìn)步.當(dāng)然，不足之處在于還未與其他方法作直觀的對比，和未對實(shí)驗(yàn)結(jié)果進(jìn)行更為客觀的評價，如幀間保真度、峰值信噪比，并且時間復(fù)雜度相對較大，這些問題將在之后作進(jìn)一步研究.

致謝

感謝湖北省教育廳對本研究的支持！

［1］張躍飛．車載攝像機(jī)數(shù)字穩(wěn)像技術(shù)研究［M］．成都：電子科技大學(xué)，2011．

ZHANG Yue－fei．The research of the digital image stabilizationtechnologyfortheIn-Carcameras［M］．Chengdu：University of Electronic Science and Technology of China，2011．（in Chinese）

［2］KUMAR S，AZARTASH H，BISWAS M，et al．Realtime affine global motion estimation using phase corre-lation and its application for digital image stabilization［J］.IEEE Trans Image Process，2011，20（12）：3406－3418．

［3］OKADE M，BISWAS P K.Video stabilization using maximally stable extremal region features［J］．Multimedia Tools Appl，2014，68（3）：947－968．

［4］王海暉，盧培磊，吳云韜，等．無參考視頻平滑度的評價方法［J］．武漢工程大學(xué)學(xué)報(bào)，2015，37（6）：56－62．

WANG Hai－h(huán)ui，LU Pei－lei，WU Yun－tao，et al．Evaluation method of no－reference video smoothness［J］. Journal of Wuhan Institute of Technology，2015，37（6）：56－62．（in Chinese）

［5］BATTIATO S，GALLO G，PUGLISI G，et al．SIFT features tracking for video stabilization［J］.IEEE Computer Society，2007，27（5）：825－830．

［6］ZHAO Ji，MA Jiayi，JIN Wen et al．A robust method for vector field learning with application to mismatch removing［J］．Computer Vision and Pattern Recognition（CVPR）2011 IEEE Conference on，2011，30（6）：2977－2984．

Electronic Image Stabilization Based on SIFT Matching and VFC

JIANG Zhe－ying，ZHOU Hua－bing，LIU Jiao
School of Computer Science and Engineering，Wuhan Institute of Technology，Wuhan 430205，China

To process the blurry shaky video，electronic image stabilization based on scale invariant feature transform（SIFT）matching and vector field consensus（VFC）was proposed，which is mainly applied to video motion estimation．First，SIFT was used for extracting highly distinctive invariant feature and setting up the initial feature matching．Then，by the vector field consensus algorithm，we distinguished inliers from outliers and obtained the characteristics of translational trajectory in sequence of two video frames．Finally，we estimated the motion compensation to correct the relative position of every video frame by trajectory．Experiment results show the advantages of the method in precision and efficiency．

motion estimation；vector field consensus；electronic image stabilization

TP391

A

10.3969/j.issn.1674-2869.2015.09.008

1674－2869（2015）09－0045－05

本文編輯：陳小平

2015－08－28

湖北省教育廳科學(xué)技術(shù)研究項(xiàng)目（Q20151503）

姜哲穎（1991-），男，湖北武漢人，碩士研究生.研究方向：數(shù)字圖像處理.*通信聯(lián)系人.