武俊， 郭捷， 邱衛(wèi)東， 徐鵬， 郭曼， 張菡

(上海交通大學電子信息與電氣工程學院，上海200240)

0 引言

圖像匹配在眾多視覺應用中是一個關鍵技術(shù)，本文通過攝像頭監(jiān)控的視頻流進行對特定目標的管控，最終也需要進行關鍵幀的圖像匹配，而匹配的效果直接影響到后續(xù)的分析處理的效果。特定目標的識別屬于靜態(tài)的圖像匹配，以圖像的特征點提取以及最小距離計算作為主要方法，尋找特定目標和給定場景的兩幅圖像中，同一場景點投影到特定目標圖像中的像素間的對應關系。Moravec采用角點算子來進行立體視覺匹配的實現(xiàn)，以此為基礎，Harris等人對這種角點算子進行了改進，其角點檢測算法具有旋轉(zhuǎn)不變和縮放不變等多種優(yōu)良特征，因此廣泛被應用于多種圖像匹配算法中，然而它對視角、照明、尺度變化較為敏感，沒有較強的抗噪聲能力[1]。之后David Lowe等人提出了具有尺度、視角、仿射、旋轉(zhuǎn)、光照不變性，且更加穩(wěn)定的SIFT(Scale invariant Feature Transform)特征算子[2]，其匹配點多而且穩(wěn)定的特點對于復雜環(huán)境下目標的識別也較為有利，該算子已經(jīng)廣泛應用于三維目標識別[3]、地圖生成[4]和末制導圖像匹配[5]等領域。針對不同應用和場景，SIFT算法也被不斷的優(yōu)化和改進且衍生出多種不同的改進算法[6－12]。本文利用SIFT算法對監(jiān)控視頻中的特定目標進行識別和管控，不但降低了人工成本和人工檢測的不確定性，極大解放了人力勞動，而且提高了對攝像頭的利用率，可以真正做到對安全關鍵區(qū)域的特定目標進行24小時的實時監(jiān)控和管理。

本文首先使用混合高斯背景建模進行場景識別，當場景中的情況滿足了需要匹配的條件，如場景中目標無管控人員在周圍管控之后，采用SIFT算法提取特定目標的特征點，然后進行特征點篩選及匹配，最后完成對特定目標的識別，并實現(xiàn)聯(lián)動報警，以此對特定目標達到實時管控保護的目的。該方法在大量實驗中證明了在特定場景下的可行性，且達到了較好的識別效果。

1 SIFT特征提取算法

SIFT算法通過在尺度空間進行特征檢測，并確定關鍵點的位置以及關鍵點所處的尺度，之后使用關鍵點鄰域梯度的主方向作為該點的方向特征，以實現(xiàn)算子對方向和尺度的無關性。從而得到具有多種優(yōu)良特質(zhì)的SIFT算子[2]。

1.1 尺度空間理論

尺度空間的生成是為了模擬圖像數(shù)據(jù)的多尺度特征，高斯卷積核是尺度變換的唯一線性核實現(xiàn)，以下公式(1)為一副二維圖像的尺度空間定義:

式(1)中，G(X，Y，σ)為尺度可變高斯函數(shù)，(x，y)是空間坐標，σ是尺度坐標。圖像的平滑程度由σ的大小決定，圖像的概貌特征由大尺度來對應，而圖像的細節(jié)特征由小尺度對應[2]。

具有尺度無關性的穩(wěn)定特征點的提取，需要在圖像的DoG(Difference of Gaussian)尺度空間和二維平面空間中同時檢測出局部極值點。DoG算子的定義如下:

其中，用k個高斯卷積核分別與二維圖像I(x，y)卷積，得到k幅具有不同尺度的圖像L(x，y，kσ)。最后將這k幅圖像中相鄰的兩幅兩兩相減，得到具有不同尺度的高斯差分圖像D(x，y，σ)。

圖1 高斯模糊圖像和差分圖像

在實際計算時，使用每組中相鄰上下兩層圖像相減，得到高斯差分圖像，如圖1所示，進行極值檢測。

1.2 檢測尺度空間極值點

如圖2所示，所有的采樣點都要與其相鄰的3層差分圖像中所有的相鄰點比較，來找到尺度空間的極值點，中間的檢測點和它同尺度的8個相鄰點以及上下9x2個總共26個點都要進行比較，若其在DoG尺度空間的三層(本層以及相鄰兩層)都是極值時，就定為圖像在該尺度下的一個特征點。

由于DoG算子會產(chǎn)生較強的邊緣效應，為了提高其抗噪聲能力、增強其匹配穩(wěn)定性，需要對三維二次函數(shù)進行擬合從而精準地對關鍵點的位置和尺度進行確定以達到亞像素的精度，并且同時將穩(wěn)定度不高的邊緣響應點以及對比度低的關鍵點進行排除。

圖2 相鄰3層差分圖像的極值點檢測

1.3 為關鍵點定義方向參數(shù)

特征算子的旋轉(zhuǎn)不變性來源于關鍵點的方向參數(shù)，這些方向參數(shù)通過關鍵點鄰域像素的梯度方向的分布特性來指定。

式(3)和式(4)分別為(x，y)梯度的模值公式和方向公式。每個關鍵點所在的尺度為公式中L的尺度。

選擇以關鍵點為核心的鄰域窗口，對這些窗口內(nèi)進行采樣，并采用直方圖統(tǒng)計的方法計算其中像素的梯度方向，以10°為一柱，共有36柱，從而梯度直方圖的范圍是0°～360°。離中心點越近的鄰域?qū)χ狈綀D的貢獻也相應增加，反之則減少。Lowe論文[1]中還提到將直方圖利用高斯函數(shù)進行平滑處理的方式，來減少由于突變而造成的影響。

1.4 生成關鍵點描述子

為了確保生成描述符的旋轉(zhuǎn)不變性和縮放不變性，將關鍵點鄰域繞著關鍵點的方向旋轉(zhuǎn)，且按關鍵的尺度進行縮放。再以關鍵點為中心取16x16的區(qū)域，并再分割為4x4個子區(qū)域，在所有子區(qū)域上對8個方向的梯度直方圖進行計算，繪制出每個梯度方向上的累加值，就能獲得一個種子點。由此一共生成了16個種子點，每個關鍵點就形成了一個128維的SIFT特征向量。為了進一步去除光照變化造成的影響，則可進一步歸一化特征向量的長度。使生成的描述符具有光照不變性。

2 特定目標識別管控算法

特定目標識別管控算法的流程如下圖3所示。

圖3 特定目標識別管控算法流程圖

2.1 場景內(nèi)運動目標檢測

要對設定的特定目標進行管控，首先要對受到攝像頭監(jiān)控的環(huán)境區(qū)域進行分析，判斷需要管控的目標是否處于無人監(jiān)管的場景。之后再進行對關鍵幀的下一步目標識別匹配處理。

目前背景建模主要的研究方法是對背景進行統(tǒng)計更新，常用的方法包括單高斯模型、混合高斯模型以及對他們的改進算法[13－15]?；旌细咚贡尘敖Ｊ潜尘敖ｎI域最常用的構(gòu)建算法。它是步態(tài)識別、視頻壓縮、行為分析等領域的重要研究內(nèi)容[16－19]。

在本文中，通過對視頻流中的監(jiān)控區(qū)域場景進行混合高斯背景建模，即背景圖像的每一個像素分別用K個高斯分布構(gòu)成的混合高斯模型來建模:

式(5)～(9)中，K的取值在3～5，在混合高斯模型中作為該高斯分布的個數(shù)?Xt表示在t時刻的像素值，本文中取其灰度值，一般情況下由RGB三色分量組成?ωi，t表示混合高斯模型中第i個高斯分布的權(quán)系數(shù)在t時刻的估計值?mi，t表示混合高斯模型中的第i個高斯分布在時刻t的均值向量?Σi，t表示在時刻t混合高斯模型中的第i個高斯分布的協(xié)方差矩陣?h表示高斯分布中的概率密度函數(shù)。

建模之后對混合高斯模型的參數(shù)進行更新。將混合高斯模型中的高斯分布的均值向量和權(quán)系數(shù)初始化為0，將一個較大初始值V0賦予協(xié)方差。對視頻監(jiān)控區(qū)域在t時刻的圖像幀中的每個像素值Xt以及其所對應的混合高斯模型進行匹配檢驗，若像素值Xt與混合高斯模型中第i個高斯分布Gi均值的距離低于其標準差的2.5倍，則定義該高斯分布Gi與像素值Xt匹配。

若檢驗出至少有一個高斯分布與像素值Xt在該像素混合高斯模型中匹配，則混合高斯模型的參數(shù)按以下規(guī)則進行更新:

1)對不匹配的高斯分布，其均值m和協(xié)方差矩陣Σ保持不變?

2)匹配的高斯分布Gi的均值m和協(xié)方差矩陣Σ按公式(10)(11)(12)更新:

其中:

a為參數(shù)估計的學習速率。

K個高斯混合分布根據(jù)w/｜?｜的值從大到小進行排序，一般采用前B個高斯分布建立背景模型，作為背景像素的最佳描述。式(13)中，T為預定的閾值(0.5≤ T≤1)?

從t時刻開始檢驗每一個像素值Xt與式(13)得到的B個高斯分布的匹配關系，如果與其中之一匹配，則該像素點為背景點，否則為前景。

計算監(jiān)控區(qū)域圖像幀中關鍵區(qū)域中的前景背景比例，來判斷場景中是否存在需要進行管控的情況。

如下圖4所示:

圖4 判定場景情況流程圖

其中判定的閾值根據(jù)實際監(jiān)控場景情況設定。

判定場景內(nèi)情況后進行下一步識別。

2.2 特定目標特征提取

本文的特定目標識別方法使用的是圖像匹配的方法，因此首先需要對識別的特定目標物體進行圖像提取，獲得目標的圖像后進行SIFT特征提取。并在之后的特征匹配和識別處理中使用該目標的SIFT特征。以U盤為例，對于圖中的特定目標進行了SIFT特征提取，如下圖5所示。

圖5 特定目標的SIFT特征提取

2.3 特征匹配和識別處理

在每一個SIFT特征位置上，會有一個確定的特征尺度和方向。在提取獲得SIFT特征后采用FLANN(Fast Library for Approximate Nearest Neighbors)方法進行匹配[20]，F(xiàn)LANN是一個能在高維空間中進行快速的最近鄰域搜索的算法。使用該算法能有效提高搜索速率。

通過RANSAC(Random Sample Consensus)算法[21]減少錯誤匹配，該算法的基本假設是:數(shù)據(jù)由“局內(nèi)點”組成，數(shù)據(jù)的分布可以用一些模型參數(shù)來解釋。不能適應該模型的數(shù)據(jù)為“局外點”。除此之外的數(shù)據(jù)屬于噪聲。利用該算法去除明顯錯誤的匹配點，從而確定準確的仿射模型。流程如圖6所示。

圖6 特定目標匹配及識別流程圖

在余下匹配的關鍵點對中，當匹配對的數(shù)量大于一個根據(jù)實際情況圖像情況定義的閾值之后，就可以認為找到了需要匹配的特定目標。

3 實驗結(jié)果

通過使用上章所述的特定物品識別管控方法，對一些特定重要物品如平板電腦、手機、移動硬盤、U盤等進行了實驗。實驗使用python 2.7.3、opencv 2.4.8、numpy 1.8.2等開發(fā)軟件在windows7系統(tǒng)環(huán)境下對算法進行了實現(xiàn)。

實驗環(huán)境對監(jiān)控攝像頭的清晰度有一定的要求，本文中的攝像頭使用的是HIKVISION海康威視的監(jiān)控攝像頭，型號為DS－2CD2032D－I，幀率25fps(1920 × 1080)。

3.1 場景內(nèi)目標檢測

實驗中利用混合高斯背景建模對場景中是否存在運動目標進行檢測，如圖7～圖8所示:

圖7 場景中檢測到運動目標

圖8 場景中未檢測到運動目標

3.2 SIFT特征提取及匹配

在實際實驗過程中，不同特定物體由于大小，幾何形狀，視頻流中的截圖和原目標圖像目標的差異，所獲得的SIFT特征點數(shù)量有所不同，如表1所示:

表1 部分特定目標平均特征點及識別率

SIFT特征及部分匹配識別效果如下圖9－圖12所示:

圖9 平板電腦識別效果圖

圖10 手機識別效果圖

圖11 移動硬盤識別效果圖

圖12 U盤識別效果圖

由上述實驗可以得知，本文中提出的特定目標識別管控方法對于類似小型移動存儲設備的識別效果較好，能有效的在攝像頭監(jiān)控區(qū)域中識別出特定目標。

4 結(jié)語

本文將圖像匹配領域的目標匹配識別技術(shù)應用于通過視頻監(jiān)控來進行特定物品的安全識別管控上，采用混合高斯背景建模的方法來判斷場景能人物監(jiān)管情況，并在各類小型存儲設備圖像中應用了SIFT算法，有效提取到了設備的圖像特征，為這些特定小型目標的識別管理提供了一種方法。對于不同的目標物體，這種基于SIFT應用的識別匹配方法所匹配的特征點數(shù)量有一定差異，識別效果一定程度上受到目標本身的形狀特征影響，如何降低目標本身的特征對于匹配算法的影響，進一步提高識別率是下一步的研究重點。

[1] LOWE D G.Distinctive Image Features from Scale－Invariant Keypoints[J].Int′l J.Computer Vision，2004，2(60):91－110.

[2] LOWE D G.Object Recognition from Local Scale－Invariant Features[C]//International Conference on Computer Vision，1999:1150－1157.

[3] HELMER S，LOWE D G.Object Recognition with Many Local Feature[C]//Workshop on Generative Model Based Vision 2004(GMBV)，2004.

[4] STEPHEN S， LOWE D G，LITTLE J J.Vision－based Global Localization and Mapping for Mobile Robots[J].IEEE Transactions on Robotics， 2005，21(3):364－375.

[5] 邸男，李桂菊，魏雅娟.采用SIFT的末制導圖像匹配技術(shù)[J].紅外與激光工程，2011，40(8):1590－1593

[6] 楊新鋒，滕書華，夏東.基于空間迭代的SIFT特征圖像匹配算法[J].紅外與激光工程.2013，42(12):3497－3501.

[7] 紀華，吳元昊，孫宏海，等.結(jié)合全局信息的SIFT特征匹配算法[J].光學 精密工程，2009，17(2):440－444.

[8] 鄭永斌，黃新生，豐松江.SIFT和旋轉(zhuǎn)不變LBP相結(jié)合的圖像匹配算法[J].計算機輔助設計與圖形學學報，2010，22(2):287－292.

[9] BASTANLAR Y，TEMIZEL A，YARDIMCIY.Improved SIFT Matching for Image Pairswith Scale Difference[J].Electronics Letters， 2010， 46(5):346－U4867.

[10] 張靜，桑紅石.基于初始尺度變換的SIFT匹配算法[J].紅外與毫米波學報，2014，40(8):178－182

[11] 張潔玉，朱近，夏德深.基于SIFT特征點匹配的應刷品圖像檢測方法[J].江南大學學報，2007，12(6):850－854.

[12] 湯井田，王凱，肖嘉瑩.基于SIFT特征檢測的醫(yī)學顯微圖像自動拼接[J].計算機工程與應用，2007，43(35):243－244.

[13] STAUFFER C，GRIMSONW E L.Adaptive Background Mixture Models for Real－Time Tracking[C]//Proceedings of 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(Cat.No PR00149)，IEEE Comput Soc，1999.

[14] HAN Yan－xiang， ZHANG Zhi－sheng， CHEN fang， etal.An Efficient Approach for Shadow Detection Based on Gaussian Mixture Model[J].Journal of Central South University of Technology，2014，21(4):1385－1395.

[15] ELGAMMAL A， HARWOOD D， Davis L S.Non－parametric Model for Background Subtraction[J].European Conf Computer Vision，2000，2:751－767.

[16] 王永中，梁顏，潘泉，等.基于自適應混合高斯背景模型的時空背景建模[J].自動化學報，2009，35(4):371－378.

[17] APEWOKIN S，VALENTINE B，CHOIJ，etal.Real－Time A-daptive Background Modeling for Multicore Embedded Systems.Springer Journal of Signal Processing Systems， 2011，62(1):65－76

[18] ZHANG Jing， GAOWei， LIU An－an， etal.Modeling Approach of the Video Semantic Events Based on Motion Trajectories[J].Electronic Measurement Technology，2013，36(9):31－40.

[19] STAUFFER C，GRIMSONW E L.Learning Patterns of Activity Using Real－Time Tracking[J].IEEE Transactions 0n Pattern Analysis＆Machine Intelligence，2000，22(8):747－757.

[20] HuangSONG－ling， HAO Kuan－sheng， ZHAOWei.New Improved FLANN Approach for Dynamic Modeling of Sensors[C].//International Conference on Modelling，Identification and Control，2008.

[21] XU M，LU J.Distributed RANSAC for the Robust Estimation of Three－dimensional Reconstruction[J].IET Comput Vis，2012，4(6):324－333.