無人機對船舶目標(biāo)的改進CamShift跟蹤算法研究

(上海海事大學(xué) 信息工程學(xué)院，上海 201306)

引 言

隨著無人機技術(shù)的飛速發(fā)展，應(yīng)用目標(biāo)跟蹤技術(shù)對于無人機平臺而言已成為該技術(shù)發(fā)展的必然趨勢。而無人機在水域的檢測巡查功能也隨著我國航運業(yè)的大力發(fā)展越來越受到青睞。我國海上航運和內(nèi)河航運都十分發(fā)達，其中后者由于航道蜿蜒曲折、航線錯綜復(fù)雜等原因會出現(xiàn)很多視覺盲區(qū)，這加大了船舶的航行風(fēng)險，所以應(yīng)用無人機加強對內(nèi)河流域船舶的跟蹤巡查越來越得到廣泛應(yīng)用。目前無人機通常有4種常用的目標(biāo)跟蹤方法，其優(yōu)缺點如下：

① 卡爾曼濾波方法簡單，易于實現(xiàn)，具有良好的實時性,對類似的目標(biāo)干擾和目標(biāo)遮擋干擾非常有效[1]。然而，忽略非線性泰勒展開的高階項，導(dǎo)致估計誤差較大,初始狀態(tài)很難確定。如果初始狀態(tài)由誤差確定，則濾波器將發(fā)散,當(dāng)執(zhí)行長期跟蹤時，會發(fā)生顯著的誤差累積。

② Camshift算法計算簡單，計算量較少且速度快，因為Camshift的本質(zhì)就是局部檢測，在局部里檢測“密度”最大的位置[2]。Camshift的優(yōu)點有時候也正是其缺點，因為其簡單，所以對于復(fù)雜背景或者紋理豐富的物體跟蹤效果較差。因為Camshift是對直方圖反投影所形成的二值圖像進行處理的，如果背景較為復(fù)雜或者物體的紋理較為豐富，那么此二值圖像的噪聲就很多，這將直接干擾Camshift對物體位置的判斷。

③ 粒子濾波法可以應(yīng)用于任意非線性、非高斯系統(tǒng)，對相似目標(biāo)干擾和目標(biāo)遮擋干擾的魯棒性強。但是只有使用大量的樣本數(shù)據(jù)才能達到較好的跟蹤效果，這樣一來，必將導(dǎo)致算法的復(fù)雜化，從而導(dǎo)致粒子退化，時間一長跟蹤時就會有顯著的誤差累積現(xiàn)象。

④ 特征點匹配法因其強大的魯棒性而受到廣泛關(guān)注，并在醫(yī)學(xué)、航空航天等領(lǐng)域得到廣泛應(yīng)用。 然而，其中一個缺點是特征匹配算法隨著圖像復(fù)雜度的增加而降低了圖像匹配的快速性[3]。

由于卡爾曼濾波算法和粒子濾波算法存在誤差累積現(xiàn)象，長期跟蹤誤差會使算法失敗，因此不適合使用。因此，選擇CamShift算法作為目標(biāo)跟蹤算法?？紤]到CamShift算法跟蹤單個模板信息容易受到相似顏色背景圖像的干擾，故而提出了一種基于H和LBP二值模板的改進CamShift船舶目標(biāo)跟蹤算法。針對CamShift算法在目標(biāo)受到遮擋時魯棒性較差的問題,提出了一種基于改進CamShift融合局部特征匹配的無人機目標(biāo)跟蹤研究算法，提高了CamShift算法對相似顏色背景(或)目標(biāo)的干擾，并增加了對尺度變化和遮擋的魯棒性。

1 算法簡介

1.1 CamShift算法

CamShift算法是Continuously Adaptive Mean Shift algorithm的簡稱。它是一個基于MeanShift的改進算法[4]。首次由Gary R.Bradski等人提出和應(yīng)用在人臉的跟蹤上，并取得了不錯的效果。由于它是利用顏色的概率信息進行跟蹤，運行效率比較高。CamShift算法的過程由下面步驟組成：首先手動選取待跟蹤目標(biāo)區(qū)域，使用MeanShift顏色直方圖信息作為模板，再提取下一幀圖像的顏色直方圖，進行直方圖匹配，通過計算相似度獲得相似度密度分布圖，圖中的極值位置即為目標(biāo)位置。其具體步驟如圖1所示。

圖1 CamShift目標(biāo)跟蹤流程圖

1.2 BRISK局部特征匹配算法

BRISK算法采用如圖2所示的自定義鄰域采樣模式，采樣點等距離分布在以特征點為中心的40×40像素塊內(nèi)，構(gòu)建多個同心圓，共60個采樣點[5]。BRISK算法的粗略歸納：①生成圖像金字塔。②使用fast算法檢測角點。③對fast計算出的角點進行非最大值抑制，去掉不符合條件的角點。由于其旋轉(zhuǎn)不變性、尺度不變性和魯棒性性能較好，故本文選用BRISK局部特征匹配算法對CamShift算法加以改進。

圖2 BRISK領(lǐng)域采樣模式

2 本文算法

2.1 基于H和LBP二值模板的CamShift算法

目標(biāo)跟蹤過程中的良好跟蹤模板是可靠跟蹤的先決條件。 CamShift模板使用傳統(tǒng)的顏色概率分布[6]，即只計算HSV顏色模型中的H分量并將其用作模板，這導(dǎo)致在目標(biāo)跟蹤過程中，跟蹤特性是單一的。當(dāng)背景和目標(biāo)H值相似時，目標(biāo)的跟蹤精度會降低。通過引入S分量來形成H-S二維直方圖模板，改進了原始算法。 S和V分量用于組成三維直方圖跟蹤模板，但類似顏色背景干擾和干擾光變的抗干擾效果不明顯。本文考慮到紋理特征具有較強的穩(wěn)定性，在跟蹤模板中引入紋理特征，建立顏色和LBP紋理二維直方圖，改進了原始CamShift算法模板信息的單一性，容易出現(xiàn)顏色類似的背景干擾問題[7]。

LBP(Local Binary Pattern，即局部二值模式)是特征算子，專門用來描述圖像局部紋理特征,LBP算子具有旋轉(zhuǎn)不變性和層次不變性等顯著優(yōu)點。 LBP可以用作紋理特征的有效描述， 它將區(qū)域的中心像素與相鄰像素之間的差異二值化，從而生成局部二進制映射。 假設(shè)像素是I(x，y)，考慮3×3像素鄰域并且鄰域圖如圖3所示。

圖3 以I(x，y)為中心的3×3鄰域圖

以中心像素為閾值，對圖像像素點在鄰域內(nèi)進行二值化處理得到:

(1)

本文將H分量和H分量的紋理信息(LBP)共同組成目標(biāo)的跟蹤模板，顏色模板與候選模板的Bhattacharyya系數(shù)用pH表示，紋理模板與候選模板的Bhattacharyya系數(shù)用pLBP表示。跟蹤過程中H和LBP的反向投影分別表示為pH和pLBP，加權(quán)得到的合成反向投影如下所示：

(2)

可以看出，在跟蹤過程中，當(dāng)pH變小時，pH貢獻小，pLBP貢獻大[8]，反之同理。所以總的概率密度分布圖可以自適應(yīng)調(diào)整pH和pLBP的權(quán)值，增強了跟蹤算法的魯棒性。

2.2 基于改進CamShift融合局部特征匹配的無人機目標(biāo)跟蹤算法

針對CamShift算法容易遭受類似顏色對象和背景的干擾以及對尺度變化和遮擋敏感的問題，本文采用基于改進CamShift融合局部BRISK特征匹配的跟蹤算法。 當(dāng)CamShift跟蹤沒有失常時，BRISK算法不用介入。 當(dāng)CamShift跟蹤失常或者失敗，這兩個幀就是目標(biāo)，區(qū)域顏色直方圖差異很大，BRISK算法立即干預(yù)。 在匹配過程中，使用RANSAC算法來執(zhí)行錯配匹配點消除處理以獲得正確的匹配點對。 當(dāng)匹配成功時，目標(biāo)區(qū)域被標(biāo)記。 此時，CamShift跟蹤算法再次啟動，提取區(qū)域的顏色直方圖并繼續(xù)跟蹤[9]。

BRISK算法的引入增強了CamShift算法的抗干擾性。本文通過BH系數(shù)d(y)對目標(biāo)是否發(fā)生干擾進行判斷，BH系數(shù)可以作為兩個顏色直方圖的相似性度量方法,d(y)值越小，表示相似程度越大。設(shè)定一個閾T，當(dāng)d(y)>T，說明目標(biāo)發(fā)生嚴(yán)重干擾，此時引入BRISK算法，反之，不引入BRISK算法。d(y)的求解方式如下所述：

3 實驗結(jié)果與分析

本實驗是在VS2010開發(fā)平臺上，利用開源代碼OpenCV與VC++語言聯(lián)合編程實現(xiàn)的。其中硬件系統(tǒng)內(nèi)存為4 GB，硬盤為400 GB，操作系統(tǒng)為Windows7。實驗視頻選用大疆經(jīng)緯M100無人機拍攝視頻，分別對CamShift算法和改進算法目標(biāo)受相似目標(biāo)干擾下的目標(biāo)跟蹤和遮擋干擾下進行測試。

3.1 相似目標(biāo)干擾下的目標(biāo)跟蹤效果

本試驗采用黃浦江面上空對船舶的懸停拍攝視頻進行測試，試驗結(jié)果如圖4和圖5所示。

圖4 相似目標(biāo)干擾下的CamShift算法跟蹤圖

圖5 相似目標(biāo)干擾下的改進算法跟蹤圖

圖4和圖5分別是原始CamShift算法和本文改進算法對比效果圖。原始CamShift算法在顏色相似船舶經(jīng)過目標(biāo)船舶時，誤將顏色相似船舶判定為跟蹤目標(biāo)，這致使跟蹤目標(biāo)窗口發(fā)生了明顯的擴散，所以船舶目標(biāo)跟蹤效果變差。從圖5可以看出，經(jīng)過改進的CamShift算法面對同樣問題時，跟蹤窗口雖然也稍微出現(xiàn)擴散，但是其擴散效果明顯優(yōu)于未經(jīng)改善的CamShift算法，基本上達到了對目標(biāo)船舶跟蹤的精度要求。對目標(biāo)跟蹤準(zhǔn)確度的衡量標(biāo)準(zhǔn)采用BH系數(shù)表示[10]，其值范圍是[0,1]， 值與目標(biāo)模板與候選模板的相似程度呈現(xiàn)正相關(guān)性，即值越大，跟蹤準(zhǔn)確性越高。測試結(jié)果如圖6所示。由圖6可知，當(dāng)目標(biāo)船舶被顏色相似船舶干擾時，CamShift算法跟蹤框發(fā)生明顯變化，所以從圖上可以看出其BH系數(shù)降幅明顯，當(dāng)船舶目標(biāo)與相似顏色船舶相距較遠時，BH系數(shù)回到正常水平波動。本文改進跟蹤算法顯著增強了目標(biāo)在相似目標(biāo)干擾下的抗干擾性，BH系數(shù)在船舶目標(biāo)與干擾船舶相遇時也只發(fā)生了小幅度的變化。

圖6 相似目標(biāo)干擾情況下BH系數(shù)

3.2 遮擋情況下的目標(biāo)跟蹤

圖7 目標(biāo)遮掩下的CamShift算法跟蹤圖

本實驗采用黃浦江面上空對船舶的懸停拍攝視頻進行測試，測試結(jié)果如圖7和圖8所示。其中圖7是采用原始CamShift算法對視頻序列處理的效果圖，圖8是采用提出的改進算法對視頻序列處理的效果圖。從圖7可以看出，當(dāng)被跟蹤船舶目標(biāo)被較大船舶部分或者全部遮擋時，CamShift算法對目標(biāo)船舶的跟蹤效果下降明顯，表現(xiàn)為跟蹤框擴散明顯，甚至在第1600～1620幀之間跟蹤失敗。從圖8可以看出，改進算法對遮擋情況下的船舶目標(biāo)跟蹤具有良好的效果，由于目標(biāo)局部特征和顏色特征的共同定位增強了對船舶目標(biāo)遮擋的魯棒性，使跟蹤效果改善明顯。

圖8 目標(biāo)遮掩下的改進算法跟蹤圖

視頻跟蹤過程中有效跟蹤幀數(shù)與幀總數(shù)的比率由有效幀速率表示。 跟蹤算法的有效性通過使用有效幀速率來指示當(dāng)目標(biāo)被遮擋時船舶的跟蹤效果。 判斷某一幀是否為有效幀的方法可以采用BH系數(shù)法。 當(dāng)BH系數(shù)小于某個閾值時，該幀被認(rèn)為是一個跟蹤無效幀[11]。該實驗在第1550～1820幀一共測試270幀。 測試結(jié)果如表1所列。由表1可知，與原始CamShift算法相比，改進后的算法顯著提高了跟蹤精度，有效幀率增加了近10.7%。

表1 目標(biāo)遮擋情況下有效幀率表

結(jié) 語

[1] 李明鎖,井亮,鄒杰,等.結(jié)合擴展卡爾曼濾波的Cam-Shift 移動目標(biāo)跟蹤算法[J].電光與控制,2011,18(4):1-3．

[2] 楊輝,劉軍,阮松.基于MeanShift算法視頻跟蹤研究[J].計算機工程與設(shè)計,2013,34(6):2062-2066.

[3] 何林陽,劉晶紅,李剛,等.改進BRISK特征的快速圖像配準(zhǔn)算法[J].紅外與激光工程,2014,43(8):2722-2727.

[4] 杜凱.基于均值偏移算法的運動目標(biāo)跟蹤算法研[D].西安:長安大學(xué),2012.

[5] LEUTENEGGER S,CHLI M,SIEGWARTR.BRISK:Binary robust invariant scalable keypoints[C]//Proceedings of the IEEE International Conference on Computer Vision (ICCV)),2011.

[6] 田莘.基于MeanShift算法的目標(biāo)跟蹤問題研究[D].西安:西安科技大學(xué),2011.

[7] 宋曉琳,王文濤,張偉偉．基于LBP紋理和改進Cam-Shift算子的車輛檢測與跟蹤[J].湖南大學(xué)學(xué)報:自然科學(xué)版,2013,40(8):52-57.

[8] Alahi A,Ortiz R,Vandergheynst P.FREAK:Fast Retina Keypoint[C]//IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2012.

[9] 覃虎躍,支琤,徐奕.基于三維直方圖的改進CamShift目標(biāo)跟蹤算法[J].現(xiàn)代電子技術(shù),2014,37(2):29-33.

[10] 曹建,謝曉方,付霖宇,等.基于兩步位操作匹配的實時目標(biāo)識別跟蹤算法[J].彈箭與制導(dǎo)學(xué)報,2013,33(2):125-128.

[11] 劉玉.基于特征點的運動目標(biāo)跟蹤技術(shù)研究[D].南京:南京航空航天大學(xué),2011:38-46.