常發(fā)亮，李江寶

(山東大學(xué)控制科學(xué)與工程學(xué)院，濟(jì)南250061)

在由多個(gè)攝像機(jī)構(gòu)成的視頻監(jiān)控網(wǎng)絡(luò)系統(tǒng)中，當(dāng)目標(biāo)從一個(gè)攝像機(jī)的視野進(jìn)入另一個(gè)攝像機(jī)的視野時(shí)，如何正確地調(diào)度多個(gè)攝像機(jī)以實(shí)現(xiàn)目標(biāo)的準(zhǔn)確跟蹤與交接，是當(dāng)前目標(biāo)跟蹤領(lǐng)域研究的熱點(diǎn)和難點(diǎn)，許多學(xué)者進(jìn)行了這方面的研究。Bellotto等［1］實(shí)現(xiàn)了一個(gè)基于靜態(tài)和PTZ攝像機(jī)相結(jié)合的智能監(jiān)控系統(tǒng)，從其實(shí)驗(yàn)結(jié)果看，該系統(tǒng)很好的利用了靜態(tài)攝像機(jī)和PTZ攝像機(jī)的組合性能。Chen等［2］提出一種在沒有公共視野區(qū)域的多攝像機(jī)網(wǎng)絡(luò)中進(jìn)行目標(biāo)連續(xù)跟蹤的自適應(yīng)學(xué)習(xí)方法，該方法利用目標(biāo)的時(shí)空信息和表觀信息進(jìn)行目標(biāo)特征的學(xué)習(xí)，相比于傳統(tǒng)的基于目標(biāo)特征塊的學(xué)習(xí)方法只能實(shí)現(xiàn)短時(shí)跟蹤而言，該方法可達(dá)到對目標(biāo)的長時(shí)間跟蹤，并且考慮到了目標(biāo)交接時(shí)的光照變化帶來的影響等，該方法是基于靜態(tài)攝像機(jī)的。Kettnaker等［3］則針對多攝像機(jī)監(jiān)控中目標(biāo)交接路徑的確定問題，提出了一種貝葉斯模型，采用最優(yōu)化的方法獲得目標(biāo)路徑的最大后驗(yàn)概率解作為進(jìn)行目標(biāo)交接時(shí)的依據(jù)。Ser－Nam等［4］提出一種基于圖像的云臺攝像機(jī)轉(zhuǎn)動(dòng)位置定位方法，首先為每個(gè)攝像機(jī)確定一個(gè)基點(diǎn)，然后在跟蹤目標(biāo)的過程中根據(jù)多個(gè)攝像機(jī)之間相對于基點(diǎn)的幾何變換來計(jì)算云臺的轉(zhuǎn)動(dòng)位置。Slawomir等［5］采用一種基于目標(biāo)空間分布相關(guān)性的方法實(shí)現(xiàn)跟蹤目標(biāo)的重定位，目標(biāo)的分塊特征采用HOG算法獲得。基于幾何拓?fù)潢P(guān)系的方法，因?yàn)槠淠Ｐ秃唵尾⑶铱刹捎秒x線統(tǒng)計(jì)學(xué)習(xí)或者人工方式建立拓?fù)淠Ｐ停晕瞬簧傺芯空叩淖⒁猓?－8］。文獻(xiàn)［9］從有無公共視野區(qū)的角度對近年來拓?fù)潢P(guān)系估計(jì)方法進(jìn)行了總結(jié)比較，對多個(gè)攝像機(jī)視頻中同一目標(biāo)的運(yùn)動(dòng)路徑進(jìn)行統(tǒng)計(jì)，在建立攝像機(jī)拓?fù)淠Ｐ偷耐瑫r(shí)也建立了目標(biāo)的運(yùn)動(dòng)路徑概率圖模型。

這些方法大多是基于靜態(tài)攝像機(jī)建立的拓?fù)淠Ｐ?，所以只需要判斷目?biāo)是否到達(dá)攝像機(jī)視野中的固定的交接位置即可判斷是否需要進(jìn)行交接。在多PTZ攝像機(jī)主動(dòng)目標(biāo)跟蹤時(shí)，云臺、鏡頭方向等隨跟蹤目標(biāo)發(fā)生變化，這給交接判斷帶來了困難。筆者對多攝像機(jī)下的接力攝像機(jī)調(diào)度策略和在線特征學(xué)習(xí)進(jìn)行了研究，提出了一種復(fù)雜大場景下基于拓?fù)淠Ｐ秃吞卣鲗W(xué)習(xí)的多攝像機(jī)調(diào)度和目標(biāo)接力跟蹤策略［10］。

1 目標(biāo)交接時(shí)刻和位置確定方法

1.1 攝像機(jī)場景地圖模型

要采用目標(biāo)背景估計(jì)的方法確定交接時(shí)刻和位置需要首先建立每個(gè)攝像機(jī)視野的空間場景地圖，在地圖中標(biāo)記出感興趣區(qū)域(Rmap)，感興趣區(qū)域可以是多個(gè)攝像機(jī)之間的公共交接區(qū)，也可是攝像機(jī)的視野極限區(qū)域。

設(shè)PTZ攝像機(jī)有3個(gè)自由度:云臺水平轉(zhuǎn)動(dòng)角α，β豎直俯仰角，鏡頭伸縮倍數(shù)k，某一時(shí)刻該攝像機(jī)的鏡頭位置可以表示為p(α，β，k)。

假設(shè)在位置p(α，β，k)處攝像機(jī)成像畫面中提取的場景特征為fp，這樣就可用畫面中的場景特征來表示該位置，即:

對PTZ攝像機(jī)在活動(dòng)范圍內(nèi)的所有畫面都進(jìn)行場景特征提取就可以建立該攝像機(jī)的活動(dòng)視野空間場景地圖

其中αm和αM表示給定絕對0位置時(shí)α的最小和最大活動(dòng)角，對β和k類似。

基于式(2)可通過大量的場景特征建立該攝像機(jī)的視野空間場景地圖。

1.2 目標(biāo)交接時(shí)刻和位置確定

如果將攝像機(jī)之間的公共視野區(qū)以及視野極限區(qū)域標(biāo)記為感興趣位置proi(x，y，z)，則可將這些位置用在該位置的畫面場景特征表示:

其中n為感興趣位置的個(gè)數(shù)。

在跟蹤過程中，實(shí)時(shí)采集目標(biāo)背景的特征fcur到場景地圖中去匹配，從而估計(jì)目標(biāo)當(dāng)前所處的位置。如果當(dāng)前背景特征fcur與某個(gè)感興趣位置的特征匹配(fcur≈)，則可判斷目標(biāo)當(dāng)前位于第k個(gè)感興趣位置處，可根據(jù)該位置的相關(guān)標(biāo)記信息執(zhí)行相應(yīng)的動(dòng)作，如果將該位置設(shè)置為目標(biāo)交接的觸發(fā)位置，就開始目標(biāo)交接的接力攝像機(jī)的調(diào)度。

圖1為標(biāo)記出ROI的監(jiān)控場景圖。圖2為跟蹤目標(biāo)過程中的匹配實(shí)驗(yàn)結(jié)果，圖2右下角的數(shù)字給出了匹配良好的特征個(gè)數(shù)Nmatch與ROI中的總的特征個(gè)數(shù) Nroi的比率 Pmatch=Nmatch/Nroi。圖2(a)119幀時(shí)開始進(jìn)行場景的估計(jì)，從Pmatch的數(shù)值看出，此時(shí)匹配特征的個(gè)數(shù)很少，說明目標(biāo)所處的場景不是在ROI中;162幀(圖2(b))時(shí)從圖中標(biāo)出的方框可見已經(jīng)有部分Rcur進(jìn)入ROI中，此時(shí)Pmatch=0.203;201幀(圖2(c))時(shí)可見大部分的 Rcur已經(jīng)進(jìn)入 ROI，此時(shí)有 Pmatch=0.448; 228幀(圖2(d))時(shí)，匹配率達(dá)到最大Pmatch= 0.621，此時(shí)Rcur已經(jīng)完全進(jìn)入ROI中。

當(dāng)匹配率超過40%，進(jìn)入ROI的目標(biāo)背景已經(jīng)有大約82%。如果對匹配率設(shè)置一個(gè)閾值Tmatch就可判斷目標(biāo)是否進(jìn)入ROI，當(dāng)Pmatch＞Tmatch時(shí)認(rèn)為目標(biāo)需要執(zhí)行交接。

圖1 標(biāo)記出ROI的監(jiān)控場景圖Fig.1 Mark ROImonitoring scene graph

圖2 跟蹤過程中目標(biāo)背景估計(jì)的圖像序列Fig.2 The target background estimation image sequence in the tracking process

2 多攝像機(jī)跟蹤調(diào)度與特征學(xué)習(xí)算法

2.1 拓?fù)淠Ｐ徒?/h3>

對于固定在建筑物上的PTZ攝像機(jī)，雖然其鏡頭可上下左右運(yùn)動(dòng)以及變倍伸縮，但是其云臺是固定的，也就是空間幾何位置是不變的，將攝像機(jī)和場景中目標(biāo)可能運(yùn)動(dòng)路徑的極遠(yuǎn)點(diǎn)(即攝像機(jī)視野外的點(diǎn))抽象為拓?fù)鋱D節(jié)點(diǎn)，則對整個(gè)監(jiān)控場景進(jìn)行拓?fù)涑橄蠼：罂色@得其拓?fù)鋱D連接，如圖3所示。

圖3 監(jiān)控場景的拓?fù)鋱DFig.3 M onitoring topology m ap of the scene

模型中有公共視野區(qū)的兩個(gè)攝像機(jī)節(jié)點(diǎn)是鄰接的，沒有公共視野區(qū)的攝像機(jī)之間通過極遠(yuǎn)點(diǎn)節(jié)點(diǎn)連接，超出監(jiān)控網(wǎng)絡(luò)的極遠(yuǎn)點(diǎn)只與其對應(yīng)的攝像機(jī)節(jié)點(diǎn)連接。

為利用跟蹤目標(biāo)的空間位置、運(yùn)動(dòng)特征等，將每個(gè)節(jié)點(diǎn)的鄰接節(jié)點(diǎn)相對于本節(jié)點(diǎn)的空間方向作為連接線方向，則拓?fù)淠Ｐ妥優(yōu)橐粋€(gè)有向拓?fù)溥B接圖。圖4所示為實(shí)驗(yàn)環(huán)境的拓?fù)淠Ｐ?。圖4中N0～N3為攝像機(jī)節(jié)點(diǎn)，N4～N13為視野極遠(yuǎn)節(jié)點(diǎn)，圖4中同時(shí)標(biāo)出了鄰接節(jié)點(diǎn)相對于每個(gè)節(jié)點(diǎn)的方向。

圖4 實(shí)驗(yàn)環(huán)境的拓?fù)淠Ｐ虵ig.4 Topology model of the experimental environment

2.2 基于拓?fù)淠Ｐ偷亩鄶z像機(jī)調(diào)度算法

利用PTZ攝像機(jī)的預(yù)置位功能，將攝像機(jī)對應(yīng)鄰接節(jié)點(diǎn)的位置設(shè)置為預(yù)置位。假設(shè)在攝像機(jī)節(jié)點(diǎn)Ninit跟蹤目標(biāo)的過程中通過背景估計(jì)判斷目標(biāo)在其Dinit方向的感興趣位置，需要進(jìn)行接力攝像機(jī)調(diào)度判斷。多攝像機(jī)調(diào)度算法描述如下:

1)初始化，Ni=Ninit，Da=Dinit調(diào)度攝像機(jī)計(jì)數(shù)c=0，調(diào)度攝像機(jī)節(jié)點(diǎn)數(shù)組為Sc，對應(yīng)的預(yù)置位數(shù)組為Pc;

2)獲取Ni節(jié)點(diǎn)在Da方向的鄰接節(jié)點(diǎn):

3)判斷Ns:

如果Ns≤m－1，則跳到4);

如果m－1＜Ns＜n－1，則跳到5);

如果Ns=n，則c=0，Sc=Nn，跳到6);

4)c=1，調(diào)度攝像機(jī)Sc=Ns，預(yù)置位數(shù)組Pc=Ds=CD(Ns，Ni)，跳到6);

5)令，Ni=Ns，

循環(huán)a=1:8

如果a＜m:

循環(huán)結(jié)束;

如果c=0，Sc=Nn;

6)輸出調(diào)度攝像機(jī)節(jié)點(diǎn)數(shù)組Sc和對應(yīng)的預(yù)置位數(shù)組Pc，算法結(jié)束。

調(diào)度算法結(jié)束后，判斷計(jì)數(shù)c:如果為0，說明目標(biāo)超出監(jiān)控場景范圍，跟蹤結(jié)束;如果不為0，則將調(diào)度攝像機(jī)數(shù)組Sc中的每臺攝像機(jī)移動(dòng)到對應(yīng)的預(yù)置位Pc，完成接力攝像機(jī)的調(diào)度，然后在接力攝像機(jī)中進(jìn)行目標(biāo)的搜索定位以及跟蹤。其中Ni為拓?fù)涔?jié)點(diǎn)(i=0，1，…，m－1，…，n)，n為點(diǎn)個(gè)數(shù)，m為攝像機(jī)個(gè)數(shù)而且，1＜m＜n，N0～Nm－1為攝像機(jī)節(jié)點(diǎn)，Nm～Nn－1為非攝像機(jī)節(jié)點(diǎn)，Nn為無窮遠(yuǎn)點(diǎn)，表示超出監(jiān)控范圍時(shí)算法給出的節(jié)點(diǎn)。

Da為鄰接方向(a=1，2，…，8，對應(yīng)8個(gè)方向)。

Pk為預(yù)置位(k=1，2，…，8，對應(yīng)攝像機(jī)節(jié)點(diǎn)的8個(gè)鄰接方向)。

Ns=CN(Ni，Da)為尋找節(jié)點(diǎn)在Da方向的鄰接節(jié)點(diǎn)的算子，返回其Da方向的鄰接節(jié)點(diǎn)Ns。

Ds=CD(Ni，Nt)為確定Nt節(jié)點(diǎn)在Ni的那個(gè)方向上的算子，返回Nt相對于Ni的鄰接方向Ds。

2.3 在線特征學(xué)習(xí)算法

由于多個(gè)攝像機(jī)之間的成像差異，即使采用SURF算法提取了目標(biāo)的局部不變特征，目標(biāo)在不同攝像機(jī)之間的SURF特征仍然可能是會(huì)變化的，為增加SURF特征的穩(wěn)定性，在跟蹤目標(biāo)的過程中，對每一幀提取的SURF特征進(jìn)行匹配篩選學(xué)習(xí)，保留穩(wěn)定性好的特征，刪除不穩(wěn)定的特征。目標(biāo)跟蹤過程中的特征學(xué)習(xí)更新算法如下:

4)增加特征集Ssurf中的每個(gè)特征的處理計(jì)數(shù)++;

5)特征集更新:對Ssurf中的每個(gè)surf特征，如果＞Tp(TP為處理計(jì)數(shù)閾值)，并且匹配穩(wěn)定性sk=/＜T，則說明該特征不夠穩(wěn)定，從Ssurf刪除該特征;

6)完成特征學(xué)習(xí)和更新。

3 實(shí)驗(yàn)結(jié)果

為驗(yàn)證算法的有效性，該系統(tǒng)采用了較簡單的結(jié)構(gòu)，實(shí)驗(yàn)所用的場景以及生成的拓?fù)浣Y(jié)構(gòu)如圖5所示。

圖5 兩臺平行攝像機(jī)的實(shí)驗(yàn)場景示意圖Fig.5 The experimental scene schematic diagram of two parallel cameras

實(shí)驗(yàn)所用的兩臺攝像機(jī)為不同型號，所處位置的光照條件差異也比較大，其中C1是在樹蔭下，可看出光線要比較暗，C2是在比較開闊處，光照比較亮，這樣就導(dǎo)致了兩臺攝像機(jī)采集的圖像有明顯的差異。兩臺攝像機(jī)之間有一定的公共視野區(qū)域，根據(jù)先驗(yàn)的視覺估計(jì)給出一塊感興趣區(qū)域ROI作為交接區(qū)域，并建立該區(qū)域的特征模型，然后在跟蹤目標(biāo)的過程中不斷對目標(biāo)背景的進(jìn)行估計(jì)，即與交接ROI區(qū)域模型進(jìn)行匹配比較直至匹配率超過閾值，從而判斷出目標(biāo)處于交接區(qū)域，需要進(jìn)行交接。

圖6是交接過程中的幾幀SURF特征匹配實(shí)驗(yàn)結(jié)果圖像。圖6中左側(cè)是C1攝像機(jī)圖像，右側(cè)是C2攝像機(jī)圖像，綠線標(biāo)記出了目標(biāo)同一時(shí)刻在兩個(gè)攝像機(jī)中的SURF匹配對。216幀(圖6(a))時(shí)，由目標(biāo)背景估計(jì)模塊確定目標(biāo)進(jìn)入了交接區(qū)域，開始執(zhí)行目標(biāo)交接，因?yàn)楣庹?、尺度等原因，檢測到的該幀圖像中的SURF特征點(diǎn)比較少，而且從圖中特征匹配對來看，有一些匹配是錯(cuò)誤的，這從237幀(圖6(b))中也可以看出來，到245幀(圖6(c))時(shí)在C2攝像機(jī)中鎖定跟蹤目標(biāo)，交接完成。從圖中可見雖然目標(biāo)在兩個(gè)攝像機(jī)圖像中的尺度、光照條件發(fā)生了變化，但是仍然還有一些良好的匹配點(diǎn)，也有一些是誤匹配的，誤匹配的是一些不穩(wěn)定的特征。

圖6 單人兩臺平行攝像機(jī)下的交接Fig.6 Single two parallel cameras handover

4 結(jié)論

筆者針對多攝像機(jī)目標(biāo)主動(dòng)跟蹤的交接調(diào)度問題進(jìn)行了研究，提出一種采用背景估計(jì)確定目標(biāo)的交接時(shí)刻和位置的方法，同時(shí)采用基于多攝像機(jī)拓?fù)淠Ｐ秃吞卣鲗W(xué)習(xí)的接力攝像機(jī)調(diào)度算法快速準(zhǔn)確的判斷接力攝像機(jī)用于目標(biāo)交接。實(shí)驗(yàn)結(jié)果表明這兩種方法的結(jié)合可快速確定交接時(shí)刻以及準(zhǔn)確判斷調(diào)度接力攝像機(jī)，完成多攝像機(jī)跟蹤時(shí)的目標(biāo)交接。

［1］Bellotto N，sommerlade E，Benfold B.A distributed camera system formulti－resolution surveillance［C］//Third ACM/IEEE International Conference on Distributed Smart Cameras.2009:1－8.

［2］Chen Kuan－wen，Lai Chi－chuan，Hung Yi－Ping，at el.An adaptive learningmethod for target tracking across Multiple Cameras［J］.IEEE Conference on Computer Vision and Pattern Recognition，2008，41(3):1－8.

［3］Kettnaker V，Zabih R.Bayesian multi－camera surveillance［C］//Proceedings 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.1999:253－259.

［4］Ser－Nam lim，Ahmed Elgammal，Larry SDavis.Imagebased pan－tilt camera control in a multi－camera surveillance environment［J］.International Conference on Multimedia and Expo，2003，1(3):1－8.

［5］Slawomir Bak，Etienne Corveem，F(xiàn)rancois Bremond. Monique Thonnat.Person re－identification using spatial covariance regions of human body parts［J］.Seventh IEEE International Conference on Advanced Video and Signal Based Surveillance，2010，2010(11):435－440.

［6］Wang X，Ma K T，Ng G，et al.Trajectory Analysis and semantic region modeling using a nonparametric bayesianmodel［C］//IEEE Conference on Computer Vision and Pattern Recognition，2008:1－8.

［7］Makris D，Ellis T，Black J.Bridging the gaps between cameras［J］.IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2004，2(3): 205－210.

［8］翁菲，劉允才.多場景視頻監(jiān)控中的人物連續(xù)跟蹤［J］.微型電腦應(yīng)用，2010，26(6):33－35.

Weng Fei，Liu Yun－cai.Human tracking in multi－scene video surveillance［J］.Microcomputer Applications，2010，26(6):33－35.

［9］Richard J Radke.A survey of distributed computer vision algorithms［J］.Computer and Information Science，2010(9):1－21.

［10］Rublee Ethan，Rabaud Vincent，Konolige Kurt，et al. ORB－an efficient alternative to SIFT or SURF［J］.International Conference on Computer Vision，2011，95 (1):2564－2571.