李景文,韋晶閃,姜建武,,陸妍玲,劉 壘,唐一飛,李 旭

1.桂林理工大學測繪地理信息學院，廣西 桂林 541004；2.廣西空間信息與測繪重點實驗室，廣西 桂林 541004；3.廣西壯族自治區(qū)森林資源與生態(tài)環(huán)境監(jiān)測中心，廣西 南寧 530000

近年來，隨著視頻監(jiān)控系統(tǒng)在安防、國防和軍事領(lǐng)域中的廣泛應(yīng)用，監(jiān)控視頻中動態(tài)目標的跟蹤和識別已經(jīng)成為研究熱點。單純的視頻目標跟蹤無法完成實際地理位置和目標的動態(tài)方位、速度、運動軌跡等信息的提取，須將地理空間信息與視頻融合才能有效解決這一問題[1]。傳統(tǒng)視頻動態(tài)目標檢測與跟蹤技術(shù)按照算法原理大致分為生成式模型、判別式模型和深度學習的方法[2-5]。生成式模型提取目標特征構(gòu)建表觀模型，在圖像中搜索與模型最匹配的區(qū)域作為跟蹤結(jié)果[6-8]。生成式模型不論采用全局特征還是局部特征，其本質(zhì)是在目標表示的高維空間中檢測出候選目標，對目標區(qū)域進行特征描述后找出重構(gòu)誤差最小的候選目標作為當前估計[9]，生成式模型只關(guān)注目標信息，而忽略了背景信息。判別式模型與生成式模型不同，既考慮了目標信息，也沒有忽略背景信息。判別式模型的目的是尋找一個判別函數(shù)，將跟蹤問題看作分類或者回歸問題，利用一個在線分類器將目標與背景分離,從而實現(xiàn)對目標的跟蹤[10-11]?；谏疃葘W習的目標跟蹤方法主要是利用深度特征強大的表征能力來實現(xiàn)跟蹤。HCF(hierarchical convolutional features for visual tracking)利用VGG(visual geometry group)網(wǎng)絡(luò)的深層特征與淺層特征，融入相關(guān)濾波器獲得了很好的跟蹤性能[12]，但該算法并沒有對尺度進行處理，在整個跟蹤序列中都假定目標尺度不變，因此對尺度變化較大的跟蹤目標并不穩(wěn)健。目前，許多定位方法都會選擇計算目標的質(zhì)心來進行定位，目前常用的質(zhì)心提取方法有傳統(tǒng)質(zhì)心法、平方加權(quán)質(zhì)心法及高斯曲面擬合法[13-14]。傳統(tǒng)質(zhì)心法與平方加權(quán)質(zhì)心法都基于特征點像素的灰度值進行相關(guān)運算,不同點是平方加權(quán)質(zhì)心法采用灰度值的平方來代替灰度值進行相關(guān)運算,進而加大了圖像中灰度值像素在質(zhì)心求取中的權(quán)重。高斯曲面擬合法則是依據(jù)特征點圖像灰度分布的高斯特性和各個像素點灰度值與高度之間的相關(guān)性,并不僅僅依賴特征點像素的灰度值。文獻[13]提出基于成像角度的特征點質(zhì)心提取方法，針對特征點所在平面與相機平面不平行情況,結(jié)合這3種質(zhì)心提取方法,引入重復(fù)性標準差作為特征點質(zhì)心提取精度的評價標準進行試驗驗證。關(guān)于使用多攝像頭協(xié)同跟蹤的算法，國內(nèi)外已經(jīng)做了一些研究。文獻[15]描述了一種基于多視角通道融合網(wǎng)絡(luò)的無人車夜間三維目標檢測方法，通過鳥瞰圖、前視圖與紅外圖像組成多視角通道融合互補形式，提高物體識別能力。文獻[16]利用基于SIFT算法的單應(yīng)性矩陣變換完成多個攝像頭跟蹤目標的數(shù)據(jù)融合,從而提高目標跟蹤的穩(wěn)健性、準確性和實時性。

以上算法主要集中在圖像本身的顏色、幾何特征提取以及視覺特征跟蹤等方面，多采用訓(xùn)練或概率等方法開展研究，忽略了監(jiān)控視頻中動態(tài)目標與在地理坐標系精準匹配問題，從而難以滿足智能監(jiān)控在復(fù)雜的地理場景中全方位時空信息感知。為解決這一問題，本文提出了一種多視角監(jiān)控視頻中動態(tài)目標的時空信息提取方法，將多角度獲取的同一動態(tài)目標匹配于統(tǒng)一地理坐標系中，通過背景減法與Canny算子融合提取目標輪廓，運用質(zhì)點偏移算法來測量動態(tài)目標每一時刻的地理位置，從而實現(xiàn)統(tǒng)一地理坐標系中動態(tài)目標的空間位置、輪廓特征及連續(xù)軌跡等時空信息的提取，以提升監(jiān)控視頻中動態(tài)目標的快速提取和實時跟蹤能力。

1 視頻監(jiān)控圖像與地理空間數(shù)據(jù)互映射模型構(gòu)建

監(jiān)控視頻信息是把真實的地理空間實體信息投影到二維圖像平面上，因為成像是二維的，所以丟失了真實地理空間實體所蘊含的三維時空信息。建立視頻監(jiān)控圖像與地理空間坐標互映射模型，可以實現(xiàn)三維地理空間坐標與二維圖像像素坐標的互轉(zhuǎn)換以及圖像像素的地理時空分析。因攝像機是固定的，會長時間拍攝同一個地理場景，即監(jiān)控場景的背景是不變的，變化的只是動態(tài)的前景目標，因此，把不變的背景與地理空間數(shù)據(jù)映射，找出圖像上背景的每一個像素點與地理空間坐標相對應(yīng)的地理坐標，在此基礎(chǔ)上提取單幀圖像動態(tài)目標的位置信息和連續(xù)視頻序列的動態(tài)目標的運動(方向、速度、軌跡)信息。

若是每個相機都以各自的成像中心建立坐標系，那么每一個坐標系統(tǒng)的原點和坐標軸都不一樣，無法將地理場景置于同一尺度下去分析，因此需要將所有的相機置于一個穩(wěn)定不變的坐標系統(tǒng)。假設(shè)地理實體P在世界坐標系下的坐標為PW，在相機坐標系下的坐標為PC，地理實體P在兩個坐標系的旋轉(zhuǎn)和平移可以用兩個矩陣R和t來表示[17-18]

(1)

P點在相機坐標系和圖像坐標系下的關(guān)系公式為

(2)

通過上面4個坐標系的轉(zhuǎn)換就可以得到P點從圖像坐標系轉(zhuǎn)換到像素坐標系的關(guān)系公式為

(3)

Puv=KTPw

(4)

式中，Puv、Pw分別代表點在像素坐標系下的坐標及其對應(yīng)點在世界坐標系下的坐標；K、T分別為相機的內(nèi)參數(shù)矩陣和外參數(shù)矩陣，且T=[Rt]。

隨著世界坐標系的點坐標和對應(yīng)點的像素坐標系坐標不斷發(fā)生變化，相機深度s也會不斷變化，若求得相機深度s，即可實現(xiàn)世界坐標系與像素坐標系的映射。將矩陣進行變換，可得到像素坐標系與世界坐標系的映射，即

(5)

在理想狀態(tài)下，相機與地理約束平面平行，則相機深度可用相機位姿平移矩陣的t3進行表示，即s=t3，但是，在實際情形中，相機會與地理約束平面產(chǎn)生繞X軸或Y軸的旋轉(zhuǎn)，不會與地理約束平面平行，因此，相機深度計算會發(fā)生變化，即

s=r31X+r32Y+r33Z+t3

(6)

相機深度s會根據(jù)地理約束平面的點坐標變化而變化，可采用擬合多個相機深度值來確定相機深度s，本文采用利用相機外參矩陣來計算不同位置的深度，該方法可以提高像素坐標系到世界坐標系的映射精度。公式可以簡化為

(7)

式中，ZC為像素點對應(yīng)世界坐標系Z方向的值。由于相機位置固定，且地理約束平面處于水平位置，因此，本文設(shè)置ZC的值為0，可獲取像素點到地理約束平面的二維坐標。通過參考控制點獲取到相機深度s后，即可實現(xiàn)像素坐標到地理空間坐標的互映射，求得像素坐標系下點到對應(yīng)地理空間坐標系下點的坐標。

2 目標的時空信息提取

2.1 Canny算子與背景減法融合的目標輪廓提取

目標輪廓識別是指剔除圖像復(fù)雜背景、各種文理以及噪聲的影響來對圖像中目標的輪廓進行精確提取的方法和過程，是目標檢測、跟蹤、識別的基礎(chǔ)[22-23]。當前較為廣泛的輪廓識別方法是混合高斯模型背景減法，但該方法在提取動態(tài)目標的過程中，往往會遇到動態(tài)目標的灰度值與背景相近這種情況，導(dǎo)致提取的輪廓缺失[24]。例如，當監(jiān)控場景的背景為白色和移動目標的邊界輪廓也為白色時，移動目標的輪廓提取就會產(chǎn)生錯誤，這是因為動態(tài)目標與背景的灰度值接近或相同，在做差分運算得到的灰度絕對值沒有達到提取設(shè)定的閾值造成的，因此本文設(shè)計了一種Canny邊緣檢測與背景減法融合模塊來獲取動態(tài)目標邊緣輪廓。Canny算子受到噪音的干擾較小，能夠容易檢測到弱邊緣[25]，與背景減法融合可以削弱圖像的相似部分，突出顯示圖像的變化部分，提取出來的邊緣位置和圖像的真正邊緣的中心位置充分接近。融合算法的流程如圖1所示。

圖1 背景減法與Canny算子的融合提取算法流程Fig.1 Fusion algorithm of background subtraction and Canny

(1)對原始視頻做直方圖均衡化處理，把原始圖像的直方圖變換為均勻分布的形式，增加灰度值的動態(tài)范圍，從而達到增強圖像整體對比度的效果。計算圖像f(x,y)的各灰度級中像素出現(xiàn)的概率p(i)，將灰度級個數(shù)設(shè)為L，則該函數(shù)為

(8)

計算p的累計概率函數(shù)c(i)，將c(i)縮放至0～255范圍內(nèi)，c為圖像的累計歸一化直方圖

(9)

y(i)=255×c(i)

(10)

(2)分別對圖像進行預(yù)處理，先利用Canny算子檢測無動態(tài)目標存在的圖像，其檢測出來的結(jié)果僅包含著背景圖像的邊緣。然后，再對有動態(tài)目標存在的圖像進行邊緣檢測。利用高斯濾波平滑圖像，消除噪聲，將高斯濾波器的參數(shù)設(shè)為σ，則該函數(shù)為

(11)

統(tǒng)計圖像中每個像素的灰度值，并計算出每個點灰度變化的方向和梯度，灰度沿著垂直、水平方向的導(dǎo)數(shù)Gx和Gy，這樣就可以如下計算梯度模和方向

(12)

θ=arctan(Gy+Gx)

(13)

僅僅對圖像進行梯度值提取邊緣仍然很模糊，必須要采取非極大值抑制，消除噪聲雜散響應(yīng)，細化圖像邊緣信息；之后再進行雙閾值處理，設(shè)定高低閾值將圖像進行分割，檢測和連接真實的邊緣；剔除檢測結(jié)果中孤立的弱邊緣。

(3)將邊緣檢測結(jié)果與背景邊緣做背景差分運算。通過灰度圖像序列中每一幀的圖像與背景圖像進行差處理，得到只含有運動目標的差分圖像

Ek(x,y)=|pk(x,y)-Bk(x,y)|

(14)

對差分圖像的像素值與預(yù)先設(shè)定的閾值T進行二值化處理，1代表運動目標區(qū)域，0代表背景區(qū)域

(15)

(4)將檢測的目標輪廓信息與背景減法的結(jié)果進行邏輯“與”運算從而得到最終的目標提取結(jié)果。與代數(shù)運算不同，圖像的邏輯運算主要針對二值圖像，既關(guān)注圖像像素點的數(shù)值變化，又重視位變換的情況，以像素對像素為基礎(chǔ)進行的兩幅或多幅圖像間的操作。實現(xiàn)步驟為：首先對原圖、背景二值化，設(shè)定閾值，將灰度圖像的像素分成大于閾值的像素群(置為1)和小于閾值(置為0)的像素群兩部分，把二值圖像轉(zhuǎn)化為0、1值后循環(huán)兩幅圖像的像素點，再把0、1值轉(zhuǎn)化為二值圖像數(shù)據(jù)，為0的像素置0，為1的像素置255。當兩個圖像對應(yīng)的像素同時為真時，結(jié)果為真?！芭c”運算主要用于求兩幅二值圖像的相交部分，對圖像進行二值化的同時不僅去除了不同的部分，也保留了原圖和背景中相同的部分。

2.2 多攝像頭協(xié)同下目標位置信息提取過程

Canny算子與背景減法融合提取的是動態(tài)目標的輪廓，而位置信息是點在坐標系上三維信息的表達，不能直接提取出來，需要對視頻監(jiān)控圖像的動態(tài)目標進行地理空間數(shù)據(jù)的映射，即需要進行圖像像素點與其對應(yīng)到地理空間的點所在的兩個參考坐標系之間的轉(zhuǎn)換。當前，視頻監(jiān)控系統(tǒng)中每一個攝像機都可以實現(xiàn)對動態(tài)目標的跟蹤。但是，同一場景內(nèi)的各個攝像機的監(jiān)控視頻的動態(tài)目標提取數(shù)據(jù)仍然是獨立的，目標的圖像數(shù)據(jù)、空間數(shù)據(jù)并未融合，各個攝像機也無法協(xié)同工作。因為各個攝像頭放置的位置、姿態(tài)角度和投影過程中的誤差不同，拍攝圖像的空間分辨率也不一致，從而導(dǎo)致監(jiān)控圖像與地理空間數(shù)據(jù)的映射的精度、目標定位的精度存在偏差，那么相同目標在不同攝像頭下的定位和連續(xù)軌跡就無法完全重合。因此，本文在基于地理約束下的監(jiān)控視頻與地理空間數(shù)據(jù)的交點映射算法的基礎(chǔ)上，提出了一種多攝像機協(xié)同下的動態(tài)目標時空特征匹配與識別模式。該模式在傳統(tǒng)圖像處理的基礎(chǔ)上，融合動態(tài)目標的時空信息，運用時空特征匹配與空間分析方法，來實現(xiàn)多攝像頭協(xié)作下對單目標、多目標的識別與匹配。該方法具體可分多攝像頭下提取判別目標輪廓、目標位置信息提取、多攝像頭下多目標軌跡融合等3個部分，具體流程如圖2所示。

圖2 基于多攝像頭下的多目標匹配與識別模式Fig.2 Multi-target matching and recognition pattern based on multi-camera

2.2.1 多攝像頭下提取判別目標輪廓

首先將多攝像頭的映射關(guān)系轉(zhuǎn)換到同一坐標系下，并匹配相同的坐標，建立公共區(qū)域。多攝像頭協(xié)同下對目標進行識別與匹配的前提條件是：該目標置于多個約束平面的重疊區(qū)域。只有把多個攝像頭的映射關(guān)系置于同一坐標系下，尋找其對應(yīng)的公共坐標，判斷公共區(qū)域的范圍才能夠?qū)崿F(xiàn)多攝像頭下的協(xié)同工作；在地理坐標系下建立公共區(qū)域以后，還要通過互映射模型計算各個攝像機拍攝的圖像中的重疊區(qū)域坐標，構(gòu)建各個圖像場景內(nèi)的公共區(qū)域；最后根據(jù)基于Canny算子與背景減法融合的動態(tài)目標提取公共區(qū)域內(nèi)目標的輪廓，并判斷輪廓數(shù)量。當目標檢測算法監(jiān)測到動態(tài)目標經(jīng)過圖像上的公共區(qū)域時，需要對目標的輪廓個數(shù)進行判斷：若公共區(qū)域內(nèi)的目標輪廓數(shù)量為1，那么多攝像頭拍攝的一定為同一個目標，無須進行多攝像機的目標融合與匹配就可以確定目標，對于不重合的軌跡可以融合成一個公共軌跡；若公共區(qū)域內(nèi)的目標輪廓數(shù)量大于1，則進入到多目標的判斷步驟。

2.2.2 目標位置信息提取

為了便于研究動態(tài)目標的位置變化信息，通常將動態(tài)目標的輪廓抽象為點，用目標的質(zhì)心來表達。質(zhì)心被認為一個幾何物體質(zhì)量集中的假想點，對于質(zhì)量均勻分布的物體，質(zhì)心一般在物體的幾何中心。本文中攝像機的位置與其映射模型是基于約束平面下的2D映射，且攝像頭與地面的角度是45°，若動態(tài)目標出現(xiàn)在約束平面上，它的質(zhì)心位置必定不會是目標在約束平面上的真實位置。如果直接運用圖像上目標的質(zhì)心當作定位點，那么會造成較大的偏差。為了解決上述問題，本文設(shè)定了一種質(zhì)心偏移法來確定目標的在圖像中的定位點，從而提高其定位精度。質(zhì)心偏移計算過程如下。

(1)設(shè)定提取的動態(tài)目標所在區(qū)域內(nèi)密度均勻，其圖像的分辨率為m×n，動態(tài)目標在整幅圖像中的像素坐標為(xi,yi),i、j表示該目標的在區(qū)域內(nèi)的像素點的總個數(shù)，通過計算質(zhì)心的計算公式計算質(zhì)心，其計算公式為

(16)

式中，0

(2)根據(jù)提取到的前景目標圖像中的動態(tài)目標輪廓，計算它的最小外接矩形，獲取矩形中心點坐標(x，y)及4個角點的x坐標矩陣rectx及y坐標矩陣recty。其中，rectx=[x1x2x3x4]，recty=[y1y2y3y4]。

(3)質(zhì)心垂直向下位移，一直位移到目標的輪廓邊緣，設(shè)定該點為質(zhì)心偏移點。設(shè)置質(zhì)心向下偏移的比率rate，即質(zhì)心距質(zhì)心偏移點的距離與質(zhì)心距離最小外接矩形底邊中點的距離的比例。本文攝像頭與地面呈45°角，拍攝出來的照片目標質(zhì)心偏移比例為0.9∶1。

(4)質(zhì)心偏移點(xp,yp)計算

(17)

(5)利用視頻監(jiān)控圖像與地理空間數(shù)據(jù)互映射式(7)求得質(zhì)心偏移點在地理空間坐標中的位置(XP,YP)。

將動態(tài)目標的軌跡轉(zhuǎn)換空間直角坐標系上，不僅可以還原目標在該場景的實際位置，計算目標的運動方向和速度等其他時空信息，為多角度下目標的識別與檢測提供數(shù)據(jù)支撐。目標軌跡是由一系列連續(xù)的位置信息組成，假設(shè)在t時刻目標的地理位置為P(xt,yt)，在下一時刻t+1(連續(xù)視頻由很多相鄰幀的圖像組成，這里表示下一幀圖像)的地理位置為P(xt+1,yt+1)，那么在t時刻目標的行動方位可以定義為

(18)

在攝像機側(cè)視的情況下，質(zhì)心和指定偏移點在約束平面上的位置是不同的，質(zhì)心所在的位置并不是動態(tài)目標的實際位置，經(jīng)過計算，質(zhì)心點偏移點和質(zhì)心映射后的坐標兩者相比，質(zhì)心偏移點的計算結(jié)果比直接用質(zhì)心計算得出的結(jié)果與實際位置更加接近，更適用于視頻監(jiān)控中動態(tài)目標的定位。因此本文采用質(zhì)心偏移點的計算結(jié)果作為動態(tài)目標的質(zhì)心。動態(tài)目標時空信息方法流程如圖3所示。

圖3 目標時空信息提取方法流程Fig.3 Target space-time information extraction

基于連續(xù)視頻序列的動態(tài)目標時空信息提取模式根據(jù)設(shè)定的時間間隔把視頻序列分為若干幅連續(xù)的監(jiān)控圖像，再運用質(zhì)心找到圖像上目標的定位坐標P將圖像坐標轉(zhuǎn)換為空間直角坐標系上，進行定位點糾正，通過質(zhì)心偏移的比率計算質(zhì)心偏移點，利用視頻監(jiān)控圖像與地理空間數(shù)據(jù)互映射方法求得質(zhì)心偏移點在地理空間坐標中的位置(XP，XP)，從而還原目標在該場景的實際位置。

2.2.3 多攝像頭下多目標軌跡融合

多攝像頭協(xié)同下的目標匹配與識別分為兩種場景：單一目標的場景和多個目標同時存在的場景。其中，多個目標同時存在的場景由又可以分為兩種情況：多個目標的混亂軌跡多目標并行的相似軌跡。針對不同的場景，本文設(shè)計了不同的目標識別與跟蹤方法。若是多人無序的場景，各個目標在同一時刻的空間位置、運動角度差別很大，可以通過動態(tài)目標的時空特征匹配來進行判別；若是多人并行的場景，多個目標的位置、行動角度和運動速度都接近，無法用時空特征進行判斷，需要建立場景內(nèi)目標的順序空間關(guān)系，通過空間分析方法進行判別。具體步驟如下。

(1)假設(shè)在一段時間中，有i個攝像頭Pi在同一個公共區(qū)域內(nèi)拍攝到n個目標On，那么任意一個目標可以表示為PiOn。選定需要進行判別的目標P1O1，計算在初始時刻t目標的位置D1和行動角度A1。

(2)計算攝像頭P2所有目標的位置和行動角度集合{P2Oi}，設(shè)定位置閾值?，剔除集合{P2Oi}不在?內(nèi)的目標，然后更新{P2Oi}。

(3)計算下一時刻t+Δt目標P1O1和集合{P2Oi}內(nèi)目標位置和行動角度，然后根據(jù)?繼續(xù)更新集合{P2Oi}，重復(fù)上述步驟，直到目標離開公共區(qū)域。

(4)查詢集合{P2Oi}，若該集合只剩下一個目標，就完成了目標P1O1在攝像頭P2下的匹配；若在該集合內(nèi)的目標大于1，則表示該目標是與其他目標并行，在同一時刻內(nèi)他們在空間內(nèi)的位置、行動方向都相似，而由于攝像機的空間分辨率存在著誤差，所以很難通過位置和行動方向進行判別。面對多人并行的場景，本文運用順序空間位置關(guān)系去判斷：計算攝像頭P1內(nèi)多人并行場景在公共區(qū)域內(nèi)每一個時刻的位置P1Di，按照順序連接目標的位置構(gòu)建時空軌跡圖，建立每一個目標的順序空間關(guān)系；計算其他攝像頭在公共區(qū)域內(nèi)相應(yīng)時刻位置PiDi，按照順序連接各個目標的時空軌跡圖，并根據(jù)建立的順序空間關(guān)系判斷相應(yīng)目標，完成多人并行的場景在多攝像頭下協(xié)同匹配與接力。

3 試驗驗證

3.1 監(jiān)控圖像與地理空間的坐標映射試驗

本文試驗使用的圖像傳感器為銳刻智能安防攝像頭，具體參數(shù)見表1，數(shù)據(jù)處理使用是Matlab軟件。

表1 攝像頭具體參數(shù)Tab.1 Specific parameters of the camera

圖4為攝像頭拍攝的場景，選取地面為地理約束平面，在地理約束平面上選取5個控制點為3D參考控制點，為提高選取精度，本文試驗選取各地板之間縫隙連接成的交點作為其參考控制點。設(shè)置點1所在位置為地理空間坐標系原點，即5個參考控制點的地理空間坐標和對應(yīng)的圖像像素坐標見表2。該地理場景中，地理約束平面內(nèi)的每塊地板均為60 cm×60 cm的正方形地板，該約束平面內(nèi)選取的5個參考控制點的地理空間坐標分別為(0,0)、(0,180)、(180,0)、(240,240)、(-60,120)，其對應(yīng)的圖像像素坐標分別為(306,686)、(800,546)、(247,432)、(686,271)、(715,698)。經(jīng)過相機位姿估計，可以獲得相機的外參數(shù)矩陣T為

圖4 參考控制點及世界坐標系確定Fig.4 Determination of reference control points and world coordinate system

圖像坐標與地理空間坐標互映射模型參數(shù)確定后，選取地理約束平面內(nèi)的10個不同位置的空間平面測試點對進行映射模型的精度評定，如圖5所示，與真實地理空間坐標相比較，確定像素坐標映射到地理空間坐標系的誤差，其計算結(jié)果見表2。

表2 映射坐標對應(yīng)及誤差分析Tab.2 Mapping coordinate correspondence and error analysis

圖5 空間點位選取Fig.5 A schematic diagram of spatial point location selection

通過圖4和表2的10個測試點的像素坐標所對應(yīng)的真實地理坐標與映射的地理坐標計算結(jié)果分析可知，上半部分區(qū)域點位位置離攝像頭較近，空間分辨率變化不大，幾何映射結(jié)果在X和Y方向的誤差都在10 cm以內(nèi)，得到的結(jié)果與真實地理坐標接近。而點位5、8、10距離攝像機較遠，與其他較近的點位相比誤差較大，在20 cm左右。誤差最大點為距離攝像頭最遠處的測試點10，映射的地理坐標與其對應(yīng)的真實地理x坐標的為最大誤差8.869 2 cm，y坐標誤差為12.760 8 cm，也是測試點中的最大誤差，可以通過連續(xù)跟蹤觀測解決較遠目標點的誤差問題。

3.2 動態(tài)目標輪廓提取算法改進前后對比

為驗證融合算法的檢測效果以及有效性，試驗選取原始背景減法與改進的融合檢測算法進行對比。本文利用固定的監(jiān)控攝像頭對空間區(qū)域行走視頻文件進行模擬試驗，針對該地理場景的大小和試驗需求，定義的時間采樣間隔為0.5 s。試驗為行人在地理約束空間內(nèi)行走，拍攝時長17 s，攝像頭拍攝幀率為11.88幀/s，視頻幀圖像分辨率為1920×1080，每隔10幀對視頻進行采樣提取，采樣間隔為1 s。本文試驗的約束平面由相同的地板組成，地板的尺寸為60 cm。以拍攝場景的左上角地板的角點為頂點坐標，在Y方向上共計9塊地板，X方向上共計29塊地板，以此構(gòu)建的坐標網(wǎng)格。采用圖像坐標與地理空間坐標互映射模型根據(jù)試驗中坐標系的位置建立視頻監(jiān)控圖像與地理空間之間的互映射關(guān)聯(lián)。

本文研究在Matlab平臺上實現(xiàn)了背景減法與Canny算子和背景減法融合算法并進行了對比試驗，如圖6所示，該拍攝區(qū)域主要由地面、墻壁欄桿和行人組成，場景內(nèi)的約束平面是占圖像80%左右的地面，閾值設(shè)置為80。目標輪廓信息提取結(jié)果如圖所示：圖6(c)是該圖像經(jīng)過背景減法后提取的目標輪廓，對比原始圖像，可以發(fā)現(xiàn)目標輪廓并不完整，其所攜帶的書被過濾掉；圖6(d)是背景減法與Canny邊緣檢測后合成的圖像，是融合算法最終的結(jié)果圖像。對比圖6(c)和圖6(d)可以發(fā)現(xiàn)圖6(d)的輪廓更為完整和清晰，這表明在該場景下本文提出的融合算法在提取動態(tài)目標的效果更好。

圖6 本文算法與傳統(tǒng)背景減法比較Fig.6 Comparison between the proposed algorithm and traditional background subtraction

3.3 動態(tài)目標跟蹤軌跡對比試驗

為驗證質(zhì)心偏移法算法的有效性，本文分別使用原始質(zhì)心算法和改進的質(zhì)心偏移法算法進行跟蹤測試，所求質(zhì)心點為最小外接矩形中心點，質(zhì)心偏移點是通過將質(zhì)心點進行偏移，移動到行人目標的雙腳處，質(zhì)心距質(zhì)心偏移點的距離與質(zhì)心距離最小外接矩形底邊中點的距離的比例為0.9∶1，如圖7所示。選取第13幀和第133幀圖像為例，首先在視頻第1幀手動確定移動目標區(qū)域，然后對該區(qū)域進行跟蹤，其中紅色點為質(zhì)心點，綠色點為質(zhì)心偏移點，左上角為圖像所在幀數(shù)。

圖7 質(zhì)心及質(zhì)心偏移點提取Fig.7 Extraction of centroid and centroid offset points

試驗中共選取了均勻分布的11個點作為圖像空間與地理空間的對應(yīng)點，并計算其誤差，見表3，其中質(zhì)心跟蹤算法與真實地理坐標最大誤差為36.589 6 cm，最小誤差為1.186 6 cm；質(zhì)心偏移算法于真實地理坐標最大誤差為-25.406 9 cm，最小誤差為0.696 5 cm。質(zhì)心偏移算法的映射結(jié)果的誤差都在20 cm以內(nèi)，而質(zhì)心跟蹤算法誤差較大，在30 cm左右。由此看來質(zhì)心跟蹤算法相較于質(zhì)心偏移算法與實際運動軌跡相比波動較大；質(zhì)心偏移點的計算結(jié)果與實際位置更加接近。

表3 2種算法位置坐標信息提取對比Tab.3 Comparison of location coordinate information extraction of two algorithms

把單幀視頻提取的目標位置信息融合成連續(xù)的軌跡，如圖8所示，綠色虛線為實際運動軌跡，紅色實線為所提出質(zhì)心偏移法算法的跟蹤結(jié)果，藍色虛線為質(zhì)心算法跟蹤結(jié)果。

圖8 動態(tài)目標運動軌跡對比Fig.8 Dynamic target trajectory comparison diagram geographic coordinates

從局部區(qū)域分析，右下角區(qū)域紅色實線和藍色虛線與綠色虛線的距離相較于左上角區(qū)域更為接近，也就是說，兩種算法在右下角區(qū)域誤差相對較小，這是因為右下角區(qū)域離攝像頭比較近，約束平面上的交點比較清晰，所以交點映射的誤差較低；而離攝像機較遠的位置，因為圖像較為模糊，無法提取約束平面上的線狀信息，所以兩種方法誤差接近，誤差也較大。從整體來看，紅色實線與綠色虛線的距離始終比藍色虛線與綠色虛線的距離更小，說明質(zhì)心偏移算法與實際運動軌跡重合度更高，算法更加精準。這是因為移動目標剛開始移動的時候，遭到障礙物遮擋，質(zhì)心算法受到干擾導(dǎo)致了跟蹤漂移；期間又因為移動目標進行轉(zhuǎn)彎移動，質(zhì)心算法和質(zhì)心算法都失去了目標，但是質(zhì)心偏移法算法能夠迅速通過重檢測找回目標，繼續(xù)跟蹤。根據(jù)以上分析，可以得出質(zhì)心算法定位容易受到干擾，雖然能夠跟蹤到目標，但跟蹤會出現(xiàn)稍許的偏差，而質(zhì)心偏移法算法能夠有效地應(yīng)對遮擋、形變等問題，與實際運動軌跡重合度更高，誤差更小。

3.4 多攝像頭下目標的匹配與識別試驗

本文試驗選擇兩組攝像頭進行拍攝，位置地理坐標系下的坐標為(60,480)和(240,0)，兩組攝像頭拍攝2棟教學樓的休息區(qū)域，將監(jiān)控視頻序列分解成監(jiān)控圖像，采樣的時間間隔為1 s。

針對單目標在公共區(qū)域的情況，如圖9(a)、(d)所示，兩個攝像機從不同角度拍攝同一區(qū)域。動態(tài)目標在該區(qū)域內(nèi)停留的時間為10 s，時間間隔定為1 s。圖9(b)、(e)是兩個攝像機拍攝的多目標混亂無序的場景，該區(qū)域內(nèi)共有兩個目標，攝像機1拍攝左側(cè)為P1O1，另外一個為P1O2，同理可得攝像機2的兩個目標為P2O1和P2O2。多人混亂無序的場景下可以通過位置和行動角度去判斷目標，他們在該區(qū)域停留的時間為7 s，采樣間隔為1 s。圖9(c)、(f)是拍攝的是多人并行場景，該區(qū)域內(nèi)共有兩個目標，攝像機1拍攝左側(cè)目標為P1O1，另一個目標為P1O2。兩個目標在場景內(nèi)停留的時間為10 s，設(shè)定采樣間隔為1 s。

針對以上3種目標在移動情況，本文通過多攝像頭協(xié)同下目標檢測與識別方法實現(xiàn)對目標的連續(xù)跟蹤。圖10(a)、(d)是圖9(a)、(d)多攝像頭協(xié)同下單目標軌跡融合后的圖像。表4是圖9(b)、(e)多目標混亂無序情況下同一時刻在兩個攝像頭位置和行動角度，行動軌跡圖和匹配成功后的軌跡融合如圖10(b)、(e)所示。圖10(c)、(f)是圖9(c)、(f)多目標并行行動軌跡和目標軌跡融合圖，通過計算不同攝像頭下的兩個目標在對應(yīng)時刻的空間位置和行動方向見表5。

表4 兩個攝像機拍攝兩個目標混亂無序移動的位置與行動角度Tab.4 Two cameras capture the chaotic positions and angles of the two objects

圖9 雙攝像頭協(xié)同跟蹤試驗Fig.9 Dual-camera collaborative tracking experiment

圖10(b)、(e)中，在多目標混亂無序的情況下，在1—3幀的視頻中，攝像頭的兩個目標的位置接近，但是從第4幀開始P1O1的與P2O2的距離逐漸增加，到最后一幀圖像中兩個目標的在Y方向的位置距離相差3 m。P1O1與P2O1的空間位置相近，并且行動角度也相近，因此可以判斷P1O1與P2O1匹配，P1O2與P2O2相匹配。通過分析表5可知，雖然P1O1與P2O1的空間位置與行動角度更加進階，但是與P2O2比較也在閾值范圍內(nèi)，所以無法對P1O1進行匹配。根據(jù)多攝像頭協(xié)同下多目標的識別與匹配方法，需要通過順序空間關(guān)系來判別。圖10(c)、(f)是兩個目標在地理空間內(nèi)的行動軌跡，藍色表示第1個攝像頭，紅色代表第2個攝像頭。通過觀察，P1O1的行動軌跡靠內(nèi)側(cè)，第2個攝像頭軌跡靠內(nèi)側(cè)的目標為P2O1，它們的順序空間關(guān)系相同，P1O1與P2O1相匹配。

圖10 目標行動軌跡和目標軌跡融合Fig.10 Target trajectory and target trajectory fusion diagram

表5 兩個攝像機拍攝兩個目標并行移動的位置與行動角度Tab.5 Positions and angles of two cameras shooting two objects moving in parallel

4 結(jié) 論

監(jiān)控視頻中動態(tài)目標的時空信息提取是活動場景中動態(tài)目標智能檢測與準確地定位跟蹤的基礎(chǔ)，本文建立一種監(jiān)控圖像與地理空間坐標互映射模型，提出Canny算子與背景減法的融合算法，實現(xiàn)視頻監(jiān)控圖像信息與地理時空信息的相互融合以及動態(tài)目標輪廓的提取，針對單目標、多目標在公共區(qū)域內(nèi)的不同場景，綜合動態(tài)目標的空間位置、運動方向和速度，并融合地理信息空間分析算法，設(shè)計了一種多角度下目標識別與檢測模式。加強監(jiān)控視頻動態(tài)前景目標在真實地理空間中的表達，解決傳統(tǒng)目標跟蹤僅僅處于圖像空間中，無法實現(xiàn)真實地理空間中可量測、可定位的問題，提高了地理場景的時空理解力和分析力，為視頻監(jiān)控的行業(yè)應(yīng)用提供了新的思路。結(jié)合試驗分析可以得出以下結(jié)論。

(1)視頻監(jiān)控圖像與地理空間坐標互映射模型計算得出的動態(tài)目標運動軌跡，與實際運動軌跡相比誤差較小，模型降低了由于圖像的空間分辨率不同而導(dǎo)致幾何映射出現(xiàn)的較大誤差，提高了映射模型算法的幾何映射精度，滿足了對動態(tài)目標的實時準確定位要求。

(2)Canny算子與背景減法的融合，能夠很好地消除前景目標中誤檢的窗戶處區(qū)域及墻體、出現(xiàn)在地理約束屏幕上的倒影，獲得相對準確的前景模型。但是由于外部環(huán)境光照射產(chǎn)生的動態(tài)目標陰影被誤檢為動態(tài)目標的問題仍然存在。

(3)基于時空特征匹配的多攝像頭協(xié)同下單目標、多目標的識別與匹配模式，主要通過公共區(qū)域內(nèi)目標的空間位置、行動角度和空間順序關(guān)系3個方面進行識別與匹配?？梢詫崿F(xiàn)多攝像頭協(xié)同下的動態(tài)目標識別與匹配，完成多攝像頭對目標的連續(xù)跟蹤。