基于圖塊和二階統(tǒng)計(jì)特征的行人檢測(cè)

欒書(shū)鵬

（河海大學(xué) 計(jì)算機(jī)與信息學(xué)院，江蘇 南京210000）

基于圖塊和二階統(tǒng)計(jì)特征的行人檢測(cè)

欒書(shū)鵬

（河海大學(xué) 計(jì)算機(jī)與信息學(xué)院，江蘇 南京210000）

在行人檢測(cè)中，由于外界環(huán)境復(fù)雜變化和行人自身的不同特點(diǎn)，往往會(huì)造成錯(cuò)誤檢測(cè)以及遺漏檢測(cè)。針對(duì)以上問(wèn)題，文中提出一種基于圖塊和二階統(tǒng)計(jì)特征的方法，提高檢測(cè)的準(zhǔn)確率。首先利用基于圖塊的幀差法進(jìn)行前景檢測(cè)，接著計(jì)算前景區(qū)域的灰度共生矩陣，進(jìn)而提取前景區(qū)域的二階統(tǒng)計(jì)特征，最后透過(guò)基于二階統(tǒng)計(jì)量特征的支持向量機(jī)分類(lèi)器進(jìn)行行人檢測(cè)。通過(guò)仿真實(shí)驗(yàn)對(duì)比表明文中的算法有較好的檢測(cè)效果。

行人檢測(cè)；圖塊；灰度共生矩陣；二階統(tǒng)計(jì)特征；支持向量機(jī)

行人檢測(cè)與跟蹤在智能監(jiān)控系統(tǒng)、虛擬現(xiàn)實(shí)、智能機(jī)器人應(yīng)用等方面應(yīng)用廣泛，是計(jì)算機(jī)應(yīng)用領(lǐng)域的研究熱點(diǎn)之一。通過(guò)結(jié)合行人檢測(cè)、行為分析和視頻監(jiān)控等多種技術(shù)，能為實(shí)時(shí)的智能安全監(jiān)控提供解決方案，以替代或輔助基于人員的監(jiān)控。通常對(duì)于固定攝像頭的情況行人檢測(cè)分為兩部分，首先是前景目標(biāo)檢測(cè)，然后對(duì)前景區(qū)域內(nèi)容檢測(cè)，判斷是否為行人。

前景檢測(cè)部分，利用一些典型的前景檢測(cè)法來(lái)辨識(shí)移動(dòng)的前景物，例如背景減除法、光流法與幀差法。前景檢測(cè)算法需要盡量減少運(yùn)算時(shí)間，降低前景物容誤判幾率，以便增強(qiáng)識(shí)別分類(lèi)效果。判斷階段則是從目標(biāo)中區(qū)分行人，通過(guò)行人特定的特征匹配方法，或者通過(guò)神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、多層感知機(jī)等方法來(lái)判斷前景區(qū)域中是否包含行人。Dalal［1］等人提出梯度方向直方圖（HOG）特征是目前廣泛使用的行人特征描述子，其描述圖像的局部梯度幅值和方向特征，能有效地刻畫(huà)出人體的邊緣特征。Ojala［2］等人提出的局部二值模式（LBP）特征因具有維度低、計(jì)算速度快、能很好地刻畫(huà)圖像的紋理信息而得到廣泛的應(yīng)用。Xu［3］等人，利用車(chē)載紅外攝像機(jī)設(shè)計(jì)出行人檢測(cè)算法，提取前景的灰度強(qiáng)度特征并透過(guò)支持向量機(jī)（SVM）和卡爾曼濾波器進(jìn)行檢測(cè)和跟蹤；但此算法要先進(jìn)行道路檢測(cè)，若圖像里沒(méi)有道路則無(wú)法檢測(cè)，且灰度的強(qiáng)度特征不易區(qū)分物體。Dai［4］等人提出基于外觀形狀信息的行人檢測(cè)，使用高斯混合模型（GMM）背景建模，然后先利用形狀特征去除非行人，再以外觀找到行人位置；該算法能準(zhǔn)確檢測(cè)行人與非行人，但依賴(lài)背景模型，背景模型的建立和更新較耗時(shí)，系統(tǒng)效率低。

文中主要是利用基于二階統(tǒng)計(jì)特征的支持向量機(jī)［5］（SVM）分類(lèi)器進(jìn)行行人檢測(cè)，克服因環(huán)境變化所造成的錯(cuò)誤和遺漏檢測(cè)。首先運(yùn)用改進(jìn)的基于圖塊（block-graphs）的前景檢測(cè)找出運(yùn)動(dòng)物體，較傳統(tǒng)幀差法取得更完整的前景區(qū)域。之后再對(duì)提取到的前景區(qū)域，利用灰度共生矩陣（GLCM）得到4個(gè)方向的4種不同的二階統(tǒng)計(jì)特征。經(jīng)支持向量機(jī)分類(lèi)，找出行人目標(biāo)，以達(dá)到實(shí)時(shí)檢測(cè)目的，大幅增加監(jiān)控的智能性。

1 前景檢測(cè)

一般環(huán)境下，背景建模受到許多限制，如光線變化、背景物干擾、或跟蹤物與背景過(guò)于相似，造成前景無(wú)法被正確檢測(cè)，而且背景模型的更新會(huì)造成運(yùn)算量增加。文中將使用改進(jìn)的幀間差分法取代背景減除法檢測(cè)運(yùn)動(dòng)物體。

傳統(tǒng)基于像素的幀間差分法在檢測(cè)時(shí)會(huì)產(chǎn)生許多破碎前景區(qū)塊，因?yàn)樵诳臻g上像素之間相鄰的關(guān)系是不被考慮的。從而在檢測(cè)移動(dòng)物時(shí)，如果使用幀間差分法就必須同時(shí)考慮局部與廣域的特性。因此我們提出了改進(jìn)的基于圖塊［6］的前景檢測(cè)方法，使得所檢測(cè)前景區(qū)域更加完整正確。首先，將每幀圖像的RGB顏色空間轉(zhuǎn)換成YUV顏色空間，然后將圖像分割成許多非重疊區(qū)域，每塊區(qū)域的大小可根據(jù)物體的大小作調(diào)整。其中YUV空間，Y是圖像的灰度值，而U和V則是指色調(diào)，描述圖像色彩及飽和度。對(duì)前景的檢測(cè)需考慮灰度值與色調(diào)的同時(shí)變化。此前景檢測(cè)算法步驟如下：

1）將每幀圖像的RGB顏色空間轉(zhuǎn)換成YUV顏色空間，分別于Y、U和V通道內(nèi)檢測(cè)移動(dòng)物。對(duì)第k幀及k+1幀圖片的Y、U和V通道分別做差分處理分別得到二值圖像。公式（1）如下：

式中的TY、TU和TV分別為預(yù)先設(shè)定的Y、U和V通道閾值，可根據(jù)經(jīng)驗(yàn)選取。

2）將圖像分割為若干小區(qū)域，每個(gè)區(qū)域的大小為N×N（N取值由目標(biāo)的尺寸決定），每個(gè)小區(qū)域是一個(gè)圖塊。如果圖像大小為M0×N0，則可劃分區(qū)域數(shù)目為L(zhǎng)=M0×N0/N2。

3）融合Y、U和V 3個(gè)通道得到更完整的前景區(qū)域。在每一圖塊內(nèi)，若一像素的Y通道的變化超過(guò)閾值TY的1.5倍，則直接分為前景；否則采用融合Y、U和V通道的方式，即如果灰度值和顏色一起有明顯的變化，則歸類(lèi)為前景，規(guī)則如下：（Y＞TY）&&（（U＞TU）||（V＞TV））。

4）統(tǒng)計(jì)每個(gè)N×N圖塊在YUV顏色空間前景像素?cái)?shù)量Ni（1≤i≤L），在每一個(gè)圖塊中，如果計(jì)算到前景的像素?cái)?shù)量大于一定的閾值TN（N為圖塊大?。?，則將此圖塊歸類(lèi)為前景。

2 二階統(tǒng)計(jì)特征分類(lèi)器

文中利用紋理特征做為行人檢測(cè)的驗(yàn)證，因?yàn)榧y理特征不易受光照變化的影響，是一種穩(wěn)定的特征。由于不同目標(biāo)在特征上的差異，利用灰度共生矩陣（GLCM）所產(chǎn)生的4種（ASM、Contrast、IDF和Entropy）在4個(gè)方向 （0°、45°、90°和135）上的二階統(tǒng)計(jì)特征，以這16個(gè)特征做為前景區(qū)域的特征向量，將此特征向量帶入支持向量機(jī)（SVM）中，設(shè)計(jì)出基于二階統(tǒng)計(jì)特征的分類(lèi)器。利用此分類(lèi)器對(duì)前景物進(jìn)行分類(lèi)，能降低由圖像特征造成的誤檢。

2.1 灰度共生矩陣（GLCM）

灰度直方圖是對(duì)圖像上單個(gè)象素具有某個(gè)灰度進(jìn)行統(tǒng)計(jì)的結(jié)果，直方圖統(tǒng)計(jì)是一階統(tǒng)計(jì)量，描述像素中灰度分布特征。但是對(duì)于不同位置像素之間的差異，直方圖卻無(wú)法詳細(xì)描述，二階統(tǒng)計(jì)特征可以對(duì)像素之間位置的相對(duì)關(guān)系做出詳細(xì)描述。這里采用 Haralick等人提出的灰度共生矩陣（GLCM）［7］，灰度共生矩陣是對(duì)圖像上保持某距離的兩象素分別具有某灰度的狀況進(jìn)行統(tǒng)計(jì)得到的。灰度共生矩陣產(chǎn)生的方式是統(tǒng)計(jì)灰度圖像中，兩相對(duì)位置在預(yù)設(shè)參數(shù)條件下（距離、方向）的像素對(duì)之間的概率，并將概率值歸納成矩陣形式，用以描述圖像灰度的分布狀況。

對(duì)于目標(biāo)（區(qū)域大小為M×N）圖像f（x，y），設(shè)其灰度級(jí)數(shù)為L(zhǎng)，可以定義共生矩陣 p（i，j，d，θ），其中，i=f（x1，y1），j= f（x2，y2）且x1+Dx=x2，y1+Dy=y2，參數(shù)d和θ分別代表像素對(duì)（i，j）相對(duì)的距離和像素間相對(duì)的方向。其中像素對(duì)（i，j）如圖1（a）所示，方向θ分成4個(gè)方向：水平、斜向、垂直，角度分別為0°、45°、90°、135°如圖1（b）所示。

圖1 灰度共生矩陣示意圖

對(duì)于整個(gè)目標(biāo)區(qū)域，統(tǒng)計(jì)出每一種（i，j）值出現(xiàn)的次數(shù)，然后排列成一個(gè)方陣，再用（i，j）出現(xiàn)的總次數(shù)將它們歸一化為出現(xiàn)的概率P（i，j），這樣就生成灰度共生矩陣。

矩陣Pd元素Pd（i，j）表示：目標(biāo)區(qū)域中位置關(guān)系為d的兩個(gè)像素，其灰度分別為i和j情況下出現(xiàn)的概率。距離差分值（Dx，Dy）取不同的數(shù)值組合，得到不同情況下的聯(lián)合概率矩陣。（Dx，Dy）取值根據(jù)紋理周期分布的特性來(lái)選擇，對(duì)于較細(xì)的紋理，選?。?，0）、（1，1）、（-1，0）等小的差分值。當(dāng)a=1，b=0時(shí)，像素對(duì)是水平的，即0°掃描；當(dāng)a=0，b=1時(shí)，像素對(duì)是垂直的，即90°掃描；當(dāng)a=1，b=1時(shí)，像素對(duì)是右對(duì)角線的，即45°掃描；當(dāng)a=-1，b=1時(shí)，像素對(duì)是左對(duì)角線，即135°掃描?；叶裙采仃嚪从硤D像灰度關(guān)于方向、相鄰間隔、變化幅度的綜合信息，是分析圖像的局部模式和它們排列規(guī)則的基礎(chǔ)。

2.2 灰度共生矩陣（GLCM）的特征提取

灰度共生矩陣并不能直接作為紋理分析的特征量，必須在共生矩陣的基礎(chǔ)上進(jìn)行二次統(tǒng)計(jì)量的計(jì)算，并將其作為紋理特征之后才能實(shí)現(xiàn)后續(xù)流程的算法。從灰度共生矩陣中提取出來(lái)的二階矩特征中有一些對(duì)紋理［8］具有直接的物理意義，例如粗糙度、平滑、對(duì)比度等。文中選用其中的4種主要特征：能量（二階距）（ASM）、對(duì)比度（Contrast）、逆差矩（IDM）和熵（Entropy）。

1）能量（二階距）

能量（ASM）是灰度共生矩陣元素值的平方和，反映了圖像灰度分布均勻程度和紋理粗細(xì)程度。公式（3）如下所示：

如果共生矩陣的所有值均相等，則ASM值小；相反，如果其中一些值大而其它值小，則ASM值大。當(dāng)共生矩陣中元素集中分布時(shí)ASM值大，表明是較均勻和規(guī)則變化的紋理。

2）對(duì)比度

對(duì)比度（Contrast）主要是用于計(jì)算圖像灰度值的對(duì)比強(qiáng)度，也就是目標(biāo)區(qū)域圖像中灰度的變化量，公式（4）如下所示：

對(duì)比度度量圖像中的局部變化情況，反應(yīng)了圖像的清晰度和紋理的溝紋深淺。紋理的溝紋越深，反差越大，效果清晰；反之，對(duì)比度小，則溝紋淺，效果模糊。

3）逆差矩

逆差矩（IDF）用來(lái)度量圖像紋理局部變化的大小，反映圖像紋理的同質(zhì)性，度量圖像紋理局部變化的多少。逆差矩與前一個(gè)特征對(duì)比度剛好相反，在對(duì)比度愈低時(shí)這項(xiàng)特征會(huì)得到愈高的值，公式（5）如下：

其值大說(shuō)明不同紋理區(qū)域間缺少變化，局部非常均勻，因此連續(xù)灰度的圖像IDF值較大。

4）熵

熵（Entropy）主要用于測(cè)量圖像的混亂度，在越平滑的圖像中熵度值會(huì)越低，公式（6）如下：

熵表示了圖像中紋理的非均勻程度或復(fù)雜程度，熵值越大，圖像越復(fù)雜。紋理信息也屬于圖像的信息，是一個(gè)隨機(jī)性的度量，當(dāng)共生矩陣中元素分散分布時(shí)，熵較大。

2.3 支持向量機(jī)（SVM）

支持向量機(jī)（Support Vector Machine，SVM）［9］是 Cortes和Vapnik首先提出的，它在解決小樣本、非線性及高維模式識(shí)別中表現(xiàn)出許多特有優(yōu)勢(shì)。SVM是指一些在n維空間的數(shù)據(jù)，希望可以在此空間找出一個(gè)超平面（Hyperplan）將資料分成兩群，并且超平面到離他最近的訓(xùn)練樣本的距離要最大。以二維的例子來(lái)說(shuō)，如圖2所示，希望能找出一條直線能夠?qū)A形和三角形分開(kāi)，而且希望這條虛線距離這兩個(gè)資料的邊界越大越好，這樣才能夠正確的分辨這是屬于哪一類(lèi)的資料。

圖2 SVM分類(lèi)示意圖

對(duì)于非線性分類(lèi)情況，可通過(guò)核函數(shù)的非線性映射，把數(shù)據(jù)映射到高維特征空間中，將問(wèn)題變成線性可分的。文中中的SVM主要是用RBF（radial basis function）核，選取前景物件的二階統(tǒng)計(jì)量特征能量（ASM）、對(duì)比度（Contrast）、逆差矩（IDF）和熵（Entropy）4個(gè)距離為1各不同角度的特征，將特征量化成1×16的特征向量如下所示：

將各前景的特征向量用SVM分類(lèi)器進(jìn)行分類(lèi)，以達(dá)到行人檢測(cè)的目的。

3 實(shí)驗(yàn)結(jié)果與分析

文中運(yùn)用VS2010配置Opencv2.4.8和MATLABR2012進(jìn)行實(shí)驗(yàn)平臺(tái)的搭建。首先運(yùn)用改進(jìn)的基于圖塊前景檢測(cè)技術(shù)找出移動(dòng)物體，之后再對(duì)提取到的前景區(qū)域，利用二階統(tǒng)計(jì)的灰度共生矩陣得到4個(gè)方向（0°、45°、90°和145°）的4種不同特征分別為能量（ASM）、對(duì)比度（Contrast）、逆差矩（IDF）和熵度（Entropy）。經(jīng)支持向量機(jī)（SVM）進(jìn)行分類(lèi)，找出行人目標(biāo)。我們分別對(duì)3段不同的場(chǎng)景視頻序列進(jìn)行測(cè)試。

第1部分主要進(jìn)行前景檢測(cè)，經(jīng)實(shí)驗(yàn)觀察發(fā)現(xiàn)基于圖塊的檢測(cè)法會(huì)使得前景區(qū)域更完整。在圖3中分別表示基于像素與基于圖塊的前景檢測(cè)方法。由圖3（b）（c）（d）可看出基于圖塊會(huì)比基于像素（圖3（a））所形成的前景更佳的完整。

圖3 基于像素與基于圖塊的前景區(qū)域

第2部分進(jìn)行行人檢測(cè)的分類(lèi)驗(yàn)證，實(shí)驗(yàn)中我們分別對(duì)3段不同的場(chǎng)景視頻序進(jìn)行測(cè)試，對(duì)文中方法與基于高斯混合模型建背景的和基于對(duì)比度特征的方法來(lái)做比較。利用前景區(qū)域得到灰度共生矩陣，提取相對(duì)應(yīng)的紋理特征，這里將圖像的灰度級(jí)定為16級(jí)，主要是為了減少灰度共生矩陣（GLCM）的大小，提高運(yùn)算的速度。在接下來(lái)利用行人與非行人在GLCM上的概率分布差異，選取前景的二階統(tǒng)計(jì)特征能量（ASM）、對(duì)比度（Contrast）、逆差矩（IDF）和熵（Entropy）4個(gè)距離為1各不同角度的特征，并將將特征量化成1×16的特征向量FV。

文中使用MATLAB-LIBSVM工具箱進(jìn)行分類(lèi)，參數(shù)設(shè)置：SVM型態(tài)為C-SVC，核心函數(shù)為徑向基函數(shù)RBF，cost（損失函數(shù)）-c和核函數(shù)-g的最優(yōu)值采用遍歷g和c的網(wǎng)格法確定。將行人作為正樣本，非行人作為負(fù)樣本。實(shí)驗(yàn)從測(cè)試的3段視頻中取600張圖像當(dāng)作訓(xùn)練樣本樣本，其中中正樣本300個(gè)、負(fù)樣本300個(gè)。再將訓(xùn)練好的的分類(lèi)器對(duì)視頻中的進(jìn)行分類(lèi)測(cè)試，以3段不同場(chǎng)景、不同情境的視頻來(lái)驗(yàn)證本算法。實(shí)驗(yàn)顯示，這3段視頻都能達(dá)到實(shí)時(shí)檢測(cè)，效果如圖4所示。

圖4 通過(guò)二階統(tǒng)計(jì)特征分類(lèi)器后結(jié)果

接下來(lái)將會(huì)與基于混合高斯模型背景建模（GMM）以及基于對(duì)比度特征［10］的方法做比較。驗(yàn)證基于二階統(tǒng)計(jì)量特征分類(lèi)器的檢測(cè)結(jié)果對(duì)比另外兩個(gè)算法，是否可以有效的提升檢測(cè)正確率，降低誤檢以及漏檢，這項(xiàng)實(shí)驗(yàn)中我們將以Jaccard系數(shù)［11］來(lái)計(jì)算，J的定義為：

TP是移動(dòng)的物正確檢測(cè)，F(xiàn)P是錯(cuò)誤檢測(cè)和FN是遺漏檢測(cè)。表1反映了不同算法的檢測(cè)結(jié)果。

表1 不同算法的檢測(cè)結(jié)果對(duì)比

由實(shí)驗(yàn)結(jié)果可以看出在3段視頻中，文中算法的正確率高于其他兩個(gè)方法?；旌细咚鼓Ｐ捅尘敖Ｒ约盎趯?duì)比度特征的對(duì)背景環(huán)境依賴(lài)性比較大，產(chǎn)生錯(cuò)檢和漏檢幾率增大，造成對(duì)檢測(cè)的不穩(wěn)定，實(shí)驗(yàn)證明文中方法是有效的。

4 結(jié)束語(yǔ)

文中算法運(yùn)用加入圖塊的前景檢測(cè)法和基于二階統(tǒng)計(jì)特征的分類(lèi)器，對(duì)不同環(huán)境的行人進(jìn)行檢測(cè)?；趫D塊的前景檢測(cè)能夠提取出更完整的前景，提高分類(lèi)器準(zhǔn)確率，而且二階統(tǒng)計(jì)特征使得SVM分類(lèi)器有更高的鑒別度。由于視頻中光線變化，會(huì)使前景不完整造成檢測(cè)穩(wěn)定性降低。同時(shí)，當(dāng)監(jiān)控分辨率較低時(shí)，畫(huà)面會(huì)出現(xiàn)雪花噪聲，容易造成前景檢測(cè)的不穩(wěn)定，如何克服低分辨率也是亟需解決的問(wèn)題。下一步需要解決由于光線在短時(shí)間內(nèi)變化和低分辨率所造成的影響，在目前白天已有不錯(cuò)效果的算法上，達(dá)到全天候的檢測(cè)效果。

［1］Dalal N，Triggs B.Histograms of oriented gradients for human detection［C］//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，San Diego，USA，2005：886－893.

［2］Li J，Gong W，LiW，et al.Robust pedestrian detection in thermal infrared imagery using the wavelet transform［J］.Infrared Physics&Technology，2010，53（4）:267-273.

［3］Xu F，Liu X，F(xiàn)ujimura K.Pedestrian detection and tracking with night vision ［J］.Intelligent Transportation Systems，IEEE Transactions on，2005，6（1）:63-71.

［4］Dai C，Zheng Y，Li X.Pedestrian detection and tracking in infrared imagery using shape and appearance［J］.Computer Vision and Image Understanding，2007，106（2）:288-299.

［5］Burges C JC.A tutorial on support vectormachines for pattern recognition［J］.Data Mining and Knowledge Discovery，1998，2（2）:121-167.

［6］Khanina N A，Semeikina E V，Yurin D V.Scale-space color blob and ridge detection［J］.Pattern Recognition and Image Analysis，2012，22（1）:221-227.

［7］Davis L S，Johns SA，Aggarwal JK.Texture analysis using generalized co-occurrencematrices［J］.IEEE Transactions on Pattern Analysisand Machine Intelligence，1979（3）:251-259.

［8］薄 華，馬縛龍，焦李成.圖像紋理的灰度共生矩陣計(jì)算問(wèn)題的分析［J］.電子學(xué)報(bào)，2006（1）:155-158.

［9］Burges C J C.Geometry and invariance in kernel based methods［C］//Advances in kernel methods-support vector learning.Boston:MITPress，1999:89-116.

［10］Huang K，Wang L，Tan T，et al.A real-time object detecting and tracking system for outdoor night surveillance［J］. Pattern Recognition，2008，41（1）:432-444.

［11］Sneath PH A，Sokal R R.Numerical taxonomy.The principles and practices of numerical classification［M］.San Fran cisco:WH Freeman，1973.

Pedestrian detection based on blocks-graphs and second-order statistics

LUAN Shu-peng
（School of Computer and Information，Hohai University，Nanjing 210000，China）

In the pedestrian detection，since the complex changes in the external environment and pedestrians'own different characteristics，usually resulting in error and missing detection.To solve the problem above，this paper proposes amethod based on block-graphs and second-order statistics to improve detection accuracy.Firstly，foreground detection based on frame difference of block-graphs，then calculate GLCM of foreground area.Next extracting the second-order statistics of the foreground region，finally detecting pedestriansby SVM classifierbased on second-order statistics.Itshows that this algorithm hasbetter detection resultsby contrastsimulation experiments.

pedestrian detection；gray level co-occurrencematrix；block-graphs；second-order statistics；Support Vector Machine（SVM）

TN911.73

A

1674－6236（2016）20-0190-04

2015-10-30 稿件編號(hào)：201510237

欒書(shū)鵬（1991—），男，江蘇泰興人，碩士研究生。研究方向：計(jì)算機(jī)視覺(jué)，圖像處理。