基于深度特征的人群密度估計(jì)方法

(浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，浙江 杭州 310023)

近年來，由人群聚集引起的安全事故頻發(fā)，為了預(yù)防類似問題，許多國家出臺(tái)了相關(guān)的安防政策予以應(yīng)對(duì)。此外，對(duì)人群的分析也逐漸成為各國企業(yè)和研究者關(guān)注的重點(diǎn)。其中，人群密度估計(jì)是人群分析中十分重要的一部分。

人群密度估計(jì)是指對(duì)圖像或視頻幀中的一定區(qū)域內(nèi)所包含的人數(shù)進(jìn)行估計(jì)，通過人群密度情況來反映該區(qū)域內(nèi)的人群聚集情況。人群密度估計(jì)問題一般使用人群密度等級(jí)分類的方式予以解決，其大致步驟為：首先，通過對(duì)人群圖像中一定區(qū)域進(jìn)行人群特征提??；然后，利用提取的特征訓(xùn)練分類器；最后，使用訓(xùn)練得到的分類器對(duì)給定圖像的人群密度等級(jí)進(jìn)行劃分。

1 相關(guān)工作

在人群密度估計(jì)領(lǐng)域，已經(jīng)有許多人進(jìn)行了相關(guān)的研究，并提出了一些解決方法。這些方法主要可分為兩類：基于像素特征的人群密度估計(jì)方法以及基于紋理特征的人群密度估計(jì)方法。

基于像素特征的人群密度估計(jì)方法，一般通過統(tǒng)計(jì)人群像素點(diǎn)的數(shù)量，并計(jì)算像素點(diǎn)在圖像中所占的像素比進(jìn)行人群密度估計(jì)。Chow等[1]提出先分別獲取人群前景像素值占圖像總像素值的比例，邊緣像素值、背景像素值占圖像總像素值的比例，并對(duì)這三個(gè)特征值使用神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到對(duì)應(yīng)的人群密度分類器。人群圖像中存在陰影會(huì)使得該方法估計(jì)得到的人群密度有偏差。為了解決人群圖像中的陰影對(duì)人群密度估計(jì)的影響，Ma等[2]提出對(duì)人群圖像的不同前景賦予不同權(quán)重，來進(jìn)行射影畸形矯正，以此提高人群密度估計(jì)的準(zhǔn)確率。為了進(jìn)一步提高人群密度估計(jì)的準(zhǔn)確率，Damian等[3]改進(jìn)Ma等[2]的方法，提取分塊化的像素特征，并利用提取的像素特征訓(xùn)練人群密度分類器?；谙袼靥卣鞯娜巳好芏裙烙?jì)方法在低密度場景下表現(xiàn)較好，但是在高密度場景下，由于人和人之間存在遮擋，這會(huì)導(dǎo)致人群密度估計(jì)準(zhǔn)確率下降。

為了解決高密度場景下人群密度估計(jì)準(zhǔn)確率下降的問題，基于紋理特征的人群密度估計(jì)方法逐漸被提出，該方法將人群視為一種特殊的紋理，通過提取人群圖像中紋理特征進(jìn)行人群密度估計(jì)。Wu等[4]通過提取人群圖像中每個(gè)子塊的灰度共生矩陣特征(Gray-level co-occurrence matrix, GLCM)，并結(jié)合所有子塊的GLCM特征得到圖像的密度等級(jí)。Ma等[5]提出使用改進(jìn)的局部二值模式特征(Local binary pattern, LBP)進(jìn)行人群密度估計(jì)。提取圖像的紋理特征能夠較好地解決高密度場景下的人群密度估計(jì)問題，但是當(dāng)人群背景較復(fù)雜時(shí)，上述方法無法提取到較好的人群特征[6]。因此，還存在提升的空間。

由于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network, CNN)能夠提取具有較強(qiáng)數(shù)據(jù)表達(dá)能力的深度特征，該特征能夠更好地反映人群密度情況。因此，筆者提出使用卷積神經(jīng)網(wǎng)絡(luò)提取人群的深度特征，并利用該特征進(jìn)行人群密度估計(jì)。

2 基于深度特征的人群密度估計(jì)

深度學(xué)習(xí)是一種能夠?qū)W習(xí)所提供數(shù)據(jù)中的潛在分布特性的復(fù)雜算法，能夠進(jìn)行有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，利用大數(shù)據(jù)[7-9]自主學(xué)習(xí)數(shù)據(jù)中的特征。卷積神經(jīng)網(wǎng)絡(luò)是處于有監(jiān)督學(xué)習(xí)下的一種深度學(xué)習(xí)模型，卷積神經(jīng)網(wǎng)絡(luò)通過對(duì)圖像進(jìn)行迭代學(xué)習(xí)，由低級(jí)紋理特征慢慢學(xué)習(xí)到高級(jí)語義特征，最后得到深度特征具有很強(qiáng)的特征表達(dá)能力。由于深度特征的優(yōu)點(diǎn)，筆者使用兩種不同的卷積神經(jīng)網(wǎng)絡(luò)提取深度特征，以此來訓(xùn)練人群密度估計(jì)分類器。具體的算法流程如圖1所示。

圖1 基于深度特征的人群密度估計(jì)流程圖Fig.1 Crowd density estimation flow chart based on deep feature

2.1 深度特征提取

卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)多層次結(jié)構(gòu)的深度網(wǎng)絡(luò)，一般由卷積層、池化層、全連接層組成。隨著深度學(xué)習(xí)的發(fā)展，研究者們通過對(duì)基本卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，提出了一系列新的網(wǎng)絡(luò)，近年來典型的CNN網(wǎng)絡(luò)有AlexNet[10]，VGGNet[11]，GoogleNet[12]等。本研究用于人群特征提取的兩種卷積神經(jīng)網(wǎng)絡(luò)分別為VGGNet-16和ResNet-152。

2.1.1 VGGNet-16網(wǎng)絡(luò)

與AlexNet相比，VGGNet使用連續(xù)的幾個(gè)3×3的卷積核代替AlexNet中的較大卷積核。在具有相同感受野的情況下，使用小卷積核疊加的形式能夠增加網(wǎng)絡(luò)深度，減少訓(xùn)練參數(shù)，從而提升網(wǎng)絡(luò)的效果。筆者首先使用VGGNet的16 層結(jié)構(gòu)進(jìn)行人群特征提取，所使用的具體結(jié)構(gòu)如圖2所示。

圖2 VGG-16網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 VGG-16 network structure diagram

對(duì)于卷積模塊，首先將人群圖像的尺寸都轉(zhuǎn)換為224×224作為輸入圖像，在每個(gè)卷積層中，卷積核先對(duì)輸入圖像進(jìn)行線性濾波，并通過激活函數(shù)處理得到特征圖。該過程可以表示為

(1)

式中：y(l)表示第l個(gè)卷積層的輸出；ai為輸入向量；*為卷積運(yùn)算符；Wij為該層卷積核的權(quán)值；b(l)為偏置量；n為輸入特征圖的總數(shù)。每個(gè)卷積層都會(huì)對(duì)前一層的輸入ai使用Wij進(jìn)行卷積，產(chǎn)生新的輸出y(l)。f(x)表示激活函數(shù)，本網(wǎng)絡(luò)中使用ReLU作為激活函數(shù)，其公式可表示為

f(x)=max(0,x)

(2)

在卷積核參數(shù)的設(shè)計(jì)上，本網(wǎng)絡(luò)和VGGNet-16保持一致，卷積核大小全部設(shè)置為3×3，對(duì)于最大值池化層，其核大小設(shè)置為2×2，步長設(shè)置為2，最大值池化能夠有效減少參與訓(xùn)練的神經(jīng)元數(shù)量，同時(shí)使得提取到的特征具有平移不變性。

在全連接層的設(shè)計(jì)上，考慮到不同圖像中的人群密度特征多變，且在人群圖像的特征尺度較多，筆者使用兩個(gè)4 096 維的全連接層與一個(gè)5 維的全連接層組成本網(wǎng)絡(luò)的全連接模塊，這樣的設(shè)置能夠更好地學(xué)習(xí)到多個(gè)尺度的人群特征。

2.1.2ResNet-152網(wǎng)絡(luò)

由于卷積神經(jīng)網(wǎng)絡(luò)能夠提取不同等級(jí)的特征，所提取到特征的信息豐富程度與網(wǎng)絡(luò)層數(shù)呈正相關(guān)關(guān)系。但如果只是簡單地增加網(wǎng)絡(luò)深度，就會(huì)導(dǎo)致梯度爆炸問題。一般來說，該問題可以通過添加正則化層(Batch normalization, BN)來解決。雖然添加正則化層解決了梯度爆炸問題，但是退化問題并不能得到解決。退化問題是指隨著網(wǎng)絡(luò)層數(shù)的增加，卷積神經(jīng)網(wǎng)絡(luò)的性能反而下降，其主要原因在于網(wǎng)絡(luò)的優(yōu)化難度增大。針對(duì)這個(gè)問題，He等[13]提出殘差網(wǎng)絡(luò)(ResNet)結(jié)構(gòu)，該結(jié)構(gòu)使用了一種名為快捷連接(Shortcut connection)的連接方式，該連接方式如圖3所示。

圖3 快捷連接方式示意圖Fig.3 The schematic diagram of shortcut connection

在圖3中，假設(shè)原始的卷積映射函數(shù)為H(x)，直接擬合該映射函數(shù)比較困難，因此該結(jié)構(gòu)不是讓網(wǎng)絡(luò)直接擬合原始的映射函數(shù)，而是擬合殘差映射函數(shù)。如果將擬合原始映射轉(zhuǎn)換為擬合殘差卷積單元F(x)=H(x)-x，則網(wǎng)絡(luò)的映射函數(shù)可表示為H(x)=F(x)+x。同時(shí)，在該網(wǎng)絡(luò)中，新增加的快捷連接不會(huì)增加網(wǎng)絡(luò)的參數(shù)大小和復(fù)雜程度。文獻(xiàn)[13]中還提出兩種典型的ResNet結(jié)構(gòu)，這兩種結(jié)構(gòu)分別為ResNet-34和ResNet-50/101/152，具體結(jié)構(gòu)如圖4所示，圖4(a)表示構(gòu)建塊(Building block)結(jié)構(gòu)，圖4(b)表示“瓶頸”構(gòu)建塊(“Bottleneck” building block)結(jié)構(gòu)。

圖4 殘差網(wǎng)絡(luò)瓶頸結(jié)構(gòu)示意圖Fig.4 The schematic diagram of residual network bottleneck structure

使用“瓶頸”構(gòu)建塊結(jié)構(gòu)的目的是為了降低訓(xùn)練參數(shù)的數(shù)量，該結(jié)構(gòu)通過第一個(gè)1×1的卷積把256 維變?yōu)?4 維，最后在末端再用一個(gè)1×1的卷積來把64 維恢復(fù)成256 維。對(duì)于參數(shù)的數(shù)量，使用瓶頸結(jié)構(gòu)后，整體的參數(shù)數(shù)量為1×1×256×64+3×3×64×64+1×1×64×256=69 632；若不使用瓶頸結(jié)構(gòu)，整體的參數(shù)數(shù)量為3×3×256×256×2=1 179 648，是使用瓶頸結(jié)構(gòu)的參數(shù)數(shù)目的16.9倍。由于ResNet-152的優(yōu)異表現(xiàn)，筆者也使用ResNet-152的網(wǎng)絡(luò)結(jié)構(gòu)來提取人群特征。

在全連接層的設(shè)計(jì)上，由于本研究只需要將人群密度等級(jí)分為5 類，所以將ResNet-152模型中1 000 維的全連接層降低到5 維。

2.1.3Softmax分類器

在分類器方面，使用Softmax分類器[14]對(duì)人群密度等級(jí)進(jìn)行分類，若人群密度等級(jí)標(biāo)簽數(shù)為k，則Softmax分類器可表示為

(3)

由于本實(shí)驗(yàn)將數(shù)據(jù)集劃分為5個(gè)密度等級(jí)，為了與之對(duì)應(yīng)，在訓(xùn)練時(shí)需要將Softmax分類器的參數(shù)k設(shè)置為5。

2.2 網(wǎng)絡(luò)訓(xùn)練

在網(wǎng)絡(luò)訓(xùn)練時(shí)，將預(yù)處理后的人群圖像及對(duì)應(yīng)的人群密度等級(jí)標(biāo)簽輸入網(wǎng)絡(luò)，使用Adam優(yōu)化算法以及交叉熵?fù)p失函數(shù)展開訓(xùn)練，學(xué)習(xí)率設(shè)置為le-4，批量大小(Batch size)設(shè)置為10。實(shí)驗(yàn)證明，在此參數(shù)的設(shè)置下，網(wǎng)絡(luò)能夠得到充分訓(xùn)練，loss值逐步下降，不易發(fā)生過擬合情況，且收斂速度較快，分類的準(zhǔn)確率也穩(wěn)定提升。

3 實(shí)驗(yàn)及分析

筆者算法是在Ubuntu平臺(tái)下通過Pytorch深度學(xué)習(xí)框架實(shí)現(xiàn)的。運(yùn)行環(huán)境為Ubuntu 16.04.3系統(tǒng)，32 G內(nèi)存，E5-2630CPU和GeForce GTX 1080Ti顯卡。使用CUDA對(duì)訓(xùn)練以及測試過程進(jìn)行加速。所使用的數(shù)據(jù)集來自于PETS2009視頻數(shù)據(jù)庫[15]，該數(shù)據(jù)庫包括S0，S1，S2，S3等4 個(gè)子數(shù)據(jù)集：其中，S0數(shù)據(jù)集用于相關(guān)背景訓(xùn)練；S1數(shù)據(jù)集用于人群計(jì)數(shù)和人群密度估計(jì)；S2數(shù)據(jù)集用于行人跟蹤；S3數(shù)據(jù)集用于人流分析和行為檢測。本節(jié)使用S1數(shù)據(jù)集中的相關(guān)視頻序列作為實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析對(duì)比。

3.1 圖像預(yù)處理

Fradi等[16]提出將人群密度劃分為5 個(gè)等級(jí)：極低、低、中等、高和極高，使用不同的密度等級(jí)來描述人群密度特征。在PETS2009的S1數(shù)據(jù)集中，每幀圖片有R0，R1，R2等3 個(gè)區(qū)域，一般使用R1和R2區(qū)域進(jìn)行人群密度估計(jì)研究，具體區(qū)域劃分情況如圖5所示。

圖5 S1數(shù)據(jù)集區(qū)域劃分示意圖Fig.5 The schematic diagram of regional division on S1 dataset

先根據(jù)坐標(biāo)范圍，將R1和R2從每幀圖像中分割出來，再將分割出的圖像進(jìn)行灰度化操作，同時(shí)將灰度化后的圖像尺寸都調(diào)整為224×224，最后對(duì)圖像進(jìn)行歸一化處理。

在圖像預(yù)處理之后，需要制作實(shí)驗(yàn)所需的訓(xùn)練集和測試集。首先，根據(jù)表1所示的密度等級(jí)分類標(biāo)準(zhǔn)，將數(shù)據(jù)集劃分為5 個(gè)密度等級(jí)，劃分后的各個(gè)密度等級(jí)樣本數(shù)量如表2所示。接著，將劃分后各個(gè)密度等級(jí)的樣本隨機(jī)分為兩份，一份作為訓(xùn)練集，一份作為測試集。各個(gè)密度等級(jí)的樣本示例圖如圖6所示。從圖6中可以看出：劃分后的樣本能夠較好地體現(xiàn)不同的人群密度情況，有利于提高訓(xùn)練所得分類器的性能。

表1 密度等級(jí)分類標(biāo)準(zhǔn)Table 1 The standard of density classification 單位：人

表2 各人群密度等級(jí)樣本數(shù)量Table 2 The number of samples for each crowd density level 單位：個(gè)

圖6 各個(gè)密度等級(jí)樣本示例圖Fig.6 Sample diagram of each density level

3.2 實(shí)驗(yàn)設(shè)置

為了證明使用深度特征能夠提高人群密度估計(jì)的準(zhǔn)確率，首先利用處理好的訓(xùn)練集訓(xùn)練基于HOG，LBP和HOG-LBP這3類傳統(tǒng)特征的SVM分類器；接著，利用同樣的訓(xùn)練集訓(xùn)練基于VGG-16和ResNet-152的Softmax分類器；最后，使用訓(xùn)練得到的分類器對(duì)測試集進(jìn)行測試，并對(duì)得到的結(jié)果進(jìn)行比較分析。

3.3 實(shí)驗(yàn)結(jié)果分析

使用基于HOG，LBP和HOG-LBP這3類傳統(tǒng)特征訓(xùn)練的分類器進(jìn)行人群密度估計(jì)，所得結(jié)果如圖7所示；使用基于VGG-16和ResNet-152網(wǎng)絡(luò)提取的深度特征訓(xùn)練的分類器進(jìn)行人群密度估計(jì)，所得結(jié)果如圖8所示。

圖7 基于傳統(tǒng)特征的人群密度估計(jì)實(shí)驗(yàn)對(duì)比Fig.7 Experimental comparison of crowd density estimation based on traditional feature

圖8 基于深度特征的人群密度估計(jì)實(shí)驗(yàn)對(duì)比Fig.8 Experimental comparison of crowd density estimation based on deep feature

從圖7的實(shí)驗(yàn)結(jié)果可以看出：在R1和R2兩個(gè)人群區(qū)域中，基于HOG-LBP特征的方法準(zhǔn)確率比基于HOG特征的方法準(zhǔn)確率分別提高2.8%，6.3%，比基于LBP特征的方法準(zhǔn)確率分別提高1.4%，1.4%。此結(jié)果證明，由HOG特征與LBP特征結(jié)合得到的HOG-LBP特征比起單一特征能夠更好地描述人群特征，提高人群密度估計(jì)的準(zhǔn)確率。

從圖8的實(shí)驗(yàn)結(jié)果可以看出：在R1和R2兩個(gè)人群區(qū)域中，基于ResNet-152的方法準(zhǔn)確率比基于VGG-16的方法準(zhǔn)確率分別高0.6%，0.1%。與圖7中基于傳統(tǒng)特征的方法相比，基于深度特征的方法在兩個(gè)人群區(qū)域中都取得了最好的密度等級(jí)分類準(zhǔn)確率。綜合圖7，8可以得出：深度特征比起傳統(tǒng)特征有著更好的特征表達(dá)能力，對(duì)人群密度估計(jì)更有幫助。

4 結(jié) 論

為了進(jìn)一步提高人群密度估計(jì)的準(zhǔn)確性，筆者提出一種基于深度特征的人群密度估計(jì)方法，使用卷積神經(jīng)網(wǎng)絡(luò)來提取人群圖像的深度特征，提取的深度特征能夠更好地反映人群密度情況。從實(shí)驗(yàn)結(jié)果來看，基于深度特征的人群密度估計(jì)方法比基于傳統(tǒng)特征的人群密度估計(jì)方法有更高的準(zhǔn)確率。所提方法雖然有較高的人群密度估計(jì)準(zhǔn)確率，但該方法僅僅使用了兩種單獨(dú)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行深度特征的提取，接下來的工作將考慮結(jié)合多種深度特征，進(jìn)一步提高特征的表達(dá)能力，從而提高人群密度估計(jì)的準(zhǔn)確率。