王 姮,游斌相,劉桂華,張 進(jìn)

(1.西南科技大學(xué)信息工程學(xué)院，四川 綿陽 621010;2.國網(wǎng)重慶市電力公司電力科學(xué)研究院,重慶 401123)

紅外視頻圖像的行人檢測(cè)算法

王 姮1,游斌相1,劉桂華1,張 進(jìn)2

(1.西南科技大學(xué)信息工程學(xué)院，四川 綿陽 621010;2.國網(wǎng)重慶市電力公司電力科學(xué)研究院,重慶 401123)

在光照不足、對(duì)比度較低的夜晚，紅外輻射成像技術(shù)具有較好的成像效果。一個(gè)魯棒性好、可靠性強(qiáng)的紅外環(huán)境行人檢測(cè)方法，對(duì)拓展紅外成像技術(shù)的應(yīng)用具有重要意義。對(duì)此，提出了一套高效可行的紅外環(huán)境下行人檢測(cè)方案。首先，使用高斯混合模型進(jìn)行圖像分割，獲取前景區(qū)域。高斯混合模型具有對(duì)運(yùn)動(dòng)敏感的特征，在運(yùn)動(dòng)目標(biāo)檢測(cè)過程中不僅可以實(shí)時(shí)更新背景，而且還能有效地消除陰影區(qū)域。然后，提取方向梯度直方圖(HOG)特征。HOG是在圖像的局部方格單元上操作的，所以它對(duì)圖像幾何、光學(xué)的形變都能保持很好的不變性；HOG可以允許行人有一些細(xì)微的肢體動(dòng)作，這些細(xì)微的動(dòng)作可以被忽略而不影響檢測(cè)效果。最后，使用Adaboost算法進(jìn)行分類識(shí)別。試驗(yàn)結(jié)果表明，該方法在紅外環(huán)境下的行人識(shí)別率高達(dá)99%，能較好地滿足應(yīng)用需求。

行人檢測(cè)； 高斯混合； 運(yùn)動(dòng)目標(biāo)檢測(cè)； 方向梯度直方圖； Adaboost算法； 二分類； 識(shí)別率

0 引言

紅外圖像雖然分辨率較低，但其具有不受環(huán)境影響的優(yōu)點(diǎn)，在夜間也可檢測(cè)并分割出諸如行人等目標(biāo)溫度高于環(huán)境溫度的前景目標(biāo)。其在安全監(jiān)控、自動(dòng)駕駛以及軍事等領(lǐng)域有著廣泛的應(yīng)用，在安全監(jiān)控報(bào)警領(lǐng)域的應(yīng)用尤為廣泛；但是目前大多報(bào)警裝置仍使用觸發(fā)報(bào)警模式，誤報(bào)率較高。

近年來，國內(nèi)外已有不少關(guān)于紅外環(huán)境下的行人檢測(cè)[1-3]方法。Lin等[4]使用背景幀差法分割前景移動(dòng)目標(biāo)，提取幾個(gè)輪廓特征點(diǎn)并計(jì)算相關(guān)系數(shù)，最后用神經(jīng)網(wǎng)絡(luò)進(jìn)行分類。Lakshmi等[5]利用行人特征分割出感興趣區(qū)域后，采用曲波變換來獲取特征數(shù)據(jù)，最后使用支持向量機(jī)(support vector machine，SVM)對(duì)這些數(shù)據(jù)作分類處理。王路杰[6]在針對(duì)紅外圖像行人檢測(cè)算法中，利用不同區(qū)間的亮度直方圖(different bins histogram of intensity，DBHOI)和亮度直方圖(histogram of intensity，HOI)作為行人特征描述子，然后采用Adaboost的分類方法對(duì)描述子進(jìn)行分類檢測(cè)。芮挺等[7]采用多層網(wǎng)絡(luò)構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)行人的檢測(cè)。楊陽等[8]利用直方圖統(tǒng)計(jì)顯著性映射算法獲取紅外圖像的顯著圖，統(tǒng)計(jì)關(guān)注點(diǎn)的分布，然后確定分割閾值，并結(jié)合先驗(yàn)概率構(gòu)建基于形狀的級(jí)聯(lián)模版樹，最后在分割圖像上根據(jù)匹配值確定行人的位置。

雖然各個(gè)模型在人形檢測(cè)上都有不錯(cuò)的表現(xiàn)，但大多是以犧牲計(jì)算時(shí)間為代價(jià)。本文以混合高斯作分割，然后提取方向梯度直方圖(histogram of oriented gradient，HOG) 特征，最后使用Adaboost進(jìn)行分類。

1 系統(tǒng)檢測(cè)流程

紅外環(huán)境下的行人檢測(cè)總體流程如下：①獲取紅外圖像；②對(duì)原始紅外圖像進(jìn)行濾波處理；③進(jìn)行圖像前景分割；④對(duì)分割出來的區(qū)域進(jìn)行特征提??；⑤對(duì)提取出來的特征進(jìn)行分類識(shí)別，判別其是否是行人。

本文利用高斯混合背景建模進(jìn)行分割，然后提取HOG特征，最后使用Adaboost分類器來檢測(cè)行人。從相機(jī)獲得圖像后，首先通過混合高斯模型檢測(cè)運(yùn)動(dòng)目標(biāo)，然后計(jì)算運(yùn)動(dòng)目標(biāo)區(qū)域的HOG特征。使用Adaboost分類器對(duì)獲得的HOG特征進(jìn)行分類。若分類器分類結(jié)果是行人，則生成檢測(cè)日志；若分類器結(jié)果不是行人，則獲取下一幀圖像進(jìn)行處理。

1.1 圖像分割

圖像分割就是把圖像分成若干個(gè)特定的、具有獨(dú)特性質(zhì)的區(qū)域。同時(shí)圖像分割也是一種基本的計(jì)算機(jī)視覺技術(shù)，是運(yùn)動(dòng)分析和運(yùn)動(dòng)跟蹤的基礎(chǔ)。

圖像分割算法有很多種，Jeon等[9]首先連續(xù)取十幀圖像構(gòu)建出一個(gè)背景圖像，然后將獲取的新圖像與背景圖像相減，從而獲得前景圖像。Lin等采用幀間差分法進(jìn)行圖像的分割[4]。Zhao等[10]利用輪廓顯著圖作分割。Wang等[11]使用高斯混合背景建模來分離前景和背景。背景消除法與幀間差分法類似，適用于背景較為固定不變的場(chǎng)景，多用于室內(nèi)。輪廓顯著圖需要對(duì)輪廓進(jìn)行多次計(jì)算，運(yùn)算量較其他方法大得多。高斯混合模型利用當(dāng)前幀和視頻序列中的當(dāng)前背景幀進(jìn)行加權(quán)平均來更新背景，魯棒性強(qiáng)且適用范圍廣。

1.2 高斯混合模型

在高斯混合背景模型中，認(rèn)為像素之間的顏色信息互不相關(guān)，對(duì)各像素點(diǎn)的處理都是相互獨(dú)立的。對(duì)于視頻圖像中的每一個(gè)像素點(diǎn)，可將其值在序列圖像中的變化看作不斷產(chǎn)生像素值的隨機(jī)過程，即用高斯分布來描述每個(gè)像素點(diǎn)的顏色呈現(xiàn)規(guī)律。在馬義德等[12]的研究中，在模型學(xué)習(xí)方面,均值與方差采用了不同的學(xué)習(xí)率。其中，均值更新采用自適應(yīng)的學(xué)習(xí)率,方差的學(xué)習(xí)率取固定值，引入權(quán)值均值概念；結(jié)合權(quán)值進(jìn)行像素點(diǎn)的前景和背景分類，并利用了背景圖像消除陰影。較傳統(tǒng)方法而言，該方法具有更好的學(xué)習(xí)能力。

高斯模型由均值和方差這兩個(gè)參數(shù)完全決定,對(duì)均值和方差的學(xué)習(xí),采取不同的學(xué)習(xí)機(jī)制,將直接影響模型的穩(wěn)定性、精確性和收斂性。文獻(xiàn)[12]采用式(1)對(duì)均值更新：

(1)

方差的更新方程為：

(2)

式中：ρσ=0.002為學(xué)習(xí)率。

該學(xué)習(xí)機(jī)制使均值收斂快而準(zhǔn)，方差收斂相對(duì)較快、比較平穩(wěn)。

雖然高斯混合能有效地消除陰影區(qū)域，但其對(duì)運(yùn)動(dòng)比較敏感的特性也會(huì)對(duì)結(jié)果造成干擾。特別是在夏天，環(huán)境溫度較高，若遇大風(fēng)引起某些背景移動(dòng)的情況，背景很容易被誤認(rèn)為是前景。所以后期的特征提取和分類識(shí)別是很有必要的。

1.3 特征提取

在提取出紅外圖像的熱點(diǎn)區(qū)域后，必須進(jìn)一步確認(rèn)熱點(diǎn)區(qū)域是否為行人。這就需要對(duì)每個(gè)區(qū)域進(jìn)行描述，獲得該區(qū)域的特征向量，并使用分類器來分類。為了便于后續(xù)的統(tǒng)一計(jì)算，且考慮到紅外圖像分辨率較低的情況，先將提取出來的目標(biāo)前景區(qū)域縮放至64×128像素，再提取HOG特征。HOG是目前用于人形描述最常用的特征方法之一。

HOG特征計(jì)算首先對(duì)圖像作灰度化處理，接著使用式(3)作歸一化處理。其目的是調(diào)節(jié)圖像的對(duì)比度，降低圖像局部的陰影和光照變化所造成的影響，同時(shí)可以抑制噪聲的干擾。

P(x,y)=I(x,y)γ

(3)

式中：I(x,y)為當(dāng)前像素值；P(x,y)為歸一化后的像素值。

根據(jù)式(4)～式(7)，計(jì)算每個(gè)像素點(diǎn)的梯度，可有效地捕獲輪廓信息，同時(shí)進(jìn)一步弱化光照的干擾。

Gx(x,y)=P(x+1,y)-P(x-1,y)

(4)

Gy(x,y)=P(x,y+1)-P(x,y-1)

(5)

(6)

(7)

式中：Gx(x,y)、Gy(x,y)、G(x,y)和α(x,y)分別為像素點(diǎn)(x,y)的水平方向梯度、垂直方向梯度以及梯度幅值和梯度方向。

接下來，將圖像劃分成若干個(gè)小細(xì)胞，統(tǒng)計(jì)每個(gè)細(xì)胞的梯度直方圖，可獲得每個(gè)細(xì)胞的特征描述。然后將多個(gè)細(xì)胞構(gòu)成一個(gè)塊，把塊內(nèi)每個(gè)細(xì)胞的特征描述串聯(lián)到一起，即可獲得該塊的特征描述。最后將圖像內(nèi)所有塊的特征表述串聯(lián)起來即可得到整幅圖像的HOG特征。

1.4 Adaboost算法

分類是識(shí)別系統(tǒng)中極為重要的一環(huán)，分類的好壞直接關(guān)系到整個(gè)識(shí)別系統(tǒng)的好壞。Adaboost是目前最好的二分類算法之一，最早由Freund等提出[13]。其核心思想是針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的弱分類器，然后把這些弱分類器集合起來，構(gòu)成一個(gè)強(qiáng)分類器。Adaboost使用各種方法構(gòu)建子分類器，并給各子分類器分配一個(gè)適當(dāng)?shù)臋?quán)值，最后將其總和作為一個(gè)完整的分類器。Adaboost分類器構(gòu)造簡(jiǎn)單、精確度高。其數(shù)學(xué)表達(dá)式一般為：

(8)

式中：αt為每個(gè)弱分類器對(duì)應(yīng)的權(quán)重值；ht為弱分類器；T為迭代次數(shù)。

Adaboost迭代算法大致可分為初始化權(quán)重、弱分類器的訓(xùn)練以及強(qiáng)分類器的合成3個(gè)步驟。首先初始化訓(xùn)練數(shù)據(jù)的權(quán)值分布。如果有N個(gè)樣本，則每一個(gè)訓(xùn)練樣本最開始時(shí)都被賦予相同的權(quán)重1/N，接著訓(xùn)練弱分類器。在具體訓(xùn)練過程中，如果某個(gè)樣本點(diǎn)已經(jīng)被準(zhǔn)確地分類，那么在構(gòu)造下一個(gè)訓(xùn)練集中，它的權(quán)重就被降低；否則，它的權(quán)重就得到提高。權(quán)重更新后的樣本集被用于訓(xùn)練下一個(gè)分類器，整個(gè)訓(xùn)練過程如此迭代地進(jìn)行下去。最后，將各個(gè)訓(xùn)練得到的弱分類器組合成強(qiáng)分類器。

2 試驗(yàn)結(jié)果分析

在獲取原始紅外圖像后，首先對(duì)其進(jìn)行灰度化處理，然后使用高斯混合背景建模的方法提取出前景移動(dòng)目標(biāo)，接著計(jì)算提取出來的目標(biāo)區(qū)域的HOG特征向量，最后使用Adaboost來分類。采用高斯混合背景建模，運(yùn)動(dòng)目標(biāo)提取前后的對(duì)比圖如圖1所示。

圖1 運(yùn)動(dòng)目標(biāo)提取前后對(duì)比圖

在使用Adaboost分類前，首先需要對(duì)分類器進(jìn)行訓(xùn)練。試驗(yàn)中的樣本庫均為實(shí)際采樣。其中負(fù)樣本主要有水杯、窗簾飄動(dòng)等其他干擾產(chǎn)生的噪聲圖片；正樣本有正常行走、跑動(dòng)、正面、側(cè)面、半身等各種情況的圖片。

樣本學(xué)習(xí)數(shù)量越大，訓(xùn)練出來的分類效果也越好。通過試驗(yàn)，比較了多種特征與分類算法，其結(jié)果如圖2所示。

圖2 行人識(shí)別率結(jié)果曲線

在使用Adaboost作為分類器的情況下，低樣本時(shí)，識(shí)別率隨著訓(xùn)練樣本數(shù)量的增加而增高。當(dāng)樣本數(shù)量大于1 500時(shí)，識(shí)別率增加緩慢。同樣，在使用SVM作為分類器的情況下，低樣本時(shí)識(shí)別率隨著訓(xùn)練樣本數(shù)量增加而增高；當(dāng)樣本數(shù)量大于2 000時(shí)，識(shí)別率基本保持穩(wěn)定。從試驗(yàn)過程和試驗(yàn)結(jié)果來看，使用本文方法來檢測(cè)紅外環(huán)境下的行人效果更好。

3 結(jié)束語

對(duì)基于紅外環(huán)境的行人檢測(cè)技術(shù)進(jìn)行了研究，并提出了一種基于高斯混合模型、Adaboost算法的行人檢測(cè)方法。試驗(yàn)表明，該方法對(duì)于紅外環(huán)境下的行人檢測(cè)具有良好的效果，識(shí)別率高達(dá)99.1%，證明了此方法的可行性和優(yōu)越性。

[1] QI B,JOHN V,LIU Z,et al. Pedestrian detection from thermal images:a sparse representation based approach[J]. Infrared Physics & Technology,2016,76(2):157-167.

[2] LENAE K,MAUROVIE I,PETROVIE I.Moving objects detection using a thermal camera and IMU on a vehicle[C]//International Conference on Electrical Drives and Power Electronics. IEEE,2015.

[3] TEUTSCH M,MUELLER T,HUBER M,et al. Low resolution person detection with a moving thermal infrared camera by hot spot classification[C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops. IEEE Computer Society,2014:209-216.

[4] LIN C F,CHEN C S,HWANG W J,et al. Novel outline features for pedestrian detection system with thermal images[J]. Pattern Recognition,2015,48(11):3440-3450.

[5] LAKSHMI A,FAHEEMA A G J,DEODHARE D. Pedestrian detection in thermal images:an automated scale based region extraction with curvelet space validation[J]. Infrared Physics & Technology,2016,76(3):421-438.

[6] 王路杰. 基于紅外圖像的行人檢測(cè)算法研究[D]. 杭州：杭州電子科技大學(xué),2015.

[7] 芮挺,費(fèi)建超,周遊,等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的行人檢測(cè)[J]. 計(jì)算機(jī)工程與應(yīng)用,2016,52(13):162-166.

[8] 楊陽,楊靜宇. 基于顯著性分割的紅外行人檢測(cè)[J]. 南京理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2013,37(2):51-56.

[9] JEON E S,KIM J H,HONG H G.Human detection based on the generation of a background image and fuzzy system by using a thermal camera[J]. Sensors,2016,16(4):453.

[10]ZHAO X,HE Z,ZHANG S,et al. Robust pedestrian detection in thermal infrared imagery using a shape distribution histogram feature and modified sparse representation classification[J]. Pattern Recognition,2014,48(6):1947-1960.

[11]WANG J T,CHEN D B,CHEN H Y,et al. On pedestrian detection and tracking in infrared videos[J]. Pattern Recognition Letters,2012,33(6):775-785.

[12]馬義德,朱望飛,安世霞,等. 改進(jìn)的基于高斯混合模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J]. 計(jì)算機(jī)應(yīng)用,2007,27(10):2544-2546.

[13]FREUND Y,SCHAPIRE R E.A decision-theoretic generalization of on-line learning and an application to boosting[C]//European Conference on Computational Learning Theory,1995:119-139.

Algorithm of Pedestrian Detection in Thermal Images

WANG Heng1,YOU Binxiang1,LIU Guihua1,ZHANG Jin2
(1.College of Information Engineering,Southwest University of Science and Technology,Mianyang 621010,China； 2.National Electricity Science Research Institute of Chongqing Electric Power Company,Chongqing 401123,China)

Infrared radiation imaging technology could reach a good imaging effect even in low illumination and contrast of night. A good robustness and reliability of the pedestrian detection method has a important significance on extending the application of infrared imaging technology. So,this paper puts forward a set of effective and feasible solutions of the pedestrian detection in infrared environment. Firstly,using gaussian mixture model for image segmentation to obtain the foreground area.Gaussian mixture model is sensitive to the motion object. It not only can update the background in real-time,but also can effectively eliminate the shadow area during moving object detection.And then,extracting the HOG feature.The HOG operates is on the local grid cells of the image,so it maintains good invariance for the geometrical and optical deformations of the image. Besides,the HOG allows pedestrians to have subtle body movements that can be ignored without affecting the detection results.Finally,using Adaboost to make classification. Experimental results show that this method recognition rate is as high as 99% in the infrared environment,and it can satisfy the market needs.

Pedestrian detection; Gaussian mixture model; Moving object detection; Histograms of oriented gradients(HOG); Adaboost; Two classification; Recognition efficiency

四川省重點(diǎn)實(shí)驗(yàn)室開放基金資助項(xiàng)目(13zxtk0504)、西南科技大學(xué)校創(chuàng)新團(tuán)隊(duì)基金資助項(xiàng)目(14tdtk01)

王姮(1971—)，女，碩士，教授，主要從事機(jī)器人技術(shù)及應(yīng)用、自動(dòng)化技術(shù)的研究。E-mail：wh839@qq.com。 游斌相(通信作者)，男，在讀碩士研究生，主要從事機(jī)器視覺、模式識(shí)別技術(shù)的研究。E-mail：744710304@qq.com。

TH86;TP391.4

A

10.16086/j.cnki.issn1000-0380.201707021

修改稿收到日期:2017-01-07