基于膚色與Haar-like擴(kuò)展集的駕駛員人臉檢測(cè)算法

葛小鳳

摘 要：針對(duì)疲勞駕駛預(yù)警系統(tǒng)中人臉檢測(cè)準(zhǔn)確率低、誤檢率高的問(wèn)題，提出一種基于膚色與Haar-like擴(kuò)展集的駕駛員人臉檢測(cè)算法。首先根據(jù)駕駛員人臉膚色在YCbCr色彩空間的聚類(lèi)性、臉部特征及駕駛環(huán)境，篩選人臉膚色作為候選區(qū);然后在傳統(tǒng)基于Haar-like特征的AdaBoost算法中，加入兩組新的符合人臉特征分布的Haar-like特征進(jìn)行駕駛員人臉檢測(cè)。以MIT人臉庫(kù)和拍攝的駕駛員人臉圖像作為訓(xùn)練與檢測(cè)樣本，與傳統(tǒng)AdaBoost算法進(jìn)行對(duì)比實(shí)驗(yàn)。結(jié)果表明，該算法對(duì)正面人臉和側(cè)面人臉（傾斜角度小于45°）檢測(cè)準(zhǔn)確率分別提高1.25%和5.00%，誤檢率降低2.81%和4.50%， 人臉檢測(cè)準(zhǔn)確率得到較大提高。

關(guān)鍵詞：人臉檢測(cè);Haar-like特征;膚色分割;AdaBoost算法;級(jí)聯(lián)分類(lèi)器

DOI：10. 11907/rjdk. 201531 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類(lèi)號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2020）008-0030-05

Abstract：Aiming at the problems of low accuracy and high false detection rate of face detection in fatigue driving warning system， this paper proposes a driver face detection algorithm based on skin color and Haar like extension set. Firstly， according to the clustering of drivers face skin color in YCbCr color space， facial features and driving environment， human skin color is selected as candidate region; then， based on AdaBoost algorithm of traditional Haar like feature， two new Haar like features are added to detect the drivers face. The MIT face database and the drivers face images taken as training and detection samples are compared with the traditional AdaBoost algorithm. The experimental results show that the detection accuracy of the algorithm is improved by 1.25% and 5.00% respectively for front face and side face （tilt angle is less than 45 °）， and the false detection rate is reduced by 2.81% and 4.50%， which proves the face detection accuracy is greatly improved.

Key Words： face detection; Haar-like feature; skin color segmentation; AdaBoost algorithm; cascade classifier

0 引言

駕駛員人臉準(zhǔn)確、實(shí)時(shí)檢測(cè)是疲勞駕駛預(yù)警的關(guān)鍵環(huán)節(jié)[1-3]，近年來(lái)各類(lèi)經(jīng)典及改進(jìn)算法層出不窮。如文獻(xiàn)[4]提出基于Haar-Like T特征的人臉檢測(cè)算法，可有效提高正面人臉檢測(cè)率和檢測(cè)速度，但未對(duì)側(cè)面人臉進(jìn)行研究;文獻(xiàn)[5]提出基于回歸的人臉檢測(cè)加速算法，縮短了視頻人臉特征提取時(shí)間，可滿(mǎn)足人臉檢測(cè)實(shí)時(shí)性要求;文獻(xiàn)[6]提出兩層級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)法，在人臉多姿態(tài)變化和面部特征信息不完整等情況下實(shí)現(xiàn)精準(zhǔn)檢測(cè)，但訓(xùn)練樣本選擇復(fù)雜且要求高;文獻(xiàn)[7]通過(guò)改進(jìn)多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)人臉檢測(cè)算法，速度提高將近40%，正確率達(dá)到97%，但該算法十分依賴(lài)人臉訓(xùn)練樣本是否全面。人臉檢測(cè)算法要同時(shí)滿(mǎn)足檢測(cè)準(zhǔn)確率高、實(shí)時(shí)性強(qiáng)、誤檢率低等多方面要求，仍存在不足。

2001年Viola等[8-9]提出基于簡(jiǎn)單Haar特征，利用Boosted進(jìn)行特征分類(lèi)的方法建立人臉檢測(cè)的實(shí)時(shí)處理VJ框架，并在實(shí)際運(yùn)用中取得較大成功，它需在大量人臉和非人臉樣本訓(xùn)練的基礎(chǔ)上建立人臉識(shí)別分類(lèi)器。此后，研究者們致力于提升該框架檢測(cè)精度和速度，主要從新特征引入、新算法和新檢測(cè)器層級(jí)結(jié)構(gòu)3個(gè)方面進(jìn)行改進(jìn)。

為提高駕駛員人臉檢測(cè)系統(tǒng)檢測(cè)效果，本文首先根據(jù)人臉膚色在YCbCr色彩空間的聚類(lèi)性，采用高斯膚色分割出人臉候選區(qū)域;再根據(jù)駕駛環(huán)境下的人臉面積占有率和高寬比，進(jìn)行人臉候選區(qū)域優(yōu)化;最后，提出有效針對(duì)駕駛員眉眼區(qū)域和側(cè)面人臉的Haar-like特征擴(kuò)展集，使用AdaBoost算法確定圖像中的人臉。人臉樣本實(shí)驗(yàn)證明，該方法對(duì)駕駛員正面和側(cè)面人臉檢測(cè)準(zhǔn)確率均可達(dá) 96.56%和95.50%，誤檢率也降至3.13%和4.50%。

1 膚色分割

駕駛員人臉圖像數(shù)據(jù)采集與傳輸受駕駛環(huán)境、光照和噪聲干擾，可對(duì)圖像進(jìn)行直方圖均衡化和濾波處理，以提高檢測(cè)圖像質(zhì)量。直方圖均衡化目的是擴(kuò)大圖像灰度動(dòng)態(tài)變化范圍，使原圖像非均勻概率密度可均勻分布;而中值濾波根據(jù)圖像各點(diǎn)像素值大小排序，找出位置居中的值作為該點(diǎn)像素值，可去除或減弱圖像噪聲，保留較完整的邊緣細(xì)節(jié)，增強(qiáng)圖像清晰度和質(zhì)量[10]。

樣本檢測(cè)時(shí)，首先需將強(qiáng)分類(lèi)器按復(fù)雜程度排序，從易到難，逐級(jí)排除非人臉區(qū)域，最終排除所有非人臉。檢測(cè)結(jié)束時(shí)，如果有剩余區(qū)域，則為人臉區(qū)域，否則表示未檢測(cè)到人臉。

3.2 算法流程

人臉檢測(cè)流程包括分類(lèi)器訓(xùn)練與檢測(cè)兩部分，流程如圖5所示。

（1）樣本分類(lèi)器訓(xùn)練。首先收集MIT庫(kù)與部分網(wǎng)絡(luò)下載及拍攝的駕駛員人臉、非人臉圖像建立正負(fù)訓(xùn)練樣本庫(kù)。其中正面人臉圖像2 000張，側(cè)面人臉（傾斜角度小于45°）圖像800張，非人臉圖像2 530張，將所有樣本灰度化、歸一化處理為20×20像素的灰度圖;其次，提取圖像Haar-like特征，構(gòu)造多個(gè)弱分類(lèi)器，再由AdaBoost算法循環(huán)，構(gòu)造強(qiáng)分類(lèi)器;最后按強(qiáng)分類(lèi)器檢測(cè)率從高到低進(jìn)行排列，級(jí)聯(lián)構(gòu)成Haar分類(lèi)器，可快速排除非人臉區(qū)域。

（2）人臉檢測(cè)。駕駛員檢測(cè)樣本來(lái)自網(wǎng)絡(luò)和筆者拍攝的駕駛環(huán)境下320 張駕駛員正臉圖像和100張側(cè)臉（傾斜角度小于45°）圖像，均為單張人臉圖像。首先對(duì)待檢測(cè)圖像作直方圖均衡化與中值濾波去噪;其次在YCbCr顏色空間中，采用高斯膚色分割和區(qū)域優(yōu)化得到人臉候選區(qū)，若不滿(mǎn)足區(qū)域優(yōu)化條件，則為非人臉圖像;最后將其輸入到級(jí)聯(lián)分類(lèi)器中判斷是否檢測(cè)到人臉圖像。

4 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文提出的基于膚色與Haar-like特征擴(kuò)展集的人臉檢測(cè)算法有效性，對(duì)比利用基于單一Haar-like特征的Adaboost算法、膚色和Haar-like特征相結(jié)合的Adaboost算法進(jìn)行人臉檢測(cè)實(shí)驗(yàn)，就正面和側(cè)面人臉（傾斜角度小于45°）圖像進(jìn)行檢測(cè)準(zhǔn)確率、誤檢率、檢測(cè)時(shí)長(zhǎng)3方面對(duì)比分析，實(shí)驗(yàn)數(shù)據(jù)如表1、表2所示。

由表1、表2實(shí)驗(yàn)數(shù)據(jù)分析可知，對(duì)于正面人臉，本文算法平均檢測(cè)率可達(dá)96%，高于單一的Haar-like特征與膚色和Haar-like特征的AdaBoost人臉檢測(cè)算法;而對(duì)于誤檢率來(lái)說(shuō)，雖然本文算法也會(huì)對(duì)背景產(chǎn)生誤檢，但遠(yuǎn)低于其它兩種方法，平均檢測(cè)時(shí)長(zhǎng)也最短;對(duì)于側(cè)面人臉，本文算法平均檢測(cè)準(zhǔn)確率為95.5%，略低于正面人臉，卻遠(yuǎn)高于其它兩種方法對(duì)側(cè)面人臉的檢測(cè)率，誤檢率也遠(yuǎn)低于其它兩種方法，但此時(shí)檢測(cè)時(shí)長(zhǎng)低于單一Haar-like特征檢測(cè)算法，而略高于膚色與Haar-like特征檢測(cè)算法。

使用本文方法的人臉檢測(cè)率得到顯著提高，尤其是對(duì)側(cè)面人臉，這是因?yàn)獒槍?duì)駕駛環(huán)境，首先通過(guò)預(yù)處理降噪，增強(qiáng)圖像質(zhì)量，采用高斯膚色模型及駕駛過(guò)程中采集的視頻圖像中的人臉特征，設(shè)置合適的閾值，排除了大量與膚色相似的車(chē)內(nèi)背景;其次，新加入的Haar-like特征集更加符合人臉眉眼區(qū)域特點(diǎn)，同時(shí)也對(duì)駕駛員側(cè)臉特征進(jìn)行了較好描述，使檢測(cè)方法魯棒性更好，從而提高檢測(cè)準(zhǔn)確率。Haar-like特征算法中引入膚色特征后與單一的Haar-like特征對(duì)比，可有效降低誤檢率，改善整體檢測(cè)效果。圖6為其中一組正側(cè)面圖像人臉檢測(cè)對(duì)比，可看出基于單一的Haar-like算法雖然能正確檢測(cè)人臉部分，但卻出現(xiàn)誤檢，而采用膚色結(jié)合Haar-like特征與本文算法則正確檢測(cè)出人臉目標(biāo)區(qū)域且沒(méi)有誤檢，進(jìn)一步說(shuō)明Haar-like特征算法中引入膚色特征的有效性。從平均檢測(cè)時(shí)長(zhǎng)來(lái)看，本文算法可節(jié)省較多檢測(cè)時(shí)間，原因是高斯膚色模型結(jié)合駕駛員人臉區(qū)域優(yōu)化進(jìn)行的膚色分割篩除了大量非膚色區(qū)域，減少待檢測(cè)窗口數(shù)量，提高了人臉檢測(cè)效率。因此，在單一的Haar-like特征算法基礎(chǔ)上加入膚色特征，可有效降低誤檢，而在此基礎(chǔ)上引入Haar-like特征擴(kuò)展集則可以明顯提高人臉檢測(cè)準(zhǔn)確率。

5 結(jié)語(yǔ)

本文通過(guò)膚色分割，再結(jié)合基本Haar-like擴(kuò)展兩組新特征集，采用AdaBoost算法訓(xùn)練檢測(cè)器，檢測(cè)駕駛員人臉。經(jīng)實(shí)驗(yàn)證明，本文算法在駕駛環(huán)境下的人臉檢測(cè)準(zhǔn)確率高、誤檢率低、速度快，檢測(cè)效果明顯好于Haar-like特征算法與膚色和Haar-like特征相結(jié)合的算法，尤其是對(duì)傾角小于45°的側(cè)面人臉檢測(cè)率顯著提高，但對(duì)于傾斜角度更大或更復(fù)雜背景下的人臉檢測(cè)，還不能滿(mǎn)足工程實(shí)踐要求，這是下一步研究重點(diǎn)。

參考文獻(xiàn)：

[1] HAO Z K， LIU Y， QIN H W， et al. Scale-aware face detection [C]. ?Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition，2017：1063-6919.

[2] RANGANATHA S， GOWRAMMA Y P. An integrated robust approach for fast face tracking in noisy real world videos with visual constraints[C]. ?2017 International Conference on Advances in Computing， Communications and Informatics， 2017： 772-776.

[3] RANJAN R，BANSAL A，ZHENG J， et al. A fast and accurate system for face detection， identification， and verification[J]. ?IEEE Transactions on Biometrics，Behavior，and Identity Science， 2019， 1（2）：82-96.

[4] 王慶偉，應(yīng)自爐. ?一種基于Haar-Like T特征的人臉檢測(cè)算法[J]. 模式識(shí)別與人工智能， 2015， 28（1）：35-41.

[5] 王丹，趙宏偉，戴毅，等. 基于回歸的人臉檢測(cè)加速算法[J]. 重慶郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，31（4）：550-555.

[6] 張海濤，李美霖，董帥含. 兩層級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測(cè)[J]. 中國(guó)圖象圖形學(xué)報(bào)，2019，24（2）：203-214.

[7] 吳紀(jì)蕓，陳時(shí)欽. 一種改進(jìn)的MTCNN人臉檢測(cè)算法[J]. 軟件導(dǎo)刊，2019，18（12）：78-81.

[8] VIOLA P， JONES M J. Rapid object detection using a boosted cascade of simple features[C]. ?IEEE Computer Society Conference on Computer Vision & Pattern Recognition， 2001：511-518.

[9] VIOLA P， JONES M J. Robust real-time face detection[J]. International Journal of Computer Vision， 2004， 57 （2）：137-154.

[10] 謝鳳英. ?數(shù)字圖像處理及應(yīng)用[M]. ?北京：電子工業(yè)出版社， 2014 .

[11] RANJAN R，PATEL V M，CHELLAPPA R. A deep pyramid deformable part model for face detection[C]. ?International Conference on Biometrics Theory， Applications and Systems，2015：1-8.

[12] 陽(yáng)崇云，桑農(nóng)，陳張一，等. ?基于膚色模型與Adaboost算法的多視角人臉檢測(cè)[J]. 華中科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2015，43（S1）：271-275.

[13] 姚子怡，張清勇，李雪琪. 一種融合改進(jìn)型AdaBoost和膚色模型的人臉檢測(cè)方法[J]. 計(jì)算機(jī)與數(shù)字工程，2018，46（4）： 743-749.

[14] 崔鵬，燕天天. ?融合YCbCr膚色模型與改進(jìn)的Adaboost算法的人臉檢測(cè)[J]. 哈爾濱理工大學(xué)學(xué)報(bào)，2018，23（2）：91-96.

[15] 曹潔，唐瑞萍，李偉. ?基于擴(kuò)展的Haar-Like特征和LBP特征的人臉壓縮跟蹤算法[J]. 傳感器與微系統(tǒng)，2019，38（11）：125-128.

[16] 魏瑋，趙芳. 基于Haar-like EB特征與幀間約束的視頻人臉定量檢測(cè)[J]. 計(jì)算機(jī)工程，2018，44（ 9） ： 250-255，262.

[17] 張彩麗，劉廣文，詹旭，等. ?基于新增haar特征和改進(jìn)AdaBoost的人臉檢測(cè)算法[J]. 長(zhǎng)春理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2020，43（2）：89-93.

[18] 李晶惠，葉學(xué)義，夏胡云，等. ?基于“大T”型區(qū)域的AdaBoost人臉檢測(cè)算法[J]. 軟件導(dǎo)刊，2017，16（10）：22-26.

[19] 沈翔，朱建鴻. ?基于膚色與改進(jìn)Adaboost算法的人臉檢測(cè)[J]. 傳感器與微系統(tǒng)，2019，38（4）：143-145.

（責(zé)任編輯：江 艷）