基于多視覺(jué)特征融合的非侵入式疲勞駕駛檢測(cè)方法研究

朱玉偉 潘宇馳 鄒劉磊 黃心怡 范洪輝 朱洪錦

摘要：為了解決目前車(chē)輛疲勞駕駛檢測(cè)線索單一、算力要求高、準(zhǔn)確率低、侵入式等問(wèn)題，基于駕駛?cè)藛T眼部、嘴部、頭部等部位特征數(shù)據(jù)的采集分析，構(gòu)建了輕量化的神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)了非侵入式多視覺(jué)特征融合疲勞檢測(cè)方法。通過(guò)模擬對(duì)比實(shí)驗(yàn)和實(shí)際場(chǎng)景實(shí)驗(yàn)，證明該檢測(cè)方法具有算力要求低、識(shí)別精度高、生產(chǎn)成本低等優(yōu)點(diǎn)。

關(guān)鍵詞：非侵入式;駕駛狀態(tài);疲勞檢測(cè)

中圖分類號(hào)：TP391.4文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2095-7394（2021）06-0059-08

疲勞駕駛是造成交通事故的重要原因，因此對(duì)駕駛員是否發(fā)生疲勞駕駛的檢測(cè)及預(yù)警，就成為提高行車(chē)安全的重要手段。目前，針對(duì)疲勞駕駛的檢測(cè)按技術(shù)路線可分為，駕駛?cè)藛T生理信號(hào)的讀取、車(chē)輛行駛軌跡的分析、駕駛?cè)藛T駕車(chē)姿態(tài)及操作行為的監(jiān)測(cè)及基于視覺(jué)識(shí)別機(jī)器學(xué)習(xí)的疲勞檢測(cè)。這些技術(shù)路線又大致可以歸納為兩類方法，侵入式檢測(cè)和非侵入式檢測(cè)。侵入式檢測(cè)是指將相關(guān)檢測(cè)儀器與人體產(chǎn)生物理接觸，以此收集人體反饋出的疲勞狀態(tài)指標(biāo)，并判斷是否疲勞[1-2]。非侵入式檢測(cè)是指通過(guò)不與人體接觸的傳感器來(lái)讀取被檢測(cè)人員的精神狀態(tài)[3-4]。比如，通過(guò)攝像機(jī)來(lái)讀取駕駛?cè)藛T的眼部閉合、面部表情、頭部姿態(tài)等行為特征[5]，利用模式識(shí)別、圖像處理、機(jī)器視覺(jué)、深度神經(jīng)網(wǎng)絡(luò)等方法，實(shí)現(xiàn)對(duì)駕駛?cè)藛T精神狀態(tài)的實(shí)時(shí)檢測(cè)。

隨著計(jì)算機(jī)視覺(jué)領(lǐng)域深度學(xué)習(xí)技術(shù)的不斷發(fā)展，基于計(jì)算機(jī)視覺(jué)圖像處理的人體疲勞檢測(cè)成為目前主流的研究方向。AL-LIBAWY[6]采用頭部姿態(tài)和車(chē)輛信息融合，利用粒子群優(yōu)化算法對(duì)駕駛員進(jìn)行疲勞檢測(cè);KIM[7]采用卷積神經(jīng)網(wǎng)絡(luò)后直接全連接層輸出的方法，加快了面部特征定位檢測(cè)的速度;ZHANG[8]通過(guò)獲取臉部特征點(diǎn)、眼睛有效區(qū)域，運(yùn)用卷積神經(jīng)網(wǎng)疲勞檢測(cè)技術(shù)，構(gòu)建了一套針對(duì)公交車(chē)駕駛?cè)藛T的疲勞判斷系統(tǒng);趙磊[9]提取了駕駛員眼睛區(qū)域的局部灰度圖像和面部特征點(diǎn)的坐標(biāo)值，將其輸入深度卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了對(duì)駕駛員疲勞狀態(tài)的檢測(cè)。

基于深度卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法，為了追求檢測(cè)的準(zhǔn)確率，網(wǎng)絡(luò)模型的深度和復(fù)雜度不斷加大加深。模型的過(guò)于龐大首先會(huì)導(dǎo)致內(nèi)存不足的問(wèn)題，其次在低延時(shí)要求使用場(chǎng)景中無(wú)法做到實(shí)時(shí)響應(yīng)，因而與車(chē)載疲勞檢測(cè)系統(tǒng)要求的實(shí)時(shí)性相背離。同時(shí)，現(xiàn)有大部分解決方案都是憑借單一判斷指標(biāo)進(jìn)行檢測(cè)識(shí)別，容易受客觀環(huán)境條件如環(huán)境光強(qiáng)、CCD部署角度等的影響，造成檢測(cè)無(wú)法正常運(yùn)行。為此，本文提出基于輕量化的神經(jīng)網(wǎng)絡(luò)模型和融合眼、嘴、頭部姿態(tài)信號(hào)的多視覺(jué)檢測(cè)方法。

1輕量化神經(jīng)網(wǎng)絡(luò)

隨著卷積神經(jīng)網(wǎng)絡(luò)（CNN）技術(shù)的不斷發(fā)展，計(jì)算機(jī)視覺(jué)領(lǐng)域的目標(biāo)檢測(cè)算法得到極大提升，RCNN架構(gòu)的提出更是大幅提高了目標(biāo)檢測(cè)的精度均值[10-11]。之后，YOLO系列算法[12]、SSD系列算法[13]的提出，進(jìn)一步提高了目標(biāo)檢測(cè)算法的檢測(cè)能力。盡管這些算法在目標(biāo)檢測(cè)方面性能優(yōu)異，但卻較難適用于計(jì)算能力、存儲(chǔ)空間、功耗資源等受限的場(chǎng)合。為了提高目標(biāo)檢測(cè)算法在嵌入式平臺(tái)、手機(jī)終端等資源受限條件下的應(yīng)用能力，輕量化神經(jīng)網(wǎng)路的概念開(kāi)始被提出。目前，輕量化神經(jīng)網(wǎng)絡(luò)模型的設(shè)計(jì)主要有兩個(gè)方向，即人工設(shè)計(jì)輕量化模型和對(duì)現(xiàn)有的模型進(jìn)行壓縮。本文采用由CNN模型壓縮所得的輕量化神經(jīng)網(wǎng)絡(luò)。

CNN模型壓縮是從壓縮模型參數(shù)的角度降低模型的計(jì)算量。HAN[14]提出了剪枝、權(quán)值共享和權(quán)值量化、哈夫曼編碼三種模型壓縮方法。剪枝指將不必要的網(wǎng)絡(luò)權(quán)值去除，只保留對(duì)網(wǎng)絡(luò)重要的權(quán)值參數(shù)[15];權(quán)值共享指多個(gè)神經(jīng)元的連接采用同一個(gè)權(quán)值，權(quán)值量化則是將一個(gè)權(quán)值由更少的比特?cái)?shù)表示;哈夫曼編碼是指進(jìn)一步減少權(quán)值的冗余。在經(jīng)典的機(jī)器學(xué)習(xí)算法AlexNet和VGG-16上，HAN運(yùn)用上述模型壓縮方法，在沒(méi)有精度損失的情況下，把AlexNet模型參數(shù)壓縮為之前的1/35，把VGG模型參數(shù)壓縮為之前的1/46，并且在網(wǎng)絡(luò)速度和網(wǎng)絡(luò)能耗方面也得到明顯提升。

傳統(tǒng)的模型壓縮過(guò)度依賴算法，設(shè)計(jì)人員對(duì)于模型大小和速度準(zhǔn)確率之間的權(quán)衡往往需要耗費(fèi)大量精力。HE[16]提出了模型壓縮策略工具AMC （AutoML for Model Compres），利用強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)了壓縮策略性能更優(yōu)、壓縮比更高、人力調(diào)試成本更低的目標(biāo);針對(duì)壓縮模型精度對(duì)每層稀疏性的高度敏感性，提出了通過(guò)DDPGagent連續(xù)壓縮比的策略。

1.1問(wèn)題定義

1.2空間搜索

AMC引擎對(duì)于每一層t都定義了11個(gè)特征來(lái)描述狀態(tài)，見(jiàn)式（1）：

s_t：（t，n，c，h，w，s tr ide，k，F(xiàn)LOPs [t]，reduced，rest，a_t-1）（1）

其中：t是層序號(hào)，卷積核尺寸是nxcxkxk，輸入特征尺寸是cxw，F(xiàn)LOPs[t]是Lt層的FLOPs ，Reduced 是上一層減少的FLOPs，Rest表示下一層的FLOPs。這些特征全部歸一化為[0，1]。

1.3搜索策略評(píng)估

通過(guò)限制動(dòng)作空間即每一卷積層的稀疏率（sparsity ratio），針對(duì)latency-critical和quality-critical的應(yīng)用提出兩種損失函數(shù)：對(duì)于latency-critical的AI應(yīng)用，如手機(jī)APP、自動(dòng)駕駛汽車(chē)和廣告排名，AMC采用資源受限的壓縮方式（resource-constrained compression），可在最大硬件資源下實(shí)現(xiàn)最佳精度[18];對(duì)于quality-critical的AI應(yīng)用，如Google Photos，AMC采用精度保證的壓縮方式（accuracy-guaranteed compression），可在實(shí)現(xiàn)最小尺寸模型的同時(shí)不損失精度。

2檢測(cè)算法實(shí)現(xiàn)原理

本文設(shè)計(jì)的疲勞駕駛檢測(cè)系統(tǒng)首先通過(guò)攝像頭對(duì)車(chē)輛駕駛?cè)藛T進(jìn)行實(shí)時(shí)圖像采集，提取人眼睜閉狀態(tài)、嘴部開(kāi)合狀態(tài)、頭部姿態(tài)、眼球注意方向?yàn)榫€索特征，再進(jìn)行多線索融合判斷。檢測(cè)過(guò)程為：由輕量化后的CNN網(wǎng)絡(luò)對(duì)人體面部特征（眼部、嘴部、頭部）進(jìn)行定位，基于第三層卷積網(wǎng)絡(luò)輸出的5維特征點(diǎn)輸出68維特征點(diǎn)[19]，根據(jù)68點(diǎn)位分析進(jìn)行疲勞程度判斷，引入基于SVM的多視覺(jué)融合判斷模型進(jìn)行多線索結(jié)合判斷。

2.1疲勞檢測(cè)的原理

2.1.1眼部狀態(tài)判斷

當(dāng)人體產(chǎn)生生理疲勞時(shí)，腦電波會(huì)發(fā)生改變，在眼部表現(xiàn)為眨眼時(shí)間和眨眼頻率的變化。人在清醒的狀態(tài)下，正常眨眼的間隔為4 s，眨眼時(shí)間（從眼睛閉合至完全打開(kāi)）為0.2 s;而當(dāng)人體處于疲勞狀態(tài)時(shí)，眨眼時(shí)間會(huì)增加至0.6 s，同時(shí)單位時(shí)間內(nèi)眨眼頻率也會(huì)增加，因此眨眼時(shí)間與眨眼頻率可以表征人體是否為疲勞狀態(tài)。因?yàn)椴杉膱D像為實(shí)時(shí)視頻，屬于連續(xù)的圖像幀，所以可將眼睛閉合狀態(tài)的連續(xù)幀類比為PERCLOS算法提出的單位時(shí)間眼球閉合的百分比概念[20]。本文將該概念定義為f_e，見(jiàn)式（2）：

其中，T_e為神經(jīng)網(wǎng)絡(luò)檢測(cè)到的閉眼幀數(shù)，M為單位時(shí)間內(nèi)的總幀數(shù)。

傳統(tǒng)的人臉檢測(cè)方法是先對(duì)面部的特征部位進(jìn)行定位，然后檢測(cè)判斷區(qū)域是否發(fā)生改變。本研究在PERCLOS中引入多個(gè)面部特征部位的長(zhǎng)寬比，只需在計(jì)算相關(guān)特征點(diǎn)距離比的基礎(chǔ)上進(jìn)行適當(dāng)加權(quán)處理，即可判斷特征部位的狀態(tài)。該方法不需要使用圖像處理技術(shù)，而是通過(guò)界標(biāo)距離的比率L_e來(lái)確定部位是否閉合。長(zhǎng)寬比的提出使檢測(cè)難度大大降低，檢測(cè)效率顯著提升。

經(jīng)人臉提取與Landmark人眼定位后，得到關(guān)于眼部的描述點(diǎn)為12個(gè)。在生理非刻意情形下，兩眼動(dòng)作一般同步對(duì)稱，因此只取一只眼睛的6個(gè)特征點(diǎn)進(jìn)行檢測(cè)運(yùn)算即可，運(yùn)算公式見(jiàn)式（3）：

公式中，分子計(jì)算垂直視界的距離，分母計(jì)算水平視界的距離。因?yàn)橹挥幸唤M水平點(diǎn)，但是有兩組垂直點(diǎn)，因此對(duì)分母進(jìn)行加權(quán)處理。當(dāng)眼睛張開(kāi)時(shí)其縱橫比基本保持穩(wěn)定，但眨眼時(shí)兩組的長(zhǎng)寬比迅速降至零，如圖1所示。

由圖1可見(jiàn)：眼睛完全張開(kāi)時(shí)，眼睛長(zhǎng)寬比會(huì)很大，并且隨著時(shí)間的推移保持相對(duì)恒定;眨眼時(shí)，L_e值迅速下降到接近零，然后迅速上升。此時(shí)，結(jié)合f_e便可判斷人體處于眨眼、睜眼或閉眼狀態(tài)，將數(shù)據(jù)輸入SVM向量機(jī)即可判斷是否為疲勞狀態(tài)。

2.1.2嘴部狀態(tài)判斷

為了擺脫單一眼部特征檢測(cè)易受干擾及個(gè)體生理差異性帶來(lái)的檢測(cè)不準(zhǔn)確問(wèn)題，引入對(duì)嘴部狀態(tài)的檢測(cè)。人體常規(guī)嘴部活動(dòng)過(guò)程可以分為普通閉合、正常說(shuō)話及疲勞感時(shí)的哈欠。將前文用于眼部檢測(cè)的PERCLOS算法運(yùn)用在嘴部特征Lm的描述上，以分析嘴部的開(kāi)合狀態(tài)。嘴部的特征點(diǎn)選擇如圖2所示，特征檢測(cè)的計(jì)算見(jiàn)式（4）：

運(yùn)用公式（4）對(duì)人的嘴部狀態(tài)判斷屬于簡(jiǎn)單的二維計(jì)算，只需CPU無(wú)需采用卷積網(wǎng)絡(luò)。由圖2可知，當(dāng)人體處于正常說(shuō)話狀態(tài)時(shí)，L_m值在0.6～1.0之間，且為長(zhǎng)時(shí)間持續(xù)狀態(tài);而當(dāng)出現(xiàn)打哈欠等疲勞行為時(shí)，L_m值會(huì)急劇上升。由此，可以對(duì)人體嘴部的三種狀態(tài)清晰識(shí)別，實(shí)現(xiàn)了對(duì)眼部識(shí)別的輔助判斷。

2.1.3頭部姿態(tài)檢測(cè)

當(dāng)人體在坐的體位下如果處于重度疲勞狀態(tài)，則往往會(huì)出現(xiàn)瞌睡點(diǎn)頭、頭部或身體傾斜等行為。因此，通過(guò)對(duì)駕駛?cè)藛T頭部姿態(tài)的檢測(cè)也可以判斷其是否發(fā)生疲勞駕駛。駕駛?cè)藛T頭部姿態(tài)檢測(cè)的主要參數(shù)有俯仰角（Pitch，繞X軸旋轉(zhuǎn)的角度）、偏航角（Yaw，繞Y軸旋轉(zhuǎn)的角度）、滾轉(zhuǎn)角（Roll，繞Z軸旋轉(zhuǎn)的角度），如圖3所示。

本研究引入歐拉角的計(jì)算，利用二維圖像將頭部位置映射到三維圖像上，可得到人臉的姿態(tài)。與眼部檢測(cè)同理，引入f_h概念來(lái)判斷駕駛?cè)藛T是否處于疲勞狀態(tài)。據(jù)相關(guān)研究[21]可知，人體頭部正常的滾轉(zhuǎn)角范圍為-41°～36.3°、偏航角為-75°～75°俯仰角為-60.4°～69.6°。當(dāng)頭部變動(dòng)范圍達(dá)到理論數(shù)值的75%時(shí)開(kāi)始異常幀數(shù)計(jì)數(shù)，以此分析頭部姿態(tài)是否異常，進(jìn)一步判斷駕駛?cè)藛T是否為疲勞狀態(tài)。

2.2基于SVM的多視覺(jué)線索融合檢測(cè)模型

基于SVM算法建立多視覺(jué)融合疲勞檢測(cè)模型，通過(guò)分析L_e、L_m、f_h等數(shù)據(jù)，完成對(duì)車(chē)輛駕駛?cè)藛T眼部、嘴部、頭部姿態(tài)特征的檢測(cè);當(dāng)某一特征檢測(cè)受阻時(shí)，可結(jié)合其他特征檢測(cè)進(jìn)行疲勞預(yù)警。本文將疲勞指標(biāo)定義為F_i，其表達(dá)見(jiàn)式（5）：

其中，p_e為單次閉眼時(shí)長(zhǎng)，p_m為單位時(shí)間內(nèi)檢測(cè)到的打哈欠次數(shù)，p_h為單位時(shí)間內(nèi)檢測(cè)到的頭部姿態(tài)異常次數(shù)。三個(gè)判斷條件相互獨(dú)立，其中一項(xiàng)指標(biāo)達(dá)到閾值，即進(jìn)入疲勞狀態(tài)輸出，系統(tǒng)運(yùn)行流程見(jiàn)圖4。

3實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文提出的多視覺(jué)融合算法的有效性，將開(kāi)展以下三方面的實(shí)驗(yàn)：將本文提出的特征數(shù)據(jù)量化眼部狀態(tài)的識(shí)別效果，與目前常用的基于單一線索運(yùn)用深度殘差網(wǎng)絡(luò)模型的眼部狀態(tài)識(shí)別效果進(jìn)行對(duì)比;單一眼部特征判斷與多視覺(jué)特征融合判斷的效果對(duì)比;通過(guò)實(shí)際測(cè)試對(duì)多視覺(jué)融合識(shí)別模型驗(yàn)證。

3.1深度殘差網(wǎng)絡(luò)與特征數(shù)據(jù)量化的眼部狀態(tài)識(shí)別效果比較

以CEW數(shù)據(jù)集[22]中的2 423張人臉圖像為素材，將其中一半進(jìn)行眼部狀態(tài)人工標(biāo)注后作為深度殘差網(wǎng)絡(luò)識(shí)別的訓(xùn)練集，另一半作為深度殘差網(wǎng)絡(luò)識(shí)別的驗(yàn)證集。通過(guò)Transfer learning 方式對(duì)深度殘差網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到訓(xùn)練集準(zhǔn)確率曲線圖，見(jiàn)圖5（a）;訓(xùn)練后的深度殘差網(wǎng)絡(luò)自主識(shí)別的驗(yàn)證集準(zhǔn)確率曲線圖，見(jiàn)圖5（b）。由圖5可知，利用深度殘差網(wǎng)絡(luò)進(jìn)行眼部狀態(tài)識(shí)別，在多次迭代后，訓(xùn)練集和驗(yàn)證集的識(shí)別準(zhǔn)確率都保持在95%左右。將CEW數(shù)據(jù)集輸入本文構(gòu)建的特征數(shù)據(jù)量化模型，所得眼部狀態(tài)識(shí)別準(zhǔn)確率曲線圖見(jiàn)圖6。與圖5（b）對(duì)比可知，在采用特征數(shù)據(jù)量化方法釋放了大量?jī)?nèi)存消耗的前提下，其眼部狀態(tài)識(shí)別準(zhǔn)確率仍與深度殘差網(wǎng)絡(luò)識(shí)別率相當(dāng)。

3.2單一眼部特征判斷與多視覺(jué)特征融合判斷效果的對(duì)比

采用YawDD數(shù)據(jù)集[23]為識(shí)別效果驗(yàn)證集。YawDD數(shù)據(jù)集是渥太華大學(xué)采集的真實(shí)駕駛環(huán)境下不同年齡、種族、性別駕駛?cè)藛T的車(chē)載駕駛視頻數(shù)據(jù)集，詳細(xì)記錄了駕駛過(guò)程中駕駛?cè)藛T的正常、疲勞、注意力不集中等狀態(tài)。選取YawDD數(shù)據(jù)集中駕駛?cè)藛T疲勞狀態(tài)的視頻，分別用單一眼部特征判斷和多視覺(jué)特征融合判斷兩種方法進(jìn)行檢測(cè)，檢測(cè)結(jié)果如圖7所示。圖7中，single_acc表示單線索判斷的準(zhǔn)確率曲線，merge_acc表示多視覺(jué)特征融合判斷的準(zhǔn)確率曲線。由圖可知，單一眼部特征判斷的準(zhǔn)確率為78%左右，而多視覺(jué)特征融合判斷的準(zhǔn)確率為93%左右，明顯高于單一眼部特征判斷法。

3.3多視覺(jué)特征融合疲勞檢測(cè)實(shí)驗(yàn)

為了驗(yàn)證本文提出的基于輕量化神經(jīng)網(wǎng)絡(luò)的多視覺(jué)特征融合判斷的疲勞駕駛檢測(cè)方法，采用自然光源下實(shí)際車(chē)載駕駛測(cè)試。測(cè)試車(chē)型為別克英朗，車(chē)載終端硬件平臺(tái)為樹(shù)莓派4B+CCD攝像頭。選取該嵌入式終端也是為了驗(yàn)證輕量化后的神經(jīng)網(wǎng)絡(luò)是否能夠在低算力的終端設(shè)備上良好運(yùn)行，以提高方案的推廣性。嵌入式終端的安裝如圖8所示。為了更切合實(shí)際，選擇清晨6：00、下午14：00、午夜24：00三個(gè)疲勞駕駛高發(fā)時(shí)間段進(jìn)行測(cè)試。隨機(jī)選取5位被測(cè)，分別命名為實(shí)驗(yàn)組1～5，其中實(shí)驗(yàn)組5為對(duì)照組。檢測(cè)方式為除被測(cè)5 外其他被測(cè)在駕駛過(guò)程中做出眨眼、打哈欠、注意力轉(zhuǎn)移等相關(guān)疲勞動(dòng)作。通過(guò)三個(gè)時(shí)間段測(cè)試共得到15組數(shù)據(jù)，見(jiàn)表1。

由表1可知，在車(chē)載終端應(yīng)用環(huán)境下，檢測(cè)系統(tǒng)對(duì)各實(shí)驗(yàn)組駕駛?cè)藛T疲勞狀態(tài)的檢測(cè)準(zhǔn)確率保持在80%～100%之間，且對(duì)實(shí)驗(yàn)組1～4都做出了及時(shí)的預(yù)警，對(duì)空白對(duì)照組5未出現(xiàn)誤報(bào)。實(shí)驗(yàn)證明，本文提出的多視覺(jué)特征融合駕駛狀態(tài)實(shí)時(shí)檢測(cè)方法有效、可行，相較于現(xiàn)有的其他方法，具有低成本、非侵入、高精度、易推廣的優(yōu)點(diǎn)。針對(duì)系統(tǒng)少量漏報(bào)和誤報(bào)的問(wèn)題，將在后續(xù)的研究中進(jìn)一步解決和完善。

參考文獻(xiàn)：

[1]王富強(qiáng)，劉德勝，劉云鵬.基于面部特征的疲勞駕駛檢測(cè)技術(shù)研究[J].現(xiàn)代計(jì)算機(jī)，2021（7）：121-124.

[2] TUNCER T，DOGAN S，ERTAM F，et al. A dynamic center and multi threshold point based stable feature extraction network for driver fatigue detection utilizing EEG signals[J]. Cognitive Neurodynamics，2021，15（2）：223-237.

[3]王博石，吳修誠(chéng)，胡馨藝，等.基于單通道腦電信號(hào)的疲勞檢測(cè)系統(tǒng)[J].計(jì)算機(jī)科學(xué)，2020，47（5）：225- 229.

[4]李作進(jìn)，李仁杰，李升波，等.基于方向盤(pán)轉(zhuǎn)角近似熵與復(fù)雜度的駕駛?cè)似跔顟B(tài)識(shí)別[J].汽車(chē)安全與節(jié)能學(xué)報(bào)，2016，7（3）：279-284.

[5] LI Z J，CHEN L K，PENG J，et al. Automatic detection of driver fatigue using driving operation information for transportation safety[J]. Sensors，2017，17（6）：1212.

[6] AL-LIBAWY H，AL-ATABY A，AL-NUAIMY W，et al. Modular design of fatigue detection in naturalistic driving environments[J]. Accident Analysis & Prevention，2018，120：188-194.

[7] KIM W，JUNG W S，CHOI H K. Lightweight driver monitoring system based on multi- task mobilenets[J]. Sensors，2019，19（14）：3200.

[8] ZHANG F，SU J J，GENG L，et al. Driver fatigue detection based on eye state recognition[C]//2017 International Conference on Machine Vision and Information Technology （CMVIT），2017：105-110.

[9]趙磊.基于深度學(xué)習(xí)和面部多源動(dòng)態(tài)行為融合的駕駛員疲勞檢測(cè)方法研究[D].濟(jì)南：山東大學(xué)，2018.

[10] GIRSHICK R，DONAHUE J，DARRELL T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition，2014：580-587.

[11] GIRSHICK R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision（ICCV），2015：1440-1448.

[12] Redmon J，F(xiàn)arhadi A. YOLOv3：an incremental improvement[EB/OL].（2018-04-08）[2021-08- 12].https：//arxiv.org/abs/1804.02767.

[13] SHEN Z Q，LIU Z，LI J G，et al. DSOD：learning deeply supervised object detectors from scratch[C]//2017 IEEEInternational Conference on Computer Vision（ICCV），2017：1937-1945.

[14] HAN S，MAO H，DALLY W J. Deep compression：compressing deep neural networks with pruning，trained quantization and huffman coding[EB/OL].（2016-02-15）[2021-08-11].https：//arxiv.org/abs/1510.00149.

[15]朱金銘，邰陽(yáng)，鄒劉磊，等.基于深度可分離卷積與通道裁剪的YOLOv3改進(jìn)方法[J].江蘇理工學(xué)院學(xué)報(bào)，2020，26（02）：30-38.

[16] HE Y H，LIN J，LIU Z J，et al. AMC：AutoML for model compression and acceleration on mobile devices[C]//Com- puter Vision - ECCV 2018，2018. DOI：10.1007/978-3- 030-01234-2_48.

[17] LI H，KADAV A，DURDANOVIC I，et al. Pruning filters for efficient conv nets[EB/OL].（2017-03- 10）[2021-0812]. http：//arxiv.org/abs/1608.08710.

[18] ZOPH B，VASUDEVAN V，SHLENS J，et al. Learning transferable architectures for scalable image recognition [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition，2018：8697-8710.

[19] ZHANG K P，ZHANG ZP，LI Z F，et al. Joint face detection and alignment using multitask cascaded convolutional networks[J]. IEEE Signal Processing Letters，2016，23（10）：1499-1503.

[20] HU S Q，LIN Z Y. Fatigue driving detection based on machine learning and image processing technology[J]. Journal of Physics：Conference Series，2018，1069：012179.

[21] FERRARIO V F，SFORZA C，SERRAO G，et al. Active range of motion of the head and cervical spine：a three-dimensional investigation in healthy young adults[J]. Journal of Orthopaedic Research，2002，20（1）：122-129.

[22] SONG F Y，TAN X Y，CHEN S C，et al. A literature survey on robust and efficient eye localization in real- life scenarios[J]. Pattern Recognition，2013，46 （12）：31573173.

[23] ABTAHI S，OMIDYEGANEH M，SHIRMOHAMMADI S，et al. YawDD：a yawning detection dataset[C]//Proceedings of the 5th ACM Multimedia Systems Conference on- MMSys14，2014.DOI：10.1145/2557642.2563678.

Research on Non-invasive Fatigue Driving Detection Method Based on

Multi-visual Feature Fusion

ZHU Yuwei1，PAN Yuchi1，ZOU Liulei2，HUANG Xinyi3，F(xiàn)AN Honghui1，ZHU Hongjin1

（1.School of Computer Engineering，Jiangsu University of Technology，Changzhou 213001，China;2. Netease Games，Zen Studio，Guangzhou 510623，China;3. Aptean，Technology R & D Department，Nanjing 210008，China）

Abstract：In order to solve the problems of single clues，high computational power requirements，low accuracy，and intrusiveness for vehicle fatigue driving detection，a lightweight neural network is constructed based on the collection and analysis of driver ，s eye，mouth，head and other feature data，and a non-invasive multi-visual feature fusion fatigue detection method is designed. Through simulation contrast experiment and actual scene experiment，the detection method has the advantages of low computational power requirement，high recognition accuracy and low production cost.

Key words：non-invasive;driving status;fatigue testing