駕駛員警覺度預(yù)警系統(tǒng)研究與實現(xiàn)

侯璐松

（同濟大學(xué)電子與信息工程學(xué)院計算機科學(xué)與技術(shù)系，上海 201800）

駕駛員警覺度預(yù)警系統(tǒng)研究與實現(xiàn)

侯璐松

（同濟大學(xué)電子與信息工程學(xué)院計算機科學(xué)與技術(shù)系，上海 201800）

道路交通安全領(lǐng)域中，疲勞駕駛導(dǎo)致的交通事故一直是人身財產(chǎn)的巨大威脅，通過視頻監(jiān)控和精神狀態(tài)預(yù)警可以有效解決這個問題。系統(tǒng)利用無監(jiān)督及有監(jiān)督的機器學(xué)習算法建立多適用場景的信號監(jiān)控警覺度模型，通過對腦電警覺度預(yù)測和視頻監(jiān)測判別的綜合策略運用，設(shè)計多信號融合的腦機接口警覺度檢測系統(tǒng)。系統(tǒng)主要使用MATLAB腳本程序編寫實現(xiàn)。

腦電；警覺度；腦機接口；機器學(xué)習

0 引言

駕駛疲勞導(dǎo)致的人身財產(chǎn)損失是現(xiàn)代社會文明發(fā)展的主要障礙之一。為了解決這個問題，我們需要實時監(jiān)測駕駛員的警覺度變化，及時發(fā)現(xiàn)駕駛疲勞現(xiàn)象并提供安全預(yù)警[1-3]。其中，警覺度是衡量人在認知任務(wù)中注意力保持水平的標準[4]；對警覺度檢測的結(jié)果來源于對駕駛員的肢體動作和精神狀態(tài)的分析。

根據(jù)信號的特性，可將檢測警覺度的生理指標分為兩類：外部動作指標和內(nèi)部狀態(tài)信號指標。常用于駕駛警覺分析的外部動作指標包括眼動[5-6]、頭部姿態(tài)[7]和嘴部形態(tài)[8]等。其中，眼瞼閉合度是效果最好的，也因此得到了廣泛的采用[9-10]；常用的內(nèi)部狀態(tài)信號包括血壓[11]和腦電（Electroencephalogram，EEG）[12-15]等。其中，腦電信號由于時間分辨率高、可以精確反映大腦狀態(tài)的變化等特點，相對使用率更高。

在判斷駕駛員疲勞度方面，與內(nèi)部狀態(tài)信號指標相比，外部動作指標雖然在捕捉危險駕駛行為方面有較好的精確性，但其主要是疲勞度的外部表現(xiàn)（如眼睛閉合時間過長、頭部非正常偏移等），作為結(jié)果而不能對警覺度的變化及時發(fā)出預(yù)警；內(nèi)部狀態(tài)信號指標能更準確地反映駕駛員精神狀態(tài)的實時變化，在提前預(yù)警方面應(yīng)用更加有利，但應(yīng)用廣泛的腦電信號存在設(shè)備可穿戴性差的問題。因此，綜合眼睛閉合時間、頭部姿態(tài)偏移量和腦電信號的分析結(jié)果來設(shè)立多種適用場景的實時監(jiān)測和預(yù)警駕駛員警覺度系統(tǒng)成為相對更好的選擇。

在EEG數(shù)據(jù)的分析方面，本文中研究工作主要針對三個頻段：δ波、α波和β波。通常認為，δ波是睡眠狀態(tài)下的主要表現(xiàn)，α波是安靜狀態(tài)時的主要表現(xiàn)，β波是大腦皮層處在緊張狀態(tài)時的主要腦電活動表現(xiàn)。這三種波的頻段分布與表現(xiàn)區(qū)域如下所示：

（1）δ波：頻率為0-4 Hz，主要出現(xiàn)在睡眠、深度昏迷等情況下，可用于檢測駕駛員的疲勞情況。

（2）α波：頻率為9-12 Hz，成年人基本的腦電波信號，是正常意識下的主要腦電信號波，廣泛分布在大腦皮層各區(qū)域。

（3）β波：頻率為13-35 Hz，正常健康成年人在注意力集中、情緒高度緊張時該頻段的腦部活動會出現(xiàn)明顯提升，主要分布額葉、中央?yún)^(qū)。

1 多信號融合腦機接口警覺度分析系統(tǒng)設(shè)計

系統(tǒng)總體框架如圖1所示。首先，駕駛員佩戴的采集設(shè)備會實時進行EEG數(shù)據(jù)的采集，然后做數(shù)據(jù)預(yù)處理、特征提取和結(jié)果判別；同時，駕駛員頭部的視頻信息由攝像頭進行數(shù)據(jù)采集，通過圖像分析進行頭部姿態(tài)和閉眼狀態(tài)檢測。將兩個數(shù)據(jù)指標處理結(jié)果進行優(yōu)化組合，最終產(chǎn)生警覺度等級的評判結(jié)果，隨后系統(tǒng)根據(jù)判定的不同等級及時發(fā)出對應(yīng)警報（聲、光、電）。

其中，系統(tǒng)界面包括視頻信號、特征投影、結(jié)果的數(shù)理統(tǒng)計信息等直觀展示，這些直觀的圖表數(shù)據(jù)可以更簡潔、準確地表示用戶的當前警覺度狀態(tài)，并被用于系統(tǒng)的優(yōu)化配置，提升性能。

整個系統(tǒng)使用MATLAB腳本程序編程實現(xiàn)，以便于腦電數(shù)據(jù)的處理和后續(xù)的系統(tǒng)測試。

圖1 系統(tǒng)框架圖

2 警覺度分析算法

2.1 視頻監(jiān)控信號分析

系統(tǒng)中視頻信號主要用于頭部姿態(tài)和眼睛閉合檢測。頭部姿態(tài)檢測首先需要建立一個3D模型，模型模板由多個標準模板組成。隨后，通過實時圖像與模板的比對，用戶實時的頭部姿態(tài)可以被標記出來。此外，模板會根據(jù)采集的用戶圖像自適應(yīng)地更新模板庫，以適應(yīng)不斷變化的視頻背景。最后，系統(tǒng)采用Lucas-Kanade算法計算用戶的頭部在三個坐標軸（x軸，y軸，z軸）的偏移量，若大于安全閾值，系統(tǒng)將發(fā)出預(yù)警信號[16]。在實驗中，對于眼睛閉合監(jiān)測，若用戶閉眼超過1秒，系統(tǒng)也會給出相應(yīng)的預(yù)警。

2.2 腦電警覺度分析模型

傳統(tǒng)的腦電警覺度監(jiān)測系統(tǒng)一般設(shè)置固定狀態(tài)數(shù)的警覺度狀態(tài)分級，這使得系統(tǒng)的適應(yīng)性變?nèi)酰焕谕茝V應(yīng)用。針對這一問題，本系統(tǒng)不僅提供多類型的實時監(jiān)測數(shù)據(jù)的展示（包括腦電信號、頭模型能量圖、警覺度分類數(shù)據(jù)等），幫助用戶從多個角度直觀的查看精神狀態(tài)與駕駛情況；還提供不同的警覺度評測模型選擇，包括線性判別分析（Linear Discriminant Analysis，LDA）無監(jiān)督模型和高斯混合聚類（Gaussian mixture model cluster，GMMcluster）多分類模型。

其中，LDA無監(jiān)督模型主要針對沒有存儲數(shù)據(jù)的新用戶，幫助新用戶快速使用系統(tǒng)，數(shù)據(jù)分類結(jié)果為三類用于警覺度監(jiān)控；GMMculster是有監(jiān)督學(xué)習方法，在系統(tǒng)中被用于多分類的應(yīng)用場景。特別的，針對不同預(yù)警策略的用戶需要，GMMcluster可以提供用戶指定數(shù)量的分類類別（清醒和睡眠兩種極端情況之間的類別），使得系統(tǒng)可以區(qū)分相對應(yīng)不同數(shù)目等級的警覺度，警覺度評價機制更靈活實用。

3 實驗結(jié)果與分析

為了驗證系統(tǒng)的可用性和有效性，兩名被試參與到在線模擬駕駛實驗，得到的測試數(shù)據(jù)將被用來驗證系統(tǒng)有效性。

兩名被試的年齡均在25-30歲之間，為健康成年男性。實驗時長約為40分鐘（圖1和圖2的x軸單位標尺為5秒），實驗過程中，對于視頻的監(jiān)控和對腦電信號的監(jiān)控兩種模式同時運行，任意一種模式判定出危險駕駛狀況，系統(tǒng)都會及時發(fā)出預(yù)警。數(shù)據(jù)在離線分析中表明，兩位受試均經(jīng)歷了從清醒到瞌睡再到清醒的警覺度變化過程。這與被試在試驗后的陳述一致。

圖2和圖3展示了上述試驗中其中一位被試的腦電數(shù)據(jù)在兩種模型下警覺度分類的結(jié)果。其中，被試的數(shù)據(jù)被分為兩部分，前70%的數(shù)據(jù)用于訓(xùn)練，后30%的數(shù)據(jù)用于測試。

可以發(fā)現(xiàn)，圖2采用的LDA無監(jiān)督模型，將數(shù)據(jù)分為三類：睡眠、疲勞和清醒。圖3采用的GMMcluster模型，數(shù)據(jù)被分為四類：清醒、一級疲勞、二級疲勞、睡眠。從上述兩圖呈現(xiàn)的趨勢來看，根據(jù)時間的變化，駕駛員確實表現(xiàn)出從清醒到睡眠再到清醒的變化歷程。此外，視頻監(jiān)控圖像也支持了這一結(jié)論。

圖2 LDA無監(jiān)督模型數(shù)據(jù)分類結(jié)果

圖3 GMMcluster模型分類結(jié)果

4 系統(tǒng)介紹與展示

在數(shù)據(jù)采集方面，系統(tǒng)使用高精度生物信號放大器及其相關(guān)采集軟件。

視頻監(jiān)測方面由微軟Visual Studio中的Open CV控件處理由攝像頭采集的圖像。檢測程序?qū)⒈痪幾g成MATLAB可調(diào)用的執(zhí)行程序，由MATLAB直接調(diào)用，并通過TCP/IP協(xié)議傳建立連接傳遞數(shù)據(jù)。

系統(tǒng)實時同步采集腦電信號和視頻數(shù)據(jù)，進行數(shù)據(jù)的特征提取和模式識別，得到兩類監(jiān)測結(jié)果后通過優(yōu)化后的策略組合評定等級，隨后系統(tǒng)發(fā)出預(yù)警。

如圖4所示，系統(tǒng)實時工作時，用戶可以將采集后分析到的數(shù)據(jù)進行直觀的圖表展示。其中，可實時查看的特征量如下所示：

①選中導(dǎo)聯(lián)的腦電信號：展示對應(yīng)的時間序列EEG數(shù)據(jù)。

②選中導(dǎo)聯(lián)的頻譜能量：展示選中導(dǎo)聯(lián)上的頻譜能量和特征比值，用于比較各頻段內(nèi)用戶腦電數(shù)據(jù)能量的實時變化。

③警覺度狀態(tài)腦區(qū)分布圖：對于選中的不同頻域，把用戶在所選頻段內(nèi)在頭模型上的警覺度空間分布情況。

④警覺度的數(shù)理統(tǒng)計信息：對警覺度判別結(jié)果進行時序統(tǒng)計并做實時展示，反映用戶的實時警覺度狀態(tài)變化。

圖4 系統(tǒng)主界面

此外，系統(tǒng)可以進行參數(shù)配置，界面如圖5所示：

圖5 系統(tǒng)參數(shù)配置界面

5 結(jié)語

本文在單一模式警覺度監(jiān)控研究基礎(chǔ)上，提出了融合腦電信號與視頻監(jiān)測的混合腦機接口警覺度分析方法，并設(shè)計了一套可用于實時監(jiān)控駕駛員警覺度的監(jiān)測系統(tǒng)。系統(tǒng)綜合分析了駕駛過程的腦電信號和視頻監(jiān)控數(shù)據(jù)，對駕駛員從物理、精神兩個方面進行全方位的警覺度監(jiān)控并提供預(yù)警策略。此外，系統(tǒng)不僅可以預(yù)測警覺度的狀態(tài)變化，還提供各類特征的統(tǒng)計分析界面展示，幫助用戶及時查看駕駛實時狀態(tài)。

最后，出于對實際應(yīng)用的有效性和適應(yīng)性的考慮，在警覺度的精細化分析、預(yù)測情況下警覺度預(yù)警的有效性等重要問題上，仍然需要通過更具針對性的真實環(huán)境實驗來改善和驗證此類用于復(fù)雜場景的腦機接口系統(tǒng)，這也是我們今后需要重點研究的工作。

[1]Thiffault Pierre,Bergeron Jacques.Monotony Of Road Environment And Driver Fatigue:A Simulator Study[J].Accident Analysis& Prevention,2003,35(3):381-391.

[2]Philip Pierre,Sagaspe Patricia,Moore Nicholas,et al.Fatigue,Sleep Restriction and Driving Performance[J].Accident Analysis& Prevention,2005,37(3):473-478.

[3]SKL LAL,CRAIG A.A Critical Review of the Psychophy Siology of Driver Fatigue[J][J].Biological Psychology,2001,55(3):173-194.

[4]Lin Chin-Teng,Wu Ruei-Cheng,Liang Sheng-Fu,et al.EEG-Based Drowsiness Estimation for Safety Driving Using Independent Component Analysis[J].IEEE Transactions on Circuits and Systems I:Regular Papers,2005,52(12):2726-2738.

[5]Johns M.W.,Tucker A.J.,Chapman R.J.,et al.A New Scale of Drowsiness Based on Multiple Characteristics of Eye and Eyelid Movements:The Johns Drowsiness Scale[J].Sleep Biol Rhythms,2006,4(Suppl 1):A37.

[6]Caffier Philipp P.,Erdmann Udo,Ullsperger Peter.Experimental Evaluation of Eye-Blink Parameters as a Drowsiness Measure[J].European Journal of Applied Physiology,2003,89(3-4):319-325.

[7]Ji Qiang,Yang Xiaojie.Real-Time Eye,Gaze,and Face Pose Tracking for Monitoring Driver Vigilance[J].Real-Time Imaging,2002,8 (5):357-377.

[8]Saradadevi Mandalapu,Bajaj Preeti.Driver Fatigue Detection Using Mouth and Yawning Analysis[J].International Journal of Computer Science and Network Security,2008,8(6):183-188.

[9]Bergasa Luis M.,Nuevo JesUS,Sotelo Miguel A.,et al.Real-Time System for Monitoring Driver Vigilance[J].Intelligent Transportation Systems,IEEE Transactions On,2006,7(1):63-77.

[10]Ji Qiang,Zhu Zhiwei,Lan Peilin.Real-Time Nonintrusive Monitoring and Prediction of Driver Fatigue[J].IEEE Transactions on Vehicular Technology,2004,53(4):1052-1068.

[11]Yang Guosheng,Lin Yingzi,Bhattacharya Prabir.A Driver Fatigue Recognition Model Based on Information Fusion and Dynamic Bayesian Network[J].Information Sciences,2010,180(10):1942-1954.

[12]Simon Michael,Schmidt Eike A.,Kincses Wilhelm E.,et al.EEG Alpha Spindle Measures as Indicators of Driver Fatigue Under Real Traffic Conditions[J].Clinical Neurophysiology,2011,122(6):1168-1178.

[13]Lal Saroj KL,Craig Ashley.Reproducibility of the Spectral Components of the Electroencephalogram During Driver Fatigue[J].International Journal of Psychophysiology,2005,55(2):137-143.

[14]Schmidt Frank Martin,Sch?nherr Jeremias,Sander Christian,Et Al.Applying EEG-Based Vigilance Measurement In a Case of Adult Attention Deficit Hyperactivity Disorder[J].International Journal of Neuropsychopharmacology,2013,16(5):1169-1171.

[15]J?dicke Johannes,Olbrich Sebastian,Sander Christian,et al.Separation of Low-Voltage EEG-Activity During Mental Activation from That During Transition To Drowsiness[J].Brain Topography,2013,26(4):538-546.

[16]Xu Yi-fei,Zeng Jin-hua,Sun Yao-ru.Head Pose Recovery Using 3D Cross Modelieee,2012:63-66.

Research and Implementation of Drivers'Vigilance Monitoring System

HOU Lu-song

（Department of Computer Science and Technology,School of Electronic and Information Engineering,Tongji University, Shanghai 201800）

Driver fatigue is a great threat in the field of traffic safety.To solve this problem,develops an EEG and Video-based hybrid BCI to monitor drivers'vigilance.In this system,applies two supervised and unsupervised machine learning algorithms to analyze and classify EEG. This system is developed by MATLAB.

EEG;Vigilance;BCI;Machine Learning

1007-1423（2017）01-0034-05

10.3969/j.issn.1007-1423.2017.01.009

侯璐松（1991-），女，山東濟寧人，在讀碩士，研究方向為軟件與信息服務(wù)

2016-11-15

2016-12-26