基于多源生理信號(hào)的駕駛疲勞檢測(cè)

李江天 李敏 宋戰(zhàn)兵

[摘要]為檢測(cè)駕駛疲勞，基于移動(dòng)穿戴設(shè)備采集了4h模擬駕駛的生理信號(hào)（肌電、皮電、心率、血氧飽和度），分析各生理信號(hào)確定疲勞閾值，然后將其融合建立駕駛疲勞檢測(cè)神經(jīng)網(wǎng)絡(luò)模型，依據(jù)被試者對(duì)刺激信號(hào)做出反應(yīng)的時(shí)問，并通過(guò)腦電指標(biāo)δ/β和δ對(duì)模型進(jìn)行檢驗(yàn)。結(jié)果表明，在長(zhǎng)時(shí)問模擬駕駛過(guò)程中，疲勞是一種突變行為；各生理信號(hào)可反映駕駛疲勞；多源生理信號(hào)融合提高了駕駛疲勞檢測(cè)模型的準(zhǔn)確率，可用于開發(fā)可穿戴設(shè)備。

[關(guān)鍵詞]駕駛疲勞；多源生理信號(hào)融合；閾值；神經(jīng)網(wǎng)絡(luò)模型

[中圖分類號(hào)]TN911.7；U491.254 [文獻(xiàn)標(biāo)識(shí)碼]A [文章編號(hào)]1005-152X（2018）02-0078-06

1 前言

加班、熬夜、連續(xù)駕駛導(dǎo)致疲勞駕駛?cè)巳涸絹?lái)越多，疲勞駕駛也成為交通事故的主要因素之一。為避免此類交通事故，汽車廠商和研究學(xué)者基于駕駛員生理參數(shù)（腦電、肌電、心率、脈搏等）、駕駛員行為特征（眼睛閉合時(shí)間、平均睜眼程度、PERCLOS、注視方向等），以及車輛行為特征（車輛橫向位置、橫向加速度、方向盤轉(zhuǎn)角等）進(jìn)行了研究，其中基于車輛行為和駕駛員行為特征的檢測(cè)都容易受環(huán)境影響，應(yīng)用價(jià)值受限，且環(huán)境屬于不可控因素，而生理參數(shù)檢測(cè)的侵人性問題，可通過(guò)實(shí)驗(yàn)設(shè)備及實(shí)驗(yàn)方法解決，更具可行性。

以往生理參數(shù)檢測(cè)的不足之處有：（1）侵人性問題。以往研究受限于技術(shù)條件，實(shí)驗(yàn)數(shù)據(jù)的采集設(shè)備侵入性強(qiáng)，干擾正常駕駛。（2）截面數(shù)據(jù)。僅能驗(yàn)證清醒和疲勞狀態(tài)的差異，而無(wú)法從時(shí)間歷程上動(dòng)態(tài)觀測(cè)和描述疲勞程度。（3）指標(biāo)單一?？赡艽嬖诠ぷ髅^(qū)，降低了系統(tǒng)的可信度。本研究則彌補(bǔ)了以往研究的不足：（1）采用穿戴設(shè)備測(cè)量人體生理信號(hào)，解決了侵人性問題；（2）長(zhǎng)時(shí)間連續(xù)模擬駕駛實(shí)驗(yàn)（4h），動(dòng)態(tài)監(jiān)測(cè)駕駛者生理指標(biāo)的變化；（3）融合多源生理信號(hào)建立駕駛疲勞預(yù)警算法。為汽車廠商、可穿戴設(shè)備制造商、APP應(yīng)用開發(fā)者提供了開發(fā)疲勞駕駛預(yù)警設(shè)備的理論基礎(chǔ)。

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 實(shí)驗(yàn)方法

募集12名駕駛員自愿參與實(shí)驗(yàn)（10男2女，年齡21-30歲，平均26歲），身體健康，視力良好，無(wú)睡眠障礙及駕駛恐懼等。實(shí)驗(yàn)在中午13：00到下午18：00之間進(jìn)行，使用羅技G29駕駛模擬器、55寸顯示器和計(jì)算機(jī)搭建模擬駕駛平臺(tái)，LFS軟件構(gòu)建單調(diào)高速公路場(chǎng)景，Visual Studio編制信號(hào)燈刺激信號(hào)，然后讓被試者熟悉設(shè)備，佩戴NE無(wú)線腦電儀、Bio-Radio生理監(jiān)測(cè)儀和傳感器手環(huán)，開始4小時(shí)的模擬駕駛，速度控制在60km/h-80km/h。在模擬駕駛過(guò)程中，被試者需要對(duì)刺激信號(hào)做出反應(yīng)，操作相應(yīng)的按鍵，以采集反應(yīng)時(shí)間。整個(gè)實(shí)驗(yàn)過(guò)程通過(guò)相機(jī)記錄，用以輔助分析。

2.2 實(shí)驗(yàn)數(shù)據(jù)采集

采集數(shù)據(jù)的主要設(shè)備有：羅技G29駕駛模擬器、NE無(wú)線腦電儀、Bio-Radio無(wú)線生理監(jiān)測(cè)儀、傳感器手環(huán)、相機(jī)。

NE無(wú)線腦電儀包括八個(gè)導(dǎo)聯(lián)、干電極/濕電極、電極帽、信號(hào)采集和傳輸裝置、NIC采集和分析軟件等，腦部導(dǎo)聯(lián)示意圖如圖1所示。八個(gè)導(dǎo)聯(lián)可實(shí)時(shí)采集和傳輸大腦不同部位電信號(hào)，無(wú)線傳輸?shù)接?jì)算機(jī)，其采樣率可達(dá)500SPS，分辨率24bits-0.05uV。Bio-Radio生理監(jiān)測(cè)儀能夠檢測(cè)呼吸、肌電、皮電、心電等人體生理信號(hào)，并且無(wú)線傳輸給計(jì)算機(jī)，其采樣率250-1 600Hz，采樣分辨率12-16bit。本實(shí)驗(yàn)中生理檢測(cè)儀僅采集皮電、肌電信號(hào)。傳感器手環(huán)記錄駕駛員的心率和血氧飽和度信號(hào)。

2.3 實(shí)驗(yàn)數(shù)據(jù)預(yù)處理

傅里葉變換，可以將時(shí)域信號(hào)轉(zhuǎn)變?yōu)轭l域信號(hào)，便于研究信號(hào)的頻譜結(jié)構(gòu)和變化規(guī)律。如果某函數(shù)f（t）滿足傅里葉積分變化定理?xiàng)l件，則稱F（w）為f（t）的傅里葉變換：小波分析，適用于大多數(shù)非平穩(wěn)信號(hào)的分析和具有分形結(jié)構(gòu)的信號(hào)分析，能較好的突出信號(hào)局部特征。小波分析原理一，是：對(duì)于任意連續(xù)信號(hào)f（t）∈L2（R）（能量有限空間），f（t）的連續(xù)小波變換為：

式中，a是伸縮因子，6是平移因子，φα，b（t）為依賴于α、6的連續(xù)小波基函數(shù)。

3 數(shù)據(jù)處理

3.1 信號(hào)圖

為方便觀察，將反應(yīng)時(shí)間、心率、血氧飽和度進(jìn)行適當(dāng)處理整合在一個(gè)圖中，如圖2所示（8位被試者橫向順序）。圖中X軸表示時(shí)間，單位為2min，Y軸表示采集的各信號(hào)指標(biāo)值，分別為反應(yīng)時(shí)間（ms）、心率（次/mln）、血氧飽和度。其中具體處理如下：

Pt =Rt×0.01，Pt一圖中反應(yīng)時(shí)間，Rt一真實(shí)反應(yīng)時(shí)間；

Ph=Rh-55，Ph—圖心率，Rh一真實(shí)心率；

Ps=Rs- 70，Ps一圖中血氧飽和度，Rs一真實(shí)血氧飽和度。

表面肌電信號(hào)的頻率范圍是2-500Hz，主要集中在50-150Hz，在數(shù)據(jù)處理過(guò)程中，使用Butterworth高通濾波器濾掉50Hz的工頻噪聲，肌電電位增益1000。然后通過(guò)快速傅里葉變換，得到不同頻率對(duì)應(yīng)的信號(hào)功率譜。皮電信號(hào)處理方法與肌電相似，采用Bandpass濾波，帶寬設(shè)置為0.02Hz-0.3Hz，階數(shù)為2。得到肌電功率和皮電功率指標(biāo)后，作出其隨駕駛疲勞發(fā)展變化的過(guò)程圖，分別如圖3、圖4所示（以被試者8為例）。圖中X軸都表示時(shí)間，單位為2min，Y軸表示信號(hào)指標(biāo)，肌電功率單位為y2，皮電功率單位為μV2。圖3中，Pm=Rm×e7，Pt=Rt×0.01，其中Pm表示圖中肌電功率，Rm表示真實(shí)肌電功率。圖4中，Pg=Rg×e10，其中Pg表示圖中皮電功率，Rg表示真實(shí)皮電功率。

3. 2統(tǒng)計(jì)分析

3.2.1 反應(yīng)時(shí)間。對(duì)被試者反應(yīng)時(shí)間出現(xiàn)突變峰值的時(shí)間點(diǎn)和反應(yīng)時(shí)間進(jìn)行統(tǒng)計(jì)，見表1。由圖2和表1發(fā)現(xiàn)：除被試者3和被試者6之外，其余被試者在4小時(shí)的長(zhǎng)時(shí)間模擬駕駛過(guò)程中，反應(yīng)時(shí)間并非逐漸遞增，而是發(fā)生突變，呈現(xiàn)周期性，即駕駛員進(jìn)入疲勞后，由于某種身體自我調(diào)節(jié)機(jī)制和自我意識(shí)控制作用等原因，會(huì)返回到清醒狀態(tài)，一段時(shí)間之后，再次進(jìn)入疲勞狀態(tài)。結(jié)合視頻分析觀察，疲勞持續(xù)時(shí)間10min左右，深度疲勞持續(xù)時(shí)間2-4min。

3.2.2 心率信號(hào)。圖2中，由反應(yīng)時(shí)間確定疲勞狀態(tài)，觀察心率發(fā)現(xiàn)：（1）疲勞狀態(tài)時(shí)，心率較低，進(jìn)入疲勞狀態(tài)的過(guò)程中，心率變化劇烈。（2）清醒狀態(tài)時(shí)，心率較高，心率變化平穩(wěn)。對(duì)心率進(jìn)行均值和方差分析，見表2。由表2可得：（1）疲勞狀態(tài)下的心率（61- 64次/min）普遍低于平均心率（64次/min以上）。（2）反應(yīng)時(shí)間突變點(diǎn)附近心率方差84%低于總方差，排除異點(diǎn)，反應(yīng)時(shí)間突變點(diǎn)附近的心率方差均值為3.78，且81%的方差低于3.82，表明在疲勞狀態(tài)下，其心率的波動(dòng)情況較小。（3）81%的概率突變點(diǎn)后心率方差小于突變點(diǎn)前，即駕駛疲勞發(fā)生后的心率波動(dòng)幅度小于疲勞發(fā)生前。查閱文獻(xiàn)可認(rèn)為這種現(xiàn)象由大腦自我意識(shí)的警覺性導(dǎo)致。

3.2.3 血氧飽和度信號(hào)。血氧飽和度的分析處理方法同心率。分析發(fā)現(xiàn)：（1）反應(yīng)時(shí)間較長(zhǎng)時(shí)，血氧飽和度較低，反應(yīng)時(shí)間突變點(diǎn)附近，血氧飽和度變化劇烈；（2）清醒狀態(tài)時(shí)，血氧飽和度大部分處于較高水平；（3）除被試者7以外，反應(yīng)時(shí)間突變點(diǎn)附近的血氧飽和度全部低于整體均值，疲勞狀態(tài)時(shí)70%的概率在96%-97.4%之間進(jìn)行波動(dòng)；（4）反應(yīng)時(shí)間突變點(diǎn)附近血氧飽和度方差90%的概率低于整體方差，排除異點(diǎn)，方差范圍80%的概率是0-1，正常情況下，方差高于1.2。

3.2.4 肌電信號(hào)。觀察圖3發(fā)現(xiàn)：（1）肌電功率隨著時(shí)間歷程呈現(xiàn)規(guī)律性變化，先增長(zhǎng)，中間較低，后又逐漸增長(zhǎng)；（2）隨著疲勞程度的加深，肌電功率增加。

對(duì)肌電信號(hào)進(jìn)行快速傅里葉變換后，統(tǒng)計(jì)分析不同狀態(tài)下肌電功率的均值與方差，結(jié)果見表3，疲勞臨界和清醒狀態(tài)下肌電功率均值比值和方差比值如圖5所示。分析表3發(fā)現(xiàn)：（1）75%的概率疲勞臨界狀態(tài)的肌電信號(hào)功率大于清醒狀態(tài)，且是大一個(gè)數(shù)量級(jí)。被試者3在駕駛過(guò)程中沒有進(jìn)入深度疲勞狀態(tài)，被試者6進(jìn)入疲勞狀態(tài)較快，對(duì)車輛的控制能力較弱，發(fā)生疲勞時(shí)肢體動(dòng)作較小（視頻分析）。（2）88%的概率清醒狀態(tài)下的肌電信號(hào)功率方差大于疲勞臨界或深度疲勞狀態(tài)，異常情況可解釋為行駛異常，被試者在努力恢復(fù)正常行駛，此時(shí)手臂動(dòng)作較大，肌電電位變化劇烈。由圖5可得：當(dāng)疲勞臨界和清醒狀態(tài)下肌電功率均值比值范圍在1-10之間，方差比值小于1時(shí)，可判定駕駛員處于疲勞臨界狀態(tài)。

3.2.5 皮電信號(hào)。觀察圖4發(fā)現(xiàn)：（1）皮電功率隨著時(shí)間歷程呈現(xiàn)規(guī)律性變化，剛開始皮電功率較低，隨著駕駛時(shí)間延長(zhǎng)，皮電功率增長(zhǎng)，進(jìn)入疲勞狀態(tài)時(shí)，皮電功率恢復(fù)到低功率狀態(tài)，疲勞狀態(tài)消失后，重新出現(xiàn)高功率狀態(tài)。（2）疲勞狀態(tài)出現(xiàn)在波谷位置，疲勞前后駕駛員的皮電信號(hào)功率較大。

皮電功率分析處理方法同肌電功率。統(tǒng)計(jì)分析發(fā)現(xiàn)：（1）排除被試者7，其余疲勞臨界狀態(tài)的均值和方差均大于清醒狀態(tài)。（2）觀察圖6，選取30min的時(shí)間段，當(dāng)后者狀態(tài)與前者狀態(tài)的皮電平均功率比值范圍在10-80之間，方差范圍大于10時(shí)，可以判定駕駛員處于疲勞臨界狀態(tài)。

3.2.6 腦電信號(hào)分析。根據(jù)醫(yī)學(xué)對(duì)疲勞的研究成果，選擇位于頭部枕葉部位的6號(hào)導(dǎo)聯(lián)作為腦電信號(hào)的數(shù)據(jù)分析依據(jù)。使用小波包分解提取腦電信號(hào)的5個(gè)基本節(jié)律，通過(guò)NICOffline軟件作出人體在不同狀態(tài)下腦電信號(hào)的功率分布圖，如圖7所示。從圖7可看出，隨著疲勞程度的加深，6波功率越來(lái)越高，所占比例也越來(lái)越高，代表人體逐漸進(jìn)入睡眠狀態(tài)。然后選取α/β、θ/β和δ/β三個(gè)指標(biāo)計(jì)算不同精神狀態(tài)下功率的比值并進(jìn)行顯著性檢驗(yàn)，見表4。由表4可看出不存在顯著性差異，但是隨著疲勞程度的加深，三個(gè)指標(biāo)都呈現(xiàn)增長(zhǎng)趨勢(shì)，其中δ/β盧增長(zhǎng)最為明顯。故下文使用δ/β和δ對(duì)駕駛疲勞模型進(jìn)行驗(yàn)證。

4 駕駛疲勞檢測(cè)神經(jīng)網(wǎng)絡(luò)模型

基于多源信息融合的穩(wěn)定性及可信度優(yōu)勢(shì)，將心率、血氧、肌電和皮電四種生理信號(hào)進(jìn)行融合，實(shí)現(xiàn)駕駛疲勞的檢測(cè)。根據(jù)前文分析各生理信號(hào)得到的閾值，使用MATLAB建立駕駛疲勞檢測(cè)神經(jīng)網(wǎng)絡(luò)模型，如圖8所示。模型第一層：采集人體心率、血氧、肌電和皮電信號(hào)；第二層：求出心率、血氧、肌電功率、皮電功率的均值和方差；第三層：根據(jù)前文分析得出的各生理信號(hào)閾值，對(duì)四種生理信號(hào)指標(biāo)分別進(jìn)行判斷，決策模型見表5，返回值0-2；第四層：對(duì)返回值求和，輸出數(shù)值0-8；第五層：依據(jù)上一層輸出的數(shù)值進(jìn)行疲勞分級(jí)，具體對(duì)應(yīng)關(guān)系見表6。

5 模型驗(yàn)證

另外進(jìn)行4組模擬駕駛實(shí)驗(yàn)，持續(xù)時(shí)間2.5h，根據(jù)駕駛疲勞檢測(cè)神經(jīng)網(wǎng)絡(luò)模型建立的算法對(duì)采集的信號(hào)進(jìn)行計(jì)算，得到疲勞等級(jí)，通過(guò)疲勞時(shí)駕駛員的反應(yīng)時(shí)間和腦電指標(biāo)進(jìn)行對(duì)比驗(yàn)證。

由表7可看出：①通過(guò)駕駛疲勞檢測(cè)神經(jīng)網(wǎng)絡(luò)模型計(jì)算出的結(jié)果均為疲勞，與反應(yīng)時(shí)間分析和腦電指標(biāo)分析結(jié)果一致，說(shuō)明建立的模型準(zhǔn)確度較好。②多源信號(hào)融合效果優(yōu)于單一檢測(cè)，提高了模型的魯棒性與可信度。除被試者2的各單獨(dú)信號(hào)檢測(cè)結(jié)果能通過(guò)驗(yàn)證外，其余被試者都存在某些信號(hào)檢測(cè)結(jié)果與疲勞驗(yàn)證結(jié)果不同的情況，例如被試者1和3的肌電與皮電信號(hào)、被試者4的皮電和血氧信號(hào)。信號(hào)融合則通過(guò)了疲勞驗(yàn)證。

6 結(jié)論

（1）長(zhǎng)時(shí)間單調(diào)路況駕駛時(shí)，疲勞是一種突變行為，局部觀察則為漸進(jìn)行為。（2）各生理信號(hào)在清醒與疲勞狀態(tài)時(shí)存在差異。疲勞狀態(tài)時(shí)心率與血氧飽和度均低于清醒狀態(tài)且波動(dòng)更小，皮電信號(hào)功率則高于清醒狀態(tài)；肌電信號(hào)功率在疲勞與清醒狀態(tài)時(shí)無(wú)明顯差別，但臨界疲勞狀態(tài)下卻高于清醒狀態(tài)。（3）采集生理信號(hào)的移動(dòng)穿戴設(shè)備均無(wú)侵人性，多源生理信號(hào)融合能提高系統(tǒng)的魯棒性與可信度，在此基礎(chǔ)上建立的駕駛疲勞檢測(cè)模型能較準(zhǔn)確的檢測(cè)疲勞，為可穿戴設(shè)備的開發(fā)奠定了理論基礎(chǔ)。