基于PPG的地鐵司機(jī)駕駛疲勞識(shí)別研究

姬祥，朱海燕，劉志鋼，高婷，羅晉

(1.上海工程技術(shù)大學(xué)城市軌道交通學(xué)院 人因工程實(shí)驗(yàn)室，上海 201620)

1 引言

目前大多數(shù)駕駛員疲勞檢測的研究主要集中在機(jī)動(dòng)車駕駛員上，對(duì)地鐵駕駛員的疲勞研究較少，盡管軌道交通是交通運(yùn)輸領(lǐng)域的重要組成部分；地鐵司機(jī)由于工作相對(duì)于其他職業(yè)司機(jī)的特殊性，在工作時(shí)間容易睡著。高速運(yùn)動(dòng)引起的視力變化使駕駛員更容易疲勞。此外，高心理和認(rèn)知需求、高工作量和長工作時(shí)間、單調(diào)和不規(guī)則的輪班時(shí)間表導(dǎo)致司機(jī)的高精神壓力和持續(xù)的焦慮[1-2]。自動(dòng)車輛控制和監(jiān)控系統(tǒng)減少了人工操作，導(dǎo)致單調(diào)和警惕性喪失[3-4]。因此，尋求一種監(jiān)測和緩解駕駛員疲勞的具體方法對(duì)地鐵的安全至關(guān)重要。監(jiān)控車輛的運(yùn)行狀況以及駕駛員在控制臺(tái)上的操作容易受到外界因素的影響，無法形成統(tǒng)一的判定標(biāo)準(zhǔn)，實(shí)用性較差；臉部特征的檢測是實(shí)時(shí)和可靠的，但是這種方法容易受到光線、遮擋和眼鏡等因素的影響；腦電和心電的檢測成本較高，而且檢測設(shè)備都具有一定的侵入性，容易對(duì)地鐵駕駛員的駕駛行為造成影響。心率變異性(Heart Rate Variability，HRV)來源于心電圖的RR間期時(shí)間序列，HRV信號(hào)是用來檢測駕駛疲勞的良好指標(biāo)[5]；光電容積描記術(shù)(Photoplathysmography PPG)是一種簡單、低成本和無創(chuàng)的測量血管容積變化的技術(shù)[6]，PPG脈率也可以用來確定心率，用作HRV的替代測量[7-10]；由于PPG信號(hào)的這些優(yōu)點(diǎn)，使得它成為可穿戴和便攜式設(shè)備的良好檢測信號(hào)。

隨著城市軌道交通的不斷發(fā)展，駕駛疲勞所帶來的安全隱患也受到學(xué)者們?cè)絹碓蕉嗟年P(guān)注，及時(shí)、準(zhǔn)確地發(fā)現(xiàn)并阻止駕駛員疲勞帶來的危害對(duì)提升地鐵的安全運(yùn)營具有重要意義，但由于地鐵駕駛環(huán)境的特殊性，目前的駕駛疲勞檢測方法都具有一定的侵入性，容易給地鐵駕駛帶來影響。心率變異性對(duì)駕駛疲勞具有敏感性，PPG是一種簡單、低成本、無創(chuàng)的檢測技術(shù)，PPG與ECG信號(hào)所反映的HRV具有高度一致性，利用PPG提取HRV指標(biāo)，并采用支持向量機(jī)(support vevtor machine SVM)進(jìn)行疲勞識(shí)別，可實(shí)現(xiàn)地鐵司機(jī)駕駛疲勞的實(shí)時(shí)監(jiān)測，降低駕駛疲勞對(duì)地鐵安全運(yùn)營帶來的危害。

2 對(duì)象與方法

2.1 實(shí)驗(yàn)設(shè)計(jì)

本實(shí)驗(yàn)旨在確保實(shí)驗(yàn)步驟和數(shù)據(jù)分析能夠客觀地驗(yàn)證利用PPG提取HRV指標(biāo)在地鐵駕駛員疲勞識(shí)別中的有效性和可行性。實(shí)驗(yàn)設(shè)計(jì)分為兩個(gè)部分：1、一致性檢驗(yàn)。2、模擬正線駕駛。

實(shí)驗(yàn)一：在軌道交通模擬器中設(shè)計(jì)兩個(gè)任務(wù)內(nèi)容，選取合適的地鐵駕駛員分別完成任務(wù)內(nèi)容，在實(shí)驗(yàn)過程中要求司機(jī)佩戴ECG檢測設(shè)備及光電脈搏描記設(shè)備，用于獲取每位司機(jī)在每項(xiàng)任務(wù)的PPG和ECG的RR間期。校驗(yàn)地鐵司機(jī)PPG信號(hào)與ECG信號(hào)的一致性。

實(shí)驗(yàn)二：設(shè)計(jì)模擬城市軌道交通列車正線駕駛實(shí)驗(yàn)，配合便攜式光電容積描記設(shè)備模型和眼動(dòng)儀設(shè)備，通過脈搏信號(hào)分析分析被試列車司機(jī)的心率變異性，并使用眼動(dòng)儀設(shè)備輔助實(shí)現(xiàn)心電信號(hào)的分類。

實(shí)驗(yàn)共獲取兩類數(shù)據(jù)集。一類是通過脈搏信號(hào)獲取的HRV數(shù)據(jù)集。一類是通過眼動(dòng)儀設(shè)備獲取的眼動(dòng)數(shù)據(jù)。其中第一類數(shù)據(jù)被證明與駕駛疲勞高度相關(guān)，可以準(zhǔn)確地反映疲勞狀態(tài)；第二類數(shù)據(jù)是瞳孔面積，作為疲勞狀態(tài)的分類標(biāo)簽。

2.2 實(shí)驗(yàn)人員

邀請(qǐng)5名列車司機(jī)參與模擬駕駛實(shí)驗(yàn)，性別男，平均年齡(22.83±1.17)歲，其中被試列車司機(jī)A、D、E具有一年模擬駕駛經(jīng)驗(yàn)，B、C均為無駕駛經(jīng)驗(yàn)的新進(jìn)列車司機(jī)。所有被試者身體健康，無心血管病史。

2.3 實(shí)驗(yàn)設(shè)備

2.3.1 模擬駕駛設(shè)備

上海軌道交通培訓(xùn)中心軌道交通模擬仿真駕駛系統(tǒng)三號(hào)線駕駛艙(圖1)具有與城市軌道交通列車一致的司機(jī)操作臺(tái)、操作設(shè)備和顯示設(shè)備，能夠從視覺、聽覺、觸覺以及操作體驗(yàn)感方面模擬并逼真的體現(xiàn)城市軌道交通列車在不同情況下的運(yùn)行工況和運(yùn)行環(huán)境下的車輛運(yùn)行狀況、牽引和制動(dòng)特性和操作特性等，能夠模擬城市軌道交通列車車輛運(yùn)行過程中的聲音和震動(dòng)效果，與現(xiàn)場工作環(huán)境高度契合。

圖1 城市軌道交通模擬駕駛艙

2.3 2 ECG信號(hào)測量設(shè)備

使用equvital公司研發(fā)和生產(chǎn)的EQ02+型ECG數(shù)據(jù)采集組合套件進(jìn)行ECG檢測，如圖2所示。(1)是EQ02+ECG數(shù)據(jù)采集裝置，(2)是采集ECG信號(hào)的傳感器背心，(3)是ECG數(shù)據(jù)傳輸數(shù)據(jù)線，(4)是ECG數(shù)據(jù)無線傳輸接收器。其中傳感器背心可以將ECG采集裝置的光學(xué)透鏡安置于被試的左側(cè)胸部，以獲取ECG數(shù)據(jù)。

圖2 EQ02+型ECG數(shù)據(jù)采集組合套件

2.3.3 PPG信號(hào)測量設(shè)備

從手指獲得的PRV與心率變異性(HRV)最相似[11]，實(shí)驗(yàn)采用了一款光電脈搏采集板，如圖3所示。USB線一端接光電脈搏采集板，一端接電腦USB口，光電傳感器一端插入光電脈搏采集板上的接口，一端夾在手指上，用于檢測PPG信號(hào)。

圖3 光電脈搏采集板

2.3.4 眼動(dòng)儀設(shè)備

實(shí)驗(yàn)采用的眼動(dòng)儀設(shè)備為德國Ergoneers研發(fā)的Dikablis眼鏡式眼動(dòng)儀(圖4)，該眼動(dòng)儀自帶D-Lab數(shù)據(jù)處理軟件。Dikablis眼鏡式眼動(dòng)儀采用額頭防滑條和鼻梁架的雙重固定。鼻梁架的角度和寬度均可調(diào)節(jié)，以適應(yīng)佩戴眼鏡的使用者。眼動(dòng)儀可記錄場景和眼部視頻，場景攝像頭和眼部攝像頭均可調(diào)節(jié)，以找到理想追蹤位置和角度。

圖4 眼動(dòng)儀

3 結(jié)果

3.1 PPG與ECG一致性分析

以5 min為單位，每位司機(jī)在每項(xiàng)任務(wù)各將獲得12組PPG和ECG的RR間期，把兩組數(shù)據(jù)進(jìn)行雙變量皮爾遜相關(guān)檢驗(yàn)，結(jié)果如表1所示。分析四組結(jié)果發(fā)現(xiàn)，不同司機(jī)在執(zhí)行相同任務(wù)時(shí)的sig值小于0.05，這表明其PPG與ECG信號(hào)具有顯著的相關(guān)關(guān)系，同時(shí)皮爾遜相關(guān)性大于0且接近1，表明其ECG與PPG信號(hào)是正向相關(guān)的，同一司機(jī)在執(zhí)行不同任務(wù)時(shí)也有類似結(jié)論。校驗(yàn)結(jié)果認(rèn)為實(shí)驗(yàn)設(shè)計(jì)的PPG與ECG具有較高的一致性，獲取的PPG信號(hào)可進(jìn)行心率變異性分析。

表1 PPG和ECG指標(biāo)一致性檢驗(yàn)

3.2 PPG信號(hào)處理

為了提取PPG信號(hào)的有效成分，我們進(jìn)行了放大信號(hào)和初步的噪聲處理；巴特沃斯(Butterworth)濾波器具有通帶頻響曲線平坦，阻帶頻響曲線減小為零的特點(diǎn)：

截取部分PPG信號(hào)實(shí)現(xiàn)濾波的對(duì)比(圖5)，脈搏波的特征波峰點(diǎn)為標(biāo)記出的紅點(diǎn)部分，隨后依次定位紅點(diǎn)的橫坐標(biāo)，RR間期即相鄰紅點(diǎn)之間的橫坐標(biāo)之差。

圖5 PPG信號(hào)處理前后對(duì)比

3.3 駕駛疲勞特征提取

HRV是指逐次心跳RR間期(瞬時(shí)心率)之間存在的微小差異或微小漲落現(xiàn)象，HRV信號(hào)可以檢測出駕駛疲勞[12]，是檢測疲勞的良好指標(biāo)，HRV指標(biāo)有三類：時(shí)域、頻域和非線性指數(shù)[13](表2)。時(shí)域參數(shù)的估計(jì)主要基于相對(duì)頻率間隔序列的線性分析，而頻域參數(shù)的估計(jì)取決于信號(hào)中的功率頻率(低頻、高頻和低頻/高頻)的分布，非線性方法是基于HRV信號(hào)的混沌特性發(fā)展起來的。在脈搏變異性與心率變異性相關(guān)性極高的前提下，基于脈搏分析心率變異性有其特有的優(yōu)勢。

表2 心率變異性指標(biāo)

箱形圖是一種用于顯示數(shù)據(jù)分散情況的統(tǒng)計(jì)圖，根據(jù)中位數(shù)(Q2)，上、下四分位數(shù)(Q1、Q3)得到樣本數(shù)據(jù)的統(tǒng)計(jì)特征，能夠準(zhǔn)確穩(wěn)定地描繪出數(shù)據(jù)的離散分布情況，直觀明了地識(shí)別數(shù)據(jù)中的異常值，有利于數(shù)據(jù)的清洗。將5名司機(jī)的9個(gè)駕駛疲勞特征參數(shù)數(shù)據(jù)繪制成箱形圖(圖6)，從圖中可以看到，只有極少數(shù)據(jù)為異常值，表明實(shí)驗(yàn)樣本服從標(biāo)準(zhǔn)正態(tài)分布，而異常值越少也說明數(shù)據(jù)的尾部越輕，其自由度越大。箱子包含了數(shù)據(jù)的50%，因此箱子的寬度在一定程度上也反映了數(shù)據(jù)的波動(dòng)程度，疲勞特征參數(shù)基本分布在坐標(biāo)軸中間偏下的區(qū)域，數(shù)據(jù)的離散程度較小，數(shù)據(jù)較集中。

圖6 駕駛員疲勞特征箱形圖

3.4 駕駛疲勞狀態(tài)分類

通過眼動(dòng)儀設(shè)備，在實(shí)驗(yàn)全程錄制被試列車司機(jī)眼動(dòng)相關(guān)數(shù)據(jù)，根據(jù)眼動(dòng)儀采集的被試司機(jī)瞳孔面積實(shí)現(xiàn)疲勞狀態(tài)分類。將被試者兩眼瞳孔面積的平均值按每5 min為一組統(tǒng)計(jì)，將瞳孔面積的平均值做歸一化處理，并進(jìn)行均值漂移聚類，根據(jù)聚類結(jié)果，將疲勞等級(jí)分為4類(圖7)。在實(shí)驗(yàn)開始，被試者的疲勞等級(jí)先是處于一個(gè)較低的狀態(tài)，到實(shí)驗(yàn)結(jié)束前疲勞等級(jí)都處于一個(gè)較高水平，這與預(yù)期的結(jié)果一致。同時(shí)，由于地鐵特殊的駕駛環(huán)境和要求，與機(jī)動(dòng)車駕駛所不同的是，地鐵駕駛不需要時(shí)刻保持高度集中的注意力對(duì)路況進(jìn)行監(jiān)控，所以地鐵駕駛員不需要時(shí)刻保持高度集中的精神狀態(tài)，當(dāng)駕駛員精神集中狀態(tài)長期處于低水平時(shí)，會(huì)感到無聊，從而產(chǎn)生疲勞，而長期處于高水平時(shí)，與機(jī)動(dòng)車駕駛相似，也會(huì)產(chǎn)生疲勞，地鐵特殊的駕駛環(huán)境會(huì)使駕駛員的精神集中度處于一種上下波動(dòng)的狀態(tài)，導(dǎo)致其疲勞也一起上下波動(dòng)。當(dāng)駕駛?cè)蝿?wù)結(jié)束時(shí)，疲勞等級(jí)會(huì)達(dá)到一個(gè)較高水平，這與真實(shí)情況下的駕駛狀態(tài)是一致的。

圖7 瞳孔面積聚類分析

4 疲勞識(shí)別

本文選擇了SVM作為主要算法，它來自于結(jié)構(gòu)風(fēng)險(xiǎn)管理的統(tǒng)計(jì)學(xué)習(xí)理論，是一種結(jié)構(gòu)風(fēng)險(xiǎn)最小化的模式分類新方法。司機(jī)的心率變異性會(huì)因駕駛疲勞而改變。因此，本文選取時(shí)域、頻域及非線性領(lǐng)域的9個(gè)參數(shù)作為司機(jī)疲勞狀態(tài)變量的指標(biāo)(表2)，對(duì)司機(jī)的駕駛疲勞狀態(tài)進(jìn)行識(shí)別。實(shí)驗(yàn)二共取得5位駕駛員的550個(gè)樣本數(shù)據(jù)。從這些樣本中隨機(jī)選取30%構(gòu)建訓(xùn)練數(shù)據(jù)集，剩余的樣本用于構(gòu)建測試數(shù)據(jù)集。表3展示了采用四種核函數(shù)的精度。

表3 基于不同核的SVM分類精度

SVM模型的性能可以通過繪制操作特性曲線(ROC)來檢測，可以表現(xiàn)出分類器系統(tǒng)在辨別閾值變化時(shí)的性能。曲線通過在各種閾值設(shè)置下繪制真陽性率(TPR)與假陽性率(FPR)來創(chuàng)建。本文通過計(jì)算曲線下面積的值并與閾值進(jìn)行比較來評(píng)價(jià)駕駛疲勞檢測的性能(圖8)。當(dāng)ROC曲線面積(AUC)大于0.5時(shí)，表明模型是有效的，當(dāng)AUC大于0.9時(shí)，模型的識(shí)別率較高[14]。

圖8 不同核函數(shù)下的ROC曲線

5 討論

心率變異性(HRV)是進(jìn)行疲勞識(shí)別最有效的標(biāo)志之一。然而，它需要采集心電信號(hào)，以便可靠地檢測心率間期，這對(duì)人體具有侵入性而令人感到不適，此外，由于單點(diǎn)光學(xué)傳感器的進(jìn)步，光電容積描記法(PPG)是一種可行的心跳間隔測量的替代方法，因?yàn)樗且环N更方便、侵入性更小的測量技術(shù)。由于血容量脈搏的脈搏周期與心臟活動(dòng)直接相關(guān)，心臟的機(jī)械活動(dòng)與其電活動(dòng)相耦合，光電容積描記術(shù)(PPG)也反映了心律，所以從心電圖的RR間隔導(dǎo)出的生理信息也可以從PPG的脈搏周期導(dǎo)出。因此，理論上PPG可以用于確定連續(xù)心跳和心率變異性之間的間隔，與具有高相關(guān)性的心電信號(hào)的相對(duì)心率變異性相比，PPG信號(hào)的心率變異性被證明是相當(dāng)準(zhǔn)確的。實(shí)驗(yàn)一結(jié)果表明，地鐵司機(jī)在駕駛狀態(tài)下的PPG信號(hào)與ECG信號(hào)也具有高度一致性，獲取的地鐵司機(jī)PPG信號(hào)可進(jìn)行心率變異性分析。

疲勞等級(jí)分類是疲勞識(shí)別的關(guān)鍵技術(shù)，常采用的9級(jí)KSS量表可以測量主觀疲勞等級(jí)，但以問詢方式獲取駕駛員疲勞等級(jí)的方法主觀誤差較大；眼睛行為提供了關(guān)于駕駛員疲勞的重要信息，疲勞會(huì)導(dǎo)致虹膜肌肉的運(yùn)動(dòng)能力下降，從而減緩?fù)状笮〉目刂?，瞳孔直徑的變化與疲勞的積累有關(guān)，疲勞與瞳孔直徑有顯著相關(guān)性。均值漂移(Mean-Shift)算法是一種無參的密度估計(jì)算法，該算法不需要預(yù)先知道種類數(shù)目，能對(duì)任何維度、任何分布的采樣點(diǎn)進(jìn)行快速聚類，迭代效率高。本文采用瞳孔面積作為疲勞分類的標(biāo)準(zhǔn)，并采用均值漂移聚類劃分疲勞等級(jí)，消除了個(gè)體差異，保證了結(jié)果的準(zhǔn)確性。

6 結(jié)論

基于PPG與ECG信號(hào)的高度相關(guān)性，利用PPG信號(hào)進(jìn)行心率變異性分析，提取駕駛疲勞相關(guān)特征，并采用SVM進(jìn)行識(shí)別，準(zhǔn)確率達(dá)到85%～90%；這表明在地鐵駕駛中PPG信號(hào)可對(duì)駕駛疲勞進(jìn)行有效識(shí)別。

提取被試者的瞳孔面積數(shù)據(jù)，以此作為疲勞分類的標(biāo)準(zhǔn)，消除主觀因素帶來的偏差，采用Mean-Shift聚類方法進(jìn)行疲勞等級(jí)的劃分，該方法不需要預(yù)先設(shè)定聚類個(gè)數(shù)，能夠自動(dòng)確定其數(shù)量群集。

利用PPG信號(hào)開發(fā)駕駛疲勞實(shí)時(shí)監(jiān)測系統(tǒng)，能夠在不影響駕駛的情況下進(jìn)行疲勞識(shí)別，可實(shí)現(xiàn)地鐵司機(jī)疲勞狀態(tài)的實(shí)時(shí)監(jiān)測與警示，不但可以保證司機(jī)的安全駕駛，更能提升整個(gè)軌道的安全運(yùn)營水平。