基于Encoder-Decoder注意力網(wǎng)絡(luò)的異常駕駛行為在線識(shí)別方法

唐 坤,戴語琴,徐永能,郭唐儀,邵 飛

(1.南京理工大學(xué) 自動(dòng)化學(xué)院, 南京 210094; 2.陸軍工程大學(xué) 野戰(zhàn)工程學(xué)院, 南京 210023)

0 引言

交通事故不僅對(duì)社會(huì)經(jīng)濟(jì)發(fā)展造成嚴(yán)重?fù)p害,而且是應(yīng)急救援等特殊情況下人員物資安全投送的重大威脅。數(shù)據(jù)表明,我國(guó)2019年共發(fā)生交通事故247 646起,造成直接財(cái)產(chǎn)損失就高達(dá)134 618萬元[1]。超過90%的交通事故與異常駕駛行為有關(guān),行駛速度每增加5%,造成傷害和致命交通事故數(shù)量將分別增加10%～20%[2]。因此,對(duì)異常駕駛行為進(jìn)行分析與識(shí)別是預(yù)防交通事故、提升交通安全的重要途徑,為人員物資的安全與高效投送提供可靠保障。

國(guó)內(nèi)外學(xué)者對(duì)駕駛行為進(jìn)行了廣泛研究[3-4],從方法層面來看,目前研究大致可以分為基于分析的方法與數(shù)據(jù)驅(qū)動(dòng)的方法兩類[5]。前者以駕駛員心理與生理信號(hào)為基礎(chǔ),例如腦電信號(hào)EEG[6]、皮電信號(hào)EDA[7]、眼動(dòng)信號(hào)EOG[8]等,通過構(gòu)建精確的分析模型對(duì)異常駕駛行為進(jìn)行識(shí)別。由于心理與生理信號(hào)具有較高的時(shí)間分辨率,能夠滿足精細(xì)化的駕駛行為分析需求,基于分析的方法得到了廣泛應(yīng)用[9-10]。然而,心理與生理信號(hào)通過駕駛佩戴的傳感設(shè)備獲取,存在較強(qiáng)的侵入性與干擾性[11]。與基于分析的方法不同,數(shù)據(jù)驅(qū)動(dòng)的方法利用機(jī)器學(xué)習(xí)等方法對(duì)數(shù)據(jù)進(jìn)行分析,將蘊(yùn)含在數(shù)據(jù)中的信息轉(zhuǎn)化為知識(shí),實(shí)現(xiàn)駕駛行為的非顯式建模。由于采用非侵入方式進(jìn)行數(shù)據(jù)采集并自動(dòng)構(gòu)建數(shù)據(jù)與駕駛行為之間的關(guān)聯(lián)模型,數(shù)據(jù)驅(qū)動(dòng)的方法具有顯著優(yōu)勢(shì),已經(jīng)成為駕駛行為研究的熱點(diǎn)方向[12]。從數(shù)據(jù)角度而言,數(shù)據(jù)驅(qū)動(dòng)的方法主要包括兩類:基于圖像視頻[13]與基于傳感器數(shù)據(jù)[14]。得益于機(jī)器視覺近些年的迅猛發(fā)展,基于圖像數(shù)據(jù)的方法具備了較多的成熟方案。然而,圖像數(shù)據(jù)容易受光照等因素的影響,應(yīng)用場(chǎng)景受限,而且視頻數(shù)據(jù)量較大,需要消耗大量的計(jì)算資源?；趥鞲衅鲾?shù)據(jù)的方法需要為車輛安裝大量專用傳感器,安裝與維護(hù)成本極高,較難推廣應(yīng)用[15]。

隨著智能手機(jī)的大量普及,手機(jī)內(nèi)集成的傳感器種類日益豐富,通過融合智能手機(jī)多傳感器數(shù)據(jù)進(jìn)行駕駛行為分析得到越來越廣泛的關(guān)注[16]。手機(jī)傳感器能夠以非侵入的方式實(shí)時(shí)記錄車輛運(yùn)動(dòng)狀態(tài)信息,與專用傳感器相比,具有成本低、易獲取、非侵入、易普及等優(yōu)點(diǎn)。利用手機(jī)傳感器數(shù)據(jù)進(jìn)行駕駛行為分析的關(guān)鍵在于如何從傳感器數(shù)據(jù)中提取高質(zhì)量的特征表達(dá)[17]。近年來,深度學(xué)習(xí)(deep learning)在計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域取得了巨大成功[18-19]。得益于深度網(wǎng)絡(luò)結(jié)構(gòu),深度學(xué)習(xí)模型能夠逐層從數(shù)據(jù)中挖掘潛在知識(shí),在特征提取與數(shù)據(jù)挖掘方面展現(xiàn)出獨(dú)特的優(yōu)勢(shì)[20]。鑒于深度學(xué)習(xí)模型強(qiáng)大表征能力,利用深度學(xué)習(xí)方法從數(shù)據(jù)中挖掘交通模式已經(jīng)成為交通研究的重要趨勢(shì)[21]。

鑒于此,從數(shù)據(jù)驅(qū)動(dòng)的角度出發(fā),以低成本無侵入的手機(jī)傳感器為基礎(chǔ),通過多傳感器數(shù)據(jù)融合,分析自然駕駛條件下的駕駛行為模式與數(shù)據(jù)特性,提出一種基于Encoder-Decoder深度學(xué)習(xí)模型與Attention機(jī)制的異常駕駛行為在線識(shí)別方法,并利用真實(shí)數(shù)據(jù)進(jìn)行實(shí)驗(yàn)對(duì)模型的有效性進(jìn)行驗(yàn)證。主要工作包括:

1) 分析駕駛行為特性與數(shù)據(jù)模式,挖掘異常駕駛行為的數(shù)據(jù)表現(xiàn)特征,驗(yàn)證基于手機(jī)多傳感數(shù)據(jù)融合進(jìn)行異常駕駛行為識(shí)別的可行性。

2) 提出基于Encoder-Decoder深度網(wǎng)絡(luò)與SVM的異常駕駛行為識(shí)別模型,通過融合Attention機(jī)制,增強(qiáng)了模型的注意力,并提高了異常駕駛行為識(shí)別精度。

3) 利用真實(shí)的自然駕駛數(shù)據(jù)進(jìn)行實(shí)驗(yàn),分析不同特征提取器與分類器組合模型的異常駕駛行為識(shí)別性能,再通過實(shí)驗(yàn)對(duì)比,驗(yàn)證了所提模型的有效性。

1 數(shù)據(jù)簡(jiǎn)介與預(yù)處理

1.1 數(shù)據(jù)簡(jiǎn)介

本文中所采用的駕駛行為數(shù)據(jù)來自于公開數(shù)據(jù)集Driver Behavior Dataset[22]。該數(shù)據(jù)集通過智能手機(jī)中的慣性測(cè)量單元傳感器采集,加速度計(jì)、線性加速度計(jì)、陀螺儀與磁力計(jì)分別記錄車輛在xyz三個(gè)方向上的加速度、線性加速度、角速度與磁場(chǎng)力。整個(gè)數(shù)據(jù)集包含4段實(shí)驗(yàn)行程,平均每段行程持續(xù)約13 min,具體如表1所示。

表1 異常駕駛事件數(shù)據(jù)統(tǒng)計(jì)量

1.2 特征提取

由于駕駛行為的復(fù)雜性,單個(gè)傳感器很難對(duì)其進(jìn)行較好地表征,本文中采用多傳感器融合的方式對(duì)駕駛行為進(jìn)行描述。如圖1所示。通過對(duì)不同傳感器的數(shù)據(jù)進(jìn)行融合,各時(shí)刻的駕駛行為可以用一個(gè)維度為12的特征向量xt∈R12進(jìn)行描述。由于綜合考慮了多個(gè)傳感器數(shù)據(jù),相較于單傳感器而言,xt具有更為全面的駕駛行為描述能力。

圖1 駕駛行為描述特征構(gòu)建

1.3 數(shù)據(jù)預(yù)處理

鑒于原始數(shù)據(jù)存在數(shù)據(jù)缺失、量綱各異和類間不平衡等問題,因此有必要采用以下步驟對(duì)初始數(shù)據(jù)進(jìn)行預(yù)處理。

步驟1缺失數(shù)據(jù)處理。查找缺失數(shù)據(jù)記錄,確定數(shù)據(jù)缺失性質(zhì),針對(duì)偶然性缺失,采用插值法進(jìn)行補(bǔ)全,針對(duì)結(jié)構(gòu)性缺失,將缺失記錄從數(shù)據(jù)中剔除。

步驟2數(shù)據(jù)歸一化。不同傳感器度量單位不同,為了消除量綱的影響,采用最大最小值歸一化方法(Min-Max Scaling)對(duì)各個(gè)特征維度上的數(shù)據(jù)進(jìn)行歸一化。

步驟3非平衡數(shù)據(jù)處理。數(shù)據(jù)中異常駕駛為少數(shù)類,正樣本與負(fù)樣本分布不平衡,通過對(duì)正常駕駛下采樣和對(duì)異常駕駛上采樣,使得正負(fù)樣本比例盡量平衡。

步驟4特征分布正態(tài)化。利用正態(tài)概率圖(Normal Probability Plot)對(duì)各種特征進(jìn)行正態(tài)性檢驗(yàn),針對(duì)非正態(tài)分布特征,采用對(duì)數(shù)化等方法進(jìn)行正態(tài)分布變換。

2 異常駕駛行為識(shí)別模型

2.1 總體框架

本文中提出模型的總體框架如圖2所示。主要包括輸入編碼、注意力學(xué)習(xí)、特征解碼、序列重構(gòu)、殘差計(jì)算與駕駛行為分類等步驟,具體流程如下所示。

圖2 模型總體框架

步驟6SVM分類。將重構(gòu)誤差E={e1,e2,…,eT}與原始序列Xorigin={x1,x2,…,xT}拼接得到混合分類特征向量X={(x1,e1),(x2,e2),…,(xT,eT)},將其輸入至SVM進(jìn)行分類得到ot,t=1,2,…,T,實(shí)現(xiàn)異常駕駛行為識(shí)別。

2.2 基于LSTM的Encoder-Decoder模塊

首先,將預(yù)處理后的駕駛行為時(shí)間序列數(shù)據(jù)Xorigin輸入至Encoder-Decoder模型中的Encoder模塊。Encoder-Decoder模型是一種強(qiáng)大的時(shí)間序列處理框架[23],如圖3(a)所示。

圖3 Encoder-Decoder模型結(jié)構(gòu)

(1)

(2)

式中:g(·)為映射函數(shù),通常采用全連接層實(shí)現(xiàn)。

在解碼階段,利用語義向量c與之前時(shí)刻輸出{y1,y2,…,yt-1}計(jì)算Encoder在各時(shí)刻的輸出,如下所示

(3)

式中:yt為Decoder在當(dāng)前時(shí)刻的輸出;yt-1為上一時(shí)刻的輸出;c表示語義編碼向量。

2.3 注意力模塊

(4)

式中:Wa為權(quán)重矩陣;va為變換系數(shù);上標(biāo)T代表矩陣轉(zhuǎn)置。然后,對(duì)相關(guān)性得分進(jìn)行歸一化,計(jì)算Encoder隱含層狀態(tài)對(duì)Decoder隱含層狀態(tài)的影響權(quán)重,如下所示

(5)

(6)

(7)

式中:Wc為轉(zhuǎn)換矩陣。在此基礎(chǔ)上,計(jì)算decoder在t時(shí)刻的最終輸出yt,如下所示

yt=Whost+bho

(8)

式中:Who為隱含層輸出系數(shù)矩陣;bf為偏置項(xiàng)。

2.4 支持向量機(jī)模塊

(9)

式中:w為超平面法向量,b為偏置,xi與yi∈{+1,-1}分別為第i個(gè)樣本的特征向量與分類標(biāo)簽,m為樣本的數(shù)量。利用拉格朗日乘子法對(duì)上式進(jìn)行轉(zhuǎn)換,得到下述優(yōu)化問題:

(10)

(11)

基于上述最優(yōu)分割超平面,對(duì)于任一樣本x,其分類決策函數(shù)如下所示

f(x)=sgn((w*)T·x+b*)

(12)

式中:sgn(·)為符號(hào)函數(shù),輸出為“1”或“-1”,分別代表異常駕駛與正常駕駛,從而實(shí)現(xiàn)異常駕駛行為識(shí)別。

3 模型結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

對(duì)于每個(gè)時(shí)刻t,利用該時(shí)刻及前T-1個(gè)時(shí)刻的時(shí)間序列構(gòu)建駕駛行為特征描述張量Xt=[xt-T+1,xt-T+2,…,xt]。通過對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行預(yù)處理,獲得駕駛行為數(shù)據(jù)樣本共 155 496條,其中正常駕駛132 970條,異常駕駛22 526條,按照3∶1∶1的比例將數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集與測(cè)試集。模型采用PyTorch 1.9.0實(shí)現(xiàn),實(shí)驗(yàn)環(huán)境為Intel(R) Core(TM) i7-9700 CPU、16G DDR4內(nèi)存、NVIDIA GeForce RTX 2080 GPU。模型超參數(shù)通過網(wǎng)格搜索調(diào)優(yōu)確定,設(shè)置LSTM 層數(shù)為3,各層維度分別為{128,128,64},batch_size為128,使用Adam優(yōu)化器對(duì)模型進(jìn)行訓(xùn)練,最大迭代次數(shù)為2 000。為了防止模型過擬合,采用丟棄法構(gòu)建dropout層,并采用早停法(early stopping)對(duì)模型進(jìn)行訓(xùn)練。為了驗(yàn)證模型的穩(wěn)定性,采用5折交叉驗(yàn)證對(duì)模型性能進(jìn)行評(píng)估。

為了驗(yàn)證模型性能,將提出模型與多種典型的特征提取器與分類器組合模型進(jìn)行對(duì)比,對(duì)比特征提取器包括循環(huán)神經(jīng)網(wǎng)絡(luò)RNN、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM與Bidirectional LSTM,對(duì)比分類器包括Logistic分類器、Random Forest隨機(jī)森林,并采用多種廣泛使用的分類評(píng)價(jià)指標(biāo)對(duì)模型性能進(jìn)行評(píng)價(jià),包括準(zhǔn)確率Accuracy、精確率Precision、召回率Recall、Fβ-score。

3.2 駕駛行為特征分析

正常駕駛數(shù)據(jù)分布如圖4所示。從圖中可以看出,正常駕駛情況下,線加速度與角加速度均圍繞0值上下振動(dòng),不存在長(zhǎng)時(shí)間持續(xù)增大或減小情況,最大值與最小值均處在合理范圍之內(nèi),具有較強(qiáng)的規(guī)律性與穩(wěn)定性。

圖4 正常駕駛行為特征分析

急加速/急剎車、急性左/右轉(zhuǎn)彎、急速左/右變道數(shù)據(jù)分布狀態(tài)分別如圖5所示。

圖5 異常駕駛行為特征分析

急加速狀態(tài)表現(xiàn)為線加速度短時(shí)間內(nèi)突然急劇增長(zhǎng),在達(dá)到峰值后振動(dòng)式緩慢下降,而急剎車狀態(tài)反應(yīng)為線加速度短時(shí)間內(nèi)突然急速負(fù)向增長(zhǎng),在達(dá)到峰值后緩慢增加。急性左轉(zhuǎn)彎情況下陀螺儀角加速度先增后減,數(shù)據(jù)曲線呈現(xiàn)上凸現(xiàn)象,而急性右轉(zhuǎn)彎情況下陀螺儀角加速度先減后增,數(shù)據(jù)曲線呈現(xiàn)下凹現(xiàn)象。急速左變道情況下角加速度反應(yīng)為先增后減,然后先減后增,數(shù)據(jù)呈現(xiàn)變幅正弦函數(shù)分布,而急速右變道情況下角加速度反應(yīng)為先減后增,然后先增后減,數(shù)據(jù)呈現(xiàn)變幅負(fù)正弦函數(shù)分布。結(jié)果表明,異常駕駛行為導(dǎo)致傳感器數(shù)據(jù)波動(dòng)劇烈,具有顯著的突變性,且與正常駕駛行為數(shù)據(jù)之間存在較大差異,具有顯著的離群性。

3.3 模型性能分析

各模型異常駕駛行為識(shí)別結(jié)果如表2所示。從表中可以看出,各指標(biāo)計(jì)算結(jié)果整體上從上至下呈現(xiàn)遞增趨勢(shì)。當(dāng)特征提取器為L(zhǎng)STM時(shí),基于SVM的異常駕駛識(shí)別準(zhǔn)確率、精確率、召回率與F1-score分別為0.881、0.560、0.836與0.671,高于其他2種分類器。這表明,相較于Logistic與RF,SVM能夠獲得更好地異常駕駛行為識(shí)別結(jié)果。當(dāng)利用SVM作為分類器時(shí),本文中提出模型的異常駕駛行為識(shí)別準(zhǔn)確率、精確率、召回率與F1-score分別為0.901、0.614、0.861與0.717,均高于其他對(duì)比模型。這表明,本文中提出模型能夠以最高的精確率對(duì)絕大多數(shù)異常駕駛行為進(jìn)行識(shí)別。提出模型的ROC曲線面積AUC1與PRC曲線面積AUC2分別為0.959與0.833,在各模型中表現(xiàn)最優(yōu)。這表明本文中提出模型能夠更好地對(duì)異常駕駛行為進(jìn)行識(shí)別。

表2 異常駕駛事件數(shù)據(jù)統(tǒng)計(jì)量

對(duì)比模型RNN、LSTM、Bi-LSTM、Encoder-Decoder及提出模型識(shí)別結(jié)果的混淆矩陣如圖6(a)～(e)所示。在采用SVM分類器的情況下,提出模型獲得了最優(yōu)的異常駕駛行為識(shí)別結(jié)果。如圖6(e)所示,模型的總體識(shí)別準(zhǔn)確率為90.1%,正常駕駛行為與異常駕駛行為的查全率分別為90.8%與86.1%,查準(zhǔn)率分別為97.5%與61.4%,正常駕駛行為誤判的比例僅為2.5%。結(jié)果表明,提出模型能夠?qū)Ω嗟恼ｑ{駛行為與異常駕駛行為進(jìn)行正確識(shí)別,同時(shí)具有最低的誤判率。

圖6 混淆矩陣

為了研究模型在非平衡數(shù)據(jù)集上的分類能力,采用受試者工作特征曲線ROC與精確率-召回率曲線PRC對(duì)識(shí)別結(jié)果進(jìn)行評(píng)價(jià)。對(duì)比模型RNN、LSTM、Bi-LSTM、Encoder-Decoder及提出模型的ROC曲線與PRC曲線分別如圖7(a)～(e)所示。同一特征提取器下,利用Logistic、RF與SVM分類器進(jìn)行異常駕駛行為識(shí)別的ROC曲線“左上凸”程度與PRC曲線“右上凸”程度依次遞增,對(duì)應(yīng)曲線下的面積也依次遞增。這表明SVM具有比 Logistic與RF分類器更好的異常駕駛行為識(shí)別效果。同一分類器下,RNN、LSTM、Bi-LSTM、Encoder-Decoder及提出模型的ROC曲線“左上凸”與PRC曲線“右上凸”程度呈現(xiàn)依次遞增規(guī)律,對(duì)應(yīng)曲線下的面積AUC同樣依次遞增。結(jié)果表明,提出模型能夠?qū)崿F(xiàn)絕大多數(shù)異常駕駛行為的準(zhǔn)確識(shí)別,具有更高的正常駕駛行為與異常駕駛行為的區(qū)分率,與所對(duì)照的同類方法相比,擁有更好的ROC曲線“左上凸”性與PRC曲線“右上凸”性,以及對(duì)應(yīng)更高的ROC曲線面積與PRC曲線面積。

圖7 ROC曲線與PRC曲線

4 結(jié)論

1) 基于手機(jī)多傳感器融合數(shù)據(jù)的特征分析法是汽車駕駛行為識(shí)別的有效可行手段,具有非接觸式、易獲取等優(yōu)點(diǎn)。該特性分析法對(duì)異常駕駛行為所造成的數(shù)據(jù)異常波動(dòng)而產(chǎn)生離群值狀態(tài)的識(shí)別具備實(shí)時(shí)性和較高的準(zhǔn)確性。

2) 本文中所采用的注意力機(jī)制Attention能夠?yàn)椴煌瑫r(shí)刻的Decoder構(gòu)建考慮上下文信息的個(gè)性化語義向量,提升模型注意力,進(jìn)而提高了異常駕駛行為的識(shí)別準(zhǔn)確率。

3) 支持向量機(jī)(SVM)對(duì)Encoder-Decoder所提取的特征進(jìn)行汽車異常駕駛行為的識(shí)別,要比Logistic與隨機(jī)森林RF分類模型具有更好的效果。

4) 本課題的后續(xù)工作將對(duì)駕駛行為與駕駛員情緒狀態(tài)的關(guān)聯(lián)性,通過車內(nèi)視頻數(shù)據(jù)融合前述技術(shù)方法開展更加多源性的非接觸式傳感信息處理和識(shí)別算法研究。