林鐘雨，吳 潼

（1.同濟(jì)大學(xué) 交通運(yùn)輸工程學(xué)院，上海 201804；2.上海市軌道交通結(jié)構(gòu)耐久與系統(tǒng)安全重點(diǎn)實(shí)驗(yàn)室，上海 201804）

0 引言

近年來(lái)，相對(duì)我國(guó)鐵路安全科技設(shè)備的不斷發(fā)展，人因安全管控的發(fā)展相對(duì)滯后，使得人因安全風(fēng)險(xiǎn)逐漸成為制約鐵路運(yùn)輸安全水平提高的主要因素。目前，鐵路機(jī)務(wù)部門(mén)對(duì)機(jī)車(chē)司機(jī)的安全行為監(jiān)督主要依賴(lài)傳統(tǒng)的乘務(wù)班組自查或線(xiàn)下基于音視頻數(shù)據(jù)的事后人工復(fù)查，即對(duì)于機(jī)車(chē)司機(jī)日勤作業(yè)產(chǎn)生的音視頻等監(jiān)控?cái)?shù)據(jù)采用人工復(fù)查的方式進(jìn)行分析檢查。該方法，一方面對(duì)特定事件和項(xiàng)點(diǎn)進(jìn)行查找分析的人力、時(shí)間成本高，另一方面因是事后離線(xiàn)分析，難以及時(shí)發(fā)現(xiàn)司機(jī)的不安全行為并提醒糾正以規(guī)避可能的事故風(fēng)險(xiǎn)，只能實(shí)現(xiàn)事后的責(zé)任追究與考核。隨著現(xiàn)代數(shù)據(jù)采集技術(shù)、大數(shù)據(jù)和人工智能技術(shù)的不斷發(fā)展，急需研究開(kāi)發(fā)更新一代的實(shí)時(shí)、智能安全監(jiān)控系統(tǒng)，以實(shí)現(xiàn)機(jī)車(chē)司機(jī)日勤作業(yè)行為的實(shí)時(shí)、智能監(jiān)控，有效保障鐵路行車(chē)安全。

從現(xiàn)有研究成果來(lái)看，鐵路機(jī)車(chē)司機(jī)行為監(jiān)控相關(guān)研究主要集中在利用傳感器信息和特征提取算法針對(duì)司機(jī)疲勞狀態(tài)進(jìn)行識(shí)別檢測(cè)。近幾年，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，不少學(xué)者提出了基于機(jī)器視覺(jué)的機(jī)車(chē)司機(jī)行為識(shí)別方法。張瑞芳等、姚巍巍等將機(jī)車(chē)司機(jī)駕駛行為總結(jié)為離崗、正常工作、接聽(tīng)電話(huà)、揮手、趴睡以及站立6 類(lèi)，提出基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別的技術(shù)方法。但上述模型算法，一是缺少對(duì)機(jī)車(chē)乘務(wù)作業(yè)環(huán)節(jié)的系統(tǒng)梳理，僅將機(jī)車(chē)司機(jī)駕駛行為進(jìn)行籠統(tǒng)的分類(lèi)；二是其實(shí)際識(shí)別的準(zhǔn)確率并不理想，對(duì)于作業(yè)環(huán)境復(fù)雜、作業(yè)環(huán)節(jié)繁多的機(jī)車(chē)駕駛作業(yè)行為而言缺乏普適應(yīng)用價(jià)值。

本次研究首先通過(guò)梳理機(jī)車(chē)乘務(wù)作業(yè)標(biāo)準(zhǔn)流程建立相應(yīng)的司機(jī)日勤作業(yè)行為的安全監(jiān)控項(xiàng)點(diǎn)體系，其次根據(jù)實(shí)時(shí)、智能監(jiān)控等5 項(xiàng)要求初步設(shè)計(jì)了一套相應(yīng)的安全監(jiān)控系統(tǒng)框架，在此基礎(chǔ)上針對(duì)具體監(jiān)控項(xiàng)點(diǎn)提出了機(jī)車(chē)司機(jī)作業(yè)行為的智能監(jiān)控實(shí)施方案，包括伴隨作業(yè)過(guò)程的項(xiàng)點(diǎn)識(shí)別流程設(shè)計(jì)及具體識(shí)別內(nèi)容的確定、具體項(xiàng)點(diǎn)識(shí)別內(nèi)容的作業(yè)行為標(biāo)準(zhǔn)模板的建立、具體項(xiàng)點(diǎn)作業(yè)行為滿(mǎn)足標(biāo)準(zhǔn)要求與否的實(shí)時(shí)識(shí)別判斷方案等，并基于車(chē)載音視頻和機(jī)車(chē)LKJ 等多源數(shù)據(jù)、采用深度學(xué)習(xí)方法，選擇列車(chē)駕駛過(guò)程中“信號(hào)手比確認(rèn)”這一典型項(xiàng)點(diǎn)進(jìn)行了實(shí)例驗(yàn)證。

1 監(jiān)控項(xiàng)點(diǎn)體系梳理

機(jī)車(chē)司機(jī)日勤作業(yè)具有相對(duì)固定、規(guī)律的特點(diǎn)，即列車(chē)處于何種運(yùn)行階段、位于特定行駛位置時(shí)所對(duì)應(yīng)的司機(jī)駕駛作業(yè)行為是確定的。因此，可利用列車(chē)運(yùn)行監(jiān)控裝置（機(jī)車(chē)LKJ）數(shù)據(jù)將一次連續(xù)的出乘劃分為一組離散的作業(yè)環(huán)節(jié)與關(guān)鍵項(xiàng)點(diǎn)，對(duì)機(jī)車(chē)司機(jī)日勤作業(yè)中涵蓋的所有常態(tài)項(xiàng)點(diǎn)進(jìn)行全面梳理，保證關(guān)鍵項(xiàng)點(diǎn)監(jiān)控識(shí)別的全覆蓋、不疏漏。

本文以《機(jī)車(chē)乘務(wù)員一次乘務(wù)作業(yè)標(biāo)準(zhǔn)》作為監(jiān)控要求設(shè)計(jì)的主要依據(jù)，按照機(jī)車(chē)司機(jī)日勤作業(yè)的8 大階段“出勤—接車(chē)—出段—掛車(chē)—發(fā)車(chē)—開(kāi)行途中—終到入段—退勤”對(duì)項(xiàng)點(diǎn)體系進(jìn)行劃分，并依次對(duì)除出勤、退勤外的各環(huán)節(jié)內(nèi)關(guān)鍵作業(yè)內(nèi)容進(jìn)行梳理，分析其作業(yè)要求及機(jī)車(chē)司機(jī)對(duì)應(yīng)的標(biāo)準(zhǔn)操作，建立關(guān)鍵項(xiàng)點(diǎn)監(jiān)控體系，部分示例如表1 所示。

表1 機(jī)車(chē)司機(jī)日勤作業(yè)關(guān)鍵項(xiàng)點(diǎn)監(jiān)控體系（部分）

該日勤項(xiàng)點(diǎn)監(jiān)控體系，覆蓋機(jī)車(chē)司機(jī)日勤作業(yè)中自接車(chē)至終到入段的6 大主要作業(yè)階段16 個(gè)關(guān)鍵作業(yè)環(huán)節(jié)，最終得到共計(jì)66 個(gè)日勤監(jiān)控項(xiàng)點(diǎn)。其中，接車(chē)階段主要包括“開(kāi)啟系統(tǒng)，核對(duì)信息”、“機(jī)車(chē)試驗(yàn)”以及“制動(dòng)機(jī)試驗(yàn)”等在內(nèi)的5 大作業(yè)環(huán)節(jié)，共梳理出16 項(xiàng)監(jiān)控項(xiàng)點(diǎn)，涵蓋了司機(jī)接車(chē)后從錄入核對(duì)相關(guān)揭示信息到完成機(jī)車(chē)各項(xiàng)性能設(shè)備試驗(yàn)的所有常規(guī)作業(yè)。出段階段主要包括“庫(kù)內(nèi)行走”環(huán)節(jié)中的“定標(biāo)打點(diǎn)”、“聯(lián)系進(jìn)路”等5 項(xiàng)監(jiān)控項(xiàng)點(diǎn)。掛車(chē)階段主要包括機(jī)車(chē)進(jìn)站后掛載車(chē)列并進(jìn)行相關(guān)試驗(yàn)的“連掛作業(yè)”、“貫通試驗(yàn)”、“試風(fēng)試閘”及“列車(chē)制動(dòng)機(jī)全部/簡(jiǎn)略試驗(yàn)”共計(jì)4 大作業(yè)環(huán)節(jié)17 項(xiàng)監(jiān)控項(xiàng)點(diǎn)。發(fā)車(chē)階段主要涵蓋了機(jī)車(chē)自始發(fā)站以及沿途中間站發(fā)車(chē)時(shí)的“發(fā)車(chē)準(zhǔn)備”、“司機(jī)瞭望”以及“出站定標(biāo)打點(diǎn)”共計(jì)3項(xiàng)監(jiān)控項(xiàng)點(diǎn)。途中運(yùn)行階段主要包括“途中運(yùn)行”、“進(jìn)站”以及“常用制動(dòng)”3 大作業(yè)環(huán)節(jié)共17 項(xiàng)監(jiān)控項(xiàng)點(diǎn)，涵蓋了列車(chē)常態(tài)下途中運(yùn)行時(shí)的所有常規(guī)檢查、駕駛作業(yè)，各中間站、終到站進(jìn)站時(shí)的信號(hào)、股道確認(rèn)作業(yè)以及常規(guī)制動(dòng)停車(chē)作業(yè)要求。終到入段階段主要包括終到站的“車(chē)列摘解”以及最終返回機(jī)務(wù)段的“入段”2 大作業(yè)環(huán)節(jié)共8 項(xiàng)監(jiān)控項(xiàng)點(diǎn)，涵蓋了列車(chē)終到后對(duì)車(chē)列的摘解操作以及入段后的停車(chē)簽點(diǎn)、定標(biāo)打點(diǎn)和機(jī)車(chē)檢查等操作。

2 監(jiān)控系統(tǒng)框架設(shè)計(jì)

以上通過(guò)對(duì)監(jiān)控項(xiàng)點(diǎn)體系的梳理，明確了機(jī)車(chē)司機(jī)監(jiān)控識(shí)別的系統(tǒng)需求。以此為基礎(chǔ)，本次研究構(gòu)建了機(jī)車(chē)司機(jī)日勤作業(yè)安全監(jiān)控系統(tǒng)框架，如圖1 所示。該系統(tǒng)滿(mǎn)足作業(yè)行為自動(dòng)分析、實(shí)時(shí)警示、多源數(shù)據(jù)融合診斷、系統(tǒng)全面、普適移植的5大功能需求，由數(shù)據(jù)采集與傳輸子系統(tǒng)和日勤作業(yè)監(jiān)控預(yù)警子系統(tǒng)組成，共同實(shí)現(xiàn)對(duì)機(jī)車(chē)司機(jī)作業(yè)的自動(dòng)識(shí)別與實(shí)時(shí)警示。

圖1 機(jī)車(chē)司機(jī)日勤作業(yè)安全監(jiān)控系統(tǒng)框架

2.1 數(shù)據(jù)采集與傳輸子系統(tǒng)

數(shù)據(jù)采集與傳輸子系統(tǒng)是機(jī)車(chē)司機(jī)日勤作業(yè)安全監(jiān)控系統(tǒng)的基礎(chǔ)。該子系統(tǒng)基于機(jī)車(chē)車(chē)載安全防護(hù)系統(tǒng)（6A 系統(tǒng)）、列車(chē)運(yùn)行監(jiān)控裝置（LKJ 系統(tǒng)）等數(shù)據(jù)采集設(shè)備獲取列車(chē)及機(jī)車(chē)司機(jī)相關(guān)信息，通過(guò)沿線(xiàn)5G 信號(hào)基站實(shí)現(xiàn)機(jī)車(chē)數(shù)據(jù)與中心處理服務(wù)器之間的車(chē)地?zé)o線(xiàn)高速傳輸。

其中，視頻數(shù)據(jù)采集自機(jī)車(chē)6A 系統(tǒng)，包括機(jī)車(chē)一端、二端駕駛室，一端、二端前方路況、以及機(jī)車(chē)中部?jī)蓚€(gè)視角共6 個(gè)視角的視頻。音頻數(shù)據(jù)采集自機(jī)車(chē)司機(jī)出勤后全程攜帶的錄音筆。LKJ 數(shù)據(jù)來(lái)源于列車(chē)運(yùn)行監(jiān)控裝置，涵蓋了包括列車(chē)時(shí)速、區(qū)段限速、列車(chē)運(yùn)行位置、線(xiàn)路基礎(chǔ)設(shè)施信息（如：前方信號(hào)燈）以及制動(dòng)風(fēng)壓等一系列列車(chē)運(yùn)行信息。通過(guò)車(chē)載終端與軌旁基站實(shí)現(xiàn)5G 高速數(shù)據(jù)傳輸。

2.2 日勤作業(yè)監(jiān)控預(yù)警子系統(tǒng)

日勤作業(yè)監(jiān)控預(yù)警子系統(tǒng)實(shí)現(xiàn)對(duì)司機(jī)日勤作業(yè)全過(guò)程中所有關(guān)鍵環(huán)節(jié)駕駛行為的監(jiān)控識(shí)別。利用中心處理服務(wù)器獲取的機(jī)車(chē)音視頻及LKJ 數(shù)據(jù)，參照所建立的日勤作業(yè)關(guān)鍵項(xiàng)點(diǎn)監(jiān)控體系，將司機(jī)駕駛行為與對(duì)應(yīng)項(xiàng)點(diǎn)的標(biāo)準(zhǔn)模板進(jìn)行實(shí)時(shí)識(shí)別比對(duì)，并將結(jié)果及時(shí)反饋以糾正其違規(guī)不安全行為。由于目前車(chē)地通訊主要通過(guò)機(jī)車(chē)無(wú)線(xiàn)通信設(shè)備（CIR）實(shí)現(xiàn)，往往會(huì)產(chǎn)生一定的時(shí)間延誤。因此系統(tǒng)將在機(jī)車(chē)駕駛室內(nèi)加裝一塊具有無(wú)線(xiàn)信號(hào)傳輸功能的信息提示面板。當(dāng)系統(tǒng)識(shí)別出機(jī)車(chē)司機(jī)出現(xiàn)違規(guī)行為時(shí)，實(shí)時(shí)將反饋信息通過(guò)5G 信號(hào)基站傳輸至車(chē)內(nèi)信息面板，及時(shí)提醒司機(jī)做出整改糾正。

3 安全監(jiān)控實(shí)施方案設(shè)計(jì)

在機(jī)車(chē)司機(jī)作業(yè)安全監(jiān)控系統(tǒng)中，除了在宏觀層面需要研究設(shè)計(jì)一個(gè)系統(tǒng)、全面的日勤作業(yè)項(xiàng)點(diǎn)監(jiān)控體系外，還需要在微觀層面針對(duì)每一個(gè)關(guān)鍵項(xiàng)點(diǎn)設(shè)計(jì)相應(yīng)的監(jiān)控實(shí)施方案，主要包括伴隨作業(yè)過(guò)程的項(xiàng)點(diǎn)識(shí)別流程設(shè)計(jì)及具體識(shí)別內(nèi)容的確定、具體項(xiàng)點(diǎn)識(shí)別內(nèi)容的作業(yè)行為標(biāo)準(zhǔn)模板的建立、具體項(xiàng)點(diǎn)作業(yè)行為滿(mǎn)足標(biāo)準(zhǔn)要求與否的實(shí)時(shí)識(shí)別判斷方案等。關(guān)于項(xiàng)點(diǎn)識(shí)別流程設(shè)計(jì)和具體識(shí)別內(nèi)容的確定參見(jiàn)以下典型案例部分。項(xiàng)點(diǎn)識(shí)別內(nèi)容標(biāo)準(zhǔn)模板建立和項(xiàng)點(diǎn)作業(yè)行為實(shí)時(shí)識(shí)別的主要思路與方法如下：

首先是項(xiàng)點(diǎn)識(shí)別內(nèi)容對(duì)應(yīng)的作業(yè)行為標(biāo)準(zhǔn)模板的建立。機(jī)車(chē)司機(jī)作業(yè)過(guò)程中項(xiàng)點(diǎn)識(shí)別內(nèi)容對(duì)應(yīng)的作業(yè)行為標(biāo)準(zhǔn)模板是判斷司機(jī)是否出現(xiàn)違規(guī)違章行為的依據(jù)，也是項(xiàng)點(diǎn)監(jiān)控方案的關(guān)鍵。如何建立一套科學(xué)、合理的項(xiàng)點(diǎn)識(shí)別內(nèi)容對(duì)應(yīng)的作業(yè)行為標(biāo)準(zhǔn)模板尤為重要?，F(xiàn)有應(yīng)用中，大多是利用單一數(shù)據(jù)源建立標(biāo)準(zhǔn)模板，但任何單一數(shù)據(jù)都存在一定的局限性，如：視頻數(shù)據(jù)受限于攝像角度，語(yǔ)音數(shù)據(jù)受限于環(huán)境噪聲以及LKJ 數(shù)據(jù)無(wú)法反映信號(hào)瞭望等作業(yè)。因此，本文提出綜合使用音視頻及LKJ 多源數(shù)據(jù)，在列車(chē)運(yùn)行至途中關(guān)鍵作業(yè)環(huán)節(jié)時(shí)，結(jié)合LKJ 數(shù)據(jù)中的列車(chē)位置等信息，通過(guò)多源數(shù)據(jù)融合互補(bǔ)和深度學(xué)習(xí)方法建立該特定時(shí)刻機(jī)車(chē)司機(jī)特定語(yǔ)音和動(dòng)作行為的標(biāo)準(zhǔn)模板。以視頻動(dòng)作為例，在采集大量機(jī)車(chē)駕駛室視頻圖像的基礎(chǔ)上，首先通過(guò)人工圖像標(biāo)定篩選出操作動(dòng)作正確的樣本，然后基于深度學(xué)習(xí)框架對(duì)模型進(jìn)行訓(xùn)練，最終建立起各項(xiàng)點(diǎn)的駕駛行為動(dòng)作特征標(biāo)準(zhǔn)模板。

其次是司機(jī)具體項(xiàng)點(diǎn)作業(yè)行為滿(mǎn)足標(biāo)準(zhǔn)要求與否的實(shí)時(shí)、智能識(shí)別監(jiān)控。主要是通過(guò)特征提取和標(biāo)準(zhǔn)比對(duì)加以實(shí)現(xiàn)，具體實(shí)現(xiàn)原理和方法與標(biāo)準(zhǔn)模板建立相同。在標(biāo)準(zhǔn)行為模板建立后，實(shí)際識(shí)別時(shí)只需對(duì)樣本數(shù)據(jù)完成一次深度學(xué)習(xí)網(wǎng)絡(luò)的正向傳播過(guò)程，提取相應(yīng)特征并與標(biāo)準(zhǔn)模板對(duì)照即可實(shí)現(xiàn)自動(dòng)監(jiān)控。

4 初步實(shí)例驗(yàn)證

本文選取“信號(hào)手比確認(rèn)”典型項(xiàng)點(diǎn)進(jìn)行監(jiān)控方案設(shè)計(jì)。該項(xiàng)點(diǎn)規(guī)定：列車(chē)運(yùn)行中，機(jī)車(chē)司機(jī)必須對(duì)所有地面主體信號(hào)顯示全部進(jìn)行手比確認(rèn)呼喚（應(yīng)答），自動(dòng)閉塞區(qū)段分區(qū)通過(guò)信號(hào)顯示綠燈，值乘速度120km/h 及以上客運(yùn)列車(chē)、特快貨物班列時(shí)，只手比不呼喚（帶有三斜杠標(biāo)志預(yù)告功能的分區(qū)通過(guò)信號(hào)機(jī)除外）。該項(xiàng)作業(yè)在列車(chē)運(yùn)行途中高頻出現(xiàn)，且作業(yè)內(nèi)容相對(duì)重復(fù)，易使機(jī)車(chē)司機(jī)厭倦或忽視。

4.1 典型項(xiàng)點(diǎn)識(shí)別流程

首先，根據(jù)機(jī)車(chē)LKJ 數(shù)據(jù)記錄的線(xiàn)路基礎(chǔ)設(shè)施信息（即沿線(xiàn)信號(hào)機(jī)類(lèi)型及具體信號(hào)）和列車(chē)的實(shí)時(shí)運(yùn)行位置與運(yùn)行狀態(tài)，對(duì)列車(chē)前方信號(hào)機(jī)類(lèi)型、距離進(jìn)行實(shí)時(shí)監(jiān)控，并在進(jìn)入規(guī)定范圍時(shí)執(zhí)行對(duì)應(yīng)信號(hào)的手比確認(rèn)作業(yè)識(shí)別，如圖2 所示。

圖2 “信號(hào)手比確認(rèn)”項(xiàng)點(diǎn)識(shí)別流程與要求

其次，利用機(jī)車(chē)6A 系統(tǒng)駕駛室內(nèi)攝像頭獲取司機(jī)駕駛行為的視頻數(shù)據(jù)，依此對(duì)“信號(hào)手比確認(rèn)”作業(yè)中的手比手勢(shì)進(jìn)行識(shí)別。當(dāng)LKJ 裝置反饋前方信號(hào)為雙綠燈、綠燈或綠黃燈時(shí)，乘務(wù)班組主司機(jī)應(yīng)做出“右手伸出，食指和中指并攏，拳心向左，指向確認(rèn)對(duì)象”的手勢(shì)；當(dāng)前方信號(hào)為黃燈時(shí)，乘務(wù)班組主司機(jī)應(yīng)做出“右手?jǐn)n拳伸拇指直立，拳心向左”的手勢(shì)；當(dāng)前方信號(hào)為雙黃燈或黃閃黃時(shí)，乘務(wù)班組主司機(jī)應(yīng)做出“右手?jǐn)n拳伸拇指和小指，拳心向左”的手勢(shì)；當(dāng)前方信號(hào)為紅燈時(shí)，乘務(wù)班組主司機(jī)應(yīng)做出“右手?jǐn)n拳，舉拳與眉齊，拳心向左，小臂上下?lián)u動(dòng)三次”的手勢(shì)。同時(shí)利用司機(jī)隨身攜帶的錄音筆，可對(duì)不同信號(hào)的語(yǔ)音呼喚內(nèi)容進(jìn)行識(shí)別。

4.2 數(shù)據(jù)預(yù)處理

采集2019 年11 月8 日凌晨K1555 次列車(chē)機(jī)車(chē)駕駛室監(jiān)控視頻作為樣本數(shù)據(jù)，按照1 幀/秒進(jìn)行剪輯，共得到14 711 張樣本圖像。對(duì)其進(jìn)行標(biāo)定分類(lèi)和旋轉(zhuǎn)擴(kuò)樣，各類(lèi)樣本統(tǒng)計(jì)結(jié)果如表2 所示。

表2 樣本圖像分類(lèi)統(tǒng)計(jì)

其中，“正常駕駛”指機(jī)車(chē)司機(jī)正常駕駛作業(yè)，無(wú)其他交互干擾動(dòng)作（立崗、與調(diào)度通話(huà)匯報(bào)、吃零食等）?！笆种感盘?hào)”指司機(jī)在信號(hào)機(jī)前規(guī)定范圍內(nèi)通過(guò)手指信號(hào)進(jìn)行確認(rèn)的動(dòng)作。“攏拳”指司機(jī)手指信號(hào)后需拳心向左攏拳確認(rèn)的動(dòng)作。其他動(dòng)作包括兩類(lèi)，一是不在本項(xiàng)點(diǎn)識(shí)別范圍內(nèi)的其他駕駛交互動(dòng)作，例如：立崗、CIR 無(wú)線(xiàn)通話(huà)、巡檢等；二是各類(lèi)干擾小動(dòng)作，例如撓頭、吃零食、伸懶腰等。樣本示例如圖3 所示。

圖3 樣本圖像示例

4.3 模型配置

選擇ResNet50 卷積殘差網(wǎng)絡(luò)作為預(yù)訓(xùn)練模型進(jìn)行遷移學(xué)習(xí)。其優(yōu)點(diǎn)在于模型學(xué)習(xí)所需樣本數(shù)據(jù)量較小，無(wú)需花費(fèi)大量人力、時(shí)間進(jìn)行大規(guī)模標(biāo)定分類(lèi)，可較高精度實(shí)現(xiàn)對(duì)“信號(hào)手比確認(rèn)”項(xiàng)點(diǎn)中“正常駕駛”、“手指信號(hào)”、“攏拳”和其他動(dòng)作等多種行為標(biāo)準(zhǔn)模板的建立。

（1）網(wǎng)絡(luò)結(jié)構(gòu)

為特化該泛用預(yù)訓(xùn)練模型，在ResNet50 模型最后的softmax 函數(shù)分類(lèi)FC 層前，新增3 個(gè)全連接層用于加強(qiáng)對(duì)司機(jī)行為圖像的特征提取，3 個(gè)新增全連接層的維度分別為1 024、1 024 和200，激活函數(shù)選擇ReLU 函數(shù)。為了避免過(guò)擬合現(xiàn)象的發(fā)生，給各參數(shù)權(quán)重添加L2 范數(shù)約束，L2 正則化參數(shù)λ=0.01。

（2）激活函數(shù)

以ReLU 函數(shù)作為每個(gè)卷積層后的激活函數(shù)，用于將輸出結(jié)果非線(xiàn)性轉(zhuǎn)換，見(jiàn)式（1）：

以softmax 函數(shù)作為最后一個(gè)全連接層的激活函數(shù)，用于對(duì)所提取的最終特征進(jìn)行分類(lèi)，見(jiàn)式（2）：

式中：P(x=j)為樣本x 屬于第j 類(lèi)的概率；W為第j 類(lèi)的參數(shù)權(quán)重向量；N 為分類(lèi)類(lèi)別總數(shù)，取N=4。

（3）損失函數(shù)

因?qū)嶒?yàn)?zāi)康臑閷?duì)司機(jī)動(dòng)作圖像進(jìn)行識(shí)別分類(lèi)，因此選擇交叉熵?fù)p失函數(shù)作為模型的損失函數(shù)，見(jiàn)式（3）：

式中：L為均方差損失值；N 為樣本總數(shù)；y為樣本i 的真實(shí)值；f(x)為樣本i 的函數(shù)預(yù)測(cè)值。

（4）優(yōu)化算法

選取Adadelta 算法作為模型反向傳播過(guò)程中訓(xùn)練更新參數(shù)的優(yōu)化算法，見(jiàn)式（4）至式（6）：

式中：E[▽?duì)萀(θ)]為第t 次迭代梯度的加權(quán)移動(dòng)平均值；E[Δθ]為第t 次迭代參數(shù)θ變化量的加權(quán)移動(dòng)平均值；γ 為加權(quán)移動(dòng)平均的權(quán)重，通?？扇ˇ?0.9。

4.4 結(jié)果分析

實(shí)驗(yàn)將包含吃零食、撓頭、立崗等其他項(xiàng)點(diǎn)動(dòng)作及干擾動(dòng)作在內(nèi)的圖像作為第4 類(lèi)動(dòng)作—“其他動(dòng)作”加入模型進(jìn)行識(shí)別分類(lèi)，以驗(yàn)證模型的識(shí)別準(zhǔn)確率和魯棒性。經(jīng)迭代優(yōu)化，最終實(shí)現(xiàn)對(duì)幾類(lèi)動(dòng)作圖像的較準(zhǔn)確分類(lèi)，測(cè)試集的平均識(shí)別準(zhǔn)確率達(dá)到91%。模型迭代的損失函數(shù)和識(shí)別準(zhǔn)確率如圖4、圖5 所示。

圖4 損失函數(shù)

圖5 識(shí)別準(zhǔn)確率

分析實(shí)驗(yàn)結(jié)果，可看出再訓(xùn)練后的模型具備以下幾個(gè)優(yōu)良特性：

（1）收斂速度快

模型在訓(xùn)練中迅速實(shí)現(xiàn)了損失函數(shù)的收斂，主要有兩個(gè)原因：①預(yù)訓(xùn)練模型較為完善，僅需要對(duì)模型內(nèi)參數(shù)進(jìn)行小幅度學(xué)習(xí)更新以及3 個(gè)新增全連接層內(nèi)參數(shù)進(jìn)行學(xué)習(xí)便可實(shí)現(xiàn)損失函數(shù)的收斂；②機(jī)車(chē)司機(jī)對(duì)信號(hào)手比確認(rèn)有嚴(yán)格的動(dòng)作規(guī)范，因此“手指信號(hào)”、“攏拳”等動(dòng)作都較為標(biāo)準(zhǔn)，使得每類(lèi)圖像內(nèi)部一致性相對(duì)較高，各類(lèi)圖像之間區(qū)分度較高，高質(zhì)量的樣本使得模型的學(xué)習(xí)較為容易。

（2）一致性良好

從圖4 可見(jiàn)訓(xùn)練集和測(cè)試集的損失函數(shù)保持了較好的一致性，說(shuō)明模型訓(xùn)練未出現(xiàn)過(guò)擬合現(xiàn)象，模型的表現(xiàn)在訓(xùn)練集和測(cè)試集上是比較一致的。

（3）準(zhǔn)確率高

模型在測(cè)試集上的平均識(shí)別準(zhǔn)確率達(dá)到90%以上，具備較為優(yōu)異的圖像識(shí)別分類(lèi)表現(xiàn)，驗(yàn)證了上述司機(jī)行為監(jiān)控方案實(shí)施的有效性。

5 結(jié)論

本文從系統(tǒng)工程角度，基于機(jī)車(chē)乘務(wù)一次出乘作業(yè)流程建立了系統(tǒng)、全面的項(xiàng)點(diǎn)監(jiān)控體系，初步搭建了滿(mǎn)足實(shí)時(shí)智能要求的安全監(jiān)控系統(tǒng)初步框架以實(shí)現(xiàn)機(jī)務(wù)作業(yè)的自動(dòng)監(jiān)控分析和實(shí)時(shí)提醒糾正，對(duì)于鐵路機(jī)務(wù)部門(mén)對(duì)司機(jī)作業(yè)行為的監(jiān)督從事后診斷轉(zhuǎn)向事前防控，保障鐵路行車(chē)安全有著重要意義。

在具體項(xiàng)點(diǎn)監(jiān)控方案實(shí)施層面，本文針對(duì)典型項(xiàng)點(diǎn)案例分析給出了相應(yīng)的識(shí)別流程、明確了識(shí)別內(nèi)容和相應(yīng)的標(biāo)準(zhǔn)模板要求，并采用ResNet50 深度卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了該項(xiàng)點(diǎn)中4 類(lèi)動(dòng)作圖像的高準(zhǔn)確率識(shí)別，初步驗(yàn)證了本次研究所設(shè)計(jì)給出的監(jiān)控方案的可行性與可靠性，為今后機(jī)車(chē)司機(jī)日勤作業(yè)安全監(jiān)控系統(tǒng)的研究開(kāi)發(fā)奠定了初步的思路與技術(shù)基礎(chǔ)。