岸邊集裝箱起重機司機操作意圖識別方法研究

趙羽蔚，嚴 偉，陸后軍，俞翔棟

（上海海事大學 集裝箱供應鏈技術教育部工程研究中心，上海 201306）

0 引言

近年來，港口碼頭生產安全事故頻繁發(fā)生，港口工作者的安全越來越受到重視，同時也有更多人對港口機械智能輔助駕駛系統(tǒng)[1]進行研究。港口機械智能輔助駕駛系統(tǒng)可通過識別司機的操作意圖后，進行輔助裝卸操作。Luzheng Bi[2]等人使用基于排隊網絡的駕駛員模型認知結構來推測變道司機的駕駛意圖，通過排隊網絡為基礎的駕駛員模型仿真多種可能的駕駛意圖相對的駕駛行為，通過比較真實數據和仿真結果推斷駕駛員意圖。Qingnian Wang[3]等人通過數理統(tǒng)計和神經網絡建立模糊邏輯推理系中的隸屬度函數和規(guī)則，采用模糊邏輯推理系統(tǒng)識別駕駛意圖。就目前而言，國內外對駕駛員意圖識別的研究較少，并且研究對象主要是汽車駕駛員，而針對岸邊集裝箱起重機司機的操作意圖識別算法研究尚未發(fā)現。

本文基于隱馬爾科夫模型（Hidden Markov Model，HMM），針對橋吊司機建立了雙層 HMM模型，分別為操作層和意圖層，用于識別橋吊司機裝卸操作行為[4]和操作意圖[5,6]；運用修改后的Forward-Backward算法，計算數據組相對于各個HMM 模型的似然度，選擇似然度最大的模型作為操作識別結果，組成觀察序列串后，用于計算意圖層各個HMM模型的似然度，選擇似然度最大的模型作為橋吊司機的操作意圖。

1 理論基礎

1.1 馬爾科夫鏈

馬爾可夫鏈是數學中具有馬爾可夫性質的離散時間隨機過程。在這個過程中，某個事物未來的狀態(tài)僅與當前的若干個狀態(tài)相關，無法通過該事物過去的狀態(tài)來推測未來的狀態(tài)，即說明過去與未來的狀態(tài)是無關的。

1.2 隱馬爾科夫模型

隱馬爾科夫模型是馬爾科夫鏈的一種，其狀態(tài)不能被直接觀察到，稱其為隱性狀態(tài)，需借助其它觀察序列進行觀察，而可觀察的序列則稱為觀察序列。每個隱性狀態(tài)通過相應概率密度分布產生相應觀察序列，每個觀察序列通過某些概率密度分布進行變換，因此隱馬爾科夫模型是一個雙重隨機過程。

1.3 修改后的向前-向后算法

給定HMM模型參數λ的前提下，定義前向變量αt(i)，它表示t時刻滿足狀態(tài)si，且t時刻之前（包括t時刻）滿足給定的觀察序列(O1, O2,…, Ot)的概率；同理定義后向變量βt(i)，它表示在時刻t出現狀態(tài)si，且t時刻以后的觀察序列滿足(Ot+1, Ot+2,…,OT)的概率，對于構建的橋吊司機HMM模型，修改后的前向變量αt(i)和后向變量βt(i)的具體形式如下:

式中，aij定義為從狀態(tài)si轉移到狀態(tài)sj的概率，bi(O2t(l))定義為時刻t時狀態(tài)為si的前提下，對應4組觀察值中滿足O2t(l)的概率。假定l=1代表小車運行狀態(tài)，l=2代表吊具升降狀態(tài)，l=3代表開閉鎖開閉狀態(tài)，l=4代表導板收放狀態(tài)，則O21(l)代表時刻t=1時的小車運行狀態(tài)的觀察序列。

2 雙層HMM意圖辨識模型構建

2.1 橋吊司機裝卸操作規(guī)律

橋吊司機的裝卸操作是一個連續(xù)、復雜的過程，在人-機組成的閉環(huán)系統(tǒng)中，人要根據裝卸作業(yè)情況，結合自身的操作意愿和習慣，對岸邊集裝箱起重機進行操作控制，完成各種港口裝卸作業(yè)。根據不同的港口裝卸環(huán)境，橋吊司機做出的反應受心理狀態(tài)的影響，其操作流程復雜、多樣，但在相似的裝卸環(huán)境下，橋吊司機具有特定的操作規(guī)律。以下分別是關于吊箱作業(yè)及卸箱作業(yè)的一般操作規(guī)律。對于吊箱作業(yè)的復合工況，有以下操作規(guī)律:小車加速前進→小車減速→小車停止且吊具加速下降→吊具減速→吊具停止且放下導板→吊具低速下降對接→閉鎖→吊具加速上升→吊具減速。同樣，對于卸箱作業(yè)有以下駕駛操作規(guī)律:小車加速后退→小車減速→小車停止，吊具加速下降→吊具減速下降，對接→開鎖→吊具加速上升→收起導板→吊具減速。因此，可基于橋吊駕駛員操作行為的普遍規(guī)律，對操作意圖進行識別。

基于隱馬爾科夫模型的特征，針對岸邊集裝箱起重機司機構建雙層HMM模型。操作層HMM（下層）模型包含4個HMM模型集，分別對應小車運行、吊具升降、開閉鎖開閉和導板收放。應用不同操作行為所對應的觀察序列分別訓練4個只涉及小車運行的HMM模型，4個只涉及吊具升降的HMM模型，2個只涉及開閉鎖開閉的HMM模型和2個只涉及導板收放的HMM模型。將一長段觀察序列進行分段處理之后，輸入到各個HMM模型群中，逐段識別小車運行、吊具升降、開閉鎖開閉和導板收放等4個單一工況的識別結果串，并將其按照港口集裝箱裝卸操作規(guī)律分段處理后作為意圖層HMM（上層）的觀察序列，分別對應意圖層中規(guī)范吊箱、規(guī)范卸箱、非規(guī)范吊箱、非規(guī)范卸箱的HMM模型。雙層HMM模型結構如圖1所示。基于這樣的模型結構，各模塊可獨立操作HMM層完成識別，有效提高了運行效率，實時識別橋吊司機操作行為，準確辨識橋吊司機操作意圖。

圖1 橋吊司機意圖識別的雙層HMM模型結構

2.2 操作層HMM模型

針對小車運行，橋吊司機的操作行為包括小車正常加速運行、小車緊急加速運行、小車正常減速運行、小車緊急減速運行，采集橋吊駕駛員操作的傳感器數據，包括小車運行拉桿檔位、小車運行拉桿速度等，構建小車正常加速運行、小車緊急加速運行、小車正常減速運行、小車緊急減速運行等 4個HMM模型，用于識別短時間內小車運行的操作行為。其HMM群的觀察序列可以描述為如下多維向量組的形式:

式中:O1(t)為小車運行的HMM群；a(t)、b(t)分別為小車運行拉桿的檔位和小車運行拉桿的速度。運用Forward-Backward算法，在MATLAB環(huán)境下分別計算小車運行數據組相對于各個HMM模型的似然度，然后選擇似然度最大的模型作為小車運行操作識別結果。

針對吊具升降，可構建吊具正常加速升降、緊急加速升降、正常減速升降、緊急減速升降等4個HMM模型，其多維向量組的形式同上。

針對開閉鎖開閉，可構建開閉鎖的開鎖和閉鎖2個HMM模型，其HMM群的觀察序列可以描述為如下向量組的形式:

式中:O2(t)為開閉鎖的HMM群；e(t)為開閉鎖的開閉狀態(tài)。

針對導板收放，可構建導板收起和放下的HMM模型，其與開閉鎖具有相同形式的向量組。

2.3 意圖層HMM模型

針對橋吊司機裝卸操作過程，其操作意圖包括規(guī)范吊箱、規(guī)范卸箱、非規(guī)范吊箱、非規(guī)范卸箱。將得到的操作層HMM的三維識別結果串，按特定復合工況下的裝卸操作意圖進行劃分，并作為意圖層HMM模型的觀察序列，用以計算對于意圖層各個HMM模型的似然度。其觀察序列可以表述成如下向量組的形式:

式中，x(t)、y(t)、u(t)、v(t)分別為有關小車運行、吊具升降、開關鎖開閉和導板收放的操作層HMM的識別結果。

識別各個單一工況的橋吊司機操作行為，組成觀察序列串后，送入意圖層HMM模型集，計算各HMM模型的似然度，識別橋吊司機的操作意圖。

3 雙層HMM意圖辨識模型參數確定

3.1 操作層HMM（下層）模型

操作層HMM模型輸入的數據組包括小車運行拉桿檔位、小車運行拉桿速度、吊具升降拉桿檔位、吊具升降拉桿速度、開閉鎖的開閉狀態(tài)，導板的收放狀態(tài)等作為操作層HMM（下層）模型的觀察序列，分別用以識別小車正常加速運行、小車緊急加速運行、小車正常減速運行、小車緊急減速運行、吊具正常加速升降、吊具緊急加速升降、吊具正常減速升降、吊具緊急減速升降、開閉鎖開鎖、開閉鎖閉鎖、導板收起、導板放下等12種橋吊司機操作行為，以橋吊司機裝卸操作規(guī)律為依據，假設如下的狀態(tài)轉移矩陣，狀態(tài)轉移矩陣中的元素xij均表示從第i行對應狀態(tài)轉換至第j列對應狀態(tài)的概率，行代表t時刻的狀態(tài)，列代表t+1時刻的狀態(tài)。

小車運行拉桿的檔位共分為7檔，其中1至3檔用作前向加速，5至7檔用作后向加速，4檔用作制動。矩陣中，行代表at的狀態(tài)，從上至下依次為1至7檔的狀態(tài)，列代表at+1的狀態(tài)，從左至右依次為1至7檔的狀態(tài)。小車運行拉桿速度、吊具升降拉桿檔位和速度、開關鎖開閉及導板收放的狀態(tài)轉移矩陣形式同上。

3.2 意圖層HMM（上層）模型

將得到的操作層HMM的三維識別結果串按特定復合工況下裝卸操作意圖進行劃分，并作為意圖層HMM模型的觀察序列，用以識別包括規(guī)范吊箱、規(guī)范卸箱、非規(guī)范吊箱、非規(guī)范卸箱等的操作意圖。在混淆矩陣中，列代表裝卸操作過程中4種操作意圖，從左至右依次為規(guī)范吊箱、規(guī)范卸箱、非規(guī)范吊箱、非規(guī)范卸箱，矩陣中的元素yij表示第i行對應的操作行為對應第j列操作意圖的概率。矩陣中，行代表小車的操作行為，從上至下依次為小車正常加速、小車緊急加速、小車正常減速、小車緊急減速。吊具運行、開閉鎖開閉、導板收放的混淆矩陣形式同上。

4 案例分析

運用修改后的Forward-Backward算法，計算各個HMM模型的似然度，選取似然度最大的結果作為識別結果（表1）。表中小車拉桿檔位分為7檔，前3檔控制前向加速，后3檔控制后向加速，中間檔控制制動；速度分為2級，第1級為正常拉動，第2級為緊急拉動。吊具升降拉桿分為7檔，前3檔控制加速上升，后3檔控制加速下降，中間檔控制制動；速度分為2級，第1級為正常拉動，第2級為緊急拉動。開閉鎖狀態(tài)分為2個，第1個為開鎖，第2個為閉鎖；導板狀態(tài)分為2個，第1個為收板，第2個為放板；操作意圖分為4種，依次為規(guī)范吊箱、規(guī)范卸箱、非規(guī)范吊箱、非規(guī)范卸箱。參照實際港口裝卸操作規(guī)律，將小車拉桿、吊具拉桿、開閉鎖及導板狀態(tài)輸入構建的雙層HMM模型進行識別（表1）。將橋吊司機操作意圖識別結果與實際操作意圖進行比對可知，該模型可準確識別岸邊集裝箱起重機司機的操作意圖。

表1 雙層HMM模型識別結果

5 結論

以橋吊駕駛員裝卸操作規(guī)律為依據，建立雙層HMM 模型結構，對模型識別結果進行分析，結果表明，該模型可準確識別復雜工況下的橋吊司機操作意圖，可用于研究港口機械智能輔助駕駛系統(tǒng)，從而減少港口碼頭生產安全事故發(fā)生，并且有助于提高港口裝卸效率。

[1]馮頡. 面向汽車安全輔助系統(tǒng)的駕駛員意圖識別算法研究[D]. 成都:電子科技大學, 2013.

[2]Bi, L.Z., Yang, X.R., Wang C.E. Inferring Driver Intentions Using a Driver Model Based on Queuing[C]//2013 IEEE Intelligent Vehicles Symposium (IV). 2013:1387-1391.

[3]Wang Q.N., Tang X.Z., Sun L. Driving Intention Identification Method for Hybrid Vehicles Based on Fuzzy Logic[C]//Proceedings of the FISITA 2012 World Automotive Congress Lecture Notes in Electrical Engineering. 2013:287-298.

[4]施笑畏, 牛延華. 基于行為分析的橋吊司機操作規(guī)范研究[J]. 計算機光盤軟件與應用, 2013(2):69-70.

[5]Jin M.J. A New Vehicle Safety Space Model Based on Driving Intention[C]// Third International Conference on Intelligent System Design and Engineering Applications. 2013:131-134.

[6]Zong C.F., Wang C., Yang D.J., et al. Driving intention identification and maneuvering behavior prediction of drivers on cornering[C]//Proceedings of the 2009 IEEE International Conference on Mechatronics and Automation. 2009:4055-4060.