李志明

摘? 要：港區(qū)機械活動的監(jiān)管對港口生產活動的管理十分重要，對機械活動的自動識別感知能夠提高管理效率。將計算機視覺與深度學習技術應用于港口機械的活動識別中，旨在以一種便捷快速的方式緩解人工監(jiān)管的不足，因此本文提出了基于卷積神經網(wǎng)絡與長短期記憶網(wǎng)絡的港口機械活動識別方法并建立了包含6類常見的機械活動的視頻數(shù)據(jù)集。對算法模型進行訓練與測試實驗，實驗結果的平均識別準確率達到89%，表明該方法實現(xiàn)了對不同港口場景下機械活動的有效識別，這將有助于提升管理者對港口目標活動的智能化感知水平。

關鍵詞：港口機械活動;深度學習;智慧港口

引言

在港口行業(yè)中，智慧港口的目的是推進現(xiàn)代港口發(fā)展進程，其中對港口運輸要素的感知是實現(xiàn)港口業(yè)務與智能技術融合的重要組成部分。港口機械作為主要的港口裝卸運輸載體，管理人員需要在變化的作業(yè)環(huán)境中實現(xiàn)對機械活動的監(jiān)管，因此對于其活動的感知是必要的。

港口機械活動仍然在圖像連續(xù)序列中包含了時空特征，本文首先開發(fā)了港口中6類常見的包含841段活動視頻的機械活動數(shù)據(jù)集，然后基于深度學習的動作識別混合網(wǎng)絡方法構建了卷積神經網(wǎng)絡與長短期記憶網(wǎng)絡結合的識別模型對機械活動數(shù)據(jù)進行時空建模，實驗結果顯示平均的識別準確率達到89%，表明該方法在不同港口場景下對于機械活動識別任務中表現(xiàn)良好。

1 基于深度學習的港口機械活動識別

1.1港口機械活動視頻數(shù)據(jù)集

基于深度學習的機械活動識別需要建立視頻的活動數(shù)據(jù)集，本文建立了集裝箱港口的裝卸運輸活動常見的6類機械活動的814段活動視頻，包括：1.起重機裝卸活動（138）、2.正面吊裝卸活動（140）、3.正面吊吊裝運輸（137）、4.正面吊空載行駛（130）、5.卡車滿載運輸（133）、6.卡車空載行駛（136）。由于網(wǎng)絡對整個視頻進行特征提取，所以數(shù)據(jù)標簽在文件命名記錄標簽，在數(shù)據(jù)形式上，首先收集了不同集裝箱港口中港口前沿活集裝箱堆場的不同場景及拍攝視角的活動視頻，然后根據(jù)機械活動的起始與結束的周期過程將整個長視頻機械活動過程剪成視頻樣本片段。

1.2 基于CNN-LSTM的港口機械活動識別算法

參考人體活動分析常用的三維卷積法、雙流法和CNN-LSTM方法，本文從計算效率和精度的平衡上選擇了CNN-LSTM方法。對于空間特征使用擅長提取空間特征的卷積神經網(wǎng)絡提取每一視頻幀的空間信息，輸入圖像經過卷積層和最大池化層，然后使用Resnet50架構的3，4，6，3個卷積塊組成的4組殘差網(wǎng)絡構型的卷積網(wǎng)絡由淺到深地提取視頻幀提取局部位置信息和整體語義信息，然后通過歸一層、dropout層和全連接層輸出形狀為批次數(shù)量、視頻幀數(shù)和特征向量維度的向量，實現(xiàn)視頻幀序列數(shù)據(jù)的空間特征編碼。

在解碼部分，本文使用循環(huán)神經網(wǎng)絡的LSTM網(wǎng)絡處理卷積網(wǎng)絡輸出的特征向量。LSTM包括遺忘門f，輸入門i和g，輸出門o，通過這四個門單元完成對時間序列進行正向編碼并建立時間依賴關系。具體計算如式所示，門結構模型由激活函數(shù)σ或tanh、權重w、偏置量b組成，對于卷積網(wǎng)絡輸出的當前時刻的特征向量x，與上一時刻隱藏狀態(tài)h連接經過遺忘門過濾后得到上一時刻記憶信息，然后也經過輸入門得到更新的當前記憶信息，這里兩項記憶信息相加得到本時刻的輸出記憶信息，然后再將激活的記憶信息和輸出門相乘得到該時刻隱藏狀態(tài)，然后所有時刻一次進行單元的遞歸計算與更新，將最后時刻的高度凝聚的機械活動時空信息向量的隱層狀態(tài)量通過激活層、dropout層和全連接層處理后完成機械活動的分類。

2.模型的訓練和測試

2.1實驗參數(shù)及測試指標

本文實驗采用的計算機配置為Intel（R） Xeon（R） CPU E5，顯卡型號為NVIDIA RTX 2080Ti，操作系統(tǒng)為Ubantu18.04，卷積和LSTM網(wǎng)絡模型均基于Pytorch框架搭建。視頻數(shù)據(jù)集的訓練集和測試集按8：2劃分，視頻幀率為25，輸入視頻的采樣間隔為4幀，圖像大小為224×224像素，LSTM網(wǎng)絡輸入層大小為1024，隱藏層大小為768，輸出層大小為512。模型初始學習率為1e-5，批次大小為30，訓練輪數(shù)為100。本文使用分類模型常用的查準率（Precision）、查全率（Recall）指標、F1（Accuracy）指標

2.2實驗結果

模型在訓練過程中訓練集和測試集的損失函數(shù)曲線不斷下降，測試集精度不斷提高且在120輪次附近時穩(wěn)定，模型最終分類損失為0.02，訓練結果理想。表1分別列出了6種活動的識別準確率和召回率結果和F1分數(shù)指標，平均的識別精度為0.89，表明該算法可以實現(xiàn)對港口機械活動的準確識別，其中起重機裝卸、正面吊吊裝運輸、正面吊空載行駛3類活動測試準確率不高，分別只有88%、77%和88%。

3.結語

為了通過計算機視覺方法自動識別港口機械的活動，本文采用基于深度學習的CNN-LSTM算法對港口機械活動數(shù)據(jù)集進行了訓練和測試，經過實驗驗證，該算法可以有效的識別機械行為，在不同的港口場景下的識別平均準確率達到89%，初步證明了基于深度學習的識別方法對港口機械的行為感知具有用于現(xiàn)場應用的潛力。

參考文獻

[1]蔡銀怡，蔡文學，鄭冀川.智慧港口的構成與建設內容探討[J].物流工程與管理，2020，42（05）：21-23.

[2]程紫來，孫婷，張姝慧.港口信息感知系統(tǒng)在海鐵聯(lián)運物聯(lián)網(wǎng)示范工程中的應用[J].中國港口，2014（05）：49-50.

[3]劉燕欣，張志良，唐波，高仕博.面向集裝箱港口的機器視覺智能感知系統(tǒng)[J].軍民兩用技術與產品，2020（01）：24-28.DOI：10.19385/j.cnki.1009-8119.2020.01.023.

[4]錢慧芳，易劍平，付云虎.基于深度學習的人體動作識別綜述[J].計算機科學與探索，2021，15（03）：438-455.