楊正

（南京暢淼科技有限責(zé)任公司 江蘇省南京市 211106）

1 相關(guān)背景

水上船舶的監(jiān)管和執(zhí)法是保障水上航道安全暢通的重要手段，是綜合行政執(zhí)法監(jiān)督局水上執(zhí)法監(jiān)督局的主要工作。對(duì)船舶身份識(shí)別以及對(duì)船行行為監(jiān)管是水上監(jiān)管和執(zhí)法工作的重要一環(huán)。然而，當(dāng)前水上執(zhí)法和監(jiān)管工作中主要存在如下問(wèn)題：

（1）船舶監(jiān)管效率低下，僅依靠人工查看視頻的方式容易出現(xiàn)疏漏，并且人工查看視頻的方式耗時(shí)耗力效率低下。

（2）視頻保存時(shí)間短，高清視頻數(shù)據(jù)量很大，過(guò)大的信息量、較短的保存時(shí)間給調(diào)查取證、追查回溯帶來(lái)很大不便-常常找不到視頻數(shù)據(jù)。

（3）船名遮擋、涂改、不按規(guī)定懸掛，關(guān)閉或篡改船舶自動(dòng)識(shí)別系統(tǒng)(AIS)等行為屢見(jiàn)不鮮。

因此，在當(dāng)今現(xiàn)狀下，亟需引入人工智能的手段替代人工監(jiān)管。依托高清視頻，應(yīng)用視頻分析、圖像處理等技術(shù)，自動(dòng)從視頻數(shù)據(jù)中高效、甚至實(shí)時(shí)地提取有價(jià)值的信息，更好地利用視頻資源，實(shí)現(xiàn)對(duì)船舶身份的識(shí)別以及航行行為識(shí)別，從而大大提升水上監(jiān)管和執(zhí)法動(dòng)作的效率。

2 研究現(xiàn)狀

2.1 船舶身份識(shí)別現(xiàn)狀

隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，從監(jiān)控視頻中自動(dòng)提取出所需的有效信息越來(lái)越方便。文章以AIS信息作為參考，對(duì)視頻序列中的運(yùn)動(dòng)船舶進(jìn)行檢測(cè)，可實(shí)現(xiàn)對(duì)船舶目標(biāo)身份進(jìn)行快速判別并且對(duì)人船舶侵入?yún)^(qū)域進(jìn)行警告。文章采用了船舶遙感圖像的特征分析以及遙感圖像的噪聲過(guò)濾與增強(qiáng)等圖像處理技術(shù)對(duì)船舶遙感圖像進(jìn)行系統(tǒng)性的研究，可大大提高船舶遙感圖像的目標(biāo)識(shí)別精度。通過(guò)對(duì)基于智能自組網(wǎng)的船舶衛(wèi)星定位技術(shù)和船舶身份識(shí)別技術(shù)的研究，文章提出船載OBU的概念，船載OBU通過(guò)將智能自組網(wǎng)與船舶衛(wèi)星定位技術(shù)和船舶身份識(shí)別技術(shù)相結(jié)合，實(shí)現(xiàn)了船舶的信息化和網(wǎng)絡(luò)化。

2.2 船行行為識(shí)別現(xiàn)狀

船舶超載判別大致有四種方法，第一類是通過(guò)在船舶上安裝特定的傳感器進(jìn)行檢測(cè)，第二類類主要依靠視頻分析進(jìn)行超載測(cè)量，第三類是基于聲吶、超聲波陣列等技術(shù)的水下測(cè)量方法，第四類基于激光雷達(dá)等方式。

文獻(xiàn)采用了于激光雷達(dá)掃描和視頻分析的超載超吃水自動(dòng)監(jiān)測(cè)系統(tǒng)，可大大提升船舶超載的檢測(cè)效果，最近幾年在多地的海事局都取得了較好的應(yīng)用效果。文獻(xiàn)設(shè)計(jì)并實(shí)現(xiàn)了一套基于激光掃描和視頻分析的船舶超載超吃水自動(dòng)監(jiān)測(cè)系統(tǒng)，并在鎮(zhèn)江市地方海事局轄區(qū)水域?qū)崿F(xiàn)了應(yīng)用。文獻(xiàn)提出了一種基于多波束聲納對(duì)超載船只進(jìn)行快速、有效的檢測(cè)方法。論文介紹了系統(tǒng)的整體設(shè)計(jì)和基本工作原理，并分別對(duì)水下檢測(cè)分系統(tǒng)和岸端分系統(tǒng)做了詳細(xì)論述。文獻(xiàn)[提出基于壓力傳感器與船載陀螺儀相結(jié)合監(jiān)測(cè)船舶吃水和裝載狀態(tài)的方法，采用壓力傳感器測(cè)得水深，利用船載陀螺儀獲得傾斜狀態(tài)，并結(jié)合船體結(jié)構(gòu)求得船舶吃水，進(jìn)而得到載重量。文獻(xiàn)提出了基于激光掃描的船舶干舷測(cè)量方案，將船舶干舷值定義為船舶甲板到水面的距離，提出了基于Hough變換和均值漂移的船舶干舷值測(cè)量算法。

3 船舶身份識(shí)別技術(shù)

3.1 基于YOLO V3的船名定位技術(shù)

YOLO V3算法是Joseph Redmon所提出的一種單階段的目標(biāo)檢測(cè)算法，在保證模型具有較好的檢測(cè)準(zhǔn)確率的同時(shí)擁有著十分出色的實(shí)時(shí)性。在船舶身份識(shí)別任務(wù)中，我們可以將yolo v3模型運(yùn)用到船名的定位中去，方便我們進(jìn)行后續(xù)的船名識(shí)別處理。

YOLO V3網(wǎng)絡(luò)由骨干網(wǎng)絡(luò)Darknet-53以及特征圖金字塔網(wǎng)絡(luò)(FPN)構(gòu)成。Darknet-53主要用于對(duì)輸入圖像的特征提取，將輸入的RGB圖像轉(zhuǎn)換為高層抽象特征圖，網(wǎng)絡(luò)結(jié)構(gòu)由多個(gè)殘差模塊堆疊而成。Darknet-53總共含有53層卷積層，還引入了Batch Normalization層以及Leaky ReLU激活函數(shù)。Batch Normalization層可以加快網(wǎng)絡(luò)的訓(xùn)練，并且可以較好的防止訓(xùn)練過(guò)程中出現(xiàn)過(guò)擬合。高層抽象特征圖語(yǔ)義信息比較豐富，而其細(xì)粒度信息較不足；低層特征圖語(yǔ)義信息較少，但其細(xì)粒度信息較為豐富。FPN可以較好的結(jié)合二者的優(yōu)點(diǎn)，大幅提升目標(biāo)檢測(cè)的效果。模型最終輸出三種尺寸的特征圖，分別為[13, 13]、[26, 26]以及[52,52]。

YOLO V3引入了Anchor機(jī)制來(lái)擬合先驗(yàn)框，其中Anchor邊界框的預(yù)設(shè)大小根據(jù)K-Means算法在COCO數(shù)據(jù)集上對(duì)標(biāo)注框大小進(jìn)行聚類而得，其結(jié)果為：[116, 90]，[156,198]，[373, 326]，[30, 61]，[62, 45]，[59, 119]，[10, 13]，[16,30]，[33, 23]。yolo v3算法則在這些預(yù)設(shè)的Anchor邊界框的基礎(chǔ)上進(jìn)行相應(yīng)的坐標(biāo)偏移以及尺度拉伸。YOLO V3的損失函數(shù)如下：

3.2 基于crnn的單行船名識(shí)別技術(shù)

隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域的發(fā)展，文字識(shí)別任務(wù)可充分利用深度學(xué)習(xí)模型的自動(dòng)特征提取能力，使得識(shí)別的準(zhǔn)確率得到大幅度的提升。相比較于傳統(tǒng)的多模塊級(jí)聯(lián)的方法，基于深度學(xué)習(xí)的模型可以有效避免多模塊級(jí)聯(lián)過(guò)程中產(chǎn)生的精度損失。在基于深度學(xué)習(xí)的文字識(shí)別模型中，我們通常采取連續(xù)時(shí)序分類損失函數(shù)(Connectionist Temporal Classification, 下文中簡(jiǎn)稱為CTC)使用序列文本標(biāo)簽對(duì)“序列圖片”進(jìn)行監(jiān)督訓(xùn)練。

CRNN(Convolutional Recurrent Neural Network)是目前較為流行的圖文識(shí)別模型，可識(shí)別較長(zhǎng)的文本序列。CRNN就是利用CNN特征提取層再用BLSTM序列特征提取層，能夠同時(shí)進(jìn)行端到端的聯(lián)合訓(xùn)練的模型。CTC損失可以成功的將深度學(xué)習(xí)網(wǎng)絡(luò)所輸出的特征序列圖像與長(zhǎng)度互異的標(biāo)簽序列對(duì)齊，因此可以有效利用標(biāo)簽信息監(jiān)督深層雙向LSTM網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。因?yàn)樯疃葘W(xué)習(xí)具有強(qiáng)大的自動(dòng)抽象特征提取能力，并且在文字識(shí)別任務(wù)中可以通過(guò)CTC損失進(jìn)行有效的監(jiān)督學(xué)習(xí)，因此CRNN+CTC的方法在文字識(shí)別任務(wù)中一直是主流的方法。

CRNN模型網(wǎng)絡(luò)結(jié)構(gòu)主要三部分，分別為：轉(zhuǎn)錄層、循環(huán)層以及卷積層。卷積層的主要作用是提取輸入圖像的高級(jí)特征，以便進(jìn)行后續(xù)的處理；循環(huán)層的主要作用則是在卷積特征的基礎(chǔ)上繼續(xù)提取文字序列特征，根據(jù)卷積層所提取的高級(jí)特征圖預(yù)測(cè)真實(shí)值的分布信息，通常情況下循環(huán)層是一個(gè)深層的雙向LSTM網(wǎng)絡(luò)；轉(zhuǎn)錄層主要用于把從循環(huán)層所獲取的標(biāo)簽分布信息通過(guò)去重、整合等操作，轉(zhuǎn)換成最終的文字識(shí)別結(jié)果。

4 船行行為識(shí)別技術(shù)

4.1 船舶超載判別技術(shù)

船舶超載一般是通過(guò)船舶吃水或干舷高度來(lái)判別，很多內(nèi)河船尤其是小型船，吃水線模糊的情況時(shí)有發(fā)生，因此研究基于圖像的船舶超載判別技術(shù)主要研究干舷的識(shí)別技術(shù)，經(jīng)調(diào)查研究發(fā)現(xiàn)，船舶吃水和干舷測(cè)量通常以系船柱位置為準(zhǔn)，先通過(guò)系船柱定位技術(shù)定位系船柱位置，再通過(guò)邊緣檢測(cè)技術(shù)檢測(cè)船水分割線，依此計(jì)算干舷，從而判斷船舶是否超載。

4.1.1 基于Faster R-CNN的系船柱定位技術(shù)

系船柱通常位于船舶甲板的外側(cè)，系船柱定位就是在一幅船舶圖像中找出系船柱所在的位置，系船柱定位是識(shí)別船舶干舷高度的重要環(huán)節(jié)，對(duì)于判斷船舶超載具有重要意義。

基于Faster R-CNN的系船柱定位方法是借助CNN等人工神經(jīng)網(wǎng)絡(luò)模型，通過(guò)在檢測(cè)算法中加入一些組件可以提升整個(gè)網(wǎng)絡(luò)的檢測(cè)性能，例如，損失函數(shù)、區(qū)域生成、錨框(Anchor)設(shè)計(jì)等。

Faster R-CNN主 要 由Conv Layers、Region Proposal Networks(RPN)、Roi Pooling以及Classification組成。Conv Layers主要用于對(duì)輸入圖像進(jìn)行特征提取，將輸入圖像轉(zhuǎn)換成高級(jí)特征圖的形式，采用了Conv+ReLU+Pooling的形式。RPN網(wǎng)絡(luò)主要用于生成候選區(qū)域，該層通過(guò)Softmax層判斷Anchors屬于正例或者負(fù)例，同時(shí)對(duì)Anchors候選框進(jìn)行偏移量的回歸任務(wù)，最后則綜合正例的Anchors以及所對(duì)應(yīng)的偏移量獲得最終的候選框。Faster R-CNN拋棄了傳統(tǒng)的滑動(dòng)窗口以及選擇搜索的方法，直接使用RPN網(wǎng)絡(luò)生成候選框，可以極大的提升候選框的生成速度。Roi Pooling層主要根據(jù)Conv Layers輸出的特征圖以及RPN層所生成的候選框進(jìn)行信息的綜合，提取候選區(qū)域特征圖并輸入到后續(xù)的全連接層判斷檢查目標(biāo)的類別。Classification主要根據(jù)所輸出的候選區(qū)域特征圖計(jì)算候選框所包含物體的類別，同時(shí)再此對(duì)候選框進(jìn)行偏移量的回歸任務(wù)，獲得檢測(cè)框最終的精確位置。

4.1.2 船水分界線定位技術(shù)

船水分界線定位技術(shù)流程圖見(jiàn)圖1，首先對(duì)輸入圖像進(jìn)行濾波預(yù)處理，過(guò)濾部分噪聲，隨后將平滑處理后的圖像輸入到我們所訓(xùn)練的分類器中，分類器可綜合全局特征信息將船舶吃水線附近的目標(biāo)點(diǎn)給檢測(cè)出來(lái)，由于檢查出的目標(biāo)點(diǎn)是離散分布的，通常情況下我們可以通過(guò)最小二乘法進(jìn)行直線擬合，便可將吃水線給定位出來(lái)。

圖1：船水分界線定位技術(shù)

（1）分類器訓(xùn)練。為了保證分類器算法的魯棒性以及泛化性，我們通常需要選取大量的訓(xùn)練樣本。訓(xùn)練樣本包含為正例樣本以及負(fù)例樣本，正例樣本即船舶吃水線附近的樣本點(diǎn)，負(fù)例樣本則為其他區(qū)域的樣本點(diǎn)。為了避免不同光照條件、不同水域特征以及不同船舶本身所帶來(lái)的影響，我們所選取的樣本要盡量包含各種各樣的場(chǎng)景。

（2）直線擬合。經(jīng)過(guò)分類器檢測(cè)后，我們會(huì)得到大量的分布于船舶吃水線附近的目標(biāo)點(diǎn)以及部分干擾點(diǎn)，此時(shí)我們可以對(duì)所得結(jié)果采用最小二乘法進(jìn)行直線擬合。最小二乘法是對(duì)于組近似線性分布的數(shù)據(jù)通過(guò)計(jì)算的方法求出直線y=ax+b的斜率a以及截距b，使得與真實(shí)數(shù)據(jù)分布的差異盡可能小。對(duì)此，我們可根據(jù)最小均方誤差的準(zhǔn)則，建立目標(biāo)函數(shù)，如式（5）。

D對(duì)a和b分別求一階偏導(dǎo)數(shù)為：

式（6）、（7）有閉式解，令偏導(dǎo)數(shù)為零則可求得最優(yōu)的a和b的值，最終獲得我們所需的船舶吃水線。

4.2 船舶軌跡數(shù)據(jù)成鏈

船舶全鏈條感知應(yīng)用的一大特點(diǎn)就是將單點(diǎn)采集的船舶信息包括照片、身份和行為信息等與船舶軌跡進(jìn)行融合成鏈，形成一船一航一檔案，實(shí)現(xiàn)船舶的全鏈條感知和跟蹤。該項(xiàng)技術(shù)的重點(diǎn)是如何將采集的船舶與船舶軌跡進(jìn)行匹配。

船舶圖像是單點(diǎn)采集信息，船舶軌跡是連續(xù)信息，因此研究的重點(diǎn)在于如何將單點(diǎn)信息與連續(xù)信息進(jìn)行融合。由于我們所獲取的船舶軌跡信息數(shù)據(jù)源為AIS，因此只考慮有AIS且AIS開(kāi)啟的情況進(jìn)行融合。船舶圖像采集的信息包括：時(shí)間、地點(diǎn)、船舶航行方向、航行速度、船舶圖像、船舶名稱、船舶照片等。船舶AIS軌跡信息包括：位置（經(jīng)緯度）、航行方向、航速、MMSI、AIS船名、船長(zhǎng)、船寬、吃水、目的港等等。結(jié)合兩種數(shù)據(jù)源的數(shù)據(jù)研究發(fā)現(xiàn)，可以通過(guò)時(shí)間、地點(diǎn)（位置）、身份進(jìn)行匹配，確定是否為同一條船，如果是同一條船，可將數(shù)據(jù)融合。融合方法主要有兩種：一、通過(guò)視頻與AIS融合匹配技術(shù)，將AIS信息可視化在視頻畫面中，通過(guò)自動(dòng)化的匹配算法將AIS信息與視頻中的船舶目標(biāo)進(jìn)行匹配；二、通過(guò)AIS船名和船舶圖像識(shí)別的船名，結(jié)合時(shí)間、地點(diǎn)等信息輔助判斷，進(jìn)行信息融合。在算法研究過(guò)程中發(fā)現(xiàn)，融合方法一在面對(duì)船舶并行，船舶流量大的情況下，準(zhǔn)確率明顯下降，故我們將兩種方法進(jìn)行融合，先采用方法一進(jìn)行融合，再用方法二進(jìn)行確認(rèn)，通過(guò)設(shè)定自糾錯(cuò)機(jī)制，保障采集的船舶信息與船舶軌跡正確融合。

4.3 動(dòng)靜態(tài)數(shù)據(jù)融合

船舶動(dòng)靜態(tài)數(shù)據(jù)融合首先需研究靜態(tài)信息的獲取和整合，靜態(tài)信息包含人、船、證的登記信息等。船舶動(dòng)態(tài)信息包括船舶AIS信息、進(jìn)出港報(bào)告信息、船舶行政處罰信息等，除AIS信息外其他信息更新頻率不高，可使用常規(guī)的數(shù)據(jù)處理方法，因此研究重點(diǎn)主要是針對(duì)船舶AIS信息，船舶AIS信息屬于準(zhǔn)實(shí)時(shí)數(shù)據(jù)，船舶AIS更新間隔根據(jù)航速確定，正常航行船舶AIS更新間隔為30s，對(duì)于AIS信息接收服務(wù)而言，接收范圍內(nèi)的船舶數(shù)量龐大，因此對(duì)于更新頻率高、數(shù)據(jù)量大的AIS數(shù)據(jù)需要研究數(shù)據(jù)處理和存儲(chǔ)的相關(guān)技術(shù)。由于接收到的AIS信息可能包括一些不完整、錯(cuò)亂、亂碼等數(shù)據(jù)，因此需要根據(jù)AIS規(guī)范對(duì)異常數(shù)據(jù)進(jìn)行預(yù)處理，對(duì)AIS數(shù)據(jù)進(jìn)行初步清洗。AIS信息由于其數(shù)據(jù)量龐大，新增速度快，因此在數(shù)據(jù)存儲(chǔ)時(shí)對(duì)數(shù)據(jù)進(jìn)行壓縮提取處理，結(jié)合船舶航向、航行狀態(tài)、航行距離等因素，設(shè)置數(shù)據(jù)存儲(chǔ)間隔，最大程度保證數(shù)據(jù)壓縮后的船舶軌跡與原始軌跡一致，在數(shù)據(jù)存儲(chǔ)方面選用適合長(zhǎng)期存儲(chǔ)和查詢的數(shù)據(jù)服務(wù)。

船舶動(dòng)靜態(tài)數(shù)據(jù)融合技術(shù)，主要工作是對(duì)數(shù)據(jù)清洗、整合與存儲(chǔ)。數(shù)據(jù)清洗是對(duì)數(shù)據(jù)進(jìn)行重新審查和校驗(yàn)的過(guò)程，目的在于刪除重復(fù)信息、糾正存在的錯(cuò)誤，并提供數(shù)據(jù)一致性。數(shù)據(jù)清洗指發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識(shí)別的錯(cuò)誤的最后一道程序，包括檢查數(shù)據(jù)一致性，處理無(wú)效值和缺失值等。我們要按照一定的規(guī)則把“臟數(shù)據(jù)”“洗掉”，在這個(gè)過(guò)程中，我們針對(duì)船舶數(shù)據(jù)制定了一系列自動(dòng)校驗(yàn)和清洗的規(guī)則，將數(shù)據(jù)自動(dòng)清洗完成。整合后的數(shù)據(jù)通過(guò)表之間的關(guān)聯(lián)關(guān)系進(jìn)行存儲(chǔ)，方便數(shù)據(jù)永久化保存和索引。

5 實(shí)驗(yàn)結(jié)果

5.1 船舶身份識(shí)別技術(shù)

我們通過(guò)基于yolo v3的船名定位技術(shù)以及基于crnn的單行船名識(shí)別技術(shù)便可將船船舶身份給識(shí)別出來(lái)，其晝間以及夜間的識(shí)別結(jié)果如圖2所示。根據(jù)結(jié)果我們可以發(fā)現(xiàn)我們的算法在無(wú)論在晝間還是夜間都可以將船舶身份給正確的識(shí)別出來(lái)。

圖2：晝夜船名識(shí)別結(jié)果

5.2 船行行為識(shí)別技術(shù)

5.2.1 船舶超載判別

超載船舶對(duì)航行安全具有較大的安全隱患，一旦發(fā)生擱淺事件容易引發(fā)航道擁堵，影響通航效率甚至引發(fā)事故，自動(dòng)識(shí)別船舶超載狀態(tài)能有效提高船舶航行安全。首先基于海量船舶抓拍圖像，利用深度學(xué)習(xí)和目標(biāo)檢測(cè)技術(shù)，研究系船柱定位模型，然后研究邊緣檢測(cè)技術(shù)分析船舶干舷位置、船底與水面分界線位置，最后通過(guò)計(jì)算系船柱與水面分界線距離判斷船舶是否超載。其結(jié)果如圖3所示。

圖3：系船柱與水面分界線識(shí)別結(jié)果

5.2.2 船舶軌跡數(shù)據(jù)成鏈

我們將卡口采集識(shí)別的船舶信息和照片與船舶AIS軌跡融合成鏈，形成一船一航一檔案，實(shí)現(xiàn)船舶的全鏈條感知和跟蹤。

5.2.3 動(dòng)靜態(tài)數(shù)據(jù)融合

將船舶抓拍圖片和船舶信息與船舶數(shù)據(jù)庫(kù)對(duì)接，包括船主、噸位、船籍港、貨物種類等信息，信息包含：船舶圖片、船籍港、船名、速度、船型和貨種等。