基于機(jī)器視覺(jué)的海上目標(biāo)智能化預(yù)警觀測(cè)過(guò)程模型與技術(shù)方法

應(yīng) 文，楊志霞，符亞明，楊建平

(1. 中國(guó)電子科學(xué)研究院，北京 100041; 2. 中電科海洋信息技術(shù)研究院有限公司，北京 100041; 3. 中國(guó)地質(zhì)大學(xué)(武漢)，湖北 武漢 430074)

0 引 言

視頻與圖像一直以來(lái)都是人類感知外界最直觀的手段，隨著當(dāng)前我國(guó)在海洋權(quán)益維護(hù)、監(jiān)管執(zhí)法、資源開(kāi)發(fā)等領(lǐng)域的迫切需求，在領(lǐng)海與專屬經(jīng)濟(jì)區(qū)實(shí)施海洋目標(biāo)活動(dòng)態(tài)勢(shì)的全時(shí)全域的常態(tài)化監(jiān)測(cè)已成為大勢(shì)所趨，光電監(jiān)控系統(tǒng)作為海洋目標(biāo)活動(dòng)態(tài)勢(shì)感知中不可或缺的必要手段，在上述領(lǐng)域得到了廣泛的應(yīng)用。

隨著近年來(lái)中遠(yuǎn)海無(wú)人值守型對(duì)海觀測(cè)平臺(tái)的興起[1-2]，使海洋態(tài)勢(shì)感知與觀測(cè)向著網(wǎng)絡(luò)化、柵格化、智能化、服務(wù)化發(fā)展，在對(duì)海觀測(cè)用光電監(jiān)控系統(tǒng)部署規(guī)模飛速增長(zhǎng)的同時(shí)，其觀測(cè)調(diào)度與控制層面的自動(dòng)化、智能化程度相對(duì)落后的問(wèn)題也隨即凸顯出來(lái)，目前業(yè)界絕大多數(shù)應(yīng)用仍通過(guò)人工方式實(shí)現(xiàn)光電海上目標(biāo)發(fā)現(xiàn)、跟蹤、圖像提取、圖像情報(bào)分析、目標(biāo)識(shí)別的一整套工作流程，對(duì)專業(yè)人員的依賴性嚴(yán)重,運(yùn)營(yíng)成本居高不下，在大規(guī)模部署的情況下無(wú)法有效顧及所有觀測(cè)點(diǎn)，導(dǎo)致海上情報(bào)的丟失。

圖1 智能跟蹤控制與傳統(tǒng)控制工作機(jī)制對(duì)比

在圖像識(shí)別方面，當(dāng)前采用的方法多為傳統(tǒng)的基于像素匹配的質(zhì)心檢測(cè)算法或相關(guān)監(jiān)測(cè)算法[3-4]，這類算法在實(shí)際應(yīng)用中通常需要人工提供像素位置來(lái)觸發(fā)目標(biāo)識(shí)別檢測(cè)，缺乏自主發(fā)現(xiàn)以及目標(biāo)分類能力，并在天氣、光照、船舶形態(tài)有所差異的情況下，識(shí)別效果無(wú)法得到有效保證。多數(shù)識(shí)別算法與特定光電設(shè)備綁定，移植到成像性能有所差異的其他設(shè)備后性能顯著下降。近年來(lái)隨著大數(shù)據(jù)、機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)產(chǎn)業(yè)牽頭將機(jī)器學(xué)習(xí)技術(shù)應(yīng)用到圖像識(shí)別領(lǐng)域，智慧城市監(jiān)控、智能人臉識(shí)別等智能化視頻監(jiān)控應(yīng)用層出不窮，特別在智慧城市交通領(lǐng)域中，出現(xiàn)了針對(duì)行駛車輛的一體化發(fā)現(xiàn)、識(shí)別、跟蹤、取證系統(tǒng)的研究[5-6]。在識(shí)別算法方面，具有不斷訓(xùn)練優(yōu)化能力的機(jī)器學(xué)習(xí)識(shí)別方法發(fā)展迅速，在經(jīng)過(guò)良好訓(xùn)練的情況下，在正確識(shí)別與分類準(zhǔn)確率、光照環(huán)境適應(yīng)性、成像質(zhì)量適應(yīng)性、可擴(kuò)展性等方面明顯優(yōu)于傳統(tǒng)的識(shí)別方法。同時(shí)，通過(guò)不同光電監(jiān)視設(shè)備拍攝圖像的交叉訓(xùn)練，可以普遍適用于不同品牌、不同型號(hào)、不同成像能力的光電監(jiān)控系統(tǒng)，為通用化大規(guī)模部署奠定基礎(chǔ)。

在海洋信息系統(tǒng)跟蹤控制方面，現(xiàn)有的對(duì)海光電監(jiān)控系統(tǒng)控制技術(shù)由人機(jī)交互共同完成，通常操作人員通過(guò)實(shí)時(shí)觀測(cè)海上目標(biāo)活動(dòng)態(tài)勢(shì)圖，觀察行為異常的目標(biāo)航跡，將光電系統(tǒng)引導(dǎo)至相應(yīng)的方位，隨后通過(guò)觀察光電監(jiān)控設(shè)備回傳的實(shí)時(shí)圖像查找海上目標(biāo)，根據(jù)目標(biāo)與視角的關(guān)系，通過(guò)光電控制板對(duì)攝像頭的視角、倍率、圖像清晰度進(jìn)行一系列微調(diào)，在確保能夠清晰觀測(cè)到目標(biāo)的情況調(diào)用圖像跟蹤算法進(jìn)行跟蹤。在整個(gè)操作過(guò)程中人工操作占用了相當(dāng)大的比例，需要時(shí)間長(zhǎng)期持續(xù)的對(duì)海預(yù)警觀測(cè)需要運(yùn)營(yíng)人員持續(xù)值班，在當(dāng)前海上預(yù)警觀測(cè)節(jié)點(diǎn)柵格化大規(guī)模部署的應(yīng)用場(chǎng)景下對(duì)系統(tǒng)運(yùn)營(yíng)造成了很大壓力。同時(shí)，由于海上通信信道普遍存在較大的延遲和不穩(wěn)定性，增加了人工控制增加了難度過(guò)調(diào)的情況時(shí)有出現(xiàn)，影響觀測(cè)效果。

針對(duì)以上問(wèn)題，本研究采用了不同的工作機(jī)制，如圖1所示。通過(guò)雷達(dá)、AIS等設(shè)備產(chǎn)生的實(shí)時(shí)目標(biāo)航跡信息的分析、過(guò)濾，形成需要光電系統(tǒng)協(xié)同觀測(cè)的目標(biāo)，通過(guò)坐標(biāo)換算對(duì)光電進(jìn)行自主引導(dǎo)，同時(shí)利用圖像識(shí)別算法模型對(duì)圖像中的目標(biāo)進(jìn)行識(shí)別，發(fā)現(xiàn)目標(biāo)后，通過(guò)目標(biāo)尺寸與當(dāng)前視場(chǎng)的比例關(guān)系，當(dāng)前圖像的清晰度進(jìn)行誤差分析，利用誤差分析結(jié)果對(duì)光電進(jìn)行持續(xù)的自主修正，在到達(dá)最佳觀測(cè)視角后進(jìn)行視頻錄制和截圖取證，并根據(jù)需要進(jìn)行后續(xù)的推送、存儲(chǔ)等?；谶@種方法，不僅能夠?qū)⑷斯げ僮鞅壤抵磷畹?，并通過(guò)誤差計(jì)算進(jìn)行精確控制，減少了人工微調(diào)環(huán)境所需的時(shí)間，使光電設(shè)備能夠快速定位目標(biāo)，通過(guò)目標(biāo)識(shí)別算法與修正算法之間的持續(xù)協(xié)同，保證目標(biāo)跟蹤的持續(xù)性，顯著減少目標(biāo)丟失的幾率。

以機(jī)器學(xué)習(xí)的視頻目標(biāo)識(shí)別技術(shù)、大規(guī)模信息網(wǎng)絡(luò)智能化管理控制技術(shù)為基礎(chǔ)，研究以光電觀測(cè)為核心的智能化海上預(yù)警觀測(cè)體系，實(shí)現(xiàn)海上目標(biāo)的實(shí)時(shí)發(fā)現(xiàn)、跟蹤、特征識(shí)別、取證全流程自動(dòng)化工作，能夠有效解決當(dāng)前我國(guó)海域安防和維權(quán)執(zhí)法應(yīng)用急需攻克的現(xiàn)實(shí)問(wèn)題，為廣域海洋觀測(cè)提供可靠視頻圖像預(yù)警監(jiān)控解決方案。因此，本文結(jié)合長(zhǎng)期技術(shù)研究和項(xiàng)目實(shí)踐提出一種具有廣泛適用性的海上目標(biāo)智能化預(yù)警觀測(cè)過(guò)程模型，以及一系列與之相關(guān)的技術(shù)實(shí)現(xiàn)方法。

本文第2章介紹海上目標(biāo)智能化預(yù)警觀測(cè)的一般過(guò)程模型，并在此基礎(chǔ)上對(duì)任務(wù)管理與控制流程進(jìn)行重點(diǎn)說(shuō)明，給出一種符合一般過(guò)程模型的任務(wù)管理與運(yùn)行控制工作流實(shí)例。第3章針對(duì)過(guò)程模型中的圖像識(shí)別部分，提出一種基于深度學(xué)習(xí)的目標(biāo)識(shí)別實(shí)現(xiàn)方法，包括圖像數(shù)據(jù)庫(kù)模型和深度學(xué)習(xí)模型搭建等內(nèi)容。第4章針對(duì)過(guò)程模型中的修正與跟蹤部分進(jìn)行重點(diǎn)說(shuō)明，包括跟蹤控制流程，觀測(cè)誤差計(jì)算與誤差修正方法。第5章給出部分試驗(yàn)數(shù)據(jù)，驗(yàn)證過(guò)程模型、目標(biāo)識(shí)別算法和跟蹤控制方法的有效性。第6章是全文總結(jié)及展望。

1 海上目標(biāo)智能化預(yù)警觀測(cè)的一般過(guò)程模型

海上目標(biāo)智能化預(yù)警觀測(cè)的一般過(guò)程模型主要包括任務(wù)管理、光電巡檢/引導(dǎo)、圖像識(shí)別、修正跟蹤、圖像取證、情報(bào)生成、服務(wù)推送7個(gè)處理步驟，如圖2所示。過(guò)程模型的信息輸入根據(jù)觀測(cè)系統(tǒng)的實(shí)際情況而有所差異，通常包括雷達(dá)、AIS等有源或無(wú)源目標(biāo)觀測(cè)手段生成的航跡數(shù)據(jù)、融合航跡數(shù)據(jù)；經(jīng)過(guò)大數(shù)據(jù)挖掘分析等手段產(chǎn)生的目標(biāo)運(yùn)動(dòng)異常據(jù)；可視化界面上通過(guò)人工標(biāo)注的目標(biāo)航跡數(shù)據(jù)、外部用戶的觀測(cè)需求等，通過(guò)對(duì)情報(bào)輸入的歸一化處理，提取觀測(cè)所需的時(shí)空信息，繼而形成新的觀測(cè)任務(wù)。

圖2 海上目標(biāo)自動(dòng)化預(yù)警觀測(cè)一般過(guò)程模型

任務(wù)管理是過(guò)程模型的核心引擎和運(yùn)行根本，通過(guò)構(gòu)建任務(wù)隊(duì)列，配合一定程度的優(yōu)先級(jí)控制，并設(shè)置相應(yīng)的完成條件，保障光電監(jiān)控系統(tǒng)按照隊(duì)列排序依次執(zhí)行觀測(cè)任務(wù)。同時(shí)，開(kāi)放相應(yīng)的任務(wù)管理和人工操控接口，允許系統(tǒng)調(diào)度人員按需對(duì)觀測(cè)任務(wù)進(jìn)行適當(dāng)?shù)娜斯じ深A(yù)。在任務(wù)執(zhí)行層面，通過(guò)對(duì)光電監(jiān)控系統(tǒng)進(jìn)行一系列的精確控制保證觀測(cè)任務(wù)的有效執(zhí)行，包括通過(guò)巡檢或引導(dǎo)操作將光電攝像頭移動(dòng)到觀測(cè)目標(biāo)所在方位，通過(guò)圖像識(shí)別搜索被觀測(cè)目標(biāo)，通過(guò)光電位置修正調(diào)整到最佳觀測(cè)視角，并對(duì)目標(biāo)進(jìn)行持續(xù)跟蹤，在跟蹤過(guò)程中進(jìn)行圖像、視頻取證，并結(jié)合任務(wù)輸入生成帶有視頻、圖像和文字描述的組合專題情報(bào)，并根據(jù)用戶不同的服務(wù)要求將情報(bào)分發(fā)推送給各類服務(wù)應(yīng)用，在滿足相關(guān)任務(wù)完成條件或終止條件時(shí)開(kāi)展下一項(xiàng)觀測(cè)任務(wù)。

圖3 一種符合一般過(guò)程模型的任務(wù)管理與運(yùn)行控制工作流實(shí)例

圖3從系統(tǒng)設(shè)計(jì)層面給出了符合一般過(guò)程模型的任務(wù)管理與控制工作流程示例，通過(guò)加入一個(gè)新的運(yùn)行模式使系統(tǒng)進(jìn)入智能預(yù)警狀態(tài)，通過(guò)讀取觀測(cè)任務(wù)隊(duì)列判定下一步行動(dòng)，當(dāng)隊(duì)列中存在觀測(cè)任務(wù)則進(jìn)行光電引導(dǎo)操作，到達(dá)指定方位后進(jìn)行目標(biāo)識(shí)別、跟蹤及取證動(dòng)作；如果沒(méi)有觀測(cè)任務(wù)則進(jìn)行常規(guī)巡檢操作，并對(duì)識(shí)別的隨機(jī)目標(biāo)進(jìn)行跟蹤。流程中涉及了多個(gè)計(jì)時(shí)器，主要用來(lái)判斷動(dòng)作超時(shí)和任務(wù)結(jié)束條件，保證系統(tǒng)連續(xù)不斷的進(jìn)行業(yè)務(wù)觀測(cè)。

2 基于深度學(xué)習(xí)的海上目標(biāo)實(shí)時(shí)識(shí)別方法

機(jī)器學(xué)習(xí)開(kāi)源社區(qū)的快速發(fā)展推動(dòng)了行業(yè)技術(shù)進(jìn)步，顯著降低了深度學(xué)習(xí)的工程應(yīng)用的實(shí)現(xiàn)難度，在基于機(jī)器視覺(jué)的目標(biāo)識(shí)別方面，目前較為普遍方法是以開(kāi)源的預(yù)訓(xùn)練模型作為目標(biāo)特征提取的初始化模型，在此基礎(chǔ)上建立面向?qū)嶋H應(yīng)用的圖像數(shù)據(jù)庫(kù)，對(duì)初始化模型進(jìn)行進(jìn)一步訓(xùn)練，該方法能夠保障目標(biāo)特征識(shí)別與提取的基本效果，并大幅度縮短了模型訓(xùn)練時(shí)間。在本研究用，采用了基于谷歌Coco數(shù)據(jù)集[7]的4個(gè)多層融合預(yù)訓(xùn)練模型[8-10]，如表1所示。同時(shí)，在機(jī)器學(xué)習(xí)框架方面選用了Tensorflow[11]開(kāi)源機(jī)器學(xué)習(xí)平臺(tái)的GPU運(yùn)算版本。在硬件資源方面，考慮本地部署、實(shí)時(shí)視頻推理需求，選用低功耗版NVIDIA Tesla P4加速卡作為標(biāo)準(zhǔn)計(jì)算資源?；谏疃葘W(xué)習(xí)的海上目標(biāo)實(shí)時(shí)識(shí)別方法依次包括圖像目標(biāo)數(shù)據(jù)庫(kù)搭建、網(wǎng)絡(luò)模型訓(xùn)練、模型識(shí)別精度檢測(cè)、視頻識(shí)別推理四個(gè)步驟。

表1 基于CoCo數(shù)據(jù)集的多層融合預(yù)訓(xùn)練模型及性能指標(biāo)

2.1 圖像目標(biāo)數(shù)據(jù)庫(kù)搭建

本研究以多個(gè)對(duì)海觀測(cè)平臺(tái)的光電監(jiān)控視頻錄像以及互聯(lián)網(wǎng)船舶圖像數(shù)據(jù)為基礎(chǔ)，面向預(yù)警與跟蹤應(yīng)用需求，對(duì)海上目標(biāo)圖像進(jìn)行了收集和科學(xué)分類，形成16 類海上目標(biāo)，表2給出了海上目標(biāo)部分分類情況。為方便后續(xù)處理，以目標(biāo)類型和圖像順序?yàn)樗饕龑?duì)目標(biāo)圖像進(jìn)行了統(tǒng)一重命名，在此基礎(chǔ)上根據(jù)目分類使用LabelImg工具對(duì)圖像中的船舶目標(biāo)進(jìn)行標(biāo)注，進(jìn)而生成遵循PascalVoc格式的XML標(biāo)注文件。

2.2 深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練

從圖像目標(biāo)數(shù)據(jù)庫(kù)中選取海上目標(biāo)圖像作為訓(xùn)練集，每類海上目標(biāo)圖像盡可能包含遠(yuǎn)近、清晰模糊、正面?zhèn)让娴炔煌螒B(tài)。對(duì)樣本較多或者應(yīng)用場(chǎng)景重點(diǎn)關(guān)注的海上目標(biāo)類型可適當(dāng)擴(kuò)充訓(xùn)練圖像數(shù)量。利用測(cè)試集對(duì)預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，訓(xùn)練前可根據(jù)經(jīng)驗(yàn)對(duì)迭代次數(shù)、批尺寸以及一系列超參數(shù)進(jìn)行調(diào)整，訓(xùn)練過(guò)程中通過(guò)監(jiān)控?fù)p失函數(shù)觀察模型全局收斂情況，在確保收斂后可視情況提前停止剩余迭代。

2.3 目標(biāo)識(shí)別精度檢測(cè)

在圖像目標(biāo)數(shù)據(jù)庫(kù)中選取海上目標(biāo)圖像作為訓(xùn)練集，為保證檢測(cè)精度，每類目標(biāo)訓(xùn)練圖像不少于20張，對(duì)少數(shù)圖像樣本采集困難的類別適當(dāng)加入訓(xùn)練集圖像進(jìn)行補(bǔ)充并標(biāo)注采用訓(xùn)練集圖像進(jìn)行測(cè)試的比例。采用訓(xùn)練好的模型對(duì)測(cè)試集上的船舶光電圖像數(shù)據(jù)進(jìn)行預(yù)測(cè)，對(duì)比識(shí)別結(jié)果與人工標(biāo)注的差異，以類為單位統(tǒng)計(jì)檢測(cè)識(shí)別正確率。

2.4 視頻識(shí)別推理

接入光電視頻數(shù)據(jù)，將圖像幀作為輸入訓(xùn)練好的船舶識(shí)別模型中，進(jìn)行目標(biāo)識(shí)別和分類的預(yù)測(cè)。生成識(shí)別與預(yù)測(cè)結(jié)果主要包括目標(biāo)的像素位置信息、目標(biāo)分類屬性和置信程度信息，可采用Json、XML等格式進(jìn)行統(tǒng)一封裝，并通過(guò)消息總線或Webservice服務(wù)接口供業(yè)務(wù)層調(diào)用。在業(yè)務(wù)層可利用OpenCV、VLC等視頻處理播放接口在實(shí)時(shí)視頻上進(jìn)行標(biāo)繪。在驗(yàn)證目標(biāo)識(shí)別模型的實(shí)時(shí)推理能力方面，可通過(guò)統(tǒng)計(jì)圖像幀數(shù)與處理時(shí)間得出模型處理單圖像幀的平均速率，根據(jù)該速率在推理過(guò)程中進(jìn)行跳幀設(shè)置，避免處理延遲。

3 光電智能跟蹤控制方法

光電智能跟蹤控制以基于實(shí)時(shí)視頻的光電目標(biāo)識(shí)別結(jié)果為輸入，通過(guò)目標(biāo)識(shí)別結(jié)果在實(shí)時(shí)視頻幀上的位置、大小、清晰度進(jìn)行分析處理，計(jì)算目標(biāo)與最佳觀測(cè)視角之間的誤差，并通過(guò)一系列的光電操作指令促使光電監(jiān)控系統(tǒng)逐步趨近于最佳觀測(cè)視角，保證目標(biāo)持續(xù)處于最佳觀測(cè)視角區(qū)間范圍內(nèi)，進(jìn)而實(shí)現(xiàn)持續(xù)跟蹤。光電智能跟蹤控制方法與傳統(tǒng)控制方法的主要區(qū)別在于新增了對(duì)實(shí)時(shí)視頻流的每一幀圖像進(jìn)行最佳觀測(cè)視角的誤差計(jì)算與自主修正兩個(gè)工作步驟，本章節(jié)將對(duì)這兩個(gè)步驟的技術(shù)實(shí)現(xiàn)方法進(jìn)行詳細(xì)說(shuō)明。

表2 部分海上目標(biāo)數(shù)據(jù)分類

續(xù)表2

3.1 誤差計(jì)算

誤差計(jì)算包含像素誤差計(jì)算、視角誤差計(jì)算、清晰度誤差計(jì)算三個(gè)過(guò)程，其中像素誤差計(jì)算和視角誤差計(jì)算的目的是進(jìn)行攝像頭方位、俯仰、倍率調(diào)整，在大多數(shù)情況下像素誤差計(jì)算是視角誤差計(jì)算的前提，多數(shù)光電監(jiān)控系統(tǒng)需要得到視角誤差從而進(jìn)行修正工作，但少數(shù)光電監(jiān)控系統(tǒng)具備按照像素點(diǎn)調(diào)整攝像頭方位、俯仰的能力，在這種情況下僅需計(jì)算像素誤差。清晰度誤差計(jì)算的目的是對(duì)攝像頭聚焦平面進(jìn)行微調(diào)，確保目標(biāo)清晰成像。

·像素誤差計(jì)算方法

如圖4所示，設(shè)圖像幀像素尺寸為{lp，wp}，圖像中目標(biāo)的像素尺寸為{lop，wop}，目標(biāo)中心像素點(diǎn)為{xop，yop}，針對(duì)圖像幀中心點(diǎn)，其水平像素誤差ehp、垂直像素誤差epp、倍率像素誤差ezp有如下關(guān)系：

(1)

其中ehp表示目標(biāo)距離最佳中心點(diǎn)觀測(cè)位置的水平像素距離，正值表示位于最佳中心觀測(cè)點(diǎn)右側(cè)，反之為左側(cè)。epp表示目標(biāo)距離最佳中心觀測(cè)位置的垂直像素距離正值表示位于最佳中心觀測(cè)點(diǎn)上方，反之為下方，ezp表示目標(biāo)距離最佳觀測(cè)比例的相對(duì)距離，其中Φ為黃金分割比例，可近似為0.618，正值為目標(biāo)大于最佳觀測(cè)比例，反之為小于最佳觀測(cè)比例，選擇目標(biāo)長(zhǎng)度比例進(jìn)行誤差分析的原因在于海上目標(biāo)多為船舶目標(biāo)，其長(zhǎng)度遠(yuǎn)大于高度，因此利用水平方位的比例進(jìn)行運(yùn)算會(huì)更有效的調(diào)整到最佳目標(biāo)視角。

圖4 像素誤差計(jì)算圖例

·視角誤差計(jì)算方法

空間一點(diǎn)光源通過(guò)攝像頭鏡頭在焦平面附近成像于CCD感光陣列x軸距中心點(diǎn)hx處，鏡頭當(dāng)前有效焦距為f′，CCD感光陣列放置位置到焦平面距離為x′,通過(guò)旋轉(zhuǎn)攝像頭使其成像點(diǎn)調(diào)整至CCD陣列中心處，旋轉(zhuǎn)角度為θx，則有如下關(guān)系:

(2)

在CCD感光陣列放置位置于焦平面附近的情況下，x′相比焦距而言可以忽略不記，在旋轉(zhuǎn)角度θ較小的情況下，通過(guò)泰勒展開(kāi)式近似可得cosθx≈1，因此可近似為：

(3)

在光電識(shí)別跟蹤應(yīng)用中，通過(guò)光電監(jiān)控系統(tǒng)廠家得到CCD感光陣列尺寸，設(shè)其長(zhǎng)寬分別為{la，wa}，通過(guò)播放器能夠獲得圖像幀的尺寸和當(dāng)前該光源成像點(diǎn)的像素位置，分別記為{lp，wp}和{xop，yop}，則式(2)中hx存在如下關(guān)系：

(4)

故有水平方向的方位修正量為：

(5)

由于攝像頭的光學(xué)對(duì)稱性，同理可得垂直方向修正量，如式(6)所示

(6)

因此在實(shí)時(shí)視頻監(jiān)控中根據(jù)目標(biāo)識(shí)別結(jié)果的尺寸和其在視頻幀當(dāng)中的相對(duì)位置分別計(jì)算水平和垂直方向的修正角度，并通過(guò)控制指令集進(jìn)行調(diào)整，單步修正誤差可以通過(guò)視頻識(shí)別結(jié)果的實(shí)時(shí)同步反饋進(jìn)行補(bǔ)償，無(wú)需進(jìn)行額外處理。

·焦平面誤差計(jì)算方法

焦平面誤差計(jì)算方法主要采用基于拉普拉斯算子的邊緣監(jiān)測(cè)方法[12]，拉普拉斯變換的表達(dá)方式如下：

(7)

其中：

(8)

(9)

因此：

Laplace(f)=f[x+1,y]+f[x-1,y]+

f[x,y+1]+f[x,y-1]-4f[x,y]

其中f(x,y)為(x,y)坐標(biāo)像素點(diǎn)的灰度值，計(jì)算過(guò)程將4鄰域的像素求和后減去本像素值，若本像素是邊界，則得到的值較大，若非邊界，所得的值較小。由此，可獲得經(jīng)過(guò)拉普拉斯算子邊緣檢測(cè)后的圖像。為了便于計(jì)算，使用3×3模板對(duì)像素?cái)?shù)據(jù)進(jìn)行處理。最后，通過(guò)方差計(jì)算得到圖像清晰度指數(shù)：

(10)

圖5 清晰度誤差處理圖例

在實(shí)際情況下，由于海上目標(biāo)成像具有背景單一、邊緣不明顯、目標(biāo)比例較小等特性，基于全尺寸圖像的拉普拉斯變換邊緣檢測(cè)的實(shí)際效果無(wú)法得到有效保障，基于該情況，利用艦船識(shí)別結(jié)果提取目標(biāo)所在的局部區(qū)域進(jìn)行邊緣檢測(cè)，能夠有效提升模糊度誤差計(jì)算的有效性。

3.2 自主修正

光電監(jiān)控系統(tǒng)自主修正利用誤差計(jì)算結(jié)果，隨圖像幀刷新進(jìn)行修正與補(bǔ)償，其工作流程如圖6所示。在接收到實(shí)時(shí)視頻圖像幀后，判斷是否存在識(shí)別的目標(biāo)結(jié)果，若存在則針對(duì)目標(biāo)進(jìn)行誤差計(jì)算，通過(guò)判斷方位誤差ehp、俯仰誤差epp、倍率誤差ezp、焦平面誤差efp是否大于相應(yīng)的門限值啟動(dòng)相應(yīng)的修正策略，原則上單幀圖像僅進(jìn)行一次修正，修正優(yōu)先級(jí)由高到低依次為水平方位、垂直方位、鏡頭倍率、焦平面。由于光電監(jiān)視系統(tǒng)響應(yīng)時(shí)間通常無(wú)法達(dá)到實(shí)時(shí)視頻數(shù)據(jù)流或機(jī)器識(shí)別結(jié)果的刷新率，同時(shí)修正動(dòng)作的執(zhí)行需要一定時(shí)間，因此一般采用隔單位時(shí)間取一幀進(jìn)行修正。

圖6 光電監(jiān)視設(shè)備自主修正工作流程

·水平、垂直角度修正

水平與垂直角度修正的方法與光電監(jiān)控系統(tǒng)的控制機(jī)制緊密相關(guān)，當(dāng)前市場(chǎng)上的光電監(jiān)控系統(tǒng)的控制機(jī)制主要分為以下三類：

(1)基于簡(jiǎn)單方位控制的光電監(jiān)控系統(tǒng)

該類光電監(jiān)控系統(tǒng)在控制上較為簡(jiǎn)單，提供上移、下移、左移、右移、變倍、調(diào)焦6個(gè)基本控制功能，一般來(lái)說(shuō)單位時(shí)間的位移量基本固定，通常無(wú)法提供當(dāng)前水平角度、垂直角度、焦距等監(jiān)控參數(shù)，對(duì)于該類設(shè)備的控制適合采用基于像素誤差計(jì)算的修正系數(shù)反饋方法實(shí)現(xiàn)。

在一個(gè)圖像幀處理時(shí)隙內(nèi)，依次進(jìn)行像素誤差計(jì)算、位移持續(xù)時(shí)間計(jì)算、位移后的像素誤差計(jì)算、位移系數(shù)修正四個(gè)過(guò)程，并在下一個(gè)處理時(shí)隙內(nèi)使用新的位移系數(shù)計(jì)算位移操作的持續(xù)時(shí)間。位移操作持續(xù)時(shí)間的計(jì)算方法如下：

(11)

(12)

其中TMh為水平位移持續(xù)時(shí)間，TMp為垂直位移持續(xù)時(shí)間，ehp為水平像素誤差，epp為水平像素誤差，n為歸一化系數(shù)。 在完成位移后，在此對(duì)像素誤差進(jìn)行計(jì)算，形成位移后的像素誤差計(jì)算，并對(duì)位移系數(shù)進(jìn)行修正，修正方法如下：

(13)

(14)

(2)提供監(jiān)控參數(shù)反饋的光電監(jiān)控系統(tǒng)

該類光電監(jiān)控系統(tǒng)在前一類系統(tǒng)的基礎(chǔ)上擁有精確角度引導(dǎo)能力，能夠?qū)ι衔粰C(jī)提供水平、垂直角度、倍率、焦距等監(jiān)控參數(shù)，針對(duì)該類光電監(jiān)控系統(tǒng)，可利用視角誤差的計(jì)算結(jié)果，調(diào)用精確角度引導(dǎo)接口實(shí)現(xiàn)修正。

(3)提供像素引導(dǎo)功能的光電監(jiān)控系統(tǒng)

該類光電監(jiān)控系統(tǒng)支持通過(guò)像素位置引導(dǎo)，系統(tǒng)內(nèi)置了將像素位置換位為角度方位的能力，并開(kāi)放了像素引導(dǎo)接口，針對(duì)該類光電監(jiān)控系統(tǒng)，可利用像素誤差的計(jì)算結(jié)果，調(diào)用像素位置引導(dǎo)接口實(shí)現(xiàn)修正。

·倍率修正

在光電倍率修正方面，當(dāng)前市場(chǎng)上的光電系統(tǒng)均采用固定位移量的調(diào)節(jié)方式， 與基于簡(jiǎn)單方位控制的光電監(jiān)控系統(tǒng)的水平、垂直角度修正方法類似，可采用基于倍率誤差計(jì)算的修正系數(shù)反饋方法實(shí)現(xiàn)。即在一個(gè)處理時(shí)隙內(nèi)，依次進(jìn)行倍率誤差計(jì)算、倍率修正持續(xù)時(shí)間計(jì)算、調(diào)正后的倍率誤差計(jì)算、倍率系數(shù)修正四個(gè)過(guò)程，并在下一個(gè)處理時(shí)隙內(nèi)使用新的倍率系數(shù)計(jì)算倍率操作的持續(xù)時(shí)間。

·焦平面修正

對(duì)于焦平面修正，由于焦平面誤差無(wú)法分辨當(dāng)前目標(biāo)物體處在焦平面的前方還是后方，因此需要先將焦平面向一個(gè)方向進(jìn)行調(diào)整，通過(guò)觀察焦平面誤差的變化確定正確的調(diào)整的方向，在調(diào)整方向確定后，也可基于焦平面誤差修正系數(shù)反饋方法實(shí)現(xiàn)。

4 測(cè)試及性能分析

為了評(píng)估所述方法的有效性，利用實(shí)際部署的海上光電監(jiān)控系統(tǒng)進(jìn)行了一系列測(cè)試，主要包括兩部分：

第一部分針對(duì)過(guò)程模型中海上目標(biāo)識(shí)別過(guò)程，驗(yàn)證目標(biāo)識(shí)別模型在實(shí)際情況下的識(shí)別精度和時(shí)效特性，進(jìn)而對(duì)4類預(yù)訓(xùn)練模型產(chǎn)生的目標(biāo)識(shí)別模型性能進(jìn)行評(píng)估。第二部分針對(duì)過(guò)程模型中修正與跟蹤過(guò)程，驗(yàn)證三種不同的水平、垂直角度修正方法的時(shí)效性影響，進(jìn)而對(duì)修正與跟蹤方法的有效性與性能進(jìn)行評(píng)估。

4.1 目標(biāo)識(shí)別性能評(píng)估

表3給出了4種目標(biāo)識(shí)別模型在Nividia Tesla P4計(jì)算卡上進(jìn)行前向推理的性能對(duì)比結(jié)果，每種識(shí)別模型選用不同的預(yù)訓(xùn)練模型并通過(guò)4500幅相同的目標(biāo)圖像進(jìn)行訓(xùn)練，分別使用2000幅測(cè)試圖像和10分鐘的海上目標(biāo)跟蹤視頻進(jìn)行測(cè)試。

表3 四種不同目標(biāo)識(shí)別模型的性能測(cè)試對(duì)比結(jié)果

通過(guò)測(cè)試結(jié)果可以看出4種目標(biāo)識(shí)別模型的識(shí)別精度差別不大，但在單幀處理耗時(shí)方面采用rfcn_resnet101和faster_rcnn_resnet101預(yù)訓(xùn)練模型的目標(biāo)識(shí)別模型無(wú)法滿足實(shí)時(shí)推理需求。ssd_mobilenet和ssd_inception模型雖然仍需約0.1秒/幅的處理時(shí)間，但在實(shí)際應(yīng)用中可通過(guò)跳幀計(jì)算解決目標(biāo)識(shí)別計(jì)算的延遲性問(wèn)題，保障視頻圖像的目標(biāo)識(shí)別實(shí)時(shí)同步顯示。綜合來(lái)看，ssd_mobilenet在識(shí)別精度與實(shí)時(shí)性性能方面更加適合觀測(cè)平臺(tái)本地化部署，建議采用。

4.2 自主修正性能評(píng)估

測(cè)試過(guò)程使用某海洋觀測(cè)平臺(tái)的光電監(jiān)控系統(tǒng)，在3個(gè)不同的時(shí)間和光照情況下，針對(duì)同一海上目標(biāo)，選用三種不同的方位、俯仰修正方法，分別進(jìn)行了5次引導(dǎo)修正跟蹤操作，并統(tǒng)計(jì)從光電監(jiān)控系統(tǒng)完成對(duì)目標(biāo)的引導(dǎo)操作到自主修正至最佳觀測(cè)視角的平均時(shí)間，表4給出了三種不同的方位、俯仰修正方法對(duì)光電監(jiān)控系統(tǒng)修正性能的對(duì)比情況，修正過(guò)程影像如圖7。

表4 三種不同的方位俯仰修正方法對(duì)自主修正性能影響的對(duì)比結(jié)果

圖7 光電修正與跟蹤過(guò)程

通過(guò)測(cè)試結(jié)果可以看出通過(guò)位移系數(shù)反饋方法能夠有效實(shí)現(xiàn)方位和俯仰的修正，但耗時(shí)要略高于其他兩種方法，因此在光電監(jiān)控系統(tǒng)不提供詳細(xì)運(yùn)行數(shù)據(jù)和像素引導(dǎo)接口的情況下，也可實(shí)現(xiàn)最佳觀測(cè)位置的調(diào)整，這對(duì)控制機(jī)制較為簡(jiǎn)單的光電監(jiān)控系統(tǒng)實(shí)現(xiàn)自主操控意義重大。采用視角誤差計(jì)算與修正方法所需時(shí)間略長(zhǎng)于像素誤差計(jì)算與修正方法，這可能由于本文提出的角度誤差計(jì)算中在旋轉(zhuǎn)角度θ較小的情況下采用了近似處理，另外光電焦距、視場(chǎng)角參數(shù)的測(cè)量精度和更新頻率也可能導(dǎo)致一部分誤差。

5 結(jié) 語(yǔ)

光電監(jiān)控系統(tǒng)在海上觀測(cè)的大規(guī)模應(yīng)用推動(dòng)了海洋目標(biāo)識(shí)別與預(yù)警跟蹤領(lǐng)域的技術(shù)進(jìn)步與發(fā)展，但在系統(tǒng)化、智能化、通用化等方面存在諸多挑戰(zhàn)，本文基于體系化思維和長(zhǎng)期實(shí)踐，提出基于機(jī)器視覺(jué)的海上目標(biāo)智能預(yù)警觀測(cè)過(guò)程模型，對(duì)海上目標(biāo)智能預(yù)警與跟蹤普遍過(guò)程進(jìn)行系統(tǒng)性歸納。同時(shí)針對(duì)過(guò)程模型中的任務(wù)管理與運(yùn)行控制、圖像目標(biāo)識(shí)別、光電自主修正與跟蹤三個(gè)關(guān)鍵過(guò)程，給出相應(yīng)的示例或技術(shù)實(shí)現(xiàn)方法。相關(guān)測(cè)試結(jié)果表明，所提出的過(guò)程模型及相關(guān)技術(shù)方法合理并具有可行性，能夠有效的指導(dǎo)以光電監(jiān)控設(shè)備為核心的海洋觀測(cè)系統(tǒng)設(shè)計(jì)。下一步將在適應(yīng)本地化處理的輕量級(jí)識(shí)別與跟蹤系統(tǒng)、多系統(tǒng)協(xié)同預(yù)警觀測(cè)等方面開(kāi)展相關(guān)研究。