控制河段智能視覺跟蹤控制系統(tǒng)設(shè)計(jì)

鐘 麗 靳 智 梁 山

（1.長(zhǎng)江瀘州航道局 瀘州 646000；2.重慶大學(xué)自動(dòng)化學(xué)院 重慶 400044）

隨著航運(yùn)業(yè)的發(fā)展，水上交通越來越擁擠，由此導(dǎo)致的事故不斷增多。為了對(duì)通航船舶進(jìn)行有效監(jiān)管，同時(shí)迅速準(zhǔn)確掌握事故原因以制定有效的救援方案，并為責(zé)任劃分提供證據(jù)，對(duì)控制河段通航船舶的可視化監(jiān)控成為控制河段通行智能指揮系統(tǒng)的主要建設(shè)內(nèi)容之一。

國(guó)內(nèi)外諸多研究者均對(duì)航道可視化展開了研究，湯一平［1］將計(jì)算機(jī)視覺引入內(nèi)河航道，采用數(shù)字圖像處理與模式識(shí)別技術(shù)識(shí)別、跟蹤船舶，但是船舶與攝像機(jī)距離大時(shí)容易出現(xiàn)跟蹤丟失，同時(shí)天氣因素對(duì)系統(tǒng)的檢測(cè)精度影響較大［2］。蘭培真［3］提出了海事場(chǎng)景的網(wǎng)絡(luò)視頻監(jiān)控，通過網(wǎng)絡(luò)獲取現(xiàn)場(chǎng)視頻圖像并監(jiān)控用戶自定義的區(qū)域，缺點(diǎn)是不能適應(yīng)劇烈天氣變化和光照變化，同時(shí)目標(biāo)被遮擋后會(huì)出現(xiàn)跟蹤丟失。為了擴(kuò)大監(jiān)視范圍并提高目標(biāo)識(shí)別的準(zhǔn)確度，有學(xué)者提出采用1臺(tái)固定的廣角攝像機(jī)與PTZ攝像機(jī)跟蹤運(yùn)動(dòng)物體［4］，固定攝像機(jī)提供背景模板圖像用于提取目標(biāo)，目標(biāo)定位后采用PTZ攝像機(jī)跟蹤目標(biāo)進(jìn)行特寫。

由于控制河段狹窄彎曲，多呈C形，航道水深，監(jiān)視區(qū)域線長(zhǎng)、面廣，航道背景復(fù)雜變化較大，通航環(huán)境復(fù)雜，因此將圖像識(shí)別技術(shù)用于內(nèi)河船舶跟蹤監(jiān)視難度較大。

目前已廣泛應(yīng)用于內(nèi)河航道的視頻監(jiān)控系統(tǒng)仍舊依靠人工通過鍵盤、鼠標(biāo)來控制云臺(tái)，費(fèi)時(shí)費(fèi)力且控制不準(zhǔn)確。為了解決手動(dòng)直接控制云臺(tái)較難尋找目標(biāo)的問題，于臣［5］提出了基于電子海圖的CCTV監(jiān)控方法，從電子海圖中所顯示的待跟蹤船舶中選擇目標(biāo)后，系統(tǒng)經(jīng)過角度計(jì)算并自動(dòng)調(diào)節(jié)云臺(tái)攝像機(jī)對(duì)準(zhǔn)目標(biāo)。

蘭培真［6－8］等人根據(jù)接收到的 AIS信息自動(dòng)對(duì)船舶進(jìn)行優(yōu)先級(jí)排序，并選擇最佳智能球自主跟蹤目標(biāo)船舶，但是跟蹤存在滯后且有脫離視場(chǎng)情況。文獻(xiàn)進(jìn)一步提出了結(jié)合視頻與AIS信息的船舶跟蹤方案，采用Kalman濾波預(yù)測(cè)跟蹤以消除跟蹤滯后，達(dá)到平滑圖像的目的，實(shí)現(xiàn)離散點(diǎn)位的跟蹤未能考慮船舶位置誤差及預(yù)測(cè)過程中產(chǎn)生的誤差處理。

本文針對(duì)內(nèi)河控制河段船舶通行情況智能化視覺跟蹤的要求，采用AIS與數(shù)字云臺(tái)攝像機(jī)進(jìn)行聯(lián)動(dòng)跟蹤，并通過圖像識(shí)別技術(shù)校正跟蹤誤差，實(shí)現(xiàn)對(duì)船舶的智能自動(dòng)視頻連續(xù)跟蹤。

1 系統(tǒng)功能分析

（1）船舶信息自動(dòng)獲取功能。隨著船載船舶自動(dòng)識(shí)別系統(tǒng)的強(qiáng)制安裝實(shí)施，為通航船舶導(dǎo)航監(jiān)視提供了自動(dòng)化技術(shù)支持。在信號(hào)臺(tái)安裝具備AIS信息接收功能的設(shè)備，實(shí)現(xiàn)船—岸間自動(dòng)傳輸信息，避免了人工電話詢問所帶來的不便。

（2）目標(biāo)船舶的動(dòng)態(tài)監(jiān)控功能?，F(xiàn)有的VTS中AIS與CCTV聯(lián)動(dòng)目標(biāo)跟蹤監(jiān)視中，多是已知目標(biāo)船舶的始末位置再進(jìn)行相應(yīng)的動(dòng)作而未考慮AIS信息的滯后問題，跟蹤過程中容易造成圖像抖動(dòng)，目標(biāo)丟失或殘缺。本系統(tǒng)在離散點(diǎn)位跟蹤的基礎(chǔ)上采用目標(biāo)船舶動(dòng)態(tài)預(yù)測(cè)跟蹤，實(shí)時(shí)調(diào)整云臺(tái)姿態(tài)，達(dá)到圖像平滑無滯后的目的。必要時(shí)可啟用多個(gè)云臺(tái)攝像機(jī)接力跟蹤，滿足船隊(duì)尾隨通航的需要，縮短等待時(shí)間。

（3）視頻信息的采集與存儲(chǔ)功能。船舶通航指揮監(jiān)控中心將通過云臺(tái)攝像機(jī)獲得船舶通航的實(shí)時(shí)畫面，根據(jù)需要可人工選擇是否存儲(chǔ)視頻信息，經(jīng)計(jì)算機(jī)處理后的視頻信息可以存儲(chǔ)在本地硬盤中，方便日后回放。

2 數(shù)字云臺(tái)控制系統(tǒng)總體設(shè)計(jì)

2.1 AIS信息采集

AIS信息收發(fā)設(shè)備主要包括VHF天線、AIS收發(fā)機(jī)、外置GPS天線。由于AIS收發(fā)機(jī)可以從數(shù)據(jù)接口以串行（RS－232或RS－422）的方式輸出NMEA－0183格式的電文信息，計(jì)算機(jī)通過串行接口連接AIS接收設(shè)備獲取AIS信息，見圖1。

圖1 AIS信息接收示意圖

2.2 視頻信息采集

數(shù)字視頻監(jiān)控系統(tǒng)硬件部分主要由云臺(tái)攝像機(jī)、嵌入式系統(tǒng)終端、網(wǎng)絡(luò)傳輸設(shè)備和視頻監(jiān)控終端組成。其軟件功能單元包括：視頻壓縮傳輸單元、運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤單元。根據(jù)運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤單元所處的位置，可將該系統(tǒng)分為3種：前端嵌入式方式、后端服務(wù)器方式、分布式方式。前端嵌入式方式是指在嵌入式系統(tǒng)終端中完成運(yùn)動(dòng)目標(biāo)的監(jiān)測(cè)與跟蹤控制，后端服務(wù)器方式是通過計(jì)算機(jī)進(jìn)行圖像識(shí)別完成運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤控制。本文采用后端服務(wù)器方式進(jìn)行監(jiān)控，系統(tǒng)結(jié)構(gòu)見圖2。

圖2 分布式數(shù)字視頻監(jiān)控系統(tǒng)結(jié)構(gòu)

2.3 數(shù)字云臺(tái)驅(qū)動(dòng)控制

根據(jù)目標(biāo)船舶跟蹤監(jiān)控的功能要求，結(jié)合現(xiàn)有的AIS信息采集與運(yùn)動(dòng)目標(biāo)視頻監(jiān)控方案，設(shè)計(jì)目標(biāo)船舶視覺跟蹤監(jiān)控系統(tǒng)，系統(tǒng)結(jié)構(gòu)見圖3。內(nèi)河航道目標(biāo)船舶視覺監(jiān)控系統(tǒng)的硬件主要包括信息采集前端、信息傳輸系統(tǒng)、監(jiān)控中心、供電與防雷設(shè)備。信號(hào)臺(tái)將接收到的AIS信息輸出到監(jiān)控中心計(jì)算機(jī)，AIS信息被解碼后進(jìn)行目標(biāo)船舶跟蹤監(jiān)控角度解算，并通過網(wǎng)絡(luò)視頻服務(wù)器控制云臺(tái)攝像機(jī)動(dòng)作。同時(shí)，監(jiān)控中心通過網(wǎng)絡(luò)訪問網(wǎng)絡(luò)視頻服務(wù)器獲取實(shí)時(shí)視頻信息，經(jīng)過相應(yīng)的處理并存入硬盤。

圖3 目標(biāo)船舶視覺跟蹤監(jiān)控系統(tǒng)結(jié)構(gòu)

3 數(shù)字云臺(tái)的控制方法

內(nèi)河航道存在較多的S形彎曲狹窄河段，若采用基于船載AIS報(bào)告位置的離散靜態(tài)跟蹤，將會(huì)導(dǎo)致船舶偏離視場(chǎng)中心區(qū)域，甚至視場(chǎng)內(nèi)的目標(biāo)殘缺不全，這種現(xiàn)象在船舶距離監(jiān)測(cè)點(diǎn)較遠(yuǎn)、視場(chǎng)角窄的時(shí)候更容易出現(xiàn)。為了解決以上問題，本文在目標(biāo)船舶靜態(tài)跟蹤的基礎(chǔ)上提出了目標(biāo)船舶動(dòng)態(tài)跟蹤的構(gòu)思，見圖4。

圖4 目標(biāo)船舶動(dòng)態(tài)跟蹤控制框圖

當(dāng)目標(biāo)船舶駛?cè)氡O(jiān)視區(qū)域時(shí)，監(jiān)控中心根據(jù)其位置信息控制云臺(tái)攝像機(jī)進(jìn)行初始對(duì)準(zhǔn)，在此后的通航過程中會(huì)根據(jù)初始航速、航向進(jìn)行下一時(shí)刻位置的預(yù)測(cè)直至收到目標(biāo)船舶的最新報(bào)告信息，并據(jù)此信息再次預(yù)測(cè)以致目標(biāo)船舶駛出監(jiān)視河段。在此期間，預(yù)測(cè)一次即可求得云臺(tái)攝像機(jī)相應(yīng)的預(yù)測(cè)跟蹤角度。由于在初始對(duì)準(zhǔn)和預(yù)測(cè)過程中均存在誤差，特輔助圖像中心對(duì)準(zhǔn)算法在船舶報(bào)告AIS信息的一系列點(diǎn)處進(jìn)行誤差校正。

4 跟蹤控制軟件設(shè)計(jì)

控制河段船舶智能視覺跟蹤監(jiān)控應(yīng)滿足實(shí)時(shí)性、穩(wěn)定性的要求。監(jiān)控中心軟件主要在VC＋＋6.0開發(fā)環(huán)境完成以下任務(wù)：①實(shí)時(shí)監(jiān)聽計(jì)算機(jī)串口，一旦串口接收到字符，程序必須盡快讀取，否則串口接收緩沖區(qū)填滿后將會(huì)溢出，導(dǎo)致信息丟失；②已經(jīng)成功讀取的電文需按規(guī)則進(jìn)行解碼，解碼結(jié)束將所有信息存入數(shù)據(jù)庫(kù)，與云臺(tái)攝像機(jī)控制的相關(guān)數(shù)據(jù)可以暫存在相關(guān)的全局變量中以方便讀取，同時(shí)確定船舶通航優(yōu)先級(jí)；③云臺(tái)攝像機(jī)控制部分讀取解碼程序提供的船舶航行狀態(tài)信息，并計(jì)算姿態(tài)調(diào)節(jié)角度等，同時(shí)調(diào)用Matlab引擎進(jìn)行圖像處理以獲取誤差校正值；④必須通過本地局域網(wǎng)絡(luò)訪問網(wǎng)絡(luò)視頻服務(wù)器，讀取實(shí)時(shí)視頻信息。

監(jiān)控軟件分為4個(gè)相對(duì)獨(dú)立的程序模塊，通過數(shù)據(jù)共享、消息傳遞，協(xié)同工作完成上述4類任務(wù)。因此，在Windows平臺(tái)下可將4個(gè)程序模塊劃分為4個(gè)線程。由于現(xiàn)有的計(jì)算機(jī)一般都是單CPU，在某一時(shí)刻只能運(yùn)行一個(gè)線程，無法同時(shí)執(zhí)行多個(gè)任務(wù)，可以通過多線程來解決這個(gè)問題。基于多線程的目標(biāo)船舶跟蹤監(jiān)控軟件結(jié)構(gòu)見圖5。

圖5 目標(biāo)船舶跟蹤監(jiān)控軟件結(jié)構(gòu)

5 人機(jī)交互界面設(shè)計(jì)

（1）系統(tǒng)的參數(shù)配置。系統(tǒng)參數(shù)主要是指信號(hào)臺(tái)的地理參數(shù)、計(jì)算機(jī)采集AIS信息的串口參數(shù)、網(wǎng)絡(luò)視頻服務(wù)器的連接及其透明串口參數(shù)、解碼器的地址、圖像放大倍數(shù)、視頻存儲(chǔ)位置。在系統(tǒng)工作之前根據(jù)實(shí)際情況進(jìn)行參數(shù)配置，每次配置的參數(shù)將存入配置文件“monitor.ini”，以后可再次修改或自動(dòng)獲取配置文件中的參數(shù)。

（2）信息顯示與控制面板。人機(jī)信息交互界面主要包括實(shí)時(shí)圖像的顯示、目標(biāo)船舶的主要航行狀態(tài)信息、系統(tǒng)控制按鈕（云臺(tái)動(dòng)作、手動(dòng)調(diào)焦、系統(tǒng)參數(shù)配置、視頻采集與停止等）。

打開監(jiān)控軟件后根據(jù)需要進(jìn)行系統(tǒng)參數(shù)設(shè)置，如果不需重置參數(shù)則點(diǎn)擊視頻播放按鈕，采集實(shí)時(shí)圖像。根據(jù)需要可選擇手動(dòng)或自動(dòng)控制云臺(tái)攝像機(jī)跟蹤監(jiān)視目標(biāo)船舶，當(dāng)點(diǎn)擊上、下、左、右或調(diào)焦按鈕將進(jìn)行相應(yīng)的動(dòng)作，點(diǎn)擊自動(dòng)按鈕將切換至自動(dòng)跟蹤模式并予以自動(dòng)調(diào)焦。

在自動(dòng)跟蹤監(jiān)視狀態(tài)，將顯示當(dāng)前所跟蹤的目標(biāo)船舶航行狀態(tài)信息。監(jiān)控系統(tǒng)軟件人機(jī)交互界面見圖6。

圖6 監(jiān)控系統(tǒng)人機(jī)交互界面

6 結(jié)語(yǔ)

為了保證船只安全、快速通過狹窄、彎曲的控制河段，通常設(shè)有信號(hào)臺(tái)對(duì)通航船只進(jìn)行統(tǒng)一指揮調(diào)度和監(jiān)視。本文將AIS和數(shù)字云臺(tái)結(jié)合，采用預(yù)測(cè)跟蹤方法解決了靜態(tài)跟蹤中的滯后問題，融合圖像識(shí)別消除跟蹤誤差，對(duì)控制河段智能視覺跟蹤控制系統(tǒng)進(jìn)了設(shè)計(jì)，并對(duì)系統(tǒng)結(jié)構(gòu)、云臺(tái)控制、跟蹤控制軟件、人機(jī)交互等進(jìn)行了詳細(xì)介紹?？刂坪佣未巴ㄐ星闆r視頻監(jiān)控，是控制河段智能指揮系統(tǒng)的一個(gè)重要組成部分，將AIS和視頻監(jiān)控結(jié)合，實(shí)現(xiàn)對(duì)船舶的智能跟蹤和監(jiān)控是實(shí)現(xiàn)控制河段信號(hào)臺(tái)數(shù)字化和智能化不可缺少的主要手段。

［1］湯一平.基于計(jì)算機(jī)視覺的內(nèi)河航道智能監(jiān)控系統(tǒng)［C］.／／全國(guó)模式識(shí)別學(xué)術(shù)會(huì)議論文集，2007：369－376.

［2］蘭培真.海事智能視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［J］.中國(guó)航海，2008，31（1）：24－27.

［3］王 瑩.CCTV目標(biāo)定位技術(shù)在VTS領(lǐng)域中的應(yīng)用［D］.大連：大連海事大學(xué)，2010.

［4］湯一平.多視覺信息融合的內(nèi)河航道智能監(jiān)控系統(tǒng)［J］.中國(guó)圖象圖形學(xué)報(bào)，2008，13（8）：1608－1616.

［5］于 臣.基于電子海圖的CCTV智能控制系統(tǒng)［C］.／／中國(guó)航海學(xué)會(huì)通信導(dǎo)航專業(yè)委員會(huì)2006年學(xué)術(shù)年會(huì)論文集.大連：大連海事大學(xué)出版社，2006：93－98.

［6］蘭培真，陶 進(jìn).海事閉路電視智能監(jiān)管聯(lián)動(dòng)系統(tǒng)［J］.中國(guó)航海，2010，33（4）：26－29.

［7］ZHOU Jianmin，WANG Jie.Intelligent vessel dynamics video monitoring system based on AIS data［C］.／／Proceedings of SMC，2009：4932－4935.

［8］周劍敏，王 捷.基于AIS數(shù)據(jù)的智能船舶動(dòng)態(tài)視頻監(jiān)控系統(tǒng)設(shè)計(jì)［J］.上海海事大學(xué)學(xué)報(bào)，2009，30（4）：26－29.