胡文杰, 王 楠, 續(xù)林剛, 崔燕妮

(中國海洋大學(xué)信息科學(xué)與工程學(xué)部, 山東 青島 266100)

海洋是未來人類賴以生存的重要資源,是經(jīng)濟(jì)發(fā)展的重要指標(biāo)。作為陸海兼?zhèn)涞陌l(fā)展中國家,中國提出海洋強(qiáng)國戰(zhàn)略,加快海洋建設(shè),提高海洋礦產(chǎn)資源的開發(fā)與保護(hù)。水下機(jī)器人作為新型海洋裝備的重要成員,無疑是新時(shí)代探測(cè)與開發(fā)海洋資源的利器[1]。近年來,中國水下機(jī)器人技術(shù)飛速發(fā)展,多次在海洋資源探測(cè)中發(fā)揮不可替代的作用[2]。

水下自主作業(yè)機(jī)器人是智能化的移動(dòng)載具,其最大的優(yōu)點(diǎn)在于無人無纜、自帶電源和推進(jìn)系統(tǒng)[3]。正是憑借其獨(dú)特的作業(yè)特點(diǎn)和技術(shù)優(yōu)勢(shì),填補(bǔ)了遙控水下機(jī)器人無法完成的作業(yè)空白。水下自主作業(yè)機(jī)器人可以應(yīng)用在海洋資源調(diào)查、海底測(cè)繪、海洋安防等各種復(fù)雜的水下任務(wù)中[4]。因此,水下自主作業(yè)機(jī)器人是新一代水下裝備的研究重點(diǎn)。

水下機(jī)器人作業(yè)環(huán)境的安全是其完成各種任務(wù)的重要前提和基礎(chǔ)保障。在復(fù)雜的海洋環(huán)境中完成作業(yè),水下機(jī)器人會(huì)受到多種多樣的海洋環(huán)境要素影響,尤其是惡劣的海洋環(huán)境會(huì)對(duì)水下機(jī)器人的安全構(gòu)成嚴(yán)重威脅。因此,水下機(jī)器人在復(fù)雜的海洋環(huán)境中需要對(duì)周圍環(huán)境有全面準(zhǔn)確的態(tài)勢(shì)評(píng)估,以提高自主作業(yè)情況下決策的精準(zhǔn)度。

對(duì)復(fù)雜多變的海洋環(huán)境有準(zhǔn)確的態(tài)勢(shì)評(píng)估,才能使水下自主作業(yè)機(jī)器人具備自主完成各種任務(wù)的軟實(shí)力,這使得態(tài)勢(shì)評(píng)估在理論和應(yīng)用方面不斷發(fā)展。最早提出態(tài)勢(shì)評(píng)估解決方法要追溯到上世紀(jì),Jerome Azarewicz等[5]在1989年提出基于模板的態(tài)勢(shì)評(píng)估的方法。2016年Carlos Morales等[6]提出基于貝葉斯方法進(jìn)行建模和檢測(cè)態(tài)勢(shì)感知信息,應(yīng)用于評(píng)估飛行器的狀態(tài)問題。2018年何艷俠等[7]提出基于環(huán)境態(tài)勢(shì)評(píng)估對(duì)智能車自主變道決策機(jī)制的研究。同年Mingjun Li等[8]提出了一種基于駕駛意圖識(shí)別和態(tài)勢(shì)評(píng)估的共享控制駕駛員輔助系統(tǒng),以避開障礙物。2019年姜龍亭等[9]提出一種面向空戰(zhàn)環(huán)境認(rèn)知的態(tài)勢(shì)評(píng)估模型。2020年丁華東等[10]運(yùn)用混合模型對(duì)網(wǎng)絡(luò)安全態(tài)勢(shì)進(jìn)行評(píng)定。同年Yun Zhang等[11]運(yùn)用強(qiáng)化學(xué)習(xí)的角色批評(píng)算法訓(xùn)練評(píng)估網(wǎng)絡(luò),并在模擬戰(zhàn)斗訓(xùn)練中建立目標(biāo)的態(tài)勢(shì)評(píng)估模型,為導(dǎo)彈攻擊決策提供有效依據(jù)。2021年Hongyu Yang等[12]提出一種基于對(duì)抗式深度學(xué)習(xí)的網(wǎng)絡(luò)態(tài)勢(shì)評(píng)估方法,可以全面靈活地評(píng)估網(wǎng)絡(luò)狀況。

雖然國內(nèi)外學(xué)者在水下機(jī)器人的環(huán)境建模理論[13-14]研究取得了許多成果,但是對(duì)于水下機(jī)器人的環(huán)境安全態(tài)勢(shì)評(píng)估研究卻是淺嘗輒止。目前態(tài)勢(shì)評(píng)估領(lǐng)域的研究多為零散、獨(dú)立的觀點(diǎn),至今沒有一個(gè)系統(tǒng)的理論體系。因此,研究水下自主作業(yè)機(jī)器人的海洋環(huán)境安全態(tài)勢(shì)評(píng)估有重要的理論價(jià)值和現(xiàn)實(shí)意義。

本文提出一種面向水下自主作業(yè)的環(huán)境安全性態(tài)勢(shì)評(píng)估的算法,通過對(duì)圖像提取環(huán)境物體與作業(yè)主體之間的距離信息、水下物體運(yùn)動(dòng)狀況信息和海底地質(zhì)復(fù)雜度等環(huán)境要素實(shí)現(xiàn)信息融合,獲得態(tài)勢(shì)評(píng)估特征,從而構(gòu)建態(tài)勢(shì)評(píng)估模型,生成環(huán)境態(tài)勢(shì)危險(xiǎn)指數(shù),并對(duì)評(píng)估結(jié)果進(jìn)行等級(jí)量化來表征水下環(huán)境態(tài)勢(shì)安全狀況。此外,運(yùn)用圖像金字塔和四叉樹對(duì)態(tài)勢(shì)評(píng)估算法進(jìn)行優(yōu)化,以此來提高算法的計(jì)算效率和準(zhǔn)確率。實(shí)驗(yàn)表明,態(tài)勢(shì)評(píng)估算法能夠快速、準(zhǔn)確的對(duì)周圍環(huán)境進(jìn)行安全性態(tài)勢(shì)評(píng)估,為水下機(jī)器人的自主決策提供有效的參數(shù)保障。

1 相關(guān)工作

態(tài)勢(shì)評(píng)估主要是利用擬人的認(rèn)知思維推理方式,根據(jù)已獲得的要素信息對(duì)環(huán)境進(jìn)行高層理解,并對(duì)未來進(jìn)行預(yù)測(cè)。由于海洋環(huán)境具有復(fù)雜性、未知性和時(shí)變性,因此,水下自主作業(yè)機(jī)器人要有能力對(duì)環(huán)境進(jìn)行態(tài)勢(shì)評(píng)估和相應(yīng)的態(tài)勢(shì)預(yù)測(cè),幫助其高效地完成任務(wù)。

態(tài)勢(shì)評(píng)估可以為水下機(jī)器人的自主決策、路徑規(guī)劃等提供有效的參考。許多學(xué)者對(duì)水下環(huán)境態(tài)勢(shì)評(píng)估進(jìn)行了探索性研究。2012年莫君等[15]采用模糊數(shù)學(xué)方法構(gòu)建環(huán)境要素對(duì)海洋環(huán)境要素的航行安全進(jìn)行評(píng)估,但是研究是在較理想條件下的分析和初步探索。2015年Zhao Yuxin等[16]提出了一種基于D-S證據(jù)理論的水下環(huán)境安全狀況評(píng)價(jià)方法,但是僅選取了三種評(píng)估要素,并不能完全地衡量水下環(huán)境安全狀態(tài)。同年Snidaro Lauro等[17]通過馬爾可夫網(wǎng)絡(luò)理論整合不同的信息,實(shí)現(xiàn)情境評(píng)估,開發(fā)了復(fù)雜的事件級(jí)評(píng)估機(jī)制。由于應(yīng)用的場(chǎng)景均為海面上,無法對(duì)水下的環(huán)境進(jìn)行安全性評(píng)估。2018年么洪飛等[18]采用遺傳算法實(shí)現(xiàn)離散動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí),能夠有效地解決復(fù)雜海洋環(huán)境下的態(tài)勢(shì)評(píng)估問題,但是貝葉斯模型需要收集大量的樣本數(shù)據(jù)完成參數(shù)的學(xué)習(xí)。2019年黃欽龍等[19]提出了基于潛在威脅分析的近岸目標(biāo)威脅評(píng)估模型,兼顧主觀經(jīng)驗(yàn)和客觀數(shù)據(jù)分析其潛在的威脅。但是僅對(duì)海上近岸目標(biāo)進(jìn)行評(píng)估,未對(duì)水下環(huán)境安全態(tài)勢(shì)進(jìn)行評(píng)估。2020年Lang Kun等[20]提出了一種基于貝葉斯網(wǎng)絡(luò)的急情況評(píng)價(jià)方法,對(duì)深海應(yīng)急情況進(jìn)行定量評(píng)價(jià)。然而,貝葉斯網(wǎng)絡(luò)建模需要大量的案例數(shù)據(jù)來進(jìn)行結(jié)構(gòu)和參數(shù)的學(xué)習(xí)。

2 態(tài)勢(shì)評(píng)估

2.1 態(tài)勢(shì)評(píng)估框架

態(tài)勢(shì)評(píng)估是高層信息處理的過程,是體現(xiàn)機(jī)器人智能化的重要環(huán)節(jié)。通過對(duì)水下環(huán)境進(jìn)行態(tài)勢(shì)評(píng)估可獲得水下環(huán)境威脅的基本情況,為水下自主作業(yè)機(jī)器人確定海域危險(xiǎn)程度提供依據(jù)。水下環(huán)境安全態(tài)勢(shì)評(píng)估涉及到多種感知信息融合,因此,本文結(jié)合態(tài)勢(shì)感知三級(jí)模型[21]構(gòu)建水下環(huán)境安全性態(tài)勢(shì)評(píng)估框架,可將其分為態(tài)勢(shì)觀測(cè)、態(tài)勢(shì)理解和態(tài)勢(shì)估計(jì)三個(gè)階段,整體流程如圖1所示。

圖1 態(tài)勢(shì)評(píng)估流程圖

2.2 態(tài)勢(shì)評(píng)估環(huán)境要素

環(huán)境安全受到多種海洋環(huán)境因素的影響,與海洋環(huán)境因素的基本特征和分布密切相關(guān),特別是一些環(huán)境要素會(huì)對(duì)水下機(jī)器人的自主作業(yè)構(gòu)成直接影響和嚴(yán)重制約,因此,要獲得更為精確的、可為自主作業(yè)提供幫助的態(tài)勢(shì)評(píng)估,水下自主機(jī)器人需要綜合評(píng)估多種環(huán)境要素,其中包括:環(huán)境物體與作業(yè)主體之間的距離、水下物體運(yùn)動(dòng)混亂度和海底地質(zhì)復(fù)雜度。本文重點(diǎn)關(guān)注由視覺攝像機(jī)提供的環(huán)境參數(shù)信息,包括深度信息、運(yùn)動(dòng)信息和地質(zhì)復(fù)雜度信息。

2.2.1 深度信息 場(chǎng)景中的深度估計(jì)信息在態(tài)勢(shì)評(píng)估中發(fā)揮著重要的作用,而深度信息的獲取主要可以分為兩種方式:主動(dòng)深度傳感器和被動(dòng)測(cè)距傳感器[22]。主動(dòng)深度傳感器主要是通過機(jī)械設(shè)備來獲得場(chǎng)景的深度信息,最常見的設(shè)備就是激光雷達(dá)。然而,水體對(duì)光線的吸收、散射以及不同水域渾濁度變化極大,因此,激光雷達(dá)在水下的測(cè)量無法保證精度。被動(dòng)深度信息獲取是利用同一場(chǎng)景的圖像進(jìn)行深度估計(jì)。常見的被動(dòng)測(cè)距可以分為兩種方法:單視圖估計(jì)和多視圖估計(jì)。其中,基于多視圖估計(jì)的方法主要是使用雙目圖像進(jìn)行推理,通過幾何方法對(duì)圖像進(jìn)行推理、匹配、計(jì)算,利用相機(jī)參數(shù)和匹配信息從而獲得深度信息?；陔p目圖像的深度估計(jì)方法受到基線長度的影響,因此應(yīng)用范圍有較大的局限性。相對(duì)而言,單視圖深度估計(jì)只需要幾幅場(chǎng)景單目圖像即可估計(jì)深度信息。其中,最簡(jiǎn)單的單目圖像獲取方式就是使用單目相機(jī)拍攝。為了充分發(fā)揮水下機(jī)器人現(xiàn)有攝像機(jī)的作用,本文采用基于單視圖的方式獲取深度信息。

根據(jù)Jaffe-McGlamery模型[23],水下成像系統(tǒng)所接收到的總強(qiáng)度由目標(biāo)物體反射的直接分量、目標(biāo)物體反射發(fā)生小角度散射的前向散射分量、周圍環(huán)境光被懸浮顆粒等散射所造成的后向散射分量這三部分線性疊加組成。對(duì)比太陽光與水下目標(biāo)的距離,水下相機(jī)與目標(biāo)的距離很近,可忽略前向散射分量所引起的模糊。因此,水下光學(xué)成像模型為:

I(x)=J(x)ξ(x)+A(x)[1-ξ(x)]。

(1)

式中:x表示圖像中的像素點(diǎn);I(x)表示拍攝圖像;J(x)表示清晰圖像;A(x)為背景光;ξ(x)表示傳播系數(shù)。

為了獲得準(zhǔn)確的深度估計(jì)圖,采用基于像素值的方法求解背景光。由于水體對(duì)不同顏色光的吸收和散射系數(shù)不同,因此在水下的衰減也不同,所以R,G,B三種顏色的傳播系數(shù)需要分開考慮,因此,可將式(1)改寫成:

IR(x)=JR(x)ξR(x)+AR(x)[1-ξR(x)],IG(x)=JG(x)ξG(x)+AG(x)[1-ξG(x)],IB(x)=JB(x)ξB(x)+AB(x)[1-ξB(x)]。

(2)

式中R,G,B分別代表圖像的三個(gè)通道。

以R通道為例,對(duì)式(2)兩邊在局部區(qū)域Ω(x)上取最大值,假設(shè)傳播系數(shù)ξ(x)和背景光A(x)在局部區(qū)域Ω(x)中保持一致,得到:

(3)

式中y代表局部區(qū)域Ω(x)上的像素點(diǎn)。

將式(3)化簡(jiǎn),可得到:

(4)

考慮到近距離的衰減,通常水下背景光A是比較暗的,特別是在深海中,同時(shí)在合適的窗口尺寸下,目標(biāo)離相機(jī)越接近,目標(biāo)區(qū)域越明亮,J的最大值越近似于1,則有:

(5)

利用背景光和傳播系數(shù)并結(jié)合式(1),即可獲得圖像的深度估計(jì)信息。

2.2.2 運(yùn)動(dòng)信息 場(chǎng)景中移動(dòng)物體的運(yùn)動(dòng)情況對(duì)于準(zhǔn)確預(yù)測(cè)場(chǎng)景未來走向,幫助機(jī)器人盡早做出規(guī)劃至關(guān)重要。光流法能夠從圖像中獲得密集的速度矢量,被廣泛應(yīng)用于檢測(cè)各種流體,適用于不同場(chǎng)景下的運(yùn)動(dòng)估計(jì)[24]。因此,可采用光流法表示水流以及內(nèi)部物體的運(yùn)動(dòng)混亂程度,從而實(shí)現(xiàn)對(duì)水下物體運(yùn)動(dòng)狀況的檢測(cè)。

光流法研究的是圖像中像素運(yùn)動(dòng)的瞬時(shí)速度,其原理是利用圖像序列中像素在時(shí)間域上的變化以及相鄰幀之間的相關(guān)性,找出圖像的上一幀與當(dāng)前幀之間存在的對(duì)應(yīng)關(guān)系,從而計(jì)算出圖像相鄰幀之間物體的運(yùn)動(dòng)信息。根據(jù)光流微小運(yùn)動(dòng)和亮度恒定這兩個(gè)假設(shè),則有:

P(m,n,t)=P(m+Δm,n+Δn,t+Δt)。

(6)

式中:P(m,n,t)表示在t時(shí)刻圖像(m,n)處的像素值;P(m+Δm,n+Δn,t+Δt)表示經(jīng)過Δt時(shí)間后圖像(m,n)分別在m,n方向上移動(dòng)了Δm,Δn距離后的像素值。

將式(6)按照泰勒公式展開并整理可得:

(7)

(8)

然而,單獨(dú)使用式(8)去求解兩個(gè)未知量u、v是不能獲得唯一解,這被稱為光流計(jì)算的孔徑問題。為了解決這個(gè)問題,通常引用附加的平滑項(xiàng)Ereg(u,v)執(zhí)行流場(chǎng)的空間平滑度一致性,具體為:

Ereg(u,v)=?Ω[(|▽u|)2+(|▽v|)2]dmdn。

(9)

式中▽表示梯度算子。通過式(8)和式(9)可獲得經(jīng)典的變分光流法的能量最小化函數(shù)E(u,v)。通過式(10)可求解運(yùn)動(dòng)物體的光流信息:

(10)

式中γ為平衡系數(shù)。

2.2.3 地質(zhì)復(fù)雜度信息 海底地貌形態(tài)是由于受到板塊運(yùn)動(dòng)、地震火山等各種因素導(dǎo)致地質(zhì)變化而形成的。海底復(fù)雜度是描述海底地貌復(fù)雜程度的一個(gè)量化指標(biāo),是水下機(jī)器人自主作業(yè)時(shí)需要考慮的一個(gè)重要因素。

圖像復(fù)雜度是對(duì)一個(gè)圖像復(fù)雜程度的度量,關(guān)于圖像復(fù)雜度目前沒有一個(gè)統(tǒng)一的定量描述,直覺上往往從圖像的輪廓等信息來描述復(fù)雜度。因此,本文采用對(duì)水下圖像求取二階導(dǎo)數(shù)獲取地質(zhì)的輪廓信息,以此表征地質(zhì)復(fù)雜度信息。其中,Laplacian邊緣檢測(cè)算法是一種常用的二階微分算法,被廣泛應(yīng)用于圖像的邊緣檢測(cè)。它具有各方向同性的優(yōu)點(diǎn),即旋轉(zhuǎn)不變性和位移不變性,能夠?qū)θ我夥较虻倪吘夁M(jìn)行提取,具體的計(jì)算公式如下:

(11)

式中:(i,j)為圖像對(duì)應(yīng)點(diǎn)坐標(biāo);f為原始圖像;FLaplacian為檢測(cè)得到的邊緣信息;?代表卷積運(yùn)算。

2.3 態(tài)勢(shì)評(píng)估信息融合

影響水下機(jī)器人自主作業(yè)的海洋環(huán)境要素有很多,若只考慮環(huán)境與作業(yè)主體之間的距離、物體運(yùn)動(dòng)混亂度和海底地質(zhì)復(fù)雜度信息進(jìn)行態(tài)勢(shì)評(píng)估顯然是不全面的。若在評(píng)估中考慮所有的海洋環(huán)境要素,不僅評(píng)估模型構(gòu)建復(fù)雜、計(jì)算繁瑣,還有可能會(huì)混淆或者削弱主要海洋環(huán)境要素的作用,故可按照代表性、全面性以及可行性等原則對(duì)海洋環(huán)境要素進(jìn)行篩選。選取影響水下態(tài)勢(shì)評(píng)估環(huán)境要素主要有:復(fù)雜度信息、深度信息、光流流速信息、區(qū)域混亂度信息以及運(yùn)動(dòng)狀態(tài)光流混亂度信息。

單目攝像機(jī)獲取水下環(huán)境的圖像信息,提取圖像的環(huán)境要素,通過信息融合并結(jié)合海洋環(huán)境的特點(diǎn),從而建立海洋環(huán)境安全態(tài)勢(shì)評(píng)估特征S,如式(12)所示:

(12)

圖2 態(tài)勢(shì)評(píng)估結(jié)構(gòu)圖

為了實(shí)現(xiàn)更加準(zhǔn)確的信息融合和評(píng)估推斷,以此更好的表征環(huán)境態(tài)勢(shì)安全性模型,在態(tài)勢(shì)評(píng)估特征信息的基礎(chǔ)上實(shí)現(xiàn)進(jìn)一步提取特征,生成三個(gè)更高維度的特征信息,即整體特征、區(qū)域特征和細(xì)節(jié)特征。其中,環(huán)境安全態(tài)勢(shì)用來保存最終的推理結(jié)果,不需要進(jìn)行提取節(jié)點(diǎn)屬性。

2.4 態(tài)勢(shì)空間推理

本文并沒有對(duì)水下環(huán)境中具體目標(biāo)進(jìn)行分類,也沒有對(duì)其行為分類,而是從更加普適性的角度出發(fā),重點(diǎn)分析水下場(chǎng)景的復(fù)雜程度,通過對(duì)圖像提取特征進(jìn)行信息融合處理,從而實(shí)現(xiàn)準(zhǔn)確的水下環(huán)境安全性態(tài)勢(shì)評(píng)估。其中,圖像信息融合可以實(shí)現(xiàn)特征信息互補(bǔ),減少背景信息的干擾,為此我們定義了環(huán)境態(tài)勢(shì)危險(xiǎn)指數(shù),以此來定量表征態(tài)勢(shì)安全性。其中,環(huán)境態(tài)勢(shì)危險(xiǎn)指數(shù)越接近于0,表示環(huán)境態(tài)勢(shì)越安全;該數(shù)值越大,表示環(huán)境態(tài)勢(shì)越危險(xiǎn)。對(duì)態(tài)勢(shì)評(píng)估特征進(jìn)行歸一化處理,結(jié)合態(tài)勢(shì)評(píng)估模型框架,構(gòu)建環(huán)境態(tài)勢(shì)危險(xiǎn)指數(shù)的計(jì)算規(guī)則為:

(13)

3 態(tài)勢(shì)評(píng)估算法與結(jié)果評(píng)價(jià)

3.1 態(tài)勢(shì)評(píng)估準(zhǔn)則

由于態(tài)勢(shì)空間推理階段獲得離散數(shù)值無法直觀地表征水下環(huán)境安全狀況,因此,本文使用了隸屬度函數(shù),將離散數(shù)值轉(zhuǎn)換為對(duì)應(yīng)的隸屬值,實(shí)現(xiàn)對(duì)海洋環(huán)境從數(shù)值描述轉(zhuǎn)換為態(tài)勢(shì)安全狀態(tài)描述,使得結(jié)果展示更加直觀、簡(jiǎn)潔。為了提高評(píng)估效果并結(jié)合實(shí)際情況,對(duì)海洋環(huán)境安全態(tài)勢(shì)的評(píng)估等級(jí)劃分為3種:安全、較危險(xiǎn)和危險(xiǎn)。選擇三值模糊處理的方式,實(shí)現(xiàn)對(duì)環(huán)境態(tài)勢(shì)危險(xiǎn)指數(shù)進(jìn)行安全等級(jí)量化。隸屬度函數(shù)U(s_value)定義形式如下:

(14)

式中s_value代表環(huán)境態(tài)勢(shì)危險(xiǎn)指數(shù),若s_value位于區(qū)間[0,0.42),則態(tài)勢(shì)評(píng)估結(jié)果的隸屬值為0,將該s_value對(duì)應(yīng)的圖像塊原色輸出,在本文中亦可以理解為環(huán)境態(tài)勢(shì)安全;若s_value位于區(qū)間[0.42,0.6),則態(tài)勢(shì)評(píng)估結(jié)果的隸屬值為1,將s_value對(duì)應(yīng)的圖像塊添加黃色背景,在本文中亦可以理解為環(huán)境態(tài)勢(shì)較危險(xiǎn);若s_value>0.6,則態(tài)勢(shì)評(píng)估結(jié)果的隸屬值為2,將s_value對(duì)應(yīng)的圖像塊添加紅色背景,在本文中亦可以理解為環(huán)境態(tài)勢(shì)危險(xiǎn)。

3.2 算法實(shí)現(xiàn)

為了實(shí)現(xiàn)精準(zhǔn)檢測(cè)復(fù)雜背景下環(huán)境的安全態(tài)勢(shì),需要將復(fù)雜的海洋環(huán)境要素信息素簡(jiǎn)化為可計(jì)算的數(shù)值。對(duì)于深度信息,本文參照了IBLA算法(Image blurriness and light absorption)[25]。IBLA通過結(jié)合三種深度估計(jì)方法計(jì)算出場(chǎng)景的深度,從而可以獲得精準(zhǔn)的深度估計(jì)信息。紅光是可見光中波長最長的,即前向傳播能力最強(qiáng),因此,可直接根據(jù)紅色通道的衰減程度獲得深度估計(jì)圖Dr;采用MIP算法(Maximum intensity prior)[26],即使用紅色通道和藍(lán)色與綠色通道的最大強(qiáng)度的差值,獲得深度估計(jì)圖Dd;利用圖像模糊度計(jì)算深度估計(jì)圖Db。最后,按照式(15)實(shí)現(xiàn)三種深度估計(jì)圖的結(jié)合,得到最終的深度估計(jì)圖:

D=θ[φ×Dd+(1-φ)Dr]+(1-θ)Db。

(15)

式中:D為三種方法結(jié)合的深度估計(jì)圖;Dr,Dd,Db分別為上述三種估計(jì)方法獲得的深度估計(jì)圖;θ,φ為平衡系數(shù)。

對(duì)于運(yùn)動(dòng)信息,Farneback稠密光流算法可準(zhǔn)確獲取所有運(yùn)動(dòng)物體的光流矢量。Farneback算法使用多項(xiàng)式擬合平面的方式評(píng)估圖像中各個(gè)點(diǎn)的運(yùn)動(dòng)情況,將笛卡爾坐標(biāo)系上的二維圖像信號(hào)轉(zhuǎn)換到以(1,x,y,x2,y2,xy)作為基函數(shù)的空間中,通過觀察一個(gè)多項(xiàng)式如何在平移下進(jìn)行精確變換,最終從多項(xiàng)式展開系數(shù)中推導(dǎo)得到位移場(chǎng)。將圖像上所有像素點(diǎn)的光流都計(jì)算出來,因此可以獲得全面的運(yùn)動(dòng)物體檢測(cè)。

對(duì)于地質(zhì)復(fù)雜度信息,通過對(duì)采集的圖像使用Laplacian算子計(jì)算圖像的二階梯度,從而可以統(tǒng)計(jì)出圖像中物體的復(fù)雜度信息。此外,光流不僅可以表示剛性物體的運(yùn)動(dòng)狀況,在流體的運(yùn)動(dòng)表示中同樣出色[24]。光流法可以從圖像中提取密集準(zhǔn)確的速度矢量,從而準(zhǔn)確的檢測(cè)物體運(yùn)動(dòng)。因此,本文采用光流法表示水流以及內(nèi)部物體的運(yùn)動(dòng)混亂程度,以便對(duì)水下環(huán)境進(jìn)行全面的態(tài)勢(shì)評(píng)估。對(duì)于每一個(gè)時(shí)間的光流方向,更加值得關(guān)注的是光流方向的變化,更混亂的變化意味著更混亂的擾動(dòng),意味著水下環(huán)境更加復(fù)雜危險(xiǎn)。所以,通過計(jì)算出圖像區(qū)域光流方向直方圖,用光流方向直方圖的方差表征區(qū)域混亂度,計(jì)算時(shí)間內(nèi)的光流方向直方圖的協(xié)方差的均值表征運(yùn)動(dòng)狀態(tài)光流混亂度。

對(duì)于環(huán)境態(tài)勢(shì)危險(xiǎn)的區(qū)域不適宜自主作業(yè),無需進(jìn)一步細(xì)化窗口區(qū)域。同理,環(huán)境態(tài)勢(shì)安全的區(qū)域也無需進(jìn)一步細(xì)化。因此,為了提高環(huán)境態(tài)勢(shì)評(píng)估的計(jì)算效率和準(zhǔn)確率,對(duì)構(gòu)建的態(tài)勢(shì)評(píng)估模型進(jìn)行算法優(yōu)化。采用圖像金字塔自頂至下,逐步細(xì)化的思路,并且將圖像金字塔生成相對(duì)應(yīng)的四叉樹,引入閾值熔斷機(jī)制,采取基于節(jié)點(diǎn)的態(tài)勢(shì)評(píng)估計(jì)算方法,可快速計(jì)算態(tài)勢(shì)評(píng)估結(jié)果。所開發(fā)的態(tài)勢(shì)評(píng)估方法的偽代碼如下列算法所示:

從單目攝像機(jī)中獲得水下環(huán)境圖像實(shí)現(xiàn)預(yù)處理(見圖3)。首先,圖像按照每層縮小2倍進(jìn)行5層下采樣,生成相對(duì)應(yīng)的圖像金字塔。然后,將圖像金字塔表示成一顆四叉樹,樹根代表最頂層的圖像,除了葉節(jié)點(diǎn)外,樹中每個(gè)節(jié)點(diǎn)均有四個(gè)子節(jié)點(diǎn)。其中,四叉樹的每層節(jié)點(diǎn)與圖像金字塔的每層相對(duì)應(yīng),四叉樹中每個(gè)節(jié)點(diǎn)的圖像塊尺寸都相同,可以保證后續(xù)檢測(cè)的準(zhǔn)確性。根據(jù)四叉樹的節(jié)點(diǎn)進(jìn)行態(tài)勢(shì)評(píng)估,如果檢查到某個(gè)子節(jié)點(diǎn)符合態(tài)勢(shì)評(píng)估準(zhǔn)則,則該子節(jié)點(diǎn)不再往下分割,把該節(jié)點(diǎn)作為根節(jié)點(diǎn)的子樹進(jìn)行刪除,完成剪枝操作;否則,把這個(gè)節(jié)點(diǎn)再根據(jù)對(duì)應(yīng)的圖像金字塔分割成四個(gè)區(qū)域,這樣遞歸地分割,直到每個(gè)區(qū)域都符合態(tài)勢(shì)評(píng)估準(zhǔn)則中安全或者危險(xiǎn)等級(jí)。

圖3 圖像預(yù)處理

3.3 態(tài)勢(shì)評(píng)估結(jié)果

首先,我們定性地分析態(tài)勢(shì)評(píng)估結(jié)果。在圖4中,我們對(duì)14種不同水域的水下環(huán)境圖像進(jìn)行態(tài)勢(shì)評(píng)估測(cè)評(píng),可以看出本文提的態(tài)勢(shì)評(píng)估算法是一種可普遍適應(yīng)于水下場(chǎng)景的評(píng)估方法。態(tài)勢(shì)評(píng)估算法可以直接輸出給定水下環(huán)境的安全性評(píng)估結(jié)果,可將海洋環(huán)境在物理層面上地形地貌、水文等要素相互作用的結(jié)果轉(zhuǎn)換為數(shù)學(xué)層面上多源環(huán)境信息綜合的結(jié)果。

圖4 態(tài)勢(shì)評(píng)估結(jié)果

此外,為了使得態(tài)勢(shì)評(píng)估的結(jié)果更加直觀、方便可視化,對(duì)態(tài)勢(shì)評(píng)估結(jié)果進(jìn)一步處理,即判斷出水下環(huán)境適宜自主作業(yè)的安全等級(jí),對(duì)不安全的區(qū)域根據(jù)不同安全等級(jí)進(jìn)行標(biāo)記,按照紅色、黃色和原色三種不同的背景顏色將危險(xiǎn)程度進(jìn)行等級(jí)量化。其中,紅色背景代表危險(xiǎn)、黃色背景代表較危險(xiǎn)、原色背景代表安全。態(tài)勢(shì)評(píng)估算法通過數(shù)值量化風(fēng)險(xiǎn)等級(jí),便于客觀定量的分析比較,并且采用不同顏色對(duì)評(píng)估的不同安全等級(jí)進(jìn)行標(biāo)定,并將危險(xiǎn)分級(jí)標(biāo)注出來,從而獲得合理、直觀的評(píng)估結(jié)果。態(tài)勢(shì)評(píng)估算法可對(duì)水下自然環(huán)境及其內(nèi)部物體進(jìn)行精細(xì)化的危險(xiǎn)性評(píng)估,為水下機(jī)器人自主作業(yè)提供技術(shù)支持。

為了定量評(píng)判態(tài)勢(shì)評(píng)估算法的準(zhǔn)確性,本文從實(shí)際水下自主作業(yè)的需求出發(fā),開發(fā)了環(huán)境態(tài)勢(shì)分析交互界面,實(shí)現(xiàn)人工對(duì)照實(shí)驗(yàn)。通過咨詢海洋生態(tài)、環(huán)境等領(lǐng)域的專家,充分融合專家經(jīng)驗(yàn)、知識(shí)與水下環(huán)境要素的客觀數(shù)據(jù),按照綜合性安全評(píng)估準(zhǔn)則進(jìn)行人工態(tài)勢(shì)評(píng)估,從而獲得人工評(píng)估結(jié)果圖。將人工評(píng)估結(jié)果圖與態(tài)勢(shì)評(píng)估結(jié)果圖各自均分為256份,按照評(píng)估結(jié)果為安全或危險(xiǎn)轉(zhuǎn)化為16×16的二維矩陣,根據(jù)兩者評(píng)估結(jié)果是否相同計(jì)算出態(tài)勢(shì)相似準(zhǔn)確度,其公式為:

(16)

式中:Accuracy代表態(tài)勢(shì)相似準(zhǔn)確度;Saij代表態(tài)勢(shì)評(píng)估二維矩陣的第i行,第j列結(jié)果;Aaij代表人工評(píng)估二維矩陣的第i行,第j列結(jié)果。

通過統(tǒng)計(jì)態(tài)勢(shì)評(píng)估算法和人工評(píng)估兩者結(jié)果的異同,計(jì)算出相應(yīng)的態(tài)勢(shì)相似準(zhǔn)確度(見圖5)。態(tài)勢(shì)評(píng)估算法在14種不同的水下環(huán)境場(chǎng)景下進(jìn)行測(cè)評(píng),對(duì)14種不同的水下環(huán)境場(chǎng)景計(jì)算平均態(tài)勢(shì)評(píng)估準(zhǔn)確率達(dá)到87.2%。由圖5可知,態(tài)勢(shì)評(píng)估算法的準(zhǔn)確率較高,證實(shí)了水下環(huán)境安全性態(tài)勢(shì)評(píng)估算法的可操作性和準(zhǔn)確性。此外,為了方便觀察態(tài)勢(shì)評(píng)估結(jié)果準(zhǔn)確率,在垂直面設(shè)置了0.70的閾值面,小于閾值的圖像進(jìn)行反向的輸出,其中,由于水下相機(jī)拍攝角度的問題,從而出現(xiàn)假性的近距離,導(dǎo)致圖4(e)和圖4(n)的態(tài)勢(shì)相似度較差,后續(xù)將考慮添加相機(jī)位,多角度拍攝取景,實(shí)現(xiàn)聯(lián)合態(tài)勢(shì)評(píng)估從而克服這個(gè)問題。針對(duì)圖4(d)出現(xiàn)對(duì)于魚類的危險(xiǎn)性誤判,后續(xù)擬采用光流聚類的方法對(duì)數(shù)據(jù)進(jìn)行分析,得到光流一致且幅度較大的目標(biāo),減除掉目標(biāo)的光流信息,從而解決危險(xiǎn)誤判的問題,最終可得到優(yōu)化的環(huán)境態(tài)勢(shì)評(píng)估結(jié)果?？傮w而言,態(tài)勢(shì)評(píng)估算法可以輸出不錯(cuò)的評(píng)估結(jié)果,可以為水下機(jī)器人自主作業(yè)提供有效參考。

圖5 態(tài)勢(shì)準(zhǔn)確度柱狀圖

4 結(jié)語

在本文中,我們提出了一種面向水下自主作業(yè)的環(huán)境安全性態(tài)勢(shì)評(píng)估方法,可以將圖像中不確定的環(huán)境狀態(tài)要素轉(zhuǎn)換為可靠的評(píng)估結(jié)果。通過信息融合處理獲得態(tài)勢(shì)評(píng)估特征,構(gòu)建態(tài)勢(shì)評(píng)估模型,對(duì)水下環(huán)境安全進(jìn)行評(píng)估。此外,還通過結(jié)合圖像金字塔和四叉樹對(duì)態(tài)勢(shì)評(píng)估算法實(shí)現(xiàn)優(yōu)化,提高態(tài)勢(shì)評(píng)估的計(jì)算效率。實(shí)驗(yàn)表明,本文所提算法能準(zhǔn)確、有效評(píng)價(jià)水下環(huán)境安全態(tài)勢(shì)評(píng)估的問題,進(jìn)而增強(qiáng)水下自主作業(yè)機(jī)器人應(yīng)對(duì)海洋環(huán)境的快速反應(yīng)能力,為研究海洋環(huán)境評(píng)價(jià)提供了新思路。但是,本文算法是基于圖像的態(tài)勢(shì)評(píng)估,忽略了時(shí)間序列對(duì)態(tài)勢(shì)評(píng)估的影響,未來我們研究的重點(diǎn)將是基于水下視頻的態(tài)勢(shì)評(píng)估。