張培宣,陳曉東, ,孔帥,季少鵬,季順迎,
(1.大連理工大學(xué) 工業(yè)裝備結(jié)構(gòu)分析國(guó)家重點(diǎn)實(shí)驗(yàn)室,遼寧 大連 116023;2.大連理工大學(xué) 白俄羅斯國(guó)立大學(xué)聯(lián)合學(xué)院,遼寧 大連 116023;3.中國(guó)船舶科學(xué)研究中心,江蘇 無(wú)錫 214082)
隨著全球氣候變暖,北極海冰快速消融,使得北極航道的開(kāi)發(fā)逐漸引起人們關(guān)注[1-2]。冰載荷是極地冰區(qū)航行船舶的主要設(shè)計(jì)參數(shù),而海冰厚度是冰載荷確定過(guò)程中的主要參數(shù)[3-5]。其次,海冰厚度還是海冰災(zāi)害風(fēng)險(xiǎn)評(píng)估的主要指標(biāo)之一。渤海遼東灣是我國(guó)冰情最嚴(yán)重的地區(qū)之一,每年對(duì)其冰情進(jìn)行評(píng)估時(shí),都需要大量使用到海冰厚度以及密集度等參數(shù)[6]。另外,海冰厚度也是冰區(qū)海洋結(jié)構(gòu)設(shè)計(jì)的關(guān)鍵參數(shù)。在計(jì)算海洋工程設(shè)計(jì)的控制載荷—海冰作用力時(shí)需要使用到海冰厚度等參數(shù)信息[7]。由此可見(jiàn),海冰厚度參數(shù)大量應(yīng)用于極地船舶冰載荷分析、海冰災(zāi)害評(píng)估以及海工結(jié)構(gòu)設(shè)計(jì)等重要領(lǐng)域[8]。
我國(guó)系統(tǒng)性的海冰信息監(jiān)測(cè)始于20 世紀(jì)60 年代初期,相繼發(fā)展了沿岸站臺(tái)測(cè)量、沿岸冰調(diào)查、破冰船海冰調(diào)查、衛(wèi)星遙感、航空遙感和平臺(tái)定點(diǎn)觀測(cè)等觀測(cè)手段[9-11]?,F(xiàn)有條件下極地船舶獲取海冰信息的主要方式為衛(wèi)星遙感[12-13]。高分辨率的衛(wèi)星圖像和數(shù)據(jù)產(chǎn)品可以提供船只航行路線上大范圍的海冰信息,從而幫助其選擇最佳航道[14-15]。但衛(wèi)星遙感監(jiān)測(cè)的采樣頻率較低,一般存在1 d 以上預(yù)報(bào)延遲,因此不適用于船舶的短期航線規(guī)劃[16-17]。據(jù)此,本文提出利用船側(cè)視頻圖像數(shù)據(jù),通過(guò)機(jī)器視覺(jué)相關(guān)算法完成海冰厚度參數(shù)的實(shí)時(shí)提取?,F(xiàn)行機(jī)器視覺(jué)技術(shù)系統(tǒng)主要由光學(xué)照明系統(tǒng)、成像系統(tǒng)和視覺(jué)信息處理系統(tǒng)等部分組成,能夠完成包括特征提取、模式識(shí)別、語(yǔ)義理解等功能并大范圍應(yīng)用于產(chǎn)品瑕疵檢測(cè)、視頻監(jiān)控分析以及自動(dòng)和輔助駕駛等領(lǐng)域[18]。
“雪龍”號(hào)在極地航行過(guò)程中需要實(shí)時(shí)監(jiān)測(cè)航行區(qū)域的冰面類(lèi)型以及海冰厚度等數(shù)據(jù)[19-20]。現(xiàn)有圖像分析軟件無(wú)法做到對(duì)于海冰參數(shù)準(zhǔn)確、有效地識(shí)別,所以只能采用人工識(shí)別的方法[21-23]。但人工識(shí)別不僅耗費(fèi)人力,而且在一些數(shù)據(jù)的得出上耗時(shí)過(guò)長(zhǎng),因此,開(kāi)發(fā)新型圖像分析軟件來(lái)完成海冰參數(shù)的實(shí)時(shí)監(jiān)測(cè),對(duì)于極地船舶的航行具有極高的重要性[24-26]。
Hough 變換是一種從圖像空間到參數(shù)空間的映射關(guān)系,其將圖像空間中復(fù)雜的邊緣特征映射為參數(shù)空間中的聚類(lèi)檢測(cè)問(wèn)題,使得Hough 變換方法成為提取邊緣線條特征的強(qiáng)有力工具[27]?;谏鲜鰞?yōu)點(diǎn)和特性,Hough 變換算法被廣泛應(yīng)用于運(yùn)動(dòng)目標(biāo)的識(shí)別與軌跡監(jiān)測(cè)等領(lǐng)域[28]。
根據(jù)上述介紹以及海冰翻轉(zhuǎn)時(shí)截面邊緣線的幾何特征,本文提出基于Hough 變換的機(jī)器視覺(jué)方法,以此實(shí)現(xiàn)海冰厚度參數(shù)的自動(dòng)識(shí)別,并利用“雪龍”號(hào)北極實(shí)地走航數(shù)據(jù)對(duì)上述方法進(jìn)行適用性與可靠性的分析。
采用船側(cè)視頻圖像提取海冰厚度參數(shù)時(shí),海冰翻轉(zhuǎn)時(shí)的截面幾何形狀是測(cè)量冰厚的主要依據(jù)。如圖1所示,因?yàn)楹1鶖嗔押蠼孛孑^為平整,所以海冰翻轉(zhuǎn)時(shí)截面兩側(cè)邊緣線近似平行。
圖1 “雪龍”號(hào)科考船北極航行中的冰厚測(cè)量示例[29]Fig.1 Example of ice thickness measurement during the Arctic voyage of Xuelong scientific research ship[29]
參考現(xiàn)行人工測(cè)量方法中以海冰兩側(cè)邊緣平行線之間距離作為海冰厚度的基本思想,設(shè)計(jì)開(kāi)發(fā)海冰厚度的自動(dòng)識(shí)別程序。程序總體流程分為3 部分:圖像邊緣線檢測(cè)、線段檢測(cè)與平行線檢測(cè)。在圖像邊緣線檢測(cè)中根據(jù)灰度梯度變化情況,利用sobel 算子完成邊緣線檢測(cè);線段檢測(cè)中利用Hough 變換,識(shí)別邊緣線中的線段,并輸出線段的角度和極徑參數(shù);在平行線檢測(cè)中,根據(jù)海冰翻轉(zhuǎn)時(shí)的幾何特征制定線段組夾角、距離以及間距3 種判定條件。最后,當(dāng)有邊緣線段組滿足平行線判斷條件時(shí)輸出海冰厚度參數(shù)[30-31]。
線段識(shí)別是檢測(cè)圖像中平行線的基礎(chǔ)。但一張圖像中所包含的線段幾乎是無(wú)限的,所以無(wú)法在圖像中直接判斷,因此引入Hough 變換[32]。Hough 變換的基礎(chǔ)是建立極坐標(biāo)空間,用(ρ,θ)表示空間各點(diǎn),并根據(jù)極坐標(biāo)變換將圖像中所有直線用空間各點(diǎn)(ρ,θ)表示。根據(jù)直線在極坐標(biāo)系與直角坐標(biāo)系間轉(zhuǎn)換關(guān)系得式(1),公式為
式中,ρ為原點(diǎn)到該直線的垂直距離;x、y為圖像中任意點(diǎn)的坐標(biāo);θ為垂線與x軸的夾角。
Hough 變換后得出極坐標(biāo)空間與圖像空間滿足下述關(guān)系:極坐標(biāo)空間中任意點(diǎn)(ρ,θ)都代表圖像空間中的一條直線,并將此直線記作l(ρ,θ);圖像空間中任意點(diǎn)(x,y)對(duì)應(yīng)于極坐標(biāo)空間中一條三角函數(shù)線。
由此可知,當(dāng)圖像中有一定數(shù)量的邊緣點(diǎn)(即經(jīng)過(guò)邊緣檢測(cè)后被檢測(cè)出來(lái)的邊緣像素點(diǎn))位于l(ρ,θ)上時(shí),極坐標(biāo)空間中會(huì)有相同數(shù)量的三角函數(shù)線經(jīng)過(guò)(ρ,θ)點(diǎn),如圖2a 所示。利用上述特性可以實(shí)現(xiàn)邊緣線中的線段識(shí)別。實(shí)現(xiàn)方法為建立累計(jì)數(shù)組,并定義l(ρ,θ)中包含的邊緣點(diǎn)數(shù)量為累加量N(ρ,θ)。因?yàn)檎鎸?shí)線段中包含超過(guò)一定數(shù)量的邊緣點(diǎn),所以需要設(shè)立相應(yīng)的閾值Nw進(jìn)行判斷。若N(ρ,θ)大于設(shè)定閾值Nw,則認(rèn)為圖像空間中的l(ρ,θ)真實(shí)存在[33-34]。將上述變換過(guò)程應(yīng)用于真實(shí)圖像,并在極坐標(biāo)空間中框選出所有累加量滿足閾值Nw的(ρ,θ)點(diǎn)得到圖2b。圖2b 中框選的5 個(gè)(ρ,θ)點(diǎn)代表圖像中真實(shí)存在的5 條邊緣線段。
圖2 邊緣線段識(shí)別結(jié)果Fig.2 Recognition result of edge segment
應(yīng)用Hough 變換方法處理“雪龍”號(hào)走航實(shí)測(cè)圖像的過(guò)程中發(fā)現(xiàn),當(dāng)閾值Nw取為累加量中最大值Nmax的1/20 時(shí),程序能較好地識(shí)別出圖像中的線段并輸出近似線段參數(shù)。程序?qū)嶋H應(yīng)用后識(shí)別得到圖3b 所示的邊緣線段。
圖3 邊緣線段識(shí)別結(jié)果Fig.3 Recognition result of edge segment
雖然通過(guò)Hough 變換能夠識(shí)別海冰翻轉(zhuǎn)過(guò)程中的邊緣線段,但計(jì)算機(jī)仍無(wú)法識(shí)別出屬于同一塊海冰的線段組。為此需要根據(jù)線段參數(shù)完成線段組的平行判斷。在完成海冰兩側(cè)邊緣平行線的識(shí)別過(guò)程中,必須綜合考慮海冰幾何特征與邊緣線段參數(shù)[35-36]。本文采用夾角、長(zhǎng)度以及間距3 類(lèi)不同判據(jù)完成對(duì)平行線的判別,并據(jù)此提取海冰厚度參數(shù)。
2.3.1 線段組的夾角(Δθ)條件判斷
海冰截面翻轉(zhuǎn)后上下表面投影線段角度較為接近,因此,當(dāng)兩條線段的夾角(Δθ)較大時(shí),認(rèn)為這兩條線段不屬于同一塊海冰的翻轉(zhuǎn)截面。在程序?qū)崿F(xiàn)過(guò)程中,需要利用Hough 變換識(shí)別得到的線段角度參數(shù)來(lái)計(jì)算線段組夾角(Δθ)。如圖4a 所示,夾角較大的線段組明顯不屬于同一塊海冰的截面邊緣線。
在判斷過(guò)程中需設(shè)定角度閾值 Δθc,當(dāng)線段組滿足Δθ <Δθc時(shí),認(rèn)為兩線段滿足角度近似條件。
2.3.2 線段組的長(zhǎng)度條件判斷RL
當(dāng)圖像中出現(xiàn)兩塊及以上海冰同時(shí)處于翻轉(zhuǎn)過(guò)程中且多塊海冰位置近似平行時(shí),識(shí)別結(jié)果會(huì)發(fā)生誤判。如圖4b 所示,圖中兩塊海冰的4 條邊緣線段角度近似但L1、L3不屬于同一塊海冰,而代表同一塊海冰的兩線段組L1、L2和L3、L4各自滿足長(zhǎng)度近似。據(jù)此設(shè)立線段組長(zhǎng)度比值判據(jù)RL。程序執(zhí)行過(guò)程中設(shè)定判斷閾值Rc,當(dāng)RL<Rc時(shí),認(rèn)為兩條平行線滿足長(zhǎng)度近似條件。
圖4 邊緣線段組錯(cuò)誤判斷示例Fig.4 Error judgment example of edge segment group
2.3.3 線段組的間距 ΔD條件判斷
在識(shí)別過(guò)程中可能有滿足上述夾角和長(zhǎng)度判斷條件但線段組仍無(wú)法代表海冰邊緣線的情況,如圖4c所示。為此引入間距判斷條件。
如圖5 所示,假設(shè)直角坐標(biāo)系下存在兩條直線l1和l2,在l1和l2上各取線段組AB、EF 和CD、GH。此時(shí)線段組AB、CD 以及EF、GH 均滿足夾角和長(zhǎng)度判斷條件。但如圖6 所示,圖6c 中所識(shí)別線段組為有效識(shí)別的冰塊翻轉(zhuǎn)截面,而圖6f 中所識(shí)別線段組則為誤識(shí)別結(jié)果。分析上述假設(shè)發(fā)現(xiàn),判斷條件Δθ ≤Δθc只代表直線l1和l2的整體性質(zhì),因此存在線段組滿足夾角判斷條件但仍相交的情況。所以無(wú)法用夾角和長(zhǎng)度判據(jù)識(shí)別出所有線段組相交情況。為此引入間距判據(jù),其中,間距 ΔD定義為兩線段在極坐標(biāo)下線間距離與在直角坐標(biāo)下線間距離的差值。當(dāng) ΔD小于閾值ΔDc時(shí),線段組滿足近似平行[37]。
圖5 兩直線相交原理分析Fig.5 Principle analysis of intersection of two straight lines
利用“雪龍”號(hào)第八次北極科考走航視頻數(shù)據(jù),對(duì)程序進(jìn)行適用性分析,在圖6 和圖7 中列舉出多種實(shí)地航行情況下海冰厚度檢測(cè)圖。分析有效判斷中多張?jiān)紙D像可知,當(dāng)海冰圖像滿足兩側(cè)邊緣輪廓清晰且無(wú)其他線段干擾時(shí)程序適用性良好。對(duì)有效識(shí)別中冰厚識(shí)別結(jié)果分析可知,自動(dòng)識(shí)別程序適用于任意長(zhǎng)度的海冰冰塊且識(shí)別線段覆蓋海冰冰塊兩側(cè)邊緣線的主要部分。
圖6 基于Hough 變換的海冰厚度識(shí)別Fig.6 Identifications of sea ice thickness based on Hough transformation
圖7 基于Hough 變換的海冰厚度識(shí)別Fig.7 Identifications of sea ice thickness based on Hough transformation
對(duì)于失效判斷中原始圖像以及Hough 變換結(jié)果分析可知,當(dāng)海冰邊緣線與周?chē)h(huán)境對(duì)比度較低時(shí),Hough 變換無(wú)法有效檢測(cè)圖像中冰塊的邊緣線段。另外,當(dāng)冰塊本身邊緣線與其他環(huán)境線段混雜時(shí),程序會(huì)誤判海冰冰塊邊緣線,導(dǎo)致最終檢測(cè)結(jié)果失效。
為實(shí)現(xiàn)海冰厚度參數(shù)的自動(dòng)識(shí)別,在程序執(zhí)行過(guò)程中引入線段組夾角閾值、長(zhǎng)度閾值以及間距閾值。而上述判斷閾值變化直接影響海冰圖像的識(shí)別率以及誤判率,其中,識(shí)別率為滿足程序中各類(lèi)判斷閾值的圖片總數(shù)與輸入圖片總數(shù)之比,誤判率為滿足程序中各類(lèi)判斷閾值但不符合實(shí)際海冰邊緣線情況的圖片總數(shù)與輸入圖片總數(shù)之比。因此,需要利用實(shí)地走航數(shù)據(jù)分析3 類(lèi)不同判斷閾值對(duì)于圖片識(shí)別率及誤判率的影響,選取最優(yōu)閾值使得識(shí)別結(jié)果具有較高的識(shí)別率與準(zhǔn)確率。
在原始數(shù)據(jù)的選擇過(guò)程中,本文從近1 周實(shí)際航行視頻中等時(shí)間間隔的截取了2 000 余張海冰圖像進(jìn)行分析,并人工分辨出1 078 張含海冰翻轉(zhuǎn)截面的可識(shí)別圖像,另外按照海冰所處位置、圖片中所含海冰翻轉(zhuǎn)截面?zhèn)€數(shù)以及邊緣輪廓線是否清晰等不同情況,將所有可識(shí)別圖像人工分為109 種不同類(lèi)別。根據(jù)上述可識(shí)別原始圖像,本文對(duì)于夾角、長(zhǎng)度以及間距3 類(lèi)判斷閾值開(kāi)展了數(shù)據(jù)試驗(yàn)。
3.2.1 線段組夾角判斷閾值
在其余判斷閾值固定不變的情況下,將夾角判斷閾值 Δθc選取為0°~4°來(lái)開(kāi)展數(shù)據(jù)試驗(yàn)。試驗(yàn)結(jié)果如圖8 所示。從試驗(yàn)結(jié)果可知,圖像識(shí)別率與誤判率均隨夾角閾值的增大而升高,說(shuō)明當(dāng)閾值放寬后,圖像識(shí)別率逐步提升,但相應(yīng)閾值寬松會(huì)導(dǎo)致程序誤判率升高。因此,選取最佳判斷閾值時(shí)需要綜合考慮。
圖8 夾角閾值試驗(yàn)曲線Fig.8 Experimental curve of angle threshold
分析可知,識(shí)別率和誤判率隨 Δθc變 化時(shí)的增長(zhǎng)速率具有較大差異。據(jù)此提出最優(yōu)閾值的選取標(biāo)準(zhǔn):小于誤判率曲線的上升拐點(diǎn)且識(shí)別率曲線基本達(dá)到峰值。由圖8 可知,當(dāng) Δθc取值為2°時(shí),滿足上述兩類(lèi)條件。
3.2.2 線段組長(zhǎng)度閾值
實(shí)際情況下海冰兩側(cè)邊緣線段應(yīng)滿足長(zhǎng)度近似的原則,據(jù)此引入長(zhǎng)度判斷閾值Rc。當(dāng)Rc取值為1~2.2 時(shí)進(jìn)行數(shù)據(jù)試驗(yàn)。試驗(yàn)結(jié)果如圖9 所示,由圖9可知,當(dāng)Rc接近1 時(shí),圖片識(shí)別率小于60%,而當(dāng)設(shè)定Rc為2 時(shí)識(shí)別率大于95%。所以在實(shí)際情況下大部分圖像的海冰兩側(cè)邊緣線段長(zhǎng)度比值位于區(qū)間1~2 內(nèi)。從圖9 中的識(shí)別率變化曲線能夠看出,當(dāng)Rc為1.55 時(shí)識(shí)別結(jié)果滿足識(shí)別率高于90%、誤判率小于1%且誤判率曲線仍未發(fā)生上升突變。由此可知,長(zhǎng)度判斷閾值Rc的最優(yōu)取值為1.55。
圖9 長(zhǎng)度閾值試驗(yàn)曲線Fig.9 Experimental curve of length threshold
3.2.3 線段組間距閾值
為解決兩邊緣線段間距過(guò)近問(wèn)題,引入間距閾值ΔDc。選取ΔDc為2~12 pt 進(jìn)行數(shù)據(jù)試驗(yàn)。試驗(yàn)結(jié)果如圖10 所示,當(dāng)ΔDc小于3 pt 時(shí),圖像識(shí)別率小于75%,而ΔDc大于6 pt 時(shí),圖像識(shí)別率均位于90%以上。產(chǎn)生上述情況是因?yàn)楹1鶅蓚?cè)邊緣線段間不滿足角度的精確相等所以直角坐標(biāo)下的線間距離與極坐標(biāo)下的線間距離也不滿足精確相等。從圖10 中能夠看出,當(dāng)ΔDc取值為9 pt 時(shí),識(shí)別結(jié)果滿足識(shí)別率基本達(dá)到峰值、誤判率小于1%且誤判率曲線未發(fā)生上升突變的要求。
圖10 間距閾值試驗(yàn)曲線Fig.10 Experimental curve of distance threshold
根據(jù)試驗(yàn)統(tǒng)計(jì)采用基于Hough 變換的自動(dòng)識(shí)別方法時(shí),單張海冰圖像識(shí)別時(shí)間小于0.5 s,而人工測(cè)量方法因需對(duì)邊緣線段進(jìn)行人工標(biāo)記與測(cè)算所需時(shí)長(zhǎng)約為30 s。通過(guò)對(duì)比處理時(shí)長(zhǎng)可知,本文中方法降低了海冰厚度測(cè)量過(guò)程中的人工參與度,縮短了海冰厚度測(cè)量耗時(shí)并提升了識(shí)別效率。
本文中所提出的識(shí)別方法與現(xiàn)行人工測(cè)量方法在識(shí)別準(zhǔn)確率上仍然存在差距。因?yàn)闊o(wú)法徹底消除誤判情況,所以本方法存在個(gè)別輸出結(jié)果不可信的情況。
作為海冰主要參數(shù)之一,海冰厚度在極地船舶冰載荷分析、海冰災(zāi)害評(píng)估以及海工結(jié)構(gòu)設(shè)計(jì)等方面具有關(guān)鍵作用。但因?yàn)闃O地特殊地理位置和惡劣環(huán)境條件的限制,現(xiàn)場(chǎng)數(shù)據(jù)獲取較為困難。據(jù)此,本文采用基于Hough 變換的機(jī)器視覺(jué)方法,通過(guò)對(duì)海冰翻轉(zhuǎn)過(guò)程中的表面輪廓線中平行線進(jìn)行識(shí)別,完成海冰圖像中海冰厚度參數(shù)提取。
另外,本文利用“雪龍”號(hào)極地科考船實(shí)測(cè)數(shù)據(jù)進(jìn)行試驗(yàn),整理試驗(yàn)結(jié)果可得結(jié)論:(1)自動(dòng)識(shí)別程序?qū)τ谌我忾L(zhǎng)度的海冰冰塊均適用且所識(shí)別邊緣線段能夠覆蓋海冰冰塊兩側(cè)邊緣線的主要部分;(2)夾角、長(zhǎng)度以及間距3 類(lèi)閾值判斷參數(shù)對(duì)于識(shí)別率以及誤判率的影響均滿足統(tǒng)一規(guī)律,綜合考慮識(shí)別率和準(zhǔn)確率均可以得出最佳判斷閾值;(3)在誤判率小于1%的情況下,程序?qū)τ诤1鶊D像的識(shí)別率可以達(dá)到90%以上;(4)程序運(yùn)行時(shí)間支持對(duì)海冰厚度參數(shù)的實(shí)時(shí)監(jiān)測(cè)。上述試驗(yàn)結(jié)論證明,程序滿足自動(dòng)化識(shí)別及實(shí)時(shí)檢測(cè)的設(shè)計(jì)要求,并且具有較好的適用性、穩(wěn)定性及準(zhǔn)確性。