• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      一種自主空中加油視覺導(dǎo)航圖像處理方法

      2021-08-11 05:16:56孫永榮趙科東
      科學(xué)技術(shù)與工程 2021年20期
      關(guān)鍵詞:錐套空中加油圖像處理

      吳 玲, 孫永榮, 趙科東

      (1.南京航空航天大學(xué)導(dǎo)航研究中心, 南京 210016; 2.南京航空航天大學(xué)金城學(xué)院機(jī)電工程與自動(dòng)化學(xué)院, 南京 211156)

      自主空中加油技術(shù)(autonomous aerial refueling,AAR)能夠有效擴(kuò)大無(wú)人機(jī)飛行半徑,延長(zhǎng)無(wú)人機(jī)留空時(shí)間,大大提高了無(wú)人機(jī)的性能,在軍事和民用方面都具有較大的應(yīng)用潛力。其中,軟管-錐套式加油由于可以同時(shí)為多架無(wú)人機(jī)加油,并且成本低,方式簡(jiǎn)單,而應(yīng)用廣泛[1-3]。針對(duì)軟管-錐套式自主空中加油技術(shù),對(duì)加油錐套相對(duì)位置和姿態(tài)的高精度、實(shí)時(shí)測(cè)量,是實(shí)現(xiàn)加油對(duì)接的關(guān)鍵。而基于視覺導(dǎo)航的錐套的檢測(cè)與跟蹤是實(shí)現(xiàn)相對(duì)位姿測(cè)量的前提,首先需要準(zhǔn)確獲取捕獲圖像中錐套的位置,然后才能進(jìn)一步確定受油機(jī)探頭與錐套的相對(duì)位置[4-5]。

      視覺導(dǎo)航技術(shù)是解決軟管-錐套式空中加油近距相對(duì)導(dǎo)航的最有效的方法,越來(lái)越受到廣大學(xué)者的關(guān)注。軟管-錐套式加油技術(shù)的視覺系統(tǒng)可分為主動(dòng)視覺系統(tǒng)和被動(dòng)視覺系統(tǒng)[6]。主動(dòng)視覺系統(tǒng)常采用明顯的特征標(biāo)記,如彩色記號(hào)或者LED(light emitting diodes)信標(biāo)來(lái)定位錐套。VisNav(vision-based navigation)是一種常用的主動(dòng)視覺系統(tǒng),已在一些AAR研究中得到應(yīng)用[7]。主動(dòng)視覺系統(tǒng)中,錐套目標(biāo)捕獲處理時(shí)間短,可靠性高,但該方法需要對(duì)加油機(jī)的結(jié)構(gòu)進(jìn)行改變?yōu)樾艠?biāo)供電。被動(dòng)視覺系統(tǒng)無(wú)需安裝額外的硬件而易于實(shí)現(xiàn)。Martinez 等[8]針對(duì)自主空中加油任務(wù)提出了一種僅依靠錐套自身特征的被動(dòng)視覺方法。Yin等[9]提出了一種基于錐套口近似圓形和內(nèi)部黑暗特征的錐套檢測(cè)和跟蹤方法,并利用邊緣圖像提取圖像特征。Gao[10]提出了一種基于局部多特征的低秩稀疏分解的錐套檢測(cè)算法,并將錐套圖像系列分解為低秩背景和稀疏運(yùn)動(dòng)目標(biāo)。Wang等[11]采用了在錐套上增加紅色環(huán)形標(biāo)記以加強(qiáng)機(jī)器視覺的方法來(lái)進(jìn)行錐套的檢測(cè)與識(shí)別。Qin等[12]針對(duì)內(nèi)部加油口特征,提出了一種粗精兩級(jí)檢測(cè)結(jié)構(gòu),利用圖像局部區(qū)域的行列掃描方法獲得較高精度的形狀參數(shù)。被動(dòng)視覺導(dǎo)航系統(tǒng)的關(guān)鍵在于提高圖像處理的實(shí)時(shí)性和可靠性[13]。針對(duì)目前軟管-錐套式自主空中加油視覺導(dǎo)航仍存在可靠性與實(shí)時(shí)性等性能不足的問(wèn)題,提出了一種實(shí)用的基于單目視覺的錐套檢測(cè)與跟蹤方法,并采用真實(shí)的、1∶1尺寸的錐套進(jìn)行算法驗(yàn)證,無(wú)需安裝專門的硬件(如信標(biāo))。通過(guò)一個(gè)基于微型六旋翼無(wú)人機(jī)的高保真試驗(yàn)平臺(tái),對(duì)所提出的圖像處理方法進(jìn)行實(shí)時(shí)性及可靠性的評(píng)估。

      1 視覺導(dǎo)航圖像處理策略

      在軟管-錐套式空中加油中,將攝像頭安裝在受油機(jī)上,然后對(duì)攝像頭捕獲的圖像進(jìn)行分析處理,需要快速、可靠、準(zhǔn)確地提取錐套特征從而確定錐套相對(duì)于受油機(jī)的三維位置是AAR視覺導(dǎo)航的主要任務(wù)。采用狀態(tài)機(jī)進(jìn)行圖像處理操作,設(shè)計(jì)的狀態(tài)機(jī)具有初始狀態(tài)、捕獲狀態(tài)、鎖定狀態(tài)和退出狀態(tài)四種情況。如圖1所示。狀態(tài)機(jī)從初始狀態(tài)開始,其中計(jì)數(shù)器C被初始化為0。當(dāng)在當(dāng)前幀圖像中不能檢測(cè)到目標(biāo)時(shí),將計(jì)數(shù)器C增加1,當(dāng)計(jì)數(shù)器達(dá)到最大設(shè)定值Cmax時(shí),進(jìn)入退出狀態(tài),停止任務(wù)。一旦檢測(cè)到目標(biāo),將從初始狀態(tài)轉(zhuǎn)移到捕獲狀態(tài),然后采取錐套跟蹤方法,在跟蹤過(guò)程中如果捕獲目標(biāo)失敗將重新回到初始狀態(tài)進(jìn)行目標(biāo)檢測(cè)。如果檢測(cè)成功并跟蹤到目標(biāo),則轉(zhuǎn)移到鎖定狀態(tài),最后輸出圖像定位結(jié)果,并求解基于視覺的相對(duì)位置,否則再重新回到初始狀態(tài),等待新一幀圖像進(jìn)行檢測(cè)。

      1.1 錐套檢測(cè)方法

      圖2為加油錐套的基本結(jié)構(gòu),當(dāng)受油機(jī)位于加油機(jī)近后方或者近距對(duì)接時(shí),捕獲的錐套圖像中加油口內(nèi)部成像為近似圓形的黑色塊,這將是錐套檢測(cè)和跟蹤的主要特征。提出的錐套檢測(cè)方法由5個(gè)步驟組成,圖3為錐套檢測(cè)流程圖。首先,通過(guò)對(duì)原始圖像進(jìn)行閾值分割得到二值圖像,然后應(yīng)用數(shù)學(xué)形態(tài)學(xué)方法進(jìn)行濾波處理,消除圖像干擾,尤其是錐套傘骨架干擾,其次利用輪廓提取方法得到所有的輪廓,并通過(guò)距離條件、面積條件、圓度條件和橢圓擬合條件進(jìn)行判斷,最后選擇圓度最大的輪廓作為目標(biāo)候選值進(jìn)行目標(biāo)檢測(cè)。

      圖2 加油錐套基本結(jié)構(gòu)

      圖3 錐套檢測(cè)流程圖

      1.1.1 閾值分割處理

      對(duì)圖像進(jìn)行閾值分割可以將圖像分割為多個(gè)區(qū)域,每個(gè)區(qū)域在顏色和亮度上具有較高的均勻性。由于捕獲的錐套圖像內(nèi)加油口為近似圓形的黑色塊,因此內(nèi)加油口像素點(diǎn)的灰度值較低,采用反閾值提取方法可以較容易地將其提取為前景區(qū)域。

      讀取錐套灰度圖像S0,通過(guò)式(1)轉(zhuǎn)換進(jìn)行閾值分割為二值圖像I0。

      (1)

      式(1)中:tb為二值化灰度閾值;(x,y)為對(duì)應(yīng)的像素點(diǎn)坐標(biāo);S0(x,y)和I0(x,y)分別為相應(yīng)圖像在(x,y)處的像素值。

      1.1.2 形態(tài)學(xué)濾波處理

      在閾值分割后進(jìn)行數(shù)學(xué)形態(tài)學(xué)濾波,可消除傘骨線和后方加油軟管帶來(lái)的干擾。在數(shù)學(xué)形態(tài)學(xué)中,將二值圖像看成一個(gè)二維點(diǎn)集,利用設(shè)計(jì)的結(jié)構(gòu)元素和形態(tài)學(xué)算子對(duì)集合中的像素值進(jìn)行變換[14]。假設(shè)僅考慮白色像素點(diǎn),選擇圓形結(jié)構(gòu)元素Rd與二值化圖像I0進(jìn)行開運(yùn)算,即

      I1=I0°Rd=(I0?Rd)⊕Rd

      (2)

      式(2)中:I1為經(jīng)過(guò)形態(tài)學(xué)濾波的圖像;°為開運(yùn)算符;?為腐蝕運(yùn)算符;⊕為膨脹運(yùn)算符。

      1.1.3 輪廓提取處理

      經(jīng)過(guò)形態(tài)學(xué)濾波處理后,可將二值圖像中的目標(biāo)區(qū)域(內(nèi)加油口)與其他區(qū)域分離,然后采用等高線提取方法對(duì)各分割區(qū)域進(jìn)行邊緣提取。輪廓提取主要包括兩步:①鏤空區(qū)域內(nèi)的點(diǎn),僅保留邊界點(diǎn);②根據(jù)連通性規(guī)則跟蹤所有連通區(qū)域的輪廓線。

      對(duì)圖像I1進(jìn)行輪廓提取,可得到所有連通區(qū)域的輪廓點(diǎn)集P,定義為

      P={Pi|i=1,2,…,N},Pi={(xim,yim)|m=1,2,…,ni}

      (3)

      式(3)中:N為連通區(qū)域個(gè)數(shù);Pi為第i個(gè)連通區(qū)域的輪廓點(diǎn)集;ni為輪廓點(diǎn)個(gè)數(shù);(xim,yim)為第m個(gè)輪廓點(diǎn)。

      1.1.4 目標(biāo)輪廓判斷

      輪廓提取后需要對(duì)目標(biāo)區(qū)域輪廓進(jìn)行判斷。這里采用范圍條件、面積條件、圓度條件和橢圓擬合條件來(lái)逐步搜索目標(biāo)輪廓。

      對(duì)于每一個(gè)輪廓點(diǎn)集Pi,進(jìn)行上述4個(gè)條件的判斷,符合條件的輪廓集記為Psc={Pj|j=l1,l2,…,lq},其中l(wèi)1,l2,…,lq表示輪廓候選值序號(hào)。

      自主空中加油視覺系統(tǒng)中,只有受油機(jī)靠近錐套時(shí)才能正常工作,此時(shí)圖像中的內(nèi)加油口看起來(lái)應(yīng)該足夠大。因此目標(biāo)輪廓必須滿足約束條件為

      xd>trx,yd>try,xd>trsyd,yd>trsxd

      (4)

      式(4)中:trx,try分別為x軸和y軸的閾值范圍;trs為閾值比;(xd,yd)為輪廓點(diǎn)集Pi中的像素坐標(biāo)范圍,即xd=max{xim}-min{xim},yd=max{yim}-min{yim}。

      根據(jù)成像原理,圓在圖像中會(huì)成像為一個(gè)橢圓圖形。因此一旦輪廓線滿足上述3個(gè)條件后,將采用最小二乘橢圓擬合方法對(duì)輪廓數(shù)據(jù)點(diǎn)進(jìn)行擬合[15]。橢圓擬合函數(shù)表示為

      f(x,y)=x2+e1xy+e2y2+e3x+e4y+e5=0

      (5)

      (6)

      式(6)中:(exm,eym)為橢圓點(diǎn)(xim,yim)的歸一化坐標(biāo),其計(jì)算公式為

      (7)

      1.1.5 目標(biāo)確定

      經(jīng)目標(biāo)輪廓判斷后,如果最終目標(biāo)輪廓候選個(gè)數(shù)為0,則在當(dāng)前圖像中找不到目標(biāo)。如果等于1,則確定輪廓橢圓。如果大于1,則選擇圓度最大的候選輪廓作為目標(biāo)輪廓,并將其橢圓擬合結(jié)果作為目標(biāo)特征定位結(jié)果。定義對(duì)數(shù)圓度為

      (8)

      式(8)中:ai,bi分別為候選輪廓Pi經(jīng)橢圓擬合結(jié)果的長(zhǎng)半軸和短半軸。

      1.2 錐套跟蹤方法

      空中加油過(guò)程中,加受油機(jī)需保持穩(wěn)定的飛行狀態(tài),假設(shè)視頻圖片幀流中錐套圖像變化緩慢,且錐套在當(dāng)前圖像中的位置與最后一幀圖像中的位置非常接近。因此,可利用最后一幀圖像中錐套的位置作為先驗(yàn)信息來(lái)減少圖像處理時(shí)間,并保證當(dāng)前幀圖像的可靠性。

      錐套跟蹤基于最后一幀圖像定位的結(jié)果進(jìn)行。如圖4所示,(a,b,θ,xp,yp)表示最后一幀內(nèi)加油口的橢圓形狀參數(shù),然后在當(dāng)前幀圖像中選取最后一個(gè)檢測(cè)區(qū)域周圍較大的區(qū)域ABCD,并通過(guò)1.1節(jié)所述的錐套檢測(cè)方法在ABCD區(qū)域中搜索并解算錐套的位置。所選的矩形區(qū)域ABCD大小計(jì)算公式為

      圖4 橢圓參數(shù)及跟蹤矩陣提取示意圖

      (9)

      式(9)中:ex、ey為擴(kuò)展區(qū)域尺寸;rext為擴(kuò)大系數(shù)。

      2 實(shí)驗(yàn)結(jié)果及分析

      通過(guò)自主空中加油試驗(yàn)臺(tái)進(jìn)行了算法驗(yàn)證。如圖5所示,試驗(yàn)臺(tái)由加油機(jī)、受油機(jī)和地面站組成。其中加油機(jī)由一個(gè)二維移動(dòng)平臺(tái)模擬,并將加油錐套安裝在上面。為了達(dá)到高保真度試驗(yàn),所使用的錐套是與實(shí)際應(yīng)用中相同尺寸和顏色的1∶1錐套模型。受油機(jī)采用六旋翼飛行器模擬,并在其安裝攝像頭來(lái)模擬視覺系統(tǒng),地面站對(duì)系統(tǒng)運(yùn)行進(jìn)行監(jiān)控,以保證實(shí)驗(yàn)在可控、安全的條件下進(jìn)行。所使用的相機(jī)為羅技C270,該相機(jī)能夠捕捉30 Hz的圖像,分辨率為1 280×720。為了減小圖像處理時(shí)間,進(jìn)行圖像處理的分辨率設(shè)為640×480,捕捉速度為25 fps。所提出的圖像處理方法在C++中開發(fā)完成,并使用OpenCV庫(kù)管理圖像數(shù)據(jù)。實(shí)驗(yàn)中采集了四段視頻進(jìn)行本文算法的性能驗(yàn)證,每段視頻包含800幀錐套不同運(yùn)動(dòng)的圖像,并將本文方法與文獻(xiàn)[9]方法進(jìn)行比較。

      圖5 自主空中加油試驗(yàn)臺(tái)

      2.1 錐套檢測(cè)方法可靠性測(cè)試

      利用所提出圖像處理方法對(duì)所采集的所有圖像進(jìn)行檢測(cè),其中視頻#1有4幀(第545~548幀)沒有找到目標(biāo),視頻#4有2幀(第61幀和77幀)沒有找到目標(biāo),視頻#2和#3中的所有幀圖像均準(zhǔn)確檢測(cè)到目標(biāo),并利用肉眼觀察可判斷錐套檢測(cè)結(jié)果正確。圖6為部分幀圖片的錐套檢測(cè)結(jié)果。

      圖6 部分幀圖片的錐套檢測(cè)結(jié)果

      表1列出了兩種方法對(duì)所有3 200張圖像進(jìn)行錐套檢測(cè)的成功率對(duì)比結(jié)果。其中,文獻(xiàn)[9]方法成功率為97.38%,本文方法成功率為99.81%。

      表1 兩種方法下錐套檢測(cè)成功率

      2.2 錐套檢測(cè)方法時(shí)間測(cè)試

      對(duì)所有圖像進(jìn)行錐套檢測(cè)計(jì)算時(shí)間進(jìn)行統(tǒng)計(jì),如圖7所示??梢?,本文方法的所有幀圖像在30 ms內(nèi)檢測(cè)完成,采用文獻(xiàn)[9]方法所用的平均計(jì)算時(shí)間為54.21 ms,與文獻(xiàn)[9]方法進(jìn)行比較統(tǒng)計(jì)結(jié)果如表2所示??梢姡疚姆椒ㄓ?jì)算時(shí)間更短。

      表2 兩種方法下錐套檢測(cè)時(shí)間比較

      圖7 錐套檢測(cè)計(jì)算時(shí)間統(tǒng)計(jì)

      2.3 錐套跟蹤方法實(shí)時(shí)性測(cè)試

      由于錐套檢測(cè)時(shí)間較長(zhǎng),采用錐套跟蹤方法可以減少圖像處理的計(jì)算時(shí)間。將所提出的錐套檢測(cè)和跟蹤方法相結(jié)合,可實(shí)現(xiàn)無(wú)人機(jī)自主空中加油視覺系統(tǒng)圖像處理的高可靠性和實(shí)時(shí)性。對(duì)前述4

      個(gè)視頻采用錐套跟蹤算法處理,計(jì)算時(shí)間如圖8所示??梢?,所有幀的跟蹤時(shí)間均小于5 ms,可顯著提高圖像處理實(shí)時(shí)性。與文獻(xiàn)[9]方法進(jìn)行比較統(tǒng)計(jì)結(jié)果如表3所示。

      圖8 錐套檢測(cè)與跟蹤計(jì)算時(shí)間統(tǒng)計(jì)

      表3 兩種方法下跟蹤時(shí)間比較

      3 結(jié)論

      基于視覺的相對(duì)導(dǎo)航技術(shù)是自主空中加油近距導(dǎo)航的關(guān)鍵技術(shù),其中加油錐套的檢測(cè)與跟蹤是實(shí)現(xiàn)高精度視覺導(dǎo)航的前提。針對(duì)自主空中加油系統(tǒng),提出了一種錐套檢測(cè)和跟蹤方法相結(jié)合的視覺導(dǎo)航圖像處理策略,并在一個(gè)高保真自主空中加油試驗(yàn)臺(tái)上進(jìn)行了試驗(yàn)驗(yàn)證。得出如下結(jié)論。

      (1)所提出的錐套檢測(cè)方法,具有較高的可靠性,檢測(cè)成功率可達(dá)99.8%;平均計(jì)算時(shí)間為26.89 ms。

      (2)采用錐套跟蹤算法,有利于提高錐套識(shí)別實(shí)時(shí)性,減小錐套圖像處理時(shí)間,平均計(jì)算時(shí)間為1.0 ms。

      猜你喜歡
      錐套空中加油圖像處理
      一種農(nóng)機(jī)用錐套式帶輪的設(shè)計(jì)
      基于計(jì)算流體力學(xué)的空中回收錐套氣動(dòng)特性分析
      機(jī)器學(xué)習(xí)在圖像處理中的應(yīng)用
      電子制作(2018年18期)2018-11-14 01:48:20
      模糊圖像處理,刑事偵查利器
      圖像處理技術(shù)的實(shí)戰(zhàn)應(yīng)用
      增穩(wěn)錐套與軟管二級(jí)擺建模與仿真
      軍人畫軍機(jī)(六)
      航空世界(2014年7期)2014-09-24 19:29:08
      空中加油錐套支柱數(shù)對(duì)穩(wěn)定傘阻力系數(shù)影響研究
      Photo Shop通道在圖像處理中的應(yīng)用
      河南科技(2014年1期)2014-02-27 14:04:06
      無(wú)人機(jī)空中加油自主會(huì)合導(dǎo)引律研究
      四子王旗| 紫云| 施甸县| 禹城市| 台前县| 同德县| 虞城县| 大城县| 古丈县| 中阳县| 泽州县| 宜宾县| 泗阳县| 陵水| 屏东市| 贵阳市| 共和县| 无为县| 天津市| 肇源县| 大理市| 濉溪县| 兰考县| 泰兴市| 沽源县| 汕头市| 永修县| 连州市| 德兴市| 喜德县| 榆社县| 贵定县| 涟水县| 江孜县| 察雅县| 敖汉旗| 奎屯市| 舞阳县| 固阳县| 台中市| 张家界市|