基于Faster R-CNN算法的自主空中加油錐套識別

張宇博，曹有權(quán)

基于Faster R-CNN算法的自主空中加油錐套識別

張宇博，曹有權(quán)

（中國電子科技集團(tuán)公司第二十研究所，西安 710068）

隨著無人機(jī)技術(shù)的發(fā)展，自主空中加油技術(shù)增加了無人機(jī)飛行半徑和有效載荷，提升了無人機(jī)的作戰(zhàn)效能。本文針對復(fù)雜環(huán)境下無人機(jī)軟管式空中加油的精確引導(dǎo)技術(shù)，在無人機(jī)自主空中加油近距離對接階段過程中，對油機(jī)錐套識別這個(gè)關(guān)鍵環(huán)節(jié)展開研究。利用深度學(xué)習(xí)和圖形處理，提出一種基于Caffe框架的Faster R-CNN神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的新方法。為了保證該方法的魯棒性和廣泛應(yīng)用，采用軟管式空中加油的真實(shí)數(shù)據(jù)，制作了一個(gè)圖像的深度學(xué)習(xí)數(shù)據(jù)集。根據(jù)實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證了基于Caffe框架的Faster R-CNN錐套識別算法的魯棒性和識別精度，并通過對比實(shí)驗(yàn)證明了在復(fù)雜的無人機(jī)加受油環(huán)境中，該識別算法也具有較好的錐套識別能力。

無人機(jī)空中加油；計(jì)算機(jī)視覺；錐套識別；深度學(xué)習(xí)算法

0 引言

在現(xiàn)代軍事活動中，自主空中加油技術(shù)可以增加無人機(jī)行駛航程和有效載荷，延長航行時(shí)間，極大地提高了無人機(jī)的效能，擴(kuò)大了作戰(zhàn)半徑，增強(qiáng)了戰(zhàn)略部署[1]。因此，展開針對自主空中加油關(guān)鍵技術(shù)的研究具有重要的意義。目前，基于軟管式空中加油即通過軟管連接的受油錐套和加油插頭對接完成油料的傳輸。由于其經(jīng)濟(jì)性和靈活性，該加油方式尤其適用于無人機(jī)空中的自主加受油[2-4]。因此，越來越多的研究人員致力于軟管式無人機(jī)自主空中加油的技術(shù)開發(fā)。軟管式無人機(jī)自主空中加油是一個(gè)復(fù)雜的過程，一般包括四個(gè)階段：會合階段、跟蹤對接階段、加油階段和退出階段。其中對接階段是整個(gè)加油過程的關(guān)鍵階段，同時(shí)也是風(fēng)險(xiǎn)最大的階段[5]。受油機(jī)的錐套識別對后續(xù)獲取錐套的相對位置和估計(jì)錐套相對姿態(tài)至關(guān)重要，也是軟管式無人機(jī)自主空中加油對接階段的一個(gè)關(guān)鍵環(huán)節(jié)。由于基于視覺的自主空中加油技術(shù)具有高準(zhǔn)確性和獨(dú)立性，因此用該方法來解決加受油機(jī)對接期間低控制精度和低安全性的問題[6]。雖然視覺在無人機(jī)自主空中加油的對接階段已經(jīng)有多種應(yīng)用，但由于錐套受到光照、形變、遮擋等因素影響，使得對錐套識別跟蹤有了更多的挑戰(zhàn)[7]。

1 錐套識別的研究分析

目前，基于視覺的自主空中加油方法，已經(jīng)在無人機(jī)加受油真實(shí)跟蹤場景中得到驗(yàn)證，并且在無人機(jī)加油的控制精度和安全性等方面取得了良好的效果。Pollini等人在錐套上安裝發(fā)光二極管[8-11]和涂漆標(biāo)記[12-14]等人工特征，來輔助測量錐套位置和估計(jì)錐套位姿。但該方法容易由放置的標(biāo)記引起錐套本身遮擋，造成錐套圖像局部信息丟失，并且還增加了錐套上的電源線路數(shù)量，這為自主空中加油帶來了潛在的危險(xiǎn)。Wang等人利用一種具有高反射性能的特殊材料制成紅色環(huán)形特征來進(jìn)行有效的錐套識別[12-13]，該識別方法需要對錐套預(yù)先進(jìn)行一定的修改，在不考慮空氣湍流條件的情況下，使用3D Flash Lidar相機(jī)對無人機(jī)自主空中加油進(jìn)行地面測試，可以識別從錐套高反射材料返回的強(qiáng)信號。在該領(lǐng)域很多方法都注重采用手動標(biāo)記錐套特征，對標(biāo)記點(diǎn)進(jìn)行檢測進(jìn)而完成對錐套的識別，但手動標(biāo)記的目標(biāo)特征對跟蹤場景適應(yīng)性不強(qiáng)，應(yīng)用不具有普遍性。因此，Yin等人在不使用人工特征的情況下，利用模板匹配和閾值分割來識別自主空中加油中錐套的運(yùn)動曲線[15]。然而，模板匹配不能解決所有的錐套運(yùn)動狀態(tài)，并且由于錐套和環(huán)境的變化，使用分割錐套的經(jīng)驗(yàn)閾值很難確定。Martinez提出了一種基于單目視覺的自主空中加油算法[16]，該算法利用復(fù)雜的機(jī)器實(shí)驗(yàn)臺，模擬在空中大氣湍流條件下估計(jì)錐套偏航位置，然而該方法對遮擋的錐套識別魯棒性差。Gao等人提出了一種基于多尺度、低秩和稀疏分解的識別算法[17-18]，在無人工標(biāo)記特征點(diǎn)的條件下估算出錐套的位置。然而該方法在云、霧、光干擾等復(fù)雜環(huán)境條件下無法有效識別到錐套。因此，需要更優(yōu)化的算法來提高對錐套識別的魯棒性。

近年來，隨著深度學(xué)習(xí)在機(jī)器視覺領(lǐng)域的飛速發(fā)展，在無人機(jī)自主空中加油方面，其準(zhǔn)確度已經(jīng)超越了傳統(tǒng)的圖像處理方法。與傳統(tǒng)的方法不同，深度學(xué)習(xí)不需要手動設(shè)計(jì)特征，而是模擬人類的視覺感知系統(tǒng)，根據(jù)原始圖像特征點(diǎn)進(jìn)行抽象表達(dá)。

基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)出人意料地為圖像識別和目標(biāo)識別等諸多問題提供了令人滿意的解決方案。Girshick等人提出基于R-CNN網(wǎng)絡(luò)跟蹤方法具有較高的目標(biāo)識別精度[19]。然而，R-CNN網(wǎng)絡(luò)的訓(xùn)練在時(shí)間和空間耗時(shí)費(fèi)力，而且對目標(biāo)識別速度慢[20]。此外，R-CNN網(wǎng)絡(luò)模型大，參數(shù)數(shù)量多，導(dǎo)致識別速度慢，需要大量的標(biāo)記數(shù)據(jù)，經(jīng)過ImageNet的預(yù)訓(xùn)練后再對網(wǎng)絡(luò)進(jìn)行再訓(xùn)練[21]。本文研究的Faster R-CNN將卷積神經(jīng)網(wǎng)絡(luò)與RPN網(wǎng)絡(luò)相結(jié)合進(jìn)行目標(biāo)位置的預(yù)測[22]，是對R-CNN網(wǎng)絡(luò)的改進(jìn)和優(yōu)化。經(jīng)改進(jìn)的網(wǎng)絡(luò)應(yīng)用于自主空中加油錐套識別，可以提高識別速度，滿足自主空中加油的實(shí)時(shí)檢測需求。因此，利用Faster R-CNN網(wǎng)絡(luò)框架的錐套識別技術(shù)受到了許多研究機(jī)構(gòu)的更多關(guān)注。

許多研究人員也一直在使用Caffe，這是一個(gè)利用GPU的深度學(xué)習(xí)框架，具有表達(dá)性架構(gòu)、可擴(kuò)展代碼和高速等優(yōu)點(diǎn)[23]。本文提出了基于Caffe框架的Faster R-CNN網(wǎng)絡(luò)，在無人機(jī)加受油對接過程中進(jìn)行實(shí)時(shí)錐套識別的方法。在自主空中加油目標(biāo)識別階段，未對目標(biāo)錐套進(jìn)行人工標(biāo)記特征，此方法既避免了在錐套被局部遮擋時(shí)跟蹤丟失的問題，又可以在復(fù)雜的環(huán)境下實(shí)現(xiàn)有效的錐套識別。首先，為確保在復(fù)雜環(huán)境下實(shí)現(xiàn)對錐套識別具有較高的準(zhǔn)確性和魯棒性，該方法直接使用真實(shí)空中加油視頻中提取的錐套圖像作為數(shù)據(jù)集，而不是利用發(fā)光二極管或其他手動標(biāo)記的錐套圖像網(wǎng)絡(luò)訓(xùn)練和測試。軟管式空中加油視頻包含了在各種復(fù)雜環(huán)境中，如晴天、多云、霧天和強(qiáng)光干擾下，不同形狀、大小和局部遮擋的錐套圖像。然后，利用GPU在Caffe框架上采用真實(shí)的軟管式空中加油數(shù)據(jù)進(jìn)行Faster R-CNN訓(xùn)練。最后，分析該方法的識別結(jié)果及其精度，并與其他識別方法進(jìn)行了比較。實(shí)驗(yàn)結(jié)果表明，該方法在各種不同的環(huán)境中都能有效地進(jìn)行錐套識別，是機(jī)器視覺應(yīng)用深度學(xué)習(xí)方法成功的又一例證。本文的貢獻(xiàn)可以總結(jié)如下：

（1）提出軟管式自主空中加油對接階段中進(jìn)行實(shí)時(shí)錐套識別的框架，該框架使用GPU在Caffe框架上進(jìn)行Faster R-CNN訓(xùn)練；

（2）將卷積神經(jīng)網(wǎng)絡(luò)與GPU結(jié)合，而不使用人工附加特征；

（3）錐套識別方法具有較高的魯棒性，不僅可以對局部遮擋的錐套進(jìn)行準(zhǔn)確識別，而且在云、霧、強(qiáng)光干擾等復(fù)雜的環(huán)境條件中都能有效地識別錐套；

（4）錐套識別方法具有高精度、強(qiáng)魯棒性和快速的識別性能。

2 錐套識別系統(tǒng)的設(shè)計(jì)

本文提出了一種基于Faster R-CNN網(wǎng)絡(luò)的Caffe框架，用于軟管式自主空中加油對接階段，對加油錐套進(jìn)行識別。為了保證系統(tǒng)的魯棒性和精確性能，預(yù)先準(zhǔn)備了一個(gè)包含各種環(huán)境中不同加油錐套的數(shù)據(jù)集，用于學(xué)習(xí)加油錐套的淺層和深層特征，F(xiàn)aster R-CNN識別算法采用GPU在Caffe框架上對真實(shí)的錐套數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，在不同的環(huán)境中，研究了基于多尺度、低秩和稀疏分解的識別結(jié)果，并將其與本文所提出的方法進(jìn)行比較?；贑affe框架的Faster R-CNN神經(jīng)網(wǎng)絡(luò)的軟管式自主空中加油的錐套識別流程如圖1所示。

圖1 錐套識別流程圖

3 錐套識別方法

3.1 數(shù)據(jù)集的準(zhǔn)備

為了確保在各種環(huán)境條件下對錐套識別具有較好的魯棒性，本文提出的錐套識別方法使用從軟管式空中加油視頻中提取的加油錐套的真實(shí)自主空中加油圖像。軟管式空中加油視頻包含了各種環(huán)境條件，如晴朗、多云、霧天和強(qiáng)光干擾，以及加油錐套形變、大小和遮擋等。所制備的數(shù)據(jù)集包含四個(gè)關(guān)鍵組成部分：軟管式空中加油的原始視頻采集；圖像幀的提取、選擇和標(biāo)記；原圖像及相應(yīng)標(biāo)簽的調(diào)整、濾波和增強(qiáng)；數(shù)據(jù)格式轉(zhuǎn)換?；贔aster R-CNN網(wǎng)絡(luò)的加油錐套識別數(shù)據(jù)集準(zhǔn)備流程如圖2所示。

圖2 數(shù)據(jù)集的準(zhǔn)備

數(shù)據(jù)準(zhǔn)備的具體步驟如下：

（1）軟管式空中加油的原始視頻采集

由于加油錐套識別任務(wù)缺少已有的數(shù)據(jù)集，原始的軟管式空中加油視頻集會起到重要的基礎(chǔ)性作用，此數(shù)據(jù)集更有利于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)錐套的原有特征。因此，軟管式空中加油視頻盡可能包含諸如晴朗、多云、霧天、強(qiáng)光干擾等復(fù)雜的實(shí)際場景中不同形狀、大小和局部遮擋的錐套圖像。而對于加油視圖中的視頻，特別是軟管式空中加油近距離對接階段的視頻，需要進(jìn)一步放大處理。

（2）圖像幀的提取、選擇和標(biāo)記

在Linux平臺服務(wù)器上，通過視頻處理工具從軟管式空中加油視頻中提取圖像幀。為減少冗余信息和節(jié)省樣本后續(xù)標(biāo)記的時(shí)間，本實(shí)驗(yàn)以每秒1幀的速度提取圖像，在進(jìn)行基于Faster R-CNN神經(jīng)網(wǎng)絡(luò)的錐套識別時(shí)，可以使用GPU實(shí)現(xiàn)大于30幀/s的錐套檢測，即可滿足無人機(jī)加受油對接的實(shí)時(shí)性識別要求。

提取圖像幀后，選擇帶有錐套的圖像，使用Matlab軟件中的LabelMe工具進(jìn)行錐套標(biāo)注。在提取的圖像幀上，錐套區(qū)域使用一個(gè)方框進(jìn)行標(biāo)記，方框的四個(gè)邊（頂部、底部、左側(cè)和右側(cè)）標(biāo)記了錐套的位置。每個(gè)圖像中的方框四個(gè)坐標(biāo)構(gòu)成的區(qū)域，對應(yīng)著原始圖像中錐套的候選區(qū)域。

（3）調(diào)整圖像尺寸以及相應(yīng)的標(biāo)簽，并進(jìn)行圖像的濾波和增強(qiáng)

使用四坐標(biāo)方框標(biāo)記錐套區(qū)域后，為了方便處理和滿足神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的要求，將RGB圖像調(diào)整為256×256個(gè)像素與對應(yīng)的標(biāo)簽（坐標(biāo)）一致。

本文主要關(guān)注的是軟管式自主空中加油的近距離對接階段，然后對調(diào)整后的圖像進(jìn)行進(jìn)一步濾波，每個(gè)標(biāo)記區(qū)域的閾值為20個(gè)像素（閾值1）大小。濾波后，標(biāo)記區(qū)域的大小超過20個(gè)像素，平均為65個(gè)像素。

為了模擬擾動引起的錐套運(yùn)動，同時(shí)放大數(shù)據(jù)集，對濾波后的圖像分別在50個(gè)像素（閾值2）和10度（閾值3）內(nèi)進(jìn)行平移和旋轉(zhuǎn)增強(qiáng)。需要注意的是在軟管式自主空中加油對接階段，由于各種環(huán)境干擾，錐套可能在水平和垂直軸上任意程度地?zé)o序移動，從而獲取錐套在每一幀中的形狀和大小變化。

（4）數(shù)據(jù)格式轉(zhuǎn)換

將擴(kuò)充后的數(shù)據(jù)集（包含相應(yīng)標(biāo)簽的圖像）轉(zhuǎn)換為HDF5數(shù)據(jù)格式，滿足Faster R-CNN的Caffe深度學(xué)習(xí)框架。HDF5數(shù)據(jù)集由兩部分組成：形狀為×3×256，以及標(biāo)簽的形狀為×8，其中為HDF5數(shù)據(jù)集中的圖像數(shù)量。

數(shù)據(jù)集包括41個(gè)軟管式空中加油的原始視頻、原始視頻列表、從視頻中提取的1985張?jiān)紙D像以及原始圖像的標(biāo)簽。并且經(jīng)過調(diào)整錐套圖像尺寸以及相應(yīng)的標(biāo)簽，再將錐套圖像經(jīng)過濾波和增強(qiáng)之后存入數(shù)據(jù)集，最終數(shù)據(jù)集包含超過100 000張錐套圖像。

3.2 基于Faster R-CNN網(wǎng)絡(luò)的錐套識別模型

3.2.1 算法描述

根據(jù)實(shí)際自主空中加油數(shù)據(jù)中錐套的特征，提出了基于Caffe框架的Faster R-CNN的視覺近距離錐套識別算法模型，它包含了HDF5數(shù)據(jù)集、卷積、池化、RNP網(wǎng)絡(luò)、激活層、全連接層、失活層、ROI Pooling和歐式損失等多個(gè)模塊。由于R-CNN的模型可以從數(shù)據(jù)中預(yù)測邊界框，但很難推廣到具有新的或不尋常的縱橫比或配置的對象。本文模型也使用相對粗糙的特征來預(yù)測邊界框，因?yàn)閷斎肷窠?jīng)網(wǎng)絡(luò)的圖像Faster R-CNN架構(gòu)有多個(gè)下采樣層。R-CNN使用區(qū)域建議而不是滑動窗口來查找圖像中的目標(biāo)。有選擇性地搜索生成潛在的邊界框，卷積網(wǎng)絡(luò)提取特征，支持向量機(jī)對邊界框進(jìn)行評分，線性模型調(diào)整邊界框，非最大抑制消除重復(fù)檢測。這個(gè)復(fù)雜管道的每個(gè)階段均獨(dú)立精確地進(jìn)行調(diào)優(yōu)。

R-CNN的每個(gè)網(wǎng)格單元提出一個(gè)潛在的邊界框，并使用卷積特性對這些框進(jìn)行評分。然而，本文的識別模型對網(wǎng)格單元的建議設(shè)置了空間限制，這有助于減輕對同一目標(biāo)的多次檢測。其他的快速檢測器如Fast R-CNN和Faster R-CNN，主要通過共享計(jì)算和使用神經(jīng)網(wǎng)絡(luò)的建議窗口來代替選擇性搜索[14]以加速R-CNN框架。與R-CNN相比，F(xiàn)ast R-CNN和Faster R-CNN在速度和精度上都有提高。本文提出的錐套識別算法流程如圖3所示。

圖3 Faster R-CNN算法流程圖

R-CNN是通過Selective Search方法等預(yù)處理步驟來提取候選區(qū)域作為CNN網(wǎng)絡(luò)輸入，但有嚴(yán)重的速度瓶頸。因?yàn)橛?jì)算機(jī)在對所有的區(qū)域進(jìn)行特征提取時(shí)會有重復(fù)計(jì)算。而Faster R-CNN可以很好地解決這個(gè)冗余計(jì)算問題，F(xiàn)aster R-CNN是對R-CNN算法的優(yōu)化改進(jìn)，在提取目標(biāo)的候選區(qū)域時(shí)，F(xiàn)aster R-CNN算法摒棄了滑動窗口和Selective Search方法，直接使用RPN網(wǎng)絡(luò)來生成目標(biāo)建議區(qū)域，這樣能極大地提升檢測框生效的速度。RPN網(wǎng)絡(luò)結(jié)構(gòu)分兩條主干，一部分是用于計(jì)算對于anchors的邊框回歸偏移量，以獲取精準(zhǔn)的建議區(qū)域；另一部分是通過Softmax分類anchors獲得目標(biāo)和背景信息。RPN網(wǎng)絡(luò)使用9個(gè)不同尺寸的anchors遍歷卷積層獲取的特征圖，為每一個(gè)點(diǎn)都配備這9個(gè)anchors作為初始的檢測框，并且通過后面兩次邊框回歸偏移量來修正檢測邊框的位置。9個(gè)anchors提取的256個(gè)建議區(qū)域，相當(dāng)于R-CNN的Selective Search提取約2000個(gè)候選區(qū)域。RPN網(wǎng)絡(luò)降低了計(jì)算復(fù)雜度，使得候選區(qū)域提取目標(biāo)更有針對性，從而提升了Faster R-CNN算法的檢測目標(biāo)速度和精度。然后在使用卷積神經(jīng)網(wǎng)絡(luò)對區(qū)域建議框提取特征向量，并將特征向量輸入到全連接層中獲得Softmax分類的概率值和邊框回歸值。

不同尺寸的候選區(qū)域錐套識別具體算法描述如下：

首先，將輸入圖像與卷積層上的濾波器進(jìn)行卷積、池化生成特征圖。利用濾波器將輸入圖像進(jìn)行卷積運(yùn)算，再使用激活函數(shù)得到該層的輸出特征如式（1）所示：

在獲取特征圖過程中，為了減少網(wǎng)絡(luò)參數(shù)，降低網(wǎng)絡(luò)計(jì)算量和過度擬合，本文采取最大池化和隨機(jī)失活。這兩種方法都減少了神經(jīng)網(wǎng)絡(luò)中的過擬合，提高了訓(xùn)練的速度，從而可以使學(xué)習(xí)的特征更具有魯棒性，更好地處理泛化的新數(shù)據(jù)。

然后，將特征圖輸入到RPN提取區(qū)域，并對所有的候選區(qū)域進(jìn)行前景和背景的判斷，使用邊框回歸偏移量來修正anchor，以獲取精確的檢測邊框位置。

最后，通過ROI pooIing層形成固定大小的特征圖，進(jìn)行全連接操作，利用Softmax進(jìn)行具體目標(biāo)類別的分類，并再次使用邊框回歸獲取最終檢測邊框的精準(zhǔn)位置，對檢測邊框做非極大值抑制同時(shí)獲取置信度最大的檢測框，確定為期望目標(biāo)的檢測位置同時(shí)計(jì)算損失。將錐套識別結(jié)果放入歐式距離損失，根據(jù)識別結(jié)果和真實(shí)標(biāo)簽得到錐套識別誤差。歐式距離損失定義如式（3）所示：

通過參考損失函數(shù)利用反向傳播算法對網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)優(yōu)，訓(xùn)練網(wǎng)絡(luò)模型得到最優(yōu)網(wǎng)絡(luò)參數(shù)，利用所獲取的網(wǎng)絡(luò)參數(shù)可以得到最優(yōu)的錐套識別結(jié)果。

4 實(shí)驗(yàn)和討論

在本節(jié)通過實(shí)驗(yàn)驗(yàn)證Faster R-CNN算法對空中加油錐套識別的有效性。此外，還將討論該方法的檢測結(jié)果和精度分析，并與其他方法進(jìn)行比較。

4.1 實(shí)驗(yàn)環(huán)境

錐套檢測實(shí)驗(yàn)是在真實(shí)的自主空中加油數(shù)據(jù)上進(jìn)行的——從軟管式空中加油視頻中提取的真實(shí)圖像，使用的錐套沒有Led等人工特征或油漆標(biāo)記。軟管式自主空中加油視頻包含各種情況，如晴朗、多云、霧天和光干擾條件，以及不同形狀、大小和遮擋的錐套圖像。需要注意的是，軟管式空中加油的真實(shí)視頻已經(jīng)包含了實(shí)際加油對接真實(shí)的環(huán)境干擾。

訓(xùn)練數(shù)據(jù)集包含加油視圖和非加油視圖的錐套圖像。測試數(shù)據(jù)集只包含加油視圖的錐套圖像，特別是在空中加油的近距離對接階段拍攝的圖像。因此，在本實(shí)驗(yàn)中采用交叉驗(yàn)證策略來評估該方法的性能。

該算法使用Python編程語言實(shí)現(xiàn)，環(huán)境為Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64)，Intel Xeon E5-2620 v2六核處理器2.1 GHz 的CPU和NVIDIA GeForce GTX TIT的GPU。

4.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)在基于Caffe框架的Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型上，對軟管式空中加油的真實(shí)數(shù)據(jù)進(jìn)行識別測試。本文方法在各種環(huán)境條件下的錐套檢測結(jié)果如圖4～圖6所示。圖中的實(shí)線框和虛線框分別表示真實(shí)標(biāo)簽和預(yù)測標(biāo)簽。圖4是在天氣晴朗的環(huán)境中，對不同形狀、大小和遮擋的錐套的檢測結(jié)果。從圖4中可以看出，本文提出的檢測方法具有良好的檢測性能和較高的檢測精度。圖5是在多云和霧天環(huán)境中，對不同形狀、大小和水霧遮擋的錐套檢測結(jié)果。在圖5中，雖然環(huán)境條件不是很理想，但是錐套檢測的準(zhǔn)確性和性能仍然很好，只是略低于圖4。圖6所示為仰視目標(biāo)檢測的結(jié)果，具有不同形狀、大小和遮擋的錐套的強(qiáng)光干涉條件。在圖6中，盡管環(huán)境條件比較極端，但錐套檢測的準(zhǔn)確性和性能與圖5相似，略低于圖4。從圖4～圖6中可以看出，本文提出的基于Caffe框架的Faster R-CNN算法對空中加油錐套識別，在各種環(huán)境條件下都具有良好的準(zhǔn)確性和魯棒性。

圖4 在晴天環(huán)境下錐套的識別結(jié)果

圖5 多云、多霧環(huán)境下錐套的識別結(jié)果

圖6 強(qiáng)光干涉環(huán)境下錐套的識別結(jié)果

在自主加油對接階段的錐套檢測階段，無人機(jī)上安裝的視覺傳感器獲取的圖像通常包含加油錐套以及在各種環(huán)境條件下的無人機(jī)和天空部分。錐套之外的背景區(qū)域在某種程度上相對不復(fù)雜。因此，錐套檢測需要簡單快速的神經(jīng)網(wǎng)絡(luò)和真實(shí)空中加油錐套的圖像就可以有效地工作；因此，F(xiàn)aster R-CNN算法適用于不同的環(huán)境，檢測速度可滿足自主空中加油的要求。對分辨率為256×256的圖像，本文算法使用GPU的時(shí)間開銷優(yōu)于每30幀/s，適用于軟管式自主空中加油對接階段的實(shí)時(shí)錐套檢測應(yīng)用。在實(shí)際空中加油數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明，該方法在各種條件下都能有效地進(jìn)行實(shí)時(shí)精準(zhǔn)的錐套識別。

4.3 實(shí)驗(yàn)結(jié)果的評價(jià)與分析

為定量評價(jià)錐套檢測的精度是否滿足軟管式自主空中加油系統(tǒng)對高精度的要求，應(yīng)用了精確度、召回率和F值統(tǒng)計(jì)標(biāo)準(zhǔn)，精確度如式（4）所示：

召回率如式（5）所示：

圖7 基于Faster R-CNN的錐套檢測性能統(tǒng)計(jì)

4.4 不同算法在相同幀中錐套識別進(jìn)一步驗(yàn)證

為了進(jìn)一步驗(yàn)證運(yùn)用基于Caffe框架的Faster R-CNN網(wǎng)絡(luò)進(jìn)行空中加油錐套識別的有效性，將本文算法與Gao等人提出的多尺度、低秩和稀疏分解的識別算法相比較。在真實(shí)的不同環(huán)境空中加油視頻中進(jìn)行錐套實(shí)時(shí)檢測，檢測效果如圖8～圖10所示，其中實(shí)線框和虛線框分別表示Faster R-CNN和多尺度、低秩稀疏分解的檢測結(jié)果。可以看出實(shí)線識別框能夠在復(fù)雜的場景中穩(wěn)定鎖住識別目標(biāo)，即使在強(qiáng)光、多云和遮擋的情況下都能夠準(zhǔn)確識別錐套沒有發(fā)生抖動、漂移和誤檢。而虛線框在這些環(huán)境干擾的情況下發(fā)生了抖動和漂移，不能夠準(zhǔn)確識別錐套位置，在多云多霧環(huán)境中發(fā)生了未能檢測的錐套，并且把圓形的發(fā)動機(jī)和機(jī)尾誤檢成了目標(biāo)。

因此，真實(shí)加油視頻中相同幀的錐套檢測結(jié)果表明基于Caffe框架的Faster R-CNN網(wǎng)絡(luò)的錐套識別方法，能夠在各種環(huán)境條件下獲得錐套高精度的實(shí)時(shí)檢測，對錐套遮擋和復(fù)雜的天氣環(huán)境情況具有很強(qiáng)的魯棒性。這些都表明了本文所提出方法的有效性。

圖8 強(qiáng)光干涉環(huán)境下錐套的識別結(jié)果

圖9 多云、多霧環(huán)境下錐套的識別結(jié)果

圖10 在晴天環(huán)境下錐套的識別結(jié)果

5 結(jié)論

在軟管式自主空中加油對接階段利用GPU，利用基于Caffe框架的Faster R-CNN神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)實(shí)時(shí)的錐套檢測，不需要人工標(biāo)記。實(shí)際空中加油數(shù)據(jù)的實(shí)驗(yàn)結(jié)果表明，該方法具有精度高、魯棒性強(qiáng)、速度快、不受遮擋和復(fù)雜環(huán)境條件影響的特點(diǎn)。

基于軟管式空中加油的真實(shí)數(shù)據(jù)集，包含各種環(huán)境情況，對沒有人為特征標(biāo)記的錐套識別，這表現(xiàn)出本文識別算法具有較高的穩(wěn)健性和準(zhǔn)確性。本文提出了一種在Caffe框架中Faster R-CNN神經(jīng)網(wǎng)絡(luò)的實(shí)時(shí)錐套檢測模型。通過真實(shí)空中加油數(shù)據(jù)的實(shí)驗(yàn)結(jié)果表明，該方法能夠有效地進(jìn)行錐套識別檢測，能夠滿足軟管式自主空中加油的要求，是深度學(xué)習(xí)方法成功應(yīng)用的又一例證。本文所提出的方法在利用深度學(xué)習(xí)進(jìn)行真實(shí)環(huán)境下的錐套檢測方面具有很大的潛力，可以避免LED的放置或繪制特征，在軟管式自主空中加油的實(shí)際應(yīng)用中具有競爭力和吸引力。

由于真實(shí)空中加油錐套數(shù)據(jù)集的不斷豐富和深度學(xué)習(xí)識別方法的不斷成熟發(fā)展，將更有價(jià)值的真實(shí)空中加油數(shù)據(jù)與智能深度學(xué)習(xí)相結(jié)合，可以進(jìn)一步提高錐套檢測的性能，值得進(jìn)一步研究。

[1] Nalepka JP, Hinchman JL. Automated aerial refueling：extending the effectiveness of unmanned air vehicles[R]. Reston：AIAA, 2005. Report No.: AIAA-2005-6005.

[2] Hansen JL, Murray JE, Campos NV. The NASA Dryden AAR project: a flight test approach to an aerial refueling system[R].Reston:AIAA,2004.ReportNo.:AIAA-2004-4939.

[3] Campa G, Napolitano MR, Perhinschi M, etc. Addressing pose estimation issues for machine vision based UAV autonomous serial refueling [J]. Aeronaut, 2007，111（1120）：389–396.

[4] Dong XM, Xu YJ, Chen B. Progress and challenges in automatic aerial refueling[J]. Air Force Eng Univ Nat Sci Edn 2008，9（6）：1–5.

[5] Ding M, Wei L, Wang BF. Vision-based estimation of relative pose in autonomous aerial refueling[J]. Chin J Aeronaut 2011;24 (6):807–815.

[6] Chen CI, Stettner R. Drogue tracking using 3D flash lidar for autonomous aerial refueling[C]// Proceedings of SPIE 8037, laser radar technology and applications XVI 2011 Jun 8. Orlando, USA. Bellingham: SPIE, 2011. p. 1–11.

[7] Mart?′nez C, Richardson T, Campoy P. Towards autonomous air-to-air refuelling for UAVs using visual information[C]// Proceedings of IEEE international conference on robotics and automation; 2013 May 6–10. Karlsruhe, Germany. Piscataway （NJ）：IEEE Press; 2013. p. 5736–5742.

[8] Pollini L, Campa G, Giulietti F, Innocenti M. Virtual simulation set-up for UAVs aerial refueling[R]. Reston: AIAA. 2003. Report No.: AIAA-2003-5682.

[9] Mati R, Pollini L, Lunghi A, etc. Vision-based autonomous probe and drogue aerial refueling[C]// Proceedings of IEEE 14th mediterranean conference on control and automation; 2006 Jun 28–30. Ancona, Italy. Piscataway (NJ): IEEE Press; 2006. p. 1–6.

[10] Pollini L, Mati R, Innocenti M, etc. Napolitano M. A synthetic environment for simulation of vision-based formation flight[R]. Reston: AIAA; 2003. Report No.: AIAA-2003-5376.

[11] Xie HW, Wang HL. Binocular vision-based short-range navigation method for autonomous aerial refueling [J]. Beijing Univ Aeronaut Astronaut 2011，37（2）：206–209.

[12] Wang XF, Dong XM, Kong XW. Feature recognition and tracking of aircraft tanker and refueling drogue for UAV aerial refueling[C]// Proceedings of 25th IEEE Chinese control and decision conference,2013 May 25–27. Guiyang, China. Piscataway (NJ): IEEE Press，2013. p. 2057–2062.

[13] Wang XF, Kong XW, Zhi JH, etc. Real-time drogue recognition and 3D locating for UAV autonomous aerial refueling based on monocular machine vision [J]. Aeronaut, 2015，28（6）：1667–1675.

[14] Chen CI, Koseluk R, Buchanan C, etc. Autonomous aerial refueling ground test demonstration:a sensor-in-the-loop and non-tracking method[J]. Sensors, 2015，15（5）：10948–10972.

[15] Yin YJ, Xu D, Wang XG, etc. Detection and tracking strategies for autonomous aerial refuelling tasks based on monocular vision [J]. Robot Syst., 2014, 11（1）：399–412.

[16] Mart?′nez C, Richardson T, Thomas P, etc. A vision-based strategy for autonomous aerial refueling tasks[J]. Robot Auton Syst, 2013，61（8）:876–895.

[17] Gao SB, Cheng YM, Song CH. Drogue detection for vision-based autonomous aerial refueling via low rank and sparse decomposition with multiple features[J]. Infrared Phys Technol, 2013，42（4）：1089–1094.

[18] 宋春華，高仕博，程詠梅. 自主空中加油視覺導(dǎo)航系統(tǒng)中的錐套檢測算法[J]. 紅外與激光工程，2013，42（4）.

[19] Girshick R, Donahue J, Darrell T, Malik J. Rich feature hierarchies for accurate object detection and semantic segmentation [J]. Proceedings of IEEE conference on computer vision and pattern recognition; 2014 June 23–28. Columbus, USA. Piscataway (NJ): IEEE Press; 2014. p. 580–587.

[20] Girshick R. Fast R-CNN[C]. Proceedings of IEEE international conference on computer vision; 2015 December 11–18; Santiago, Chile. Piscataway（NJ）：IEEE Press，2015:1–9.

[21] Ren SQ, He KM, Girshick R, etc. Faster R-CNN: Towards real-time object detection with region proposal networks[C].Proceedings of neural information processing systems; 2015 December 5–10; Montreal, Canada，2015: 1–14.

[22] 馮小雨，梅衛(wèi)，胡大帥. 基于改進(jìn)Faster R-CNN的空中目標(biāo)檢測[J]. 光學(xué)學(xué)報(bào)，2018，v.38，435（6）：250-258.

[23] Jia YQ, Shelhamer E, Donahue J, etc. Caffe: convolutional architecture for fast feature embedding[C]. Proceedings of 22nd ACM international conference on multimedia; 2014 November 3–7. Orlando, USA. New York: ACM，2014:1–4.

[24] Cheng MM, Mitra NJ, Huang XL, etc. Global contrast based salient region detection[J]. IEEE Trans Pattern Anal Mach Intell 2015,37（3）：569–582.

Automatic Identification of Aerial Refueling Cone Sleeve Based on Faster R-CNN Algorithm

ZHANG Yubo, CAO Youquan

With the development of UAV technology, autonomous aerial refueling technology increases the flight radius and payload of UAV and improves the combat effectiveness of UAV. The paper focuses on the precise guidance technology of UAV hose aerial refueling in complex environment, and studies the key link of drogue detection during the close docking phase of UAV autonomous aerial refueling. Using deep learning and graphics processing unit, a new method based on Faster R-CNN neural network is proposed. In order to ensure its robustness and wide application, an image deep learning data set was made by using real data of hose aerial refueling. Based on the experimental data, the robustness and identification accuracy of the identification algorithm based on Caffe framework Faster R-CNN cone sleeve were verified, and the comparison experiment proved that the identification algorithm also had better identification ability of cone sleeve in the complex UAV oil-feeding environment.

UAV Aerial Refueling; Computer Vision; In-Depth Learning Algorithm; Drogue Detection

V249

A

1674-7976-(2021)-04-297-09

2021-03-30。張宇博（1991.06-），陜西商洛人，碩士，主要研究方向?yàn)橐曈X導(dǎo)航和衛(wèi)星導(dǎo)航。