基于ORB-LATCH的特征檢測(cè)與描述算法

李 卓，劉潔瑜，李 輝，周小剛，李維鵬

(1.火箭軍工程大學(xué) 控制工程系，西安 710025； 2.火箭軍駐第四研究院軍事代表室，西安 710025)

基于ORB-LATCH的特征檢測(cè)與描述算法

李 卓1*，劉潔瑜1，李 輝2，周小剛1，李維鵬1

(1.火箭軍工程大學(xué) 控制工程系，西安 710025； 2.火箭軍駐第四研究院軍事代表室，西安 710025)

(*通信作者電子郵箱18392432652@163.com)

針對(duì)基于學(xué)習(xí)安排的三元組(LATCH)二進(jìn)制描述子不具備尺度不變性且其旋轉(zhuǎn)不變性，需要特征檢測(cè)子輔助的問(wèn)題，提出了一種基于快速定向旋轉(zhuǎn)二進(jìn)制穩(wěn)健基元獨(dú)立特征(ORB)和LATCH相結(jié)合的特征檢測(cè)與描述算法。首先，在圖像金字塔尺度空間上進(jìn)行加速段測(cè)試特征(FAST)檢測(cè)；然后，采用ORB灰度質(zhì)心方法來(lái)進(jìn)行方向補(bǔ)償；最后，對(duì)特征進(jìn)行LATCH描述。實(shí)驗(yàn)結(jié)果表明，所提算法具備運(yùn)算量小、實(shí)時(shí)性高以及旋轉(zhuǎn)和尺度不變性的特點(diǎn)，在相同的準(zhǔn)確率下，其召回率優(yōu)于ORB和哈里斯-LATCH(HARRIS-LATCH)算法，其匹配內(nèi)點(diǎn)率比ORB算法提高了4.2個(gè)百分點(diǎn)。該算法在保持實(shí)時(shí)性的同時(shí)進(jìn)一步縮小了與基于直方圖的尺度不變特征變換(SIFT)和加速健壯特征(SURF)算法之間的精度差距，可對(duì)圖像序列進(jìn)行快速且精確的實(shí)時(shí)處理。

特征檢測(cè)；二進(jìn)制描述子；尺度不變性；旋轉(zhuǎn)不變性；實(shí)時(shí)性

0 引言

特征的檢測(cè)與描述是計(jì)算機(jī)視覺(jué)領(lǐng)域許多問(wèn)題的基礎(chǔ)，在諸如跟蹤、視覺(jué)里程計(jì)以及視覺(jué)導(dǎo)航等應(yīng)用背景，尋求快速而魯棒的檢測(cè)描述方法是實(shí)現(xiàn)對(duì)幀頻實(shí)時(shí)處理的關(guān)鍵。

在特征檢測(cè)方面，類似高斯差分(Difference of Gaussian, DoG)的斑點(diǎn)檢測(cè)子具有尺度不變性，但是計(jì)算量較大，因此計(jì)算量較小的角點(diǎn)檢測(cè)在實(shí)時(shí)性系統(tǒng)中得到了廣泛的應(yīng)用。在特征描述方面，目前的描述子主要有兩個(gè)系列：梯度直方圖方法和二進(jìn)制方法?；谔荻戎狈綀D的方法具有代表性的是尺度不變特征變換(Scale Invariant Feature Transform, SIFT)[1]，其特點(diǎn)是具備較強(qiáng)的魯棒性，但伴隨著巨大的計(jì)算負(fù)擔(dān)。后來(lái)在降低計(jì)算成本方面出現(xiàn)了加速健壯特征(Speeded Up Robust Features, SURF)[2]，計(jì)算量有所減小但依然無(wú)法滿足實(shí)時(shí)性的要求；另外還存在一種旨在利用圖形處理器(Graphics Processing Unit, GPU)來(lái)提高計(jì)算速度的方法[3]，但實(shí)現(xiàn)途徑較為復(fù)雜。相反，近年來(lái)二進(jìn)制描述子得到了較快發(fā)展[4-8]，僅通過(guò)比對(duì)圖像塊的灰度來(lái)進(jìn)行二進(jìn)制編碼，大大降低了計(jì)算量并節(jié)省了存儲(chǔ)成本，已經(jīng)在實(shí)時(shí)的視覺(jué)導(dǎo)航系統(tǒng)上得到了應(yīng)用[9-11]。文獻(xiàn)[12]對(duì)二進(jìn)制穩(wěn)健基元獨(dú)立特征(Binary Robust Independent Elementary Features, BRIEF)、快速定向旋轉(zhuǎn)BRIEF(Oriented fast and Rotated BRIEF, ORB)以及二進(jìn)制魯棒不變尺度關(guān)鍵點(diǎn)(Binary Robust Invariant Scalable Keypoint, BRISK)三種描述子的性能進(jìn)行了評(píng)估。針對(duì)BRIEF不具備旋轉(zhuǎn)不變性的問(wèn)題，ORB引進(jìn)了在關(guān)鍵點(diǎn)附近圖像塊計(jì)算灰度質(zhì)心[5]的旋轉(zhuǎn)機(jī)制。文獻(xiàn)[13]采用了一種直接將特征檢測(cè)和描述結(jié)合的方式，將關(guān)鍵點(diǎn)檢測(cè)所具備的旋轉(zhuǎn)不變性耦合到描述子上，利用這種方法獲取的旋轉(zhuǎn)不變性優(yōu)于ORB，但是計(jì)算代價(jià)較大[14]。針對(duì)二進(jìn)制描述子所不具備的尺度不變性，主流方法是在圖像金字塔的尺度空間上進(jìn)行加速段測(cè)試特征(Features from Accelerated Segment Test, FAST)角點(diǎn)檢測(cè)，對(duì)尺度不變性較好的關(guān)鍵點(diǎn)進(jìn)行描述，具有快速性和魯棒性相結(jié)合的優(yōu)勢(shì)[5-6]。針對(duì)像素點(diǎn)對(duì)的灰度比對(duì)結(jié)果易受噪聲和局部表觀變化影響的問(wèn)題，文獻(xiàn)[14]提出了學(xué)習(xí)安排的三元組(Learned Arrangements of Three Patch Codes, LATCH)描述子，將像素點(diǎn)對(duì)的比對(duì)轉(zhuǎn)變?yōu)槿M圖像塊的F范數(shù)的比對(duì)，在保持二進(jìn)制描述子優(yōu)勢(shì)的同時(shí)，縮小了與基于直方圖的描述子在魯棒性方面的差距，并將其應(yīng)用于三維重構(gòu)中。但LATCH描述子不具備尺度不變性，并且其旋轉(zhuǎn)不變性需要特征檢測(cè)子的輔助。

針對(duì)上述問(wèn)題，本文將ORB算法中的多尺度FAST角點(diǎn)檢測(cè)和旋轉(zhuǎn)機(jī)制與LATCH描述進(jìn)行改進(jìn)結(jié)合，使得提出的ORB-LATCH算法在保持二進(jìn)制描述子優(yōu)勢(shì)的同時(shí)具備較強(qiáng)的魯棒性。首先，對(duì)提出的ORB-LATCH算法進(jìn)行運(yùn)行時(shí)間分析，其次在Mikolajczyk標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行尺度不變性和旋轉(zhuǎn)不變性效果分析，最后在KITTI數(shù)據(jù)集上進(jìn)行環(huán)境適應(yīng)性驗(yàn)證。

1 LATCH二進(jìn)制描述子

通常二進(jìn)制描述子由三部分組成：抽樣模式、方向補(bǔ)償以及抽樣比對(duì)，目前的幾種二進(jìn)制描述子在抽樣的策略和辨別能力上有所不同。

先前的二進(jìn)制描述子以檢測(cè)到的特征點(diǎn)為中心選取一定大小的圖像塊W，一個(gè)二進(jìn)制描述子bW由T對(duì)抽樣坐標(biāo)序列S={st}t=1,2,…,T={[pt,1,pt,2]}t=1,2,…,T組成，其中pt,1=(xt,1,yt,1)和pt,2=(xt,2,yt,2)定義在W坐標(biāo)系。索引t既與W中的一對(duì)坐標(biāo)關(guān)聯(lián)，又關(guān)聯(lián)高斯光滑核σt=(σt,1,σt,2)t=1,2,…,T。對(duì)于每一抽樣對(duì)st，比較pt,1和pt,2經(jīng)過(guò)光滑后的灰度，從而由式(1)來(lái)設(shè)置二進(jìn)制中相應(yīng)位的值：

(1)

其中：W(pt,1,σt,1)(W(pt,2,σt,2))是圖像塊W中坐標(biāo)pt,1(pt,2)經(jīng)標(biāo)準(zhǔn)差σt,1(σt,2)高斯濾波后的值。

最終的二進(jìn)制串bW由式(2)來(lái)定義：

(2)

(3)

在運(yùn)行時(shí)間上，LATCH描述子保持了二進(jìn)制描述子的優(yōu)勢(shì)，比基于直方圖描述子快一個(gè)數(shù)量級(jí)；在魯棒性方面，LATCH在大多數(shù)數(shù)據(jù)集上的效果優(yōu)于其他二進(jìn)制描述子，縮小了與基于直方圖描述子的差距[14]。

2 ORB-LATCH改進(jìn)算法設(shè)計(jì)

LATCH保持了二進(jìn)制描述子的運(yùn)算優(yōu)勢(shì)，同時(shí)縮小了與基于直方圖的描述子在魯棒性上的差距。但是LATCH描述子的構(gòu)造設(shè)計(jì)決定了其旋轉(zhuǎn)不變性需要檢測(cè)子的輔助，且不具備尺度不變性。針對(duì)此問(wèn)題，本文提出一種具備旋轉(zhuǎn)和尺度不變性的ORB-LATCH改進(jìn)算法。

2.1 旋轉(zhuǎn)不變性

在方向補(bǔ)償上，采用ORB中灰度質(zhì)心的方法來(lái)確定方向。以特征點(diǎn)為中心和坐標(biāo)原點(diǎn)，在其鄰域內(nèi)計(jì)算圖像塊的灰度質(zhì)心，圖像塊的矩為：

(4)

其中I(x,y)是點(diǎn)(x,y)處的灰度值.

利用矩可以由式(5)計(jì)算圖像塊的灰度質(zhì)心：

C=(m10/m00,m01/m00)

(5)

構(gòu)造從特征點(diǎn)O到質(zhì)心C的矢量，從而圖像塊的方向可以由式(6)給出：

θ=atan2(m01,m10)

(6)

這種簡(jiǎn)單而有效的灰度質(zhì)心方法可以對(duì)大量的圖像塊進(jìn)行實(shí)時(shí)的旋轉(zhuǎn)操作，通過(guò)計(jì)算圖像塊的方向?qū)D像塊旋轉(zhuǎn)到規(guī)范的方向，而后對(duì)其進(jìn)行描述，從而獲取旋轉(zhuǎn)不變性。

2.2 尺度不變性

在特征檢測(cè)方面，角點(diǎn)檢測(cè)因計(jì)算性能的優(yōu)越得到了廣泛的應(yīng)用，其中FAST角點(diǎn)檢測(cè)在尺度不變性和計(jì)算效率上最具優(yōu)勢(shì)[15]。本文采用文獻(xiàn)[15]提出的性能優(yōu)越的FAST-9角點(diǎn)檢測(cè)算法，首先檢測(cè)圖像中每個(gè)像素p周圍參考像素xs(s∈{1,2,…,16})的灰度值，如圖1(a)所示。

圖1 局部像素位置示意圖

按照式(7)將像素p分為三類：

(7)

其中th為檢測(cè)閾值。

若至少有9個(gè)鄰接的參考像素檢測(cè)結(jié)果均為d(b)，則p為FAST角點(diǎn)記為c。在實(shí)際運(yùn)算中，優(yōu)先檢測(cè)xs(s∈{1,5,9,13})，其中必須有兩個(gè)相鄰像素均為d(b)類型，否則拒絕繼續(xù)比較剩余的參考像素。文獻(xiàn)[15]中直接用像素灰度值來(lái)構(gòu)建特征矢量，而本文中采用了一種改進(jìn)的差分FAST特征(Differential FAST Feature, DFF)[16]，該特征在保持運(yùn)算效率的同時(shí)，具備一定的光照不變性和噪聲適應(yīng)能力，如圖1(b)所示，提取角點(diǎn)像素c周圍20個(gè)特征像素xl(l∈{1,2,…,20})的灰度值，并分別與像素c相減構(gòu)成差分特征Fc，可用式(8)表示：

Fc=Ic-Ic→xl；l∈{1,2,…,20}

(8)

在應(yīng)用FAST時(shí)，檢測(cè)閾值th是人為設(shè)定的，可以通過(guò)實(shí)驗(yàn)調(diào)整th值來(lái)獲取適當(dāng)?shù)腇AST角點(diǎn)數(shù)量，用于增強(qiáng)后續(xù)算法的魯棒性。針對(duì)FAST不能生成多尺度的特征，本文采用構(gòu)建圖像的尺度金字塔，并在尺度空間的每一層上生成FAST特征的方法。FAST的快速性優(yōu)勢(shì)使其能夠滿足在金字塔不同的尺度空間上進(jìn)行角點(diǎn)檢測(cè)，對(duì)尺度不變性較好的特征再進(jìn)行描述[5-6]從而實(shí)現(xiàn)尺度的不變性。

2.3 算法流程設(shè)計(jì)

本文提出的ORB-LATCH特征檢測(cè)和描述改進(jìn)算法流程如圖2所示，以實(shí)現(xiàn)檢測(cè)和描述的優(yōu)勢(shì)互補(bǔ)以及快速性和魯棒性的有效結(jié)合。

圖2 ORB-LATCH改進(jìn)算法流程

在多尺度FAST角點(diǎn)檢測(cè)上，對(duì)輸入圖像進(jìn)行金字塔尺度空間的構(gòu)建，而后對(duì)每一圖層進(jìn)行FAST角點(diǎn)檢測(cè)和尺度評(píng)判與特征的選取，最后針對(duì)FAST對(duì)圖像的邊緣特征有較大響應(yīng)的問(wèn)題，本文采用Harris方法[17]對(duì)FAST檢測(cè)到的關(guān)鍵點(diǎn)進(jìn)行排序。對(duì)于預(yù)定數(shù)目N個(gè)關(guān)鍵點(diǎn)，首先設(shè)定能夠獲得關(guān)鍵點(diǎn)數(shù)目比N多的較低閾值，而后根據(jù)Harris方法來(lái)挑選前N的關(guān)鍵點(diǎn)。

在二進(jìn)制描述階段，首先采用灰度質(zhì)心方法對(duì)特征周圍固定大小的圖像塊進(jìn)行方向補(bǔ)償，而后對(duì)旋轉(zhuǎn)后的圖像塊進(jìn)行抽樣和三元組的選取比對(duì)，從而為特征的匹配構(gòu)造出二進(jìn)制描述子，為后續(xù)的特征匹配奠定基礎(chǔ)。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)測(cè)試設(shè)備是DELLOPTIPLEX7010臺(tái)式電腦(IntelCorei5- 3470CPU，主頻3.20GHz，4.00GB內(nèi)存)，64位的Windows7操作系統(tǒng)和Ubuntu14.04操作系統(tǒng)。對(duì)于LATCH描述子采用文獻(xiàn)[14]所采用的32位、48×48的提取窗口以及7×7的元組塊，該尺寸選取兼顧了計(jì)算量和精度兩個(gè)方面，也是OpenCV3.1.0中所采用的參數(shù)設(shè)置。同樣，對(duì)其他的特征檢測(cè)子和描述子也均采用其所提出的原始版本以及OpenCV提供的C++默認(rèn)參數(shù)設(shè)置。

3.1 運(yùn)行時(shí)間分析

由于算法的運(yùn)行時(shí)間受計(jì)算機(jī)性能影響，本文采用了在Windows7+VS2015和Ubuntu14.04+Cmake兩種模式下進(jìn)行運(yùn)算時(shí)間分析，從而客觀地對(duì)比各算法的效率。

在Graffiti數(shù)據(jù)集上規(guī)范的640×480圖像上進(jìn)行檢測(cè)和描述(1 000個(gè)特征點(diǎn))的時(shí)間計(jì)時(shí)，運(yùn)行時(shí)間如表1所示。由表1對(duì)比數(shù)據(jù)可知，在本文的實(shí)驗(yàn)條件下ORB-LATCH改進(jìn)算法保持了角點(diǎn)檢測(cè)和二進(jìn)制描述的效率優(yōu)勢(shì)，比傳統(tǒng)的SIFT[1]和SURF[2]方法快一個(gè)數(shù)量級(jí)，基本滿足實(shí)時(shí)性的要求。

表1 平均檢測(cè)和描述1 000個(gè)關(guān)鍵點(diǎn)時(shí)間 ms

3.2 精度和適應(yīng)性分析

對(duì)于改進(jìn)算法ORB-LATCH的精度和應(yīng)用效果分析，本文采用標(biāo)準(zhǔn)的Mikolajczyk公共數(shù)據(jù)集[18]和KITTI數(shù)據(jù)集[19-20]來(lái)對(duì)算法進(jìn)行評(píng)估。Mikolajczyk數(shù)據(jù)集由八組圖像序列組成，每組圖像序列包含六個(gè)具有不同表觀變化的圖像，表觀變化包括尺度和旋轉(zhuǎn)(Boat集和Bark集)、視角變化(Graffiti集和Wall集)、照明變化(Leuven集)、JPEG壓縮(UBC集)以及圖像模糊(Bikes集和Trees集)。KITTI數(shù)據(jù)集包含有車載雙目視覺(jué)數(shù)據(jù)集，能很好地對(duì)算法進(jìn)行室外環(huán)境適應(yīng)性考量。

精度和適應(yīng)性分析實(shí)驗(yàn)包含兩部分：首先針對(duì)改進(jìn)算法ORB-LATCH的尺度不變性和旋轉(zhuǎn)不變性，通過(guò)繪制召回率相對(duì)1-準(zhǔn)確率曲線圖與ORB算法和HARRIS-LATCH算法進(jìn)行對(duì)比分析驗(yàn)證；其次針對(duì)ORB-LATCH算法室外環(huán)境適應(yīng)性進(jìn)行分析，與SIFT、SURF、ORB算法在KITTI- 01數(shù)據(jù)集上進(jìn)行內(nèi)點(diǎn)率對(duì)比分析。

采用Mikolajczyk數(shù)據(jù)集中存在尺度和旋轉(zhuǎn)變化的Boat集和圖像模糊的Bikes集，對(duì)每個(gè)集合下第一張圖像與剩下的五張圖像進(jìn)行特征檢測(cè)、描述與匹配，根據(jù)已知的單應(yīng)性繪制召回率相對(duì)1-準(zhǔn)確率曲線，實(shí)驗(yàn)結(jié)果如圖3所示。

由圖3可以看出，在尺度和旋轉(zhuǎn)不變性方面，本文提出的ORB-LATCH算法在相同的準(zhǔn)確率下其召回率高于ORB算法以及文獻(xiàn)[15]所采用的HARRIS-LATCH算法，這主要是因?yàn)椋号cORB算法相比，本文算法的三元組F范數(shù)比對(duì)具備良好的抗干擾和應(yīng)對(duì)局部表觀變化的能力；與HARRIS-LATCH算法相比，本文算法具備旋轉(zhuǎn)機(jī)制，從而使得改進(jìn)算法具備較好的尺度和旋轉(zhuǎn)不變性，縮小了與傳統(tǒng)的SIFT和SURF算法之間在魯棒性上的差距。在圖像模糊上，本文提出的ORB-LATCH算法在Bikes集上平均召回率為0.43，此結(jié)果優(yōu)于傳統(tǒng)的SIFT和SURF算法，表明在運(yùn)動(dòng)模糊方面本文算法獨(dú)具優(yōu)勢(shì)，能夠更好地應(yīng)對(duì)實(shí)際應(yīng)用中由載體運(yùn)動(dòng)造成的圖像模糊。

為檢驗(yàn)ORB-LATCH算法室外環(huán)境適應(yīng)性，隨機(jī)抽取KITTI- 01數(shù)據(jù)集上相鄰的兩幅圖像，采用暴力匹配(BruteForceMatching,BFM) 法進(jìn)行特征的匹配，匹配結(jié)果如圖4所示。而后利用隨機(jī)抽樣一致性(RandomSampleConsensus,RANSAC)算法來(lái)尋求圖像間的單應(yīng)性和匹配的最大的內(nèi)點(diǎn)集，內(nèi)點(diǎn)率結(jié)果如表2所示。

從圖4中可以看出,與ORB和ORB-LATCH算法相比，SIFT和SURF算法特征的分布均勻性較好，而本文的ORB-LATCH算法比ORB算法匹配要更加整齊，這也顯示出匹配精度的優(yōu)劣；表2中的結(jié)果顯示，在相同匹配策略和描述點(diǎn)數(shù)的條件下，本文提出的ORB-LATCH算法的內(nèi)點(diǎn)數(shù)高于目前主流的ORB算法，匹配的準(zhǔn)確性更接近于基于直方圖的特征點(diǎn)描述法，可為后續(xù)步驟提供更加準(zhǔn)確的匹配結(jié)果。

圖3 不同算法召回率相對(duì)1-準(zhǔn)確率曲線

圖4 BFM方法下各算法匹配結(jié)果

算法描述點(diǎn)數(shù)匹配點(diǎn)數(shù)內(nèi)點(diǎn)數(shù)內(nèi)點(diǎn)率SIFT[1]5005003270．654SURF[2]5004983010．602ORB[6]5005002720．544ORB?LATCH5005002930．586

4 結(jié)語(yǔ)

本文提出的ORB-LATCH算法將ORB算法的特征檢測(cè)和LATCH描述進(jìn)行了優(yōu)勢(shì)互補(bǔ)，實(shí)現(xiàn)了快速性和魯棒性的有效結(jié)合。實(shí)驗(yàn)結(jié)果表明：本文算法與ORB算法和HARRIS-LATCH算法相比，其精度更高；與傳統(tǒng)的SIFT和SURF算法相比，本文算法保持了角點(diǎn)檢測(cè)和二進(jìn)制描述的運(yùn)算耗時(shí)小的優(yōu)勢(shì)的同時(shí)提高了魯棒性。所提算法可以滿足室外復(fù)雜環(huán)境下實(shí)時(shí)并精確地進(jìn)行特征檢測(cè)和描述的要求，為視覺(jué)里程計(jì)系統(tǒng)中運(yùn)動(dòng)信息解算環(huán)節(jié)提供精度更好的條件，下一步可以從特征的分布和不確定性度的分析、特征匹配策略等方面進(jìn)行研究。

)

[1]LOWEDG.Objectrecognitionfromlocalscale-invariantfeatures[C]//ProceedingsoftheSeventhIEEEInternationalConferenceonComputerVision.Washington,DC:IEEEComputerSociety, 1999, 2: 1150-1157.

[2]BAYH,TUYTELAARST,GOOLLV.SURF:speededuprobustfeatures[C]//Proceedingsofthe9thEuropeanConferenceonComputerVision,LNCS3951.Berlin:Springer, 2006: 404-417.

[3]SINHASN,FRAHMJM,POLLEFEYSM,etal.GPU-basedvideofeaturetrackingandmatching,TR06- 012 [R].ChapelHill,NC:TheUniversityofNorthCarolinaatChapelHill, 2006.

[4]CALONDERM,LEPETITV,STRECHAC,etal.BRIEF:binaryrobustindependentelementaryfeatures[C]//Proceedingsofthe2010EuropeanConferenceonComputerVision,LNCS6314.Berlin:Springer, 2010: 778-792.

[5]RUBLEEE,RABAUDV,KONOLIGEK,etal.ORB:anefficientalternativetoSIFTorSURF[C]//Proceedingsofthe2011IEEEInternationalConferenceonComputerVision.Washington,DC:IEEEComputerSociety, 2011: 2564-2571.

[6]LEUTENEGGERS,CHLIM,SIEGWQRTRY.BRISK:binaryrobustinvariantscalablekeypoints[C]//Proceedingsofthe2011IEEEInternationalConferenceonComputerVision.Washington,DC:IEEEComputerSociety, 2011: 2548-2555.

[7]ORTIZR.Freak:fastretinakeypoint[C]//CVPR’12:Proceedingsofthe2012IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2012: 510-517.

[8]RUSINOLM,CHAZALONJ,OGIERJM,etal.Acomparativestudyoflocaldetectorsanddescriptorsformobiledocumentclassification[C]//Proceedingsofthe2015 13thInternationalConferenceonDocumentAnalysisandRecognition.Washington,DC:IEEEComputerSociety, 2015: 596-600.

[9]MUR-ARTALR,TARDOSJD.Fastrelocalisationandloopclosinginkeyframe-basedSLAM[C]//Proceedingsofthe2014IEEEInternationalConferenceonRoboticsandAutomation.Piscataway,NJ:IEEE, 2014: 846-853.

[10]MUR-ARTALR,MONTIELJMM,TARDOSJD.ORB-SLAM:aversatileandaccuratemonocularSLAMsystem[J].IEEETransactionsonRobotics, 2015, 31(5): 1147-1163.

[11]MUR-ARTALR,TARDOSJD.ORB-SLAM2:anopen-sourceSLAMsystemformonocular,stereoandRGB-Dcameras[EB/OL]. [2016- 10- 23].http://xueshu.baidu.com/s?wd=paperuri%3A%28b8dc1828fec6e423409fcd44fbc2e89a%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Farxiv.org%2Fpdf%2F1610.06475.pdf&ie=utf- 8&sc_us=6804051625971623844.

[12]HEINLYJ,DUNNE,FRAHMJM.Comparativeevaluationofbinaryfeatures[C]//Proceedingsofthe2012 12thEuropeanConferenceonComputerVision,LNCS7573.Berlin:Springer, 2012: 759-773.

[13] LEVI G. Adding rotation invariance to the BRIEF descriptor [EB/ OL]. [2016- 10- 23]. https: //gilscvblog.wordpress.com/2013/08/18/a-short-introduction-to-descriptors/.

[14] LEVI G, HASSNER T. LATCH: learned arrangements of three patch codes [C]// Proceedings of the 2016 IEEE Winter Conference on Applications of Computer Vision. Washington, DC: IEEE Computer Society, 2016: 1-9.

[15] ROSTEN E, PORTER R, DRUMMOND T. Faster and better: a machine learning approach to corner detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(1): 105-119.

[16] 王蒙,戴亞平,王慶林.一種新的FAST-Snake目標(biāo)跟蹤方法 [J].自動(dòng)化學(xué)報(bào),2014,40(6):1108-1115.(WANG M, DAI Y P, WANG Q L. A novel FAST-snake object tracking approach [J]. Acta Automatica Sinica, 2014, 40(6): 1108-1115.)

[17] HARRIS C, STEPHENS M. A combined corner and edge detector [EB/OL]. [2016- 10- 23]. http://www.rose-hulman.edu/class/cs/csse461/handouts/Day29/avc- 88- 023.pdf.

[18] MIKOLAJCZYK K, SCHMID C. A performance evaluation of local descriptors [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630.

[19] GEIGER A. Are we ready for autonomous driving? The KITTI vision benchmark suite [C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2012: 3354-3361.

[20] GEIGER A, LENZ P, STILLER C, et al. Vision meets robotics: the KITTI dataset [J]. International Journal of Robotics Research, 2013, 32(11):1231-1237.

This work is partially supported by the National Natural Science Foundation of China (61203007, 61304001).

LI Zhuo, born in 1992, M. S. candidate. His research interests include binocular visual navigation, vehicle position and orientation.

LIU Jieyu, born in 1970, Ph. D., professor. Her research interests include inertial navigation technology, precision guidance technology.

LI Hui, born in 1978, M. S., engineer. His research interests include navigation, guidance and control.

ZHOU Xiaogang, born in 1979, Ph. D., lecturer. His research interests include inertial navigation and anti-penetration technology.

LI Weipeng, born in 1992, M. S. candidate. His research interests include mobile robot visual simultaneous localization and mapping.

Feature detection and description algorithm based on ORB-LATCH

LI Zhuo1*, LIU Jieyu1, LI Hui2, ZHOU Xiaogang1, LI Weipeng1

(1.InstituteofControlEngineering,RocketForceUniversityofEngineering,Xi’anShaanxi710025,China; 2.MilitaryRepresentativeOfficeoftheRocketForceintheFourthResearchInstitute,Xi’anShaanxi710025,China)

The binary descriptor based on Learned Arrangements of Three Patch Codes (LATCH) lacks of scale invariance and its rotation invariance depends upon feature detector, so a new feature detection and description algorithm was proposed based on Oriented fast and Rotated Binary robust independent elementary feature (ORB) and LATCH. Firstly, the Features from Accelerated Segment Test (FAST) was adopted to detect corner feature on the scale space of image pyramid. Then, the intensity centroid method of ORB was used to obtain orientation compensation. Finally, the LATCH was used to describe the feature. The experimental results indicate that, the proposed algorithm has the characteristics of low computational complexity, high real-time performance, rotation invariance and scale invariance. Under the same accuracy, the recall rate of the proposed algorithm is better than ORB and HARRIS-LATCH algorithm, the matching inner rate of the proposed algorithm is higher than ORB algorithm by 4.2 percentage points. In conclusion, the proposed algorithm can reduce the performance gap with histogram based algorithms such as Scale Invariant Feature Transform (SIFT) and Speeded Up Robust Feature (SURF) while maintaining the real-time property, and it can deal with image sequence in real-time quickly and exactly.

feature detection; binary descriptor; scale invariance; rotation invariance; real-time property

2016- 11- 23;

2017- 01- 09。 基金項(xiàng)目:基金項(xiàng)目:國(guó)家自然科學(xué)基金資助項(xiàng)目(61203007，61304001)。

李卓(1992—)，男，河北保定人，碩士研究生，主要研究方向：雙目視覺(jué)導(dǎo)航、車輛定位定向； 劉潔瑜(1970—)，女，廣東增城人，教授，博士，主要研究方向：慣性導(dǎo)航技術(shù)、精確制導(dǎo)技術(shù)； 李輝(1978—)，男，山西介休人，工程師，碩士，主要研究方向：導(dǎo)航制導(dǎo)與控制； 周小剛(1979—)，男，陜西西安人，講師，博士，主要研究方向：精確制導(dǎo)與突防技術(shù)； 李維鵬(1992—)，男，湖北武漢人，碩士研究生，主要研究方向：移動(dòng)機(jī)器人視覺(jué)同步定位與地圖構(gòu)建。

1001- 9081(2017)06- 1759- 04

10.11772/j.issn.1001- 9081.2017.06.1759

TP242.62

A