金字塔卷積和改進(jìn)鉸鏈損失的特征點檢測方法

馬 碩，高永彬，田方正，盧俊鑫，顧 佳，周意龍

金字塔卷積和改進(jìn)鉸鏈損失的特征點檢測方法

馬 碩，高永彬，田方正，盧俊鑫，顧 佳，周意龍

（上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201620）

針對傳統(tǒng)的特征點檢測方法易受視角、光照、圖像質(zhì)量等影響，導(dǎo)致圖像的特征匹配不準(zhǔn)確，提出了一種基于金字塔卷積和改進(jìn)鉸鏈損失函數(shù)的特征點檢測方法用于圖像匹配。首先，將金字塔卷積核用于特征點檢測和描述子提取算法研究，使用多尺度的卷積核捕捉場景中不同級別的信息；其次，在下采樣過程中引入模糊濾波方法，提升平移不變性；然后，考慮到描述子信息對圖像的特征匹配起決定性作用，采用基于自定義優(yōu)化的鉸鏈損失函數(shù)，在訓(xùn)練過程中給每一對描述子訓(xùn)練樣本增加可變權(quán)重；最后，在HPatches數(shù)據(jù)集上對提出算法的可重復(fù)性和單應(yīng)性估計能力進(jìn)行測試，在KITTI數(shù)據(jù)集上對所提算法的視覺里程計應(yīng)用進(jìn)行測試。實驗結(jié)果表明，提出的算法結(jié)果優(yōu)于其他方法，同時能有效提高視覺里程計的定位精度。

自監(jiān)督學(xué)習(xí)；特征點檢測；描述子；金字塔卷積核；模糊濾波；可變權(quán)重；可重復(fù)性

0 引言

很多計算機(jī)視覺的任務(wù)都是從尋找特征點開始的，比如圖像檢索、同時定位和建圖（simultaneous localization and mapping, SLAM）和三維重建等，因此基于描述子進(jìn)行圖像匹配是非常重要的。然而在尋找特征點在圖像中的二維位置時，很容易受到視角、光度和成像條件的影響，所以有必要設(shè)計對此類變化有較強(qiáng)魯棒性的特征點檢測和描述子提取模型。現(xiàn)在的特征點檢測和描述子提取算法主要分為傳統(tǒng)方法和基于學(xué)習(xí)的方法。早期的研究主要集中在傳統(tǒng)方法，如尺度不變特征轉(zhuǎn)換（scale-invariant feature transform, SIFT）[1]、加速穩(wěn)健特征（speeded up robust features，SURF）[2]和ORB（oriented FAST and rotated BRIEF）[3]特征點檢測器均是基于手工制作的描述子，其目的在于尋找灰度值具有強(qiáng)烈變化或者邊緣曲率較大的點。然而隨著深度學(xué)習(xí)的發(fā)展，很多計算機(jī)視覺的傳統(tǒng)任務(wù)受到影響，例如姿勢估計[4-5]、單應(yīng)性估計[6]、立體匹配[7]和視覺測距[8]等。這種情況下，基于深度學(xué)習(xí)的特征點檢測和描述子提取研究[9-14]得到發(fā)展，尤其是端到端的學(xué)習(xí)方法，在一些場景應(yīng)用中取得較好的效果。文獻(xiàn)[15]提出的超點（SuperPoint）把合成數(shù)據(jù)的角、交點、斑點和線段等定義為興趣點的真實數(shù)據(jù)，訓(xùn)練出一個新的模型來預(yù)測興趣點并提取描述子。

在基于深度學(xué)習(xí)的方法中，一般使用視覺幾何組（visual geometry group, VGG）[16]、殘差網(wǎng)絡(luò)（residual network, ResNet）[17]和GoogleNet[18]等編碼器網(wǎng)絡(luò)提取圖片的特征。在此類卷積神經(jīng)網(wǎng)絡(luò)中，卷積核起著至關(guān)重要的作用，通常使用3×3卷積核或者1×1的卷積核。本文將網(wǎng)絡(luò)中的卷積核設(shè)置為多尺度的卷積核，與文獻(xiàn)[19]所提出的方法不同，本文使用固定大小的金字塔卷積核擴(kuò)大感受野，捕捉不同級別的特征信息，讓卷積神經(jīng)網(wǎng)絡(luò)更有效地在復(fù)雜場景下提取特征。卷積神經(jīng)網(wǎng)絡(luò)為了減小特征尺寸，會采用最大池化（max-pooling）、跨步卷積或平均池化等降采樣方法，然而每種方法都不可避免地對平移過度敏感而產(chǎn)生鋸齒，這對于描述子信息匹配是非常不利的。受到文獻(xiàn)[20]的啟發(fā)，在訓(xùn)練特征點檢測器和描述子過程中對最大池化做出改進(jìn)，在中間特征圖增添模糊濾波器來抗鋸齒，保留平移不變性。針對描述子信息對圖像幾何匹配起決定性作用，改進(jìn)了文獻(xiàn)[15]中使用的鉸鏈損失，以提取更符合點周圍特征的描述子。結(jié)合圓損失（circle loss）函數(shù)[21]，給訓(xùn)練的樣本對增添可變權(quán)重，使優(yōu)化效率更高。將改進(jìn)的鉸鏈損失函數(shù)與原鉸鏈損失函數(shù)、三元組損失函數(shù)[22]的結(jié)果進(jìn)行對比，改進(jìn)的鉸鏈損失函數(shù)的精度有顯著提高。

本文的內(nèi)容主要有4個方面：①將金字塔卷積核應(yīng)用在特征點檢測和描述子提取任務(wù)中，在卷積神經(jīng)網(wǎng)絡(luò)中使用金字塔卷積核來代替單一的卷積核，從而捕捉場景中不同級別的信息，提取圖像的多尺度特征；②對最大池化做出改進(jìn)，在下采樣的中間特征圖增添模糊濾波器來抗鋸齒，保留了平移不變性；③改進(jìn)了鉸鏈損失，給每一對描述子訓(xùn)練樣本增加可變權(quán)重屬性，使用自定義優(yōu)化的方式使梯度變化更符合損失下降的規(guī)律；④最后在HPatches數(shù)據(jù)集[23]上對本文算法的可重復(fù)性和單應(yīng)性匹配能力進(jìn)行測試，在KITTI數(shù)據(jù)集[24]上對提出算法在視覺里程計中的精度進(jìn)行測試。實驗結(jié)果表明，本文算法能夠有效提高可重復(fù)性和匹配精度。應(yīng)用于相機(jī)定位中，本文算法能有效提高定位精度。

1 自監(jiān)督特征點檢測算法

1.1 系統(tǒng)架構(gòu)

基于自監(jiān)督學(xué)習(xí)的特征點檢測和描述子算法總體網(wǎng)絡(luò)框架如圖1所示。輸入為原圖和經(jīng)過仿射變化的圖，孿生神經(jīng)網(wǎng)絡(luò)的分支和分支同時處理輸入的2種帶有標(biāo)簽的圖像。2個分支檢測特征點同時生成特征點的描述子信息，根據(jù)輸出的描述子的對應(yīng)關(guān)系，建立描述子正樣本對和負(fù)樣本對。根據(jù)損失函數(shù)懲罰樣本對之間的差異性，構(gòu)建出自監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)框架。其中孿生神經(jīng)網(wǎng)絡(luò)的單個分支PcsuperPoint是本文主要訓(xùn)練的特征點檢測模型。

圖1 系統(tǒng)架構(gòu)示意圖

1.2 PcsuperPoint網(wǎng)絡(luò)模型

PcsuperPoint包括特征點檢測和描述子提取2項任務(wù)。圖2是特征點檢測器結(jié)構(gòu)總圖，主要包含編碼器、特征點解碼器、描述子解碼器。輸入的圖像通過編碼器網(wǎng)絡(luò)減少圖像維度并提取特征，編碼后的中間特征圖（feature map）分別送入特征點解碼器和描述子解碼器，輸出圖像的特征點及其描述子，其中、、分別代表高度、寬度和深度。通過該網(wǎng)絡(luò)輸出的特征點位置和描述子可以代替?zhèn)鹘y(tǒng)的特征點檢測器。

圖2 網(wǎng)絡(luò)模型PcsuperPoint示意圖

1.3 網(wǎng)絡(luò)編碼器

本文的網(wǎng)絡(luò)編碼器采用的是類似VGG的卷積神經(jīng)網(wǎng)絡(luò)，與之前不同的是在卷積過程中使用金字塔卷積核代替了原來的3×3的卷積核。具體表現(xiàn)為以3×3、5×5、7×7不同尺寸的卷積核來代替原來的單一尺寸的卷積核，并且保持原有的通道總數(shù)不變。較大感受野能夠提取更加抽象的特征信息，較小感受野可以提取更豐富的細(xì)節(jié)特征。兩者結(jié)合，同時捕捉到宏觀和微小特征信息。緊接著使用1×1的卷積將特征信息連接在一起。不同尺度的卷積核組合稱之為金字塔卷積核。圖3展現(xiàn)了一種金字塔卷積核的結(jié)構(gòu)和通道細(xì)節(jié)。

圖3 金字塔卷積核結(jié)構(gòu)

圖4 改進(jìn)的最大池化結(jié)構(gòu)

1.4 特征點和描述子解碼器

在描述子網(wǎng)絡(luò)中，首先對從編碼器網(wǎng)絡(luò)獲取的中間特征圖進(jìn)行操作。以尺寸為3×3、5×5、7×7、9×9卷積核捕獲特征信息，并應(yīng)用1×1的卷積進(jìn)行轉(zhuǎn)換，組合在不同內(nèi)核大小下提取的信息。值得注意的是，每次卷積之后都使用了標(biāo)準(zhǔn)的修正線性單元（rectified linear units，ReLU）激活函數(shù)。后續(xù)使用雙線性插值（bilinear interpolate）進(jìn)行上采樣，使用L2范式（L2-normalization）進(jìn)行批歸一化處理，最后得到固定維度的描述子。

1.5 損失函數(shù)

2 實驗結(jié)果與分析

2.1 訓(xùn)練細(xì)節(jié)

把金字塔卷積應(yīng)用到了各級網(wǎng)絡(luò)結(jié)構(gòu)中，使用通道數(shù)為16，大小分別為3×3、5×5、7×7、9×9的卷積核，取代原64通道的3×3卷積核；使用通道數(shù)為32的7×7和5×5卷積核以及通道數(shù)為64的3×3的卷積核，取代原128通道的3×3卷積核；使用通道數(shù)為64，大小分別為3×3、5×5、7×7、9×9的金字塔卷積核，取代原256通道的3×3卷積核。使用1×1卷積核組合不同尺度的特征信息，并緊跟ReLU激活函數(shù)和批量歸一化（batch normalization, BatchNorm）。

使用COCO2014數(shù)據(jù)集[25]，通過矩陣變換生成圖像對作為輸入，生成80106張240×320個像素的灰度圖像對用于訓(xùn)練。訓(xùn)練過程中加入了高斯噪聲、散斑噪聲、亮度變化等增強(qiáng)網(wǎng)絡(luò)模型的魯棒性。

2.2 可重復(fù)性評估實驗結(jié)果與分析

其中

表1 可重復(fù)性評估

從實驗結(jié)果來看，在光度變化的條件下，本文的特征點檢測方法可重復(fù)性比Shi、FAST、Harris和SuperPoint等檢測方法分別提高7.5%、8.4%、2.9%、1.8%，具有較好的表現(xiàn)；在角度變化的條件下，本文方法可重復(fù)性比Shi、FAST和SuperPoint等檢測方法分別提高1.8%、2.2%、2.6%，但是低于Harris，這是因為Harris檢測使用特征點附近的區(qū)域灰度2階矩陣，具有旋轉(zhuǎn)不變性，對仿射變化并不敏感。圖5展示出了本文方法在相應(yīng)的場景圖像中檢測到的特征點，圖5（a）和圖5（c）是每對圖像的原圖，圖5（b）是經(jīng)過仿射變化后的圖，圖5（d）是經(jīng)過旋轉(zhuǎn)后的圖。

圖5 不同場景圖像下的特征點檢測效果圖

2.3 匹配能力評估

匹配分?jǐn)?shù)評估方法：匹配分?jǐn)?shù)用于衡量2張圖片中正確的特征點匹配占所有點的比率；正確的匹配是描述子空間中最接近的2個點。特征點經(jīng)過單應(yīng)矩陣變換之后，每一對點都被轉(zhuǎn)換到同一視圖中，并且2個點的像素距離小于定義的閾值距離3，則是正確的匹配。

將本文方法與ORB[3]、SIFT[1]、LF-net[29]和SuperPoint[15]等方法創(chuàng)建了對比實驗。從同一場景的2幅圖像中選擇滿足特征點和描述子匹配的點，使用OpenCV執(zhí)行最近鄰匹配計算單應(yīng)矩陣。在實驗的過程中，480×640個像素的圖像最多計算 1000個點，閾值為3，極大值抑制設(shè)為8。在相同實驗場景下，對光度和角度不同的圖片進(jìn)行檢測，實驗結(jié)果如表2所示。

不同閾值且亮度和視點同時改變的實驗結(jié)果和匹配分?jǐn)?shù)如表3所示。ORB和SIFT使用OpenCV實現(xiàn)，Superpoint和LF-net方法使用作者公開的訓(xùn)練模型實現(xiàn)。

表2 單應(yīng)性估計結(jié)果

表3 光度、角度同時變化時單應(yīng)性估計準(zhǔn)確性和匹配分?jǐn)?shù)

2.4 損失函數(shù)對比結(jié)果

使用三元組損失、鉸鏈損失和本文改進(jìn)的鉸鏈損失函數(shù)進(jìn)行對比實驗，結(jié)果如表4所示。

表4 采用不同損失函數(shù)時的對比實驗

在優(yōu)化過程中，三元組損失函數(shù)和原鉸鏈損失函數(shù)對呈線性關(guān)系的正樣本和負(fù)樣本的懲罰力度是相等的，所以效率不高。本文改進(jìn)的鉸鏈損失函數(shù)，主要考慮到描述子的正樣本與負(fù)樣本數(shù)量上的不同會導(dǎo)致優(yōu)化速度不同，因此給樣本的優(yōu)化項添加了可變權(quán)重，這意味著在優(yōu)化過程中正負(fù)樣本的梯度變化可以進(jìn)行自定義調(diào)整，從而使損失函數(shù)收斂更加高效。實驗結(jié)果證明，本文改進(jìn)的鉸鏈損失對訓(xùn)練產(chǎn)生了積極影響。

2.5 特征點在相機(jī)定位中的應(yīng)用能力分析

絕對軌跡誤差評估方法：使用絕對軌跡誤差（absolute trajectory error, ATE）直接計算相機(jī)位姿的真實值與視覺里程計系統(tǒng)的估計值之間的差。首先根據(jù)位姿的時間戳將真實值和估計值進(jìn)行對齊，然后計算位姿之間的差值。

相機(jī)在未知環(huán)境下，同時進(jìn)行定位和建圖是SLAM的基本任務(wù)。本實驗采用開源的ORB-SLAM[30]算法做比對實驗，選擇KITTI公共數(shù)據(jù)集評估SLAM系統(tǒng)的精度和穩(wěn)定性。在ORB-SLAM系統(tǒng)中，使用ORB算法提取特征點，使用本文提出的PcsuperPoint檢測算法與其對比，將本文的特征點代替ORB-SLAM中的ORB特征點構(gòu)建SLAM系統(tǒng)?？紤]到本文方法沒有閉環(huán)檢測、局部和全局優(yōu)化等模塊，因此對比時禁用SLAM系統(tǒng)的局部和全局映射等優(yōu)化部分，僅保留了視覺里程計（visual odometry，VO）功能。在本文視覺里程計與ORB-SLAM視覺里程計對比實驗中，選取了KITTI數(shù)據(jù)集中的序列03和序列05的結(jié)果作為展示效果圖，如圖6、圖7所示。

圖6（a）和圖6（b）為2種視覺里程計方法在序列03和序列05上的絕對軌跡誤差圖，可以看出本文的算法相對于ORB-SLAM（VO）算法在同一時間下誤差更小。圖6（c）和圖6（d）為2種視覺里程計方法在序列03和序列05上的每一幀圖片中檢測到的特征點數(shù)量變化圖。根據(jù)特征點數(shù)量可以看出，ORB特征點在不同幀下特征點數(shù)量變化劇烈，會造成前后幀圖片匹配不穩(wěn)點；而本文的PcsuperPoint模型檢測到的特征點數(shù)量更為穩(wěn)定，具有更強(qiáng)的魯棒性。圖7（a）和圖7（b）為2種視覺里程計方法在序列03和序列05上的相機(jī)運(yùn)動軌跡，其中、表示相機(jī)運(yùn)動過程中偏離真實軌跡的距離，結(jié)果顯示本文方法在視覺里程計中的表現(xiàn)更靠近相機(jī)的真實軌跡。

圖7 相機(jī)運(yùn)動軌跡

表5為ORB-SLAM（VO）和本文（VO）在KITTI數(shù)據(jù)集11個序列中絕對軌跡誤差的實驗結(jié)果?？梢钥闯?，本文方法所構(gòu)建的視覺里程計僅有3個序列表現(xiàn)低于ORB-SLAM（VO）；在序列00、序列02和序列08中，ORB-SLAM（VO）表現(xiàn)更好。這3個序列的真實行駛軌跡中，圖像幀數(shù)較少且特征明顯。

表5 相機(jī)定位結(jié)果

圖8是序列02的運(yùn)行過程，使用灰度質(zhì)心法賦予方向信息的ORB特征點更為準(zhǔn)確且能保持較好的穩(wěn)定性，本文方法并沒有優(yōu)勢，因此表現(xiàn)出略高的誤差，可以看出傳統(tǒng)方法在該種情況下表現(xiàn)更好。然而在大多數(shù)序列上本文方法的結(jié)果都優(yōu)于ORB-SLAM（VO），尤其是在序列01和序列05中，圖片幀數(shù)較多，場景變化復(fù)雜的情況下，ORB-SLAM（VO）隨著時間偏移軌跡非常大。與之相比，本文方法的定位準(zhǔn)確性可以提高69%。總體來看，本文方法所構(gòu)建的視覺里程計表現(xiàn)更靠近相機(jī)的真實軌跡。

圖8 序列02的運(yùn)行過程

3 結(jié)束語

本文使用自監(jiān)督框架構(gòu)建了特征點檢測和描述子提取模型。引入不同尺度的金字塔卷積核，確保了多尺度特征的提取，同時在下采樣過程中改進(jìn)最大池化，增添模糊濾波器來抗鋸齒。注重?fù)p失函數(shù)對訓(xùn)練起到的關(guān)鍵作用，從最大化類內(nèi)相似度和最小化類間相似度的角度出發(fā)，給每一對描

述子增加權(quán)重屬性，結(jié)果表明可變的權(quán)重項更有利于描述子的學(xué)習(xí)。通過實驗證明，本文提出的方法是有效的并優(yōu)于其他方法，可以更好地解決計算機(jī)視覺中的圖像匹配問題，在視覺SLAM中的表現(xiàn)也證明了該方法有一定的實用價值。在之后的工作中希望可以進(jìn)一步優(yōu)化特征點檢測方法，構(gòu)建更加完整的SLAM系統(tǒng)。

[1] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision(IJCV), 2004, 60(2): 91-110.

[2] BAY H, ESS A, TUYTELAARS T, et al. Speeded-up robust features[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[3] RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: an efficient alternative to SIFT or SURF[EB/OL].[2021-01-18].http://www.gwylab.com/download/ORB_2012.pdf.

[5] KENDALL A, CIPOLLA R. Geometric loss functions for camera pose regression with deep learning[EB/OL].[2021-01-18].https://arxiv.org/pdf/1704.00390.pdf.

[6] DETONE D, MALISIEWICZ T, RABINOVICH A. Deep image homography estimation[EB/OL]. [2021-01-18].https://arxiv. org/pdf/1606. 03798. pdf.

[7] LUO W J, SCHWING A G, URTASUN R. Effiecient deep learning for stereo matching[EB/OL]. [2021-01-18]. https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Luo_Efficient_Deep_Learning_CVPR_2016_ paper.pdf.

[8] WANG S, CLARK R, WEN H K, et al. DeepVO: towards end-to-end visual odometry with deep recurrent convolutional neural networks[EB/OL].[2021-01-18]. https://www.cs.ox.ac.uk/files/9026/DeepVO.pdf.

[9] TIAN Y R, FAN B, WU F C. L2-Net: deep learning of discriminative patch descriptor in Euclidean space[EB/OL].[2021-01-18].https://openaccess.thecvf.com/content_cvpr_2017/papers/Tian_L2-Net_Deep_Learning_ CVPR_2017_paper.pdf.

[10] HAN X F, LEUNG T, JIA Y Q, et al. MatchNet: unifying feature and metric learning for patch-based matching[EB/OL].[2021-01-18].https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Han_MatchNet_ Unifying_Feature_2015_CVPR_paper.pdf.

[11] MATTHEW B, GANG H, SIMON W. GeoDesc: learning local descriptors by integrating geometry constraints[EB/OL].[2021-01-18].https://arxiv.org/pdf/1807.06294.pdf.

[12] SIMO-SERRA E, TRULLS E, FERRAZ L, et al. Discriminative learning of deep convolutional feature point descriptors[EB/OL].[2021-01-18].https://sci-hub.se/10.1109/ICCV.2015.22.

[13] SERGEY Z, NIKOS K. Learning to compare image patches via convolutional neural networks[EB/OL].[2021-01-18].https://arxiv.org/pdf/1504.03641.pdf.

[14] BALNTAS V, JOHNS E, TANG L L, et al. PN-Net: conjoined triple deep network for learning local image descriptors[EB/OL].[2021-01-18].https://arxiv.org/pdf/1601.05030v1. pdf.

[15] DETONE D, MALISIEWICZ T, RABINOVICH A. SuperPoint: self-supervised interest point detection and description[EB/OL].[2021-01-18]. https://openaccess.thecvf.com/content_cvpr_2018_workshops/papers/w9/ DeTone_SuperPoint_Self-Supervised_Interest_CVPR_2018_paper.pdf.

[16] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2021-01-18].https://arxiv.org/pdf/1409.1556.pdf.

[17] HE K M, ZHANG X Y, REN S Q. Deep residual learning for image recognition[EB/OL].[2021-01-18].https:// openaccess.thecvf.com/content_cvpr_2016/papers/He_Deep_Residual_Learning_CVPR_2016_paper.pdf.

[18] SZEGEDY C, LIU W, JIA Y Q. Going deeper with convolutions[EB/OL].[2021-01-18].https://sci-hub.se/10.1109/ CVPR.2015.7298594.

[19] DUTA I C, LIU L, ZHU F. Pyramidal convolution: rethinking convolutional neural networks for visual recognition[EBJ/OL]. [2021-01-18]. https: //arxiv. org/pdf/2006. 11538v1. pdf.

[20] ZHANG R. Making convolutional networks shift-invariant again[EB/OL].[2021-01-18].http://proceedings.mlr. press/v97/zhang19a/zhang19a.pdf.

[21] SUN Y F, CHENG C M, ZHANG Y H, et al. Circle loss: a unified perspective of pair similarity optimization[EB/OL].[2021-01-18].https://openaccess.thecvf.com/content_CVPR_2020/papers/Sun_Circle_Loss_ A_Unified_Perspective_of_Pair_Similarity_Optimization_CVPR_2020_paper.pdf.

[22] BALNTAS V, RIBA E, PONSA D. Learning local feature descriptors with triplets and shallow convolutional neural networks[EB/OL].[2021-01-18]. http://www.bmva.org/bmvc/2016/papers/paper119/paper119.pdf.

[23] BALNTAS V, LENC K, VEDALDI A, et al. HPatches: a benchmark and evaluation of handcrafted and learned local descriptors[EB/OL].[2021-01-18].https://arxiv.org/pdf/1704.05939.pdf.

[24] GEIGER A, LENZ P, STILLER C, et al. Vision meets robotics: the KITTI dataset[J]. The International Journal of Robotics Research, 2013, 32(11): 1231-1237.

[25] LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft COCO: common objects in context[EB/OL].[2021-01-18].https://arxiv.org/pdf/1405.0312.pdf.

[26] SHI J B, TOMASI C. Good features to track[EB/OL].[2021-01-18].https://ecommons.cornell.edu/bitstream/handle/ 1813/6177/93-1399.ps?sequence=23.

[27] EDWARD R, DRUMMOND T. Machine learning for high-speed corner detection[EB/OL].[2021-01-18].https:// link.springer.com/content/pdf/10.1007/11744023_34.pdf.

[28] HARRIS C G, STEPHENS M J. A combined corner and edge detector[EB/OL].[2021-01-18].http://www.bmva.org/ bmvc/1988/avc-88-023.pdf.

[29] ONO Y, TRULLS E, FUA P, et al. LF-Net: learning local features from images[EB/OL].[2021-01-18].https://proceedings.neurips.cc/paper/2018/file/f5496252609c43eb8a3d147ab9b9c006-Paper.pdf.

[30] MURARTAL R, MONTIEL J M M, TARDOS J D. ORB-SLAM: a versatile and accurate monocular SLAM system[J].IEEE Transactions on Robotics, 2015, 31(5): 1147-1163.

Feature point detection method using pyramid convolution and improved hinge loss

MA Shuo, GAO Yongbin, TIAN Fangzheng, LU Junxin, GU Jia, ZHOU Yilong

（School of Electronic and Electrical Engineering, Shanghai University of Engineering Science, Shanghai 201620, China）

Aiming at traditional feature point detection methods that are easily affected by viewpoint, illumination, image quality, resulting in inaccurate image feature matching, a feature point detection method based on pyramid convolution and improved hinge loss function was proposed for image matching. Firstly, pyramid convolution kernel was used for feature point detection and descriptor extraction algorithm. Multi-scale convolution kernel was used to capture different levels of information in the scene. Then, a method of blur filter was introduced in the down-sampling process to improve shift-invariant. Aiming at the problem that descriptor information played a decisive role in image geometric matching, the hinge loss function was innovatively improved, and variable weights were added to each pair of descriptor training samples during the training process. Finally, the repeatability and homography estimation ability of the proposed algorithm was tested on the HPatches dataset, and the visual odometry application of the proposed algorithm was tested on the KITTI dataset. Experimental results showed that the proposed algorithm was better than other methods, and it could effectively improve the positioning accuracy of the visual odometer.

self-supervised learning; feature point detection; descriptor; pyramid convolution kernel; blur filter; variable weight; repeatability

P228; TP391

A

2095-4999(2021)06-0116-09

馬碩，高永彬，田方正，等. 金字塔卷積和改進(jìn)鉸鏈損失的特征點檢測方法[J]. 導(dǎo)航定位學(xué)報, 2021, 9(6): 116-124.（MA Shuo, GAO Yongbin, TIAN Fangzheng, et al. Feature point detection method using pyramid convolution and improved hinge loss[J]. Journal of Navigation and Positioning, 2021, 9(6): 116-124.）

10.16547/j.cnki.10-1096.20210618.

2021-02-18

馬碩（1995—），男，江蘇徐州人，碩士研究生，研究方向為計算機(jī)視覺、機(jī)器學(xué)習(xí)。

高永彬（1988—），男，上海人，博士，副教授，研究方向為人工智能、機(jī)器學(xué)習(xí)、圖像處理、模式識別。