基于卷積神經(jīng)網(wǎng)絡(luò)的特征描述子學(xué)習(xí)

馬正見　文志誠

【摘 要】隨著深度學(xué)習(xí)的發(fā)展，作為圖像任務(wù)基礎(chǔ)的特征描述子開始傾向于通過卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。目前的卷積神經(jīng)網(wǎng)絡(luò)模型大多采用交叉熵?fù)p失項進(jìn)行約束，通過大量的輸入數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)。但由于缺乏細(xì)節(jié)上的約束，因此訓(xùn)練的網(wǎng)絡(luò)模型特征提取能力并不優(yōu)秀。針對以上問題，文章提出一種新的淺層神經(jīng)網(wǎng)絡(luò)模型，并在此基礎(chǔ)上通過改進(jìn)采樣策略以獲得更多的訓(xùn)練樣本，使用復(fù)合的損失項對網(wǎng)絡(luò)訓(xùn)練過程進(jìn)行約束。實驗表明，提出的神經(jīng)網(wǎng)絡(luò)模型能夠獲得更緊湊的特征描述子，特征提取的能力更強(qiáng)。

【關(guān)鍵詞】卷積神經(jīng)網(wǎng)絡(luò);特征提取;特征描述子;特征匹配

【中圖分類號】TP391.41 【文獻(xiàn)標(biāo)識碼】A 【文章編號】1674-0688（2020）07-0041-03

特征匹配是計算機(jī)視覺的基礎(chǔ)任務(wù)，其中涉及的主要問題是對圖像局部區(qū)域進(jìn)行特征描述，以獲得能更好表達(dá)圖像局部區(qū)域信息的特征描述子。

早期的研究工作傾向于手工設(shè)計的描述子，包含SIFT[1]、SURF[2]、ORB[3]等。這一類描述子依賴人類對圖像像素分布的認(rèn)知，在早期的研究中占主導(dǎo)地位。

隨著大規(guī)模帶有標(biāo)簽的圖像數(shù)據(jù)集的出現(xiàn)，神經(jīng)網(wǎng)絡(luò)開始廣泛用于處理計算機(jī)視覺相關(guān)任務(wù)。其中，P Fischer等人在文獻(xiàn)[4]中證明從ImageNet[5]神經(jīng)網(wǎng)絡(luò)最后一層學(xué)習(xí)到的特征描述子在性能上比傳統(tǒng)SIFT更優(yōu)秀。S Zagoruyko等人在文獻(xiàn)[6]中對不同網(wǎng)絡(luò)模型進(jìn)行測試，實驗證明基于學(xué)習(xí)方式獲得的描述子性能優(yōu)于手工設(shè)計的描述子。

1 基于學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)

基于數(shù)據(jù)學(xué)習(xí)的方式從給定的數(shù)據(jù)集中訓(xùn)練一個能準(zhǔn)確區(qū)分匹配與非匹配輸入的神經(jīng)網(wǎng)絡(luò)。對于兩個輸入xi與xj，分別將它們通過初始的卷積神經(jīng)網(wǎng)絡(luò)后獲得相對應(yīng)的特征描述子yi、yj，將它們之間的匹配程度通過一個距離進(jìn)行衡量，距離在閾值范圍內(nèi)則視為匹配，否則為非匹配。

輸入的圖像數(shù)據(jù)通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征信息提取，其中最關(guān)鍵的是卷積和全連接處理。卷積就是對輸入進(jìn)行局部特征提取，而全連接則是將提取到的局部特征進(jìn)行組合描述，全連接層也可以視為一個特殊的卷積。

像素點在前一層圖像的特征提取范圍稱為感受野。當(dāng)像素點所處的層數(shù)越深，感受野越大，能獲取的特征信息也越多。卷積過程如公式（1）。

xn+1=sign（f（w，xn）+b）（1）

其中，xn代表當(dāng)前卷積層的輸入，w與b是卷積層需要學(xué)習(xí)的權(quán)重和偏置，f為線性變換函數(shù)，sign為激勵函數(shù)，xn+1為當(dāng)前卷積層的輸出。

Siamese是一個學(xué)習(xí)階段常用的網(wǎng)絡(luò)模型，它由兩個共享參數(shù)的分支構(gòu)成。在訓(xùn)練時分別將兩個訓(xùn)練圖像數(shù)據(jù)通過網(wǎng)絡(luò)的分支提取特征向量，最后一層以一個相似度函數(shù)對兩個向量進(jìn)行相似性評估。整個網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1由左到右分別為輸入的圖像patch、3個卷積層及2個池化層和1個相似度函數(shù)度量層，其中2個分支的卷積層與池化層的參數(shù)保持一致。另一種Siamese網(wǎng)絡(luò)模型卷積與池化層中的參數(shù)由兩個分支各自進(jìn)行學(xué)習(xí)。文獻(xiàn)[6]對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)，引入中心環(huán)繞雙流結(jié)構(gòu)，將輸入的64x64的圖像數(shù)據(jù)分為中心裁剪的32x32和下采樣的32x32兩個輸入，分別用兩個Siamese網(wǎng)絡(luò)模型進(jìn)行計算，減少了輸入數(shù)據(jù)的維度，加速了網(wǎng)絡(luò)模型的學(xué)習(xí)速度。

為了加速學(xué)習(xí)到的特征描述子的匹配，X Han等人提出對MatchNet[7]網(wǎng)絡(luò)將特征向量學(xué)習(xí)過程與特征向量匹配過程進(jìn)行拆分，拆分后學(xué)習(xí)到的特征向量可以進(jìn)行多次匹配。同時，他們還在特征向量學(xué)習(xí)網(wǎng)絡(luò)的最后加入了一個瓶頸層，實現(xiàn)了參數(shù)降維的效果。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的描述子學(xué)習(xí)

2.1 三元組樣本采樣策略

由上文可知，在訓(xùn)練過程中需要不斷地使用訓(xùn)練樣本來更新參數(shù)?；谥把芯空叩慕?jīng)驗，只有具有區(qū)分度的訓(xùn)練樣本，才能促進(jìn)參數(shù)的更新，而不具備區(qū)分度的樣本，不僅對網(wǎng)絡(luò)的訓(xùn)練毫無意義，還造成大量計算損失。

雖然類似于文獻(xiàn)[8]提出的一系列采樣策略能獲得一些優(yōu)質(zhì)樣本，但都需要大量的原始數(shù)據(jù)作為支撐。為了解決這個問題，本文提出一種新的采樣策略，在這種策略下，即使在原始數(shù)據(jù)較少的情況下也能采集到足夠多的訓(xùn)練樣本。

記批次內(nèi)樣本為X={x1，y1，…，xm，ym，…，xn，yn}，其中上標(biāo)相同的兩個樣本為一對匹配的3D點。通過網(wǎng)絡(luò)后的描述子為Y={x1，y1，…，xm，ym，…，xn，yn}。對應(yīng)的點為正例樣本，同批次中計算出距離最遠(yuǎn)的點為負(fù)例樣本。兩點間距離計算：

其中，q為描述子的維度。為了獲得距離最大的硬性負(fù)樣本，對樣本點間距離計算結(jié)果以距離矩陣D表示。這里同類間的點不進(jìn)行計算以免出現(xiàn)距離為零。距離矩陣D可表示：

式中的2為距離公式d中計算出的通項，后者為距離計算余項的向量表示。距離矩陣D對角線上的項為匹配點的距離，其余項為非匹配點距離。對任意一個錨點，可以從距離矩陣中獲取它的匹配點及距離最小的非匹配點，這3個點組合即形成三元組樣本數(shù)據(jù)。

這里本文引入兩個額外的計算，即分別計算Y中x、y類別中點之間的相對距離，距離矩陣記為DX、DY。距離項越小，則說明兩個描述子的位分布越相似，反之差異大。若兩個描述子與錨點的距離都很近并且它兩的位分布差異大，那么這兩個描述子對應(yīng)的點都可以作為非匹配點進(jìn)行采樣。因為位布差異大，所影響的參數(shù)位置不一樣，所以都能很好地促進(jìn)網(wǎng)絡(luò)參數(shù)學(xué)習(xí)。

2.2 損失函數(shù)選擇

描述子的相似性損失約束的是描述子提取特征信息的能力。具體體現(xiàn)為減小樣本中匹配的點之間的距離，增加非匹配點間的距離。神經(jīng)網(wǎng)絡(luò)將調(diào)整參數(shù)滿足這種結(jié)果。相似性約束項以公式可以表示如下：

描述子的匹配如圖2所示。樣本中的點視為同類的類內(nèi)點和非同類的類間點，那么描述子的匹配就可以看做類間點的擇優(yōu)問題。之前的研究傾向于研究類間的關(guān)系，忽視了類內(nèi)點蘊含的信息。本文將加深對類間點距離信息進(jìn)行利用。

以圖2中匹配對（x2，y2）為例。計算x2與其他類內(nèi)點間的距離，比如與x1點間的距離為d1。y2為匹配點，則它與x2的類間距離小，描述子的位分布相似，與x1計算的距離也應(yīng)當(dāng)近似于d1。同理，作為x1類間匹配點的y1點到y(tǒng)2的距離也應(yīng)當(dāng)非常接近d1。本文將這種類內(nèi)、類間關(guān)系進(jìn)行如下約束：

這里的兩個類間距離的值可以直接從“2.1”中計算的DX、DY獲得。若兩個錨點間的距離較大，那它們匹配點之間的距離也應(yīng)該較大，類間約束項就是約束神經(jīng)網(wǎng)絡(luò)參數(shù)向這一目標(biāo)進(jìn)行更新。由于距離過大的類之間的作用并不明顯，再進(jìn)行約束反而會使結(jié)果變差，因此這里用U限定參與計算的類內(nèi)點的范圍。

描述子的緊湊性約束目的是使神經(jīng)網(wǎng)絡(luò)產(chǎn)生的描述子位分布均勻，這里設(shè)計的約束項：

其中，B為描述子的維度，S為每批次訓(xùn)練樣本的數(shù)目。通過最小化描述子緊湊性損失項使描述子在維度較低的情況下攜帶更多的特征信息。

由于各個損失函數(shù)對訓(xùn)練過程的影響不同，因此需要對它們添加一個影響因子，于是完整的損失函數(shù)可以表示如下：

2.3 訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型

由于輸入的訓(xùn)練圖像尺寸相對較小，因此選擇的卷積神經(jīng)網(wǎng)絡(luò)層數(shù)較淺，其結(jié)構(gòu)包括1個輸入層、6個卷積層和1個全連接層，在池化層的選擇上摒棄了傳統(tǒng)的最大、平均值池化方式，選擇的是能更好保留信息的跨步卷積。同時，為了加速網(wǎng)絡(luò)學(xué)習(xí)速率，在每次卷積后進(jìn)行歸一化處理。優(yōu)化器選擇的是Adam[9]優(yōu)化器。

3 實驗與分析

用于實驗的數(shù)據(jù)集有Brown數(shù)據(jù)集和Oxford數(shù)據(jù)集。用數(shù)據(jù)集中帶標(biāo)簽的數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)模型到收斂，再在數(shù)據(jù)集上對訓(xùn)練好的模型進(jìn)行測試以檢測描述子的各項能力。

3.1 描述子性能驗證

用Brown數(shù)據(jù)集檢驗描述子的特征提取能力，它包含3個子數(shù)據(jù)集。用1個子集進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練，然后在其他子集上測試。各類模型在召回率為95%的數(shù)據(jù)集上進(jìn)行訓(xùn)練測試，測試結(jié)果見表1。

從表1的結(jié)果可以看到，基于學(xué)習(xí)方式獲得的描述子性能遠(yuǎn)遠(yuǎn)優(yōu)于基于手工設(shè)計的描述子。每個輸入的樣本都對卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)整，當(dāng)進(jìn)行多次的優(yōu)化后網(wǎng)絡(luò)參數(shù)達(dá)到一個穩(wěn)定的值不再變動。通過不斷地優(yōu)化，使得網(wǎng)絡(luò)擁有更強(qiáng)的圖像細(xì)微特征提取、組合能力。

3.2 關(guān)鍵點匹配實驗

衡量一個描述子性能最重要的一個部分就是描述子進(jìn)行匹配的準(zhǔn)確率。這里使用Oxford基準(zhǔn)數(shù)據(jù)集。用特征點檢測器提取特征點周圍像素作為神經(jīng)網(wǎng)絡(luò)的輸入，實驗結(jié)果如圖3所示。

基于學(xué)習(xí)方式獲得的特征描述子總體的性能比手工設(shè)計的描述子要好得多。尤其是SIFT還作為最優(yōu)秀的手工設(shè)計方法之一，在同樣的實驗環(huán)境下總體的表現(xiàn)相較于基于學(xué)習(xí)方式的描述子略差一些。本文的算法總體上的結(jié)果都有很好的表現(xiàn)，充分說明了使用的約束項加強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)的特征提取能力。

3.3 描述子的緊湊性

通常，優(yōu)秀的描述子都應(yīng)該具備緊湊性質(zhì)，占用更少的空間并包含更多的信息。滿足這樣條件的描述子應(yīng)當(dāng)在每個位分布上居于一個平衡的位置，在某個信息位上不能總是出現(xiàn)固定的值，這樣相同的值使描述子的區(qū)分性能有所降低。

這里通過隨機(jī)選取的測試點對描述子的緊湊性進(jìn)行實驗。實驗結(jié)果如圖4所示。

由圖4可以看到，隨機(jī)挑選出來的測試點生成的描述子位的平均分布大體上靠近零，意味生成的描述子的各個位在零上下分布較為均勻，這樣的描述子能攜帶的信息量大。形成這樣均勻的位分布的主要原因是損失函數(shù)中對描述子緊湊性的約束，致使卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到更優(yōu)質(zhì)的描述子。

4 總結(jié)與展望

本文提出一種新的采樣策略獲取更多數(shù)目的訓(xùn)練樣本，同時引入多個損失項以約束卷積神經(jīng)網(wǎng)絡(luò)參數(shù)更新方向，提升了生成描述子的性能。實驗表明，通過本文方法獲得的描述子在匹配性能及緊湊性上比傳統(tǒng)手工設(shè)計更好。但和大多數(shù)網(wǎng)絡(luò)結(jié)構(gòu)一樣，未解決圖像模糊帶來的問題，這也將是下一步我們要解決的一個重要問題。

參 考 文 獻(xiàn)

[1]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Com-puter Vision，2004，60（2）：91-110.

[2]Bay H，Tuytelaars T，Gool L V.SURF：Speeded up robust features[C].Proc of the 9th European Conferenceon Computer Vision，2006：404-417.

[3]Rublee E，Rabaud V，Konolige K，et al.ORB：An efficient alternative to SIFT or SURF[C].Proceedings of IEEE International Conference on Computer Vision，2012：2564-2571.

[4]Fischer P，Dosovitskiy A，Brox T.Descriptor mat-

ching with convolutional neural networks：a comparison to sift[J].arXiv preprint arXiv，2014：? （1405）：5769.

[5]Krizhevsky A，Sutskever I，Hinton G E.Imagenet classification with deep convolutional neural networks[C].Advances in neural information processing systems，2012：1097-1105.

[6]Zagoruyko S，Komodakis N.Learning to compare image patches via convolutional neuralnetworks[C].Proceedings of the IEEE conference on computer vision and pattern recognition，2015：4353-4361.

[7]Han X，Leung T，Jia Y，et al.Matchnet：Unifying feature and metric learning for patch-based matching[C].Proceedings of the IEEE Conference on Co-mputer Vision and Pattern Recognition，2015：3279-3286.

[8]Mishchuk A，Mishkin D，Radenovic F，et al.Wo-rking hard to know your neighbor's margins：Local descriptor learning loss[C].Advances in Neural Information Processing Systems，2017：4826-4837.

[9]Kingma D P，Ba J.Adam：A method for stochasticoptimization[J].arXiv preprint arXiv，2014（1412）：6980.