對(duì)于利用孿生網(wǎng)絡(luò)的深度學(xué)習(xí)目標(biāo)跟蹤算法思考

【摘要】? ? 孿生網(wǎng)絡(luò)屬于卷積神經(jīng)網(wǎng)絡(luò)的一種，其能夠良好的解決圖像之間相似性的問題，將其應(yīng)用于深度學(xué)習(xí)目標(biāo)跟蹤算法當(dāng)中，能夠?qū)崿F(xiàn)離線訓(xùn)練確定跟蹤目標(biāo)、在線監(jiān)督跟蹤目標(biāo)，從而達(dá)到實(shí)時(shí)跟蹤目標(biāo)的目的?；诖耍疚闹饕芯坷脤\生網(wǎng)絡(luò)的深度學(xué)習(xí)目標(biāo)跟蹤算法，首先概述了孿生網(wǎng)絡(luò)、深度學(xué)習(xí)及目標(biāo)跟蹤的相關(guān)理論為全文奠定堅(jiān)實(shí)的理論基礎(chǔ)，隨后開展了對(duì)在深度學(xué)習(xí)目標(biāo)跟蹤算法中合理利用孿生網(wǎng)絡(luò)的有效方法，并對(duì)其效果進(jìn)行了簡單的分析，希望對(duì)相關(guān)人員有所啟示。

【關(guān)鍵詞】? ? 孿生網(wǎng)絡(luò)? ? 深度學(xué)習(xí)? ? 目標(biāo)跟蹤算法? ? 卷積神經(jīng)網(wǎng)絡(luò)

引言：

深度學(xué)習(xí)算法是目前國內(nèi)各個(gè)領(lǐng)域中被廣泛應(yīng)用的一種信息識(shí)別、分類、檢測的方法，而近年來，伴隨著我國計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)的發(fā)展，“智慧城市”的建設(shè)進(jìn)程不斷加快，我國計(jì)算機(jī)領(lǐng)域也得到了快速的發(fā)展，現(xiàn)階段，在我國計(jì)算機(jī)領(lǐng)域中，目標(biāo)跟蹤任務(wù)已經(jīng)成為了重要領(lǐng)域，其在民用、軍用等方面具備十分重要的應(yīng)用價(jià)值，而基于孿生網(wǎng)絡(luò)的深度學(xué)習(xí)目標(biāo)跟蹤算法能夠利用構(gòu)建相關(guān)神經(jīng)網(wǎng)絡(luò)模型幫助精準(zhǔn)定位目標(biāo)并實(shí)現(xiàn)實(shí)時(shí)跟蹤目標(biāo)，實(shí)現(xiàn)深度學(xué)習(xí)目標(biāo)跟蹤的進(jìn)一步優(yōu)化。

一、孿生網(wǎng)絡(luò)

孿生網(wǎng)絡(luò)又稱為雙通道網(wǎng)絡(luò)，其是一種神經(jīng)網(wǎng)絡(luò)，其最大的優(yōu)勢便在于能夠很好的處理相似信息較多的文本信息或圖形信息。在進(jìn)行數(shù)據(jù)處理的過程中，孿生網(wǎng)絡(luò)可降低相關(guān)數(shù)據(jù)信息的維度，通過降低維度來衡量兩個(gè)樣本的相似性，從而跟進(jìn)一步提升數(shù)據(jù)信息分析的準(zhǔn)確定。孿生網(wǎng)絡(luò)中主要包括計(jì)算機(jī)視覺與自然語言處理的神經(jīng)網(wǎng)絡(luò)，其存在兩個(gè)分支結(jié)構(gòu)，且這兩個(gè)分支結(jié)構(gòu)與參數(shù)均相同，利用這兩個(gè)分支結(jié)構(gòu)分別對(duì)樣本信息進(jìn)行分析，從而挖掘兩個(gè)樣本類屬性關(guān)系。

總體而言，孿生網(wǎng)絡(luò)的構(gòu)架基礎(chǔ)便是卷積神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)是生物學(xué)家通過對(duì)貓視網(wǎng)膜的研究而提出的，當(dāng)視網(wǎng)膜某一區(qū)域接收到光學(xué)信號(hào)后，會(huì)在該區(qū)域內(nèi)朝著特定的方向做出傳輸反應(yīng)，從而促使信號(hào)迅速的被傳遞，再經(jīng)過腦部視覺信息處理后，形成圖像。卷積神經(jīng)網(wǎng)絡(luò)的建模主要是模仿動(dòng)物視網(wǎng)膜傳輸視覺信號(hào)的過程，并將視覺信號(hào)傳遞給下一個(gè)層次結(jié)構(gòu)組織的神經(jīng)網(wǎng)絡(luò)，并在深度學(xué)習(xí)網(wǎng)絡(luò)中進(jìn)行視覺信息的處理，從而使得網(wǎng)絡(luò)預(yù)測的圖像類別與真實(shí)標(biāo)簽更加接近[1]。

二、深度學(xué)習(xí)目標(biāo)跟蹤算法

（一）深度學(xué)習(xí)

深度學(xué)習(xí)即是指模仿人類神經(jīng)系統(tǒng)構(gòu)建包含多層隱藏層的網(wǎng)絡(luò)模型，深度學(xué)習(xí)在我國各個(gè)領(lǐng)域均具有較強(qiáng)的應(yīng)用價(jià)值，其是一種人工智能技術(shù)的產(chǎn)物，是融合了生物學(xué)、計(jì)算機(jī)學(xué)等諸多學(xué)科的先進(jìn)技術(shù)，其能夠?qū)崿F(xiàn)模仿人類視覺接收來獲取相關(guān)數(shù)據(jù)信息，并對(duì)信息進(jìn)行識(shí)別、檢測與分類。深度學(xué)習(xí)主要是利用計(jì)算機(jī)技術(shù)及信息技術(shù)構(gòu)建一個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)模型，在模型構(gòu)建的過程中，需要計(jì)算大量的數(shù)據(jù)參數(shù)為模型構(gòu)建奠定基礎(chǔ)，同時(shí)，在模型使用的過程中，也需要不斷對(duì)模型參數(shù)進(jìn)行優(yōu)化，確保模型的適用性，從而促使模型能夠良好的發(fā)揮其功能與價(jià)值。

深度學(xué)習(xí)主要依托于深度學(xué)習(xí)網(wǎng)絡(luò)來完成工作目標(biāo)，在深度學(xué)習(xí)網(wǎng)絡(luò)中，主要包含卷積神經(jīng)網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)及生成對(duì)抗網(wǎng)絡(luò)，其中，卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)網(wǎng)絡(luò)的基礎(chǔ)部分，深度學(xué)習(xí)網(wǎng)絡(luò)模型的相關(guān)參數(shù)均是利用卷積神經(jīng)網(wǎng)絡(luò)來獲取的。卷積神經(jīng)網(wǎng)絡(luò)主要是根據(jù)動(dòng)物視網(wǎng)膜接收視覺信息的神經(jīng)系統(tǒng)為參考依據(jù)，模仿動(dòng)物在進(jìn)行視覺信息接收時(shí)視覺信息的傳遞流程及處理流程，并將其利用于模型的構(gòu)建中，從而實(shí)現(xiàn)良好的對(duì)圖形進(jìn)行檢查、分類與識(shí)別的功能[2]。

（二）目標(biāo)跟蹤算法

目標(biāo)跟蹤算法是指選定目標(biāo)圖像并在后續(xù)視頻序列內(nèi)確定目標(biāo)的位置與尺寸信息從而達(dá)到對(duì)目標(biāo)持續(xù)跟蹤的效果。

首先，目標(biāo)跟蹤算法具備任意性的特點(diǎn)，在確定跟蹤目標(biāo)，可選擇任意類型、任意屬性的目標(biāo)，并無跟蹤目標(biāo)的限制條件，通常情況下，相關(guān)工作人員會(huì)選擇視頻第一幀邊界處出現(xiàn)的目標(biāo)。

其次，目標(biāo)跟蹤算法具備單樣本的特點(diǎn)，單樣本即是指單樣本學(xué)習(xí)，是指所選定的目標(biāo)并未有固定的模型，是有且僅有給定的視頻第一幀目標(biāo)圖像。

再者，目標(biāo)跟蹤算法具備準(zhǔn)確率高、實(shí)時(shí)性佳的特點(diǎn)，利用目標(biāo)跟蹤算法確定的測量值與真實(shí)值基本相符，且視頻中的每一面時(shí)間均可處理為幀數(shù)，故其具有較強(qiáng)的實(shí)時(shí)性。

最后，目標(biāo)跟蹤算法具備單目標(biāo)跟蹤的特點(diǎn)，單目標(biāo)既是指在利用目標(biāo)跟蹤算法跟蹤目標(biāo)時(shí)有且僅有一個(gè)目標(biāo)。

三、將孿生網(wǎng)絡(luò)應(yīng)用于深度學(xué)習(xí)目標(biāo)跟蹤算法中的有效途徑

（一）全卷積孿生網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建

在深度學(xué)習(xí)目標(biāo)跟蹤算法中應(yīng)用孿生網(wǎng)絡(luò)，主要是構(gòu)建全卷積孿生網(wǎng)絡(luò)模型，這是由于在全卷積孿生網(wǎng)絡(luò)模型中，可利用孿生神經(jīng)網(wǎng)絡(luò)的處理相似學(xué)習(xí)問題的優(yōu)勢，對(duì)兩個(gè)或多個(gè)相同參數(shù)、權(quán)重的網(wǎng)絡(luò)進(jìn)行構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)。且通過上文分析可知，深度學(xué)習(xí)需要不斷更新并優(yōu)化參數(shù)以提高網(wǎng)絡(luò)的適用性，而全卷積網(wǎng)絡(luò)結(jié)構(gòu)便具備能夠在兩個(gè)子網(wǎng)上同步進(jìn)行參數(shù)更新的優(yōu)勢，這對(duì)于提升數(shù)據(jù)分析的準(zhǔn)確性是十分重要的[3]。在全卷積網(wǎng)絡(luò)結(jié)構(gòu)當(dāng)中，兩個(gè)子網(wǎng)的參數(shù)與權(quán)重是共享的，即當(dāng)一個(gè)子網(wǎng)參數(shù)更新之后，另一個(gè)子網(wǎng)的相同參數(shù)也會(huì)隨之更新，這不僅有利于簡化數(shù)據(jù)分析流程，同時(shí)也能夠提升全卷積孿生網(wǎng)絡(luò)的實(shí)時(shí)性，且在樣本較少的情況下，全卷積神經(jīng)網(wǎng)絡(luò)也能夠?qū)崿F(xiàn)對(duì)檢測數(shù)據(jù)信息的精準(zhǔn)分類。同時(shí)，全卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)蓚€(gè)大小完全一致的圖形作為輸入，通過在兩個(gè)大小完全相同圖形中獲取同一個(gè)目標(biāo)，從而確定跟蹤目標(biāo)，在全卷積孿生網(wǎng)絡(luò)模型構(gòu)建完畢后利用全卷積孿生網(wǎng)絡(luò)輸入檢測圖像、視頻時(shí)，能夠允許輸入比模板圖像大的圖形輸入到結(jié)構(gòu)當(dāng)中，這就使得全卷積孿生網(wǎng)絡(luò)具備良好的使用性能。

在構(gòu)建全卷積孿生網(wǎng)絡(luò)時(shí)，首先需要在模板圖像中確定跟蹤目標(biāo)，設(shè)定一個(gè)函數(shù)f，比較模板圖像X和候選圖像Y的特征圖相似度，將其輸入卷積神經(jīng)網(wǎng)絡(luò)中，確定響應(yīng)最大值對(duì)應(yīng)目標(biāo)的位置，利用模板圖像和較大的候選圖像對(duì)訓(xùn)練網(wǎng)絡(luò)產(chǎn)生一個(gè)得分響應(yīng)，定義得分響應(yīng)的損失函數(shù)為每個(gè)損失的均值。將視頻分割成多個(gè)幀，每秒為一幀，從視頻中選取大量的特征圖，并建立空間映射，確定各幀目標(biāo)位置，選取屬于正類的目標(biāo)，從而獲得最小損失函數(shù)。

（二）基于判別式相關(guān)濾波的孿生網(wǎng)絡(luò)

基于判別式相關(guān)濾波的孿生網(wǎng)絡(luò)具備能夠?qū)崿F(xiàn)反向傳播的優(yōu)勢，在使用判別式相關(guān)濾波的孿生網(wǎng)絡(luò)時(shí)，首先需要確定搜索圖像與模板圖像，隨后將其輸入網(wǎng)絡(luò)當(dāng)中，獲得相應(yīng)變化，確定目標(biāo)位置中心，并在該目標(biāo)位置中心中提取出搜索區(qū)域，通過離線訓(xùn)練得到卷積網(wǎng)絡(luò)參數(shù)后，在線跟蹤時(shí)憑借判別式相關(guān)濾波器模塊來進(jìn)行在線微調(diào)以保證跟蹤的準(zhǔn)確性，圖1為判別式相關(guān)濾波孿生網(wǎng)絡(luò)結(jié)構(gòu)圖。

四、將孿生網(wǎng)絡(luò)應(yīng)用于深度學(xué)習(xí)目標(biāo)跟蹤算法中的效果分析

（一）基準(zhǔn)比較

在進(jìn)行孿生網(wǎng)絡(luò)在深度學(xué)習(xí)目標(biāo)跟蹤算法中的應(yīng)用分析時(shí)，首先將全卷積孿生網(wǎng)絡(luò)與判別式相關(guān)濾波的孿生網(wǎng)絡(luò)進(jìn)行對(duì)比分析，通過分析發(fā)現(xiàn)，隨著網(wǎng)絡(luò)深度的增加，全卷積孿生網(wǎng)絡(luò)的進(jìn)步并不如預(yù)想中的快，而使用判別式相關(guān)濾波的孿生網(wǎng)絡(luò)在分析網(wǎng)絡(luò)特征時(shí)具備較大的優(yōu)勢，故認(rèn)為判別式相關(guān)濾波的孿生網(wǎng)絡(luò)應(yīng)用效果更好。

其次利用SRDCF算法，將判別式相關(guān)濾波的孿生網(wǎng)絡(luò)部分改進(jìn)移植到SRDCF算法中，學(xué)習(xí)率設(shè)為0.012，樣本數(shù)量為50，模板以每6幀以此的頻率更新，以期望平均重疊作為整體性能評(píng)估指標(biāo)，訓(xùn)練集更新的改進(jìn)相對(duì)增益為2.8%的性能，新的更新策略相對(duì)增益了5.9%的性能，最終相對(duì)增益為13%。

（二）OTB標(biāo)準(zhǔn)

以DCFSNN跟蹤器為基準(zhǔn)，以O(shè)TB2013標(biāo)準(zhǔn)，確定跟蹤器OPE、TRE、SER的IoU的重疊率，比較結(jié)果如下表所示。

由OPE標(biāo)準(zhǔn)獲得DCFSNN跟蹤器的平均精度與成功率即準(zhǔn)確性，得分最高的LCT較本跟蹤器均有0.5%的性能優(yōu)勢，由SRE和TRE從空間和時(shí)間上評(píng)估DCFSNN跟蹤器，得分最高的Staple分別有0.7%和2.4%的性能增益，綜合來看，DCFSNN跟蹤器效果最佳。

五、結(jié)束語

綜上所述，本文主要研究的是孿生網(wǎng)絡(luò)在深度學(xué)習(xí)目標(biāo)跟蹤算法中的應(yīng)用，其應(yīng)用方法主要包括兩種，一種為構(gòu)建全卷積孿生網(wǎng)絡(luò)，而另一種判別式相關(guān)濾波的孿生網(wǎng)絡(luò)。將孿生網(wǎng)絡(luò)應(yīng)用于深度學(xué)習(xí)目標(biāo)跟蹤算法當(dāng)中，能夠良好的處理視頻、圖像信息中的相似學(xué)習(xí)問題，實(shí)現(xiàn)對(duì)目標(biāo)的實(shí)時(shí)跟蹤，且精準(zhǔn)度較高，跟蹤速度較快，且利用判別式相關(guān)濾波的孿生網(wǎng)絡(luò)還能夠?qū)崿F(xiàn)反向傳播，促使目標(biāo)底層特征信息表示得到進(jìn)一步的優(yōu)化。

作者單位：宋錚? ? 天津訊飛信息科技有限公司

參? 考? 文? 獻(xiàn)

[1]方林鳳，梁啟麗，張旭東.孿生網(wǎng)絡(luò)框架下融合顯著性和干擾在線學(xué)習(xí)的航拍目標(biāo)跟蹤算法[J].電子與信息學(xué)報(bào)，2021，43（05）：1414-1423.

[2]楊嘉棋，魏宇星，張建林.基于特征融合與雙模板嵌套更新的孿生網(wǎng)絡(luò)跟蹤算法[J].計(jì)算機(jī)工程，2021，47（07）：239-248.

[3]張龍信，肖滿生，左國才.快速多域卷積神經(jīng)網(wǎng)絡(luò)和光流法融合的目標(biāo)跟蹤[J].計(jì)算機(jī)工程與科學(xué)，2020，42（12）：2217-2222.