基于聲吶圖像的類別增量學(xué)習(xí)方法研究

陳鑫哲, 梁紅, 徐微雨

(西北工業(yè)大學(xué) 航海學(xué)院, 陜西 西安 710072)

隨著水下勘探技術(shù)的不斷發(fā)展與水下環(huán)境的逐漸開發(fā),更多未經(jīng)訓(xùn)練過的水下目標(biāo)信息會被獲取,水下目標(biāo)識別系統(tǒng)的需求也隨之增加。目前,大部分用于水下目標(biāo)聲吶圖像的分類識別網(wǎng)絡(luò)采用的都是一次性輸入所有類別樣本的訓(xùn)練方法,這樣訓(xùn)練好的分類識別網(wǎng)絡(luò)只能對學(xué)習(xí)過的類別樣本進(jìn)行分類識別,當(dāng)有新的類別樣本需要學(xué)習(xí)時,就只能將目前的所有類別樣本重新進(jìn)行訓(xùn)練,需要耗費(fèi)大量的時間與算力。

類別增量學(xué)習(xí)(class-incremental learning,C-IL)[1]要求分類識別網(wǎng)絡(luò)能不斷地從新獲取的任務(wù)類別樣本中學(xué)習(xí)到新知識,同時保留歷史學(xué)習(xí)過的任務(wù)目標(biāo)類別知識。但是,類別增量學(xué)習(xí)網(wǎng)絡(luò)在學(xué)習(xí)了新任務(wù)類別樣本后,通常會對歷史學(xué)習(xí)過的任務(wù)類別樣本出現(xiàn)災(zāi)難性遺忘問題[2],導(dǎo)致所有任務(wù)目標(biāo)的分類識別準(zhǔn)確率嚴(yán)重降低。

為了緩解災(zāi)難性遺忘問題,研究人員提出了各種增量學(xué)習(xí)方法,依據(jù)方法原理的不同,可以將目前的增量學(xué)習(xí)方法分為以下2類:基于正則化(regularization)和基于重放(replay)。基于正則化的代表方法有:Li等[3]提出的不忘學(xué)習(xí)(learning without forgetting,LWF),DeepMind團(tuán)隊(duì)提出的彈性權(quán)重鞏固(elastic weight consolidation,EWC)[4]。基于重放的代表方法是Shin等[5]提出的生成重放(generated replay,GR),基于生成重放的增量學(xué)習(xí)方法對類別增量學(xué)習(xí)總體表現(xiàn)更好,它對于光學(xué)圖像取得了較高的類別增量識別準(zhǔn)確率,并且在一定程度上緩解了災(zāi)難性遺忘問題。

相比數(shù)以百萬計(jì)的高質(zhì)量光學(xué)圖像數(shù)據(jù),由于獲取難度高、水下環(huán)境噪聲干擾大和觀測角度有限,聲吶圖像存在樣本數(shù)少、分辨率低和邊緣不連續(xù)的問題[6],直接將光學(xué)領(lǐng)域的識別方法應(yīng)用于聲吶圖像,通常表現(xiàn)較差[7]。因此,GR增量網(wǎng)絡(luò)對聲吶圖像類別增量學(xué)習(xí)的可行性還待進(jìn)一步研究。

本文研究GR增量網(wǎng)絡(luò)對于聲吶圖像類別增量學(xué)習(xí)的可行性,提出一種適用于聲吶圖像類別增量學(xué)習(xí)的改進(jìn)GR增量網(wǎng)絡(luò),緩解災(zāi)難性遺忘問題,提高聲吶圖像所有任務(wù)目標(biāo)類別的平均識別準(zhǔn)確率。

1 數(shù)據(jù)集的建立

本文建立的數(shù)據(jù)集包含前視聲吶和側(cè)掃聲吶等多種聲吶成像設(shè)備得到的聲吶圖像,依據(jù)圖像的目標(biāo)類別將其整理劃分為6類,分別是飛機(jī)、沉船、瓶子、輪胎、石塊和水下機(jī)器人。采用雙線性插值法對聲吶圖像進(jìn)行尺寸統(tǒng)一,規(guī)范后的圖像尺寸為(112,112),每個目標(biāo)類別的數(shù)據(jù)按照4∶1的比例隨機(jī)分為訓(xùn)練集和測試集,數(shù)據(jù)集分布如表1所示。

表1 數(shù)據(jù)集分布

本文將數(shù)據(jù)集劃分為如圖1所示的3個任務(wù)目標(biāo),依次輸入到類別增量學(xué)習(xí)網(wǎng)絡(luò)中,作為新的類別知識對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

圖1 任務(wù)目標(biāo)

2 GR增量網(wǎng)絡(luò)

2.1 GR增量網(wǎng)絡(luò)結(jié)構(gòu)

GR增量網(wǎng)絡(luò)是由重構(gòu)模型和識別網(wǎng)絡(luò)組成的合作雙模型架構(gòu)。利用這種模型架構(gòu),網(wǎng)絡(luò)可使用重構(gòu)的歷史數(shù)據(jù)和真實(shí)當(dāng)前數(shù)據(jù)的集合進(jìn)行聯(lián)合訓(xùn)練,緩解災(zāi)難性遺忘問題,GR增量網(wǎng)絡(luò)學(xué)習(xí)流程如圖2所示。

圖2 GR增量網(wǎng)絡(luò)學(xué)習(xí)流程

GR增量網(wǎng)絡(luò)在類別增量學(xué)習(xí)過程中,對歷史類別數(shù)據(jù)進(jìn)行重構(gòu)的模型是變分自編碼器(variational autoencoder,VAE)[8],由編碼器、采樣模塊和解碼器組成。編碼器將圖像數(shù)據(jù)分布的高維特征映射到低維特征上,這一部分主要是均值和方差的計(jì)算;圖像數(shù)據(jù)經(jīng)過編碼后,采樣模塊從正態(tài)分布中采樣數(shù)據(jù),并與編碼器得到的均值和方差聯(lián)合計(jì)算,從而得出采樣變量;獲得采樣變量后,將其作為解碼器的輸入,利用解碼器進(jìn)行圖像還原,輸出生成圖像。對圖像進(jìn)行訓(xùn)練的識別網(wǎng)絡(luò)采用多層感知機(jī)(multilayer perceptron,MLP)[9]這一淺層全連接網(wǎng)絡(luò)。

2.2 GR增量網(wǎng)絡(luò)實(shí)驗(yàn)分析

本文實(shí)驗(yàn)平臺為AMD 5900X CPU、Nvidia RTX 3080 GPU和32G內(nèi)存的工作站,Pytorch版本為1.9,操作系統(tǒng)為Windows10。針對本文建立的聲吶圖像數(shù)據(jù)集,采用GR增量網(wǎng)絡(luò)進(jìn)行訓(xùn)練。隨著任務(wù)目標(biāo)的不斷增加,網(wǎng)絡(luò)對新任務(wù)目標(biāo)和舊任務(wù)目標(biāo)的識別率變化如圖3所示。

圖3 GR增量網(wǎng)絡(luò)的識別率

當(dāng)?shù)谝粋€任務(wù)進(jìn)入增量網(wǎng)絡(luò)訓(xùn)練完成后,網(wǎng)絡(luò)對所有目標(biāo)類別的識別準(zhǔn)確率為89.9%。當(dāng)?shù)诙€任務(wù)作為新類別數(shù)據(jù)進(jìn)入增量網(wǎng)絡(luò)訓(xùn)練完成后,網(wǎng)絡(luò)對所有目標(biāo)類別的平均識別率為73.6%,對歷史學(xué)習(xí)的第一個任務(wù)的識別率從89.9%降為50.5%。當(dāng)?shù)谌齻€任務(wù)作為新類別數(shù)據(jù)進(jìn)入增量網(wǎng)絡(luò)訓(xùn)練完成后,網(wǎng)絡(luò)對所有目標(biāo)類別的平均識別率為67.6%,對歷史學(xué)習(xí)的舊任務(wù)目標(biāo)的識別率明顯下降,其中,對第一個任務(wù)的識別準(zhǔn)確率降到了27.3%,對第二個任務(wù)的識別準(zhǔn)確率降到了79.6%。結(jié)果表明,GR增量網(wǎng)絡(luò)的平均識別率較低,對歷史任務(wù)目標(biāo)產(chǎn)生了較嚴(yán)重的災(zāi)難性遺忘。

3 改進(jìn)的GR增量網(wǎng)絡(luò)

3.1 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)原理

由2.2節(jié)可知,GR增量網(wǎng)絡(luò)對于聲吶圖像的類別增量學(xué)習(xí)效果較差,本文對GR增量網(wǎng)絡(luò)的重構(gòu)模型和識別網(wǎng)絡(luò)進(jìn)行改進(jìn),以期望獲得更好的類別增量學(xué)習(xí)性能。

GR增量網(wǎng)絡(luò)的重構(gòu)模型VAE雖然可以通過編碼與解碼重構(gòu)圖像,但是這種方式下生成的圖像較為模糊[10]。深層卷積生成對抗網(wǎng)絡(luò)(deep convolutional generative adversarial network,DCGAN)[11]由生成器和判別器兩部分組成,二者結(jié)構(gòu)近似于卷積神經(jīng)網(wǎng)絡(luò),但是使用帶步長的反卷積層或卷積層代替池化層,DCGAN通過生成器與判別器的生成對抗來重構(gòu)圖像。本文隨機(jī)選取飛機(jī)和沉船的重構(gòu)圖像進(jìn)行對比,VAE和DCGAN重構(gòu)的聲吶圖像分別如圖4a)和圖4b)所示。兩圖的上半部為原始聲吶圖像,下半部為重構(gòu)的圖像。VAE重構(gòu)的圖像中,當(dāng)飛機(jī)較小時,圖像無法清晰分辨目標(biāo),并且所有沉船的重構(gòu)圖像均嚴(yán)重失真。相比而言,DCGAN重構(gòu)的飛機(jī)與沉船圖像輪廓更明顯、細(xì)節(jié)更豐富,大部分重構(gòu)圖像可較為清晰地分辨目標(biāo)。

圖4 VAE和DCGAN重構(gòu)的聲吶圖像

GR增量網(wǎng)絡(luò)的識別網(wǎng)絡(luò)MLP是由多個神經(jīng)元層組成的全連接網(wǎng)絡(luò)模型,它早期在手寫數(shù)字識別和行人檢測中獲得了不錯的效果[12]。但是,在進(jìn)行聲吶圖像類別增量學(xué)習(xí)訓(xùn)練時,MLP這種全連接網(wǎng)絡(luò)模型的參數(shù)量是十分巨大的,過大的參數(shù)量會導(dǎo)致網(wǎng)絡(luò)訓(xùn)練過擬合,而且在圖像的特征提取過程中,MLP會將所有圖像轉(zhuǎn)換成一維向量,導(dǎo)致其失去空間特征,影響圖像的分類識別準(zhǔn)確率。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)[13]利用卷積層和池化層實(shí)現(xiàn)了網(wǎng)絡(luò)結(jié)構(gòu)的局部連接、權(quán)值共享和空間下采樣,在提取出圖像局部空間特征的同時,有效降低了網(wǎng)絡(luò)模型訓(xùn)練的參數(shù)量,避免訓(xùn)練過擬合,對圖像的準(zhǔn)確識別起到積極作用。

本文基于水下目標(biāo)聲吶圖像的特點(diǎn),設(shè)計(jì)搭建新的DCGAN和CNN,并將設(shè)計(jì)搭建好的DCGAN和CNN分別替換GR增量網(wǎng)絡(luò)的VAE和MLP,作為網(wǎng)絡(luò)新的重構(gòu)模型和識別網(wǎng)絡(luò),得到改進(jìn)的GR增量網(wǎng)絡(luò)。改進(jìn)的GR增量網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 改進(jìn)的GR增量網(wǎng)絡(luò)結(jié)構(gòu)

3.2 網(wǎng)絡(luò)模型搭建

3.2.1 DCGAN模型搭建

基于生成對抗網(wǎng)絡(luò)理論與水下目標(biāo)聲吶圖像特點(diǎn),設(shè)計(jì)搭建DCGAN需考慮以下幾點(diǎn):

1) 生成器與判別器模型的設(shè)置。生成器與判別器要求模型對稱,即生成器的反卷積層與判別器的卷積層數(shù)目相等,這樣才能達(dá)到網(wǎng)絡(luò)可微的目的,從而使網(wǎng)絡(luò)的損失函數(shù)在訓(xùn)練過程中向著一個方向穩(wěn)定收斂。

2) 反卷積層和卷積層數(shù)目的設(shè)置。由于聲吶圖像樣本數(shù)少,應(yīng)使用較少的層數(shù)進(jìn)行模型搭建,避免因參數(shù)過多而導(dǎo)致網(wǎng)絡(luò)訓(xùn)練出現(xiàn)過擬合。

3) 卷積層參數(shù)的設(shè)計(jì),包括卷積核大小、步長、邊界填充數(shù)目。聲吶圖像經(jīng)過裁剪等預(yù)處理操作后,圖像的尺寸相較原始圖像減小了很多,為了避免網(wǎng)絡(luò)模型在聲吶圖像的特征提取過程中丟失大量的有用特征,應(yīng)使用較小的卷積核,如3×3卷積核。設(shè)置步長可以壓縮卷積層的運(yùn)算量,加快網(wǎng)絡(luò)訓(xùn)練的擬合速度,但是步長不宜設(shè)置過大,過大的步長會使卷積層提取不到充足的聲吶圖像特征。邊界填充是為了避免帶步長的卷積運(yùn)算錯過聲吶圖像的邊緣信息,邊界填充的數(shù)目需根據(jù)輸入圖像、步長與卷積核來設(shè)置,不能超過卷積核的大小,以避免無效運(yùn)算。

4) 網(wǎng)絡(luò)參數(shù)優(yōu)化算法和激活函數(shù)的選取。Adam算法能基于訓(xùn)練數(shù)據(jù)迭代更新網(wǎng)絡(luò)參數(shù),具有計(jì)算高效和所需內(nèi)存少等優(yōu)勢。ReLU、Leaky ReLU激活函數(shù)在圖像處理的卷積神經(jīng)網(wǎng)絡(luò)中使用較多,它們能夠保持梯度不衰減,從而緩解梯度消失問題。

綜合考慮以上幾點(diǎn)設(shè)計(jì)要求,本文設(shè)計(jì)搭建的DCGAN的生成器與判決器模型分別如表2～3所示。

表2 生成器模型

表3 判別器模型

生成器首先產(chǎn)生隨機(jī)噪聲輸入到網(wǎng)絡(luò)第一層——全連接層,通過全連接層進(jìn)行尺寸變換,轉(zhuǎn)化為7×7×128的特征矩陣,然后該特征矩陣通過4層反卷積核大小為3×3,步長s=2的反卷積層,同時,對反卷積層進(jìn)行p=1的邊界填充。其中,在每個反卷積層進(jìn)行反卷積操作前,都使用批次標(biāo)準(zhǔn)化BatchNorm和激活函數(shù)Leaky ReLU,將特征歸一化與非線性整合,以加速網(wǎng)絡(luò)訓(xùn)練和提升訓(xùn)練的穩(wěn)定性。最終,經(jīng)過4個反卷積層后,網(wǎng)絡(luò)輸出得到與歷史圖像尺寸(112,112)相同的生成圖像。

判別器與生成器形成模型對稱,同樣設(shè)置4層卷積核大小為3×3,步長s=2的卷積層,并進(jìn)行p=1的邊界填充,經(jīng)過每一層卷積操作完成特征提取后,對得到的特征進(jìn)行BatchNorm批次標(biāo)準(zhǔn)化以及Leaky ReLU激活函數(shù)的非線性整合。然后,判別器網(wǎng)絡(luò)中加入了Dropout,可在一定程度上避免網(wǎng)絡(luò)過擬合。最后,將提取到的特征圖經(jīng)過全連接層輸出映射為一個值,并將這個值經(jīng)過sigmoid激活函數(shù)后,輸出該判別器網(wǎng)絡(luò)對輸入圖像數(shù)據(jù)類別的概率值。

3.2.2 CNN模型搭建

CNN與DCGAN的判別器模型設(shè)計(jì)搭建原理大體相似,不同的是本文的CNN采用ReLU激活函數(shù),并且比DCGAN的判別器多了池化層的設(shè)計(jì),池化層通常位于卷積層之后,用于降低卷積層的尺寸,從而降低網(wǎng)絡(luò)訓(xùn)練復(fù)雜度,但是,池化層在降低網(wǎng)絡(luò)復(fù)雜度的同時會丟失掉圖像的許多特征。由于聲吶圖像分辨率低,應(yīng)用于聲吶圖像識別的CNN應(yīng)使用較少的池化層,池化方法可以選取最大池化。本文設(shè)計(jì)搭建的CNN模型如表4所示。

表4 CNN模型

3.3 改進(jìn)的GR增量網(wǎng)絡(luò)實(shí)驗(yàn)分析

為驗(yàn)證本文提出的改進(jìn)的GR增量網(wǎng)絡(luò)的類別增量學(xué)習(xí)性能,使用該網(wǎng)絡(luò)對水下目標(biāo)聲吶圖像數(shù)據(jù)集進(jìn)行類別增量學(xué)習(xí)訓(xùn)練,每一個任務(wù)目標(biāo)訓(xùn)練完成后,都用當(dāng)前學(xué)習(xí)過的所有類別數(shù)據(jù)進(jìn)行測試,得到網(wǎng)絡(luò)對新任務(wù)目標(biāo)和舊任務(wù)目標(biāo)的識別率變化如圖6所示。

圖6 改進(jìn)的GR增量網(wǎng)絡(luò)的識別率

將GR增量網(wǎng)絡(luò)與改進(jìn)的GR增量網(wǎng)絡(luò)的平均識別準(zhǔn)確率進(jìn)行對比,網(wǎng)絡(luò)改進(jìn)前后的類別增量識別率結(jié)果如表5所示。

表5 增量網(wǎng)絡(luò)改進(jìn)前后的類別增量識別率

采用改進(jìn)的GR增量網(wǎng)絡(luò),第一個任務(wù)進(jìn)入增量網(wǎng)絡(luò)訓(xùn)練完成后,網(wǎng)絡(luò)對所有目標(biāo)類別的平均識別率為100%。當(dāng)?shù)诙€任務(wù)作為新類別數(shù)據(jù)進(jìn)入增量網(wǎng)絡(luò)訓(xùn)練完成后,網(wǎng)絡(luò)對所有目標(biāo)類別的平均識別率為94.3%,對歷史學(xué)習(xí)的第一個任務(wù)的識別率從100%降至98.6%,對第二個任務(wù)的識別率為90%。當(dāng)?shù)谌齻€任務(wù)作為新類別數(shù)據(jù)進(jìn)入增量網(wǎng)絡(luò)訓(xùn)練完成后,對當(dāng)前所有目標(biāo)類別的平均識別率為87%,對歷史學(xué)習(xí)的第一個任務(wù)的識別率從98.6%降到了79.3%,對歷史學(xué)習(xí)的第二個任務(wù)的識別率從90%降到了83.6%,對第三個任務(wù)的識別率為98%。改進(jìn)的GR增量網(wǎng)絡(luò)對當(dāng)前所有任務(wù)目標(biāo)的平均識別準(zhǔn)確率始終高于GR增量網(wǎng)絡(luò),平均識別率相比提高了19.4%。改進(jìn)的GR增量網(wǎng)絡(luò)對于歷史任務(wù)目標(biāo)的平均識別率相比GR增量網(wǎng)絡(luò)提升了34.7%。

為驗(yàn)證本文提出改進(jìn)的重構(gòu)模型和識別網(wǎng)絡(luò)分別對于聲吶圖像類別增量學(xué)習(xí)的作用,將重構(gòu)模型VAE和DCGAN與識別網(wǎng)絡(luò)MLP和CNN分別進(jìn)行組合,重構(gòu)模型和識別網(wǎng)絡(luò)分別改進(jìn)前后的平均識別率和參數(shù)量如表6所示。

表6 增量網(wǎng)絡(luò)改進(jìn)前后的平均識別率和參數(shù)量

由表6可得,相比VAE+MLP,DCGAN+MLP的平均識別率提高了11.8%,參數(shù)量降低了47.5%;VAE+CNN的平均識別率提升了11.2%,參數(shù)量降低了31.5%;DCGAN+CNN的平均識別率提高了19.4%,參數(shù)量降低了79%。相比單獨(dú)改進(jìn)識別網(wǎng)絡(luò),單獨(dú)改進(jìn)重構(gòu)模型對GR增量網(wǎng)絡(luò)平均識別率的提高和參數(shù)量的降低更加明顯,而DCGAN+CNN是最佳的GR增量網(wǎng)絡(luò)結(jié)構(gòu)。

4 實(shí)驗(yàn)驗(yàn)證與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集的建立

為驗(yàn)證本文提出的改進(jìn)GR增量網(wǎng)絡(luò)對水下目標(biāo)聲吶圖像類別增量學(xué)習(xí)的泛化性,通過外場試驗(yàn)建立水下目標(biāo)聲吶圖像數(shù)據(jù)集如表7所示,將實(shí)驗(yàn)數(shù)據(jù)集隨機(jī)劃分為圖7所示的3個任務(wù)目標(biāo)。

表7 實(shí)驗(yàn)數(shù)據(jù)集

圖7 任務(wù)目標(biāo)

4.2 增量網(wǎng)絡(luò)泛化性實(shí)驗(yàn)

分別采用GR增量網(wǎng)絡(luò)和改進(jìn)的GR增量網(wǎng)絡(luò)對實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行類別增量學(xué)習(xí)訓(xùn)練,得到改進(jìn)前后的GR增量網(wǎng)絡(luò)對所有任務(wù)目標(biāo)的識別率如表8所示。

表8 增量網(wǎng)絡(luò)改進(jìn)前后的類別增量識別率

本文提出的改進(jìn)的GR增量網(wǎng)絡(luò)相比GR增量網(wǎng)絡(luò),第一次訓(xùn)練后的平均識別率提高了11.1%。第二次訓(xùn)練后的平均識別率提高了14.2%。第三次訓(xùn)練后,對所有任務(wù)目標(biāo)的平均識別率提升了8.6%。對歷史任務(wù)目標(biāo)的平均識別率提升了18.8%。

對于本文建立的實(shí)驗(yàn)數(shù)據(jù)集,采用經(jīng)典增量學(xué)習(xí)方法與本文提出的改進(jìn)GR增量網(wǎng)絡(luò)進(jìn)行對比,各種增量學(xué)習(xí)方法的識別率結(jié)果如表9所示。

由表9可得,基于正則化的EWC和LWF方法對于聲吶圖像類別增量學(xué)習(xí)表現(xiàn)較差,當(dāng)網(wǎng)絡(luò)訓(xùn)練完成后,對所有任務(wù)目標(biāo)平均識別率均低于45%。相比而言,GR增量網(wǎng)絡(luò)總體表現(xiàn)更好,尤其是本文提出的改進(jìn)GR增量網(wǎng)絡(luò),對所有任務(wù)目標(biāo)的平均識別率達(dá)到86.9%。

表9 各種增量學(xué)習(xí)方法的識別率

5 結(jié) 論

本文基于深層卷積生成對抗網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)理論,對GR增量網(wǎng)絡(luò)的重構(gòu)模型與識別網(wǎng)絡(luò)進(jìn)行改進(jìn),提出了一種改進(jìn)的GR增量網(wǎng)絡(luò),對所有聲吶圖像任務(wù)目標(biāo)的平均識別率提升了19.4%,對歷史任務(wù)目標(biāo)的平均識別率提升了34.7%。采用外場實(shí)驗(yàn)獲得的水下目標(biāo)聲吶圖像實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行了網(wǎng)絡(luò)泛化性實(shí)驗(yàn),改進(jìn)的GR增量網(wǎng)絡(luò)對所有任務(wù)目標(biāo)的平均識別率提升了8.6%,對歷史任務(wù)目標(biāo)的平均識別率提升了18.8%。上述結(jié)果表明,本文提出的改進(jìn)GR增量網(wǎng)絡(luò)對于聲吶圖像具有良好的類別增量學(xué)習(xí)性能,較好地緩解了對歷史任務(wù)目標(biāo)的災(zāi)難性遺忘問題。