徐源超 蔡志明 孔曉鵬

(海軍工程大學(xué)電子工程學(xué)院 武漢 430033)

1 引言

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)在圖像識別領(lǐng)域[1,2]展現(xiàn)出強大的建模能力，其在船舶輻射噪聲分類中的應(yīng)用也取得進展。CNN在分類任務(wù)中的應(yīng)用分3種：一是先人工提取特征，然后將CNN作為分類器；二是利用CNN進行特征提取；三是將原始目標(biāo)信號輸入CNN，構(gòu)建端到端的分類模型。王念濱等人[3]將MFCC(Mel-Frequency Cepstral Coefficients)特征輸入CNN，提出了結(jié)合注意力機制的快速降維卷積模型。MFCC特征最初用于語音識別，其濾波器組的中心頻率和帶寬根據(jù)人耳聽覺特性設(shè)計。船舶輻射噪聲特征信息多集中于低頻線譜，甚至低于人耳聽覺頻率下限，因此直接將MFCC用于船舶輻射噪聲會丟失信息。Shen等人[4]以時域信號為輸入，利用Gammatone濾波器組初始化第1層卷積核并構(gòu)建端到端的CNN。Gammatone濾波器經(jīng)訓(xùn)練后雖然提高了識別性能，但是增加了過擬合的風(fēng)險；且也是根據(jù)人耳聽覺原理設(shè)計。Hu等人[5]以時域信號輸入CNN自動提取目標(biāo)特征，然后用極限學(xué)習(xí)機作為分類器。Li等人[6]先用不同尺寸的卷積核處理時域信號，然后在時頻域上構(gòu)建端到端的CNN。這些研究表明，CNN可以直接對高維的時域信號建模；但這會引入大量冗余信息，特別是高頻端的冗余信息。Chen等人[7]利用卷積自編碼器在低頻分析記錄(LOw Frequency Analysis Record, LOFAR)中提取特征用于目標(biāo)分類。王念濱等人[8]和Chen等人[9]也以LOFAR輸入CNN。Zhang等人[10]則將包括LOFAR在內(nèi)的多種譜輸入CNN。這些方法把LOFAR看作2維圖像輸入CNN，其在頻率方向上均采用線性坐標(biāo)?？紤]由同一噪聲源激發(fā)的諧波特征(以下稱同源特征)，當(dāng)基頻變化時，各次諧波特征在線性頻率坐標(biāo)上的變化距離不等，這與卷積層對輸入的平移等變性不適配。平移等變性[11]是指，當(dāng)輸入平移時函數(shù)輸出也做相等平移。線性頻率坐標(biāo)的功率譜輸入CNN時，當(dāng)噪聲源工況變化，其“激活”的卷積核不同。

對數(shù)頻率坐標(biāo)下同源特征等距變化的特點與CNN相適配。同時，對數(shù)坐標(biāo)放大噪聲譜低頻部分信息，有利于目標(biāo)分類。文獻[12]發(fā)現(xiàn)恒Q變換(Constant Q Transform, CQT)特征比其他特征分類性能更強，其在頻率方向采用對數(shù)坐標(biāo)。CQT多用于音樂分析[13]，頻點選取一般根據(jù)十二平均律，而船舶輻射噪聲信息主要包含在低頻段，且CQT特征高頻端分辨率不足可能導(dǎo)致信息丟失，所以分析頻點應(yīng)更加細(xì)密。

減小對數(shù)的底可以提高頻率分辨率，但同時會增加輸入特征長度，導(dǎo)致CNN需要在深層才能對長距離依賴的同源特征建立連接。本文提出雙對數(shù)譜，將分辨率很高的對數(shù)譜頻點排列成矩陣，以此作為網(wǎng)絡(luò)輸入可以兼顧保留信息和控制CNN深度及參數(shù)規(guī)模。針對輻射噪聲雙對數(shù)譜的各行表征同一目標(biāo)的特點，設(shè)計一種集成卷積網(wǎng)絡(luò)(Aggregating CNN, ACNN)，使各行輸入共享網(wǎng)絡(luò)參數(shù)。進一步地，在損失函數(shù)中加入深層特征距離損失作為約束懲罰項，提高了分類正確率。

2 模型

2.1 船舶輻射噪聲特征

2.1.1 平移等變性

圖1為某船LOFAR，可以觀察到一組同源特征(圖中紅色方框)。參考白色輔助線，當(dāng)船舶工況變化時，線性坐標(biāo)下線譜間的距離隨之變化，特征尺度變大；對數(shù)坐標(biāo)下同源特征的尺度則保持不變。CNN的卷積核用于在輸入的不同位置檢測特定特征。圖2是線性坐標(biāo)下，同源特征激活CNN神經(jīng)元的示意圖。工況1時，同源特征基頻較小，3根線譜的間距較小，激活第1層的卷積核1。工況2時，同源特征基頻增大，3根線譜間距變大，這組特征首先激活第1層的卷積核2，而后激活第2層的卷積核3。線性坐標(biāo)下，不同工況的同源特征激活的神經(jīng)元不同，這種情況不利于CNN層次化地提取目標(biāo)特征。若在對數(shù)坐標(biāo)下，由于同源特征尺度不變，兩種工況下同源特征激活的卷積核相同，僅是輸出產(chǎn)生了與輸入相等的平移(即平移等變性)，這有利于特征的表達(dá)。

圖1 工況變化時，同源特征在線性和對數(shù)頻率下的表現(xiàn)

圖2 線性頻率坐標(biāo)下同源特征激活神經(jīng)元不同

CNN中的卷積運算定義為

2.1.2 雙對數(shù)譜

兩個頻率間隔很大的相關(guān)特征要在深層才能建立連接，位于邊緣的特征對輸出的影響很小，CNN難以捕捉輸入特征的長距離依賴-位置相距很遠(yuǎn)且非獨立的特征。文獻[14]指出CNN的有效感受野小于理論感受野，在CNN的深層特征圖中，輸入的影響隨其與中心的距離增加而減小，且層數(shù)越多這種情況越嚴(yán)重。雙對數(shù)譜把增加的頻點放在列方向上以避免一個方向上的維數(shù)太多，一定程度上規(guī)避了CNN對長距離依賴建模能力不足的問題。以下介紹雙對數(shù)譜的計算過程。首先計算線性譜(圖3(a))，然后將其轉(zhuǎn)為對數(shù)譜(圖3(c))。考慮[fmin,fmax]頻率范圍內(nèi)取M個頻點的作為輸入特征，則對數(shù)坐標(biāo)的底為

圖3 雙對數(shù)譜處理流程

2.2 分類模型

2.2.1 網(wǎng)絡(luò)結(jié)構(gòu)

圖4 集成卷積網(wǎng)絡(luò)(ACNN)結(jié)構(gòu)

2.2.2 損失函數(shù)

3 方法

3.1 數(shù)據(jù)集和預(yù)處理

本文基于DeepShip[12]數(shù)據(jù)集驗證分類算法。

3.2 模型參數(shù)設(shè)置

表1 DeepShip 數(shù)據(jù)集樣本統(tǒng)計

表2 ACNN 的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

對照組CNN結(jié)構(gòu)參數(shù)如表3所示。針對1維譜(包括線性譜和對數(shù)譜)，用1維卷積網(wǎng)絡(luò)(CNN1d)作為分類器；針對雙對數(shù)譜，用2維卷積網(wǎng)絡(luò)作為分類器(C N N 2 d)。需注意，與A C N N 不同，CNN2d將雙對數(shù)譜當(dāng)作普通2維特征(類似圖像)，從第1層開始就使用2維卷積。表中展示CNN各層卷積核數(shù)目，“CNN1d-256維”、“CNN2d”第1層卷積核尺寸分別為5和3×5，其余卷積核尺寸均為3；網(wǎng)絡(luò)最后若干層使用尺寸為2的最大池化將特征維度降至1024，然后連接相同的4層全連接結(jié)構(gòu)。

表3 對照組 CNN 結(jié)構(gòu)參數(shù)

試驗中所有網(wǎng)絡(luò)均使用了批標(biāo)準(zhǔn)化和ReLU(Rectified Linear Unit)激活函數(shù)，網(wǎng)絡(luò)輸出使用Softmax激活函數(shù)，目標(biāo)函數(shù)為交叉熵?fù)p失。注意，試驗中ACNN與“CNN1d-256維”的網(wǎng)絡(luò)參數(shù)量一致，ACNN在最后一層用平均池化集成了I個輸出。

3.3 訓(xùn)練和驗證

4 試驗

4.1 分類性能比較

各算法分類正確率如表4所示(“ACNN”指不加約束，“ACNN+約束”指施加約束)，有如下結(jié)果：(1)對數(shù)譜特征優(yōu)于線性譜。CNN1d的輸入特征分別為256，1024和2048維時，對數(shù)譜的正確率比線性譜分別高1.40%, 1.55%和0.71%。256維對數(shù)譜的正確率比1024和2048維線性譜都略高。(2)對于線性譜和對數(shù)譜，CNN輸入特征的維數(shù)不宜太高。無論是線性譜還是對數(shù)譜，CNN1d的輸入為1024維時分類性能都是最好的。頻率分辨率太低會模糊特征的頻率信息，分辨率太高則會導(dǎo)致特征維數(shù)太高、冗余信息太多。(3)當(dāng)特征維數(shù)很高時，雙對數(shù)譜可以克服對數(shù)譜維數(shù)太高的問題。輸入特征為1024維時，“CNN2d+雙對數(shù)譜”比“CNN1d+對數(shù)譜”的正確率略低0.18%，因為此時雙對數(shù)譜I=4，特征會在首行和尾行之間跳躍。而當(dāng)輸入特征增加到2048維時，“CNN1d+對數(shù)譜”正確率下降了，“CNN2d+雙對數(shù)譜”的正確率則提高到66.35%，比前者高1.04%，表明雙對數(shù)譜可以規(guī)避CNN對長距離依賴建模能力不足的問題。(4)本文提出的ACNN適配雙對數(shù)譜，性能高于普通2維卷積網(wǎng)絡(luò)CNN2d。雙對數(shù)譜維數(shù)分別為4×256和8×256時，ACNN的正確率比CNN2d分別高0.79%和0.97%。(5)施加約束懲罰可進一步提高ACNN的分類性能。雙對數(shù)譜維數(shù)分別為4×256和8×256時，施加約束后正確率分別提高0.25%和0.15%。

表4 分類正確率

4.2 平移等變性

利用仿真信號探究線性譜和對數(shù)譜輸入下CNN的平移等變性。產(chǎn)生一組線性調(diào)頻諧波信號

圖5(a)中，線性坐標(biāo)下，線譜特征隨基頻增加向高頻端移動，同時10根線譜組成的特征尺度逐漸增加。當(dāng)基頻增加到原來的2倍，表達(dá)線譜特征的分辨單元數(shù)由23增加到45，相鄰線譜間隔由2增加到5個分辨單元。在這個過程中，如圖5(c)所示，CNN1d第1層最大輸出卷積核發(fā)生變化：第0～40 s,22號卷積核的輸出最大；第40～160 s, 10號卷積核的輸出最大；第160～380 s, 24號卷積核的輸出最大。由于第1層卷積核尺寸為5，第380～400 s后，相鄰線譜間隔達(dá)到5個分辨單元，各卷積核的輸出均較小，此時相鄰線譜構(gòu)成的局部特征要在卷積網(wǎng)絡(luò)的下一層才能被檢測到。

圖5(b)中，對數(shù)坐標(biāo)下，線譜特征隨基頻增加向高頻端平移。與線性譜不同，基頻增加過程中，對數(shù)譜中10根線譜組成的特征尺度保持不變，表達(dá)這個同源特征的分辨單元始終為32個左右，相鄰線譜間隔的分辨單元則因線譜頻率不同為1至3個不等，同階次線譜的間隔不隨頻率變化。如圖5(d)所示，CNN1d第1層最大輸出卷積核始終為22或24號，且各卷積核輸出值基本不變，這表明同源特征在對數(shù)譜中的表達(dá)方式與卷積的平移等變性相適配。

圖5 卷積網(wǎng)絡(luò)第1層的最大輸出

4.3 約束懲罰系數(shù)

為考察目標(biāo)函數(shù)中懲罰系數(shù)α的影響，分別設(shè)置其為0, 0.01, 0.1, 1和10，交叉熵?fù)p失LCE和深層特征距離損失Lstd隨訓(xùn)練輪數(shù)的變化情況如圖6所示，其中圖6(b)中小圖是第20～30輪的局部放大。

如圖6(b)所示，模型在測試集上的LCE均隨訓(xùn)練輪數(shù)增加而減小。當(dāng)α=0時，即損失函數(shù)中忽略Lstd時 ，圖6(a)中Lstd隨訓(xùn)練輪數(shù)增加而增加。這表明不添加約束時，雙對數(shù)譜的I個“樣本”在ACNN深層特征空間中的距離會隨著訓(xùn)練增大，這不滿足I個“樣本”為同一個體的先驗。相應(yīng)地，圖6(b)的局部放大圖中，α為0時的LCE大于α為0.01,0.1和1時的LCE。這表明，ACNN的損失函數(shù)中加入Lstd作為約束懲罰，有助于提高分類性能，這與4.1節(jié)的結(jié)果一致。

注意到LCE的值在1～1.3，而不加約束(α=0)時Lstd的值在0.25～1.45，二者大致處于同一量級，因此考慮設(shè)置α≤1。可以看到當(dāng)α=10時，雖然Lstd被 控制得很小，但是圖6(b)中LCE遠(yuǎn)高于其余曲線。這表明，損失函數(shù)中約束懲罰的比重太大，影響了模型收斂速度和分類性能。

具體地，懲罰系數(shù)α的值可通過試驗確定。當(dāng)α=0.01時 ，隨著訓(xùn)練輪數(shù)增加Lstd的值逐漸增大到0.75，明顯小于不加約束時Lstd的值；相應(yīng)地，圖6(b)中LCE的值略小于不加約束的情況。當(dāng)α=0.1時，Lstd的 值先略微增大而后緩慢減小，LCE的值進一步減小。當(dāng)α=1時 ，Lstd迅速減小(僅訓(xùn)練2輪就收斂)；此時，圖6(b)中LCE的 值略小于α=0.1時的情況，且前10輪的收斂速度變慢。綜上，約束懲罰系數(shù)α的值可設(shè)置為0.1～1，考慮到訓(xùn)練的收斂速度，4.1節(jié)分類性能比較試驗中α均設(shè)置為0.1。

圖6 懲罰系數(shù)對損失函數(shù)的影響

5 結(jié)束語

本文針對CNN的平移等變性原理，探究了線性譜和對數(shù)譜作為輸入特征時的分類性能差異。結(jié)果表明，對數(shù)譜優(yōu)于線性譜。針對CNN在深層才能對長距離依賴建模的缺陷，本文提出雙對數(shù)譜特征。試驗表明，在輸入維數(shù)較高的情況下，雙對數(shù)譜仍能有效建模，分類性能優(yōu)于對數(shù)譜。提出的ACNN把雙對數(shù)譜各行看作來自同一個體的多個樣本，集成分類打分結(jié)果；構(gòu)造深層特征距離損失作為約束懲罰，進一步提高分類正確率?？傮w上，特征為1024和2048維時，以雙對數(shù)譜為輸入的ACNN(加約束)的正確率，比以線性譜為輸入的CNN1d分別提高了2.41%和2.87%。本文著重研究單幀譜特征作為CNN輸入時的分類性能，考慮時頻特征CQT的良好表現(xiàn)，下一步將把雙對數(shù)譜拓展為時頻特征。