倉明杰, 喻玲娟, 謝曉春
(1.江西理工大學信息工程學院, 江西贛州 341000; 2.贛南師范大學物理與電子信息學院, 江西贛州 341000)
近年來,卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network, CNN)已廣泛應用于合成孔徑雷達(Synthetic Aperture Radar, SAR)目標識別。由于SAR數(shù)據(jù)采集難度大,用于目標識別的數(shù)據(jù)集通常較小,如MSTAR數(shù)據(jù)集[1-3]、極化SAR數(shù)據(jù)集[4-5],以及船只數(shù)據(jù)集[6-7]等,因此,基于CNN的SAR目標識別容易產(chǎn)生過擬合問題。為了解決該問題,4個方面的改進方法被提出。網(wǎng)絡結構改進方面:Chen等提出用卷積層替代全連接層的方法[1];Pei等提出多視深度學習框架[8];Shao等提出基于注意力機制的輕量級CNN[9];Gao等提出雙通道CNN[10]。數(shù)據(jù)集擴充方面:Ding等提出了3種數(shù)據(jù)擴充方法[11];Lu等提出了一種改進的目標旋轉(zhuǎn)擴充方法[12]。遷移學習和CNN相結合方面:Huang等利用大場景圖像對卷積自編碼器進行訓練,然后遷移到SAR圖像目標識別[13];Wang等利用ImagNet數(shù)據(jù)集上訓練好的VGG16模型遷移到SAR圖像目標識別,然后用SAR數(shù)據(jù)對預訓練好的模型進行微調(diào)[14]。無監(jiān)督預訓練和CNN相結合方面:卷積自編碼器是一種無監(jiān)督訓練方法,先將訓練好的卷積自編碼器的編碼器參數(shù)初始化CNN,然后再對CNN模型進行微調(diào)[15-16]。
生成對抗網(wǎng)絡(Generative Adversarial Network, GAN)也是一種無監(jiān)督訓練網(wǎng)絡,通過生成器和鑒別器兩者之間的博弈,使得生成的圖像難以被鑒別器鑒別[17]。目前基于GAN的SAR目標識別研究較少,Gao等提出一種包含多個生成器、一個鑒別器和一個多分類器的GAN,并應用于SAR圖像目標識別[18]。本文采用多層特征匹配[19]的思想改進GAN,并采用多層特征合成的思想改進CNN,進而提出一種基于改進的卷積神經(jīng)網(wǎng)絡(Improved Convolutional Neural Network, ICNN)和改進的生成對抗網(wǎng)絡(Improved Generative Adversarial Network, IGAN)的SAR目標識別方法。MSTAR實驗結果表明,該方法比直接采用ICNN的方法,不僅具有較高的識別率,而且具有更強的抗噪聲能力。
基于ICNN和IGAN的SAR目標識別方法如圖1所示,先采用訓練樣本對IGAN進行無監(jiān)督預訓練,然后將訓練好的IGAN鑒別器參數(shù)初始化ICNN,再利用訓練樣本對ICNN微調(diào),最后利用訓練好的ICNN進行測試樣本的分類。該方法的詳細步驟如下:
1) 將隨機噪聲作為IGAN的輸入,經(jīng)生成器G得到生成樣本;
2) 將真實或生成樣本輸入到鑒別器D,D的輸出為屬于真實樣本或生成樣本的概率;
3) 利用后向傳播算法更新G和D的參數(shù),直到達到納什平衡;
4) 將訓練好的D參數(shù)初始化ICNN;
5) 利用帶標簽訓練樣本對ICNN微調(diào);
6) 將測試樣本輸入到訓練好的ICNN,得到其所屬類別。
傳統(tǒng)的CNN包括輸入層、隱藏層和輸出層,其中,隱藏層又包括卷積層、池化層和全連接層。在CNN基礎上,ICNN對隱藏層結構進行了改進,輸出層仍為常用的Softmax分類器。ICNN隱藏層的改進之處主要有:1) 采用步長為s(s≥2,s∈N+)的卷積層替代池化層;2) 采用池化層以實現(xiàn)不同層次特征圖的尺寸相同化;3) 增加特征合成層,將不同層次特征圖進行合成。因此,ICNN的結構可以概括為卷積層、池化層、特征合成層、全連接層及Softmax分類層,如圖1所示。由于特征合成層的運算為特征圖的簡單合并,接下來詳細分析其他層的運算過程。
1) 卷積層
2) 池化層
ICNN的池化運算是將不同卷積層的輸出特征圖的尺寸相同化,以在隱藏層的最后一層實現(xiàn)不同層次特征的合成。假定第L+1層為特征合成層,則第l(1≤l≤L)層第j通道的特征圖的池化運算結果為
(2)
式中,G表示池化窗口大小,(x,y)表示第L+1層特征圖的像素坐標位置。
3) 全連接層
(3)
4) Softmax分類層
假定目標總共有K類,將全連接層的輸出進行Softmax分類,則輸入樣本屬于第k(k=1, 2,…,K)類的概率為
(4)
在ICNN的訓練過程中,采用后向傳播算法進行網(wǎng)絡參數(shù)的更新,并采用交叉熵作為損失函數(shù),
(5)
式中,qk表示訓練樣本的真實分類結果。如果訓練樣本的標簽為k,則qk=1;否則,qk=0。
傳統(tǒng)的GAN包括生成器G和鑒別器D兩部分。IGAN是在GAN的基礎上,按照1.1節(jié)中ICNN的結構進行了改進,對D增加了特征合成層,如圖1所示。其中,D的結構包括卷積層、池化層、特征合成層以及全連接層;G包括全連接層和反卷積層。
IGAN的工作原理和GAN相同,表現(xiàn)為G和D兩者之間的博弈。G的輸入為噪聲z,服從先驗分布pz(z),輸出為生成樣本G(z);D的輸入為真實樣本x或生成樣本G(z),輸出為屬于x或G(z)的概率。若x服從分布pdata,G(z)服從分布pg,則G的目標是使生成樣本的分布pg盡可能接近pdata,而D的目標是正確區(qū)分x和G(z)。因此,IGAN的目標函數(shù)可表示為
Ez:pz(z)[log(1-D(G(z)))]
(6)
在IGAN訓練過程中,分別對D和G進行訓練。當訓練D時,先固定G的網(wǎng)絡參數(shù)。一方面,對x而言,期望D(x)最大;另一方面,對G(z)而言,期望D(G(z))最小,即最大化1-D(G(z))。當訓練G時,固定D的網(wǎng)絡參數(shù),G的目標是期望D(G(z))最大,即最小化1-D(G(z))。
此外,進一步采用特征匹配方法提高IGAN的穩(wěn)定性[19]。假設F(x)表示D中不同層的特征,則G的特征匹配損失函數(shù)為
Lfeature_match=‖Ex:pdata(x)F(x)-Ez:pz(z)F(G(z))‖
(7)
本節(jié)采用上節(jié)提出的方法,對MSTAR數(shù)據(jù)集(詳見第3節(jié))進行SAR目標識別。按照ICNN和IGAN的前向傳播過程,詳細地介紹它們的結構參數(shù)。
ICNN包括6個卷積層、2個最大池化層、1個特征合成層、1個全連接層和Softmax分類層,所有卷積核的大小均為5×5,每個卷積層后采用LReLU激活函數(shù),如圖2所示。ICNN的前向傳播過程和各層參數(shù)如下:
圖2 ICNN的結構和參數(shù)
1) 輸入為一幅128×128的SAR圖像,經(jīng)過第一層16個s=2的卷積核卷積后,輸出為16幅64×64的特征圖;
2) 經(jīng)過第二層32個s=2的卷積核卷積后,輸出為32幅32×32的特征圖;
3) 經(jīng)過第三層64個s=2的卷積核卷積后,輸出為64幅16×16的特征圖;
4) 經(jīng)過第四層128個s=1的卷積核卷積后,輸出為128幅16×16的特征圖;
5) 經(jīng)過第五層256個s=2的卷積核卷積后,輸出為256幅8×8的特征圖;
6) 經(jīng)過第六層512個s=2的卷積核卷積后,輸出為512幅4×4的特征圖;
7) 將步驟4)得到的特征圖,經(jīng)過大小為4×4且s=4的最大池化層后,輸出為128幅4×4的特征圖;
8) 將步驟5)得到的特征圖,經(jīng)過大小為2×2且s=2的最大池化層后,輸出為256幅4×4的特征圖;
9) 將步驟6)~8)得到的特征圖進行合成,輸出為896幅4×4的特征圖;
10) 將合成特征圖展平,并經(jīng)過全連接層,輸出為1×10的矢量;
11) 經(jīng)過Softmax分類器輸出目標所屬類別的概率。
IGAN的鑒別器D和ICNN的隱藏層結構參數(shù)相同,生成器G包括6個反卷積層和2個全連接層,前5個反卷積層后采用ReLU激活函數(shù),最后1個反卷積層后采用tanh激活函數(shù),如圖3所示。為了減輕反卷積層帶來的棋盤偽影,所有卷積核的大小均為4×4。G的前向傳播過程和各層參數(shù)如下:
圖3 IGAN的結構和參數(shù)
1) 隨機產(chǎn)生1×100的噪聲,經(jīng)過2個全連接層后,輸出為1×8 192的矢量;
2) 將矢量變形為512幅4×4的圖像,經(jīng)過第一層256個反卷積核反卷積后,輸出為256幅8×8的圖像;
3) 經(jīng)過第二層128個反卷積核反卷積后,輸出為128幅16×16的圖像;
4) 經(jīng)過第三層64個反卷積核反卷積后,輸出為64幅16×16的圖像;
5) 經(jīng)過第四層32個反卷積核反卷積后,輸出為32幅32×32的圖像;
6) 經(jīng)過第五層16個反卷積核反卷積后,輸出為16幅64×64的圖像;
7) 經(jīng)過第六層1個反卷積核反卷積后,輸出為1幅128×128的圖像。
實驗采用的MSTAR數(shù)據(jù)集共包括10種不同類別的地面目標,其光學圖像及相應的SAR圖像如圖4所示。MSTAR訓練集和測試集中包含的各類目標的數(shù)量如表1所示,顯然,共有2 747個訓練樣本和2 425個測試樣本,訓練集為17°下視角數(shù)據(jù),測試集為15°下視角數(shù)據(jù)。實驗前將所有的SAR圖像切割成128×128大小,且保持目標在圖像中心。實驗按照采用全部的數(shù)據(jù)集、減少訓練樣本數(shù)、加不同比例的噪聲,以及加不同功率的噪聲四種情況分別進行。為了驗證基于ICNN和IGAN方法的有效性,將其與直接采用基于ICNN的方法進行對比。
表1 MSTAR數(shù)據(jù)集
圖4 10類目標的光學圖像及相應的SAR圖像
網(wǎng)絡訓練前,在基于ICNN和IGAN方法中,隨機初始化IGAN的G和D網(wǎng)絡參數(shù);在直接采用基于ICNN的方法中,隨機初始化ICNN的參數(shù)。兩種方法在訓練過程中,設置批尺寸大小為64,并采用Adam算法[20]完成網(wǎng)絡參數(shù)的更新。為了保持對抗平衡,IGAN的G和D的更新次數(shù)比設定為1∶2。
1) 采用全部的數(shù)據(jù)集
采用全部的訓練和測試樣本進行實驗,基于ICNN和IGAN的識別方法得到的10類目標的混淆矩陣如表2所示,該方法與直接基于ICNN的方法得到的各類目標的正確識別率及平均正確識別率如表3所示。結果表明,基于ICNN和IGAN方法的平均正確識別率為98.72%,而直接基于ICNN的方法的平均正確識別率為97.32%,即前者比后者高1.4%。
表2 基于ICNN和IGAN的SAR目標識別結果
續(xù)表2
表3 兩種方法的實驗結果對比
2) 減少訓練樣本數(shù)
當訓練樣本數(shù)從100%減少到10%,而測試樣本數(shù)量不變時,兩種方法得到的平均正確識別率隨訓練樣本數(shù)減少的變化情況如圖5所示。結果表明,當訓練樣本數(shù)大于30%時,兩種方法得到的平均正確識別率都較高;當樣本數(shù)減少至30%時,基于ICNN和IGAN的方法和直接基于ICNN的方法得到的平均正確識別率分別為96.37%和92.78%。當樣本數(shù)低于30%時,兩種方法得到的平均正確識別率都下降比較快,其原因是多數(shù)方位角下的訓練樣本被丟棄,網(wǎng)絡難以學習到各方位角下的目標特征。
圖5 平均正確識別率隨訓練樣本數(shù)減少的變化情況
3) 加不同比例的噪聲
定義噪聲比例為SAR原圖像中的像素單元被噪聲取代的數(shù)量占所有像素單元數(shù)量的比例[1]。若噪聲服從均勻分布,則加入5%、10%、15%、20%噪聲后的SAR圖像分別如圖6(a)~(d)所示。采用100%、50%、30%的訓練樣本和100%的測試樣本分別進行實驗,當噪聲比例從5%增加到20%時,兩種方法的平均正確識別率隨噪聲比例的變化情況如圖7所示。結果表明,兩種方法的平均正確識別率隨噪聲比例的增加而降低。此外,在訓練樣本數(shù)相同的情況下,基于ICNN和IGAN的方法比直接基于ICNN的方法具有更高的識別率,即前者比后者具有更強的抗噪聲能力。
圖6 加不同比例噪聲后的SAR圖像
圖7 平均正確識別率隨噪聲比例增加的變化情況
4) 加不同功率的噪聲
圖8 不同信噪比的SAR圖像
圖9 平均正確識別率隨信噪比下降的變化情況
本文針對基于CNN的SAR圖像目標識別中,因數(shù)據(jù)集小易產(chǎn)生過擬合問題,提出了一種基于ICNN和IGAN相結合的方法。該方法先用訓練樣本對IGAN進行無監(jiān)督預訓練,然后將訓練好的IGAN鑒別器參數(shù)初始化ICNN,再利用訓練樣本對ICNN微調(diào),最后利用訓練好的ICNN進行測試樣本的分類輸出。為了驗證該方法的有效性,采用MSTAR數(shù)據(jù)集分別進行了全部數(shù)據(jù)集、減少訓練樣本數(shù)、加不同比例噪聲和不同功率噪聲的實驗。實驗結果表明,基于ICNN和IGAN的方法比直接基于ICNN的方法,不僅具有更高的平均正確識別率,而且具有更強的抗噪聲能力。