劉 敬, 李 洋, 劉 逸
(1. 西安郵電大學(xué) 電子工程學(xué)院,陜西 西安710121;2. 西安電子科技大學(xué) 電子工程學(xué)院,陜西 西安710071)
地物分類是高光譜遙感圖像的一個(gè)重要應(yīng)用,其主要目的是通過高光譜圖像各個(gè)像素的光譜信息或空間信息的差異來對(duì)地物進(jìn)行分類。目前主要的研究方向有三個(gè),一是從高光譜圖像的光譜特征出發(fā),提取像素光譜特征進(jìn)行分類[1];二是從高光譜圖像的空間特征出發(fā),提取像素空間特征進(jìn)行分類[2];三是結(jié)合高光譜圖像的光譜信息和空間信息,提取空譜聯(lián)合特征,既利用高光譜圖像圖譜合一的特性,又進(jìn)一步加強(qiáng)地物分類的準(zhǔn)確性[3-4]。
從光譜特性的角度來看,高光譜圖像是以一維矢量的形式來表示像素的光譜曲線。然而,由于時(shí)間、環(huán)境等因素的影響,不同地物的光譜可能在某些波段出現(xiàn)混疊,導(dǎo)致不同地物之間的光譜差異較小。此外,由于高光譜圖像波段數(shù)量多,常有上百個(gè)波段,并且波段間具有較強(qiáng)的相關(guān)性,容易產(chǎn)生維數(shù)災(zāi)難從而使分類精度下降,影響地物的分類結(jié)果,如何解決上述問題是當(dāng)前的研究重點(diǎn)之一[5]。目前,主流的解決方案是使用降維方法將高光譜遙感數(shù)據(jù)投影到低維的特征子空間中,再對(duì)地物進(jìn)行分類,如主成分分析[6](Principle Component Analysis, PCA)和線性判別分析[7](LDA)等。
從空間特性的角度來看,高光譜圖像由若干個(gè)波段上的二維圖像堆疊而成,因此,空間特征的提取也可以在一定程度上提高地物分類的準(zhǔn)確性,經(jīng)典方法主要分為空間紋理特征提取、空間鄰域像素特征提取等[8-9]??臻g紋理特征提取通過獲得高光譜圖像各個(gè)波段上二維圖像的空間紋理信息或形態(tài)學(xué)特征,并將提取的特征組成多維向量,最后通過分類器進(jìn)行分類,如局部二值模式、Gabor 特征和灰度共生矩陣等[10-12]??臻g鄰域像素特征提取是將目標(biāo)像素與其鄰域像素的關(guān)系通過模型相結(jié)合并實(shí)現(xiàn)分類,常用的鄰域特征提取方法有稀疏表示[13]和協(xié)同表示[14]等。
以上兩種方法分別通過提取有效的光譜特征和空間特征來進(jìn)行分類。事實(shí)上,將光譜特征與空間特征相結(jié)合實(shí)現(xiàn)地物分類是目前主要的研究方向,如對(duì)高光譜圖像的光譜進(jìn)行降維,再對(duì)降維后的數(shù)據(jù)進(jìn)行空間特征提取等。Fauvel等研究并總結(jié)了結(jié)合空譜信息的高光譜圖像分類方法,提取圖像的形態(tài)學(xué)輪廓特征進(jìn)行分類,并驗(yàn)證了空譜聯(lián)合特征提取對(duì)提升高光譜圖像分類準(zhǔn)確性的重要性[15]。Hu 等先對(duì)高光譜圖像采用PCA 降維,將降維后的主分量采用多空間域雙邊濾波提取特征,并且通過極限學(xué)習(xí)機(jī)驗(yàn)證特征的有效性[16]。Sun 等結(jié)合高光譜圖像的空譜信息,提出了一種簡(jiǎn)單有效的空譜方法(SESS),該方法針對(duì)高光譜圖像的光譜信息采用改進(jìn)的稀疏子空間聚類法進(jìn)行波段選擇,以減輕由于波段數(shù)和像素?cái)?shù)過多造成的計(jì)算負(fù)擔(dān),并采用多尺度低秩分解提取高光譜圖像的多尺度空間特征,最后提出L-NPE 算法融合提取的光譜特征和空間特征,提高地物識(shí)別準(zhǔn)確率[17]。Yuan 等利用多光譜圖像和高光譜圖像的空譜信息以及SAR圖像的幾何和偏振特性提出多模態(tài)協(xié)同融合算法,以獲得高質(zhì)量的融合圖像,提升識(shí)別率[18]。
除上述傳統(tǒng)特征提取方法,近年來深度學(xué)習(xí)算法可以從高光譜圖像提取更具鑒別性的深度特征,提高分類精度。Chen 等提出一種堆疊式自動(dòng)編碼器[19](SAE)和深度信念網(wǎng)絡(luò)[20](DBN)來獲取高光譜圖像的深度特征以進(jìn)行分類,但在此過程中僅限于提取光譜信息,忽略了空間信息。Hu 等將一維卷積神經(jīng)網(wǎng)絡(luò)(1DCNN)應(yīng)用于高光譜圖像,此時(shí)仍然只使用光譜信息而不考慮空間信息[21]。Alipourfard 等將高光譜圖像降維至低維子空間,降低了光譜像素的維數(shù),然后使用二維卷積神經(jīng)網(wǎng)絡(luò)(2DCNN)進(jìn)行分類,考慮了高光譜圖像的空間信息[22]。為充分利用高光譜圖像的光譜和空間信息,Chen 等使用PCA 降低光譜像素的維數(shù),并將降維數(shù)據(jù)送入三維卷積神經(jīng)網(wǎng)絡(luò)(3DCNN),提取高光譜圖像的深層空譜聯(lián)合特征[23]。此外,隨著網(wǎng)絡(luò)結(jié)構(gòu)的不斷更新迭代,高光譜圖像的地物分類精度也不斷提高。Transformer 網(wǎng)絡(luò)具有高效的模型訓(xùn)練速率以及自注意力機(jī)制,Liu 等基于Transformer 模型提出了一種HSI-TNT 模型框架,該模型利用位置編碼以及逐像素展開策略減少光譜信息和空間信息的損失,并采用兩層T-Block 融合高光譜圖像的局部特征和全局特征,提高高光譜圖像的地物分類準(zhǔn)確率[24]。
為有效提取高光譜圖像的特征用于地物分類,本文提出一種基于分?jǐn)?shù)階微分的特征提取算法,用于提取高光譜圖像像素空間的分?jǐn)?shù)階微分特征(Spatial Fractional Differential, SpaFD),然后將SpaFD 特征與原始特征直連融合獲得混合特征(SpaFD-Spe-Spa),最后將SpaFD 特征與SpaFD-Spe-Spa 特征分別送入3DCNN、混合光譜網(wǎng)絡(luò)[25](HybridSN)、經(jīng)光譜PCA 降維后送入3DCNN(3DCNNPCA)進(jìn)行深度特征提取。本文提出的特征提取算法有以下優(yōu)點(diǎn):(1)可以提取盡可能完整的地物邊緣特征,并在一定程度上抑制噪聲。高光譜圖像中大部分地物的邊緣特征較為明顯,如柏油路、房屋等,它們的邊緣多為細(xì)而長(zhǎng)的像素集合,而邊緣和噪聲點(diǎn)具有局部不連續(xù)的特點(diǎn),它們所對(duì)應(yīng)的鄰域像素的灰度值變化劇烈。因此提取高光譜圖像SpaFD 特征時(shí),對(duì)每一個(gè)像素提取的特征都包含其鄰域像素的信息,且距離目標(biāo)像素越近的點(diǎn),它的信息被保留得越多,使邊緣被更完整地提取出來;噪聲由于其隨機(jī)性,當(dāng)噪聲點(diǎn)離中心像素越遠(yuǎn)時(shí),分?jǐn)?shù)階微分的全局性反而起到了抑制噪聲的作用。(2)在增強(qiáng)地物較尖銳紋理細(xì)節(jié)的同時(shí)保持平滑區(qū)域的空間特征不被破壞。高光譜圖像中,灰度值變化緩慢的區(qū)域通常對(duì)應(yīng)同類地物所在的區(qū)域,而灰度值變化劇烈的區(qū)域往往代表邊緣信息。若過分提取邊緣特征,諸如森林、植被等地物其內(nèi)部空間特征會(huì)損失較多,影響地物分類??臻g分?jǐn)?shù)階微分可明顯加強(qiáng)類間邊緣特征,同時(shí)保證類內(nèi)空間特征被充分保留。(3)對(duì)不同的高光譜圖像數(shù)據(jù)可以調(diào)節(jié)不同的微分階數(shù)。由于數(shù)據(jù)獲取的地區(qū)不同,不同的高光譜圖像包含的地物種類和分布情況也不同,這導(dǎo)致它們適宜的分?jǐn)?shù)階微分掩模的階數(shù)可能不同。本文所提空譜聯(lián)合準(zhǔn)則用于選取合適的微分掩模階數(shù),針對(duì)不同的數(shù)據(jù)可以給出適合該數(shù)據(jù)的階數(shù),更有利于特征提取與分類。
分?jǐn)?shù)階微分目前主流的定義方式主要有GL 定義、R-L 定義以及Caputo 定義3 種。在數(shù)值計(jì)算過程中,G-L 定義在計(jì)算精度上要優(yōu)于其他定義[26],因此,本文采用G-L 定義進(jìn)行分?jǐn)?shù)階微分?jǐn)?shù)值計(jì)算。對(duì)于任意實(shí)數(shù)v,考慮一個(gè)在區(qū)間[a,x]上可導(dǎo)的連續(xù)函數(shù)f(t),則它的v階G-L 分?jǐn)?shù)階微積分定義為:
其中:f(v)(t)表示求函數(shù)的v階微分,h為微分步長(zhǎng),[*]表示求整數(shù)部分。當(dāng)h=1 時(shí),f(t-jh)為函數(shù)自變量在(t-j)處的函數(shù)值,其中:
式中Γ( ?)為Gamma 函數(shù)。假設(shè)存在一個(gè)一元離散函數(shù)f(x),將其定義域[a,x]按照微分步長(zhǎng)h=1 進(jìn)行劃分,可以推導(dǎo)得到該一元離散函數(shù)的v階分?jǐn)?shù)階微分?jǐn)?shù)值的計(jì)算表達(dá)式:
分?jǐn)?shù)階微分掩模常用于二維數(shù)字圖像的邊緣提取與紋理增強(qiáng)[27],較為經(jīng)典的分?jǐn)?shù)階微分掩模有CRONE 掩模[28]、Tiansi 掩模[29]等。高光譜圖像可看作若干個(gè)波段二維圖像的疊加,因此,可以設(shè)計(jì)分?jǐn)?shù)階微分掩模實(shí)現(xiàn)高光譜圖像空間特征的提取。
假設(shè)高光譜數(shù)據(jù)在空間上為二維信號(hào)fb(x,y),其中b表示該二維圖像位于高光譜數(shù)據(jù)的第b波段上,根據(jù)式(3)設(shè)計(jì)正x、負(fù)x、正y、負(fù)y及4 個(gè)斜向45°共8 個(gè)方向的二維分?jǐn)?shù)階微分掩模,如圖1 所示。
圖1 八方向分?jǐn)?shù)階微分掩模Fig.1 Eight-direction fractional differential mask
圖1 中,a0,a1,a2,a3,…,an分別為式(3)中等式右側(cè)的前n項(xiàng)系數(shù),即:
從圖1 可以看出,分?jǐn)?shù)階微分掩模中的系數(shù)之和不為0,并且越靠近中心像素,系數(shù)與分?jǐn)?shù)階微分計(jì)算結(jié)果的關(guān)系越大。這表明當(dāng)從高光譜圖像的二維空間特征中提取空間分?jǐn)?shù)階微分特征時(shí),在像素值變化很小或恒定的區(qū)域,提取的分?jǐn)?shù)階微分特征的變化很??;而像素值變化較大的部分所提取的特征會(huì)發(fā)生更大的變化。因此,通過在高光譜圖像中提取分?jǐn)?shù)階微分特征,可以很好地增強(qiáng)區(qū)域中的紋理信息和邊緣細(xì)節(jié),從而提升分類效果。
本文將分?jǐn)?shù)階微分掩模(見圖1)用于高光譜圖像的特征提取,設(shè)置微分階數(shù)間隔為0.1,假設(shè)該掩模的尺寸為S×S,掩模中心為M(0,0),則高光譜圖像的v階SpaFD 特征可以通過高光譜圖像的二維空間特征fb(x,y)與v階分?jǐn)?shù)階微分掩模M( )v進(jìn)行卷積操作獲得。卷積過程表示為:
其中:fb(x0,y0)表示高光譜圖像第b波段上的二維圖像fb(x,y)在(x0,y0)處的值。卷積運(yùn)算會(huì)超過fb(x,y)的邊界,因此需要填充邊界。假設(shè)fb(x,y)為P×Q的矩陣,根據(jù)掩模尺寸的不同,在fb(x,y) 的上下左右4 個(gè)邊界上分別復(fù)制(S-1 )2 行邊界的像素值以獲得新矩陣,矩陣的大小為(P+S-1)×(Q+S-1),這確保fb(x,y)在與掩模卷積后仍可獲得P×Q的矩陣,而不會(huì)丟失位于邊界上的一些特征。
為保證二維分?jǐn)?shù)階微分掩模提取特征的響應(yīng)與原始像素值在同一尺度下,在卷積運(yùn)算之前還需要?dú)w一化掩模,具體方法是將掩模各個(gè)位置的系數(shù)除以掩模系數(shù)的總和。最后,將提取的特征與原始空間特征相加,以增強(qiáng)紋理細(xì)節(jié)。它不僅保留了原始的空間特征,還包含提取的分?jǐn)?shù)階微分特征。對(duì)于第b個(gè)波段高光譜圖像的像素fb(x0,y0),最終得到的其v階SpaFD 特征可以表示為:
應(yīng)用式(6)提取高光譜圖像各個(gè)波段的二維圖像中的每一個(gè)像素特征,再將得到的特征按原波段順序疊加,即可得到高光譜圖像的v階SpaFD 特征。特征提取流程如圖2 所示,具體步驟如下:
圖2 利用分?jǐn)?shù)階微分提取高光譜圖像特征的流程Fig.2 Process of extracting hyperspectral image feature using fractional differentiation
步驟1. 構(gòu)建圖1 所示的v階二維分?jǐn)?shù)階微分掩模,對(duì)掩模系數(shù)進(jìn)行歸一化處理,以保證利用掩模提取的特征響應(yīng)與原特征處于同一尺度。
步驟2. 對(duì)高光譜圖像各個(gè)波段的二維圖像邊界進(jìn)行填充處理,并與二維分?jǐn)?shù)階微分掩模卷積。
步驟3. 將各波段的原始空間特征與二維分?jǐn)?shù)階微分掩模提取的相應(yīng)特征相加,以增強(qiáng)紋理細(xì)節(jié)。
步驟4. 將各波段的二維圖像通過上一步得到的特征按照原始波段順序疊加,構(gòu)成三維數(shù)據(jù)立方體,獲得高光譜圖像的v階SpaFD 特征。
由于提取高光譜圖像SpaFD 特征的過程中僅在空間實(shí)現(xiàn)特征提取,破壞了部分光譜特征,因此從光譜信息考慮,將原始特征與SpaFD 特征在光譜維度上混合構(gòu)成SpaFD-Spe-Spa 特征?;旌虾蟮臄?shù)據(jù)具有多種特征信息,有助于后續(xù)采用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)進(jìn)一步的深度特征提取,并提高地物分類效果。具體的特征混合方式如下:
假設(shè)原特征中每個(gè)像素對(duì)應(yīng)的光譜數(shù)據(jù)x具有N個(gè)波段,向量形式表示為:
將原始數(shù)據(jù)應(yīng)用式(6)提取v階SpaFD 特征后,假設(shè)此時(shí)每個(gè)像素對(duì)應(yīng)的光譜數(shù)據(jù)為t()v,則它同樣具有N個(gè)波段,用向量形式表示為:
將得到的特征向量x與t( )v通過直連得到混合特征g,混合過程表示為:
其中“⊕”表示特征的直連,得到的g即為每一個(gè)像素的SpaFD-Spa-Spe 特征向量??梢园l(fā)現(xiàn),特征混合后數(shù)據(jù)維數(shù)多了一倍,但是相比SpaFD 特征增加了數(shù)據(jù)的光譜特征,擁有更多的類別可分信息,有利于提高地物分類精度。
在提取高光譜圖像SpaFD 特征的過程中,微分階數(shù)不同會(huì)導(dǎo)致提取的圖像邊緣成分不同,階數(shù)較小易導(dǎo)致邊緣提取不明顯,而較大的階數(shù)會(huì)過度提取產(chǎn)生噪聲。此外,由于提取SpaFD 特征時(shí)僅考慮了高光譜圖像的空間特征,忽略光譜特征,從而破壞了原有的光譜信息。因此從空間和光譜聯(lián)合考慮,本文提出一種基于空譜聯(lián)合的分?jǐn)?shù)階微分階數(shù)選擇準(zhǔn)則,使SpaFD 特征可以提取較完整的邊緣特征,同時(shí)盡量保留光譜可分性。
為直觀顯示各個(gè)微分階數(shù)下SpaFD 特征的不同,以Pavia University 數(shù)據(jù)集第60 波段的灰度圖作為例圖,并將該灰度圖與5×5 大小的分?jǐn)?shù)階微分掩模進(jìn)行特征提取,原灰度圖以及微分階數(shù)v等于0.3,0.7,1.1,1.5 以及1.7 時(shí)的SpaFD 特征灰度圖如圖3 所示。通過對(duì)比可以發(fā)現(xiàn),相比原始灰度圖,提取的SpaFD 特征灰度圖的對(duì)比度更高,并且隨著微分階數(shù)的提高,灰度圖中的邊緣信息被顯著增強(qiáng),圖像銳化程度越明顯;同時(shí),階數(shù)在0.1~0.9 階內(nèi)的圖像增強(qiáng)效果更優(yōu)。因此從增強(qiáng)效果的角度來看,SpaFD 特征的較優(yōu)階數(shù)應(yīng)在0.1~0.9 內(nèi),然而考慮到高光譜圖像圖譜合一的特性,還需要聯(lián)合光譜可分性尋找更精確的階數(shù)范圍,從而盡可能地提高物分類精度。
從光譜的角度來說,設(shè)高光譜圖像的地物類別數(shù)為C,光譜波段數(shù)為N,則對(duì)高光譜圖像提取v階SpaFD 特征后,類內(nèi)散布矩陣和類間散布矩陣分別為:
其中:ni表示第i類樣本的數(shù)量,表示各波段提取v階SpaFD 特征后第i類樣本中第k個(gè)樣本的值,Pi表示第i類樣本的先驗(yàn)概率,表示各波段提取v階SpaFD 特征后第i類樣本的均值,μ(v)表示各波段提取v階SpaFD 特征后所有類樣本的整體均值。為使提取SpaFD 特征后光譜的可分性盡可能高,提出光譜可分性指標(biāo):
從二維圖像的角度來說,標(biāo)準(zhǔn)差反映圖像各位置的像素值與圖像均值之間的差異,標(biāo)準(zhǔn)差越大,說明圖像的邊緣信息越豐富。因此,N個(gè)波段的高光譜圖像各波段提取的v階SpaFD 特征可以表示為并以圖像標(biāo)準(zhǔn)差作為空間評(píng)價(jià)指標(biāo)。先將各波段v階SpaFD 特征求均值得到來近似代表各個(gè)波段SpaFD的空間特征,即:
圖4 為Indian Pines,Botswana,Pavia University 和Salinas 4 個(gè)數(shù)據(jù)集的SpaFD 特征通過式(13)得到的均值圖像。
圖4 四個(gè)數(shù)據(jù)集的SpaFD 均值圖像Fig.4 Mean SpaFD images of four datasets
計(jì)算均值圖像的標(biāo)準(zhǔn)差指標(biāo):
其中:表示的均值,P×Q表示均值圖像的尺寸??紤]到與存在數(shù)量級(jí)的差異,構(gòu)造空譜聯(lián)合準(zhǔn)則前須對(duì)與實(shí)現(xiàn)數(shù)量級(jí)統(tǒng)一,采用L2 歸一化分別處理與。令:
其中:σ10,σ11,...,σ19依次表示在階數(shù)等于0,0.1,…,0.9 時(shí)的值;σ20,σ21,…,σ29依次表示在階數(shù)等于0,0.1,…,0.9 時(shí)的值。歸一化處理后的與分別為:
由式(17)與式(18)構(gòu)建的空譜聯(lián)合準(zhǔn)則如下:
其中:JSpaFD表示各階數(shù)下構(gòu)造的準(zhǔn)則所組成的向量,J0,J1,…,J9分別表示階數(shù)為0,0.1,…,0.9 時(shí)的準(zhǔn)則值。由于構(gòu)造空譜聯(lián)合準(zhǔn)則的主要思想在于提取高光譜圖像有效的SpaFD 特征的同時(shí),保證光譜可分性盡量不被破壞。因此,對(duì)準(zhǔn)則向量JSpaFD,選取適宜階數(shù)v*時(shí)需保證該階數(shù)對(duì)應(yīng)的準(zhǔn)則值在JSpaFD中的分量盡可能大,表示如下:
為直觀表示空譜聯(lián)合準(zhǔn)則的構(gòu)造過程,圖5為空譜聯(lián)合準(zhǔn)則的構(gòu)造流程。構(gòu)造空譜聯(lián)合準(zhǔn)則的步驟具體如下:
圖5 構(gòu)建空譜聯(lián)合準(zhǔn)則的流程Fig.5 Flow chart of constructing spectral-spatial joint criterion
步驟1. 提取高光譜圖像的SpaFD 特征。
步驟2. 計(jì)算SpaFD 特征中各像素光譜的類內(nèi)散布矩陣與類間散布矩陣,并計(jì)算與矩陣的差值作為光譜可分性指標(biāo)。
步驟3. 將像素在SpaFD 特征中各波段的二維特征根據(jù)式(13)計(jì)算均值,得到均值圖像,并根據(jù)式(14)計(jì)算均值圖像的標(biāo)準(zhǔn)差作為空間可分性指標(biāo),標(biāo)準(zhǔn)差越大則說明圖像的邊緣特征越豐富。
步驟4. 對(duì)各個(gè)階數(shù)下的SpaFD 特征,根據(jù)式(17)和式(18)對(duì)它們的光譜可分性指標(biāo)和空間可分性指標(biāo)分別歸一化,以實(shí)現(xiàn)數(shù)量級(jí)的統(tǒng)一。
步驟5. 將各階數(shù)下歸一化后的指標(biāo)根據(jù)式(19)求和,獲得空譜聯(lián)合準(zhǔn)則。
對(duì)每一個(gè)高光譜圖像數(shù)據(jù)集各階數(shù)的SpaFD 特征計(jì)算空譜聯(lián)合準(zhǔn)則值,圖6 所示給出了采用5×5 微分掩模提取的SpaFD 特征的準(zhǔn)則值在4 個(gè)真實(shí)的高光譜圖像數(shù)據(jù)集上隨著微分階數(shù)v變化的曲線。從圖中可以看出,Botswana,Indian Pines 和Salinas 數(shù)據(jù)集的變化趨勢(shì)較為類似,在低階微分時(shí)的準(zhǔn)則值逐漸上升,在0.5 ≤v≤0.7 內(nèi)提升較為明顯,在0.7 階以后迅速下降。Pavia University 數(shù)據(jù)集的準(zhǔn)則值在0.1 ≤v≤0.3 內(nèi)也略微提升,然后隨著階數(shù)v的增加逐漸減少,在0.7 階后與其他3 個(gè)數(shù)據(jù)集的趨勢(shì)類似,迅速下降。事實(shí)上,3×3 和7×7的微分掩模的準(zhǔn)則值變化趨勢(shì)與圖6 近乎一致。由圖6 可知,當(dāng)選取的微分階數(shù)位于準(zhǔn)則值提升較大的范圍內(nèi)時(shí),得到的高光譜圖像SpaFD 特征提取的圖像邊緣特征較為明顯,且光譜可分性較大的特點(diǎn),有利于進(jìn)一步提高地物分類的效果。
圖6 提出的空譜聯(lián)合準(zhǔn)則與SpaFD 特征階數(shù)的關(guān)系Fig.6 Relationship between proposed spectral-spatial joint criterion and order of SpaFD feature
為驗(yàn)證得到的SpaFD 特征與SpaFD-Spe-Spa 特征在地物分類上的有效性,并體現(xiàn)不同尺寸掩模對(duì)于分類結(jié)果的影響,實(shí)驗(yàn)中分別采用3×3,5×5 和7×7 的分?jǐn)?shù)階微分掩模提取特征,將提取的特征與原始特征、局部二值模式(LBP)特征以及將LBP 特征與原始特征直連融合的LBP-Spe-Spa 特征分別在3DCNN,3DCNNPCA以及HybridSN 3 種網(wǎng)絡(luò)模型上進(jìn)行對(duì)比,并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。
本文引入3 種網(wǎng)絡(luò)模型用于特征的深度提取及地物分類,驗(yàn)證在不同網(wǎng)絡(luò)模型上特征的有效性。3 種網(wǎng)絡(luò)模型分別為3DCNN,3DCNNPCA以及HybridSN。表1 與表2 分別列出了3 種網(wǎng)絡(luò)模型的卷積核尺寸和各層輸出的特征圖數(shù)目。其中,N和NP分別表示輸入特征的維數(shù)以及通過PCA 降維后特征的維數(shù),C表示地物類別數(shù),I,Conv 和FC 分別表示輸入層、卷積層與全連接層,如Conv4 表示該層為卷積層且位于整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)中的第四層。
表1 三種網(wǎng)絡(luò)模型的卷積核尺寸設(shè)置Tab.1 Convolutional kernel size settings for three networks
表2 三種網(wǎng)絡(luò)模型的輸出特征圖數(shù)目Tab.2 Number of output feature maps for three network models
實(shí)驗(yàn)采用4 個(gè)真實(shí)的高光譜圖像數(shù)據(jù)集,分別是Indian Pines,Botswana,Pavia University 與Salinas。其中,Indian Pines 圖像尺寸為145 ?145,共16 類地物,200 個(gè)光譜波段;Botswana 圖像尺寸為1 476×256,共14 類地物,145 個(gè)光譜波段;Pavia University 圖像尺寸為610×340,共9類地物,103 個(gè)光譜波段;Salinas 圖像尺寸為512×217,共16 類地物,204 個(gè)光譜波段。實(shí)驗(yàn)中隨機(jī)選取各類樣本的3%,5%,10%作為訓(xùn)練樣本,其余作為測(cè)試樣本,并記錄十次分類的平均總體精度(Average Overall Accuracy, AOA)與標(biāo)準(zhǔn)偏差(Standard Deviation, SD)用于評(píng)價(jià)分類效果,最佳分類結(jié)果在各個(gè)表中用粗體標(biāo)注。
表3 為采用淺層的支持向量機(jī)(Support Vector Machine, SVM),最小距離(Minimum Distance, MD),邏輯回歸(Logistic Regression, LR)分類器在20%訓(xùn)練樣本情況下,10 次平均的識(shí)別結(jié)果比較。3 種淺層分類器均對(duì)光譜維進(jìn)行分類,與深度學(xué)習(xí)的表格一致,Spe-Spa 代表原始光譜。表3 中沒有放入LBP 特征的分類結(jié)果,因?yàn)閱渭冇肔BP 方法分類的結(jié)果很差,有些數(shù)據(jù)僅有百分之十幾或二十幾的識(shí)別率,從這一點(diǎn)可以看出,SpaFD 特征優(yōu)于LBP。采用SVM 分類器,SpaFD-Spe-Spa 分類結(jié)果均優(yōu)于LBP-Spe-Spa,而采用MD 和LR 分類器時(shí),SpaFD-Spe-Spa 大部分情況下的分類結(jié)果不如LBP-Spe-Spa。這可能是因?yàn)镾paFD-Spe-Spa 沿光譜維的樣本呈現(xiàn)非線性可分,而MD 和LR 屬于線性分類器,所以分類效果不好,而采用徑向基函數(shù)為核函數(shù)的非線性SVM 分類器更適合SpaFD-Spe-Spa。SpaFD 和SpaFD-Spe-Spa 的特征識(shí)別率低于原始光譜,這是因?yàn)樵谔崛paFD 空間特征時(shí),光譜維的可分性會(huì)降低,且經(jīng)典分類器沿光譜維分類,不能體現(xiàn)SpaFD 特征的優(yōu)勢(shì);而3DCNN 可對(duì)SpaFD 和SpaFD-Spe-Spa 的空間特征進(jìn)行進(jìn)一步的深度特征提取并分類,更適合驗(yàn)證SpaFD特征的有效性。
表3 經(jīng)典分類器在20%訓(xùn)練樣本下的分類結(jié)果Tab.3 Results of classical classifiers with 20% training samples(%)
表4~表6 為Indian Pines 數(shù)據(jù)集分別在3%,5%和10%訓(xùn)練樣本下的分類結(jié)果。相較Spe-Spa,LBP,LBP-Spe-Spa 特征,不同尺寸的分?jǐn)?shù)階微分掩模提取的SpaFD 特征和SpaFDSpe-Spa 特征的AOA 均有不同程度的提高,說明采用分?jǐn)?shù)階微分提取像素空間特征能增強(qiáng)地物識(shí)別效果。 而且SpaFD-Spe-Spa 特征比SpaFD 特征的AOA 更高,說明原始特征與SpaFD 特征混合后更具有判別性。通過對(duì)比可知,Spe-Spa 特征比SpaFD 特征與SpaFD-Spe-Spa 特征的SD 在大多數(shù)情況下更大,表明新特征的分類效果具有更好的穩(wěn)定性。為直觀表現(xiàn)分類結(jié)果,圖7 以3DCNN 模型的結(jié)果為例,給出了Indian Pines 采用5×5 分?jǐn)?shù)階微分掩模提取特征的分類結(jié)果。
表6 Indian Pines 數(shù)據(jù)集在10%訓(xùn)練樣本下的分類結(jié)果Tab.6 Classification results of Indian Pines under 10% training samples
圖7 Indian Pines 數(shù)據(jù)5×5 分?jǐn)?shù)階微分掩模提取特征3DCNN 的分類結(jié)果Fig.7 Classification maps of Indian Pines using 3DCNN under 5×5 fractional differential mask for feature extraction
由表7~表9 可以發(fā)現(xiàn),Botswana 數(shù)據(jù)集在3%,5%和10%的訓(xùn)練樣本下,相較于Spe-Spa,LBP,LBP-Spe-Spa 特征,采用分?jǐn)?shù)階微分掩模提取的SpaFD 特征和SpaFD-Spe-Spa 特征的AOA 均有明顯的提高,SD 卻有一定的減小;并且當(dāng)訓(xùn)練樣本比例越少時(shí),AOA 提升的效果越明顯,說明二維分?jǐn)?shù)階微分提取的空間特征在提高地物分類效果的同時(shí)具有分類穩(wěn)定性,特別在小樣本時(shí)提取的新特征更有效。通過對(duì)比可以發(fā)現(xiàn),混合特征SpaFD-Spe-Spa 相比SpaFD 特征的AOA 更高。為直觀表現(xiàn)分類結(jié)果,圖8 以3DCNN 模型的結(jié)果為例,給出了Botswana 采用5×5 分?jǐn)?shù)階微分掩模提取特征的分類結(jié)果。
表7 Botswana 數(shù)據(jù)集在3%訓(xùn)練樣本下的分類結(jié)果Tab.7 Classification results of Botswana dataset under 3% training samples
表8 Botswana 數(shù)據(jù)集在5%訓(xùn)練樣本下的分類結(jié)果Tab.8 Classification results of Botswana dataset under 5% training samples
圖8 Botswana 數(shù)據(jù)5×5 分?jǐn)?shù)階微分掩模提取特征3DCNN 的分類結(jié)果Fig.8 Classification maps of Botswana using 3DCNN under 5×5 fractional differential mask for feature extraction
表10~表12 是Pavia University 數(shù)據(jù)集在3%,5% 和10% 的訓(xùn)練樣本時(shí)的分類結(jié)果。和Spe-Spa,LBP,LBP-Spe-Spa 特征相比,SpaFD 特征和SpaFD-Spe-Spa 特征的AOA 均有一定程度的提高,驗(yàn)證了所提特征對(duì)提高地物分類準(zhǔn)確率的有效性,且在小樣本時(shí)這種有效性更為直觀。為直觀表現(xiàn)分類結(jié)果,圖9 以3DCNN 模型的結(jié)果為例,給出了Pavia University 采用5×5 分?jǐn)?shù)階微分掩模提取特征的分類結(jié)果。
表10 Pavia University 數(shù)據(jù)集在3%訓(xùn)練樣本下的分類結(jié)果Tab.10 Classification results of Pavia University under 3% training samples
表11 Pavia University 數(shù)據(jù)集在5%訓(xùn)練樣本下的分類結(jié)果Tab.11 Classification results of Pavia University under 5% training samples
圖9 Pavia University 數(shù)據(jù)5×5 分?jǐn)?shù)階微分掩模提取特征3DCNN 的分類結(jié)果Fig.9 Classification maps of Pavia University using 3DCNN under 5×5 fractional differential mask for feature extraction
由表13~表15 可知,當(dāng)Salinas 數(shù)據(jù)集在3%,5%和10%的訓(xùn)練樣本下,采用3×3,5×5和7×7 的分?jǐn)?shù)階微分掩模提取的SpaFD 特征和SpaFD-Spe-Spa 特征相較Spe-Spa,LBP,LBPSpe-Spa 特征的AOA 均有一定提升,而SD 值卻有所減少,這說明分?jǐn)?shù)階微分提取的像素空間特征在地物分類上更加有效且效果穩(wěn)定。SpaFDSpe-Spa 特征相比SpaFD 特征的AOA 更高,說明原始特征與SpaFD 特征混合后在地物分類上具有更好的判別性。當(dāng)采用小樣本訓(xùn)練時(shí),SpaFD 特征和SpaFD-Spe-Spa 特征相比原始特征在地物分類上的表現(xiàn)也更好,這說明在小樣本訓(xùn)練的條件下提取的新特征要優(yōu)于原始特征。為直觀表現(xiàn)分類結(jié)果,圖10 以3DCNN 模型的結(jié)果為例,給出了Salinas 采用5×5 分?jǐn)?shù)階微分掩模提取特征的分類結(jié)果。
表13 Salinas 數(shù)據(jù)集在3%訓(xùn)練樣本下的分類結(jié)果Tab.13 Classification results of Salinas dataset under 3% training samples
表14 Salinas 數(shù)據(jù)集在5%訓(xùn)練樣本下的分類結(jié)果Tab.14 Classification results of the Salinas dataset under 5% training samples
表15 Salinas 數(shù)據(jù)集在10%訓(xùn)練樣本下的分類結(jié)果Tab.15 Classification results of Salinas dataset under 10% training samples
圖10 Salinas 數(shù)據(jù)5×5 分?jǐn)?shù)階微分掩模提取特征3DCNN 的分類結(jié)果Fig.10 Classification maps of Salinas using 3DCNN under 5×5 fractional differential mask for feature extraction
本文提出了基于分?jǐn)?shù)階微分的高光譜圖像特征提取算法。該算法首先通過空譜聯(lián)合準(zhǔn)則獲取適合各圖像的二維分?jǐn)?shù)階微分掩模,隨后提取高光譜圖像像素空間的分?jǐn)?shù)階微分特征SpaFD,并與原始特征直連融合進(jìn)一步提取SpaFD-Spe-Spa混合特征,獲得更具有判別性的特征。采用4 個(gè)真實(shí)的高光譜圖像數(shù)據(jù)Indian Pines,Botswana,Pavia University 和Salinas,分別設(shè)計(jì)3?3,5?5和7?7 的分?jǐn)?shù)階微分掩模提取上述4 種數(shù)據(jù)的SpaFD 特征與SpaFD-Spe-Spa 特征。在3DCNN與HybridSN 網(wǎng)絡(luò)上的實(shí)驗(yàn)結(jié)果表明,SpaFD 特征與SpaFD-Spe-Spa 特征對(duì)地物分類的準(zhǔn)確度均有一定程度的提升,且SpaFD-Spe-Spa 特征的分類準(zhǔn)確率提升更為顯著。