加權(quán)空-譜局部信息保持極限學(xué)習(xí)機的高光譜圖像分類算法

邢鈺佳 閆德勤 劉德山 王軍浩

摘? 要： 高光譜圖像的分類研究是高光譜圖像處理與應(yīng)用的重要環(huán)節(jié)。為有效提取高光譜遙感圖像的空間信息和光譜信息，本文基于極限學(xué)習(xí)機提出新的研究。在模式識別和機器學(xué)習(xí)領(lǐng)域，極限學(xué)習(xí)機以其簡單、快捷和良好的泛化能力得到越來越多的關(guān)注。但由于在高光譜遙感圖像的學(xué)習(xí)過程中極限學(xué)習(xí)機缺乏對空間信息和光譜信息的有效提取，無法在分類中提供良好的分類結(jié)果。為此，基于譜局部信息的思想構(gòu)造本文的研究框架，提出一種加權(quán)空-譜局部信息保持極限學(xué)習(xí)機分類算法。為驗證所提算法的有效性，本文在兩組常用的高光譜數(shù)據(jù)集Indian Pines和University of Pavia上進(jìn)行實驗，通過與傳統(tǒng)的分類算法SVM和目前較為流行的分類算法KELM，KCRT-CK，MLR和LPKELM相比，本文算法具有較好的分類精度。

關(guān)鍵詞： 極限學(xué)習(xí)機;高光譜遙感圖像分類;加權(quán)空-譜;局部信息保持

中圖分類號： TP3 ???文獻(xiàn)標(biāo)識碼： A??? DOI：10.3969/j.issn.1003-6970.2020.07.023

本文著錄格式：邢鈺佳，閆德勤，劉德山，等. 加權(quán)空-譜局部信息保持極限學(xué)習(xí)機的高光譜圖像分類算法[J]. 軟件，2020，41（07）：113-119+135

Hyperspectral Image Classification Algorithm for Weighted Spatial SpectralLocality Information Preserving Extreme Learning Machine

XING Yu-jia， YAN De-qin， LIU De-shan， WANG Jun-hao

（Department of Computer Science， Liaoning Normal University， Dalian 116081， China）

【Abstract】： Classification of hyperspectral images is an important part of hyperspectral image processing and application. In order to effectively extract the spatial and spectral information of hyperspectral remote sensing images， this paper proposes a new study based on extreme learning machines. In the field of pattern recognition and machine learning， extreme learning machines have attracted more and more attention due to their simplicity， speed and good generalization capabilities. However， due to the lack of effective extraction of spatial information and spectral information during the learning process of hyperspectral remote sensing images， extreme learning machines cannot provide good classification results in classification. To this end， based on the idea of spectral local information， a research framework for this paper is constructed， and a weighted spatial spectral locality information preserving extreme learning machine classification algorithm is proposed. In order to verify the effectiveness of the proposed algorithm， this paper performs experiments on two commonly used hyperspectral data sets， Indian Pines and University of Pavia， and compares with the traditional classification algorithm SVM and the currently popular classification algorithms KELM， KCRT-CK， MLR Compared with LPKELM， our algorithm has better classification accuracy.

【Key words】： Extreme learning machine; Hyperspectral image classification; Weighted spatial spectral; Locality information preserving

0? 引言

高光譜遙感圖像（HSI）是由數(shù)百個光譜帶組成的3維立體圖像，如何從中提取大量信息應(yīng)用于圖像分類是遙感圖像領(lǐng)域面臨的一項挑戰(zhàn)。目前，許多機器學(xué)習(xí)算法均被應(yīng)用于高光譜遙感圖像的分類任務(wù)中，諸如K-近鄰（KNN）^[1]，Logistic回歸^[2，3]，人工神經(jīng)網(wǎng)絡(luò)（ANN）^[4]等。在這些方法中，支持向量機（SVM）^[5]已經(jīng)被證明在小樣本且包含噪聲的情況下具有最優(yōu)的分類精度。然而在高光譜遙感圖像的分類任務(wù)中存在著較為明顯的Hughes現(xiàn)象^[6]，如果將原始頻段未經(jīng)處理直接應(yīng)用于機器學(xué)習(xí)算法，將會對分類精度產(chǎn)生較大的計算負(fù)擔(dān)。為應(yīng)對這種問題，文獻(xiàn)[7]將圖形模型轉(zhuǎn)移到地址頻帶選擇問題上，通過捕獲高光譜帶之間的多重依存關(guān)系，提供了一種有效的搜索策略來選擇最佳頻帶。文獻(xiàn)[8]使用確定點處理來選擇代表性頻帶，并保留頻譜頻帶的相關(guān)原始信息，通過在所選頻段上執(zhí)行多個拉普拉斯特征圖（LE）來進(jìn)一步提高分類性能。文獻(xiàn)[9]為整合光譜和空間信息達(dá)到更好的分類效果，提出了一種獲取空間信息簡潔有效的方法引導(dǎo)式過濾算法。文獻(xiàn)[10]采用稀疏表示和加權(quán)復(fù)合特征（WCF）的概率建模來得出優(yōu)化的輸出權(quán)重并提取空間特征，以構(gòu)建一種高光譜遙感圖像光譜空間分類的新框架。

最近，Huang等人^[11]提出了一種有效的單隱層前饋神經(jīng)網(wǎng)絡(luò)（SLFN）算法，即極限學(xué)習(xí)機（ELM）。極限學(xué)習(xí)機隨機生成與訓(xùn)練樣本無關(guān)的節(jié)點參數(shù)。因此，用戶只需要預(yù)定義關(guān)于網(wǎng)絡(luò)架構(gòu)的參數(shù)，即隱藏層節(jié)點的數(shù)量，這使得算法在調(diào)優(yōu)過程中節(jié)省了大量時間。與此同時，極限學(xué)習(xí)機利用神經(jīng)網(wǎng)絡(luò)機制分析性地獲取輸出層的輸出權(quán)重，而支持向量機則采用迭代優(yōu)化算法進(jìn)行訓(xùn)練獲得輸出權(quán)重，這就使極限學(xué)習(xí)機的學(xué)習(xí)速度比支持向量機更快。此外，在多分類任務(wù)中，極限學(xué)習(xí)機使用OAA策略，而支持向量機使用OAO策略，這就使極限學(xué)習(xí)可以進(jìn)一步縮短訓(xùn)練過程和測試過程中的計算時間^[12]。文獻(xiàn)[13]提出了一種將兩級融合（即特征級融合和決策級融合）與全局Gabor特征和原始頻譜特征一起應(yīng)用于局部二進(jìn)制模式（LBP）提取特征的框架，并采用結(jié)構(gòu)非常簡單的高效極限學(xué)習(xí)機作為分類器來提高高光譜遙感圖像的分類效果。文獻(xiàn)[14]構(gòu)建了多層ELM以實現(xiàn)來自HSI的有效有限元分析。文獻(xiàn)[15]提出了一種用于遙感圖像分類的基于極限學(xué)習(xí)機的異構(gòu)域自適應(yīng)（HDA）算法。然而，高光譜遙感圖像是通過遠(yuǎn)距離遙感拍攝捕捉的，會出現(xiàn)信號失真、格式錯誤和頻譜雜波等問題^[16]。不充分和錯誤標(biāo)記的樣本使得高光譜遙感圖像分類變得更具挑戰(zhàn)性^[17]，為應(yīng)對這種問題，文獻(xiàn)[18，19，20]提出一種基于核的方法并將其應(yīng)用于高光譜遙感圖像的分類任務(wù)中?；诤说姆椒ㄍㄟ^將數(shù)據(jù)從原始輸入空間映射到高維Hilbert空間來提高學(xué)習(xí)模型對線性不可分?jǐn)?shù)據(jù)的分離能力，支持向量機和極端學(xué)習(xí)機是近年來用于基于核的高光譜遙感圖像分類領(lǐng)域的主要方法^{[18，21-23]}。文獻(xiàn)[24]提出了一種基于核的ELM，通過實驗驗證了基于核的ELM在土地覆蓋分類中的分類效果優(yōu)于SVM，并且在很大的程度上降低了計算復(fù)雜度。文獻(xiàn)[25]提出一種新的廣義復(fù)合核框架被用于高光譜圖像分類。文獻(xiàn)[26]將高光譜圖像數(shù)據(jù)樣本的流行結(jié)構(gòu)引入到了ELM的模型中，來提高其分類效果。基于核的極限學(xué)習(xí)機作為一種特殊的單隱層神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)時間相對較短，并為最小范數(shù)和最小二乘的非線性問題提供更優(yōu)的解決方案而脫穎而出。

研究表明，基于核的極限學(xué)習(xí)機作為一種特殊的單隱層前饋神經(jīng)網(wǎng)絡(luò)在遙感圖像分類任務(wù)中取得了良好的分類效果，但是基于核的極限學(xué)習(xí)機在有監(jiān)督的高光譜遙感圖像分類中仍存在著學(xué)習(xí)不充分、缺乏空間信息等問題。本文為充分利用高光譜遙感圖像的空譜信息，基于流形學(xué)習(xí)的思想以及最新核技術(shù)方法的啟發(fā)^[27-29]，提出一種加權(quán)空-譜局部信息保持極限學(xué)習(xí)機（weighted spatial spectral locality information preserving extreme learning machine，WSSLPKELM）。該算法利用高光譜遙感圖像的空間信息和光譜信息的有效結(jié)合，來對高光譜遙感圖像進(jìn)行預(yù)處理，有效地提高了高光譜遙感圖像的分類精度，并利用流形學(xué)習(xí)的思想將高光譜遙感圖像數(shù)據(jù)樣本的幾何結(jié)構(gòu)信息和判別信息引入到ELM模型中，彌補了ELM在高光譜遙感圖像分類中學(xué)習(xí)不充分、空間信息利用不充分的問題。為了評價和驗證所提方法的有效性，使用Indian Pines，University of Pavia兩個常用的高光譜遙感圖像數(shù)據(jù)集進(jìn)行實驗，將本文所提出的方法與SVM^[5]，KELM^[24]，KCRT-CK^[20]，MLR^[25]，LPKELM^[26]算法進(jìn)行對比，實驗結(jié)果表明本文所提算法具有最優(yōu)的分類效果。

本文的其余部分安排如下：第二部分介紹核極限學(xué)習(xí)機;第三部分介紹提出的加權(quán)空-譜局部信息保持極限學(xué)習(xí)機算法;第四部分利用兩個高光譜數(shù)據(jù)集進(jìn)行實驗，并給出實驗結(jié)果及分析;第五部分對所提算法進(jìn)行總結(jié)。

3 ?高光譜遙感圖像分類實驗

3.1 ?實驗數(shù)據(jù)

在實驗中，使用Indian Pines和University of Pavia兩個高光譜數(shù)據(jù)集來評估所提出算法的性能。兩個HSI圖像的簡要介紹如下。

印度松樹Indian Pines：該圖像是被AVIRIS傳感器收集在印第安納州西北部的印度松樹測試場地上的。圖像大小為145×145像素，有200個波段，波長范圍為400-2500 nm，被分為16類。通過去除覆蓋吸水區(qū)域的頻帶，頻帶的數(shù)量已減少到200。由于所有可用類別中混合像素的顯著存在以及每類可用標(biāo)記像素的不平衡數(shù)量，針對此場景的分類問題具有十足的挑戰(zhàn)性。印度松樹高光譜遙感圖像在灰度和地面實況圖中的第25個波段有9個不同的類別，如圖2所示。

帕維亞大學(xué)University of Pavia：該圖像是在意大利北部帕維亞的一次飛行活動中被ROSIS傳感器采集的。圖像大小為610×340像素（覆蓋0.4-0.9μm的波長范圍），有103個光譜帶，波長在430和860nm之間。有九個不同的類。在本次實驗中，去除12個最有噪聲的頻帶，使用115個頻帶中的103個。帕維亞大學(xué)HSI在灰度和地面實況圖中的第50個波段有9個不同的類別，如圖3所示。

3.2 ?實驗和參數(shù)設(shè)置

對于兩個圖像，隨機選擇來自每個類別的1%標(biāo)記樣品用于訓(xùn)練，并且將剩余樣品用于測試。加權(quán)空-譜算法（WSS）的窗口大小。本文所提算法WSSLPKELM使用RBF核。在本文中，通過總體分類精度（OA），平均分類精度（AA）和kappa系數(shù)來比較不同的算法，其中OA是測試集中分類正確的樣本個數(shù)占所有樣本個數(shù)的比例，AA是每個類的分類準(zhǔn)確度。所有實驗均在具有4.00GB RAM的Intel i3-3240 3.40GHz機器上使用MATLAB R2011a進(jìn)行。

3.3 ?實驗結(jié)果與分析

3.3.1 ?Indian Pines圖像數(shù)據(jù)實驗結(jié)果

在本節(jié)中，將本文所提算法WSSLPKELM與SVM，KELM，KCRT-CK，MLR，LPKELM算法的分類結(jié)果進(jìn)行對比。通過對比測試集上的分類精度OA，AA和kappa系數(shù)來衡量每種算法的分類性能。六種分類方法在Indian Pines圖像數(shù)據(jù)上的分類結(jié)果如表1所示。

由表1可知，WSSLPKELM算法與SVM，KELM，KCRT-CK，MLR，LPKELM算法相比，總體分類精度OA，平均分類精度AA和Kappa系數(shù)均有所提升。

3.3.2 ?University of Pavia圖像數(shù)據(jù)實驗結(jié)果

在本節(jié)中，將本文所提算法WSSLPKELM與SVM，KELM，KCRT-CK，MLR，LPKELM的分類結(jié)果進(jìn)行對比。通過對比測試集上的分類精度OA，AA和kappa系數(shù)來衡量每種算法的分類性能。六種分類方法在University of Pavia圖像數(shù)據(jù)上的分類結(jié)果如表2所示。

表2給出六種不同算法在University of Pavia圖像數(shù)據(jù)上的分類精度OA，AA和Kappa系數(shù)?？梢钥闯鯳SSLPKELM算法的分類結(jié)果要優(yōu)于SVM，KELM，KCRT-CK，MLR，LPKELM算法。

通過表1和表2的對比實驗結(jié)果可以看出，WSSLPKELM算法的分類性能優(yōu)于其他五種分類算法，其原因在于WSSLPKELM結(jié)合高光譜遙感圖像的空間結(jié)構(gòu)特性，充分考慮高光譜遙感圖像像素間在空間上的分布特性，利用高光譜遙感圖像空間信息和光譜信息的結(jié)合對高光譜遙感圖像進(jìn)行預(yù)處理，有效地提高高光譜遙感圖像的分類精度，并利用流形學(xué)習(xí)的思想將高光譜遙感圖像數(shù)據(jù)樣本的幾何結(jié)構(gòu)信息和判別信息引入到核極限學(xué)習(xí)機模型中，彌補核極限學(xué)習(xí)機在高光譜遙感圖像分類中學(xué)習(xí)不充分、空間信息利用不充分等問題。

3.4 ?WSSLPKELM的參數(shù)分析

在本節(jié)中，重點分析一下兩種不同遙感數(shù)據(jù)集下近鄰窗口尺度w對WSSLPKELM算法的性能是如何影響的。加權(quán)空譜算法的窗口大小，核極限學(xué)習(xí)機使用RBF核，實驗結(jié)果如圖4、5所示。

根據(jù)圖4可以看出，在Indian Pines數(shù)據(jù)集上分類精度總體趨勢上隨著近鄰尺度的增長先增后降。當(dāng)近鄰窗口大小達(dá)到11時算法具有最優(yōu)的分類精度，而后在近鄰窗口達(dá)到13時分類精度降低較為明顯。通過分類精度可以反映出近鄰尺度的大小影響著算法的分類精度，綜合多角度因素本文在實驗中將近鄰窗口尺度大小設(shè)置為11。

根據(jù)圖5可以看出，在University of Pavia數(shù)據(jù)集上分類精度總體趨勢上隨著近鄰尺度的增長先增后降。當(dāng)近鄰窗口大小達(dá)到13時算法具有最優(yōu)的分類精度，而后在近鄰窗口達(dá)到15時分類精度降低較為明顯。通過分類精度可以反映出近鄰尺度的大小影響著算法的分類精度，綜合多角度因素本文在實驗中將近鄰窗口尺度大小設(shè)置為13。

4 ?結(jié)束語

本文中提出一種新的加權(quán)空-譜局部信息保持極限學(xué)習(xí)機WSSLPKELM。為了更加有效的提高高光譜遙感圖像的分類精度，該算法通過以下策略進(jìn)行處理。首先，該算法通過將高光譜遙感圖像的空間信息和光譜信息結(jié)合起來對高光譜遙感圖像進(jìn)行預(yù)處理;然后，捕獲預(yù)處理數(shù)據(jù)內(nèi)部的流形正則化框架并通過局部保持算法LPP獲取數(shù)據(jù)的判別性離散度矩陣;最后，將判別性離散度矩陣引入到核極限學(xué)習(xí)機中對高光譜遙感數(shù)據(jù)進(jìn)行分類。通過與SVM，KELM，KCRT-CK，MLR，LPKELM算法進(jìn)行比較，可以充分地證明本文所提算法WSSLPKELM針對高光譜遙感數(shù)據(jù)具有較好的分類效果。但是，由于相關(guān)預(yù)處理及流形框架以正則項添加到目標(biāo)函數(shù)中，在一定程度上增加了算法的計算復(fù)雜度，在接下來的科研中將重點針對此方面進(jìn)行重點突破。

參考文獻(xiàn)

1. Kuo B C， Yang J M， Sheu T W， et al. Kernel-based KNN and Gaussian classifiers for hyperspectral image classification [C]//IGARSS 2008-2008 IEEE International Geoscience and Remote Sensing Symposium. IEEE， 2008， 2： II-1006-II-1008.

2. B?hning D. Multinomial logistic regression algorithm[J]. Annals of the institute of Statistical Mathematics， 1992， 44（1）： 197-200.

3. Li J， Bioucas-Dias J M， Plaza A. Semisupervised hyperspectral image segmentation using multinomial logistic regression with active learning[J]. IEEE Transactions on Geoscience and Remote Sensing， 2010， 48（11）： 4085-4098.

4. Ratle F， Camps-Valls G， Weston J. Semisupervised neural networks for efficient hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing， 2010， 48（5）： 2271-2282.

5. Melgani F， Bruzzone L. Classification of hyperspectral remote sensing images with support vector machines[J]. IEEE Transactions on geoscience and remote sensing， 2004， 42（8）： 1778-1790.

6. Joy A A， Hasan M A M， Hossain M A. A Comparison of Supervised and Unsupervised Dimension Reduction Methods for Hyperspectral Image Classification[C]//2019 International Conference on Electrical， Computer and Communication Engineering （ECCE）. IEEE， 2019： 1-6.

7. Yuan Y， Zheng X， Lu X. Discovering diverse subset for unsupervised hyperspectral band selection[J]. IEEE Transactions on Image Processing， 2016， 26（1）： 51-64.

8. Zheng X， Yuan Y， Lu X. Dimensionality reduction by spatial-spectral preservation in selected bands[J]. IEEE Transactions on Geoscience and Remote Sensing， 2017， 55（9）： 5185- 5197.

9. Wang L， Zhang J， Liu P， et al. Spectral-spatial multi-feature- based deep learning for hyperspectral remote sensing image classification[J]. Soft Computing， 2017， 21（1）： 213-221.

10. Cao F， Yang Z， Ren J， et al. Sparse Representation-Based Augmented Multinomial Logistic Extreme Learning Machine With Weighted Composite Features for Spectral–Spatial Classification of Hyperspectral Images[J]. IEEE Transactions on Geoscience and Remote Sensing， 2018， 56（11）： 6263- 6279.

11. Huang G B， Zhu Q Y， Siew C K. Extreme learning machine： theory and applications[J]. Neurocomputing， 2006， 70（1-3）： 489-501.

12. Huang G B， Zhou H， Ding X， et al. Extreme learning machine for regression and multiclass classification[J]. IEEE Transactions on Systems， Man， and Cybernetics， Part B （Cybernetics）， 2011， 42（2）： 513-529.

13. Li W， Chen C， Su H， et al. Local binary patterns and extreme learning machine for hyperspectral imagery classification[J]. IEEE Transactions on Geoscience and Remote Sensing， 2015， 53（7）： 3681-3693.

14. Cao F， Yang Z， Ren J， et al. Local block multilayer sparse extreme learning machine for effective feature extraction and classification of hyperspectral images[J]. IEEE Transactions on Geoscience and Remote Sensing， 2019.

15. Zhou L， Ma L. Extreme Learning Machine-Based Heterogeneous Domain Adaptation for Classification of Hyperspectral Images[J]. IEEE Geoscience and Remote Sensing Letters， 2019.

16. Bolton J， Gader P. Application of multiple-instance learning for hyperspectral image analysis[J]. IEEE Geoscience and Remote Sensing Letters， 2011， 8（5）： 889-893.

17. Camps-Valls G， Tuia D， Bruzzone L， et al. Advances in hyperspectral image classification： Earth monitoring with statistical learning methods[J]. IEEE signal processing magazine， 2013， 31（1）： 45-54.

Camps-Valls G， Gómez-Chova L， Calpe-Maravilla J， et al. Robust support vector method for hyperspectral data classification and knowledge discovery[J]. IEEE Transactions on Geoscience and Remote sensing， 2004， 42（7）： 1530-1542.

Han M， Liu B. Ensemble of extreme learning machine for remote sensing image classification[J]. Neurocomputing， 2015， 149： 65-70.

Li W， Du Q， Xiong M. Kernel collaborative representation with Tikhonov regularization for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters， 2014， 12（1）： 48-52.

Mountrakis G， Im J， Ogole C. Support vector machines in remote sensing： A review[J]. ISPRS Journal of Photogrammetry and Remote Sensing， 2011， 66（3）： 247-259.

Pal M， Maxwell A E， Warner T A. Kernel-based extreme learning machine for remote-sensing image classification[J]. Remote Sensing Letters， 2013， 4（9）： 853-862.

Chen C， Li W， Su H， et al. Spectral-spatial classification of hyperspectral image based on kernel extreme learning machine[J]. Remote Sensing， 2014， 6（6）： 5795-5814.

Pal M， Maxwell A E， Warner T A. Kernel-based extreme learning machine for remote-sensing image classification[J]. Remote Sensing Letters， 2013， 4（9）： 853-862.

Li J， Marpu P R， Plaza A， et al. Generalized composite kernel framework for hyperspectral image classification[J]. IEEE transactions on geoscience and remote sensing， 2013， 51（9）： 4816-4829.

何陽， 閆德勤， 劉德山. 局部信息保持極限學(xué)習(xí)機的遙感圖像分類[J]. 計算機應(yīng)用與軟件， 2019， 36： 1.

Pal M， Maxwell A E， Warner T A. Kernel-based extreme learning machine for remote-sensing image classification[J]. Remote Sensing Letters， 2013， 4（9）： 853-862.

Li L， Wang C， Li W， et al. Hyperspectral image classification by AdaBoost weighted composite kernel extreme learning machines[J]. Neurocomputing， 2018， 275： 1725-1733.

Li W， Du Q， Xiong M. Kernel collaborative representation with Tikhonov regularization for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters， 2014， 12（1）： 48-52.

阿茹罕， 何芳， 王標(biāo)標(biāo). 加權(quán)空-譜主成分分析的高光譜圖像分類[J]. 國土資源遙感， 2019， 31（2）： 17-23.

Pal M， Maxwell A E， Warner T A. Kernel-based extreme learning machine for remote-sensing image classification[J]. Remote Sensing Letters， 2013， 4（9）： 853-862.

Argyriou A， Micchelli C A， Pontil M. When is there a representer theorem？ Vector versus matrix regularizers[J]. Journal of Machine Learning Research， 2009， 10（Nov）： 2507-2529.