基于支持向量機改進算法的船舶類型識別研究

戴衛(wèi)國，李海濤，顏恒平，劉啟軍

?

基于支持向量機改進算法的船舶類型識別研究

戴衛(wèi)國1，李海濤1，顏恒平2，劉啟軍1

(1. 海軍潛艇學(xué)院，山東青島266042；2. 海鷹企業(yè)集團有限責(zé)任公司，江蘇無錫214063)

利用船舶目標(biāo)輻射噪聲DEMON譜特征，采用改進的支持向量機算法，實現(xiàn)了對船舶目標(biāo)的分類識別研究。針對支持向量機算法對噪聲比較敏感和最優(yōu)分類面求解時約束較多不利于支持向量機最優(yōu)分類面尋優(yōu)的問題，在保持支持向量稀疏性和應(yīng)用徑向基核函數(shù)的條件下，對支持向量機算法在松弛變量和決策函數(shù)兩方面進行了改進，提出了基于徑向基核函數(shù)的齊次決策二階損失函數(shù)支持向量機改進算法，并應(yīng)用于利用船舶目標(biāo)輻射噪聲DEMON譜進行船舶目標(biāo)類型分類識別實驗。理論分析、數(shù)據(jù)仿真與實驗結(jié)果表明，該改進算法實現(xiàn)了在二次規(guī)劃中的較少約束條件下最優(yōu)分類面求解，具有模型參數(shù)尋優(yōu)空間廣闊、總體分類性能優(yōu)的特點，其分類性能優(yōu)于原支持向量機算法，是一種適合于船舶輻射噪聲DENOM分類識別的有效的支持向量機改進算法。

船舶目標(biāo)分類；支持向量機；齊次決策二階損失函數(shù)

0 引言

船舶輻射噪聲的復(fù)雜性使得很難對其進行分類與識別，船舶輻射噪聲的特征提取和分類方法是人們一直研究探索的技術(shù)難題。船舶輻射噪聲的DEMON(Detection of Envelope Modulation On Noise)譜反映了航行船舶噪聲的節(jié)奏信息和船舶本身一些固有的物理不變特征，被廣泛應(yīng)用于被動船舶目標(biāo)識別[1]；支持向量機(Support Vector Machine，SVM)是一種基于統(tǒng)計學(xué)習(xí)理論的模式識別方法，采用結(jié)構(gòu)風(fēng)險最小化原則代替了傳統(tǒng)機器學(xué)習(xí)方法中的經(jīng)驗風(fēng)險最小化原則，在解決有限樣本、非線性及高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢，與其他學(xué)習(xí)機相比具有良好的推廣能力和很強的普適性[2-5]。

本文利用船舶目標(biāo)輻射噪聲DEMON譜特征，采用改進的支持向量機算法，進行了對船舶目標(biāo)的分類識別研究。針對支持向量機算法[2-5]對噪聲比較敏感和最優(yōu)分類面求解時約束太多不利于求解的問題，根據(jù)支持向量機在不等式約束條件下可以保持支持向量解的稀疏性特性，在應(yīng)用徑向基等平移不變核函數(shù)的情況下，對支持向量機的松弛變量和決策函數(shù)兩方面進行了改進，從而提出了基于徑向基核函數(shù)的齊次決策二階損失函數(shù)支持向量機的分類算法(簡稱支持向量機改進算法)，實現(xiàn)了支持向量機求解中二次規(guī)劃中的最小約束條件下最優(yōu)分類面求解，研究了其MATLAB實現(xiàn)方法，并采用擴展的XOR(異或)仿真數(shù)據(jù)、雙螺旋線仿真數(shù)據(jù)、船舶輻射噪聲數(shù)據(jù)進行了分類識別實驗，表明該算法具有分類面劃分合理、模型參數(shù)尋優(yōu)空間廣闊、總體分類性能優(yōu)的特性。

1 支持向量機改進算法

1.1 支持向量機原理

支持向量機從線性可分情況下的最優(yōu)分類面發(fā)展而來，最優(yōu)分類面是要求分類面不但能將兩類正確分開，而且使分類間隔最大。維空間中線性判別函數(shù)的一般形式為：，設(shè)分類面的方程為，為輸入樣本，為訓(xùn)練樣本維數(shù)，為輸出類別，使得對線性可分的樣本集，滿足：,[1]。

在線性不可分和在非線性情況下通過在求解二次規(guī)劃的約束條件中增加一個非負的松弛項，以及引入核函數(shù)后，支持向量機的分類問題轉(zhuǎn)化為求為決策變量的二次規(guī)劃原始問題[6,7]：

該問題可通過求解其拉格朗日對偶問題得其最優(yōu)解，其對偶問題為

(3)

1.2 支持向量機改進算法

支持向量的稀疏性是支持向量機的主要特性之一。在保持支持向量稀疏特性的前提下，為解決支持向量機算法對噪聲比較敏感的問題，并尋求較少約束條件下的最優(yōu)分類面尋優(yōu)，對支持向量機在以下兩個方面進行了改進：一是將松弛變量采用的一階函數(shù)形式改為二階函數(shù)形式，即在目標(biāo)函數(shù)中采用來代替，此改進可以去掉所求解的二次型規(guī)劃的對偶問題中關(guān)于不等式約束中的上限約束條件，并鈍化支持向量機算法對噪聲數(shù)據(jù)的敏感性；二是根據(jù)徑向基核函數(shù)具備的平移不變性，在基于徑向基核函數(shù)的支持向量機算法中，可對支持向量機決策函數(shù)進行齊次處理去掉偏置，將其決策函數(shù)修改為，從而在求解二次規(guī)劃問題的對偶問題時，則可減少關(guān)于的等式約束條件，僅余下不等式約束中的下界約束。通過此兩處改進，構(gòu)建了基于徑向基核函數(shù)的齊次決策二階損失函數(shù)支持向量機的改進算法，從而實現(xiàn)二次規(guī)劃中的最小約束條件下最優(yōu)分類面求解。

此時其原始問題的目標(biāo)函數(shù)和約束條件為

此目標(biāo)函數(shù)為凸函數(shù)，不等式約束條件為線性函數(shù)，強對偶條件成立[8]。求解式(4)的對偶規(guī)劃，引入拉格朗日函數(shù)

(5)

(7)

所以原始問題的對偶問題可以表示為

(9)

1.3 支持向量機改進算法的MATLAB實現(xiàn)

關(guān)于在線性約束條件下的二次規(guī)劃問題，在MATLAB中專門提供了用于求解二次規(guī)劃問題的quadprog函數(shù)，可直接用于求解中等規(guī)模的支持向量機問題。相對于大規(guī)模的支持向量機求解的選塊算法、分解算法、序列最小最優(yōu)化算法而言，quadprog函數(shù)直接求解方法意義明確、中間變量清楚、過程可控，且運算速度可行，是一種較好的學(xué)習(xí)及調(diào)試手段。

quadprog函數(shù)求解的最優(yōu)化問題形式為[9]：

對于支持向量機和支持向量機改進算法，應(yīng)用quadprog函數(shù)求解的對比如表1所示。

表1 應(yīng)用quadprog函數(shù)求解支持向量機實現(xiàn)方法對比

2 仿真數(shù)據(jù)分類實驗分析

為了驗證該支持向量機改進算法的實際效果，本文利用擴展的XOR仿真數(shù)據(jù)和雙螺旋線仿真數(shù)據(jù)進行實驗分析。

2.1 擴展的XOR仿真數(shù)據(jù)分析

平面上相間排列的25點的兩類點集，可以看作是擴展的XOR數(shù)據(jù)，如圖1所示。

(1) 選取懲罰因子=10，徑向基核函數(shù)參數(shù)，對該25點的兩類點集進行支持向量機及其改進算法的訓(xùn)練和測試分類實驗，其在原始空間及改進的分類曲線分布如圖2所示。圖2中綠色圓點為正類目標(biāo)，紅色的十字為負類目標(biāo)，黑色實線為最優(yōu)分類曲線(二維情況下，分類曲面退化為分類曲線)。

(a) SVM的分類曲線

(b) 改進SVM的分類曲線

圖2 SVM的分類曲線及改進SVM的分類曲線(=10和=0.2)

Fig.2 Classification curves of SVM and the improved SVM for=10 and=0.2

由對比可見，由于減少了約束條件，故獲取了更寬的優(yōu)化空間，在此模型參數(shù)下，改進算法的分類曲線對樣本空間劃分合理，分類均衡。

(2) 選取懲罰因子=10，徑向基核函數(shù)參數(shù)，對該25點的兩類點集進行支持向量機及其改進算法的訓(xùn)練和測試分類實驗，其在原始空間及改進的分類曲線分布如圖3所示。

(a) SVM的分類曲線

(b) 改進SVM的分類曲線

圖3 SVM的分類曲線及改進SVM的分類曲線(=10和=0.55)

Fig.3 Classification curves of SVM and the improved SVM for=10 and=0.55

由對比可見，此時改進算法可以對所有目標(biāo)全部正確分類而原算法不能，因此改進算法獲取了更為廣闊的核函數(shù)模型尋優(yōu)空間，更有利于核函數(shù)模型的參數(shù)尋優(yōu)。

2.2 雙螺旋線仿真數(shù)據(jù)分析

雙螺旋線分類一直是模式識別領(lǐng)域公認的一個難題，它也因其難度而經(jīng)常被用作檢驗?zāi)Ｊ阶R別算法性能的“試金石”[3]。該問題的分類要求是把-坐標(biāo)平面上的兩條不同的螺旋線的點正確分開。

雙螺旋線的平面坐標(biāo)形式用如下的參數(shù)方程來表示：

采用網(wǎng)格搜索法，懲罰因子取值范圍為1至100，步進為1；徑向基核函數(shù)的取值為0.01至1，步進為0.01，在100100的網(wǎng)格范圍內(nèi)，對雙螺旋線數(shù)據(jù)樣本進行訓(xùn)練和測試。

采用支持向量機算法，訓(xùn)練樣本數(shù)據(jù)的錯誤率隨參數(shù)和的分布如圖4所示。

采用改進的支持向量機算法訓(xùn)練樣本數(shù)據(jù)的錯誤率隨參數(shù)和的分布如圖5所示。

從訓(xùn)練樣本的訓(xùn)練錯誤率隨模型參數(shù)的變化來看，改進支持向量機在訓(xùn)練樣本中，具備較寬的低錯誤率訓(xùn)練空間。

此時，采用支持向量機算法，測試樣本數(shù)據(jù)的錯誤率隨參數(shù)和的分布如圖6所示。

采用改進算法，測試樣本數(shù)據(jù)的錯誤率隨參數(shù)和的分布如圖7所示。

從測試樣本數(shù)據(jù)的測試錯誤率隨模型參數(shù)的變化來看，改進支持向量機具備較寬的低錯誤率測試空間。

從仿真數(shù)據(jù)綜合來看，改進的支持向量機算法性能較優(yōu)。

圖6 SVM算法中測試數(shù)據(jù)錯誤率分布

3 海上實測船舶噪聲數(shù)據(jù)實驗及分析

3. 1 實驗準(zhǔn)備

船舶螺旋槳噪聲具有寬帶調(diào)制現(xiàn)象，調(diào)制周期對應(yīng)于螺旋槳軸轉(zhuǎn)動周期或螺旋槳葉片切割海水的周期。軸轉(zhuǎn)動頻率和葉片頻率較低，由于被動聲吶孔徑有限，這些較低的頻率分量一般很難從接收的輻射噪聲信號中直接獲得，但通過對連續(xù)譜信號的解調(diào)處理可以提取這些低頻調(diào)制分量。調(diào)制特征的合理使用可以較好地改善目標(biāo)分類識別的泛化能力和穩(wěn)健性。

通過對船舶目標(biāo)輻射噪聲進行DEMON譜分析，提取DEMON譜軸頻的1至15階諧波線譜的幅度、線譜寬度，軸頻的頻率穩(wěn)定度、幅度穩(wěn)定度，諧波簇信噪比共33維特征，進行歸一化處理后作為槳葉數(shù)識別的特征。

進行實驗的船舶目標(biāo)輻射噪聲樣本全部為海上綜合聲吶聽測波束實際錄取的船舶目標(biāo)噪聲，試驗樣本的選取條件為：(1) 在綜合聲吶對噪聲目標(biāo)探測和穩(wěn)定跟蹤后輸出得到的遠場單目標(biāo)噪聲信號；(2) 船舶目標(biāo)噪聲DEMON譜中存在可見的調(diào)制線譜；(3) 船舶目標(biāo)的類型特征明確。通過樣本選取共獲取了3725個船舶目標(biāo)噪聲樣本，按目標(biāo)類型進行分類，其中A類樣本678個、B類樣本1749個、C類樣本590個、D類樣本708個。

3.2 識別特征提取過程

對船舶輻射噪聲依次進行帶通濾波、檢波、低通濾波、降采樣、FFT變換得到DEMON譜[1]，如圖8所示，橫坐標(biāo)為頻率，縱坐標(biāo)為幅度。DEMON譜中一般存在很多頻率成倍數(shù)關(guān)系的諧波線譜，這組諧波中的第一根線譜頻率對應(yīng)螺旋槳轉(zhuǎn)速。根據(jù)諧波線譜的幅度關(guān)系、寬度特征、穩(wěn)定度、信噪比等特征，可以判斷目標(biāo)的類型，圖8為典型的D類目標(biāo)DEMON譜圖。

本文提取的目標(biāo)類型識別特征是由以下5部分特征組成的33維特征矢量：

(1) 軸頻1至15階諧波線譜的歸一化幅度大??；

(2) 軸頻1至15階諧波線譜的歸一化寬度大??；

(3) 軸頻的頻率穩(wěn)定性，本文以30 s數(shù)據(jù)中軸頻頻率變化的方差作為頻率穩(wěn)定性特征；

(4) 軸頻的幅度穩(wěn)定性，本文以30 s數(shù)據(jù)中軸頻幅度變化的方差作為幅度穩(wěn)定性特征；

(5) 諧波簇信噪比，本文以15階諧波線譜相對背景干擾線譜的突出程度作為信噪比特征。

據(jù)此對圖8所示DEMON譜進行分析，得到33維識別特征矢量如圖9所示。

3.3 船舶輻射噪聲分類實驗及分析

將選取的目標(biāo)噪聲按類別隨機分為對等的兩部分，一部分用來訓(xùn)練，另一部分用來測試，對支持向量機及其改進算法，以及神經(jīng)網(wǎng)絡(luò)算法進行對比。

支持向量機模型選取采用了網(wǎng)格搜索法，懲罰因子取值為，徑向基核函數(shù)的取值為，，在2020的網(wǎng)格范圍內(nèi)，分別采用“一對一”、“一對余”[10-12]的支持向量機多分類方法，分別進行目標(biāo)類型識別的分類實驗。

根據(jù)總樣本的錯誤識別率最小原則[1]，分別獲取支持向量機算法模型的最優(yōu)參數(shù)，以此為訓(xùn)練參數(shù)，對目標(biāo)樣本進行10次的隨機分類實驗，測試與訓(xùn)練樣本各占50%。

同時對同一批數(shù)據(jù)，與應(yīng)用最為廣泛的BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[13]進行了對比。BP算法采用隨機抽取50%樣本訓(xùn)練，50%進行測試，通過綜合考慮和模型尋優(yōu)后，采用輸入層為33個神經(jīng)元、中間層為12個神經(jīng)元、輸出層為5個神經(jīng)元的三層BP神經(jīng)網(wǎng)絡(luò)進行了10次分類實驗

最終統(tǒng)計獲得在“一對一”、“一對余”的多分類方法下的支持向量機及其改進算法的對比，以及與BP神經(jīng)網(wǎng)絡(luò)的實驗結(jié)果對比，結(jié)果見表2、3。

表2 基于“一對一”方法實驗結(jié)果平均正確率比較

表3 基于“一對余”方法實驗結(jié)果平均正確率比較

由實驗結(jié)果可知，在“一對一”、“一對余”模式下，改進支持向量機算法相對于原支持向量機算法，以及BP神經(jīng)網(wǎng)絡(luò)算法而言，具備較好的分類識別能力，同時支持向量機改進算法對小樣本類(A、C、D類)性能改進更優(yōu)。

綜合而言，該支持向量機改進算法，具備較好的分類識別能力，性能較優(yōu)。

4 結(jié)論

通過理論分析、擴展的XOR數(shù)據(jù)、雙螺旋線仿真數(shù)據(jù)和船舶輻射噪聲DENOM譜特征分類實驗數(shù)據(jù)表明，對支持向量機在松弛變量和決策函數(shù)兩方面進行改進而提出的基于徑向基核函數(shù)的齊次決策二階損失函數(shù)支持向量機改進算法，具有分類面劃分合理、模型參數(shù)尋優(yōu)空間廣闊、總體分類性能優(yōu)的特點，分類性能優(yōu)于原支持向量機算法等分類算法，該支持向量機改進算法是一種適用于水聲目標(biāo)的類型識別應(yīng)用的有效的分類算法，有可能實現(xiàn)對水聲目標(biāo)類型的有效分類識別。

[1] 戴衛(wèi)國, 程玉勝, 王易川. 支持向量機對艦船噪聲DEMON譜的分類識別[J]. 應(yīng)用聲學(xué), 2010, 29(3): 206-211. DAI Weiguo, CHENG Yusheng, WANG Yichuan. Classification of the DEMON spectra of ship-radiated noise based on Support Vector Machine[J]. Applied Acoustic, 2010, 29(3): 206-211.

[2] 瓦普尼克(Vladimir N·Vapnik). 統(tǒng)計學(xué)習(xí)理論的本質(zhì)[M]. 張學(xué)工譯. 北京: 清華大學(xué)出版社, 2000. Vladimir N·Vapnik. Statistical Learning Theory[M]. Beijing: Tsinghua University Press, 2000.

[3] 焦李成, 周偉達, 張莉. 智能目標(biāo)識別與分類[M]. 北京: 科學(xué)出版社, 2010. JIAO Licheng, ZHOU Weida, ZHANG Li. Intelligent target identification and classification[M]. Beijing: Science Press, 2010.

[4] David Casasent, Yu-Chiang Wang. A hierarchical classifier using new support vector machines for automatic target recognition[J]. Neural Networks, 2005, 18: 541-548.

[5] Martinez-Ramon M, Rojo-Alvarez J L, Camps-Valls G. Support vector machines for nonlinear kernel ARMA system identification[J]. Neural Networks, 2006, 17(6): 1617-1622.

[6] 鄧乃楊, 田英杰. 數(shù)據(jù)挖掘中的新方法----支持向量機[M]. 北京: 科學(xué)出版社, 2004. DENG Naiyang, TIAN Yingjie. New data mining method-SVM[M]. Beijing: Science Press, 2004.

[7] 張春華. 支持向量機中最優(yōu)化問題的研究[D]. 北京: 中國農(nóng)業(yè)大學(xué), 2004. 06. ZHANG Chunhua. Studying of solving the optimization problem in SVMs[D]. Beijing: China Agricultural University, 2004. 06.

[8] 陳寶林.最優(yōu)化理論與算法[M]. 2版, 北京: 清華大學(xué)出版社, 2005. CHEN Baolin. Optimization theory and algorithm[M]. Second Edition, Beijing: Tsinghua University Press, 2005.

[9] 李明. 詳解MATLAB在最優(yōu)化計算中的應(yīng)用[M]. 北京: 北京電子工業(yè)出版社, 2011. LI Ming. Application of MATLAB for optimization theory[M]. Beijing: Electronics Industry Publishing Press, 2011.

[10] 趙春暉. 多類支持向量機方法的研究現(xiàn)狀與分析[J]. 智能系統(tǒng)學(xué)報, 2007, 2(2): 11-17. ZHAO Chunhui, et al. Research and analysis of methods for multiclass support vector machines[J]. CAAI Transactions on Intelligent Systems, 2007, 2(2): 11-17.

[11] 黃勇, 鄭春穎, 宋忠虎. 多類支持向量機算法綜述[J]. 計算技術(shù)與自動化, 2005, 24(4): 61-63. HUANG Yong, ZHENG Chunying, SONG Zhonghu. Multi-class support vector machines algorithm summarization[J]. Computing Technology and Automation, 2005, 24(4): 61-63.

[12] Vojtech Franc Vaclav HlavaC. Statistical Pattern Recognition Toolbox for Matlab User’s guide[R]. 2004. ftp://cmp.felk.cvut.cz/pub/cmp /articles/ Franc -TR-2020-08.pdf.

[13] 許東, 吳錚. 基于MATLAB6.X的系統(tǒng)分析與設(shè)計——神經(jīng)網(wǎng)絡(luò)[M]. 西安: 西安電子科技大學(xué)出版社, 2003, 10: 19-24. XU Dong, WU Zheng. System analysis and design based on MATLAB6.X[M]. Xi'an: Electronic and Science University press, 2003, 10: 19-24.

Application of an improved support vector machine classification algorithm to underwater targets recognition

DAI Wei-guo1, LI Hai-tao1, YAN Heng-ping2, LIU Qi-jun1

(1. Navy Submarine Academy,Qingdao266042,Shandong, China; 2.HaiYing Enterprise Group Co.Ltd,Wuxi 214061,Jiangsu, China)

The underwater targets recognition based on DEMON spectra has been realized with a proposed improved support vector machine algorithm. To solve the problem that the support vector machine (SVM) is sensitive to noise and that there are so many restrictions against looking for optimal hyper-plane in solving the optimal hyper-plane, an improvement is done in the relaxation and decision function. The SVM algorithm of homogeneous decision - second order loss function based on RBF (Radial Basis Function) is given, and the solution of optimal hyper-plane under quadratic programming problem is realized. Recognition experiments have been done by using simulation datasets and four kinds DEMON datasets of ship radiated noise. The results show that this algorithm has the characters in large optimized space of model parameters and good overall recognition performance, which is suitable for ship radiated noise recognition.

ship targetclassification; Support Vector Machine(SVM);homogeneousdecision-second order loss function

O427.9

A

1000-3630(2015)-03-0203-06

10.3969/j.issn1000-3630.2015.03.003

2015-03-08;

2015-06-02

戴衛(wèi)國(1968－), 男, 博士, 副教授, 研究方向為水聲目標(biāo)識別研究。

戴衛(wèi)國, E-mail: dwg1968@163.com