基于CNN-SVM的調(diào)制方式識別優(yōu)化算法

念茂， 郭里婷, 陳平平

(福州大學(xué)物理與信息工程學(xué)院， 福建 福州 350108)

0 引言

調(diào)制識別是指在不了解接收信號的情況下, 確定其調(diào)制類型的一種技術(shù)手段[1]， 被廣泛運用在軍事和民用領(lǐng)域. 傳統(tǒng)的調(diào)制識別算法可以分為兩大類[2]： 基于決策理論的方法和基于統(tǒng)計模式識別的方法. 決策論方法是基于概率論和假設(shè)檢驗原理[3], 計算量大且復(fù)雜; 而基于統(tǒng)計模式的方法主要在于對特征的選擇和提取， 根據(jù)所提取到的特征選用特定的分類器對其進行分類識別. 相比之下， 基于統(tǒng)計模式的方法更加簡單易實現(xiàn)， 因此其得到更廣泛的應(yīng)用.

近年來， 深度學(xué)習(xí)在圖像識別領(lǐng)域得到了廣泛的應(yīng)用[4]. 能夠通過對圖像的學(xué)習(xí)來自動地提取其特征， 漸漸取代了人工提取特征， 因此在分類識別算法方面受到了眾多科研工作者的青睞. 文獻[5]提出一種利用深度稀疏卷積神經(jīng)網(wǎng)絡(luò)來提取信號循環(huán)譜特征的方法. 該方法所需要的訓(xùn)練樣本過大， 進而導(dǎo)致訓(xùn)練時間長， 并且在0 dB信噪比時識別率僅為90%， 因此該方法實用性較差. 文獻[6]提出基于高階累積量的識別方法， 并根據(jù)高階累積量設(shè)計特征參量， 以此作為判斷閾值來對不同的已調(diào)信號進行分類識別， 該算法由于人為設(shè)計特征值， 加大算法的計算復(fù)雜度， 并且在信噪比為10 dB時才能達到96%的正確識別率， 低信噪比下的分類結(jié)果不盡如人意. 文獻[7]提出提取信號循環(huán)譜的等高圖獲得二維特征信息， 并采用卷積神經(jīng)網(wǎng)絡(luò)對二維特征信息進行訓(xùn)練分類的算法， 但該算法在信噪比為0 dB時僅有90.17%的準確識別率， 識別效果較為一般.

本研究對不同已調(diào)信號采用譜平滑周期圖法做循環(huán)譜估計， 生成循環(huán)譜圖， 截取循環(huán)譜等高圖作為特征圖， 然后利用卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network, CNN)和t分布鄰域嵌入算法(t-distributed stochastic neighbor embedding,t-SNE)結(jié)合形成的特征提取器來提取特征， 由于支持向量機(support vector machine, SVM)在小樣本的情況下具有極佳的分類性能， 并且其擅長處理非線性的分類問題以及具有較好的結(jié)構(gòu)穩(wěn)定性， 因此將提取到的特征值輸入到SVM來進行分類， 實現(xiàn)已調(diào)信號的有效分類識別. 實驗仿真結(jié)果表明， 該算法不僅表現(xiàn)出了較好的識別效果， 在SNR較低的環(huán)境依然保持較高的識別準確率， 并且具有較強的魯棒性.

1 循環(huán)譜估計與圖像預(yù)處理

1.1 循環(huán)理論分析

平穩(wěn)噪聲信號的統(tǒng)計均值為常量， 其循環(huán)均值和循環(huán)自相關(guān)函數(shù)在非零循環(huán)頻率上恒為0， 即平穩(wěn)噪聲不具有循環(huán)平穩(wěn)性[8]， 因此信號的循環(huán)譜具有很好的抗噪性能， 對后續(xù)提升模型的準確分類提供了有力的支撐.

通信系統(tǒng)傳輸模型表達式如下:

r(t)=x(t)+n(t)

(1)

其中:r(t)表示接收到的信號；x(t)代表經(jīng)過調(diào)制后的信號；n(t)為信道產(chǎn)生的隨機噪聲.Rx(t;τ)為信號r(t)的廣義循環(huán)平穩(wěn)過程自相關(guān)函數(shù)， 表示如下：

Rx(t;τ)=E{r(t)r*(t-τ)}

(2)

這里,τ表示時間間隔.將Rx(t;τ)用傅里葉展開：

(3)

(4)

(5)

1.2 循環(huán)譜圖處理

常用的循環(huán)譜估計算法有基于時域的快速傅里葉累加算法(FAM)、 SSCA算法、 時域平滑周期圖法， 以及基于頻域的數(shù)字頻域平滑算法(DFSM)和譜平滑周期圖法. 本研究采用計算速度較快的譜平滑周期圖算法來對調(diào)制信號做循環(huán)譜估計. 計算過程如下：

對信號x(t)做傅里葉變換：

(6)

并且循環(huán)譜周期圖為：

(7)

(8)

這里，

(9)

式(9)為周期相關(guān)圖. 則譜平滑周期圖的循環(huán)譜估計函數(shù)為：

(10)

對六種已調(diào)信號利用上述譜平滑周期圖法計算生成循環(huán)譜圖， 如圖1所示：

(a) 2FSK

(b) 4FSK

(c) BPSK

(d) QPSK

(e) 16QAM

(f) 64QAM

最后對生成的循環(huán)譜特征圖裁剪去除邊緣冗余信息， 然后將其做二值化處理， 生成CNN的輸入圖像， 關(guān)于CNN的搭建將在下節(jié)給出.

2 基于CNN-SVM的調(diào)制方式識別

2.1 CNN網(wǎng)絡(luò)的搭建

圖2 CNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of CNN network

卷積神經(jīng)網(wǎng)絡(luò)由于其在特征提取方面有著卓越的表現(xiàn)， 被越來越多地應(yīng)用在圖像分類識別領(lǐng)域. 本研究搭建23層CNN網(wǎng)絡(luò)用來提取循環(huán)譜特征值. 具體的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示. 圖中: conv代表卷積層， 其步長皆為1. maxpool代表最大池化層， 步長為2， bn為標準化層； relu為激活函數(shù)層; gap(global average pool)為全局平均池化層， fc為全連接層; softmax為分類層; output為輸出層. 本研究使用SVM作為分類器， 因此訓(xùn)練數(shù)據(jù)無需經(jīng)過fc及以下幾層， 直接從gap提取所需要的循環(huán)譜特征值.

2.2 t-SNE降維

因為在CNN中， 從gap層提取出的特征值是高維的， 故采用t分布鄰域嵌入算法(t-SNE)降維技術(shù)降低特征值的維度， 通過降低高維特征值的維度來減少后續(xù)的計算， 并且還能進一步地提取特征值.t-SNE是一種高效的降維算法， 是由SNE發(fā)展而來， 其主要思想是構(gòu)建相似目標之間的概率分布. 具體算法實施如下：

對于高緯輸入數(shù)據(jù)x1,x2, …,xN， 輸入之間相似的條件概率：

(11)

(12)

設(shè)定Qj|i=0， 代價函數(shù)為：

(13)

根據(jù)t分布的對稱性， 則代價函數(shù)可以改寫為：

(14)

并且有Pij=Pji,Qij=Qji， 因此式(11)～(12)可以改寫為：

(15)

圖3 特征值聚類圖Fig.3 Clustering graph of eigenvalue

由CNN中g(shù)ap層提取出的特征值， 經(jīng)t-SNE降維， 聚類情況如圖3. 可以很直觀地看出， 六種已調(diào)信號根據(jù)其特征值被劃分到6個不同的區(qū)域. 以下將給出SVM的設(shè)計.

2.3 SVM分類器的設(shè)計

SVM很擅長處理非線性的分類問題， 并且有著不俗的分類表現(xiàn)， 因此本研究算法采用SVM作為最終的分類器. SVM算法的主要思想是找到一個最大間隔超平面使得需要分類的對象離這個平面的距離最大， 分離超平面為

wx+b=0

(16)

具體步驟如下：

1) SVM的輸入可以用如下的集合表示.

T={(x1,y1), (x2,y2), …, (xN,yN)}

(17)

其中:xi∈Rn，yi∈{+1, -1},i=1, 2, …,N，xi為第i個輸入，yi表示每個輸入對應(yīng)的類別.

2) 選擇高斯核函數(shù).

(18)

3) 構(gòu)造求解凸二次規(guī)劃問題.

(19)

4) 計算b*.

(20)

5) 計算w*.

(21)

6) 輸出分類決策函數(shù).

(22)

圖4 算法流程圖Fig.4 Flow chart of the algorithm

則整個分類模型的設(shè)計流程為： 輸入圖像數(shù)據(jù)經(jīng)CNN網(wǎng)絡(luò)訓(xùn)練， 提取gap層輸出的特征值， 將提取到的高維特征值采用t-SNE降維處理， 經(jīng)CNN+t-SNE處理后得到的特征值作為SVM的輸入數(shù)據(jù)進行訓(xùn)練， 最終得到CNN-SVM分類器， 整個調(diào)制方式識別流程框圖如圖4所示.

3 仿真實驗

3.1仿真實驗及結(jié)果分析

圖5 整體識別率隨信噪比的變化Fig.5 Change of overall recognition rate with SNR

圖6 不同已調(diào)信號識別率隨信噪比的變化Fig.6 The change of recognition rate of different modulated signals with SNR

針對BPSK， QPSK， 2FSK， 4FSK、 16QAM、 64QAM六種已調(diào)信號， 令載波頻率fc=1 kHz， 抽樣頻率fs=10 kHz， 采樣數(shù)N為2 048， 平滑窗M取64， 信噪比取值范圍為從-10 dB到10 dB， 每2 dB取一組做實驗， 共11組， 對上述六種已調(diào)信號添加隨機噪聲， 然后再進行循環(huán)譜計算. 每種已調(diào)信號每信噪比生成300張循環(huán)譜特征圖， 一種信噪比下共有1 800張圖， 輸入到CNN+t-SNE特征提取器中提取特征， 取其中70%的特征提取器的輸出結(jié)果作為SVM分類器所需要的訓(xùn)練數(shù)據(jù)， 剩下的30%用來測試結(jié)果. 并與CNN+SVM(未加t-SNE)作比較， 經(jīng)實驗仿真， 本研究所提算法整體識別率變化如圖5所示.

分析實驗結(jié)果， 由圖5可以看出， 當信噪比低于0 dB時， 本研究所提算法在識別率方面高于未添加t-SNE時CNN+SVM的算法， 當信噪比在0 dB以上， 兩種算法的識別率基本相同. 并且可以看出， 在信噪比高于-2 dB時候算法識別準確率穩(wěn)定在96%以上， 表明了該算法在低信噪比的條件下依然具有很好的識別效果.

不同已調(diào)信號的識別率隨著信噪比的增加而增大(圖6)， 在信噪比高于-2 dB時， 六種已調(diào)信號的識別率都保持高于90%. 因此驗證了該算法提出對于提高低信噪比環(huán)境下分類識別的有效性.

3.2 算法比較

文獻[9]提出利用欠完備自編碼器對已調(diào)信號提取特征并利用三層全連接層神經(jīng)網(wǎng)絡(luò)來作為分類器進行識別的算法. 文獻[10]提出利用高階統(tǒng)計量的特性， 構(gòu)造特征參數(shù)， 并采用SAE-softmax網(wǎng)絡(luò)進行調(diào)制分類的方法. 取信噪比從0到10 dB， 間隔2 dB， 共6組信噪比， 分別將每組信噪比下本研究所提算法與文獻[9-10]所提算法的分類識別率進行對比， 結(jié)果如表1所示:

表1 各算法識別率對比

由表1各算法的比對結(jié)果可以看出， 本研究所提算法在識別率上高于文獻[9-10]所提算法， 并且由于文獻[9]使用的欠完備自編碼器是全連接的網(wǎng)絡(luò)結(jié)構(gòu)， 參數(shù)較多， 學(xué)習(xí)復(fù)雜度較大. 并且其局部參數(shù)的調(diào)整很容易影響到整體結(jié)構(gòu)的參數(shù)調(diào)整， 造成模型不穩(wěn)定， 因此魯棒性較差. 而卷積神經(jīng)網(wǎng)絡(luò)采用的是局部連接結(jié)構(gòu)， 達到參數(shù)共享， 因此所需參數(shù)較少， 并且相比全連接結(jié)構(gòu)參數(shù)更易于調(diào)整. 相比較下， 卷積神經(jīng)網(wǎng)絡(luò)比欠完備自編碼器更容易處理圖像且識別率也更好. 故本研究所提算法相比文獻[9]計算效率更快， 模型更具魯棒性. 文獻[10]采用高階累積量對信號做預(yù)處理， 并且其使用的堆疊自編碼器同樣存在參數(shù)較多及模型魯棒性較差的問題， 由于本研究采用的是二階循環(huán)譜計算， 因此， 相比之下計算量就更少.

4 結(jié)論

將CNN和t-SNE結(jié)合起來作為特征提取器， 結(jié)合SVM優(yōu)越的分類性能， 設(shè)計出分類模型， 將整個分類模型各個模塊細化， 方便不同模塊的修改變更以及整個模型的優(yōu)化調(diào)整， 可拓展性和發(fā)揮空間更大. 本研究提出的算法是基于循環(huán)譜和卷積神經(jīng)網(wǎng)絡(luò)的調(diào)制識別算法， 首先對BPSK、 QPSK、 2FSK、 4FSK、 16QAM、 64QAM這六種已調(diào)信號進行譜平滑周期圖法計算循環(huán)譜， 截取循環(huán)譜等高圖做裁剪、 二值化操作， 然后輸入到CNN進行特征提取， 對于CNN中g(shù)ap層提取到的特征值采用t-SNE降維， 最終輸入到SVM進行訓(xùn)練、 分類識別. 實驗結(jié)果驗證了該算法相比于其他算法， 在低信噪比的環(huán)境下有更好的識別準確率.