張 秦,龔曉峰,雒瑞森,杜 淼
(四川大學(xué)電氣學(xué)院,四川 成都 610065)
自動(dòng)調(diào)制識(shí)別在軍事情報(bào)截獲、電子偵察和無線電監(jiān)控等領(lǐng)域有著廣泛的應(yīng)用?;跊Q策論方法理論成熟,但需要很多先驗(yàn)信息[1]?;诮y(tǒng)計(jì)模式識(shí)別方法中基于高階累積量(Higher Order Cumulant,HOC)方法的識(shí)別具有簡(jiǎn)單、有效和運(yùn)算量小的特點(diǎn),且高階累積量能有效抑制零均值高斯白噪聲(white Gaussian noise,WGN)對(duì)系統(tǒng)的影響。
1992年,Reichert J[2]首次使用高階累積量特征參數(shù)與決策樹閾值判決進(jìn)行調(diào)制樣式的識(shí)別。文獻(xiàn)[3-6]采用從四階到八階不同類型的高階累積量作為訓(xùn)練特征,并采用支持向量機(jī)等分類器分類,實(shí)現(xiàn)了多類調(diào)制信號(hào)的識(shí)別。文獻(xiàn)[7]對(duì)高階累積量組合的設(shè)計(jì)兩個(gè)高階特征參量,定義三個(gè)判決門限,實(shí)現(xiàn)了快速分類識(shí)別。近些年來,高階累積量或其組合與深度學(xué)習(xí)算法結(jié)合識(shí)別成為一種新的趨勢(shì)[8]。文獻(xiàn)[9]把IQ數(shù)據(jù)與高階累積量結(jié)合構(gòu)造一種結(jié)構(gòu)為3×128的特征樣本,長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)作分類器實(shí)現(xiàn)調(diào)制樣式的分類,在SNR=0dB時(shí)取得了80%左右的識(shí)別率。文獻(xiàn)[10]提出一種基于高階累積量和堆疊自編碼器的三級(jí)調(diào)制識(shí)別算法,第一級(jí)與第三級(jí)為高階累積量閾值判決,第二級(jí)為堆疊自編碼器,在低信噪比下取得較好的識(shí)別效果。Zhao Z J等人[11]采用受限波爾茲曼機(jī)模型和高階累積量特征參數(shù),完成了多類別調(diào)制信號(hào)識(shí)別。A.Ali,F(xiàn).Yangyu[12]首次提出了基于深度學(xué)習(xí)自編碼器網(wǎng)絡(luò)的非負(fù)性約束訓(xùn)練的方法。使用非負(fù)性約束來訓(xùn)練自動(dòng)編碼器以學(xué)習(xí)輸入數(shù)據(jù)的稀疏的、基于部分的表示。文獻(xiàn)[13]利用高階累積量和反向傳播神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了九類數(shù)字調(diào)制信號(hào)的識(shí)別。以上算法雖然取得了較好的識(shí)別效果,但在低信噪比環(huán)境下識(shí)別率不穩(wěn)定,而且存在預(yù)處理工作復(fù)雜、網(wǎng)絡(luò)參數(shù)較多、特征參數(shù)難以提取等問題。針對(duì)上述問題,本文提出一種結(jié)合稀疏自編碼器與高階累積特征閾值判決(High Order Cumulative Feature && Sparse Autoencoder,HOCF-SAE)的二階調(diào)制識(shí)別模型。不同于端到端的自動(dòng)調(diào)制識(shí)別算法,該方法提出了一種二級(jí)調(diào)制分類結(jié)構(gòu)。對(duì)高階累積量進(jìn)行了多種組合方式,充分利用多個(gè)高階累積量信息,針對(duì)MFSK和MQAM的類間特性構(gòu)造了對(duì)應(yīng)的高階累計(jì)特征。仿真結(jié)果表明在低信噪比環(huán)境下,綜合識(shí)別率較對(duì)比算法有所提高,且擁有較低的算法復(fù)雜度。
高斯環(huán)境下接受到噪聲影響的數(shù)字調(diào)制信號(hào),可以表示如式(1)所示
(1)
其中k=1,2,…,N,g(·)代表發(fā)送的是碼元波形,理想情況下希望是矩形脈沖,而實(shí)際情況大多是使用升余弦等脈沖方式,Kt是平均功率歸一化后的碼元序列,且碼元之間相互獨(dú)立且概率相等的傳輸,N是觀測(cè)數(shù)據(jù)的序列長(zhǎng)度,E表示發(fā)送碼元波形的能量,ωc為載波頻率,θ為相位偏差,Ts是碼元符號(hào)周期,n(i)則為零均值的加性復(fù)高斯白噪聲序列。經(jīng)過下變頻,中頻濾波,解調(diào)和碼元同步[14]后可以表示為式(2)所示
(2)
其中,t=1,2,…,N,而N為觀測(cè)序列長(zhǎng)度。
對(duì)于零均值k階實(shí)平穩(wěn)隨機(jī)過程{x(i)}的m階累積量可定義如式(3)所示
cmx(τ1,τ2,…,τm-1)=cum(x(x),x(i+τ1),
…,x(i+τm-1))
(3)
對(duì)于零均值的平穩(wěn)復(fù)隨機(jī)過程{X(k)},其p階混合矩陣可表示如式(4)所示
Mpq=E[X(k)p-qX*(k)q]
(4)
其中X*(k)表示函數(shù)X(k)的共軛,如果數(shù)字調(diào)制信號(hào)發(fā)送的是概率相等,均值為零的碼元序列,且g(·)選用的是單位矩形脈沖形式。因此X(k)的二階至八階累積量計(jì)算公式如式(5)所示
(5)
若X為零均值高斯噪聲,其高于二階累積量的值恒等于0,因而高階累積量對(duì)高斯噪聲有良好的抑制特性,引入高階累積量作特征可以大幅降低高斯白噪聲對(duì)調(diào)試識(shí)別系統(tǒng)識(shí)別效果的影響。設(shè)不同調(diào)制信號(hào)的能量為E,可以推導(dǎo)得本論文調(diào)制信號(hào)的累積量理論值如表1所示。
表1 各階累積量理論值
由表1分析可得,不同調(diào)制信號(hào)計(jì)算的高階累積量的理論值,具有明顯的特征差異,可以利用高階累計(jì)量以及構(gòu)造的組合特征參數(shù)實(shí)現(xiàn)調(diào)制信號(hào)類別之間的分類。對(duì)于2ASK,4ASK,2PSK,4PSK和OFDM這幾類信號(hào),特征參數(shù)之間的差異性較好,但是對(duì)于MQAM和MFSK而言,16QAM與32QAM、2FSK,4FSK與8FSK的各高階累積量理論值鄰近,類間識(shí)別效果較差,可以進(jìn)一步提取更加針對(duì)性的特征參數(shù)對(duì)進(jìn)行分類識(shí)別。
稀疏自編碼器(Sparse Auto-Encoder,SAE)是一種盡可能復(fù)現(xiàn)輸入信號(hào)的神經(jīng)網(wǎng)絡(luò),其基本單元自編碼器是對(duì)稱無監(jiān)督三層神經(jīng)網(wǎng)絡(luò)[15]。網(wǎng)絡(luò)由編碼層和解碼層組成。本文采取稀疏自編碼器(Sparse Auto-Encoder,SAE)提取信號(hào)特征,再級(jí)聯(lián)Sotfmax分類器進(jìn)行初分類,為一個(gè)分層結(jié)構(gòu),由輸入層、輸出層和多個(gè)隱層組成。編碼過程將高維輸入數(shù)據(jù)轉(zhuǎn)換為低維特征空間,如式(6)所示
y=f(Wx+b)
(6)
解碼過程從特征空間重構(gòu)出輸出數(shù)據(jù),實(shí)質(zhì)上是編碼的逆過程,如式(7)所示
z=f(WTy+b′)
(7)
式中WT和b′分別代表隱藏層到重構(gòu)層的權(quán)值矩陣和偏置矩陣。SAE的代價(jià)函數(shù)可表示如式(8-10)所示
Jcos t(Ψ,Z,x)=JMSE(Ψ,Z,x)+Jweight(Ψ)
(8)
(9)
(10)
其中,Ψ={W,b},W表示自編碼器權(quán)重矢量,b表示隱藏層偏置矢量,Μ是訓(xùn)練樣本的數(shù)目,ZΨ(x(i))表示第i個(gè)樣本的重構(gòu)輸出數(shù)據(jù),x(i)表示第i個(gè)樣本,λ是權(quán)重衰減參數(shù),W1和W2分別表示輸入層到隱藏層、隱藏層到輸出層的權(quán)重矩陣。自編碼器的重構(gòu)誤差較小的時(shí)候,原始輸入數(shù)據(jù)的大部分信息將被保留,但這不足以讓自編碼器學(xué)習(xí)到所需要的特征,同時(shí)為了用盡可能少的節(jié)點(diǎn)來表示輸入數(shù)據(jù),通過對(duì)隱藏層節(jié)點(diǎn)加入稀疏約束構(gòu)造稀疏自編碼器[16]。SAE的整體損失函數(shù)表示如式(11)所示
Jcos t(Ψ,Z,x)=JMSE(Ψ,Z,x)+Jweight(Ψ)+Jsparse(δ)
(11)
編碼和解碼的非線性映射函數(shù)為sigmoid函數(shù),結(jié)合稀疏自動(dòng)編碼器反向傳播和梯度下降算法,更新參數(shù)結(jié)合Ψ,可得更新公式如式(12-13)所示
(12)
(13)
其中η為迭代步長(zhǎng)系數(shù),即學(xué)習(xí)率。假設(shè)輸入數(shù)據(jù)為x(i),其對(duì)應(yīng)標(biāo)簽為y(i)對(duì)c類nd個(gè)樣本構(gòu)成的回歸模型訓(xùn)練集表示如式(14)所示
Θ:{(x(1),y(1)),(x(2),y(2)),…,(x(nd),y(nd))}
(14)
Softmax分類器與堆棧稀疏自編碼器的組成是監(jiān)督式學(xué)習(xí)算法,對(duì)于給定輸入x,使用Softmax回歸模型對(duì)其進(jìn)行估計(jì),測(cè)試目標(biāo)x歸為ω類的概率可表示為式(15)所示
(15)
其中ω=1,2,…,c,在訓(xùn)練過程中,采用有監(jiān)督訓(xùn)練算法訓(xùn)練,訓(xùn)練得到最優(yōu)模型參數(shù)Ω,Softmax的最小化損失函數(shù)如式(16)所示
(16)
梯度下降方法是常用的參數(shù)優(yōu)化方法,經(jīng)常被用在神經(jīng)網(wǎng)絡(luò)中的參數(shù)更新過程中,梯度的含義是函數(shù)沿著某點(diǎn)處的方向?qū)?shù)可以以最快速度到達(dá)極大值,該方向?qū)?shù)定義為該函數(shù)的梯度,其基本原理是求導(dǎo)數(shù)時(shí)的鏈?zhǔn)椒▌t。本文采用反向梯度下降算法進(jìn)行有監(jiān)督的整體優(yōu)化,對(duì)于給定樣本集Θ,可得整體代價(jià)函數(shù)為式(17)所示
(17)
其中,h(x)為對(duì)應(yīng)輸入x的網(wǎng)絡(luò)輸出標(biāo)簽,nL是網(wǎng)絡(luò)的層數(shù)W(i,i+1)表示第i層和第i+1層之間權(quán)值矩陣。通過梯度下降更新得到最優(yōu)的W和b使得稀疏自編碼隱層學(xué)到較好稀疏表達(dá)。
3.2.1 算法思想
本算法的自動(dòng)調(diào)制識(shí)別分兩級(jí)實(shí)現(xiàn),第一級(jí)的輸入為高階累積量、高階累計(jì)特征和信號(hào)標(biāo)簽組成的高階累積片段,用稀疏編碼器級(jí)聯(lián)Softmax作分類器,得到預(yù)分類結(jié)果。第二級(jí)的輸入為上一級(jí)分類后的MFSK和MQAM信號(hào)數(shù)據(jù),依據(jù)高階累積特征作閾值判決,算法的整體流程圖如圖1所示。
圖1 整體算法流程圖
算法的特征參數(shù)的選取與構(gòu)造至關(guān)重要,不但要考慮相位抖動(dòng)對(duì)高階累積量的影響,還要考慮采集信號(hào)幅值對(duì)高階累積量的影響。構(gòu)造特征應(yīng)取高階累計(jì)量絕對(duì)值形式,同時(shí)通過比值來構(gòu)造特征可以有效降低幅度對(duì)識(shí)別參數(shù)的干擾[17]。因而本文通過了多種方式對(duì)高階累積量進(jìn)行處理和組合,包括求絕對(duì)值、組合比值和計(jì)算高階次方。
根據(jù)以上理論,構(gòu)造出高階特征參數(shù)片段T={T1,T2,T3,T4,T5,T6},其各參數(shù)具體計(jì)算公式如式(18)所示
(18)
利用累積量的絕對(duì)值構(gòu)造特征參數(shù)能減小相位抖動(dòng)對(duì)特征參數(shù)的影響[18],征參數(shù)的影響利用高階累積量C21、C63與C80構(gòu)造得到特征參數(shù)Fβ,公式如式(19)所示
Fβ=(|C63|4+|C80|3)/(|C21|12)
(19)
對(duì)于MFSK信號(hào),需要將其頻率學(xué)習(xí)轉(zhuǎn)化為含有幅度信息的信號(hào),通過將MFSK信號(hào)求微分,再取高階累計(jì)量,MFSK信號(hào)求微分后的高階累積量|C?21|、|C?42|和|C?63|理論值如表2所示。
表2 MFSK信號(hào)微分后的高階累計(jì)量
因此可由C?21、C?42和C?63進(jìn)行組合得到特征參數(shù)Fα,其計(jì)算公式如式(17)所示
Fα=|C?42|/|C?21|2+|C?63|2/|C?42|3
(20)
Fα和Fβ計(jì)算出的特征理論值如表3所示。依據(jù)理論值設(shè)置判決閾值關(guān)系,對(duì)于MFSK而言,當(dāng)Fα大于8.95時(shí),判決結(jié)果為2FSK,當(dāng)Fα大于2.58且小于8.95時(shí),判決結(jié)果為4FSK,當(dāng)Fα小于2.58時(shí),判決結(jié)果為8FSK。對(duì)于QAM而言,F(xiàn)β大于780時(shí),判定結(jié)果為16QAM,F(xiàn)β小于780時(shí),判定結(jié)果為32QAM。綜上所述,通過特征閾值判決,可實(shí)現(xiàn)對(duì)MFSK信號(hào)和MQAM信號(hào)的類間識(shí)別。具體閾值判決如式(21)和式(22)所示
(21)
(22)
表3 特征參數(shù)Fα和Fβ的理論值
3.2.2 算法步驟流程圖
本文算法可描述如下幾個(gè)步驟:
1)仿真生成各個(gè)類別的數(shù)字調(diào)制信號(hào)。
2)將仿真得到的數(shù)字信號(hào)計(jì)算各階高階累計(jì)量,為避免隨機(jī)干擾的影響,高階累積量的計(jì)算方法為重復(fù)五十次計(jì)算做累加再求平均值,處理后得到T1、T2、T3,進(jìn)而計(jì)算組合特征T4,T5和T6,綜合得到高階特征參數(shù)片段T。
3)預(yù)分類階段:預(yù)分類流程圖如圖2所示,稀疏自編碼器的輸入特征為2)中提取的特征片段T,以及對(duì)應(yīng)調(diào)制方式組成的數(shù)據(jù)標(biāo)簽,通過隨機(jī)梯度下降法訓(xùn)練網(wǎng)絡(luò)參數(shù)。測(cè)試集輸入訓(xùn)練好的網(wǎng)絡(luò),從而達(dá)到出分類調(diào)制類型的目的。
4)在3)的基礎(chǔ)上,分別計(jì)算用于識(shí)別MFSK信號(hào)和MQAM信號(hào)的特征參數(shù)Fα,F(xiàn)β,利用閾值判決,進(jìn)一步辨識(shí)出不同的調(diào)制類型。
5)計(jì)算得到調(diào)制識(shí)別最終評(píng)價(jià)指標(biāo)。
圖2 稀疏自編碼器預(yù)分類流程
本文信號(hào)仿真和高階累積量提取及計(jì)算由Matlab實(shí)現(xiàn),稀疏自編碼器網(wǎng)絡(luò)采用python 3.7語言實(shí)現(xiàn)。仿真環(huán)境CPU為i5-8300H,顯卡GTX 1050Ti。信號(hào)仿真參數(shù)為載波頻率6kHz,采樣頻率15kHz,碼元速率2000bit/s的二進(jìn)制序列。信號(hào)類別有2ASK,4ASK,2FSK,4FSK,8FSK,2PSK,4PSK,16QAM,32QAM,OFDM十類數(shù)字調(diào)制。仿真信噪比從-5dB至20dB,步長(zhǎng)為2dB的零均值高斯白噪聲信道。訓(xùn)練集和測(cè)試集由仿真信號(hào)庫(kù)隨機(jī)抽樣而得。識(shí)別率統(tǒng)計(jì)曲線為十次重復(fù)仿真求和求均值繪制而得,減小隨機(jī)因素對(duì)實(shí)驗(yàn)的影響。
為驗(yàn)證本文算法中預(yù)分類的識(shí)別效果開展了預(yù)分類算法仿真,訓(xùn)練集和測(cè)試集分別為3600和600個(gè)高階累積特征片段,稀疏自編碼器作分類器。SNR=0dB時(shí),預(yù)分類的識(shí)別結(jié)果繪制混淆矩陣?yán)L制如圖3所示。
圖3 SNR=0dB時(shí) 預(yù)分類輸出混淆矩陣
由圖3中可見知,預(yù)分類后2ASK,4ASK,2PSK,4PSK,OFDM這五類信號(hào)的單類識(shí)別率較高,MFSK和MQAM信號(hào)的單類識(shí)別率較低。MFSK信號(hào)的綜合識(shí)別率為0.7,MQAM信號(hào)的綜合識(shí)別率為0.81,低于其它五類調(diào)制類型的識(shí)別率。構(gòu)思將MFSK和MQAM信號(hào)作為獨(dú)立標(biāo)簽,通過預(yù)分類和其它類型初步分離,再進(jìn)一步提取更針對(duì)MFSK和MQAM的高階累積特征,高階特征閾值判決進(jìn)一步分類,提高整體識(shí)別率。不同信噪比下開展了預(yù)分類算法與HOCF-SAE算法實(shí)驗(yàn),訓(xùn)練集和測(cè)試集分別為6000和2000個(gè)高階累積特征片段。兩者綜合識(shí)別率進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果如圖4所示。
圖4 初分類算法與HOCF-SAE算法的PCC對(duì)比圖
由圖4可知,在預(yù)分類的基礎(chǔ)上,利用高階累積特征獨(dú)立對(duì)MFSK和MQAM信號(hào)進(jìn)行分類,HOCF-SAE算法的整體識(shí)別效果較預(yù)分類有所提高。開展了HOCF-SAE算法中稀疏自編碼器替換其它機(jī)器學(xué)習(xí)分類器的對(duì)比實(shí)驗(yàn),對(duì)比組機(jī)器學(xué)習(xí)分類器為XGBoost、SVM、DecisionTree和KNN。訓(xùn)練集和測(cè)試集分別均為4000和2000個(gè)高階累積特征片段。不同信噪比下的五種算法的綜合識(shí)別率曲線繪制如圖5所示。
圖5 不同分類器的PCC與SNR之間的曲線關(guān)系圖
由圖5分析可知,HOCF-SEA算法略高于HOCF-XGBoost算法的識(shí)別效果。較HOCF-SVM算法、HOCF-Dicision Tree算法和HOCF-KNN算法的識(shí)別效果更好。深度學(xué)習(xí)分類器對(duì)調(diào)制信號(hào)的微弱特征有著更強(qiáng)的表征能力,因此稀疏自編碼器級(jí)聯(lián)Softmax作分類器較對(duì)比組的機(jī)器學(xué)習(xí)分類器在本算法結(jié)構(gòu)下取得更好的效果。
為驗(yàn)證本算法的整體識(shí)別效果,開展了所提HOCF-SEA算法與其它自動(dòng)調(diào)制識(shí)別算法的對(duì)比實(shí)驗(yàn),對(duì)比算法包括是文獻(xiàn)[10]所提算法1:基于高階累積量和堆疊自動(dòng)編碼器算法,簡(jiǎn)稱HOC-StackEA算法;文獻(xiàn)[19]所提算法2:基于高階累積量和小波變換的算法,簡(jiǎn)稱HOC-WT算法。文獻(xiàn)[20]所提算法3:利用稀疏自編碼器的算法,簡(jiǎn)稱Sparse-EA算法。訓(xùn)練集和測(cè)試集分別為12000和4000個(gè)特征參數(shù)片段。不同信噪比下,識(shí)別率曲線繪制如圖6所示。
圖6 不同算法的PCC與SNR之間的曲線關(guān)系圖
從圖6可看出在SNR小于5dB時(shí),本文所提算法與算法1的識(shí)別效果幾乎持平,相算法2和算法3有整體的提高,在SNR>10dB時(shí)所提算法、算法1和算法2綜合識(shí)別率均取得1.0。由于高階累積量和高階累積特征的應(yīng)用,極大程度上減輕了WGN對(duì)系統(tǒng)的干擾,因而本算法在低信噪比環(huán)境下仍然具有良好的識(shí)別效果,在SNR=0dB時(shí),綜合識(shí)別率達(dá)到0.87,在SNR=5dB時(shí),綜合識(shí)別率趨于1.0,較算法1和算法2表現(xiàn)更好。
本文對(duì)所提算法、算法1和算法2的復(fù)雜度進(jìn)行了對(duì)比分析,其空間復(fù)雜度如表4所示。
表4 不同算法的空間復(fù)雜度對(duì)比
本文算法的結(jié)構(gòu)復(fù)雜度可用(6:10:7)+2表示,其中(6:10:7)代表稀疏自編碼機(jī)的網(wǎng)絡(luò)結(jié)構(gòu),6表示輸入層節(jié)點(diǎn)個(gè)數(shù),10表示輸出層節(jié)點(diǎn)數(shù),7表示輸出層的節(jié)點(diǎn)數(shù)。2表示閾值特征Fα和Fβ提取的節(jié)點(diǎn)數(shù)。算法1的網(wǎng)絡(luò)結(jié)構(gòu)為(6:8:11)+5,6表示堆疊自編碼機(jī)輸入層節(jié)點(diǎn)個(gè)數(shù),8表示隱藏層單元數(shù),11表示softmax層節(jié)點(diǎn)數(shù),5為特征參數(shù)進(jìn)行判決的節(jié)點(diǎn)數(shù)。算法2的網(wǎng)絡(luò)結(jié)構(gòu)為(3:10:10)+2,3表示神經(jīng)網(wǎng)絡(luò)輸入節(jié)點(diǎn)數(shù),隱含層和輸出層節(jié)點(diǎn)數(shù)均為10,2表示特征參數(shù)提取過程的節(jié)點(diǎn)數(shù)。由復(fù)雜度對(duì)比可知,所提算法的復(fù)雜度相對(duì)算法2持平,較算法1更低,是由于隱含層的節(jié)點(diǎn)數(shù)較算法1少。
本文提出一種基于高階累積特征,結(jié)合稀疏自編碼器與特征閾值判決的兩階調(diào)制識(shí)別模型。首先計(jì)算各階高階累積量,并采取多種構(gòu)造方法,組合構(gòu)造若干高階特征參數(shù),與信號(hào)標(biāo)簽組合成高階累積片段,作為預(yù)分類階段的輸入數(shù)據(jù);然后經(jīng)由稀疏自編碼器級(jí)聯(lián)Softmax分類器進(jìn)行預(yù)分類;最后根據(jù)MFSK和MQAM的特性構(gòu)造了對(duì)應(yīng)的高階特征參數(shù),設(shè)置閾值參數(shù),運(yùn)用判決算法完成二階分類,最終實(shí)現(xiàn)了十類數(shù)字調(diào)制方式的自動(dòng)識(shí)別。仿真驗(yàn)證,相比于對(duì)照組調(diào)制識(shí)別算法,在低信噪比環(huán)境中,綜合識(shí)別率有所提高。并且隨著信噪比的提高,綜合識(shí)別率更快的趨于1.0,且算法整體復(fù)雜度較低。本文算法依賴較為較大量的樣本數(shù)據(jù)和復(fù)雜的高階組合特征,下一步可針對(duì)更小的樣本或更新的高階特征組合方式展開研究。