基于深度學(xué)習(xí)注意力機(jī)制的調(diào)制識(shí)別方法*

杜志毅，張澄安，徐 強(qiáng)，李保國(guó)

（國(guó)防科技大學(xué)電子信息系統(tǒng)復(fù)雜電磁環(huán)境效應(yīng)國(guó)家重點(diǎn)實(shí)驗(yàn)室，湖南長(zhǎng)沙410073）

0 引言

信號(hào)的自動(dòng)調(diào)制識(shí)別[1-2]是指已知信號(hào)所在調(diào)制集合，利用相關(guān)技術(shù)正確識(shí)別目標(biāo)信號(hào)調(diào)制類型。隨著通信技術(shù)的發(fā)展，各種新型調(diào)制方式不斷出現(xiàn)，調(diào)制識(shí)別技術(shù)需要不斷發(fā)展以適應(yīng)不同情況下的識(shí)別要求。

現(xiàn)有的有關(guān)調(diào)制識(shí)別的大多數(shù)技術(shù)一般都是基于特征提取和機(jī)器學(xué)習(xí)分類算法[3-4]。但是這些方法多數(shù)為模型驅(qū)動(dòng)，需要對(duì)信號(hào)進(jìn)行預(yù)處理。另外其適應(yīng)信道環(huán)境單一，在復(fù)雜信道環(huán)境時(shí)識(shí)別性能較差。傳統(tǒng)的特征提取方法是基于統(tǒng)計(jì)資料的[5]，因此分類結(jié)果易受環(huán)境變化影響。基于機(jī)器學(xué)習(xí)的調(diào)制識(shí)別方法也是需要人為提取信號(hào)的特征，不能像深度學(xué)習(xí)一樣自主提取出信號(hào)的特征。因此這些方法在復(fù)雜的信道環(huán)境下識(shí)別準(zhǔn)確率不會(huì)很高，在實(shí)際的通信系統(tǒng)中難以使用。

深度學(xué)習(xí)的方法[6-7]被認(rèn)為是突破性能瓶頸的有效方法[8]。Xie等人提出了一種改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)識(shí)別方法網(wǎng)絡(luò)(DNN)[9]。Aslam等將基因編程(GP)和KNN結(jié)合起來準(zhǔn)確識(shí)別4種調(diào)制模式[10]。與上述方法不同，本文提出了一種基于注意力機(jī)制的雙向LSTM卷積神經(jīng)網(wǎng)絡(luò)（BLACN)。其通過對(duì)同向正交IQ樣本進(jìn)行訓(xùn)練,利用卷積神經(jīng)網(wǎng)絡(luò)優(yōu)秀的特征提取能力，實(shí)現(xiàn)對(duì)復(fù)雜調(diào)制方式識(shí)別特征的提取。并通過注意力機(jī)制和雙向LSTM關(guān)注信號(hào)的關(guān)鍵特征與時(shí)序信息來提高信號(hào)的識(shí)別準(zhǔn)確率。

1 系統(tǒng)與信號(hào)模型

1.1 系統(tǒng)模型

圖1展示了信號(hào)調(diào)制識(shí)別的系統(tǒng)架構(gòu)。信號(hào)源的信息通過信號(hào)調(diào)制轉(zhuǎn)換為不同調(diào)制樣式的信號(hào)，通過信道進(jìn)行傳輸。本文考慮的信道環(huán)境為高斯信道。接收端首先將接收到的信號(hào)進(jìn)行調(diào)制樣式的識(shí)別，之后對(duì)識(shí)別出調(diào)制樣式的信號(hào)進(jìn)行解調(diào)得到所要傳輸?shù)男畔ⅰ?/p>

圖1 信號(hào)調(diào)制識(shí)別系統(tǒng)結(jié)構(gòu)框圖

樣本為2×K大小的實(shí)值矩陣。

1.2 信號(hào)模型

通信信號(hào)的調(diào)制方式按照其調(diào)制原理的不同，主要分為模擬調(diào)制和數(shù)字調(diào)制2大類。模擬調(diào)制分為幅度調(diào)制和角度調(diào)制2種。數(shù)字調(diào)制分為幅度鍵控、頻移鍵控、相移鍵控、正交振幅調(diào)制4大類，分別通過對(duì)載波的幅度、頻率、相位、幅度和相位進(jìn)行調(diào)制，以傳輸基帶信號(hào)。本文給出正交振幅調(diào)制的信號(hào)模型如下：

信號(hào)的基帶波形可以表示為：

式中,ν(t)表示加性高斯白噪聲；g(t)表示等效濾波器，包括成型濾波、信道濾波和匹配濾波；a n表示發(fā)送端所發(fā)送的符號(hào)序列。不同的調(diào)制方式，符號(hào)序列呈現(xiàn)的樣式也不盡相同。

對(duì)于正交振幅調(diào)制，有：

此信號(hào)為M(M=2k,k=1,2…)進(jìn)制，A i、B j分別是2支路信號(hào)的幅度，其定義為：

式中，i,j=1,2,…,L，對(duì)于取值范圍L，其與信號(hào)的階數(shù)M相關(guān)。例如，L=1,則為4QAM；若L=2時(shí)，則為16QAM。本文主要考慮11種信號(hào)，分別為BPSK、QPSK、8PSK、16QAM、2FSK、MSK、FM、AM、2ASK、4FSK和OQPSK。這11種信號(hào)能覆蓋大部分常見的信號(hào)調(diào)制方式，使本文的仿真實(shí)驗(yàn)更具有說服力。

2 識(shí)別算法

2.1 注意力機(jī)制

Mnih V、Heess N[11]首先在圖像識(shí)別領(lǐng)域提出注意力機(jī)制。從視覺注意力機(jī)制來說明注意力機(jī)制：人類視覺通過快速掃描全局圖像，獲得需要重點(diǎn)關(guān)注的目標(biāo)區(qū)域，也就是一般所說的注意力焦點(diǎn)，而后對(duì)這一區(qū)域投入更多注意力資源，以獲取更多所需要關(guān)注目標(biāo)的細(xì)節(jié)信息，而抑制其他無用信息。這就是我們?cè)趯W(xué)習(xí)中所理解的注意力。

目前注意力機(jī)制主要有自注意力機(jī)制和注意力池化2種。由于自注意力機(jī)制能夠關(guān)注到序列中每個(gè)位置之間的關(guān)系，因此通信信號(hào)識(shí)別過程可以在LSTM輸出層加入自注意力機(jī)制，從而讓深度學(xué)習(xí)算法能夠關(guān)注由LSTM提取的信號(hào)特征表現(xiàn)出的序列性，增強(qiáng)通信信號(hào)的時(shí)序特征。

注意力機(jī)制包括3個(gè)結(jié)構(gòu)：查詢項(xiàng)(Query)、鍵項(xiàng)(Key)，值項(xiàng)(Value)。根據(jù)這3個(gè)結(jié)構(gòu)可以計(jì)算出深度學(xué)習(xí)學(xué)習(xí)出的通信信號(hào)的特征對(duì)于對(duì)應(yīng)類別的信號(hào)的影響程度。計(jì)算過程圖2所示。

圖2 注意力計(jì)算流程

即將Source中的構(gòu)成元素想象成是由一系列的＜Key,Value＞數(shù)據(jù)對(duì)構(gòu)成，此時(shí)給定Target中的某個(gè)元素Query，通過計(jì)算Query和各個(gè)Key的相似性或者相關(guān)性，得到每個(gè)Key對(duì)應(yīng)Value的權(quán)重系數(shù)，然后對(duì)Value進(jìn)行加權(quán)求和，即得到了最終的Attention數(shù)值。所以本質(zhì)上Attention機(jī)制是對(duì)Source中元素的Value值進(jìn)行加權(quán)求和，而Query和Key用來計(jì)算對(duì)應(yīng)Value的權(quán)重系數(shù)。

上述過程可表示為：

注意力機(jī)制可以幫助深度學(xué)習(xí)模型關(guān)注到信號(hào)數(shù)據(jù)集的關(guān)鍵特征。本文提出的BLACN網(wǎng)絡(luò)注意力層采用的是乘性注意力。

2.2 雙向長(zhǎng)短期記憶網(wǎng)絡(luò)Bi LSTM

Bi LSTM網(wǎng)絡(luò)是LSTM網(wǎng)絡(luò)的改進(jìn)網(wǎng)絡(luò)。LSTM網(wǎng)絡(luò)憑借其記憶時(shí)序的特性，首先運(yùn)用于NLP自然語言處理領(lǐng)域，隨后在各個(gè)領(lǐng)域都取得了較好的效果。通信領(lǐng)域中，多篇深度學(xué)習(xí)相關(guān)的論文都應(yīng)用了LSTM，提高了模型的魯棒性。

LSTM又稱為長(zhǎng)短期記憶網(wǎng)絡(luò)，為RNN循環(huán)神經(jīng)網(wǎng)絡(luò)的變種。RNN循環(huán)神經(jīng)神經(jīng)網(wǎng)絡(luò)能夠?qū)τ洃洈?shù)據(jù)的特征，但是由于網(wǎng)絡(luò)層數(shù)過多，在參數(shù)的方向傳播中產(chǎn)生了梯度爆炸的問題，因此LSTM應(yīng)運(yùn)而生。

LSTM的每一個(gè)隱含層都包括遺忘門、輸入門、輸出門3個(gè)“門”結(jié)構(gòu)。LSTM長(zhǎng)短期記憶網(wǎng)絡(luò)憑借3種門結(jié)構(gòu)，能夠?qū)W習(xí)數(shù)據(jù)的時(shí)序特征，并且很大程度上解決了梯度爆炸的問題。

LSTM網(wǎng)絡(luò)能夠提取信號(hào)的時(shí)序特征信息，而雙向長(zhǎng)短期記憶網(wǎng)絡(luò)BiLSTM網(wǎng)絡(luò)在提取信號(hào)時(shí)序特征情況的前提下，還可以關(guān)注信號(hào)的歷史信息，BiLSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。本文采用雙向LSTM網(wǎng)絡(luò)來進(jìn)行模型的搭建。

圖3 BiLSTM網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3 BLACN網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的網(wǎng)絡(luò)結(jié)構(gòu)是結(jié)合了上文介紹的注意力機(jī)制與雙向長(zhǎng)短期記憶網(wǎng)絡(luò)BiLSTM的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)BLACN，其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖4所示。網(wǎng)絡(luò)首先是4層Conv卷積網(wǎng)絡(luò)，其中第1層卷積至第4層卷積皆在卷積后使用了1×2最大池化。4層卷積網(wǎng)絡(luò)后是兩層雙向長(zhǎng)短期記憶網(wǎng)絡(luò)層(BiLSTM Layer)，來關(guān)注信號(hào)的時(shí)序信息，之后是一層注意力層(Attention Layer),來找到信號(hào)的關(guān)鍵特征用于調(diào)制方式的識(shí)別。最后就是經(jīng)過全連接層(Dense Layer)輸出11種信號(hào)調(diào)制類別的識(shí)別結(jié)果。網(wǎng)絡(luò)除輸出層采用Softmax激活函數(shù)外，其余各層皆采用ReLu激活函數(shù)。

圖4 BLACN網(wǎng)絡(luò)結(jié)構(gòu)圖

網(wǎng)絡(luò)優(yōu)化過程中，采用Adam算法進(jìn)行網(wǎng)絡(luò)參數(shù)的最優(yōu)解求解。

2.4 數(shù)據(jù)集制作

為了使樣本更具多樣性，考慮到實(shí)際接收信號(hào)存在多方面因素的影響，本文設(shè)置了高斯白噪聲信道環(huán)境進(jìn)行數(shù)據(jù)集的制作。圖5為數(shù)據(jù)集制作流程。在研究初期，為了更好地控制信號(hào)的質(zhì)量，信號(hào)集利用Matlab平臺(tái)產(chǎn)生。

圖5 數(shù)據(jù)集制作流程圖

1）特定調(diào)制模式與隨機(jī)比特?cái)?shù)據(jù)

仿真數(shù)據(jù)集為2×1024大小的IQ數(shù)據(jù)，本文所需識(shí)別的調(diào)制類型包含前文所說的11種常見信號(hào)。信號(hào)碼元由MATLAB生成隨機(jī)比特?cái)?shù)據(jù)進(jìn)行調(diào)制。

2）標(biāo)準(zhǔn)信號(hào)的生成

數(shù)字信號(hào)中心頻率在902 GHz，模擬信號(hào)中心頻率在100 GHz，脈沖成型濾波器采用根升余弦成型濾波器，其滾降系數(shù)為0.35，初始相位在0～2π范圍內(nèi)隨機(jī)選擇，采樣頻率是200 MHz，每個(gè)符號(hào)采樣點(diǎn)數(shù)為8，單個(gè)樣本長(zhǎng)度為1 024，每一幀長(zhǎng)度為128。

3）信道環(huán)境

本文信道環(huán)境采用高斯白噪聲信道。信噪比范圍為0～10 d B，步進(jìn)為1，單載波信號(hào)每種調(diào)制方式在每種信噪比下樣本數(shù)目為500個(gè)，樣本數(shù)55 000個(gè)。

2.5 算法識(shí)別流程

根據(jù)前面的分析，本文算法識(shí)別流程如下：

1）構(gòu)建網(wǎng)絡(luò)模型，利用預(yù)先制作好的訓(xùn)練樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，當(dāng)網(wǎng)絡(luò)達(dá)到穩(wěn)態(tài)時(shí)，保存網(wǎng)絡(luò)。

2）對(duì)于目標(biāo)測(cè)試信號(hào)，通過傅里葉變換進(jìn)行載頻粗估，并利用包絡(luò)譜線估計(jì)出符號(hào)速率，用估計(jì)出的載頻對(duì)信號(hào)進(jìn)行下變頻，根據(jù)符號(hào)速率計(jì)算方根升余弦函數(shù)進(jìn)行匹配濾波得到基帶復(fù)信號(hào)。

3）對(duì)信號(hào)進(jìn)行采樣得到2×1 024的IQ信號(hào)樣本。再對(duì)處理好的數(shù)據(jù)進(jìn)行歸一化處理得到待識(shí)別的信號(hào)樣本。

4）利用所保存的網(wǎng)絡(luò)對(duì)已進(jìn)行預(yù)處理的信號(hào)進(jìn)行調(diào)制識(shí)別，最終得到信號(hào)調(diào)制類別。

3 仿真驗(yàn)證及分析

深度學(xué)習(xí)的環(huán)境語言配置為Python 3.7，Tensor-Flow 1.14.0，Keras 2.3.1，計(jì)算機(jī)設(shè)備為CPU:E5-2630,GPU:2080T。對(duì)整個(gè)數(shù)據(jù)隨機(jī)(固定隨機(jī)種子)將其劃分為訓(xùn)練集和測(cè)試集，比例為8∶2；批尺寸batch size為64。

3.1 網(wǎng)絡(luò)識(shí)別性能對(duì)比

本文中定義的調(diào)制識(shí)別性能指標(biāo)為：

本文采用O’Shea 2016年提出的傳統(tǒng)卷積網(wǎng)絡(luò)CNN[12]作為基線模型，對(duì)本文提出的BLACN網(wǎng)絡(luò)進(jìn)行性能測(cè)試。下面給出仿真測(cè)試的結(jié)果圖，首先是3種網(wǎng)絡(luò)在不同信噪比下的信號(hào)識(shí)別率（如圖6所示）。從圖中可以看出本文提出的算法性能在一定程度上優(yōu)于其他算法。這是由于本文算法利用了雙向長(zhǎng)短期記憶網(wǎng)絡(luò)和注意力機(jī)制關(guān)注信號(hào)的關(guān)鍵特征與時(shí)序信息，提高了信號(hào)的識(shí)別準(zhǔn)確率。傳統(tǒng)卷積網(wǎng)絡(luò)CNN在信噪比為10 d B的情況下識(shí)別率為93%左右，而對(duì)于加入雙向長(zhǎng)短期記憶網(wǎng)絡(luò)層的CNNBi LSTM網(wǎng)絡(luò)，在10 d B的情況下識(shí)別率能夠提升到97%左右。本文提出的BLACN網(wǎng)絡(luò)的識(shí)別效果最佳，在10 d B的情況下能夠達(dá)到99%。

圖6 不同信噪比下信號(hào)識(shí)別率

從BLACN網(wǎng)絡(luò)0 dB、5 d B、10 d B3種信噪比下的信號(hào)識(shí)別混淆的情況看，本文算法在低信噪比下仍能取得較好的性能，相移鍵控信號(hào)中QPSK，8PSK與正交振幅調(diào)制信號(hào)16QAM識(shí)別效果在低信噪比下較差。而對(duì)于幅度鍵控調(diào)制、頻移鍵控調(diào)制和模擬調(diào)制信號(hào)在0 dB條件下，識(shí)別效果仍能接近100%。

3.2 算法時(shí)間復(fù)雜度對(duì)比

表1給出了不同算法對(duì)目標(biāo)信號(hào)進(jìn)行識(shí)別的時(shí)間復(fù)雜度，實(shí)驗(yàn)結(jié)果是對(duì)10 000個(gè)實(shí)驗(yàn)樣本的結(jié)果進(jìn)行統(tǒng)計(jì)平均得出的。從表中可以看出，BLACN網(wǎng)絡(luò)識(shí)別過程的時(shí)間復(fù)雜度高于CNNBi LSTM網(wǎng)絡(luò)，CNNBiLSTM網(wǎng)絡(luò)高于CNN網(wǎng)絡(luò)。這是由于網(wǎng)絡(luò)中增加的雙向長(zhǎng)短期記憶網(wǎng)絡(luò)層和注意力層提高了網(wǎng)絡(luò)的復(fù)雜度，使算法的時(shí)間復(fù)雜度提高。但另一方面，深度學(xué)習(xí)方法得益于現(xiàn)在GPU并行運(yùn)算能力的提高，神經(jīng)網(wǎng)絡(luò)大部分運(yùn)算都可以并行完成。所以深度學(xué)習(xí)方法可以利用計(jì)算開銷換取計(jì)算速度，最終能夠?qū)崿F(xiàn)快速運(yùn)算?？傮w可以看出，本文提出算法的信號(hào)識(shí)別時(shí)間在毫秒級(jí)別。雖然高于傳統(tǒng)CNN網(wǎng)絡(luò)，但增加的時(shí)間在可接受的范圍內(nèi)，可以達(dá)到實(shí)時(shí)性處理的要求。

表1 時(shí)間復(fù)雜度ms

4 結(jié)束語

本文提出的BLACN，是通過對(duì)信號(hào)同向正交IQ樣本進(jìn)行訓(xùn)練,利用卷積神經(jīng)網(wǎng)絡(luò)優(yōu)秀的特征取能力，來實(shí)現(xiàn)對(duì)復(fù)雜調(diào)制方式識(shí)別特征的提取。并通過注意力機(jī)制和雙向LSTM關(guān)注信號(hào)的關(guān)鍵特征與時(shí)序信息來提高信號(hào)的識(shí)別準(zhǔn)確率。仿真實(shí)驗(yàn)表明，相比于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，識(shí)別性能有明顯的提升并且有著較好的泛化性能，證明注意力機(jī)制與雙向長(zhǎng)短期記憶網(wǎng)絡(luò)在信號(hào)調(diào)制識(shí)別方面有著較好的效果，具有較好的應(yīng)用前景和研究?jī)r(jià)值。