邊緣計(jì)算中基于深度Q網(wǎng)絡(luò)的物理層假冒攻擊檢測方法

楊建喜，張媛利，蔣 華，朱曉辰

（1.北京電子科技學(xué)院通信工程系，北京 100070；2.西安電子科技大學(xué)通信工程學(xué)院，西安 710071）

（?通信作者電子郵箱13772186903@163.com）

0 引言

隨著5G 開啟商用，以及物聯(lián)網(wǎng)和人工智能的快速發(fā)展，各種垂直行業(yè)業(yè)務(wù)如智能制造、車聯(lián)網(wǎng)等所產(chǎn)生的數(shù)據(jù)量呈幾何式上升，而傳統(tǒng)云計(jì)算的集中式存儲(chǔ)與計(jì)算的模式已然無法滿足這些業(yè)務(wù)對(duì)網(wǎng)絡(luò)實(shí)時(shí)性、安全性等問題的需求。為此，國內(nèi)外學(xué)者們提出了邊緣計(jì)算的概念。邊緣計(jì)算作為新范式，是指在靠近物或數(shù)據(jù)源頭的網(wǎng)絡(luò)邊緣側(cè)，融合網(wǎng)絡(luò)、存儲(chǔ)、計(jì)算、應(yīng)用核心能力，就近提供邊緣智能服務(wù)的開放平臺(tái)，廣泛應(yīng)用在物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、虛擬現(xiàn)實(shí)、智能制造等領(lǐng)域［1-3］。與云計(jì)算相比，邊緣計(jì)算與數(shù)據(jù)源距離更近，從而可以第一時(shí)間獲取數(shù)據(jù)，并進(jìn)行實(shí)時(shí)分析及智能處理，所以更加安全和高效。邊緣計(jì)算具有的分布式低延時(shí)、高效率、高安全性和緩解流量壓力等特點(diǎn)彌補(bǔ)了傳統(tǒng)云計(jì)算的不足，兩者相輔相成，以云計(jì)算為基礎(chǔ)，邊緣計(jì)算為核心，可以協(xié)同解決海量數(shù)據(jù)處理的問題［4］。邊緣計(jì)算網(wǎng)絡(luò)的關(guān)鍵組成有邊緣計(jì)算服務(wù)器/節(jié)點(diǎn)和終端設(shè)備，兩者通過無線通信和網(wǎng)絡(luò)技術(shù)建立可靠的無線鏈路［2］。由于無線信道的開放廣播特性，使得邊緣計(jì)算網(wǎng)絡(luò)容易受到惡意終端設(shè)備的假冒攻擊，當(dāng)假冒攻擊者以合法身份與邊緣計(jì)算設(shè)備建立通信連接時(shí)，會(huì)進(jìn)一步實(shí)現(xiàn)中間人攻擊和拒絕服務(wù)攻擊，因此必須采取有效的安全技術(shù)來解決邊緣計(jì)算中的假冒攻擊威脅。物理層安全技術(shù)通過利用無線傳輸信道的唯一性、時(shí)變性和互易性等天然特性，基于信道脈沖響 應(yīng)（Channel Impulse Response，CIR）、信道狀態(tài)信息（Channel State Information，CSI）、信道頻率響應(yīng)（Channel Frequency Responses，CFR）等信道參數(shù)來檢測假冒攻擊者，具有實(shí)現(xiàn)復(fù)雜度低和安全性能強(qiáng)的特點(diǎn)，被認(rèn)為是一項(xiàng)有前景的技術(shù)［5］，適用于邊緣計(jì)算中的假冒攻擊檢測。

強(qiáng)化學(xué)習(xí)作為一種以環(huán)境反饋?zhàn)鳛檩斎搿⒆赃m應(yīng)環(huán)境的特殊機(jī)器學(xué)習(xí)方法，用戶可以在不知道系統(tǒng)信息的情況下在動(dòng)態(tài)環(huán)境中獲得最優(yōu)策略。其次，在實(shí)際場景中，終端用戶并不是靜態(tài)的，而且邊緣計(jì)算服務(wù)器和用戶之間的通信環(huán)境也會(huì)由于周圍環(huán)境中的變動(dòng)而發(fā)生改變，所以通信雙方的信道環(huán)境是動(dòng)態(tài)變化的。因此，利用強(qiáng)化學(xué)習(xí)算法可實(shí)現(xiàn)動(dòng)態(tài)環(huán)境中既定目標(biāo)的最優(yōu)策略而不需要知道系統(tǒng)的細(xì)節(jié)信息。文獻(xiàn)［6］提出利用強(qiáng)化學(xué)習(xí)算法在動(dòng)態(tài)環(huán)境中進(jìn)行用戶身份主動(dòng)認(rèn)證的安全防護(hù)方案。文獻(xiàn)［7］通過基于Q-Learning 的信道選擇策略解決了存在的干擾攻擊?；赒-Learning 的方法在高維空間且狀態(tài)數(shù)目多的場景中學(xué)習(xí)速率很低［8］，而深度Q網(wǎng)絡(luò)（Deep Q-Network，DQN）在Q-Learning 的基礎(chǔ)上結(jié)合了深度學(xué)習(xí)技術(shù)，利用神經(jīng)網(wǎng)絡(luò)來近似Q值估計(jì)，可以提高收斂速率。因此，文中將利用DQN 算法優(yōu)化檢測閾值的選擇，實(shí)現(xiàn)動(dòng)態(tài)環(huán)境下更為準(zhǔn)確的假冒攻擊檢測。

邊緣計(jì)算可以為海量終端提供實(shí)時(shí)響應(yīng)、避免網(wǎng)絡(luò)擁塞，具有更好的安全性能，但也面臨著一些安全問題，如隱私數(shù)據(jù)泄露、假冒攻擊、竊聽攻擊和側(cè)信道攻擊等［9-10］。對(duì)此，研究學(xué)者們提出了一些解決方法：文獻(xiàn)［11］基于“云-邊-端”三層體系架構(gòu)提出了邊緣計(jì)算服務(wù)器和終端設(shè)備之間的安全相互認(rèn)證方案Octopus，該方案在認(rèn)證過程中采用對(duì)稱加密算法，且允許任何終端設(shè)備在已授權(quán)情況下與任一邊緣計(jì)算服務(wù)器進(jìn)行相互認(rèn)證，從而能夠有效抵抗假冒攻擊、重放攻擊等；文獻(xiàn)［12］在Octopus的基礎(chǔ)上進(jìn)行改進(jìn)，通過使用雙線性配對(duì)算法來進(jìn)行終端設(shè)備接入認(rèn)證，可以在不暴露設(shè)備真實(shí)身份的同時(shí)驗(yàn)證設(shè)備的合法性，避免了惡意設(shè)備收集終端設(shè)備的合法身份信息；文獻(xiàn)［13］在多接入邊緣計(jì)算中提出一種拒絕服務(wù)攻擊的防御模型，通過利用邊緣計(jì)算在網(wǎng)絡(luò)邊緣的計(jì)算能力生成本地化防御策略處理來自終端設(shè)備的可疑流量，實(shí)現(xiàn)對(duì)拒絕服務(wù)攻擊的防御；文獻(xiàn)［14］通過分離邊緣計(jì)算服務(wù)提供商、終端設(shè)備身份管理服務(wù)器和授權(quán)服務(wù)器，并增加認(rèn)證層來抵御非法訪問和流量攔截等攻擊，對(duì)設(shè)備身份信息進(jìn)行隱私保護(hù)。由于邊緣計(jì)算提出時(shí)間短且相關(guān)研究尚未成熟，現(xiàn)有安全方面的研究也大多使用應(yīng)用層技術(shù)，沒有直接利用物理層無線信道特性來解決存在的安全威脅，也沒有考慮到終端設(shè)備和邊緣計(jì)算服務(wù)節(jié)點(diǎn)之間通信環(huán)境的動(dòng)態(tài)性。因此，文中采用物理層安全技術(shù)，提出了一種基于DQN 的邊緣計(jì)算假冒攻擊檢測方法，在邊緣側(cè)通過物理層特性進(jìn)行終端設(shè)備的唯一性識(shí)別，使得終端幾乎不承擔(dān)計(jì)算負(fù)荷，同時(shí)邊緣側(cè)的計(jì)算資源也使得利用強(qiáng)化學(xué)習(xí)算法進(jìn)行假冒攻擊檢測成為可能。通過構(gòu)建邊緣計(jì)算中的假冒攻擊模型，在接收端邊緣側(cè)建立基于CSI的假設(shè)檢驗(yàn)，并將連續(xù)兩次的CSI之間的歐氏距離作為檢驗(yàn)統(tǒng)計(jì)量；利用DQN 比較不同閾值的預(yù)期效用，以接收端回報(bào)最大化為目標(biāo)自適應(yīng)地為動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境篩選出當(dāng)前最優(yōu)檢測閾值；通過比較統(tǒng)計(jì)量和檢測閾值以判斷發(fā)送端的身份合法與否，最終實(shí)現(xiàn)邊緣計(jì)算中的假冒攻擊檢測，增強(qiáng)邊緣計(jì)算服務(wù)節(jié)點(diǎn)和終端設(shè)備之間的安全性。

1 模型構(gòu)建

1.1 假冒攻擊模型

圖1 所示是終端設(shè)備與邊緣網(wǎng)關(guān)通信時(shí)受到假冒攻擊威脅的攻擊模型，文中假設(shè)N 個(gè)終端設(shè)備和邊緣網(wǎng)關(guān)節(jié)點(diǎn)通過無線信號(hào)進(jìn)行通信，具體包括E 個(gè)合法發(fā)送端個(gè)非法發(fā)送端以及一個(gè)合法接收端Bob，其中j1∈{1，2，…，E}，j2∈{1，2，…，F(xiàn)}。與Bob 進(jìn)行正常通信，而以虛假M(fèi)AC（Media Access Control）地址偽裝企圖假冒向Bob發(fā)送信息。

圖1 假冒攻擊模型Fig.1 Impersonation attack model

圖2 信道估計(jì)模型Fig.2 Channel estimation model

1.2 假設(shè)檢驗(yàn)

由于CSI 具有時(shí)變、衰落及隨距離快速變化等特性［16］，是唯一的，攻擊者雖然可以利用網(wǎng)絡(luò)技術(shù)修改自己的MAC 地址假冒合法發(fā)送者，但卻無法修改偽造CSI，基于此，接收端就可以檢測出假冒攻擊者。接收端從收到的數(shù)據(jù)包中提取出信道向量可以驗(yàn)證數(shù)據(jù)包的來源，如果信道向量與信道記錄接近，則認(rèn)為該數(shù)據(jù)包來自合法發(fā)送端，接收該數(shù)據(jù)包并更新信道記錄，否則認(rèn)為該數(shù)據(jù)包來自攻擊發(fā)送端，丟棄該數(shù)據(jù)包。

由于在物理層多徑豐富的典型無線環(huán)境下，信道響應(yīng)具有位置特異性，在足夠短的時(shí)間內(nèi)同一通信雙方Aj1和Bob 的信道向量是高度相似的。而對(duì)于Ej2來說，當(dāng)與它們的收發(fā)路徑間隔超過半個(gè)以上射頻波長時(shí)，就可認(rèn)為兩條路徑的信道響應(yīng)不相關(guān)［17］，即Ej2與Bob、Aj1與Bob之間的信道響應(yīng)差異很大。據(jù)此可將假冒攻擊檢測的假設(shè)檢驗(yàn)統(tǒng)計(jì)量Ζ表示為：

因?yàn)闅W氏距離非負(fù)，所以檢測閾值δ也非負(fù)，即δ ≥0，δ的大小直接影響B(tài)ob 對(duì)數(shù)據(jù)包真假的判斷，從而影響對(duì)發(fā)送端合法與否的判斷：δ過小，容易將合法發(fā)送者當(dāng)作非法攻擊者；δ 過大，容易將非法攻擊者當(dāng)作合法發(fā)送者，所以選擇合適的閾值δ對(duì)于檢測假冒攻擊威脅至關(guān)重要。

為了準(zhǔn)確且定量地判斷基于DQN 的物理層假冒攻擊檢測算法的性能，定義誤報(bào)率（False Alarm Rate，F(xiàn)AR）和漏檢率（Miss Detection Rate，MDR）為：

PFAR表示合法發(fā)送端Aj1的數(shù)據(jù)包被誤認(rèn)為是非法攻擊者Ej2的數(shù)據(jù)包的概率。PMDR表示非法攻擊者Ej2的數(shù)據(jù)包被當(dāng)作合法發(fā)送端Aj1的數(shù)據(jù)包的概率。相應(yīng)地，Bob 接收合法發(fā)送端Aj1的數(shù)據(jù)包的概率以及拒絕非法發(fā)送端Ej2的數(shù)據(jù)包的概率可分別表示為：

每個(gè)數(shù)據(jù)包通過物理層檢測之后，再進(jìn)行高層數(shù)據(jù)包檢測（Higher Layer Authentication，HLA）。最終通過檢測的數(shù)據(jù)包，若被接受時(shí)，更新信道記錄，即被拒絕時(shí)，更新信道記錄，即

2 基于DQN的假冒攻擊檢測算法

由于實(shí)際中通信場景復(fù)雜，大多數(shù)情況下，通信雙方的物理層信道模型和攻擊者發(fā)送數(shù)據(jù)包的概率對(duì)接收端來說都是未知的。在這種情況下，更需要接收端根據(jù)已知的不充分信息對(duì)到達(dá)的數(shù)據(jù)包來源進(jìn)行鑒別，以檢測出假冒攻擊者，從而保證邊緣計(jì)算網(wǎng)絡(luò)的通信安全。DQN 算法可以在動(dòng)態(tài)環(huán)境中利用不充分信息找到最優(yōu)解，通過神經(jīng)網(wǎng)絡(luò)能自動(dòng)提取數(shù)據(jù)中有效特征來近似值函數(shù)，使得接收端在不知道信道環(huán)境模型的條件下，比較不同閾值δ 反饋的預(yù)期效用，從而選擇動(dòng)態(tài)環(huán)境中的當(dāng)前最優(yōu)閾值δ*。

2.1 DQN算法

DQN［18-19］是一種結(jié)合了神經(jīng)網(wǎng)絡(luò)和Q-Learning 算法的深度強(qiáng)化學(xué)習(xí)算法，利用神經(jīng)網(wǎng)絡(luò)能自動(dòng)提取數(shù)據(jù)中的抽象特征的優(yōu)勢來近似值函數(shù)，充分結(jié)合了強(qiáng)化學(xué)習(xí)的決策優(yōu)勢和深度學(xué)習(xí)的感知優(yōu)勢，能夠解決更為復(fù)雜的控制決策任務(wù)。DQN 利用強(qiáng)化學(xué)習(xí)來建立模型，通過馬爾可夫決策過程進(jìn)行建模，核心為狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì)。智能體根據(jù)當(dāng)前環(huán)境狀態(tài)執(zhí)行動(dòng)作后，獲得環(huán)境的反饋獎(jiǎng)勵(lì)，然后通過試錯(cuò)的方法改進(jìn)動(dòng)作，以便在接下來的環(huán)境中執(zhí)行更優(yōu)的動(dòng)作，獲得更大的獎(jiǎng)勵(lì)。

Q-Learning 算法通過動(dòng)作值函數(shù)Q(s，a)進(jìn)行值函數(shù)迭代，其更新式為：

其中：α為控制收斂的學(xué)習(xí)率(0 ≤α ＜1)；r為獎(jiǎng)勵(lì)；λ為折扣因子，表示未來獎(jiǎng)勵(lì)對(duì)現(xiàn)在的影響(0 ≤λ ≤1)。通過不斷地嘗試搜索空間，Q值會(huì)逐步趨近最佳Q*值。

DQN 算法的核心思想是目標(biāo)函數(shù)、目標(biāo)網(wǎng)絡(luò)和經(jīng)驗(yàn)回放機(jī)制。通過利用Q-Learning 算法構(gòu)造目標(biāo)函數(shù)L(θ)，并基于神經(jīng)網(wǎng)絡(luò)產(chǎn)生目標(biāo)Q 值，以及利用經(jīng)驗(yàn)回放機(jī)制解決數(shù)據(jù)間的相關(guān)性和非靜態(tài)分布問題，提高了數(shù)據(jù)利用率，降低了參數(shù)更新方差，使得網(wǎng)絡(luò)模型更容易收斂。DQN 算法采用了兩個(gè)結(jié)構(gòu)相同但參數(shù)不同的神經(jīng)網(wǎng)絡(luò)，其中當(dāng)前值網(wǎng)絡(luò)用來評(píng)估狀態(tài)動(dòng)作對(duì)的價(jià)值函數(shù)目標(biāo)值網(wǎng)絡(luò)用來產(chǎn)生目標(biāo)Q值

其中θ為神經(jīng)網(wǎng)絡(luò)模型的權(quán)重參數(shù)。DQN 算法通過使用舊的網(wǎng)絡(luò)參數(shù)θ-評(píng)估一個(gè)經(jīng)驗(yàn)樣本中下一時(shí)間步的Q 值，且只在離散的多步間隔上更新θ-，為待擬合的網(wǎng)絡(luò)提供了一個(gè)穩(wěn)定的訓(xùn)練目標(biāo)，并給予充分的訓(xùn)練時(shí)間，從而使得估計(jì)誤差得到更好的控制。

2.2 算法實(shí)現(xiàn)

在基于DQN 的假冒攻擊檢測算法中，狀態(tài)空間為S，動(dòng)作空間為A，Bob 在時(shí)隙τ 的狀態(tài)包含誤報(bào)率和漏檢率，即sτ=在時(shí)隙τ 采取的動(dòng)作即選擇的檢測閾值δ ∈A，將δ 劃分為L+1 個(gè)等級(jí)，即δ ∈{l/L}0≤l≤L。相應(yīng)地，誤報(bào)率PFAR和漏檢率PMDR也量化為L+1個(gè)等級(jí)。

假設(shè)攻擊者Ej2發(fā)送一個(gè)數(shù)據(jù)包的概率是pj2∈[0，1]，則攻擊者發(fā)送數(shù)據(jù)包的概率集合為Y={ pj2}1≤j2≤F，假設(shè)在一個(gè)時(shí)隙中只有一個(gè)非法發(fā)送端進(jìn)行假冒攻擊，則接收端Bob 收到一個(gè)來自非法發(fā)送端的數(shù)據(jù)包的概率為Bob 接收合法發(fā)送端數(shù)據(jù)包的收益是G1，拒絕非法發(fā)送端數(shù)據(jù)包的收益是G0，接收非法發(fā)送端數(shù)據(jù)包的代價(jià)是C0，拒絕合法發(fā)送端數(shù)據(jù)包的代價(jià)是C1。在先驗(yàn)分布下假冒攻擊檢測的貝葉斯風(fēng)險(xiǎn)［20］可表示為：

式中：第一項(xiàng)表示來自合法發(fā)送端數(shù)據(jù)包的回報(bào)，第二項(xiàng)表示來自非法發(fā)送端數(shù)據(jù)包的回報(bào)。由零和博弈可知，接收端和假冒攻擊者的回報(bào)和為零，兩者的回報(bào)RB(δ，Y)和RE(δ，Y)可表示為：

尋找最優(yōu)檢測閾值δ*是確保接收端回報(bào)最大化的關(guān)鍵。接收端通過建立式（4）和（5）的假設(shè)檢驗(yàn)對(duì)每個(gè)時(shí)隙內(nèi)到達(dá)的T個(gè)數(shù)據(jù)包逐個(gè)檢測，通過最大化T個(gè)數(shù)據(jù)包的累計(jì)折扣總回報(bào)Πτ來選擇檢測閾值，即

DQN 檢測算法通過經(jīng)驗(yàn)回放內(nèi)存U(D)存儲(chǔ)-采樣當(dāng)前狀態(tài)、閾值、接收端回報(bào)和下一時(shí)刻的狀態(tài)(sτ，δτ，Πτ，sτ+1)作為訓(xùn)練數(shù)據(jù)，通過Q-Learning 對(duì)網(wǎng)絡(luò)模型進(jìn)行參數(shù)更新，其Q值更新過程為：

其中：λ為折扣因子，表示對(duì)未來回報(bào)的在意程度，λ越大則越關(guān)心長遠(yuǎn)利益。最優(yōu)檢測閾值δ*是使達(dá)到最大時(shí)的檢測閾值，即：

Bob 采用ε?greedy 策略不斷探索提高選擇最優(yōu)檢測閾值的概率，每次以ε 的概率隨機(jī)選擇檢測閾值，以1-ε 的概率選擇最優(yōu)檢測閾值，即：

圖3 所示為基于DQN 的物理層假冒攻擊檢測模型，通過利用神經(jīng)網(wǎng)絡(luò)來估計(jì)檢測閾值的Q值。檢測算法中所采用的神經(jīng)網(wǎng)絡(luò)包含輸入層和兩個(gè)全連接層，輸入為狀態(tài)sτ=第1 個(gè)全連接層的10 個(gè)神經(jīng)單元都配置了線性修正單元ReLU 作為激活函數(shù)，第2個(gè)全連接層根據(jù)權(quán)重和偏置直接計(jì)算輸出Q值Q(sτ，δτ，θτ)，神經(jīng)網(wǎng)絡(luò)在時(shí)隙τ的所有參數(shù)可表示為θτ。通過當(dāng)前值網(wǎng)絡(luò)Q-eval估計(jì)每個(gè)檢測閾值δτ的Q 值，目標(biāo)值網(wǎng)絡(luò)Q-target在一段時(shí)間內(nèi)Q 值保持不變，一定程度降低了當(dāng)前Q 值和目標(biāo)Q 值的相關(guān)性，提高了算法穩(wěn)定性。

圖3 基于DQN的物理層假冒攻擊檢測模型Fig.3 Physical-layer impersonation attack model based on DQN

基于DQN 的假冒攻擊檢測算法的目標(biāo)函數(shù)和關(guān)于網(wǎng)絡(luò)參數(shù)的梯度可分別表示為

式中：sτ+1是在狀態(tài)sτ下選擇動(dòng)作δτ之后得到的下一狀態(tài)，θτ是當(dāng)前值網(wǎng)絡(luò)Q?eval的網(wǎng)絡(luò)參數(shù)是目標(biāo)值網(wǎng)絡(luò)Q?target的網(wǎng)絡(luò)參數(shù)，但卻是Q?eval的Nit時(shí)間步以前的參數(shù)。在訓(xùn)練網(wǎng)絡(luò)模型時(shí)，文中選擇的是初始學(xué)習(xí)率為μ 的自適應(yīng)學(xué)習(xí)率優(yōu)化算法均方根（Root Mean Square，RMS）作為優(yōu)化函數(shù)，每次從經(jīng)驗(yàn)回放內(nèi)存U(D)中取N?bsize個(gè)(sτ，δτ，Πτ，sτ+1)來訓(xùn)練當(dāng)前值網(wǎng)絡(luò)Q?eval，假設(shè)樣本之間相對(duì)獨(dú)立，然后最小化損失函數(shù)L(θτ)，更新Q 值。假設(shè)接收端每個(gè)時(shí)隙收到T 個(gè)數(shù)據(jù)包，基于DQN的假冒攻擊檢測算法流程如下。

算法 基于DQN的物理層假冒攻擊算法。

3 仿真及分析

假設(shè)終端設(shè)備和邊緣網(wǎng)關(guān)之間的通信是基于IEEE802.11 無線網(wǎng)絡(luò)通信標(biāo)準(zhǔn)進(jìn)行的，設(shè)定中心頻率f0=2.4 GHz，帶寬W=20 MHz。仿真過程中，考慮有4 個(gè)終端設(shè)備和邊緣網(wǎng)關(guān)進(jìn)行通信，網(wǎng)關(guān)節(jié)點(diǎn)作為接收端，發(fā)送端包括兩個(gè)合法終端和兩個(gè)企圖假冒合法用戶的非法終端設(shè)備，在OFDM（Orthogonal Frequency Division Multiplexing）系統(tǒng)中，用于信道估計(jì)的導(dǎo)頻子載波數(shù)為5，即M=5。所有信道向量均為獨(dú)立的復(fù)高斯隨機(jī)向量［16，21］，服從分布CN(0，1)，非法發(fā)送端的攻擊頻率p=0.25。假設(shè)一個(gè)時(shí)隙內(nèi)接收端收到的數(shù)據(jù)包個(gè)數(shù)為T=20。接收端接收或拒絕數(shù)據(jù)包得到的效用初始值分別設(shè)置為G1=7，C1=2，G0=9，C0=7。DQN 檢測算法中的學(xué)習(xí)率（更新步長）體現(xiàn)的是值函數(shù)達(dá)到最優(yōu)值的速度快慢，即接收端找到當(dāng)前狀態(tài)下最優(yōu)檢測閾值的速度快慢，學(xué)習(xí)速率過大會(huì)使網(wǎng)絡(luò)的學(xué)習(xí)過程不穩(wěn)定，學(xué)習(xí)速率過小會(huì)使網(wǎng)絡(luò)經(jīng)很長時(shí)間才能達(dá)到收斂狀態(tài)，找到最優(yōu)值，效率太低。表1 所示為不同學(xué)習(xí)率情況下，接收端得到最優(yōu)檢測閾值所需的實(shí)驗(yàn)次數(shù)。

表1 不同學(xué)習(xí)率時(shí)接收端得到最優(yōu)檢測閾值所需的實(shí)驗(yàn)次數(shù)Tab.1 Number of required experiments when getting the optimal threshold under different learning rates

從表1 可以看出，當(dāng)學(xué)習(xí)率為0.01 和0.001 時(shí)，收斂慢，所需次數(shù)遠(yuǎn)大于學(xué)習(xí)率為0.1 和0.2 的情況。在學(xué)習(xí)率取0.1 和0.2 時(shí)，網(wǎng)絡(luò)能較快地收斂到最優(yōu)，接收端能以較快的速度找到最優(yōu)檢測閾值，在實(shí)驗(yàn)過程中，μ=0.1 的穩(wěn)定性好于μ=0.2 的情況。因此，本文將學(xué)習(xí)率設(shè)置為μ=0.1。其次，設(shè)置折扣因子λ=0.9，ε?greedy 策略選擇率ε=0.9。表2所示為仿真過程中用到的初始化參數(shù)及其取值。

表2 仿真所用參數(shù)取值及意義Tab.2 Parameter values used in simulation and their meanings

基于DQN 的假冒攻擊檢測算法的閾值范圍即動(dòng)作空間A=[0，d]，d 為信道失相關(guān)距離。當(dāng)中心頻率為2.4 GHz 時(shí)，d=6.25 cm。量化等級(jí)L+1=100，狀態(tài)空間S 中的誤報(bào)率PFAR和漏檢率PMDR的計(jì)算公式［22］為：

圖4（a）是接收端利用基于DQN 的假冒攻擊檢測算法檢測假冒攻擊者時(shí)，最優(yōu)檢測閾值δ*隨實(shí)驗(yàn)次數(shù)的變化情況；圖4（b）是接收端基于DQN 選擇的最優(yōu)檢測閾值δ*對(duì)到達(dá)的每個(gè)數(shù)據(jù)包進(jìn)行判斷之后，根據(jù)判斷的準(zhǔn)確率情況得到相應(yīng)的效用（收益/代價(jià)）之后接收端的總回報(bào)。

圖4 基于DQN檢測算法性能隨實(shí)驗(yàn)次數(shù)的變化Fig.4 DQN-based detection performance varying with experiment times

如圖4（a）所示，在開始階段，基于DQN 的假冒攻擊檢測算法的檢測閾值迅速變化，隨后達(dá)到大致穩(wěn)定，最優(yōu)檢測閾值δ*約為3.72；如圖4（b）所示，當(dāng)接收端根據(jù)最優(yōu)檢測閾值δ*進(jìn)行攻擊檢測時(shí)，接收端的回報(bào)總體保持在5.3 以上，最大可達(dá)到7.002。

圖5 所示為基于DQN 的檢測算法中最優(yōu)檢測閾值δ*、誤報(bào)率、漏檢率隨信道頻率采樣數(shù)目的變化曲線。從圖5（a）可以看到隨著頻率采樣數(shù)M的增加，最優(yōu)測試閾值δ*也在增大。頻率采樣數(shù)目M越大，對(duì)信道的估計(jì)越準(zhǔn)確，誤報(bào)率和漏檢率也相應(yīng)地越??；如圖5（b）所示，但是當(dāng)采樣頻數(shù)大于5 時(shí)，誤報(bào)率和漏檢率的降低幅度變小，這是因?yàn)楫?dāng)采樣次數(shù)過大時(shí)，信道測量時(shí)的熱噪聲對(duì)信道估計(jì)的影響也會(huì)增大。

圖5 基于DQN的檢測算法性能隨采樣次數(shù)的變化Fig.5 DQN-based detection performance varying with sampling times

在終端設(shè)備和邊緣網(wǎng)關(guān)通信過程中，通信的信道環(huán)境可能會(huì)受到終端移動(dòng)或周圍環(huán)境中其他變動(dòng)的影響而發(fā)生改變，這就使得即使是相同的發(fā)送端，其發(fā)送的數(shù)據(jù)包到達(dá)接收端時(shí)受信道的影響程度也不一樣。因此，本文基于接收端和合法發(fā)送端在上一時(shí)刻和當(dāng)前時(shí)刻信道增益的相對(duì)變化來進(jìn)一步評(píng)估所提出的檢測算法性能。當(dāng)接收端同時(shí)收到合法發(fā)送端和非法發(fā)送端發(fā)來的數(shù)據(jù)包時(shí)，基于DQN 的檢測算法的最優(yōu)檢測閾值δ*隨信道增益相對(duì)變化b的變化情況如圖6（a）所示。從圖中可以看出，最優(yōu)檢測閾值δ*隨著信道增益相對(duì)變化b 的增大而不斷增大，這也驗(yàn)證了式（3）所述的檢驗(yàn)統(tǒng)計(jì)量Ζ，當(dāng)信道變化大時(shí)，信道相關(guān)性減弱，Ζ 就增大，由于接收端與合法發(fā)送端之間的信道不確定性增加，所以接收端不得不提高接受合法發(fā)送端數(shù)據(jù)包的檢測閾值。當(dāng)信道增益相對(duì)變化b=0.06，信道增益比κ=-3 dB，信干噪比ρ=30 dB 時(shí)，基于DQN 的檢測算法選擇的最優(yōu)檢測閾值約為1.10。整體來看，在合法發(fā)送端的數(shù)據(jù)包信干噪比SINR 相同的情況下，最優(yōu)檢測閾值δ*都隨著非法發(fā)送端與合法發(fā)送端的信道增益比κ 的增大而增大。當(dāng)信道增益比κ 不變時(shí)，δ*隨著SINR 的增大而減小，因?yàn)镾INR 增大，接收端可以更加準(zhǔn)確地估計(jì)和合法發(fā)送端之間信道的CSI，所以δ*反而會(huì)減小。

信道增益相對(duì)變化b 增大，說明雙方通信環(huán)境發(fā)生的變化大，這就導(dǎo)致相同通信雙方在不同時(shí)刻的CSI 的差異也較大，此時(shí)接收端根據(jù)當(dāng)前時(shí)刻的信道向量和上一時(shí)刻的信道向量之間的差異來檢測非法發(fā)送端的難度加大，從而導(dǎo)致誤報(bào)率相應(yīng)增大，如圖6（b）所示。同時(shí)，也導(dǎo)致漏檢率和平均錯(cuò)誤率［23］隨信道增益相對(duì)變化的增大而增大，如圖6（c）和圖6（d）所示。從圖中可以看出，隨著非法發(fā)送端與合法發(fā)送端的信道增益比κ增大，兩者的功率差異更大，使得接收端更易檢測出假冒攻擊者，當(dāng)收到合法發(fā)送端的數(shù)據(jù)包時(shí)將它視為非法發(fā)送端數(shù)據(jù)包并丟棄的概率更小，當(dāng)收到非法發(fā)送端發(fā)來的數(shù)據(jù)包時(shí)將其視為合法發(fā)送端數(shù)據(jù)包并接收的概率也更小，從而增加了合法發(fā)送端數(shù)據(jù)包的接收率和非法發(fā)送端數(shù)據(jù)包的丟棄率，提高了檢測準(zhǔn)確率，降低了誤報(bào)率、漏檢率和平均錯(cuò)誤率。當(dāng)b=0.04，ρ=10 dB，κ=-3 dB 和κ=0 dB時(shí)，平均錯(cuò)誤率分別約為0.013 63 和0.009 57。其次，隨著SINR 的增大，信道估計(jì)誤差更小，誤報(bào)率、漏檢率和平均錯(cuò)誤率也都降低。這是因?yàn)镾INR 影響著對(duì)CSI 的估計(jì)，而CSI 的估計(jì)誤差直接影響著檢驗(yàn)統(tǒng)計(jì)量和假設(shè)檢驗(yàn)判斷，從而影響誤報(bào)率、漏檢率和平均錯(cuò)誤率。

圖6 基于DQN的檢測算法性能隨信道增益相對(duì)變化的變化Fig.6 DQN-based detection performance varying with the relative change of channel gain

4 結(jié)語

隨著邊緣計(jì)算的應(yīng)用越來越廣泛，其存在的安全問題也更加受到重視。本文分析了邊緣計(jì)算中終端設(shè)備與邊緣網(wǎng)關(guān)節(jié)點(diǎn)通信時(shí)受到假冒攻擊的安全威脅，提出了一種利用收發(fā)端通信的物理層無線信道特性實(shí)現(xiàn)假冒攻擊檢測的方法。該方法結(jié)合了深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)的Q-Learning算法，使得接收端可以基于連續(xù)時(shí)間內(nèi)信道特性差異，通過比較不同檢測閾值的預(yù)期效用，自適應(yīng)選擇動(dòng)態(tài)環(huán)境中的最優(yōu)檢測閾值，能夠準(zhǔn)確地識(shí)別假冒攻擊者。仿真結(jié)果表明，通過一定訓(xùn)練次數(shù)之后，該算法能夠有效提高檢測性能，即使在低信噪比情況下，也可保證誤報(bào)率、漏檢率和平均錯(cuò)誤率都不超過5%。在高速移動(dòng)場景中，終端設(shè)備的移動(dòng)速度很大，使得連續(xù)時(shí)間內(nèi)信道特性差異很大，該檢測算法性能會(huì)受到影響，所以在未來的研究工作中，會(huì)考慮如何增強(qiáng)高速移動(dòng)場景中的假冒攻擊檢測準(zhǔn)確率，其次會(huì)進(jìn)一步研究將深度強(qiáng)化學(xué)習(xí)算法用在各種復(fù)雜場景中解決各種安全威脅，如中間人攻擊和拒絕服務(wù)攻擊等。