王玲 吳治海

【摘要】? ? 本文研究了重放攻擊下具有切換拓?fù)涞囊浑A離散多智能體系統(tǒng)的安全一致性問(wèn)題。針對(duì)重放攻擊，本文提出了一種基于分布式模型預(yù)測(cè)控制的一致性協(xié)議，推導(dǎo)出了多智能體系統(tǒng)在重放攻擊下實(shí)現(xiàn)安全一致性的充分條件。通過(guò)數(shù)值算例說(shuō)明了一致性協(xié)議的有效性。

【關(guān)鍵詞】? ? 多智能體系統(tǒng)? ? 重放攻擊? ? 安全一致性? ? 模型預(yù)測(cè)控制

引言：

多智能體系統(tǒng)的安全性問(wèn)題逐漸成為了熱門的新興研究方向之一。多智能體系統(tǒng)分布式協(xié)同控制的一個(gè)關(guān)鍵問(wèn)題是僅利用智能體之間的相對(duì)信息來(lái)設(shè)計(jì)分布式控制器，使所有的智能體最終達(dá)到狀態(tài)一致[1]。在實(shí)際應(yīng)用中，在信息傳輸過(guò)程中往往會(huì)遇到很多攻擊。例如在文獻(xiàn)[2]中對(duì)網(wǎng)絡(luò)安全控制進(jìn)行了建模和分析。

近年來(lái)，關(guān)于多智能體系統(tǒng)的分布式安全控制有了一些研究結(jié)果[3-7]。Zhu等人考慮到攻擊者是否可以在線調(diào)整其進(jìn)攻戰(zhàn)術(shù)，提出了兩種新型攻擊-安全分布式控制算法來(lái)應(yīng)對(duì)虛假數(shù)據(jù)注入攻擊，允許操作員利用最新收集的有關(guān)攻擊者的信息來(lái)調(diào)整防御策略，兩種算法都使車輛能夠從任何初始配置和攻擊者策略的初始估計(jì)中漸近地實(shí)現(xiàn)所需的編隊(duì)[3]。Feng等人考慮到攻擊網(wǎng)絡(luò)拓?fù)涞倪叾皇枪?jié)點(diǎn)智能體會(huì)導(dǎo)致安全性能的損失的情況，分析了系統(tǒng)在兩種連通性攻擊下的分布式協(xié)同控制問(wèn)題[4]。

實(shí)際上重放攻擊也是對(duì)多智能體系統(tǒng)的主要網(wǎng)絡(luò)威脅。Mo和Sinopoli首先分析了重放攻擊對(duì)控制系統(tǒng)的影響[8]。Zhu和Martínez在[9]中考慮了二階多智能體系統(tǒng)在重放攻擊下的編隊(duì)控制問(wèn)題，提出了一種基于滾動(dòng)最優(yōu)控制方法的新型分布式彈性算法，并證明了該算法能使車輛在重放攻擊下漸近地達(dá)到期望的編隊(duì)。文獻(xiàn)[10，11]分別提出了基于水印控制策略和隨機(jī)博弈理論的重放攻擊檢測(cè)方法。然而，事實(shí)上，盡管重放攻擊已經(jīng)被檢測(cè)到如果它們不能盡快被處理，重放攻擊依舊會(huì)使系統(tǒng)不穩(wěn)定。另外，智能體之間相對(duì)位置不是固定不變的。基于上述考慮，本文研究了具有重放攻擊的一階離散多智能體系統(tǒng)在重放攻擊下的安全一致性問(wèn)題。

一、 預(yù)備知識(shí)

1.1 圖論基本知識(shí)

令G=（V，E，A）代表系統(tǒng)的拓?fù)鋱D，其中V={1，2，...，N}表示節(jié)點(diǎn)的集合，表示邊的集合。A=[aij]∈RN×N是一個(gè)具有非負(fù)鄰接元素aij的加權(quán)鄰接矩陣，同時(shí)對(duì)于所有的i∈I，有aij=0。（i， j）代表節(jié)點(diǎn)i與節(jié)點(diǎn)j之間的邊。如果aij≥0，則有（i， j）∈E，代表節(jié)點(diǎn)i能夠收到j(luò)的信息，稱j是i的鄰居。節(jié)點(diǎn)i的鄰居點(diǎn)集表示為。圖G的度矩陣D=diag（[d1，...，dN]）∈RN×N，其中。相應(yīng)的，圖G的拉普拉斯矩陣定義為L(zhǎng)=D-A∈RN×N。如果兩個(gè)不同的節(jié)點(diǎn)i，j之間一條確定的邊，即節(jié)點(diǎn)i，j存在一條可達(dá)路徑。另外，如果有向圖G中存在至少一個(gè)節(jié)點(diǎn)，使得從其他任何節(jié)點(diǎn)到這個(gè)節(jié)點(diǎn)都存在有向路徑，那么這個(gè)節(jié)點(diǎn)就稱為圖的根節(jié)點(diǎn)，同時(shí)稱圖G包含一棵有向生成樹(shù)。

1.2符號(hào)說(shuō)明

R表示實(shí)數(shù)集，RN表示N維實(shí)數(shù)向量空間，RN×M表示N×M維實(shí)數(shù)矩陣空間。定義I={1，2，...，N}。IN代表N維實(shí)單位矩陣。1N代表每個(gè)元素都為1的N維列向量。對(duì)于任意矩陣A，AT表示矩陣A的轉(zhuǎn)置矩陣，A-1代表著矩陣A的逆矩陣。λi（A）和λmax（A）分別表示矩陣A的第i個(gè)特征值和最大特征值。diag{a1，a2，...，aN}代表以a1，a2，...，aN為對(duì)角元素的對(duì)角矩陣。[x1，x2，...，xN]是由元素xi，i∈I構(gòu)成的N維列向量。對(duì)于矩陣A=[aij]∈RN×M，如果所有aij≥0，那么有A≥0，且稱A為非負(fù)矩陣。令B=[bij]∈RN×M。如果有A≥B，等同于矩陣A-B≥0。 若矩陣A∈RN×N是非負(fù)矩陣，如果矩陣A滿足A1N=1N，即A行和為1，則稱A為隨機(jī)矩陣。給定隨機(jī)矩陣A∈RN×N，如果存在f∈RN使得矩陣A滿足limk→∞Ak=1N f，則矩陣A又稱為SIA矩陣（Stochastic， Indecomposable， Aperiodic）。

二、 問(wèn)題描述

2.1系統(tǒng)模型

考慮一個(gè)具有N個(gè)智能體的系統(tǒng)，一階離散時(shí)間多智能體系統(tǒng)的模型可以描述為

其中，xi（k）∈R代表智能體i的狀態(tài)信息，ui（k）∈R代表控制協(xié)議，T為采樣周期。

定義3.1 如果每個(gè)智能體在任何初始狀態(tài)下的狀態(tài)都滿足

就稱系統(tǒng)（1）實(shí)現(xiàn)了一致性。

假設(shè)1 圖G是有向的。

2.2重放攻擊者模型

在多智能體系統(tǒng)中，本文考慮的一類智能體自身狀態(tài)信息和控制協(xié)議是可以實(shí)時(shí)獲取的，數(shù)據(jù)傳輸過(guò)程一般出現(xiàn)在智能體與鄰居之間的狀態(tài)信息交流中。由于重放攻擊在任意兩個(gè)智能體之間的數(shù)據(jù)傳輸過(guò)程都有可能發(fā)生，所以智能體j發(fā)送狀態(tài)信息給智能體i的通信信道上可能存在的重放攻擊者，可以表示為rij，同時(shí)每個(gè)攻擊者rij都配備內(nèi)存Mij（k）。假設(shè)攻擊者rij在k0時(shí)刻截取智能體j發(fā)送給智能體i的狀態(tài)信息包xj（k0），并存放在內(nèi)存Mij（k0）中。τij（k）代表攻擊者rij在k時(shí)刻生成的連續(xù)攻擊次數(shù)。當(dāng)k>k0，如果攻擊者rij在k時(shí)刻不發(fā)動(dòng)攻擊，即τij（k）=0，那么k時(shí)刻的內(nèi)存Mij（k）依舊等于xj（k0）;如果攻擊者rij在k時(shí)刻發(fā)動(dòng)攻擊，即τij（k）>0，那么攻擊者rij在[k，k+τij（k）]時(shí)間段內(nèi)將執(zhí)行以下步驟：

1. 攻擊者rij截取正在傳輸?shù)臓顟B(tài)信息xj（k），并將xj（k）替換為存儲(chǔ)在內(nèi)存Mij（k）中的狀態(tài)信息xj（k0）。

2.攻擊者rij保持內(nèi)存不變，即Mij（k+1）=Mij（k）。

3. k=k+1，重復(fù)上述步驟。

基于以上描述，攻擊者模型可以簡(jiǎn)單地概括為：

其中，sij（k）=1意味著有攻擊發(fā)生，反之，sij（k）=0意味著攻擊者rij沒(méi)有發(fā)動(dòng)攻擊。

重放攻擊的發(fā)動(dòng)是需要一定能量的，并且攻擊者的能量也是有限的。本文假設(shè)每個(gè)智能體只知道攻擊者能夠發(fā)動(dòng)的最大連續(xù)攻擊次數(shù)τmax。

假設(shè)2 τmax≥ 1且τij（k）≤τmax。

2.3 針對(duì)重放攻擊的分布式安全一致算法

我們令每個(gè)智能體的預(yù)測(cè)時(shí)域H≥τmax+1，同時(shí)收集智能體i的預(yù)測(cè)信息xi（k+h|k），h=1，2，...H，則我們可以得到智能體i的狀態(tài)信息序列為并可以寫(xiě)成如下形式：

其中

同時(shí)，切換拓?fù)湎轮悄荏wi在時(shí)刻k的參考狀態(tài)表示為：

其中，0≤τij（k）≤τmax，τij（k）根據(jù)重放攻擊是否存在可以表示為如下形式：

根據(jù)算法需要，接著定義參考狀態(tài)序列Zi（k）=[zi（k），zi（k），...，zi（k）]T。

在系統(tǒng)（1）的基礎(chǔ)上，對(duì)每個(gè)智能體i建立如下的MPC代價(jià)函數(shù)，并在時(shí)刻k計(jì)算控制協(xié)議序列Ui（k）。

將等式（3）代入等式（4），令ei（k）=xi（k）-zi（k），并對(duì)等式（5）求，可以得到智能體i的控制協(xié)議序列。

其中。因此，得到了智能體i的控制協(xié)議。

當(dāng)k≥0，智能體i執(zhí)行以下步驟：

1.智能體i通過(guò)等式（4）計(jì)算Xi（k），并將Xi（k）傳輸給其附近的智能體，同時(shí)接收鄰居智能體的狀態(tài)信息序列Xj（k）。

2.如果sij（k）=0，智能體i更新自身內(nèi)存， 執(zhí)行控制協(xié)議ui（k|k）。如果sij（k）=1， 智能體i使用保存在Mij（k）中的， 令并執(zhí)行控制協(xié)議ui（k|k）。

3.重復(fù)k=k+1。

假設(shè)3 攻擊總是可以被檢測(cè)到的。

三、收斂性分析

在本節(jié)中，我們將對(duì)切換拓?fù)湎碌亩嘀悄荏w系統(tǒng)（1）進(jìn)行一致性分析，并將從理論上證明安全一致性協(xié)議（7）的有效性。定義，m=0，1，...，τmax，并令xi（k|k）=xi（k），那么可以得到

如果包含生成樹(shù)，則也包含生成樹(shù)。此外，對(duì)任意的，如果是隨機(jī)矩陣且存在正標(biāo)量μ∈（0，1）使得即Mi的生成樹(shù)根節(jié)點(diǎn)有自環(huán)，則Mi是SIA矩陣。

引理2[14] 設(shè)m≥2是正整數(shù)，且矩陣是對(duì)角線元素為正數(shù)的非負(fù)矩陣，那么有

其中，γ>0，Pi，i=1，2，...，m。

引理3[13]設(shè)A是一個(gè)隨機(jī)矩陣。如果G（A）有一棵生成樹(shù)，且生成樹(shù)的根節(jié)點(diǎn)在G（A）中有自環(huán)，則A為SIA矩陣。

引理4[15] 設(shè)是SIA矩陣的有限集合。對(duì)于每個(gè)長(zhǎng)度為正的序列，矩陣的乘積為SIA矩陣。那么，對(duì)于每個(gè)無(wú)窮序列，存在一個(gè)向量f，使。

接下來(lái)，將給出本章主要研究結(jié)果。

定理1設(shè)是Z+的任意有限子集。在假設(shè)1、假設(shè)2和條件（10）的前提下，如果存在一個(gè)時(shí)刻無(wú)窮序列，其中k0=0，，，以至于存在聯(lián)合生成樹(shù)，則多智能體系統(tǒng)（1）應(yīng)用安全一致協(xié)議（7）能夠?qū)崿F(xiàn)一致。

證明：令，則有

是非負(fù)的，那么很容易推出也是非負(fù)的。如果在條件下聯(lián)合圖存在聯(lián)合生成樹(shù)，顯然也含有聯(lián)合生成樹(shù)。通過(guò)引理1，聯(lián)合圖也包含生成樹(shù)。

通過(guò)引理2，可以得到

其中γ>0。因此含有聯(lián)合生成樹(shù)，這意味著也含有聯(lián)合生成樹(shù)。

因?yàn)閍ij（k）是從一個(gè)有限集合中選擇的，所以所有可能的集合都是有限的。且必須有一個(gè)正標(biāo)量μ∈（0，1）使得，則有以下計(jì)算

通過(guò)推導(dǎo)，我們可以證明。如果，則F具有引理1中的形式。當(dāng)，F(xiàn)表示如下

令F的前N行為，有F0≥IN。通過(guò)引理1，可以得出生成樹(shù)的根節(jié)點(diǎn)含有自環(huán)。

顯然，隨機(jī)矩陣的乘積依舊是隨機(jī)矩陣，則可以得到也是一個(gè)隨機(jī)矩陣。通過(guò)上述推導(dǎo)和引理3，可以推出是SIA矩陣。又因?yàn)閍ij是有限的，顯然所有m下的也是有限的。根據(jù)引理4，可知，其中且f≥0。

當(dāng)k≥0，設(shè)mk為使的最大整數(shù)。則系統(tǒng)（9）可以寫(xiě)成如下形式

因此，對(duì)于i∈V，可知。多智能體系統(tǒng)（1）應(yīng)用一致協(xié)議（7）能夠達(dá)到一致。證明完成。

四、數(shù)值仿真

在本小節(jié)中，將通過(guò)數(shù)值仿真來(lái)驗(yàn)證協(xié)議（7）的有效性。以下是多智能體系統(tǒng)三個(gè)不同的有向拓?fù)鋱D。

假設(shè)所有邊的權(quán)重為1，選擇參數(shù)T=0.2，λ=1。從G（1）開(kāi)始，每Ts切換至下一個(gè)拓?fù)鋱D。8個(gè)智能體的初始位置信息為

我們考慮以下三種重放攻擊情況：

1. H=21，τmax=0，即無(wú)重放攻擊發(fā)生，多智能體系統(tǒng)未使用所設(shè)計(jì)算法;

2. H=21，τmax=20，sij（k）=0當(dāng)且僅當(dāng)k=γ（τmax+1）+1，γ為從0開(kāi)始的連續(xù)自然數(shù)。否則，sij（k）=1。多智能體系統(tǒng)未使用所設(shè)計(jì)算法;

3.? H=21，τmax=20， sij（k）=0當(dāng)且僅當(dāng)k=γ（τmax+1）+1，否則，sij（k）=1。多智能體系統(tǒng)使用所設(shè)計(jì)算法。

對(duì)于情況（1）， （7）可以以最快速度使系統(tǒng)收斂一致。

圖3可以看出攻擊會(huì)導(dǎo)致多智能體系統(tǒng)不能實(shí)現(xiàn)安全一致。當(dāng)系統(tǒng)使用所設(shè)計(jì)算法，由圖4可以看出即使攻擊幾乎始終存在系統(tǒng)也能最終達(dá)到安全一致。

五、結(jié)束語(yǔ)

本章研究了重放攻擊下具有切換拓?fù)涞囊浑A多智能體系統(tǒng)的安全一致性問(wèn)題。通過(guò)模型預(yù)測(cè)控制算法，所有智能體得到相應(yīng)的安全一致控制協(xié)議。運(yùn)用模型轉(zhuǎn)化法，將原系統(tǒng)轉(zhuǎn)化為系統(tǒng)矩陣隨機(jī)的等效系統(tǒng)。接著通過(guò)應(yīng)用圖論知識(shí)和非負(fù)矩陣的性質(zhì)，獲得重放攻擊下具有切換拓?fù)涞囊浑A多智能體系統(tǒng)達(dá)到漸進(jìn)一致的充分條件。

未來(lái)我們將研究具有切換拓?fù)涞亩A多智能體系統(tǒng)的安全一致問(wèn)題。

參? 考? 文? 獻(xiàn)

[1] Olfati-Saber， R.， Fax， J.， and Murray， R. （2007）. “Consensus and Cooperation in Networked Multi-Agent Systems”. Proceedings of the IEEE， 95（1）：? 215-233. https：//doi.org/10.1109/JPROC.2006.887293

[2] Teixeira， A.， Shames， I.， Sandberg， H. and Johansson， K. （2015）. “A Secure Control Framework for Resource-Limited Adversaries”. Automatica， 51： 135-148， 2015. https：//doi.org/10.1016/j.automatica.2014.10.067

[3] Minghui Zhu and Sonia Martínez. （2014）. “On Attack-Resilient Distributed Formation Control in Operator-Vehicle Networks”. SIAM Journal on Control and Optimization. 52（5）： 3176-3202. https：//doi.org/10.1137/110843332

[4] Zhi Feng， Guoqiang Hu， and Guanghui Wen. （2016）. “Distributed Consensus Tracking for Multi-Agent Systems under Two Types of Attacks”. International Journal of Robust and Nonlinear Control， 26（5）： 896-918. https：//doi.org/10.1002/rnc.3342

[5] Zhi Feng and Guoqiang Hu. （2017）. Distributed Secure Average Consensus for Linear Multi-Agent Systems under Dos Attacks. Proc. American Control Conference， Seattle， WA， USA， 2261-22. https：//doi.org/10.23919/ACC.2017.7963289

[6] Derui Ding， Zidong Wang， Daniel W. C. Ho and Guoliang Wei. （2017）. “Observer-Based Event-Triggering Consensus Control for Multiagent Systems with Lossy Sensors and Cyber-Attacks”. IEEE Transactions on Cybernetics， 47（8）： 1936-1947. https：//doi.org/10.1109/TCYB.2016.2582802

[7] Anyang Lu and Guanghong Yang. （2018）. “Distributed Consensus Control for Multi-Agent Systems under Denial-of-Service”. Information Sciences， 95-107. https：//doi.org/10.1016/j.ins.2018.02.008

[8] Mo， Y. and Sinopoli， B. （2009）. Secure Control Against Replay Attacks. Proc. IEEE Conference on Communication， Control， & Computing， Monticello， IL， USA， 911-918. https：//doi.org/10.1109/ALLERTON.2009.5394956

[9] Minghui Zhu and Sonia Martínez. （2013）. “On Distributed Constrained Formation Control in Operator-Vehicle Adversarial Networks”. Automatica， 49（12）： 3571-3582. https：//doi.org/10.1016/j.automatica.2013.09.031

[10] Khazraei， A.， Kebriaei， H. and Salmasi， F.? （2017）. “Replay Attack Detection in A Multi Agent System Using Stability Analysis and Loss Effective Watermarking”. Proc. American Control Conference， Seattle， WA， USA ，4778-4783. https：//doi.org/10.23919/ACC.2017.7963289

[11] Fei Miao， Miroslav Pajic， and George J. Pappas. （2013）. “Stochastic game approach for replay attack detection”. 52nd IEEE Conference on Decision and Control， Florence， Italy， 1854-1895. https：//doi.org/10.1109/CDC.2013.6760152

[12] Mayne， D.， Rawlings， J.， Rao， C. and Scokaert， P. （2000）. “Constrained Model Predictive Control： Stability and Optimality”. Automatica， 36（6）： 789-814. https：//doi.org/10.1016/S0005-1098（99）00214-9

[13] Feng Xiao and Long Wang， （2006）. “State Consensus for Multi-Agent Systems with Switching Topologies and Time-Varying Delays”. International Journal of Control， 79（10）： 1277-1284. https：//doi.org/10.1080/00207170600825097

[14] Jadbabaie， A.， Jie Lin， and Morse， A. （2003）. “Coordination of Groups of Mobile Autonomous Agents Using Nearest Neighbor Rules”. IEEE Transactions on Automatic Control， 48（6）; 988-1001. https：//doi.org/10.1109/TAC.2003.812781

[15] Wolfowitz， J.? （1963）. “Products of Indecomposable， Aperiodic， Stochastic Matrices”. Proceedings of the American Mathematical Society， 14（5）： 733-733. https：//doi.org/10.1090/ 2034984