武梅 高依蘋 邵蔣杰

摘? 要： 將增量控制方法應(yīng)用于多智能體一致性問題。通過將相鄰智能體的控制變量作為控制輸入來更新每個智能體的狀態(tài)，可以在一定初始條件下將系統(tǒng)轉(zhuǎn)化為線性一致性問題，并應(yīng)用于供應(yīng)鏈庫存系統(tǒng)。而在實際中，由于統(tǒng)計過程復(fù)雜，系統(tǒng)很難獲得準(zhǔn)確的庫存水平，因此，利用增量控制輸入可實現(xiàn)相應(yīng)工廠的庫存水平一致，從而穩(wěn)定整個市場供應(yīng)。最后，通過仿真實驗驗證了該理論方法的有效性。

關(guān)鍵詞： 一致性； 供應(yīng)鏈系統(tǒng)； 增量； 多智能體系統(tǒng)

中圖分類號：TP13? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ?文章編號：1006-8228（2023）09-64-05

Increment control method of consensus problem and its

application in supply chain systems

Wu Mei1， Gao Yiping2， Shao Jiangjie2

（1. School of Information Science and Engineering， Zhejiang Sci-Tech University， Hangzhou， Zhejiang 310018， China;

2. School of Computer Science and Technology， Zhejiang Sci-Tech University）

Abstract： In this paper， an increment control method is applied in the multi-agent consensus problem. By taking the control variables of neighboring agents as the control input to update each agent's state， the system can be transformed into a linear consensus problem under the circumstance of certain initial values and applied to the supply chain systems. In practice， it is difficult for the system to obtain exact inventory quantity of each facility due to the complex statistical process. Therefore， the incremental counterpart is utilized to achieve inventory level consensus for corresponding facilities， so as to stabilize the whole market supply. Finally， simulations are provided to demonstrate the effectiveness of the theoretical method.

Key words： consensus; supply chain systems; increment; multi-agent systems

0 引言

近幾十年來，多智能體系統(tǒng)的一致性問題引起了廣泛關(guān)注。多智能體系統(tǒng)在許多領(lǐng)域發(fā)揮了重要作用，如電力系統(tǒng)經(jīng)濟調(diào)度、社交網(wǎng)絡(luò)決策、衛(wèi)星編隊控制、分布式機器學(xué)習(xí)等。

早在二十世紀(jì)七十年代，DeGroot[1]首次提出了管理學(xué)和統(tǒng)計學(xué)領(lǐng)域的一致性概念，利用加權(quán)平方的方法來估計小組中的個人意見，并就參數(shù)的概率分布函數(shù)達(dá)成組內(nèi)人員意見一致。直到二十一世紀(jì)，文獻(xiàn)[2]才提出相應(yīng)的理論分析。隨后，許多學(xué)者在時延或有限時間控制、非線性系統(tǒng)、二階或高階系統(tǒng)等方面對一致性問題進行了研究。隨著計算機科學(xué)的快速發(fā)展，基于強化學(xué)習(xí)的方法被應(yīng)用于解決系統(tǒng)中含有錯誤智能體的一致性容錯問題。在現(xiàn)有文獻(xiàn)中，解決多智能體一致性的方法均是假設(shè)可以通過本地通信獲得智能體之間的絕對或相對狀態(tài)，因此狀態(tài)被視為系統(tǒng)的控制輸入。此外，一些研究人員將智能體分成小組，并利用相關(guān)組信息作為控制輸入，以實現(xiàn)系統(tǒng)一致性[3]。

然而，在一些實際場景中，當(dāng)無法獲得智能體或組之間的絕對或相對狀態(tài)信息時，現(xiàn)有的一致性方法將不再適用。例如，在供應(yīng)鏈倉庫系統(tǒng)中[4]，由于統(tǒng)計過程需要大量的人力物力，很難獲得每個倉庫的準(zhǔn)確庫存量。鑒于上述情況，可以將增量狀態(tài)信息（即庫存變化）用作控制輸入，以達(dá)到庫存一致的目標(biāo)，這將大大減少資源投資和人力耗損。

本文中，我們提出了一種新的分布式方法，解決當(dāng)系統(tǒng)中既不存在智能體間相對狀態(tài)信息也不存在組間相對狀態(tài)信息時的一致性問題。具體而言，引入前一時刻中相鄰智能體的控制變量（增量狀態(tài)）來更新當(dāng)前智能體的狀態(tài)。當(dāng)初始控制輸入滿足鄰居的平均狀態(tài)的情況時，目標(biāo)就等價于具有均勻相鄰權(quán)重的線性一致性系統(tǒng)，此時，系統(tǒng)必然可以達(dá)成一致。進一步地，研究了一個包含多個子鏈的供應(yīng)鏈系統(tǒng)模型，其中每個子鏈被視為一個智能體且包含不同的工廠，不同子鏈中的相應(yīng)工廠之間發(fā)生信息交互。通過輸入控制增量進行狀態(tài)更新，每個子鏈中各個工廠的庫存水平達(dá)到一致，并通過仿真實驗進行了相應(yīng)的驗證。

本文的貢獻(xiàn)如下：①提出的方法是首次在不存在智能體間相對狀態(tài)和組間相對信息的情況下利用增量控制來實現(xiàn)系統(tǒng)一致；②增量控制方法能夠減少復(fù)雜大規(guī)模數(shù)據(jù)統(tǒng)計的計算負(fù)荷。我們通過將該策略應(yīng)用于供應(yīng)鏈系統(tǒng)來實現(xiàn)庫存水平的一致性，從而證明了這一能力。

1 相關(guān)知識

1.1 圖論

在智能體系統(tǒng)中，把一個智能體看作是一個節(jié)點，智能體之間的信息交互看作是連接成功的節(jié)點的邊，采用圖論知識來刻畫整個系統(tǒng)的拓?fù)浣Y(jié)構(gòu)。

用[G=V，E，A]來表示多個節(jié)點之間的有向信息交互拓?fù)?，其中[V={1，2，…，N}]表示[N]個節(jié)點構(gòu)成的集合，[E?V×V]表示邊集，即：節(jié)點之間有向的連接關(guān)系。[Ni=i|j∈V，j，i∈E]表示節(jié)點[i]的鄰居集合，[A=[aij]∈RN×N]表示節(jié)點的鄰接矩陣。當(dāng)存在[（j，i）∈E]且[aij>0]時，表明節(jié)點[i]和節(jié)點[j]之間存在鄰居關(guān)系，否則[aij=0]。有向圖又可稱為強連接圖，表示當(dāng)且僅當(dāng)存在至少一個根節(jié)點以直接或間接的方式可以到達(dá)其他任何節(jié)點。在一般情況下，本文拓?fù)鋱D是準(zhǔn)強連通的。

1.2 系統(tǒng)模型

考慮一組含有[n]個智能體的離散時間系統(tǒng)，第[i]個智能體的動力學(xué)模型可描述為：

[xik+1=xik+uik，? i∈V]? ⑴

其中，[xi（k）∈R]和[ui（k）∈R]分別表示智能體[i]在[k]時刻的狀態(tài)和控制輸入，在此[n]個智能體的初始狀態(tài)表示為[X0=[x10，x20，…，xn0]T]。在一些情況下，智能體也可以表示為組信息，用[Gi]表示。

本文中，假設(shè)智能體[i]既無法獲得其鄰居的絕對狀態(tài)信息[xi]，也無法獲得其與鄰居智能體[j]的相對狀態(tài)信息[（xj-xi）]或者相對組信息[（Gj-Gi）]。此外，對于每個智能體來說，可以獲得其鄰居智能體的狀態(tài)增量信息。在很多實際場景中都可能發(fā)生這種情況，比如供應(yīng)鏈系統(tǒng)的應(yīng)用[5]，配電系統(tǒng)中的局部電壓控制[6]。以供應(yīng)鏈系統(tǒng)為例，由于庫存量龐大以及復(fù)雜的統(tǒng)計過程，實際中很難獲得準(zhǔn)確的庫存數(shù)量，而獲取每個工廠及其鄰近工廠的增量部分，用以穩(wěn)定整個市場的供應(yīng)一致是可行的。

因此，本文的目標(biāo)是為每個智能體[i]設(shè)計合適的控制輸入[ui（k）]，以便在最后一步通過相鄰智能體的控制輸入[uj（k-1）]，確保智能體在足夠小的[ε]范圍內(nèi)，實現(xiàn)系統(tǒng)的狀態(tài)一致。

[limsupk→∞maxi≠jxik-xj（k）<ε]? ⑵

2 主要結(jié)論

本文中，研究多智能體系統(tǒng)在鄰居智能體的絕對或相對狀態(tài)信息未知，僅基于鄰居智能體的增量變化的情況下，達(dá)成系統(tǒng)的一致。首次引入控制變量研究多智能體的一致性問題，為了簡化分析，我們以固定拓?fù)涞那闆r來進行分析。

對于智能體[i]，其控制輸入為：

[uik+1=uik+j∈Niuj（k）Ni+1，? i∈V]? ⑶

由此，可得如下主要結(jié)論。

定理1 對于每個智能體，其狀態(tài)的更新僅與鄰居智能體的控制變量和自己的狀態(tài)值相關(guān)，當(dāng)且僅當(dāng)其初始控制輸入滿足如下，多智能體系統(tǒng)可達(dá)成一致。

[ui0=xi0+j∈Nixj（0）Ni+1-xi（0）]? ⑷

此時，我們所提出的算法等價于具有相同鄰居權(quán)重的經(jīng)典一致性算法，即：

[xik+1=xik+j∈Nixj（k）Ni+1]? ⑸

當(dāng)系統(tǒng)拓?fù)錇楣潭ㄍ負(fù)鋾r，系統(tǒng)可達(dá)成一致。

算法的具體細(xì)節(jié)參見算法1。

[算法1：智能體[i]基于增量控制的一致性算法 隨機初始化智能體[i]的值：[xi（0）] 控制輸入：[ui0=xi0+j∈Nixj（0）Ni+1-xi（0）]

智能體[i]在1時刻的值：[xi1=xi0+ui（0）] For[k=0? to? T ]do

[? ? ? ? ? uik+1=uik+j∈NiujkNi+1]

[? ? ? ? ? xik+2=xik+1+ui（k+1）] End For ]

備注1 當(dāng)多智能體系統(tǒng)拓?fù)浣Y(jié)構(gòu)為平衡拓?fù)鋾r，即每個智能體的入度等于出度，所提算法任然可使系統(tǒng)達(dá)成一致。讀者可參考Carli[7]等相關(guān)工作。

3 供應(yīng)鏈系統(tǒng)模型

在本文中，假設(shè)每條供應(yīng)鏈含有[N]條結(jié)構(gòu)相似功能相同的子鏈，每條子鏈包含[n]個類似的工廠，其中，子鏈看作是結(jié)構(gòu)圖中的節(jié)點。

[Xik=xi1k，xi2k，…，xinkT∈Rn]

[Uik=ui1k，ui2k，…，uinkT∈Rn]

[Dik=[0，…，0，din（k）]T∈Rn]

假設(shè)1 第[i]個子鏈，庫存水平滿足[0<xij（k）<xM]，對于一些易腐物品，庫存水平隨著時間的推移將以[ρi]的速率衰減。

備注2 在實際應(yīng)用中，由于庫存能力的限制，每個工廠[xij（k）]的最大庫存限制量為[xM]。特別是，某些易腐產(chǎn)品（如蔬菜）的庫存水平可能會隨著時間的推移而降低。

假設(shè)2 市場需求[dink]分為兩個部分，一部分為市場固定需求[din]，另一部分為市場波動[ωin（k）]。因此，市場需求可以表示為：

[dink=din+ωin（k）]? ⑹

在系統(tǒng)中，為了實現(xiàn)整個系統(tǒng)的一致性，從而保證市場的穩(wěn)定供應(yīng)，每個智能體需要根據(jù)鄰居的行為調(diào)整各自的生產(chǎn)力。在此，交換的信息不是每個相鄰智能體的具體庫存水平，而是鄰居的增量狀態(tài)。因此，第[i]個子鏈的第[j]個工廠的控制輸入分為兩部分：一部分為[uij（k）]控制生產(chǎn)率以滿足供應(yīng)需求，另一部分[uij（k）]調(diào)整庫存水平以實現(xiàn)系統(tǒng)一致。當(dāng)初始值滿足[uij0=xij0+l∈Nixlj（0）Ni+1-xij（0）]，有如下：

[uijk=uijk+uijk]

[uijk=kij×xijk]

[uijk=uijk-1+l∈Niulj（k-1）Ni+1]

其中，[kij]代表生產(chǎn)率，表示為：

[ki1k=ui2k+1-ρ1xi1kxi1k=ui2kxi1k+1-ρ1]

[ki2k=ui3k+1-ρ2xi2kxi2k=ui3kxi2k+1-ρ2]

[kink=dink+1-ρnxinkxink=dinkxink+1-ρn]

因此，第[i]個智能體（子鏈）的生產(chǎn)過程模型為：

[xi1k+1=ρ1xi1k+ui1k-ui2k]

[xi2k+1=ρ2xi2k+ui2k-ui3k]

[xink+1=ρnxink+uink-dink]

第[i]個子鏈的生產(chǎn)過程如圖1所示，其中[ρn]表示第[n]個工廠的庫存保留率，[1-ρn]表示第[n]個工廠的衰減量，在此處，假設(shè)不同子鏈相應(yīng)工廠的衰減量相同； [uin（k）]表示第[i]條子鏈第[n]個工廠的生產(chǎn)量：[din]表示第[i]條子鏈第[n]個工廠的市場需求量；[xin]表示第[i]條子鏈第[n]個工廠的庫存水平即庫存量。

4 實驗結(jié)果和分析

在這個部分，我們首先考慮一個數(shù)值仿真證明所提出的算法，分別針對普通拓?fù)浜推胶馔負(fù)溥M行實驗。其次，構(gòu)建一個含有四條子鏈，每個子鏈擁有三個工廠的供應(yīng)鏈系統(tǒng)，并將所提算法應(yīng)用于該供應(yīng)鏈系統(tǒng)模型，通過實驗仿真分析其有效性。

4.1 數(shù)值仿真

考慮一個[n=10]的多智能體系統(tǒng)，每個智能體的初始值為0～10中的隨機數(shù)。智能體之間的通信拓?fù)淙鐖D2所示，其為一個強連通有向圖，仿真結(jié)果顯示，智能體可在幾步之內(nèi)就達(dá)成一致，如圖3所示。

若通信拓?fù)錇槠胶馔負(fù)?，即對于每一個智能體來說，入度等于出度，此時所有智能體的狀態(tài)都收斂到初始狀態(tài)的平均值，可實現(xiàn)平均一致性[8]。

由于在我們的問題中假設(shè)智能體之間的狀態(tài)信息未知，因此應(yīng)該估計初始控制輸入對相鄰智能體狀態(tài)的影響，評估初始值不準(zhǔn)確對收斂性能的影響。在這種情況下，初始控制輸入[ui0=xi0+（1-γ）j∈Nixj（0）Ni+1-xi（0）]，其中[γ∈[-e，e]]，誤差[e∈[0，0.5]]，這意味著每個智能體[i]從具有[[-e，e]]誤差的所有鄰居智能體接收信息。我們以0.01的步長對[e]中的不同值進行采樣，并對每個值進行4000次實驗。然后，將每200個實驗結(jié)果分組，以計算系統(tǒng)達(dá)到一致性時的標(biāo)準(zhǔn)偏差。最后，在給定特定誤差的情況下，共繪制了20個結(jié)果，如圖4所示。可以得出兩個結(jié)論。首先，標(biāo)準(zhǔn)差相對于誤差[e]幾乎線性增長。其次，隨著初始控制變量中誤差的增加，標(biāo)準(zhǔn)差的變化越大，這意味著系統(tǒng)行為更難預(yù)測。

4.2 供應(yīng)鏈系統(tǒng)的數(shù)值仿真

在本小節(jié)中，我們考慮一個由四個子鏈組成的供應(yīng)鏈系統(tǒng)，每個子鏈包含三個工廠，這些工廠可以獨立生產(chǎn)和分銷產(chǎn)品。相應(yīng)的生產(chǎn)流程如圖5所示。

當(dāng)每個子鏈被視為一個圖節(jié)點時，不同子鏈之間對應(yīng)的通信拓?fù)淙鐖D6所示。初始時刻，庫存水平設(shè)定為[X10=2.3， 5.2， 8.9T]，[X20=7.5， 6.4， 6.6T]，[X3（0）=6.7， 3.1， 4.5T]，[X4（0）=4.8， 4.3， 2.1T]。每個工廠的庫存保留率設(shè)置為[ρ1=0.8]，[ρ2=0.7]，[ρ3=0.8]。此外，對于市場需求[din（k）]，所有固定需求部分均為[din=1]，不確定的市場需求部分分別設(shè)置[ω1k=e-0.43kcos （k）]，[ω2k=e-0.4kcos （k）]，[ω3k=e-0.48kcos （k）]，[ω4k=e-0.45kcos （k）]。

根據(jù)算法1，相應(yīng)的模擬結(jié)果如圖7～圖9所示，對于每個子鏈中的相應(yīng)工廠中的庫存水平，逐步達(dá)成一致。此外，我們分析了整個系統(tǒng)就庫存達(dá)成一致所需的時間。對于上述相同的供應(yīng)鏈系統(tǒng)，初始庫存水平從0-10隨機抽樣，而其他參數(shù)保持不變。通過重復(fù)該實驗100次，工廠1和工廠2達(dá)成一致所需的時間相似，而工廠3達(dá)成一致的時間相對較長。顯然，這是因為工廠3與市場直接相連，市場波動會影響其收斂時間。

5 結(jié)束語

在本文中，我們提出了一種在多智能體系統(tǒng)中僅通過增量狀態(tài)實現(xiàn)一致性的新方法。該方法在通信拓?fù)錆M足一般連接性要求的條件下，引入每個智能體及其鄰居的控制變量信息，作為更新其自身狀態(tài)的控制輸入。理論分析和數(shù)值模擬表明了該方法的有效性。同時，在供應(yīng)鏈系統(tǒng)中采用所提出的方法來達(dá)成庫存一致。另外，對于平衡的拓?fù)浣Y(jié)構(gòu)，也可以實現(xiàn)平均一致。但仍有一些問題尚未解決，首先，實際場景中的拓?fù)渫ǔＪ莿討B(tài)的，這是未來應(yīng)該考慮的問題。其次，能否放寬對初始條件的限制可能是一個新的研究方向。

參考文獻(xiàn)（References）：

[1] DeGroot M H. Reaching a consensus[J]. Journal of theAmerican Statistical association，1974，69（345）：118-121.

[2] Jadbabaie A， Lin J， Morse A S. Coordination of groups ofmobile autonomous agents using nearestneighbor rules[J].IEEE Transactions on automatic control，2003，48（6）：988-1001.

[3] 侯健，鄭榮濠.隨機分組策略下的分布式多智能體一致性[J].控制理論與應(yīng)用，2018，35（4）：517-522.

[4] 覃茜.基于多智能體的供應(yīng)鏈系統(tǒng)在切換拓?fù)湎碌腫H∞]一致性[D].山西：山西大學(xué)，2017.

[5] 高杉杉，劉永澤，王冰，等.基于切換拓?fù)涞墓?yīng)鏈系統(tǒng)庫存[H∞]一致性[C]//中國自動化學(xué)會控制理論專業(yè)委員會（Technical Committee on Control Theory， Chinese Association of Automation），中國自動化學(xué)會（Chinese Association of Automation），中國系統(tǒng)工程學(xué)會（Systems Engineering Society of China）.第40屆中國控制會議論文集（15），2021：6.

[6] Farivar M， Zho X， Chen L. Local voltage control indistribution systems： An incremental control algorithm[C]//2015 IEEE international conference on smart grid communications （SmartGridComm）.IEEE，2015：732-737.

[7] Carli R， Fagnani F， Frasca P， et al. Average consensus onnetworks with transmission noise or quantization[C]//2007 European Control Conference （ECC）. IEEE，2007：1852-1857.

[8] 俞輝，蹇繼貴，王永驥.多智能體有向網(wǎng)絡(luò)的加權(quán)平均一致性[J].微計算機信息，2007，192（5）：239-241.