王靜逸 熊健

摘要：為支持群體智能體系的結(jié)構(gòu)和計(jì)算，智能核心采用內(nèi)部線程通道分層結(jié)構(gòu)、外部多節(jié)點(diǎn)分層、聯(lián)邦節(jié)點(diǎn)結(jié)合的3層模式，集成聯(lián)邦形式模型、集中化并行模型和博弈對(duì)抗模型，形成支持群體智能體系的多樣化分布式人工智能（artificial intelligence，AI）模型的計(jì)算系統(tǒng)。該系統(tǒng)可提高群體智能體系的底層能力，提供易用性高、兼容性好和能解決復(fù)雜多智能體問(wèn)題的核心結(jié)構(gòu)，提高分布式AI的系統(tǒng)水平。

關(guān)鍵詞：分布式人工智能;群體智能;HLA;Agent;博弈對(duì)抗;聯(lián)邦計(jì)算

中圖分類號(hào)：TP391.92;TP311.521文獻(xiàn)標(biāo)志碼：B

0 引言

隨著神經(jīng)網(wǎng)絡(luò)的突破，人工智能（artificialintelligence，AI）得到巨大的發(fā)展，特別在圖像、分析和推薦等領(lǐng)域。

在AI快速發(fā)展的同時(shí)，計(jì)算規(guī)模擴(kuò)大、專家系統(tǒng)單一、神經(jīng)網(wǎng)絡(luò)模型靈活性不足、應(yīng)用領(lǐng)域復(fù)雜等問(wèn)題也在不斷升級(jí)。在這樣的背境下，分布式AI的發(fā)展被眾多研究機(jī)構(gòu)和大型企業(yè)提上日程。

1 分布式AI與智能核心

分布式AI可以解決集中化AI的主要問(wèn)題：（1）規(guī)?；挠?jì)算;（2）計(jì)算模型的拆分訓(xùn)練;（3）多智能專家系統(tǒng)的協(xié)作;（4）多智能體博弈和訓(xùn)練演化，解決數(shù)據(jù)集不足問(wèn)題;（5）群體智能決策和智能系統(tǒng)決策樹的靈活組織，適應(yīng)復(fù)雜的應(yīng)用場(chǎng)景，特別是在工業(yè)、生物、航天和經(jīng)濟(jì)等研究領(lǐng)域;（6）適應(yīng)物聯(lián)網(wǎng)和小型智能設(shè)備，可聯(lián)合更多的邊緣計(jì)算單元和移動(dòng)設(shè)備。

1.1TensorFlow學(xué)習(xí)平臺(tái)的分布式方案

運(yùn)用TensorFlow學(xué)習(xí)平臺(tái)的組件，可以形成2種主要的分布式進(jìn)程：?jiǎn)芜M(jìn)程和多進(jìn)程。該方案出自ABADI等題名TensorFlow：Large-scale machinelearning On heterogeneous distributed systems的論文。該平臺(tái)的部署和運(yùn)作模式見(jiàn)圖1。

根據(jù)TensorFlow的分布式機(jī)器學(xué)習(xí)方案可知其存在一些缺點(diǎn)，如：（1）分布式的計(jì)算方式提供訓(xùn)練和參數(shù)更新服務(wù)，可極大擴(kuò)展規(guī)?；挠?jì)算能力，但是在數(shù)據(jù)歸并和多級(jí)分層上沒(méi)有較好的計(jì)算模型，無(wú)法提供多層次的分布式結(jié)構(gòu);（2）在分布式的計(jì)算模型中，無(wú)較好的計(jì)算模型構(gòu)造方式，因此無(wú)法提供分布式AI所需要的任務(wù)分發(fā)、數(shù)據(jù)歸并和模型更新等能力;（3）分布式組織方式使平級(jí)層次的分布式結(jié)構(gòu)歸并成為最終模型，可完成集中化的單一專家系統(tǒng)，無(wú)法形成多群體博弈對(duì)抗的協(xié)調(diào)決策與多專家系統(tǒng)的兼容協(xié)調(diào);（4）TensorFlow需要高性能計(jì)算機(jī)和高性能GPU，難以支持小型設(shè)備和物聯(lián)網(wǎng)等多設(shè)備的邊緣化集群計(jì)算。

1.2 Apache Spark分布式機(jī)器學(xué)習(xí)

在Aache Spark中，計(jì)算模型可以設(shè)計(jì)為有向無(wú)環(huán)圖（directed acyclic graph，DAG），無(wú)環(huán)圖的頂點(diǎn)是彈性分布式數(shù)據(jù)集（resilient distributed database，RDD），RDD是Spark的核心組件。通過(guò)RDD轉(zhuǎn)換，可形成模型的計(jì)算、轉(zhuǎn)換和聚合等過(guò)程，整體模型可以表示成一個(gè)DAG。DAG的頂點(diǎn)表示中間轉(zhuǎn)換，可存儲(chǔ)中間結(jié)果;DAG的邊表示計(jì)算過(guò)程，可以進(jìn)行數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)歸并等處理。比如，在分布式機(jī)器學(xué)習(xí)模型訓(xùn)練中，多個(gè)計(jì)算節(jié)點(diǎn)共同訓(xùn)練、平均更新模型規(guī)模是提高機(jī)器學(xué)習(xí)規(guī)?；?xùn)練的重要方法。Spark計(jì)算模型和Stage形成的DAG見(jiàn)圖2。

根據(jù)Spark的分布式機(jī)器學(xué)習(xí)機(jī)制，并結(jié)合參考文獻(xiàn)[2]，可以總結(jié)Spark存在的缺點(diǎn)：（1）支持大規(guī)模的模型計(jì)算分層，但是計(jì)算過(guò)程消耗較大，不適用于較小規(guī)模的分布式方案;（2）節(jié)點(diǎn)與節(jié)點(diǎn)之間的數(shù)據(jù)路由不靈活;（3）難以在小型化設(shè)備間進(jìn)行聯(lián)合學(xué)習(xí)運(yùn)算，無(wú)法部署在小型化設(shè)備上;（4）其并行計(jì)算框架的模式是任務(wù)確認(rèn)調(diào)度-模型劃分-分片計(jì)算-歸并總結(jié)，更適合大數(shù)據(jù)集的機(jī)器學(xué)習(xí)，不適合多節(jié)點(diǎn)博弈等強(qiáng)化學(xué)習(xí)方法。

1.3 Google聯(lián)合學(xué)習(xí)方案

針對(duì)小型化設(shè)備，Google在Federated learning：Collaborative machine learning without centralizedtraining data中提出聯(lián)邦聯(lián)合學(xué)習(xí)的概念。

聯(lián)邦聯(lián)合學(xué)習(xí)的工作原理為：（1）手機(jī)或者其他小型設(shè)備下載云端的共享模型;（2）每個(gè)小型設(shè)備的用戶通過(guò)自己的歷史數(shù)據(jù)訓(xùn)練和更新模型;（3）將用戶個(gè)性化更新后的模型抽取成為一個(gè)小的更新文件;（4）提取模型的差異化部分進(jìn)行加密處理并上傳到云端;（5）在云端將新用戶的差異化模型與其他用戶模型進(jìn)行平均化（Average），然后優(yōu)化更新現(xiàn)有的共享模型。

聯(lián)邦聯(lián)合學(xué)習(xí)的好處有：（1）聚合邊緣的小型化設(shè)備（如手機(jī)），增加AI的數(shù)據(jù)來(lái)源和計(jì)算能力來(lái)源;（2）機(jī)器學(xué)習(xí)的模型結(jié)果更適應(yīng)廣泛用戶的行為數(shù)據(jù)模型;（3）不同群體之間可以產(chǎn)生博弈和不斷強(qiáng)化的模型結(jié)果，模型可以在廣泛的分布式基礎(chǔ)下不斷迭代更新。

1.4 技術(shù)問(wèn)題的改善

1.4.1 核心功能點(diǎn)

以實(shí)現(xiàn)實(shí)時(shí)操作系統(tǒng)（real-time operatingsystem，RTOS）為目標(biāo)，圍繞分布式AI和群體智能，參考Distributed and federated optimization for machinelearning中的聯(lián)邦學(xué)習(xí)、HLA evolved：Asummary ofmajor technical improvements中的HLA聯(lián)邦交互技術(shù)、DDS集中化仿真模型、Agent聯(lián)盟機(jī)器學(xué)習(xí)和大數(shù)據(jù)下的Multi-Agent智能模型等，進(jìn)行計(jì)算核心設(shè)計(jì)，其主要核心能力如下。

（1）分布式多網(wǎng)絡(luò)節(jié)點(diǎn)。提供分布式智能節(jié)點(diǎn)，幫助隨時(shí)啟動(dòng)計(jì)算節(jié)點(diǎn)，將單體計(jì)算平臺(tái)（包括計(jì)算機(jī)、智能硬件和移動(dòng)設(shè)備等）連接起來(lái)，形成一個(gè)多網(wǎng)絡(luò)節(jié)點(diǎn)的分布式計(jì)算平臺(tái)。

（2）提供計(jì)算層接口。各個(gè)邏輯和算法可以通過(guò)計(jì)算層接口連接分布式節(jié)點(diǎn)，聲明和接受分布式任務(wù)，為群體智能決策，運(yùn)算實(shí)體邏輯和AI算法。

（3）任務(wù)并行和數(shù)據(jù)同步。支持不同計(jì)算層分別聲明和相互訂閱，可以通過(guò)路由節(jié)點(diǎn)在不同運(yùn)算層之間發(fā)布計(jì)算模型、訂閱部分模型任務(wù)、同步數(shù)據(jù)、歸并數(shù)據(jù)和并行計(jì)算等。

（4）多語(yǔ)言軟件開發(fā)工具包（softwaredevelopment kit，SDK）。包括C++、Java、C#、Python和Unreal等，使計(jì)算層可以支持TensorFlow深度學(xué)習(xí)、C++邏輯和智能仿真、Unreal圖形和物理計(jì)算等，支持多樣化的智能模型。

（5）多種模型定義和分布式規(guī)則。提供HLA、DDS和Multi-Agent等分布式體系，支持不同AI模型的定義，支持AI模型的并行計(jì)算、任務(wù)拆分、數(shù)據(jù)歸并和模型共享等。

（6）負(fù)載均衡。均衡計(jì)算層（worker）的計(jì)算實(shí)體（entity），有效分配和管理計(jì)算資源。

（7）中控管理。中心化的監(jiān)控工具，可檢測(cè)和控制多個(gè)平臺(tái)、worker和entity等計(jì)算資源。

在實(shí)際應(yīng)用中，要結(jié)合不同的應(yīng)用場(chǎng)景和計(jì)算組合方式，通過(guò)其他人工智能庫(kù)（如TensorFlow）完成架構(gòu)設(shè)計(jì)，實(shí)現(xiàn)大規(guī)模、分布式和多AI節(jié)點(diǎn)計(jì)算，完成集群AI的總體決策，并且實(shí)現(xiàn)互相激發(fā)、互相協(xié)作的目標(biāo)。

1.4.2 核心組件支持的組織協(xié)議體系

核心組件是分布式智能計(jì)算核心，支持不同的分布式AI計(jì)算架構(gòu)，需要多種分布式計(jì)算模型規(guī)則。多種體系可以相互協(xié)作，可適應(yīng)復(fù)雜的智能環(huán)境需求。分布式組織協(xié)議體系主要有3種。

（1）HLA高層體系結(jié)構(gòu)。類似Spark的多級(jí)模型分層結(jié)構(gòu)，HLA高層體系結(jié)構(gòu)可以通過(guò)路由節(jié)點(diǎn)和代理模型定義，形成多級(jí)分層并行計(jì)算的聯(lián)邦模型。

（2）DDS數(shù)據(jù)分發(fā)服務(wù)。類似聯(lián)合學(xué)習(xí)的分布式結(jié)構(gòu)，DDS數(shù)據(jù)分發(fā)服務(wù)可以通過(guò)將核心節(jié)點(diǎn)作為云服務(wù)提供共享模型，結(jié)合大量設(shè)備聯(lián)合學(xué)習(xí)和更新模型。

（3）Multi-Agent多智能體代理結(jié)構(gòu)。該結(jié)構(gòu)可以形成多專家系統(tǒng)、多智能實(shí)體的獨(dú)立結(jié)構(gòu)，形成多個(gè)系統(tǒng)的博弈協(xié)調(diào)，互相進(jìn)行強(qiáng)化和激發(fā)分布式AI系統(tǒng)。

1.4.3 核心組件的優(yōu)點(diǎn)及其解決的問(wèn)題

基于核心組件目標(biāo)，提供靈活的、高兼容性的分布式人工智能核心，為未來(lái)邊緣計(jì)算、萬(wàn)物智能進(jìn)行賦能，提供多智能系統(tǒng)的協(xié)作能力。該核心組件具有以下優(yōu)點(diǎn)：（1）支持多級(jí)分層的聯(lián)邦模型，支持大規(guī)模并行計(jì)算;（2）SDK和分布式智能節(jié)點(diǎn)的小型化，支持Windows、Linux和Android等多種操作系統(tǒng)，支持小型化設(shè)備數(shù)據(jù)同步和計(jì)算賦能;（3）支持分布式多節(jié)點(diǎn)和多聯(lián)邦博弈強(qiáng)化的AI結(jié)構(gòu);（4）多語(yǔ)言SDK，支持了ensorFiow、C++、Java、C#、Python和Unreal等多種神經(jīng)網(wǎng)絡(luò)、邏輯語(yǔ)言和物理仿真庫(kù)，支持復(fù)雜的AI場(chǎng)景;（5）節(jié)點(diǎn)和組織模型即插即拔，靈活支持各種節(jié)點(diǎn)和設(shè)備加入分布式AI場(chǎng)景。

2 核心組件的分布式智能節(jié)點(diǎn)原理

2.1 分布式智能的3層節(jié)點(diǎn)原理

核心組件的關(guān)鍵是分布式智能節(jié)點(diǎn)，節(jié)點(diǎn)原理有3種理解方式。

（1）在單個(gè)智能節(jié)點(diǎn)中，通過(guò)多線程的方式在單進(jìn)程中運(yùn)行多個(gè)節(jié)點(diǎn)同步處理。

（2）在局域網(wǎng)絡(luò)或小規(guī)模網(wǎng)絡(luò)中，根據(jù)HLA、DDS和Multi-Agent等體系，形成自己的小型網(wǎng)絡(luò)聯(lián)邦，并且組成獨(dú)立的分布式計(jì)算模型。

（3）在開放性網(wǎng)絡(luò)中，不同聯(lián)邦、區(qū)域計(jì)算的節(jié)點(diǎn)，通過(guò)開放性網(wǎng)絡(luò)與其他聯(lián)邦、區(qū)域代表形成跨域的分布式模型。在這種網(wǎng)絡(luò)中，可以把獨(dú)立聯(lián)邦、獨(dú)立區(qū)域劃分成大型節(jié)點(diǎn)。相關(guān)的結(jié)構(gòu)原理見(jiàn)圖3。

基于多級(jí)需求，在組件結(jié)構(gòu)中進(jìn)行5個(gè)設(shè)計(jì)。

（1）AbstractNode：抽象節(jié)點(diǎn)相關(guān)的功能，包括數(shù)據(jù)隊(duì)列和異構(gòu)處理等。

（2）AbstractServer：抽象相關(guān)智能節(jié)點(diǎn)，處理節(jié)點(diǎn)服務(wù)的功能，包括連接、操作、數(shù)據(jù)推送、消息分發(fā)、數(shù)據(jù)隊(duì)列和數(shù)據(jù)壓縮等。

（3）ThreadSever：第一層分布式節(jié)點(diǎn)，繼承AbstractServer，實(shí)現(xiàn)進(jìn)程內(nèi)節(jié)點(diǎn)功能，提供單節(jié)點(diǎn)內(nèi)部的分布式結(jié)構(gòu)，可以通過(guò)進(jìn)程間的管道進(jìn)行通信，充分發(fā)揮單節(jié)點(diǎn)的多CPU計(jì)算核心，賦予單節(jié)點(diǎn)、多體系智能模型的兼容能力。

（4）RTOSNode：核心組件中分布式智能節(jié)點(diǎn)的標(biāo)準(zhǔn)單位，通過(guò)分布式聯(lián)邦模型進(jìn)行數(shù)據(jù)同步、并行計(jì)算和智能決策等，通過(guò)小規(guī)模網(wǎng)絡(luò)在一個(gè)聯(lián)邦集團(tuán)中形成小規(guī)模集團(tuán)計(jì)算。

（5）聯(lián)邦網(wǎng)絡(luò)：通過(guò)核心組件中的聯(lián)邦模型，聯(lián)合公共網(wǎng)絡(luò)的、外部的聯(lián)邦單位，進(jìn)行多聯(lián)邦模型之間的協(xié)調(diào)計(jì)算和數(shù)據(jù)通信。

在實(shí)際運(yùn)行當(dāng)中，可通過(guò)不同方式的啟動(dòng)和連接發(fā)揮3層分布式節(jié)點(diǎn)模式的作用。

2.2 分布式智能節(jié)點(diǎn)多分布式體系模型兼容性

智能節(jié)點(diǎn)最核心的能力是在多個(gè)分布式體系下可以通過(guò)單節(jié)點(diǎn)內(nèi)部多分層的方式兼容多個(gè)分布式體系。通過(guò)智能節(jié)點(diǎn)的3層原理和能力，智能節(jié)點(diǎn)可以支持外部網(wǎng)絡(luò)分布式和內(nèi)部線程分布式。單節(jié)點(diǎn)同時(shí)加載FED模型和IDL模型，對(duì)外支持多體系，具體運(yùn)行原理見(jiàn)圖4。單節(jié)點(diǎn)對(duì)多分布式體系兼容的原理為：（1）智能節(jié)點(diǎn)通過(guò)單節(jié)點(diǎn)內(nèi)部分布式方法，在一個(gè)節(jié)點(diǎn)中形成多體系任務(wù);（2）在內(nèi)部分布式節(jié)點(diǎn)中加載各自負(fù)責(zé)的分布式體系模型文件;（3）多體系之間通過(guò)節(jié)點(diǎn)中的數(shù)據(jù)管道進(jìn)行信息交換和同步;（4）各自的分布式節(jié)點(diǎn)與外部節(jié)點(diǎn)聯(lián)合，處理當(dāng)前所在體系的模型加載、任務(wù)分發(fā)和計(jì)算層處理等工作。

3 系統(tǒng)架構(gòu)和核心組件模塊

參考HLA、DDS和Agent等體系的RTI通信架構(gòu)模式，基于RTOS組件、3種分布式體系結(jié)構(gòu)、常用的AI算法庫(kù)、第三方功能庫(kù)等，形成以計(jì)算核心、多分布式體系為基礎(chǔ)的分布式群體智能生態(tài)系統(tǒng)架構(gòu)，見(jiàn)圖5。

生態(tài)系統(tǒng)架構(gòu)主要有4層結(jié)構(gòu)。

（1）Refrence lib層。該層為底層庫(kù)，主要以網(wǎng)絡(luò)通信協(xié)議TCP/UDP和網(wǎng)絡(luò)協(xié)議Protobuf、GRPC等相互輔助。

（2）Core Soft Plateform層。該層為核心軟件平臺(tái)層，主要為系統(tǒng)的核心組件，包括RTOSNode分布式智能節(jié)點(diǎn)、多語(yǔ)言計(jì)算層SintolSDK。計(jì)算模型和分布式體系包括HLA、DDS、Multi-Agent和DIS等。

（3）Open Soft Plateform層。該層為開放軟件層，結(jié)合其他開源框架，用于提高系統(tǒng)核心組件的適用范圍，比如深度學(xué)習(xí)平臺(tái)TensorFlow、Mesh Engine網(wǎng)格引擎（三維點(diǎn)云庫(kù)PCL）、Physics Engine物理引擎和數(shù)據(jù)庫(kù)（MySQL、MongoDB）等，并結(jié)合SintolSDK開放的API和SDK，加入SintolRTOS的計(jì)算模型和分布式節(jié)點(diǎn)。

（4）Cloud Server Plateform，即云平臺(tái)。該平臺(tái)包括仿真平臺(tái)、智能大數(shù)據(jù)平臺(tái)、網(wǎng)絡(luò)中控節(jié)點(diǎn)管理平臺(tái)和智能硬件（邊緣計(jì)算）平臺(tái)。

整體生態(tài)系統(tǒng)架構(gòu)是一個(gè)大型的、高兼容性的架構(gòu)體系，其核心層次的架構(gòu)和原理如下。

3.1 Core Soft Plateform

Core Soft Hateform是系統(tǒng)的核心組件層，其構(gòu)成可以分為3層：計(jì)算核心層SintolRTOS、體系協(xié)議層Runtime Framework和計(jì)算模型模板（objectmoudle temple，OMT）層。

核心模塊SintolRTOS負(fù)責(zé)處理智能計(jì)算、數(shù)據(jù)路由、負(fù)載均衡和操作系統(tǒng)兼容等，主要由分布式智能節(jié)點(diǎn)組件RTOSNode（多操作系統(tǒng)版本）和計(jì)算層組件SintolSDK（多語(yǔ)言、多操作系統(tǒng)版本）組成。SintolRTOS具體架構(gòu)見(jiàn)圖6。

SintolRTOS核心架構(gòu)可以分為4層，其功能組成如下。

（1）System OS Layer層，即操作系統(tǒng)層，是RTOS的底層，適配操作系統(tǒng)底層模塊，支持大型服務(wù)器（Windows、Linux）和小型智能硬件（Android）。

（2）SintolRTI層，即運(yùn)行支撐環(huán)境，是公共基礎(chǔ)服務(wù)支撐框架，包括支持加鎖策略、單節(jié)點(diǎn)內(nèi)部分布式、消息壓縮和多分布式體系數(shù)據(jù)分發(fā)等。

（3）Distributed Node層，即分布式節(jié)點(diǎn)層。在SintolRTOS所組成的計(jì)算網(wǎng)絡(luò)中，計(jì)算實(shí)體、路由節(jié)點(diǎn)和聯(lián)邦中央節(jié)點(diǎn)等都屬于分布式節(jié)點(diǎn)，SintolRTOS中的節(jié)點(diǎn)組件RTOSNode是該層的重要產(chǎn)出，還負(fù)責(zé)處理不同體系下的負(fù)載均衡、消息代理和模型加載等。

（4）SintolSDK層。SintolSDK對(duì)外提供SDK，包括接人AI計(jì)算層、物理計(jì)算層、數(shù)據(jù)計(jì)算層和三維仿真計(jì)算層等。開發(fā)者可以使用對(duì)應(yīng)的SDK成為SintolRTOS的一個(gè)節(jié)點(diǎn)或者成為系統(tǒng)功能計(jì)算層。SDK提供多種語(yǔ)言的支持，包括Python、C++、C#、Java和圖形引擎Unreal等。

SintolRTOS核心是一個(gè)高性能的計(jì)算核心，可以充分調(diào)動(dòng)不同系統(tǒng)平臺(tái)的計(jì)算資源，是一個(gè)高兼容性的核心，可以支持多種分布式體系、多數(shù)據(jù)一致性算法和多種計(jì)算層模型等。

Runtime Framework主要支持整個(gè)SintolRTOS運(yùn)行的分布式體系，以及相關(guān)的HLA、DDS和Multi-Agent等體系。

OMT是模型模板層，可提供不同分布式體系中計(jì)算模型的定義、分層和交互等，與相關(guān)的分布式體系相對(duì)應(yīng)。

3.2 Open Soft Plateform

Open Soft Plateform是開放平臺(tái)層，結(jié)合許多開源的系統(tǒng)框架，使SintolRTOS能夠融合多種計(jì)算方式。Open Soft Plateform又可細(xì)分3個(gè)層次。

（1）API/Interaetion接口和交互層，提供對(duì)接第三方與SintolRTOS核心的接口，處理如深度學(xué)習(xí)卷積計(jì)算、三維點(diǎn)云算法計(jì)算和大數(shù)據(jù)計(jì)算等，與SintolRTOS分布式模型任務(wù)結(jié)合，提供交互功能。

（2）計(jì)算框架層。集合TensorFlow深度學(xué)習(xí)、Physics物理引擎、PCL點(diǎn)云Mesh和數(shù)據(jù)庫(kù)等框架，結(jié)合API/Interaction，賦予SintolRTOS智能計(jì)算能力和數(shù)據(jù)存儲(chǔ)能力。

（3）Visual Tool可視化工具層。開發(fā)人員可通過(guò)可視化系統(tǒng)觀測(cè)SintolRTOS中的分層結(jié)構(gòu)、實(shí)體計(jì)算和交互信息等。

4 群體智能系統(tǒng)和AI代理模型

在核心智能節(jié)點(diǎn)中，計(jì)算層可以通過(guò)SDK創(chuàng)建聯(lián)邦計(jì)算模型、分配聯(lián)邦計(jì)算層、設(shè)置分布式體系和群體協(xié)調(diào)方式。在不同的分布式體系下，聯(lián)邦模型有所不同。

4.1FED聯(lián)邦模型

在HLA體系中，計(jì)算層可以發(fā)布fed.xml的聯(lián)邦計(jì)算FOM代理模型文件。

FED聯(lián)邦模型運(yùn)行核心組件的主要優(yōu)勢(shì)有：（1）提供通用、易用的機(jī)制，表示聯(lián)邦成員之間數(shù)據(jù)交換的方式，解釋多個(gè)分布式節(jié)點(diǎn)中計(jì)算模型的協(xié)調(diào)方式;（2）提供多聯(lián)邦的標(biāo)準(zhǔn)機(jī)制，實(shí)現(xiàn)不同聯(lián)邦之間數(shù)據(jù)交換和成員之間交互協(xié)調(diào);（3）幫助開發(fā)者設(shè)計(jì)群體智能對(duì)象模型的結(jié)構(gòu)。

FED代理模型主要有FOM聯(lián)邦對(duì)象模型和SOM成員對(duì)象模型，他們共同組成HLA的OMT，可描述群體智能決策的結(jié)構(gòu)體、設(shè)計(jì)聯(lián)邦的分布式并行智能計(jì)算和歸并總體決策。

通過(guò)聯(lián)邦模型，可以把復(fù)雜的AI模型分解成基于HLA的分布式群體決策森林，進(jìn)行分布式并行計(jì)算。

4.2 IDL主題模型

DDS是一種集中式的分布式數(shù)據(jù)分發(fā)協(xié)議體系。本文核心組件的中心模型可以自定義，即IDL主題模型文件。DDS主要是數(shù)據(jù)模型的分發(fā)和訂閱。在IDL中主要定義復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，其每個(gè)節(jié)點(diǎn)的計(jì)算相對(duì)獨(dú)立、模型結(jié)構(gòu)相互獨(dú)立，通過(guò)中心節(jié)點(diǎn)進(jìn)行同步協(xié)調(diào)，其數(shù)據(jù)定義與C++的Struct類似。

分布式智能節(jié)點(diǎn)經(jīng)路由器廣播數(shù)據(jù)并為其下層訂閱計(jì)算實(shí)體，因此需要在計(jì)算層發(fā)布IDL模型，然后其他用戶可以訂閱模塊（module，一個(gè)主題中可以有多個(gè)module）。在IDL中，模型類和交互接口等都以數(shù)據(jù)體的形式定義。

計(jì)算模型森林深度較淺、各計(jì)算實(shí)體計(jì)算方式交互較少、對(duì)數(shù)據(jù)廣播要求較高的系統(tǒng)，可以選用這種形式組織分布式智能計(jì)算。

4.3 FED、IDL通過(guò)Agent代理AI模型

Agent的形式多種多樣。在分布式智能節(jié)點(diǎn)中，Agent主要以智能代理模型的形式與FED、IDL模型等協(xié)作，可以將不同智能系統(tǒng)一起代理，與其他代理系統(tǒng)協(xié)同工作。本文核心組件提供Protobuf作為消息協(xié)議體，用于編寫Agent的智能代理屬性，多語(yǔ)言、多平臺(tái)地支持各種智能系統(tǒng)協(xié)同。

Agent沒(méi)有具體的定義方式。參考文獻(xiàn)[10]中的模型委托代理模式，使用消息協(xié)議，先定義對(duì)外的委托人，然后通過(guò)委托互相調(diào)用，協(xié)調(diào)各自的分布式智能系統(tǒng)。

在代理模型模塊中，通過(guò)Agent調(diào)用模型的體系，主要有目標(biāo)對(duì)象、攔截機(jī)對(duì)象和目標(biāo)對(duì)象代理3個(gè)部分。具體的調(diào)用和攔截方式見(jiàn)圖7。

核心組件實(shí)現(xiàn)Agent主要有3個(gè)重點(diǎn)。

（1）在分布式智能節(jié)點(diǎn)之間通過(guò)TCP連接，并且用Protobuf實(shí)現(xiàn)Agent代理信息和協(xié)議的編寫。

（2）處理SintolRTOS的Protocol Layer協(xié)議層，在Model模塊中實(shí)現(xiàn)Agent的攔截及其與Model層的連接和調(diào)度。

（3）在Model中定義FED、IDL等，開放代理接口，攔截層應(yīng)該拒絕非法調(diào)用及其錯(cuò)誤反饋。

在實(shí)際運(yùn)行環(huán)節(jié)，智能節(jié)點(diǎn)、計(jì)算層、復(fù)雜計(jì)算層、SDK和Agent之間的關(guān)系見(jiàn)圖8。

4.4 分布式群體智能系統(tǒng)

群體智能是多專家系統(tǒng)協(xié)作的復(fù)雜系統(tǒng)，智能模型、子系統(tǒng)劃分和分布式計(jì)算既相互獨(dú)立又相互依賴，整個(gè)系統(tǒng)具有一致的目標(biāo)，比如工廠智能系統(tǒng)的最終目的是提高良品率、降低成本和提高效益等，復(fù)雜環(huán)境的社群經(jīng)濟(jì)模型最終目的是提高整體社群活躍度、人群管理穩(wěn)定性和經(jīng)濟(jì)GVM增長(zhǎng)率等。

使用本文核心組件開發(fā)群體智能系統(tǒng)的具體方法可以總結(jié)為設(shè)計(jì)環(huán)節(jié)和開發(fā)部署環(huán)節(jié)2個(gè)部分。

4.4.1 設(shè)計(jì)環(huán)節(jié)

（1）設(shè)計(jì)整體系統(tǒng)環(huán)境的任務(wù)目標(biāo);

（2）設(shè)計(jì)分布式系統(tǒng)體系、聯(lián)邦體系、中控DDS體系、博弈體系和混合體系等;

（3）設(shè)計(jì)分布式聯(lián)邦模型，編寫模型文件;

（4）根據(jù)分布式模型設(shè)計(jì)計(jì)算層和算法模塊;

（5）設(shè)計(jì)計(jì)算層的協(xié)調(diào)接口、數(shù)據(jù)一致性算法、數(shù)據(jù)類型，以及同步和異步方法;

（6）設(shè)計(jì)AI代理層，設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)模型，連接分布式聯(lián)邦模型和Agent代理模型。

4.4.2 開發(fā)部署環(huán)節(jié)

（1）根據(jù)群體智能體系，部署分布式智能節(jié)點(diǎn);

（2）啟動(dòng)聯(lián)邦節(jié)點(diǎn)和全體分布式節(jié)點(diǎn)，組成分布式聯(lián)邦網(wǎng)絡(luò);

（3）根據(jù)設(shè)計(jì)的計(jì)算層發(fā)布聯(lián)邦模型，使用SDK編寫計(jì)算層模塊并連接到對(duì)應(yīng)的智能節(jié)點(diǎn);

（4）對(duì)應(yīng)特殊的計(jì)算層，比如復(fù)雜的神經(jīng)網(wǎng)絡(luò)、物理仿真計(jì)算等，使用特定的SDK編寫委托一代理的Agent模型，提供復(fù)雜算法模塊;

（5）運(yùn)行整體群體智能系統(tǒng)，啟動(dòng)中控系統(tǒng)，監(jiān)聽(tīng)運(yùn)行環(huán)境，在系統(tǒng)運(yùn)行中迭代更新智能參數(shù)、調(diào)整群體智能體系。

4.4.3 模擬智能體和對(duì)抗強(qiáng)化學(xué)習(xí)示例

在實(shí)際的DDPG計(jì)算層中，Agent的訓(xùn)練模型和數(shù)據(jù)需要來(lái)自于UnrealRTOS（仿真計(jì)算層）的傳人和代理，驅(qū)動(dòng)DDPG強(qiáng)化神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練，在實(shí)際應(yīng)用中對(duì)抗博弈，最終形成多人互動(dòng)的博弈，促進(jìn)動(dòng)態(tài)的系統(tǒng)學(xué)習(xí)和模型平衡。多智能體分布式體系見(jiàn)圖9。

多智能體分布式體系的主要結(jié)構(gòu)要點(diǎn)如下：（1）整體體系都在一個(gè)聯(lián)邦體系下，所有智能體都在一個(gè)聯(lián)邦模型中，申明其中的子模型實(shí)體，進(jìn)行運(yùn)算和協(xié)調(diào);（2）每個(gè)智能體通過(guò)UnrealRTOS和CSintolSDK組成實(shí)體，處理其仿真動(dòng)作、狀態(tài)機(jī)、物理碰撞和圖形渲染等;（3）智能體通過(guò)PSintolSDK與Agent形成智能代理機(jī)制，通過(guò)DDPG神經(jīng)網(wǎng)絡(luò)進(jìn)行強(qiáng)化學(xué)習(xí)，形成不同智能體的智能對(duì)抗訓(xùn)練和升級(jí)。

整個(gè)聯(lián)邦可以容納多個(gè)智能體，共同形成小型聯(lián)邦的群體智能。

5 電商社群經(jīng)濟(jì)下的群體智能數(shù)據(jù)

社群分布式經(jīng)濟(jì)模型與智能核心組件見(jiàn)圖10。

與傳統(tǒng)的經(jīng)濟(jì)模型相比，分布式社群經(jīng)濟(jì)模型運(yùn)用群體智能計(jì)算，具有如下特點(diǎn)：（1）通過(guò)RTOS全面連通社群經(jīng)濟(jì)體，實(shí)現(xiàn)全面的數(shù)據(jù)采集和路由互通，讓整個(gè)社群經(jīng)濟(jì)體具有智能的感知控制;（2）使用規(guī)則模型定義優(yōu)化社群的運(yùn)營(yíng)和經(jīng)營(yíng)策略;（3）使用對(duì)象模型模擬全網(wǎng)分布式自治環(huán)境以及所有用戶、社群、經(jīng)濟(jì)交易體的活動(dòng);（4）使用評(píng)價(jià)模型評(píng)價(jià)和強(qiáng)化社群運(yùn)營(yíng)規(guī)則策略與對(duì)象運(yùn)行模式;（5）應(yīng)用反饋模型，通過(guò)評(píng)價(jià)、對(duì)象和規(guī)則等數(shù)據(jù)對(duì)規(guī)則模型進(jìn)行優(yōu)化和梯度計(jì)算等;（6）利用群體智能的能力激發(fā)多專家系統(tǒng)博弈對(duì)抗和協(xié)調(diào)合作，發(fā)展創(chuàng)新、激發(fā)新經(jīng)濟(jì)時(shí)代的強(qiáng)大活力。

以天貓平臺(tái)的實(shí)際工作為例，測(cè)試電商業(yè)務(wù)在多模型博弈環(huán)境下提高產(chǎn)品推廣策略的效果。

在天貓平臺(tái)的直通車策略推廣中，策略主要有5個(gè)因素：一是影響商品投放策略效果，如商品選擇、創(chuàng)意策略、關(guān)鍵詞、投放金額、投放時(shí)間、投放地域和投放人群等，最終形成自身投放的策略因素;二是通過(guò)歷史效果對(duì)本身產(chǎn)品進(jìn)行評(píng)價(jià)和對(duì)比;三是大盤品類產(chǎn)品的時(shí)效性;四是競(jìng)爭(zhēng)對(duì)手的策略;五是自身產(chǎn)品的活動(dòng)影響。

分別對(duì)這5個(gè)因素進(jìn)行建模，如DDPG強(qiáng)化策略、強(qiáng)化評(píng)價(jià)、反饋模型、商品對(duì)象和活動(dòng)規(guī)則等，設(shè)計(jì)群體智能模型，以提高本身產(chǎn)品的總成交金額和以一定比例的投入產(chǎn)出比為限定要素設(shè)定最終目標(biāo)。整體分布式體系主要使用HLA聯(lián)邦體系和Multi-Agent博弈體系聯(lián)合作用。聯(lián)邦體系主要用于決策自身相關(guān)的策略模型;博弈體系主要用于與競(jìng)爭(zhēng)對(duì)手的策略和天貓平臺(tái)的策略進(jìn)行博弈。

具體算法本文不詳細(xì)探討。系統(tǒng)運(yùn)行一定時(shí)間，每日結(jié)束后，點(diǎn)擊率、轉(zhuǎn)化率和投入產(chǎn)出均按重點(diǎn)時(shí)段進(jìn)行提升，天貓平臺(tái)商品投放和推薦策略的實(shí)際測(cè)試數(shù)據(jù)見(jiàn)圖11。

6 結(jié)束語(yǔ)

在未來(lái)的科技發(fā)展中，AI應(yīng)用將遍布各行各業(yè)。隨著社會(huì)化、物聯(lián)網(wǎng)、邊緣計(jì)算、航天科技、生物研究和金融模型研究等高速發(fā)展，AI的計(jì)算規(guī)模、訓(xùn)練時(shí)間和兼容性都將受到更嚴(yán)峻的考驗(yàn)。如何提高AI的計(jì)算規(guī)模和計(jì)算能力，以滿足復(fù)雜的社會(huì)情況，迎接“萬(wàn)物互聯(lián)”的新世界，分布式AI正為此努力。

隨著時(shí)代的發(fā)展，分布式智能計(jì)算核心需要適配不同的智能硬件、適配工業(yè)化設(shè)備、適應(yīng)小型化的社群經(jīng)濟(jì)模型，幫助AI走人生活智能設(shè)備、改造工業(yè)環(huán)境、提升金融模型的計(jì)算精細(xì)度，幫助社會(huì)走人數(shù)字化、智能化的新時(shí)代。