張雪晴 劉延偉 劉金霞 韓言妮

1 （中國(guó)科學(xué)院信息工程研究所 北京 100093）

2 （中國(guó)科學(xué)院大學(xué)網(wǎng)絡(luò)空間安全學(xué)院 北京 100049）

3 （浙江萬里學(xué)院 浙江 寧波 315100）

隨著移動(dòng)通信技術(shù)的快速發(fā)展和智能終端的普及，連接到網(wǎng)絡(luò)的邊緣設(shè)備數(shù)量和智能應(yīng)用持續(xù)增長(zhǎng)，人類將迎來邊緣智能[1]時(shí)代.邊緣智能應(yīng)用大多基于機(jī)器學(xué)習(xí)技術(shù),例如視頻推薦[2]、人臉識(shí)別[3]、自動(dòng)駕駛[4]與無人機(jī)[5]等.像自動(dòng)駕駛和增強(qiáng)現(xiàn)實(shí)這樣的智能應(yīng)用需要更多的計(jì)算和數(shù)據(jù)資源以及更短的處理時(shí)延需求.傳統(tǒng)的機(jī)器學(xué)習(xí)基于云計(jì)算平臺(tái)對(duì)數(shù)據(jù)進(jìn)行集中處理訓(xùn)練.由于邊緣智能終端產(chǎn)生的數(shù)據(jù)量大、計(jì)算任務(wù)分散以及數(shù)據(jù)的隱私保護(hù)需求，將所有數(shù)據(jù)發(fā)送到云端進(jìn)行處理是不切實(shí)際的.近年來，5G 系統(tǒng)中引入了移動(dòng)邊緣計(jì)算（mobile edge computing，MEC）[6]架構(gòu)，將計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源與基站集成，將計(jì)算能力從云端下沉到網(wǎng)絡(luò)邊緣，縮短了數(shù)據(jù)處理計(jì)算節(jié)點(diǎn)與用戶之間的距離，能夠滿足用戶低時(shí)延的需求.

MEC 是一項(xiàng)快速發(fā)展的技術(shù)，旨在通過利用邊緣設(shè)備未充分利用的計(jì)算和通信資源，在無線網(wǎng)絡(luò)邊緣部署移動(dòng)應(yīng)用.作為傳統(tǒng)集中式云計(jì)算的補(bǔ)充，MEC 在降低核心網(wǎng)絡(luò)流量負(fù)載、緩解中央服務(wù)器處理壓力、縮短端到端操作響應(yīng)延遲以及提高無線網(wǎng)絡(luò)整體系統(tǒng)性能方面表現(xiàn)出巨大潛力.MEC 提供了分布式計(jì)算環(huán)境，可用于部署應(yīng)用程序和服務(wù).但是，多個(gè)終端想彼此分享各自的數(shù)據(jù)集和學(xué)到的知識(shí)，面臨著監(jiān)管約束、隱私以及安全問題.而且，相比于使用所有終端數(shù)據(jù)進(jìn)行訓(xùn)練，只使用一個(gè)終端的數(shù)據(jù)訓(xùn)練獲得的模型不夠精確.面對(duì)這樣的形勢(shì)，F(xiàn)L（federated learning, FL）[7-8]技術(shù)應(yīng)運(yùn)而生.由于不需要共享和傳輸原始數(shù)據(jù)，采用類似集群的通信結(jié)構(gòu)，F(xiàn)L 更適合于移動(dòng)終端等大規(guī)模、廣分布的部署環(huán)境，得到了廣泛認(rèn)可.

FL 采用分布式學(xué)習(xí)架構(gòu)，使得神經(jīng)網(wǎng)絡(luò)模型在MEC 架構(gòu)下可以進(jìn)行分布式訓(xùn)練，參與學(xué)習(xí)的客戶端無需上傳本地?cái)?shù)據(jù)，只需將訓(xùn)練后的模型參數(shù)更新上傳，再由邊緣服務(wù)器節(jié)點(diǎn)聚合、更新參數(shù)并下發(fā)給參與學(xué)習(xí)的客戶端.圖1 給出了面向無人機(jī)和車聯(lián)網(wǎng)邊緣智能應(yīng)用環(huán)境下FL 的經(jīng)典部署架構(gòu).由于邊緣智能應(yīng)用獨(dú)特的環(huán)境特性，包括其動(dòng)態(tài)的無線信道狀態(tài)、廣泛變化的本地?cái)?shù)據(jù)集大小、設(shè)備處理能力和設(shè)備電量有限等，邊緣智能環(huán)境下的FL 面臨著諸多挑戰(zhàn).首先，在邊緣智能應(yīng)用中，F(xiàn)L 能夠從每個(gè)終端的本地?cái)?shù)據(jù)集中提取有用的信息，而不需要將數(shù)據(jù)傳送到一個(gè)中心位置，在本地設(shè)備保留原始數(shù)據(jù)的同時(shí)，訓(xùn)練多個(gè)終端共享的神經(jīng)網(wǎng)絡(luò)模型，解決了以往智能網(wǎng)絡(luò)模型只能通過云端下發(fā)，而無法在本地訓(xùn)練的問題[9].但挑戰(zhàn)在于，對(duì)于MEC 來說，F(xiàn)L相當(dāng)耗費(fèi)資源.盡管原始數(shù)據(jù)不再需要發(fā)送到中心服務(wù)器，但由于高維度的模型訓(xùn)練需要大量的計(jì)算資源，因此優(yōu)化模型也是FL 需要考慮的問題之一.其次，F(xiàn)L 通過平均局部隨機(jī)梯度下降（stochastic gradient descent，SGD）[10]來更新模型，參與學(xué)習(xí)的終端設(shè)備與中央?yún)?shù)服務(wù)器之間需要頻繁地進(jìn)行參數(shù)交換，高頻次的模型更新過程必然會(huì)占用相當(dāng)多的帶寬資源，較高的通信成本是FL 在實(shí)際應(yīng)用中面臨的另一個(gè)關(guān)鍵問題.再次，在無線資源受限的邊緣網(wǎng)絡(luò)下，由于參與設(shè)備在數(shù)據(jù)質(zhì)量、通信網(wǎng)路、計(jì)算能力和參與意愿等方面的異構(gòu)性，訓(xùn)練跨終端數(shù)據(jù)的共享模型是一個(gè)具有挑戰(zhàn)性的任務(wù).

Fig.1 Edge intelligent federated learning architecture圖1 邊緣智能聯(lián)邦學(xué)習(xí)架構(gòu)

針對(duì)這些挑戰(zhàn)，研究人員進(jìn)行了深入研究，并取得了一定的進(jìn)展，但還存在一些值得深入的剖析的問題.經(jīng)過文獻(xiàn)調(diào)研分析表明，如表1 所示，以往的FL 綜述缺少對(duì)上述問題的深入討論.基于這一點(diǎn)，本文從FL 如何應(yīng)對(duì)邊緣智能應(yīng)用環(huán)境挑戰(zhàn)為主線，首先簡(jiǎn)要概括FL 基本原理，然后從客戶端選擇方法、模型訓(xùn)練優(yōu)化技術(shù)、模型更新技術(shù)幾個(gè)方面詳細(xì)綜述現(xiàn)有的邊緣智能FL 關(guān)鍵技術(shù)，并討論了未來邊緣智能系統(tǒng)下FL 的研究趨勢(shì).

Table 1 Comparison of Studies on Existing Federated Learning Reviews表1 現(xiàn)有聯(lián)邦學(xué)習(xí)綜述研究對(duì)比

1 FL 基本原理

FL 是一種使用分布式機(jī)器學(xué)習(xí)方法來保護(hù)多方合作數(shù)據(jù)隱私的技術(shù).FL 的中心節(jié)點(diǎn)負(fù)責(zé)神經(jīng)網(wǎng)絡(luò)模型參數(shù)聚合與參數(shù)配置功能.每個(gè)終端根據(jù)自己的數(shù)據(jù)進(jìn)行模型訓(xùn)練.每個(gè)客戶端模型都有在每個(gè)數(shù)據(jù)樣本j的參數(shù)向量w上定義的損失函數(shù).損失函數(shù)捕獲訓(xùn)練中模型的誤差，并且模型學(xué)習(xí)過程是將訓(xùn)練數(shù)據(jù)樣本集合上的損失函數(shù)最小化.樣本j的損失函數(shù)定義為f(w,xj,yj),其中，向量xj和標(biāo)量yj是1個(gè)訓(xùn)練數(shù)據(jù)樣本j的2 個(gè)組成部分.xj被視為學(xué)習(xí)模型的輸入，yj是模型的期望輸出.

假設(shè)有K個(gè)終端，它們的本地?cái)?shù)據(jù)分別表示為D1,D2,···,Di,···,DK.對(duì)于每個(gè)終端K的數(shù)據(jù)集Dk，收集的損失函數(shù)為

其中fj(w)是f(w,xj,yj)的簡(jiǎn)寫，因此在所有分布式數(shù)據(jù)集上定義的損失函數(shù)為

其中|Dk|表示客戶端k在Dk里的元素?cái)?shù)量，D=該模型被訓(xùn)練成最小化損失函數(shù)，例如使用梯度下降法，以找到最佳參數(shù)集學(xué)習(xí)的目標(biāo)最小化損失函數(shù)F(w)：

由于原始數(shù)據(jù)分布在不同的客戶端，F(xiàn)L 不能像集中式機(jī)器學(xué)習(xí)一樣在中央服務(wù)器上直接找到梯度.如果使用梯度下降法來最小化全局損失函數(shù)，即

其中 μ是一個(gè)小的正數(shù)，即學(xué)習(xí)率.?F(·)是損失函數(shù)局部梯度.w(t)是中央服務(wù)器在時(shí)間t的全局聚集參數(shù)集，wk(t)是客戶端k在時(shí)間t的本地參數(shù)集，可以表示為

之后，只要獲得局部梯度?Fk(w(t-1))，中央服務(wù)器就可以計(jì)算w(t).因此，只需要將本地梯度發(fā)送到中央服務(wù)器，就可以節(jié)省通信資源，特別是當(dāng)使用梯度壓縮時(shí)，能夠一定程度地減少傳輸?shù)奶荻葦?shù)據(jù)量.

2 FL 客戶端選擇技術(shù)

在邊緣智能應(yīng)用中，移動(dòng)設(shè)備并不總是用于訓(xùn)練數(shù)據(jù).一方面，邊緣設(shè)備的存儲(chǔ)和計(jì)算資源有限，網(wǎng)絡(luò)中的邊緣設(shè)備并不能都用于參加每一輪FL 訓(xùn)練.此外，邊緣設(shè)備采集的實(shí)際數(shù)據(jù)往往是非獨(dú)立同分布的，這也會(huì)影響訓(xùn)練效率.另一方面，參與學(xué)習(xí)的設(shè)備將模型狀態(tài)信息更新并上傳到邊緣服務(wù)器的能力高度依賴于各自的無線信道狀態(tài).當(dāng)邊緣設(shè)備處于糟糕的無線信道條件下或邊緣設(shè)備掉隊(duì)[16]時(shí)，將導(dǎo)致更長(zhǎng)的模型更新時(shí)間，進(jìn)而耽誤后續(xù)訓(xùn)練.由于邊緣智能這種獨(dú)特的環(huán)境特性，在資源限制下為FL 每輪訓(xùn)練選擇合適的參與者就變得尤為重要[12].

過度的訓(xùn)練迭代和模型轉(zhuǎn)換會(huì)占用大量的計(jì)算和通信資源.一些研究人員提出通過優(yōu)化資源使用的方式來選擇參與學(xué)習(xí)的客戶端.Jin 等人[17]提出選擇適當(dāng)?shù)目蛻舳嗽O(shè)備并排除不必要的模型更新以幫助節(jié)省資源，并設(shè)計(jì)了一個(gè)在線學(xué)習(xí)算法，以在線方式共同控制參與者的選擇.但是該算法不同于常用的FedAvg[7]算法，不能體現(xiàn)出部分客戶端參與訓(xùn)練從而對(duì)模型更新產(chǎn)生的影響.Chai 等人[18]根據(jù)客戶端的訓(xùn)練性能將客戶端劃分為不同的層，并在每輪訓(xùn)練中從同一層中選擇客戶端，以緩解由于資源和數(shù)據(jù)量的異質(zhì)性而導(dǎo)致的模型偏離問題.Chai 等人[18]提出的TiFL 是一種同步FL 方法.這種方法的一個(gè)明顯的缺點(diǎn)是：在每次全局迭代時(shí)，當(dāng)1 個(gè)或多個(gè)客戶端遭受較高的網(wǎng)絡(luò)延遲，或者客戶端有更多的數(shù)據(jù)，需要更長(zhǎng)的訓(xùn)練時(shí)間時(shí)，其他客戶端必須等待模型更新.由于參數(shù)服務(wù)器通常在所有客戶端完成1 次迭代訓(xùn)練后進(jìn)行聚合，同步優(yōu)化協(xié)議中延長(zhǎng)的等待時(shí)間會(huì)導(dǎo)致計(jì)算資源的浪費(fèi).文獻(xiàn)[19]提出了一種用于FL 的分級(jí)在線速度控制框架，它通過一種節(jié)能的方式來平衡訓(xùn)練時(shí)間和模型精度.文獻(xiàn)[20]提出一種基于社交知識(shí)的聚類算法.首先，通過考慮社會(huì)關(guān)系和計(jì)算能力，將一組密集的設(shè)備組成一個(gè)集群，然后選擇簇頭（中央設(shè)備），簇頭節(jié)點(diǎn)執(zhí)行與傳統(tǒng)FL 中的參數(shù)服務(wù)器相同的功能，實(shí)現(xiàn)自組織FL.該學(xué)習(xí)算法利用較長(zhǎng)的電池壽命、與其他設(shè)備較好的連接性能，以及更多的計(jì)算資源等關(guān)鍵參數(shù)來選擇簇頭.在無線FL 網(wǎng)絡(luò)中，學(xué)習(xí)性能取決于在每一輪迭代訓(xùn)練中如何選擇客戶端以及如何在選定的客戶端之間進(jìn)行帶寬分配.以往的研究方法試圖通過分配有限的無線資源來優(yōu)化FL，但它們關(guān)注的是單次學(xué)習(xí)迭代的問題.Xu 等人[21]從一個(gè)新的視角來看待無線FL 網(wǎng)絡(luò)中的資源配置，認(rèn)識(shí)到迭代學(xué)習(xí)不僅在時(shí)間上相互依賴，而且對(duì)最終的學(xué)習(xí)結(jié)果有著不同的意義，并針對(duì)長(zhǎng)期能量約束下的聯(lián)合客戶選擇和帶寬分配的隨機(jī)優(yōu)化問題，提出利用當(dāng)前可用的無線信道信息來獲得長(zhǎng)期的性能保證.因?yàn)橛行┛蛻舳吮绕渌蛻舳寺?，所以提供異步[22-23]和半同步[24]學(xué)習(xí)機(jī)制.

在客戶端選擇協(xié)議方面，如圖2 所示.Nishio 等人[25]提出了一個(gè)FL 客戶端選擇協(xié)議，即FedCS.FedCS為客戶端在FL 協(xié)議中下載、更新和上傳機(jī)器學(xué)習(xí)模型設(shè)置了一個(gè)期限，以保證中央?yún)?shù)服務(wù)器在該期限內(nèi)聚合盡可能多的客戶端更新，從而使整個(gè)訓(xùn)練過程高效，減少了訓(xùn)練所需要的時(shí)間.FedCS 解決了FL 參與者之間資源異構(gòu)的問題，但忽略了數(shù)據(jù)分布異構(gòu)的特性.為了解決這個(gè)問題，Yoshida 等人[26]將FedCS 擴(kuò)展成處理參與者之間數(shù)據(jù)分布差異的混合FL（hybrid federated learning，Hybrid-FL）協(xié)議.Hybrid-FL 協(xié)議中，中央?yún)?shù)服務(wù)器在資源請(qǐng)求階段詢問隨機(jī)參與者是否允許上傳數(shù)據(jù).在參與者選擇階段，除了考察其計(jì)算能力外，還要考察其上傳的數(shù)據(jù)是否可以在中央?yún)?shù)服務(wù)器中形成一個(gè)近似獨(dú)立同分布的數(shù)據(jù)集.實(shí)驗(yàn)結(jié)果表明，與FedCS 相比，即使只有1%的參與者共享它們的數(shù)據(jù)，Hybrid-FL 的分類精度也有顯著的提高.然而，Hybrid-FL 要上傳客戶端的數(shù)據(jù)分布信息，可能會(huì)侵犯用戶的隱私和安全，特別是如果參與者是惡意的，將引入嚴(yán)重的安全問題.

Fig.2 FedCS protocol overview圖2 FedCS 協(xié)議概述

顯而易見，具有大量數(shù)據(jù)樣本的設(shè)備對(duì)全局訓(xùn)練的貢獻(xiàn)更大.在不提供補(bǔ)償?shù)那闆r下，這種設(shè)備不太愿意與擁有少量數(shù)據(jù)樣本的其他設(shè)備聯(lián)合.因此，除了資源與數(shù)據(jù)方面的考量，客戶端選擇也需要通過激勵(lì)機(jī)制鼓勵(lì)參與者對(duì)FL 做出貢獻(xiàn)[27].Kang 等人[28]考慮了高質(zhì)量移動(dòng)設(shè)備的選拔和可靠模型訓(xùn)練的激勵(lì)問題.為了提高FL 任務(wù)的性能，每個(gè)任務(wù)發(fā)布者都選擇具有高精度和可靠本地?cái)?shù)據(jù)的高信譽(yù)客戶端候選者作為參與者.每個(gè)任務(wù)發(fā)布者通過主觀邏輯模型計(jì)算參與交互的客戶端的信譽(yù)分?jǐn)?shù)，將以往交互產(chǎn)生的直接信譽(yù)分?jǐn)?shù)和來自其他任務(wù)發(fā)布者的間接信譽(yù)分?jǐn)?shù)集成到一個(gè)綜合信譽(yù)中進(jìn)行評(píng)價(jià).這些客戶端信譽(yù)分?jǐn)?shù)由第三方區(qū)塊鏈維護(hù)，并在任務(wù)發(fā)布者之間共享，信譽(yù)越高的客戶端可以從任務(wù)發(fā)布者那里獲得更多的獎(jiǎng)勵(lì).而且，邊緣智能設(shè)備可能會(huì)參與并中斷訓(xùn)練過程；惡意設(shè)備可能對(duì)本地訓(xùn)練過程沒有貢獻(xiàn)，而只接收其他設(shè)備計(jì)算的全局訓(xùn)練結(jié)果.使用分布式分類賬技術(shù)（distributed ledger technology，DLT）記錄訓(xùn)練過程有助于緩解這些問題.例如，當(dāng)交換本地模型狀態(tài)信息時(shí)，每個(gè)設(shè)備交叉驗(yàn)證模型狀態(tài)信息，并將接受的模型狀態(tài)信息存儲(chǔ)在其本地分布式分類賬中.本地分布的分類賬通過DLT 與其他設(shè)備的分類賬同步，例如借助于區(qū)塊鏈技術(shù)，訓(xùn)練過程提高了對(duì)惡意的、有故障的設(shè)備的魯棒性[29].考慮到數(shù)據(jù)分布對(duì)FL 性能的影響，Li 等人[30]提出一個(gè)類似的加權(quán)激勵(lì)方法來選擇客戶端，即q-FedAvg.q-FedAvg通過為性能較差的終端設(shè)備分配比性能較好的終端設(shè)備更高的權(quán)重來修改FedAvg 的目標(biāo)函數(shù)，將損失函數(shù)中的更高權(quán)重分配給損耗更高的設(shè)備，鼓勵(lì)在聯(lián)邦訓(xùn)練上下文中跨設(shè)備的更公平的準(zhǔn)確性分布.文獻(xiàn)[31]提出一個(gè)眾包框架，以一種通信高效的方式支持無線物聯(lián)網(wǎng)環(huán)境中的FL，并引入了一種基于Stackelberg博弈模型的激勵(lì)機(jī)制，以吸引客戶參與FL.

客戶端之間的通信，尤其是通過無線信道的通信，可能是不對(duì)稱、緩慢和不穩(wěn)定的.而假設(shè)具有高信息傳輸速率和可忽略的數(shù)據(jù)包丟失的通信環(huán)境是不現(xiàn)實(shí)的.例如，移動(dòng)互聯(lián)網(wǎng)的上傳速度通常比下載速度慢得多.一些參與者可能會(huì)因?yàn)榕c互聯(lián)網(wǎng)斷開連接而退出，尤其是在擁擠的無線通信的場(chǎng)景下使用手機(jī)[15].此外，本地實(shí)際數(shù)據(jù)往往是非獨(dú)立同分布的，會(huì)顯著影響學(xué)習(xí)效率.而且，大量參與訓(xùn)練的客戶端可能會(huì)加劇通信擁塞，因此需要合理分配有限的無線頻譜資源.文獻(xiàn)[32]提出了一個(gè)在蜂窩連接無線系統(tǒng)中進(jìn)行FL 的通信和計(jì)算模型.考慮到上行帶寬的限制，基站需要選擇合適的客戶端來執(zhí)行FL算法，以最小化成本.在給定預(yù)定義的子信道束和本地精度的情況下，客戶端優(yōu)化傳輸功率和CPU 周期頻率，以在滿足FL 延遲要求的同時(shí)最小化能耗.不同于文獻(xiàn)[32]僅僅考慮了無線信道需求，文獻(xiàn)[33]還考慮了每個(gè)客戶的數(shù)據(jù)大小、數(shù)據(jù)分布，重點(diǎn)研究了在無線通信場(chǎng)景中的FL，并提出了一種基于深度RL 的拍賣機(jī)制，以鼓勵(lì)和選擇數(shù)據(jù)所有者參與FL.與上文提到的Stackelberg 博弈和契約理論不同，拍賣機(jī)制允許客戶端主動(dòng)報(bào)告其類型，并已應(yīng)用于各種應(yīng)用場(chǎng)景[34].

選擇合適的客戶端能夠剔除訓(xùn)練過程中一些計(jì)算資源有限（即需要更長(zhǎng)的更新時(shí)間）或無線信道條件差（即上傳時(shí)間更長(zhǎng)）的客戶端，這樣有利于FL 持續(xù)訓(xùn)練.無論是采用資源優(yōu)化，還是通過激勵(lì)機(jī)制或者從安全的角度考慮數(shù)據(jù)分布的方式，這些方法關(guān)注的都是客戶端的性能對(duì)訓(xùn)練帶來的影響.然而，使用超大規(guī)模的數(shù)據(jù)，訓(xùn)練一個(gè)具有數(shù)十億參數(shù)的復(fù)雜模型，單單從選擇性能較好的客戶端這一單一角度，無法保證FL 在邊緣智能應(yīng)用環(huán)境下的整體性能，因此還需要對(duì)FL 訓(xùn)練過程進(jìn)行優(yōu)化.表2 歸納了現(xiàn)有的FL 客戶端選擇方案.

Table 2 Comparison of Federated Learning Client Selection Schemes表2 聯(lián)邦學(xué)習(xí)客戶端選擇方案比較

3 模型訓(xùn)練優(yōu)化方法

由于終端的算力限制、通信資源限制、用戶隱私需求，邊緣智能環(huán)境下零散分布的大量本地?cái)?shù)據(jù)往往使FL 的模型訓(xùn)練變得困難.面對(duì)這些困難，以往的研究在模型訓(xùn)練過程中關(guān)注對(duì)數(shù)據(jù)的處理，采用卸載數(shù)據(jù)到其他設(shè)備，或直接在本地對(duì)數(shù)據(jù)進(jìn)行篩選的方法，去除無用的數(shù)據(jù)等技術(shù)，來解決算力資源不足的問題.除了卸載數(shù)據(jù)進(jìn)而轉(zhuǎn)移其關(guān)聯(lián)的計(jì)算外，還可以對(duì)模型進(jìn)行壓縮處理，減少FL 過程中需要交互的模型參數(shù)規(guī)模，降低通信資源的消耗.

3.1 數(shù)據(jù)卸載方法

由于隱私保護(hù)原則和通信帶寬限制，跨個(gè)體組織邊界共享數(shù)據(jù)非常困難.數(shù)據(jù)摘要[35]是一種減少共享數(shù)據(jù)量的技術(shù)，同時(shí)保留數(shù)據(jù)中對(duì)訓(xùn)練機(jī)器學(xué)習(xí)模型有用的特征.目前的數(shù)據(jù)摘要研究主要有3 類方法：1）統(tǒng)計(jì)摘要.這類方法源于對(duì)數(shù)據(jù)進(jìn)行匯總以有效地探索和分析大量數(shù)據(jù)的需要.此外，這類方法生成摘要信息只需要少量的時(shí)間和空間，通常只需對(duì)整個(gè)數(shù)據(jù)集進(jìn)行一次遍歷即可創(chuàng)建，并且占用較少的內(nèi)存.但是，這種類型的摘要只適用于特定類型數(shù)據(jù)集的查詢.2）降維.通過將高維數(shù)據(jù)映射到低維空間，使得原始數(shù)據(jù)集的某些特征屬性保留在映射空間中，不影響學(xué)習(xí)的效率，降維具有減少數(shù)據(jù)總量的效果.3）數(shù)據(jù)降采樣.與前2 種方法相比，基于降采樣的方法在原始數(shù)據(jù)集的樣本空間內(nèi)構(gòu)造一個(gè)小的數(shù)據(jù)樣本集，因此可以在FL 任務(wù)中使用小數(shù)據(jù)集作為原始數(shù)據(jù)集的代理.數(shù)據(jù)摘要通過多種方式輔助FL，例如，當(dāng)不同客戶端的數(shù)據(jù)集是非獨(dú)立同分布時(shí)，可以與其他客戶共享本地原始數(shù)據(jù)集的摘要，以提高訓(xùn)練效率.

數(shù)據(jù)從終端設(shè)備卸載到邊緣計(jì)算服務(wù)器，有助于利用邊緣計(jì)算服務(wù)器的強(qiáng)大算力加快FL 速度，減少回程擁塞[36].數(shù)據(jù)通常由終端設(shè)備保存，必須通過無線鏈路傳輸?shù)竭吘売?jì)算節(jié)點(diǎn).FL 任務(wù)要求在一定的時(shí)間限制內(nèi)執(zhí)行，這可能導(dǎo)致傳輸不完整的數(shù)據(jù)集.考慮到每個(gè)數(shù)據(jù)包傳輸?shù)拈_銷以及計(jì)算率和通信率之間的關(guān)系，文獻(xiàn)[37]通過優(yōu)化數(shù)據(jù)包的有效負(fù)載大小來尋求計(jì)算延遲和準(zhǔn)確性之間的折中，提出使用優(yōu)化的塊大小進(jìn)行通信和計(jì)算，實(shí)現(xiàn)了FL 中數(shù)據(jù)與計(jì)算卸載.一些邊緣智能學(xué)習(xí)方法通過對(duì)網(wǎng)絡(luò)邊緣的原始數(shù)據(jù)進(jìn)行處理和壓縮來減少數(shù)據(jù)傳輸時(shí)間，但是，同時(shí)也帶來了學(xué)習(xí)精度降低的問題.文獻(xiàn)[38]研究了一個(gè)兼顧學(xué)習(xí)精度的模型參數(shù)傳輸優(yōu)化的任務(wù)調(diào)度問題，通過來自于云端的調(diào)度，實(shí)現(xiàn)了提高學(xué)習(xí)精度和減少通信流量之間的最優(yōu)折中.但是文獻(xiàn)[38]中提出的架構(gòu)由一個(gè)主節(jié)點(diǎn)和多個(gè)工作節(jié)點(diǎn)組成.工作節(jié)點(diǎn)識(shí)別特定領(lǐng)域的對(duì)象，并通過管道為主節(jié)點(diǎn)提供訓(xùn)練實(shí)例.這種FL 架構(gòu)在私有場(chǎng)景，例如在家里，所有設(shè)備都有內(nèi)在動(dòng)力，協(xié)作為其主節(jié)點(diǎn)可以創(chuàng)建更智能的模型.然而，在公共場(chǎng)景中，它并不能很好地工作.在公共場(chǎng)景中，主節(jié)點(diǎn)初始化一個(gè)任務(wù)并將子任務(wù)分配給不熟悉的參與者.在這種情況下，會(huì)出現(xiàn)額外的激勵(lì)問題.

3.2 模型分割遷移方法

不僅數(shù)據(jù)卸載可以轉(zhuǎn)移模型訓(xùn)練計(jì)算，轉(zhuǎn)移模型同樣可以卸載其相關(guān)聯(lián)的計(jì)算.當(dāng)神經(jīng)網(wǎng)絡(luò)模型尺寸過大時(shí)，可以將單個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分割成分布在多個(gè)設(shè)備上的多個(gè)段，即模型分割.模型分割遷移就是一種實(shí)現(xiàn)計(jì)算卸載的方法.在移動(dòng)設(shè)備和邊緣計(jì)算服務(wù)器之間劃分深度神經(jīng)網(wǎng)絡(luò)模型，通過將深度神經(jīng)網(wǎng)絡(luò)的淺層部分部署在移動(dòng)設(shè)備上，而復(fù)雜的神經(jīng)網(wǎng)絡(luò)深層部分則轉(zhuǎn)移到邊緣計(jì)算服務(wù)器上[39-41].首先對(duì)本地輸入數(shù)據(jù)進(jìn)行快速轉(zhuǎn)換，然后，將轉(zhuǎn)換后的數(shù)據(jù)表示發(fā)送給邊緣計(jì)算服務(wù)器以進(jìn)行需要大量時(shí)間和計(jì)算的推斷任務(wù).但是這種模型分割遷移的方式使用戶無法控制數(shù)據(jù)在邊緣計(jì)算服務(wù)器的處理過程，隱私得不到保障.現(xiàn)有的模型分割方式假設(shè)網(wǎng)絡(luò)模型條件不變，通過劃分網(wǎng)絡(luò)模型操作，將部分計(jì)算轉(zhuǎn)移到云或邊緣服務(wù)器上.然而，邊緣智能應(yīng)用中的網(wǎng)絡(luò)模型因上下文而異，深度神經(jīng)網(wǎng)絡(luò)模型分割策略的空間有限.文獻(xiàn)[42]在端邊云協(xié)同的場(chǎng)景下，提出了一種成本驅(qū)動(dòng)型卸載策略，降低了學(xué)習(xí)成本，該方法在一定的場(chǎng)景下表現(xiàn)良好.然而，這種策略算法計(jì)算復(fù)雜度高、執(zhí)行時(shí)間長(zhǎng)，在實(shí)時(shí)系統(tǒng)中并不適用，特別是當(dāng)通信環(huán)境動(dòng)態(tài)變化時(shí)，這種策略需要更長(zhǎng)的時(shí)間來確定新的最佳協(xié)作決策，難以滿足實(shí)時(shí)數(shù)據(jù)分析的時(shí)延要求；而文獻(xiàn)[43]考慮模型結(jié)構(gòu)的靈活性，使其能夠?qū)崟r(shí)根據(jù)上下文信息動(dòng)態(tài)地做出模型壓縮和分割的決策.

基于模型分割后進(jìn)行部分模型轉(zhuǎn)移需要兼顧模型的隱私保護(hù)問題，為了在沒有隱私風(fēng)險(xiǎn)的情況下利用云數(shù)據(jù)中心的海量計(jì)算能力，文獻(xiàn)[44]在移動(dòng)設(shè)備和云數(shù)據(jù)中心之間分割了深度神經(jīng)網(wǎng)絡(luò)模型，提出了ARDEN 框架來保護(hù)隱私.ARDEN 在移動(dòng)設(shè)備上執(zhí)行簡(jiǎn)單的數(shù)據(jù)轉(zhuǎn)換，然后將需要大量資源的訓(xùn)練轉(zhuǎn)移到云數(shù)據(jù)中心，并引入了一種輕量級(jí)的隱私保護(hù)機(jī)制，不僅對(duì)轉(zhuǎn)移的模型部分提供了一定的隱私保護(hù)，而且提高了推斷的準(zhǔn)確性，并減少了資源消耗.邊緣智能應(yīng)用中，多個(gè)用戶通過共享一個(gè)深度神經(jīng)網(wǎng)絡(luò)模型來實(shí)現(xiàn)FL，模型的隱私保護(hù)更為重要.Zhang 等人[45]采用模型分割技術(shù)和差分隱私方法，提出了一種利用移動(dòng)邊緣計(jì)算的FL 框架（federated learning scheme in mobile edge computing, FedMEC），該框架是一種典型的模型分割遷移帶動(dòng)計(jì)算轉(zhuǎn)移的邊緣智能環(huán)境的FL 架構(gòu)，具體學(xué)習(xí)框架如圖3 所示.FedMEC 框架將一個(gè)深層神經(jīng)網(wǎng)絡(luò)分為2 部分：預(yù)先訓(xùn)練的客戶端神經(jīng)網(wǎng)絡(luò)模型和邊緣服務(wù)器端神經(jīng)網(wǎng)絡(luò)模型，復(fù)雜的計(jì)算可以通過模型遷移轉(zhuǎn)移給邊緣服務(wù)器.同時(shí)，通過差異私有數(shù)據(jù)擾動(dòng)機(jī)制，防止局部模型參數(shù)隱私泄露.

Fig.3 Model segmentation migration framework圖3 模型分割遷移框架

在邊緣計(jì)算環(huán)境中，模型分割技術(shù)不僅可以實(shí)現(xiàn)高效的FL 服務(wù)，而且可以降低移動(dòng)邊緣設(shè)備上的計(jì)算消耗，即端邊協(xié)作將深度神經(jīng)網(wǎng)絡(luò)分為2 部分，其中大部分繁重的計(jì)算工作卸載到邊緣服務(wù)器.此外，在部分模型上傳到邊緣服務(wù)器之前，使用差分隱私保護(hù)機(jī)制來保護(hù)數(shù)據(jù)隱私.目前的模型分割遷移技術(shù)雖然可以做到模型訓(xùn)練的計(jì)算卸載，但是，雖然基于差分隱私的保護(hù)機(jī)制防止模型分割遷移過程中的數(shù)據(jù)隱私泄露，卻帶來了模型訓(xùn)練精度的損失問題.然而文獻(xiàn)[39-45]中的研究并沒有對(duì)其帶來的這一負(fù)面影響給出解決方案.

3.3 模型壓縮方法

雖然用戶終端的計(jì)算能力在過去十幾年中大大提升，但這些終端仍然受到電池電量和存儲(chǔ)空間的限制，使得大規(guī)模部署FL 成為一個(gè)難點(diǎn)問題.原因主要有2 個(gè)：1）一個(gè)深層的神經(jīng)網(wǎng)絡(luò)往往由大量的激活單元和相互連接的節(jié)點(diǎn)組成，因此訓(xùn)練這樣一個(gè)模型必然會(huì)產(chǎn)生大量的能量消耗和內(nèi)存占用.2）局部模型的反饋不僅需要高發(fā)射功率，而且需要足夠?qū)挼囊苿?dòng)頻譜以保證訓(xùn)練效率.為了克服FL 范式中局部訓(xùn)練和反饋方面的困難，一種有效的方法是對(duì)學(xué)習(xí)模型進(jìn)行壓縮，例如將草圖應(yīng)用到FL 中[46].壓縮模型大小可以使模型適應(yīng)更小、更快的內(nèi)存，從而實(shí)現(xiàn)低延遲的推理和訓(xùn)練.此外，模型壓縮提高了能效，因?yàn)閮?nèi)存訪問是神經(jīng)網(wǎng)絡(luò)能耗的主要來源，與模型大小成正比[47].最后，在分布式訓(xùn)練中，模型壓縮最小化模型狀態(tài)信息有效負(fù)載，從而減少通信延遲.

表3 總結(jié)了現(xiàn)有的模型壓縮技術(shù)特點(diǎn).文獻(xiàn)[48]提出結(jié)構(gòu)化和草圖更新技術(shù)，以減少參與者在每輪通信中發(fā)送到FL 服務(wù)器的模型更新數(shù)據(jù).結(jié)構(gòu)化更新方式限制參與者更新預(yù)先指定的結(jié)構(gòu)，即低秩和隨機(jī)掩碼.低秩結(jié)構(gòu)更新是指每次更新都被強(qiáng)制為一個(gè)低秩矩陣，表示為2 個(gè)矩陣的乘積.一個(gè)矩陣是隨機(jī)生成的，并且在每一輪通信中保持不變，而另一個(gè)矩陣則被優(yōu)化.因此，只需要將優(yōu)化后的矩陣發(fā)送到服務(wù)器.草圖更新方式是指在與服務(wù)器通信之前以壓縮形式對(duì)更新數(shù)據(jù)進(jìn)行編碼，服務(wù)器隨后在聚合之前對(duì)更新數(shù)據(jù)進(jìn)行解碼.在文獻(xiàn)[48]基礎(chǔ)上，文獻(xiàn)[49]進(jìn)行了擴(kuò)展研究，提出了2 種新的策略來減少服務(wù)器到客戶端的通信負(fù)載：1）在發(fā)送服務(wù)器到客戶端的全局模型上使用有損壓縮；2）采用聯(lián)邦退出，允許用戶在全局模型的最小子集上進(jìn)行局部訓(xùn)練，減少客戶到服務(wù)器的通信和本地計(jì)算量.由于壓縮而產(chǎn)生的誤差需要在每個(gè)客戶端保存，同時(shí)每一輪都需要大量的客戶端參與，這對(duì)于FL 來說是不實(shí)用的.文獻(xiàn)[50]對(duì)文獻(xiàn)[46-49]方案進(jìn)行進(jìn)一步的改進(jìn)，直接檢索最新的梯度值，而不要求更新向量中的位置.文獻(xiàn)[50]這種方案更加有效，因?yàn)樗枰耐ㄐ泡啍?shù)更少.文獻(xiàn)[48-50]的研究提出了實(shí)用的模型壓縮方法，可以減少服務(wù)器和參與者之間的通信成本，但通信成本的降低往往伴隨著模型精度的犧牲.因此，對(duì)壓縮粒度進(jìn)行形式化刻畫將非常有用，尤其是當(dāng)面臨不同的任務(wù)或者涉及到不同數(shù)量的FL 參與者時(shí)，采用不同的壓縮強(qiáng)度尤為重要.FL 通過每隔一段時(shí)間交換模型參數(shù)來降低通信成本.基于周期性模型信息交換，Jeong 等人[51]所提出的聯(lián)邦蒸餾方法交換的不是模型參數(shù)而是模型輸出，允許終端設(shè)備采用規(guī)模較大的局部模型.在聯(lián)邦蒸餾基礎(chǔ)上，為了解決非獨(dú)立同分布數(shù)據(jù)問題，文獻(xiàn)[51]提出了一種基于生成對(duì)抗網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法，即聯(lián)邦增強(qiáng).聯(lián)邦增強(qiáng)可以提高聯(lián)邦蒸餾降低的精度，而不會(huì)引起嚴(yán)重的通信開銷.聯(lián)邦蒸餾是建立在無噪聲且理想的通信信道假設(shè)基礎(chǔ)上.事實(shí)上，由于存在噪聲和無線傳輸?shù)寞B加特性，無線通信鏈路給聯(lián)邦蒸餾方法造成了新的挑戰(zhàn).Ahn 等人[52]考慮無線網(wǎng)絡(luò)環(huán)境下的聯(lián)邦蒸餾實(shí)現(xiàn)，提出了一種基于分離信道編碼和無線計(jì)算的混合聯(lián)邦蒸餾（hybrid-federated distillation,HFD）方案.該方案在信源信道編碼中采用了帶有誤差累積的稀疏二進(jìn)制壓縮方法.對(duì)于通過高斯多路訪問通道進(jìn)行的數(shù)字和模擬實(shí)現(xiàn)，HFD 可以在惡劣的通信環(huán)境中優(yōu)于傳統(tǒng)的FL，這一原理與邊緣人工智能模型自適應(yīng)的降維和量化有一些共同之處，但HFD 減少了數(shù)據(jù)傳輸源的特征尺寸，它為FL 框架和數(shù)據(jù)編碼的協(xié)同設(shè)計(jì)提供了新的研究思路.表4 給出了目前FL 模型訓(xùn)練優(yōu)化方法及特點(diǎn).

Table 3 Summary of Model Compression Techniques表3 模型壓縮技術(shù)總結(jié)

4 無線網(wǎng)絡(luò)下的模型更新技術(shù)

在FL 過程中，模型更新過程主要涉及FL 客戶端本地更新過程和客戶端向服務(wù)器更新上傳模型參數(shù)過程，即全局聚合過程.在模型更新過程中，每次局部更新消耗終端的計(jì)算資源，每次全局聚合消耗網(wǎng)絡(luò)的通信資源.消耗的資源量可能會(huì)隨著時(shí)間的推移而變化，并且全局聚合的頻率、模型訓(xùn)練的準(zhǔn)確性和資源消耗之間存在復(fù)雜的關(guān)系.因?yàn)槿斯ぶ悄苣Ｐ偷挠?xùn)練通常是資源密集型的，而學(xué)習(xí)任務(wù)的非優(yōu)化操作可能會(huì)浪費(fèi)大量的資源.現(xiàn)有的模型更新的研究工作主要從3 個(gè)方面進(jìn)行資源優(yōu)化：1）通過全局聚合和本地更新兩者之間的最優(yōu)折中，保證在一定的資源預(yù)算下最小化模型的損失函數(shù)；2）優(yōu)化梯度下降算法來降低通信資源開銷；3）通過合理并動(dòng)態(tài)地調(diào)整資源分配進(jìn)一步降低對(duì)資源的盲目消耗.此外，由于FL 中的模型更新嚴(yán)重依賴于網(wǎng)絡(luò)，越來越多的研究致力于開發(fā)高效的無線通信FL 技術(shù)，利用無線多址信道的疊加特性，以及無線資源優(yōu)化技術(shù)來加速FL 的全局模型更新過程.

4.1 自適應(yīng)模型聚合技術(shù)

在端邊協(xié)同的FL 框架下，每個(gè)邊緣節(jié)點(diǎn)執(zhí)行梯度下降以調(diào)整局部模型參數(shù)，從而最小化在自己本地?cái)?shù)據(jù)集上定義的損失函數(shù).然后不同終端節(jié)點(diǎn)獲得的模型參數(shù)被發(fā)送到參數(shù)聚合器，該參數(shù)聚合器可以是遠(yuǎn)程云、網(wǎng)絡(luò)元素或邊緣節(jié)點(diǎn)上允許的邏輯組件.參數(shù)聚合器對(duì)收到的參數(shù)進(jìn)行全局聚合后，將更新后的參數(shù)發(fā)送回終端節(jié)點(diǎn)進(jìn)行下一輪迭代訓(xùn)練[7].全局聚合頻率可以根據(jù)一個(gè)或多個(gè)本地更新的間隔進(jìn)行動(dòng)態(tài)調(diào)整[53].文獻(xiàn)[7]提出FedAvg 模型聚合算法，將客戶端上的本地SGD 與執(zhí)行模型平均的服務(wù)器相結(jié)合，顯著減少模型聚合的通信次數(shù).模型聚合算法協(xié)調(diào)全局模型參數(shù)的學(xué)習(xí)，它包含的異常機(jī)制確保了全局模型的收斂性[54]和異構(gòu)客戶端的公平性[55-56].文獻(xiàn)[55]基于FedAvg 提出了一個(gè)異構(gòu)網(wǎng)絡(luò)的聯(lián)合優(yōu)化框架，稱為FedProx.FedProx 通過設(shè)置一個(gè)修正項(xiàng)，使本地模型更接近全局模型，解決了不同設(shè)備的統(tǒng)計(jì)異質(zhì)性問題.但是，F(xiàn)edProx 未能正確配置和維護(hù)健壯的聚合算法，將使全局模型變得脆弱和不可信.目前聚合算法[57-58]在魯棒性方面有廣泛研究，這些算法可以在訓(xùn)練期間檢測(cè)和丟棄錯(cuò)誤或惡意的更新.此外，健壯的聚合方法應(yīng)該能夠承受通信不穩(wěn)定性、客戶端丟失、惡意參與者的錯(cuò)誤模型聚合[59-62].然而，這些聚合算法大多數(shù)都沒有考慮移動(dòng)邊緣網(wǎng)絡(luò)下FL 模型聚合所面臨的問題.

考慮FL 在邊緣計(jì)算環(huán)境中的計(jì)算和通信資源受限的獨(dú)特挑戰(zhàn)，Wang 等人[63]提出一種自適應(yīng)模型聚合控制算法，并分析了具有非獨(dú)立同分布數(shù)據(jù)的FL 收斂界限.在當(dāng)前資源受限狀態(tài)下，這種自適應(yīng)控制方案在全局模型聚合和局部模型更新之間提高了一種理想的折中，以最小化具有資源預(yù)算約束的損失函數(shù).自適應(yīng)模型聚合實(shí)質(zhì)上是一種終端之間異步的非固定頻率的模型聚合方式.圖4 給出了固定頻率聚合和自適應(yīng)聚合的區(qū)別固定頻率聚合是為了固定全局聚合的頻率，在固定的資源預(yù)算下最小化學(xué)習(xí)損失；自適應(yīng)模型聚合是為了動(dòng)態(tài)地調(diào)整全局聚合的頻率，在固定的資源預(yù)算下最小化學(xué)習(xí)損失.文獻(xiàn)[63]研究表明，在相同的時(shí)間預(yù)算內(nèi)，自適應(yīng)聚合方案在損失函數(shù)最小化和精度方面均優(yōu)于終端之間同步的固定頻率聚合方案，實(shí)現(xiàn)了計(jì)算資源和通信資源之間的權(quán)衡，降低了邊緣服務(wù)器的負(fù)載.然而，文獻(xiàn)[63]工作只是為了服務(wù)器的權(quán)衡，而不是考慮移動(dòng)設(shè)備的資源限制.此外，在不可靠的網(wǎng)絡(luò)下，傳輸?shù)臄?shù)據(jù)包丟失、移動(dòng)設(shè)備突然斷開連接等，也可能對(duì)FL 產(chǎn)生不可預(yù)測(cè)的影響.文獻(xiàn)[64]考慮客戶端動(dòng)態(tài)資源優(yōu)化，為了有效地利用帶寬資源，提出ACFL算法，ACFL 可以根據(jù)網(wǎng)絡(luò)條件自適應(yīng)地壓縮共享信息.此外，在沒有數(shù)據(jù)分布假設(shè)的情況下，考慮了通信壓縮和信息丟失，分析了算法的收斂性.針對(duì)基于云的FL 模型的訓(xùn)練導(dǎo)致通信資源的顯著開銷，Liu等人[65]進(jìn)一步將移動(dòng)邊緣計(jì)算平臺(tái)作為中間結(jié)構(gòu)，提出一種基于客戶端—邊緣—云分層架構(gòu)的聯(lián)邦學(xué)習(xí)（hierarchical federated averaging，HierFAVG）算法，通過在邊緣服務(wù)器和云服務(wù)器執(zhí)行2 級(jí)聚合，為大量用戶解決了與基于云的FL 模型的訓(xùn)練相關(guān)的高通信資源消耗問題.與傳統(tǒng)的基于云的FL 相比，由于引入了邊緣服務(wù)器聚合，HierFAVG 能更有效地利用通信資源.HierFAVG 是在移動(dòng)邊緣網(wǎng)絡(luò)上實(shí)現(xiàn)FL的一種有效的方法，它可以同時(shí)減少模型訓(xùn)練時(shí)間和終端設(shè)備的能量消耗.

Fig.4 Comparison of adaptive model aggregation and fixed frequency aggregation圖4 自適應(yīng)模型聚合與固定頻率聚合的比較

盡管文獻(xiàn)[7, 53-65]研究能夠在資源受限的條件下優(yōu)化模型聚合頻率，但忽略了不同終端節(jié)點(diǎn)的計(jì)算能力和鏈路通信能力的內(nèi)在異質(zhì)性.這種異質(zhì)性對(duì)優(yōu)化不同學(xué)習(xí)者的任務(wù)分配、選擇學(xué)習(xí)模型、提高學(xué)習(xí)精度、最小化局部和全局循環(huán)時(shí)間，以及最小化能量消耗，具有重要意義.文獻(xiàn)[66]建立了一個(gè)在相鄰的異構(gòu)無線邊緣節(jié)點(diǎn)上高效執(zhí)行分布式學(xué)習(xí)任務(wù)的優(yōu)化框架，首次協(xié)同分布式學(xué)習(xí)和分層移動(dòng)邊緣計(jì)算的新趨勢(shì)，提出了移動(dòng)邊緣學(xué)習(xí)概念框架.通過考慮具有異構(gòu)計(jì)算能力和到異構(gòu)無線鏈接的邊緣節(jié)點(diǎn)，自適應(yīng)地調(diào)整分布式學(xué)習(xí)的任務(wù)分配.文獻(xiàn)[67]考慮到移動(dòng)邊緣網(wǎng)絡(luò)下異構(gòu)設(shè)備通常在個(gè)性化的精度目標(biāo)下被分配不同的任務(wù)，提出了CuFL 算法來加速FL 過程，同時(shí)確保所有終端設(shè)備都能滿足其特定的任務(wù)要求.為了進(jìn)一步加快終端設(shè)備的本地模型訓(xùn)練，提出了一個(gè)提前終止方案，通過減少匯總輪次來縮短培訓(xùn)時(shí)間.在早期終止方案中，當(dāng)終端設(shè)備滿足精度要求時(shí)，它們可以提前退出FL 過程.其結(jié)果是降低了能量成本，并且剩余設(shè)備的通信資源是豐富的.在MEC 服務(wù)器端，優(yōu)化了全局聚合方法.為了在MEC 服務(wù)器上實(shí)現(xiàn)公平的參數(shù)聚合，引入了一個(gè)公平系數(shù)來最小化當(dāng)前精度和目標(biāo)精度之間的差異.從理論上嚴(yán)格分析了CuFL 算法的收斂性，還驗(yàn)證了CuFL 在車輛分類任務(wù)中的有效性.評(píng)價(jià)結(jié)果表明，CuFL 算法在準(zhǔn)確率、訓(xùn)練時(shí)間和聚合過程的公平性方面具有優(yōu)勢(shì).表5 列舉了主要的FL 模型局和技術(shù).

Table 5 A Comparative Summary of Major Federated Learning Mode Aggregation Technologies表5 主要聯(lián)邦學(xué)習(xí)模型聚合技術(shù)的比較總結(jié)

4.2 梯度下降算法優(yōu)化技術(shù)

通過調(diào)整模型聚合次數(shù)可以降低終端的計(jì)算資源.在FL 設(shè)置中，快速的算法收斂同樣可以減少通信輪數(shù)，降低上傳的梯度量也同樣可以減少每輪更新的數(shù)據(jù)量，從而降低通信資源開銷[68].

在模型更新過程中，每個(gè)終端根據(jù)其局部訓(xùn)練數(shù)據(jù)獨(dú)立計(jì)算梯度，對(duì)學(xué)習(xí)模型做出貢獻(xiàn).現(xiàn)有的研究只利用了一階梯度下降.一階梯度下降方法中每一次迭代只依賴于當(dāng)前梯度，并沒有考慮到之前的迭代梯度更新可能加速訓(xùn)練的收斂[69].由于動(dòng)量梯度法可以改善收斂性，有許多研究工作將動(dòng)量隨機(jī)梯度下降應(yīng)用于分布式機(jī)器學(xué)習(xí)領(lǐng)域.Liu 等人[69]考慮與最后一次迭代相關(guān)的動(dòng)量項(xiàng)，提出動(dòng)量FL 系統(tǒng)，并采用動(dòng)量梯度下降的方法進(jìn)行局部更新.減輕FL系統(tǒng)中的通信負(fù)載問題已經(jīng)被廣泛研究，主要是在無噪聲、速率受限鏈路和星形拓?fù)涞募僭O(shè)下進(jìn)行.這些解決方案的關(guān)鍵要素是壓縮和降維操作，這些操作將原始模型參數(shù)或梯度向量映射到由有限數(shù)量的位和/或稀疏性定義的表示中.重要的解決方案類別包括無偏壓縮[70-72]和帶有誤差反饋機(jī)制的偏壓壓縮[73-76].一個(gè)眾所周知的結(jié)合SGD 和一致性的協(xié)議是分布式隨機(jī)梯度下降（decentralized stochastic gradient descent，DSGD），它已經(jīng)通過梯度跟蹤算法[77-78]和減少代理之間大數(shù)據(jù)異質(zhì)性的方差減少方案[79]得到了進(jìn)一步的擴(kuò)展和改進(jìn).此外，在文獻(xiàn)[80-82]中對(duì)空中計(jì)算（over-the-air computation，AirComp）進(jìn)行了研究，它是一種有前途的解決方案，可通過利用無線介質(zhì)的疊加特性來支持大規(guī)模FL 中的同時(shí)傳輸.與使用標(biāo)準(zhǔn)數(shù)字信號(hào)處理模塊的傳統(tǒng)實(shí)現(xiàn)相比，基于模擬的AirComp 直接從接收的基帶樣本中估計(jì)聚合統(tǒng)計(jì).文獻(xiàn)[80]研究了有限帶寬的高斯多址信道（multiple access channel，MAC）上的FL，并提出了新的數(shù)字和模擬SGD.在數(shù)字SGD 中，無線設(shè)備采用梯度量化和誤差累計(jì)，并通過MAC 將它們的梯度估計(jì)傳輸?shù)絽?shù)服務(wù)器，模擬SGD 利用無線媒體訪問控制的加法性質(zhì)進(jìn)行空中梯度計(jì)算.

對(duì)于每一輪通信，梯度量化減少了表示模型更新的位數(shù)，從而有減少了分布式學(xué)習(xí)中的通信有效載荷大小.由于量化引入了誤差，模型更新的算法精度降低，這可能阻礙學(xué)習(xí)算法的收斂.因此，應(yīng)該仔細(xì)設(shè)計(jì)量化[71,83]及其量化級(jí)，以保證高精度的收斂性.Shokri 等人[84]提出分布式選擇性隨機(jī)梯度下降（distributed selective stochastic gradient descent，DSSGD）方法，依據(jù)不同參數(shù)或者不同特征對(duì)訓(xùn)練收斂的貢獻(xiàn)不同，選擇性地進(jìn)行梯度參數(shù)更新.DSSGD 方法達(dá)到了與傳統(tǒng)SGD 相當(dāng)?shù)木?，但在每次學(xué)習(xí)迭代中更新的參數(shù)減少了1～2 個(gè)數(shù)量級(jí).文獻(xiàn)[85]的方法 QGADMM，將隨機(jī)量化與分組交替方向乘子法（groupbased alternating direction method of multipliers，GADMM）[86]的空間稀疏化相結(jié)合，其中權(quán)重更新以概率p和1-p分別向上和向下舍入，而p被自適應(yīng)地調(diào)整以最小化通信成本，同時(shí)保證GADMM 收斂.LFGADMM[87]對(duì)GADMM 應(yīng)用分層聯(lián)邦，而不像在QGADMM 中那樣量化，L-FGADMM中的節(jié)點(diǎn)分為頭尾組，只與鄰近的節(jié)點(diǎn)交流.與GADMM 相比，LFGADMM 通過2 種方式進(jìn)一步提高通信效率.首先，與GADMM 中的每次迭代通信不同，L-FGADMM 中的節(jié)點(diǎn)定期進(jìn)行通信.其次，針對(duì)每一層分別調(diào)整LFGADMM 的通信周期，與交換整個(gè)模型的GADMM不同，L-FGADMM 可以增加大規(guī)模層的通信周期，同時(shí)減小通信有效載荷的大小.

考慮到同步訓(xùn)練會(huì)丟棄模型更新后到達(dá)的所有延遲結(jié)果，從而浪費(fèi)相應(yīng)設(shè)備的電池電量和它們潛在的有用數(shù)據(jù).因此，現(xiàn)有研究采用異步更新取代了標(biāo)準(zhǔn)FL 的同步方案.然而，異步更新帶來了梯度值過時(shí)的問題，因?yàn)槎鄠€(gè)用戶可以在任意時(shí)間自由地執(zhí)行學(xué)習(xí)任務(wù)，當(dāng)在過時(shí)的模型版本上計(jì)算學(xué)習(xí)任務(wù)時(shí)，會(huì)出現(xiàn)過時(shí)的結(jié)果，與此同時(shí)，全局模型已經(jīng)發(fā)展到一個(gè)新版本，過時(shí)的結(jié)果會(huì)給訓(xùn)練過程增加噪聲，減緩甚至阻止FL 模型收斂[88].考慮到這些問題，文獻(xiàn)[22]提出了新的SGD 算法，即ADASGD.提出了一種預(yù)測(cè)移動(dòng)設(shè)備上每個(gè)學(xué)習(xí)任務(wù)的計(jì)算時(shí)間和能耗的分析工具，用于防止在服務(wù)器聚集本地模型的截止日期之后出現(xiàn)不必要的計(jì)算.文獻(xiàn)[22, 88]的方法在加速收斂方面有一定的優(yōu)勢(shì)，但是它們并沒有考慮到移動(dòng)邊緣智能場(chǎng)景下的獨(dú)特挑戰(zhàn).

為適配邊緣計(jì)算場(chǎng)景，Tao 等人[89]提出邊緣隨機(jī)梯度下降（edge stochastic gradient descent，eSGD）算法，在梯度下降過程中，某些參數(shù)對(duì)神經(jīng)網(wǎng)絡(luò)的目標(biāo)函數(shù)貢獻(xiàn)更大，因此在給定的訓(xùn)練迭代過程中會(huì)經(jīng)歷更大的更新.梯度值取決于訓(xùn)練樣本，并且隨樣本的不同而變化.此外，輸入數(shù)據(jù)的某些特征比其他特征更為重要，而幫助計(jì)算這些特征的參數(shù)在學(xué)習(xí)過程中更為關(guān)鍵，并經(jīng)歷更大的變化.因此，eSGD 算法只選擇一小部分重要梯度在每一輪通信過程中與FL聚合服務(wù)器進(jìn)行更新.與標(biāo)準(zhǔn)SGD 方法相比，eSGD仍然存在精度損失.在Tao 等人[89]研究梯度的選擇性通信的同時(shí)，Wang 等人[90]提出了CMFL 算法.該算法保證了只上傳相關(guān)的局部模型更新，以降低通信成本，同時(shí)保證全局收斂.在每次迭代中，首先將參與者的本地更新與全局更新進(jìn)行比較，以確定更新是否相關(guān).通過消除不相關(guān)的、損害訓(xùn)練的異常更新，CMFL 可以獲得稍高的精度.文獻(xiàn)[91]研究了邊緣網(wǎng)絡(luò)的DSGD 實(shí)現(xiàn)問題.通過考慮數(shù)字和模擬傳輸方案，提出了在無線D2D 網(wǎng)絡(luò)上實(shí)現(xiàn)DSGD 的協(xié)議，模擬實(shí)現(xiàn)利用AirComp.為了應(yīng)對(duì)無線干擾，將基于圖著色的調(diào)度策略應(yīng)用到數(shù)字和模擬實(shí)現(xiàn)的設(shè)計(jì)中.邊緣智能環(huán)境下的FL 與網(wǎng)絡(luò)通信技術(shù)的發(fā)展密切相關(guān)，在第2 節(jié)和第3 節(jié)討論的研究工作中，大多忽略了無線通信鏈路的特性.無線通信鏈路承載了FL 的參數(shù)更新過程.無線鏈路的資源分配也是智能邊緣系統(tǒng)中FL 優(yōu)化的一個(gè)重點(diǎn)方向.

4.3 無線資源優(yōu)化技術(shù)

通常來說，在移動(dòng)邊緣網(wǎng)絡(luò)環(huán)境下的FL 是動(dòng)態(tài)的、不確定的，具有時(shí)變的約束條件.基于無線網(wǎng)絡(luò)實(shí)現(xiàn)FL 架構(gòu)，客戶端必須通過無線鏈路傳輸其本地訓(xùn)練結(jié)果，目前FL 有很多無線應(yīng)用，例如：無人機(jī)（unmanned aerial vehicle, UAV）[4-5,92-99]、車聯(lián)網(wǎng)[82,100-104]和目標(biāo)定位[104]等.

1）FL 在無人機(jī)系統(tǒng)中的應(yīng)用研究.表6 描述了邊緣網(wǎng)絡(luò)下無人機(jī)FL 應(yīng)用主要組件，如客戶端、服務(wù)器和數(shù)據(jù)、FL 的預(yù)期結(jié)果.無人機(jī)可以作為邊緣內(nèi)容緩存，這種范式的主要挑戰(zhàn)是通過預(yù)測(cè)無人機(jī)內(nèi)容的流行度來有效地確定每個(gè)緩存中應(yīng)該存儲(chǔ)哪些內(nèi)容.然而，這需要直接訪問私人無人機(jī)信息，以進(jìn)行內(nèi)容區(qū)分，這在實(shí)踐中是不可能的.FL 是基于內(nèi)容流行度預(yù)測(cè)天然的匹配方案，因?yàn)樗С直镜赜?xùn)練模型，從而保護(hù)用戶數(shù)據(jù)隱私.例如，增強(qiáng)現(xiàn)實(shí)應(yīng)用程序需要訪問用戶的隱私數(shù)據(jù)，以便獲得增強(qiáng)的流行元素[105].

Table 6 Unmanned Aerial Vehicle Application Based on Federated Learning in Edge Network表6 邊緣網(wǎng)絡(luò)下基于聯(lián)邦學(xué)習(xí)的無人機(jī)應(yīng)用

無人機(jī)由于其固有的屬性，如機(jī)動(dòng)性、靈活性和自適應(yīng)高度，一方面，無人機(jī)可以用作空中基站[93]，無人機(jī)基站可以有效地補(bǔ)充現(xiàn)有的蜂窩系統(tǒng)，為熱點(diǎn)地區(qū)提供額外的容量，并在難以到達(dá)的偏遠(yuǎn)地區(qū)提供網(wǎng)絡(luò)覆蓋，以提高無線網(wǎng)絡(luò)的覆蓋范圍、容量、可靠性和能效.另一方面，無人機(jī)可以在蜂窩網(wǎng)絡(luò)中作為飛行移動(dòng)終端運(yùn)行，這種蜂窩網(wǎng)絡(luò)連接的無人機(jī)可以實(shí)現(xiàn)視頻流、物品交付等多種應(yīng)用.與傳統(tǒng)的地面基站相比，使用無人機(jī)作為飛行基站的優(yōu)勢(shì)是能夠調(diào)整高度、避開障礙物，并提高與地面用戶建立視影通信鏈路的可能性[106].

裝有不同類型傳感器（如攝像機(jī)、全球定位系統(tǒng)和濕度傳感器）的無人機(jī)通過收集周圍環(huán)境的傳感數(shù)據(jù)來執(zhí)行傳感任務(wù).由于風(fēng)和其他隨機(jī)因素，大規(guī)模無人機(jī)控制變得具有挑戰(zhàn)性，以避免碰撞并快速到達(dá)目的地.基于無線網(wǎng)絡(luò)的FL 可以實(shí)現(xiàn)對(duì)無人機(jī)機(jī)群的飛行路線控制[92].

2）FL 在車聯(lián)網(wǎng)中的應(yīng)用研究.圖5 顯示了智能交通下的FL 用例.文獻(xiàn)[100]研究了車聯(lián)網(wǎng)中超可靠低時(shí)延通信的聯(lián)合功率和資源分配問題，F(xiàn)L 用于估計(jì)反映網(wǎng)絡(luò)狀態(tài)的網(wǎng)絡(luò)范圍隊(duì)列長(zhǎng)度的尾部分布.文獻(xiàn)[101]討論了車聯(lián)網(wǎng)中使用FL 進(jìn)行圖像分類的問題.車輛客戶端配備有各種傳感器來捕獲圖像，通過考慮局部圖像質(zhì)量和每輛車的計(jì)算能力，引入選擇性模型聚集方法來選擇在車輛處計(jì)算的局部模型.考慮到無線資源的有效利用和低時(shí)延，在車輛附近進(jìn)行學(xué)習(xí)是很重要的，為了將FL 應(yīng)用于分散網(wǎng)絡(luò)，可以結(jié)合車輛聚類的方法，即選擇一些車輛作為FL的參數(shù)服務(wù)器.在文獻(xiàn)[107]中提出了將一種聯(lián)合分配發(fā)射功率和資源分配方法用于在車輛網(wǎng)絡(luò)中實(shí)現(xiàn)超可靠的低時(shí)延通信.在傳統(tǒng)的同步FL 中，每個(gè)車輛從服務(wù)器獲取全局模型，并將更新推送到服務(wù)器.然后，服務(wù)器同步所有更新，并將更新聚合到全局模型中.同步學(xué)習(xí)會(huì)導(dǎo)致較高的通信成本，同時(shí)還會(huì)導(dǎo)致等待較慢節(jié)點(diǎn)的空閑時(shí)間較長(zhǎng).一些研究探索了異步學(xué)習(xí)機(jī)制以提高學(xué)習(xí)效率.例如，文獻(xiàn)[108]中提出了一種異步小批量算法，利用多個(gè)處理器來解決正則化隨機(jī)優(yōu)化問題.為了提高FL 的效率，文獻(xiàn)[109]提出一種基于節(jié)點(diǎn)選擇和異步聚合算法的異步FL 方案，為了提高共享數(shù)據(jù)的可靠性，通過將學(xué)習(xí)的模型集成到區(qū)塊鏈并執(zhí)行2 階段驗(yàn)證.文獻(xiàn)[4]提出一種基于FL 的無人機(jī)飛行自組網(wǎng)干擾攻擊檢測(cè)機(jī)制，基于Dempster-Shafer 理論的客戶端選擇方法可以提高FL 的學(xué)習(xí)效率.

Fig.5 Intelligent transportation圖5 智能交通

3）FL 在目標(biāo)定位方面的研究.在新冠肺炎大流行期間，需要共享跟蹤感染傳播和預(yù)測(cè)高風(fēng)險(xiǎn)區(qū)域的同時(shí)，迫切需要保護(hù)移動(dòng)用戶的位置隱私.FL 框架是一個(gè)出色的解決方案，可以提高無線定位的準(zhǔn)確性，同時(shí)保護(hù)用戶之間的安全合作.文獻(xiàn)[110]中使用FL 來訓(xùn)練機(jī)器學(xué)習(xí)模型進(jìn)行本地化，稱為聯(lián)邦本地化.作為本地客戶端，每個(gè)移動(dòng)設(shè)備收集關(guān)于無線電特征和位置的本地?cái)?shù)據(jù)，在本地更新模型參數(shù)集，并將其發(fā)送到中央服務(wù)器.基站或聚合中心作為中心服務(wù)器，將接收到的局部參數(shù)集合進(jìn)行聚合，得到全局參數(shù)集合.在對(duì)2 種機(jī)器學(xué)習(xí)模型進(jìn)行局部化比較之后，基于真實(shí)數(shù)據(jù)的測(cè)試，具有最大似然損失函數(shù)的高斯過程模型優(yōu)于具有最小二乘損失函數(shù)的神經(jīng)網(wǎng)絡(luò)模型.

4）FL 在無線環(huán)境下存在巨大的應(yīng)用需求.但由于無線通信資源有限，這可能會(huì)影響FL 的性能.因此，有必要根據(jù)模型更新的上下文信息來調(diào)整資源分配優(yōu)化FL.FL 模型更新時(shí)間包括用戶設(shè)備計(jì)算的時(shí)間（取決于用戶設(shè)備的CPU 類型和本地?cái)?shù)據(jù)集大小），還包括所有用戶設(shè)備的通信時(shí)間（取決于用戶設(shè)備信道增益和更新數(shù)據(jù)集大小）.由于參與者的電池電量有限，如何分配用戶設(shè)備資源（如計(jì)算和傳輸功率）以最小化能耗是主要關(guān)注的問題.即如何在最小化FL 模型更新時(shí)間和用戶設(shè)備能耗這2 個(gè)相互沖突的目標(biāo)之間取得平衡？為此，Merluzzi 等人[111]提出面向邊緣學(xué)習(xí)的一種通信和計(jì)算資源分配的動(dòng)態(tài)調(diào)整策略，探索系統(tǒng)能耗、系統(tǒng)服務(wù)延遲和學(xué)習(xí)精度之間的最佳權(quán)衡.這種方法為確保在特定應(yīng)用程序所施加的指定延遲約束內(nèi)保證FL 精度的方法鋪平了道路.相似地，Yang 等人[112]考慮本地計(jì)算和無線傳輸?shù)臅r(shí)延和總消耗能量的折中，提出了一種低復(fù)雜度的迭代學(xué)習(xí)算法.在該算法的每一步，都得到了時(shí)間分配、帶寬分配、功率控制、計(jì)算頻率和學(xué)習(xí)精度的新的閉式解，解決了一個(gè)以完成時(shí)間和總消耗能量的最小加權(quán)和為目標(biāo)的聯(lián)合傳輸和計(jì)算的優(yōu)化問題.面向邊緣智能環(huán)境下天然的端邊云應(yīng)用場(chǎng)景，Luo 等人[113]提出一種端邊云分層的聯(lián)邦邊緣學(xué)習(xí)框架，制定了一個(gè)整體聯(lián)邦計(jì)算、通信資源分配和邊緣關(guān)聯(lián)的模型用于全局學(xué)習(xí)成本最小化，該框架在低延遲和高能效的FL 中具有巨大的潛力.Abad 等人[114]進(jìn)一步考慮在異構(gòu)蜂窩網(wǎng)絡(luò)中實(shí)現(xiàn)聯(lián)邦邊緣學(xué)習(xí)，利用梯度稀疏化提出了一種優(yōu)化的同步梯度更新資源分配方案來最小化訓(xùn)練的延遲.

文獻(xiàn)[111-114]主要從整體訓(xùn)練的角度來進(jìn)行無線資源分配，而文獻(xiàn)[115-118]則從用戶調(diào)度的角度實(shí)現(xiàn)了用戶設(shè)備偏好的資源分配.文獻(xiàn)[115]將重要度感知的無線資源管理的設(shè)計(jì)原則應(yīng)用于改進(jìn)用戶調(diào)度，根據(jù)信道狀態(tài)和數(shù)據(jù)統(tǒng)計(jì)對(duì)模型訓(xùn)練的重要性，將無線資源分配給終端設(shè)備.文獻(xiàn)[116]通過降低訓(xùn)練組中速度較快的移動(dòng)設(shè)備的CPU 循環(huán)頻率來提高FL 的能量效率.文獻(xiàn)[117]為了降低設(shè)備的能量消耗，提出高效的帶寬分配和調(diào)度策略，導(dǎo)出的調(diào)度優(yōu)先權(quán)函數(shù)能適應(yīng)設(shè)備的信道狀態(tài)和計(jì)算能力，為具有較好信道狀態(tài)和計(jì)算能力的設(shè)備提供了偏好.文獻(xiàn)[118]提出一種概率用戶選擇方案，選擇本地模型對(duì)基站連接以及全局模型具有高概率影響的用戶，為他們分配上行資源塊.文獻(xiàn)[119-120]重點(diǎn)關(guān)注了通信資源的分配.文獻(xiàn)[119]則對(duì)全局聚合的通信資源分配和局部更新模型參數(shù)的計(jì)算資源分配進(jìn)行了聯(lián)合優(yōu)化.特別地，分別基于非正交多址和時(shí)分多址，提出了2 種用于邊緣設(shè)備向邊緣服務(wù)器上傳機(jī)器學(xué)習(xí)參數(shù)的傳輸協(xié)議.在這2 種協(xié)議下，通過聯(lián)合優(yōu)化全局聚合上傳參數(shù)過程中的終端設(shè)備傳輸功率和速率以及本地更新過程中的CPU 頻率，從而在有限時(shí)間內(nèi)最小化所有終端設(shè)備的總能量消耗.文獻(xiàn)[120]提出了對(duì)數(shù)據(jù)批量大小和無線資源的優(yōu)化來加速FL.

文獻(xiàn)[111-120]研究工作在隨機(jī)梯度下降算法的基礎(chǔ)上，側(cè)重于增加時(shí)間和能耗的約束來進(jìn)行資源分配，主要通過構(gòu)建能耗模型來優(yōu)化能效，或者從無線資源管理的角度對(duì)一些設(shè)備狀態(tài)較好的客戶端進(jìn)行偏好設(shè)置.文獻(xiàn)[121-122]通過引入深度強(qiáng)化學(xué)習(xí)技術(shù)與動(dòng)態(tài)環(huán)境的交互，來優(yōu)化模型訓(xùn)練的資源分配.Anh 等人[121]提出一個(gè)以訓(xùn)練服務(wù)器為主體，狀態(tài)空間包括移動(dòng)設(shè)備的CPU 和能量狀態(tài)，動(dòng)作空間包括從移動(dòng)設(shè)備獲取的數(shù)據(jù)單元和能量單元的數(shù)量的隨機(jī)優(yōu)化問題.獎(jiǎng)勵(lì)被定義為累積數(shù)據(jù)、能量消耗和訓(xùn)練延遲的函數(shù)，然后采用雙深度Q 網(wǎng)絡(luò)來解決該優(yōu)化的問題.作為對(duì)文獻(xiàn)[121]的擴(kuò)展，文獻(xiàn)[122]提出一種使用深度強(qiáng)化學(xué)習(xí)的資源分配方法，考慮了FL 參與者的移動(dòng)性.在沒有移動(dòng)網(wǎng)絡(luò)先驗(yàn)知識(shí)的情況下，F(xiàn)L 參數(shù)服務(wù)器能夠優(yōu)化參與者之間的資源分配.類似地，文獻(xiàn)[123]也提出了通過D2D 通信結(jié)合FL 來構(gòu)建D2D-FedAvg 算法.該算法利用狀態(tài)較好的設(shè)備作為D2D 學(xué)習(xí)組的簇頭，從無線資源的角度降低FL 蜂窩網(wǎng)絡(luò)的通信負(fù)載.

盡管移動(dòng)設(shè)備的計(jì)算能力迅速增長(zhǎng)，但許多設(shè)備仍然面臨無線資源短缺的問題.針對(duì)這個(gè)問題，越來越多的研究致力于開發(fā)面向FL 的高效無線通信技術(shù)[73,80,114].Zhu 等人[73]研究了寬帶無線衰落MAC上的FL，其中設(shè)備在完全了解信道狀態(tài)信息（channel state information，CSI）的情況下執(zhí)行信道反轉(zhuǎn)，以在參數(shù)服務(wù)器處對(duì)齊它們的信號(hào)，并提出一種用于無線網(wǎng)絡(luò)FL 的多址寬帶模擬聚合（broadband analog aggregation，BAA），以減少FL 中的通信延遲，而不是在服務(wù)器的全局聚合期間分別執(zhí)行通信和計(jì)算，BAA 方案基于空中計(jì)算的概念，通過利用多址信道的信號(hào)疊加特性來集成計(jì)算和通信.BAA 方案允許整個(gè)帶寬的重用，而傳統(tǒng)的正交頻分多址是正交化帶寬分配.文獻(xiàn)[73]的研究表明，BAA 方案可以達(dá)到與正交頻分多址方案相當(dāng)?shù)臏y(cè)試精度，同時(shí)降低延遲10～1 000 倍.Amiri 等人[74]進(jìn)一步擴(kuò)展，在空中計(jì)算基礎(chǔ)上引入了誤差積累和梯度稀疏化，能更有效地利用帶寬，顯著降低通信負(fù)載，同時(shí)可以獲得比空中計(jì)算更高的測(cè)試精度.與文獻(xiàn)[74]相似，文獻(xiàn)[124]針對(duì)AirComp 過程中產(chǎn)生的聚集誤差會(huì)導(dǎo)致模型精度下降的問題，提出一種參與者選擇算法用于訓(xùn)練的設(shè)備數(shù)量最大化，以提高統(tǒng)計(jì)學(xué)習(xí)性能，同時(shí)將信號(hào)失真保持在一定的閾值以下.圖6 展示了該算法的原理.

Fig.6 The parameters are aggregated by air calculation and spatial freedom[125]圖6 通過空中計(jì)算并利用空間自由度進(jìn)行參數(shù)聚合[125]

由圖6 可知，本地客戶端通過無線信道同時(shí)發(fā)送本地參數(shù)集的第i個(gè)元素，這些元素具有功率比例則在中央服務(wù)器接收的信號(hào)向量將是其中hk和n分別對(duì)應(yīng)于本地客戶端k的信道增益向量和噪聲向量.之后結(jié)合波束形成向量m得到這里的波束形成矢量為高效傳輸提供了自由度.如果每個(gè)本地客戶端沒有噪聲或最大功率限制，則應(yīng)選擇m和Pk，以使根據(jù)式（4）進(jìn)行聚合.實(shí)際上，由于信道失真和每個(gè)本地客戶端的最大傳輸功率限制，尤其當(dāng)存在大量的客戶端時(shí)，可能沒有足夠的自由度來實(shí)現(xiàn)聚合.文獻(xiàn)[124]提出了一個(gè)稀疏低秩化問題來解決這個(gè)問題.在文獻(xiàn)[124-126]中分別介紹了多天線參數(shù)服務(wù)器處的波束形成技術(shù)，用于增加參與設(shè)備的數(shù)量和克服設(shè)備處的CSI 匱乏.文獻(xiàn)[127]研究了無線信道上的FL 的跨設(shè)備的資源分配，設(shè)備的參與頻率作為設(shè)備調(diào)度度量標(biāo)準(zhǔn)引入[128].文獻(xiàn)[129-131]提供了在各種資源分配方案下無線網(wǎng)絡(luò)上的FL 的收斂性分析.文獻(xiàn)[132]考慮在資源有限的塊衰落無線網(wǎng)絡(luò)中從邊緣設(shè)備到基站的數(shù)字傳輸，設(shè)計(jì)了新的設(shè)備調(diào)度策略和跨設(shè)備的資源分配，以執(zhí)行正交（無干擾）傳輸.數(shù)值結(jié)果說明了在設(shè)備調(diào)度中同時(shí)考慮信道條件和本地模型更新的優(yōu)勢(shì)，而不是基于2 個(gè)度量中的任何一個(gè)單獨(dú)進(jìn)行調(diào)度.

上述資源優(yōu)化方法的目標(biāo)是提高FL 的訓(xùn)練效率，然而，這可能會(huì)導(dǎo)致一些設(shè)備因資源有限而被排除在聚合階段之外.這種不公平的資源分配的一個(gè)后果是FL 模型將被擁有更高計(jì)算能力設(shè)備的參與者所擁有的數(shù)據(jù)的分布所過度代表.因此，面向FL的無線資源分配還需要結(jié)合數(shù)據(jù)統(tǒng)計(jì)分布特性進(jìn)一步優(yōu)化.邊緣智能FL 技術(shù)的一個(gè)發(fā)展方向.

2）FL 需要與無線網(wǎng)絡(luò)深度融合[39,41]，提升學(xué)習(xí)收斂速度.FL 能夠大規(guī)模實(shí)際應(yīng)用的一個(gè)重要方面是學(xué)習(xí)算法在有限的通信和計(jì)算資源下能夠快速收斂.為實(shí)現(xiàn)該目標(biāo)，F(xiàn)L 除了算法方面的優(yōu)化，還需要網(wǎng)絡(luò)技術(shù)的協(xié)同優(yōu)化來解決資源受限問題.目前，分布式邊緣智能應(yīng)用需求已經(jīng)驅(qū)動(dòng)了無線通信技術(shù)與網(wǎng)絡(luò)架構(gòu)的革新與發(fā)展.未來面向6G 無線通信系統(tǒng)，F(xiàn)L 技術(shù)需要更緊密地與無線通信技術(shù)耦合，享受無線通信技術(shù)發(fā)展帶來的紅利，實(shí)現(xiàn)AirComp 與空口通信的有機(jī)融合，進(jìn)而突破通信與計(jì)算資源對(duì)學(xué)習(xí)性能的限制.

3）FL 需要結(jié)合遷移學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等技術(shù)，滿足邊緣智能應(yīng)用的多樣化需求.遷移學(xué)習(xí)與強(qiáng)化學(xué)習(xí)已經(jīng)取得了長(zhǎng)足的進(jìn)步.在實(shí)際應(yīng)用中，F(xiàn)L 各個(gè)參與方可能只有少量的標(biāo)注數(shù)據(jù)，而且數(shù)據(jù)在統(tǒng)計(jì)上可能高度異構(gòu).為了幫助只有少量數(shù)據(jù)和弱監(jiān)督的應(yīng)用建立有效且精確的機(jī)器學(xué)習(xí)模型，并且不違背用戶的數(shù)據(jù)隱私原則，F(xiàn)L 可以與遷移學(xué)習(xí)結(jié)合，形成聯(lián)邦遷移學(xué)習(xí)，以適用于更廣的業(yè)務(wù)范圍.同樣，F(xiàn)L可以對(duì)分布式強(qiáng)化學(xué)習(xí)進(jìn)行擴(kuò)展，形成強(qiáng)化學(xué)習(xí)的隱私保護(hù)版本——聯(lián)邦強(qiáng)化學(xué)習(xí)，解決邊緣智能環(huán)境下的序列決策問題.

4）FL 需要有效的參與激勵(lì)機(jī)制.FL 目前的大多數(shù)研究側(cè)重于提升性能，但忽略了學(xué)習(xí)參與者的意愿問題.在邊緣智能應(yīng)用環(huán)境下，如何鼓勵(lì)數(shù)據(jù)擁有者積極參與聯(lián)邦訓(xùn)練是一個(gè)非常現(xiàn)實(shí)的問題.特別是如何刻畫數(shù)據(jù)質(zhì)量，并激勵(lì)擁有高質(zhì)量數(shù)據(jù)的客戶端參與FL 是未來需要深入探索的一個(gè)潛在方向.

5 結(jié)論與展望

從目前邊緣智能FL 的研究現(xiàn)狀可見，F(xiàn)L 在客戶端選擇、模型訓(xùn)練與模型更新等方面都取得了大量的進(jìn)展，基本能夠滿足邊緣智能應(yīng)用的實(shí)際需求.但是面向未來大規(guī)模多樣化的邊緣智能應(yīng)用，F(xiàn)L 技術(shù)還存在很大的發(fā)展空間.

1）FL 過程需要更細(xì)粒度的隱私保護(hù).目前的FL架構(gòu)采用了差分隱私[84]或者多方安全計(jì)算[133]等技術(shù)來實(shí)現(xiàn)模型聚合傳遞參數(shù)的隱私保護(hù).這些技術(shù)能夠提供系統(tǒng)全局粒度的隱私保護(hù).在未來的邊緣智能應(yīng)用中，異構(gòu)終端、異構(gòu)網(wǎng)絡(luò)、異構(gòu)數(shù)據(jù)等天然的異構(gòu)應(yīng)用環(huán)境需要更細(xì)粒度的隱私保護(hù)方法.例如不同設(shè)備之間、不同樣本集合之間需要不同粒度的隱私保護(hù).設(shè)計(jì)不同粒度混合的隱私保護(hù)方法是

作者貢獻(xiàn)聲明：張雪晴負(fù)責(zé)論文的整體文獻(xiàn)調(diào)研、整理及撰寫；劉延偉輔助調(diào)研、提出論文整體思路、設(shè)計(jì)全文框架和審核最終論文；劉金霞、韓言妮對(duì)論文結(jié)構(gòu)與內(nèi)容進(jìn)行討論、修改，并提出了指導(dǎo)意見.