陸森良，馮寶，徐坤財，陳業(yè)航，陳相猛

1.桂林電子科技大學(xué)電子工程與自動化學(xué)院，桂林 541004；2.桂林航天工業(yè)學(xué)院智能檢測與信息處理實(shí)驗(yàn)室，桂林 541004；3.江門市中心醫(yī)院醫(yī)學(xué)影像智能計算及應(yīng)用實(shí)驗(yàn)室，江門 529000

0 引言

在醫(yī)學(xué)圖像任務(wù)中，由于醫(yī)學(xué)圖像數(shù)據(jù)獲取難度大（Li 等，2019；陳弘揚(yáng) 等，2021），同時因患者隱私保密規(guī)定，各醫(yī)療機(jī)構(gòu)間不能共享患者數(shù)據(jù)，極大限制了數(shù)據(jù)規(guī)模。為打破數(shù)據(jù)壁壘，聯(lián)邦學(xué)習(xí)的提出（McMahan 等，2023）保證了各用戶端在不共享數(shù)據(jù)的情況下，以一種去中心化的方式訓(xùn)練本地模型和聚合全局模型，其組織各用戶端分享本地模型參數(shù)，協(xié)作訓(xùn)練一個全局模型，并將該模型部署到用戶端。然而各個醫(yī)院所擁有的數(shù)據(jù)存在因數(shù)據(jù)采集設(shè)備、搜集規(guī)格和圖像質(zhì)量差異而導(dǎo)致的特征異質(zhì)性分布等問題（Jiang 等，2022），使得數(shù)據(jù)總體呈現(xiàn)非獨(dú)立同分布（non independent identically distribution，Non-IID）（Kairouz 等，2021），從而導(dǎo)致各本地模型間參數(shù)一致性差，聚合得到的全局模型難以在所有用戶端都具有良好的性能（McMahan 等，2023；Jiang 等，2022；Kairouz 等，2021；Li 等，2020；Li 等，2021a）。因此，有效地全局聚合和部署到用戶端是聯(lián)邦學(xué)習(xí)研究中的一個熱點(diǎn)問題。

Li 等人（2020）基于聯(lián)邦平均算法（federated averaging，F(xiàn)edavg）框架（McMahan 等，2023）提出在模型訓(xùn)練中添加一正則化項(xiàng)以減少本地模型與全局模型間的參數(shù)差異；模型對比聯(lián)邦學(xué)習(xí)算法（modelcontrastive federated learning，MOON）（Li 等，2021a）基于全局模型與本地模型間的特征余弦相似度構(gòu)建對比損失以加強(qiáng)本地模型與全局模型參數(shù)的一致性。Jiang 等人（2022）提出使用幅值歸一化技術(shù)調(diào)和圖像低頻特征以減輕異質(zhì)性特征影響，并在本地模型訓(xùn)練中添加擾動以拓寬模型收斂區(qū)域。盡管這些方法可以加強(qiáng)本地模型參數(shù)一致性，但是仍采用固定權(quán)重比例（基于數(shù)據(jù)規(guī)模比例或平均分配）合成全局模型，對模型整體性能產(chǎn)生影響。而且將全局模型直接部署到用戶端，對個性化問題（Huang 等，2021）缺乏考慮。

為此，部分研究者提出個性化聯(lián)邦學(xué)習(xí)，致力于構(gòu)建個性化本地模型以提升本地模型的泛化性能。Deng 等人（2020）提出自適應(yīng)聯(lián)邦學(xué)習(xí)算法：自適應(yīng)個性化聯(lián)邦學(xué)習(xí)算法（adaptive personalized federated learning，APFL），該算法基于混合權(quán)重α實(shí)現(xiàn)本地模型和全局模型的參數(shù)合成，構(gòu)建個性化本地模型；Li等人（2021b）提出一種保持用戶端本地模型的批歸一化（batch normalization，BN），層參數(shù)不變，共享和聚合其他模型層參數(shù)的個性化聯(lián)邦學(xué)習(xí)算法：本地批處理歸一化聯(lián)邦平均算法（federated averaging with local batch normalization，F(xiàn)edBN）；元聯(lián)邦學(xué)習(xí)算法（meta federated learning，MetaFed）（Chen 等，2023）基于無服務(wù)端和分組用戶端的聯(lián)邦應(yīng)用場景，提出一種環(huán)形信息傳播結(jié)構(gòu)，并選擇全連接層進(jìn)行模型間的知識蒸餾以構(gòu)建個性化模型。Wang 等人（2019）將遷移學(xué)習(xí)用于聯(lián)邦學(xué)習(xí)，提出將訓(xùn)練好的全局模型的部分或所有參數(shù)在局部數(shù)據(jù)上重新訓(xùn)練以實(shí)現(xiàn)個性化。Schneider 和Vlachos（2020）提出后期塑造法，讓訓(xùn)練過的模型使用來自不同分布的數(shù)據(jù)進(jìn)行更新。上述方法可以實(shí)現(xiàn)個性化模型的構(gòu)建，但是需要基于大量試驗(yàn)或以往經(jīng)驗(yàn)選擇部分模型層來繼承全局模型參數(shù)。

因此，提出一種基于特征遷移的自適應(yīng)個性化聯(lián)邦學(xué)習(xí)算法（adaptive personalized federated learning via feature transfer，APFFT）。該算法主要包括構(gòu)建個性化本地模型和聚合全局模型兩個部分。1）在個性化本地模型構(gòu)建中，為降低全局模型中異質(zhì)性特征信息的影響，提出魯棒特征選擇網(wǎng)絡(luò)（robust feature selection network，RFS-Net）自動計算全局模型向本地模型遷移特征時的特征通道遷移權(quán)重和特征遷移量，以決定遷移哪些特征和遷移去哪，然后基于特征通道遷移權(quán)重和特征遷移量構(gòu)建特征遷移損失項(xiàng)以加強(qiáng)本地模型對有效特征的注意力，實(shí)現(xiàn)自動識別和遷移有效特征的目的。2）考慮本地模型中存在的異質(zhì)性特征信息，提出自適應(yīng)聚合網(wǎng)絡(luò)（adaptive aggregation network，AA-Net）基于本地模型特征計算各本地模型向全局模型遷移特征時的特征遷移權(quán)重，并構(gòu)建聚合損失項(xiàng)以引導(dǎo)全局模型從各本地模型中識別和遷移魯棒特征，然后基于全局模型交叉熵的變化實(shí)時更新特征遷移權(quán)重，從而逐步過濾各本地模型中的異質(zhì)性特征信息。

1 基于特征遷移的自適應(yīng)個性化聯(lián)邦學(xué)習(xí)算法APFFT

如圖1所示，提出的APFFT 算法共包含N+1個用戶端，以其中1 個用戶端為服務(wù)端，接收其余N個用戶端上傳的本地模型參數(shù)后進(jìn)行全局模型的參數(shù)聚合。

圖1 APFFT算法框架Fig.1 The framework of APFFT algorithm

該算法主要包括兩個部分：1）本地模型的自適應(yīng)訓(xùn)練。首先，由用戶端接收服務(wù)端下發(fā)的全局模型參數(shù)，基于全局模型和本地模型k在本地數(shù)據(jù)的特征差異計算二范數(shù)，然后由魯棒特征選擇網(wǎng)絡(luò)（robust feature selection network，RFS-Net）基于全局模型特征生成特征通道遷移權(quán)重和遷移量，并結(jié)合二范數(shù)值計算特征遷移損失，最后更新本地模型參數(shù)。2）全局模型自適應(yīng)聚合。服務(wù)端接收各用戶端上傳的本地模型參數(shù)后，基于全局模型和各本地模型在服務(wù)端數(shù)據(jù)的特征差異逐一計算二范數(shù)，最后由AA-Net基于各本地模型特征計算遷移權(quán)重，構(gòu)建聚合損失以更新全局模型參數(shù)。

1.1 基于RFS-Net的本地模型自適應(yīng)訓(xùn)練

在聯(lián)邦學(xué)習(xí)應(yīng)用場景中，由于各中心間的數(shù)據(jù)分布存在差異，本地模型如以Fine-tune 方式（Razavian 等，2014）進(jìn)行訓(xùn)練，會將全局模型中的異質(zhì)性特征信息一并引入，影響本地模型性能。因此，為降低異質(zhì)性特征影響，讓模型注意力更多地集中在有效特征，使用RFS-Net 引導(dǎo)全局模型到本地模型的特征遷移，基于特征通道遷移權(quán)重和遷移量構(gòu)建遷移損失函數(shù)以約束本地模型進(jìn)行自適應(yīng)訓(xùn)練，實(shí)現(xiàn)本地模型個性化構(gòu)建。

1.1.1 特征遷移

設(shè)有N+1 個數(shù)據(jù)中心，記為｛Dglobal，D1，…，Dk，…，DN｝，全局模型和本地模型分別記為S（server）和C1，…，Cn，｛x｝為圖像數(shù)據(jù)，｛y｝為圖像標(biāo)簽，({x}，{y}) ∈Dk。模型間具有高度一致性的特征，其適用價值更高（Romero 等，2015；Jang 等，2019；黎英和宋佩華，2022）。因此，基于全局模型和本地模型在Dk上的特征計算特征差異程度，具體為

式中，(m，n) ∈?，?為預(yù)定義的模型層匹配對，匹配對總數(shù)記為P。Sm(x)為全局模型第m模型層的中間特征圖(x)為本地模型k第n模型層的中間特征圖為被θk參數(shù)化可逐點(diǎn)卷積的線性變換，其保證了兩模型間特征圖的數(shù)量一致，此外，該參數(shù)僅在本地模型訓(xùn)練時被更新和使用，并與組成了本地模型參數(shù)θk。在計算特征圖間的L2值時，如存在特征圖尺寸不一致，則使用雙線性插值法修正特征圖尺寸。然后，如圖2（a）所示，特征圖間的像素點(diǎn)逐一對應(yīng)計算差異度diffi，v，最后取平均值得到L2值。

圖2 特征通道匹配Fig.2 Feature channels matching（（a）compute L2；（b）feature channels matching）

進(jìn)行特征遷移時，首先，定義RFS-Netk的子網(wǎng)絡(luò)，其是由P組全連接層、池化層和softmax 層構(gòu)成的全連接網(wǎng)絡(luò)。該網(wǎng)絡(luò)以全局模型的特征為輸入，以softmax 層為輸出，計算特征通道遷移權(quán)重并由該權(quán)重來選擇遷移特征參與本地模型的訓(xùn)練。具體為

其次，定義RFS-Netk的子網(wǎng)絡(luò)，是由P組全連接層、池化層和ReLU 6 激活層構(gòu)成的全連接網(wǎng)絡(luò)，其以全局模型的特征為輸入，以ReLU 6 激活層為輸出，計算全局模型第m層到本地模型第n層的遷移量具體為

1.1.2 個性化本地模型的自適應(yīng)訓(xùn)練

基于L2和構(gòu)建特征遷移損失函數(shù)以約束本地模型訓(xùn)練，該損失函數(shù)定義為

式中，H×W為和Sm(x)輸出特征圖的尺寸，i∈{1，2，???，H}，v∈{1，2，???，W}。由式（2）計算得到。

如圖3 所示，本地模型進(jìn)行自適應(yīng)訓(xùn)練的主要步驟如下：

圖3 基于特征遷移的本地模型自適應(yīng)訓(xùn)練示意圖Fig.3 Local model adaptive training based on feature transfer

1）按式（1）計算L2；

2）計算特征通道遷移權(quán)重，由k的子網(wǎng)絡(luò)按式（2）計算

3）計算遷移量，由k的子網(wǎng) 絡(luò)按 式（3）計算

4）根據(jù)式（6）計算Lwfm，更新本地模型參數(shù)θk。

由式（5）（6）可知，當(dāng)本地模型參數(shù)與全局模型參數(shù)存在較大差異時，兩者在Dk上的特征差異，即L2值也隨之變大，此時由Lwfm約束本地模型加強(qiáng)對該模型層特征的注意力，如該特征無法降低本地模型交叉熵，則其對應(yīng)的和會在更新RFS-Net參數(shù)后降低。

此外，為加強(qiáng)本地模型與全局模型之間的參數(shù)一致性，減少后續(xù)全局模型參數(shù)的聚合難度，計算對比損失，具體為

最后，得到訓(xùn)練本地模型Ck參數(shù)的總損失函數(shù)Ltotal，具體為

式中，Lorg(θk|x，y)為Ck的交叉熵?fù)p失，β>0 為一個控制遷移損失權(quán)重的超參數(shù)，μ為一個控制對比損失權(quán)重的超參數(shù)。本地模型Ck的優(yōu)化目標(biāo)為

1.2 基于AA-Net的全局模型自適應(yīng)聚合

由于多中心數(shù)據(jù)存在的Non-IID問題，各本地模型參數(shù)受自身數(shù)據(jù)的異質(zhì)性特征影響，模型間的參數(shù)一致性變差（Jiang 等，2022）。若采用傳統(tǒng)聚合方法，直接為每個本地模型參數(shù)分配一個權(quán)重，按權(quán)重直接合成全局模型參數(shù)（McMahan 等，2023；Jiang等，2022；Li 等，2020；Li 等，2021a），可能會分散模型對有效特征的注意力，難以提升全局模型的泛化能力。因此，在聚合全局模型參數(shù)時，為了加強(qiáng)全局模型對魯棒特征的注意力，從各本地模型中遷移特征時，由AA-Net基于全局模型交叉熵變化對特征進(jìn)行篩選，從而逐步過濾各本地模型中的異質(zhì)性特征信息，讓全局模型參數(shù)在遷移中自動完成聚合，由此定義一個全局模型自適應(yīng)聚合優(yōu)化項(xiàng)，具體為

式中，δ為AA-Net 的模型參數(shù)。AA-Net 由N組RFSNet構(gòu)成，使用全局模型交叉熵更新網(wǎng)絡(luò)參數(shù)。

如圖4 所示，在提出的全局模型自適應(yīng)聚合方法中，將其中一個用戶端作為服務(wù)端，其模型作為全局模型，并將其數(shù)據(jù)記為Dglobal。當(dāng)服務(wù)端接收各個本地模型參數(shù)后，首先，依據(jù)式（2）（3）基于Ck在Dglobal上的特征計算得到和再由式（6）（11）計算Lagg(θglobal|x，δ)，以更新server參數(shù)。

圖4 基于特征遷移的全局模型自適應(yīng)聚合Fig.4 Global model adaptive aggregation based on feature transfer

根據(jù)式（10）優(yōu)化項(xiàng)進(jìn)行全局模型參數(shù)聚合時，由于不同本地模型對Dglobal的特征會存在差異，對于能降低server交叉熵的相關(guān)特征，AA-Net為其提高和因此在遷移中持續(xù)發(fā)揮作用的特征，會被AA-Net持續(xù)賦予較高的和。相應(yīng)地，全局模型在聚合過程中，也會始終對這些特征保持較高的注意力。

APFFT 聯(lián)邦學(xué)習(xí)訓(xùn)練框架如算法1 所示。在每個信息交互的循環(huán)中，server既要接收來自各個用戶端的本地模型參數(shù)，又要將全局模型參數(shù)傳輸給各個用戶端。Ck和server 均使用隨機(jī)梯度下降法（stochastic gradient descent，SGD）更新模型權(quán)重參數(shù)、RFS-Net和AA-Net參數(shù)。

算法1：APFFT框架。

2 實(shí)驗(yàn)結(jié)果

為了評估APFFT 方法在Non-IID 數(shù)據(jù)集上的表現(xiàn)，在3 種醫(yī)學(xué)圖像分類任務(wù)上開展實(shí)驗(yàn)：肺結(jié)核肺腺癌分類任務(wù)、乳腺癌組織學(xué)圖像分類任務(wù)和肺結(jié)節(jié)良惡性分類任務(wù)，并將實(shí)驗(yàn)結(jié)果與聯(lián)邦平均算法（federated averaging，F(xiàn)edavg）（McMahan 等，2023）、聯(lián)邦近端算法（federated proximal，F(xiàn)edProx）（Li 等，2020）、MOON（Li 等，2021a）、協(xié)調(diào)局部和全局漂移的聯(lián)邦學(xué)習(xí)算法（harmonizing local and global drifts in federated learning，HarmoFL）（Jiang 等，2022）4 種聯(lián)邦學(xué)習(xí)方法相比較。實(shí)驗(yàn)中所采用的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）模型結(jié)構(gòu)為ResNet18（He 等，2016），并且以在ImageNet（Li 等，2010）數(shù)據(jù)集上訓(xùn)練好的網(wǎng)絡(luò)參數(shù)為CNN 模型初始化參數(shù)。

2.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

2.1.1 肺結(jié)核肺腺癌分類任務(wù)

使用的數(shù)據(jù)源自5 家醫(yī)院，其臨床數(shù)據(jù)信息如表1 所示，樣本標(biāo)簽分為肺結(jié)核和肺腺癌，個別中心正負(fù)樣本比例懸殊、各中心間結(jié)節(jié)特征分布差異大。在APFFT 框架下，以中心1 為服務(wù)端，其他4 個中心作為用戶端。本文使用Focalloss（Lin 等，2020）計算交叉熵?fù)p失，其中alpha 設(shè)置為0.76，gamma 設(shè)置為2；使用SGD 算法更新RFS-Net、AA-Net 和CNN 網(wǎng)絡(luò)模型參數(shù)，動量為0.9，其中RFS-Net 和AA-Net 的學(xué)習(xí)率和衰減率均為0.000 1，CNN 網(wǎng)絡(luò)的學(xué)習(xí)率和衰減率為0.001和0.000 5。

表1 肺結(jié)核肺腺癌分類任務(wù)中各中心數(shù)據(jù)臨床信息分布Table 1 The distribution of data and clinical information of each center in the TBG and LAC classification

2.1.2 乳腺癌組織學(xué)圖像分類任務(wù)

本文使用公開數(shù)據(jù)集Camelyon17（the cancer metastasis in lymph nodes challenge 2017），其由5 家醫(yī)院的組織學(xué)圖像組成，共450 000 幅圖像（Bandi等，2019），每家醫(yī)院的圖像標(biāo)簽均分為正常組織和腫瘤組織。以中心1 為服務(wù)端，其他中心為用戶端。本文使用標(biāo)準(zhǔn)交叉熵計算交叉熵?fù)p失，CNN 網(wǎng)絡(luò)、RFS-Net 和AA-Net 的學(xué)習(xí)率和衰減率均為0.000 1，使用SGD算法更新網(wǎng)絡(luò)參數(shù)，動量為0.9。

2.1.3 肺結(jié)節(jié)良惡性分類任務(wù)

使用公開數(shù)據(jù)集肺影像數(shù)據(jù)庫聯(lián)盟（the lung image database consortium，LIDC），該數(shù)據(jù)集由美國國家癌癥研究所發(fā)起收集，其數(shù)據(jù)來源于7 家研究機(jī)構(gòu)和8 家醫(yī)學(xué)圖像公司，共有1 018 個病例，其中≥3 mm 的肺結(jié)節(jié)，其惡性程度分為1～5 級，其中等級3為不確定惡性程度（McNitt-Gray 等，2007），將惡性程度為1～2 級的病灶歸為良性，將惡性程度為4～5 級的病灶歸為惡性，最后將1 746 個病灶納入數(shù)據(jù)集。為模擬聯(lián)邦學(xué)習(xí)應(yīng)用場景，將1 018 個病例隨機(jī)分為4 個中心，其標(biāo)簽分布情況如表2 所示。以中心1 為服務(wù)端，其他中心為用戶端。本文使用標(biāo)準(zhǔn)交叉熵計算交叉熵?fù)p失，使用SGD 優(yōu)化法更新RFS-Net、AA-Net 和CNN 網(wǎng)絡(luò)模 型參數(shù)，動量為0.9，其中RFS-Net 和AA-Net 的學(xué)習(xí)率和衰減率均為0.000 1，CNN 網(wǎng)絡(luò)的學(xué)習(xí)率和衰減率為0.001 和0.000 1。

表2 肺結(jié)節(jié)良惡性分類任務(wù)中各中心數(shù)據(jù)分布表Table 2 The data distribution of each center in the classification of benign and malignant pulmonary nodules

本文使用聯(lián)邦學(xué)習(xí)框架超參數(shù)的默認(rèn)設(shè)置為：本地模型訓(xùn)練循環(huán)E為1，特征遷移循環(huán)G為2。做遷移層對(m，n)匹配時，以ResNet18 的4 個block 的輸出層來兩兩匹配，預(yù)先設(shè)定的匹配層對(m，n)共16對，λm，n初始值均為1。

2.2 實(shí)驗(yàn)結(jié)果及對比分析

本文將AUC（area under the curve）、準(zhǔn)確率（accuracy）、陽性預(yù)測值（positive predictive value，PPV）、陰性預(yù)測值（negative predictive value，NPV）和召回值（recall）用于模型的對比和評價。其中，AUC反映了算法分類的綜合性能；準(zhǔn)確率為識別結(jié)果正確的樣本（包括正負(fù)樣本）占所有樣本的比例；PPV為真陽性樣本在識別結(jié)果為陽性的樣本中的比例；NPV為識別為真陰性樣本在識別結(jié)果為陰性的樣本中的比例；recall為識別結(jié)果為正確的正樣本占所有正樣本的比例。

2.2.1 肺結(jié)核肺腺癌分類任務(wù)

肺結(jié)核（tuberculous granuloma，TBG）肺腺癌（lung adenocarcinoma，LAC）分類任務(wù)，如表3所示，展示了各方法在5個數(shù)據(jù)中心測試集上的端對端準(zhǔn)確率和AUC，各個模型的ROC（receiver operating characteristic）曲線如圖5所示（其曲線下面積為AUC數(shù)值）。與Fedavg相比較，F(xiàn)edProx、MOON、HarmoFL在5個中心上的AUC都有一定的提升，但在中心2和中心4上有明顯的性能限制。相較于上述4 種算法，提出的APFFT方法在5個中心測試集上AUC都有明顯提升，AUC 分 別為0.791 5，0.798 1，0.760 0，0.705 7，0.806 9。此外，從PPV、NPV 和recall 指標(biāo)的比較來看，提出方法在具有高PPV 的情況下較大提升了NPV。

表3 不同聯(lián)邦學(xué)習(xí)算法在肺結(jié)核肺腺癌分類任務(wù)上的結(jié)果Table 3 The results for TBG and LAC classification of different federated learning methods

圖5 肺結(jié)核肺腺癌分類任務(wù)各中心測試集的ROC曲線Fig.5 The ROC curves of each center test cohort in TBG and LAC classification（（a）center 1 testset；（b）center 2 testset；（c）center 3 testset；（d）center 4 testset）

FedProx、MOON 和HarmoFL 3 種算法在中心2和中心4 上出現(xiàn)性能限制的主要原因是：1）正負(fù)樣本比例懸殊。由表1 知，在中心2 中，訓(xùn)練集的正負(fù)比例達(dá)到10∶1，測試集達(dá)到26∶1。在中心4中，訓(xùn)練集約3∶1，測試集4∶1。由表3 中3 種算法在兩個數(shù)據(jù)中心的準(zhǔn)確率和AUC 表現(xiàn)可知，模型對正樣本過度學(xué)習(xí)，故準(zhǔn)確率尚可而AUC 不佳；2）結(jié)節(jié)特征存在較大差異。在肺結(jié)核和肺腺癌診斷中，臨床信息中的性別、年齡、結(jié)節(jié)大小具有較大參考價值，由表1可知，在中心2 中，總體的患者年齡和結(jié)節(jié)大小偏小，而中心4 中結(jié)節(jié)大小總體偏大，與全局平均水平具有一定差距。

2.2.2 乳腺癌組織學(xué)圖像分類任務(wù)

對于乳腺癌組織學(xué)圖像分類任務(wù)，如表4 所示，對于準(zhǔn)確率指標(biāo)，在各中心上，相比于其他聯(lián)邦學(xué)習(xí)算法，所提方法準(zhǔn)確率取得了約1%～9%的提升，5 個中心的測試集準(zhǔn)確率分別為0.984 9，0.980 8，0.983 5，0.982 6，0.983 4。此外，在PPV、NPV 和recall指標(biāo)的比較上也均為最優(yōu)。

表4 不同聯(lián)邦學(xué)習(xí)算法在乳腺癌組織學(xué)圖像分類任務(wù)上的結(jié)果Table 4 The results for breast cancer histology images classification of different federated learning methods

Fedavg 方法以固定權(quán)重合成全局模型參數(shù)，影響了全局模型對有效特征的反應(yīng)，再以fine-tune 方式訓(xùn)練本地模型，全局模型中存在的異質(zhì)性特征信息可能無益于本地任務(wù)；MOON 使用對比損失約束本地與全局模型的參數(shù)差異，各中心準(zhǔn)確率有一定提升，但中心2 的結(jié)果明顯較低；而FedProx 使用正則項(xiàng)約束本地模型訓(xùn)練以降低本地模型與全局模型間的參數(shù)差異，中心2 的準(zhǔn)確率有明顯提升；HarmoFL通過調(diào)和圖像低頻特征和添加擾動項(xiàng)，使模型參數(shù)一致性得到加強(qiáng)，各中心準(zhǔn)確率有一定提升。

2.2.3 肺結(jié)節(jié)良惡性分類任務(wù)

對于肺結(jié)節(jié)良惡性分類任務(wù)，如表5 所示，F(xiàn)edavg 在中心2 和中心3 上得到良好的AUC 指標(biāo)，但在中心1 上AUC 指標(biāo)有很大的下降；與其相比較而言，F(xiàn)edProx 在中心1 上有較大性能提升，但在中心3 上AUC 有所下降；MOON 相較Fedavg、FedProx、HarmoFL 而言，在4 個中心上均得到了較好的AUC指標(biāo)，但中心3 上的AUC 相對較低。與4 種方法相比，提出的APFFT 在4個中心都有全面的性能提升，AUC 分別為0.809 7，0.849 8，0.784 8，0.792 3，各個模型的ROC 曲線對比如圖6所示。此外，在PPV、NPV 和recall 指標(biāo)上，提出方法在中心1、2、4 和5 均有較好的性能，在中心3上，在具有較高NPV 的情況下PPV得到一定的提升。

圖6 肺結(jié)節(jié)良惡性分類任務(wù)各中心測試集ROC曲線Fig.6 The ROC curves of each center test cohort in classification of pulmonary nodules and malignant pulmonary nodule（（a）center 1 testset；（b）center 2 testset；（c）center 3 testset；（d）center 4 testset）

Fedavg、FedProx、MOON 和HarmoFL 4 種方法采用fine-tune 方式訓(xùn)練本地模型，引入了全局模型參數(shù)中的異質(zhì)性特征信息，導(dǎo)致個別中心的結(jié)果較好，個別中心的結(jié)果很差，難以實(shí)現(xiàn)全面提升。

4 結(jié)論

面對多中心醫(yī)學(xué)圖像數(shù)據(jù)中存在的異質(zhì)性特征，已有聯(lián)邦學(xué)習(xí)算法的全局模型聚合和本地模型個性化存在靈活性較低、適應(yīng)性差的問題。為此，本文提出一種基于特征遷移的自適應(yīng)個性化聯(lián)邦學(xué)習(xí)算法APFFT。在個性化本地模型構(gòu)建中，提出RFSNet 自動識別和選擇由全局模型向本地模型遷移的有效特征，其根據(jù)全局模型在本地數(shù)據(jù)的特征計算特征通道遷移權(quán)重和遷移量，最后結(jié)合特征間差異性構(gòu)建遷移損失函數(shù)以加強(qiáng)本地模型對有效遷移特征的注意力；在聚合全局模型中，提出AA-Net 從多個本地模型向全局模型遷移特征，其基于本地模型特征和全局模型交叉熵變化更新遷移權(quán)重，然后構(gòu)建聚合損失以過濾各本地模型中的異質(zhì)性特征信息。實(shí)驗(yàn)中，對肺結(jié)核肺腺癌分類任務(wù)中的5 個中心臨床信息進(jìn)行統(tǒng)計分析，發(fā)現(xiàn)部分中心的臨床特征與整體數(shù)據(jù)集水平有較大差異，對比算法在這些中心上得到的端對端AUC 結(jié)果較差。為進(jìn)一步驗(yàn)證APFFT 算法性能，在兩個公開醫(yī)學(xué)圖像數(shù)據(jù)集上進(jìn)行測試，結(jié)果表明，提出的方法在醫(yī)學(xué)數(shù)據(jù)集中各中心有較好的適應(yīng)性，并在同類算法中保持較高的模型分類性能?；谔卣鬟w移的思想構(gòu)建個性化本地模型和聚合全局模型，不僅可以降低和過濾異質(zhì)性特征信息，還能使模型將注意力放在魯棒特征上，提升模型在本地醫(yī)學(xué)數(shù)據(jù)上的泛化能力。醫(yī)學(xué)圖像樣本規(guī)模有限，采用這種基于特征遷移的自適應(yīng)方法聚合全局模型和構(gòu)建個性化本地模型，可以為未來形成一種聯(lián)邦學(xué)習(xí)在醫(yī)學(xué)圖像應(yīng)用的自動化機(jī)制提供有益經(jīng)驗(yàn)。但目前遷移學(xué)習(xí)與聯(lián)邦學(xué)習(xí)的結(jié)合還停留在較淺的層面，后續(xù)將考慮從圖像卷積特征入手，尋找遷移特征與本地數(shù)據(jù)深層次結(jié)合的方法。