联邦学习FedRE：信通院与清华联手破解三大难题，实现高效协同训练

在联邦学习的部署实践中，一个核心挑战在于如何协同优化模型精度、数据隐私与通信成本这三重目标，尤其是在参与方模型架构异构的复杂场景下。当客户端分别采用CNN、Transformer等不同特征提取器时，传统同构联邦方案直接失效，问题复杂性显著增加。

针对这一瓶颈，一项产学研合作提出的新框架提供了创新解法。这项名为“基于表征纠缠的联邦学习”的研究，旨在为模型异构环境设计一个能同时兼顾性能、隐私与效率的均衡方案。

论文标题：FedRE: A Representation Entanglement Framework for Model-Heterogeneous Federated Learning
论文链接：https://arxiv.org/pdf/2511.22265
代码仓库：https://github.com/AIResearch-Group/FedRE

核心挑战：模型异构联邦学习的固有矛盾

在模型异构设定中，各客户端使用不同的特征提取网络，但需协同完成同一分类任务。这导致传统基于参数平均的联邦算法无法直接应用。关键问题在于：服务器如何在不收集原始数据且控制通信负载的前提下，训练一个高效的全局分类器？

直观方案是上传全部样本的特征表征，例如FedAllRep方法。虽然能维持较高模型性能，但该方法伴随巨大的通信压力与严重的隐私风险——攻击者可能从高维特征中重构出原始敏感数据。

为降低风险，另一类方法选择上传每个类别的原型或中心，如FedGH。这显著减少了通信量并提升了隐私性。但弊端在于：全局分类器仅基于这些浓缩的类别中心进行学习，容易形成过拟合的决策边界，导致模型泛化能力下降。

正是洞察到这两种路径的局限性，FedRE框架提出了一个折中方案：上传“纠缠表征”。具体而言，每个客户端将本地所有类别的特征，按随机权重进行线性混合，生成一个单一的“纠缠”特征向量，并配以对应的混合标签编码。

该设计的优势是系统性的：首先，每轮上传仅需传输一个固定维度的向量，通信开销大幅降低。其次，由于纠缠表征融合了多类别信息，攻击者难以从中逆向还原出任何单一原始样本，隐私保护强度显著提升。最关键的是，全局分类器通过持续学习这些混合了多类别信号的监督样本，能够形成更平滑、更具鲁棒性的决策边界，从而有望获得更优的泛化性能。

技术框架：FedRE的三阶段工作流

FedRE的执行流程高效清晰，包含三个核心阶段：

第一阶段：本地模型更新。各客户端利用本地私有数据，独立训练并更新其特有的特征提取器与分类器。

第二阶段：生成并上传纠缠表征。客户端收集本轮所有训练样本的特征，通过随机加权聚合生成唯一的“纠缠表征-标签编码”对，并将此压缩后的知识包上传至中央服务器。

第三阶段：服务器聚合与分发。服务器汇聚所有客户端的纠缠知识包，用于训练或微调全局共享分类器。随后，将更新后的全局分类器参数下发至各客户端，替换其本地分类器，开启下一轮联邦训练循环。

实验验证：性能、隐私与效率的全面评估

模型精度：异构环境下的表现

在标准的模型异构基准测试中，FedRE展现出具有竞争力的性能。其整体准确率优于同样侧重隐私与效率的FedGH等方法。这初步验证了纠缠表征作为一种知识蒸馏载体的有效性——它比单一的类别原型蕴含了更丰富、更有利于模型优化的监督信息。

隐私强度：抵御特征逆向攻击的能力

隐私保护的实际效果需通过对抗性攻击来检验。研究团队对比了三种上传物在表征逆向攻击下的表现：原始样本特征、类别原型以及FedRE的纠缠表征。

结果差异显著：从原始特征可较清晰地重建物体轮廓；从类别原型可推断大致类别；而从FedRE的纠缠表征中重建出的图像近乎无法辨识的随机噪声。这证明，多源信息的深度纠缠有效构建了对抗数据重构的隐私屏障。

通信效率：上传与下载开销分析

通信成本是联邦学习落地应用的关键指标。FedRE在上传阶段具备固有优势：每轮每个客户端仅传输一个固定大小的纠缠向量，其开销远低于上传全部特征的方法，并与上传原型的方法相当。在服务器广播下载阶段，其开销与主流联邦学习方法处于同一水平。

结论与行业意义

随着数据合规要求日益严格，在保障隐私安全的前提下实现数据价值协同挖掘，已成为行业发展的关键命题。

FedRE框架的提出，是对该命题的一次创新性回应。它通过“表征纠缠”这一新颖的中间表示形式，在模型异构这一现实约束下，系统性地调和了模型性能、数据隐私与通信开销之间的权衡关系。这项工作不仅为联邦学习算法演进提供了新视角，也为构建安全、高效的分布式数据协作范式奠定了技术基础。