传统的机器学习训练需要把所有数据集中到一台服务器上，这在金融、医疗等数据敏感行业中几乎行不通。联邦学习（Federated Learning）提供了一条折中路径：各参与方把数据留在本地，只上传模型参数或梯度，由中心服务器汇总后再下发更新。当参与方扩展为多个自主决策的智能体（Agent）时，系统的复杂度显著上升——每个Agent可能拥有异构的数据分布、不同的算力和通信条件，甚至可能是不可信节点。如何在多Agent环境下高效完成分布式训练，同时防止隐私信息经由梯度泄露，是本文要拆解的两个核心问题。
联邦学习的核心机制：FedAvg算法拆解
联邦学习最经典的算法是FedAvg（Federated Averaging），它的核心思想是用加权平均替代集中式梯度下降。流程上分为四步：中心服务器把全局模型下发给被选中的一批客户端；每个客户端在本地数据上执行若干轮局部训练；客户端把更新后的模型权重上传回服务器；服务器按数据量比例对各客户端的权重做加权平均，得到新的全局模型。
用伪代码可以更清晰地描述这个过程：
# 服务器端伪代码
for round in range(num_rounds):
# 按比例随机挑选参与本轮训练的客户端
clients = sample(clients_list, fraction=0.3)
# 下发全局模型
broadcast(global_model, clients)
# 收集本地更新并加权平均
total_size = sum(c.data_size for c in clients)
new_weights = None
for c in clients:
local_w = c.local_train(epochs=2)
w = scale(local_w, c.data_size / total_size)
new_weights = add(new_weights, w)
global_model.weights = new_weights
这个算法看似简单，但在多Agent场景下有几个隐藏的坑。第一，数据非独立同分布（Non-IID）问题：如果各个Agent的数据分布差异很大，FedAvg收敛会明显变慢，甚至出现震荡。第二，掉队者问题：某个Agent算力弱或网络差，会拖慢整轮训练。实践中常用异步联邦学习或设置超时剔除机制来缓解。第三，恶意Agent问题：任何一个参与方都可以上传被篡改的梯度，把全局模型带偏，这就需要配合鲁棒聚合策略，比如 trimmed mean 或 Krum 算法，在聚合阶段剔除异常更新。
隐私保护三大方案：差分隐私、安全聚合与同态加密
只上传梯度并不等于隐私安全。研究表明，攻击者可以通过梯度反演（Gradient Inversion）从共享的梯度中重建出参与方的原始训练样本，尤其是在批量较小、模型过参数化的情况下，重建精度相当高。因此隐私保护技术不是可选项，而是联邦学习落地的前置条件。
差分隐私（Differential Privacy）是最常用的方案。它的做法是在本地梯度上注入精心校准的噪声，并限制单个样本对整体结果的影响。优点是计算开销小、有严格的数学证明保障；缺点是噪声会损伤模型精度，隐私预算（通常是参数epsilon和delta）设置得越紧，模型效果下降越明显。工程上一般采用DP-SGD变体，对每个样本的梯度做裁剪后再加噪。
安全聚合（Secure Aggregation）解决的是另一个问题：服务器只能看到所有客户端的聚合结果，看不到任何单个客户端的更新。它通过密钥协商和成对掩码实现，客户端之间互相添加可抵消的随机掩码，服务器求和后掩码相互抵消，得到干净的聚合值。这种方式不损失模型精度，但通信轮次增加，且需要处理中途掉线的客户端。同态加密（Homomorphic Encryption）则允许服务器直接在密文上做加法聚合，安全性最高，但计算和通信开销也是三者中最大的，通常只在数据极度敏感的小规模场景使用。三者的对比见下表：
| 方案 | 安全性 | 精度损失 | 计算开销 | 适用场景 |
|---|---|---|---|---|
| 差分隐私 | 中（有预算约束） | 有 | 低 | 大规模、通用场景 |
| 安全聚合 | 高（隐藏个体更新） | 无 | 中 | 客户端可信、防服务器窥探 |
| 同态加密 | 极高 | 无 | 高 | 医疗金融等强合规场景 |
实践中这三种技术可以叠加使用：本地训练时用差分隐私加噪，上传环节用安全聚合，两者互补，分别防外部攻击者和防中心服务器。
动手实践：用Flower搭建多Agent联邦训练
自己从零实现一套联邦训练框架工作量不小，推荐使用开源框架Flower（flwr），它对PyTorch、TensorFlow等主流框架都有良好支持，客户端只需要实现两个方法：fit负责本地训练并返回更新后的参数和样本数，evaluate负责本地评估。下面是一个最小可用的客户端示例：
import flwr as fl
import torch
class AgentClient(fl.client.NumPyClient):
def __init__(self, model, train_loader, test_loader):
self.model = model
self.train_loader = train_loader
self.test_loader = test_loader
def fit(self, parameters, config):
# 用服务器下发的参数覆盖本地模型
fl.common.parameters_to_ndarrays(parameters)
self.model.set_weights(parameters)
optimizer = torch.optim.SGD(self.model.parameters(), lr=0.01)
self.model.train()
for epoch in range(2):
for x, y in self.train_loader:
optimizer.zero_grad()
loss = criterion(self.model(x), y)
loss.backward()
# 对梯度裁剪，为差分隐私做准备
torch.nn.utils.clip_grad_norm_(self.model.parameters(), 1.0)
optimizer.step()
return self.model.get_weights(), len(self.train_loader.dataset), {}
def evaluate(self, parameters, config):
self.model.set_weights(parameters)
# 本地评估逻辑，返回损失和准确率
return 0.0, len(self.test_loader.dataset), {"accuracy": 0.0}
搭建好多Agent环境后，有几个调优经验值得注意。其一，控制客户端采样比例：每轮只选一部分Agent参与训练，可以降低通信量，但比例过低会导致收敛不稳定，经验值在百分之十到百分之三十之间。其二，处理Non-IID数据：可以引入共享的公开数据集做知识蒸馏，或者使用FedProx算法在本地损失中加一个近端项，约束本地模型不要偏离全局模型太远。其三，监控隐私预算：如果叠加了差分隐私，要持续追踪epsilon的消耗情况，训练轮数越多预算越紧，必要时提前停止训练。
最后要提醒的是，隐私保护与模型性能之间存在天然的权衡，没有免费的午餐。选择技术方案时应先明确威胁模型——防的是外部窃听者、好奇的中心服务器，还是恶意参与者，再据此决定用轻量级的差分隐私还是重型的同态加密。把架构设计清楚，多Agent联邦学习完全可以在保证数据不出域的前提下，训练出接近集中式效果的模型。