联邦学习在保护数据隐私的前提下让多个客户端协作训练模型，但客户端与中心服务器之间每轮都要交换模型更新。随着模型参数从几百万增长到数十亿，原始更新量可能达到数百MB甚至GB级别。移动设备、边缘节点和跨地域机构通常上行带宽有限，频繁传输完整参数会让训练难以推进。要解决这一问题，不能只靠降低通信频率，因为减少通信轮次往往拖慢收敛；更有效的思路是在每轮通信中压缩更新本身，模型差分压缩和稀疏更新就是两种可叠加的常用手段。
模型差分压缩：用小差值代替完整权重
差分压缩的出发点是相邻通信轮次之间的模型更新具有很强的时间相关性。客户端第 t 轮训练得到的权重 w_t 与上一轮上传时的权重 w_prev 往往不会发生剧烈跳变，很多参数的改变集中在较小幅度内。直接传输 delta = w_t - w_prev 会得到大量接近 0 的数值，这种分布更适合量化。若使用 8 bit 均匀量化，通信体积立刻从每个参数 4 字节降到 1 字节。若进一步使用 4 bit 或 2 bit，并配合熵编码，还能继续压缩。
实际实现需要注意浮点缩放因子、溢出裁剪和反向还原。服务器收到量化后的差分后，需要根据缩放因子还原近似差值，再累加到上一轮模型上。量化是有损操作，误差会留在下一轮差分中。但如果相邻轮次更新仍以相同方向变化，误差容易被后续轮次吸收，不会无限累积。差分编码还可以与时间序列预测结合，例如使用上一次更新作为预测基准，只传预测误差，从而进一步降低差分幅值。
下面这段代码演示了如何对模型更新做差分量化。输入当前更新和上一轮更新，输出量化后的整数数组、缩放因子以及还原后的近似差分。
import numpy as np
def diff_quantize(update, prev_update, bits=8):
# update: 当前轮模型更新，prev_update: 上一轮模型更新
delta = update - prev_update
qmin = -(1 << (bits - 1))
qmax = (1 << (bits - 1)) - 1
max_abs = np.max(np.abs(delta))
scale = max_abs / qmax if max_abs != 0 else 1.0
q = np.clip(np.round(delta / scale), qmin, qmax).astype(np.int8)
delta_hat = q.astype(np.float32) * scale
return q, scale, delta_hat
在该示例中，每个参数从 32 位浮点数压缩为 8 位整数，通信量减少约四分之三。如果采用 4 bit 量化，通信量可进一步下降，但量化误差会明显增大。选择位数时需要结合实际模型对噪声的敏感程度。
稀疏更新：只传最重要的那部分参数
差分压缩降低了每个参数的表示精度，但没有改变需要传输的参数数量。模型更新中大量参数可能只发生极小变化，对全局模型的影响非常有限。稀疏更新的核心是在上传前对更新张量做一次筛选，只保留绝对值最大的一部分元素。常用 Top-k 稀疏化会选取 k 个最大值，其余元素置零并通过残差累积到后续轮次。因为仅发送索引和值，通信量由 k 决定，而不是总参数量。
Top-k 方法的开销包括索引编码。如果直接发送每个选中元素的全局下标，当参数量很大时索引本身会占较多字节。可以采用分层分块策略，只发送块内偏移和块号；或者用随机稀疏化保证无偏，配合哈希索引减少编码。实践中 0.1% 到 1% 的稀疏率常常能在通信压缩与收敛速度之间取得平衡。下面是一个 Top-k 稀疏化的简单实现。
import numpy as np
def topk_sparsify(tensor, k_ratio=0.01):
size = tensor.size
k = max(int(size * k_ratio), 1)
flat = tensor.flatten()
idx = np.argpartition(np.abs(flat), -k)[-k:]
vals = flat[idx]
return idx.astype(np.int32), vals.astype(np.float32)
误差补偿机制对稀疏更新非常关键。未被上传的小更新不应该直接丢弃，否则会形成系统性信息损失。可以将这些残差累加到下一次更新的对应位置上，使那些暂时低于阈值的更新在后续轮次逐渐累积，直到进入 Top-k 范围。这样虽然单轮传输稀疏，但长期来看重要信息不会永久丢失。这一机制通常被称作梯度残差累积或误差反馈，是稀疏训练中维持收敛性的重要技巧。
差分压缩与稀疏更新的组合流程
两类方法可以串联使用。客户端完成本地训练后，先根据配置生成当前轮更新，再做差分计算，得到相对上一轮上传更新的差值。随后对差值执行稀疏筛选，选出幅值最大的 k 个元素，只对这些元素做低比特量化，最后将索引、量化值和缩放因子打包上传。服务器收到后先反量化，再按索引写回差值张量，并与上一轮全局更新相加，执行聚合。
import numpy as np
def compress_update(w_t, w_prev, k_ratio=0.005, bits=8):
delta = w_t - w_prev
flat = delta.flatten()
k = max(int(flat.size * k_ratio), 1)
idx = np.argpartition(np.abs(flat), -k)[-k:]
top_vals = flat[idx]
qmin = -(1 << (bits - 1))
qmax = (1 << (bits - 1)) - 1
max_abs = np.max(np.abs(top_vals))
scale = max_abs / qmax if max_abs > 0 else 1.0
q = np.clip(np.round(top_vals / scale), qmin, qmax).astype(np.int8)
return idx.astype(np.int32), q, scale
上述流程将稀疏化和量化放在一起完成，能够显著减少上行数据量。服务器端需要根据 idx 还原一个稀疏差值张量，逐元素乘回缩放因子，再与上一轮还原出的更新相加。由于客户端与服务器保存的上一轮更新基准必须一致，系统设计中要确保客户端只在成功参与聚合后更新本地基准，否则差分对象会出现错位。
如果联邦学习采用安全聚合，压缩后的索引和量化值需要先编码为固定长度向量再进入多方计算。差分压缩会改变原始更新的统计分布，可能与差分隐私噪声机制产生交互，建议在压缩前后分别评估隐私预算与噪声幅度，避免压缩误差被误判为隐私噪声。
收敛性影响与调参建议
压缩和稀疏化会引入额外噪声，因此需要重新审视学习率、本地训练轮数和稀疏率。Top-k 是有偏压缩，可能放大非 IID 数据下的客户端漂移。残差累积能缓解低幅值更新的丢失，但不能完全替代完整通信。对于非 IID 场景，可在本地目标中加入正则项或使用控制变量，减少客户端之间的方向偏差。
工程调参时可以先从低压缩率开始，例如稀疏率 1%、量化 8 bit。验证收敛曲线接近完整通信后，再逐步降到 0.1% 或更低。量化比特不建议低于 4 bit，除非结合随机量化或误差反馈。差分窗口不必跨太多轮，因为过旧的上一轮更新可能导致差值变大，削弱压缩收益。还应注意同步与异步聚合对差分基准的一致性要求，让客户端保存上一次成功参与聚合的更新版本。
通信量的最终上界可以按 k × (bit_width / 8 + index_bytes) 估算。相比原始 N × 4 字节，若 N 为 1 千万、k 为 1 万、索引占 4 字节、量化占 1 字节，单轮更新约 50 KB，而原始约 40 MB，压缩比接近 800 倍。实际还需加上浮点缩放因子和包头，但整体仍能显著降低带宽压力。将差分压缩与稀疏更新组合使用，是当前联邦学习通信优化中成本较低、落地较快的方案。