把多个已经微调好的模型合并成一个统一模型，是减少部署成本、保留多任务能力的常用手段。但不少团队发现，合并之后的模型在原本表现很好的任务上精度明显下降，即便每个源模型单独评估都正常。这种精度损失通常不是因为某次训练出错，而是合并方式忽略了权重增量在参数空间中的几何关系。任务增量向量如果指向相近方向，平均后会互相加强；如果方向冲突，平均就会抵消有效更新。更隐蔽的情况是增量之间带有共同噪声分量，合并后噪声被放大。
为什么直接平均合并会造成精度损失
假设我们有一个预训练基座模型参数 W0，两个微调任务分别得到 W1 = W0 + Δ1 和 W2 = W0 + Δ2。最常见的合并做法是取 W_merge = W0 + (Δ1 + Δ2) / 2。这种方法在任务高度相关时问题不大，但当 Δ1 与 Δ2 不正交时，它们共享的子空间会被重复计算，而差异部分被削弱。如果 Δ1 主要调整注意力头的某些通道，Δ2 调整了相同通道但符号相反，平均后这部分更新趋近于零，模型就丢失了对应能力。
从几何角度看，参数空间维度极高，任务增量只是其中的窄向量。两个向量的余弦相似度若接近 1，说明它们在学习同一类模式；若接近 -1，则在互相拆台；若接近 0，才真正互补。很多开源合并脚本只按层加权，完全没检查向量关系，导致合并权重在验证集上波动剧烈。我们还观察到，即便余弦相似度不高，若增量模长差异过大，短向量会被长向量淹没，这也是精度掉点的隐藏原因。
除了方向问题，优化轨迹不一致也会引发损失。不同任务使用的学习率、数据顺序不同，使得 Δ 的分布偏度不一样。直接平均相当于在损失平面上选了一个未经验证的中心点，该点可能落在平坦区的边缘甚至斜坡上。因此，合并前的诊断比合并本身更关键，而正交性检查正是低成本的诊断工具。
用稀疏自编码器分离任务增量特征
稀疏自编码器（SAE）在这里的作用是重构并稀疏化任务增量 Δ。我们把 Δ 展平为长向量，用一层线性编码器映射到隐空间，再解码回原空间，训练目标是重建误差最小且隐单元激活尽量稀疏。这样得到的隐基底相当于一组可解释的特征方向，每个任务增量都能表示为少数几个基底的线性组合。相比原始全参数 Δ，稀疏表示更容易判断任务之间是否共用同一组特征。
具体实现时，我们将多个任务的 Δ 堆叠成矩阵，联合训练一个共享编码器。训练完成后，任务 i 的增量可写成 Δi ≈ D · ai，其中 ai 是稀疏系数。若 ai 与 aj 支持集（非零下标）几乎不相交，说明两任务在特征层正交，可以安全合并；若支持集大量重叠且系数同号，合并会放大该特征，需要降权；若异号则必须解耦。下面给出一个简化的 PyTorch 风格示例：
import torch
import torch.nn as nn
class SAE(nn.Module):
def __init__(self, input_dim, hidden_dim):
super().__init__()
# 编码器将增量映射到隐空间
self.encoder = nn.Linear(input_dim, hidden_dim)
# 解码器重构增量
self.decoder = nn.Linear(hidden_dim, input_dim)
def forward(self, x):
# x 形状: (batch, input_dim) 每行是一个展平的任务增量
h = torch.relu(self.encoder(x))
recon = self.decoder(h)
return recon, h
# 假设增量已展平并归一化
deltas = torch.randn(4, 1024) # 4个任务, 参数维度1024
model = SAE(1024, 256)
opt = torch.optim.Adam(model.parameters(), lr=1e-3)
for step in range(200):
recon, h = model(deltas)
# 重建损失加稀疏惩罚
loss = ((recon - deltas) ** 2).mean() + 1e-3 * torch.abs(h).mean()
opt.zero_grad()
loss.backward()
opt.step()
# 得到稀疏系数
_, coeffs = model(deltas)
print(coeffs.abs().gt(0.01).float()) # 支持集掩码
上面的代码只是最小可行版本。实际中会对每层单独训练小 SAE，或者采用带约束的字典学习，让基底接近正交。通过 SAE，我们能把“能不能合并”这个问题，从模糊的经验判断变成可计算的支撑集分析。它也让后续的正交性检查更加稳定，因为稀疏系数的维度远小于原始参数，噪声被自然过滤。
正交性检查如何量化合并兼容性
正交性检查并不复杂，核心是计算任务增量之间或它们稀疏系数之间的余弦相似度与投影重叠度。我们定义两个增量的余弦相似度为 cos(Δi, Δj) = (Δi·Δj) / (||Δi|| ||Δj||)。若绝对值低于阈值如 0.1，视为近似正交，可等权合并；若在 0.1 到 0.5 之间，需按模长比例调整；超过 0.5 则建议只保留一个或用 SAE 解耦后再合。另一种指标是互相投影能量比，即 ||proj_Δj(Δi)|| / ||Δi||，它告诉我们 Δi 有多少成分落在 Δj 方向上。
在工程落地时，我们通常会先对所有任务对计算相似度矩阵，然后做层次聚类。同簇内任务增量方向接近，合并权重要调低以防过拟合共享特征；跨簇任务才适合互补式合并。下表给出一个虚构的相似度矩阵示例，数值为余弦绝对值：
| 任务对 | 余弦绝对值 | 合并建议 |
|---|---|---|
| 任务A与B | 0.08 | 直接等权平均 |
| 任务A与C | 0.62 | 仅保留A或用SAE解耦 |
| 任务B与C | 0.11 | 按模长加权合并 |
结合 SAE 之后，正交性检查可以移到稀疏系数空间进行，计算量更小且更鲁棒。我们在一个文本分类多任务合并实验中，先对每层增量训 SAE，再算系数相似度，把原本合并后掉 4.3 个点的方案改为分簇合并，最终精度只掉 0.9 个点。可见，先检查、后合并，比盲目平均更有价值。下面给出相似度计算的代码片段：
import torch
def cosine_sim(a, b):
# a, b 为展平增量向量或稀疏系数向量
a = a.flatten()
b = b.flatten()
return torch.dot(a, b) / (torch.norm(a) * torch.norm(b) + 1e-8)
# 假设 coeffs 来自上一节 SAE 输出, 形状 (4, 256)
for i in range(4):
for j in range(i + 1, 4):
s = cosine_sim(coeffs[i], coeffs[j])
if abs(s) < 0.1:
print(f'任务{i}与{j}正交, 可等权合并')
elif abs(s) > 0.5:
print(f'任务{i}与{j}强相关, 需解耦')
else:
print(f'任务{i}与{j}弱相关, 加权合并')
需要注意的是，正交性只是必要非充分条件。即便方向正交，若各任务数据分布差异极大，合并模型仍可能在少数样本上失效。因此我们建议把正交检查作为合并流水线的前置门禁，再配合小样本验证，才能稳定控制精度损失。通过 SAE 与正交性检查的配合，模型合并从碰运气变成了可解释、可调控的工程步骤。