混合专家模型（Mixture of Experts，MoE）通过让每个token只激活少数专家来控制计算开销，但路由策略本身会带来明显的不稳定。训练初期，门控网络对专家logits的微小变化极其敏感，top-k选择频繁地改变token归属；同时，一旦某个专家在早期获得更多样本，它的参数更新更快，后续样本更容易被继续分给它，形成马太效应。路由震荡与负载不均相互强化，最终降低训练效率和泛化性能。
路由震荡与负载不均衡的根源
MoE的典型门控可以描述为：每个token经过线性变换得到专家分数，再通过softmax得到概率分布，随后用top-k保留概率最高的若干专家。问题在于，softmax输出的概率差异在训练早期常常不大，而top-k是硬选择。即使两个专家的概率只差0.01，也可能导致选择结果完全不同。这种对微小扰动的高敏感性，使得路由决策在不同训练步之间反复横跳。专家参数更新后，门控网络又接收到新的梯度，进一步放大logits波动。
负载不均衡来自梯度反馈机制。被选中的专家获得当前token的前向计算和反向梯度，未被选中的专家没有直接梯度。当门控网络轻微偏向某个专家时，该专家学习更快，输出更匹配当前任务，反过来又提升了被选中的概率。如果没有额外约束，模型很容易陷入少数专家过载、其余专家闲置的状态。这个现象在低资源任务或小批量训练中更明显。
从优化角度看，硬选择路由的梯度只沿着被激活专家的路径回传，未被选择的专家依赖后续token的偶然激活才能更新。若路由震荡严重，专家参数会接收到非常不连续的梯度信号，表现为损失曲线抖动和收敛缓慢。因此单纯扩大专家数量并不能自动带来收益，必须显式设计负载均衡和稳定性机制。
负载均衡损失与门控z-loss
解决负载不均最直接的方法是在训练目标中增加辅助损失。设E为专家数量，f_i表示一个训练批次中被分配给专家i的token比例，P_i表示这些token对专家i的平均门控概率。负载均衡损失的常见形式是：
def load_balancing_loss(router_probs, expert_mask, num_experts):
# router_probs: [T, E] 门控概率，expert_mask: [T, E] 0/1 表示是否被top-k选中
f = expert_mask.float().mean(dim=0) # 每个专家的实际使用频率
P = router_probs.mean(dim=0) # 每个专家的平均门控概率
return num_experts * (f * P).sum()
这个损失的含义很容易理解：当每个专家的f_i和P_i都接近1/E时，损失达到最小值1。优化时，f_i通常视为常量，梯度通过P_i传递给门控网络。若某些专家的平均概率偏高，惩罚项会抑制这些专家的logits，使路由更均匀。在实际训练中，该辅助损失的系数需要小心调节。系数太小，负载均衡几乎无效；系数太大，门控网络会趋于均匀选择，削弱专家专业化能力。一般可以从0.01开始尝试，根据训练曲线调整。
除了负载均衡损失，门控z-loss对稳定训练同样重要。z-loss定义为所有专家logits的log-sum-exp平方的平均值：
def router_z_loss(logits):
# logits: [T, E] 门控原始分数
z = torch.logsumexp(logits, dim=-1) ** 2
return z.mean()
z-loss不直接强制负载均衡，而是防止logits持续增大。MoE训练不稳定有时是因为门控分数越来越大，softmax后概率分布过于尖锐，top-k路由几乎退化成确定性选择。一旦门控错误，模型很难通过梯度纠正。z-loss以很小的权重加入目标函数，通常取0.001到0.01，就能有效限制logits范围，缓解路由震荡。
专家容量约束与expert choice路由
负载均衡损失提供的是软约束，面对极端负载倾斜时往往不够。为了避免单个专家接收过多token，可以引入专家容量。设批次内token总数为T，专家数量为E，容量因子为C，则每个专家最多处理ceil(T/E * C)个token。超出容量的token会被丢弃，或者通过残差连接直接传给后续层。容量因子通常设为1.0到1.25，上限越紧，负载越均衡，但丢弃token的风险也越高。
专家容量方法虽然简单，但它只是被动截断，并没有改变token选择逻辑。更进一步的做法是使用expert choice routing。与top-k让每个token选专家不同，expert choice让每个专家选择打分最高的若干token。例如每个专家固定选择C个token，那么每轮每个专家都恰好处理相同数量的token，负载均衡被结构性保证。代价是某些token可能被多个专家选中，而另一些token可能无人选择。工程上通常为无人选择的token增加共享专家或残差路径，避免信息完全丢失。
实现expert choice时需要注意，token与专家的对应关系不再由softmax概率决定，而是通过专家分数矩阵的排序完成。相比传统token choice路由，它可以显著减少路由震荡，因为专家的选择数量固定，不会因为微小概率变化导致整体分配剧烈波动。不过，expert choice需要额外的排序和掩码操作，在大规模分布式训练中通信模式更复杂，需要结合all-to-all通信优化。
训练监控与调参建议
在训练MoE模型时，仅看最终损失还不够，应当记录每个专家的token分配数量、平均门控概率以及路由变化的比例。路由变化比例可以定义为本轮与上一轮专家分配不一致的token占比。如果该比例长时间居高不下，说明路由震荡仍然严重，此时优先考虑增大z-loss权重或降低学习率，而不是继续加大负载均衡损失。
负载均衡辅助损失的系数是敏感参数。找到合适范围后，通常不需要大幅调整。对于小规模实验，可以先将容量因子设为1.25，保证较少的token丢弃。随着训练稳定，再尝试降到1.0。梯度裁剪也是必要的，尤其在专家数量较多时，不同专家接收的样本规模不同，梯度范数差异可能很大。
如果模型仍然出现少数专家闲置，可以检查是否使用了top-k的硬掩码。某些实现中，门控概率和mask在同一个张量上计算，容易在反向传播时丢失对未选中专家的梯度。更稳妥的做法是让负载均衡损失直接依赖门控概率，而不是依赖mask，这样即使专家没有被选中，只要它的门控概率偏高，也会受到惩罚。
路由震荡、负载均衡和训练稳定本质上是相互关联的，解决思路应当从软约束、硬容量和结构设计三个层次同时入手。先用负载均衡损失和z-loss稳定门控，再用容量因子兜底，最后在需要极致均衡的场景下考虑expert choice路由。这样可以在不牺牲专家专业化的前提下，让MoE模型训练更加平稳高效。